CN107005655B - 图像处理方法 - Google Patents

图像处理方法 Download PDF

Info

Publication number
CN107005655B
CN107005655B CN201580067002.5A CN201580067002A CN107005655B CN 107005655 B CN107005655 B CN 107005655B CN 201580067002 A CN201580067002 A CN 201580067002A CN 107005655 B CN107005655 B CN 107005655B
Authority
CN
China
Prior art keywords
image
feature
lens
distance
sharpness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580067002.5A
Other languages
English (en)
Other versions
CN107005655A (zh
Inventor
A·马莱斯库
F·纳努
P·比吉奥伊
P·科尔科兰
S·佩特雷斯库
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fotonation Ltd
Original Assignee
Fotonation Ireland Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fotonation Ireland Ltd filed Critical Fotonation Ireland Ltd
Publication of CN107005655A publication Critical patent/CN107005655A/zh
Application granted granted Critical
Publication of CN107005655B publication Critical patent/CN107005655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种处理图像的方法，包括：采集包括对象的场景图像，所述对象具有可识别的特征结构。确定镜头致动器设置和对应于镜头致动器设置的镜头位移，所述镜头致动器设置为包括所述对象的所述图像区域提供最大清晰度。基于所述镜头位移计算距所述对象的距离。确定所述特征结构的作为距所述对象的距离的函数的尺寸、所述成像对象大小以及采集所述图像的镜头组件的焦距。采用所述特征结构的确定的尺寸，代替所述特征结构的假设尺寸，以用于包括所述对象的所述场景的图像的后续处理。

Description

图像处理方法
技术领域
本发明涉及处理图像的方法。
背景技术
人脸检测和跟踪是图像处理中熟知的，例如如欧洲专利No.EP2052347(参考文献：FN-143)中所述。这些技术允许被成像的场景内的一个或多个人脸区域易于描绘，并且允许基于该信息进行后续的图像处理。此类图像处理可包括人脸识别，所述人脸识别尝试辨识被成像的个人；通过使检测的和/或选择的人脸区域聚焦来进行自动聚焦；或人脸区域的缺陷检测和/或校正。
人体测量信息可用于处理人脸区域是熟知的。例如，预期的人脸大小的知识可用于人脸检测或过滤，例如用于红眼候选者的错误分析，如EP1654865(参考文献：FN-101-CIP)中所述。
然而，如果被成像的场景包括任何不符合通用人体测量规则的人脸，则可出现问题。例如，如果场景包括具有很大人脸的告示牌，则基于通用人体测量规则的处理可指示比告示牌更靠近相机的真实主体。这可以例如指示相机应以更短的距离聚焦，如果仍然这样，将产生失焦图像。
相应地，如果场景包括小孩，则其人脸的检测可指示比小孩更远离相机的主体。这可以例如指示相机应以更长的距离聚焦，如果仍然这样，将产生失焦图像。
出于本公开的目的，术语“假人脸”将用于指示包括不符合正常人体测量规则的检测人脸的图像区域。
在一些情况下，不能识别所检测的假人脸可导致以不正确的聚焦获得隔离图像，并且在摄像机中，捕获场景的图像流，可能的是相机可丧失其正确聚焦的能力。
然而，应当理解，如果试图对任何错误检测的对象进行基础图像处理，则上述问题同样可能出现。例如，一些图像处理可基于与汽车尺寸有关的规则，并且可捕获假汽车的例如显示在告示牌上的清晰图像，这可能导致问题。
US2012/044408A基于图像传感器感知主体来获取图像数据，检测来自图像数据中的人脸，估计真实空间中从图像传感器到所检测的人脸的距离，当获取被用于检测人脸的图像数据时，基于焦距获取第一和第二景深、f值以及真实空间中到焦内的点的距离/估计的距离，基于第一/第二景深以及到焦内的点的距离/估计的距离来计算第一和第二扫描范围，基于当在由选择单元所选择的第一或第二扫描范围内驱动聚焦透镜时所获取的对比度信号来检测该焦内点，如果至少部分第一和第二扫描范围重叠，选择单元选择第一扫描范围，否则不选择第一扫描范围。
发明内容
根据本发明，提供了根据权利要求1所述的图像处理方法。
在另一个方面，提供了被布置为执行根据权利要求1所述的方法的图像处理装置。
在又一个方面，提供了包括计算机可读取指令的计算机程序产品，所述计算机可读取指令在图像处理装置中执行时被布置为执行根据权利要求1所述的方法。
本发明的实施例提供了基于检测的人脸，但不受假人脸的不利影响并且实际上能够正确地聚焦在此类假人脸上的快速自动聚焦。
可供选择的实施例提供了基于任何所关注的可检测对象的自动聚焦，所述对象具有带有已知尺寸的特征结构。
附图说明
现在将结合附图以举例的方式描述本发明的实施例，在附图中：
图1示出了人体测量数据在聚焦系统中的使用；并且
图2是流程图，其示出了根据本发明的实施例的处理图像的方法。
具体实施方式
现在参见图1，为了聚焦在无穷远位置(通常大于3米)处的任何对象上，镜头12和图像传感器14之间的距离被设定为恰好等于镜头的焦距(f)。
当人脸在镜头的超焦范围内，距主体有给定的距离(ds)时，为了获得聚焦图像，镜头应偏移距离(ld)，使得镜头和图像传感器之间的距离为f+ld。
因此，距主体的距离与镜头位移通过下式相连：1/f＝1/ds+1/(f+ld)，如图1图示地示出。
当确定所需的镜头位移ld时，相机可选择所需的数模转换(DAC)代码，以根据需要使包括镜头的镜头组件移位，以正确地保持聚焦在人脸上。
使用检测的人脸帮助聚焦的图像处理系统可如下所述操作：
1.例如使用诸如EP2052347(参考文献：FN-143)中公开的技术来检测人脸；
2.计算检测的人脸区域内的以像素为单位的目距(edp)；
3.以厘米呈现目距
Figure GDA0001316967380000031
4.使用相机焦距(f)和像素大小(ps)，如下计算距主体的距离(ds)：
ds＝f*(ed/(edp*ps)；
5.使用以下关系计算该距离(ds)的镜头位移(ld)：
1/(ld+f)＝1/f-1/ds；
6.已知镜头位移，基于图1所示的校准数据计算焦点位置的对应的DAC代码。
考虑例如在上述步骤1处是否事实上检测到目距ed＝2cm的假人脸(小脸)。使用ed＝7cm的聚焦算法将小脸视为非常远，从而确定距主体的距离(ds)非常大(可能接近无穷大)和对应的DAC代码。这将导致高度离焦图像。
现在参见图2，在本发明的实施例中，采取多个附加步骤来避免导致图像采集问题的假人脸：
●首先，在步骤200处，人脸在所采集图像的人脸区域内检测到；
●在检测人脸时，进行焦点位置扫描，以确定为人脸区域提供最大清晰度的DAC代码–DAC_Code_Sweep，步骤204。该扫描可在许多预览图像上进行；或在其中可能获取比显示更新速率更快的图像的一些系统中，可以毫秒间隔进行扫描，诸如WO 2014/124787(参考文献FN-387)中所讨论；
●一旦DAC_Code_Sweep是已知的，即可倒转上述步骤4-6，步骤206：
○因此，从图1所示的校准数据计算对应于DAC_Code_Sweep的镜头位移(ld_sweep)；
○再次使用上述步骤5的关系从ld_sweep计算距主体的距离ds_sweep；
○现在已知“ds_sweep”、“edp”和“f”，可计算以厘米为单位的真实目距，并且在这种情况下，将得到ed_sweep＝2cm。
●现在只要跟踪到该特定人脸，即可将人脸特定目距(ed＝2cm)暂时设定为新检测的人脸区域的目距，而不是使用通用目距(ed＝7cm)，步骤208。
只要跟踪到假人脸，便应当只保持标准目距的这种覆盖。一旦人脸丢失，步骤210，则将通用目距(ed＝7cm)再次用于新检测的人脸。
否则，对于每个待采集的新图像，基于计算的目距来计算所需的DAC代码，步骤209。
应当理解，并非每次新人脸检测都需要完全扫描，并且例如可进行改进扫描，以确定检测的人脸是否为假的，步骤212。因此，例如对于采集包括新检测的人脸的图像处的镜头位移，镜头可偏移到图像采集镜头位移的任一侧的镜头位移位置。
如果在图像采集镜头位移处人脸区域的清晰度相对于邻近的镜头位移位置的清晰度为最大值，则估算视为良好。在这种情况下，在步骤209处继续图像处理，以基于假设的目距ed＝7cm来确定每个新图像所需的DAC代码，在该新图像中继续检测人脸区域。
然而，如果人脸区域的清晰度不为最大值，则指示新检测的人脸区域内的人脸为假的，因此触发完全扫描，步骤204，以如上所述确定ed_sweep。
应当理解，对于检测的对象，步骤204至208只需要执行一次；然而，响应于人脸区域的清晰度下降至低于给定的阈值，也可重复步骤。
本发明可在图像处理依赖于检测具有带有已知尺寸的特征结构的对象的任何地方采用，从而允许暂时而非假设的尺寸集用于被跟踪时的对象，并且允许在跟踪对象时保持聚焦。
可以看出，除自动聚焦之外，本发明还可用于图像处理，并且例如可用于暂时覆盖假设的对象尺寸，以用于处理包含此类对象的虚假型式的图像的目的。

Claims (6)

1.一种处理图像的方法：
a)采集包括对象的场景图像，所述对象具有可识别的特征结构，所述特征结构具有假设的尺寸；
b)在所采集的图像中使用所述可识别的特征结构来检测(200)对象区域；
c)检查(212)用于采集所述图像的镜头致动器设置是否提供了对于包括所述对象的所述图像的所述区域的最大的清晰度；以及
响应于所述清晰度不是最大值：
d)确定(204)镜头致动器设置，所述镜头致动器设置为包括所述对象的所述图像的所述区域提供最大清晰度；
e)确定对应于所述镜头致动器设置的镜头位移；
f)基于所述镜头位移计算距所述对象的距离；
g)确定(206，208)所述特征结构的作为距所述对象的所述距离的函数的尺寸、成像对象大小以及采集所述图像的镜头组件的焦距；以及
h)在后续的所述场景图像中追踪(209)所述对象，包括采用所述特征结构的所述确定的尺寸来自动对焦所述对象；以及
响应于所述清晰度是最大值，在后续的所述场景图像中追踪(209)所述对象，包括采用所述特征结构的所述确定的尺寸来自动对焦所述对象。
2.根据权利要求1所述的方法，其中所述对象是人脸，所述特征结构是眼睛，并且所述尺寸是所述眼睛之间的距离。
3.根据权利要求1所述的方法，包括对于新检测的对象，只执行一次步骤d)至g)。
4.根据权利要求1所述的方法，包括响应于在所述追踪过程中包括所述对象的所述图像的所述区域的清晰度下降至低于给定的阈值，来执行步骤d)至g)。
5.一种图像处理装置，包括：
处理单元；
存储器，被耦合到所述处理单元，并且具有存储在其上的机器可执行指令，所述机器可执行指令在由所述处理单元执行时，使得所述装置执行根据权利要求1所述的方法的步骤。
6.一种计算机可读存储介质，所述计算机可读存储介质具有存储在其上的计算机可读取指令，所述计算机可读取指令在图像处理装置中执行时被布置为执行根据权利要求1所述的方法。
CN201580067002.5A 2014-12-09 2015-11-17 图像处理方法 Active CN107005655B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462089369P 2014-12-09 2014-12-09
US62/089,369 2014-12-09
PCT/EP2015/076881 WO2016091545A1 (en) 2014-12-09 2015-11-17 Image processing method

Publications (2)

Publication Number Publication Date
CN107005655A CN107005655A (zh) 2017-08-01
CN107005655B true CN107005655B (zh) 2020-06-23

Family

ID=54754595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580067002.5A Active CN107005655B (zh) 2014-12-09 2015-11-17 图像处理方法

Country Status (5)

Country Link
US (1) US10455147B2 (zh)
EP (1) EP3205084B1 (zh)
KR (1) KR20170092662A (zh)
CN (1) CN107005655B (zh)
WO (1) WO2016091545A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10148943B2 (en) 2016-08-08 2018-12-04 Fotonation Limited Image acquisition device and method based on a sharpness measure and an image acquistion parameter
US10334152B2 (en) 2016-08-08 2019-06-25 Fotonation Limited Image acquisition device and method for determining a focus position based on sharpness
US10311554B2 (en) 2017-03-01 2019-06-04 Fotonation Limited Method of providing a sharpness measure for an image
US10148945B1 (en) 2017-05-25 2018-12-04 Fotonation Limited Method for dynamically calibrating an image capture device
US10701277B2 (en) 2017-05-31 2020-06-30 Fotonation Limited Automatic exposure module for an image acquisition system
KR102401914B1 (ko) * 2017-10-02 2022-05-27 주식회사 비즈모델라인 카메라를 이용한 수치 계측 방법
KR102401575B1 (ko) * 2017-10-02 2022-05-27 주식회사 비즈모델라인 카메라의 자동초점 기능을 이용한 수치 계측 방법
CN107748362A (zh) * 2017-10-10 2018-03-02 电子科技大学 一种基于最大锐度的线阵sar快速自聚焦成像方法
CN108769527B (zh) * 2018-06-13 2020-06-02 Oppo（重庆）智能科技有限公司 场景识别方法、装置及终端设备
CN111486798B (zh) * 2020-04-20 2022-08-26 苏州智感电子科技有限公司 图像测距方法、图像测距系统及终端设备
US11423567B2 (en) 2020-06-17 2022-08-23 Fotonation Limited Method and system to determine the location and/or orientation of a head
EP3936917B1 (en) * 2020-07-09 2024-05-01 Beijing Xiaomi Mobile Software Co., Ltd. A digital image acquisition apparatus and an autofocus method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101236348A (zh) * 2008-03-13 2008-08-06 北京中星微电子有限公司 一种自动对焦的方法及图像采集装置
CN104104861A (zh) * 2013-04-01 2014-10-15 佳能株式会社 图像处理装置和图像处理方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630006B2 (en) 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
US7315631B1 (en) 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
JP4254873B2 (ja) * 2007-02-16 2009-04-15 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
JP4843002B2 (ja) * 2008-01-25 2011-12-21 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP5368723B2 (ja) * 2008-04-09 2013-12-18 キヤノン株式会社 撮像装置及びその制御方法
JP5464823B2 (ja) * 2008-06-17 2014-04-09 キヤノン株式会社 情報提供装置、情報提供方法、及びプログラム
US20100157135A1 (en) * 2008-12-18 2010-06-24 Nokia Corporation Passive distance estimation for imaging algorithms
US8233078B2 (en) * 2009-02-19 2012-07-31 Apple Inc. Auto focus speed enhancement using object recognition and resolution
US20110002680A1 (en) * 2009-07-02 2011-01-06 Texas Instruments Incorporated Method and apparatus for focusing an image of an imaging device
JP5789091B2 (ja) * 2010-08-20 2015-10-07 キヤノン株式会社 撮像装置および撮像装置の制御方法
US8970770B2 (en) * 2010-09-28 2015-03-03 Fotonation Limited Continuous autofocus based on face detection and tracking
US9077890B2 (en) * 2011-02-24 2015-07-07 Qualcomm Incorporated Auto-focus tracking
JP5832153B2 (ja) * 2011-06-15 2015-12-16 キヤノン株式会社 撮像装置、その制御方法及びプログラム
CN104603717A (zh) * 2012-09-05 2015-05-06 Nec卡西欧移动通信株式会社 显示装置、显示方法以及程序
US20140160019A1 (en) * 2012-12-07 2014-06-12 Nvidia Corporation Methods for enhancing user interaction with mobile devices
US8849064B2 (en) 2013-02-14 2014-09-30 Fotonation Limited Method and apparatus for viewing images
US9251427B1 (en) * 2014-08-12 2016-02-02 Microsoft Technology Licensing, Llc False face representation identification
US9906772B2 (en) * 2014-11-24 2018-02-27 Mediatek Inc. Method for performing multi-camera capturing control of an electronic device, and associated apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101236348A (zh) * 2008-03-13 2008-08-06 北京中星微电子有限公司 一种自动对焦的方法及图像采集装置
CN104104861A (zh) * 2013-04-01 2014-10-15 佳能株式会社 图像处理装置和图像处理方法

Also Published As

Publication number Publication date
EP3205084B1 (en) 2018-05-23
EP3205084A1 (en) 2017-08-16
CN107005655A (zh) 2017-08-01
WO2016091545A1 (en) 2016-06-16
KR20170092662A (ko) 2017-08-11
US20160165129A1 (en) 2016-06-09
US10455147B2 (en) 2019-10-22

Similar Documents

Publication Publication Date Title
CN107005655B (zh) 图像处理方法
JP4177826B2 (ja) 画像処理装置および画像処理方法
KR101647370B1 (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
EP3089449B1 (en) Method for obtaining light-field data using a non-light-field imaging device, corresponding device, computer program product and non-transitory computer-readable carrier medium
US11516382B2 (en) System and method for intelligent camera control
GB2553178A (en) Video processing apparatus, video processing method, and program
EP2426642A1 (en) Method, device and system for motion detection
CN111524091B (zh) 信息处理装置、信息处理方法和存储介质
CN104102069B (zh) 一种成像系统的对焦方法及装置、成像系统
JP2011234314A (ja) 画像処理装置、画像処理方法及びプログラム
JP6617150B2 (ja) 物体検出方法及び物体検出装置
JP4578864B2 (ja) 自動追尾装置及び自動追尾方法
JP2017517727A (ja) 三次元情報の規模測定
KR101720679B1 (ko) 광계카메라를 이용한 차선 인식 시스템 및 방법
KR101290517B1 (ko) 촬영장치 및 이의 대상 추적방법
JP2017092839A5 (zh)
CN106454066B (zh) 图像处理设备及其控制方法
KR101864765B1 (ko) 어안렌즈 왜곡 보정을 이용한 차량 검출 장치 및 방법
KR101599434B1 (ko) 자동 초점 조절을 이용한 영상촬상장치의 공간감지장치 및 공간감지방법
JP5029573B2 (ja) 撮像装置及び撮像方法
JP4274038B2 (ja) 画像処理装置および画像処理方法
KR101318652B1 (ko) 차량의 움직임 감지방법
JP6525693B2 (ja) 画像処理装置及び画像処理方法
CN115713530A (zh) 一种即时定位与地图构建系统
JP2009253761A (ja) 画像処理装置、撮像装置および画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant