CN103155537A - 基于脸部检测和追踪的连续自动聚焦 - Google Patents
基于脸部检测和追踪的连续自动聚焦 Download PDFInfo
- Publication number
- CN103155537A CN103155537A CN2011800467085A CN201180046708A CN103155537A CN 103155537 A CN103155537 A CN 103155537A CN 2011800467085 A CN2011800467085 A CN 2011800467085A CN 201180046708 A CN201180046708 A CN 201180046708A CN 103155537 A CN103155537 A CN 103155537A
- Authority
- CN
- China
- Prior art keywords
- face
- focus
- faces
- part face
- digital picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims description 47
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims description 4
- 238000004513 sizing Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 11
- 230000002349 favourable effect Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
- H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
- Focusing (AREA)
Abstract
一种自动聚焦方法包括获取包括一个或多个失焦脸部和/或部分脸部的场景的数字图像。该方法包括通过应用在失焦脸部上训练的一个或多个分类器集合,检测数字图像之中的一个或多个失焦脸部和/或部分脸部。在该数字图像中确定一个或多个各自的失焦脸部和/或部分脸部的一个或多个尺寸。基于该数字图像中的一个或多个脸部和/或部分脸部的该一个或多个尺寸,确定该一个或多个失焦脸部和/或部分脸部的一个或多个各自的深度。调整该镜头的一个或多个各自的焦点位置,以近似地聚焦在所确定的一个或多个各自的深度上。
Description
背景技术
数码相机如今通常包括自动聚焦机制。两种常规的自动聚焦机制是对比度检测自动聚焦和相位检测自动聚焦。
对比度检测自动聚焦
利用对比度检测自动聚焦,相机镜头最初被定位在最近的聚焦点上。递增地移动该镜头并且在每一步都估计图像清晰度。当达到清晰度峰值时,停止镜头移动。对比度检测自动聚焦用于常规数码静物相机或DSC、便携式摄像机相机手机、网络摄像头和监控摄像头。基于像素级测量和精细扫描,它们非常精确。它们可以聚焦在画面内部的任何地方,但是它们通常仅围绕画面的中心聚焦。然而,对比度检测自动聚焦机制是缓慢的,因为它们涉及扫描聚焦范围。它们还不允许追踪所获取的对象。涉及进一步的扫描以确定该对象是否已经移动到前焦点或后焦点,被称为猎焦。对比度检测自动聚焦机制通常是便宜的并且粗糙的。
相位检测自动聚焦
相位检测自动聚焦通常涉及包括副镜、分离器镜头和聚焦传感器的特殊光电子器件。分离器镜头将来自镜头的相反侧的光线引向自动聚焦传感器。测量两个图像之间的相位差。将该镜头移动到与该相位差相对应的距离。相位检测自动聚焦用于常规单反相机或SLR中。它们通常不如对比度检测自动聚焦机制精确,因为不能总是非常准确地估计该相位差。它们仅可以在画面内部的固定点中获得焦点,并且通常由相机用户手动地指示这些。它们通常是快速的,因为可以由单个测量检测对象的相对位置。它们允许追踪,因为可以确定对象是否已经移动到前焦点或后焦点,但是仅仅通过从一个焦点跳到另一个焦点。相位检测自动聚焦机制通常是昂贵的并且脆弱的。图1示出了相位检测自动聚焦机制如何工作,即如中间的图形所示当相位差为零时,则将对象理解为被对焦。
希望具有一种不具有对比度检测自动聚焦机制和相位检测自动聚焦机制中的任意一个的显著缺点的改进的自动聚焦机制。美国专利申请公布号2010/0208091描述了一种检测由相机所获取的图像中的脸部并且计算该脸部的尺寸的相机。其从大量以前存储的脸部尺寸之中选择一个最接近所计算脸部尺寸的尺寸。其获取与所选择的以前存储的脸部尺寸相关联的以前存储的镜头焦点位置。其发信号使数码相机的可移动镜头系统移动到由所获取的以前存储的镜头焦点位置给出的最终焦点位置。US 2010/0208091中所述技术的问题在于由于它们模糊的失焦状态,它将具有相当高的脸部的未检测的比率。除非提供进一步的增强,否则将导致不能令人满意地缓慢的图像捕获过程。
发明内容
提供了一种用于基于脸部检测的数字图像获取设备的自动聚焦方法。该方法涉及该设备的镜头、图像传感器和处理器的使用。获取包括一个或多个失焦脸部和/或部分脸部的场景的数字图像。该方法包括通过应用在失焦脸部上训练的一个或多个分类器集合,检测数字图像之中的一个或多个失焦脸部和/或部分脸部。在该数字图像中确定一个或多个各自的失焦脸部和/或部分脸部的一个或多个尺寸。基于该数字图像中的一个或多个失焦脸部和/或部分脸部的该一个或多个尺寸,确定该一个或多个失焦脸部和/或部分脸部的一个或多个各自的深度。调整该镜头的一个或多个各自的焦点位置,以近似地聚焦在所确定的一个或多个各自的深度上。利用被聚焦在一个或多个分别地调整的焦点位置上的镜头,获取包括一个或多个脸部和/或部分脸部中的至少一个脸部和/或部分脸部的场景的一个或多个其他图像。
在调整一个或多个各自的焦点位置之后,该方法可以进一步包括执行精细扫描,并且基于该精细扫描精细调整该一个或多个各自的焦点位置。该场景可以包括通过应用该一个或多个脸部分类器集合未检测到的至少一个失焦脸部和/或部分脸部,并且其中,该方法进一步包括应用对比度检测扫描或相位检测扫描或者这两者来获取通过应用在失焦脸部上训练的所述一个或多个分类器集合未检测到的所述至少一个失焦脸部或部分脸部或者这两者。
一个或多个部分脸部可以包括眼睛区域。
该方法可以包括当该一个或多个脸部和/或部分脸部中的至少一个脸部和/或部分脸部的尺寸至少改变阈值量时,调整该一个或多个各自的焦点位置中的至少一个。该方法还包括追踪脸部和/或部分脸部中的至少一个,并且基于该追踪确定一个或多个脸部和/或部分脸部中的至少一个脸部和/或部分脸部的尺寸的改变。
该方法可以进一步包括通过缩小该数字图像获取设备的光圈,增加景深。
该一个或多个脸部和/或部分脸部可以包括分别位于多个不同深度的多个脸部和/或部分脸部,其中基于它们的不同的确定尺寸近似地确定该多个不同深度。
该一个或多个深度的确定可以包括分配与该一个或多个确定尺寸中的至少一个确定尺寸相对应的至少一个平均深度。
该一个或多个深度的确定可以包括识别所检测脸部或部分脸部或这两者属于具体的个人,从存储器调用与具体的脸部或部分脸部或这两者相对应的已知脸部或部分脸部的空间参数,并且确定与确定尺寸和该已知脸部或部分脸部空间参数相对应的深度。
该一个或多个各自的焦点位置的调整可以利用MEMS(微机电系统)组件。
还提供了一个或多个处理器可读介质,其具有实现在其中用于对处理器编程以执行本文所述的任意方法的代码。
还提供了一种包括镜头、图像传感器、处理器和存储器的数字图像获取设备,该存储器具有嵌入在其中用于对该处理器编程以执行本文所述的任意方法的代码。
附图说明
图1示出了常规的相位检测自动聚焦机制。
图2a是根据特定实施方式的数字图像获取设备中的清晰度对镜头的焦点位置的图。
图2b示出了包括已失焦的但仍具有围绕检测的脸部区域的脸部检测框的脸部的数字图像。
图3a-3b示出了每个均根据特定实施方式检测的分别包括清晰脸部和失焦脸部的数字图像的第一示例。
图4a-4b示出了每个均根据特定实施方式检测的分别包括清晰脸部和失焦脸部的数字图像的第二示例。
图5示出了包括清晰脸部和失焦脸部的数字图像。
图6是示出了根据特定实施方式的方法的流程图。
图7示出了基于脸部尺寸的焦点距离的计算。
图8a-8d示出了包括相对清晰的脸部8a和8c以及相对失焦的脸部8b和8d的数字图像。
图9示出了根据特定实施方式的数码相机图像传递途径。
具体实施方式
标准的对比度检测自动聚焦是缓慢的并且当对象移动出焦点时进行猎取。当未检测到模糊脸部时,回退到对比度检测自动聚焦可能经常放缓由US 2010/0208091提供的处理。提供了一种使用脸部检测来加速聚焦并且减少连续自动聚焦中的猎焦的方法。首先即使当通过提供用于失焦脸部和/或部分脸部的一个或多个经训练的分类器集合而未聚焦脸部时,也提供高度可靠的脸部检测。可以例如提供三个脸部分类器集合:一个被训练为用于清晰脸部,另一个被训练为用于有点模糊的脸部,以及第三个被训练为用于甚至更模糊并且失焦的脸部。可以训练并且使用不同数量的分类器集合。该有利的技术将比US 2010/0208091的技术具有少得多的未检测的情况,导致更快速并且更可靠的图像捕获过程。如美国专利号7,362,368、7,616,233、7,315,630、7,269,292、7,471,846、7,574,016、7,440,593、7,317,815、7,551,755、7,558,408、7,587,068、7,555,148、7,564,994、7,565,030、7,715,597、7,606,417、7,692,696、7,680,342、7,792,335、7,551,754、7,315,631、7,469,071、7,403,643、7,460,695、7,630,527、7,469,055、7,460,694、7,515,740、7,466,866、7,693,311、7,702,136、7,620,218、7,634,109、7,684,630、7,796,816和7,796,822以及美国专利申请公布号US 2006-0204034、US 2007-0201725、US2007-0110305、US 2009-0273685、US 2008-0175481、US2007-0160307、US 2008-0292193、US 2007-0269108、US2008-0013798、US 2008-0013799、US 2009-0080713、US2009-0196466、US 2008-0143854、US 2008-0220750、US2008-0219517、US 2008-0205712、US 2009-0185753、US2008-0266419、US 2009-0263022、US 2009-0244296、US2009-0003708、US 2008-0316328、US 2008-0267461、US2010-0054549、US 2010-0054533、US 2009-0179998、US2009-0052750、US 2009-0052749、US 2009-0087042、US2009-0040342、US 2009-0002514、US 2009-0003661、US2009-0208056、US 2009-0190803、US 2009-0245693、US2009-0303342、US 2009-0238419、US 2009-0238410、US2010-0014721、US 2010-0066822、US 2010-0039525、US2010-0165150、US 2010-0060727、US 2010-0141787、US2010-0141786、US 2010-0220899、US 2010-0092039、US2010-0188530、US 2010-0188525、US 2010-0182458、US2010-0165140和US 2010-0202707所述的,本发明的受让人已经广泛地研究并且开发了特别是通过训练脸部分类器的脸部检测,其中可以(或者可以不)均匀地照射、前置和锐聚焦该脸部分类器。
在失焦脸部和/或部分脸部的检测之后,该技术涉及依赖于脸部尺寸来确定对象所位于的距离。即当镜头的焦点位置未被布置成提供在图2a所示的清晰度峰值的值处的最佳清晰图像时,则该对象脸部将失焦,如图2b所示。利用如本文所提供的被训练为用于检测失焦脸部的有利的分类器,正如由取景该对象的脸部的矩形所示的,仍然检测图2b所示的模糊脸部。脸部检测通过分析脸部尺寸的改变(更大=向前,更小=向后)知道对象已经朝向焦点移动还是远离焦点移动。这允许脸部检测随着脸部靠近/远离相机移动而追踪该脸部。
图3a-3b示出了每个均根据特定实施方式检测的分别包括清晰脸部和失焦脸部的数字图像的第一示例。在图3a中,到对象的距离是1米以及到焦平面的距离是1米,因而脸部清晰并且不需要移动聚焦元件。在图3b中,到对象的距离是1米但是到焦平面的距离是0.2米,因此脸部模糊,尽管该脸部仍然有利地通过使用被训练用于检测模糊脸部的分类器(正如由取景该对象的脸部的矩形所示的)而被检测。根据这些实施方式,基于图3b的模糊脸部的检测,将移动聚焦元件以聚焦在1米而不是0.2米处,因为基于检测的脸部的尺寸估计到脸部的距离是1米。
图4a-4b示出了每个均根据特定实施方式检测的分别包括清晰脸部和失焦脸部的数字图像的第二示例。在图4a中,到对象的距离是0.5米以及到焦平面的距离是0.5米,因而脸部清晰并且不需要移动聚焦元件。在图4b中,到对象的距离是0.5米但是到焦平面的距离是0.25米,因此脸部模糊,尽管该脸部仍然有利地通过使用被训练用于检测模糊脸部的分类器而被检测。注意到,焦点不像图3b中那么远,并且因此可以使用与用于检测图3b的脸部的分类器集合不同的被训练用于检测更不模糊的脸部的分类器集合。根据这些实施方式,基于图4b的模糊脸部的检测,将移动聚焦元件以聚焦在0.5米而不是0.25米处,因为基于检测的脸部的尺寸估计到脸部的距离是0.5米。
一旦通过根据例如基于图7提供的公式的查找表的计算或估计确定到对象的距离,则可以直接将相机的聚焦元件移动到将导致其聚焦在对应距离上的位置而无需扫描整个聚焦范围。此外,在连续模式中,可以通过测量脸部尺寸的改变来确定对象是否已经在前焦点或后焦点的方向上移动。这使得聚焦元件能够在正确的方向上移动,因此减少焦点猎取。仍然可以通过利用如美国专利7,769,281、7,747,155、7,729,603、7,729,601、7,702,226、7,697,834、7,697,831、7,697,829、7,693,408、7,663,817、7,663,289、7,660,056、7,646,969、7,640,803、7,583,006、7,565,070、7,560,679、7,555,210、7,545,591、7,515,362、7,495,852、7,477,842、7,477,400、7,403,344、7,359,131、7,359,130、7,345,827、7,266,272、7,113,688和/或6,934,087中的任意一个中所述的MEM技术进一步加速该处理。可以将该思想推广到可以被识别并且被追踪的任意对象,即使事先不知道它的尺寸。
如本文所述的,提供高度有利的特征,由此即使当脸部失焦时,也对脸部可靠地执行脸部检测过程。这使得根据本文描述的实施方式的有利自动聚焦技术能够在实际开始聚焦到脸部上之前检测脸部。一旦检测到模糊的失焦脸部,则可以计算到对象的粗略距离。这是可能的,因为人脸的尺寸不会相当大的变化。通过使用脸部识别可以提供进一步的精确性,而由此通过与存储在数据库中的人的其他脸部数据的比较、或者通过用户手动指示、或者因为最近已经拍摄了同一个人的一张或多张照片、或者这些技术与其他脸部识别技术的组合来识别具体的人的脸部。然后,可以使用该个人的具体已知的脸部尺寸。
也可以通过考虑镜头的焦距(如果不是35毫米等效的话,则还考虑传感器尺寸)来计算到对象的距离。当已知到对象的距离时,可以直接向对应的位置移动聚焦元件而无需任何附加的扫描。然后围绕该距离仅选择性地执行精细的对比度检测扫描。如果脸部太大并且/或者只检测到部分脸部,则在脸部区域上或者在脸部的眼睛区域上测量对比度。这对于减少用于计算对比度的计算量是有利的。在视频模式中,每当在新的脸部上将要实现聚焦时可以执行相同的步骤。一旦在特定脸部上实现聚焦,根据特定实施方式监视脸部尺寸的变化。如果改变不显著,则该算法测量脸部矩形(或眼睛区域或其他部分脸部区域)上的对比度,并且如果该对比度没有下降到特定值之下,则不调整焦点位置。相反,如果对比度下降但是脸部尺寸未改变,则可以围绕当前焦点距离完成精细的再聚焦。如果发现脸部尺寸改变大于特定裕度,则将新尺寸与旧尺寸比较以确定该对象是否已经移动到前焦点或后焦点。基于此,朝向合适的方向(向后或向前)移动聚焦元件,直到重新获取焦点为止。
有利地,提供焦点追踪而无需猎取。例如,如果脸部尺寸增加,则可以确定对象已经向前焦点移动,从而移动聚焦元件以便其更近地聚焦。
如前所述,可以将该方法推广给已知尺寸的任意对象。例如,可以对宠物检测改变脸部检测。此外,可以将该方法推广给未知尺寸的对象。一旦使用标准的对比度检测和/或相位检测算法获得关于特定对象的焦点,则可以关于它的尺寸变化追踪并且监视该对象。该方法涉及确定该对象是否已经变大或变小以及变化多少,并且甚至在未知尺寸的对象上提供持续聚焦而无需猎取。
当如图5所示场景包括多个脸部时,可以检测该画面中的多个脸部。然后计算与这些脸部中的每个脸部的尺寸相对应的距离。对于多个脸部,分类并且存储该距离。可以贯穿焦点距离地执行分而治之(divide-et-impera)型搜索。在每个步骤上,可以针对给定镜头光圈、焦距和焦点距离的每个距离计算COC直径。在一个实施方式中,给定这些直径,可以跨多个面部测量总体清晰度的度量。这些搜索的结果将是将理论上最大化跨照片中的所有脸部的清晰度的焦点距离。镜头将被直接聚焦到该距离上,并且如果需要,可以完成精细扫描顺序以确保甚至更大的精确度。甚至可以将该技术与自动曝光技术结合,从而如果不能获得足够的焦深或DOF,则自动聚焦或AF算法可以决定缩小光圈以便增加DOF。许多其他选项是可用的,例如,可以通过多个图像的快速获取(在每个计算的焦点位置获取一个图像)来提供清晰脸部的合成图像,或者用户可以选择何时聚焦到脸部上,或者可以聚焦到最大的脸部上,以及其他可能。在以上所引用的较早申请中讨论了脸部的加权。
图6是示出了根据特定实施方式的方法的流程图。在602输入感兴趣的区域或ROI。在604确定ROI是否是脸部。如果不是,则在606对于最佳级别执行具有恒定步骤的迭代搜索。如果检测到脸部,则在608确定其是否是新的脸部。如果不是,则在610确定脸部尺寸是否与以前确定的脸部尺寸相同或者接近。如果是,则不需要焦点调整,但是如果确定以前检测的脸部的尺寸已改变尺寸,则在612执行到脸部距离的粗略聚焦。如果在608确定所检测的脸部是新的脸部,则在612执行到脸部距离的粗略聚焦。可以在614计算清晰度级别。如果在614计算的级别在616确定为行,则处理结束,但是如果该级别不行,则在618执行围绕当前距离的精细再聚焦。
图7示出了到对象的距离的计算。在该实施方式中,到对象的距离与以像素为单位的图像分辨率和与35mm等效焦距成正比,并且与所检测脸部的以像素为单位的尺寸成反比。还存在乘数150/36。图8a-8d简单地示出了不同的脸部距离和焦深的示例,其中每个图中的左边的表中的第一行显示基于图7所示的计算到物体/对象的计算距离或估计距离。
图9示出了数码相机图像传递途径。可以使用由硬件实现的加速来获得更快的脸部检测。
根据本文所述的实施方式的技术在许多类别中得分很高。例如,它是快速的,需要非常低的功率并且产生非常低的马达磨损。在视频模式中,它知道对象是否已经向前焦点或后焦点移动,因此它不需要猎取。该特征可以允许在用于DSC和相机手机的电影模式中的连续自动聚焦,这在当前技术中是不可用的。此外,该技术不需要任何附加的硬件,因此其实现是便宜的,并且它是壮实的(通过任意跌落测试)而且完成这些都没有以任何方式危害聚焦的质量。它还是高度准确的。还提供多脸部自动聚焦,这允许相机在位于各种深度的多个脸部上聚焦。利用根据本文所述的实施方式的多脸部AF,这个可以通过估计脸部的尺寸、计算到每个脸部的距离并且随后决定最大化跨全部这些脸部的清晰度的虚拟焦点距离或如上所述的其他步骤来完成。此外,然后将几乎即时地实现聚焦,而无需扫描聚焦范围或测量图像中的多个区域的清晰度,即如果它们一起覆盖画面的大的区域,则这可能是非常缓慢的。
在可以根据本文的优选实施方式执行并且可能已被上文描述的方法中,已经按照所选择的字面印刷顺序描述了操作。然而,为字面印刷方便起见,已经选择并且如此安排了该顺序,并且该顺序并非旨在暗示用于执行该操作的任何特定次序,除非可能明确地阐述了特定次序或者本领域的普通技术人员可能认为特定次序是必要的。
Claims (13)
1.一种基于脸部检测的用于数字图像获取设备的自动聚焦方法,包括:
使用数字图像获取设备的镜头、图像传感器和处理器;
获取包括一个或多个失焦脸部或部分脸部或这二者的场景的数字图像;
通过应用在失焦脸部上训练的一个或多个分类器集合,检测所述数字图像之中的所述一个或多个失焦脸部或部分脸部或这二者;
在所述数字图像中确定一个或多个各自的失焦脸部或部分脸部或这二者的一个或多个尺寸;
基于所述数字图像中的所述一个或多个脸部或部分脸部或这二者的所述一个或多个尺寸,确定所述一个或多个失焦脸部或部分脸部或这二者的一个或多个各自的深度;
调整所述镜头的一个或多个各自的焦点位置,以近似地聚焦在所确定的一个或多个各自的深度上;以及
利用被聚焦在一个或多个分别地调整的焦点位置上的所述镜头,获取包括所述一个或多个脸部或部分脸部或这二者中的至少一个的场景的一个或多个其他图像。
2.如权利要求1所述的方法,还包括:基于调整所述一个或多个各自的焦点位置,执行精细扫描,并且基于所述精细扫描,精细调整所述一个或多个各自的焦点位置。
3.如权利要求2所述的方法,其中,所述场景包括通过应用所述一个或多个脸部分类器集合未检测到的至少一个失焦脸部或部分脸部或这二者,并且其中,所述方法进一步包括应用对比度检测扫描或相位检测扫描或这二者来获取通过应用所述一个或多个脸部分类器集合未检测到的所述至少一个失焦脸部或部分脸部或这二者。
4.如权利要求1所述的方法,其中,所述一个或多个部分脸部中的至少一个包括眼睛区域。
5.如权利要求1所述的方法,还包括当所述一个或多个脸部或部分脸部中的至少一个或这二者的尺寸至少改变阈值量时,调整所述一个或多个各自的焦点位置中的至少一个焦点位置。
6.如权利要求5所述的方法,还包括追踪所述脸部或部分脸部的至少一个或这二者,并且基于所述追踪确定所述一个或多个脸部或部分脸部的所述至少一个或者这二者的尺寸的所述改变。
7.如权利要求1所述的方法,进一步包括通过缩小所述数字图像获取设备的光圈来增加景深。
8.如权利要求1所述的方法,其中,所述一个或多个脸部或部分脸部或这二者包括分别位于多个不同深度的多个脸部或部分脸部或这二者,其中基于它们的不同的确定尺寸近似地确定所述多个不同深度。
9.如权利要求1所述的方法,其中,所述一个或多个深度的所述确定包括分配与所述一个或多个确定尺寸中的至少一个确定尺寸相对应的至少一个平均深度。
10.如权利要求1所述的方法,其中,所述一个或多个深度的所述确定包括识别所检测脸部或部分脸部或这二者属于具体的个人,从存储器调用与具体的脸部或部分脸部或这二者相对应的已知脸部或部分脸部的空间参数,并且确定与确定尺寸和所述已知脸部或部分脸部的空间参数相对应的深度。
11.如权利要求1所述的方法,其中,所述一个或多个各自的焦点位置的所述调整包括利用MEMS(微机电系统)组件。
12.一个或多个处理器可读介质,其具有实现在其中用于对具有处理器的设备编程以执行以上方法的任一方法,其中所述设备使用镜头和图像传感器来获取包括一个或多个失焦脸部或部分脸部或这二者的场景的数字图像。
13.一种数字图像获取设备,包括镜头、图像传感器、处理器和存储器,所述存储器具有嵌入在其中用于对所述处理器编程以执行根据权利要求1到11中的任一方法的基于脸部检测的自动聚焦方法的代码。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US38744910P | 2010-09-28 | 2010-09-28 | |
US61/387,449 | 2010-09-28 | ||
US12/959,320 | 2010-12-02 | ||
US12/959,320 US8970770B2 (en) | 2010-09-28 | 2010-12-02 | Continuous autofocus based on face detection and tracking |
PCT/EP2011/066835 WO2012041892A1 (en) | 2010-09-28 | 2011-09-28 | Continuous autofocus based on face detection and tracking |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103155537A true CN103155537A (zh) | 2013-06-12 |
CN103155537B CN103155537B (zh) | 2016-08-10 |
Family
ID=44759672
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180046708.5A Active CN103155537B (zh) | 2010-09-28 | 2011-09-28 | 基于脸部检测和追踪的连续自动聚焦 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8970770B2 (zh) |
EP (1) | EP2622840B1 (zh) |
JP (1) | JP6027005B2 (zh) |
KR (1) | KR101783847B1 (zh) |
CN (1) | CN103155537B (zh) |
WO (1) | WO2012041892A1 (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015032289A1 (zh) * | 2013-09-05 | 2015-03-12 | 华为技术有限公司 | 一种聚焦图片的显示方法及图像处理设备 |
CN104853088A (zh) * | 2015-04-09 | 2015-08-19 | 来安县新元机电设备设计有限公司 | 一种移动终端拍照时快速对焦的方法及移动终端 |
CN105230001A (zh) * | 2013-07-23 | 2016-01-06 | 索尼公司 | 图像处理设备、处理图像的方法、图像处理程序,以及成像设备 |
CN106125879A (zh) * | 2016-06-14 | 2016-11-16 | 深圳市金立通信设备有限公司 | 一种降低终端功耗的方法及终端 |
CN106506969A (zh) * | 2016-11-29 | 2017-03-15 | 广东欧珀移动通信有限公司 | 摄像模组、通过其进行人像追踪的方法以及电子设备 |
CN107258077A (zh) * | 2015-03-10 | 2017-10-17 | 高通股份有限公司 | 用于连续自动聚焦(caf)的系统和方法 |
CN108234879A (zh) * | 2018-02-02 | 2018-06-29 | 成都西纬科技有限公司 | 一种获取滑动变焦视频的方法和装置 |
TWI647957B (zh) * | 2016-09-22 | 2019-01-11 | 豪威科技股份有限公司 | 具有非對稱微透鏡相位檢測自動聚焦(pdaf)檢測器的影像感測器、相關的pdaf成像系統及相關的方法 |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7269292B2 (en) | 2003-06-26 | 2007-09-11 | Fotonation Vision Limited | Digital image adjustable compression and resolution using face detection information |
WO2010136593A2 (en) | 2009-05-29 | 2010-12-02 | Tessera Technologies Ireland Limited | Methods and apparatuses for foreground, top-of-the-head separation from background |
US8971628B2 (en) | 2010-07-26 | 2015-03-03 | Fotonation Limited | Face detection using division-generated haar-like features for illumination invariance |
US8970770B2 (en) | 2010-09-28 | 2015-03-03 | Fotonation Limited | Continuous autofocus based on face detection and tracking |
US8648959B2 (en) | 2010-11-11 | 2014-02-11 | DigitalOptics Corporation Europe Limited | Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing |
US8659697B2 (en) | 2010-11-11 | 2014-02-25 | DigitalOptics Corporation Europe Limited | Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing |
US8308379B2 (en) | 2010-12-01 | 2012-11-13 | Digitaloptics Corporation | Three-pole tilt control system for camera module |
US8548206B2 (en) | 2011-01-20 | 2013-10-01 | Daon Holdings Limited | Methods and systems for capturing biometric data |
US8508652B2 (en) | 2011-02-03 | 2013-08-13 | DigitalOptics Corporation Europe Limited | Autofocus method |
US9294667B2 (en) | 2012-03-10 | 2016-03-22 | Digitaloptics Corporation | MEMS auto focus miniature camera module with fixed and movable lens groups |
US9354486B2 (en) * | 2012-06-07 | 2016-05-31 | DigitalOptics Corporation MEMS | MEMS fast focus camera module |
US9007520B2 (en) | 2012-08-10 | 2015-04-14 | Nanchang O-Film Optoelectronics Technology Ltd | Camera module with EMI shield |
US9001268B2 (en) | 2012-08-10 | 2015-04-07 | Nan Chang O-Film Optoelectronics Technology Ltd | Auto-focus camera module with flexible printed circuit extension |
US9242602B2 (en) | 2012-08-27 | 2016-01-26 | Fotonation Limited | Rearview imaging systems for vehicle |
KR101487516B1 (ko) * | 2012-09-28 | 2015-01-30 | 주식회사 팬택 | 연속 자동 초점을 이용한 멀티 초점 이미지 캡처 장치 및 방법 |
US8988586B2 (en) | 2012-12-31 | 2015-03-24 | Digitaloptics Corporation | Auto-focus camera module with MEMS closed loop compensator |
US10558848B2 (en) | 2017-10-05 | 2020-02-11 | Duelight Llc | System, method, and computer program for capturing an image with correct skin tone exposure |
US9094576B1 (en) | 2013-03-12 | 2015-07-28 | Amazon Technologies, Inc. | Rendered audiovisual communication |
US9269012B2 (en) | 2013-08-22 | 2016-02-23 | Amazon Technologies, Inc. | Multi-tracker object tracking |
US10055013B2 (en) * | 2013-09-17 | 2018-08-21 | Amazon Technologies, Inc. | Dynamic object tracking for user interfaces |
DE102013224704A1 (de) * | 2013-12-03 | 2015-06-03 | Robert Bosch Gmbh | Verfahren zur automatischen Fokussierung einer Kamera |
US9633462B2 (en) | 2014-05-09 | 2017-04-25 | Google Inc. | Providing pre-edits for photos |
US10242313B2 (en) * | 2014-07-18 | 2019-03-26 | James LaRue | Joint proximity association template for neural networks |
US10419658B1 (en) | 2014-07-20 | 2019-09-17 | Promanthan Brains LLC, Series Point only | Camera optimizing for several directions of interest |
CN105704360A (zh) * | 2014-11-25 | 2016-06-22 | 索尼公司 | 辅助自动对焦方法、装置以及电子设备 |
KR20170092662A (ko) * | 2014-12-09 | 2017-08-11 | 포토내이션 리미티드 | 이미지 처리 방법 |
US9973681B2 (en) | 2015-06-24 | 2018-05-15 | Samsung Electronics Co., Ltd. | Method and electronic device for automatically focusing on moving object |
CN104933419B (zh) * | 2015-06-30 | 2019-05-21 | 小米科技有限责任公司 | 获取虹膜图像的方法、装置及红膜识别设备 |
US10334152B2 (en) | 2016-08-08 | 2019-06-25 | Fotonation Limited | Image acquisition device and method for determining a focus position based on sharpness |
US10148943B2 (en) * | 2016-08-08 | 2018-12-04 | Fotonation Limited | Image acquisition device and method based on a sharpness measure and an image acquistion parameter |
US10148945B1 (en) | 2017-05-25 | 2018-12-04 | Fotonation Limited | Method for dynamically calibrating an image capture device |
JP2020532914A (ja) * | 2017-09-01 | 2020-11-12 | ディーティーエス・インコーポレイテッドDTS,Inc. | 仮想オーディオのスイートスポット適応法 |
CN108920047A (zh) * | 2018-05-29 | 2018-11-30 | 努比亚技术有限公司 | 一种应用程序的控制方法、终端和计算机可读存储介质 |
KR20210108082A (ko) | 2020-02-25 | 2021-09-02 | 삼성전자주식회사 | 위상 차를 이용하는 라이브니스 검출 방법 및 장치 |
EP3936917B1 (en) * | 2020-07-09 | 2024-05-01 | Beijing Xiaomi Mobile Software Co., Ltd. | A digital image acquisition apparatus and an autofocus method |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1870003A (zh) * | 2000-03-24 | 2006-11-29 | 松下电器产业株式会社 | 基于生物测量的身份确认系统及电子结算系统 |
US20080252773A1 (en) * | 2007-04-11 | 2008-10-16 | Fujifilm Corporation | Image pickup apparatus, focusing control method and principal object detecting method |
CN101335837A (zh) * | 2007-06-28 | 2008-12-31 | 索尼株式会社 | 图像拍摄设备、摄影控制方法以及程序 |
WO2009039876A1 (en) * | 2007-09-26 | 2009-04-02 | Fotonation Vision Limited | Face tracking in a camera processor |
US20100208091A1 (en) * | 2009-02-19 | 2010-08-19 | Apple Inc. | Auto focus speed enhancement using object recognition and resolution |
Family Cites Families (124)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5870217A (ja) | 1981-10-23 | 1983-04-26 | Fuji Photo Film Co Ltd | カメラブレ検出装置 |
US5835138A (en) | 1995-08-30 | 1998-11-10 | Sony Corporation | Image signal processing apparatus and recording/reproducing apparatus |
KR100188116B1 (ko) | 1995-12-28 | 1999-06-01 | 김광호 | 손떨림 영상 안정화 회로 |
US6407777B1 (en) | 1997-10-09 | 2002-06-18 | Deluca Michael Joseph | Red-eye filter method and apparatus |
AU2207599A (en) | 1997-12-29 | 1999-07-19 | Cornell Research Foundation Inc. | Image subregion querying using color correlograms |
US6963361B1 (en) | 1998-02-24 | 2005-11-08 | Canon Kabushiki Kaisha | Image sensing method and apparatus capable of performing vibration correction when sensing a moving image |
US6747690B2 (en) | 2000-07-11 | 2004-06-08 | Phase One A/S | Digital camera with integrated accelerometers |
US7359130B1 (en) | 2002-02-04 | 2008-04-15 | Siimpel Corporation | Lens mount and alignment method |
US6850675B1 (en) | 2002-02-04 | 2005-02-01 | Siwave, Inc. | Base, payload and connecting structure and methods of making the same |
JP2003289468A (ja) * | 2002-03-28 | 2003-10-10 | Sanyo Electric Co Ltd | 撮像装置 |
US6934087B1 (en) | 2002-09-25 | 2005-08-23 | Siimpel Corporation | Fiber optic collimator and collimator array |
JP4092636B2 (ja) | 2002-11-01 | 2008-05-28 | フジノン株式会社 | オートフォーカスシステム |
US8989516B2 (en) | 2007-09-18 | 2015-03-24 | Fotonation Limited | Image processing method and apparatus |
US8199222B2 (en) | 2007-03-05 | 2012-06-12 | DigitalOptics Corporation Europe Limited | Low-light video frame enhancement |
US8948468B2 (en) | 2003-06-26 | 2015-02-03 | Fotonation Limited | Modification of viewing parameters for digital images using face detection information |
US7792335B2 (en) | 2006-02-24 | 2010-09-07 | Fotonation Vision Limited | Method and apparatus for selective disqualification of digital images |
US7616233B2 (en) | 2003-06-26 | 2009-11-10 | Fotonation Vision Limited | Perfecting of digital image capture parameters within acquisition devices using face detection |
US9160897B2 (en) | 2007-06-14 | 2015-10-13 | Fotonation Limited | Fast motion estimation method |
US7587068B1 (en) | 2004-01-22 | 2009-09-08 | Fotonation Vision Limited | Classification database for consumer digital images |
US8494286B2 (en) | 2008-02-05 | 2013-07-23 | DigitalOptics Corporation Europe Limited | Face detection in mid-shot digital images |
US7471846B2 (en) | 2003-06-26 | 2008-12-30 | Fotonation Vision Limited | Perfecting the effect of flash within an image acquisition devices using face detection |
US7565030B2 (en) | 2003-06-26 | 2009-07-21 | Fotonation Vision Limited | Detecting orientation of digital images using face detection information |
US7574016B2 (en) | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
US7606417B2 (en) | 2004-08-16 | 2009-10-20 | Fotonation Vision Limited | Foreground/background segmentation in digital images with differential exposure calculations |
US8417055B2 (en) | 2007-03-05 | 2013-04-09 | DigitalOptics Corporation Europe Limited | Image processing method and apparatus |
US8498452B2 (en) | 2003-06-26 | 2013-07-30 | DigitalOptics Corporation Europe Limited | Digital image processing using face detection information |
US7440593B1 (en) | 2003-06-26 | 2008-10-21 | Fotonation Vision Limited | Method of improving orientation and color balance of digital images using face detection information |
US8553949B2 (en) | 2004-01-22 | 2013-10-08 | DigitalOptics Corporation Europe Limited | Classification and organization of consumer digital images using workflow, and face detection and recognition |
US7317815B2 (en) | 2003-06-26 | 2008-01-08 | Fotonation Vision Limited | Digital image processing composition using face detection information |
US9129381B2 (en) | 2003-06-26 | 2015-09-08 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
US7680342B2 (en) | 2004-08-16 | 2010-03-16 | Fotonation Vision Limited | Indoor/outdoor classification in digital images |
US8363951B2 (en) | 2007-03-05 | 2013-01-29 | DigitalOptics Corporation Europe Limited | Face recognition training method and apparatus |
US7362368B2 (en) | 2003-06-26 | 2008-04-22 | Fotonation Vision Limited | Perfecting the optics within a digital image acquisition device using face detection |
US8189927B2 (en) | 2007-03-05 | 2012-05-29 | DigitalOptics Corporation Europe Limited | Face categorization and annotation of a mobile phone contact list |
US7315630B2 (en) | 2003-06-26 | 2008-01-01 | Fotonation Vision Limited | Perfecting of digital image rendering parameters within rendering devices using face detection |
US7269292B2 (en) | 2003-06-26 | 2007-09-11 | Fotonation Vision Limited | Digital image adjustable compression and resolution using face detection information |
US8593542B2 (en) | 2005-12-27 | 2013-11-26 | DigitalOptics Corporation Europe Limited | Foreground/background separation using reference images |
US7844076B2 (en) | 2003-06-26 | 2010-11-30 | Fotonation Vision Limited | Digital image processing using face detection and skin tone information |
US8989453B2 (en) | 2003-06-26 | 2015-03-24 | Fotonation Limited | Digital image processing using face detection information |
US7620218B2 (en) | 2006-08-11 | 2009-11-17 | Fotonation Ireland Limited | Real-time face tracking with reference images |
US8264576B2 (en) | 2007-03-05 | 2012-09-11 | DigitalOptics Corporation Europe Limited | RGBW sensor array |
US20050140801A1 (en) | 2003-08-05 | 2005-06-30 | Yury Prilutsky | Optimized performance and performance for red-eye filter method and apparatus |
US7826139B2 (en) | 2003-12-16 | 2010-11-02 | The Invention Science Fund I, Llc | Image correction using individual manipulation of microlenses in a microlens array |
US7555148B1 (en) | 2004-01-22 | 2009-06-30 | Fotonation Vision Limited | Classification system for consumer digital images using workflow, face detection, normalization, and face recognition |
US7564994B1 (en) | 2004-01-22 | 2009-07-21 | Fotonation Vision Limited | Classification system for consumer digital images using automatic workflow and face detection and recognition |
US7551755B1 (en) | 2004-01-22 | 2009-06-23 | Fotonation Vision Limited | Classification and organization of consumer digital images using workflow, and face detection and recognition |
US7558408B1 (en) | 2004-01-22 | 2009-07-07 | Fotonation Vision Limited | Classification system for consumer digital images using workflow and user interface modules, and face detection and recognition |
US7663289B1 (en) | 2004-02-18 | 2010-02-16 | Siimpel Corporation | Centipede actuator motion stage |
US7477842B2 (en) | 2004-03-12 | 2009-01-13 | Siimpel, Inc. | Miniature camera |
US7640803B1 (en) | 2004-05-26 | 2010-01-05 | Siimpel Corporation | Micro-electromechanical system inertial sensor |
US7733412B2 (en) | 2004-06-03 | 2010-06-08 | Canon Kabushiki Kaisha | Image pickup apparatus and image pickup method |
US8503800B2 (en) | 2007-03-05 | 2013-08-06 | DigitalOptics Corporation Europe Limited | Illumination detection using classifier chains |
US7315631B1 (en) | 2006-08-11 | 2008-01-01 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
US7715597B2 (en) | 2004-12-29 | 2010-05-11 | Fotonation Ireland Limited | Method and component for image recognition |
JP4674471B2 (ja) | 2005-01-18 | 2011-04-20 | 株式会社ニコン | デジタルカメラ |
US7555210B2 (en) | 2005-02-28 | 2009-06-30 | Siimpel, Inc. | Axial snubbers for camera |
US7359131B1 (en) | 2005-02-28 | 2008-04-15 | Siimpel Corporation | Lens positioning systems and methods |
US7646969B2 (en) | 2005-02-28 | 2010-01-12 | Siimpel Corporation | Camera snubber assembly |
US7565070B1 (en) | 2005-02-28 | 2009-07-21 | Siimpel Corporation | Telephone vibrator |
US7495852B2 (en) | 2005-02-28 | 2009-02-24 | Siimpel Corporation | Zoom lens assembly |
US7729603B2 (en) | 2005-02-28 | 2010-06-01 | Siimpel Corporation | Resolution adjustment for miniature camera |
US7345827B1 (en) | 2005-02-28 | 2008-03-18 | Siimpel Corporation | Lens barrel |
US7403344B2 (en) | 2005-02-28 | 2008-07-22 | Siimpel Corporation | Lens Assembly |
US20060239579A1 (en) | 2005-04-22 | 2006-10-26 | Ritter Bradford A | Non Uniform Blending of Exposure and/or Focus Bracketed Photographic Images |
US7560679B1 (en) | 2005-05-10 | 2009-07-14 | Siimpel, Inc. | 3D camera |
JP2006319596A (ja) * | 2005-05-12 | 2006-11-24 | Fuji Photo Film Co Ltd | 撮像装置および撮像方法 |
US7583006B2 (en) | 2005-07-26 | 2009-09-01 | Siimpel Corporation | MEMS digital linear actuator |
US7477400B2 (en) | 2005-09-02 | 2009-01-13 | Siimpel Corporation | Range and speed finder |
US7697829B1 (en) | 2005-09-02 | 2010-04-13 | Siimpel Corporation | Electronic damping for stage positioning |
US7692696B2 (en) | 2005-12-27 | 2010-04-06 | Fotonation Vision Limited | Digital image acquisition system with portrait mode |
IES20060558A2 (en) | 2006-02-14 | 2006-11-01 | Fotonation Vision Ltd | Image blurring |
WO2007095477A2 (en) | 2006-02-14 | 2007-08-23 | Fotonation Vision Limited | Image blurring |
US7551754B2 (en) | 2006-02-24 | 2009-06-23 | Fotonation Vision Limited | Method and apparatus for selective rejection of digital images |
US7804983B2 (en) | 2006-02-24 | 2010-09-28 | Fotonation Vision Limited | Digital image acquisition control and correction method and apparatus |
US8306280B2 (en) * | 2006-04-11 | 2012-11-06 | Nikon Corporation | Electronic camera and image processing apparatus |
IES20060564A2 (en) | 2006-05-03 | 2006-11-01 | Fotonation Vision Ltd | Improved foreground / background separation |
IES20070229A2 (en) | 2006-06-05 | 2007-10-03 | Fotonation Vision Ltd | Image acquisition method and apparatus |
JP4264660B2 (ja) | 2006-06-09 | 2009-05-20 | ソニー株式会社 | 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム |
DE602007012246D1 (de) | 2006-06-12 | 2011-03-10 | Tessera Tech Ireland Ltd | Fortschritte bei der erweiterung der aam-techniken aus grauskalen- zu farbbildern |
US7769281B1 (en) | 2006-07-18 | 2010-08-03 | Siimpel Corporation | Stage with built-in damping |
US7702226B1 (en) | 2006-07-20 | 2010-04-20 | Siimpel Corporation | Board mounted hermetically sealed optical device enclosure and manufacturing methods therefor |
US7515740B2 (en) | 2006-08-02 | 2009-04-07 | Fotonation Vision Limited | Face recognition with combined PCA-based datasets |
US7403643B2 (en) | 2006-08-11 | 2008-07-22 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
US7916897B2 (en) | 2006-08-11 | 2011-03-29 | Tessera Technologies Ireland Limited | Face tracking for controlling imaging parameters |
JP2008090059A (ja) * | 2006-10-03 | 2008-04-17 | Samsung Techwin Co Ltd | 撮像装置およびそのオートフォーカス制御方法 |
US7693408B1 (en) | 2006-10-13 | 2010-04-06 | Siimpel Corporation | Camera with multiple focus captures |
US7697834B1 (en) | 2006-10-13 | 2010-04-13 | Siimpel Corporation | Hidden autofocus |
US7545591B1 (en) | 2006-10-17 | 2009-06-09 | Siimpel Corporation | Uniform wall thickness lens barrel |
US8055067B2 (en) | 2007-01-18 | 2011-11-08 | DigitalOptics Corporation Europe Limited | Color segmentation |
US7663817B1 (en) | 2007-01-19 | 2010-02-16 | Siimpel Corporation | Optical system with plano convex lens |
US7697831B1 (en) | 2007-02-20 | 2010-04-13 | Siimpel Corporation | Auto-focus with lens vibration |
EP2115662B1 (en) | 2007-02-28 | 2010-06-23 | Fotonation Vision Limited | Separating directional lighting variability in statistical face modelling based on texture space decomposition |
WO2008117584A1 (ja) | 2007-03-23 | 2008-10-02 | Kabushiki Kaisha Toshiba | 手ぶれ補正装置、撮像装置、手ぶれ補正プログラム、撮像プログラム、手ぶれ補正方法、撮像方法 |
US7773118B2 (en) | 2007-03-25 | 2010-08-10 | Fotonation Vision Limited | Handheld article with movement discrimination |
JP4678603B2 (ja) | 2007-04-20 | 2011-04-27 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
WO2008131823A1 (en) | 2007-04-30 | 2008-11-06 | Fotonation Vision Limited | Method and apparatus for automatically controlling the decisive moment for an image acquisition device |
US7916971B2 (en) | 2007-05-24 | 2011-03-29 | Tessera Technologies Ireland Limited | Image processing method and apparatus |
KR101431535B1 (ko) * | 2007-08-30 | 2014-08-19 | 삼성전자주식회사 | 얼굴인식 기능을 이용한 영상 촬영 장치 및 방법 |
US7729601B1 (en) | 2007-08-31 | 2010-06-01 | Siimpel Corporation | Shutter for autofocus |
JP4544282B2 (ja) * | 2007-09-14 | 2010-09-15 | ソニー株式会社 | データ処理装置、およびデータ処理方法、並びにプログラム |
JP2009094946A (ja) * | 2007-10-11 | 2009-04-30 | Fujifilm Corp | 撮像装置及び撮像装置における肖像権保護方法 |
JP5048468B2 (ja) * | 2007-11-28 | 2012-10-17 | 富士フイルム株式会社 | 撮像装置およびその撮像方法 |
JP4956401B2 (ja) | 2007-12-18 | 2012-06-20 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
EP2158754A1 (en) | 2008-01-18 | 2010-03-03 | Fotonation Vision Limited | Image processing method and apparatus |
JP4843002B2 (ja) * | 2008-01-25 | 2011-12-21 | ソニー株式会社 | 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム |
US8750578B2 (en) | 2008-01-29 | 2014-06-10 | DigitalOptics Corporation Europe Limited | Detecting facial expressions in digital images |
JP5079552B2 (ja) | 2008-03-13 | 2012-11-21 | オリンパス株式会社 | 画像処理装置、撮像装置及び画像処理方法 |
US7855737B2 (en) | 2008-03-26 | 2010-12-21 | Fotonation Ireland Limited | Method of making a digital camera image of a scene including the camera user |
KR20090113076A (ko) | 2008-04-25 | 2009-10-29 | 삼성디지털이미징 주식회사 | 디지털 영상 처리기에서 브라케팅 촬영 장치 및 방법 |
JP4524717B2 (ja) | 2008-06-13 | 2010-08-18 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
JP2010015024A (ja) * | 2008-07-04 | 2010-01-21 | Canon Inc | 撮像装置、その制御方法、プログラム及び記憶媒体 |
JP5163446B2 (ja) | 2008-11-25 | 2013-03-13 | ソニー株式会社 | 撮像装置、撮像方法及びプログラム |
WO2010063463A2 (en) | 2008-12-05 | 2010-06-10 | Fotonation Ireland Limited | Face recognition using face tracker classifier data |
JP4893758B2 (ja) | 2009-01-23 | 2012-03-07 | ソニー株式会社 | 画像処理装置、画像処理方法および撮像装置 |
US8665326B2 (en) | 2009-01-30 | 2014-03-04 | Olympus Corporation | Scene-change detecting device, computer readable storage medium storing scene-change detection program, and scene-change detecting method |
JP5158720B2 (ja) * | 2009-03-11 | 2013-03-06 | 富士フイルム株式会社 | 光学モジュールおよびその製造方法、並びに撮像装置 |
JP5374220B2 (ja) | 2009-04-23 | 2013-12-25 | キヤノン株式会社 | 動きベクトル検出装置およびその制御方法、ならびに撮像装置 |
US8351726B2 (en) | 2009-06-29 | 2013-01-08 | DigitalOptics Corporation Europe Limited | Adaptive PSF estimation technique using a sharp preview and a blurred image |
US8798388B2 (en) | 2009-12-03 | 2014-08-05 | Qualcomm Incorporated | Digital image combining to produce optical effects |
US20100283868A1 (en) | 2010-03-27 | 2010-11-11 | Lloyd Douglas Clark | Apparatus and Method for Application of Selective Digital Photomontage to Motion Pictures |
US8045046B1 (en) | 2010-04-13 | 2011-10-25 | Sony Corporation | Four-dimensional polynomial model for depth estimation based on two-picture matching |
US8970770B2 (en) | 2010-09-28 | 2015-03-03 | Fotonation Limited | Continuous autofocus based on face detection and tracking |
US8648959B2 (en) | 2010-11-11 | 2014-02-11 | DigitalOptics Corporation Europe Limited | Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing |
US8659697B2 (en) | 2010-11-11 | 2014-02-25 | DigitalOptics Corporation Europe Limited | Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing |
-
2010
- 2010-12-02 US US12/959,320 patent/US8970770B2/en active Active
-
2011
- 2011-09-28 CN CN201180046708.5A patent/CN103155537B/zh active Active
- 2011-09-28 EP EP11764712.3A patent/EP2622840B1/en active Active
- 2011-09-28 JP JP2013529676A patent/JP6027005B2/ja active Active
- 2011-09-28 WO PCT/EP2011/066835 patent/WO2012041892A1/en active Application Filing
- 2011-09-28 KR KR1020137010457A patent/KR101783847B1/ko active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1870003A (zh) * | 2000-03-24 | 2006-11-29 | 松下电器产业株式会社 | 基于生物测量的身份确认系统及电子结算系统 |
US20080252773A1 (en) * | 2007-04-11 | 2008-10-16 | Fujifilm Corporation | Image pickup apparatus, focusing control method and principal object detecting method |
CN101335837A (zh) * | 2007-06-28 | 2008-12-31 | 索尼株式会社 | 图像拍摄设备、摄影控制方法以及程序 |
WO2009039876A1 (en) * | 2007-09-26 | 2009-04-02 | Fotonation Vision Limited | Face tracking in a camera processor |
US20100208091A1 (en) * | 2009-02-19 | 2010-08-19 | Apple Inc. | Auto focus speed enhancement using object recognition and resolution |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105230001A (zh) * | 2013-07-23 | 2016-01-06 | 索尼公司 | 图像处理设备、处理图像的方法、图像处理程序,以及成像设备 |
CN105230001B (zh) * | 2013-07-23 | 2019-08-20 | 索尼公司 | 图像处理设备、处理图像的方法、图像处理程序,以及成像设备 |
WO2015032289A1 (zh) * | 2013-09-05 | 2015-03-12 | 华为技术有限公司 | 一种聚焦图片的显示方法及图像处理设备 |
CN107258077A (zh) * | 2015-03-10 | 2017-10-17 | 高通股份有限公司 | 用于连续自动聚焦(caf)的系统和方法 |
CN104853088A (zh) * | 2015-04-09 | 2015-08-19 | 来安县新元机电设备设计有限公司 | 一种移动终端拍照时快速对焦的方法及移动终端 |
CN106125879A (zh) * | 2016-06-14 | 2016-11-16 | 深圳市金立通信设备有限公司 | 一种降低终端功耗的方法及终端 |
TWI647957B (zh) * | 2016-09-22 | 2019-01-11 | 豪威科技股份有限公司 | 具有非對稱微透鏡相位檢測自動聚焦(pdaf)檢測器的影像感測器、相關的pdaf成像系統及相關的方法 |
CN106506969A (zh) * | 2016-11-29 | 2017-03-15 | 广东欧珀移动通信有限公司 | 摄像模组、通过其进行人像追踪的方法以及电子设备 |
CN106506969B (zh) * | 2016-11-29 | 2019-07-19 | Oppo广东移动通信有限公司 | 摄像模组、通过其进行人像追踪的方法以及电子设备 |
US10937184B2 (en) | 2016-11-29 | 2021-03-02 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Camera assembly, method for tracking target portion based on the same, and electronic device |
CN108234879A (zh) * | 2018-02-02 | 2018-06-29 | 成都西纬科技有限公司 | 一种获取滑动变焦视频的方法和装置 |
CN108234879B (zh) * | 2018-02-02 | 2021-01-26 | 成都西纬科技有限公司 | 一种获取滑动变焦视频的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN103155537B (zh) | 2016-08-10 |
WO2012041892A1 (en) | 2012-04-05 |
KR101783847B1 (ko) | 2017-10-10 |
EP2622840B1 (en) | 2017-07-19 |
KR20130112036A (ko) | 2013-10-11 |
US20120075492A1 (en) | 2012-03-29 |
JP6027005B2 (ja) | 2016-11-16 |
JP2013542461A (ja) | 2013-11-21 |
EP2622840A1 (en) | 2013-08-07 |
US8970770B2 (en) | 2015-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103155537A (zh) | 基于脸部检测和追踪的连续自动聚焦 | |
US8213782B2 (en) | Predictive autofocusing system | |
US10061182B2 (en) | Systems and methods for autofocus trigger | |
US8508652B2 (en) | Autofocus method | |
US8488052B2 (en) | Imaging system and method for detecting target object | |
EP3281398B1 (en) | Methods and apparatus for defocus reduction using laser autofocus | |
KR20170056698A (ko) | 자동 포커싱 방법, 장치 및 전자 장치 | |
CN101621625A (zh) | 摄像设备及其控制方法 | |
CN102172013A (zh) | 抖动焦点的评估 | |
CN111770271B (zh) | 一种基于图像处理的自动聚焦方法 | |
CN105430268A (zh) | 一种自动聚焦处理方法和装置 | |
EP2230837B1 (en) | Method and apparatus for motion compensation | |
JP2012500506A5 (zh) | ||
US7844172B1 (en) | Adaptive autofocus lens positioning | |
JP2013085089A (ja) | 被写体追尾装置およびカメラ | |
JP2007328360A (ja) | 自動焦点カメラ及び撮影方法 | |
JP2001356384A (ja) | 測光装置 | |
US7869701B1 (en) | Adaptive autofocus lens positioning | |
JP5018932B2 (ja) | 撮像装置 | |
KR101026327B1 (ko) | 다중 경통을 이용한 빠른 자동 초점 장치 및 초점 조절 방법 | |
JP2018013665A (ja) | 撮像装置 | |
JP2005157148A (ja) | 焦点検出装置および電子カメラ | |
JP2012189736A (ja) | 撮像装置 | |
JP2016004252A (ja) | 撮像装置およびその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C53 | Correction of patent of invention or patent application | ||
CB02 | Change of applicant information |
Address after: Ireland Galway Applicant after: DIGITALOPTICS CORPORATION EUROPE LIMITED Address before: Ireland Galway Applicant before: Digitaloptics Corporation Europe Limited |
|
COR | Change of bibliographic data |
Free format text: CORRECT: APPLICANT; FROM: DIGITAL OPTICAL EUROPE CO., LTD. TO: KUAITU CO., LTD. |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |