CN102857688A - 具有被摄体检测功能的成像设备及其控制方法 - Google Patents

具有被摄体检测功能的成像设备及其控制方法 Download PDF

Info

Publication number
CN102857688A
CN102857688A CN2012102227881A CN201210222788A CN102857688A CN 102857688 A CN102857688 A CN 102857688A CN 2012102227881 A CN2012102227881 A CN 2012102227881A CN 201210222788 A CN201210222788 A CN 201210222788A CN 102857688 A CN102857688 A CN 102857688A
Authority
CN
China
Prior art keywords
focusing frame
face
display unit
size
focusing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012102227881A
Other languages
English (en)
Other versions
CN102857688B (zh
Inventor
中川原尚幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN102857688A publication Critical patent/CN102857688A/zh
Application granted granted Critical
Publication of CN102857688B publication Critical patent/CN102857688B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • G03B17/20Signals indicating condition of a camera member or suitability of light visible in viewfinder
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/099Arrangement of photoelectric elements in or on the camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Exposure Control For Cameras (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

本发明提供一种具有被摄体检测功能的成像设备及其控制方法。具有从叠加有对焦框的图像信号中检测脸的功能的所述成像设备被构造成,使得即使对焦框被显示为叠加在被选择为主被摄体的脸上,该脸也能够继续被选择为主被摄体。中央处理单元在所检测到的被摄体的尺寸与所述显示单元上所显示的对焦框的尺寸的比率大于或等于预定阈值的情况下,将所述显示单元要显示的对焦框的位置移动到与所检测到的被摄体相对应的位置,而在所述比率小于所述阈值的情况下,不将所述显示单元要显示的对焦框的位置移动到与所检测到的被摄体相对应的位置。

Description

具有被摄体检测功能的成像设备及其控制方法
技术领域
本发明涉及一种具有被摄体检测功能的成像设备。
背景技术
日本专利申请特开第2010-96963号公报讨论了一种视频摄像机系统,该系统包括用于从所拍摄的视频图像中检测人脸的构造以及用于通过使用模式匹配来跟踪视频图像中所包含的预定被摄体的构造。
日本专利申请特开第2008-5110号公报讨论了一种除了用于图像拍摄的图像传感器以外还包括第二图像传感器的单镜头反光摄像机。透过要在其上形成被摄体图像的对焦屏以及用于显示所选择的对焦框的显示单元的光,入射在第二图像传感器上。在日本专利申请特开第2008-5110号公报中所讨论的单镜头反光摄像机中,第二图像传感器生成视频信号并且所生成的视频信号能够被处理以跟踪预定被摄体。
通过将前述技术结合,能够得到包括透过对焦屏以及用于显示对焦框的显示单元的光入射在其上的第二图像传感器、并且从由第二图像传感器获得的视频信号中检测人脸的构造。
由于入射在第二图像传感器上的光已透过用于显示对焦框的显示单元,因此从第二图像传感器获得的视频图像还包括所选择的对焦框的显示。如果对焦框与人脸相交叠,则脸被部分地隐藏从而可能无法精确检测。
图11A和图11B是例示在所显示的对焦框隐藏脸的一部分时出现的问题的图。摄像机能够在不显示对焦框的阶段中通过使用从第二图像传感器获得的视频信号来检测两个人的脸。
如果检测到多个脸,则摄像机基于脸的尺寸、脸的位置、以及脸的可靠度来确定每个脸的评价值。然后,摄像机选择评价值最高的脸作为主被摄体。脸的可靠度是指指示一区域是脸的概率的值。摄像机将概率超过预定阈值的区域确定为脸区域。
因为右侧的脸比左侧的脸尺寸更大、更靠近像平面中心、并且脸的可靠度更高,所以摄像机将右侧的脸确定为主被摄体。如图11A中所例示的,摄像机选择位于与右侧的脸相交叠的位置的对焦框,并以彩色显示该对焦框。
彩色的对焦框使得右侧的脸不可检测或者显著地降低了右侧的脸的可靠度。结果,摄像机会将左侧的脸确定为主被摄体,如图11B中所例示的。
换言之,如果存在多个脸并且对焦框被显示在被选择为主被摄体的脸上,则变得难以将该脸再次选择为主被摄体。
在检测作为被摄体的脸的功能的上下文中给出了前述说明。如果摄像机具有检测预定特定被摄体(例如,特定的人、或者如狗和车的特定的动物或物体)的功能,则会出现相似的问题。
发明内容
根据本文所公开的一方面,一种成像设备包括:显示单元,其被构造成显示对焦框以指示所述对焦框的位置;测光单元,透过所述显示单元的光入射在所述测光单元上;检测单元,其被构造成从由所述测光单元获得的图像信号中检测预定被摄体;以及处理单元,其被构造成根据所述检测单元的检测的结果来选择所述显示单元能够显示的多个对焦框中的至少一个对焦框,并使所述显示单元显示所选择的对焦框,其中,所述处理单元在所检测到的被摄体的尺寸与在所述显示单元上显示的所述对焦框的尺寸的比率大于或等于预定阈值的情况下,将所述显示单元要显示的对焦框的位置移动到与所检测到的被摄体相对应的位置,而在所述比率小于所述阈值的情况下,不将所述显示单元要显示的对焦框的位置移动到与所检测到的被摄体相对应的位置。
通过以下参照附图对示例性实施例的详细描述,本发明的其它特征和方面将变得清楚。
附图说明
包含在说明书中并构成说明书的一部分的附图例示了示例性实施例、特征,并且与文字说明一起用来解释本文所公开的原理。
图1是示意性地例示根据本发明示例性实施例的摄像机的基本部件的构造的图。
图2是例示显示单元中的对焦框的布置的示例的图。
图3是例示在显示对焦框时脸尺寸与对焦框尺寸的比率和脸检测率之间的关系的图。
图4是例示在不显示对焦框时脸尺寸与对焦框尺寸的比率和脸检测率之间的关系的图。
图5是例示脸检测和跟踪序列的图。
图6是例示用于根据脸检测和跟踪的结果来移动对焦框的过程的流程图。
图7A、图7B、图7C和图7D是例示从位于与除了脸以外的被摄体相交叠的位置的对焦框被选择的状态到位于与脸相交叠的位置的对焦框被选择的状态的转变的图。
图8A和图8B是例示位于与脸相交叠的位置的对焦框被选择的状态的图。
图9是例示与脸尺寸与对焦框尺寸的比率相关的对焦框的可移动范围的示例的图。
图10A和图10B是例示限定与脸尺寸与对焦框尺寸的比率相关的对焦框的可移动范围的效果的图。
图11A和图11B是例示在所显示的对焦框隐藏脸的一部分时传统摄像机出现的问题的图。
具体实施方式
下面将参照附图详细描述本发明的各种示例性实施例、特征和方面。
图1是示意性地例示作为根据本发明的示例性实施例的成像设备的单镜头反光摄像机的基本部件的构造的图。图1例示了摄像机身100和摄影镜头单元200的横截面。
中央处理单元(CPU)101控制摄像机身100的部件。存储器102包括随机存取存储器(RAM)和只读存储器(ROM)。存储器102连接到CPU101。图像传感器103包括配备有红外截止过滤器和/或低通过滤器的电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)传感器。当摄像机拍摄图像时,通过摄影镜头单元200在图像传感器103上形成被摄体图像。当摄像机不拍摄图像时,快门104关闭快门叶片以对图像传感器103进行遮光。当摄像机拍摄图像时,快门104打开快门叶片以将光引导至图像传感器103。在摄像机不拍摄图像时,半反射镜105反射从摄影镜头单元200入射的光的一部分,以在对焦屏106上形成图像。
显示单元107是透射型显示元件。在来自CPU101的指令下,显示单元107以彩色显示对焦框,对焦框指示该对焦框在视野中的位置。通过显示对焦框,当用户观看光学取景器时,显示单元107向用户指示正在使用被摄体中哪个位置的聚焦信息。
图2例示了要显示在显示单元107上的对焦框的布置的示例。编号1至15所指示的15个虚线框指示对焦框的位置。显示单元107的示例是透射型聚合物网络液晶显示元件。这样的对焦框是高透射的,并且在未被选择为与主被摄体有关的对焦框时对由测光单元108获得的图像信号几乎没有影响。另一方面,以彩色显示被选择为与主被摄体有关的对焦框的对焦框,并且所选择的对焦框的图像包含在由测光单元108获得的图像信号中。
测光单元108包括对通过摄影镜头单元200入射的光通量进行测量的测光传感器。诸如CCD传感器或CMOS传感器的图像传感器被用作测光单元108。测光单元108由此能够除了测光以外还进行脸检测和跟踪。如图1中所例示的,显示单元107布置在通过摄影镜头单元200入射的光沿其被引导至测光单元108的光路的中部。
五角棱镜109将被摄体图像从对焦屏106引导至测光单元108和未例示的光学取景器。在对焦屏106上形成的被摄体图像通过五角棱镜109而入射在测光单元108上。通过摄影镜头单元200入射的光中的透过半反射镜105的部分被自聚焦(AF)镜111引导至焦点检测单元110。焦点检测单元110通过使用经AF镜111引导的光来进行聚焦。自动曝光CPU(AECPU)112是通过使用由测光单元108获得的信号来进行图像处理和计算的CPU。AECPU112用作被摄体检测单元。在根据本发明示例性实施例的摄像机中,AECPU112进行脸检测和跟踪计算以及测光计算。存储器113包括RAM和/或ROM。存储器113连接到AECPU112。注意,尽管根据本发明示例性实施例的摄像机除了CPU101以外还包括AECPU112,但是CPU101也可以提供二者的功能。镜头处理单元(LPU)201是布置在摄影镜头单元200内部的CPU。LPU201将关于被摄体的距离信息发送给CPU101。
接下来,将参照图3和图4来描述脸相对于对焦框的尺寸与脸检测率之间的关系。脸检测率是指成功的脸检测的概率。
图3是例示在与脸相交叠的位置显示对焦框时脸尺寸与对焦框尺寸的比率和该脸的脸检测率之间的关系的图。图4是例示在不显示对焦框时脸尺寸与对焦框尺寸的比率和脸检测率之间的关系的图。
如图3中所例示的,根据本发明示例性实施例的摄像机在对焦框的横向尺度方面限定对焦框的尺寸。脸的尺寸是由以脸的宽度为边的正方形来限定的,底边落在下巴的底端上。应理解,这样的限定仅是如何表示对焦框尺寸和脸尺寸的示例。对焦框尺寸和脸尺寸的限定并不限于此。
例如,通过基于整个脸的轮廓和脸组成部分(包括眼睛、鼻子和耳朵)的模板匹配来进行脸检测。作为另一种选择,可以通过使用准备好的素材图像,使用神经网络来进行学习,使得像脸的区域被检测为脸。
如图3的图中所例示的,在脸尺寸相对于对焦框尺寸很小时,对焦框会与脸检测所需的组成部分(诸如眼睛和嘴)相交叠并将其隐藏。这导致低的脸检测率。图3与图4之间的对比示出,不显示对焦框时与显示对焦框时相比,脸检测率提高。因此,脸检测率依据是否显示对焦框而显著地变化。
接下来,将参照图5描述脸检测和跟踪序列。在以下描述中,“自动曝光(AE)处理单元”和“AF处理单元”分别是指包括传感器和对应的处理系统的CPU的单元。例如,AE处理单元是指测光单元108、AECPU112、以及连接到AECPU112的存储器113。AF处理单元是指焦点检测单元110、CPU101、以及连接到CPU101的存储器102。
AE处理单元和AF处理单元以预定周期重复测光计算和聚焦计算。将这样的预定周期分别地称作“测光周期1”、“测光周期2”、“测光周期3”、……。
最初,根据来自CPU101的测光开始命令而开始“测光周期1”。当测光周期1开始时,AE处理单元在时间段a1中积聚电荷并读取所积聚的电荷。与AE处理单元相并行,AF处理单元在时间段b1中积聚电荷并读取所积聚的电荷。接着,AE处理单元对所读取的图像信号进行跟踪计算。AF处理单元对所读取的图像信号进行聚焦计算。
AF处理单元基于聚焦计算的结果来驱动摄影镜头单元200中所包含的镜头组。AF处理单元由此基于关于对焦框中的任一对焦框的信息来进行AF操作。
AE处理单元的跟踪计算包括从视频信号中所包含的两个或更多个图像信号中提取高度地相关的区域,由此确定要被跟踪的区域移动到的位置。在测光命令之后的第一跟踪计算中,尚未确定要被跟踪的区域。因此,AE处理单元实际上不进行跟踪处理。
然后,AE处理单元通过使用所读取的图像信号来进行测光计算。接着,AE处理单元对所读取的图像信号进行脸检测计算。如果检测到任一脸,则AE处理单元确定脸的坐标、尺寸和可靠度,并将其存储起来。
在接下来的“测光周期2”中,AE处理单元在时间段a2中再次积聚电荷并读取所积聚的电荷。AF处理单元在时间段b2中积聚电荷并读取所积聚的电荷。然后,AE处理单元进行跟踪计算。AF处理单元进行聚焦计算。
如果在前一测光周期1中检测到脸,则AE处理单元在从紧接的前一测光周期(测光周期1)的图像信号中所获得的该脸的位置周围,设定根据该脸的尺寸的跟踪区域。如果在测光周期1中检测到多个脸,则AE处理单元针对各个脸来设定跟踪区域。
接下来,AE处理单元确定从紧接的前一测光周期1中所获得的图像信号中检测到的每个脸在测光周期2中所获得的图像信号中移动到哪里。例如,AE处理单元从在测光周期1中所设定的跟踪区域中提取与在紧接的前一测光周期1中所检测到的脸区域最高地相关的区域。然后,AE处理单元确定脸已移动到所提取的区域。具体地说,假定确定图像信号包括紧接的前一测光周期1中的脸区域。AE处理单元将图像信号叠加在测光周期2中所获得的图像信号的跟踪区域的一部分上,由此确定指示亮度信息和颜色信息的信号的电平的差异。AE处理单元在移动位置以将被确定为包括脸区域的图像信号叠加在跟踪区域的图像信号上的同时重复该处理。AE处理单元确定跟踪区域中的使信号电平的差异最小的一个跟踪区域是相关性最高的区域。如果显示对焦框,则对焦框的显示在其上反映的图像信号会与相关确定相干扰。与对焦框颜色相同的信号会被排除于相关计算之外。
现在,如果在紧接的前一测光周期1中未检测到脸,则AE处理单元在紧接的前一测光周期1中所选择的对焦框或者在紧接的前一测光周期1中被成功地跟踪的被摄体的位置周围设定跟踪区域。在紧接的前一测光周期中所选择的对焦框可以指通过用户的手动操作指定的对焦框。
在对焦框被指定时,AE处理单元进行跟踪计算以从测光周期2的图像信号中提取关于在紧接的前一测光周期1中所获得的图像信号中被所选择的对焦框包围的区域的图像信号的相关性最高的区域。如果在紧接的前一测光周期1中成功地跟踪被摄体,则AE处理单元进行跟踪计算以从测光周期2的图像信号中提取关于通过跟踪而提取的被摄体的区域的图像信号的相关性最高的区域。
接着,AF处理单元从AE处理单元接收跟踪计算的结果,并进行计算以选择对焦框。如果在测光周期1中未检测到脸,则在测光周期2中,AF处理单元仅根据AE处理单元的跟踪处理(即,使用亮度信息和色彩信息的跟踪处理)的结果来移动对焦框。如果在测光周期1中检测到脸,则AF处理单元将对焦框移动到在测光周期1中所检测到的脸的位置,只要预定条件得到满足即可。
AF处理单元基于根据新选择的对焦框而获得的聚焦计算的结果来驱动摄影镜头单元200中所包含的镜头组用于AF操作。
AE处理单元还通过使用在测光周期2中所获得的图像来进行测光计算和脸检测计算。在测光周期3及其后,AE处理单元和AF处理单元重复该操作。
接下来,将参照图6来描述用于控制根据示例性实施例的摄像机的方法和程序。用于控制根据示例性实施例的摄像机的方法和程序旨在基于脸检测和跟踪的结果来使根据本发明示例性实施例的摄像机移动对焦框。
图6是例示用于基于脸检测和跟踪来移动对焦框的算法的过程的流程图。该过程被作为程序存储在存储器113中。CPU101和AECPU112从存储器113中读取程序并执行该程序。换言之,CPU101和AECPU112用作摄像机的计算机。
CPU101(处理单元)开始脸检测和跟踪处理。在步骤S101中,CPU101最初确定显示单元107上是否显示有对焦框。如果显示单元107上显示有对焦框(步骤S101中的“是”),则CPU101前进到步骤S102。
在步骤S102中,CPU101针对“脸尺寸与对焦框尺寸的比率”设定阈值。该阈值用于确定是否将对焦框从当前选择的对焦框的位置移动到新检测到的脸的位置。该阈值被设定成脸检测率变成期望值(或者,高于或等于期望值)的“脸尺寸与对焦框尺寸的比率”。例如,为了将对焦框移动到其脸检测率高于或等于80%的脸,阈值被设定成“3”,如图3中所例示的。“脸检测率”与“脸尺寸与对焦框尺寸的比率”之间的关系取决于对焦框的形状以及对焦框的线的粗细。可以测量各类型的显示单元以确定该关系,并且可以基于测量结果来设定阈值。作为另一种选择,如果位于与脸相交叠的位置的对焦框当前被选择,则可以将与该脸的“脸尺寸与对焦框尺寸的比率”相同的值或更大的值设定为阈值。
由于对焦框具有相同的尺寸,因此针对脸尺寸与对焦框尺寸的比率来设定阈值等同于针对脸尺寸来设定阈值。为了简化,下文中可以将脸尺寸与对焦框尺寸的比率超过阈值简单地称作脸尺寸超过阈值。
在步骤S101中,如果CPU101确定显示单元107上未显示对焦框(步骤S101中的“否”),则CPU101不必针对将对焦框移动到脸来设定阈值,这是因为不存在与脸检测相干扰的对焦框。如图4中所例示的,脸检测率随着脸尺寸的减小而逐渐地减小。因此,即使确定不在显示单元107上显示对焦框,CPU101也预先设定预定大小的阈值。预定大小的阈值可以是比步骤S102中所设定的阈值小的值。
以这种方式,CPU101依据显示单元107上是否显示对焦框来改变阈值。
在步骤S103中,AECPU112使AE处理单元在时间段a1中积聚电荷以生成图像信号。
在步骤S104中,AECPU112通过使用在步骤S103中所获得的图像信号来进行跟踪计算、测光计算、及脸检测计算。AECPU112将跟踪计算的结果及脸检测计算的结果发送给CPU101。脸检测计算的结果包括关于每个检测到的脸(如果有的情况下)的尺寸、坐标及可靠度的信息。
在步骤S105中,CPU101确定在步骤S104中脸检测计算是否检测到脸。
如果未检测到脸(步骤S105中的“否”),则CPU101前进到步骤S110以将对焦框移动到与步骤S104中的跟踪计算的结果相对应的位置。
另一方面,如果检测到一个或多个脸(步骤S105中的“是”),则CPU101前进到步骤S106。在步骤S106中,CPU101从所检测到的脸中选择要成为主被摄体的脸(下文中,称作主脸)。主被摄体是被跟踪处理跟踪的对象。当在步骤S105中仅检测到单个脸时,CPU101选择所检测到的脸作为主脸。当在步骤S105中检测到多个脸时,CPU101选择这些脸中的一个脸作为主脸。例如,CPU101根据所检测到的脸的坐标、尺寸和可靠度来选择主脸。随着脸的位置越靠近图像中心、脸的尺寸越大、以及脸的可靠度越高,该脸更有可能被选择为主脸。在本示例性实施例中,可以将CPU101构造成至少基于脸的坐标和尺寸来选择主脸。
在步骤S107中,CPU101确定主脸的尺寸是否大于或等于所设定的阈值。该阈值是指在步骤S102中描述的阈值。
如果主脸的尺寸小于阈值(步骤S107中的“否”),则AECPU112前进到步骤S110。在步骤S110中,AECPU112将对焦框移动到与步骤S104中的跟踪计算的结果相对应的位置。
另一方面,如果主脸的尺寸大于或等于阈值(步骤S107中的“是”),则AECPU112前进到步骤S108。在步骤S108中,AECPU112计算当前选择的对焦框与检测到主脸的位置之间的距离。
如果所计算出的距离落在预定范围内(如果所计算出的距离小于或等于预定距离;步骤S108中的“是”),则AECPU112前进到步骤S109。如果所计算出的距离未落入预定范围内(步骤S108中的“否”),则AECPU112前进到步骤S110。
如果当前选择的对焦框距主脸的位置很远,则有可能由于对焦框的影响而未检测到用户认为是主脸的某人的脸,而选择另一人的脸作为主脸。如果当前选择的对焦框与主脸之间的距离未落入预定范围内,则AECPU112不将该主脸视为主被摄体(要被跟踪的对象)或者移动对焦框。
在步骤S109中,AECPU112将对焦框移动到所选择的主脸的位置。然后,AE处理单元在移动的位置进行AE操作。根据在紧接的前一测光周期中检测到的脸的尺寸适当地设定“预定范围”的具体值。
图9是例示与脸尺寸相关的对焦框的可移动范围的示例的图。例示了针对对焦框8被选择及对焦框15被选择的情况的对焦框的可移动范围的示例。确定与脸尺寸相关的对焦框的可移动范围能够提高对焦框移动到用户所期望的脸的概率。
可以将摄像机构造成提供附加处理,该处理在连续多次在当前选择的对焦框的位置未检测到脸时将对焦框移动到除了当前选择的对焦框以外的脸的位置。例如,假定脸尺寸与对焦框尺寸的比率为3(=脸检测率为80%)。在没有附加处理的情况下,对焦框可能以20%的概率移动到用户不期望的另一脸。附加该处理能够显著地减小该概率。
例如,将描述具有“如果连续三次在当前选择的对焦框的位置未检测到脸则将对焦框移动到除了当前选择的对焦框以外的脸的位置”的附加处理的构造。在脸检测率为80%时,附加该处理将对焦框移动到非期望脸的概率P(=连续三次未检测到脸的概率)减小到约1%,这由下式(1)给出:
P=1-(1/5)3=124/125=0.992(%)。                  (1)
接下来,将给出对在进行根据本发明示例性实施例的摄像机的控制方法时对焦框的移动的描述。
图7A、图7B、图7C和图7D是例示从位于与除了脸以外的被摄体相交叠的位置的对焦框被选择的状态到位于与脸相交叠的位置的对焦框被选择的状态的转变的图。
如图7A中所例示的,假定用户最初将对焦框设定成主被摄体的身体。在这种情况下,如图7B中所例示的,AECPU112在当前选择的对焦框(对焦框8)的位置的区域的图像信号作为跟踪计算的对象的情况下在该位置(身体)进行AE操作,直到主被摄体的脸尺寸与对焦框尺寸的比率超过阈值为止。如图7C中所例示的,如果主被摄体的脸尺寸与对焦框尺寸的比率超过阈值,则AECPU112新选择位于与主被摄体的脸相交叠的位置的对焦框。然后,摄像机对该脸进行AF操作。结果,主被摄体的脸(=主脸)对焦。如图7D中所例示的,AECPU112跟踪主被摄体的脸以维持主被摄体的脸对焦的状态。
图8A和图8B是例示位于与脸相交叠的位置的对焦框被选择的状态的图。
AECPU112检测到两个脸而未选择对焦框。右侧的脸比左侧的脸尺寸更大、更靠近像平面中心、并且可靠度更高。因此,AECPU112将右侧的脸确定为主被摄体。然后,AECPU112选择位于与右侧的脸相交叠的位置的对焦框,并以彩色显示所选择的对焦框。
图8A例示了AE处理单元在紧接的前一测光周期中获得的图像信号。由于对焦框的显示的影响,AECPU112未能检测到位于所选择的对焦框的位置的、右侧的人脸。然而,AECPU112能够检测到左侧的人脸。
在该时间点,仅成功地检测到左侧的人脸。根据传统技术,在与左侧的人脸相交叠的位置选择新的对焦框,该对焦框小但是被成功地检测到。根据本示例性实施例的摄像机针对脸尺寸来设定阈值,使得即使主被摄体的脸未被检测到而另一人的脸被检测到,也不选择新的对焦框,除非另一人的脸具有足够大的尺寸。因此,摄像机能够继续对主被摄体的脸进行AF操作,如图8B中所例示的。
将参照图10A和图10B来描述图9中所例示的对与脸尺寸相关的对焦框的可移动范围进行确定的优点。如图10A中所例示的,假定用户最初选择位于左侧的人的身体的位置的对焦框。还假定针对脸尺寸的用于允许对焦框移动的阈值被设定成“2”。左侧的人脸还是太小而不能进行脸检测。另一方面,未被用户选择的右侧的人脸的尺寸能够进行脸检测,并且脸尺寸与对焦框尺寸的比率大于或等于2且小于2.5。如果仅确定针对脸尺寸的用于允许对焦框移动的阈值“2”而未设定对焦框的可移动范围,则对焦框可能移动到不是主被摄体的右侧的人脸。
如图9中所例示的,限制与脸尺寸相关的对焦框的可移动范围能够抑制对焦框移动到与用户所期望的脸不同的脸。结果,摄像机跟踪左侧的人体的位置,并通过使用根据位于与人体相交叠的位置的对焦框而获得的信息来进行AF操作。
如图10B中所例示的,左侧的人接近摄像机,从而左侧的人脸变得可检测。在主被摄体的脸尺寸与对焦框尺寸的比率超过“2”时,摄像机新选择对焦框3来替代对焦框8。这里,对焦框3位于与脸尺寸相对应的可移动范围内并与脸相交叠。对焦框8位于与身体相交叠的位置。AECPU112跟踪左侧的人,并且摄像机通过使用根据位于与脸相交叠的位置的对焦框而获得信息来进行AF操作。由于左侧的人脸被对焦框隐藏,因此对焦框有可能移动到右侧的人脸。为了防止该移动,可以插入用于一旦脸检测成功且脸开始被跟踪时就暂时地禁止对焦框移动到在另一位置发现的脸的过程。
如上所述,根据传统结构,如果被摄体中存在多个脸并且当前被跟踪的脸由于所显示的对焦框而变得不可检测,则对焦框移动到另一脸。然而,根据本发明示例性实施例,AECPU112通过使用当前选择的对焦框来继续跟踪,并且仅当存在尺寸大于阈值的脸时才将对焦框移动到该脸。根据本发明示例性实施例,这样即使在主被摄体的脸(=主脸)变得不可检测时并且脸检测率下降时,也能够防止对焦框从用户所期望的位置移动到另一位置。
在图6的步骤S101中,CPU101简单地确定是否显示对焦框。然而,CPU101可以确定是否显示位于与脸相交叠的位置的对焦框。作为另一种选择,在步骤S102中,CPU101可以针对在检测到脸之前显示对焦框的情况设定比针对在检测到脸之后显示对焦框的情况更小的阈值。原因是在未检测到脸时脸检测与对焦框的显示相干涉的概率低。
在图6的流程图中,CPU101仅对主脸做出步骤S107和步骤S108的确定。然而,CPU101可以对检测到的所有的脸做出步骤S107和步骤S108的确定。
前述示例性实施例针对检测脸的功能。如果提供了检测预定特定被摄体(例如,特定的人、或者如狗和车的特定的动物或物体)的功能,则可以应用相似的构造。本发明的示例性实施例并不限于拍摄静止图像的照相机,而是可以应用于拍摄移动图像的摄像机。
本发明的示例性实施例还涵盖将用于实现前述示例性实施例的功能的程序直接地从记录介质或经由有线或无线通信而提供给系统或设备并且执行该程序的构造,所述系统或设备包括能够执行程序的计算机。因此,要被提供给计算机并安装在计算机中以便在计算机上实现本发明示例性实施例的功能处理的程序代码自身也构成本发明的示例性实施例。换言之,本发明示例性实施例也涵盖用于实现本发明示例性实施例的功能处理的程序自身。这样的程序可以具有任意形式,只要具有程序的功能即可。示例包括目标代码、要由解释程序来执行的程序、以及要提供给操作系统(OS)的脚本数据。用于提供程序的记录介质的适用示例包括诸如软盘、硬盘和磁带的磁记录介质,以及磁光盘(MO)、只读光盘存储器(CD-ROM)、可记录光盘(CD-R)、可重写光盘(CD-RW)、数字多用途盘只读存储器(DVD-ROM)、可记录数字多用途盘(DVD-R)、以及可重写数字多用途盘(DVD-RW)。光学和磁光存储介质以及非易失性半导体存储器也是适用的。
虽然参照示例性实施例对本发明进行了描述,但是应当理解,本发明并不限于所公开的示例性实施例。应当对下列权利要求的范围给予最宽的解释,以使其涵盖所有这些变型例、等同的结构和功能。

Claims (6)

1.一种成像设备,其包括:
显示单元,其被构造成显示对焦框以指示所述对焦框的位置;
测光单元,透过所述显示单元的光入射在所述测光单元上;
检测单元,其被构造成从由所述测光单元获得的图像信号中检测预定被摄体;以及
处理单元,其被构造成根据所述检测单元的检测的结果来选择所述显示单元能够显示的多个对焦框中的至少一个对焦框,并使所述显示单元显示所选择的对焦框,
其中,所述处理单元在所检测到的被摄体的尺寸与在所述显示单元上显示的所述对焦框的尺寸的比率大于或等于预定阈值的情况下,将所述显示单元要显示的对焦框的位置移动到与所检测到的被摄体相对应的位置,而在所述比率小于所述阈值的情况下,不将所述显示单元要显示的对焦框的位置移动到与所检测到的被摄体相对应的位置。
2.根据权利要求1所述的成像设备,其中,所述处理单元在所述对焦框不被显示在所述显示单元上的情况与所述对焦框被显示在所述显示单元上的情况之间改变所述阈值。
3.根据权利要求1所述的成像设备,其中,在所检测到的被摄体的尺寸与在所述显示单元上显示的所述对焦框的尺寸的比率大于或等于所述阈值、并且所检测到的被摄体位于距当前选择的对焦框的位置预定范围内的位置的情况下,所述处理单元将所述显示单元要显示的对焦框的位置移动到与所述被摄体相对应的位置。
4.根据权利要求3所述的成像设备,其中,所述处理单元根据所检测到的被摄体的尺寸来设定所述预定范围。
5.根据权利要求1所述的成像设备,其中,所述检测单元进行从另一图像信号中提取与由对焦框指示的位置的图像信号高度地相关的区域的跟踪处理,并且
其中,在所检测到的被摄体的尺寸与所述显示单元上显示的所述对焦框的尺寸的比率小于所述阈值的情况下,所述处理单元将所述显示单元要显示的对焦框的位置移动到与通过所述跟踪处理提取的所述区域相对应的位置。
6.一种成像设备的控制方法,所述成像设备包括被构造成显示对焦框以指示所述对焦框的位置的显示单元,所述控制方法包括如下步骤:
从由透过所述显示单元的光入射在其上的测光单元获得的图像信号中检测预定被摄体;
确定所述被摄体的尺寸与所述对焦框的尺寸的比率是否大于或等于预定阈值;以及
在所述被摄体的尺寸与所述对焦框的尺寸的比率大于或等于所述阈值的情况下,将所述显示单元要显示的对焦框的位置移动到与所述被摄体相对应的位置,而在所述比率小于所述阈值的情况下,不将所述显示单元要显示的对焦框的位置移动到与所述被摄体相对应的位置。
CN201210222788.1A 2011-06-30 2012-06-29 具有被摄体检测功能的成像设备及其控制方法 Expired - Fee Related CN102857688B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011-145933 2011-06-30
JP2011145933 2011-06-30
JP2012108679A JP5979967B2 (ja) 2011-06-30 2012-05-10 被写体検出機能を備えた撮像装置、撮像装置の制御方法、及び、プログラム
JP2012-108679 2012-05-10

Publications (2)

Publication Number Publication Date
CN102857688A true CN102857688A (zh) 2013-01-02
CN102857688B CN102857688B (zh) 2016-02-24

Family

ID=47390275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210222788.1A Expired - Fee Related CN102857688B (zh) 2011-06-30 2012-06-29 具有被摄体检测功能的成像设备及其控制方法

Country Status (3)

Country Link
US (1) US9191569B2 (zh)
JP (1) JP5979967B2 (zh)
CN (1) CN102857688B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104427248A (zh) * 2013-08-28 2015-03-18 佳能株式会社 摄像装置及其控制方法
CN109510939A (zh) * 2017-09-15 2019-03-22 中兴通讯股份有限公司 相机缩放对焦的roi调整方法、装置及存储介质
CN111586283A (zh) * 2019-02-19 2020-08-25 北京小米移动软件有限公司 变焦方法及装置
CN112585531A (zh) * 2018-08-31 2021-03-30 索尼公司 成像设备、成像系统、成像方法和成像程序
US11889177B2 (en) 2018-08-31 2024-01-30 Sony Semiconductor Solutions Corporation Electronic device and solid-state imaging device

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2896980B1 (en) * 2012-09-11 2020-03-11 Sony Corporation Imaging apparatus and method for controlling an imaging apparatus
US9286509B1 (en) * 2012-10-19 2016-03-15 Google Inc. Image optimization during facial recognition
JP2015082753A (ja) * 2013-10-23 2015-04-27 キヤノン株式会社 情報処理システム、撮影装置及びその制御方法、並びにプログラム
JP6512810B2 (ja) * 2014-12-11 2019-05-15 キヤノン株式会社 撮像装置および制御方法とプログラム
EP3142347B1 (en) * 2015-09-11 2020-10-21 Nintendo Co., Ltd. Method and device for obtaining high resolution images from low resolution image sensors
JP6825203B2 (ja) * 2015-12-01 2021-02-03 株式会社ニコン 結像制御装置およびカメラ
JP7011402B2 (ja) * 2017-05-16 2022-01-26 キヤノン株式会社 撮像装置およびその制御方法
CN111050060B (zh) 2018-10-12 2021-08-31 华为技术有限公司 一种应用于终端设备的对焦方法、装置和终端设备
CN112132162B (zh) * 2020-09-08 2024-04-02 Oppo广东移动通信有限公司 图像处理方法、图像处理器、电子设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4929824A (en) * 1988-02-26 1990-05-29 Fuji Photo Film Co., Ltd. light metering device with detector matrix and mean value detection
CN101620360A (zh) * 2008-06-30 2010-01-06 佳能株式会社 摄像设备及其控制方法
US20100098397A1 (en) * 2008-10-16 2010-04-22 Kunio Yata Auto focus system having af frame auto-tracking function

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH112862A (ja) * 1997-06-11 1999-01-06 Nikon Corp 光学装置およびカメラ
JP2005221602A (ja) * 2004-02-04 2005-08-18 Konica Minolta Photo Imaging Inc 撮像装置
JP2007065290A (ja) * 2005-08-31 2007-03-15 Nikon Corp オートフォーカス装置
WO2007077283A1 (en) * 2005-12-30 2007-07-12 Nokia Corporation Method and device for controlling auto focusing of a video camera by tracking a region-of-interest
JP4702193B2 (ja) 2006-06-21 2011-06-15 株式会社ニコン 被写体領域特定装置、被写体領域特定方法およびカメラ
US8253800B2 (en) * 2006-06-28 2012-08-28 Nikon Corporation Tracking device, automatic focusing device, and camera
EP1909229B1 (en) * 2006-10-03 2014-02-19 Nikon Corporation Tracking device and image-capturing apparatus
US20080136958A1 (en) * 2006-12-11 2008-06-12 Pentax Corporation Camera having a focus adjusting system and a face recognition function
JP4254873B2 (ja) * 2007-02-16 2009-04-15 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
JP4872834B2 (ja) * 2007-07-04 2012-02-08 株式会社ニコン 画像認識装置、焦点調節装置および撮像装置
JP5171468B2 (ja) * 2008-08-06 2013-03-27 キヤノン株式会社 撮像装置及び撮像装置の制御方法
US7860387B2 (en) * 2008-08-12 2010-12-28 Canon Kabushiki Kaisha Imaging apparatus and control method therefor
JP2010096963A (ja) 2008-10-16 2010-04-30 Fujinon Corp Af枠自動追尾機能を備えたオートフォーカスシステム
JP2010103615A (ja) * 2008-10-21 2010-05-06 Sony Corp 撮像装置およびその制御方法
JP5384172B2 (ja) * 2009-04-03 2014-01-08 富士フイルム株式会社 オートフォーカスシステム
JP5110043B2 (ja) * 2009-06-18 2012-12-26 株式会社ニコン 撮像装置
JP2011027847A (ja) * 2009-07-22 2011-02-10 Fujifilm Corp Af枠自動追尾システム
JP5448900B2 (ja) * 2010-02-15 2014-03-19 キヤノン株式会社 撮像装置
JP2011164543A (ja) * 2010-02-15 2011-08-25 Hoya Corp 測距点選択システム、オートフォーカスシステム、およびカメラ
JP5609270B2 (ja) * 2010-05-28 2014-10-22 ソニー株式会社 撮像装置、撮像システム、撮像装置の制御方法およびプログラム
JP5725793B2 (ja) * 2010-10-26 2015-05-27 キヤノン株式会社 撮像装置およびその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4929824A (en) * 1988-02-26 1990-05-29 Fuji Photo Film Co., Ltd. light metering device with detector matrix and mean value detection
CN101620360A (zh) * 2008-06-30 2010-01-06 佳能株式会社 摄像设备及其控制方法
US20100098397A1 (en) * 2008-10-16 2010-04-22 Kunio Yata Auto focus system having af frame auto-tracking function

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104427248A (zh) * 2013-08-28 2015-03-18 佳能株式会社 摄像装置及其控制方法
US9866755B2 (en) 2013-08-28 2018-01-09 Canon Kabushiki Kaisha Image capture apparatus and method for controlling the same
CN104427248B (zh) * 2013-08-28 2018-02-23 佳能株式会社 摄像装置及其控制方法
CN109510939A (zh) * 2017-09-15 2019-03-22 中兴通讯股份有限公司 相机缩放对焦的roi调整方法、装置及存储介质
CN112585531A (zh) * 2018-08-31 2021-03-30 索尼公司 成像设备、成像系统、成像方法和成像程序
US11595608B2 (en) 2018-08-31 2023-02-28 Sony Corporation Imaging apparatus, imaging system, imaging method, and imaging program including sequential recognition processing on units of readout
US11704904B2 (en) 2018-08-31 2023-07-18 Sony Corporation Imaging apparatus, imaging system, imaging method, and imaging program
US11741700B2 (en) 2018-08-31 2023-08-29 Sony Corporation Imaging apparatus, imaging system, imaging method, and imaging program
US11763554B2 (en) 2018-08-31 2023-09-19 Sony Corporation Imaging apparatus, imaging system, imaging method, and imaging program
US11889177B2 (en) 2018-08-31 2024-01-30 Sony Semiconductor Solutions Corporation Electronic device and solid-state imaging device
US12080061B2 (en) 2018-08-31 2024-09-03 Sony Group Corporation Imaging apparatus, imaging system, imaging method, and imaging program
CN111586283A (zh) * 2019-02-19 2020-08-25 北京小米移动软件有限公司 变焦方法及装置

Also Published As

Publication number Publication date
JP2013034177A (ja) 2013-02-14
CN102857688B (zh) 2016-02-24
US9191569B2 (en) 2015-11-17
JP5979967B2 (ja) 2016-08-31
US20130002884A1 (en) 2013-01-03

Similar Documents

Publication Publication Date Title
CN102857688B (zh) 具有被摄体检测功能的成像设备及其控制方法
US11671702B2 (en) Real time assessment of picture quality
JP4127296B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
US10033919B2 (en) Focus adjusting apparatus, focus adjusting method, image capturing apparatus, and storage medium
US8363122B2 (en) Image taking apparatus execute shooting control depending on face location
US20040051029A1 (en) Focus control apparatus, image sensor, program and storage medium
US8817122B2 (en) Image pickup apparatus
CN105359502B (zh) 追踪装置、追踪方法以及存储了追踪程序的非易失性存储介质
US11682131B2 (en) Image capturing apparatus and method of controlling image capturing apparatus
CN101427266A (zh) 选择性地取消数字图像资格的方法和设备
CN101616252A (zh) 摄像装置及其摄像装置的控制方法
US20090028394A1 (en) Imaging device, image detecting method and focus adjusting method
CN103905727A (zh) 被摄体区域跟踪设备及其控制方法
CN103501406A (zh) 图像采集系统及图像采集方法
US10484591B2 (en) Focus adjusting apparatus, focus adjusting method, and image capturing apparatus
CN103379279A (zh) 被摄体区域检测装置及其方法、图像摄取装置及显示装置
EP2512120A1 (en) Imaging apparatus and control method
CN103004179A (zh) 跟踪装置和跟踪方法
CN103841319A (zh) 摄像设备
JP4506779B2 (ja) 撮像装置及びプログラム
CN104155839A (zh) 用于提供3维图像的系统和方法
JP5109864B2 (ja) 電子スチルカメラ
JP5383308B2 (ja) 画像処理装置
JP4996568B2 (ja) 撮像装置および撮像装置の制御方法
US11877051B2 (en) Eye-gaze information acquiring apparatus, imaging apparatus, eye-gaze information acquiring method, and computer-readable storage medium

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160224

CF01 Termination of patent right due to non-payment of annual fee