CN113542586A - 摄像设备、摄像设备的控制方法和存储介质 - Google Patents
摄像设备、摄像设备的控制方法和存储介质 Download PDFInfo
- Publication number
- CN113542586A CN113542586A CN202110431640.8A CN202110431640A CN113542586A CN 113542586 A CN113542586 A CN 113542586A CN 202110431640 A CN202110431640 A CN 202110431640A CN 113542586 A CN113542586 A CN 113542586A
- Authority
- CN
- China
- Prior art keywords
- detection
- section
- focus detection
- focus
- image pickup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
Abstract
本发明提供摄像设备、摄像设备的控制方法和存储介质。摄像设备包括:用于拍摄被摄体的图像的摄像部;用于从摄像部所拍摄的图像中检测被摄体的检测部;用于基于检测部的检测结果在画面内设置多个焦点检测框的设置部;用于检测多个焦点检测框中的各焦点检测框内的焦点状态及其可靠性的焦点检测部;以及用于基于检测部和焦点检测部的检测结果来选择用于进行焦点调整的主焦点检测框的选择部,并且该选择部使得用于选择主焦点检测框的方法根据检测部所检测到的被摄体部位而变化。
Description
技术领域
本发明涉及摄像设备中的焦点调整技术。
背景技术
近年来,诸如摄像面相位差AF方法和对比度AF方法等的使用图像传感器的各种AF方法(自动调焦方法)已投入实际使用。此外,针对这种AF方法,已经建立了通过识别主被摄体的区域来实现调焦的技术。
作为该方法,日本特开2010-191073进行控制,以从多个AF框中检测落入预定深度内的相邻块,并从块中选择主AF框。
另外,日本特开2015-041901除了检测落入预定深度内的块之外,还通过使用颜色信息来提高主被摄体区域的识别精度。
此外,日本特开2019-121860公开了一种方法,该方法检测瞳孔等作为面部中所包括的器官,判断与所检测到的器官有关的检测结果的可靠度,并在检测可靠度高的区域中设置焦点检测区域。以这种方式,可以在已经以更高精度识别主被摄体的状态下进行调焦。
然而,由于日本特开2010-191073、日本特开2015-041901和日本特开2019-121860中所述的技术以高精度检测主被摄体的区域并且基于检测结果来设置焦点检测区域,因此并不总是在适合焦点检测的区域中进行焦点检测。如果被判断为主被摄体的区域不是适合焦点检测的区域,则可能无法进行精确的焦点调整。
发明内容
针对上述问题而做出了本发明,并且本发明在避开难以进行焦点检测的区域的同时,在优先级较高的区域中准确地进行焦点调整。
根据本发明的第一方面,提供一种摄像设备,包括:摄像部,其被配置为拍摄被摄体的图像;检测部,其被配置为从所述摄像部所拍摄的图像检测所述被摄体;设置部,其被配置为基于所述检测部的检测结果在所述图像内设置多个焦点检测框;焦点检测部,其被配置为检测所述多个焦点检测框中的各焦点检测框内的焦点状态及其可靠性;以及选择部,其被配置为基于所述检测部和所述焦点检测部的检测结果来选择用于进行焦点调整的主焦点检测框,其中,所述选择部被配置为使得用于选择所述主焦点检测框的方法根据所述检测部所检测到的被摄体的部位而变化。
根据本发明的第二方面,提供一种摄像设备的控制方法,所述摄像设备包括用于拍摄被摄体的图像的摄像部,所述控制方法包括:从所述摄像部所拍摄的图像检测所述被摄体;基于所述检测中的检测结果在所述图像内设置多个焦点检测框;进行焦点检测以检测所述多个焦点检测框中的各焦点检测框内的焦点状态及其可靠性;以及基于所述检测和所述焦点检测中的检测结果来选择用于进行焦点调整的主焦点检测框,其中,所述选择使得用于选择所述主焦点检测框的方法根据所述检测中所检测到的被摄体的部位而变化。
根据本发明的第三方面,提供一种计算机可读存储介质,其存储用于使得计算机执行上述控制方法的各步骤的程序。
通过以下参考附图对示例性实施例的描述,本发明的其它特征将变得明显。
附图说明
图1是示出作为本发明的摄像设备的一个实施例的数字照相机的结构的框图。
图2是示出一个实施例的数字照相机的操作的流程图。
图3是用于描述设置AF框的操作的流程图。
图4A和图4B是示出与人类的面部有关的检测区域的概念的图。
图5A和图5B是示出与人类的瞳孔、面部和身体有关的检测区域的概念的图。
图6A和图6B是示出与动物的瞳孔、面部和身体有关的检测区域的概念的图。
图7A和图7B是示出数字照相机中AF操作的流程图。
图8是示出焦点检测处理的流程图。
图9是示出用于选择AF主框的操作的流程图。
图10是示出用于以使检测中心优先的方式来选择AF主框的操作的流程图。
图11是示出用于以使中央区域中的最近被摄体优先的方式来选择AF主框的操作的流程图。
图12是示出用于以使检测区域的可靠度优先的方式来选择AF主框的操作的流程图。
图13是示出用于以使中央区域的可靠度优先的方式来选择AF主框的操作的流程图。
图14是示出用于以使中央区域中的预测优先的方式来选择AF主框的操作的流程图。
具体实施方式
在后文中,将参考附图详细描述实施例。注意,以下实施例不旨在限制所要求保护的本发明的范围。在实施例中描述了多个特征,但并非限制需要所有这样的特征的本发明,并且可以适当地组合多个这样的特征。此外,在附图中,相同或相似的结构被赋予了相同的附图标记,并省略其冗余描述。
图1是示出作为本发明的摄像设备的一个实施例的数字照相机300的结构的框图。
在图1中,数字照相机300被配置成可更换镜头100经由包括电触点单元106的未示出的安装单元可拆卸地(可更换地)附接到照相机主体200。
可更换镜头100包括具有作为拍摄光学系统的变焦机构的拍摄透镜101、用于控制光量的光圈和快门102以及后面将描述的用于实现聚焦于图像传感器的调焦透镜103。马达104驱动调焦透镜103,并且镜头控制器105控制整个可更换镜头100。
照相机主体200包括图像传感器201。图像传感器201包括具有将来自被摄体的反射光转换为电信号的光电二极管的大量像素。A/D转换单元202包括去除图像传感器201的输出噪音的CDS电路和在A/D转换之前操作的非线性放大电路,并将来自图像传感器201的模拟信号转换为数字信号。照相机主体200还包括图像处理单元203、AF处理单元204、格式转换单元205和高速内置存储器(例如,随机存取存储器;在后文中称为DRAM)206。
图像记录单元207由诸如存储卡等的记录介质和用于该介质的接口组成。定时生成器208生成控制数字照相机300的操作定时的定时信号,并且系统控制单元209控制诸如拍摄序列等的整个数字照相机的操作。镜头通信单元210使得能够进行照相机主体200和可更换镜头100之间的通信。被摄体检测单元211从拍摄的图像信号中检测被摄体。
图像显示存储器(在后文中称为VRAM)212存储用于显示的图像。图像显示单元213显示图像,并且也进行用于辅助操作的显示和照相机的状态的显示。图像显示单元213还显示拍摄时的拍摄画面和焦点检测区域。操作单元214包括用于从外部操作照相机的操作构件。拍摄模式开关215是用于选择诸如微距模式和运动模式等的拍摄模式的操作构件。主开关216是用于接通数字照相机300的电源的开关。当半按下释放按钮时,释放开关(SW1)217接通并使得开始诸如AF和AE等的拍摄准备操作。当完全按下释放按钮时,释放开关(SW2)218接通并使得开始拍摄操作。
DRAM 206用作作为临时图像存储部的高速缓冲器、以及用于图像压缩和解压缩的工作存储器等。操作单元214包括各种项。这些各种项包括例如用于配置诸如摄像设备的拍摄功能和图像再现功能的设置等的各种类型的设置的菜单开关、以及用于在拍摄模式和再现模式之间切换的操作模式切换开关等。
图像传感器201由CCD或CMOS传感器组成。通过可更换镜头100的拍摄光学系统的光束在图像传感器201的受光面上形成为图像,并且由光电二极管转换成与入射光量相对应的信号电荷。各个光电二极管中累积的信号电荷被转换成电压信号,并且根据来自系统控制单元209的指令,基于来自定时生成器208的驱动脉冲,从图像传感器201顺次读出电压信号。
照相机主体200中使用的图像传感器201中的各像素包括两个(一对)光电二极管A、B和为这对光电二极管A、B共同地提供的一个微透镜。各像素通过经由微透镜分割入射光儿在该对光电二极管A、B上形成光学图像对,并且从这对光电二极管A、B输出要用于将在后面描述的AF信号的像素信号对(A信号和B信号)。另外,可以通过将该对光电二极管A、B的输出相加来获得摄像信号(A+B信号)。
将从多个像素输出的多个A信号和多个B信号合成在一起,这将产生图像信号对作为要用在基于摄像面相位差检测方法的AF中(在后文中称为摄像面相位差AF)的AF信号(换言之,焦点检测信号)。AF信号处理单元204通过对该图像信号对进行相关计算来计算作为该图像信号对之间的位移量的相位差(在后文中称为图像位移量),并且还根据该图像位移量计算拍摄光学系统的散焦量(以及散焦方向和可靠性(焦点状态))。此外,假设AF信号处理单元204计算可以在画面上指定的多个区域(焦点检测区域)中的散焦量。
下面将使用图2描述本实施例的数字照相机300的操作。图2是示出该数字照相机300的操作的流程图。
首先,在步骤S201中,系统控制单元209检查释放开关(SW1)217的状态,在该释放开关接通时,系统控制单元209进入步骤S202,并且在该释放开关断开时,系统控制单元209待机。
在步骤S202中,系统控制单元209针对AF信号处理单元204设置后面将描述的AF框(焦点检测框),并进入步骤S203。
系统控制单元209在步骤S203中进行后面将描述的AF操作,并进入步骤S204。
在步骤S204中,系统控制单元209检查释放开关(SW1)217的状态,当该释放开关接通时处理进入步骤S205,否则返回步骤S201。
在步骤S205中,系统控制单元209检查释放开关(SW2)218的状态,当该释放开关接通时处理进入步骤S206,否则返回步骤S204。
系统控制单元209在步骤S206中进行拍摄操作,然后返回步骤S201。
图3是用于描述本实施例中的用于设置焦点检测框的处理的流程图。
首先,在步骤S301中,系统控制单元209从被摄体检测单元211获得被摄体检测信息。在本实施例中,假设人类或诸如狗和野鸟等的动物以及该被摄体内的主要区域被检测为被摄体。主要区域表示人类或动物的瞳孔、面部和身体。作为检测这些的方法,例如,使用作为已知技术的基于深度学习的学习方法或图像处理方法。在本实施例中,由于可以使用已知方法作为被摄体检测方法,因此省略对被摄体检测方法的详细描述。
在步骤S302中,系统控制单元209根据被摄体检测单元211的检测结果来判断是否能够检测到多个主要区域。当能够检测到多个主要区域时,处理进入步骤S303,否则,处理进入步骤S304。
现在使用图4A、4B、5A和5B描述在检测到一个主要区域的情况下和在检测到多个主要区域的情况下的检测的概念。图4A示出仅检测到面部a的状态,而图5A示出检测到瞳孔A、面部B和身体C的状态。假设可以从被摄体检测单元211获得诸如人类和动物等的被摄体类型以及各个检测到的主要区域的中心坐标、水平大小和垂直大小。
在步骤S303中,系统控制单元209输入所检测到的主要区域的大小中的最小值,也就是说,图5A中的瞳孔A的区域的水平大小和垂直大小的值中较小的一个作为MinA,并且将MinA视为一个AF框大小。
在步骤S305中,系统控制单元209从各个检测到的主要区域的水平坐标和水平大小获得图5B所示的包括所有主要区域的水平大小H,并通过将该H除以AF框大小MinA来确定水平方向上的AF框的数量。
在步骤S307中,系统控制单元209从各个检测到的主要区域的垂直坐标和垂直大小获得图5B所示的包括所有主要区域的垂直大小V,并通过将该V除以AF框大小MinA来确定垂直方向上的AF框的数量。然后,AF框的设置结束。
在动物的情况下,控制流程也与人类的情况下相同,并且检测区域的概念和AF框的设置分别如图6A和图6B所示。虽然本实施例使用最小大小的主要区域来组成方形AF框,但是AF框大小可以在水平方向和垂直方向之间变化,并且可以设置系统控制单元209可计算的AF框的数量。
在步骤S304中,系统控制单元209针对检测到的面部设置具有预定大小X的AF框。作为大小X,可以设置根据面部所估计的瞳孔大小,或者可以考虑低亮度环境来设置能够确保S/N并且确保足够的调焦性能的框大小。假设在本实施例中将所估计的瞳孔大小设置为大小X。
在步骤S306中,系统控制单元209基于AF框的大小来设置包括面部a的区域的AF框的数量Y。
图7A和图7B是用于描述图2的步骤S203中的AF操作的流程图。
首先,系统控制单元209通过在步骤S401中进行焦点检测处理来检测散焦量和可靠性(可靠度),并进入步骤S402。之后将描述该焦点检测处理。
在步骤S402中,系统控制单元209利用在步骤S401中获得的可靠度来选择AF主框,并进入步骤S403。之后将描述AF主框的选择。
在步骤S403中,系统控制单元209检查在步骤S401中检测到的散焦量的可靠度是否高于预先设置的可靠度阈值2。当可靠度高于可靠度阈值2时,处理进入步骤S404;否则,处理进入步骤S413。这里,可靠度阈值2被设置成:低于可靠度阈值2的可靠度不能保证散焦量的精度,但可以保证被摄体的焦点位置的方向。在步骤S404中,系统控制单元209检查在步骤S401中检测到的散焦量是否等于或小于预先设置的Def量阈值2。当散焦量等于或小于Def量阈值2时,处理进入步骤S405;否则,处理进入步骤S412。这里,Def量阈值2被设置成(例如,将比大于(五倍于)焦点深度的量设置为Def量阈值2):如果在预定次数(例如,三次)或更少次数内进行与等于或小于Def量阈值2的散焦量相对应的透镜驱动,则该散焦量可以在焦点深度内控制调焦透镜。
在步骤S405中,系统控制单元209检查调焦透镜103是否处于停止状态,在调焦透镜103处于停止状态时处理进入步骤S406,否则,处理进入步骤S410。
在步骤S406中,系统控制单元209检查在步骤S401中检测到的散焦量的可靠度是否高于预先设置的可靠度阈值1。当可靠度高于可靠度阈值1时,处理进入步骤S407;否则,处理进入步骤S410。这里,可靠度阈值1被设置成:高于可靠度阈值1的可靠度使散焦量的精度的变化保持在预定范围内(例如,在焦点深度内)。
在步骤S407中,系统控制单元209检查在步骤S401中检测到的散焦量是否等于或小于预先设置的Def量阈值1。当散焦量等于或小于Def量阈值1时,处理进入步骤S408,否则,处理进入步骤S409。这里,Def量阈值1被设置成:检测到的等于或小于Def量阈值1的散焦量使得在焦点深度内控制调焦透镜。
在步骤S408中,系统控制单元209判断为当前状态是聚焦状态,并结束本流程。
在步骤S409中,系统控制单元209以在步骤S401中检测到的散焦量来驱动调焦透镜103,然后返回步骤S401。
通过进行从步骤S405至步骤S409的操作序列,在步骤S401中检测到的可靠度高于可靠度阈值1的情况下,在透镜已经停止的状态下可以再次检测散焦量。
在步骤S410中,系统控制单元209以在步骤S401中检测到的散焦量的预定百分比来驱动调焦透镜103,并且进入步骤S411。
在步骤S411中,系统控制单元209发出用于停止调焦透镜103的指令,并返回步骤S401。
在步骤S412中,系统控制单元209以在步骤S401中检测到的散焦量的预定百分比来驱动调焦透镜103,并返回步骤S401。这里,设置预定百分比使得透镜驱动量小于散焦量(例如,80%)。此外,透镜速度被设置成例如比在一帧时间段内正确进行透镜驱动的速度慢。这可以防止在检测到的散焦量不准确的情况下超过被摄体的焦点位置,并且还可以在无需停止透镜而驱动透镜的情况下进行下一透镜驱动(重叠控制)。
在步骤S413中,系统控制单元209检查离焦条件是否被满足。在已经满足离焦条件的情况下,处理进入步骤S414,否则处理进入步骤S415。这里,离焦条件是判断为不存在要被聚焦的被摄体的条件,并且例如是在调焦透镜103的可移动范围内已经完成透镜驱动的情况。也就是说,是调焦透镜103在检测到在远侧和近侧的镜头端这二者之后已经返回到初始位置的条件。
在步骤S414中,系统控制单元209判断为当前状态是离焦状态,并结束本流程。
在步骤S415中,系统控制单元209检查调焦透镜103是否已经到达在远侧或近侧的镜头端。当到达镜头端时,处理进入步骤S416,否则处理进入步骤S417。
在步骤S416中,系统控制单元209反转调焦透镜103的驱动方向,并返回步骤S401。在步骤S417中,在预定方向上驱动调焦透镜103,并且处理返回步骤S401。将调焦透镜速度设置为例如在可以检测到散焦量的情况下不超过焦点位置的透镜速度范围内的最高速度。
将使用图8来描述步骤S401中的焦点检测处理。
首先,在步骤S501中,系统控制单元209设置图像传感器201内的具有任意范围的焦点检测区域,并进入步骤S502。
在步骤S502中,系统控制单元209针对步骤S501中设置的焦点检测区域从图像传感器201获得用于焦点检测的图像信号对(A图像和B图像),并进入步骤S503。
在步骤S503中,系统控制单元209进行用于将步骤S502中获得的图像对在垂直方向上相加和平均的处理,然后进入步骤S504。该处理可以减轻图像信号的噪声的影响。
在步骤S504中,系统控制单元209进行用于从步骤S503中在垂直方向上相加和平均的结果中提取在预定频带上的信号分量的滤波处理,然后进入步骤S505。
在步骤S505中,系统控制单元209根据步骤S504中的滤波处理所产生的信号来计算相关量,并进入步骤S506。
在步骤S506中,系统控制单元209根据步骤S505中所计算的相关量来计算相关变化量,并进入步骤S507。
在步骤S507中,系统控制单元209根据步骤S506中所计算的相关变化量来计算图像位移量,并进入步骤S508。
在步骤S508中,系统控制单元209计算用以指示步骤S507中所计算的图像位移量可以被信赖的程度的可靠度,并进入步骤S509。
在步骤S509中,系统控制单元209将图像位移量转换为散焦量,并结束焦点检测处理。
图9是示出图7A的步骤S402中的用于选择主框的操作的流程图。在选择主焦点检测框时,根据被摄体的部位从具有高优先级的被摄体依次搜索主焦点检测框。
首先,在步骤S601中,系统控制单元209在初始位置处设置主框作为主框选择的预准备。
在步骤S602中,系统控制单元209判断被摄体检测单元211是否已经检测到被摄体的瞳孔。在已检测到瞳孔的情况下,处理进入步骤S604;在未检测到瞳孔的情况下,处理进入步骤S603。
系统控制单元209在步骤S604中将瞳孔区域设置为主框选择区域,并在下一步骤S605中进行之后将描述的以检测中心优先的主框选择。
在步骤S607中,系统控制单元209针对瞳孔区域中的主框的选择结果来判断所选择的主框的可靠度是否等于或高于主框可靠度阈值。当判断为可靠度等于或高于阈值时,处理进入步骤S614;否则,处理进入步骤S603。步骤S607用于判断在瞳孔的检测区域中选择的主框的检测散焦量是否等于或小于预定变化。例如,可以将前述可靠度阈值1等设置为主框可靠度阈值。当在步骤S607中判断为难以在瞳孔区域中选择主框时,处理进入步骤S603以在面部区域中选择主框。
在步骤S603中,系统控制单元209判断被摄体检测单元211是否已经检测到被摄体的面部。当检测到面部时,处理进入步骤S608;当未检测到面部时,处理进入步骤S611。
在步骤S608中,系统控制单元209将面部区域设置为主框选择区域,并且在下一步骤S609中,进行之后将描述的以检测中心优先的主框选择。
在步骤S610中,系统控制单元209针对在面部区域中的主框的选择结果来判断所选择的框的可靠度是否等于或高于主框可靠度阈值。当判断为可靠度等于或高于阈值时,处理进入步骤S614;否则,处理进入步骤S611。步骤S610用于判断在面部检测区域中选择的主框的检测散焦量是否等于或小于预定变化。例如,与瞳孔区域的情况同样地,可靠度阈值1等可以设置为主框可靠度阈值。当在步骤S610中判断为难以在面部区域中选择主框时,处理进入步骤S611以在身体区域中选择主框。
在步骤S611中,系统控制单元209判断被摄体检测单元211是否已检测到被摄体的身体。当已检测到身体时,处理进入步骤S612;当未检测到身体时,处理进入步骤S614。
在步骤S612中,系统控制单元209将身体区域设置为主框选择区域,并且在下一步骤S613中,进行之后将描述的以中央区域中的最近被摄体优先的主框选择。
在步骤S614中,系统控制单元209判断主框是否处于初始位置,以检查最终是否能够在瞳孔、面部和身体其中之一上设置主框。当主框与初始值相对应时,处理进入步骤S615;否则,结束主框选择处理。
在步骤S615中,系统控制单元209在多个点处选择主框。注意,在步骤S615中,虽然可能采用例如无需使用检测信息在画面内的预定区域中选择主框的方法,由于这不是本实施例的主要部分,因此省略其详细描述。
接着,使用图10和图11描述适合各个检测部位的主框选择处理。在本实施例中,当检测部位是瞳孔或面部时,检测部位占据被摄体内部相对小的区域,因此使用重视检测中心的位置的主框选择处理。图10是用于以使检测中心优先的方式来选择主框的操作的流程图。
从步骤S701至步骤S704,针对焦点检测区域内的每个焦点检测框执行同样的处理。
在步骤S702中,系统控制单元209判断焦点检测框是否比当前设置为主框的焦点检测框更接近检测区域的中心。当焦点检测框更接近时,处理进入步骤S703以更新主框;当焦点检测框更远时,处理进入步骤S704。针对每个焦点检测框执行上述处理,并且完成主框选择处理。
接着,描述在检测部位是身体的情况下的主框选择处理。当检测部位是身体时,在被摄体内部检测到相对大的区域。然后,在可能具有复杂被摄体形状的身体区域中选择主框时,在重视检测区域内的、被摄体存在概率高的中央区域中存在被摄体的框(最近被摄体优先)的同时进行主框选择处理。图11是示出用于以使中央区域中的最近被摄体优先的方式来选择主框的操作的流程图。
在步骤S801中,系统控制单元209配置用于在下一步骤S802中设置主框搜索区域的框的数量的初始设置。
系统控制单元209在步骤S802中设置主框搜索区域,并进入步骤S803。从步骤S803至步骤S807,针对焦点检测区域内的每个焦点检测框执行同样的处理。
在步骤S804中,系统控制单元209判断焦点检测框是否在主框搜索区域内;当焦点检测框在主框搜索区域内时,处理进入步骤S805。在步骤S805中,系统控制单元209判断焦点检测框的散焦量是否与比当前设置的主框的检测散焦量短的距离相对应。当焦点检测框的散焦量与较短距离相对应时,在下一步骤S806中更新主框;当焦点检测框的散焦量不与较短距离相对应时,处理进入步骤S807,从而进入与下一焦点检测框相关的判断。针对每个焦点检测框执行上述处理,并且处理进入步骤S808。
在步骤S808中,系统控制单元209判断所选择的主框的检测散焦量的可靠度是否等于或高于预定阈值。当判断为可靠度等于或高于预定阈值时,完成主框选择处理。当在步骤S808中判断为可靠度低于预定阈值时,处理进入步骤S809和S810,放大主框搜索区域,并执行前述步骤S802至S808。当在步骤S809中已经在整个焦点检测区域中完成主框搜索时,完成主框选择处理。
本实施例的应用使得在检测到多个被摄体部位的情况下在避开难以进行焦点检测的区域的同时能够在优先级较高的区域中执行正确的焦点调整。例如,在被摄体是违背摄影师意图四处移动的动物(诸如狗、猫和鸟等)的情况下,可以在避开由于检测散焦量的低可靠度而难以进行焦点检测的部位的同时在具有较高优先级的部位中进行焦点调整。
尽管到目前为止已经详细描述了本发明的一个实施例,但是本发明并不限于前述实施例,并且不背离本发明主旨的各种实施例也包含在本发明内。
在本实施例中,当已检测到瞳孔或面部时,使用重视检测中心的位置的主框选择处理,然而当已检测到身体时,使用重视检测区域内的、被摄体存在概率高的中央区域中存在被摄体的框的主框选择处理。对于诸如瞳孔和面部等的倾向于在被摄体内部具有相对小的大小的被摄体,在假设在被摄体的检测位置中几乎没有位移的情况下,执行重视检测中心的位置的主框选择处理。然而,例如,当需要考虑检测位置中的位移时,可以进行用于选择具有可靠度更高的检测散焦量的焦点检测框作为主框的处理。图12是示出用于以使检测区域内的、具有可靠度高的检测散焦量的焦点检测框优先的方式来选择主框的操作的流程图。
从步骤S901至步骤S905,针对焦点检测区域内的每个焦点检测框执行同样的处理。在步骤S902中,系统控制单元209判断焦点检测框是否在被摄体的检测部位的区域内。当焦点检测框在该区域内时,在下一步骤S903中判断该焦点检测框是否具有比当前设置为主框的焦点检测框高的可靠性;当该焦点检测框具有更高可靠性时,处理进入步骤S904以更新主框。当判断为该焦点检测框具有比当前设置为主框的焦点检测框低的可靠性时,处理进入步骤S905,针对每个焦点检测框进行该判断,并完成主框选择处理。
此外,在本实施例中,在已检测到身体并且主框在瞳孔或面部具有低可靠度的情况下,考虑到被摄体形状的复杂度,针对身体区域,使用重视被摄体存在概率高的中央区域中存在被摄体的框的主框选择处理。然而,例如,当不需要考虑被摄体形状的复杂度时,可以进行用于选择具有可靠度更高的检测散焦量的焦点检测框作为主框的处理。图13是示出用于以使中央区域的可靠度优先的方式来选择主框的操作的流程图。
在步骤S1001中,系统控制单元209配置用于在下一步骤S1002中设置主框搜索区域的框的数量的初始设置。
在步骤S1002中,系统控制单元209设置主框搜索区域,并进入步骤S1003。从步骤S1003至步骤S1007,针对焦点检测区域内的每个焦点检测框执行同样的处理。
在步骤S1004中,系统控制单元209判断焦点检测框是否在主框搜索区域内;当焦点检测框在主框搜索区域内时,处理进入步骤S1005。在步骤S1005中,判断焦点检测框与当前设置的主框相比是否具有可靠度更高的检测散焦量。当焦点检测框具有可靠度更高的检测散焦量时,在下一步骤S1006中更新主框;当焦点检测框具有可靠度较低的检测散焦量时,处理进入S1007,从而进入与下一焦点检测框有关的判断。针对每个焦点检测框执行上述处理,并且处理进入步骤S1008。
在步骤S1008中,系统控制单元209判断所选择的主框的检测散焦量的可靠度是否等于或高于预定阈值。当在步骤S1008中判断为可靠度等于或高于预定阈值时,完成主框选择处理。当在步骤S1008中判断为可靠度较低时,处理进入步骤S1009和S1010,放大主框搜索区域,并执行前述步骤S1002至S1008。当在步骤S1009中在整个焦点检测区域中完成主框搜索时,完成主框选择处理。
此外,在例如与被摄体的检测部位无关地不存在被摄体的风险高的场景中(诸如被摄体的运动激烈的情况等),可以基于与焦点调整模式是用于拍摄静止物体(静止被摄体)的模式还是用于拍摄动态物体(运动被摄体)的模式有关的判断来设置主框选择处理。在用于拍摄动态物体的模式的情况下,通过从过去的多个帧中的被摄体位置的历史信息预测对象帧中的被摄体位置,来跟踪焦点位置。将使用用于优先选择指示接近前述预测被摄体位置的位置的焦点检测框作为主框的处理来描述本修改示例。图14是示出用于以使中央区域中的预测优先的方式来选择主框的操作的流程图。
在步骤S1101中,系统控制单元209配置用于在下一步骤S1102中设置主框搜索区域的框的数量的初始设置。在步骤S1102中,系统控制单元209设置主框搜索区域,并进入步骤S1103。
从步骤S1103至步骤S1107,针对焦点检测区域内的每个焦点检测框执行同样的处理。在步骤S1104中,系统控制单元209判断焦点检测框是否在主框搜索区域内;当焦点检测框在主框搜索区域内时,处理进入步骤S1105。在步骤S1105中,判断焦点检测框是否比当前设置的主框更接近从检测散焦量和当前透镜位置所预测的被摄体位置。当焦点检测框更接近时,在下一步骤S1106中更新主框;当焦点检测框较远时,处理进入S1107,从而进行与下一焦点检测框有关的判断。针对每个焦点检测框执行上述处理,并且处理进入步骤S1108。
在步骤S1108中,系统控制单元209判断所选择的主框的检测散焦量的可靠度是否等于或高于预定阈值。当在步骤S1108中判断为可靠度等于或高于预定阈值时,完成主框选择处理。当在步骤S1108中判断为可靠度较低时,处理进入步骤S1109和S1110,放大主框搜索区域,并执行前述步骤S1102至S1108。当在步骤S1109中已经在整个焦点检测区域中完成主框搜索时,完成主框选择处理。
本修改示例的应用使得能够在避开难以进行焦点检测的区域的同时,还针对运动剧烈的被摄体,在具有较高优先级的区域中执行正确的焦点调整。
其它实施例
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考实施例描述本发明,但要理解的是本发明不限于所公开的实施例,而是由以下权利要求的范围来限定。
Claims (12)
1.一种摄像设备,包括:
摄像部,其被配置为拍摄被摄体的图像;
检测部,其被配置为从所述摄像部所拍摄的图像检测所述被摄体;
设置部,其被配置为基于所述检测部的检测结果在所述图像内设置多个焦点检测框;
焦点检测部,其被配置为检测所述多个焦点检测框中的各焦点检测框内的焦点状态及其可靠性;以及
选择部,其被配置为基于所述检测部和所述焦点检测部的检测结果来选择用于进行焦点调整的主焦点检测框,
其中,所述选择部被配置为使得用于选择所述主焦点检测框的方法根据所述检测部所检测到的被摄体的部位而变化。
2.根据权利要求1所述的摄像设备,
其中,所述选择部被配置为使得用于选择所述主焦点检测框的方法在所述被摄体是静止被摄体的情况和所述被摄体是运动被摄体的情况之间变化。
3.根据权利要求1所述的摄像设备,
其中,所述选择部被配置为使得用于选择所述主焦点检测框的方法在焦点调整模式是用于聚焦于静止被摄体的模式的情况和所述焦点调整模式是用于聚焦于运动被摄体的模式的情况之间变化。
4.根据权利要求1所述的摄像设备,
其中,所述选择部被配置为使得用于选择所述主焦点检测框的方法根据所述检测部所检测到的部位的大小而变化。
5.根据权利要求1所述的摄像设备,
其中,所述选择部被配置为基于所述检测部的检测结果、所述设置部的设置和所述焦点检测部的检测结果来选择所述主焦点检测框。
6.根据权利要求1所述的摄像设备,
其中,所述设置部被配置为在所述检测部已检测到与多个检测区域相对应的被摄体的多个部位的情况下,针对包括所述多个检测区域的区域设置所述多个焦点检测框。
7.根据权利要求6所述的摄像设备,
其中,所述设置部被配置为基于与所述检测部所检测到的被摄体的部位相对应的检测区域中的最小区域的大小来设置所述多个焦点检测框。
8.根据权利要求1所述的摄像设备,
其中,所述选择部被配置为在瞳孔被检测为所述被摄体的部位的情况下,以使该部位的中心优先的方式来选择所述主焦点检测框。
9.根据权利要求1所述的摄像设备,
其中,所述选择部被配置为在面部被检测为所述被摄体的部位的情况下,以使该部位的中心优先的方式来选择所述主焦点检测框。
10.根据权利要求1所述的摄像设备,
其中,所述选择部被配置为在身体被检测为所述被摄体的部位的情况下,以使最近被摄体优先的方式来选择所述主焦点检测框。
11.一种摄像设备的控制方法,所述摄像设备包括用于拍摄被摄体的图像的摄像部,所述控制方法包括:
从所述摄像部所拍摄的图像检测所述被摄体;
基于所述检测中的检测结果在所述图像内设置多个焦点检测框;
进行焦点检测以检测所述多个焦点检测框中的各焦点检测框内的焦点状态及其可靠性;以及
基于所述检测和所述焦点检测中的检测结果来选择用于进行焦点调整的主焦点检测框,
其中,所述选择使得用于选择所述主焦点检测框的方法根据所述检测中所检测到的被摄体的部位而变化。
12.一种计算机可读存储介质,其存储用于使得计算机执行根据权利要求11所述的控制方法的各步骤的程序。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020075608A JP2021173803A (ja) | 2020-04-21 | 2020-04-21 | 撮像装置およびその制御方法、プログラム、記憶媒体 |
JP2020-075608 | 2020-04-21 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113542586A true CN113542586A (zh) | 2021-10-22 |
Family
ID=75783865
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110431640.8A Pending CN113542586A (zh) | 2020-04-21 | 2021-04-21 | 摄像设备、摄像设备的控制方法和存储介质 |
Country Status (5)
Country | Link |
---|---|
US (2) | US11412129B2 (zh) |
JP (1) | JP2021173803A (zh) |
CN (1) | CN113542586A (zh) |
DE (1) | DE102021109762A1 (zh) |
GB (1) | GB2595559B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022131706A (ja) | 2021-02-26 | 2022-09-07 | キヤノン株式会社 | 画像処理装置およびその制御方法、撮像装置、プログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4182117B2 (ja) * | 2006-05-10 | 2008-11-19 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム及び記憶媒体 |
JP5339955B2 (ja) | 2009-02-17 | 2013-11-13 | キヤノン株式会社 | 焦点調節装置及び焦点調節方法 |
JP5873378B2 (ja) * | 2012-04-10 | 2016-03-01 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP2015041901A (ja) | 2013-08-22 | 2015-03-02 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 |
CN105765434B (zh) * | 2013-09-24 | 2019-06-11 | 索尼公司 | 成像装置、成像方法和程序 |
CN107645632B (zh) * | 2016-07-21 | 2020-06-16 | 佳能株式会社 | 焦点调节设备、焦点调节方法、摄像设备和存储介质 |
US10432853B2 (en) * | 2017-02-27 | 2019-10-01 | Sony Corporation | Image processing for automatic detection of focus area |
JP6918605B2 (ja) * | 2017-06-29 | 2021-08-11 | キヤノン株式会社 | 撮像制御装置、制御方法、プログラム、及び記憶媒体 |
JP2019086775A (ja) * | 2017-11-06 | 2019-06-06 | キヤノン株式会社 | 画像処理装置、その制御方法、プログラム及び記憶媒体 |
JP7154758B2 (ja) | 2017-12-28 | 2022-10-18 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
JP7129294B2 (ja) * | 2018-09-21 | 2022-09-01 | キヤノン株式会社 | 電子機器および領域選択方法 |
-
2020
- 2020-04-21 JP JP2020075608A patent/JP2021173803A/ja active Pending
-
2021
- 2021-03-29 GB GB2104423.5A patent/GB2595559B/en active Active
- 2021-04-09 US US17/226,901 patent/US11412129B2/en active Active
- 2021-04-19 DE DE102021109762.2A patent/DE102021109762A1/de active Pending
- 2021-04-21 CN CN202110431640.8A patent/CN113542586A/zh active Pending
-
2022
- 2022-07-08 US US17/861,065 patent/US11838628B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20220345636A1 (en) | 2022-10-27 |
JP2021173803A (ja) | 2021-11-01 |
US20210329172A1 (en) | 2021-10-21 |
GB202104423D0 (en) | 2021-05-12 |
DE102021109762A1 (de) | 2021-10-21 |
US11412129B2 (en) | 2022-08-09 |
GB2595559A (en) | 2021-12-01 |
GB2595559B (en) | 2023-06-07 |
US11838628B2 (en) | 2023-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4429328B2 (ja) | 自動合焦装置とその制御方法並びに撮像装置 | |
EP1956831B1 (en) | Focus adjusting device, image pickup apparatus, and focus adjustment method | |
JP2010015024A (ja) | 撮像装置、その制御方法、プログラム及び記憶媒体 | |
JP5004649B2 (ja) | 焦点調節装置、撮像装置、および焦点調節方法 | |
CN109391768B (zh) | 调焦控制设备、调焦控制方法及存储介质 | |
JP6774233B2 (ja) | 焦点検出装置、制御方法およびプログラム | |
JP5030308B2 (ja) | 自動合焦装置とその制御方法並びに撮像装置 | |
JP5306116B2 (ja) | 焦点状態検出装置、撮像装置、およびその制御方法 | |
JP6139960B2 (ja) | 撮像装置およびその制御方法 | |
JP6431429B2 (ja) | 撮像装置およびその制御方法、プログラム、ならびに記憶媒体 | |
CN113542586A (zh) | 摄像设备、摄像设备的控制方法和存储介质 | |
JP6234016B2 (ja) | 焦点調節装置、撮像装置及びその制御方法 | |
JP6799711B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
JP5409201B2 (ja) | 焦点検出装置及び焦点検出方法 | |
JP6105917B2 (ja) | 焦点調節装置及び方法、及び撮像装置 | |
CN112422811B (zh) | 透镜控制设备、控制方法和存储介质 | |
JP6071561B2 (ja) | 焦点調節装置及び方法 | |
JP6624789B2 (ja) | 合焦制御装置、その制御方法、および制御プログラム、並びに撮像装置 | |
JP2022170035A (ja) | 制御装置、撮像装置、制御方法、及びプログラム | |
JP2022163859A (ja) | 制御装置、撮像装置、制御方法、及びプログラム | |
CN112153277B (zh) | 摄像设备及其控制方法以及存储介质 | |
JP6521649B2 (ja) | 撮像装置、その制御方法及びプログラム | |
JP2024030558A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2021157160A (ja) | 撮像装置およびその制御方法 | |
JP2023117708A (ja) | 撮像装置、撮像装置の制御方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |