CN115702383A - 成像控制装置、成像控制方法和程序 - Google Patents

成像控制装置、成像控制方法和程序 Download PDF

Info

Publication number
CN115702383A
CN115702383A CN202180041510.1A CN202180041510A CN115702383A CN 115702383 A CN115702383 A CN 115702383A CN 202180041510 A CN202180041510 A CN 202180041510A CN 115702383 A CN115702383 A CN 115702383A
Authority
CN
China
Prior art keywords
region
interest
exposure
detected
target value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180041510.1A
Other languages
English (en)
Inventor
三村祐介
足立贤一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN115702383A publication Critical patent/CN115702383A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • G03B7/093Digital circuits for control of exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

本成像装置包括曝光控制单元,该曝光控制单元基于由感兴趣区域检测单元从拍摄的图像中检测到的感兴趣区域的信息来执行曝光控制。如果从拍摄的图像中检测到感兴趣区域,则曝光控制单元执行如下曝光控制,其中基于从输入帧中至少包括感兴趣区域的第一测光区域获得的感兴趣区域测光值计算出的感兴趣区域曝光目标值被设置为曝光控制值。如果未从拍摄的图像中检测到感兴趣区域,则曝光控制单元执行如下曝光控制,其中基于从输入帧中预先确定的第二测光区域获得的设定区域测光值计算出的设定区域曝光目标值被设置为曝光控制值。在未从拍摄的图像中检测到感兴趣区域的感兴趣区域丢失的时间起连续未检测到感兴趣区域的预先确定的时段内,基于感兴趣区域丢失的时间之前的感兴趣区域曝光目标值计算曝光校正值,并然后用通过用曝光校正值校正设定区域曝光目标值获得的曝光控制值来执行曝光控制。

Description

成像控制装置、成像控制方法和程序
技术领域
本技术涉及成像装置并且涉及用于成像的设置。
背景技术
已知一种执行与各种成像相关的处理的技术,诸如对由成像装置拍摄的图像的曝光控制。
引文列表
专利文献
专利文献1:日本专利申请特许公开No.2018-33013
发明内容
本发明要解决的问题
在此,作为成像装置中的曝光控制,存在面部自动曝光(AE)技术,其中执行曝光控制以使得被摄体的面部区域具有适当的亮度。
但是,在面部AE中,假设检测到面部而执行控制,因此当由于被摄体面向侧面或其它原因而未检测到面部时,可能无法执行适当的曝光控制。
因此,本公开提出了一种用于改进成像装置的曝光控制功能的技术。
问题的解决方案
根据本技术的成像控制装置包括曝光控制单元,该曝光控制单元被配置为基于由感兴趣区域检测单元从拍摄的图像中检测到的感兴趣区域的信息来执行曝光控制,其中曝光控制单元被配置为:在从拍摄的图像中检测到感兴趣区域的情况下,执行曝光控制,其中基于从输入帧中至少包括感兴趣区域的第一测光区域获得的感兴趣区域测光值计算出的感兴趣区域曝光目标值被设置为曝光控制值;在未从拍摄的图像中检测到感兴趣区域的情况下,执行曝光控制,其中基于从输入帧中预先确定的第二测光区域获得的设定区域测光值计算出的设定区域曝光目标值被设置为曝光控制值;以及,在未从拍摄的图像中检测到感兴趣区域的感兴趣区域丢失的时间起连续未检测到感兴趣区域的预先确定的时段内,基于感兴趣区域丢失的时间之前的感兴趣区域曝光目标值获得曝光校正值,并然后用通过用曝光校正值校正设定区域曝光目标值获得的曝光控制值来执行曝光控制。
此处提到的感兴趣区域是指在拍摄的图像中存在预先定义为要关注的目标的物体的区域。作为感兴趣区域中的目标的物体的示例包括独立对象,诸如人、动物、植物、汽车、火车、飞机和家具,以及独立物体中的特定部分,例如人的脸或手、汽车的牌照等。根据上述配置,例如,在执行曝光控制以使感兴趣区域具有面部自动曝光(面部AE)中的适当亮度的情况下,当感兴趣区域丢失时,在其后的预先确定的时段内,用通过用基于感兴趣区域丢失的时间之前的感兴趣区域曝光目标值获得的曝光校正值校正设定区域曝光目标值获得的曝光控制值执行曝光控制。由于将通过用基于感兴趣区域丢失的时间之前的感兴趣区域曝光目标值的曝光校正值校正设定区域曝光目标值而获得的曝光控制值用作感兴趣区域丢失之后的预先确定的时段内的曝光控制值,因此当整个构图的亮度在预先确定的时段内没有改变时,即使在感兴趣区域丢失之后,感兴趣区域中存在的被摄体的亮度也可以被适当地维持,并且即使当整个构图的亮度在预先确定的时段内改变时,也能够防止其中不能像在用感兴趣区域丢失的时间之前的感兴趣区域曝光目标值执行AE锁定的情况下一样跟随整个构图的亮度改变的情况。
在上述根据本技术的成像控制装置中,曝光校正值可以被配置为指示感兴趣区域丢失的时间之前的设定区域曝光目标值与感兴趣区域丢失的时间之前的感兴趣区域曝光目标值之间的关系的值。
据此,在感兴趣区域丢失之后的预先确定的时段内,设定区域曝光目标值可以用曝光目标值进行校正,以再现感兴趣区域丢失的时间之前的设定区域曝光目标值与感兴趣区域丢失的时间之前的感兴趣区域曝光目标值之间的关系。
在上述根据本技术的成像控制装置中,在预先确定的时段中,曝光控制单元可以被配置为用获得的曝光校正值来执行曝光控制,以便使设定区域曝光目标值与用曝光校正值校正的设定区域曝光目标值之间的特定数值关系等同于感兴趣区域丢失的时间之前的设定区域曝光目标值与感兴趣区域丢失的时间之前的感兴趣区域曝光目标值之间的特定数值关系。
本文提到的“特定数值关系”是指两个数值之间的数值关系当中的特定数值关系,并且“数值关系”是指诸如两个数值之间的差、两个数值之间的比之类的数值关系。根据上述配置,在感兴趣区域丢失之后的预先确定的时段中,执行曝光控制,使得诸如设定区域曝光目标值与用曝光校正值校正的设定区域曝光目标值之间的差或比率之类的特定数值关系等同于感兴趣区域丢失的时间之前的设定区域曝光目标值与感兴趣区域丢失的时间之前的感兴趣区域曝光目标值之间的特定数值关系(以便再现关系)。
在上述根据本技术的成像控制装置中,曝光校正值可以被配置为感兴趣区域丢失的时间之前的设定区域曝光目标值与感兴趣区域丢失的时间之前的感兴趣区域曝光目标值之间的差值。
据此,在感兴趣区域丢失之后的预先确定的时段内,执行曝光控制,使得设定区域曝光目标值与用曝光校正值校正的设定区域曝光目标值之间的差等同于感兴趣区域丢失的时间之前的设定区域曝光目标值与感兴趣区域丢失的时间之前的感兴趣区域曝光目标值之间的差。
在上述根据本技术的成像控制装置中,在由感兴趣区域检测单元在拍摄的图像中的特定区域内部和外部分别检测到感兴趣区域的情况下,曝光控制单元可以被配置为基于检测到的感兴趣区域的尺寸、检测到的感兴趣区域的数量或检测到的感兴趣区域的位置中的至少一个来计算用于计算曝光校正值的感兴趣区域曝光目标值。
关于在特定区域外检测到的感兴趣区域,在区域尺寸小、区域的数量小或者距在特定区域内检测到的感兴趣区域的距离长的情况下,当在计算曝光校正值时考虑感兴趣区域的曝光目标值时,存在无法使在特定区域内检测到的感兴趣区域中的被摄体的亮度适当的可能性。
在上述根据本技术的成像控制装置中,在特定区域外检测到的感兴趣区域的尺寸大于基准尺寸的情况下,曝光控制单元可以被配置为使用为感兴趣区域计算的感兴趣区域曝光目标值来计算曝光校正值,并且在特定区域外检测到的感兴趣区域的尺寸不大于基准尺寸的情况下,曝光控制单元可以被配置为不使用为感兴趣区域计算的感兴趣区域曝光目标值来计算曝光校正值。
据此,关于在特定区域外检测到的感兴趣区域,在感兴趣区域的尺寸大并且在感兴趣区域丢失之后的设定区域曝光目标值的校正中不能忽略感兴趣区域的情况下,可以使用感兴趣区域的曝光目标值来计算曝光校正值,并且相反,在尺寸小并且在感兴趣区域丢失之后的设定区域曝光目标值的校正中可以忽略感兴趣区域的情况下,可以防止使用感兴趣区域的曝光目标值来计算曝光校正值。
在上述根据本技术的成像控制装置中,基准尺寸可以被配置为在特定区域中检测到的感兴趣区域的尺寸。
据此,基于在特定区域内部/外部检测到的感兴趣区域的相对尺寸关系来确定是否使用在特定区域外检测到的感兴趣区域的曝光目标值来计算曝光校正值。
在上述根据本技术的成像控制装置中,在特定区域外检测到的感兴趣区域的数量大于阈值的情况下,曝光控制单元可以被配置为使用为在特定区域外检测到的感兴趣区域计算的感兴趣区域曝光目标值来计算曝光校正值,并且在特定区域外检测到的感兴趣区域的数量不大于阈值的情况下,曝光控制单元可以被配置为不使用为在特定区域外检测到的感兴趣区域计算的感兴趣区域曝光目标值来计算曝光校正值。
据此,关于在特定区域外检测到的感兴趣区域,在感兴趣区域的数量大并且在感兴趣区域丢失之后的设定区域曝光目标值的校正中不能忽略特定区域外的感兴趣区域的情况下,可以使用感兴趣区域的曝光目标值来计算曝光校正值,并且相反,在感兴趣区域的数量小并且在感兴趣区域丢失之后的设定区域曝光目标值的校正中可以忽略特定区域外的感兴趣区域的情况下,可以防止使用感兴趣区域的曝光目标值来计算曝光校正值。
在上述根据本技术的成像控制装置中,在作为在特定区域外检测到的感兴趣区域,当存在距在特定区域内检测到的感兴趣区域某个距离以内的感兴趣区域的情况下,曝光控制单元可以被配置为使用为感兴趣区域计算的感兴趣区域曝光目标值来计算曝光校正值,并且当不存在距在特定区域内检测到的感兴趣区域某个距离以内的感兴趣区域的情况下,曝光控制单元可以被配置为不使用为特定区域外检测到的感兴趣区域计算的感兴趣区域曝光目标值来计算曝光校正值。
据此,关于在特定区域外检测到的感兴趣区域,在与特定区域内的感兴趣区域接近的距离处的感兴趣区域(换句话说,在其中与特定区域内的感兴趣区域的亮度差可能显眼的感兴趣区域)的情况下,亮度差在不使用感兴趣区域的曝光目标值来计算曝光校正值的情况下发生,感兴趣区域的曝光目标值可以被用于计算曝光校正值,并且相反,在距离特定区域内的感兴趣区域远且亮度差不可能显眼的感兴趣区域的情况下,可以防止将感兴趣区域的曝光目标值用于计算曝光校正值。
在上述根据本技术的成像控制装置中,曝光控制单元可以被配置为基于由感兴趣区域检测单元检测到的感兴趣区域的尺寸来改变预先确定的时段。
例如,在感兴趣区域的尺寸小的情况下,感兴趣区域以外的区域作为构图占主导地位,并且当预先确定的时段(即,使用曝光校正值的曝光控制时段)长时,存在其中感兴趣区域以外的区域的曝光不适当的时段长的可能性。换句话说,存在不自然曝光状态作为整个构图持续长时间的可能性。如上所述,当根据感兴趣区域的尺寸改变所述预先确定的时段时,在感兴趣区域的尺寸小的情况下可以缩短所述预先确定的时段,并且能够防止不自然曝光状态作为整个构图持续长时间。
在上述根据本技术的成像控制装置中,曝光控制单元可以被配置为基于由感兴趣区域检测单元检测到的感兴趣区域的数量来改变预先确定的时段。
例如,在感兴趣区域的数量小的情况下,感兴趣区域以外的区域作为构图占主导地位,并且当预先确定的时段(即,使用曝光校正值的曝光控制时段)长时,存在其中感兴趣区域以外的区域的曝光不适当的时段长的可能性。换句话说,存在不自然曝光状态作为整个构图持续长时间的可能性。如上所述,当根据感兴趣区域的数量改变所述预先确定的时段时,在感兴趣区域的数量小的情况下可以缩短所述预先确定的时段,并且能够防止不自然曝光状态作为整个构图持续长时间。
在上述根据本技术的成像控制装置中,曝光控制单元可以被配置为基于在某时间内感兴趣区域丢失的次数来改变所述预先确定的时段。
例如,在某时间内感兴趣区域丢失的次数大的事实意味着在感兴趣区域是人的面部区域的情况下将面部转向后方或转过面部的频率高,并且可以说丢失的感兴趣区域很可能在感兴趣区域丢失之后立即再次被检测到。根据上述配置,如上所述,与感兴趣区域丢失的频率高的情况对应,可以缩短预先确定的时段(即,使用曝光校正值的曝光控制时段)。
在上述根据本技术的成像控制装置中,曝光控制单元可以被配置为基于用户的操作来改变预先确定的时段。
据此,可以根据用户的偏好设置使用感兴趣区域丢失之后的曝光校正值的曝光控制的持续时间。
根据本技术的成像控制方法是一种成像控制方法,其中,基于由感兴趣区域检测单元从拍摄的图像中检测到的感兴趣区域的信息来执行曝光控制的成像控制装置被配置为:在从拍摄的图像中检测到感兴趣区域的情况下,执行曝光控制,其中基于从输入帧中至少包括感兴趣区域的第一测光区域获得的感兴趣区域测光值计算出的感兴趣区域曝光目标值被设置为曝光控制值;在未从拍摄的图像中检测到感兴趣区域的情况下,执行曝光控制,其中基于从输入帧中预先确定的第二测光区域获得的设定区域测光值计算出的设定区域曝光目标值被设置为曝光控制值;以及,在未从拍摄的图像中检测到感兴趣区域的感兴趣区域丢失的时间起连续未检测到感兴趣区域的预先确定的时段内,基于感兴趣区域丢失的时间之前的感兴趣区域曝光目标值获得曝光校正值,并然后用通过用曝光校正值校正设定区域曝光目标值获得的曝光控制值来执行曝光控制。
用这种信息处理方法,也能够获得与上述根据本技术的信息处理装置的效果相似的效果。
根据本技术的程序是计算机设备可读的程序,该程序使计算机设备实现以下功能作为基于由感兴趣区域检测单元从拍摄的图像中检测到的感兴趣区域的信息执行的曝光控制的功能:在从拍摄的图像中检测到感兴趣区域的情况下,执行曝光控制,其中基于从输入帧中至少包括感兴趣区域的第一测光区域获得的感兴趣区域测光值计算出的感兴趣区域曝光目标值被设置为曝光控制值;在未从拍摄的图像中检测到感兴趣区域的情况下,执行曝光控制,其中基于从输入帧中预先确定的第二测光区域获得的设定区域测光值计算出的设定区域曝光目标值被设置为曝光控制值;以及,在未从拍摄的图像中检测到感兴趣区域的感兴趣区域丢失的时间起连续未检测到感兴趣区域的预先确定的时段内,基于感兴趣区域丢失的时间之前的感兴趣区域曝光目标值获得曝光校正值,并然后用通过用曝光校正值校正设定区域曝光目标值获得的曝光控制值来执行曝光控制。
利用这种程序,实现了上述根据本技术的信息处理装置。
附图说明
图1是根据本技术实施例的成像控制装置的平面图、前视图、侧视图和后视图。
图2是根据实施例的成像控制装置的内部配置的框图。
图3是图示根据实施例的曝光控制的功能配置的功能框图。
图4是示意性地图示根据实施例的通过拍摄的图像的外观进行的曝光控制的效果的图。
图5是根据实施例的曝光控制的效果的解释图。
图6是根据实施例的曝光控制的效果的解释图。
图7是图示根据第一实施例的用于实现曝光控制的具体处理过程的示例的流程图。
图8是计算图7中所示的面部曝光校正值的处理的流程图。
图9是根据第二实施例的曝光控制的解释图。
图10是图示根据第二实施例的用于实现曝光控制的具体处理过程的示例的流程图。
图11是图示根据第二实施例的曝光控制的另一个示例的解释图。
图12是图示根据实施例的拍摄运动图像时的皮肤美化效果处理的流程的图。
图13是根据实施例的用于实现皮肤美化效果处理的成像装置的配置示例的解释图。
图14是图示根据实施例的用于实现皮肤美化效果处理的处理过程的示例的流程图。
图15是图示根据实施例的皮肤美化效果处理的平滑处理的解释图。
图16是根据实施例的平滑处理的时序图。
图17是图示皮肤美化效果的强度的解释图。
具体实施方式
在下文中,将按以下次序描述实施例。
<1.第一实施例>
(1-1.成像装置的配置)
(1-2.感兴趣区域丢失时的AE控制)
(1-3.处理过程)
<2.第二实施例>
<3.运动图像皮肤美化效果功能>
<4.修改示例>
<5.程序>
<6.实施例的概要>
<7.本技术>
<1.第一实施例>
(1-1.成像装置的配置)
图1是作为根据本技术实施例的成像控制装置的成像装置1的平面图、前视图、侧视图和后视图。
成像装置1是所谓的数码相机,并且可以执行静止图像拍摄和运动图像拍摄两者。
在成像装置1中,透镜单元102部署在构成相机主体的主体外壳100的前侧。在成像时,前表面侧的快门打开,并且用于成像的透镜被露出。
在成像装置1的后表面侧(用户侧),例如,提供了显示面板101,该显示面板101包括诸如液晶显示器(LCD)或有机电致发光(EL)显示器之类的显示设备。
在这个示例中,显示面板101由轴部分101a保持为可打开/可关闭和可旋转,并且是所谓的可变角度显示面板。在图中,显示面板101示出了显示表面未露出的状态。
用户可以通过使用显示面板101在视觉上识别成像时的图像、再现时的图像以及各种信息。
在成像装置1的主体外壳100上提供各种操作元件110。
例如,作为操作元件110,提供诸如键、拨盘和组合的按压/旋转操作元件之类的各种操作元件以实现各种操作功能。例如,可以执行菜单操作、再现操作、模式选择操作、对焦操作、变焦操作、对诸如快门速度和F数等参数的选择操作。
虽然将省略每个操作元件110的详细描述,但是在本实施例的情况下,包括快门按钮110S和视频记录按钮110R的几个操作器110部署在主体外壳100的上表面侧。
在这种情况下,视频录制按钮110R是相对大的按钮并且易于操作。例如,视频记录按钮110R具有与快门按钮110S的尺寸基本相同的尺寸。
例如,在主体外壳100的上表面侧提供的操作元件110当中,快门按钮110S最大,并且视频记录按钮110R第二大。可以应用相反的情况。可替代地,快门按钮110S和视频记录按钮110R可以具有相同的尺寸。
在任何情况下,由于视频记录按钮110R是上表面侧的大尺寸操作元件,因此,例如,在运动图像海报将成像装置1放置在桌子等上并执行成像的情况下,操作变得容易。
提供自定义按钮110C1和110C2作为操作元件110。
自定义按钮110C1和110C2是也称为可指派按钮的操作元件,并且是在初始状态下被指派预先确定的操作功能并且用户可以向其指派任意操作功能的按钮。
注意的是,自定义按钮的数量不限于两个,并且可以是一个或三个或更多个。
将参考图2描述成像装置1的内部配置示例。
成像装置1包括例如透镜系统11、成像元件单元12、相机信号处理单元13、记录控制单元14、显示单元15、通信单元16、操作单元17、相机控制单元18、存储器单元19、驱动器单元22、传感器单元23和电源单元24。
透镜系统11包括诸如变焦透镜和聚焦透镜之类的透镜、光圈机构等。通过透镜系统11,来自被摄体的光(入射光)被引导并会聚在成像元件单元12上。
成像元件单元12被配置为例如具有诸如互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器之类的图像传感器12a(成像元件)。
成像元件单元12例如执行相关双采样(CDS)处理、自动增益控制(AGC)处理等,并且进一步对通过光电转换由图像传感器12a接收的光获得的电信号执行模数(A/D)转换处理。然后,将作为数字数据的成像信号输出到后级中的相机信号处理单元13和相机控制单元18。
相机信号处理单元13例如由作为图像处理处理器的数字信号处理器(DSP)等配置。相机信号处理单元13对来自成像元件单元12的数字信号(拍摄的图像信号)执行各种信号处理。例如,作为相机处理,相机信号处理单元13执行预处理、同步处理、YC生成处理、分辨率转换处理、文件形成处理等。
在预处理中,对来自成像元件单元12的拍摄的图像信号执行将RGB的黑电平钳位到预先确定的电平的钳位处理、RGB的颜色通道之间的校正处理等。
在同步处理中,执行颜色分离处理,使得用于每个像素的图像数据具有全部RGB颜色分量。例如,在使用具有拜耳阵列的滤色器的成像元件的情况下,执行去马赛克处理作为颜色分离处理。
在YC生成处理中,基于RGB图像数据生成(分离)亮度(Y)信号和颜色(C)信号。
在分辨率转换处理中,对经过各种信号处理的图像数据执行分辨率转换处理。
在文件形成处理中,例如,对经过上述各种处理的图像数据进行例如用于记录或通信的压缩编码、格式化、生成或添加元数据等,以生成用于记录或通信的文件。
例如,诸如JPEG格式、标记图像文件格式(TIFF)或图形互换格式(GIF)之类的格式的图像文件被生成为静止图像文件。此外,还可以想到生成用于记录符合MPEG-4的运动图像和声音的MP4格式等的图像文件。
注意的是,也可以想到将图像文件生成为原始图像数据。
相机信号处理单元13生成元数据,元数据包括关于相机信号处理单元13中的处理参数的信息、从相机控制单元18获取的各种控制参数、指示透镜系统11的操作状态或成像元件单元12的操作状态的信息、模式设置信息、成像环境信息(日期和时间、地点等)、用于成像装置本身的标识信息、关于安装透镜的信息、关于预先注册的摄影师的信息(姓名和标识信息)、国际新闻电信委员会(IPTC)元数据等。
注意的是,IPTC元数据是媒体公司协会设计的格式的元数据,并且可以描述各种信息,诸如“描述/字幕”、“描述作者”、“标题”、“关键词”等。
记录控制单元14例如关于诸如非易失性存储器之类的记录介质执行记录和再现。例如,记录控制单元14执行将诸如运动图像数据或静止图像数据或元数据之类的图像记录在记录介质上的处理。
可以考虑记录控制单元14的各种实际形式。例如,记录控制单元14可以被配置为内置在成像装置1中的闪存及其写入/读取电路。此外,记录控制单元14可以是卡记录/再现单元的形式,该卡记录/再现单元执行用于可以附接到诸如存储卡(便携式闪存等)之类的成像装置1和从其分离的记录介质的记录和再现访问。此外,记录控制单元14可以被实现为硬盘驱动器(HDD)等,作为内置在成像装置1中的形式。
显示单元15是对被成像的人执行各种显示的显示单元,并且是例如包括部署在成像装置1的外壳中的诸如液晶面板(Liquid Crystal Display,LCD)或有机电致发光(EL)显示器之类的显示设备的显示面板或取景器。
显示单元15基于相机控制单元18的指令在显示屏幕上执行各种显示。
例如,显示单元15显示由记录控制单元14从记录介质读取的图像数据的再现图像。
此外,也可以将由相机信号处理单元13将其分辨率转换用于显示的拍摄的图像的图像数据供给显示单元15,并且显示单元15可以响应于来自相机控制单元18的指令而基于拍摄的图像的图像数据执行显示。因而,显示所谓的直通图像(被摄体的监视图像),其是正在经历构图确认、运动图像记录等的拍摄的图像。
此外,显示单元15基于相机控制单元18的指令在屏幕上执行各种操作菜单、图标、消息等(即,图形用户界面(GUI))的显示。
通信单元16综合地指安装在成像装置1上的各种通信设备和各种通信处理电路。
提供了各种通信电路和各种通信设备,它们可以经由外部通信网络执行通信(外部网络通信)、与移动终端9执行本地通信,以及与对应装置(例如,与作为本地通信的一方的另一个成像装置1)执行进一步的主/从通信,作为通信单元16进行的通信。
据此,例如,成像装置1关于外部信息处理装置、成像装置、显示装置、记录装置、再现装置等执行拍摄的图像数据(静止图像文件或运动图像文件)、元数据、各种参数等的传输和接收。
更具体而言,作为网络通信单元的通信单元16包括例如通过使用诸如4G、5G等的移动通信网络、互联网线路、家庭网络、局域网(LAN)等执行通信的功能、执行诸如蓝牙(注册商标)通信、Wi-Fi(注册商标)通信或近场通信(NFC)之类的短距离无线通信的功能、执行红外线通信等的功能、与另一个装置执行有线连接通信的功能等中的一些或全部。
操作单元17共同地指供用户执行各种输入操作的输入设备。具体而言,操作单元17指在成像装置1的外壳中提供的各种操作元件(键、拨盘、触摸面板、触摸板等)。
用户的操作由操作单元17检测,并且与输入操作对应的信号被传输到相机控制单元18。
相机控制单元18包括包含中央处理单元(CPU)的微型计算机(算术处理设备)。
存储器单元19存储用于相机控制单元18的处理的信息等。作为图示的存储器单元19,例如,综合地指只读存储器(ROM)、随机存取存储器(RAM)、闪存等。
存储器单元19可以是内置在作为相机控制单元18的微型计算机芯片中的存储器区域,或者可以由单独的存储器芯片配置。
相机控制单元18通过执行存储在存储器单元19的ROM、闪存等中的程序来控制整个成像装置1。
例如,相机控制单元18控制必要单元的操作,诸如成像元件单元12的快门速度的控制、相机信号处理单元13中的各种信号处理的指令、根据用户的操作的成像操作和记录操作、所记录的图像文件的再现操作、透镜系统11的操作(诸如透镜镜筒中的变焦、聚焦和光圈调整)、用户界面操作,以及由通信单元16对通信方案和传输目的地的设置。
此外,特别是在本实施例中,相机控制单元18对拍摄的图像执行基于测光值的曝光控制。注意的是,稍后将再次描述根据实施例的曝光控制的细节。
此外,本示例中的相机控制单元18执行从拍摄的图像中检测感兴趣区域的处理,并且也将在后面描述感兴趣区域和检测处理。
存储器单元19中的RAM用于临时存储数据、程序等,作为相机控制单元18的CPU进行各种数据处理时的工作区。
存储器单元19中的ROM和闪存(非易失性存储器)被用于存储用于让CPU控制每个单元的操作系统(OS)、诸如图像文件之类的内容文件、用于各种操作的应用程序、固件、各种设置信息等。
各种设置信息的示例包括通信设置信息、关于诸如曝光设置(快门速度或F数)和模式设置之类的成像操作的设置信息、关于诸如白平衡设置、颜色设置和用于图像效果的设置之类的图像处理的设置信息,以及关于诸如自定义键设置和显示设置之类的可操作性的设置信息,等等。
驱动器单元22例如设有用于变焦透镜驱动马达的马达驱动器、用于聚焦透镜驱动马达的马达驱动器、用于光圈机构的马达的马达驱动器等。
这些马达驱动器响应于来自相机控制单元18的指令而向对应的驱动器施加驱动电流,并且使驱动器执行聚焦透镜或变焦透镜的移动、光圈机构的光圈叶片的打开和关闭等。
传感器单元23综合地指安装在成像装置上的各种传感器。
例如,安装惯性测量单元(IMU)作为传感器单元23。例如,具有俯仰、偏航和滚动这三个轴的角速度(gyro)传感器可以检测角速度,并且加速度传感器可以检测加速度。
此外,作为传感器单元23,例如,可以安装位置信息传感器、照度传感器等。
此外,假设提供距离测量传感器作为传感器单元23。可以在成像时由距离测量传感器测量从成像装置1到被摄体的距离,并且可以向拍摄的图像添加距离信息,作为元数据。
由传感器单元23检测到的各种信息(例如,位置信息、距离信息、照度信息、IMU数据等)作为元数据与由相机控制单元18管理的日期和时间信息一起被添加到拍摄的图像。
电源单元24通过使用电池24a作为电源来输出每个单元所必需的电源电压Vcc。来自电源单元24的电源电压Vcc的供给的ON/OFF(即,成像装置1的电源的开/关)由相机控制单元18控制。此外,相机控制单元18可以检测电池24a的容量,即,剩余电池容量。
注意的是,电源单元24可以被配置为能够基于外部电源输出电源电压Vcc,例如,通过连接AC适配器或接收DC电源电压的供应。
(1-2.感兴趣区域丢失时的AE控制)
图3是图示根据相机控制单元18中所包括的实施例的曝光控制的功能配置的功能框图。
如图所示,相机控制单元18包括感兴趣区域检测单元F1和曝光控制单元F2作为与作为实施例的曝光控制相关的功能配置。
感兴趣区域检测单元F1从由成像元件单元12拍摄的图像中检测感兴趣区域。
此处提到的感兴趣区域是指在拍摄的图像中存在预先定义为要关注的目标的物体的区域。作为感兴趣区域中的目标的物体的示例包括独立物体,诸如人、动物、植物、汽车、火车、飞机、家具和交通信号灯,以及独立物体中的特定部分,例如人的脸或手、汽车的牌照等。
作为检测感兴趣区域的方法,可以考虑各种方法。作为示例,可以例示使用目标物体的模板图像通过模板匹配来检测感兴趣区域的方法。可替代地,例如,还能够通过卷积神经网络(CNN)等使用图像识别人工智能(AI)引擎从拍摄的图像中检测感兴趣区域。
在下文中,作为示例,假设感兴趣区域检测单元F1检测人的面部区域作为感兴趣区域。在下文中,将作为人的面部区域的感兴趣区域称为“面部区域Af”。
曝光控制单元F2基于感兴趣区域检测单元F1从拍摄的图像中检测到的感兴趣区域的信息来执行曝光控制。
具体而言,在从拍摄的图像中检测到面部区域Af的情况下,本示例中的曝光控制单元F2基于从输入帧中至少包括面部区域Af的第一测光区域获得的测光值计算作为面部区域Af的曝光目标值的“面部曝光目标值”,并使用面部曝光目标值作为曝光控制值来执行曝光控制。
在此,在本示例中,假设第一测光区域是与面部区域Af相同的区域。注意的是,第一测光区域可以包括面部区域Af以外的区域,诸如输入帧中面部区域Af的背景区域,并且只要求是输入帧中至少包括面部区域Af的区域即可。例如,可以基于从面部区域Af获得的测光值和从整个帧(整个构图)获得的测光值来获得面部曝光目标值。因而,能够防止整个构图变得太亮(或太暗)。
在下文中,在如上所述检测面部区域Af的情况下,使用面部曝光目标值作为曝光控制值来执行曝光控制的功能将被称为“面部AE功能”。
注意的是,本说明书中指示的“曝光”的值(诸如上述的曝光目标值和曝光控制值)是指示至少快门速度和光圈值(F数)的组合的值。
注意的是,在从拍摄的图像中未检测到面部区域Af的情况下,曝光控制单元F2基于从输入帧中预先确定的第二测光区域获得的设定区域测光值计算“设定区域曝光目标值”,并使用设定区域曝光目标值作为曝光控制值来执行曝光控制。
在此,上述第二测光区域由测光模式确定。测光模式的示例包括其中通过将帧的内部划分为多个部分来执行测光并且通过平衡整个帧来控制曝光的多测光模式,其中强调帧的中心部分而执行测光并且基于中心部分附近的亮度来确定曝光的中心加权测光模式,以及其中基于在帧内部指定的部分区域的测光值来执行曝光控制的点测光模式。
第二测光区域在测光模式为多测光模式或中心加权测光模式时为帧的整个区域,并且在测光模式为点测光模式的情况下为上述指定的部分区域。
在下面的描述中,假设测光模式是多测光模式或中心加权测光模式,并且“第二测光区域”是帧的整个区域。
在此,在一般的面部AE功能中,例如,在作为被摄体的人面向侧面等并且无法检测到面部的情况下,作为曝光控制,将曝光控制切换为针对整个构图的曝光控制。即,将曝光控制切换为其中将作为整个构图的曝光目标值的“整体曝光目标值”设置为曝光控制值的曝光控制。因此,在无法检测到面部的情况下,存在脸部变暗的问题。
作为针对这种问题的措施,可以想到即使在不能检测到面部时也将面部检测时的亮度固定一段时间。作为固定亮度的方法,还存在执行AE锁定的方法。但是,在整个构图的亮度改变大的情况下,存在亮度无法跟随并且因此出现曝光过度或曝光不足的可能性(参见图4A和4B)。
在本实施例中,没有采用在面部检测时固定为面部曝光目标值的方法,而是采用基于面部曝光目标值计算曝光校正值(下文中称为“面部曝光校正值”)并维持(保持)面部曝光校正值达预先确定的时段的曝光控制方法。
具体而言,在从拍摄的图像中没有检测到面部区域Af的面部区域丢失的时间起连续没有检测到面部区域Af的预先确定的时段内,曝光控制单元F2基于面部区域丢失的时间之前的面部曝光目标值获得面部曝光校正值,并用通过用面部曝光校正值校正整体曝光目标值获得的曝光控制值执行曝光控制。
在本示例中,曝光控制单元F2获得指示面部区域丢失的时间之前的整体曝光目标值与面部区域丢失的时间之前的面部曝光目标值之间的关系的值作为上述面部曝光校正值。具体而言,曝光控制单元F2获得面部区域丢失的时间之前的整体曝光目标值与面部区域丢失的时间之前的面部曝光目标值之间的差值作为面部曝光校正值。
在此,作为面部区域丢失的时间之前的面部曝光目标值和面部区域丢失的时间之前的整体曝光目标值,可以想到使用面部曝光目标值和整体曝光目标值,它们分别紧在面部区域Af丢失的帧之前的帧中被计算。可替代地,还可以想到使用从紧接着的前一帧到之前预先确定的帧数的帧的曝光目标值的平均值。
面部区域丢失的时间之前的面部曝光目标值和面部区域丢失的时间之前的整体曝光目标值只要求基于在面部区域Af丢失的帧之前紧接着的帧中或紧接着的前一帧附近的帧(过去侧的附近的帧)中获得的面部曝光目标值和整体曝光目标值即可。
在下文中,将面部区域丢失的时间之前的面部曝光目标值和面部区域丢失的时间之前的整体曝光目标值假设为分别在面部区域Af丢失的帧之前紧接着的帧中计算的面部曝光目标值和整体曝光目标值。
在本示例中,面部曝光校正值被获得为[“面部区域丢失的时间之前的面部曝光目标值”-“面部区域丢失的时间之前的整体曝光目标值”]。
在这种情况下,在从面部区域Af丢失的定时起的预先确定的时段内,执行将面部曝光校正值加到整体曝光目标值的校正,并且用通过校正获得的曝光控制值执行曝光控制。
图5和6是图示根据上述实施例的曝光控制的效果的解释图。
通过如上所述执行曝光控制,当面部区域Af的背景的亮度没有改变时,如图5中所示,即使在面部检测中重复检测到(图5中的“D”)和未检测到(图5中的“L”),也保持使用面部曝光校正值的校正,因此可以将面部的亮度(当面向侧面或向后时,头部的亮度)保持在适当的亮度。
此外,通过在面部区域丢失之后的预先确定的时段内采用用面部曝光校正值(指示面部区域丢失的时间之前的整体曝光目标值与面部区域丢失的时间之前的面部曝光目标值之间的关系的值)来校正整体曝光目标值的方法,如图6A和6B中所示,即使在面部丢失之后整个构图的亮度改变时,也能够跟随亮度的改变。具体而言,如图6A中所示,即使在面部丢失之后整个构图变亮并且亮度在整体曝光目标值减小的方向上改变时,也可以跟随该改变。此外,如图6B中所示,即使在面部丢失之后整个构图变暗并且亮度在整体曝光目标值增加的方向上改变时,也可以跟随该改变。
在从面部丢失的时间起保持预先确定的时段之后,通过解除使用面部曝光校正值的曝光校正,执行曝光控制以使得整个构图的亮度变得适当。
注意的是,在上述图4中,通过从图4A到图4C的过渡,通过拍摄的图像的外观示意性地图示作为本实施例的曝光控制的动作。
如上所述,根据本实施例的曝光控制,在面部丢失的情况下,能够考虑面部的亮度和整个构图的亮度两者来实现适当的曝光控制,并且改善曝光控制的功能。
(1-3.处理过程)
图7和8是图示根据上述第一实施例的用于实现曝光控制的具体处理过程的示例的流程图。
注意的是,图7和8中所示的处理在本示例中由相机控制单元18执行。相机控制单元18针对由成像元件单元12获得的拍摄的图像的每一帧重复执行图7中所示的一系列处理。
在图7中,相机控制单元18在步骤S101中计算整体曝光目标值。即,基于输入帧中的上述第二测光区域(在本示例中为输入帧的整个区域)的测光值计算整体曝光目标值。
在步骤S101之后的步骤S102中,相机控制单元18执行获取面部检测信息的处理。即,执行获取用感兴趣区域检测单元F1的功能检测到的面部区域Af的信息(至少关于输入帧中的位置和范围(尺寸)的信息)的处理。
在步骤S102之后的步骤S103中,相机控制单元18执行计算面部曝光校正值的处理。在本示例中,计算面部曝光校正值的处理是也可以应对检测到多个面部区域Af的情况的处理。
图8是在步骤S103中执行的计算面部曝光校正值的处理的流程图。
如图所示,在计算面部曝光校正值的处理中,相机控制单元18首先在步骤S201中将处理目标面部标识符n设置为“1”。处理目标面部标识符n是用于识别在计算面部曝光校正值的处理中要处理的面部区域Af的值。
在此,虽然未图示,但在每次新检测到面部区域Af时,相机控制单元18利用处理目标脸标识符n管理新检测到的面部区域Af。具体而言,通过添加新的处理目标面部标识符n来执行管理。
在步骤S201之后的步骤S202中,相机控制单元18确定是否检测到第n个面部(面部区域Af)。在步骤S202中,当检测到第n个面部区域Af时,相机控制单元18使处理前进到步骤S203,将面部AE许可标志设置为ON,并在随后的步骤S204中执行设置保持计数器的处理。
面部AE许可标志是用于检测到的面部区域Af的状态管理标志。具体而言,面部AE许可标志是用于识别目标面部区域Af是否处于从检测之后经过图6中所示的预先确定的时段(保持时段)为止的状态的标志。
在步骤S204中设置保持计数器的处理是设置用于将预先确定的时段设置为保持时段的计数器的处理。保持计数器的值通过后述的步骤S208的处理针对每一帧递减,并且在步骤S207中确定保持计数器的值是否达到“零”时执行保持时段的经过的确定。在保持时段已经过的情况下,面部AE许可标志在后述的步骤S209中被设置为OFF。
在本示例中,相机控制单元18将预先确定的固定值设置为保持计数器的值。在这种情况下,保持时段是固定时段。
在步骤S204之后的步骤S205中,相机控制单元18计算第n个面部的曝光目标值(面部曝光目标值)。然后,在随后的步骤S206中,相机控制单元18计算面部检测时的面部曝光校正值。具体而言,在本示例中,计算[“当前帧的面部曝光目标值”-“当前帧的整体曝光目标值”]作为面部检测时的面部曝光校正值。如为了确认所描述的,“当前帧的面部曝光目标值”是在步骤S205中计算的曝光目标值,并且“当前帧的整体曝光目标值”是在图7的步骤S101中计算的曝光目标值。
如上所述,对于被检测的面部区域Af,基于“当前帧的面部曝光目标值”和“当前帧的整体曝光目标值”计算面部检测时的面部曝光校正值。如后面将描述的,在检测出多个面部区域Af的情况下,为多个面部区域Af计算的在面部检测时的面部曝光校正值被求平均并用于校正整体曝光目标值(参见图7中的步骤S104和S105)。
当执行步骤S206中的计算处理时,相机控制单元18使处理前进到步骤S213并确定处理目标面部标识符n是否等于或大于最大值N。在此,最大值N是对其添加处理目标面部标识符n的面部区域Af的总数。
在步骤S213中,当处理目标面部标识符n不等于或大于最大值N时,相机控制单元18使处理前进到步骤S214,将处理目标面部标识符n递增一,然后返回到步骤S202。
在步骤S202中确定未检测到第n个面部的情况下,相机控制单元18使处理前进到步骤S207并确定保持计数器是否>零,即,保持计数器的值是否大于零。当保持计数器>零时,相机控制单元18使处理前进到步骤S208,递减保持计数器的值(例如,递减一),并且使处理前进到步骤S210。在这种情况下,第n个面部区域Af的面部AE许可标志保持在ON状态。
另一方面,当保持计数器的值不大于零时,相机控制单元18使处理前进到步骤S209,将面部AE许可标志设置为OFF,并且使处理前进到步骤S210。
在步骤S210中,相机控制单元18确定面部AE许可标志是否处于ON状态。这对应于针对第n个面部区域Af确定是否在面部区域丢失之后的保持时段经过之前。
在步骤S210中,当面部AE许可标志处于ON状态时,相机控制单元18使处理前进到步骤S211并计算保持时的面部曝光校正值。具体而言,在本示例中,计算[“面部区域丢失的时间之前的面部曝光目标值”-“面部区域丢失的时间之前的整体曝光目标值”]作为保持时的面部曝光校正值。为了确认,此处提到的“面部区域丢失的时间”是指第n个面部区域Af丢失的时间。
当执行步骤S211中的计算处理时,相机控制单元18使处理前进到上述步骤S213。
另一方面,当在步骤S210中确定面部AE许可标志不处于ON状态的情况下,相机控制单元18使处理前进到步骤S212,将“零”设置为面部曝光校正值,并使得处理前进到步骤S213。如上所述,对于面部AE许可标志被设置为OFF的面部区域Af,即,保持时段已经经过的面部区域Af,面部区域Af的面部曝光目标值不用于校正当前帧的整体曝光目标值。
当在步骤S213中确定处理目标面部标识符n等于或大于最大值N时,相机控制单元18结束图8中所示的一系列处理。
通过上述图8中的一系列处理,对于被检测的面部区域Af,基于“当前帧的面部曝光目标值”和“当前帧的整体曝光目标值”计算面部检测时的面部曝光校正值(S206),并且对于在面部区域丢失之后的预先确定的时段内的面部区域Af,基于“面部区域丢失的时间之前的面部曝光目标值”和“面部区域丢失的时间之前的整体曝光目标值”计算保留时的面部曝光校正值(S211)。
描述返回到图7。
在图7中,当在步骤S103中执行面部曝光校正值的计算处理时,相机控制单元18在步骤S104中计算平均面部曝光校正值。即,计算在步骤S103中计算的面部曝光校正值(包括检测时间和保持时间)的平均值。注意的是,在仅存在一个利用处理目标面部标识符n管理的面部区域Af的情况下,在步骤S104中,针对面部区域Af计算的面部曝光校正值被设置为平均面部曝光校正值。
然后,在步骤S104之后的步骤S105中,相机控制单元18执行通过[“整体曝光目标值”+“平均面部曝光校正值”]计算曝光控制值的处理,作为计算曝光控制值的处理。
当执行步骤105中的处理时,相机控制单元18结束图7中所示的一系列处理。
当通过上述一系列处理检测到所有面部区域Af时,用针对所有面部区域Af获得的检测时的面部曝光校正值的平均值来校正当前帧的整体曝光目标值,并且使用经校正的整体曝光目标值作为曝光控制值来执行曝光控制。
此外,当面部区域丢失之后的保持时段内存在所有面部区域Af时,用针对所有面部区域Af获得的保持时的面部曝光校正值的平均值校正当前帧的整体曝光目标值,并且使用经校正的整体曝光目标值作为曝光控制值来执行曝光控制。
而且,在检测状态下的面部区域Af和面部区域丢失之后的保持时段内的面部区域Af混合的情况下,针对检测状态下的面部区域Af计算检测时的面部曝光校正值,并在面部区域丢失之后的保持时段内针对面部区域Af计算保持时的面部曝光校正值。用检测时的面部曝光校正值和保持时的面部曝光校正值的平均值来校正当前帧的整体曝光目标值,并用经校正的整体曝光目标值作为曝光控制值执行曝光控制。
注意的是,即使在如上所述混合检测状态下的面部区域Af的情况下,对于在面部区域丢失之后的保持时段内的面部区域Af,也总是基于保持时的面部曝光校正值(即,基于“面部区域丢失的时间之前的面部曝光目标值”和“面部区域丢失的时间之前的整体曝光目标值”计算出的面部曝光校正值)来校正整体曝光目标值。
<2.第二实施例>
接下来,将描述第二实施例。在第二实施例中,在检测到多个面部区域Af的情况下,基于检测到的面部区域Af的尺寸、数量或位置中的至少一个来计算用于计算面部曝光校正值的面部曝光目标值。
注意的是,在第二实施例中,由于成像装置1的硬件配置与第一实施例的硬件配置相似,因此将避免重复的描述。
此外,在以下的描述中,对与已经描述的部分相似的部分给出相同的附图标记,并将省略其描述。
图9A图示了这样的构图,其中位于拍摄的图像的帧的中心部分中的相对大的面部区域Af位于阳光下,而位于靠近帧端部的相对小的面部区域Af位于阴影中。一般而言,在帧中拍摄多个相同类型的被摄体(诸如“人”)的情况下,当在帧的中心部分存在相对大的被摄体时,如图9A的示例中那样,并且在帧端部存在相对小的被摄体,可以说帧的中心部分处的被摄体是构图上的主要被摄体。
在图9A的情况的构图中,当使用靠近帧端部的面部区域Af的面部曝光目标值来计算面部曝光校正值时,靠近帧端部的小面部是暗的,因此存在导致曝光过度的面部曝光校正值变大的可能性。
因此,对于拍摄的图像,在图像的区域中,将估计主要被摄体要被拍摄的区域定义为特定区域As,并且对于特定区域As外的面部区域Af,面部曝光目标值不用于计算面部曝光校正值(参见图9B)。因此,可以仅使用在特定区域As(即,被视为构图上的主要被摄体区域的被摄体区域)中检测到的面部区域Af的曝光目标值来计算曝光校正值,并且可以实现适当的曝光控制。
在本示例中,特定区域As被定义为包括拍摄的图像的区域中的图像中心的矩形部分区域。更具体而言,特定区域As被设置为具有其中特定区域As的中心与图像中心重合并且相对于整个拍摄的图像的面积比至少等于或大于二分之一的尺寸。
注意的是,特定区域As的位置和尺寸不限于此。只要求在构图方式中估计被拍摄的主要被摄体的位置或尺寸处确定特定区域As,并且可以在上、下、右、左方向中的至少一个上从拍摄的图像的中心偏移的位置处设置特定区域As。此外,该尺寸相对于整个拍摄的图像的面积比可以等于或小于二分之一。而且,特定区域As不限于位置和尺寸固定的区域,并且例如,可以根据用户的操作、图像分析的结果等使区域的位置和尺寸可变。
图10是图示根据上述第二实施例的用于实现曝光控制的具体处理过程的示例的流程图。
注意的是,图10中所示的处理由相机控制单元18以与先前图7中所示的处理相似的方式对拍摄的图像的每一帧重复执行。
首先,相机控制单元18在步骤S101的处理之后执行步骤S102的处理。这些处理与图7中描述的那些相似,因此将避免重复的描述。
在这种情况下,当在步骤S102中获取面部检测信息时,相机控制单元18执行步骤S301的处理。在步骤S301中,相机控制单元18执行将特定区域As中的面部设置为要处理的面部的处理。即,仅将在拍摄的图像中检测到的面部区域Af当中位于特定区域As中的面部区域Af设置为要作为步骤S103中计算面部曝光校正值的处理目标的面部区域Af。
在这种情况下,当执行步骤S301中的设置处理时,相机控制单元18使处理前进到步骤S103。从步骤S103到步骤S105的处理与图7中描述的那些相似,因此将避免重复的描述。
利用如上所述的处理,对于在特定区域As外检测到的面部区域Af,可以防止面部曝光目标值被用于计算面部区域丢失之前的保持时段和面部区域丢失之后的保持时段两者中的面部曝光校正值。据此,能够防止主要被摄体的亮度由于在特定区域As之外检测到的非主要被摄体的亮度而变得不适当,并且能够实现适当的曝光控制。
在此,在以上描述中,对于在特定区域As外检测到的面部区域Af,面部区域Af的面部曝光目标值不无条件地用于计算面部曝光校正值。但是,如图11中所示,也能够基于在特定区域As外检测到的面部区域Af的尺寸、数量和位置来确定是否使用面部曝光目标值来计算面部曝光校正值。
具体而言,如图11A中所示,在特定区域As外检测到的面部区域Af的尺寸大于在特定区域As中检测到的面部区域Af的尺寸的情况下,在特定区域As外检测到的面部区域Af的面部曝光目标值被用于计算面部曝光校正值。
在这种情况下,在图10中所示的步骤S301的处理中,相机控制单元18确定在特定区域As内检测到的面部区域Af与在特定区域As外检测到的面部区域Af的尺寸之间的尺寸关系,并且基于量值关系的确定结果来确定是否要处理在特定区域As外检测到的面部区域Af。即,当在特定区域As外检测到的面部区域Af的尺寸较大时,将面部区域Af设置为处理目标,并且当在特定区域As外检测到的面部区域Af的尺寸不是较大时,面部区域Af不被设置为处理目标。
注意的是,在以上描述中,已经描述了将在特定区域As内检测到的面部区域Af的尺寸与在特定区域As外检测到的面部区域Af的尺寸进行比较的示例。但是,可以将特定区域As外的面部区域Af的尺寸与至少某个基准尺寸(reference size)进行比较。例如,基准尺寸可以是某个固定尺寸或者可以是根据某些条件而可变的尺寸。
此外,如图11B中所示,在特定区域As外检测到的面部区域Af的数量等于或大于某个数量的情况下,在特定区域As外检测到的面部区域Af的面部曝光目标值可以被用于计算面部曝光校正值。
在这种情况下,在图10中所示的步骤S301的处理中,相机控制单元18确定在特定区域As外检测到的面部区域Af的数量是否等于或大于预先确定的阈值,当面部区域Af的数量等于或大于阈值时将在特定区域As外检测到的面部区域Af设置为处理目标,并且当面部区域Af的数量不等于或大于阈值时不将在特定区域As外检测到的面部区域Af设置为处理目标。
此外,如图11C中所示,在特定区域As外检测到的面部区域Af与特定区域As内检测到的面部区域Af之间的所述距离在某个距离内的情况下,在特定区域As外检测到的面部区域Af的面部曝光目标值被用于计算面部曝光校正值。
在这种情况下,在图10中所示的步骤S301的处理中,相机控制单元18计算在特定区域As外检测到的面部区域Af与在特定区域As内检测到的面部区域Af之间的距离,当所述距离在某个距离内时将在特定区域As外检测到的面部区域Af设置为处理目标,并且当所述距离不在某个距离内时不将在特定区域As外检测到的面部区域Af设置为处理目标。
注意的是,可以组合图11A到11C中所示的处理。例如,关于在特定区域As外检测到的面部区域Af,可以想到使用面部曝光目标值来计算满足图11B中的检测到的次数的条件并且满足图11A中的尺寸条件的面部区域Af的面部曝光校正值。可替代地,也可以想到使用面部曝光目标值来计算满足图11C的距离条件和图11A的尺寸条件的面部区域的面部曝光校正值,等等。
<3.运动图像皮肤美化效果功能>
接下来,将描述成像装置1的运动图像皮肤美化效果功能。
运动图像皮肤美化效果功能在拍摄运动图像时实时执行在拍摄静止图像时执行的皮肤美化效果处理。
在此,皮肤美化效果处理是指对被摄体的面部赋予美化皮肤外观的效果的图像处理,并且例如作为亮度、对比度、颜色再现、白平衡或降噪中的至少一种的调整处理,或亮度、对比度、颜色再现、白平衡和降噪中的全部或一些的组合的调整处理被执行。
降噪处理包括例如切除诸如低通滤波器(LPF)之类的高频分量的处理。
在以下描述中,作为示例,假设皮肤美化效果处理是降噪处理。
在执行皮肤美化效果处理时,检测被摄体的面部,但是已经描述了检测面部区域Af的处理,因此将避免重复的描述。
在拍摄运动图像时,当检测到面部区域Af时,仅对面部区域Af执行皮肤美化效果处理(参见图12A至12C)。
此时,可以通过根据距面部区域Af的中心的距离改变效果的强度来执行皮肤美化效果处理,面部区域Af在图中被示为面部检测区域。对靠近面部中心的脸颊部分执行皮肤美化效果处理是有效的。此外,当在远离面部中心的位置处分辨率的降低变得更大时,存在形成不自然的图像的可能性。特别地,当头发和下巴的感知分辨率降低时,可能形成不自然的图像。因此,可以想到的是,随着距面部中心的距离增加,皮肤美化效果的强度降低。
图13是用于实现如上所述根据距面部中心的距离改变效果强度的皮肤美化效果处理的成像装置1的配置示例的解释图。
注意的是,与图1中所示的成像装置1的配置的不同之处在于提供相机控制单元18A来代替相机控制单元18,并且提供存储器单元19A来代替存储器单元19。因此,在图13中,仅提取并图示相机控制单元18A和存储器单元19A。
在此,面部区域Af的尺寸不是恒定的,并且面部区域Af的尺寸可以在运动图像的拍摄期间改变。当面部区域Af的尺寸不同时,要对其应用皮肤美化效果处理的脸颊等的区域也改变。因此,应当改变距面部中心的距离与皮肤美化效果的强度之间的对应关系(诸如距面部中心的距离应当增加多远和皮肤美化效果应当降低多少)。
因此,在本示例中,使用其中根据检测到的面部区域Af的尺寸设置与距面部中心的距离对应的可靠性的可靠性表30以及其中设置皮肤美化效果处理的可靠性和效果强度之间的对应关系的效果强度表31。在可靠性表30中,针对面部区域Af的每个尺寸存储指示距面部区域Af的中心的距离(像素数)和可靠性之间的对应关系的信息。由于皮肤美化效果的强度随着距面部区域Af的中心的距离的增加而减小,因此所述可靠性被设置为随着距面部区域Af的中心的距离的增加而减小。
此外,在效果强度表31中,可靠性越高,效果强度被设置得越高。
可靠性表30和效果强度表31存储在存储器单元19A中,并且相机控制单元18A可以参考可靠性表30和效果强度表31的信息内容。
相机控制单元18A与上述的感兴趣区域检测单元F1一起具有作为皮肤美化效果处理单元F3的功能。
皮肤美化效果处理单元F3对由感兴趣区域检测单元F1检测到的面部区域Af执行皮肤美化效果处理。具体而言,对于检测到的面部区域Af,皮肤美化效果处理单元F3基于可靠性表30和效果强度表31获得对于每个像素的效果强度,并根据获得的效果强度执行皮肤美化效果处理。
图14是作为皮肤美化效果处理单元F3的相机控制单元18A执行的处理的流程图。注意的是,相机控制单元18A针对拍摄的图像的每一帧重复执行图14中所示的一系列处理。
首先,作为步骤S401中的面部检测确定处理,相机控制单元18A确定感兴趣区域检测单元F1是否从拍摄的图像中检测到面部区域Af。当未检测到面部区域Af时,相机控制单元18A结束图14中所示的处理。
当检测到面部区域Af时,相机控制单元18A使处理前进到步骤S402并检测面部区域的尺寸。即,检测所检测到的面部区域Af的尺寸。
在步骤S402之后的步骤S403中,相机控制单元18A基于可靠性表30获取根据面部区域的尺寸的各像素的可靠性。即,面部区域Af的各像素的可靠性是参考与检测到的面部区域Af的尺寸对应的对应关系信息从可靠性表30中为每个面部尺寸存储的对应关系信息(即,指示距面部区域Af中心的距离与可靠性之间的对应关系的信息)获取的。
在步骤S403之后的步骤S404中,相机控制单元18A基于效果强度表31获取每个像素的效果强度。即,基于在步骤S403中获取的每个像素的可靠性从效果强度表31为每个像素获取对应的增强强度。
然后,在步骤S404之后的步骤S405中,作为针对面部区域Af的皮肤美化效果处理,对面部区域Af执行与在步骤S404中获取的效果强度对应的皮肤美化效果处理。
当执行步骤S405中的处理时,相机控制单元18A结束图14中所示的一系列处理。
通过如上所述的处理,即使在运动图像的拍摄期间面部区域Af的尺寸改变的情况下,也可以对面部区域Af适当地执行皮肤美化效果处理。
在此,在皮肤美化效果处理中,也可以想到以面部区域Af丢失的定时或检测到面部区域Af的定时为触发器在时间方向上应用平滑滤波器。
具体而言,如图15A中所示,在检测到面部区域Af的帧中执行皮肤美化效果处理,之后执行皮肤美化效果处理,使得皮肤美化效果在如图15B中所示由于面部面向侧面等而未检测到面部区域Af的帧中在时间方向上逐渐降低。而且,在如图15C中所示再次检测到面部之后,皮肤美化效果逐渐恢复(效果强度逐渐增加),如图15C到图15D的过渡所示。
此时,平滑处理的目标可以是亮度、对比度、颜色还原、白平衡或降噪中的至少一种,或者是亮度、对比度、颜色还原、白平衡和降噪的全部或一些的组合。
图16图示了上述平滑处理的时序图。
如图所示,在检测到面部区域Af的帧之后的预先确定的数量的帧中,皮肤美化效果处理的效果强度逐渐增加。在面部区域Af的检测过程中,对每帧检测到的面部区域Af的位置执行皮肤美化效果处理。
此外,在面部区域Af丢失的帧之后的帧中,在皮肤美化效果处理的目标区域的位置保持于紧接在面部区域丢失之前的位置的同时,皮肤美化效果处理的效果强度逐渐降低。
注意的是,在平滑处理中效果强度逐渐改变时的效果强度的斜率可以任意设置。此时,效果强度的斜率在效果强度的增加侧(从其中检测到面部区域Af的帧平滑)与效果强度的减小侧(从其中面部区域Af丢失的帧平滑)可以相同或不同。
顺便说一下,关于皮肤美化效果,最优效果强度在静止图像与运动图像之间是不同的,因此也可以想到以独立的效果强度执行皮肤美化效果处理。
图17A至图17D是皮肤美化效果的强度的解释图,并且图示了其中皮肤美化效果按图17A、图17B、图17C、图17D的次序逐渐增强的示例。
在静止图像的情况下,被摄体的面部是静止的,而在运动图像中,被摄体的面部在一定程度上移动,因此皮肤美化效果的最优强度是不同的。具体而言,在运动图像的情况下,除非进一步增加效果强度,否则倾向于难以感知皮肤美化效果。因此,在运动图像的情况下,执行效果强度比静止图像的情况下高的皮肤美化效果处理。例如,在运动图像和静止图像的皮肤美化效果的强度有“强”、“弱”和“OFF(关闭)”这三种设置的情况下,当比较运动图像中的皮肤美化效果的强度的“强”设置与静止图像中皮肤美化效果的强度的“强”设置时,运动图像中皮肤美化效果的强度被设置为强于静止图像中皮肤美化效果的强度。这同样适用于皮肤美化效果的强度的“弱”设置。在这种相同设置的情况下,优选的是将运动图像中皮肤美化效果的强度设置为比静止图像中皮肤美化效果的强度强。
此外,在皮肤美化效果处理中,不仅可以设置ON(开启)/OFF(关闭),而且还可以设置与用户偏好对应的效果量。
注意的是,关于皮肤美化效果处理,也可以想到类似地应用对上述面部AE的保持控制。具体而言,对于亮度、对比度、颜色再现、白平衡或降噪中的至少一种,或者亮度、对比度、颜色再现、白平衡和降噪中的全部或一些的组合,执行基于校正值的调整处理,校正值是基于面部区域的适当值和整个构图的适当值计算的。
在此,还可以基于指示成像状态的成像状态信息来控制皮肤美化效果处理。
成像状态信息包括指示是否正在自拍的自拍确定信息。
此外,皮肤美化效果处理的控制的示例包括在皮肤美化效果处理的ON和OFF之间的切换控制,或皮肤美化效果的强度的确定控制。
当确定用户正在自拍时,将皮肤美化效果处理设置为ON或增加皮肤美化效果的强度。
在此,“增加皮肤美化效果的强度”指示“将皮肤美化效果的强度增加到高于预先确定的值”或“当确定正在自拍时,与当确定没有自拍时相比,将皮肤美化效果的强度增加到更高”。
另一方面,当确定用户没有自拍时,将皮肤美化效果处理设置为OFF或减小皮肤美化效果的强度。
在此,“减小皮肤美化效果的强度”是指“将皮肤美化效果的强度减小到低于预先确定的值”或“当确定没有自拍时,与当确定正在自拍时相比,将皮肤美化效果的强度减小到更低”。
自拍确定信息的示例包括根据以下“信息示例1”至“信息示例8”的信息。但是,也可以仅基于“信息示例1”至“信息示例8”中的任何一个信息来执行皮肤美化效果处理的控制,或者可以基于多条自拍确定信息来执行皮肤美化效果处理的控制。
“信息示例1”是指示成像装置1是否被固定的成像装置固定确定信息。
成像装置固定确定信息包括以下信息。
<1>指示成像装置是否连接到三脚架的三脚架连接状态信息
在三脚架连接状态信息指示成像装置连接到三脚架的情况下,皮肤美化效果处理被设置为ON或者增加皮肤美化效果的强度。
在三脚架连接状态信息指示成像装置连接到三脚架的情况下,皮肤美化效果处理被设置为OFF或者减小皮肤美化效果的强度。
<2>指示拍摄的图像的改变的图像改变信息
在图像改变信息表明指示拍摄的图像的改变的值等于或小于预先确定的值的情况下,皮肤美化效果处理被设置为ON或者增加皮肤美化效果的强度。
在图像变化信息表明指示捕获的图像的变化的值等于或大于预先确定的值的情况下,皮肤美化效果处理被设置为OFF或者减小皮肤美化效果的强度。
在此,例如基于当前帧与过去帧(例如,时间上是前一帧的帧)之间的相关性来确定拍摄的图像的改变。在相关性等于或大于某个值的情况下,确定图像的改变在阈值内,并且在相关性小于某个值的情况下,确定图像的改变大于阈值。
<3>指示成像装置的朝向的成像装置朝向信息
使用陀螺仪传感器等检测成像装置1的朝向的改变。
在成像装置朝向信息指示成像装置1的朝向的改变等于或小于预先确定的值的情况下,皮肤美化效果处理被设置为ON或者增加皮肤美化效果的强度。
在成像装置朝向信息指示成像装置的朝向的改变等于或小于预先确定的值的情况下,皮肤美化效果处理被设置为OFF或者减小皮肤美化效果的强度。
“信息示例2”是指示被摄体的视线的视线信息。
在视线信息指示被摄体的视线的改变等于或小于预先确定的值的情况下,皮肤美化效果处理被设置为ON或者增加皮肤美化效果的强度。
在视线信息指示被摄体的视线的改变等于或小于预先确定的值的情况下,皮肤美化效果处理被设置为OFF或者减小皮肤美化效果的强度。
“信息示例3”是指示成像装置1的显示面板101的方向的显示单元方向信息。
作为成像装置1的显示面板101的类型,存在上述可变角度类型和倾斜类型。
在显示单元方向信息指示显示面板101的方向在成像装置1的透镜侧的情况下(在显示面板101横向打开的情况下),皮肤美化效果处理被设置为ON或者增加皮肤美化效果的强度。
在显示单元方向信息指示显示面板101的方向在与成像装置1的透镜相反的一侧的情况下(在显示面板101处于正常位置的情况下),皮肤美化效果处理被设置为OFF或者减小皮肤美化效果的强度。
“信息示例4”是指示声音指向性的声音指向性信息。
可以使用通过在成像装置1中提供的一个或多个麦克风获取的声音指向性。
在声音指向性信息指示被摄体的声音指向性的改变等于或小于预先确定的值的情况下,皮肤美化效果处理被设置为ON或者增加皮肤美化效果的强度。
在声音指向性信息指示被摄体的声音指向性的改变等于或大于预先确定的值的情况下,皮肤美化效果处理被设置为OFF或者减小皮肤美化效果的强度。
注意的是,指示声音源位置的方向的声音源位置方向信息也可以用作基于声音的信息。在基于声音源位置方向信息确定声音源位置的改变量等于或小于预先确定的量的情况下,皮肤美化效果处理被设置为ON或者增加皮肤美化效果的强度。另一方面,在基于声音源位置方向信息确定声音源位置的改变量等于或大于预先确定的量的情况下,皮肤美化效果处理被设置为OFF或者减小皮肤美化效果的强度。
“信息示例5”是指示拍摄的图像中的被摄体的面部的位置的面部位置信息。
可以检测被摄体的面部在拍摄的图像中的位置,并且可以使用检测到的面部在拍摄的图像中的位置的改变。
在面部位置信息指示被摄体的面部在拍摄的图像中的位置改变等于或小于预先确定的值的情况下,皮肤美化效果处理被设置为ON或者增加皮肤美化效果的强度。
在面部位置信息指示被摄体的面部在拍摄的图像中的位置改变等于或小于预先确定的值的情况下,皮肤美化效果处理被设置为OFF或者减小皮肤美化效果的强度。
“信息示例6”是指示被摄体的面部框在拍摄的图像中的尺寸的面部框尺寸信息。
在面部框尺寸信息指示面部框在拍摄的图像中的尺寸等于或大于预先确定的值的情况下,皮肤美化效果处理被设置为ON或者增加皮肤美化效果的强度。
在面部框尺寸信息指示面部框在拍摄的图像中的尺寸等于或小于预先确定的值的情况下,皮肤美化效果处理被设置为OFF或者减小皮肤美化效果的强度。
“信息示例7”是指示聚焦目标与成像装置1之间的距离的聚焦目标距离信息。
在自拍时,手持成像装置或使用自拍杆。在这种情况下,成像装置与被摄体之间的距离在许多情况下是与自拍对应的预先确定的范围内的距离。通过使用它,在聚焦目标距离信息指示聚焦目标与成像装置之间的距离是预先确定的范围内的距离的情况下,确定正在自拍。
例如,指示预先确定的范围内的距离是A cm至B cm的情况指示预先确定的范围外的距离比A cm短或比B cm长的情况。
此外,预先确定的范围内的距离指示等于或小于预先确定的距离的距离的情况指示预先确定的范围外的距离比预先确定的距离长的情况。
在聚焦目标距离信息指示到要聚焦的被摄体的距离是预先确定的范围内的距离的情况下,皮肤美化效果处理被设置为ON或者增加皮肤美化效果的强度。
在聚焦目标距离信息指示到要聚焦的被摄体的距离是预先确定的范围之外的距离的情况下,皮肤美化效果处理被设置为OFF或者减小皮肤美化效果的强度。
“信息示例8”是指示被摄体是否是特定人的人信息。
在基于在成像装置1中注册的注册面部信息注册的面部与被摄体的面部彼此匹配的情况下,人信息指示被摄体是特定的人。此外,在根据面部信息自动确定人的面部的情况下,人信息指示被摄体是特定的人(例如,成像装置1的所有者)。根据面部信息自动确定人的面部的情况包括例如根据过去拍摄的图像中的被摄体的信息生成作为人的面部的信息的面部信息并根据面部信息确定被摄体的面部是否是特定人的面部。
在人信息指示人是特定人的情况下,皮肤美化效果处理被设置为ON或者增加皮肤美化效果的强度。
在人信息指示人不是特定人的情况下,皮肤美化效果处理被设置为OFF或者减小皮肤美化效果的强度。
此外,还可以基于关于成像装置1是否处于被放置以执行成像(在被放置在静止物体上的状态下成像)的状态的确定结果来执行皮肤美化效果处理的控制。在此,可以使用上述“信息示例1”中的成像装置固定确定信息来确定成像装置是否处于被放置以执行成像的状态。此外,在提供手抖动校正功能的情况下,也可以想到基于是否执行手抖动校正来执行确定。
在确定成像装置1处于被放置以执行成像的状态的情况下,皮肤美化效果处理被设置为ON或者增加皮肤美化效果的强度(因为成像装置1没有移动,残像不太可能发生)。另一方面,在确定成像装置1不处于被放置以执行成像的状态的情况下,皮肤美化效果处理被设置为OFF或者减小皮肤美化效果的强度(因为成像装置1移动,残像可能发生)。
<4.修改示例>
在此,实施例不限于上述具体示例,并且可以采用作为修改示例的各种配置。
例如,在上述描述中,获得面部区域丢失的时间之前的整体曝光目标值与面部区域丢失的时间之前的面部曝光目标值之间的差值作为面部曝光校正值,但是面部曝光校正值也可以作为比而不是整体曝光目标值与面部曝光目标值之间的比率而不是差值来获得。即,面部曝光校正值可以作为面部区域丢失的时间之前的整体曝光目标值与面部区域丢失的时间之前的面部曝光目标值之间的比率来获得,例如,[“面部区域丢失的时间之前的面部曝光目标值”/“面部区域丢失的时间之前的整体曝光目标值”]的值。在这种情况下,仅要求通过将整体曝光目标值乘以作为所述比率的面部曝光校正值来执行保持时段(面部区域丢失之后的预先确定的时段)中的校正。
如上所述,面部曝光校正值可以是面部区域丢失的时间之前的整体曝光目标值与面部区域丢失的时间之前的面部曝光目标值之间的比率而不是差。鉴于这一点,面部曝光校正值可以在概念上定义如下。
即,面部区域丢失之后的整体曝光目标值与用曝光校正值校正的整体曝光目标值之间的“特定数值关系”可以被定义为等同于面部区域丢失的时间之前的整体曝光目标值与面部区域丢失的时间之前的面部曝光目标值之间的“特定数值关系”来获得。
本文提到的“特定数值关系”是指两个数值之间的数值关系当中的特定数值关系,并且“数值关系”是指诸如两个数值之间的差、两个数值之间的比率之类的数值关系。
此外,本文提到的术语“等同”是指不仅包括严格重合而且还包括落入预先确定的误差范围内的概念。
此外,在上面的描述中,假设其中执行用面部曝光校正值的校正的保持时段(预先确定的时段)是固定的,但是保持时段可以是可变的时段。
例如,保持时段可以根据面部区域Af的尺寸而可变。在这种情况下,相机控制单元18(曝光控制单元F2)基于由感兴趣区域检测单元F1检测到的面部区域Af的尺寸来改变保持时段。
例如,在面部区域Af的尺寸小的情况下,面部区域Af以外的区域作为构图占主导地位,并且当保持时段(即,使用面部曝光校正值的曝光控制时段)长时,存在面部区域Af以外的区域的曝光不适当的时段长的可能性。换句话说,存在不自然曝光状态作为整个构图持续长时间的可能性。如上所述,当根据面部区域Af的尺寸改变保持时段时,在面部区域Af的尺寸小的情况下可以缩短保持时段,并且能够防止不自然曝光状态作为整个构图持续长时间。
因此,作为面部区域Af丢失之后的曝光控制,可以实现根据面部区域Af的尺寸的适当的曝光控制。
可替代地,保持时段可以根据面部区域Af的数量而可变。在这种情况下,相机控制单元18(曝光控制单元F2)基于由感兴趣区域检测单元F1检测到的面部区域Af的数量来改变保持时段。
例如,在面部区域Af的数量小的情况下,面部区域Af以外的区域作为构图占主导地位,并且当预先确定的时段(即,使用面部曝光校正值的曝光控制时段)长时,存在面部区域Af以外的区域的曝光不适当的时段长的可能性。换句话说,存在不自然曝光状态作为整个构图持续长时间的可能性。如上所述,当根据面部区域Af的数量改变保持时段时,在面部区域Af的数量小的情况下可以缩短保持时段,并且能够防止不自然曝光状态作为整个构图持续长时间。
因此,作为面部区域Af丢失之后的曝光控制,可以实现根据检测到的面部区域Af的数量的适当的曝光控制。
此外,保持时段可以根据面部区域Af在某时间内丢失的次数而可变。在这种情况下,相机控制单元18(曝光控制单元F2)基于过去某时间内面部区域Af的丢失次数来改变保持时段。
例如,某时间内面部区域Af的丢失次数大的事实意味着面转向后方或转过脸的频率高,并且可以说丢失的面部区域Af很可能在面部区域Af丢失之后立即再次被检测到。根据上述配置,与如上所述面部区域丢失的频率高的情况对应,可以缩短保持时段(即,使用面部曝光校正值的曝光控制时段)。
因此,能够防止使用面部曝光校正值的曝光控制在面部区域Af丢失之后不必要地持续长时间。
而且,保持时段可以根据用户的操作而可变。即,在这种情况下,相机控制单元18(曝光控制单元F2)例如基于用户的输入操作(诸如菜单操作)来改变保持时段。
因此,可以根据用户的偏好设置在面部区域Af丢失之后使用面部曝光校正值的曝光控制的持续时间。
因此,可以改进曝光控制的功能。
此外,还可以想到保持时段根据例如在某时间内面部的模糊宽度和加速度而可变,根据为其执行成像的场景是室内还是室外而可变,或者根据成像装置1的主体的稳定性(例如,用手握住或固定在三脚架上)而可变。
此外,在以上描述中,已经将在成像装置1中提供感兴趣区域检测单元F1的配置作为示例进行了描述。但是,在本技术中,包括曝光控制单元F2的成像控制装置不限于包括感兴趣区域检测单元F1的配置,并且可以采用不包括感兴趣区域检测单元F1的配置。
此外,在以上描述中,假设其中要检测感兴趣区域的帧与要进行用于获得曝光目标值的测光的帧彼此重合,但这些帧可以是不同的帧并且至少在定时上可以同步。
此外,在以上描述中,已经描述了其中基于由成像元件12a拍摄的拍摄的图像来执行用于曝光控制的测光的示例。但是,也可以基于与用于获得拍摄的图像的传感器分开提供的测光传感器的输出来执行测光。
<5.程序>
上面已经描述了作为实施例的成像控制装置(成像装置1),但是实施例的程序是使诸如CPU之类的计算机设备执行成像装置1的处理的程序。
根据实施例的程序是可以被计算机设备读取的程序,并且作为与基于从由感兴趣区域检测单元拍摄的图像中检测到的感兴趣区域的信息执行的曝光控制相关的功能使计算机设备实现以下功能。
即,作为所述功能,在从拍摄的图像中检测到感兴趣区域的情况下,执行如下曝光控制,其中基于从输入帧中至少包括感兴趣区域的第一测光区域获得的感兴趣区域测光值计算出的感兴趣区域曝光目标值被设置为曝光控制值,在未从拍摄的图像中检测到感兴趣区域的情况下,执行如下曝光控制,其中基于从输入帧中预先确定的第二测光区域获得的设定区域测光值计算出的设定区域曝光目标值被设置为曝光控制值,以及,在未从拍摄的图像中检测到感兴趣区域的感兴趣区域丢失的时间起连续未检测到感兴趣区域的预先确定的时段内,基于感兴趣区域丢失的时间之前的感兴趣区域曝光目标值获得曝光校正值,并然后用通过用曝光校正值校正设定区域曝光目标值获得的曝光控制值来执行曝光控制。
即,这个程序例如与使计算机设备执行图7、8、10等中描述的处理的程序对应。
这种程序可以预先存储在计算机设备可读的存储介质中,例如ROM、硬盘驱动器(HDD)、固态驱动器(SSD)等。此外,该程序可以临时或永久地存储在可移动存储介质中,诸如半导体存储器、存储卡、光盘、磁光盘或磁盘。此外,这种可移动存储介质可以作为所谓的软件包软件提供。
此外,这种程序可以从可移动存储介质安装到个人计算机等,或者可以从下载站点经由诸如LAN或互联网之类的网络下载到所需的信息处理装置(诸如智能电话)。
<6.实施例概要>
如上所述,作为实施例的成像控制装置(成像装置1)包括曝光控制单元(F2:相机控制单元18),该曝光控制单元基于由感兴趣区域检测单元(F1)从拍摄的图像中检测到的感兴趣区域的信息来执行曝光控制。
然后,在从拍摄的图像中检测到感兴趣区域的情况下,曝光控制单元执行如下曝光控制,其中基于从输入帧中至少包括感兴趣区域的第一测光区域获得的感兴趣区域测光值计算出的感兴趣区域曝光目标值被设置为曝光控制值;在未从拍摄的图像中检测到感兴趣区域的情况下,执行如下曝光控制,其中基于从输入帧中预先确定的第二测光区域获得的设定区域测光值计算出的设定区域曝光目标值被设置为曝光控制值;以及,在未从拍摄的图像中检测到感兴趣区域的感兴趣区域丢失的时间起连续未检测到感兴趣区域的预先确定的时段内,基于感兴趣区域丢失的时间之前的感兴趣区域曝光目标值获得曝光校正值,并然后用通过用曝光校正值校正设定区域曝光目标值获得的曝光控制值来执行曝光控制。
根据上述配置,例如,在执行曝光控制以使感兴趣区域如面部AE中那样具有适当亮度的情况下,当感兴趣区域丢失时,在其后的预先确定的时段中,以通过用基于感兴趣区域丢失的时间之前的感兴趣区域曝光目标值获得的曝光校正值校正设定区域曝光目标值而获得的曝光控制值执行曝光控制。由于通过用基于感兴趣区域丢失的时间之前的感兴趣区域曝光目标值的曝光校正值校正设定区域曝光目标值而获得的曝光控制值被用作感兴趣区域丢失之后的预先确定的时段内的曝光控制值,因此,当预先确定的时段内整个构图的亮度没有改变时,即使在感兴趣区域丢失之后,也可以适当地维持感兴趣区域中存在的被摄体的亮度,并且即使在预先确定的时段内整个构图的亮度改变,也能够防止其中不能如在用感兴趣区域丢失的时间之前的感兴趣区域曝光目标值执行AE锁定的情况下那样跟随整个构图的亮度改变的情况。
因此,即使在感兴趣区域丢失时也能够维持适当的曝光控制,并且能够改进成像装置的曝光控制的功能。
此外,在作为实施例的成像控制装置中,曝光校正值是指示在感兴趣区域丢失的时间之前的设定区域曝光目标值与感兴趣区域丢失的时间之前的感兴趣区域曝光目标值之间的关系的值。
据此,在感兴趣区域丢失之后的预先确定的时段内,设定区域曝光目标值可以用曝光目标值进行校正,以再现感兴趣区域丢失的时间之前的设定区域曝光目标值与感兴趣区域丢失的时间之前的感兴趣区域曝光目标值之间的关系。
因此,即使在感兴趣区域丢失时也能够维持适当的曝光控制。
而且,在作为实施例的成像控制装置中,在预先确定的时段内,曝光控制单元用曝光校正值执行曝光控制,所述曝光校正值是以使设定区域曝光目标值与用曝光校正值校正的设定区域曝光目标值之间的特定数值关系等同于感兴趣区域丢失的时间之前的设定区域曝光目标值与感兴趣区域丢失的时间之前的感兴趣区域曝光目标值之间的特定数值关系的方式获得的。
根据上述配置,在感兴趣区域丢失之后的预先确定的时段内,执行曝光控制,使得设定区域曝光目标值与用曝光校正值校正的设定区域曝光目标值之间的诸如差或比率之类特定的数值关系等同于感兴趣区域丢失的时间之前的设定区域曝光目标值与感兴趣区域丢失的时间之前的感兴趣区域曝光目标值之间的特定数值关系(以便再现该关系)。
因此,即使在感兴趣区域丢失时也能够维持适当的曝光控制。
此外,在作为实施例的成像控制装置中,曝光校正值是感兴趣区域丢失的时间之前的设定区域曝光目标值与感兴趣区域丢失的时间之前的感兴趣区域曝光目标值之间的差值。
据此,在感兴趣区域丢失之后的预先确定的时段内,执行曝光控制,以使设定区域曝光目标值与用曝光校正值校正的设定区域曝光目标值之间的差等同于感兴趣区域丢失的时间之前的设定区域曝光目标值与感兴趣区域丢失的时间之前的感兴趣区域曝光目标值之间的差。
因此,即使在感兴趣区域丢失时也能够维持适当的曝光控制。
此外,在作为实施例的成像控制装置中,在感兴趣区域检测单元在拍摄的图像中的特定区域内部和外部分别检测到感兴趣区域的情况下,曝光控制单元计算用于基于检测到的感兴趣区域的尺寸、数量或位置中的至少一个计算曝光校正值的感兴趣区域曝光目标值(参见图9至11)。
关于在特定区域外检测到的感兴趣区域,在区域尺寸小、区域的数量小或者距在特定区域内检测到的感兴趣区域的距离长的情况下,当在计算曝光校正值时考虑用于感兴趣区域的曝光目标值时,存在无法使在特定区域内检测到的感兴趣区域中的被摄体的亮度适当的可能性。
根据上述配置,在存在可能性的这种情况下能够防止在特定区域外检测到的感兴趣区域的曝光目标值被用于计算曝光校正值,并且能够即使在感兴趣区域丢失时也维持适当的曝光控制。
而且,在作为实施例的成像控制装置中,在特定区域外检测到的感兴趣区域的尺寸大于基准尺寸的情况下,曝光控制单元使用为感兴趣区域计算的感兴趣区域曝光目标值来计算曝光校正值,并且在特定区域外检测到的感兴趣区域的尺寸不大于基准尺寸的情况下,曝光控制单元不使用为感兴趣区域计算的感兴趣区域曝光目标值来计算曝光校正值。
据此,关于在特定区域外检测到的感兴趣区域,在感兴趣区域的尺寸大并且在感兴趣区域丢失之后的设定区域曝光目标值的校正中不能忽略感兴趣区域的情况下,可以使用感兴趣区域的曝光目标值来计算曝光校正值,并且相反,在所述尺寸小并且在感兴趣区域丢失之后在设定区域曝光目标值的校正中可以忽略感兴趣区域的情况下,可以防止将感兴趣区域的曝光目标值用于计算曝光校正值。
因此,作为感兴趣区域丢失之后的曝光控制,可以实现根据在特定区域外检测到的感兴趣区域的尺寸的适当曝光控制。
此外,在作为实施例的成像控制装置中,基准尺寸是在特定区域内检测到的感兴趣区域的尺寸。
据此,基于在特定区域内部/外部检测到的感兴趣区域的相对尺寸关系来确定是否使用在特定区域外检测到的感兴趣区域的曝光目标值来计算曝光校正值。
因此,即使在特定区域外检测到的感兴趣区域的尺寸较大,也能够防止诸如感兴趣区域的曝光目标值不用于计算曝光校正值的事实之类的不便,并且能够根据在特定区域内检测到的感兴趣区域的尺寸与在特定区域外检测到的感兴趣区域的尺寸之间的尺寸关系来实现适当的曝光控制。
此外,在作为实施例的成像控制装置中,在特定区域外检测到的感兴趣区域的数量大于阈值的情况下,曝光控制单元使用为在特定区域外检测到的感兴趣区域计算的感兴趣区域曝光目标值来计算曝光校正值,并且在特定区域外检测到的感兴趣区域的数量不大于阈值的情况下,曝光控制单元不使用为在特定区域外检测到的感兴趣区域计算的感兴趣区域曝光目标值来计算曝光校正值。
据此,关于在特定区域外检测到的感兴趣区域,在感兴趣区域的数量大并且在感兴趣区域丢失之后的设定区域曝光目标值的校正中不能忽略特定区域外的感兴趣区域的情况下,可以使用感兴趣区域的曝光目标值来计算曝光校正值,并且相反,在感兴趣区域的数量小并且在感兴趣区域丢失之后的设定区域曝光目标值的校正中可以忽略特定区域外的感兴趣区域的情况下,可以防止将感兴趣区域的曝光目标值用于计算曝光校正值。
因此,作为感兴趣区域丢失之后的曝光控制,可以实现根据在特定区域外检测到的感兴趣区域的数量的适当曝光控制。
而且,在作为实施例的成像控制装置中,当作为在特定区域外检测到的感兴趣区域、存在距特定区域内检测到的感兴趣区域某个距离内的感兴趣区域的情况下,曝光控制单元使用为感兴趣区域计算的感兴趣区域曝光目标值来计算曝光校正值,并且当不存在距特定区域内检测到的感兴趣区域某个距离内的感兴趣区域的情况下,曝光控制单元不使用为特定区域外检测到的感兴趣区域计算的感兴趣区域曝光目标值来计算曝光校正值。
据此,关于在特定区域外检测到的感兴趣区域,在与特定区域内的感兴趣区域接近的距离处的感兴趣区域(换句话说,在其中与特定区域内的感兴趣区域的亮度差可能显眼的感兴趣区域)的情况下,亮度差在不使用感兴趣区域的曝光目标值来计算曝光校正值的情况下发生,感兴趣区域的曝光目标值可以被用于计算曝光校正值,并且相反,在距特定区域内的感兴趣区域的距离远且亮度差不可能显眼的感兴趣区域的情况下,可以防止将感兴趣区域的曝光目标值用于计算曝光校正值。
因此,作为感兴趣区域丢失之后的曝光控制,可以实现根据特定区域内检测到的感兴趣区域与特定区域外检测到的感兴趣区域之间的分离距离的适当曝光控制。
此外,在作为实施例的成像控制装置中,曝光控制单元基于由感兴趣区域检测单元检测到的感兴趣区域的尺寸来改变预先确定的时段。
例如,在感兴趣区域的尺寸小的情况下,感兴趣区域以外的区域作为构图占主导地位,并且当预先确定的时段(即,使用曝光校正值的曝光控制时段)长时,存在其中感兴趣区域以外的区域的曝光不适当的时段长的可能性。换句话说,存在不自然曝光状态作为整个构图持续长时间的可能性。如上所述,当根据感兴趣区域的尺寸改变预先确定的时段时,在感兴趣区域的尺寸小的情况下可以缩短预先确定的时段,并且能够防止不自然曝光状态作为整个构图持续长时间。
因此,作为感兴趣区域丢失之后的曝光控制,可以实现根据感兴趣区域的尺寸的适当曝光控制。
此外,在作为实施例的成像控制装置中,曝光控制单元基于由感兴趣区域检测单元检测到的感兴趣区域的数量来改变预先确定的时段。
例如,在感兴趣区域的数量小的情况下,感兴趣区域以外的区域作为构图占主导地位,并且当预先确定的时段(即,使用曝光校正值的曝光控制时段)长时,存在其中感兴趣区域以外的区域的曝光不适当的时段长的可能性。换句话说,存在不自然曝光状态作为整个构图持续长时间的可能性。如上所述,当根据感兴趣区域的数量改变预先确定的时段时,在感兴趣区域的数量小的情况下可以缩短预先确定的时段,并且能够防止不自然曝光状态作为整个构图持续长时间。
因此,作为感兴趣区域丢失之后的曝光控制,可以实现根据感兴趣区域的检测到的次数的适当曝光控制。
而且,在作为实施例的成像控制装置中,曝光控制单元基于在某时间内感兴趣区域丢失的次数来改变预先确定的时段。
例如,在某时间内感兴趣区域丢失的次数大的事实意味着在感兴趣区域是人的面部区域的情况下将面部转向后方或转过面部的频率高,并且可以说丢失的感兴趣区域很可能在感兴趣区域丢失之后立即再次被检测到。根据上述配置,如上所述,与感兴趣区域丢失的频率高的情况对应,可以缩短预先确定的时段,即,使用曝光校正值的曝光控制时段。
因此,能够防止使用曝光校正值的曝光控制在感兴趣区域丢失之后不必要地持续长时间。
此外,在作为实施例的成像控制装置中,曝光控制单元基于用户的操作改变预先确定的时段。
据此,可以根据用户的偏好设置使用感兴趣区域丢失之后的曝光校正值的曝光控制的持续时间。
因此,可以改进曝光控制的功能。
此外,作为实施例的成像控制方法是一种成像控制方法,其中,基于由感兴趣区域检测单元从拍摄的图像中检测到的感兴趣区域的信息来执行曝光控制的成像控制装置被配置为:在从拍摄的图像中检测到感兴趣区域的情况下,执行如下曝光控制,其中基于从输入帧中至少包括感兴趣区域的第一测光区域获得的感兴趣区域测光值计算出的感兴趣区域曝光目标值被设置为曝光控制值;在未从拍摄的图像中检测到感兴趣区域的情况下,执行如下曝光控制,其中基于从输入帧中预先确定的第二测光区域获得的设定区域测光值计算出的设定区域曝光目标值被设置为曝光控制值;以及,在未从拍摄的图像中检测到感兴趣区域的感兴趣区域丢失的时间起连续未检测到感兴趣区域的预先确定的时段内,基于感兴趣区域丢失的时间之前的感兴趣区域曝光目标值获得曝光校正值,并然后用通过用曝光校正值校正设定区域曝光目标值获得的曝光控制值来执行曝光控制。
用这种成像控制方法,也能够获得与上述实施例的成像控制装置的效果相似的效果。
此外,作为实施例的程序是计算机设备可读的程序,该程序使计算机设备实现以下功能作为基于由感兴趣区域检测单元从拍摄的图像中检测到的感兴趣区域的信息执行的曝光控制的功能:在从拍摄的图像中检测到感兴趣区域的情况下,执行如下曝光控制,其中基于从输入帧中至少包括感兴趣区域的第一测光区域获得的感兴趣区域测光值计算出的感兴趣区域曝光目标值被设置为曝光控制值;在未从拍摄的图像中检测到感兴趣区域的情况下,执行如下曝光控制,其中基于从输入帧中预先确定的第二测光区域获得的设定区域测光值计算出的设定区域曝光目标值被设置为曝光控制值;以及,在未从拍摄的图像中检测到感兴趣区域的感兴趣区域丢失的时间起连续未检测到感兴趣区域的预先确定的时段内,基于感兴趣区域丢失的时间之前的感兴趣区域曝光目标值获得曝光校正值,并然后用通过用曝光校正值校正设定区域曝光目标值获得的曝光控制值来执行曝光控制。
利用这种程序,可以使计算机设备用作上述实施例的成像控制装置。
注意的是,在本说明书中描述的效果仅仅是示例并且不受限制,并且可以提供其它效果。
<7.本技术>
注意的是,本技术还可以具有以下配置。
(1)
一种成像控制装置,包括:
曝光控制单元,被配置为基于由感兴趣区域检测单元从拍摄的图像中检测到的感兴趣区域的信息来执行曝光控制,
其中曝光控制单元被配置为:
在从拍摄的图像中检测到感兴趣区域的情况下,执行曝光控制,其中基于从输入帧中至少包括感兴趣区域的第一测光区域获得的感兴趣区域测光值计算出的感兴趣区域曝光目标值被设置为曝光控制值;
在未从拍摄的图像中检测到感兴趣区域的情况下,执行曝光控制,其中基于从输入帧中预先确定的第二测光区域获得的设定区域测光值计算出的设定区域曝光目标值被设置为曝光控制值;以及
在未从拍摄的图像中检测到感兴趣区域的感兴趣区域丢失的时间起连续未检测到感兴趣区域的预先确定的时段内,基于感兴趣区域丢失的时间之前的感兴趣区域曝光目标值获得曝光校正值,并然后用通过用曝光校正值校正设定区域曝光目标值获得的曝光控制值来执行曝光控制。
(2)
根据(1)所述的成像控制装置,
其中曝光校正值是指示感兴趣区域丢失的时间之前的设定区域曝光目标值与感兴趣区域丢失的时间之前的感兴趣区域曝光目标值之间的关系的值。
(3)
根据(2)所述的成像控制装置,
其中在所述预先确定的时段内,曝光控制单元用曝光校正值执行曝光控制,该曝光校正值是以使设定区域曝光目标值与用曝光校正值校正的设定区域曝光目标值之间的特定数值关系等同于感兴趣区域丢失的时间之前的设定区域曝光目标值与感兴趣区域丢失的时间之前的感兴趣区域曝光目标值之间的特定数值关系的方式获得的。
(4)
根据(2)或(3)所述的成像控制装置,
其中曝光校正值是感兴趣区域丢失的时间之前的设定区域曝光目标值与感兴趣区域丢失的时间之前的感兴趣区域曝光目标值之间的差值。
(5)
根据(1)至(4)中的任一项所述的成像控制装置,
其中在由感兴趣区域检测单元在拍摄的图像中的特定区域内部和外部分别检测到感兴趣区域的情况下,曝光控制单元基于检测到的感兴趣区域的尺寸、检测到的感兴趣区域的数量或检测到的感兴趣区域的位置中的至少一个来计算用于计算曝光校正值的感兴趣区域曝光目标值。
(6)
根据(5)所述的成像控制装置,
其中在特定区域外检测到的感兴趣区域的尺寸大于基准尺寸的情况下,曝光控制单元使用为感兴趣区域计算的感兴趣区域曝光目标值来计算曝光校正值,并且在特定区域外检测到的感兴趣区域的尺寸不大于基准尺寸的情况下,曝光控制单元不使用为感兴趣区域计算的感兴趣区域曝光目标值来计算曝光校正值。
(7)
根据(6)所述的成像控制装置,
其中基准尺寸是在特定区域内检测到的感兴趣区域的尺寸。
(8)
根据(5)至(7)中的任一项所述的成像控制装置,
其中在特定区域外检测到的感兴趣区域的数量大于阈值的情况下,曝光控制单元使用为在特定区域外检测到的感兴趣区域计算的感兴趣区域曝光目标值来计算曝光校正值,并且在特定区域外检测到的感兴趣区域的数量不大于阈值的情况下,曝光控制单元不使用为在特定区域外检测到的感兴趣区域计算的感兴趣区域曝光目标值来计算曝光校正值。
(9)
根据(5)至(8)中的任一项所述的成像控制装置,
其中,当作为在特定区域外检测到的感兴趣区域、存在距在特定区域内检测到的感兴趣区域某个距离内的感兴趣区域的情况下,曝光控制单元使用为该感兴趣区域计算的感兴趣区域曝光目标值来计算曝光校正值,并且当不存在距在特定区域内检测到的感兴趣区域某个距离内的感兴趣区域的情况下,曝光控制单元不使用为特定区域外检测到的感兴趣区域计算的感兴趣区域曝光目标值来计算曝光校正值。
(10)
根据(1)至(9)中的任一项所述的成像控制装置,
其中曝光控制单元基于由感兴趣区域检测单元检测到的感兴趣区域的尺寸来改变所述预先确定的时段。
(11)
根据(1)至(10)中的任一项所述的成像控制装置,
其中曝光控制单元基于由感兴趣区域检测单元检测到的感兴趣区域的数量来改变所述预先确定的时段。
(12)
根据(1)至(11)中的任一项所述的成像控制装置,
其中曝光控制单元基于在某时间内感兴趣区域丢失的次数来改变所述预先确定的时段。
(13)
根据(1)至(12)中的任一项所述的成像控制装置,
其中曝光控制单元基于用户的操作来改变所述预先确定的时段。
(14)
一种成像控制方法,
其中,基于由感兴趣区域检测单元从拍摄的图像中检测到的感兴趣区域的信息来执行曝光控制的成像控制装置被配置为:
在从拍摄的图像中检测到感兴趣区域的情况下,执行曝光控制,其中基于从输入帧中至少包括感兴趣区域的第一测光区域获得的感兴趣区域测光值计算出的感兴趣区域曝光目标值被设置为曝光控制值;
在未从拍摄的图像中检测到感兴趣区域的情况下,执行曝光控制,其中基于从输入帧中预先确定的第二测光区域获得的设定区域测光值计算出的设定区域曝光目标值被设置为曝光控制值;以及
在未从拍摄的图像中检测到感兴趣区域的感兴趣区域丢失的时间起连续未检测到感兴趣区域的预先确定的时段内,基于感兴趣区域丢失的时间之前的感兴趣区域曝光目标值获得曝光校正值,并然后用通过用曝光校正值校正设定区域曝光目标值获得的曝光控制值来执行曝光控制。
(15)
一种计算机设备可读的程序,该程序使计算机设备实现以下功能,
作为基于由感兴趣区域检测单元从拍摄的图像中检测到的感兴趣区域的信息执行的曝光控制的功能:
在从拍摄的图像中检测到感兴趣区域的情况下,执行曝光控制,其中基于从输入帧中至少包括感兴趣区域的第一测光区域获得的感兴趣区域测光值计算出的感兴趣区域曝光目标值被设置为曝光控制值;
在未从拍摄的图像中检测到感兴趣区域的情况下,执行曝光控制,其中基于从输入帧中预先确定的第二测光区域获得的设定区域测光值计算出的设定区域曝光目标值被设置为曝光控制值;以及
在未从拍摄的图像中检测到感兴趣区域的感兴趣区域丢失的时间起连续未检测到感兴趣区域的预先确定的时段内,基于感兴趣区域丢失的时间之前的感兴趣区域曝光目标值获得曝光校正值,并然后用通过用曝光校正值校正设定区域曝光目标值获得的曝光控制值来执行曝光控制。
附图标记列表
1成像装置
11 透镜系统
12 成像元件单元
12a 成像元件
13 相机信号处理单元
14 记录控制单元
15 显示单元
16 通信单元
17 操作单元
18、18A相机控制单元
19,19A存储器单元
22 驱动器单元
23 传感器单元
24 电源单元
24a 电池
F1 感兴趣区域检测单元
F2 曝光控制单元
Af 面部区域
As 特定区域

Claims (15)

1.一种成像控制装置,包括:
曝光控制单元,被配置为基于由感兴趣区域检测单元从拍摄的图像中检测到的感兴趣区域的信息来执行曝光控制,
其中曝光控制单元被配置为:
在从拍摄的图像中检测到感兴趣区域的情况下,执行曝光控制,其中基于从输入帧中至少包括感兴趣区域的第一测光区域获得的感兴趣区域测光值计算出的感兴趣区域曝光目标值被设置为曝光控制值;
在未从拍摄的图像中检测到感兴趣区域的情况下,执行曝光控制,其中基于从输入帧中预先确定的第二测光区域获得的设定区域测光值计算出的设定区域曝光目标值被设置为曝光控制值;以及
在未从拍摄的图像中检测到感兴趣区域的感兴趣区域丢失的时间起连续未检测到感兴趣区域的预先确定的时段内,基于感兴趣区域丢失的时间之前的感兴趣区域曝光目标值获得曝光校正值,并然后用通过用曝光校正值校正设定区域曝光目标值获得的曝光控制值来执行曝光控制。
2.根据权利要求1所述的成像控制装置,
其中曝光校正值是指示感兴趣区域丢失的时间之前的设定区域曝光目标值与感兴趣区域丢失的时间之前的感兴趣区域曝光目标值之间的关系的值。
3.根据权利要求2所述的成像控制装置,
其中在所述预先确定的时段内,曝光控制单元用曝光校正值执行曝光控制,该曝光校正值是以使设定区域曝光目标值与用曝光校正值校正的设定区域曝光目标值之间的特定数值关系等同于感兴趣区域丢失的时间之前的设定区域曝光目标值与感兴趣区域丢失的时间之前的感兴趣区域曝光目标值之间的特定数值关系的方式获得的。
4.根据权利要求2所述的成像控制装置,
其中曝光校正值是感兴趣区域丢失的时间之前的设定区域曝光目标值与感兴趣区域丢失的时间之前的感兴趣区域曝光目标值之间的差值。
5.根据权利要求1所述的成像控制装置,
其中在由感兴趣区域检测单元在拍摄的图像中的特定区域内部和外部分别检测到感兴趣区域的情况下,曝光控制单元基于检测到的感兴趣区域的尺寸、检测到的感兴趣区域的数量或检测到的感兴趣区域的位置中的至少一个来计算用于计算曝光校正值的感兴趣区域曝光目标值。
6.根据权利要求5所述的成像控制装置,
其中在特定区域外检测到的感兴趣区域的尺寸大于基准尺寸的情况下,曝光控制单元使用为感兴趣区域计算的感兴趣区域曝光目标值来计算曝光校正值,并且在特定区域外检测到的感兴趣区域的尺寸不大于基准尺寸的情况下,曝光控制单元不使用为感兴趣区域计算的感兴趣区域曝光目标值来计算曝光校正值。
7.根据权利要求6所述的成像控制装置,
其中基准尺寸是在特定区域内检测到的感兴趣区域的尺寸。
8.根据权利要求5所述的成像控制装置,
其中在特定区域外检测到的感兴趣区域的数量大于阈值的情况下,曝光控制单元使用为在特定区域外检测到的感兴趣区域计算的感兴趣区域曝光目标值来计算曝光校正值,并且在特定区域外检测到的感兴趣区域的数量不大于阈值的情况下,曝光控制单元不使用为在特定区域外检测到的感兴趣区域计算的感兴趣区域曝光目标值来计算曝光校正值。
9.根据权利要求5所述的成像控制装置,
其中,当作为在特定区域外检测到的感兴趣区域、存在距在特定区域内检测到的感兴趣区域某个距离内的感兴趣区域的情况下,曝光控制单元使用为该感兴趣区域计算的感兴趣区域曝光目标值来计算曝光校正值,并且当不存在距在特定区域内检测到的感兴趣区域某个距离内的感兴趣区域的情况下,曝光控制单元不使用为特定区域外检测到的感兴趣区域计算的感兴趣区域曝光目标值来计算曝光校正值。
10.根据权利要求1所述的成像控制装置,
其中曝光控制单元基于由感兴趣区域检测单元检测到的感兴趣区域的尺寸来改变所述预先确定的时段。
11.根据权利要求1所述的成像控制装置,
其中曝光控制单元基于由感兴趣区域检测单元检测到的感兴趣区域的数量来改变所述预先确定的时段。
12.根据权利要求1所述的成像控制装置,
其中曝光控制单元基于在某时间内感兴趣区域丢失的次数来改变所述预先确定的时段。
13.根据权利要求1所述的成像控制装置,
其中曝光控制单元基于用户的操作来改变所述预先确定的时段。
14.一种成像控制方法,
其中,基于由感兴趣区域检测单元从拍摄的图像中检测到的感兴趣区域的信息来执行曝光控制的成像控制装置被配置为:
在从拍摄的图像中检测到感兴趣区域的情况下,执行曝光控制,其中基于从输入帧中至少包括感兴趣区域的第一测光区域获得的感兴趣区域测光值计算出的感兴趣区域曝光目标值被设置为曝光控制值;
在未从拍摄的图像中检测到感兴趣区域的情况下,执行曝光控制,其中基于从输入帧中预先确定的第二测光区域获得的设定区域测光值计算出的设定区域曝光目标值被设置为曝光控制值;以及
在未从拍摄的图像中检测到感兴趣区域的感兴趣区域丢失的时间起连续未检测到感兴趣区域的预先确定的时段内,基于感兴趣区域丢失的时间之前的感兴趣区域曝光目标值获得曝光校正值,并然后用通过用曝光校正值校正设定区域曝光目标值获得的曝光控制值来执行曝光控制。
15.一种计算机设备可读的程序,该程序使计算机设备实现以下功能,
作为基于由感兴趣区域检测单元从拍摄的图像中检测到的感兴趣区域的信息执行的曝光控制的功能:
在从拍摄的图像中检测到感兴趣区域的情况下,执行曝光控制,其中基于从输入帧中至少包括感兴趣区域的第一测光区域获得的感兴趣区域测光值计算出的感兴趣区域曝光目标值被设置为曝光控制值;
在未从拍摄的图像中检测到感兴趣区域的情况下,执行曝光控制,其中基于从输入帧中预先确定的第二测光区域获得的设定区域测光值计算出的设定区域曝光目标值被设置为曝光控制值;以及
在未从拍摄的图像中检测到感兴趣区域的感兴趣区域丢失的时间起连续未检测到感兴趣区域的预先确定的时段内,基于感兴趣区域丢失的时间之前的感兴趣区域曝光目标值获得曝光校正值,并然后用通过用曝光校正值校正设定区域曝光目标值获得的曝光控制值来执行曝光控制。
CN202180041510.1A 2020-06-17 2021-01-13 成像控制装置、成像控制方法和程序 Pending CN115702383A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020104882 2020-06-17
JP2020-104882 2020-06-17
PCT/JP2021/000850 WO2021255970A1 (ja) 2020-06-17 2021-01-13 撮像制御装置、撮像制御方法、プログラム

Publications (1)

Publication Number Publication Date
CN115702383A true CN115702383A (zh) 2023-02-14

Family

ID=79267750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180041510.1A Pending CN115702383A (zh) 2020-06-17 2021-01-13 成像控制装置、成像控制方法和程序

Country Status (5)

Country Link
US (1) US20230179869A1 (zh)
EP (1) EP4174571A4 (zh)
JP (1) JPWO2021255970A1 (zh)
CN (1) CN115702383A (zh)
WO (1) WO2021255970A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230015621A1 (en) * 2021-07-06 2023-01-19 Qualcomm Incorporated Autofocus (af) and auto exposure control (aec) coordination

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4656657B2 (ja) * 2006-07-31 2011-03-23 キヤノン株式会社 撮像装置及びその制御方法
JP2008070562A (ja) * 2006-09-13 2008-03-27 Canon Inc 撮像装置および露出制御方法
JP2010093689A (ja) * 2008-10-10 2010-04-22 Panasonic Corp 撮像装置
JP5543180B2 (ja) * 2009-01-07 2014-07-09 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
US9402034B2 (en) * 2011-07-29 2016-07-26 Apple Inc. Adaptive auto exposure adjustment
JP5945444B2 (ja) * 2012-04-19 2016-07-05 オリンパス株式会社 撮影機器
JP6486109B2 (ja) * 2015-01-09 2019-03-20 キヤノン株式会社 露出制御装置、その制御方法、およびプログラム
JP2018033013A (ja) 2016-08-25 2018-03-01 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体

Also Published As

Publication number Publication date
WO2021255970A1 (ja) 2021-12-23
EP4174571A4 (en) 2023-12-06
EP4174571A1 (en) 2023-05-03
US20230179869A1 (en) 2023-06-08
JPWO2021255970A1 (zh) 2021-12-23

Similar Documents

Publication Publication Date Title
US7565068B2 (en) Image-taking apparatus
US8937677B2 (en) Digital photographing apparatus, method of controlling the same, and computer-readable medium
US10027909B2 (en) Imaging device, imaging method, and image processing device
US8526685B2 (en) Method and apparatus for selectively supporting raw format in digital image processor
US10455154B2 (en) Image processing device, image processing method, and program including stable image estimation and main subject determination
JP5623256B2 (ja) 撮像装置、その制御方法及びプログラム
US8860840B2 (en) Light source estimation device, light source estimation method, light source estimation program, and imaging apparatus
JP2015115714A (ja) 撮像装置、撮像装置の制御方法、及び、プログラム
KR20120025341A (ko) 디지털 촬영 장치 및 이의 제어 방법
JP6391304B2 (ja) 撮像装置、制御方法およびプログラム
JP6192416B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
KR101797040B1 (ko) 디지털 촬영 장치 및 이의 제어 방법
EP4174571A1 (en) Imaging control device, imaging control method, and program
WO2020158509A1 (en) Image capturing apparatus, image capturing method, and carrier means
WO2014188647A1 (ja) 画像調整装置、画像調整方法、画像調整プログラムおよび撮像装置
JP2010011153A (ja) 撮像装置、撮像方法及びプログラム
JP2012090041A (ja) 画像処理装置及び方法、並びにプログラム
EP4033750A1 (en) Method and device for processing image, and storage medium
US8339498B2 (en) Method and apparatus for displaying luminance, and digital photographing apparatus using the same
US11632500B2 (en) Imaging device and imaging method
JP5832618B2 (ja) 撮像装置、その制御方法及びプログラム
JP6353585B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
KR20100098122A (ko) 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치
JP4789776B2 (ja) 撮像装置及び撮像方法
KR20180128878A (ko) 디스플레이 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination