CN1744672A

CN1744672A - 图像捕捉设备及其控制方法

Info

Publication number: CN1744672A
Application number: CNA2005100990089A
Authority: CN
Inventors: 宫﨑康嘉
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-08-31
Filing date: 2005-08-31
Publication date: 2006-03-08
Anticipated expiration: 2025-08-31
Also published as: US20060044422A1; KR100698483B1; JP4040613B2; DE602005006375D1; US7889890B2; EP1684504A2; DE602005006375T2; JP2006074164A; CN100379265C; EP1684504B1; EP1684504A3; KR20060050871A

Abstract

本发明涉及图像捕捉设备及其控制方法。至少一个示范的实施例能够控制光发射，以有利于对象的面部区域被充分拍摄。在该至少一个示范的实施例中，可以从预备光发射前后获得的拍摄图像信号检测对象的各个面部区域，在从拍摄图像信号检测到的面部区域之间进行亮度比较计算，从而能够在对象的面部区域的中心的区域中进行光量控制。

Description

图像捕捉设备及其控制方法

技术领域

本发明涉及信号处理方法。具体地，但不是唯一地，涉及用于数字照相机和/或摄像机的使用图像传感器的信号处理方法。

背景技术

在传统的图像捕捉设备中，光量控制的执行系基于在闪光照相时，在拍摄画面范围内的物体反射的光量的数据。

因此，在拍摄画面内存在反射率高或者低的物体的情况下，反射光的量会对光量控制有不利的影响。

例如，在对象穿着黑色服装的情况下，如果使用传统的系统，由于光量控制是基于从拍摄画面内的对象反射的光量数据进行的，对象的面部被照射的闪光量就超过了适当的量。

结果，所拍摄的对象的面部就被过度曝光。

因此，日本专利申请公开No.2003-107555讨论了一种在AF(自动对焦)之前从捕捉的图像检测对象面部，并利用被赋予权重的检测到的对象面部区域来执行曝光控制的技术。

使用上述技术，在拍摄时可以聚焦于对象的面部，从而允许面部区域具有最适当的亮度。

但是，例如，在光照不足的情况下(在以夜景作为背景拍摄人物的情况下)，难以从捕捉到的图像中精确地检测人物的面部。

其它的传统方法试图检测人物的面部，例如，一种方法将大于预定尺度的呈肉色的区域视为面部区域。另一种方法则是从亮度信息来检测面部的轮廓和眼睛的形状，将它们视为面部区域。但是，一般来说，在传统方法中，在黑暗状态下，检测精度就会恶化。

发明内容

至少一个实施例涉及图像捕捉设备，其被配置为执行有利于对对象的面部区域进行图像捕捉的光发射控制。在图像捕捉设备的至少一个举例的实施例中，从在预备光发射之前和之后获取的捕捉图像信号检测对象的各面部区域，在从捕捉到的图像信号检测到的面部区域之间进行亮度比较计算，从而能够在对象面部区域的中央区域中执行光量控制。

至少另外一个实施例是一种具有图像数据获取单元并被配置为在拍摄时在主光发射之前执行预备光发射的图像捕捉设备，其特征在于包括：面部区域检测单元，被配置为从所述图像数据获取单元在没有执行预备光发射时获取的第一图像数据和所述图像数据获取单元在执行预备光发射时获取的第二图像数据中的至少一个，检测对象的面部区域；亮度比较计算单元，被配置为，基于由面部区域检测单元检测到的对象的面部区域，针对亮度比较在没有执行预备光发射时获取的图像数据和在执行预备光发射时获取的图像数据，并计算至少一个亮度比较值；以及，主光发射量确定单元，被配置为，基于所述亮度比较计算单元计算的所述至少一个亮度比较值，确定主光发射的量。

另一个举例的实施方式是一种用于具有图像数据获取单元并被配置为在拍摄时在主光发射之前执行预备光发射的图像捕捉设备的控制方法，包括：从在没有执行预备光发射时由所述图像数据获取单元获取的第一图像数据和在执行预备光发射时由所述图像数据获取单元获取的第二图像数据中的至少一个，检测对象的面部区域；基于在面部区域检测步骤中检测到的对象的面部区域，针对亮度比较在不执行预备光发射时获取的图像数据和在执行预备光发射时获取的图像数据，并计算至少一个亮度比较值；以及，基于所述至少一个亮度比较值，确定主光发射的量。

在至少一个实施例中，程序使计算机执行上述控制方法。

结合附图阅读下面对实施例的详细说明可以更加明确本发明的其它特征。

附图说明

附图被结合在说明书中，构成说明书的一部分，用来图解说明本发明的实施例。附图中：

图1为第一实施例的图像捕捉设备的框图；

图2为第一实施例中的处理的流程图；

图3A到3F图示了第一实施例和传统方法中的处理；

图4A到4F图示了第一实施例和传统方法中的亮度计算处理；

图5是第二实施例中的处理的流程图；

图6A到6D图示了根据至少一个实施例的一个例子，其中，对整个拍摄画面加权；

图7A到7D图示了根据至少一个实施例的一个例子，其中，对面部区域加权。

具体实施方式

下面对实施例的说明只是说明性质的，绝不是要限制本发明、其应用或者其用途。

本领域普通技术人员所熟知的工艺、技术、设备和材料可能不会在下面详细讨论，但是在适当的地方，它们应当视为说明书的一部分，以使说明书能够实现。例如，本领域普通技术人员所知的AF和AE处理技术在适当的地方应当视为说明书的一部分。另外，实施例不限于可见光拍摄系统。例如，该系统可以被设计为用在红外或者其它波段的成像系统中。

注意，在下面的附图中，类似的附图标记指示类似的项目，因此，一旦某个项目已在一个图面中加以定义，则在下面的附图中可能不再讨论它。

下面结合附图详细描述实施例。

第一实施例

图1图解了根据第一实施例的图像捕捉设备的框图。

在图1中，附图标记101表示CPU(中央处理器)(例如微计算机或者微处理器(例如奔腾4))，其被配置为对图像捕捉设备(例如照相机)执行各种控制。附图标记102表示成像光学系统(例如包括透镜、光圈、快门的系统)。附图标记103表示图像传感器(例如具有光电转换功能的CCD(电荷耦合器件)，本领域普通技术人员所知的其它图像传感器，以及等效器件)。附图标记104表示A/D转换单元，其被配置为将从图像传感器103获取的模拟信号转换为数字信号。附图标记105表示面部检测单元，其被配置为从基于A/D转换单元103的输出生成的图像数据中检测对象的面部的面部信息(例如面积、形状、位置)。附图标记106表示AF(自动对焦)处理单元，其被配置为确定聚焦位置。附图标记107表示AE(自动曝光)处理单元，其被配置为获取对象亮度值Bv，并基于该值Bv，从程序表(未图示)确定Av(孔径)、Tv(快门速度)和Sv(感光度)值，以自动控制曝光。

这里Bv＝Av+Tv-Sv (1)

附图标记108表示闪光单元(例如闪光发射装置)。CPU 101能够基于AE处理单元107所确定的Bv、Av、Tv和Sv值指示闪光单元108是否执行闪光发射。

如果执行闪光发射，则闪光单元108就能执行预备光发射。

接下来，CPU 101能够计算主光发射的量，其中，主光发射的量可以从下述数据计算：预备光发射产生的从对象反射的光的数据(例如亮度比较值)。然后，CPU 101能够向闪光单元108发出信号以执行主光发射。

另外，在拍摄画面中包括高反射对象的情况下，来自高反射对象的光的反射强，使用闪光发射进行拍摄可能难以获得合适的图像。

应当注意，这里所指的高反射对象是这样一种对象：其反射水平会妨碍使用预备光发射来进行闪光拍摄。

在某些实施例中，即使在拍摄画面中包括总体上具有高反射率的对象(比如镜子)，但是如果对象本身较小，则可以进行使用预备光发射的闪光拍摄。

另外，这里所指的妨碍闪光拍摄的情况是指这样一种配置：即使通过调节感光度和曝光量来控制光发射量，也不利于闪光拍摄。

附图标记109表示图像处理单元，其被配置为处理捕捉到的图像。附图标记110表示格式转换单元，被配置为将经过图像处理单元109的处理的图像数据转为另一种格式(例如JPEG、TIFF)。附图标记111表示记录单元，被配置为记录由所述格式转换单元110转换后的图像数据。

图2的流程图用于解释根据本发明的第一实施例的处理步骤。图3A到3F的视图图示了与传统方法相比，第一实施例中的处理。图4A到4F图示了与传统方法相比，第一实施例中的亮度计算处理。

下面根据图2的流程图描述第一实施例的工作过程。

当用户在步骤S201操作(例如半按)快门按钮(SW1)时，AF处理单元106和AE处理单元107在步骤S202对拍摄画面的至少一部分(例如全部)进行AF和AE处理操作。

然后，在步骤S203，获取第一图像数据(例如由第一图像数据获取单元获取)，获取的第一图像数据被临时存储起来(例如存储在缓冲存储器中)(未图示)。

在实施例中使用的AF处理操作可以采用许多方法，例如，它可以是这样一种方法：基于来自在拍摄画面上预先设置的多个聚焦检测区域的距离信息或者对比度信息，选择一个或者多个聚焦检测区域，并驱动聚焦透镜，使之将所选择的聚焦检测区域中存在的对象适应景深。

另外，用在实施例中的AE处理操作可以采用许多方法，例如，它可以是这样一种方法：放大从所选择的聚焦检测区域所对应的测光区域检测到的亮度值的权重，并计算要被拍摄的对象的亮度值。

在步骤S204，面部检测单元105能够对在步骤S203临时存储的第一图像数据执行面部检测，以获取面部信息(例如面部面积、面部位置、反射数据，以及相关领域普通技术人员所知的有关面部的其它数据，以及等效数据)。

如果在步骤S204可以执行面部检测，则AF处理单元106和AE处理单元107在步骤S205设置AF和AE值，以对一个图像区域执行AF和AE处理操作，这里，基于在步骤S204获取的面部信息，该图像区域处于第一图像数据中的面部区域的中心。

然后，在步骤S206，获取第二图像数据(例如由第二图像数据获取单元获取)(图3A)，所获取的第二图像数据被临时存储起来(例如存储在缓冲存储器中)(未图示)。注意，尽管分别标示了第一和第二图像数据获取单元作为例子，但是它们的功能可以组合到单个单元中或者两个以上的单元(例如照相机、CCD、相关领域普通技术人员所知的其它图像捕捉和/或获取单元，以及等效的装置)中。

应当注意，尽管第一实施例可以对面部区域中心的图像区域进行AF和AE处理操作，但是在传统的方法中是对整个拍摄画面进行AF和AE处理操作(图3D)。

具体地，可以驱动图像传感器103的聚焦透镜，使之聚焦到检测到的面部区域上，将该面部区域的亮度值直接视为对象的亮度值，从而足以对面部区域进行拍摄。

重复从步骤S204到步骤S206的处理，直到用户在步骤S207操作快门按钮(SW2)(例如全按下)。

当用户在步骤S207操作快门按钮(SW2)(例如全按下)时，CPU 101在步骤S208根据拍摄画面的条件判断是否要执行闪光拍摄。

如果在步骤S208 CPU 101判定要执行闪光拍摄，则闪光单元108可以在步骤S209执行预备光发射。

另外，如果在步骤S208 CPU 101判定不需要进行闪光拍摄，CPU101可以不发射闪光而在步骤S214执行主拍摄，并可以将拍摄到的图像记录在记录单元111上。

在步骤S209，闪光单元108可以执行预备光发射，在步骤S210，基于预备光发射期间反射光的数据，CPU 101获取捕捉的第三图像数据(图3B)。

应当注意，尽管第一实施例可以对面部区域中心的图像区域进行AF和AE处理操作(图3B)，但是在传统的方法中是对整个拍摄画面进行AF和AE处理操作(图3E)。

根据在步骤S209进行的预备光发射期间获得的反射光数据的分布，如果在步骤S211判定拍摄画面中不包括高反射对象，则面部检测单元105在步骤S212对在步骤S210获取的第三图像数据进行面部检测，获取面部信息(例如面部面积、面部位置以及反射光数据)。

另外，根据在步骤S209进行的预备光发射期间获得的反射光数据的分布，如果在步骤S211 CPU 101判定拍摄画面中包括高反射对象，那么在步骤S214，CPU 101根据在步骤S204获取的面部信息执行主拍摄而不执行闪光拍摄，并将捕捉的图像记录到记录单元111上。

在步骤S213，CPU 101可以在步骤S206获取的第二图像数据的面部区域(图3A)和步骤S210获取的第三图像数据的面部区域(图3B)之间执行亮度的比较计算(差分计算)。

然后，根据比较计算的结果(例如亮度比较值)，CPU 101可以计算主光发射量，并在步骤S214，可以使用闪光发射进行主拍摄。

在AF和AE处理操作中，在聚焦检测区域中存在短距离物体或者高对比度物体的情况下，由于预先设置，AF和AE处理操作可能会受到不利的影响。

但是，通过进行图像处理从拍摄画面检测面部区域，即使存在距离比被拍摄的人物近的物体，也可以使AF和AE处理操作集中于对象的面部。

例如，在如图3A到3F所示，拍摄在面部前方放有一个白盒子300的对象的情况下，根据某些AF和AE处理操作，可以基于白盒子的位置执行聚焦控制、曝光控制以及光量控制。

这样，整个拍摄画面的亮度值常常导致曝光不足(图3F)。

但是，根据至少一个实施例，通过检测面部区域，曝光不会受人物之外的物体的不利影响，因此，曝光控制和光量控制的方式可以有利于适当地拍摄人物的面部(图3C)。

回到图2的流程图。在步骤S204，如果面部检测单元105不能执行面部检测(例如在对象暗的情况下)，则AF处理单元106和AE处理单元107在步骤S215执行AF值和AE值的设置，以对整个拍摄画面执行已知的AF和AE处理操作。

在步骤S216，如果用户操作(例如全按)了快门按钮(SW2)，则CPU 101在步骤S217根据拍摄画面的条件判定是否执行闪光拍摄。

在步骤S217，如果CPU 101判定可以使用闪光拍摄，则闪光单元108可以在步骤S218执行预备光发射。

在步骤S217，如果CPU 101判定不需要进行闪光拍摄，则在步骤S224，CPU 101可以不发射闪光而进行主拍摄，并将捕捉到的图像记录到记录单元111上。

在步骤S218，闪光单元108可以执行预备光发射，在步骤S219，CPU 101可以基于在步骤S218发射的预备光发射期间获取的反射光数据，获取捕捉的第三图像数据。

在步骤S220，如果CPU 101根据在步骤S218执行的预备光发射期间获得的反射光数据的分布，判定在拍摄画面中不包括高反射物体，则在步骤S212，面部检测单元105可以对在步骤S219获取的第三图像数据执行面部检测，并可以获得面部信息(例如面部面积、面部位置以及反射光数据)。

另外，在步骤S220，如果CPU 101判定拍摄画面中包括高反射物体，则在步骤S224，CPU 101执行不发射闪光的主拍摄，并将捕捉到的图像记录到记录单元111上。

在步骤S222，CPU 101在第一图像数据上限定一个面部区域，该面部区域可以与在步骤S221获取的面部区域在同一位置。

在步骤S223，CPU 101可以在在步骤S203获取的第一图像数据的面部区域和在步骤S219获取的第三图像数据的面部区域之间执行亮度的比较计算(差分计算)。

然后，根据该比较计算的结果，CPU 101计算主光发射量，并在步骤S224使用闪光发射进行主拍摄。

应当注意，尽管，如图4A到4C所示，第一实施例中的具体亮度比较计算方法是将第二图像数据(图4A)和第三图像数据(图4B)分别分割为任意数量的块(在图4A到4C中是5×7块)，并在环绕所设定的面部区域400的一个矩形框内比较可计算亮度值，但是传统的方法可以是在整个拍摄画面410内比较和计算亮度值(图4D和4E)。

基于所设定的面部区域的比较计算所获得的亮度数据(例如亮度比较值，图4C)，可以计算产生合适的亮度值的主光发射量。按照计算的主光发射量进行闪光发射拍摄所获取的图像数据(图3C)成为主拍摄图像。应当注意，按照传统的方法，对整个拍摄画面进行亮度比较计算，并基于通过比较计算获得的亮度数据(图4F)计算产生合适的亮度值的主光发射量。因此，有时候，作为闪光拍摄的结果而获得的图像数据(图3F)中被拍摄的对象的亮度不足。

根据上述第一实施例，由于主光发射量的计算强调了面部区域，根据至少一个实施例，在执行闪光拍摄时可以减少对象面部之外的反射物体产生的效果。

这样，根据至少一个实施例，进行拍摄时可使面部区域有合适的亮度。

另外，即使在拍摄画面中存在高反射物体，并且存在在预备光发射期间从对象图像检测不到的面部的情况下，根据至少一个实施例，由于可以基于在预备光发射之前获取的面部信息执行AF和AE处理操作，在拍摄时可以对面部区域施加一加权因子，从而对之进行最恰当的拍摄。

第二实施例

图5的流程图说明了根据第二实施例的图像捕捉设备的处理步骤。

下面结合图5的流程图描述第二实施例的操作。

在图5中，执行与第一实施例相同的处理的步骤用相同的步骤编号表示。

第二实施例不同于第一实施例之处在于包括另外的步骤，这些另外的步骤涉及对面部区域设定加权系数(步骤S301和S302)。下面描述第二实施例的上述区别步骤。

这里，类似于第一实施例，在步骤S212，面部检测单元105可以对在步骤S210获取的第三图像数据执行面部检测，并获取面部信息(例如面部面积、面部位置、反射光数据)，然后过程前进到步骤S301。

在步骤S301，CPU 101可以根据拍摄画面的条件对面部区域的亮度执行加权处理(例如设置加权系数)。

在步骤S213，CPU 101可以执行在步骤S206获取的第二图像数据和通过步骤S301的加权处理获取的图像数据之间的亮度比较计算。

然后，基于比较计算的结果，计算主光发射量。然后在步骤S214，CPU 101执行主拍摄。

另外，在步骤S221，面部检测单元105对在步骤S219获取的第三图像数据执行面部检测，获取面部信息(面部面积、面部位置和反射光数据)，然后过程前进到步骤S302。

在步骤S302，CPU 101根据拍摄画面的条件对面部区域的亮度执行加权处理(例如设置加权系数)。

在步骤S222，CPU 101在与步骤S221获取的面部区域相同的位置在第一图像数据上限定一个面部区域。

然后，在步骤S223，CPU 101执行在步骤S203获取的第一图像数据和通过步骤S302的加权处理获取的图像数据之间的亮度比较计算，并基于该比较计算的结果，计算主光发射量。然后，在步骤S224，CPU 101执行主拍摄。

下面通过比较传统方法(图6A到6D)与第二实施例的方法(图7A到7D)来描述加权处理的具体操作。

在图6A到6D中，使用传统方法执行加权操作(将整个拍摄画面作为加权对象)。

图6A图解了在步骤S206获取的第二图像数据，图6B图示了在步骤S210获取的第三图像数据。

图6C图解了差值图像数据，它可以由第三图像数据和第二图像数据之间的有限差分获得。CPU 101可以执行这样的加权处理：如图6D所示，对图像的中央进行加权。

在图7A到7D中，执行第二实施例中的加权操作：用检测到的面部区域作为加权对象。

在第二实施例中，图示于图7A的第二图像数据和图示于图7B的第三图像数据是类似于上述图6A和图6B获得的图像数据。

接下来对两个图像数据执行面部区域的检测。

然后类似于第一实施例获得差值图像数据(图7C)。

接下来，对于所获得的差值图像数据，进行加权处理，该加权处理增大检测到的面部区域的加权，如图7D所示。

在上述第二实施例中，由于根据拍摄画面中的面部区域的条件来执行对面部区域的加权，闪光拍摄的执行方式可以有利于以足够的亮度拍摄面部区域，而不会受对象面部之外的物体的影响。

上面结合实施例描述了本发明。应当理解，本发明不限于所公开的实施例。所附权利要求的范围应当按照最为宽泛的解释，包括所有的修改、等效结构和功能。

Claims

1.一种具有图像数据获取单元并被配置为在拍摄期间在主光发射之前进行预备光发射的图像捕捉设备，其特征在于包括：

面部区域检测单元，被配置为从所述图像数据获取单元在没有执行预备光发射时获取的第一图像数据和所述图像数据获取单元在执行预备光发射时获取的第二图像数据中的至少一个，检测对象的面部区域；

亮度比较计算单元，被配置为，基于由面部区域检测单元检测到的对象的面部区域，针对亮度比较在没有执行预备光发射时获取的图像数据和在执行预备光发射时获取的图像数据，并计算至少一个亮度比较值；以及，

主光发射量确定单元，被配置为，基于所述亮度比较计算单元计算出来的所述至少一个亮度比较值，确定主光发射的量。

2.如权利要求1所述的图像捕捉设备，其中，所述亮度比较计算单元设置对在没有执行预备光发射时获取的所述图像数据和在执行预备光发射时获取的所述图像数据之间的差值图像数据的加权，以获得所述至少一个亮度比较值。

3.如权利要求1所述的图像捕捉设备，其中，所述亮度比较计算单元比较从没有执行预备光发射时获取的所述图像数据检测到的面部区域中的亮度和从执行预备光发射时获取的所述图像数据检测到的面部区域中的亮度，以获得所述至少一个亮度比较值。

4.如权利要求1到3之一所述的图像捕捉设备，其中，在没有执行预备光发射时获取的所述图像数据包括下述图像数据之一：所述第一图像数据，以及基于从该第一图像数据获得的面部区域的检测结果获得的图像数据。

5.如权利要求1所述的图像捕捉设备，还包括：控制单元，被配置为基于在进行拍摄之前设置的照相机参数进行拍摄。

6.如权利要求1所述的图像捕捉设备，其中，在面部区域检测单元在进行拍摄之前没有检测到面部区域的情况下，面部区域检测单元对进行拍摄之前获得的所述第一图像数据进行面部区域的设置。

7.如权利要求2所述的图像捕捉设备，其中，所述亮度比较计算单元放大对所述差值图像数据内的面部区域的加权，以获得所述至少一个亮度比较值。

8.如权利要求5所述的图像捕捉设备，其中，通过预备光发射识别在场景中是否存在妨碍闪光拍摄的物体，响应于该识别设置所述照相机参数。

9.一种具有图像数据获取单元并被配置为在拍摄期间在主光发射之前进行预备光发射的图像捕捉设备的控制方法，包括：

从在没有执行预备光发射时由所述图像数据获取单元获取的第一图像数据和在执行预备光发射时由所述图像数据获取单元获取的第二图像数据中的至少一个，检测对象的面部区域；

基于在面部区域检测步骤中检测到的对象的面部区域，针对亮度比较在没有执行预备光发射时获取的图像数据和在执行预备光发射时获取的图像数据；

计算至少一个亮度比较值；以及，

基于所述至少一个亮度比较值确定主光发射的量。

10.如权利要求9所述的图像捕捉设备控制方法，其中，所述计算步骤包括设置步骤：设置对在没有执行预备光发射时获取的所述图像数据和在执行预备光发射时获取的所述图像数据之间的差值图像数据的加权。

11.如权利要求9所述的图像捕捉设备控制方法，其中，所述比较步骤包括比较从没有执行预备光发射时获取的所述图像数据检测到的面部区域中的亮度和从执行预备光发射时获取的所述图像数据检测到的面部区域中的亮度的步骤。

12.如权利要求9到11之一所述的图像捕捉设备，其中，在没有执行预备光发射时获取的所述图像数据包括下述图像数据之一：所述第一图像数据，以及基于从该第一图像数据获得的面部区域的检测结果获得的图像数据。

13.如权利要求9所述的图像捕捉设备控制方法，还包括控制步骤：基于在进行拍摄之前设置的照相机参数进行拍摄。

14.如权利要求9所述的图像捕捉设备控制方法，其中，在面部区域检测步骤在进行拍摄之前没有检测到面部区域的情况下，面部区域检测步骤包括一个设置步骤：对进行拍摄之前获得的第一图像数据进行面部区域的设置。

15.如权利要求10所述的图像捕捉设备控制方法，其中，所述计算步骤包括放大对所述差值图像数据内的面部区域的加权的步骤。

16.如权利要求13所述的图像捕捉设备控制方法，其中，通过预备光发射识别在场景中是否存在妨碍闪光拍摄的物体，响应于该识别设置所述照相机参数。