CN102377905A - 图像摄取装置及其控制方法 - Google Patents

Abstract

本发明提供一种图像摄取装置及其控制方法，该图像摄取装置能够从连续拍摄的图像中选择更适合用户的图像。选中在多个图像中的各个中包括的面部，并且针对图像中的各个，基于在图像中的各个中选中的面部，计算在从多个图像中选择一个图像时使用的评价值。选择具有最高评价值的图像，并且当存在多个图像具有最高评价值时，选择最先拍摄的图像。然后，记录选择的图像。

Description

图像摄取装置及其控制方法

技术领域

本发明涉及一种图像摄取(pickup)装置、控制方法和存储介质，尤其涉及一种连续拍摄图像以获得多个图像的图像摄取装置、其控制方法和存储用于实现该方法的程序的存储介质。

背景技术

传统上，存在从连续拍摄的图像中获得具有期望保留的表情的面部的图像的图像处理技术。

例如，从图像中检测面部图像，根据检测到的面部图像计算与各个面部表情相对应的面部表情评价值，并且基于面部评价值与针对面部评价值提供的阈值之间的关系确定面部表情(例如参见日本特开(Kokai)2009-253848号公报)。此外，提出了如下方法：为了连续获得多个图像而设置图像摄取单元，并且使用以下条件中的至少一个作为预定条件对图像进行排序：主被摄体的状态、图像构成和人脸的状态(例如参见日本特开(Kokai)2009-272740号公报)。

然而，根据在日本特开(Kokai)2009-253848号公报中描述的发明，因为使用阈值来进行确定，因此仅在第二阶段确定面部表情。

此外，在日本特开(Kokai)2009-272740号公报中描述的发明有如下问题：虽然考虑主被摄体的状态，但是没有考虑作为反映用户的意图的信息的图像摄取的开始定时。具体地，即使当评价了连续拍摄的多个图像中的各个，并且选择了最高排序的图像时，这也不总是适合用户。例如，即使当对紧接在用户按下用于开始图像摄取的释放按钮之后拍摄的图像，给予比在几个图像之后拍摄的图像低的评价时，在它们之间也仅存在小的差别。在这种情况下，该差别不会引起用户方面的问题，而可以认为在用户有意操作释放按钮的时间附近拍摄的图像可能适合该用户。

因此，传统技术有从连续拍摄的图像中选择的图像不总是适合用户的图像的问题。

发明内容

本发明提供一种能够从连续拍摄的图像中选择更适合用户的图像的图像摄取装置、用于该图像摄取装置的控制方法和存储用于实现该方法的程序的计算机可读存储介质。

相应地，本发明的第一方面提供一种图像摄取装置，其连续拍摄被摄体的图像，以获得表示该被摄体的多个图像，所述图像摄取装置包括：选中单元，被配置为选中在所述多个图像中的各个中包括的面部；计算单元，被配置为针对所述多个图像中的各个，基于由所述选中单元在所述多个图像中的各个中选中的面部，计算评价值，所述评价值用来从所述多个图像中选择一个图像；选择单元，被配置为选择具有由所述计算单元计算的最高评价值的图像，当存在多个图像具有由所述计算单元计算的最高评价值时，选择最先拍摄的图像；以及记录单元，被配置为记录由所述选择单元选择的图像。

相应地，本发明的第二方面提供一种图像摄取装置的控制方法，所述图像摄取装置连续拍摄被摄体的图像，以获得表示该被摄体的多个图像，所述控制方法包括：选中步骤，选中在所述多个图像中的各个中包括的面部；计算步骤，针对所述多个图像中的各个，基于在所述选中步骤中在所述多个图像中的各个中选中的面部，计算评价值，所述评价值用来从所述多个图像中选择一个图像；选择步骤，选择具有在所述计算步骤中计算的最高评价值的图像，当存在多个图像具有在所述计算步骤中计算的最高评价值时，选择最先拍摄的图像；以及记录步骤，记录在所述选择步骤中选择的图像。

相应地，本发明的第三方面提供一种计算机可读非易失性存储介质，其存储用于使计算机实现图像摄取装置的控制方法的程序，所述图像摄取装置连续拍摄被摄体的图像，以获得表示该被摄体的多个图像，所述控制方法包括：选中步骤，选中在所述多个图像中的各个中包括的面部；计算步骤，针对所述多个图像中的各个，基于在所述选中步骤中在所述多个图像中的各个中选中的面部，计算评价值，所述评价值用来从所述多个图像中选择一个图像；选择步骤，选择具有在所述计算步骤中计算的最高评价值的图像，当存在多个图像具有在所述计算步骤中计算的最高评价值时，选择最先拍摄的图像；以及记录步骤，记录在所述选择步骤中选择的图像。

根据本发明，可以从连续拍摄的图像中选择更适合用户的图像。

从下面对示例性实施例的描述(参照附图)，本发明的其它特征将变得明显。

附图说明

图1是示意性地示出根据本发明的实施例的图像摄取装置的示例性布置的框图。

图2是示出由图1所示的系统控制器进行的图像数据记录处理的流程图。

图3是示出在图2中的步骤S202中进行的面部评价计算处理的过程的流程图。

图4A和4B是示出在图3中的步骤S302中进行的微笑评价处理的过程的流程图。

图5A和5B是在说明在图4A和4B中的处理中分配的微笑评价值时有用的图，其中，图5A示出了微笑水平(level)，图5B示出了微笑评价值。

图6A和6B是示出在图3中的步骤S303中进行的睁眼评价处理的过程的流程图。

图7A和7B是示出在图6A中的步骤S507中进行的睁眼改变检测处理的过程的流程图。

图8A至8C是在说明在图6A和6B中的处理中分配的睁眼评价值时有用的图，其中，图8A示出了右眼的睁眼水平，图8B示出了左眼的睁眼水平，图8C示出了睁眼评价值。

图9是在说明在图2中的处理中计算的面部评价值时有用的图。

具体实施方式

现在，参照示出本发明的实施例的附图，详细描述本发明。

图1是示意性地示出根据本发明的实施例的图像摄取装置的布置的框图。

参照图1，作为根据本实施例的图像摄取装置的数字照相机100包括系统控制器108、图像摄取镜头101、图像摄取设备102、A/D转换器103、图像处理单元104和格式转换器105。数字照相机100还包括DRAM 106、图像记录单元107和面部检测模块114。数字照相机100还包括微笑检测模块115、眼睛区域检测模块116、睁眼检测模块117、控制台109、图像摄取模式SW 110、主SW 111以及SW 112和113。

系统控制器108控制整个数字照相机100，并且控制诸如图像摄取序列的处理。图像摄取镜头101包括变焦机构、聚焦透镜机构和光圈快门机构。图像摄取设备102是用于将来自被摄体的反射光转换为电信号的光接收单元和光电转换单元。A/D转换器103包括去除来自图像摄取设备102的输出噪声的CDS电路和在A/D转换之前进行非线性放大的非线性放大电路。图像处理单元104从自A/D转换器103输出的信号中提取与亮度相关的特定频带中的信号分量，并且检测被摄体的聚焦状态。格式转换器105将从图像处理单元104输出的信号转换为数字图像数据(下面仅称为“图像”)。DRAM 106是记录从格式转换器105输出的图像的高速内置存储器(例如随机存取存储器)。DRAM 106用作作为临时图像存储单元的高速缓冲器或者用作用于图像压缩和展开的工作存储器。图像记录单元107包括诸如存储卡的记录介质及其接口。

控制台109用于用户对数字照相机100进行操作。控制台109包括用于配置诸如图像摄取功能和图像再生成设置的数字照相机100的各种设置的菜单开关、用于指令图像摄取镜头进行变焦操作的变焦操纵杆、用于在图像摄取模式与再现模式之间进行切换的操作模式开关。

图像摄取模式SW 110是用于配置诸如关于是否进行面部检测的确定的设置的开关。主SW 111是用于接通到数字照相机100的电源的开关。SW 112是用于采取诸如AF(自动聚焦)和AE(自动曝光)的图像摄取待机动作的开关。SW 113是用于在操作SW 112之后拍摄图像的图像摄取开关。SW 112和SW 113通常由一个按钮构成，当按钮被半按下时，SW 112接通，当按钮进一步被全按下时，SW 113接通。

面部检测模块114使用由图像处理单元104处理过的图像信号进行面部检测，并且将检测到的一个或更多个面部信息(例如位置、大小和可靠性)发送给系统控制器108。面部检测模块114对从图像处理单元104输出的图像进行公知的面部检测处理，并且检测在由图像摄取设备102拍摄的图像中包括的人的面部区域。注意，公知的面部检测处理的示例包括如下方法：从图像的各个像素的色调颜色中提取皮肤色调区域，基于与预先准备的面部轮廓板的匹配程度来检测面部。此外，公开了如下方法：通过使用已知的模式识别技术提取诸如眼睛、鼻子和嘴的面部的特征点，来检测面部。

微笑检测模块115针对由面部检测模块114检测到的面部计算面部微笑水平。具体来说，微笑检测模块115获得计算微笑的程度所需的特征量，例如构成面部的、包括眼睛、鼻子和嘴的面部构成部分的轮廓，以及诸如内眼角、外眼角、鼻孔、嘴角和嘴唇的面部构成部分的位置。获得特征量的方法的示例包括：使用基于各个面部构成部分的模板的模板匹配的方法，以及使用用于通过使用面部构成部分的多个样本图像进行机器学习而获得的各个面部构成部分的确定单元的方法。微笑检测模块115基于上述特征量，计算指示面部微笑的程度的微笑水平。

眼睛区域检测模块116从面部检测模块114检测到的面部区域中检测眼睛区域。

睁眼检测模块117根据由眼睛区域检测模块116检测到的眼睛区域中的直方图，检测与黑眼睛相对应的亮度区域的面积。然后，睁眼检测模块117根据与黑眼睛相对应的区域相对于眼睛区域的面积，计算指示睁眼的程度的睁眼水平。

注意，用于面部检测、微笑水平计算和睁眼水平计算的方法不限于上述方法，而可以使用各种公知方法。

使用上述布置，在本实施例中，当用户操作SW 113时，系统控制器108开始连续拍摄图像。然后，系统控制器108将获得的图像记录在DRAM 106上，从它们中选择稍后描述的具有最高评价值的图像，并且将选择的图像记录在作为非易失性存储器的图像记录单元107中。注意，当存在多个图像数据具有最高评价值时，从该多个图像数据中选择在最接近操作SW 113的时间的时间拍摄的图像，即最先获得的图像。注意，在下面的描述中，将连续拍摄图像称为“连续拍照”。

图2是示出由图1所示的系统控制器108进行的图像数据记录处理的流程图。

图像数据记录处理是如下处理：通过响应于SW113接通，对被摄体连续进行拍照，来获得指示被摄体的多个图像，将从所获得的多个图像中选择的图像记录在图像记录单元107中。

参照图2，系统控制器108进行如下图像摄取处理：其从图像摄取设备102读出电荷信号，并且经由A/D转换器103、图像处理单元104和格式转换器105，将拍摄的图像写入DRAM 106的预定区域上(步骤S201)。系统控制器108进行稍后描述的图3中的面部评价计算处理，以对拍摄的图像进行评价(步骤S202)。然后，系统控制器108确定是否更新要在图像记录单元107上记录的图像(下文中称为“要记录的图像数据”)，即确定是否选择该图像(步骤S203)(选择单元)。当在步骤S203中确定不更新要记录的图像数据(步骤S203：否)时，处理跳过步骤S204，进行到步骤S205。另一方面，当在步骤S203中确定要更新要记录的图像数据(步骤S203：是)时，将要记录的图像数据更新为经过步骤S202中的评价的图像(步骤S204)。然后，系统控制器108确定是否连续拍摄了预定数量的图像(步骤S205)。当确定连续拍摄了预定数量的图像(步骤S205：是)时，系统控制器108使图像记录单元107将要记录的图像数据记录在DRAM 106上(步骤S206)(记录单元)，并且终止该处理。

另一方面，当在步骤S203中确定不更新要记录的图像数据(步骤S203：否)时，系统控制器108使该处理进行到步骤S205。当在步骤S205中确定未连续拍摄预定数量的图像(步骤S205：否)时，系统控制器108重复执行步骤S201和后续步骤。

现在，对在步骤S203中如何确定是否更新要记录的图像数据给出描述。进行更新的条件之一是条件A：经过确定的图像数据是“在依次拍照中拍摄的第一个图像”。进行更新的条件中的另一个是条件B：“没有对经过评价的全部面部分配负评价值，经过评价的任何面部具有针对面部的正评价值，并且具有大于所有其它评价值的面部评价值”。当满足条件A和B中的任意一个时，更新要记录的图像数据。在下面的描述中，将针对面部的评价值称为“面部评价值”。

当面部评价值相同时，这意味着不“大于任何其它评价值”，因此不更新要记录的图像数据，并且即使当面部评价值相同时，也选择接近图像摄取开始的时间的图像。

根据图2中的处理，当存在多个图像具有最高评价值时，选择最先拍摄的图像(步骤S203：是)。其结果是，选择在时间上最接近图像摄取开始的时间的图像，从而可以选择更适合用户的图像。

负评价值意为，当经过评价的面部(下文中称为“评价目标面部”)微笑的程度降低预定量或者更多时，还有，当睁眼的程度降低预定量或者更多时，分配给面部的评价值。当评价目标面部从微笑面部改变为普通面部时，以及当评价目标面部从睁眼状态改变为闭眼状态时，分配负评价值。

正评价值意为，基本上当评价目标面部微笑的程度提高预定量或者更多时，还有，当睁眼的程度提高预定量或者更多时，分配给面部的评价值。当评价目标面部从普通面部改变为微笑面部时，以及当评价目标面部从睁眼状态改变为闭眼状态时，分配正评价值。

上述评价目标面部是如下面部：在从图像中检测到的面部之中，针对该面部计算微笑水平和睁眼水平，以计算评价值。从“存在于图像的预定范围内的面部”、“具有预定大小或者较大大小的面部”、“在图像摄取开始时聚焦的图像”等中，确定评价目标面部。即，评价目标面部是用户意欲作为被摄体的一个人或者多个人的面部。在通过连续拍照拍摄的第二个和后续图像中，优先采用与在先前的图像摄取中作为评价目标的面部相同的面部，作为评价目标面部。

可以使用面部识别技术来确定面部是否相同，或者当当前评价目标面部的大小和位置与先前的图像摄取中的评价目标面部基本相同时，可以确定当前评价目标面部与先前图像摄取中的评价目标面部相同。

图3是示出在图2中的步骤S202中进行的面部评价计算处理的过程的流程图。

参照图3，系统控制器108从图像中检测面部，并且使用上述评价目标面部选中方法，从检测到的面部中选中评价目标面部(步骤S301)(选择单元)。系统控制器108进行稍后描述的图4A和4B中的微笑评价处理，以对任意评价目标面部进行微笑评价(步骤S302)。系统控制器108进行稍后描述的图6中的睁眼评价处理，以对与进行了微笑评价的面部相同的评价目标面部进行睁眼评价(步骤S303)。然后，系统控制器108计算评价目标面部的面部评价值(步骤S304)。在本实施例中，通过将分配给各个评价目标面部的所有微笑评价值和睁眼评价值相加，来计算面部评价值。

然后，系统控制器108确定是否完成了对图像内的所有评价目标面部的评价(步骤S305)。当确定未完成对图像内的所有评价目标面部的评价(步骤S305：否)时，系统控制器108对图像内的其它评价目标面部重复进行步骤S302和后续步骤中的处理。另一方面，当确定完成了对图像内的所有评价目标面部的评价(步骤S305：是)时，系统控制器108基于在步骤S301中从各个图像中选择的面部，计算图像评价值(评价值)(步骤S306)(计算单元)，并且终止本处理。使用该评价值来从拍摄的多个图像中选择一个图像。

在本实施例中，通过将分配给图像中的多个评价目标面部中的各个的所有评价值相加，来计算面部评价值。当然，当仅存在一个评价目标面部时，该评价目标面部的面部评价值为图像评价值。当希望对多个人进行评价时，可以通过将多个评价目标面部的面部评价值相加来获得图像评价值，而当不希望对多个人进行评价时，可以通过对多个评价目标面部的面部评价值求平均来获得图像评价值。

图4A和4B是示出在图3中的步骤S302中进行的微笑评价处理的过程的流程图。

参照图4A和4B，系统控制器108使用微笑检测模块115针对评价目标面部，获得指示微笑的程度的微笑水平(步骤S401)。系统控制器108确定当前图像是否是连续拍摄的图像中的第一个图像(步骤S402)。当确定当前图像是第一个图像(步骤S402：是)时，系统控制器108对其分配基本评价值(步骤S403)，并且终止本处理。另一方面，当确定当前图像不是第一个图像(步骤S402：否)时，系统控制器108确定当前评价目标面部是否与先前的评价目标面部相同，即当前评价目标面部是否与先前图像摄取中的评价目标面部相同(步骤S404)。当确定面部不相同(步骤S404：否)时，系统控制器108在不分配任何评价值的情况下终止本处理(步骤S410)。在步骤S404中确定面部是否相同的原因是，因为微笑确定预定值在不同的个体之间变化，因此人必须相同，才可以使用该微笑确定预定值。

另一方面，当确定面部相同(步骤S404：是)时，系统控制器108计算当前图像摄取与先前的图像摄取之间的微笑水平的差(步骤S405)。在本实施例中，将作为比较目标的图像的微笑水平与先前拍摄的图像的微笑水平进行比较，从而检测面部表情的改变。在这种情形下，可以将目标图像的微笑水平与在预定时间段之前拍摄的图像的微笑水平进行比较，或者可以将目标图像的微笑水平与要记录的拍摄的图像的微笑水平进行比较。因此，针对各个图像中的相同面部，获得指示微笑的程度的微笑水平。

然后，系统控制器108计算该差与用于评价面部表情的改变的微笑确定预定值(第一预定值)之间的比率(步骤S406)。系统控制器108确定该比率是否小于1并且大于-1(即该比率的绝对值是否小于1)(步骤S407)。当确定该比率的绝对值小于1(步骤S407：是)时，系统控制器108确定在先前的图像中，评价目标面部是否是第一次改变为微笑(即计算的比率是否变为正值)。当确定评价目标面部不是第一次改变为微笑(步骤S408：否)时，系统控制器108在不分配任何评价值的情况下终止本处理(步骤S410)。

另一方面，当在步骤S407中确定该比率的绝对值不小于1(步骤S407：否)时，系统控制器108确定该比率是否等于或大于1(步骤S411)。当确定该比率不等于或大于1(即该比率等于或小于-1)(步骤S411：否)时，系统控制器108分配负评价值(步骤S412)，并且终止本处理。可以根据在步骤S406中获得的比率，分配在步骤S412中分配的负评价值。在这种情况下，到普通面部的改变的程度越大，要分配的评价值在负方向上越大。

另一方面，当在步骤S408中确定评价目标面部第一次改变为微笑(步骤S408：是)时，系统控制器108分配正评价值(步骤S409)，并且终止本处理。在步骤S408之后的该步骤S409中分配的正评价值是统一的值。

当确定该比率等于或大于1(步骤S411：是)时，系统控制器108分配正评价值(步骤S409)，并且终止本处理。可以根据在步骤S406中获得的比率，来分配在步骤S411之后的该步骤S409中分配的正评价值。在这种情况下，到微笑的改变的程度越大，要分配的评价值在正方向上越大。

当在图4B中的处理中，针对先前的图像，确定评价目标面部第一次改变为微笑(步骤S407：是，并且步骤S408：是)时，即使当改变的程度小时，系统控制器108也仅分配一次正评价值。在面部表情刚刚改变为被确定为微笑的状态的图像中，面部表情可能已经达到了令人满意的微笑水平。因此，通过即使在微笑的程度没有改变微笑确定预定值或者更大时，也仅分配一次正评价值(步骤S409)，可能选择接下来的改变了的图像。

图5A和5B是在说明在图4A和4B中的处理中分配的微笑评价值时有用的图，其中，图5A示出了微笑水平，图5B示出了微笑评价值。

在图5A的曲线图中，纵轴表示微笑水平，横轴表示连续拍摄的图像的数量。在该曲线图中，白色圆601指示第一个图像中的微笑水平。差602是第一个图像中的微笑水平与第二个图像中的微笑水平之间的差。线段603用于将微笑确定预定值和差相互进行比较，微笑确定预定值是最近的黑色圆之间的区间。对于第一个图像之外的图像，以相同的含义使用白色圆601、差602和线段603。

特别在图5A中，如线段603所指示的，第一个图像与第二个图像之间的差是微笑确定预定值的两倍，在这种情况下，比率是“+2”。

第二个图像与第三个图像之间的差以及第三个图像与第四个图像之间的差小于微笑确定预定值，而第四个图像与第五个图像之间的差稍大于微笑确定预定值。

另一方面，在图5B的曲线图中，纵轴表示微笑评价值，横轴表示连续拍摄的图像的数量。

参照图5B的曲线图，因为在第一个图像之前没有图像，因此不能计算微笑水平的差，因此分配诸如“10”的上述基本评价值。然后，当将图5A所示的第一个图像和第二个图像的微笑水平相互进行比较时，它们之间的差是大于微笑确定预定值的正值。

因为如上所述，该差和微笑确定预定值之间的比率是“+2”，因此系统控制器108分配评价值“+20”，因此总评价值是“30”。当将第二个图像和第三个图像的微笑水平相互进行比较时，它们之间的差小于微笑确定预定值，因此系统控制器108确定面部没有改变为微笑。然而，当在先前的图像中确定面部第一次改变为微笑，并且面部表情没有改变时，系统控制器108仅分配一次统一的评价值。这里，系统控制器108分配评价值“+10”，因此总评价值为“40”。

接下来，当将第三个图像和第四个图像的微笑水平相互进行比较时，它们之间的差小于微笑确定预定值，因此系统控制器108确定面部没有改变为微笑。其结果是，不分配评价，因此总评价值仍然是“40”。然后，当将第四个图像和第五个图像的微笑水平相互进行比较时，它们之间的差是大于微笑确定预定值的负值。因为该差与微笑确定预定值之间的比率不小于1而小于2，因此分配评价值“-10”，因此总评价值是“30”。

图6A和6B是示出在图3中的步骤S303中进行的睁眼评价处理的过程的流程图。

参照图6A和6B，对于评价目标面部，系统控制器108使睁眼检测模块117获得指示睁眼的程度的睁眼水平(步骤S501)。系统控制器108确定当前评价的图像是否是连续拍摄的图像中的第一个图像(步骤S502)。当确定当前评价的图像是连续拍摄的图像中的第一个图像(步骤S502：是)时，系统控制器108分配基本评价值(步骤S503)，并且终止本处理。另一方面，当确定当前评价的图像不是连续拍摄的图像中的第一个图像(步骤S502：否)时，系统控制器108确定当前评价目标面部是否与先前的图像摄取中的评价目标面部相同(步骤S504)。确定面部是否相同的原因是，因为用于评价睁眼的程度的改变的睁眼改变确定预定值(第二预定值)在不同的个体之间变化，因此人必须相同，才可以使用该睁眼改变确定预定值。因此，针对各个图像中的相同面部，获得指示睁眼的程度的睁眼水平。

可以作为预定值预先准备睁眼改变确定预定值，或者根据通过测量在图像摄取开始之前获得的评价目标面部的各个眼睛的睁眼水平的变迁而获得的测量值，来计算睁眼改变确定预定值。此外，在右眼和左眼之间，睁眼改变确定预定值可以不同。

当在步骤S504中确定当前评价目标面部与先前的图像摄取中的评价目标面部相同(步骤S504：是)时，系统控制器108确定面部是否改变为了微笑(步骤S505)。

另一方面，当在步骤S504中确定当前评价目标面部与先前的图像摄取中的评价目标面部不相同(步骤S504：否)时，系统控制器108在不分配任何评价值的情况下终止本处理(步骤S506)。当面部改变为微笑时不分配评价值的原因是，改变为微笑的面部可能闭眼。

当在步骤S504中确定面部没有改变为微笑(步骤S505：否)时，系统控制器108进行稍后描述的图7A和7B中的睁眼改变检测处理(步骤S507)。睁眼改变检测处理是如下处理：通过计算当前图像摄取与先前的图像摄取之间的各个眼睛的睁眼水平的差，来检测睁眼的改变。对于在步骤S507中进行比较的先前的图像摄取，系统控制器108将当前图像摄取中的图像与先前的图像摄取中的图像之间的睁眼水平进行比较，以检测面部表情的改变。在这种情形下，可以将当前图像摄取中的图像的睁眼水平与在预定时间之前拍摄的图像的睁眼水平进行比较，或者可以将当前图像摄取中的图像的睁眼水平与作为要记录的图像的拍摄的图像的睁眼水平进行比较。

然后，系统控制器108确定两只眼睛的睁眼水平是否都发生了改变(步骤S508)。当确定两只眼睛的睁眼水平都发生了改变(步骤S508：是)时，系统控制器108确定两只眼睛是否在相同的方向上发生了改变(步骤S512)。当确定两只眼睛在相同的方向上发生了改变(步骤S512：是)时，系统控制器108确定两只眼睛是否在睁眼方向上发生了改变(步骤S514)。当确定两只眼睛都在睁眼方向上发生了改变(步骤S514：是)时，系统控制器108分配正评价值(步骤S515)，并且终止本处理。这里分配的正评价值是根据差与睁眼改变确定预定值之间的比率较大的眼睛的比率的值。

当在步骤S508中确定两只眼睛的睁眼水平没有都发生改变(步骤S508：否)时，系统控制器108确定是否仅一只眼睛的睁眼水平发生了改变(步骤S509)。当确定也不是仅一只眼睛的睁眼水平发生了改变，也就是说，两只眼睛的睁眼水平都没有发生改变(步骤S509：否)时，系统控制器108在不分配任何评价值的情况下终止本处理(步骤S506)。

当确定仅一只眼睛的睁眼水平发生了改变(步骤S509：是)时，系统控制器108确定眼睛是否在睁眼方向上发生了改变(步骤S510)。当确定眼睛在睁眼方向上发生了改变(步骤S510：是)时，系统控制器108分配正评价值(步骤S511)，并且终止本处理。

当在步骤S510中确定眼睛没有在睁眼方向上发生改变(步骤S510：否)时，系统控制器108分配负评价值(步骤S513)，并且终止本处理。当在步骤S512中确定两只眼睛没有在相同的方向上发生改变(步骤S512：否)时，系统控制器108分配负评价值(步骤S513)，并且终止本处理。当确定眼睛没有在睁眼方向上发生改变(步骤S514：否)时，系统控制器108分配负评价值(步骤S513)，并且终止本处理。

在步骤S513中分配的负评价值是根据差与睁眼改变确定预定值之间的比率较高的眼睛的比率的值。

当在步骤S512中确定眼睛没有在相同的方向上发生改变时分配负评价值的原因是，这时，由于一只眼睛在睁眼方向上发生改变，而另一只眼睛在闭眼方向上发生改变，因此面部表情可能不平衡。

图7A和7B是示出在图6A中的步骤S507中进行的睁眼改变检测处理的过程的流程图。

根据图7A和7B的流程图，针对右眼和左眼以该顺序依次进行处理。

在图7A和7B中，系统控制器108计算当前图像摄取与先前的图像摄取之间的各个眼睛的睁眼水平的差(步骤S701)。然后，系统控制器108计算各个眼睛的差与睁眼改变确定预定值之间的比率(步骤S702)，并且确定右眼的比率是否大于-1并且小于1(即比率的绝对值是否小于1)(步骤S703)。当确定右眼的比率的绝对值小于1(步骤S703：是)时，这意味着右眼没有发生改变，因此系统控制器108在DRAM 106中存储右眼没有发生改变(步骤S704)，并且进行到步骤S705。

当在步骤S703中确定右眼的比率的绝对值不小于1(步骤S703：否)时，系统控制器108确定右眼的比率是否等于或者大于1(步骤S707)。当确定右眼的比率等于或大于1(步骤S707：是)时，这意味着右眼在睁眼方向上发生了改变，因此系统控制器108在DRAM 106中存储右眼在睁眼方向上发生了改变(步骤S708)，并且进行到步骤S705。

当确定右眼的比率小于1，即右眼的比率不大于-1(步骤S707：否)时，这意味着右眼在闭眼方向上发生了改变，因此系统控制器108在DRAM 106中存储右眼在闭眼方向上发生了改变(步骤S709)，并且进行到步骤S705。

然后，系统控制器108确定左眼的比率是否大于-1并且小于1(即比率的绝对值是否小于1)(步骤S705)。当确定左眼的比率的绝对值小于1(步骤S705：是)时，这意味着左眼没有发生改变，因此系统控制器108在DRAM 106中存储左眼没有发生改变(步骤S706)，并且终止本处理。

当在步骤S705中确定左眼的比率的绝对值不小于1(步骤S705：否)时，系统控制器108确定左眼的比率是否等于或者大于1(步骤S710)。当确定左眼的比率等于或大于1(步骤S710：是)时，这意味着左眼在睁眼方向上发生了改变。因此，系统控制器108在DRAM 106中存储左眼在睁眼方向上发生了改变(步骤S711)，并且终止本处理。

当在步骤S710中确定左眼的比率小于1，即不大于-1(步骤S710：否)时，这意味着左眼在闭眼方向上发生了改变。因此，系统控制器108在DRAM 106中存储左眼在闭眼方向上发生了改变(步骤S712)，并且终止本处理。

图8A至8C是在说明在图6A和6B中的处理中分配的睁眼评价值时有用的图，其中，图8A示出了右眼的睁眼水平，图8B示出了左眼的睁眼水平，图8C示出了睁眼评价值。

在图8A和8B的曲线图中，纵轴表示右眼或者左眼的睁眼水平，横轴表示连续拍摄的图像的数量。在这些曲线图中，白色圆701和704表示第一个图像中的右眼或者左眼的睁眼水平。差702和705是第一个图像与第二个图像之间的右眼或者左眼的微笑水平的差。线段703和706用于针对右眼或者左眼将睁眼确定预定值和差相互进行比较，睁眼确定预定值是最近的两个黑色圆之间的区间。对于第一个图像之外的图像，以相同的含义使用白色圆701和704以及线段703和706。

参照图8A，对应于第一个图像与第二个图像之间的差702的睁眼水平是不小于睁眼确定预定值而小于睁眼确定预定值的两倍的负值，因此，系统控制器108确定眼睛在闭眼方向上发生了改变。然而，当确定在第二个图像中存在微笑时，不确定左眼是否在闭眼方向上发生了改变。参照图8A，对假设在第二个图像中存在微笑的情况下的睁眼评价值给出描述。

接下来，当将第二个图像和第三个图像的睁眼水平相互进行比较时，它们之间的差是不小于睁眼确定预定值而小于睁眼确定预定值的两倍的正值，因此系统控制器108确定眼睛在睁眼方向上发生了改变。此外，当将第三个图像和第四个图像的睁眼水平相互进行比较时，它们之间的差是不小于睁眼确定预定值而小于睁眼确定预定值的两倍的负值，因此系统控制器108确定眼睛在闭眼方向上发生了改变。

当将第四个图像和第五个图像的睁眼水平相互进行比较时，它们之间的差是不小于睁眼确定预定值而小于睁眼确定预定值的两倍的正值，因此系统控制器108确定眼睛在睁眼方向上发生了改变。

参照图8B，对应于第一个图像与第二个图像之间的差705的睁眼水平是不小于睁眼确定预定值而小于睁眼确定预定值的两倍的负值，因此，系统控制器108确定眼睛在闭眼方向上发生了改变。然而，当确定在第二个图像中存在微笑时，不确定眼睛是否没有在闭眼方向上发生改变。参照图8B，对假设在第二个图像中存在微笑的情况下的睁眼评价值给出描述。

接下来，当将第二个图像和第三个图像的睁眼水平相互进行比较时，它们之间的差是不小于睁眼确定预定值而小于睁眼确定预定值的两倍的正值，因此系统控制器108确定眼睛在睁眼方向上发生了改变。此外，当将第三个图像和第四个图像的睁眼水平相互进行比较时，它们之间的差小于睁眼确定预定值，因此系统控制器108确定睁眼水平没有改变。另外，当将第四个图像和第五个图像的睁眼水平相互进行比较时，它们之间差小于睁眼确定预定值，因此系统控制器108确定睁眼水平没有改变。

在图8C的曲线图中，纵轴表示睁眼评价值，横轴表示连续拍摄的图像的数量。基于两只眼的改变的状态，来计算睁眼评价值。

因为不存在先前的图像，因此不能针对第一个图像计算微笑水平的差，因此系统控制器108分配预定评价值，例如“10”。在第二个图像中，右眼在闭眼方向上发生了改变，并且左眼在闭眼方向上发生了改变，因此系统控制器108确定眼睛在相同的方向、即闭眼方向上发生了改变。然而，当确定在第二个图像中存在微笑时，不分配针对睁眼水平的评价值，因此评价值保持为“10”。在第三个图像中，右眼在睁眼方向上发生了改变，并且左眼在睁眼方向上发生了改变，因此系统控制器108确定眼睛在相同的方向、即睁眼方向上发生了改变。右眼和左眼两者的比率都不小于1而小于2，因此分配评价值“+10”，总评价值为“20”。在第四个图像中，右眼在闭眼方向上发生了改变，而左眼未发生改变，因此系统控制器108确定眼睛在闭眼方向上发生了改变。右眼的比率不小于1而小于2，因此分配评价值“-10”，总评价值为“10”。在第五个图像中，右眼在睁眼方向上发生了改变，并且左眼未发生改变，因此系统控制器108确定眼睛在睁眼方向上发生了改变。右眼的比率不小于1而小于2，因此分配评价值“+10”，总评价值为“20”。

图9是在说明在图2中的处理中计算的面部评价值时有用的图。

在图9的曲线图中，纵轴表示面部评价值，横轴表示连续拍摄的图像的数量。面部评价值是微笑评价值和睁眼评价值的总和。

第一个图像的微笑评价值是“10”，第二个和第五个图像的微笑评价值是“30”，第三个和第四个图像的微笑评价值是“40”。另一方面，第三个和第五个图像的睁眼评价值是“20”，其它睁眼评价值是“10”。

因此，在图5B中的微笑评价值和图8C中的睁眼评价值的情况下，第一个图像的评价值是“20”，第二个图像的评价值是“40”，第三个图像的评价值是“60”，第四个图像的评价值是“50”，第五个图像的评价值是“50”。

当仅存在一个评价目标面部时，其面部评价值是图像评价值。在本实施例中，由于“对所有评价目标面部不分配负评价值。并且，对评价目标面部中的任意一个分配正评价值。此外，面部评价值最大”的条件，因此选择第三个图像作为要记录的图像。

注意，如上所述，当存在多个图像满足上述条件时，考虑用户操作SW 113的定时，而从该多个图像中选择最先拍摄的图像。

因此，当确定评价目标面部的微笑水平或者睁眼水平的改变的程度小于阈值时，获得的评价值是与先前的评价值相同的值。因此，当仅存在面部表情的微小改变时，可以以给予高于面部表情的水平的优先级的用户对SW 113的操作的定时，来选择图像数据。其结果是，可以考虑面部表情的评价值和用户对SW 113的操作的定时两者，来选择图像，可以从连续拍摄的图像中选择更适合用户的图像数据。

虽然在本实施例中，与面部相关的程度是微笑和睁眼的水平，但是可以类似地对取决于面部的位置和大小的图像的构成以及聚焦，分配评价值，并且用来选择图像。

在本实施例中，当存在多个图像具有最高评价值时，选择最先拍摄的图像(步骤S203：是)。因此，选择接近图像摄取开始的时间的图像，因此可以选择更适合用户的图像。

在上述实施例中，系统控制器108的控制可以由单个硬件来实施，或者可以由多个硬件来分担，以控制整个装置。

此外，虽然在上述实施例中，将本发明应用于数字照相机100，但是本发明不限于此。具体来说，本发明可以应用于任意显示控制装置，只要其可以提供控制，使得可以同时显示多个图像即可。显示控制装置的示例包括个人计算机和PDA。此外，还包括蜂窝电话终端、便携式图像查看器、在打印机单元中设置的允许对要打印的图像进行选择和确认的显示器和数字相框。

其它实施例

本发明的各方面还能够通过读出并执行记录在存储装置上的用于执行上述实施例的功能的程序的系统或设备的计算机(或诸如CPU或MPU的装置)、以及由系统或设备的计算机例如读出并执行记录在存储装置上的用于执行上述实施例的功能的程序来执行步骤的方法来实现。鉴于此，例如经由网络或者从用作存储装置的各种类型的记录介质(例如计算机可读介质)向计算机提供程序。

虽然参照示例性实施例对本发明进行了说明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围符合最宽的解释，以使其涵盖所有这种变型、等同结构及功能。

本申请要求2010年8月18日提交的日本专利申请第2010-183297号的优先权，其全部内容通过引用包含于此。

Claims (6)

1.一种图像摄取装置，其连续拍摄被摄体的图像，以获得表示该被摄体的多个图像，所述图像摄取装置包括：

选中单元，被配置为选中在所述多个图像中的各个中包括的面部；

计算单元，被配置为针对所述多个图像中的各个，基于由所述选中单元在所述多个图像中的各个中选中的面部，计算评价值，所述评价值用来从所述多个图像中选择一个图像；

选择单元，被配置为选择具有由所述计算单元计算的最高评价值的图像，当存在多个图像具有由所述计算单元计算的最高评价值时，选择最先拍摄的图像；以及

记录单元，被配置为记录由所述选择单元选择的图像。

2.根据权利要求1所述的图像摄取装置，其中，所述计算单元获得针对由所述选中单元选中的面部的面部评价值，并且由所述面部评价值计算针对所述多个图像中的各个的评价值，并且

当多个图像数据中的第一图像数据中的面部评价值与针对第二图像数据获得的评价值的距离大于预定值时，将所述第一图像数据中的面部评价值确定为针对所述第一图像数据的评价值，而当所述多个图像数据中的所述第一图像数据中的所述面部评价值与针对所述第二图像数据获得的所述评价值的距离不大于预定值时，将针对所述第二图像数据获得的所述评价值确定为针对所述第一图像数据的评价值，其中，所述第二图像数据是所述多个图像数据中、在所述第一图像数据之前获得的。

3.根据权利要求1所述的图像摄取装置，其中，所述计算单元通过计算针对所述面部中的微笑的微笑评价值和针对所述面部中的眼睛的睁眼评价值，来计算所述评价值。

4.根据权利要求3所述的图像摄取装置，其中，所述计算单元基于构成所述面部的各部分的轮廓和构成所述面部的所述各部分的位置，针对所述多个图像中的各个中的同一面部，获得指示微笑的程度的微笑水平，并且基于用于评价微笑的改变的第一预定值以及所获得的微笑水平，计算所述微笑评价值。

5.根据权利要求3所述的图像摄取装置，其中，所述计算单元针对所述多个图像中的各个中的同一面部，获得指示睁眼的程度的睁眼水平，并且基于用于评价睁眼的程度的改变的第二预定值以及所获得的睁眼水平，计算所述睁眼评价值。

6.一种图像摄取装置的控制方法，所述图像摄取装置连续拍摄被摄体的图像，以获得表示该被摄体的多个图像，所述控制方法包括：

选中步骤，选中在所述多个图像中的各个中包括的面部；

计算步骤，针对所述多个图像中的各个，基于在所述选中步骤中在所述多个图像中的各个中选中的面部，计算评价值，所述评价值用来从所述多个图像中选择一个图像；

选择步骤，选择具有在所述计算步骤中计算的最高评价值的图像，当存在多个图像具有在所述计算步骤中计算的最高评价值时，选择最先拍摄的图像；以及

记录步骤，记录在所述选择步骤中选择的图像。

Images