CN105939456A - 图像处理装置及图像评价方法 - Google Patents

Abstract

提供一种迅速地选择最佳拍摄候补图像的图像处理装置及图像评价方法。图像处理装置(1)包含：第一运算部(11)，对于输入的图像组中包含的多个图像中的各个图像，分别计算基于第一因子的评价值；排除部(11)，基于第一运算部(11)的运算结果，从图像组中对该运算结果满足规定条件的图像进行排除处理；第二运算部(11)，对排除处理后的图像组中包含的各图像，分别计算基于第二因子的评价值，其中该第二因子包含与第一因子不同的因子；以及评价处理部(11)，基于第二运算部(11)的运算结果，对排除处理后的图像组中的各图像建立序列。

Description

图像处理装置及图像评价方法

本申请是申请日为2011年3月30日、申请号为201110083627.4、发明名称为“图像处理装置及图像评价方法”的申请的分案申请。

技术领域

本发明涉及图像处理装置及图像评价方法。

背景技术

已知有从多个图像中选择最佳拍摄的相机(参照专利文献1)。在现有技术中，选择无像抖动的图像，并基于该无像抖动的图像的柱状图而选择最佳曝光的图像。

专利文献1：日本特开2006-311340号公报

在现有技术中，以全部的图像为对象，进行是否存在像抖动的判定，而选择最佳拍摄候补图像，因此存在处理花费时间的问题。即，以全部图像为对象实施基于最佳因子(无像抖动)的判定。

发明内容

本发明的图像处理装置的特征在于，包含：对于输入的图像组中包含的多个图像分别计算基于第一因子的评价值的第一运算部；基于第一运算部的运算结果从图像组中对该运算结果满足规定条件的图像进行排除处理的排除部；对排除处理后的图像组中包含的各图像分别计算基于第二因子的评价值的第二运算部，该第二因子包含与第一因子不同的因子；以及基于第二运算部的运算结果对排除处理后的图像组中的各图像建立序列的评价处理部。

本发明的图像评价方法的特征在于，包括：第一步骤，输入包含多个图像的图像组；第二步骤，对所述图像组中包含的各图像分别计算基于第一因子的评价值；第三步骤，基于所述第二步骤的运算结果，将该运算结果满足规定条件的图像从所述图像组排除；第四步骤，对所述第三步骤后的所述图像组中包含的各图像，分别计算基于第二因子的评价值，该第二因子包含与所述第一因子不同的因子；以及第五步骤，基于所述第四步骤的运算结果，对所述第三步骤后的所述图像组中的各图像建立序列。

发明效果

根据本发明，能够迅速地选择最佳拍摄候补图像。

附图说明

图1是说明本发明一实施方式的电子相机的主要部分结构的框图。

图2是说明预拍拍摄模式下的图像的取得时间的图。

图3是说明主CPU执行的图像评价处理的流程的流程图。

图4是说明标志Case_PF及标志Case_MV与对应的评价处理项目之间的关系的图。

图5(a)是例示横向位置时的离开屏幕区域的图，(b)是例示纵向位置时的离开屏幕区域的图。

图6是例示AF区域及中心微小区域的图。

图7是例示评价对象区域的图。

图8是说明构图最佳度的评价值的算出的图。

图9是例示计算机装置的图。

图10是例示液晶监视器的显示画面的图。

附图标记说明：

1 电子相机

11 主CPU

14 显示图像生成电路

15 缓冲存储器

18 操作部件

19 液晶监视器

22 摄像元件

具体实施方式

以下，参照附图，说明用于实施本发明的方式。图1是说明本发明的一实施方式的电子相机1的主要部分结构的框图。电子相机1由主CPU11控制。

拍摄透镜21使被拍摄体像在摄像元件22的摄像面上成像。摄像元件22包括CCD图像传感器或CMOS图像传感器，拍摄摄像面上的被拍摄体像，并将摄像信号向摄像电路23输出。摄像电路23除了对从摄像元件22输出的光电转换信号进行模拟处理(增益控制等)之外，还通过内置的A/D转换电路将模拟摄像信号转换成数字数据。

主CPU11输入从各程序段输出的信号而进行规定的运算，并将基于运算结果的控制信号向各程序段输出。图像处理电路12例如构成ASIC(Application Specific Intergrated Circuits：专用集成电路)，对从摄像电路23输入的数字图像信号进行图像处理。图像处理中包含例如轮廓强调或色温调整(白平衡调整)处理、对图像信号的格式变换处理。

图像压缩电路13对由图像处理电路12处理后的图像信号例如以JPEG方式进行规定压缩比率的图像压缩处理。显示图像生成电路14生成用于将拍摄图像显示在液晶监视器19上的显示用信号。

液晶监视器19由液晶面板构成，基于从显示图像生成电路14输入的显示用信号显示图像或操作菜单画面等。影像输出电路20基于从显示图像生成电路14输入的显示用信号生成并输出用于将图像或操作菜单画面等显示在外部显示装置上的影像信号。

缓冲存储器15除了临时存储图像处理前、图像处理后及图像处理过程中的数据之外，还用于存储向记录介质30记录之前的图像文件或存储从记录介质30读出的图像文件。在本实施方式中，还用于对在拍摄指示前(释放按钮的全按操作前)通过摄像元件22以规定帧率取得的预拍图像进行临时存储。关于预拍图像在后面进行叙述。

闪存器16存储主CPU11执行的程序或主CPU11进行处理所需的数据等。闪存器16存储的程序或数据的内容能够根据来自主CPU11的指示进行追加、改变。

卡接口(I/F)17具有连接器(未图示)，该连接器上连接有存储卡等记录介质30。卡接口17根据来自主CPU11的指示进行对连接的记录介质30的数据写入或来自记录介质30的数据读入。记录介质30由内置有半导体存储器的存储卡或硬盘驱动器等构成。

操作部件18包含电子相机1的各种按钮或开关类，将模式切换开关的切换操作等与各操作部件的操作内容对应的操作信号向主CPU11输出。半按开关18a及全按开关18b与释放按钮(未图示)的按下操作连动，分别将接通信号向主CPU11输出。来自半按开关18a的接通信号(半按操作信号)在释放按钮被进行按下操作至通常行程的一半程度时输出，并通过解除半行程的按下操作而解除输出。来自全按开关18b的接通信号(全按操作信号)在释放按钮被进行按下操作至通常行程时输出，在解除通常行程的按下操作时解除输出。半按操作信号指示主CPU11开始进行拍摄准备。全按操作信号指示主CPU11开始取得记录用图像。

<拍摄模式>

电子相机1具有：通常的拍摄模式，根据上述全按操作信号，逐帧地取得拍摄图像，向记录介质30进行记录；和预拍拍摄模式，接收到上述半按操作信号时，以120帧/每秒(120fps)对高速快门秒(例如快于125分之一秒)时的静止图像进行连拍拍摄，取得多个帧的连拍拍摄图像，接收到上述全按操作信号时，将接收到该全按操作信号的时刻的前后的规定帧图像分别向记录介质30记录。各拍摄模式能够根据来自操作部件18的操作信号进行切换。

<重放模式>

重放模式的电子相机1将上述各拍摄模式中记录的图像按各帧或按规定数量的帧，向液晶监视器19进行重放显示。

由于本实施方式的特征在于上述预拍拍摄模式，因此以下的说明中以预拍拍摄模式为中心进行。图2是说明预拍拍摄模式下的图像的取得时间的图。

<预拍拍摄>

在图2中，在时刻t0输入半按操作信号时，主CPU11开始释放待机处理。在释放待机处理中，例如，以120帧/秒(120fps)的帧率拍摄被拍摄体像，进行曝光运算或焦点调节，并将取得的图像数据依次向缓冲存储器15存储。

用于预拍拍摄的缓冲存储器15的存储器容量预先确保充分的容量。在时刻t0之后，当缓冲存储器15内存储的帧图像的帧张数达到规定张数(例如A张)时，主CPU11从旧的帧图像依次进行覆盖消去。由此，能够限制用于预拍拍摄的缓冲存储器15的存储器容量。

在时刻t1输入全按操作信号时，主CPU11开始释放处理。在释放处理中，将在时刻t1之前拍摄到的A张帧图像和在时刻t1之后拍摄到的B张帧图像相加后的(A+B)张帧图像作为向记录介质30的记录候补图像。

主CPU11从(A+B)张帧图像中选出预先通过菜单操作指示的C张帧图像(C<A+B)，对该C张帧图像建立关联，分别向记录介质30存储。图2中的黑色带表示取得记录候补图像即(A+B)张帧图像的区间。斜线带表示取得虽然临时存储于缓冲存储器15但被覆盖消去的帧图像的区间。

在本实施方式中，作为记录方式，能够根据来自操作部件18的操作信号，对将(A+B)张帧图像中的C张帧图像向记录介质30记录的第一记录方式和将(A+B)张帧图像全部向记录介质30记录的第二记录方式进行切换。在本实施方式中，说明选择第一记录方式的情况。

如下所述，主CPU11从(A+B)张帧图像中选择C张帧图像。图3是说明主CPU11执行的图像评价处理的流程的流程图。主CPU11将(A+B)张帧图像向缓冲存储器15输入时，启动图3的处理。

在图3的步骤S10中，主CPU11判定帧图像中是否包含人物的“脸部”。主CPU11对于(A+B)＝N张帧图像依次实施“脸部”检测处理。“脸部”检测处理由于公知，因此省略说明。主CPU11判定为帧图像中含有“脸部”时，对步骤S10作出肯定判定，进入步骤S20。主CPU11判定为帧图像中不含“脸部”时，对步骤S10作出否定判定，进入步骤S90。

在步骤S20中，主CPU11判定人物是否为主要被拍摄体。例如在第n(其中，1≤n≤N)个帧图像中，构成检测到的“脸部”的像素数为规定数量以上时，将计数器h(n)置为1，在第n个帧图像中，未检测到“脸部”时或构成检测到的“脸部”的像素数不满足规定数量时，将计数器h(n)置为0。主CPU11对N张帧图像进行计数PF＝Σh(n)的结果是，当PF>th_pf(其中，th_pf为规定的判定阈值)成立时，对步骤S20作出肯定判定，进入步骤S30。这种情况下，判断为人物是主要的被拍摄体。主CPU11在PF<th_pf成立时，对步骤S20作出否定判定，进入步骤S90。这种情况下，判断为人物不是主要的被拍摄体。

在步骤S30中，主CPU11将判断为人物是主要被拍摄体的情况作为“Case_A”。这种情况下的主CPU11将标志Case_PF置为1，将标志Case_MV置为1，进入步骤S40。标志Case_PF是在人物是主要的被拍摄体时为1、且在人物不是主要的被拍摄体时为0的标志。标志Case_MV是表示帧图像之间是否产生差分的标志，在人物为主要被拍摄体时，为了方便，置为1。

在步骤S90中，主CPU11判定被拍摄体有无移动。通常，被拍摄体移动时，进行变焦操作而导致视场角变动时及电子相机1进行摇摄时，分别在帧图像之间产生差分。在本实施方式中，在第一个和第N个帧之间按像素依次算出对应的图像数据的差分，求出总和(下式(1))。

Del_FR＝∑_xy|l(x，y，1)-1(x，y，N)| (1)

其中，第一帧的图像数据(x，y)为l(x，y，1)，第N帧的图像数据(x，y)为l(x，y，N)。

主CPU11在上式(1)的运算结果是Del_FR>th_fr(其中，th_fr是规定的判定阈值)成立时，对步骤S90作出肯定判定，进入步骤S100。这种情况下，通过被拍摄体的移动、视场角变动及摇摄中发生至少一个，判断为帧之间存在移动。主CPU11在Del_FR<th_fr成立时，对步骤S90作出否定判定，进入步骤S110。这种情况下，判断为帧之间没有移动，为大致静止状态。

在步骤S100中，主CPU11将判断为人物不是主要被拍摄体、且帧图像之间存在移动的情况作为“Case_B”。这种情况的主CPU11将标志Case_PF置为0，将标志Case_MV置为1，进入步骤S40。标志Case_MV是表示帧图像之间是否产生差分的标志。需要说明的是，在“Case_B”的情况下，例如，将存在于最近距离的被拍摄体、或存在于由用户或相机选择为应对焦区域的区域中的被拍摄体判断为“主要被拍摄体”，进行以后的处理。

在步骤S110中，主CPU11将判断为人物不是主要被拍摄体、且帧图像之间不存在移动的情况作为“Case_C”。这种情况的主CPU11将标志Case_PF置为0，将标志Case_MV置为0，进入步骤S40。

在步骤S40中，主CPU11根据标志Case_PF及标志Case_MV的值(即，根据为“Case_A”、“Case_B”还是“Case_A”)确定评价处理项目，进入步骤S50。图4是说明标志Case_PF及标志Case_MV与对应的评价处理项目之间的关系的表。在本实施方式中，算出表中记为“ON”的评价处理项目的评价值，而关于记为“OFF”的评价处理项目，省略评价值的计算。

在本实施方式中，评价处理项目41～评价处理项目46是用于从N张帧图像中排除X张帧图像以保留C张帧图像的评价值计算中所使用的评价因子，因此称为无用因子。X大于N/2时，后述的序列附加处理负担减轻，因而优选。而且，评价处理项目45～评价处理项目50是用于对C张帧图像附加表示优劣的序列的评价值计算中所使用的评价因子，因此称为必要因子(或最佳评价因子)。评价处理项目45及46在无用因子及必要因子之间进行重复。关于各评价因子在后面进行叙述。

在步骤S50中，主CPU11使用与在步骤S40中确定的评价处理项目相对应的评价因子，进行评价值计算，进入步骤S60。在步骤S60中，主CPU11从评价值低(无用度高)的帧图像依次选出X张的帧图像(无用图像)，并从N张帧图像排除而保留C张帧图像，进入步骤S70。

在步骤S70中，主CPU11使用与在步骤S40中确定的评价处理项目相对应的评价因子，进行评价值计算，进入步骤S80。在步骤S80中，主CPU11对于C张帧图像的帧图像，从评价值高的帧图像依次建立序列，而结束图3的处理。

关于上述的评价因子，以下进行详细说明。

<多个人物间接近度检测>

在评价处理项目41中，算出表示评价对象图像中的多个人物间的接近度的评价值H1(n)。主CPU11在关于构成N张帧图像的各帧图像n(其中，1≤n≤N)检测出的“脸部”区域的面积S超过预先设定的规定面积时，取得以下的值。面积以例如构成“脸部”区域的像素数表示。

主CPU11在帧图像n中对检测出的面积S超过规定面积的“脸部”进行计数，并将计数得出的“脸部”的数量(即人数)设为KS(n)。并且，将在帧图像n中检测出的“脸部”区域的面积设为Sk(n)。而且，将帧图像n中的与“脸部”区域的中心相当的坐标设为(x_k(n)，y_k(n))。此外，将该“脸部”区域的等级方向的边表示为Lx_k(n)，将该“脸部”区域的垂直方向的边表示为Ly_k(n)。在此，n是表示构成N张连拍图像的帧图像的帧编号，k是表示在帧图像n中超过上述规定面积的“脸部”区域的“脸部”编号。

主CPU11在KS(n)≤1时，不考虑人物间的接近，因此表示多个人物间接近度的评价值H1(n)＝1。另一方面，KS(n)>1时，反复进行m次以下的循环处理。其中，m＝Combination(KS(n).2)。

例如，以KS(n)＝2的情况为例进行说明，

通过R1x＝|x_1(n)-x_2(n)|，算出“脸部”区域的中心间的等级方向的长度x，

通过R1x＝|y_1(n)+y_2(n)|，算出“脸部”区域的中心间的垂直方向的长度y，

通过R2x＝(Lx_1(n)+Lx_2(n))/2，加上“脸部”区域的等级方向的边的1/2，

通过R2y＝(Ly_1(n)+Ly_2(n))/2，加上“脸部”区域的垂直方向的边的1/2。

并且，在R1x<R2x、R1y<R2y成立时，hm(n)＝1，在上述以外时，hm(n)＝0。此外，反复进行m次“脸部”的数量(即人数)的全组合。

如上所述，关于上述hm(n)的总和，在Σhm(n)>0成立时，设为帧图像n中的接近评价值H1(n)＝0。另一方面，关于上述hm(n)的总和，在Σhm(n)＝0成立时，设为接近评价值H1(n)＝1。

<脸部无用物检测>

在评价处理项目42中，算出表示评价对象图像中的“脸部”检测的可靠度的评价值H2(n)。主CPU11对于构成N张帧图像的各帧图像n(其中，1≤n≤N)检测出的“脸部”区域面积S最大的“脸部”区域，取得在该“脸部”检测处理时得到的可靠度信息(最小值0～最大值为1)。可靠度信息也可以使用“脸部”相似度或“脸部”曲率的指数。在此，在“脸部”相似度的情况下，从脸部检测的“脸部”区域的图像抽出各种特征量(颜色信息、脸部的各部分(眼、鼻、口等)的配置关系的信息等)，对它们进行综合性的判断而测量作为“脸部”检测的可靠度的“脸部相似度”。在“脸部”曲率的情况下，通过研究利用边缘检测等方法抽出的脸部轮廓的曲率是否发生不自然变化，而算出“脸部”检测的可靠度。例如，对于抽出的边缘(轮廓)应用曲线(或椭圆)，在急剧的边缘变化(轮廓不平滑)时，推定为发生头发或手等挡住脸等的情况，进行降低可靠度(评价值H2(n))的处理。主CPU11使帧图像n下的脸部无用部分评价值H2(n)＝可靠度信息。

<闭眼检测>

在评价处理项目43中，算出表示评价对象图像中有无闭眼的评价值H3(n)。主CPU11对于构成N张帧图像的各帧图像n(其中，1≤n≤N)检测出的“脸部”区域面积S最大的“脸部”区域，进行闭眼检测。由于闭眼检测处理为公知，因此省略说明。主CPU11使用闭眼检测结果，当存在闭眼时，使帧图像n下的闭眼评价值H3(n)＝0。另一方面，不存在闭眼时，使闭眼评价值H3(n)＝1。

<离开屏幕检测>

在评价处理项目44中，在“Case_A”的情况下，算出表示评价对象图像中的“脸部”区域是否偏离屏幕的评价值H4(n)，在“Case_B”的情况下，算出表示推定为人物以外的主要被拍摄体的“主要被拍摄体”的区域是否偏离屏幕的评价值H4(n)。主CPU11在构成N张帧图像的各帧图像n(其中，1≤n≤N)检测出的“脸部”区域(“主要被拍摄体”区域)即该“脸部”(“主要被拍摄体”)的面积S超过规定面积的区域中，取得距画面中心最远的“脸部”(“主要被拍摄体”)区域的中心坐标(F0_x，F0_y)。并且，设定图5(a)及图5(b)所例示的离开屏幕区域，根据取得的(F0_x，F0_y)是否包含在离开屏幕区域中而如下所述地确定离开屏幕评价值H4(n)。

图5(a)是例示帧图像n为横向位置时的离开屏幕区域的图。主CPU11在上述中心坐标(F0_x，F0_y)包含在斜线部51中时相当于离开屏幕，设帧图像n下的离开屏幕评价值H4(n)＝0。另一方面，在上述中心坐标(F0_x，F0_y)未包含在斜线部51中时相当于没有离开屏幕，设离开屏幕评价值H4(n)＝1。图5(b)是例示帧图像n为纵向位置时的离开屏幕区域的图。与横向位置的情况同样地，主CPU11根据上述中心坐标(F0_x，F0_y)是否包含在斜线部51中来确定离开屏幕评价值H4(n)。帧图像中的斜线部51及52的范围例如相对于等级边的长度为左右各1/8，相对于垂直边的长度距下方为1/8。

需要说明的是，也可以取代使用距画面中心最远的“脸部”(“主要被拍摄体”)区域的中心坐标(F0_x，F0_y)来判定是否离开屏幕的情况，而使用与用于对焦的焦点(焦距区域(AF区域)的中心)中的距画面中心最远的区域相对应的坐标(FP_x，FP_y)，根据该坐标(FP_x，FP_y)是否包含在图5(a)、图5(b)的斜线部51、52中，而判定是否离开屏幕。

<AF、脸部区域抖动检测/清晰度>

在评价处理项目45中，分别算出表示评价对象图像中的抖动程度的评价值H50(n)及表示评价对象图像中的清晰度的评价值H51(n)。主CPU11对于构成N张帧图像的各帧图像n(其中，1≤n≤N)检测出的“脸部”区域面积S最大的“脸部”区域(“Case_A”的情况)，取得HPF(高通滤波器)的输出值的平均值HPF_av(n)。平均值HPF_av(n)是从“脸部”区域中包含的像素数据抽出高频率成分并进行平均后的值，因此适于判定对比度是高还是低。

主CPU11在HPF_av(n)<HPF_k成立时设为帧图像n下的抖动评价值H50(n)＝HPF_av(n)/HPF_k。另一方面，在HPF_av(n)≥HPF_k成立时，设为抖动评价值H50(n)＝1。其中，HPF_k为规定值，例如，在预先对焦时，使用算出的HPF输出值的平均值HPF_av(n)。

另外，主CPU11为帧图像n下的清晰度评价值H51(n)＝HPF_av(n)/HPF_k。其中，HPF_k为上述规定值。

需要说明的是，在上述的说明中，通过取得面积S最大的“脸部”区域中包含的图像数据中的HPF(高通滤波器)的输出平均值HPF_av(n)，而得到“脸部”的抖动评价值H50(n)及“脸部”的清晰度评价值H51(n)。也可以取代这种情况，而取得用于对焦的焦距区域(AF区域)中包含的像素数据的HPF(高通滤波器)的输出值平均值HPF_av(n)(“Case_B”、“Case_C”使用这些方法)。关于AF区域中包含的像素数据，通过取得HPF(高通滤波器)的输出平均值，而得到用于对焦的被拍摄体的抖动评价值H50(n)及用于对焦的被拍摄体的清晰度评价值H51(n)。

<整体亮度柱状图>

在评价处理项目46中，算出表示评价对象图像中的曝光过度或曝光不足的频率的评价值H6(n)。主CPU11对于构成N张帧图像的各帧图像n(其中，1≤n≤N)，算出图像整体(使用构成图像的全部像素数据)的亮度柱状图。设最大灰度值(8位数据的情况下为255)的频率为HL，最小灰度值(0)的频率为LL。主CPU11设为曝光过度、曝光不足的规格化频率比例即评价值H6(n)＝(HL+LL)/(全部像素数)。

需要说明的是，也可以是使最大灰度值的频率为规定的第一判定阈值以上的数据的频率，而使最小灰度值的频率为规定的第二判定阈值以下的数据的频率。

<脸部面积检测>

在评价处理项目47中，算出表示评价对象图像中的“脸部”的最大面积的评价值H7(n)。主CPU11算出对于构成N张帧图像的各帧图像n(其中，1≤n≤N)检测出的“脸部”区域面积S最大的“脸部”区域的面积S(n)。如上所述，面积由构成“脸部”区域的像素数表示。主CPU11设为脸部面积评价值H7(n)＝S(n)。

<笑脸度检测>

在评价处理项目48中，算出表示评价对象图像中的“脸部”的笑脸程度的评价值H8(n)。主CPU11取得构成N张帧图像的各帧图像n(其中，1≤n≤N)检测出的“脸部”的笑脸等级。笑脸等级的判定在上述“脸部”检测时进行。笑脸等级例如分为等级3(大笑)、等级2(中笑)、等级1(微笑)这三个等级。主CPU11设为笑脸程度的评价值H8(n)＝笑脸等级。

<被拍摄体的大小检测>

在评价处理项目49中，算出表示评价对象图像中的被拍摄体的大小的评价值H9(n)。主CPU11对于构成N张帧图像的各帧图像n(其中，1≤n≤N)，由用于对焦的焦距区域(AF区域)，求出中心微小区域(例如3×3像素)的平均亮度Y0及平均颜色(Cr0，Cb0)。图6是例示AF区域61及中心微小区域62的图。中心微小区域62是用于以下说明的区域解析的基准区域。

主CPU11使用各帧图像n下的平均亮度Y0及平均颜色(Cr0，Cb0)，按照以下的顺序算出被拍摄体的尺寸评价值H9(n)。

(i)对中心微小区域，将标志置为1。

(ii)周围的像素值在规定的容许值rn(其中，n＝1:Y，2:Cr，3:Cb)以内时，对标志进行置位。具体来说，

(|Y(x，y)-Y0|>r1)成立时，置位成Flag1＝0，不成立时，置位成Flag1＝1。

(|Cr(x，y)-Cr0|>r2)成立时，置位成Flag2＝0，不成立时，置位成Flag2＝1。

(|Cb(x，y)-Cb0|>r3)成立时，置位成Flag3＝0，不成立时，置位成Flag3＝1。

关于上述Flag1～Flag3，在(Flag1*Flag2*Flag3＝1)成立时，置位成Flag＝1，在不成立时，置位成Flag＝0。

(iii)使评价对象区域从包围基准区域即微小区域62的边开始，使其周围边逐级增加(第一评价区域71→第二评价区域72→第三评价区域73…)，在Flag全成为0的时刻结束处理。图7是例示增加的评价对象区域71～73的图。

(iv)算出Flag成为1的面积D。主CPU11使第n图像下的被拍摄体的尺寸评价值H9(n)＝D。

<构图最佳度检测>

在评价处理项目50中，算出表示评价对象图像中的构图的最佳度的评价值H10(n)。主CPU11对于构成N张帧图像的各帧图像n(其中，1≤n≤N)，取得用于对焦的焦距区域(AF区域)或检测的“脸部”区域的中心坐标(Qx，Qy)。

如图8所例示，主CPU11还分别在画面内设置5点的构图评价坐标点P1～P5，通过下式(2)分别算出该5点与上述中心坐标(Qx，Qy)的距离KS(m)(其中，m＝1，2，…5)。

$KS\left(m\right)=\sqrt{{\left(P\right(m,x)-Qx)}^2+{\left(P\right(m,y)-Qy)}^2}\mathrm{......}\left(2\right)$

主CPU11将5个距离KS(m)中的最小值Min(KS(m))设为第n图像下的构图评价值H10(n)。

在此，对上述步骤S60中的X张的排除处理(即，C张最佳候补图像的选出处理)的详细情况进行说明。主CPU11如下所述地算出无用图像评价值RMV，选出最佳候补图像。其中，arn、brn、crn分别为规定系数。

在“Case_A”的情况下，

RMV(n)＝ar1*H1(n)+ar2*H2(n)+ar3*H3(n)+ar4*H4(n)+ar5*H50(n)+ar6*H6(n)

在“Case_B”的情况下，

RMV(n)＝br4*H4(n)+br5*H50(n)+br6*H6(n)

在“Case_C”的情况下，省略无用图像评价值RMV的算出。

与无用相关的评价值RMV随着接近0而无用度升高。主CPU11对于输入的全图像(N张)，在各情况(Case)下求出RMV(n)，按无用度从高到低的顺序，对X张进行计数，并以从N张排除X张后的剩余C张成为规定图像数(例如5～10张中的任一值)的方式使X可变。上述C是最佳候补图像数。

对上述的步骤S80中的序列附加处理(即，排序设定处理)的详细情况进行说明。主CPU11对于C张最佳候补图像，如下所述算出最佳图像评价值OPT，选出排序表示或代表(最佳)图像。其中，aon、bon、con分别为规定系数。

在“Case_A”的情况下，

OPT(n)＝ao5*H51(n)+ao6*H6(n)+ao7*H7(n)+ao8*H8(n)+ao10*H10(n)

在“Case_B”的情况下，

OPT(n)＝bo5*H51(n)+bo6*H6(n)+bo9*H9(n)+bo10*H10(n)

在“Case_C”的情况下，

OPT(n)＝co5*H51(n)+co6*H6(n)

主CPU11对于选出的C张(在本例中为5～10张中任一值)图像，在各情况(Case)下求出OPT(n)，按照该值从高到低的顺序，建立序列，并将该值最高的图像作为代表最佳候补图像的(最佳)图像。

根据以上说明的实施方式，能得到如下的作用效果。

(1)电子相机1由于包含如下的主CPU11，因此能够从图像组中迅速地选择最佳拍摄候补图像，这些主CPU11为：对于输入的图像组中包含的多个图像，分别计算基于无用因子的评价值的主CPU11；基于该主CPU11的运算结果，将该运算结果满足规定条件的图像从图像组中进行排除处理的主CPU11；对于该排除处理后的图像组中包含的各图像，分别计算基于必要因子的评价值的主CPU11，该必要因子包含与无用因子不同的因子；基于该主CPU11的运算结果，对上述排除处理后的图像组中的各图像建立序列的主CPU11。

(2)上述图像组由于包含连拍拍摄的多个图像，因此能够从连拍的图像组迅速地选出最佳拍摄候补图像。

(3)主CPU11根据拍摄图像组时的拍摄场景改变无用因子的内容，因此能够算出与场景相对应的评价值，从而与一直基于相同的无用因子算出评价值的情况相比，能够适当地选择最佳拍摄候补图像。

(4)上述(3)的主CPU11根据图像组中包含的被拍摄体像有无移动及该被拍摄体像中有无人物中的至少一方，而改变无用因子的内容，因此能够考虑被拍摄体的移动或有无人物而适当地选择最佳拍摄候补图像。

(5)主CPU11基于无用因子的运算结果，从图像组中排除半数以上的图像，因此排除后的处理负担减轻，与未进行排除的情况相比，能够更迅速地选择最佳拍摄候补图像。

(6)由于无用因子的一部分与必要因子的一部分共用，因此与未共用一部分处理的情况相比，能够缩短整体的处理时间。

(7)必要因子由于包含与图像组中含有的被拍摄体像中的人物表情相关的因子、与该人物的脸部面积相关的因子以及与该被拍摄体像的抖动相关的因子中的至少一个，因此能够选择适当的最佳拍摄候补图像。

(变形例1)

在上述的步骤S50中执行的评价处理项目的数量也可以如下构成，使用无用因子时，即使不全部进行上述的41～46，也可以从这些评价处理项目中进行适当选择。而且，在步骤S70中执行的评价处理项目的数量也可以如下构成，使用必要因子时，即使不全部进行上述的45～50，也能够从这些评价处理项目中进行适当选择。

(变形例2)

将通过上述第一记录方式记录在记录介质30上的C张图像在液晶监视器19上进行重放显示时，主CPU11在指示仅对C张中的代表(最佳)图像进行重放显示时，仅对代表(最佳)图像进行重放显示。另一方面，指示对C张图像中的全部图像进行重放显示时，按照排序顺序逐张地进行重放显示，或者将多个图像与排序信息一起进行列表显示。

另外，通过上述第二记录方式对记录在记录介质30上的(A+B)张的图像在液晶监视器19上进行重放显示时，主CPU11在仅指示(A+B)张中的代表(最佳)图像进行重放显示时，仅将代表(最佳)图像进行重放显示。另一方面，指示对(A+B)张中的C张图像进行重放显示时，按照排序顺序逐张地进行重放显示，或者将多个图像与排序信息一起进行列表显示。

(变形例3)

也可以通过使图9所示的计算机装置100执行进行图3的处理的图像评价处理程序，而构成图像处理装置。将图像评价处理程序装入个人计算机100中进行使用时，在将程序输入到个人计算机100的数据存储装置中之后，通过执行该程序而用作图像处理装置。

也可以将存储有程序的CD-ROM等的记录介质104放到个人计算机100中而对个人计算机100输入程序，也可以通过经由网络等通信线路101的方法向个人计算机100输入。经由通信线路101时，预先在与通信线路101连接的服务器(计算机)102的硬盘装置103等中存储程序。图像评价处理程序能够作为经由存储介质104或通信线路101的提供等各种方式的计算机程序产品进行供给。

(变形例4)

在上述的图3所例示的流程图中，在步骤S80之后，也可以将评价值低(无用度高)的X张帧图像(无用图像)显示在液晶监视器19上。在变形例4中，作为上述记录方式，选择将(A+B)张帧图像中的C张帧图像向记录介质30进行记录的第一记录方式，例如，以N＝(A+B)＝20张且C＝5张的情况为例进行说明。即，将20张的帧图像中的5张图像向记录介质30记录时，显示在液晶监视器19上，以使用户能够确认评价值低(无用度高)的15(＝20-5)张的帧图像(无用图像)。

变形例4的主CPU11向显示图像生成电路14发送指示，在液晶监视器19上进行图10所例示的显示。图10是例示液晶监视器19的显示画面的图。在图10中，在区域P11中缩略显示15张帧图像作为排除候补。另一方面，在区域Q11中缩略显示5张帧图像作为保存候补。附加在5张帧图像的上部的1～5的数值表示在步骤S80中附加的序列。

变形例4的主CPU11将区域P11内显示的帧图像中的任一个帧图像(例如在区域P11内显示在左上方的帧图像)上显示光标P12。主CPU11例如对构成操作部件18的十字开关(未图示)进行按下操作时，使光标P12移动到位于十字开关的操作方向上的帧图像上。主CPU11通过操作部件18的按下操作而进行指示“选择作为保存候补”的操作时，在该时刻使通过光标P12确定的帧图像移动到区域Q11内而包含在保存候补中。而且，主CPU11使区域Q11内显示的帧图像中的序列最下位的帧图像移动到区域P11内而包含在排除候补中。

需要说明的是，也可以根据操作部件18的按下操作，而确定区域Q11内显示的帧图像(保存候补)中、移动到区域P11内(即包含在排除候补中)的帧图像。而且，也可以在进行指示“选择作为保存候补”的操作时，不减少已经显示在区域Q11内的帧图像(保存候补)的数量，而增加在区域Q11内作为保存候补的图像数。

变形例4的主CPU11对构成操作部件18的OK开关(未图示)进行按下操作时，图3所例示的流程图的处理结束。主CPU11在结束时刻将区域Q11内显示的帧图像向记录介质30记录。根据变形例4，即使是排除候补中包含的帧图像，也能够在用户希望保存时进行保存。而且，由于将排除候补图像和保存候补图像区别为不同的区域而进行表示，因此能够以用户容易理解的方式显示。

(变形例5)

在上述的说明中，以预先通过菜单操作设定N张图像中、保存在记录介质30中的图像数C的值(例如，C＝5张)的例子进行说明。在变形例5中，不仅C的值，而且N的值(其中，N>C)，或者不仅C的值，而且A的值及B的值(其中，(A+B)>C)也能够通过菜单操作进行设定。由此，保存候补的图像数不仅为5张，也可以为10张，或者可以将在时刻t1(输入全按操作信号(即拍摄指示)的时间)以前拍摄的帧图像的数量和在时刻t1以后拍摄的帧图像的数量设定为用户希望的值。

(变形例6)

在变形例6中，说明使用无用因子算出的评价值RMV中未产生差值而不分优劣的情况。从上述的N＝20张帧图像选择15张帧图像作为排除候补时，例如，对帧图像的评价值RMV从低(无用度高)的评价值RMV开始计数时，假定从第14到第18的评价值RMV为相同值。这种情况下，若仅对基于无用因子的评价值RMV进行比较，则难以选择15张排除候补。然而，为了设法选择15张，需要对基于无用因子的评价值RMV从低的评价值RMV开始计数，从第14到第18的5个帧图像中选择两张。

因此，变形例6的主CPU11对于上述第14到第18的帧图像，例如从无用因子中的表示多个人物间的接近度的评价值H1(n)的值小的帧图像开始依次选择两个帧图像，将这两个图像作为第14和第15帧图像。如此，在基于无用因子的评价值RMV为同值且难以选择15张帧图像时，通过从预先确定的基于无用因子的评价值(例如上述H1(n))值小的帧图像进行选择，能够可靠地选择15张帧图像作为排除候补。需要说明的是，评价值H1(n)也为同值且不分优劣时，进一步从基于其他无用因子的评价值例如表示“脸部”检测的可靠度的评价值H2(n)值小的帧图像依次选择即可。

(变形例7)

在变形例7中，说明使用无用因子算出的评价值RMV中未产生差值而不分优劣的情况的另一例。从上述的N＝20张帧图像选择15张帧图像作为排除候补时，例如，对帧图像的评价值RMV从低(无用度高)的评价值RMV开始计数时，假定从第14到第18的评价值RMV为相同值。变形例7的主CPU11将在第15附近不分优劣的帧图像从排除候补中除去，将作为排除候补的帧图像设为13张。即，将通过仅对基于无用因子的评价值RMV进行比较而不分优劣的第14到第18向保存候补包含，并将第14到第20的7张图像作为保存候补。

如此，在基于无用因子的评价值RMV为相同值且难以选择15张帧图像时，减少作为排除候补的图像数(换言之，增加保存候补的图像数)。但是，主CPU11将增加的保存候补图像中、按照在步骤S80中确定的序列从上位将C张(在本例中为5张)帧图像向记录介质30记录。

(变形例8)

在变形例8中，说明使用无用因子算出的评价值RMV中未产生差值而不分优劣的情况的另一例。从上述的N＝20张帧图像选择15张帧图像作为排除候补时，例如，对帧图像的评价值RMV从低(无用度高)的评价值RMV开始计数时，假定从第14到第18的评价值RMV为相同值。变形例8的主CPU11停止选择作为排除候补的帧图像，而将N＝20张帧图像全部作为保存候补。需要说明的是，并不局限于通过仅对基于无用因子的评价值RMV进行比较而不分优劣的情况，即使在N＝20张帧图像的全部评价值RMV低于预先确定的基准值时，也可以不选择排除候补而将N＝20张帧图像全部作为保存候补。

变形例8的主CPU11将20张保存候补图像中、按照在步骤S80中确定的序列从上位将C张(在本例中为5张)帧图像向记录介质30记录。

(变形例9)

如上述的变形例7或变形例8那样，存在对数量比向记录介质30保存的图像数C(在本例中为5张)多的帧图像附加序列的情况。此时的主CPU11按照在步骤S80中确定的序列从上位将C张(在本例中为5张)帧图像向记录介质30记录。然而，也存在使用必要因子算出的最佳图像评价值OPT中未产生差值而不分优劣的情况。

例如对帧图像的最佳图像评价值OPT从高的最佳图像评价值OPT开始计数时，假定从第三到第七的最佳图像评价值OPT为相同值。这种情况下，若仅比较最佳图像评价值OPT是难以选择5张的。然而，为了设法选择5张，需要对基于必要因子的最佳图像评价值OPT从高的最佳图像评价值OPT开始计数，并从第3到第7这5个帧图像中选择三张。

因此，变形例9的主CPU11对于上述第三到第七的帧图像，例如从必要因子中的表示“脸部”最大面积的评价值H7(n)的值大的帧图像开始依次选择两个帧图像，将这两个图像作为第4和第5帧图像。如此，在基于必要因子的最佳图像评价值OPT为相同值而难以选择5张帧图像时，通过从预先确定的基于必要因子的评价值(例如上述H7(n))的值大的帧图像进行选择，能够可靠地选择5张帧图像作为排除候补。需要说明的是，评价值H7(n)也为相同值而不分优劣时，从基于其他必要因子的评价值例如表示“脸部”的笑脸程度的评价值H8(n)的值大的帧图像依次选择即可。即使这样也不分优劣时，再从基于其他必要因子的评价值即表示被拍摄体大小的评价值H9(n)的值大的帧图像开始依次选择。同样地，即使这样也不分优劣时，再从基于其他必要因子的评价值即表示构图最佳度的评价值H10(n)的值大的帧图像开始依次选择。根据变形例9，能够适当地选择向记录介质30保存的5张帧图像。

(变形例10)

在变形例10中，说明使用必要因子算出的最佳图像评价值OPT中未产生差值而不分优劣的情况的另一例。即使分别使用上述的各个评价值H7(n)～H10(n)也不分优劣时，主CPU11如下所述地选择5张帧图像作为记录候补。即，主CPU11在作为记录候补的多个帧图像中、根据基于必要因子的各个评价值H7(n)～H10(n)选择四个各评价值的序列为第1位的帧图像。主CPU11将还加上在距输入全按操作信号(即拍摄指示)的时间(时刻t1)最近的时间所取得(拍摄)的帧图像后的总计5张图像作为记录候补。根据变形例10，能够适当地选择向记录介质30保存的5张帧图像。

(变形例11)

也可以之后追加以上说明的无用因子、必要因子。例如，取代当初闪存器16中存储的程序，对于无用因子及必要因子的至少一方，将新追加或变更算出式后的版本提升的程序更新记录在闪存器16中。

具体来说，在图9例示的个人计算机100的数据存储装置中装入版本提升的程序之后，经由未图示的通信电缆(例如USB电缆)将该个人计算机和电子相机1连接。版本更新程序对个人计算机100的输入既可以通过将存储有版本更新程序的CD-ROM等存储介质104设置在个人计算机100中来进行，也可以利用经由网络等的通信线路101的方法向个人计算机100输入。

从个人计算机100向电子相机1的版本更新程序的传输可以经由上述通信电缆进行供给。主CPU11将供给来的版本更新程序更新记录到闪存器16中。或者也可以通过个人计算机100将版本更新程序记录在记录介质30中之后，将该记录介质30安装在电子相机1的卡接口(I/F)17上，主CPU11将记录介质30中记录的版本更新程序读出而更新记录到闪存器16中。根据变形例11，能够进行使用了基于版本更新程序中包含的最新评价方法的无用因子、必要因子的评价处理。而且，若版本更新程序中包含符合用户喜好的无用因子、必要因子，则能够进行用户喜好的评价处理。

以上的说明只不过是一例，并未限定为上述实施方式的结构。

Claims (29)

1.一种图像处理装置，其特征在于，包含：

排除部，对于输入的图像组中包含的多个图像中的各个图像，基于第一因子进行评价，从所述图像组中对该评价结果满足规定条件的图像进行排除处理；以及

评价处理部，对所述排除处理后的各图像，基于第二因子进行评价，该第二因子包含与所述第一因子不同的因子。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述图像组包含连拍拍摄的多个图像。

3.根据权利要求1或2所述的图像处理装置，其特征在于，

所述排除部根据拍摄所述图像组时的拍摄场景改变所述第一因子的内容。

4.根据权利要求3所述的图像处理装置，其特征在于，

所述排除部根据所述图像组中包含的被拍摄体像有无移动及该被拍摄体像中有无人物中的至少一方改变所述第一因子的内容。

5.根据权利要求1～4中任一项所述的图像处理装置，其特征在于，

所述排除部从所述图像组将半数以上的图像排除。

6.根据权利要求1～5中任一项所述的图像处理装置，其特征在于，

所述第一因子的一部分与所述第二因子的一部分共用。

7.根据权利要求6所述的图像处理装置，其特征在于，

共用的所述因子包含构成所述图像组的各图像的规定区域中的清晰度信息及所述各图像的整个区域的亮度分布信息中的至少一方。

8.根据权利要求1～7中任一项所述的图像处理装置，其特征在于，

所述第二因子包含与所述图像组中含有的被拍摄体像中的人物表情相关的因子、与该人物的脸部面积相关的因子以及与该被拍摄体像的抖动相关的因子中的至少一个。

9.根据权利要求1所述的图像处理装置，其特征在于，

还具备使由所述排除部排除的图像显示在显示装置上的显示控制部。

10.根据权利要求9所述的图像处理装置，其特征在于，

还具备控制部，该控制部以不将通过所述显示控制部显示在所述显示装置上的图像中的规定图像排除的方式对所述排除部进行控制。

11.根据权利要求1所述的图像处理装置，其特征在于，

还具备用于追加所述第一因子及所述第二因子中的至少一方的因子的因子追加部。

12.根据权利要求5所述的图像处理装置，其特征在于，

所述排除部从所述图像组中排除规定数量的图像，

所述规定数量能够改变。

13.根据权利要求12所述的图像处理装置，其特征在于，

所述排除部在基于第一因子的评价无法排除所述规定数量的图像时不进行所述排除，

所述评价处理部在所述排除部不进行所述排除时对所述输入的全部图像组基于所述第二因子进行评价，

所述评价处理部对所述输入的全部图像组中的各图像进行评价。

14.根据权利要求12所述的图像处理装置，其特征在于，

所述排除部在基于第一因子的评价无法排除所述规定数量的图像时从所述图像组中排除比所述规定数量少的第二规定数量的图像，

所述评价处理部在所述排除部排除了所述第二规定数量的图像时对所述排除处理后的图像组中包含的各图像基于第二因子进行评价，该第二因子包含与所述第一因子不同的因子。

15.根据权利要求13或14所述的图像处理装置，其特征在于，

还具备选择部，该选择部基于所述评价处理部的评价选择作为保存对象的图像。

16.根据权利要求15所述的图像处理装置，其特征在于，

所述选择部在所述序列不存在差别时选择最接近拍摄指示时间地取得的图像和基于所述第二因子的评价值最高的图像。

17.一种图像评价方法，其特征在于，包括：

第一步骤，输入包含多个图像的图像组；

第二步骤，对所述图像组中包含的各图像基于第一因子进行评价；

第三步骤，基于所述第二步骤的评价结果，将该运算结果满足规定条件的图像从所述图像组排除；以及

第四步骤，对所述第三步骤后的所述图像组中包含的各图像，基于第二因子进行评价，该第二因子包含与所述第一因子不同的因子。

18.根据权利要求17所述的图像评价方法，其特征在于，

所述图像组包含连拍拍摄的多个图像。

19.根据权利要求17或18所述的图像评价方法，其特征在于，

所述第二步骤根据拍摄所述图像组时的拍摄场景改变所述第一因子的内容。

20.根据权利要求19所述的图像评价方法，其特征在于，

所述第二步骤根据所述图像组中包含的被拍摄体有无移动及被拍摄体像中有无人物中的至少一方改变所述第一因子的内容。

21.根据权利要求17～20中任一项所述的图像评价方法，其特征在于，

所述第一因子的一部分与所述第二因子的一部分共用。

22.根据权利要求21所述的图像评价方法，其特征在于，

共用的所述因子包含构成所述图像组的各图像的规定区域中的清晰度信息及所述各图像的整个区域的亮度分布信息中的至少一方。

23.根据权利要求17～22中任一项所述的图像评价方法，其特征在于，

所述第二因子包含与所述图像组中含有的被拍摄体像中的人物表情相关的因子、与该人物的脸部面积相关的因子以及与该被拍摄体像的抖动相关的因子中的至少一个。

24.根据权利要求17所述的图像评价方法，其特征在于，

还执行使由所述第三步骤排除的图像显示在显示装置上的第五步骤。

25.根据权利要求24所述的图像评价方法，其特征在于，

所述第三步骤将通过所述第五步骤显示在所述显示装置上的图像中的规定图像排除。

26.根据权利要求17所述的图像评价方法，其特征在于，

所述第三步骤基于所述第二步骤的运算结果从所述图像组排除规定数量的图像，

所述规定数量能够改变。

27.根据权利要求26所述的图像评价方法，其特征在于，

所述第三步骤在基于所述第二步骤的评价结果无法排除所述规定数量的图像时不进行所述排除，

所述第四步骤在所述第三步骤不进行所述排除时对通过所述第一步骤输入的全部图像组基于所述第二因子进行评价，

还执行基于所述第四步骤的评价结果从所述输入的全部图像组中的各图像选择一张图像的第六步骤。

28.根据权利要求26所述的图像评价方法，其特征在于，

所述第三步骤在基于所述第二步骤的评价结果无法排除所述规定数量的图像时从所述图像组中排除比所述规定数量少的第二规定数量的图像，

所述第四步骤在所述第三步骤排除了所述第二规定数量时对所述排除处理后的图像组中包含的各图像分别计算基于第二因子的评价值，该第二因子包含与所述第一因子不同的因子，

还执行基于所述第四步骤的评价结果从所述第三步骤后的图像组中的各图像选择一张图像的第六步骤。

29.一种图像处理装置，其特征在于，

具备能够执行权利要求17～28中任一项所述的图像评价方法的计算机，

从记录有多个图像的记录介质输入所述图像组，并执行所述图像评价方法的各步骤。