CN104125392B

CN104125392B - 图像合成装置及图像合成方法

Info

Publication number: CN104125392B
Application number: CN201410165481.1A
Authority: CN
Inventors: 猪俣哲平; 加藤康史郎; 佐藤真希; 栗原洸太; 木村树; 木村一树; 大野良
Original assignee: Morpho Inc
Current assignee: Morpho Inc
Priority date: 2013-04-24
Filing date: 2014-04-23
Publication date: 2017-10-10
Anticipated expiration: 2034-04-23
Also published as: JP2014225870A; EP2797053A1; JP6120294B2; EP2797053B1; CN104125392A; JP6374556B2; US20160328873A1; JP2017135737A; JP2015208044A; US20140321703A1; IN2014CH02078A; US9959649B2; US9355486B2; JP5906524B2

Abstract

本发明涉及图像合成装置及图像合成方法，能够生成被摄体的动区域被恰当地合成了的所期望的合成图像。生成对位后的基础对象与交换对象的差分图像(S1021)，通过主动轮廓模型来决定差分图像中的抽出轮廓(S1022)。将轮廓线的内侧区域和轮廓线的外侧区域以不同的颜色涂抹而进行区别，生成阿尔法混合用的掩模图像(S1023)。经由如此生成的掩模图像，通过阿尔法混合将基准图像的基础对象和与该基础对象对位后的交换对象合成(S1024)。

Description

图像合成装置及图像合成方法

技术领域

本发明涉及通过多个图像的合成来生成所期望的图像的图像合成装置、以及在该图像合成装置中执行的图像合成方法。

背景技术

在被摄体是人、动物等伴随着动作的物体的情况下，一般难以在该被摄体变成适于摄影的状态的时刻拍摄图像。尤其是在拍摄集体合影等的情况下，多个被摄体所有都以适于摄影的状态，例如视线朝向相机方向并没有眨眼、且面带微笑这一状态来拍摄图像是极其困难的，结果，对于所得到的摄影图像而言，任意一个被摄体以不优选的状态拍摄的情况较多。

对此，已知有一种如下所述的技术：利用在某个时刻拍摄多个被摄体的基准图像和在与此不同的时刻拍摄到的其他图像(称为比较图像)，生成所有被摄体都被以优选的状态拍摄的合成图像。例如，在专利文献1所公开的图像合成方法中，根据基准图像及比较图像来检测被摄体的脸部轮廓线或者包括到躯体部为止的轮廓线，将该轮廓线所包含的区域作为局部图像抽出。然后，当在基准图像中被摄体被以优选的状态拍摄时保持该被摄体区域不变，当在基准图像中被摄体没有被以优选的状态拍摄，但在比较图像中被以优选的状态拍摄时，通过将该比较图像所包含的被摄体区域适用于基准图像的被摄体区域，来生成所有被测定者均以优选的状态拍摄的合成图像。

另外，已知有一种通过多次拍摄伴随动作的被摄体，并将取得的图像组合成，来生成仅图像中的规定区域动作、且其他区域静止的动态图像的被称为动照片(Cinema graph)的技术(例如参照专利文献2)。

专利文献1：日本特开2001－45355号公报

专利文献2：日本特开2012－199613号公报

然而，在被测定者的头部动作的情况下，存在仅头部动作的情况，也存在伴随于此躯体部、胳膊也动作的情况。因此，即使从比较图像统一地抽出特定部分的轮廓线，将该轮廓线所包含的区域适用于基准图像，并且在应用时进行了晕映边缘等处理，仍有可能因适用的区域与周围的图像区域之间的不匹配而导致合成图像不自然。例如，存在适用的区域与其周围产生不连续的问题、脸部与躯体部、胳膊之间的位置关系变得不自然或部位间的方向关系变得不自然这样的问题。即，在现有技术中，当被摄体是伴随动作的物体时，难以生成被摄体的动区域被恰当地合成的所期望的合成图像。

另外，还存在如下问题：因在生成动照片时，难以恰当地合成动区域，在动态图像中被摄体的一部分被以缺失的状态显示，或者动区域中包含超出需要的区域，所以有可能意想的被摄体以外的被摄体被以活动的状态显示。

发明内容

本发明提供一种能够解决上述课题的图像合成装置等。

为了解决上述课题而采用了以下的方案。其中，为了参考而用括号标记在实施后述发明的实施方式的说明及附图中使用的附图标记。该用括号标记的内容只是用于实现本发明的结构的一个例子，用于实现本发明的结构并不限定于此。

第一发明涉及一种图像合成装置，其特征在于，具备：

动区域检测单元(控制部101)，基于在不同的时刻拍摄到的基准图像和比较图像来检测被摄体的动区域(基于差分图像检测动区域，基于在标准化后的图像中邻接的块之间的图像特征量之差来检测动区域块)；

合成区域设定单元(控制部101)，根据动区域的检测结果来设定上述比较图像中的合成区域(生成与抽出的轮廓相对应的图像合成用掩模，生成与动区域块之和相对应的图像合成掩模或按每一个比较图像生成图像合成掩模)；以及

合成图像生成单元(控制部101)，通过将所设定的合成区域合成至上述基准图像来生成合成图像(使用图像合成用掩模来执行基准图像与比较图像的合成处理)。

据此，对于根据被摄体的动区域而设定的合成区域，能够得到比较图像中的合成区域被合成至基准图像后的所期望的合成图像。

另外，第二发明基于第一发明的图像合成装置而提出，其特征在于，上述动区域检测单元抽出上述基准图像与上述比较图像的差分图像中的轮廓(包括被摄体的动区域的轮廓)，

上述合成区域设定单元基于在上述差分图像中抽出的轮廓来设定上述合成区域(基于包括被摄体的动区域的轮廓来生成图像合成用掩模)。

据此，通过基于在基准图像与比较图像的差分图像中抽出的轮廓来设定合成区域，能够得到轮廓被恰当合成的所期望的合成图像。

另外，第三发明基于第二发明的图像合成装置而提出，其特征在于，

上述动区域检测单元初始设定在上述差分图像中包含规定的被摄体区域的闭合曲线(初始设定成作为初始形状的椭圆的轮廓线上的辉度值的合计值为最小的径)，通过使规定上述闭合曲线的节点向与该闭合曲线相对应的能量函数(能量函数：式(1)、式(2))进行最佳化的方向移动(Greedy搜索(贪婪搜索))来进行轮廓的抽出(ACM(Active ContourModel：主动轮廓模型))。

据此，通过采用使用了能量函数的最佳化手法，能够准确地抽出轮廓。

另外，第四发明基于第三发明的图像合成装置而提出，其特征在于，

还具备在多个被摄体区域间设定边界(设定距各脸区域的中心坐标的距离为等间距那样的边界线)的边界设定单元(控制部101)，

上述动区域检测单元按照不具有与上述边界的交点的方式初始设定上述闭合曲线(按照不与所设定的边界线相交的方式初始设定包含被摄体区域的闭合曲线)。

据此，能够防止在被摄体区域间产生干扰。结果，能够提高被摄体区域的轮廓检测的实效性。

另外，第五发明基于第三发明的图像合成装置而提出，其特征在于，

上述动区域检测单元再次初始设定包含抽出了的轮廓所包含的被摄体区域中、基于用户操作(点击操作、拖动操作)而决定的被摄体区域的闭合曲线(当在被抽出的轮廓内包含多个被摄体时除去通过用户操作而指定的被摄体区域来再次设定闭合曲线)，基于该闭合曲线来再次进行轮廓的抽出。

据此，在没有执行所期望的轮廓抽出的情况下，能够以用户操作为契机再次进行轮廓的抽出。

另外，第六发明基于第二发明的图像合成装置而提出，其特征在于，还具备：

基础区域显示单元(显示部103)，以用户能够选择的方式(用户通过点击操作、图标操作能够进行选择)显示包含上述基准图像中的规定的被摄体区域的基础区域(基础对象)；以及

交换候补区域显示单元(显示部103)，按每一个比较图像来确定与基于用户操作而选择的基础区域相对应的交换候补区域(成为交换对象的候补的矩形区域)，并以用户能够选择的方式(用户通过点击操作、图标操作能够进行选择)显示确定出的各交换候补区域，

上述动区域检测单元抽出基于上述用户操作而选择出的基础区域与基于用户操作而选择出的作为交换候补区域的交换区域的差分图像中的轮廓(从由用户选择出的基础对象与交换对象的差分图像中抽出被摄体的轮廓)。

据此，能够使包含规定的被摄体区域的基础区域和按每一个比较图像确定出的交换候补区域显示成用户能够选择。而且，能够从由用户选择出的基础区域与交换区域的差分图像中恰当地抽出轮廓。

另外，第七发明基于第一发明的图像合成装置而提出，其特征在于，还具备：

干扰度判定单元(控制部101)，判定将上述基准图像中的规定的被摄体(基准图像中的规定的人物)替换成上述比较图像中的该规定的被摄体时的与其他被摄体之间的干扰度(被摄体区域的轮廓线的重叠程度、轮廓区域彼此间的重复范围)；以及

推荐度显示单元(显示部103)，基于上述干扰度来显示与上述规定的被摄体相关的替换推荐度(多级的替换推荐度)。

据此，能够判定出基准图像中的规定的被摄体与其他被摄体之间的干扰度，并且使用户能够把握规定的被摄体的替换的推荐度。

另外，作为其他发明，基于第一发明的图像合成装置而提出，其特征在于，还具备：

干扰度判定单元(控制部101)，判定将上述动区域检测单元检测动区域的被摄体中、上述基准图像中的规定的被摄体(规定的人物)替换成上述比较图像中的该规定的被摄体的情况下的与其他被摄体(其他人物)之间的干扰度(被摄体区域的轮廓线的重叠程度、轮廓区域彼此间的重复范围)；以及

推荐度显示单元(显示部103)，基于上述干扰度来显示与上述规定的被摄体相关的替换推荐度(多级的替换推荐度)，

上述合成区域设定单元将上述比较图像中的上述规定的被摄体设定为上述合成区域(将比较图像中的规定的人物设定为相对于基准图像的替换区域)。

据此，能够判定出基准图像中的规定的被摄体与其他被摄体之间的干扰度，并且使用户能够把握规定的被摄体的替换推荐度。另外，通过将比较图像中的规定的被摄体的区域设定为合成区域，能够得到比较图像中的规定的被摄体区域被合成到基准图像后的所期望的合成图像。

并且，在第七发明或者上述其他发明的图像合成装置中，

还具备替换候补区域设定单元(控制部101)，该替换候补区域设定单元(控制部101)设定包含上述基准图像中的规定的被摄体的替换候补区域(基于基准图像与比较图像的差分图像的轮廓来设定，进行使用了能量函数(式(4))的最佳解运算来进行设定，该能量函数(式(4))以距成为替换对象的被摄体的距离、基准图像与比较图像的差分图像的像素值作为自变量)，

上述干扰度判定单元判定上述所设定的替换候补区域所包含的上述规定的被摄体与其他被摄体之间的干扰度。

据此，能够设定包含规定的被摄体的替换候补区域，并判定该替换候补区域所包含的规定的被摄体与其他被摄体之间的干扰度。

另外，第八发明基于第七发明的图像合成装置而提出，其特征在于，

上述干扰度判定单元基于在上述基准图像与上述比较图像的差分图像中抽出的替换候补区域的交点(被摄体的轮廓的交点)来判定规定的被摄体与其他被摄体之间的干扰度(轮廓线的重叠程度)。

据此，通过基于在基准图像与比较图像的差分图像中抽出的替换候补区域的交点，能够准确地判定规定的被摄体与其他被摄体之间的干扰度。

另外，第九发明基于第八发明的图像合成装置而提出，其特征在于，

上述干扰度判定单元基于按上述基准图像与各比较图像的每一个差分图像而抽出的规定的被摄体的轮廓与其他被摄体的轮廓之间的交点数(被摄体的轮廓线重叠的根数)来判定规定的被摄体与其他被摄体之间的干扰度。

据此，通过基于按基准图像与各比较图像的每一个差分图像抽出的规定的被摄体的轮廓与其他被摄体的轮廓之间的交点数，能够更准确地判定规定的被摄体与其他被摄体之间的干扰度。

另外，第十发明基于第二发明的图像合成装置而提出，其特征在于，还具备：

脸区域检测单元(控制部101)，检测基准图像及各比较图像中的脸区域(图像中的人物的脸区域)；

特征量计算单元(控制部101)，按在各比较图像中检测出的每一个脸区域计算出特征量(脸特征值：正面度、笑脸度、红眼度、闭眼度、视线方向的正面度)；以及

比较图像决定单元(控制部101)，决定按每一个脸区域计算出的特征量成为最佳值的比较图像的组合(脸部得分值为最大的比较图像的组合)。

据此，通过基于按在各比较图像中检测出的每一个脸区域计算出的特征量，能够恰当地决定轮廓的抽出所使用的比较图像的组合。

另外，第十一发明基于第二发明的图像合成装置而提出，其特征在于，还具备：

脸区域显示单元(显示部103)，以用户能够选择的方式(用户通过点击操作、图标操作能够进行选择的方式)显示在基准图像及各比较图像中检测出的脸区域；以及

比较图像决定单元(控制部101)，当将在上述基准图像中选择出的规定的脸区域替换成在任意一个比较图像中选择出的该规定的脸区域时，在该规定的脸区域与其他脸区域之间产生干扰的情况下，将对于该其他脸区域不产生干扰且对于该其他脸区域计算出的特征量为最佳值的比较图像(对于其他脸区域不产生干扰且对于其他脸区域脸部得分值为最大的比较图像)决定为针对该其他脸区域的替换对象。

据此，能够使在基准图像及各比较图像中检测出的脸区域显示为用户能够选择。另外，当在一个比较图像中规定的脸区域与其他脸区域之间产生干扰时，能够对于规定的脸区域恰当地决定作为替换对象的比较图像并进行替换。

另外，第十二发明基于第一发明的图像合成装置而提出，其特征在于，

上述动区域检测单元按上述基准图像与各比较图像的每一个组合检测被摄体的动区域(基于基准图像与各比较图像各自的差分图像来检测动区域，按基准图像与各比较图像的每一个组合基于邻接的块之间的图像特征量之差来检测动区域块)，

上述合成区域设定单元基于按上述基准图像与各比较图像的每一个组合检测出的动区域来设定上述合成区域(基于按基准图像和各比较图像的每一个组合检测出的动区域来生成图像合成用掩模)，

上述合成图像生成单元将各比较图像中的合成区域连续地合成至上述基准图像(经由图像合成用掩模将比较图像连续地合成至基准图像)。

据此，能够得到对于各比较图像设定的合成区域被连续地合成的合成图像即动照片。

另外，第十三发明基于第十二发明的图像合成装置而提出，其特征在于，

上述动区域检测单元将上述基准图像及上述比较图像分别分割成判定区域(块)，基于相互对应的判定区域间的规定的特征量(图像特征量：辉度、饱和度、明度、色差)的关系(基于图像特征量定义的函数：式(5)、式(6))来检测动区域。

据此，通过基于基准图像及比较图像的相互对应的判定区域间的规定特征量，能够恰当地检测被摄体的动区域。

另外，第十四发明基于第十三发明的图像合成装置而提出，其特征在于，

上述动区域检测单元将上述特征量设为辉度，基于相互对应的判定区域间(块之间)的辉度的关系(基于辉度定义的函数：式(5)、式(6))来检测动区域。

据此，通过基于基准图像及比较图像的相互对应的判定区域间的辉度的关系，能够准确地检测被摄体的动区域。由于被摄体的动作被显著地反映于辉度的变化，所以基于辉度的动区域的检测实效性较高。

另外，第十五发明基于第十三发明所记载的图像合成装置而提出，其特征在于，

上述动区域检测单元根据从摄影条件(景深)、摄影图像内容(在基准图像与比较图像的差分图像中检测出边缘、辉度差的区域的比例)、以及用户操作(针对触摸面板的缩放操作(缩小(pinch in)操作/扩大(pinch out)操作))中选择的任意一个来使上述判定区域的大小变化(使块的大小变化)。

据此，能够根据各种条件、契机来使判定区域的大小变化，可设定与摄影图像相对应的适当的判定区域。

另外，第十六发明基于第十三发明所记载的图像合成装置而提出，其特征在于，

上述动区域检测单元基于上述规定的特征量的关系来生成按每一个上述判定区域将上述基准图像标准化(按每一个块进行标准化)了的标准化图像，基于该标准化图像中的各判定区域(该块)与和各判定区域邻接的判定区域(和该块邻接的邻接块)之间的上述特征量的差异(图像特征量的差)来判定该判定区域是否为动区域(判定该块是否为被摄体的动区域)。

据此，能够基于图像特征量的差异来恰当地检测出被摄体的动区域。

另外，第十七发明基于第十三发明的图像合成装置而提出，其特征在于，

在上述判定区域被判定为不是动区域的情况下，当与该判定区域邻接的判定区域中规定数量以上的判定区域(与该块邻接的上下左右所有4个邻接块)被判定为动区域时，对于该判定区域执行与被判定为动区域时相同的处理(作为被判定为动区域的判定区域而执行与被判定为动区域时相同的处理)。

据此，即使在一个判定区域实际上为动区域但被判定为不是动区域的情况下，也能够将该判定区域作为动区域来设定合成区域，可提高动区域判定的实效性。

另外，第十八发明基于第十三发明的图像合成装置而提出，其特征在于，

在上述判定区域被判定为动区域的情况下，当将与该判定区域邻接的邻接判定区域(邻接块)作为对象来进行是否是动区域的判定时，应用比对于该判定区域的判定基准容易判定为是动区域的判定基准(设定比对于该块设定的阈值低的阈值)。

据此，能够容易地将与被判定为动区域的判定区域邻接的邻接判定区域判定为动区域。

另外，第十九发明基于第十三发明的图像合成装置而提出，其特征在于，

上述合成区域设定单元基于按上述基准图像与各比较图像的每一个组合检测出的动区域之和(被判定为动区域的区域的OR区域)，对于各比较图像设定共同范围的合成区域(对于各比较图像共同设定合成至基准图像的区域)。

据此，能够对于各比较图像设定由被摄体的动区域之和合成的共同范围的合成区域并用于向基准图像的合成。

另外，第二十发明基于第十三发明的图像合成装置而提出，其特征在于，

上述合成区域设定单元基于按上述基准图像与各比较图像的每一个组合检测出的动区域，来按成为合成对象的每一个比较图像设定与该比较图像相对应的合成区域(按成为合成对象的每一个比较图像设定合成至基准图像的区域，仅将对于各块按与基准图像的关系检测出动作的比较图像合成至基准图像)。

据此，能够按成为合成对象的每一个比较图像设定与该比较图像相对应的合成区域并用于向基准图像的合成。

另外，第二十一发明基于第十三发明所记载的图像合成装置而提出，其特征在于，

上述动区域检测单元能够基于通过用户操作而指定的区域(在手动模式中通过用户的拖动操作而指定的区域)来执行上述动区域的检测。

据此，能够将通过用户操作而指定的区域作为对象来检测动区域。

另外，第二十二发明基于第十三发明的图像合成装置而提出，其特征在于，

上述动区域检测单元能够基于不依赖于用户操作而预先决定的区域(在自动模式中预先设定的区域，例如所有的块)来执行上述动区域的检测。

据此，能够将不依赖于用户操作而预先决定的区域作为对象来检测动区域。

第二十三发明涉及一种图像合成方法，其特征在于，包括：

动区域检测步骤，基于在不同的时刻拍摄到的基准图像和比较图像来检测被摄体的动区域；

合成区域设定步骤，根据动区域的检测结果来设定上述比较图像中的合成区域；以及

合成图像生成步骤，通过将所设定的合成区域合成至上述基准图像来生成合成图像。

据此，能够实现起到与第一发明相同的作用效果的图像合成方法。

另外，第二十四发明基于第二十三发明的图像合成方法而提出，其特征在于，

在上述动区域检测步骤中，抽出上述基准图像与上述比较图像的差分图像中的轮廓，

在上述合成区域设定步骤中，基于在上述差分图像中抽出的轮廓来设定上述合成区域。

据此，能够实现起到与第二发明相同的作用效果的图像合成方法。

另外，第二十五发明基于第二十三发明的图像合成方法而提出，其特征在于，

在上述动区域检测步骤中，按上述基准图像与各比较图像的每一个组合来检测被摄体的动区域，

在上述合成区域设定步骤中，基于按上述基准图像与各比较图像的每一个组合检测出的动区域来设定上述合成区域，

在上述合成图像生成步骤中，将各比较图像中的合成区域连续地合成至上述基准图像。

据此，能够实现起到与第十二发明相同的作用效果的图像合成方法。

第二十六发明涉及一种程序(存储部102等存储装置、存储卡107等记录介质所存储的图像处理程序)，其特征在于，

使计算机(图像合成装置10的处理装置(控制部101)、平板电脑终端、个人电脑等各种电子设备、信息处理装置所具备的处理装置(处理器))执行下述步骤(执行后述的实施方式中说明的图像处理)：

据此，能够提供一种起到与第一发明相同的作用效果的程序。

另外，第二十七发明基于第二十六发明的程序而提出，其特征在于，

据此，能够提供一种起到与第二发明相同的作用效果的程序。

另外，第二十八发明基于第二十六发明的程序而提出，其特征在于，

在上述动区域检测步骤中，按上述基准图像与各比较图像的每一个组合检测被摄体的动区域，

据此，能够提供一种起到与第十二发明相同的作用效果的程序。

第二十九发明涉及一种图像合成装置，其特征在于，具备：

合成区域设定单元(控制部101，生成与基于基准图像和各比较图像各自的差分图像而检测出的动区域相对应的动区域掩模、与按基准图像和各比较图像的每一个组合基于邻接的块间的图像特征量之差而判定出的动区域相对应的动区域掩模)，基于在不同的时刻拍摄到的基准图像和比较图像，按每一个比较图像设定合成至上述基准图像的合成区域；以及

合成图像生成单元(控制部101，通过经由所设定的动区域掩模使各比较图像依次合成至基准图像来在基准图像中使特定范围的图像变化)，通过将所设定的各合成区域连续地合成至上述基准图像，生成在上述基准图像中合成部分的图像随时间变化的合成图像。

另外，第三十发明基于第二十九发明的图像合成装置而提出，其特征在于，

上述合成区域设定单元能够基于在上述基准图像中通过用户操作而指定的区域来设定上述合成区域(生成与用户通过拖动操作而指定的区域相对应的动区域掩模，将至少一部分中包含用户通过拖动操作而指定的区域的块作为对象来判定动区域并生成动区域掩模)。

据此，能够将所期望的区域适当地动区域化。

根据本发明，对于根据被摄体的动区域而设定的合成区域，能够得到比较图像中的合成区域被合成至基准图像后的所期望的合成图像。

附图说明

图1是图像合成装置的硬件结构图。

图2是表示在图像合成装置中执行的处理的流程图。

图3是表示在图像合成装置中执行的处理的流程图。

图4是表示显示部所显示的基准图像的一个例子的图。

图5是基准图像及比较图像的矩形区域。

图6是表示合成处理的流程图。

图7是表示差分图像的一个例子的图。

图8是表示主动轮廓模型(Active Contour Model)中的轮廓线的图。

图9是贪婪搜索(Greedy搜索)的说明图。

图10是表示初始轮廓的设定方法的图。

图11是表示与节点的移动次数相对应的轮廓的收敛状态的图。

图12是表示阿尔法混合用的掩模(mask)图像的一个例子的图。

图13是表示通过阿尔法混合得到的合成图像的一个例子的图。

图14是表示集体合影的基准图像的一个例子的图。

图15是表示集体合影的合成图像的一个例子(失败例)的图。

图16是表示基准图像中的边界线的生成例的图。

图17是表示集体合影的合成图像的一个例子(成功例)的图。

图18是表示在图像合成装置中执行的处理的流程图。

图19是表示替换推荐度判定处理的流程图。

图20是替换推荐度的判定方法及替换推荐度的显示方法的说明图。

图21是表示叠加(overlay)显示了轮廓线的集体合影的基准图像的一个例子的图。

图22是对显示了替换推荐度的集体合影的基准图像的一个例子进行表示的图。

图23是表示基于用户指定的替换候补区域的一个例子的图。

图24是将摄影图像中包含的人物的脸及其轮廓线模式化后的图。

图25是表示将脸特征值量化后的结果的一个例子的图。

图26是表示在图像合成装置中执行的处理的流程图。

图27是表示块(block)判定处理的流程图。

图28是表示标准化前及标准化后的基准图像的一个例子的图。

图29是表示叠加显示了动区域之和的图像的一个例子的图。

图30是表示基于动区域之和生成的掩模的一个例子的图。

图31是表示在图像合成装置中执行的处理的流程图。

图32是表示基于与各比较图像相对应的动区域而生成的掩模的一个例子的图。

图33是表示基于用户的操作来判定动区域的例子的图。

图34是表示在图像合成装置中执行的处理的流程图。

图35是表示块判定处理的流程图。

图36是表示记录介质的一个例子的图。

附图标记说明：10…图像合成装置；101…控制部；102…存储部；103…显示部；104…输入部；105…摄像部；107…存储卡；110…卡插槽；120…卡读写器。

具体实施方式

以下，参照添加附图对本发明的实施方式进行说明。其中，在附图的说明中，存在对同一要素赋予相同的标记而省略重复说明的情况。另外，附图的尺寸比例不一定与说明的物体一致。

以下所示的第1实施方式及第2实施方式都是利用在不同的时刻拍摄有动作的被摄体而得到的多个摄影图像，将比较图像中的被摄体的图像区域合成到基准图像中的被摄体的图像区域来得到所期望的合成图像的实施方式。

[第1实施方式]

在该实施方式中，通过基于基准图像与比较图像的差分图像动态地捕捉被摄体的轮廓，来抽出反映了被摄体的动作的轮廓区域并合成至基准图像。以下，对第1实施方式所涉及的图像合成装置、图像合成方法以及程序进行说明。

图1是本发明的第1实施方式所涉及的图像合成装置10的硬件结构图。

如图1所示，图像合成装置10具备由CPU(中央处理单元：Central ProcessingUnit)等构成的控制部101、由存储器及硬盘装置等构成的存储部102、显示部103、输入部104、以及摄像部105。图像合成装置10构成为通过控制部101执行存储部102中存储的程序，来实现后述的功能。即，控制部101构成为能够执行存储在存储部102中的程序。存储部102如上述所述由存储器及硬盘装置等构成，构成为除了存储由上述控制部101执行的程序之外，还能够存储由摄像部105拍摄到的图像数据、以及通过利用控制部101执行的程序来处理这些图像数据而产生的数据(例如差分图像数据、合成图像数据)。显示部103构成为能够显示存储部102中保存的图像数据等。输入部104与显示部103一体构成为所谓的触摸屏，作为用户与图像显示装置100之间的输入接口发挥作用。具体而言，用户对在显示部103中显示的图像等宛如直接触摸而进行操作那样，用户利用手指对输入部104进行点击操作、缩放(pinch)操作等，探知到该操作(接触方式)的输入部104判别该接触位置、动作而使控制部101进行相对应的处理。摄像部105构成为能够拍摄图像。由摄像部105拍摄到的图像作为图像数据存储于存储部102。

作为图1所示那样的图像合成装置10，代表性的例子有所谓的智能手机、平板电脑终端，但并不仅限于此，也可以是通过触摸屏或鼠标等进行输入的PC或者数码相机等信息终端装置。

以下，参照图2及图3的流程图，对在第1实施方式所涉及的图像合成装置10中执行的处理进行说明。担负图2及图3的处理的一部分或全部的图像合成程序被读入至存储器，由控制部101的CPU执行。以下，表示了对多个被摄体集合的图像进行拍摄的例子，但并不仅限于此，被摄体也可以是单独的。

首先，用户通过在图像合成装置10中进行点击显示部103上显示的摄影键等规定的摄影操作来使摄像部105动作，多次拍摄被摄体(多个被摄体)，获得摄影次数份的摄影图像(S1001)。例如，通过采用连续摄影模式，能够伴随1次摄影操作而获得多个摄影图像，该连续摄影模式根据1次摄影操作，进行以数十m秒间隔、数百m秒间隔、1秒间隔、或数秒间隔等规定的时间间隔，连续地取得摄影图像数据的处理。

这样获得的多个摄影图像被存储于存储部102。然后，从摄影图像中设定成为基准图像的图像(S1002)。对于基准图像而言，例如可以自动地将最初拍摄到的图像设定为基准图像，也可以通过将多个摄影图像显示到显示部103并使用户选择成为基准图像的图像来进行设定。例如，用户选择多个被摄体中的至少1个以上被摄体被以所期望的状态摄影的图像作为基准图像，对于没有被以所期望的状态摄影的被摄体的区域，可以插入以所期望的状态摄影的比较图像(基准图像以外的摄影图像)的区域。

在设定了基准图像后，由于在基准图像与比较图像之间存在基于手抖动等的位置偏移，所以针对基准图像进行比较图像的对位(S1003)。在本例中，利用块匹配法进行对位。此外，也可以应用梯度法等其他的对位方法。

在进行了对位之后，将基准图像作为对象来进行脸区域的检测(S1004)。例如，利用使用了Haar－Like特征的识别器、图案匹配等来检测脸区域。此外，对于脸区域的检测而言，只要能够确定基准图像中的类似脸的区域即可，其方法不特别限定，可以使用硬件进行检测，也可以通过软件进行检测。然后，如图4所示，将包含检测到的脸区域的矩形显示到基准图像上(S1005)。这样，使用户浏览检测到的脸区域，判断该脸区域在基准图像上是否为优选的状态。另外，在本例中通过显示矩形，来示意能够将该矩形区域内的局部图像变更为其他图像(比较图像)的局部图像。

当在基准图像所显示的矩形之中存在包含未被以恰当的状态摄影的脸区域的矩形时，用户通过点击操作来选择该矩形区域。然后，基于选择操作的检测(S1006)来决定成为变更对象的矩形区域(以下称为基础对象(base target))(S1007)。其中，如果输入部104不是由触摸屏而是由鼠标等指向设备构成，则用户通过操作鼠标将光标置于包含想要变更的脸区域的矩形区域并点击，来决定基础对象。

然后，在比较图像(如上述那样已经完成了与基准图像的对位的图像)中，与基准图像同样地检测脸区域(S1008)，进而设定包含该脸区域的矩形(S1009)。然后，确定面积与基础对象重复规定比例(例如1/2)以上的矩形区域(S1010)，并如图5所示，在基准图像的旁边排列显示该矩形区域(图3的S1011)。即，从基准图像前后的比较图像确定包含与基础对象共同的被摄体像的矩形区域。由此，成为与基础对象进行替换的候补的矩形区域被提示给用户。更具体而言，包含了在基础对象内的局部图像上覆写的局部图像的矩形区域被作为候补而提示。

这里，基准图像上的矩形区域(基础对象)及被作为候补提示的矩形区域相对于该矩形区域所包含的脸区域具有充分大的面积。例如，是在中央包含脸区域且具有该脸区域2倍以上的纵幅度及横幅度(脸区域的面积的400％以上)的矩形区域。这是为了在进行后述的合成处理时捕捉脸的动作，另外还捕捉伴随脸的动作的头、肩、胸等其他部位的动作来生成自然的合成图像，并且为了设定到脸的周围的一定范围为止包含的基础对象和交换对象(swap target)。

若从如图5所示那样排列显示的矩形区域中点击了包含用户判断为适当的脸区域的矩形区域，则基于该选择操作，将被选择的矩形区域决定为与基础对象进行替换的交换对象(S1012)。进而决定基准图像上的交换对象的位置(S1013)。例如，在基础对象附近扫描交换对象并进行基于块匹配的对位。然后，单纯地将交换对象覆写(粘贴)到基准图像上的决定位置来生成预览图像(S1014)。此外，对位的方法并不限定于块匹配，也可以使用梯度法等其他方法。

用户对预览图像进行确认，当确认为交换对象内的被摄体处于优选的状态时，点击显示部103所显示的合成键。另一方面，当判断为交换对象内的被摄体不处于优选的状态时，不点击合成键而选择与当前交换对象不同的比较图像的矩形区域。当检测到合成键的点击操作时(S1015为是)，执行后述的合成处理(S1020)。当合成键没有被操作而选择了不同的比较图像的矩形区域时(S1015为否)，取代选择操作前的交换对象而将新选择的矩形区域设为交换对象(S1012)。此外，也可以不显示预览图像而在交换对象被决定后直接执行合成处理。

以下，参照图6所示的流程图对合成处理进行说明。若合成处理开始，则首先控制部101生成对位后的基础对象与交换对象的差分图像(S1021)。由此得到的差分图像如图7所示，存在被摄体的动作的区域的辉度值变高。接下来，执行决定差分图像中的抽出轮廓的处理(S1022)。由于在差分图像中辉度高的区域是存在被摄体的动作的区域，所以通过决定包含这些辉度高的区域整体那样的轮廓，使得所决定的抽出轮廓成为包含被摄体动作了的区域的图像区域。即，通过基于差分图像来决定抽出轮廓能够捕捉被摄体的动作。在本实施方式中，以利用主动轮廓模型(Active Contour Model)来决定抽出轮廓的例子进行说明，但也可以应用其他技术。

ACM(Active Contour Model的缩写)是用于决定轮廓的算法。通过将预先规定的能量函数最小化来决定轮廓，如图8所示，该轮廓由节点和将节点连结的枝组成的闭合曲线构成，轮廓从初始轮廓向最佳状态的变形通过能量函数的最小化来进行。能量函数的最小化一般通过重复计算来进行。以下表示了能量函数的公式。

【式1】

E_all=k₁E_internal+k₂E_edge+k₃E_external…(1)

这里，E_all是由上述的能量函数求得的能量。另外，E_internal是表示轮廓的连续性的能量，E_edge是表示轮廓沿着边缘的程度的能量，E_external是表示节点聚集于中央的程度的能量，分别用以下的公式表示。另外，k₁、k₂、k₃分别是表示相对于E_internal、E_edge、E_external的权重的系数，例如，能够将预先决定的值设定为固定值。

【式2】

E_external=Dist_center(x,y)...(2-3)

这里，当将在图像平面上表现的闭合曲线设为v(s)＝(x(s)，y(s))时，在第1式中，v(s)的一次微分是表示轮廓的连续性的函数。其中，“s”是表示闭合曲线的形状的参数。在第2式中，I(x，y)是表示对象图像(差分图像)的坐标(x，y)处的辉度值的函数。另外，在第3式中，Dist_center(x，y)是表示坐标(x，y)与重心位置之间的距离的函数。

此外，能量函数中的系数k1、k2、k3的值并不限定为固定值，也可以是根据摄影图像的内容、摄影条件、用户输入等而可变。

另外，上述能量函数的最小化使用Greedy(贪婪)搜索来进行。如图9所示，Greedy搜索是指调查节点像素周围8个附近的能量，使节点朝向其中最小能量的坐标逐个像素地移动。Greedy搜索与梯度效果法相比，具有使轮廓过于收缩的可能性较少的效果。相比较而言，收敛比较慢，但出于如果是数十个程度的节点数则足够这一判断出发，在本实施方式中，使用Greedy搜索。

开始Greedy搜索前的初始轮廓(初始的闭合曲线)的决定方法如以下那样进行。首先，如图10所示，设定在差分图像中检测的脸区域、或者包含与在成为该差分图像的基础的基础对象或交换对象上已经检测出的脸区域相当的区域那样的假设轮廓(在本例中为椭圆)。也可以将差分图像作为对象来进行脸区域的检测，设定包含该脸区域那样的假设轮廓。然后，计算出位于该假设轮廓的线上的像素的辉度的总和。然后，渐渐扩大假设轮廓的直径，每次都计算出位于各假设轮廓的线上的像素的辉度的总和。将这样计算出的辉度的总和最小时的假设轮廓设定为初始轮廓。这是对于像素的辉度高的区域而言，基于被摄体的动作波及该区域这一假设而得到的，采用了将初始轮廓扩大至被摄体的动作影响低的区域，然后通过Greedy搜索使闭合曲线的节点移动来使轮廓渐渐收敛的方法。即，首先设定尽可能包含被摄体的动作可能波及的区域那样的初始轮廓，通过之后的轮廓变形能够决定相对于被摄体的动作所波及的范围的最佳轮廓。

基于与这样设定的初始轮廓相当的能量函数，进行Greedy搜索，使轮廓渐渐地收敛，将能量函数最小化时的轮廓决定为抽出轮廓。在图11中表示了随着节点基于Greedy搜索的移动次数为0次(初始轮廓)、50次、100次、150次、200次、300次地增加，轮廓渐渐地收敛而被最佳化(能量最小化)的例子。其中，在本实施方式中，将节点的移动次数600次设为上限，即使在该时刻能量未被最小化，也将该时刻的轮廓决定为抽出轮廓，结束Greedy搜索。

接下来，如图12所示，利用FloodFill等方法以不同的颜色(在该例中为白色(像素值255)和黑色(像素值0))分别对轮廓线的内侧区域和轮廓线的外侧区域涂色来进行区别，生成阿尔法混合用的掩模图像(S1023)。其中，在该例中轮廓线的内侧区域成为透过区域。

经由这样生成的掩模图像，通过阿尔法混合将基准图像的基础对象和与该基础对象对位后的交换对象合成(S1024)。

在本实施方式中，将在基于阿尔法混合的合成中借助的掩模图像不是设为如上述那样被区别成白色和黑色的掩模图像(以下称为“原掩模图像”)，而是设为基于以下公式进行了修正的修正掩模图像。

【式3】

I_result=max(α*I_blurred|0≤α*I_blurred≤255，I_mask)…(3)

这里，I_mask表示原掩模图像的像素值，I_result表示修正掩模图像的像素值，I_blurred表示通过对原掩模图像进行晕映处理而得到的晕映掩模图像的像素值。另外，α表示用于调整晕映掩模图像的像素值I_blurred的调整系数。

若对原掩模图像进行晕映处理，则由于原掩模图像中的边界部分也被晕映，所以例如存在如图12那样从原掩模图像的轮廓线的内侧区域至外侧区域以255(白色)→0(黑色)变化的像素值变成接近于中间值128的值，导致轮廓线的内侧区域被侵蚀的问题。为了防止该侵蚀，用于将晕映掩模图像的边界部分的像素值提升至接近255的系数是调整系数α。由此，能够生成像素值的分布平滑且轮廓线的内侧区域不被侵蚀的修正晕映图像。

max(A，B)是输出A和B中较大一方的值的max函数。另外，max函数中的“|”是对α*I_blurred的值能够取得的范围进行定义的标记，按照α*I_blurred的值为0～255的范围内的值的方式进行限制。

根据式(3)，α*I_blurred和I_mask中较大一方的值被输出。该情况下，在上述例子中，关于轮廓线的内侧区域的像素，由于像素值均为255所以输出255，关于轮廓线的外侧区域的像素，由于I_mask变为0所以输出α*I_blurred。结果，生成仅外部部分被晕映了的修正掩模图像。在轮廓线的边界部分，由于通过调整系数α提高了I_blurred的值，所以在从轮廓线的内侧区域移向外侧区域时，像素值也不急剧变化而维持平滑的像素值的分布。通过进行这样的晕映，能够自然地混合轮廓的外侧(使辉度值的梯度平缓)且轮廓的内侧可靠地进行替换。

图13中表示了由借助上述修正掩模图像的阿尔法混合得到的合成图像的一个例子。换言之，从交换对象抽出与上述差分图像的抽出轮廓相对应的图像区域，并将其适用(覆写)于基础对象中的与上述差分图像的抽出轮廓相对应的图像区域，关于基础对象中的以外的图像区域，除了晕映区域以外保存以往的基准图像不变。这样，通过基于差分图像动态地抽出被摄体的动作所影响的范围，且仅适用该抽出区域，能够生成被摄体成为所期望的状态且使合成区域没有不自然感的合成图像。

接下来，判定输出键是否被点击(S1030)，当没有被点击而选择了基准图像中的其他矩形区域时(S1030为否)，即当由于存在包含没有被以优选的状态拍照的被摄体的其他矩形区域而选择了该矩形区域时，如上述那样执行S1006以后的处理，设定基础对象和交换对象并同样地进行图像合成。然后，若基于得到了所有被摄体均处于优选的状态的合成图像而点击显示部103所显示的输出键(S1030为是)，则该图像被编码成JPEG形式等所期望的形式，并存储于存储部102。

[脸区域的干扰排除]

如上述那样，由于在基础对象及交换对象的设定中，设定了比脸区域更广的范围，所以例如在收容多个被摄体的集体合影那样，脸区域彼此位于接近的位置的情况下，产生在1个基础对象或交换对象中包含多个脸区域的情况。尤其是当存在距摄像位置近的被摄体和距摄像位置远的被摄体时，有时在大的脸区域的附近存在小的脸区域，该情况下通过以大的脸区域为基准设定广泛的基础对象、交换对象，使其这些中包含多个脸区域的可能性极高。

其结果，差分图像中当然也包含多个脸区域，作为结果，产生当想要替换未以优选的状态拍照的脸区域时，会替换到其旁边的脸区域的情况。例如，在将图14所示那样的集体合影设为基准图像的情况下，右下的女性由于距摄像位置近所以脸区域很宽泛，包含该脸区域的基础对象、交换对象也变得很宽泛，导致还包含其旁边的男性的脸区域。结果，在差分图像中设定的初始轮廓成为包含多个脸区域的轮廓。由此，抽出轮廓中包含多个脸区域，即使如图15所示，想要将位于基准图像右下的女性的脸区域变更成交换对象的脸区域，与之相伴，也变更至位于其旁边的男性的脸区域。

为了防止这样的问题，例如可采取以下那样的措施。首先，设定从基准图像检测出的各脸区域间的边界线。具体而言，计算出各脸区域的中心坐标，生成距相邻2个脸区域各自的中心坐标的距离为等间距那样的边界线。其中，当该边界线位于任意一个脸区域内时，删除相关部分并在比该脸区域的轮廓线靠外侧规定像素量地(从中心坐标远离的方向)生成边界线。这样，如图16所示，确定包含各脸区域的矩形的最大区域。另外，对于各比较图像，也利用与基准图像相同的方法设定各脸区域间的边界线。而且，当在基准图像、各比较图像中设定包含脸区域的矩形时，设定该矩形与边界线没有交点的大小的矩形。

由此，能够防止基础对象、交换对象中的脸区域的干扰。在如图17所示的合成图像的例子中，包含右下的女性的脸区域的基础对象、交换对象的范围通过被限定在边界线内而不包含其左边的男性的脸区域，结果，仅女性的脸区域被变更。

此外，为了解决基准图像中想要作为变更对象的被摄体和不想作为变更对象的被摄体均被变更的上述那样的问题，也可以进行以下那样的处理。对于基准图像、比较图像，不生成上述那样的边界线，不排除基础对象、交换对象内包含多个脸区域的状况。即，进行已经例示了的通常的脸识别及基础对象和交换对象的设定。然后，在以该状态执行合成处理且基础对象、交换对象内的多个脸区域被变换的情况下，通过在对这些进行了确认的用户侧，点击想要返回至基准图像的脸区域的脸区域(在图15的例子中是女性的左边相邻的男性的脸区域)，如以下那样再次执行合成处理。

首先，检测在已经设定的基础对象(称为旧基础对象)中被点击的区域附近的脸区域，并且在从旧基础对象除去了该脸区域(在图15的例子中是女性的旁边的男性的脸区域)后的区域内设定能够设定的最大矩形并将其新设定为基础对象(称为新基础对象)。然后，检测在已经设定的交换对象(称为旧交换对象)中被点击的区域附近的脸区域，并且在从旧交换对象除去了该脸区域(例如女性的旁边的男性的脸区域)后的区域内设定能够设定的最大矩形，并将其新设定为交换对象(称为新交换对象)。

然后，对新基础对象和新交换对象再次进行与S1013同样的对位，接下来执行S1020的合成处理。由此，除去被选择的脸区域(想要返回至基准图像的脸区域)，新交换对象被合成至基准图像。这样，也能够在图像合成装置侧不进行上述的边界线的生成处理等，通过用户操作来取得所期望的合成图像。关于上述边界线的生成处理，由于必需根据脸区域间的距离、轮廓来设置各种例外处理，所以处理复杂化，还存在不能恰当地设定边界线的情况。在这样的情况下，能够在用户侧进行上述的操作，将所选择的被摄体返回至基准图像的状态。

此外，也可以设为在图像合成装置1中能够切换自动识别模式和手动识别模式，当在自动识别模式中没有恰当地设定边界线而无法得到所期望的图像合成结果时，在用户侧切换成手动识别模式，通过点击想要返回至基准图像的被摄体区域，如上述那样，再次设定除去了该区域的交换对象而再次执行图像合成。

在上述的例子中，对将基准图像作为对象而自动地检测脸区域，并基于此来设定基础对象的例子进行了说明，但并不限定于此，也可以通过用户操作来指定任意的区域，将该区域作为对象来设定基础对象和交换对象而进行合成处理。例如，可以通过用户基于缩放(pinch)操作来指定矩形区域，使得该区域本身被设定为基础对象，基于此交换对象也被设定。例如，可使在比较图像内的规定范围(与基础对象相当的区域附近)扫描基础对象，在相关性最高的位置设定与基础对象相同大小的交换对象。由此，合成区域的自由度变高，能够生成捕捉到被摄体的细小动作的所期望的合成图像。

以上，根据本实施方式所涉及的图像合成装置10，由于拍摄多张相同场景的图像，对于在基准图像中需要替换的区域取得与比较图像的差分图像，来推定其动区域的轮廓，并基于该推定出的轮廓进行与比较图像执行替换的合成，所以能够生成恰当地反映了被摄体的动作的自然的合成图像。

[替换推荐度的判定/显示]

可以在图像合成装置10的控制部101所执行的图2的处理中设定了基准图像之后，设定该基准图像中成为与比较图像进行替换(图像合成)的候补的区域即替换候补区域，将所设定的各替换候补区域的替换的推荐度(以下称为“替换推荐度”)显示成用户能够视觉确认。

在多个比较图像中的大部分比较图像中，关于一个替换候补区域能够与其他替换候补区域之间不产生干扰地进行替换，但在一部分的比较图像中，存在因被摄体的动作激烈等而使得该替换候补区域的替换较困难的情况。在这样的情况下，除了该比较图像之外，对于其他比较图像而言导致替换候补区域的替换不可也是不合适的。鉴于此，例如可以根据邻接的替换候补区域所涉及的轮廓线的重叠程度来判定替换候补区域的替换推荐度，以用户能够区别的方式显示各个替换候补区域的替换推荐度。若轮廓线的重叠程度低则增高替换推荐度(推荐替换)，若轮廓线的重叠程度高则降低替换推荐度(不推荐替换)。

图18是表示在该情况下图像合成装置10的控制部101取代图2的处理而执行的处理的流程的流程图。其中，对于与图2的流程图相同的步骤赋予相同的标记，并省略再次的说明。

当在S1003中进行了比较图像相对于基准图像的对位之后，控制部101设定替换候补区域(S1040)。即，控制部101作为替换候补区域设定单元发挥作用。该情况下设定的替换候补区域与上述实施方式相同，例如可以是进行脸检测而检测出的被摄体的脸区域，也可以是由用户指定的任意的区域。这里，以将进行脸检测而检测出的脸区域设为替换候补区域的情况为例。其中，脸检测与上述的实施方式同样，能够利用使用了Haar－Like特征的识别器、图案匹配等来实现。

接下来，控制部101通过计算基准图像与作为基准图像以外的摄影图像的各比较图像各自的像素值的差分值来生成差分图像(S1041)。由此，生成摄影图像中除去基准图像后的数量的差分图像。然后，控制部101对于各差分图像分别抽出各替换候补区域(脸区域)各自的轮廓线(S1043)。然后，控制部101将对于各替换候补区域抽出的轮廓线叠加显示在基准图像上(S1045)。

图21是表示该情况下显示部103所显示的显示画面的一个例子的图。在图21中表示了将图15所示的集体合影的摄影图作为基准图像，分别生成与除去了该基准图像的其他比较图像的差分图像，并抽出轮廓线的结果。这里，图示了将比较图像的张数设为3张时的结果。通过分别计算出基准图像与其他比较图像的差分而得到3张差分图像。该情况下，从3张差分图像对于各脸区域分别得到3根轮廓线，图示这些的为图21。观察此图可知，在与集体合影中拍摄的6名人物的脸区域相对应的部分，分别各抽出3根轮廓线。

返回至图18，控制部101判定是否由用户选择了替换候补区域中的任一个(S1047)。然后，如果判定为选择了(S1047；是)，则控制部101进行替换推荐度判定处理(S1050)。

图19是表示替换推荐度判定处理的流程的流程图。

控制部101对于除去了被选择的替换候补区域(以下称为“选择替换候补区域”)以外的替换候补区域(以下称为“非选择替换候补区域”)分别进行循环A的处理(S1051～S1057)。在循环A的处理中，控制部101判定选择替换候补区域的轮廓线与该非选择替换候补区域的轮廓线之间的重叠程度(S1053)。例如，对于选择替换候补区域和该非选择替换候补区域，将从各差分图像抽出的轮廓线重叠的根数作为重叠程度进行判定。然后，控制部101基于在S1053中判定出的轮廓线的重叠程度来判定该非选择替换候补区域的替换推荐度(S1055)。

图20是用于对该情况下的替换推荐度的判定方法进行说明的图。这里，如在图21中说明那样，以将比较图像的张数设为3张的情况下的替换推荐度的判定方法为例。基于针对各替换候补区域分别抽出的3根轮廓线，来判定选择替换候补区域的轮廓线与该非选择替换候补区域的轮廓线重叠的根数。

当重叠的轮廓线的根数为0根时，将替换推荐度判定为“高”。当重叠的轮廓线的根数为1根～3根时，将替换推荐度判定为“中”。当重叠的轮廓线的根数为4根～7根时，将替换推荐度判定为“注意”。另外，当重叠的轮廓线的根数为8根或9根时，将替换推荐度判定为“不推荐”。

返回至图19，如果如上述那样判定了替换推荐度，则控制部101将处理移向接下来的非选择替换候补区域。然后，如果针对所有的非选择替换候补区域均进行了S1053及S1055的处理，则控制部101结束循环A的处理(S1057)。然后，控制部101结束替换推荐度判定处理。

返回至图18，如果进行了替换推荐度判定处理，则控制部101进行根据判定出的替换推荐度使各非选择替换候补区域以用户能够区别的方式显示于显示部103的控制(S1060)。具体而言，例如如图20所示，根据替换推荐度以不同的颜色半透明地区别各非选择替换候补区域来进行显示控制。如图20所示，当替换可靠度为“高”时，使该非选择替换候补区域以“蓝色”半透明地显示。当替换可靠度为“中”时，使该非选择替换候补区域以“绿色”半透明地显示。当替换可靠度为“注意”时，使该非选择替换候补区域以“黄色”半透明地显示。另外，当替换可靠度为“不推荐”时，使该非选择替换候补区域以“红色”半透明地显示。

图22是表示该情况下显示部103所显示的显示画面的一个例子的图。这里，表示了对于图15所示的集体合影的摄影图像判定替换推荐度，并根据替换推荐度将替换候补区域半透明地区别显示的结果的一个例子。

这里，图示了作为替换候补区域而检测出的6个人的脸区域之中，画面中央下部的男性的脸区域F1被用户选择了的情况。该情况下，基于图21所示的脸区域的轮廓线的抽出结果，来判定脸区域F1的轮廓线与其他5名人物的脸区域F2～F6的轮廓线之间的重叠程度，并基于该判定结果判定脸区域F2～F6的替换可靠度。

结果，由于在该男性的脸区域F1与位于该男性的左侧的男性的脸区域F2之间轮廓线的重叠根数为1根，所以脸区域F2的替换推荐度被判定为“中”，用“绿色”半透明地显示脸区域F2。另外，由于在该男性的脸区域F1与位于该男性的右侧的女性的脸区域F3之间轮廓线的重叠根数为9根，所以脸区域F3的替换推荐度被判定为“不推荐”，用“红色”半透明地显示脸区域F3。另外，对于画面上的3名男性的脸区域F4～F6，由于与脸区域F1的轮廓线的重叠根数为0根，所以脸区域F4～F6的替换推荐度被判定为“高”，分别用“蓝色”半透明地显示脸区域F4～F6。

返回至图18，控制部101判定用户是否进行了确定选择替换候补区域的操作(S1070)，如果判定为没有进行(S1070：否)，则将处理返回至S1047。另一方面，如果判定为进行了确定的操作(S1070：是)，则控制部101将处理移向S1007。其中，在S1007中，包含确定出的替换候补区域(例如脸区域)的矩形被决定为基础对象。以后的处理与图2相同。其中，在图18所示的例子中，已经生成各差分图像(S1041)，另外，对于各差分图像抽出了各替换候补区域的轮廓(S1043)。因此，在S1007以后执行的合成处理(S1020)中，也可以不执行S1021及S1022的处理。可代替S1021及S1022的处理，确定已抽出的轮廓中与所决定的基础对象和基于选择操作而决定的交换对象(S1012)之间的差分图像相对应的轮廓，并基于该轮廓生成掩模图像(S1023)。

当在一个替换候补区域与其他替换候补区域之间的关系下轮廓线存在重叠时，重合的区域可能相互产生干扰。在这样的情况下，当对于一个替换候补区域及其他替换候补区域两方执行了图像的替换时，有可能在干扰部分(一个替换候补区域与其他替换候补区域重复的区域)产生图像的混乱。于是，在将包含干扰部分的两个替换候补区域中的任意一个替换候补区域的替换放弃，或者替换了两个替换候补区域的基础上，必须允许干扰部分的图像的混乱。但是，通过如上述那样将由用户选择的替换候补区域作为对象，使与其他替换候补区域之间的轮廓线的重叠程度以用户能够区别的方式显示，用户能够一目了然地把握替换的推荐度，对于替换推荐度低的脸区域，能够预先认识由替换造成图像混乱的可能性高。结果，还能够进行不执行替换这一选择。

此外，在图18的流程图中，显示了从根据基准图像与其他比较图像的差分而生成的差分图像抽出的替换候补区域的轮廓线，但也可以省略该轮廓线的显示。即，也可以在内部进行轮廓线的检测来判定替换候补区域的替换推荐度，只进行与替换推荐度相对应的显示。

另外，对于轮廓线重叠的替换候补区域而言，相互产生干扰，难以替换。由此，对于轮廓线重叠的替换候补区域，可以不将两方的替换候补区域设为替换的对象，而仅允许将一方的替换候补区域设为替换的对象，使用户选择任意一方的替换候补区域。另外，对于轮廓线重叠的替换候补区域，也可以两方均不设为替换的对象，而进行促使用户选择其他基准图像，或促使用户进行相同场景下的再摄影的通知。

另外，对于由用户选择的替换候补区域(选择替换候补区域)也可以判定与其他替换候补区域(非选择替换候补区域)的轮廓线的重叠程度，基于该重叠程度来判定选择替换候补区域的替换推荐度，并进行表示选择替换候补区域的替换可靠度的显示。该情况下，只要判定选择替换候补区域的轮廓线与其他所有的非选择替换候补区域的轮廓线的重叠程度，基于该重叠程度，利用与图20所示的方法相同的方法，判定该选择替换候补区域的替换推荐度即可。然后，只要根据判定出的替换推荐度来颜色区分选择替换候补区域并半透明地显示即可。

另外，显示替换推荐度的方法并不局限于如上述那样根据替换推荐度来显示半透明地颜色区分的替换候补区域的方法。例如，也可以根据替换推荐度利用不同的颜色区别显示替换候补区域的轮廓线(例如根据差分图像得到的轮廓线中位于最内侧的轮廓线)。另外，也可以根据替换推荐度用不同的标记显示替换候补区域(例如○(替换OK)、△(注意替换)、×(不推荐替换)，还可以根据替换推荐度对替换候补区域施加不同的图案、阴影来进行显示。

另外，也可以不根据轮廓线的重叠程度来决定推荐度，而根据一个轮廓区域(由轮廓线包围的区域)中还属于其他轮廓区域的区域范围(即轮廓区域彼此的重复范围)来决定替换推荐度。例如，若轮廓区域所占的重复范围的比例低则较高地设定替换推荐度，若轮廓区域所占的重复范围的比例高则较低地设定替换推荐度。

[替换候补区域的设定]

在上述的实施方式中，说明了以轮廓表示的区域作为替换候补区域的情况，该轮廓是进行脸检测而自动检测出的脸区域所涉及的差分图像的轮廓，但替换候补区域的设定方法并不局限于此。

具体而言，可以使用将距基准图像中的作为替换对象的被摄体的距离(例如距基准图像中的被摄体的中心坐标的距离)、基准图像与比较图像的差分图像的像素值作为自变量的能量函数，来设定替换候补区域。

这里，例示了以距作为替换对象的被摄体的距离为自变量的能量函数。该能量函数例如被以下的公式给出。

【式4】

这里，“v”是在上述的像素平面上表现的闭合曲线，E(v)是闭合曲线v的能量。“p”、“q”分别是距被摄体的中心坐标的距离(以下称为“中心距离”)。“V_p”是基准图像中的中心距离p的像素集合所包含的像素的像素值，“V_q”是基准图像中的中心距离q的像素集合所包含的像素的像素值。该情况下的像素值例如是位于相同中心距离的所有像素的像素平均值。此外，也可以不是平均值，而是位于相同中心距离的所有像素的像素值中的中间值、最大值、最小值等。

C(p、V_p)是与中心距离p相对应的V_p的成本(cost)值，作为V_p的边缘强度的倒数被计算出。即，边缘强度越大则成本值C(p、V_p)变得越小。T[]是当满足括号内的条件时取“1”、不满足时取“0”的函数。“P”是根据V_p及V_q的差而决定的惩罚(penalty)值，“P₁”是像素值的差为规定阈值θ以下时负担的第1惩罚值，“P₂”是像素值的差超过阈值θ时负担的第2惩罚值。其中，“P₁＜P₂”，且像素值的差越大则负担越大的惩罚值。

式(4)的能量函数按照在基准图像中存在强度尽可能大的边缘、且不同的中心距离的像素集合所包含的像素的像素值之差尽可能变小的那样的闭合曲线v被选择的方式公式化的公式。由于V_p的边缘强度越大则成本值越小，V_p与V_q之差越小则负担的惩罚值越小，所以能量E(v)变小。进行使用了该能量函数的最佳解运算来运算能量E(v)最小的闭合曲线v，将由作为最佳解而求得的闭合曲线v包围的区域设定为替换候补区域。

此外，也可以使式(4)的能量函数中的各项的符号逆转(设为负)，进行运算能量E(v)为最大的闭合曲线v的最佳解运算，来设定替换候补区域。

另外，在将基准图像与比较图像的差分图像的像素值作为自变量的情况下，也能够定义与式(4)相同的能量函数，可以进行运算在差分图像中存在强度大的边缘且在差分图像中像素集合的像素值之差变小那样的闭合曲线v的最佳解的最佳解运算，来设定替换候补区域。

另外，除了上述以外，也可以将用户任意指定的区域设定为替换候补区域。具体而言，例如可以设用户能够经由触摸面板进行在基准图像上用手指对任意区域涂色的拖动操作，将用手涂色后的区域或比被涂色后的区域略广的区域设定为替换候补区域。该情况下，如图18所示，生成基准图像与其他比较图像的差分图像(S1041)，从各差分图像抽出轮廓线(S1043)，但因基准图像与比较图像之间图像的差异少等而存在轮廓线未被抽出的情况。该情况下，可以以规定的倍率(例如2倍～4倍)扩大替换候补区域，针对扩大后的替换候补区域再次进行轮廓线的抽出。这时，在即使扩大至规定的上限倍率(例如4倍)仍不能抽出轮廓线时，只要向用户通知不可替换或不需要替换的信息即可。

当差分图像中几乎不存在边缘且差分图像整体为平坦的图像时，由于认为不需要替换，所以可向用户通知不需要替换的内容。相反，当差分图像中包含多个边缘时，由于难以仅针对所期望的区域进行适当的替换，所以可向用户通知不可替换的信息。通过在不需要替换时用“紫色”半透明地显示替换候补区域，在不可替换时用“红色”半透明地显示替换候补区域等，能够向用户通知不需要/不可替换。

作为该情况下的具体处理，例如针对差分图像中的作为对象的替换候补区域，计算出所有像素的像素值的平均值(像素平均值)。然后，当像素平均值比第1阈值(例如将255设为最大时为10)低时，将该替换候补区域判定为不需要替换，并向用户通知该信息。另外，当像素平均值比第2阈值(例如将255设为最大时为100)高时，将该替换候补区域判定不可替换，并向用户通知该信息。

图23是表示该情况下的基准图像的一个例子的图。这里，也将图15所示的集体合影的摄影图像表示为基准图像。在图23的基准图像中，为了将位于左侧的男性的姓名牌的图像部分作为替换的对象，用户经由触摸面板进行用手指对姓名牌的图像部分涂抹的拖动操作。该情况下，将比用户用手指涂抹的区域R1略广的区域R2设定为替换候补区域R2，针对该替换候补区域R2从基准图像与比较图像的差分图像抽出轮廓线。然后，在轮廓线被抽出时，通过显示其他比较图像的与该替换候补区域R2相对应的部分来显示作为替换的候补的图像。另外，当轮廓线未被抽出时，针对差分图像中的作为对象的替换候补区域R2，计算出所有像素的像素值的平均值(像素平均值)。然后，当像素平均值比第1阈值低时，将该替换候补区域R2判定为不需要替换，并向用户通知该信息。另外，当像素平均值比第2阈值高时，判定为不可替换该替换候补区域R2，并向用户通知该信息。

[脸区域的检测]

在上述的实施方式中，说明了选择从摄影图像检测出的脸区域中、包含用户想要进行替换的脸区域的矩形区域作为基础对象，并对该基础对象进行替换的情况。该情况下，当想要针对多个人物进行脸区域的替换时，用户需要每次选择基础对象。当对多个人物的脸区域进行替换时，如果对于作为替换对象的所有脸区域能够以最佳的状态拍摄到的脸区域进行替换则最好，但因脸区域彼此间的干扰，有时难以实现。

鉴于此，当针对任意一个脸区域(以下称为“对象脸区域”)选择最佳的选摄影图像作为比较图像，且在被选择的比较图像中对象脸区域与其他脸区域(以下称为“非对象脸区域”)干扰时，可以将对象脸区域的替换(图像合成)所使用的比较图像决定为被选择的比较图像，并且控制部101从被选择的比较图像以外的比较图像中自动地选择不产生干扰且有关非对象脸区域被以最佳的状态拍摄的比较图像(例如基于后述的正面度、笑脸度来判定)，并决定为该非对象脸区域的替换(图像合成)所使用的比较图像。

另外，在从被选择的比较图像以外的比较图像中自动地选择并决定了非对象脸区域被以最佳的状态拍摄的比较图像的情况下，当该决定的比较图像不是用户喜好的图像时，用户能够手动选择不产生干扰且用户能够判断为非对象脸区域被以最佳的状态拍摄的比较图像。

另外，也可以基于检测出的脸区域所包含的脸的特征值(以下称为“脸特征值”)自动决定作为各个脸区域的替换候补的比较图像。具体而言，可以按各比较图像中所包含的每个脸区域计算出脸特征值，选择对基于该脸特征值而赋予的分数进行合计所得到的总分数为最大的比较图像的组合为作为替换的候补的比较图像的组合。作为脸特征值，能够应用表示脸朝向正面的程度的正面度、表示脸为笑脸的程度的笑脸度等特征值。其中，由于这些脸特征值的检测方法可使用以往公知的方法，所以在这里省略详细的说明。

例如，可考虑如图24所示，摄影图像中包含4名人物A～D的脸的情况。为了方便起见，将各个人物设为A～D。另外，考虑拍摄3张图像作为比较图像的情况。这时，分别针对3张比较图像检测脸区域，图25表示了对4名人物A～D的脸特征值量化后的结果。在图25中，表示了分别将4名人物A～D的3张比较图像中的脸模式化后的图、和在其下方表示了将作为脸特征值的正面度及笑脸度用0～100的范围量化后的值。这里，正面度的值越大意味着脸朝向正面的程度越高，笑脸度的值越大意味着笑脸的程度越高。

该情况下，针对各个人物A～D的脸，例如计算出将正面度和笑脸度合计后的值作为脸部得分值s(s＝正面度+笑脸度)，将通过对各个人物合计脸部得分值s而得到的总和得分值S为最大的比较图像的组合决定为相对应的脸区域的替换所使用的比较图像的组合。

此外，也可以不如上述那样将正面度和笑脸度的合计值作为脸部得分值s，而将正面度设为脸部得分值s(s＝正面度)，还可以将笑脸度设为脸部得分值s(s＝笑脸度)。另外，也可以将对正面度和笑脸度进行加权平均后的值设为脸部得分值s。即，可以根据“s＝α×正面度+β×笑脸度”的公式来计算脸部得分值s。其中，“α”及“β”分别是针对正面度及笑脸度的权重，且“α+β＝1”。该情况下的权重“α”及“β”例如能够由用户进行设定。即，只要在重视正面度而想要进行脸区域的替换时，按照“α”比“β”大的方式设定权重，在重视笑脸度而想要进行脸区域的替换时，按照“β”比“α”大的方式设定权重即可。

另外，也可以对被拍摄的人物的每一张脸来设定重要度，并以该重要度对脸部得分值s进行加权平均。例如，在如上述那样A～D这4名人物包含于比较图像的情况下，当将人物A～D的脸部得分值分别设为As、Bs、Cs、Ds时，可以根据“S＝a×As+b×Bs+c×Cs+d×Ds”的公式来计算总和得分值S。其中，“a”～“d”分别是针对人物A～D的重要度。而且，也可以将这样计算出的总和得分值S为最大的比较图像的组合决定为相对应的脸区域的替换所使用的比较图像的组合。

此外，上述的针对各人物的重要度可以由用户手动设定，也可以自动设定。当自动设定重要度时，例如可以设定为检测出的脸区域的面积越大则重要度越高。另外，也可以由用户事前设定与可能成为被摄体的人物的脸图像相对应的重要度，关于对比较图像进行了脸认证处理后的结果，针对比较图像中的脸区域中设定了重要度的脸图像，使用事前设定的重要度，对于没被设定重要度的脸图像，设定比由用户设定的重要度低的重要度，来计算总和得分值S。

并且，也可以由用户从所显示的多个人物的脸中指定任意人物的脸，对于该指定人物的脸，用户能够从多个脸候补中选择一个脸候补。该情况下，对于除了指定人物以外的剩余人物，可以考虑因用户针对指定人物选择了该脸候补而可能波及剩余人物的脸区域的干扰、和在剩余人物的脸区域之间可能产生的干扰，针对剩余人物的脸，基于总和得分值S来计算所采用的脸候补的组合。例如，在图24所示的多个人物A～D的脸中，用户指定人物B、D的脸，分别选择了图25的第2及第3的脸候补。该情况下，针对作为剩余人物的人物A、C，考虑因用户针对指定人物B、D分别选择了第2及第3的脸候补而可能波及剩余人物A、C的脸区域的第1干扰。另外，也可以考虑在剩余人物A、C的脸区域间可能产生的第2干扰。而且，可以应用以不产生第1干扰及第2干扰为条件的第1条件、和针对指定人物B、D采用第2及第3的脸候补的第2条件，来针对剩余人物A、C基于总和得分值S决定所采用的脸候补。

另外，当在比较图像中拍摄有意想之外的人物的脸时，用户能够针对该人物的脸进行除外指定，排除由用户除外指定了的人物的脸而计算出总和得分值S。

其中，作为特征值，除了上述例子中所示的正面度、笑脸度之外，也可以应用红眼度、闭眼度及视线方向的正面度等其他特征值。

[第2实施方式]

在该实施方式中，对基准图像内的规定的被摄体区域依次插入其前后1以上的比较图像的被摄体区域，当该被摄体是伴随动作的被摄体时，生成赋予宛如在作为静止图像的基准图像内上述被摄体区域内正在动作(仅该区域成为动画)那样的印象的连续图像。以下，对第2实施方式所涉及的图像合成装置、图像合成方法及程序进行说明。其中，由于本实施方式所涉及的图像合成装置与第1实施方式所涉及的图像合成装置10其结构相同，所省略该说明，并且在以后的说明中使用相同的标记。

这里，在通过基于基准图像及比较图像的图像解析来自动地判定图像中的动区域的情况下，存在想要设为动区域的被摄体在背景中的本来不想设为动区域的动作细微的区域(例如树叶的动作)也被作为动区域而抽出的情况。另外，由于在摄影中整体辉度因相机的修正功能、光源变化等发生变化，所以还会产生过度地抽出动区域这一问题。在以下所示的实施方式中，能够解决这样的课题，通过基于基准图像及比较图像的图像解析，能够适当地抽出动区域。

以下，参照图26及图27的流程图，对在第2实施方式所涉及的图像合成装置10中执行的处理进行说明。担负图26及图27的处理的一部分或全部的图像合成程序被读入至存储器，由控制部101的CPU执行。

首先，用户在图像合成装置10中通过进行点击显示部103所显示的摄影键等规定的摄影操作来使摄像部105动作，多次拍摄被摄体，得到摄影次数份的摄影图像(S2001)。例如，通过设为上述的连续摄影模式，能够伴随一次摄影操作而得到多个摄影图像。

如此得到的多个摄影图像被存储于存储部102。然后，从摄影图像中设定成为基准图像的图像(S2002)。对于基准图像而言，例如可以自动地将最初拍摄到的图像设定为基准图像，也可以将多个摄影图像显示于显示部103并通过使用户选择作为基准图像的图像来进行设定。

在设定了基准图像后，设定比较图像。例如，将在连续摄影模式下与基准图像作为一系列的图像被拍摄的图像的1个以上设定为比较图像(S2003)。比较图像是成为后述的合成处理的对象的图像，可以根据摄影顺序来设定，也可以根据用户选择的顺序来设定。对所设定的每一个比较图像，执行后述的S2005～S2010的处理。

控制部101对于在S2003中设定的各个比较图像，进行循环A的处理(S2005～S2010)。在循环A(S2005以后)的处理中，首先，由于在基准图像与基准图像以外的比较图像之间存在基于手抖动等的位置偏移，所以控制部101对基准图像进行比较图像的对位(S2006)。在本例中，通过块匹配法进行对位。此外，也可以应用梯度法等其他的对位手法。

接下来，将基准图像及作为判定被摄体的动区域的对象的对应比较图像分别分割成共同大小的块(S2007)。块的大小根据捕捉到哪种程度的细微动作而不同，但针对被摄体的背景的动作(例如图28所示的被摄体背后的树叶的动作)等，为了不使该动作反映至合成图像，例如在VGA的分辨率(640×480)下进行摄影的情况下，优选设为16×16像素或32×32像素程度的块大小。

这里，也可以根据从摄像装置得到的景深等摄影条件、在基准图像与比较图像的差分图像中被检测规定边缘(辉度差)的区域的比例(即判定为动区域的可能性较高的区域的比例)等摄影图像内容、以及从用户的输入(例如通过用户基于缩放操作使矩形扩大/缩小而使块大小可变)选择的1个以上将块的大小设为可变。通过使块大小可变，例如能够在图像整体动作少的(图像中的动区域的面积比例小的)摄影图像中适当地将进行细微动作的部分判定为动区域。另外，能够在包含较多动被摄体且图像整体动作多的(图像中的动区域的面积比例大的)摄影图像中适当地仅将进行大幅度动作的部分判定为动区域。这样，能够根据从摄影条件、摄影图像内容、以及用户的操作中选择的任意一个，来生成恰当地进行了动区域判定的合成图像。

控制部101在块分割后执行S2008的块判定处理。图27表示了块判定处理的流程图。首先，在块判定处理中，按基准图像及比较图像所对应的各块(i＝1，2，…，n：n＝总块数)，通过最小二乘法等近似方法(拟合)求得满足以下公式的系数α_i及β_i(S2020)。

【式5】

y_input=α_i·y_src+β_i…(5)

这里，y_src表示基准图像的块i中的辉度值的集合，y_input表示比较图像的块i中的辉度值的集合。然后，使用计算出的α_i及β_i，通过以下的公式求出将y_src标准化了的集合y_norm(S2021)。

【式6】

y_norm=α_i·y_src+β_i…(6)

关于通过上述的公式求得的y_norm，存在以下的特征。当假设在基准图像与比较图像之间无被摄体的动作时，由于即使有曝光等变化，该影响也均匀地影响图像整体，所以通过标准化该影响被排除，在标准化后的块间不产生辉度值的差异，即使产生差异也比较小。即，由于仅当存在跨越块的动作时，才对这些系数α_i及β_i造成影响，所以在有动作的块与其他块之间产生比较大的辉度值的差异。

例如，将图28(a)所示的基准图像作为对象来实施上述的块分割及每个块的标准化，结果如图28(b)所示，包含被摄体动作的区域的块与其周围的块产生辉度值的差异。包含作为动作的被摄体的球、被摄体的胳膊、上半身的块与被摄体不动作的周围的块之间的辉度值的差异变大。这样，利用标准化后的图像中的包含被摄体动作的区域的块的辉度值与其周围之间的辉度值的差异，能够推定被摄体的动区域。

当在S2021中以块单位将基准图像标准化之后，控制部101针对被标准化后的块分别执行循环B的处理(S2022～S2027)。在循环B(S2022以后)的处理中，首先为了判定该块是否包含被摄体的动区域而量化与邻接的块的边界线处的辉度值的差异(S2023)。具体而言，在作为判定对象的块中，以位于与邻接的块的边界的像素(例如若块大小为32×32像素则32×4＝128像素)为对象，计算出该像素的辉度与在邻接块中和该像素邻接的像素的辉度之间的差分的绝对值。然后，对于作为对象的所有像素求得计算值的总和，将其设为判定值。若假设没有跨越块的动作，且不产生辉度值的差异，则判定值成为接近于0的值，但当存在跨越块的动作，尤其存在在块区域中占据大比例的被摄体的动作时，判定值变大。由此，能够设定阈值并基于该阈值与判定值的比较来判定该块是否是被摄体的动区域(S2024)。

当判定值比阈值大时(S2024为是)，判定为该块是包含被摄体的动区域的动区域(S2025)。当判定值为阈值以下时(S2024为否)，判定为该块不是动区域(S2026)。在对所有的块完成判定之前，执行S2023～S2025或S2026的处理。若对所有的块完成判定，则控制部101结束循环B的处理(S2027)。然后，控制部101返回至图26的循环A的处理，将不同的比较图像作为对象，执行S2006～S2008(块判定处理)。然后，若对于设定的所有比较图像完成判定，则控制部101结束循环A的处理(S2010)。当该循环A的处理结束时，针对基准图像与各比较图像的组合判定动区域。

然后，控制部101将对于基准图像与各比较图像的组合判定为动区域的区域之和(OR)设定为动区域掩模(S2015)。图29中表示了将针对基准图像与各比较图像的组合判定为动区域的区域之和(OR区域)叠加显示于基准图像的例子。

这里，使用图30对S2015的处理的例子进行说明。这里，设定了比较图像1～4作为比较图像。该情况下，通过循环A的处理(S2005～S2010)取得(1)由基准图像与比较图像1之间的关系判定出的动区域、(2)由基准图像与比较图像2之间的关系判定出的动区域、(3)由基准图像与比较图像3之间的关系判定出的动区域、以及(4)由基准图像与比较图像4之间的关系判定出的动区域这4组动区域。而且，(5)生成与这些动区域之和(OR区域)相对应的动区域掩模。该动区域掩模由与动区域201～203的各个相对应的区域构成。

然后，经由所设定的动区域掩模，依次执行基准图像与所设定的各比较图像的合成处理(S2016)。通过合成处理而得到的一系列合成图像被依次显示于显示部103(S2017)。由此，在基准图像中，对于在与任意的比较图像的关系中均未被判定为动区域的区域(例如动区域201～203以外的区域)，显示为基准图像不变(静止图像)，对于在与任意的比较图像的关系中被判定为动区域的区域(例如动区域201～203)，依次合成所设定的比较图像中的与该区域相当的区域，关于该区域对用户赋予宛如为动画那样的印象。

当判断为得到的一系列合成图像适当时，通过用户点击操作显示部103所显示的确认键，基于GIF等图像格式对用于生成合成图像的图像数据(基准图像、动区域掩模、以及所设定的比较图像)编码，并存储于存储部102(S2018)。

此外，也可以不进行用于用户确认的预览显示的步骤S2017，在设定了动区域掩模之后，将反映了该动区域掩模的图像数据立即编码并存储于存储部102。

[第2实施方式的特征]

在本实施方式的动区域的检测中，要求灵敏地检测块间的大的动作的变化，且对于块间的细微动作的变化使检测不灵敏。这是因为希望在产生了用户不会察觉那样的微小动作的区域不被判定为动区域，针对用户确认为明显产生了动作那样的区域，要求恰当地将该区域判定为动区域，并反映至完成图像。

也可以考虑与本实施方式的方法不同而简单地以像素单位计算出像素差分值，并基于该像素差分值来检测动区域的方法。在该方法中，能够灵敏地检测大的动作的变化，但除此之外，由于对细微动作的变化也灵敏地做出反应，所以不能满足上述的动区域的检测所要求的条件。

另外，也可以考虑计算出分割的块所包含的像素的像素平均值，并基于块间的像素平均值的差分值来检测动区域的方法。在该方法中，由于将块整体平均化，所以对于细微动作的变化的检测变得不灵敏，但由于即使在块内产生了大的动作的变化，块整体也通过平均化被统一化，所以存在不能灵敏地检测块内的大的动作的变化的情况。因此，不能满足上述的动区域的检测所要求的条件。

但在本实施方式的方法中，当块内完全没有被摄体的动作，或仅产生细微的动作时，由于通过标准化排除该影响，在标准化后的块间不产生辉度值的差异，或仅产生细微的差异，所以对于被摄体的细微动作变得不灵敏。与此相对，当被摄体产生了大的动作时，由于在标准化后的块间辉度值产生大的差异，所以通过检测该块间的辉度值的差异，能够灵敏地检测被摄体的产生了动作的区域(动区域)。辉度是图像的特征量的一种，由于被摄体的动作被显著地反映至辉度的变化，所以基于辉度的动区域的检测实效性较高。

[动区域判定]

在上述第2实施方式的一系列合成图像中，当被摄体的动作不舒畅时等，用户也可以选择新的比较图像，对于该比较图像执行S2005～S2010及S2015以及S2016的处理，来增加合成图像。由此，能够补充被摄体的动作来使动作顺畅。

另外，在显示合成图像时，如图29所示，当在合成图像上叠加显示被判定为动区域的区域，且用户想要扩大或缩小动区域时，可以通过利用拖动操作、缩放操作扩大或缩小叠加显示区域来进行变更，在该变更后的叠加显示区域合成比较图像。另外，在生成新的动区域的情况下，可基于拖动操作、缩放操作新生成叠加显示区域，并在该新的叠加显示区域合成比较图像。

此外，在上述的例子中，在S2020的块间的关系式的计算中，将基准图像块与比较图像块间的辉度值的关系假定为基于一次函数的关系，通过对于各块求得系数及常数来进行标准化，但并不局限于此，也可以设定对两块间的关系进行规定的任意函数。例如，可以计算出二次函数所涉及的系数及常数，或按每一块导出相关系数并比较该值。另外，也可以当进行基于最小二乘法的近似时，在其残差较大的情况下判断为存在动被摄体。

另外，在上述的例子中，计算出隔着块边界线而邻接的像素间的辉度值的差分，并将其总和设定为判定值，但并不局限于此，只要使用对是否为动区域的判定有效的判定值即可，例如，作为判定值，也可以将基准图像块与比较图像块间的关系式的系数、常数设为判定值。

其中，由于对在S2025中被判定为动区域的块(称为中央块)而言，与其邻接的块(称为邻接块)也为动区域的可能性较高，所以应该尽可能不将该邻接块除外而判定为动区域、即为了使尽管为被摄体的动区域但被判定为不是动区域的可能性降低，优选针对邻接块，与中央块相比将S2024的阈值降低来进行判定。另外，对于没有被判定为动区域的邻接块，在所有(3个)其他邻接块被判定为动区域的情况下，也优选重新将该邻接块(剩余的1个)判定为动区域。这样，能够防止动区域不连续地成为不相毗连的区域而生成不顺畅的合成图像。

此外，可以通过动区域的判定自动地决定成为中央块的块，也可以由用户指定中央块。具体而言，可以接受由用户进行的块的指定输入，将由用户指定的块(以下称为“指定块”)设定为中央块，对于与其邻接的邻接块进行上述的阈值判定，来进行是否为动区域的判定。

但是，由于指定块并不一定局限于产生动作的块，所以也可以针对指定块在S2023中量化该指定块与周围块的辉度值的差异来计算出判定值，进行相对于该判定值的阈值判定，来进行对指定块是否是动区域的块加以确认判定的处理。这时，对于用户指定的块(及其周边块)，可以通过设定比未被指定的块低的阈值，来容易地判定为动区域。

另外，当针对邻接块进行上述阈值判定的结果是判定为该邻接块是动区域时，可将该邻接块设定为中央块，对于与其邻接的邻接块同样地计算出判定值，进行相对于计算出的判定值的阈值判定，递归地判定该邻接块是否为动区域。据此，能够逐渐扩大被判定为动区域的区域，自动形成由连续的块(被判定为动区域的块)构成的1个动区域。

另外，在上述的例子中，由于动区域由矩形状的块的组合形成，所以有可能导致在被判定为动区域的块与被判定为不是动区域的块的边界产生不连续等使合成图像变得不自然。为了消除这样的问题，可进行使被判定为动区域的块与被判定为不是动区域的块的边界线为非线性状的图像处理、通过过滤器进行的晕映等图像处理。

另外，能够如上述那样通过用户的操作动态地变更动区域，但在该情况下，有可能因操作错误等而生成无意图的小的动区域。为了防止这样的情况，对于规定面积以下(例如1块以下)的动区域，可判定为不是动区域的区域。另外，在被判定为不是动区域的区域是规定面积以下时，也同样可判定为是动区域。

另外，在上述的例子中，将基准图像及比较图像分别分割成共同大小的块(判定区域)，对于相互对应的块间，规定如式(5)、式(6)所示那样的辉度的关系作为图像的特征量，并基于该辉度的关系检测出被摄体的动区域，但能够用于动区域的检测的特征量并不局限于辉度。例如，也可以同样地规定饱和度、明度、色差等特征量的关系，并基于这些特征量的关系来检测被摄体的动区域。

由于显著地反映在摄影图像中显现出的环境的变化(包含动作的变化)的是辉度，所以可以说优选使用辉度作为特征量。但是，环境的变化并非仅由辉度反映，也由饱和度、明度、色差等特征量反映。因此，也可以针对这些特征量规定与上述的辉度相同的关系(式(5)、式(6))，并基于该规定的关系来检测动区域。该情况下只要应用与使用上述的辉度的情况相同的方法，以块(判定区域)单位进行动区域的检测即可。

该情况下，也可以单一使用饱和度、明度、色差等特征量来检测被摄体的动作，但由于饱和度、明度、色差在图像中难以出现起伏的变化，所以存在被摄体的动作的检测变得困难的情况。鉴于此，可并用辉度与饱和度、明度、色差来检测被摄体的动作。

在第2实施方式所说明的方法中，原理上细微的动作的变化不被检测，但存在因阈值的设定等而导致检测细微的动作的变化的情况。鉴于此，使用饱和度、明度、色差同样地以块单位进行动区域的检测，对于在使用辉度的情况下被判定为动区域但在使用饱和度、明度、色差的情况下不被判定为动区域的块，可以不作为动区域，不包含于动区域掩模(OR区域)。另外，在使用辉度的情况下，即使在块间存在大的动作的变化，也认为因某些原因而导致动区域的检测失败。鉴于此，对于在使用辉度的情况下没有被判定为动区域但在使用饱和度、明度、色差的情况下被判定为动区域的块，可以设为动区域而包含于动区域掩模(OR区域)。

另外，在使用辉度进行块是否是动区域的判定的情况下，当判定该块为动区域的比较图像的数量为规定数量以下(或小于规定数量)时，可以不将该块作为动区域而不包含于动区域掩模(OR区域)。该情况下的阈值只要根据比较图像的数量进行设定即可，例如可设定比较图像的数量的1/2的值。例如，当比较图像的数量为“8”时设阈值为“4”，当判定该块为动区域的比较图像的数量为4以下(或小于4)时，可以不将该块作为动区域而不包含于动区域掩模(OR区域)。

[图像合成]

在上述的例子中，将基准图像与各比较图像的所有组合所涉及的动区域之和作为合成区域来进行合成处理。这里，例如在全部合成10帧图像的情况下，有时对于某个块而言，尽管仅对于其中的数帧(例如1～3帧)判定为动区域，对于剩余的帧(4～10帧)没有判定为动区域，但也将这些帧作为合成对象而不恰当。由于该块在这些帧(4～10帧)中没有被判定为动区域，所以即使作为合成对象乍一看也认为没有问题。可是，当在该块区域中存在细微动作，但没有跨越该块那样的动作时，本来完成图像内的该块区域看起来应该是静止的，可在用户的眼中看到虽然微小但存在动作。这会扰乱上述的动照片所说的在完全静止的帧中仅注目物体动作这一独特的艺术性。

鉴于此，当对于某个块判定为动区域时，不是将所有的帧设为合成对象，而是仅将判定为动区域的比较图像设为合成对象。即，对于某个块而言，若在其他比较图像中是被判定为动区域的区域，但对于该比较图像而言是没有被判定为动区域的区域，则该块区域在合成该比较图像时也不作为合成对象，可以保持基准图像内的该块区域的像素值不变地进行显示。

图31是表示该情况下图像合成装置10的控制部101代替图26的处理而执行的处理的流程的流程图。其中，对与图26的流程图相同的步骤赋予相同的标记，并省略再次的说明。

若在S2008中块判定处理结束，则控制部101设定与动区域的判定完成后的该比较图像和基准图像的关系相对应的动区域掩模(S2009a)。因此，在图31的处理中，当循环A的处理完成时，生成与所设定的比较图像的数量相对应的动区域掩模。这里，在S2009a中，与该比较图像相关联地存储对应的动区域掩模。然后，若循环A的处理完成(S2010)，则在合成处理中，当依次合成成为合成对象的比较图像时，分别经由与成为合成对象的比较图像相对应的动区域掩模来进行图像合成(S2016a)。由于，对于各块，能够仅将由与基准图像的关系检测出动作的比较图像合成至基准图像。反而言之，能够将在该块中不产生动作的比较图像从合成对象除外。

这里使用图32对S2016a的处理的例子进行说明。这里，设定了比较图像1～4作为比较图像。该情况下，通过循环A的处理(S2005～S2010)取得(1)由基准图像与比较图像1的关系判定出的动区域、(2)由基准图像与比较图像2的关系判定出的动区域、(3)由基准图像与比较图像3的关系判定出的动区域、以及(4)由基准图像与比较图像4的关系判定出的动区域这4组动区域。然后，在循环A的S2009a中分别生成(5)与比较图像1相对应的动区域掩模、(6)与比较图像2相对应的掩模、(7)与比较图像3相对应的动区域掩模、以及(8)与比较图像4相对应的掩模这4个动区域掩模。然后，在S2016a中，当将比较图像1～4依次合成至基准图像时，经由各自所对应的动区域掩模进行合成。即，动态地选择与成为合成对象的比较图像相对应的动区域掩模。由此，能够更准确地表现作为动照片的独特艺术性的完全静止的帧中的注目物体动作的状态。

[基于用户指定的动区域的决定]

在上述的例子中，以基准图像及比较图像整体为对象来检测动区域，但也可以由用户指定想要判定动区域的范围。在图像合成装置10(例如智能手机)中，处于在显示部103及输入部104成为一体的触摸屏式的显示器中正显示基准图像的状态(图33的(1))。在该状态下，用户通过拖动操作(使手指在触摸屏以触摸的状态移动的操作)来指定包含伴随动作的被摄体500的区域(图33的(2)及(3))。结果，包含被摄体500的区域501成为被指定的区域(图33的(4))。对于至少一部分中包含这样被指定的区域501的各块，执行是否为动区域的判定。

图34是控制部101代替图26的处理所执行的处理。控制部101在执行了S2001～S2003的处理之后，在显示部103中显示为选择以手动模式或自动模式中的哪个模式来判定动区域(S2050)。这里，当用户选择了自动模式时(S2051为否)，执行上述的图26的S2005以后的处理。另外，当用户选择了手动模式时(S2051为是)，在显示部103上显示“请以拖动操作来指定判定区域”的消息(S2052)。然后，若检测到拖动操作结束(在拖动操作检测后检测出手指从触摸屏离开)(S2053为是)，则执行S2055～S2060的循环A的处理，并转移至图26的S2015。

循环A的处理(S2055～S2060)与图26中的循环A的处理(S2005～S2010)相同。但是，图35所示的块判定处理(S2058)的一部分不同。在图35的块判定处理中，与图27的处理不同，在循环B中，仅至少在一部分中包含指定区域501的块成为处理对象(S2022a及S2027a)。即，仅对于至少在一部分中包含指定区域501的块执行S2023～S2025或S2026的处理，判定是否为动区域。对于不包含指定区域501的块，由于被从S2022a～S2027a的循环B中的处理对象除外，所以不被判定为动区域。

这样，由于将由用户指定的区域作为对象来按每一个块判定是否为动区域，所以与将全部区域作为对象来按每一个块判定是否为动区域的处理相比，能够减轻计算量。尤其在比较图像较多的情况下，该效果较显著。另外，能够防止因用户未意图的区域被检测为动区域而损害动照片本来的特征。

另外，在图34所示的处理中，当用户对通过操作来指定区域感到烦杂时，只要选择自动模式而自动地检测动区域即可(S2051为否)，当想要仅将所期望的被摄体作为对象来设定动区域时，只要选择手动模式即可(S2051为是)。这样，能够根据用户的意图来选择适当的模式。

此外，在图34及图35的处理中，按至少在一部分中包含用户指定的区域的每一个块来判定是否为动区域(所谓的半手动模式)，但也可以只生成与用户指定的区域相对应的动区域掩模(例如与图33的区域501相符的形状的掩模)，经由该动区域掩模，依次合成所设定的比较图像(所谓的完全手动模式)。而且，在手动模式中，也可以由用户选择半手动模式和完全手动模式。据此，能够按照当在所指定的区域内想要仅合成动作大的区域时(当在所指定的区域内想要执行动区域的判定时)选择半手动模式，当想要将所有指定的区域作为动区域时选择完全手动模式的方式，生成与用户的意图相对应的动照片。

[图像合成装置]

其中，上述的实施方式仅表示本发明所涉及的图像合成装置等的一个例子。本发明所涉及的图像合成装置等并不局限于实施方式所涉及的图像合成装置等，也可以是在不变更各技术方案所记载的主旨的范围内，将实施方式所涉及的图像合成装置等进行变形、或应用于其他装置的方案。

另外，本发明并不是限定应用于所谓的智能手机的发明，当然也能够应用于移动电话机、平板电脑终端及其他移动终端、以及个人电脑等各种电子设备、信息处理装置。不过，由于包括智能手机的移动电话机大多是用户时常携带且能够通信并包括摄像部的设备，所以作为本发明的对象最为合适。

[记录介质]

在上述的实施方式中，对图像合成所涉及的各种程序、数据被存储于图像合成装置10的存储部102，并通过控制部101将这些程序读出而执行来进行图像合成所涉及的处理进行了说明。该情况下，存储部102除了ROM、闪存ROM、硬盘、RAM等内部存储装置之外，也可以具有存储卡(SD卡)、紧凑型闪存(注册商标)卡、记忆棒、USB存储器、CD－RW(光盘)、MO(磁光盘)等记录介质(记录媒介、外部存储装置)，可以使这些记录介质存储上述的各种程序、数据。

图36是表示该情况下的记录介质的一个例子的图。

图像合成装置10具备用于插入存储卡107的卡插槽110，卡插槽110中设置有用于读取被插入的存储卡107所存储的信息或向存储卡107写入信息的卡读写器(R/W)120。卡读写器120根据控制部101的控制，进行将在存储部102中存储的程序、数据写入至存储卡107的动作。通过由图像合成装置10以外的外部装置(例如个人电脑)读取存储卡107中存储的程序、数据，能够在该外部装置中实现上述的实施方式所说明的图像合成所涉及的处理。

Claims

1.一种图像合成装置，其特征在于，具备：

动区域检测单元，基于在不同的时刻拍摄到的基准图像和比较图像来检测被摄体的动区域；

合成区域设定单元，根据动区域的检测结果来设定所述比较图像中的合成区域；以及

合成图像生成单元，通过将所设定的合成区域合成至所述基准图像来生成合成图像，

其中所述动区域检测单元初始设定在差分图像中包含规定被摄体区域的闭合曲线，通过使规定所述闭合曲线的节点向与该闭合曲线相对应的能量函数进行最佳化的方向移动，抽出所述基准图像与所述比较图像的所述差分图像中的轮廓，

其中所述合成区域设定单元基于在所述差分图像中抽出的轮廓来设定所述合成区域，

其中所述的图像合成装置还具备：

在多个被摄体区域间设定边界的边界设定单元，

所述动区域检测单元按照不具有与所述边界的交点的方式初始设定所述闭合曲线。

2.根据权利要求1所述的图像合成装置，其特征在于，

所述动区域检测单元再次初始设定包含抽出了的轮廓所包含的被摄体区域中、基于用户操作而决定的被摄体区域的闭合曲线，并基于该闭合曲线再次进行轮廓的抽出。

3.一种图像合成装置，其特征在于，具备：

其中所述动区域检测单元抽出所述基准图像与所述比较图像的差分图像中的轮廓，

其中所述的图像合成装置还具备：

基础区域显示单元，以用户能够选择的方式显示包含所述基准图像中的规定的被摄体区域的基础区域；以及

交换候补区域显示单元，按每一个比较图像确定与基于用户操作而选择的基础区域相对应的交换候补区域，并以用户能够选择的方式显示确定了的各交换候补区域，

所述动区域检测单元抽出基于所述用户操作而选择的基础区域与基于用户操作而选择的作为交换候补区域的交换区域之间的所述差分图像中的轮廓。

4.一种图像合成装置，其特征在于，具备：

其中所述的图像合成装置还具备：

干扰度判定单元，判定将所述基准图像中的规定的被摄体替换成所述比较图像中的该规定的被摄体时与其他被摄体之间的干扰度；以及

推荐度显示单元，基于所述干扰度来显示与所述规定的被摄体相关的替换推荐度。

5.根据权利要求4所述的图像合成装置，其特征在于，

所述干扰度判定单元基于在所述基准图像与所述比较图像的差分图像中抽出的替换候补区域的交点来判定规定的被摄体与其他被摄体之间的干扰度。

6.根据权利要求5所述的图像合成装置，其特征在于，

所述干扰度判定单元基于按所述基准图像与各比较图像的每一个差分图像而抽出的规定的被摄体的轮廓与其他被摄体的轮廓的交点数来判定规定的被摄体与其他被摄体之间的干扰度。

7.一种图像合成装置，其特征在于，具备：

其中所述的图像合成装置还具备：

脸区域检测单元，检测所述基准图像及各比较图像中的脸区域；

特征量计算单元，按在所述各比较图像中检测出的每一个脸区域计算出特征量；以及

比较图像决定单元，决定按每一个脸区域计算出的特征量成为最佳值的比较图像的组合。

8.一种图像合成装置，其特征在于，具备：

其中所述的图像合成装置还具备：

脸区域显示单元，以用户能够选择的方式显示在所述基准图像及各比较图像中检测出的脸区域；以及

比较图像决定单元，当将在所述基准图像中选择出的规定的脸区域替换成在任意一个比较图像中选择出的该规定的脸区域时，在该规定的脸区域与其他脸区域之间产生干扰的情况下，将对于该其他脸区域不产生干扰且对于该其他脸区域计算出的特征量成为最佳值的比较图像决定为对于该其他脸区域的替换对象。

9.一种图像合成装置，其特征在于，具备：

其中所述动区域检测单元按所述基准图像及各比较图像的每一个组合检测被摄体的动区域，

所述合成区域设定单元基于按所述基准图像及各比较图像的每一个组合检测出的动区域来设定所述合成区域，

所述合成图像生成单元将所述各比较图像中的合成区域连续地合成至所述基准图像，

其中所述动区域检测单元将所述基准图像及所述比较图像分别分割成判定区域，基于相互对应的判定区域间的规定的特征量的关系来检测动区域。

10.根据权利要求9所述的图像合成装置，其特征在于，

所述动区域检测单元将所述特征量设为辉度，基于相互对应的判定区域间的辉度的关系来检测动区域。

11.根据权利要求9所述的图像合成装置，其特征在于，

所述动区域检测单元根据从摄影条件、摄影图像内容、以及用户操作中选择的任意一个来使所述判定区域的大小变化。

12.根据权利要求9所述的图像合成装置，其特征在于，

所述动区域检测单元基于所述规定的特征量的关系来生成将所述基准图像按每一个所述判定区域标准化了的标准化图像，并基于该标准化图像中的各判定区域与和各判定区域邻接的判定区域之间的所述特征量的差异来判定该判定区域是否为动区域。

13.根据权利要求9所述的图像合成装置，其特征在于，

在所述判定区域被判定为不是动区域的情况下，当与该判定区域邻接的判定区域中规定数量以上的判定区域被判定为动区域时，对于该判定区域执行与被判定为动区域时相同的处理。

14.根据权利要求9所述的图像合成装置，其特征在于，

在所述判定区域被判定为是动区域的情况下，当将与该判定区域邻接的邻接判定区域作为对象来进行是否是动区域的判定时，应用比针对该判定区域的判定基准容易判定为是动区域的判定基准。

15.根据权利要求9所述的图像合成装置，其特征在于，

所述合成区域设定单元基于按所述基准图像及各比较图像的每一个组合检测出的动区域之和来对各比较图像设定共同范围的合成区域。

16.根据权利要求9所述的图像合成装置，其特征在于，

所述合成区域设定单元基于按所述基准图像及各比较图像的每一个组合检测出的动区域，来按成为合成对象的每一个比较图像设定与该比较图像相对应的合成区域。

17.根据权利要求9所述的图像合成装置，其特征在于，

所述动区域检测单元能够基于通过用户操作而指定的区域来执行所述动区域的检测。

18.根据权利要求9所述的图像合成装置，其特征在于，

所述动区域检测单元能够基于不依赖于用户操作而被预先设定的区域来执行所述动区域的检测。

19.一种图像合成方法，其特征在于，包括：

合成区域设定步骤，根据动区域的检测结果来设定所述比较图像中的合成区域；以及

合成图像生成步骤，通过将所设定的合成区域合成至所述基准图像来生成合成图像，

其中所述动区域检测步骤中，初始设定在差分图像中包含规定被摄体区域的闭合曲线，通过使规定所述闭合曲线的节点向与该闭合曲线相对应的能量函数进行最佳化的方向移动，抽出所述基准图像与所述比较图像的所述差分图像中的轮廓，

其中所述合成区域设定步骤中，基于在所述差分图像中抽出的轮廓来设定所述合成区域，

其中所述的图像合成方法还包括：

边界设定步骤，在多个被摄体区域间设定边界，

其中所述动区域检测步骤按照不具有与所述边界的交点的方式初始设定所述闭合曲线。

20.一种图像合成方法，其特征在于，包括：

合成图像生成步骤，通过将所设定的合成区域合成至所述基准图像来生成合成图像，其中

在所述动区域检测步骤中，抽出所述基准图像与所述比较图像的差分图像中的轮廓，

在所述合成区域设定步骤中，基于在所述差分图像中抽出的轮廓来设定所述合成区域，

其中所述的图像合成方法还包括：

基础区域显示步骤，以用户能够选择的方式显示包含所述基准图像中的规定的被摄体区域的基础区域；以及

交换候补区域显示步骤，按每一个比较图像确定与基于用户操作而选择的基础区域相对应的交换候补区域，并以用户能够选择的方式显示确定了的各交换候补区域，

在所述动区域检测步骤中，抽出基于所述用户操作而选择的基础区域与基于用户操作而选择的作为交换候补区域的交换区域之间的所述差分图像中的轮廓。

21.一种图像合成方法，其特征在于，包括：

其中所述的图像合成方法还包括：

在所述动区域检测步骤中，按所述基准图像及各比较图像的每一个组合检测被摄体的动区域，

在所述合成区域设定步骤中，基于按所述基准图像及各比较图像的每一个组合检测出的动区域来设定所述合成区域，

在所述合成图像生成步骤中，将各比较图像中的合成区域连续地合成至所述基准图像，

其中所述动区域检测步骤将所述基准图像及所述比较图像分别分割成判定区域，基于相互对应的判定区域间的规定的特征量的关系来检测动区域。