CN101378462B - 图像合成装置 - Google Patents

Abstract

本发明提供一种动体图像抽取装置，该动体图像抽取装置对连拍的多个帧算出与背景部分相关联的差分强度。并且，动体图像抽取装置算出多个帧中任一任意帧的差分强度除以相加的多个帧份的差分强度后的值。动体图像抽取装置根据该算出的值，稳定地输出任意帧中的动体的抽取图像。

Description

图像合成装置

相关申请的交叉参照 

本申请基于并主张2007年8月30日提交的在先日本专利申请第2007-224168号的优先权，包括说明书、权利要求书、附图和摘要，这里参照引入其全部内容。 

技术领域

本发明涉及一种从连续的多个帧中抽取动体的图像的图像合成装置。 

背景技术

近年来，在广播业界等中开始使用将动体连拍图像合并而合成为一个图像的技术。 

另外，例如特许第3793258号所示，已知如下技术，即，从多个帧中分离看客或树木等执行复杂动作的背景与包含该背景的映像中的动体，依次抽取动体后进行合成。 

这种技术可静态把握某个期间的动作整体，便于体育研究等动体的运动解析。另外，还具有作为映像特殊效果的兴趣。 

但是，在抽取动体时二进制图像后仅取标示(labelling)的最大分量的情况下，产生由于连结性中断而动体的部分图像(若动体为人，则是头或手脚的图像)会整个儿缺失等品质恶化。另外，在帧中包含多个动体的情况下，不可能抽取这些多个动体全部。并且，虽然抽取图像由缩小后的帧生成，但在将该生成的图像适用于实际尺寸的图像的情况下，在抽取图像的轮廓中产生急剧的参差不齐(jaggy)瑕疵。 

另外，由于照明变动、运动污点(motion blur)、动体的影子、反射、噪声等，背景部分与动体部分的交界本身变得暧昧，难以得到无不适感的合成图像。 

发明内容

本发明鉴于上述实情作出，提供一种可抽取并稳定输出适当的动体图像的图像合成装置。 

为了实现上述目的，根据本发明观点的图像合成装置的特征在于，具备：第1算出部件，其对多个帧按每个像素算出与背景图像或所述多个帧相关联的差分强度；加法部件，其按每个像素将由该第1算出部件算出的所述多个帧的所述差分强度相加；第2算出部件，其对所述多个帧中任一的任意帧的各像素，按每个像素算出由所述第1算出部件算出的差分强度除以通过所述加法部件被相加的所述多个帧份的对应的像素位置的差分强度的相加值之后的值；帧生成部件，其生成应由合成部件合成的帧，该帧通过对所述任意帧的各像素值乘以由所述第2算出部件按每个像素算出的值而生成；合成部件，其合成由所述帧生成部件生成的多个应合成的帧；和输出部件，其输出由该合成部件合成的合成图像。 

通过阅读下面的详细说明及附图，本发明的这些目的和其它目的及优点将变得更明显。 

附图说明

图1是表示适用本发明的一实施方式的摄像装置的示意构成框图。 

图2是模式表示图1的摄像装置执行的图像合成处理的图像帧一例的图。 

图3是模式表示图2的图像合成处理的背景图像一例的图。 

图4是模式表示示出图2的图像合成处理的原差分强度的灰色标度图像一例的图。 

图5是模式表示图2的图像合成处理的合成图像一例的图。 

图6是模式表示图2的图像合成处理的合成图像一例的图。 

图7是模式表示图2的图像合成处理的合成图像一例的图。 

图8是表示图2的图像合成处理的动作一例的流程图。 

图9是表示图8的图像合成处理预处理的动作一例的流程图。 

图10是表示图8的图像合成处理之抽取处理的动作一例的流程图。 

图11是表示图10的抽取处理之差分强度算出处理的动作一例的流程图。 

图12是表示图10的抽取处理的错误帧去除处理的动作一例的流程图。 

图13是表示图10的抽取处理的重复帧去除处理的动作一例的流程图。 

图14是表示图10的抽取处理的α值算出处理的动作一例的流程图。 

图15是表示图8的图像合成处理的合成处理的动作一例的流程图。 

图16A是模式表示变形例1的摄像装置执行的图像合成处理的合成图像一例的图，是帧速率低时的合成图像的图。 

图16B是模式表示变形例1的摄像装置执行的图像合成处理的合成图像一例的图，是选择最佳帧集合时的合成图像的图。 

具体实施方式

下面，参照附图来详细说明本发明的实施方式。 

图1是表示适用本发明的一实施方式的摄像装置100的示意构成框图。摄像装置100对于输入的多个帧(F[0]、F[1]、…F[N-1])，对每个像素算出与背景部分关联的差分强度。摄像装置100算出这些多个帧中任一任意帧的差分强度除以多个帧份的差分强度后的α值，根据该α值，输出任意帧中的动体的抽取图像Gm。 

具体而言，摄像装置100如图1所示，具备摄像部1、摄像辅助部2、显示部3、操作部4、记录介质5、USB端子6、控制部7等来构成。 

摄像部1作为摄像部件，连续摄像被摄体，生成上述多个帧。具体而言，摄像部1具备摄像透镜群11、电子摄像部12、映像信号处理部13、图像存储器14与摄影控制部15等。 

摄像透镜群11由多个摄像透镜构成。 

电子摄像部12由将通过摄像透镜群11的被摄体像变换为二维的图像信号的CCD(Charge Coupled Device)或CMOS(Complementary Metal-oxideSemiconductor)等摄像元件构成。 

映像信号处理部13对从电子摄像部12输出的图像信号实施规定的图像处理。 

图像存储器14暂时存储图像处理后的图像信号。 

摄影控制部15在CPU71的控制下，控制电子摄像部12和映像信号处理部13。具体而言，摄影控制部15控制如下处理的执行，即在规定的曝 光时间使电子摄像部12连续地摄像被摄体，以规定的帧速率从该电子摄像部12的摄像区域中读出图像信号(帧)。 

摄像辅助部2在摄像部1摄像被摄体时进行驱动，具备聚焦驱动部21与变焦驱动部22等。 

聚焦驱动部21使连接于摄像透镜群11上的聚焦机构部(省略图示)驱动。 

变焦驱动部22使连接于摄像透镜群11上的变焦机构部(省略图示)驱动。 

另外，聚焦驱动部21和变焦驱动部22连接于摄影控制部15，在摄影控制部15的控制下驱动。 

显示部3显示由摄像部1摄像的图像，具备显示控制部31与图像显示部32等。 

显示控制部31具备暂时保存从CPU71适当输出的显示数据的视频存储器(省略图示)。 

图像显示部32具备根据来自显示控制部31的输出信号、显示规定图像的液晶监视器等。 

操作部4执行该摄像装置100的规定操作，具备操作输入部41与输入电路42等。 

操作输入部41具备指示摄像部1执行的被摄体的摄像的快门按钮41a。 

输入电路42用于将从操作输入部41输出输入的操作信号输入到CPU71。 

记录介质5例如由卡型非易失性存储器(快闪存储器)或硬盘等构成，存储多个由摄像部1摄像的图像数据。 

USB端子6是与外部设备连接用的端子，经USB电缆(省略图示)等进行数据的发送接收。 

控制部7控制摄像装置100的各部分，例如具备CPU71、程序存储器72和数据存储器73等。 

CPU71根据存储在程序存储器72中的摄像装置100用的各种处理程序，执行各种控制动作。

数据存储器73例如由快闪存储器等构成，暂时存储由CPU71处理的数据等。 

程序存储器72存储CPU71的动作所需的各种程序或数据。具体而言，程序存储器72存储背景图像生成程序72a、差分强度算出程序72b、错误帧去除程序72c、重复帧去除程序72d、α值算出程序72e、合成程序72f等。 

背景图像生成程序72a是利用预处理(后述)使CPU71实现涉及生成动体M不存在的状态的背景图像Gb的处理之功能的程序。 

即，CPU71通过执行背景图像生成程序72a，使用连拍图像(参照图2；在图2中，F表示连拍图像中的一个图像)的缩小图像帧(后面称为帧)，执行根据多数决定原理来合成虚拟的背景图像Gb(参照图3)的处理。具体而言，在设单色图像为对象的情况下，只要对每个像素求出全部帧的相同坐标的像素值的中间数(中央值)即可。另外，在设彩色图像为对象的情况下，由于不取矢量的中间数，所以如下式(1)所规定，对每个色空间的分量示出中间数。这里，将输入的第p个原尺寸原图像设为F’[p]，设将其缩小成规定尺寸后的第p个帧设为F[p]。并且，设帧F[p]的坐标(x，y)的像素值为F[p，x，y]。另外，C∈{Y，Cb，Cr}为表示色分量的附缀(Y为亮度，Cb和Cr为色差)，由此，Fc[p，x，y]表示F[p，x，y]的各色分量。 

Gb_C[x，y]＝Med_p∈UF_C[p，x，y]…(1) 

另外，也可事先摄像动体M不存在的状态的图像，作为背景图像Gb，并指定该图像。 

差分强度算出程序72b是用于使CPU71实现对多个帧算出与背景部分相关联的差分强度的差分强度算出处理的功能之程序。 

即，CPU71通过执行差分强度算出程序72b，执行对多个帧算出背景图像的差分强度的处理。具体而言，通过根据下式(2)，运算各帧的图像的色分量的加权平方和，从而算出原差分强度(排列Do[p])。这里，用Gb表示各背景图像。 

D_o[p，x，y]＝{Gb_Y[x，y]-F_Y[p，x，y]}²+w{Gb_Cb[x，y]-F_Cb[p，x，y]}²+w{Gb_Cr[x，y]-F_Cr[p，x，y]}²

                                     …(2)

另外，在设差分强度为8比特值的情况下，必需箝位到最大值255。尤其是由于平方值是非常大的值，所以最好通过移位，在减小数位后，箝位到255。 

另外，色差分量的加权常数w可经验地确定，大致的情况下，由于并不怎么敏感地依赖于w，所以只要为1即可，但为了能得到稍好的结果，最好是2以上的值。 

另外，作为色空间，使用与JPEG处理中使用的相同的Y、Cb、Cr，但也可使用变换后的色空间。 

这里，图4中表示示出根据上式(2)算出的原差分强度的灰色标度图像Gd。如图所示，由于输入的原图像(参照图2)中的背景的白板的框或段球(ボ—ル)箱等的影响，可在动体M的内部产生强度的凹凸。另外，单足部分与背景的壁由于是相似的像素值，所以变得非常薄。 

另外，原差分强度(排列Do[p])也可根据下式(3)，利用各帧的图像的色分量的加权绝对值和算出。 

D_o[p，x，y]＝|G_Y[x，y]-F_Y[p，x，y]|+w|Gb_Cb[x，y]-F_Cb[p，x，y]|+w|Gb_Cr[x，y]-F_Cr[p，x，y]|…(3) 

另外，在差分强度算出处理中，为了算出后述的差分强度的标准化处理、错误帧判定处理、背景强度算出处理中使用的各种参数，对原差分强度执行大津的二进制处理(适当的二进制处理)。这里，大津的二进制是以等级内分散为基准分离组的基于分离率的判别分析法之一。根据该方法，通过取得采样值的直方图，在后的处理可仅扫描直方图，非常高速地进行处理。 

另外，利用大津的二进制，设定区分接近0的组与接近1的组两个集合的阈值t_p。因此，理想地应该视为分成为0值的背景区域与动体区域。但是，基于该阈值t_p的交界不限于原样构成动体M的轮廓。仅分成动体区域中典型的差分值的组与典型的差分值以上值的部分，不知是否残留与之相比具有些许差分值的动体区域。 

另外，利用二进制的结果，抽取下式(4)～(6)中规定的背景中央值zp、动体中央值m_p、噪声电平推定值n_p并保存。这里，z’_p是自背景集合上25％的值。

$n_p=z_p^{\′}-z_p\·\·\·\left(6\right)$

这些值是指对差分强度取背景区域和动体区域各自的典型值及背景区域的振幅的典型值。另外，噪声电平推定值严格地讲无任何意义，但与背景区域的标准偏差或平均偏差近似。中间数或百分值可根据为了求出二进制阈值而制作的直方图简单且高速地计算。 

这里，也可使用平均或标准偏差来算出噪声电平推定值，但这容易影响离群值(outlier)。在基于二进制的背景区域无法保证本当漂亮地切出背景的状况下，不认为强(robust)的尺度，所以采取上述推定方法。 

另外，二进制阈值t_p是上述大津的二进制阈值。在执行标准化处理(后述)的情况下，就标准化后的差分强度而言，最好保存从原来的阈值中减去z_p后的值，以切出大致相同的区域。 

另外，在差分强度算出处理中，由于补正基于照明变动的合成时的动体M的灰度比之浓度不均等，所以执行差分强度的标准化处理。 

即，差分强度可视为一种模糊(fuzzy)集的从属函数，表示暧昧的动体区域。这里，所谓模糊集是定义称为从属函数的各要素所属程度的集合，若设值域为[0，1]，则意味着若是0，则完全不属于，若是1，则完全属于，若是中间值，则以对应于该值的程度属于。另外，不强烈制约从属函数的中间值的确定方法，只要表示漠然与程度的序列即可。 

但是，现实得到的原差分强度即便因照明变动而是完全的背景区域(不动区域)，差分值也不是0，具有因照明变动的程度不同而每个帧不同的直流偏移与振幅。 

因此，在完全的背景区域中，由于从属应为0，所以根据下式(7)，通过从差分强度中减去利用适当的二进制处理算出的背景中央值z_p，在减法的结果为负值的情况下，变换为箝位到0的值，由此标准化差分强度。 

D_N[p，x，y]＝max(0，D_o[p，x，y]-z_p)…(7) 

另外，在差分强度的标准化处理中，使用背景中央值z_p，但不限于此， 可以是背景部分的代表值，也可以是最频值(mode)或平均值等。 

另外，在差分强度算出处理中，为了消除噪声引起的细小的欠缺、孤立点或一点点的照相机灰度引起的细微的边缘，执行差分强度的平滑化处理。 

这里，平滑化处理通过形态学(morphology)运算来执行，但该方法在二进制处理中也可很好地执行，可视为一种平滑化处理。 

另外，在本实施方式中，利用多进制形态学运算执行平滑化处理，但多进制形态学运算的收缩膨胀处理基于Min、Max运算，其也可认为是一种模糊运算。具体而言，根据下式(8)，在closing(收缩→膨胀)差分强度之后，执行opening(膨胀→收缩)。 

D[p]＝Opening(Closing(D_N[p]))…(8) 

另外，平滑化处理不限于上述方法。 

错误帧去除程序72c是用于使CPU71实现涉及从有效帧中去除担心会不正确地抽取动体M而错误地抽取部分背景的错误帧之处理的功能的程序。 

这里，影响特别大、成问题的是仅动体M不存在的背景的帧。例如，是动体M在帧之外的情况下或发生包藏(occlusion)(隐蔽)的情况下的帧。此时，背景在理想的情况下差分值全部为0。若将这种帧勉强地分离为两个组，则二进制阈值变得非常小，另外，抽取的背景的面积经常变得异常大。 

因此，通过计数具有由适当的二进制处理算出的二进制阈值以上的差分强度的点的个数，算出动体面积，判定该面积值相对画面整体的比是否在规定范围内。这里，若判定为动体面积值相对画面整体的比不在规定范围内，则设为错误帧。实际上，会发生极端大的动体面积，但在该帧中不存在动体M、或在由于包藏而动体M变为非常小的面积的情况下发生。 

另外，事先设定用于判定面积比的范围的最小值和最大值，但若不尽量限定应用范围，则只要是例如从0起至画面整体面积的1/4为止等程度的平缓制约即可。 

另外，该判定处理即便在适当的二进制处理之后执行也无妨。 

之后，在求出对全部帧的二进制阈值之后，算出这些阈值的中间数。 该中间值由于认为帧的一半以上为背景部分的状况非常例外，所以可认为是正常值的典型值。另外，与中间值相比，判定是否存在例如具有1/10程度以下的小阈值的帧。这里，若判定为是具有该1/10程度以下的小阈值的帧，则设该帧为错误帧。实际上，会发生极端小的阈值，但在该帧中不存在动体M、或在由于包藏(occlusion)而动体M变为非常小的面积的情况下发生。 

即，若不以极端的超高速(超短时间曝光)摄影为前提，则应该不会在荧光灯等照明变动中出现极端的阈值不同，可判断为抽取不是动体M的帧。 

重复帧去除程序72d是使CPU71实现涉及对多个有效帧判定其它帧与动体区域的重复大的帧(重复帧)、自动地间隔提取的处理之功能的程序。 

基于分级的合成的缺点是在动体M的显示时无时间系列的概念。因此，尤其是在运动慢的情况下，或在存在暂时的运动滞留状态的情况下，若其全部重合，则物体的动作基本上未被读取(重复图像Gr；参照图5)。 

因此，根据由二进制处理算出的二进制阈值，区分帧中的背景区域与动体区域。之后，以动体区域的面积(像素数)与动体重合区域(像素数)的面积比为基准，对应于该面积比是否比规定的阈值大，判定重复帧。具体而言，图像p与图像q的动体重合面积比根据下式(9)，由r(p，q)表示。另外，下式(9)中的∑的对象为二进制逻辑式，但其意义在于若为真，则将1原样取为数值，若为假，则将0原样取为数值。另外，若该面积比为规定阈值以上，则从有效帧集合中去除图像p和图像q中任一(例如时间上在后)的帧。 

$r(p,q)=\frac{{\mathrm{\Σ}}_{x,y}\left\{(D[p,x,y]>t_p)\mathrm{and}(D[q,x,y]>t_q)\right\}}{{\mathrm{\Σ}}_{x,y}(D[p,x,y]>t_p)}\·\·\·\left(9\right)$

这里，在上述处理中，利用阈值的设定，可调节允许何程度的重合。即，可基于主观的爱好，但敢于允许十分之1～几程度的重合可得到合成个数增加、充满体育感的合成图像Gc(参照图7)。 

另外，基于二进制阈值的交界不限于表示正常的动体交界。但是，从允许多少重合的观点看，认为即便稍稍差异的交界也不会有太差的结果。 

α值算出程序72e是用于使CPU71实现涉及算出多个有效帧的混合比 例(blending ratio)、即α值A的处理之功能的程序。具体而言，通过CPU71执行α值算出程序72e，根据下式(10)，算出α值。该α值通过多个有效帧中任一任意帧的差分强度除以相加多个有效帧份的差分强度来算出。 

$A[p,x,y]=\frac{D[p,x,y]}{{\mathrm{\Σ}}_{P\∈V}D[p,x,y]}\·\·\·\left(10\right)$

这里，在上式(10)中，分母为0时，为错误，另外，分母接近0时，结果变得不稳定。分母为0时，通过将任一有效帧的差分强度强制地变更为1后再计算，可避免错误，但不稳定性会残留。由于些许的噪声变动，某个帧变为优势，但会变得不稳定。尤其是在有照明变动的情况下，背景从各种帧中选择会明显。 

因此，在背景区域中，为了使结果相对噪声程度的微小变动变得迟钝，在α值算出的前阶段执行基于背景强度的修正处理。 

具体而言，使用由适当的二进制处理算出的噪声电平推定值n_p，推定合成噪声电平(参照下式(11))。 

$n_C=\sqrt{{\mathrm{\Σ}}_{P\∈V}{n}_P^2}\·\·\·\left(11\right)$

即，若假设帧间的同像素位置的噪声不相关，则作为α值分母的加法结果的噪声的分散为每个帧的噪声的分散之和。即，由于如上所述，噪声电平推定值不偏离标准偏差，所以可利用噪声电平的平方和的平方根来估计近似分母的标准偏差的合成噪声电平。这里，严格地讲，噪声不仅是纯粹的随机噪声。即，利用各帧的中间数求出构成基准的背景图像Gb，存在依赖性，另外，利用标准化处理，仅以与背景中央值的差补正照明变动，所以残留基于背景内容的相关性。但是，相反，在帧间的同像素位置的噪声存在强相关性的情况下，α值的分母的噪声振幅也可估计为每个帧的噪声振幅之和(即噪声电平的单纯和)。典型地，α值的分母的噪声振幅仅是大数倍的程度的不同。另外，即便严密化该估计，实际上也认为不太有效，所以即便上述方法也认为充分。 

将α值的分母最小值规定为α_min＝kn_c。这里，k为适当的常数，该常数越大，则对噪声越迟钝。具体而言，例如取3左右。

之后，使用合成噪声电平的推定值的数倍左右的值，在分母低于该值的情况下，视为该区域具有作为背景区域的程度。即，根据下式(12)来规定作为模糊的背景性的强度的背景强度。 

$B[x,y]=\max (0,{\mathrm{\α}}_{\min }-\underset{p\∈V}{\mathrm{\Σ}}D[p,x,y])\·\·\·\left(12\right)$

这里，背景强度比0大的区域是任一帧中都不存在明确的动体M、即差分强度仅为噪声或与噪声同等的薄的变化的区域。在这些区域中，对应于背景强度的强度(动体存在性的强弱)，提高任一帧的像素值的α值。选择为背景的帧无论选择哪个均应是构成背景的区域，所以哪个均无妨，也可以多个帧来区分。最单纯的方法是在帧内选择最初的有效帧。 

之后，将选择为背景的帧的索引作为b，根据下式(13)，更新差分强度的全像素位置的值。之后，如上所述，根据上式(10)，算出各有效帧p∈V的各像素的α值。 

D[b，x，y]＝D[b，x，y]+B[x，y]…(13) 

上述α值算出算法的修正与其说不损害相对输入的合成结果的连续性，不如说变得良好。 

如图6所示，若将α值视为模糊区域，则根据动体区域与动体M的影子等周边关联区域以及背景尺寸等，任意帧中的动体的抽取图像Gm成立。表示原差分强度的灰色标度图像Gd(参照图4)中的动体M内部的凹凸在这里大致很好地均匀。 

合成程序72f是使CPU71实现涉及合成多个有效帧的合成处理的功能之程序。 

首先，CPU71通过执行合成程序72f，将对缩小图像的每个像素算出的α值A[p]扩大到原尺寸，得到A’[p]。这里，内插处理也可以是最附近法，但最好是在画质上以双线性内插等连续(最好平滑)地内插。例如，在本实施方式的方式中，在单一动体与背景的交界(理想地)不出现参差不齐，但在多个动体间或动体与具有大的背景强度的背景之间发生参差不齐。若与二进制处理相比，则由于是多进制处理，所以基于参差不齐的亮度差小，即便原样最附近内插也不显眼。但是，认为更仔细的内插较缓和。 

另外，生成应向多个有效帧的每个各像素值乘以α值A’[p]后合成 的帧。之后，通过合成这些多个帧，得到合成图像Gc(参照图7)。 

合成图像Gc的像素值在下式(14)～(16)中规定。这里，α值为实数，但在使用恒定数倍的整数值的情况下，利用适当的移位来相除。另外，假设色差值的表现为8比特无符号，在无色时为128。另外，将原尺寸的输入图像设为F’[p]。 

$G_{C_Y}[x,y]=\underset{p\∈V}{\mathrm{\Σ}}A\′[p,x,y]*F_Y^{\′}[p,x,y]\·\·\·\left(14\right)$

$G_{C_{\mathrm{Cb}}}[x,y]=128+\underset{p\∈V}{\mathrm{\Σ}}A\′[p,x,y]*(F_{\mathrm{Cb}}^{\′}[p,x,y]-128)\·\·\·\left(15\right)$

$G_{C_{\mathrm{Cr}}}[x,y]=128+\underset{p\∈V}{\mathrm{\Σ}}A\′[p,x,y]*(F_{\mathrm{Cr}}^{\′}[p,x,y]-128)\·\·\·\left(16\right)$

下面，参照图8～图15来详细说明本实施方式的图像合成处理。 

图8是表示图像合成处理的动作一例的流程图。如图8所示，执行进入图像合成的本处理之前的预处理(步骤S1)。之后，执行从连拍的多个图像帧每个中抽取动体区域的抽取处理(步骤S2)。并且，执行以各图像帧的α值为基准、合成多个有效帧的合成处理(步骤S3)，显示作为合成处理的合成图像Gc后保存(步骤S4)。 

下面，参照图9来详细说明预处理。 

图9是表示图像合成处理的预处理的动作一例的流程图。如图9所示，在预处理中，CPU71利用环路来处理对输入的多个(N个)图像帧的缩小图像的生成(步骤S11～S14)。 

具体而言，CPU71对N个(图像序号i为‘0’～‘N-1’)的帧输入(取得)各帧的原尺寸原图像F’[p](步骤S12)。并且，在对输入(取得)的该图像使用(施加)适当的低通滤波器之后，对几分之一的规定尺寸进行子采样，生成减少像素数的缩小图像F[p](步骤S13)。 

在重复上述处理直到图像序号i为N-1的第N个帧之后(步骤S14)，CPU71执行程序存储器72内的背景图像生成程序72a，使用生成的连拍图像的缩小图像，根据多数决定原理来生成虚拟的背景图像Gb(步骤S15)。 

由此，结束预处理。 

下面，参照图10～图14来详细说明抽取处理。 

图10是表示图像合成处理之抽取处理的动作一例的流程图。如图10所示，在抽取处理中，首先，CPU71对N个(图像序号i为‘0’～‘N-1’) 的帧利用环路(loop)来处理差分强度的算出(步骤S21～S23)。接着，执行从有效帧中去除错误帧的错误帧去除处理(步骤S24)。之后，执行去除其它帧与动体区域的重复大的重复帧的重复帧去除处理(步骤S25)。接着，执行算出多个有效帧的灰度比、即α值的α值算出处理(步骤S26)。 

下面，参照图11来更详细地说明差分强度算出处理。 

如图11所示，在差分强度算出处理中，CPU71执行程序存储器72内的差分强度算出程序72b，通过对多个帧运算图像的色分量的加权平方和，执行算出原差分强度的处理(步骤S201)。接着，CPU71对算出的原差分强度执行大津的二进制处理(适当的二进制处理)，作为差分强度的标准化处理、错误帧判定处理、背景强度算出处理中使用的各种参数，算出背景中央值、动体中央值、噪声电平推定值并保存(步骤S202)。 

之后，CPU71执行差分强度的标准化处理，补正基于照明变动的合成时的动体M的灰度比的浓度不均等(步骤S203)。 

接着，CPU71通过执行差分强度的平滑化处理，消除噪声引起的细小的欠缺、孤立点或一点点的照相机晃动引起的细微的边缘(步骤S204)。 

由此，结束差分强度算出处理。 

下面，参照图12来更详细说明错误帧去除处理。 

如图12所示，在错误帧去除处理中，首先，CPU71执行程序存储器72内的错误帧去除程序72c，算出由适当的二进制处理算出的全部帧中的二进制阈值的中间数(步骤S211)。接着，CPU71对N个(图像序号i为‘0’～‘N-1’)的帧，利用环路来处理错误帧的判定和去除(步骤S212～S217)。 

具体而言，CPU71对各帧F[i](i＝0、1、2…N-1)计数具有二进制阈值以上的差分强度的点的个数，算出动体面积，判定该面积值相对画面整体的比是否在规定范围内(步骤S213)。这里，若判定为面积比不在规定范围内(步骤S213；不好(NG))，则CPU71将该帧F[i]设为错误帧，从有效帧集合中去除(步骤S214)。 

接着，CPU71对由步骤S213的判定判定为OK的帧F[i]与二进制阈值的中间数值进行比较，判定(检查)是否具有例如1/10程度以下的小阈值(步骤S215)。这里，若判定为具有该1/10程度以下的小阈值(步骤S215；不好)，则CPU71将该帧F[i]设为错误帧，从有效帧集合中去除(步骤 S216)。 

通过重复上述处理直到图像序号i为N-1的第N个帧(步骤S217)，结束错误帧去除处理。 

下面，参照图13来更详细说明重复帧去除处理。 

如图13所示，在重复帧去除处理中，CPU71执行程序存储器72内的重复帧去除程序72d，对N-1个(图像序号i为‘0’～‘N-2’的帧，利用环路(环路1)来处理是否还有重复帧的判定和间隔提取(步骤S221～S228)。 

具体而言，首先，CPU71对N-1个(图像序号i为‘0’～‘N-2’)帧F[i]判定是否是有效帧(步骤S222)。这里，若判定为是有效帧(步骤S222；是)，则利用涉及图像序号j的环路(环路2，j的范围为‘i+1’～‘N-1’)，处理是否是帧F[j]与帧F[i]的重复帧的判定和间隔提取(步骤S223～S227)。即，CPU71算出该图像帧[i]与下一图像帧[j]的动体区域的面积与动体重合区域的面积比(步骤S224)。之后，判定该面积比是否比规定的阈值大(步骤S225)。 

这里，若判定为面积比比规定的阈值大(步骤S225；是)，则CPU71从有效帧集合中去除帧[j](步骤S226)。 

通过重复上述处理直到图像序号i为N-2的第N-1个帧(步骤S228)，结束重复帧去除处理。 

下面，参照图14来更详细说明α值算出处理。 

如图14所示，在α值算出处理中，CPU71执行程序存储器72内的α值算出程序72e，处理背景强度的算出和对N个(图像序号i为‘0’～‘N-1’)的帧F[i]的α值的生成(步骤S231～S236)。 

具体而言，首先，CPU71开始涉及像素位置的环路(环路3)，对选择为背景的帧的各像素位置算出背景强度，利用该背景强度更新各像素位置的差分强度值(步骤S232)。 

之后，对N个(图像序号i为‘0’～‘N-1’)的帧，利用环路(环路4)来处理α值的生成(步骤S233～S235)。具体而言，对多个有效帧的每个算出各像素的α值，保存为排列A(步骤S234)。 

重复上述处理直到图像序号i为N-1的第N个图像帧为止(步骤 S235)，通过重复至全像素位置(步骤S236)，结束α值算出处理。 

下面，参照图15来更详细说明合成处理。 

图15是表示图像合成处理的合成处理的动作一例的流程图。如图15所示，在合成处理中，CPU71执行程序存储器72内的合成程序72f。首先，清除存储在合成图像缓冲器中的数据，背景变黑(步骤S31)。之后，对N个(图像序号i为‘0’～‘N-1’)的帧，利用环路(环路5)来处理将各像素α值倍后的应合成帧的相加(步骤S32～S37)。 

具体而言，首先，CPU71利用环路(环路6)来处理原尺寸原图像中的α值的内插处理和应合成帧的相加(步骤S33～S36)。即，CPU71将对缩小图像的每个像素算出的α值扩大(内插)为原尺寸(步骤S34)。之后，CPU71对N个(图像序号i为‘0’～‘N-1’)帧，对各有效帧的各像素值乘以α值后，生成应合成的帧，在合成图像缓冲器中将这些生成的帧相加(步骤S35)。 

通过重复上述处理直到图像序号i为N-1的第N个帧(步骤S37)，生成合成图像Gc，由此，结束合成处理。 

如上所述，根据本实施方式的摄像装置100，可根据多个帧中任一任意帧的色分量的加权平方和或加权绝对值和，算出该帧中相对背景图像Gb的每个像素的差分强度，算出该差分强度除以多个帧份的差分强度后的α值。 

另外，由于根据该α值输出任意帧的动体的抽取图像Gm，所以无论图像摄影条件如何，均可稳定地输出无不适感的自然的动体抽取图像Gm。之后，根据α值生成多个应合成的帧，通过合成该多个帧，由此可得到合成图像Gc。 

即，例如即便在有照明变动(尤其是闪光)的情况下，由于不以差分的绝对大小来执行阈值处理，所以即便帧间差分大小不同，也不会误检测动体区域。另外，为了确保合成品质，利用差分强度的标准化处理来消除差分的直流分量对灰度比的影响，另外，通过在合成处理中导入背景强度的概念，可使背景画质稳定。这在后面描述。 

另外，发生运动污点的区域由于对应于动体分量的程度，灰度比连续地高，所以不会产生不连续的、即明显的交界线。

另外，产生动体M的影子或反射的区域被识别为动体M，具体地被识别为与动体本体相比、模糊地存在的薄的动体M。因此，在产生动体M的影子或反射的区域与其它帧的动体本体重合的区域中，优先动体本体。另外，在产生动体M的影子或反射的区域仅与背景重合的区域中，优先产生动体M的影子或反射的区域。这样，可不削取动体本体地得到还包含一定程度的影子或反射部分的自然的合成结果。 

另外，由于尺寸、缩小图像的分辩率界限、背景与动体M的类似，动体M的掠过等会残留在合成图像Gc中，但利用所述合成的稳定性，可减小掠过的程度。另外，即便动体M交界不是最佳，也由于无清楚的假的边缘，所以可使视觉上的印象良好。 

另外，通过算出从差分强度中减去利用适当的二进制处理算出的背景中央值z_p后的最大值，标准化差分强度，所以可适当补正基于照明变动的合成时的动体M的灰度比的浓度不均等。 

并且，对多个帧，根据差分强度，区分背景部分与动体部分M，并根据该区分的结果，判断是否为应由合成处理合成的帧。即，对多个有效帧，判定其它帧与动体区域的重复大的帧(重复帧F)，自动地进行间隔提取，所以可适当化合成个数、即合成的动体M的数量。由此，可得到易看、易把握动作的合成图像Gc。 

另外，利用α值算出处理对选择为背景的帧的全像素位置算出背景强度，将该背景强度与帧的背景部分的差分强度相加。由此，由于更新全像素位置的差分强度值，所以可相对背景区域中的噪声程度的微小变动变得迟钝。从而，可防止由于一点点噪声变动、哪个帧变得处于优势会不稳定地变化。尤其是在发生照明变动的情况下，可防止从各种帧中选择背景而会变得明显。 

另外，本发明不限于上述实施方式，在不脱离本发明的主旨的范围内，也可进行各种改良和设计的变更。 

另外，在上述实施方式中，差分强度算出处理使用背景差分法，但不限于此。例如，在邻接的帧间取差分之后，通过取其交集(AND：积集合)(帧差分AND法)，不必为了算出原差分强度而合成背景图像Gb。并且，背景变动也变强。这里，帧差分AND法自身是以前已知的技术，但在处理多进 制图像的情况下，只要取模糊集的积集合运算、即Min(最小值)即可。 

并且，在上述实施方式中，由差分强度算出处理执行标准化处理和平滑化处理，但不限于此。例如，可适当任意地变更是否执行标准化处理和平滑化处理。即，也可仅执行标准化处理和平滑化处理中任一方，也可哪个都不执行。在这种情况下，只要设D[p]＝Do[p]即可。 

另外，利用标准化处理标准化差分强度，使背景区域中的从属函数为0，但不限于此。例如，也可更仔细地标准化差分强度，以使亮的动体区域中的从属函数变为规定值(例如1(若差分强度为8比特，则为255))。 

并且，在上述实施方式中的重复帧去除处理中，在帧速率比运动速度高时，可空间地大致等间隔地排列动体M。另一方面，在帧速率低时，利用重合判定，大致1帧份缺失地使空间变空(参照图16A)。尤其是在摄影有速度感的竞技或描绘什么轨道的运动的情况下，有时感到损害整体的速度感的印象。例如，为了表现缓慢地加速，期望渐渐打开动体M的间隔。 

因此，若以时间上大致等间隔地排列动体M为前提条件，则最好选择适当抑制重合的有效帧集合。具体而言，以时间上大致等间隔的帧集合中全部邻接帧的面积比的中间数为基准，选择最佳的帧集合。由此，即便有局部稀疏的部分或紧密的部分，也可得到作为整体间隔恰好的图像(参照图16B)。 

作为处理内容的实例，首先，设帧间隔为a，开始帧序号为b，定义部分集合U_(a，b)(例如U_(3，1)＝{1，4，7，10，…}等)。之后，抽出当前时刻包含于有效帧集合V中的帧，定义为V_(a，b)＝U_(a，b)∩V。这里，利用所述r(p，q)，根据下式(17)导出重合面积的中间数r’(a，b)。 

r′(a，b)＝Med_{p，p+a∈v(a，b)}r(p，p+a)…(17) 

之后，在候补集合中，以r’(a，b)为规定阈值以下为条件，选择要素数最大的集合，从有效帧集合中去除超出该集合的帧。 

另外，在重复帧的判定中使用邻接帧的动体重合面积的中间数，但不限于此。例如，如果是关联于邻接帧的动体部分M的代表值，具体而言为邻接帧的动体重合区域的代表值，则只要是最频值或平均值即可。 

此外，在重复帧去除处理中，也可根据多个帧的邻接帧间的差分强度 的相关性强弱，选择应由合成处理合成的帧。即，也可不对图像进行二进制地以模糊运算求出邻接的帧间的动体M的重合区域，将利用从属函数之和求出相当于其面积的模糊值的结果(参照下式(18))与规定的阈值相比，来进行判断。 

由此，由于不执行图像的二进制，所以可反映暧昧性高的动体M的存在。 

$r(p,q)=\frac{{\mathrm{\Σ}}_{x,y}\min \left(D\right[p,x,y],D[q,x,y])}{{\mathrm{\Σ}}_{x,y}D[p,x,y]}\·\·\·\left(18\right)$

并且，在重复帧去除处理中，为了实现处理的高速化，也可使用由下式(19)规定的一维差分强度(例如若物体行进方向为水平，则为对每个垂直列相加差分强度的水平线所对应的排列。另外，若物体行进方向为垂直，则使水平垂直相反)。 

$D_X[p,x]=\underset{y}{\mathrm{\Σ}}D[p,x,y]\·\·\·\left(19\right)$

之后，评价由下式(20)规定的以下的比，也可与上述实施方式一样地判定。 

$r(p,q)=\frac{{\mathrm{\Σ}}_x\left\{(D_X[p,x]>t_q)\mathrm{and}(D_X[q,x]>t_q)\right\}}{{\mathrm{\Σ}}_x(D_X[p,x]>t_p)}\·\·\·\left(20\right)$

另外，期望重复帧去除处理可利用基于用户的模式设定来分别使用上述示例的各种方法。 

另外，在α值算出处理中，也可使用上述一维差分强度，根据下式(21)算出对每个水平位置确定的灰度比。 

$A_X[p,x]=\frac{D_X[p,x]}{{\mathrm{\Σ}}_{p\∈V}{D}_X[p,x]}\·\·\·\left(21\right)$

这里，在重复帧去除处理中，在间隔提取以便基本不允许重合的情况下，由于通过该方法能够很好地动作、可减少环路的数量，所以可实现算出处理的高速化。

另外，本实施方式的摄像装置100假设三脚固定的摄影，但也可对应于手持摄影。即，在以手持摄影的连拍图像为对象的情况下，只要在补偿手抖动的动作之后执行上述各处理即可。 

若即便在执行动作补偿后，利用坐标变换没有正确匹配的部分位于背景区域中，则会接近动体M，在背景区域中产生合成的错位。例如，以背景物体的棱线的一部分稍交错的形式表示。此时，由于不太注视背景自身，所以作为主观评价不太明显。另外，镜面反射或高亮区域(因照明反射而特别亮的地方)因视点不同而不同，所以若照相机位置运动，则不能本质地一致。因此，该区域设为动体区域，并且，由于亮度高，所以稍稍明显，但产生这种区域的情况较少。 

另外，例如为了如打高尔夫球(golf swing)时的全身像那样、与滞留于大致相同位置的被摄体对应，必需实施下述修正。 

首先，第一由于不执行背景的自动合成，所以必需单独摄影背景帧。第二，由于若执行重复帧去除处理，则最初的1个以外的帧被全部去除，所以不执行间隔提取处理，或决定隔开适当的帧间隔来间隔提取。 

由此，可得到例如对运动解析用途有用的合成图像Gc。 

另外，上述实施方式示例的摄像装置100的构成是一例，不限于此。 

并且，示例摄像装置100作为动体图像抽取装置，但不限于此。也可将构成由摄像部1取得的动图像的多个帧输出到经USB端子6连接的外部设备，由该外部设备执行涉及图像合成处理的预处理、抽取处理和合成处理等各种处理。 

另外，在上述实施方式中，构成为通过由CPU71执行规定的程序等来实现作为第1算出部件、加法部件、第2算出部件、输出部件、第3算出部件、标准化部件、帧生成部件、合成部件、第1判断部件、第2判断部件、第1推定部件、第2推定部件、第4算出部件的功能，但不限于此。例如，也可由用于实现各种功能的逻辑电路等构成。

Claims (9)

1.一种图像合成装置，其特征在于，具备：

第1算出部件，其对多个帧按每个像素算出与背景图像相关联的差分强度；

加法部件，其按每个像素将由该第1算出部件算出的所述多个帧的所述差分强度相加；

第2算出部件，其对所述多个帧中任一的任意帧的各像素，按每个像素算出由所述第1算出部件算出的差分强度除以通过所述加法部件被相加的所述多个帧份的对应的像素位置的差分强度的相加值之后的值；

帧生成部件，其生成应由合成部件合成的帧，该帧通过对所述任意帧的各像素值乘以由所述第2算出部件按每个像素算出的值而生成；

合成部件，其合成由所述帧生成部件生成的多个应合成的帧；和

输出部件，其输出由该合成部件合成的合成图像。

2.根据权利要求1所述的图像合成装置，其特征在于，

所述第1算出部件算出所述帧中的各图像的色分量差分的加权平方和。

3.根据权利要求1所述的图像合成装置，其特征在于，

所述第1算出部件算出所述帧中的各图像的色分量差分的加权绝对值和。

4.根据权利要求1～3中任一项所述的图像合成装置，其特征在于，

所述第1算出部件还具备：

第3算出部件，其针对所述多个帧的每一个帧，算出该帧的背景区域的差分强度的代表值；和

标准化部件，其通过从所述多个帧的所述差分强度分别减去由所述第3算出部件算出的所述代表值来标准化该差分强度，进而在相减的结果为负值的情况下将标准化差分强度变为零。

5.根据权利要求4所述的图像合成装置，其特征在于，

还具备第1判断部件，其对所述多个帧，基于由所述第1算出部件算出的差分强度来区分背景区域与动体区域，基于该区分的结果，判断是否为应由所述合成部件合成的帧，

所述合成部件选择由所述第1判断部件判断为应由所述合成部件合成的、并由所述帧生成部件生成的帧作为应合成的帧来进行合成。

6.根据权利要求4所述的图像合成装置，其特征在于，

所述合成部件根据与所述多个帧中邻接的帧相关联的动体部分的代表值，选择应合成的帧并进行合成。

7.根据权利要求4所述的图像合成装置，其特征在于，

还具备第2判断部件，其基于由所述第1算出部件算出的差分强度来对各帧的背景区域和动体区域进行区分，对所述多个帧中邻接的帧的动体区域判断该动体区域的重叠部分是否超过规定比率，

当由所述第2判断部件判断为所述动体区域的重叠部分超过规定的比率时，所述合成部件选择与所述邻接的帧中任一帧相对应的、由所述帧生成部件生成的帧作为应合成的帧并进行合成。

8.根据权利要求1所述的图像合成装置，其特征在于，

还具备摄像部件，

所述多个帧通过连续地驱动所述摄像部件而得到。

9.一种图像合成装置，其特征在于，

具备：

第1算出部件，其对多个帧按每个像素算出与背景图像相关联的差分强度；

第1推定部件，其根据由所述第1算出部件算出的所述差分强度，推定所述差分强度的背景区域的噪声电平；

第2推定部件，其根据由所述第1推定部件推定的所述差分强度的背景区域的噪声电平，推定合成噪声电平；

第2算出部件，其将由所述第2推定部件所推定的所述合成噪声电平n_c乘以常数k后的值kn_c作为α值的分母最小值，按每个像素算出从该分母最小值减去由所述第1算出部件算出的差分强度的总和后的值与零中值较大的一方，来作为背景强度值；

第3算出部件，其将由所述第2算出部件算出的背景强度值与所述多个帧中成为背景的帧的、由所述第1算出部件算出的差分强度相加，从而来按每个像素更新并算出所述多个帧的所述差分强度；

相加部件，其按每个像素相加由该第3算出部件算出的所述多个帧的所述差分强度；和

第4算出部件，其针对所述多个帧中任一的任意帧的各像素，按每个像素算出由所述第3算出部件算出的差分强度除以通过所述相加部件被相加的所述多个帧份的对应的像素位置的差分强度的相加值而得到的α值；

帧生成部件，其生成应由合成部件合成的帧，该帧通过对所述任意帧的各像素值乘以由所述第4算出部件按每个像素算出的α值而生成；

合成部件，其合成由所述帧生成部件生成的多个应合成的帧；和

输出部件，其输出由该合成部件合成的合成图像。

Images