CN100351868C - 利用多帧图像的静止图像的生成 - Google Patents

Abstract

将多帧图像的一部分作为在静止图像的合成中使用的比较对象图像。将比较对象图像中的1个作为比较基准图像，1个作为对象图像，将比较基准图像和对象图像比较后求出参数。当该参数不满足给定的基准，则将对象图像从比较对象图像中除去。还有，从多帧图像中将任意数量的帧图像设定为比较对象图像，直到成为合成基准的基准图像和比较对象图像的合计数达到给定数量以上为止，进行上述比较。合成图像生成部(75)，将合计数在给定数量以上的比较对象图像和基准图像合成后生成静止图像。

Description

利用多帧图像的静止图像的生成

技术领域

本发明涉及一种将运动图像中含有的多帧图像合成后，生成静止图像的技术。

背景技术

过去，捕捉数字视频相机等摄影的运动图像的1个场景后，生成比帧图像更高分辨率的静止图像。这样的静止图像，通过使运动图像中含有的多帧的图像重叠合成而生成。

例如，根据特开2000-244851号公报，公开了一种技术，即从连续的(n+1)帧图像中选择1帧图像作为基准图像，分别算出其它的n帧图像(对象图像)相对于该基准图像的运动矢量，依据各运动矢量，合成(n+1)帧图像后生成静止图像。

而且，特开平6-350974号公报，提出了一种技术，即在通过隔行方式由运动图像生成静止图像的技术中，对于由隔行方式形成的2个半帧内，以1个半帧作为基准图像，另一个半帧作为对象图像，判断每个半帧中对象图像是否适合进行合成，假如适合则进行合成。一般地，考虑到假如增加合成的帧图像，会提高静止图像的画质，但即使增加合成的帧图像也未必能提高画质。以下，对其理由来说明。

图1为表示基准图像与合成对象图像的合成方法的说明图。图1的上段表示校正偏移量后配置基准图像和合成对象图像的样子。图1的下段表示基准图像、合成对象图像、和合成图像的各像素的位置关系。在图1的下段，“o”表示基准图像的像素。“·”表示合成对象图像的像素。虚线格子上附加阴影的圆圈，表示合成图像的像素。另外，该图中表示假定基准图像以及合成对象图像的分辨率相同，将帧图像的分辨率在x轴方向以及y方向增大1.5倍的情况。

这里，着眼合成图像的像素g1。该像素g1，与基准图像的像素t1一致。这种情况下，依据围住像素g1的合成对象像素的4个像素s1～s4的灰度值，采用双线性法求出像素g1的位置中的灰度值，通过将该灰度值和基准图像的像素t1的灰度值平均，决定像素g1的灰度值。

而且，合成图像的像素g2的灰度值，由以下的顺序来决定。即，首先，依据围住像素g2的基准图像的4个像素t2～t5的灰度值，采用双线性法求出像素g2的位置的灰度值。接着，依据围住像素g2的合成对象像素的4个像素s4～s7的灰度值，采用双线性法求出像素g2位置的灰度值。然后，通过将两者平均决定像素g2的灰度值。

关于其它的像素，也与以上说明的同样能够决定灰度值。这里，为容易理解，假定基准图像以及合成对象图像的分辨率相同进行说明，但在基准图像以及合成对象图像的分辨率不同的情况下，也可以适当地扩大或者缩小后进行同样的处理。

图2为表示基准图像和合成对象图像的偏移量为0的情况下的合成方法的说明图。图2的上段表示校正偏移量后配置基准图像和合成对象图像的样子。由于偏移量为0，因此基准图像和合成对象图像完全重合。图2的下段表示基准图像、合成对象图像、和合成图像的各像素的位置关系。由于基准图像和合成对象图像重叠，基准图像和合成对象图像的各像素，存在于相同的位置。

合成图像的像素g2的灰度值，由以下顺序来决定。即，首先，依据围住像素g2的基准图像的4个像素t2～t5的灰度值，采用双线性法求出像素g2的位置中的灰度值。其次，依据围住像素g2的合成对象像素的4个像素的s2～s5的灰度值，采用双线性法求出像素g2位置的灰度值。然后，通过将两者平均决定像素g2的灰度值。

由于像素t2～t5的灰度值与像素s2～s5的灰度值分别为同一值，依据像素t2～t5的灰度值，采用双线性法求出的像素g2的位置中的灰度值，和依据像素s2～s5的灰度值，采用双线性法求出的像素g2位置的灰度值，为相同的值。即，这些平均值，依据像素t2～t5的灰度值，采用双线性法求出的像素g2的位置中的灰度值，和依据像素s2～s5的灰度值，采用双线性法求出的像素g2的位置的灰度值相同。

即，在基准图像和合成对象图像的偏移量为0的情况下，即使进行合成处理，合成结果的图像和源图像并没有差别。偏移量小的时候也相同，合成结果的图像和源图像几乎没有差别。这些情况下，即使进行合成处理，不仅白白增加处理时间，而且无望飞跃性地提高画质。

发明内容

本发明针对上述课题，其目的在于在由运动图像中含有的多帧图像生成静止图像的情况下，有效地提高静止图像的画质。

为解决上述课题的至少一部分，本发明的图像生成装置，由在运动图像中包含的多帧图像生成比所述帧图像的分辨率高的静止图像，其特征在于包括：合成对象设定部，其将在所述多帧图像中包含在基准帧图像之外的帧图像中的区域中的至少一个以上区域，依据与所述基准帧图像内的基准帧图像区域的关系所设定的给定规则，设定成合成对象帧图像区域；比较基准抽出部，其从所述基准帧图像区域以及所述合成对象帧图像区域中抽出一个比较基准帧图像区域；对象抽出部，其从所述比较基准帧图像区域以外的合成对象帧图像区域中抽出一个对象帧图像区域；比较部，其将所述比较基准帧图像区域的像素值与所述对象帧图像区域的像素值作比较，求出所述比较基准帧图像区域与所述对象帧图像区域之间相对的图像偏移量；除去部，其当所述图像偏移量比给定阈值小的情况下，从合成对象帧图像区域中将所述对象帧图像区域除去；和合成图像生成部，其将所述基准帧图像区域与所述合成对象帧图像区域合成后生成合成图像区域。

这里，帧图像是指可由逐行方式(也叫非隔行方式)显示的静止图像。因此，在隔行方式的情况下，由不同光栅的多个半帧图像(奇数半帧和偶数半帧)构成的图像相当于本发明的帧图像，

根据本发明，将不满足给定基准的帧图像的区域从合成对象中除外，另外通过确保合成的帧图像区域的个数在给定个数以上，能够有效地提高合成图像的画质。这里所说的给定基准，例如当比较部求出的参数为图像偏移量时则指图像偏移量在阈值以上。详细后述。给定个数可任意设定，优选为2个以上。

合成对象设定部，可以将在运动图像中与基准帧图像按时间顺序连续的帧图像的区域，设定为连续多个合成对象帧图像区域，也可以相隔多个设定为合成对象帧图像区域。

进行合成图像生成部的图像合成处理，最邻近法或者双线性法、双三次法等，能够适用公知的各种图像插值方法。一般地，可高速处理的方法，由于步骤被简化，比步骤复杂的方法插值精度差，画质低劣。例如，最邻近法、双线性法、双三次法，按照该顺序步骤变复杂，处理时间变长。另一方面，则插补精度变高，画质提高。

合成图像生成部，在上述合成对象帧图像区域和上述基准帧图像区域的合计个数较多的情况下，根据最邻近法等进行高速合成处理，在较少的情况下，也可以根据双三次法等进行插补精度良好的合成处理。

上述图像生成装置也可以进一步包含：设定部，其在所述基准帧图像内，将成为合成基准的区域作为所述基准帧图像区域设定；和帧数控制部，其在所述基准帧图像区域和满足所述基准的合成对象帧图像区域的合计数达到给定数量以上为止，反复执行所述合成对象设定部、所述比较基准抽出部、所述对象抽出部、所述比较部和所述除去部的处理。

上述图像生成装置中，也可以进一步包括指定接受部，其接受所述基准帧图像的指定；所述设定部将接受指定的帧图像作为所述基准帧图像。

这样，用户从运动图像中选择想要作为静止图像的帧图像，作为基准帧图像。

在上述图像生成装置中，所述比较基准抽出部也可以将所述基准帧图像区域作为所述比较基准帧图像。

基准帧图像区域，由于作为合成基准的图像区域，首先优选基准帧图像区域作为比较基准帧图像区域。将基准帧图像区域作为比较基准帧图像区域，关于合成对象帧图像区域，判断是否值得合成，值得合成的合成对象帧图像区域中的一个，可以作为下一个比较基准帧图像区域。

例如，在帧图像区域1、帧图像区域2和帧图像区域3中，将帧图像区域1作为基准帧图像区域，帧图像区域2和帧图像区域3为合成对象帧图像区域。首先帧图像区域1作为比较基准帧图像区域，求出与帧图像区域2的偏移量，和与帧图像区域3的偏移量。求出的偏移量，分别为给定值以上的情况下，将帧图像区域2作为下一个的比较基准帧图像区域。

帧图像区域1和帧图像区域2的偏移量，帧图像区域1和帧图像区域3的偏移量，即使分别在给定值以上，在帧图像区域2和帧图像区域3的偏移量为0的情况下，不需要将帧图像区域1，2，3全部合成。即，只要合成帧图像区域1，2或合成帧图像区域1，3就可以了。将帧图像区域2作为比较基准帧图像区域，将帧图像区域3作为对象帧图像区域，就能够从合成对象中除去帧图像区域3。

上述图像生成装置中，也可以进一步包括排除部，其从所述合成对象帧图像区域中除去作为一个帧图像区域的特征满足给定条件的帧图像区域。

作为给定的条件，可举出例如，噪声大，焦点变模糊，手盖住镜头等颜色的灰度为异常等等。通过排除部，将这样的帧图像区域，能够预先从合成对象中除去。

图像偏移量，由例如手摇动或者相机的圈产生。如果图像偏移量过小，则合成对象帧图像区域几乎不能提高合成图像区域的画质。本发明中，能够将对于合成图像区域的画质的提高不太有用的合成对象帧图像区域从合成对象中除去。图像偏移量，可以是含有平移偏移量以及旋转偏移量的至少一方。平移偏移量，能够根据区块比对法，或梯度法、或将这些组合的方法等各种方法来检测。而且旋转偏移量，也能够根据几何学的计算来检测。当参数为图像偏移量时，则先前所述给定基准为图像偏移量在阈值以上等。

上述图像生成装置中，所述比较部也可以包括：帧偏移量计算部，其求出含有所述对象帧图像区域的对象帧图像与含有所述比较基准帧图像区域的比较基准帧图像之间的图像偏移量；和区域偏移量计算部，其依据所述帧偏移量计算部求出的图像偏移量，求出所述对象帧图像区域与所述比较基准帧图像区域之间的图像偏移量。

根据本发明，能够使区域的偏移量与帧图像的图像偏移量均能够简易地求出。帧图像的图像偏移量，即使含有旋转偏移量，作为各个区域的偏移量，也存在可以用平移偏移量近似的情况。而且，作为帧图像全体有不值得合成的图像，也有按照因分割成区域而成为合成中能够使用那样的情况。如果没有求出帧图像的图像偏移量，也可以直接计算区域的偏移量。

上述图像生成装置中，所述参数也可以为通过将所述对象帧图像区域与所述比较基准帧图像区域中相同位置的像素的特征量比较而得到的图像差值。

特征量，可以是颜色的灰度或亮度。本发明中，与比较基准帧图像区域比较后，能够将几乎没有图像差值的帧图像区域从合成对象中除去。即使合成相同内容的帧图像区域，由于仅仅得到相同内容的帧图像区域，没有提高画质，因此有将与比较基准帧图像区域相同内容的帧图像区域从合成对象帧图像区域中除去的意图。

本发明，在转换运动图像中的帧速率的情况等，相同内容的帧图像连续的情况下，由于相同内容的帧图像区域从合成对象中除去，因此特别有效。那样的情况下，不用计算偏移量，仅仅判断是否有图像差值，就能够判别是否值得合成，由于只要求出图像差值即可，因此变得简易。当参数为图像差值时，则先前所述的给定基准为图像差值不是0。

上述图像生成装置中，所述参数也可以为所述对象帧图像区域和所述比较基准帧图像区域中像素的特征量的平均值的比较。

本发明中，与比较基准帧图像区域进行比较后，能够将特征有差异的帧图像区域从合成对象中除去。如果在合成中使用与比较基准帧图像区域相比明显异常的帧图像区域，则合成帧图像的画质也变得异常，因此有从合成对象帧图像区域中将明显异常的帧图像区域除去的意图。

例如，在合成颜色明亮的场面的静止图像区域时，对将暗淡色调的帧图像区域从合成对象中除去的情况等尤其有效。那样的情况下，不用计算偏移量，仅计算特征量的平均值的差，就能够判别是否值得合成。由于只要求出特征量的平均值的差即可，因此变得简易。当参数为像素特征量的平均值的比较时，则先前所述的给定基准为像素的特征量的平均值的比较变大的情况。

上述图像生成装置中，所述基准帧图像区域和所述合成对象帧图像区域也可以为所述帧图像分别以相同形式被分割的区域；所述对象抽出部，抽出与所述比较基准帧图像区域对应的相同位置的对象帧图像区域。

根据本发明，对每个由相同形式分割帧图像的区域，都可以判别是否为合成对象。由于判别每个区域，均匀地从合成对象中除去的帧图像，在某些区域都能够作为合成对象。其结果，也能够提高合成图像的画质。

本发明，作为上述图像生成装置的构成之外，也能够作为图像生成方法的发明的构成。而且，实现这些的计算机程序、以及记录该程序的记录介质，在含有该程序的载送波内具体化的数据信号等都可以由各种形式实现。另外，在各个方式中，都适用先前所述的各种附加要素。

在本发明作为计算机程序或者记录该程序的记录介质等构成的情况下，可以作为控制图像生成装置的动作的程序全体而构成，也可以作为仅实现本发明的功能部分的构成。而且，作为记录介质，可以利用软盘、CD-ROM、DVD-ROM、光磁盘、IC卡、ROM盒、穿孔卡、条形码等符号的印刷物、计算机内部记忆装置(RAM或ROM等存储器)以及外部记忆装置等可计算机可读取的各种介质。

附图说明

图1表示基准图像和对象图像的合成方法的说明图。

图2表示基准图像和对象图像的偏移量为0的情况下的合成方法的说明图。

图3表示作为本发明的第1实施例的图像生成装置100的概要构成的说明图。

图4表示第1实施例中，合成多帧的图像，生成静止图像的样子概念说明图。

图5表示关于比较基准图像和对象图像的偏移量的说明图。

图6表示根据梯度法算出平移偏移量的方法的说明图。

图7表示旋转偏移的计算方法的说明图。

图8表示第1实施例中的静止图像生成处理的流程的流程图。

图9为表示帧图像的输入处理的流程图。

图10表示作为本发明的第2实施例的图像生成装置100A的概略构成的说明图。

图11表示关于比较基准图像和对象图像的区块的偏移量的说明图。

图12表示分割成块的帧图像的说明图。

图13表示第2实施例中的静止图像生成处理的流程的流程图。

图14表示全景图像生成的样子的说明图

具体实施方式

以下，关于本发明的实施方式，依据实施例按照以下顺序来说明。

A.第1实施例；

A1.图像生成装置的构成；

A2.静止图像的生成；

A3.偏移量的检测

A4.静止图像生成处理

B.第2实施例

B1.图像生成装置的构成

B2.区块的偏移量的检测

B3.静止图像生成处理

C.变形例

A.第1实施例

A1.图像生成装置的构成

图3表示作为本发明的第1实施例的图像生成装置100的概略构成的说明图。该图像生成装置100，为合成运动图像中含有的多帧图像后，生成比帧图像高分辨率的静止图像的装置。图像生成装置100，通过安装构成通用的电脑中给定的应用程序，在软件上具有图示的各功能块。

个人电脑，除包括CPU、ROM、RAM之外，还包括用于从硬盘、DVD-ROM、存储器卡等记录介质输入运动图像的接口等。而且，还具有播放所输入的运动图像的功能。

控制部10进行各部的控制。帧图像输入部20，输入运动图像中含有的帧图像。本实施例中，帧图像输入部20从在运动图像的播放中用户输入临时停止的指示的时间开始，输入在时间上连续的4帧图像。这里，输入的帧图像的数量，为静止图像的合成中使用的帧图像的数量。

帧图像输入部20，在输入4帧图像的同时，输入与其按时间序列连续的20帧图像，并另外在帧图像记忆部30中记忆。该20帧图像，当先前的4帧图像不适合静止图像的合成的情况下，为成为新合成的候补的预备帧图像。以下，20帧图像称作预备帧图像。而且，先前的4帧图像，称作选择帧图像。帧图像输入部20也进行将预备帧图像变更为选择帧图像的处理。

输入帧图像输入部20的帧图像的数量也可以由用户任意设定。而且，输入的帧图像也可以不是按时间序列连续。也可以将输入到命令输入部的时刻的帧图像作为2或者3帧图像，按时间序列连续后输入帧图像。

帧图像记忆部30，记忆输入帧图像输入部20的多帧图像。排除部50，在帧图像记忆部30记忆的选择帧图像中，在由帧单位评估的情况下除去异常的帧图像。例如，除去噪声较大的帧图像，或焦点模糊的帧图像，或手挡在镜头前等的颜色的灰度异常的选择帧图像。

在除去选择帧图像的情况下，帧图像输入部20，将新的预备帧图像变更为选择帧图像。变更的预备帧图像，为与成为之前的选择帧图像的图像按时间序列连接的预备帧图像。排除部50，判断成为新的选择帧图像的图像，排除异常的选择帧图像。最终根据排除部50在判断为正常的选择帧图像到达4个为止，反复操作选择帧图像的排除和从预备帧图像向选择帧图像的变更。

基准图像指定接受部25，将选择的帧图像显示在监视器上。用户从显示的选择帧图像中指定要作为基准图像的帧图像。基准图像指定接受部25，接受其指定。基准图像设定部40，将基准图像指定接受部25接受了指定的选择帧图像设定为基准图像。

另外，也可以不具有基准图像指定接受部25，而在选择帧图像内，设定将帧图像输入部20最初输入的选择帧图像作为基准图像。图像生成装置100内，分别关于选择帧图像，设置用于进行其特征量(例如边缘强度等)的解析的功能块，依据解析结果，进行基准图像的设定。

比较对象设定部45，在选择帧图像中，将基准图像以外的选择帧图像，设定为比较对象图像。比较基准图像设定部90，将基准图像或者比较对象图像中的一个，设定为比较基准图像。但是，最初将基准图像设定为比较基准图像。比较对象再设定部85，将比较基准图像以外的比较对象图像，再设定为比较对象图像。对象图像设定部65，将比较对象图像中的1个，作为下一个检测与比较基准图像的偏移量的对象，设定为对象图像。本实施例中，如后述，也可以将比较对象图像，按照帧图像输入部20输入(变更)的顺序，设定作为对象图像。

偏移量检测部60，检测对于基准图像的对象图像的偏移量。本实施例中，作为偏移量，为检测平移偏移量。关于该偏移量的检测，将在后述。除去部80，假如偏移量检测部60检测的偏移量不满足给定的基准，则将对象图像从比较对象图像中除去。

判断部70，判断比较基准图像和比较对象图像的合计数是否达到4个。在4个的情况下，合成图像生成部75，在进行分辨率转换的同时，按照补偿偏移量检测部60检测的偏移量的方式，将比较基准图像和比较对象图像合成后生成合成图像。成为合成时的基准，因基准图像，其合成方法与之前所述相同。但是，由于形成4个图像的合成，合成图像的各个像素中求出4个灰度值的平均。在没有成为4个的情况下，帧图像输入部再次将预备帧图像变更为选择帧图像。

A2、静止图像的生成

图4表示第1实施例中，合成多帧图像生成静止图像的样子的概念图。如先前所述，本实施例中，采用按时间序列连续的帧图像，生成静止图像。开头的帧图像1为根据基准图像设定部40设定的基准图像，从帧图像2到帧图像4为止为根据比较对象设定部45设定的比较对象图像。另外，任何一帧图像都是没有被排除部50排除的帧图像。

对步骤1进行说明。比较基准图像设定部90，首先将作为基准图像的帧图像1设定为比较基准图像。比较对象再设定部85，将比较基准图像以外的比较对象图像，即从帧图像2到帧图像4为止再设定为比较对象图像。对象像素设定部65，在比较对象图像中，首先将帧图像2作为对象图像。偏移量检测部60，检测比较基准图像(帧图像1)和对象图像(帧图像2)的偏移量。除去部80，判断其偏移量是否满足给定的基准。这里，作为未满足给定基准的用“×”符号图示。即，帧图像2，根据除去部80从比较对象图像中除去。

接着，对象像素设定部65，将帧图像3作为对象图像。然后检测比较基准图像(帧图像1)和对象图像(帧图像3)的偏移量，判断偏移量是否满足给定的基准。这里，满足给定基准的用“○”符号图示。即，帧图像3，没有被除去部80从比较对象图像中除去。然后，将帧图像4作为对象图像，检测比较基准图像(帧图像1)和对象图像(帧图像4)的偏移量。偏移量满足给定基准的用“○”符号图示。

对步骤2进行说明。步骤2，为在步骤1之后进行的处理。首先，比较基准图像设定部90，将没有由除去部80除去的比较对象图像(帧图像3和帧图像4)中的一个(帧图像3)，设定为比较基准图像。基准图像(帧图像1)，由于在步骤1已经成为比较基准图像，因此不能成为比较基准图像。为区别，将之前的帧图像1称作比较基准图像1、将帧图像3称作比较基准图像2。

然后，比较对象再设定部85，将该比较基准图像(帧图像3)以外的比较对象图像(帧图像4)，作为新的比较对象图像。这里，新的比较对象图像为1个，也有为多个的情况。

对象图像设定部65，将比较对象图像中的1个作为对象图像。必然将帧图像4作为对象图像。偏移量检测部60，检测比较基准图像2(帧图像3)和对象图像(帧图像4)的偏移量。除去部80，判断其偏移量是否满足给定的基准。未满足给定基准的用“×”符号图示。即，帧图像4，由除去部80从比较对象像素中除去。

其次，判断部70，判断比较基准图像和比较对象图像的合计数是否达到4个。判断部70，在偏移量检测后比较对象图像成为1个时进行判断。比较基准图像，由于帧图像1和帧图像3为2个，比较对象图像为0个，合计为2个。由此，由于不是4个，帧图像输入部20，按照帧图像的合计数为4个那样将预备帧图像变更为选择帧图像。即，将2个预备帧图像变更为选择帧图像。2个中，即使一方假如由排除部50被除去，也能再次进行帧图像的变更。

这样新输入的帧图像，为步骤3中图示的帧图像5和帧图像6。对步骤3进行说明。步骤3，为步骤2之后进行的处理。首先，比较对象设定部45，将帧图像5和帧图像6设定为比较对象图像。比较基准图像设定部90，将帧图像1作为比较基准图像1，比较对象再设定部85，将帧图像3、帧图像5、帧图像6作为比较对象图像。

然后，按照帧图像3、帧图像5、帧图像6的顺序设定为对象图像后检测偏移量。帧图像3、帧图像5、帧图像6中任何一个，偏移量均满足给定基准的用“○”符号图示。另外，帧图像1和帧图像3的偏移量检测结果，由于在步骤1有表示，因此省略步骤3的图示。

接着，比较对象图像(帧图像3、帧图像5、帧图像6)中的1个(帧图像3)作为比较基准图像2，剩余的比较对象图像(帧图像5、帧图像6)作为比较对象图像。然后，按照帧图像5、帧图像6的顺序设定为对象图像后检测偏移量。帧图像5、帧图像6中任何一个，偏移量均满足给定的基准的用“○”符号图示。

进一步，比较对象图像(帧图像5、帧图像6)中的1个(帧图像5)作为比较基准图像3，剩余的比较对象图像(帧图像6)作为比较对象图像。然后，将帧图像6设定为对象图像后检测偏移量。帧图像6的偏移量满足给定基准的用“○”符号图示。

偏移量检测后由于比较对象图像成为1个以下(帧图像6)，判断部70进行判断。比较基准图像为3个(帧图像1、帧图像3、帧图像5)和比较对象图像为1个(帧图像6)，合计为4个。由此，由于比较基准图像和比较对象图像的合计数为4个，合成图像生成部75，进行分辨率变换的同时，按照补偿偏移量检测部60检测的偏移量的方式，将比较基准图像和比较对象图像合成后生成静止图像。以下，对比较基准图像和对象图像的偏移量的检测进行说明。

A3、偏移量的检测

图5为表示对比较基准图像和对象图像的偏移量的说明图。比较基准图像的坐标(x1，y1)与对象图像的坐标(x2、y2)偏移。这里，作为偏移量采用平移偏移量(u、v)，和旋转偏移量δ。

本实施例中，比较基准图像和对象图像的平移偏移量，为根据梯度法求出。图6为根据剃度法表示平移偏移量的计算方法。图6(a)表示比较基准图像以及对象图像的像素以及亮度。图6(a)中，例如，(x1i，y1i)表示比较基准图像的像素的坐标值，B1(x1i，y1i)表示其亮度。而且，图6(b)表示梯度法的原理。

这里，对象图像的坐标(x2i、y2i)的像素，作为在比较基准图像的坐标(x1i～x1i+1，y1i～y1i+1)之间，即，在作为像素间的坐标的(x1i+Δx，y1i+Δy)之间来说明。

如图6(b)所示，假定：

Px＝B1(x1i+1，y1i)-B1(x1i，y1i)  …(1)

Py＝B1(x1i，y1i+1)-B1(x1i，y1i)  …(2)

并且假定：

B1＝B1(x1i，y1i)  …(3)

B2＝B2(x2i，y2i)  …(4)

则

Px·Δx＝B2-B1    …(5)

Py·Δy＝B2-B1    …(6)的关系成立。因此只要求出满足：

{Px·Δx-(B2-B1)}²＝0    …(7)

{Py·Δy-(B2-B1)}²＝0    …(8)的Δx、Δy即可。实际上，关于各像素，算出Δx、Δy后对全体求平均。

然后，如果考虑x方向以及y方向的双方，求出使

S²＝∑{Px·Δx+Py·Δy-(B2+B1)}²    …(9)最小的Δx、Δy则可。

另外，本实施例中，根据梯度法，算出平移偏移量，也可以按照采用区块比对(block matching)法、反复梯度法、以及它们的组合方法等其它的方法。

图7为表示旋转偏移量的计算方法的说明图。这里，比较基准图像和对象图像的平移偏移量已被校正。

如果距比较基准图像的坐标(x1，y1)的原点O的距离为r，距x轴的旋转角度为θ，则r、θ为：

r＝(x1²+y1²)^1/2     …(10)

θ＝tan^-1(x1/y1)    …(11)

这里，如果以原点O作为中心，使比较基准图像的坐标(x1，y1)仅旋转角度δ时，与对象图像的坐标(x2，y2)一致，则由于该旋转形成的x轴方向以及y轴方向的移动量，可根据

x2-x1≈-r·δ·sinθ＝-δ·y1  …(12)

y2-y1≈r·δ·cosθ＝δ·x1  …(13)求出。

因此，上述式(9)中的Δx、Δy，能够由

Δx＝u-δ·y1…(14)

Δy＝v+δ·x1…(15)来表示。

如果将这些代入上述式(9)，就能够得到

S²＝∑{Px·(u-δ·y1)+Py·(v+δ·x1)-(B2-B1)}²    …(16)

使上述式(16)的S2为最小的u、v、δ根据最小平方法求得，能够高精度地检测比较基准图像和对象图像的不足1个像素的平移偏移量以及旋转偏移量。另外，第1实施例中，帧之间的时间，由于微小因而没有考虑的旋转偏移量和缩放。由于没有考虑旋转偏移量，假定δ≈0，通过采用最小平方法求出使

S²＝∑{Px·u+Py·v-(B2-B1)}²    …(17)最小的u、v，并检测比较基准图像和对象图像的不足1个像素的平移偏移量。

A4、静止图像生成处理

图8为第1实施例中的静止图像生成处理的流程的流程图，为图像生成装置100的CPU执行的处理。

首先，帧图像输入部20，输入帧图像(步骤S20)。图9为表示帧图像的输入处理的流程图。帧图像输入部20，首先从运动图像输入4个选择帧图像和20个预备帧图像，并在帧图像记忆部中记忆(步骤S21)。

其次，排除部50，判断选择帧图像中的1个中是否有噪声较大、焦点模糊或者手挡住镜头前等造成颜色灰度异常等的异常(步骤S23)。假如为异常(步骤S23)，则将该选择帧图像从帧图像记忆部30中除去(步骤S24)，将预备帧图像变更为1帧选择图像(步骤S25)。直到判断所有的选择帧图像都为正常为止，从步骤S23到步骤S25为止反复操作。

基准图像指定接受部25，将所有的选择帧图像显示在监视器上(步骤S27)，从用户接受基准图像的指定(步骤S28)。基准图像的指定为1个。基准图像设定部40，将从用户接受指定的1个选择帧图像设定为基准图像(步骤S29)。然后，比较对象设定部45，将基准图像以外的选择帧图像设定为比较对象图像(步骤S30)。以上帧图像输入处理的说明便结束了，返回图8说明静止图像生成处理的流程。

接着，将基准图像或者比较对象图像中的1个设定为比较基准图像(步骤S35)，将比较基准图像以外的比较对象图像，再设定为比较对象图像(步骤S40)。然后，将比较对象图像中的1个，设定为对象图像，检测对于比较基准图像的对象图像的偏移量(步骤S50)。

但是，假如检测结果的偏移量为(u、v)的话，求出偏移量(Δu，Δv)，作为与(u，v)最相近的整数，与(u，v)的差的绝对值。例如，假如(u，v)＝(2.3，0.8)，由于与(u，v)最近的整数，为(2，1)，因此偏移量(Δu，Δv)＝|(2，1)-(2.3，0.8)|＝(0.3，0.2)。

接着，假如偏移量(Δu，Δv)为阈值(0.1，0.1)以下(步骤S55)，作为不值得合成的，则将对象图像从比较对象图像中除去(步骤S60)。对所有的比较对象图像假如没有检测与比较基准图像的偏移量(步骤S65)，则将下一个比较对象图像设定为对象图像，从步骤S45到步骤S60为止反复操作。

假如对所有的比较对象图像检测了与比较基准图像的偏移量(步骤S65)，则判断比较对象图像是否为1个以下(步骤S70)。假如不是1个以下，则将新的比较对象图像作为比较基准图像，则从步骤S35到步骤S65反复操作。

假如是1个以下步骤(S70)，则判断比较基准图像和比较对象图像的合成是否成为4个(步骤S75)。假如不是4个，则将不足的那部分的预备帧图像变更为选择帧图像(步骤S85)，关于新追加的旋转帧图像进行排除处理(图9的步骤S31)。然后，将新追加的选择帧图像设定为比较对象图像(步骤S86)。假如为4个，则将比较基准图像和比较对象图像合成后生成合成图像(步骤S80)。

根据以上说明的第1实施例的图像生成装置，将比较基准图像的偏移量较小的帧图像从合成对象中除去，并且通过确保另外合成的帧图像的数量为4，就能够有效地提高合成图像的画质。

B、第2实施例

B1、图像生成装置的构成

图10为表示本发明第2实施例的图像生成装置100A的概略构成的说明图。图像生成装置100A的构成，除具有分割部95以外，与第1实施例的图像生成装置100基本相同。另外，按照以下说明，第2实施例中，将对象图像分割成多个区块，按区块单位求出与比较基准图像的偏移量。然后，将与比较基准图像的偏移量较小的区块从合成的对象中除去。因此，分割部95将所有的选择帧图像按照区块为16×16个像素来分割。

B2、区块的偏移量的检测

图11为表示关于基准图像和对象图像的区块的偏移量的说明图，表示比较基准图像的坐标(x1，y1)与对象图像的坐标(x2，y2)偏移。第2实施例中，帧图像的偏移量由平移偏移量(u，v)和旋转偏移量δ这3个参数组成。

图12为表示分割成区块的帧图像的说明图，图中的帧图像，分割为5×8的区块。全体的帧图像，即使在按照图中箭头所述那样旋转的情况下，作为区块的偏移量也能够由平移偏移量(u，v)来表现。

具体讲，以图11的(xb，yb)为中心的区块的偏移量(ub，vb)为

(ub，vb)＝(u-ybδ，v+xbδ)

即，各区块的偏移量，只要根据帧图像的偏移量和旋转偏移量就可以计算。这里，各区块的偏移量只要根据帧图像的平移偏移量和旋转偏移量就可以计算，各区块的偏移量也可以直接检测。

B3、静止图像生成处理

图13为第2实施例中的静止图像生成处理的流程的流程图。图像生成装置100A的CPU执行处理。

第2实施例中，首先将所有的选择帧图像按照各个区块为16×16个像素进行分割(步骤S92)。然后，关于各区块，进行与第1实施例同样的处理(步骤S95～步骤S150)。即，将各区块看作独立的帧图像进行处理。此时，对选择帧图像内的相同位置的区块(选择帧图像1的第1区块，选择帧图像2的第1区块，选择帧图像3的第1区块，选择帧图像4的第1区块)进行处理。关于第2区块、第3区块…也同样，对全部的区块，反复进行从步骤S95到步骤S150为止的处理(步骤S155)。

但是，在将预备帧图像变更为选择帧图像(步骤S155)，进行排除处理后(步骤S30)，将选择帧图像设定为比较对象图像(步骤S156)，该比较对象图像也按照各区块为16×16个像素来分割(步骤S158)。

根据以上说明的第2实施例的图像生成装置100A，根据帧图像的图像偏移量，就能够简易地求出区块的偏移量。作为帧图像全体没有在合成中使用的图像，也有通过分割成区块而在合成中能够使用的情况。

C、变形例

以上，关于本发明的几个实施方式进行了说明，本发明并不限于这样的实施方式，在不脱离其主旨范围内可以按各种方式实施。例如，合成的帧图像的个数，偏移量的阈值可以设定为各种各样。还有，也可以将比较基准图像和对象图像中相同位置的像素的特征量之差的集合的图像差值、和像素的特征量的平均值之差，作为判断对象图像是否在合成中使用的基准。而且，也可以是以下所示变形例。

上述第1实施例的图像生成装置100，也能够进行全景图像的生成。图14为表示全景图像生成的样子的说明图。这里示出了将实线表示的5个帧图像1～5合成，抽出其一部分，生成虚线表示的全景图像的情况。在之前说明的以往的图像生成装置中，在以帧图像1作为基准图像时，由于没有与帧图像5重叠的区域，不能生成合成图像，但是，根据第1实施例的图像生成装置100，通过按照帧图像1→帧图像2→帧图像3→帧图像4变更比较基准图像，就可以合成更多的帧图像并生成全景图像。

本发明可适用于合成运动图像或静止图像的多帧图像的装置。

Claims (20)

1、一种图像生成装置，由在运动图像中包含的多帧图像生成比所述帧图像的分辨率高的静止图像，其特征在于，包括：

合成对象设定部，其将在所述多帧图像中包含在基准帧图像之外的帧图像中的区域中的至少一个以上区域，依据与所述基准帧图像内的基准帧图像区域的关系所设定的给定规则，设定成合成对象帧图像区域；

比较基准抽出部，其从所述基准帧图像区域以及所述合成对象帧图像区域中抽出一个比较基准帧图像区域；

对象抽出部，其从所述比较基准帧图像区域以外的合成对象帧图像区域中抽出一个对象帧图像区域；

比较部，其将所述比较基准帧图像区域的像素值与所述对象帧图像区域的像素值作比较，求出所述比较基准帧图像区域与所述对象帧图像区域之间相对的图像偏移量；

除去部，其当所述图像偏移量比给定阈值小的情况下，从合成对象帧图像区域中将所述对象帧图像区域除去；和

合成图像生成部，其将所述基准帧图像区域与所述合成对象帧图像区域合成后生成合成图像区域。

2、根据权利要求1所述的图像生成装置，其特征在于，进一步包括：

设定部，其在所述基准帧图像内，将成为合成基准的区域作为所述基准帧图像区域设定；和

帧数控制部，其在所述基准帧图像区域和满足所述基准的合成对象帧图像区域的合计数达到给定数量以上为止，反复执行所述合成对象设定部、所述比较基准抽出部、所述对象抽出部、所述比较部和所述除去部的处理。

3、根据权利要求2所述的图像生成装置，其特征在于，

进一步包括指定接受部，其接受所述基准帧图像的指定；

所述设定部将接受指定的帧图像作为所述基准帧图像。

4、根据权利要求1或者2所述的图像生成装置，其特征在于，

所述比较基准抽出部将所述基准帧图像区域作为所述比较基准帧图像。

5、根据权利要求1或者2所述的图像生成装置，其特征在于，

进一步包括排除部，其从所述合成对象帧图像区域中除去作为一个帧图像区域的特征满足给定条件的帧图像区域。

6、根据权利要求1或2所述的图像生成装置，其特征在于，所述比较部包括：

帧偏移量计算部，其求出含有所述对象帧图像区域的对象帧图像与含有所述比较基准帧图像区域的比较基准帧图像之间的图像偏移量；和

区域偏移量计算部，其依据所述帧偏移量计算部求出的图像偏移量，求出所述对象帧图像区域与所述比较基准帧图像区域之间的图像偏移量。

7、根据权利要求1或者2所述的图像生成装置，其特征在于，

所述参数为通过将所述对象帧图像区域与所述比较基准帧图像区域中相同位置的像素的特征量比较而得到的图像差值。

8、根据权利要求1或者2所述的图像生成装置，

所述参数为所述对象帧图像区域和所述比较基准帧图像区域中像素的特征量的平均值的比较。

9、根据权利要求1或者2所述的图像生成装置，其特征在于，

所述基准帧图像区域和所述合成对象帧图像区域，为所述帧图像分别以相同形式被分割的区域；

所述对象抽出部，抽出与所述比较基准帧图像区域对应的相同位置的对象帧图像区域。

10、一种图像生成装置，由在运动图像中包含的多帧图像生成比所述帧图像的分辨率高的静止图像，其特征在于，

通过对所述多帧图像中的一帧基准帧图像中所包含的成为合成基准的区域的基准帧图像区域的像素值、与在所述基准帧图像以外的所述多帧图像中所包含的区域中的一个比较对象帧图像区域的像素值进行比较而求出所述比较基准帧图像区域与所述对象帧图像区域之间相对的图像偏移量；

当所述图像偏移量比给定阈值小的情况下，从合成对象中将所述对象帧图像区域除去；

当所述图像偏移量比给定阈值大的情况下，合成所述基准帧图像区域和所述比较对象帧图像区域。

11、一种图像生成方法，由在运动图像中包含的多帧图像生成比所述帧图像的分辨率高的静止图像，其特征在于，包含：

步骤a，将在所述多帧图像中包含在基准帧图像之外的帧图像中的区域中的至少一个以上区域，依据与所述基准帧图像内的基准帧图像区域的关系所设定的给定规则，设定成合成对象帧图像区域；

步骤b，从所述基准帧图像区域以及所述合成对象帧图像区域中抽出一个比较基准帧图像区域；

步骤c，从所述比较基准帧图像区域以外的合成对象帧图像区域中抽出一个对象帧图像区域；

步骤d，将所述比较基准帧图像区域的像素值与所述对象帧图像区域的像素值进行比较，求出所述比较基准帧图像区域与所述对象帧图像区域之间相对的图像偏移量；

步骤e，当所述图像偏移量比给定阈值小的情况下，从合成对象帧图像区域中将所述对象帧图像区域除去；和

步骤f，将所述基准帧图像区域与所述合成对象帧图像区域合成后生成合成图像区域。

12、根据权利要求11所述的图像生成方法，其特征在于，进一步包含：

步骤g，在所述基准帧图像内，将成为合成基准的区域作为所述基准帧图像区域设定；和

步骤h，在所述基准帧图像区域和满足所述基准的合成对象帧图像区域的合计数达到给定数量以上为止，反复执行所述步骤a、所述步骤b、所述步骤c、所述步骤d和所述步骤e的处理。

13、根据权利要求12所述的图像生成方法，其特征在于，

进一步包含步骤i，接受所述基准帧图像的指定；

设定所述基准帧图像区域的步骤包含将接受指定的帧图像作为所述基准帧图像的步骤。

14、根据权利要求11或者12所述的图像生成方法，其特征在于，

所述步骤(b)包含将所述基准帧图像区域作为所述比较基准帧图像区域的步骤。

15、根据权利要求11或者12所述的图像生成方法，其特征在于，

包含从所述合成对象帧图像区域中除去作为一个帧图像区域的特征满足给定条件的帧图像的区域的步骤。

16、根据权利要求11或者12所述的图像生成方法，其特征在于，

所述步骤(d)包含：

求出含有所述对象帧图像区域的对象帧图像与含有所述比较基准帧图像区域的比较基准帧图像之间的图像偏移量的步骤；和

依据所述帧偏移量计算部求出的图像偏移量，求出所述对象帧图像区域与所述比较帧图像区域之间的图像偏移量的步骤。

17、根据权利要求11或者12所述的图像生成方法，其特征在于，

所述参数为通过将所述对象帧图像区域与所述比较基准帧图像区域中相同位置的像素的特征量比较而得到的图像差值。

18、根据权利要求11或者12所述的图像生成方法，其特征在于，

所述参数为所述对象帧图像区域和所述比较基准帧图像区域中像素的特征量的平均值的比较。

19、根据权利要求11或者12所述的图像生成方法，其特征在于

所述基准帧图像区域和所述合成对象帧图像区域，为所述帧图像分别以相同形式被分割的区域；

所述步骤c，抽出与所述比较基准帧图像区域对应的相同位置的对象帧图像区域。

20、一种图像生成方法，由在运动图像中包含的多帧图像生成比所述帧图像的分辨率高的静止图像，其特征在于，

通过对所述多帧图像中的一帧基准帧图像中所包含的成为合成基准的区域的基准帧图像区域的像素值、与在所述基准帧图像以外的所述多帧图像中所包含的区域中的一个比较对象帧图像区域的像素值进行比较而求出所述比较基准帧图像区域与所述对象帧图像区域之间相对的图像偏移量；

当所述图像偏移量比给定阈值小的情况下，从合成对象中将所述对象帧图像区域除去；

当所述图像偏移量比给定阈值大的情况下，合成所述基准帧图像区域和所述比较对象帧图像区域。

Images