CN102480595A - 图像处理设备、图像处理方法和计算机可读信息记录介质 - Google Patents

Abstract

本发明提供了一种图像处理设备、图像处理方法和计算机可读信息记录介质，其中，图像处理设备包括：获得部，被配置成获得包括由摄影部摄影得到的摄影对象的多幅图像；确定部，被配置成检测包括在由获得部获得的多幅图像中的第一图像与第二图像之间的位置偏移，并且确定第一图像是否适合用于与第二图像重叠；选择部，被配置成基于确定部的确定结果，从多幅图像中选择特定数量的图像；以及合成部，被配置成对由选择部选择的特定数量的图像进行合成。

Description

图像处理设备、图像处理方法和计算机可读信息记录介质

技术领域

本文中讨论的实施例涉及一种图像处理设备、图像处理方法和计算机可读信息记录介质。

背景技术

近年来，随着数码相机等的发展，由于数字图像处理而可以获得图像质量较好的图像。例如，在诸如数码相机的摄影设备中，设置了诸如稳像功能或噪声去除功能的校正处理，因而，改善了通过摄影设备的摄影而拍到的图像的图像质量。

作为稳像方法，存在光学地执行稳像的方法和通过图像处理执行稳像的方法。前一种方法使得机械地校正模糊，移动光学系统并因而实现稳像。该方法用于具有用于安装相关机构的安装空间的设备。与此相反，后一种方法使得通过图像处理实现稳像。因此，该方法适合于安装空间有限的设备。

例如，在数码相机或具有相机功能的蜂窝电话中，合成(重叠)利用短曝光时间连续拍到的图像。在利用短曝光时间这样拍到的图像中，与相机的运动等相关联的模糊的影响较小。然而，在这些图像中，光量较少。因此，合成通过连续拍摄而获得的图像，并且生成噪声已减小并且与相机的运动等相关联的模糊得到控制的图像。

图1A、图1B和图1C示出现有技术。图1A示出如下图像：由于曝光时间长，因此，模糊量大，结果，图像模糊。图1B示出利用短曝光时间通过连续拍摄而拍到的图像。利用短曝光时间拍到这些图像，因而，模糊量较小。然而，由于不能获得足够的光量，因此，图像较暗。图1C示出通过重叠(supersose)图1B的图像而获得的图像。可以通过重叠多幅图像来补偿光量的不足。

在通过图像处理进行稳像的这种技术中，基本处理包括要对多幅图像执行的位置调整处理和重叠处理。当未适当地执行位置调整处理时，图像劣化使得通过重叠处理获得的图像可能看上去模糊等。

未适当执行位置调整处理的一个原因可以是例如如下原因。由于在许多情况下基本上通过使用平移来执行位置调整，因此，不能对通过相机的包括旋转的运动所拍到的图像适当地执行位置调整。平移基本上用于执行位置调整的原因在于与执行旋转处理的情况相比，可以减小数据处理负荷。

因此，为了获得满意的合成图像，例如，由在曝光期间摄影器件的信号输出获得位置改变，作为基于位置改变合成图像的结果，执行稳像，并且校正未经合成的图像区域的图像数据(参见日本早期公开专利申请第2005-101837号(专利文献1))。

另外，获得相关联的多幅图像中的两幅图像之间的相对位移，在相对位移上具有低可靠性的图像不用于重叠处理，对在相对位移上具有高可靠性的图像进行合成，并且因而，执行适当的稳像(参见日本早期公开专利申请2007-272459(专利文献2))。

发明内容

本公开内容的一个实施例是一种装置，其包括：获得部，被配置成获得包括由摄影部摄影得到的摄影对象的多幅图像；确定部，被配置成检测包括在由获得部获得的多幅图像中的第一图像与第二图像之间的位置偏移，并且确定第一图像是否适合与第二图像重叠；选择部，被配置成基于确定部的确定结果，从多幅图像中选择特定数量的图像；以及合成部，被配置成对由选择部选择的特定数量的图像进行合成。

附图说明

图1A、图1B和图1C示出现有技术；

图2示出各个实施例共有的图像处理设备的配置的一个示例的框图；

图3示出实施例1中的校正处理部的配置的一个示例的框图；

图4示出实施例1中的确定部的配置的一个示例的框图；

图5示出电平差(level difference)与边缘强度之间的关系；

图6示出被执行边缘强度计算的像素的一个示例；

图7A和图7B示出噪声去除；

图8A、图8B和图8C示出实施例1中的图像合成的一个示例；

图9是示出实施例1中的图像处理的一个示例的流程图；

图10是示出实施例1中的重叠确定处理的一个示例的流程图；

图11示出实施例2中的校正处理部的一个示例的框图。

图12示出实施例2中的确定部的一个示例的框图；

图13示出特征点的一个示例；

图14A、图14B和图14C示出平均运动矢量与各个运动矢量之间的一致数较小的情况的示例；

图15A、图15B和图15C示出平均运动矢量与各个运动矢量之间的一致数较大的情况的示例；

图16A、图16B、图16C和图16D示出针对平均运动矢量与各个运动矢量之间的一致数较小的情况的重叠；

图17A、图17B、图17C和图17D示出针对平均运动矢量与各个运动矢量之间的一致数较大的情况的重叠；

图18是示出实施例2中的图像处理的一个示例的流程图；

图19是示出实施例2中的重叠确定处理的一个示例的流程图；以及

图20示出实施例1和2中的图像处理设备的硬件配置的一个示例。

具体实施方式

首先，在专利文献1中所讨论的技术中，在合成多幅图像之后，校正未被合成的图像区域的图像数据。因此，已被执行合成的区域与未被执行合成的区域之间可能出现差别。特别地，该差别对于处理细节图像的情况而言很可能变得显著。另外，通过专利文献2中所讨论的技术获得的合成图像可能使得无法确定不需要进一步的校正处理。

实施例旨在当使用多幅图像执行合成时获得更满意的图像，而无需在合成后执行进一步的校正处理。

接下来，将描述通过图像处理进行的一般稳像的前提。在通过图像处理进行的稳像中，为了尽可能多地缩短摄影时间，对通过连续拍摄而拍到的最小数量的图像执行稳像。已认为，稳像在连续拍摄大约六幅图像时是有利的，并且优选地避免进一步执行连续拍摄。缩短摄影时间的原因是防止因相机的运动而引起的模糊量在摄影期间增加。因此，通常为了在缩短以连续拍摄拍到的数量减少的图像的摄影时间的同时获得满意的图像而作出了努力。

另一方面，在以下所述的各个实施例中，缩短摄影时间并不是顾虑。这是因为在各个实施例中，从以连续拍摄拍到的多幅图像中选择能够适当合成的特定数量的图像，并且合成所选择的图像。因此，以连续拍摄拍到的图像的数量越多，获得的适合于合成的图像的组合数量就越大。在各个实施例中，可在已能够选择能够适当合成的特定数量的图像的情况下结束摄影。以下，将详细参照附图描述基于上述思想的各个实施例。

[实施例1]

<配置>

图2是示出各个实施例所共有的图像处理设备10的配置的一个示例的框图。在图2中，图像处理设备10包括透镜101、图像传感器102、摄影控制部103、AGC(自动增益控制)电路104、AD转换器(模数转换器、或“ADC”)105、图像处理部(其可被称为图像信号处理器(ISP))、图像存储部107和校正处理部108。

透镜101将来自摄影对象的光聚集到图像传感器102上。图像传感器102包括：光接收部(未示出)，其将经由透镜101从摄影对象接收到的光执行光电转换为电荷，并且储存电荷；以及信号输出部(未示出)，其输出所储存的电荷作为光电转换数据。

AGC电路104控制从图像传感器102输出的光电转换数据的增益。

ADC 105将增益被这样控制的(模拟)光电转换数据转换为数字信号。

图像处理部106基于ADC 105的输出生成图像数据。例如，基于从ADC 105输出的数字信号(也称为原始数据)，图像处理部106执行分色处理、用于线性表现显示的亮度的伽马校正处理、用于将白色表现为与温度无关的白色的白平衡控制处理等。通过分色处理，将输入信号转换成诸如YUV信号或RGB(红绿蓝)信号的特定形式。

图像处理部106对以连续拍摄拍到的图像执行亮度调整，并且从而，将图像转换成更亮的图像。例如，图像处理部106执行增益调整以使图像的最大亮度值变为特定亮度值，对全部图像执行增益调整，并且从而执行明度调整。

摄影控制部103响应于摄影指令，将包括针对摄影对象而计算出的曝光控制信息的控制信号输出到图像传感器102。图像传感器102通过摄影处理(包括光接收部和信号输出部执行的处理)得到多幅图像的图像数据。摄影控制部103在获得来自校正处理部108的控制信号时执行控制以结束连续拍摄。

图像传感器102通过摄影处理这样得到的多幅图像的图像数据经由AGC电路104、ADC 105和图像处理部106而被存储在图像存储部107中。

校正处理部108读取存储在图像存储部107中的多幅图像的图像数据，并且基于该图像数据，生成已经历稳像(合成)的一幅图像的图像数据。校正处理部108将所生成的图像数据输出到后一级的图像数据贮存存储器(未示出)。由校正处理部108执行的操作在以下描述的各个实施例之间是不同的。

在正执行连续拍摄的情况下，校正处理部108可在满足特定条件的情况下将用于结束摄影的控制信号输出到摄影控制部103。校正处理部108可以图像处理芯片的形式安装。

在以程序的形式实现摄影控制部103、图像处理部106和校正处理部108的情况下，执行摄影控制部103和图像处理部106的处理的CPU(中央处理单元)还可以是CPU，或者可以与执行校正处理部108的处理的CPU分离。可以图像处理程序的形式实现校正处理部108执行的处理。

图3是示出根据实施例1的校正处理部108的配置的一个示例的框图。如图3所示，校正处理部108包括获得部200、确定部201、选择部202和合成部203。

获得部200获得图像存储部107存储的多幅图像。例如，所获得的图像是通过连续拍摄的摄影而拍到的多幅图像。另外，当获得多幅图像时，获得部200可按顺序获得每个组合均具有特定数量(例如，2幅)图像的图像组合、或者每个组合均具有特定数量(例如，2幅)连续图像的图像组合。

确定部201确定多幅图像是否适合重叠。当将描述确定部201的配置(图4)时，将描述关于图像是否适合重叠的确定的特定方法。

选择部202选择确定部201已确定为适合重叠的特定数量的图像。特定数量例如是2至6中的任一个。选择部202可在这样选择特定数量的图像时将表示结束摄影的控制信号输出到摄影控制部103。摄影控制部103在接收到控制信号的情况下结束连续拍摄的摄影。

合成部203合成由选择部202选择的特定数量的图像。例如，合成部203对特定数量的图像中的对应像素进行平均。从而，生成合成图像。由于作为先前在连续拍摄的摄影时利用较短的曝光时间这样对图像进行摄影的结果，相机在每次曝光期间的运动减少，并且此外，因此可以通过图像的合成确保曝光时间，所以合成图像也是稳像后的图像。另外，由于对噪声进行平均以使得噪声变得难以察觉，因此，合成图像也是噪声校正后的图像。

接下来，将描述确定部201的配置和确定处理。图4是示出实施例1中的确定部201的配置的一个示例的框图。如图4所示，确定部201包括电平差计算部301、边缘强度计算部302、噪声去除部303和计数部304。将通过使用以下三个确定示例来描述确定部201的各个元件的处理：即，(1)仅使用电平差的确定，(2)使用电平差和边缘强度的确定，以及(3)在去除电平差的分布中所生成的噪声后要执行的确定。

(1)仅使用电平差的确定：

电平差计算部301计算多幅图像中的特定数量(例如，2幅)图像之间的各像素的电平差。一般来说，可以认为，当图像的位置偏移时，原始位置处的图像与偏移后的图像之间的各像素的电平差随着位置偏移增大而增大。因此，可以通过检测图像之间的各像素的电平差来检测图像之间的位置偏移。电平差例如是像素差值。电平差计算部301例如计算全部图像组合的电平差，每个组合均是通过从多幅图像中选择两幅图像而获得的。例如，当从10幅图像中选择2幅图像时，获得总共₁₀C₂个组合。

然而，一般来说，组合中连续的两幅图像彼此类似的概率高。因此，获得部200按顺序获得图像组合，每个组合均具有连续的两幅图像。此时，电平差计算部301可计算获得部200获得的每个组合中连续的两幅图像之间的电平差。例如，按顺序计算第一图像与第二图像之间的电平差、第二图像与第三图像之间的电平差...。电平差计算部301将所计算出的电平差输出到计数部304。获得部200可获得每个组合均具有连续的三幅以上的图像的图像组合。

电平差计算部301计算存在于图像1和图像2的对应位置处的各个像素之间的电平差Δa。在彩色图像RGB的情况下，假定图像1的各像素值为R₁、G₁、B₁，图像2的各像素值为R₂、G₂、B₂，并且像素位置是x和y。然后，通过以下公式(1)，可以计算电平差Δa。

Δa＝|R₁(x，y)-R₂(x，y)|+|G₁(x，y)-G₂(x，y)|+|B₁(x，y)-B₂(x，y)|...(1)

电平差计算部301将每个组合中的每个像素位置处的电平差输出到计数部304。

计数部304对每个组合中的图像之间的各像素的电平差等于或大于阈值(例如，5)的情况进行计数。计数部304将每个组合的计数值输出作为关于图像是否适合重叠的确定的确定结果。当计数值大时，这意味着图像不适合重叠。当计数值小时，这意味着图像适合重叠。

选择部202选择例如从确定部201获得的计数值最小的组合中的图像作为要用于重叠的图像。在这种情况下，假设特定数量为2。特定数量并不限于2。当获得部200获得连续的3幅图像时，特定数量可以为3等。在特定数量为3的情况下，计数部304可对连续的3幅图像中的第一图像与第二图像之间或者第一图像与第三图像之间每个均具有超过阈值(例如，5)的电平差的像素进行计数而不重复。从而，可以通过简单的方法选择适合重叠的图像，而不使用处理负荷。

(2)使用电平差和边缘强度的确定：

电平差计算部301计算多幅图像中的特定数量(例如，2幅)图像之间的各像素的电平差。电平差计算部301将所计算出的各像素的电平差输出到计数部304。

边缘强度计算部302计算从获得部200获得的图像的边缘强度。边缘强度是表示图像的一部分是否是具有高强度的边缘的度量。

图5示出电平差与边缘强度之间的关系。参照图5，现在将描述电平差和边缘强度。假设图像1与图像2之间的电平差为Δa(RGB值的差的绝对值的总和)，并且图像2中在特定位置(x，y)处的像素和与该特定位置相邻一个像素(x+1，y)的像素之间的电平差被称为边缘强度Δb。

此时，在边缘强度Δb较大的情况下，即使在位置偏移了较小量时，电平差Δa也变得较大。因此，考虑到边缘强度，可以适当地将图像之间的电平差评估为更大。例如，在边缘强度较大的情况下，增大阈值，并且在边缘强度小的情况下，减小阈值。从而，可以从计数目标中去除每个均具有由于边缘强度较大而变得更大的电平差的像素。

边缘强度计算部302计算目标像素与周围的4个像素之间的边缘强度。图6示出要用于边缘强度计算的像素的一个示例。如图6所示，假设3×3像素矩阵，并且假设中心像素为目标像素T。因而，在相应的x和y方向上在前后与目标像素T相邻的4个像素P1至P4用于评估。在RGB图像的情况下，并且假设图像2的各像素值是R₂、G₂、B₂，目标像素T的位置是x，y，并且相邻一个像素的像素的位置是x+1，y，边缘强度计算部302通过以下公式(2)计算边缘强度Δb。

Δb＝|R₂(x+1，y)-R₂(x，y)|+|G₂(x+1，y)-G₂(x，y)|+|B₂(x+1，y)-B₂(x，y)|...(2)

边缘强度Δb也是相邻像素之间的差。边缘强度Δb变得越高，边缘变得越大。另外，如图6所示，针对在目标像素T周围的四个相邻像素P1至P4中的每一个计算边缘强度Δb。作为目标像素T的边缘强度，可使用四个相邻像素P1至P4的四个值(四个值中的每个值均是目标像素T与四个相邻像素P1至P4中的相应一个之间的电平差的绝对值)的平均值等。边缘强度计算部302将所计算出的边缘强度输出到计数部304。关于边缘强度的计算细节，参见日本专利第4553942号。

当确定每个像素的电平差是否大于阈值时，计数部304根据边缘强度改变阈值。例如，在边缘强度较大的情况下，计数部304将阈值改变为更大的值，并且将电平差与阈值进行比较。从而，可以从计数目标中去除每一个均具有因为像素在边缘部分处、因此由于位置偏移而很可能变得更大的电平差的像素。为此目的，可通过如下函数来表示阈值：随着边缘强度增大，阈值也增大。对于该函数等，可通过实验等获得适当的公式，并且可应用该公式。计数部304将考虑了边缘部分的计数值输出到选择部202。

选择部202选择具有从计数部204获得的最小计数值的组合中的图像。从而，可以基于通过使用考虑边缘部分改变的阈值而获得的计数值，选择适合重叠的图像。

(3)在去除电平差的分布中所生成的噪声后要执行的确定：

如上所述，电平差计算部301计算多幅图像中的特定数量(例如，2幅)图像之间的各像素的电平差。电平差计算部301将所计算出的各像素的电平差输出到噪声去除部303。

噪声去除部303通过孤立点去除处理来去除在通过连续拍摄的摄影而拍到的图像中以分散方式生成的噪声。当通过亮度调整使利用短曝光时间拍到的图像更亮时，生成噪声。当电平差较大的区域较大时，电平差由于位置偏移而出现的概率高。当电平差较大的区域较小时，电平差由于噪声而出现的概率高。因此，在电平差较大的区域小的情况下，噪声去除部303使得从计数目标中去除电平差。

参照图7A和图7B，将描述噪声去除方法。图7A和图7B示出孤立点去除处理中的噪声去除。在图7A和图7B所示的示例中，在电平差不大于阈值的至少一个像素包括在被确定为具有大于预定值(例如，5)的电平差的目标像素的四个像素(上、下、右和左)中的情况下，噪声去除部303对电平差不大于阈值的像素开启(turn on)标记。为了容易理解，在该示例中将该标记表示为“×”。图7A和图7B仅表示每一个均具有大于阈值的电平差的像素。

图7A示出电平差较大的区域较小的情况的示例。如图7A所示，噪声去除部303对每一个均满足开启标记的上述条件的像素开启标记“×”。在图7A中，如所示的，对该区域的全部像素开启标记“×”。在这种情况下，为了去除被认为是孤立点的区域的目的，噪声去除部303减小标记被开启的像素的电平差(例如，使其为零)。从而，使得计数部304不能对该区域进行计数。

图7B示出电平差较大的区域较大的情况的示例。如图7B所示，噪声去除部303对每一个均满足开启标记的条件的像素开启标记“×”在图7B中，存在标记未被开启的4个像素。噪声去除部303减小标记被开启的像素的电平差，并且使得计数器304仅对标记未被开启的像素进行计数。

计数部304基于在这样去除了噪声后的各个像素的电平差执行计数。由此，由于计数部304基于在这样去除了噪声后的电平差执行计数，因此仅对纯粹由于位置偏移而出现的电平差进行计数的概率增大。计数部304将计数值输出到选择部202。

注意，计数部304可考虑由边缘强度计算部302计算出的边缘强度而改变阈值，如在“(2)使用电平差和边缘强度的确定”中所述。

另外，噪声去除部303可从计数部304获得由于电平差较大而已被计数的像素，对所获得的像素执行孤立点去除处理，对剩余像素计数，并且将计数值输出到选择部202。

选择部202选择从计数部304获得的计数值最小的组合中的图像。由此，可以基于通过在去除了噪声部分之后执行的计数获得的计数值选择适合重叠的图像。

确定部201可通过使用上述确定方法(1)至(3)中的任一种，执行关于图像是否适合重叠的确定。确定部202可输出例如计数值作为确定结果。

图8A、图8B和图8C示出根据实施例1的图像合成的一个示例。在图8A、图8B和图8C中所示的示例中，假设确定部202将图8A的图像与图8B的图像的组合选择为最适合重叠。

合成部203将图8A的图像与图8B的图像重叠在一起，并且生成合成图像。例如，作为对图像之间的对应像素进行平均的结果，合成部203生成合成图像。图8C示出合成图像。由于合成部203对从多幅图像得到的彼此类似的图像进行合成，因此，可以获得满意的合成图像，如图8C所示。

<操作>

接下来，将描述实施例1中的图像处理设备10的操作。图9是示出实施例1中的图像处理的一个示例的流程图。在图9的步骤S101中，图像传感器102在摄影控制部103的控制下获得短曝光时间的光电转换数据。在执行上述处理后，图像存储单元107存储这样获得的光电转换数据。

在步骤S102中，确定部201从获得部200获得多幅图像，并且对图像组合执行重叠确定，每个组合均具有特定数量的图像。多幅图像是通过例如在几秒内连续拍摄的摄影获得的图像。确定部201可使用上述的确定方法(1)至(3)中的任一种。以下将参照图10描述重叠确定处理。

在步骤S103中，选择部202从确定部201已执行重叠确定的图像组合中选择最适合重叠的图像组合。例如，选择部202获得通过确定部201执行的计数而获得的计数值作为重叠确定的确定结果，并且选择具有最小计数值的图像组合。

在步骤S104中，合成部203将选择部202选择的图像重叠在一起，并且生成合成图像。重叠的图像的数量不限于2个，并且适当的值可通过实验等获得和预先设置。

从而，替代最初通过摄影而仅拍到为了稳像要用于合成的多个图像并且生成合成图像，可以选择适合重叠的图像，并且生成合成图像。在该方法中，移除相对于特定图像具有较大位置偏移并因而可能引起图像质量劣化的图像而不用于重叠。因而，可以生成满意的合成图像。

图10是示出实施例1中的重叠确定处理的一个示例的流程图。在图10所示的示例中，使用上述的确定方法(3)。然而，可替代使用上述的确定方法(1)或(2)、或者另一确定方法。

在步骤S201中，电平差计算部301计算图像组合之一中的图像之间的各像素的电平差。

在步骤S202中，边缘强度计算部302通过使用例如像素之间的RGB值的差来计算边缘强度。

在步骤S203中，对于图像之间的各像素的电平差，噪声去除部303将大于阈值的孤立点确定为噪声，并且去除它们(参见图7A和图7B)。应注意，步骤S202与步骤203之间的顺序不受限制。

在步骤S204中，计数部304针对每个像素对从噪声去除部204获得的图像之间的各像素的电平差大于阈值的情况进行计数。根据边缘强度计算部302获得的像素的边缘强度改变阈值。

在步骤S205中，确定部201确定是否已对全部图像组合执行步骤S201至S204的处理。当已对全部图像组合完成处理时(步骤S205，是)，接着进行到步骤S206。当未对全部图像组合完成处理时(步骤S205，否)，接着，返回到步骤S201，并且对另一组合执行处理。

在步骤S206中，计数部304将通过对全部图像组合执行的计数获得的计数值输出到选择部202。注意，确定部201可获得多幅图像的全部组合的电平差。然而，作为替代，确定部201可获得仅特定数量(例如，2幅)连续图像的组合的电平差。这是因为连续的两幅图像彼此类似的概率更高。从而，可以增大处理速度。

因而，根据实施例1，当使用多幅图像并且执行图像的合成时，可以获得更满意的合成图像，而无需在重叠后执行校正处理。另外，根据实施例1，可以通过仅使用图像之间的电平差执行重叠确定，利用简单的方法选择适合重叠的图像。另外，根据实施例1，可以通过使用边缘强度执行电平差的比较、并且执行重叠确定，来选择更适合重叠的图像。另外，根据实施例1，可以基于通过噪声去除而获得的精确计数值确定图像是否适合重叠。这是因为在图像之间的电平差较大的区域满足特定条件的情况下，对具有电平差的像素进行计数。

[实施例2]

接下来，将描述实施例2中的图像处理设备10。实施例2中的图像处理设备10执行位置偏移校正并且接着执行重叠处理。从而，可以生成更满意的合成图像。

<配置>

实施例2中的图像处理设备的配置类似于图2所示的实施例1中的图像处理设备的配置。在实施例2中，校正处理部108的处理内容不同于实施例1的处理内容。因此，以下，将描述实施例2中的校正处理部108。

图11是示出实施例2中的校正处理部108的配置的一个示例的框图。如图11所示，实施例2中的校正处理部108包括获得部400、确定部401、选择部402、位置校正部403和合成部404。

获得部400具有与实施例1中的获得部200的功能相同的功能，因此，将省略对其的描述。

确定部401确定获得部400获得的多幅图像是否适合重叠。当将描述确定部401的配置(图12)时，将描述确定多幅图像是否适合重叠的具体方法。另外，确定部401通过获得图像之间的运动矢量来执行多幅图像中的图像之间的位置偏移检测(检测位置的偏移)。当将描述“(6)使用运动矢量的数量的确定”时，稍后将描述运动矢量。

与实施例1中相同，选择部402选择确定部401确定为适合重叠的特定数量的图像。与实施例1中相同，当已选择特定数量的图像时，选择部402可将表示结束摄影的控制信号输出到摄影控制部103。

位置校正部403通过使用如以上针对确定部401所述、作为确定部401执行位置偏移检测的结果而获得的图像之间的运动矢量，执行选择部402选择的图像之间的位置偏移校正。位置偏移校正还可被称为位置调整处理。

合成部404以将已经过位置偏移校正的特定图像与特定图像合成的这种方式，对选择部402选择的特定数量的图像进行合成。例如，合成部404对特定数量的图像中的对应像素进行平均。

接下来，将描述确定部401的配置和确定处理。图12是示出确定部401的配置的一个示例的框图。如图12所示，确定部401包括特征点提取部501、特征点强度计算部502、运动矢量计算部503和计数部504。将通过使用以下四个确定示例来描述确定部401的各个元件的处理：即，(4)使用特征点的数量的确定，(5)使用特征点强度的确定，(6)使用运动矢量的数量的确定，以及(7)使用运动矢量和平均运动矢量的确定。

(4)使用特征点的数量的确定：

特征点提取部501计算每个图像的像素的特征量，并且提取每个均具有超过阈值的特征量的像素作为特征点。例如，特征点是边缘的曲率较大的点或边缘相交的点。为了提取特征点，已提出诸如Moravec、Harris、SUSAN等算子、以及KLT(Kaneda-Lucas-Tomasi)。特征点提取部501通过使用这些已知技术的特征点提取方法，提取特征点。应注意，特征点提取部501可使用任意方法，只要可以提取特征点即可。

图13示出特征点的一个示例。在图13中，为了容易理解，特征点由圆圈表示。如图13所示，提取角部分等作为特征点。图13所示的示例仅示出特征点的一个示例，并且可提取其他点作为特征点。

特征点提取部501将所提取的特征点输出到计数部504和运动矢量计算部503。

计数部504对每幅图像的特征点进行计数，并且将每幅图像的特征点的数量(计数值)输出到选择部402。计数值被用作关于图像是否适合重叠的确定的确定结果。随着计数值越大，这意味着图像越适合重叠。随着计数值越小，这意味着图像越不适合重叠。

基于从计数部504获得的计数值，选择部402选择计数值大于其他图像的特定数量(例如，2幅)图像作为适合重叠的图像。由于具有许多特征点的图像是清晰图像，因此，作为实现处理速度的提高的简单方法，仅通过使用特征点的数量来确定图像是否适合重叠的方法是有利的。

(5)使用特征点强度的确定：

如上所述，特征点提取部501通过使用上述特征点提取方法中的任一种来提取特征点。特征点提取部501将所提取的特征点输出到计数部504和特征点强度计算部502。

特征点强度计算部502计算从特征点提取部501获得的特征点的特征量的强度。例如，可以例如通过创建期望值图(map)来计算特征点的强度。然后，特征点强度计算部502将特征量划分成数量与包括在期望值图中的像素的数量相同的块，并且将每个块中的特征量的最大值确定为该块的期望值。注意，期望值图的大小小于图像的大小。例如，期望值图的大小为图像的大小的1/4。在这种情况下，4×4个像素的特征量的最大值用作期望值图中的一个像素的期望值。期望值图的期望值表示特征点强度。关于计算特征点强度的方法的细节，参见日本专利第4142732号。

特征点强度计算部502可使计数部504以对表示特征点的数量的每个“1”加权的这种方式执行计数。例如，特征点强度计算部502将大权重施加到图像中与具有大期望值的像素对应的块中的特征点数量的每个“1”。特征点强度计算部502将小权重施加到图像中与具有小期望值的像素对应的块中的特征点数量的每个“1”。特征点强度计算部502将加权后的特征点的数量输出到计数部504。

计数部504针对每幅图像对加权后的特征点的数量进行计数，并且将计数值输出到选择部402。计数值被用作关于图像是否适合重叠的确定的确定结果。随着计数值越大，这意味着图像越适合重叠。随着计数值越小，这意味着图像越不适合重叠。

基于从计数部504获得的加权后的特征点的数量的计数值，选择部402选择计数值大于其他图像的特定数量(例如，2幅)图像作为适合重叠的图像。从而，很可能选择具有特征量大的特征点的图像，并且因而，可以选择更适合重叠的图像。

(6)使用运动矢量的数量的确定：

如上所述，特征点提取部501使用特征点提取方法中的任意一种提取特征点。特征点提取部501将所提取的特征点输出到计数部504和运动矢量计算部503。

运动矢量计算部503获得特征点提取部501针对每幅图像提取的特征点。运动矢量计算部504追踪两幅图像之间的对应特征点，并且计算运动矢量。例如，在Jianho Shi和Carlo Tomasi所写的文献“Good Featuresto Track”(IEEE Conference on Computer Vision and Pattern Recognition，第593-600页，1994)中阐述了一种追踪特征点的方法。

运动矢量计算部503将针对每幅图像所计算出的运动矢量输出到计数部504和位置校正部403。

计数部504针对每个图像组合对从运动矢量计算部503获得的运动矢量进行计数。计数值被用作关于图像是否适合重叠的确定的确定结果。计数值越大，图像越适合重叠。计数值越小，图像越不适合重叠。

基于从计数部504获得的运动矢量的计数值，选择部402选择具有最大计数值的图像组合作为适合重叠的图像。从而，可以执行运动矢量的数量较大的图像之间的位置偏移校正(稍后描述)，并且执行合成。

(7)使用运动矢量和平均运动矢量的确定：

特征点提取部501通过使用如上所述的特征点提取方法中的任一种来提取特征点。特征点提取部501将所提取的特征点输出到计数部504和运动矢量计算部503。

运动矢量计算部503获得特征点提取部501针对每幅图像提取的特征点。运动矢量计算部503追踪两幅图像之间的对应特征点，并且计算运动矢量。

运动矢量计算部503针对每个图像组合、根据所计算出的运动矢量获得总平均运动矢量。例如，总平均运动矢量是针对每个图像组合获得的运动矢量的平均值。运动矢量计算部503针对每个图像组合将所获得的平均运动矢量输出到计数部504。

计数部504针对每个图像组合对有多少运动矢量与从运动矢量计算部503获得的平均矢量相同进行计数。为此目的，计数部504可使用各个运动矢量的幅度分布和方向分布。这样获得的计数值被输出到选择部402。计数值被用作关于图像是否适合重叠的确定的确定结果。计数值越大，图像组合就越适合重叠。计数值越小，图像组合就越不适合重叠。

基于从计数部504获得的运动矢量的计数值，选择部402选择具有最大计数值的图像组合作为适合重叠的图像。这是因为每个运动矢量与平均运动矢量一致的事实意味着图像已进行了平移。因此，位置校正部403容易对图像执行位置调整。作为重叠位置已被适当调整的图像的结果，获得了满意的合成图像。

图14A、图14B和图14C示出各个运动矢量与平均运动矢量之间的一致数较小的示例。图14A示出通过摄影获得的第一图像，以及图14B示出通过摄影获得的第二图像。从图14A和图14B可以看出，相对于第一图像，第二图像中出现了包括旋转分量的位置偏移。图14C示出已从图14A所示的图像和图14B所示的图像获得运动矢量和平均运动矢量的示例。如图14C所示，在整幅图像中各个运动矢量mv与平均运动矢量MV之间的一致数较小。

图15A、图15B和图15C示出各个运动矢量与平均运动矢量之间的一致数较大的示例。图15A示出通过摄影获得的第一图像，以及图15B示出通过摄影获得的第二图像。如图15A和图15B所示，相对于第一图像，在第二图像中出现了由于平移导致的位置偏移。图15C示出已从图15A所示的图像和图15B所示的图像获得运动矢量和平均运动矢量的示例。如从图15C可以看出，整幅图像中各个运动矢量mv与平均运动矢量MV之间的一致数较大。在这种情况下，选择部402可选择图15A和图15B所示的图像组合。

接下来，将描述合成部404执行的重叠的示例。图16A、图16B、图16C和图16D示出针对各个运动矢量与平均运动矢量之间的一致数较小的情况的重叠示例。图16A、图16B、图16C分别类似于图14A、图14B、图14C。图16D示出利用图16A的图像与图16B的图像之间的平均运动矢量、通过重叠获得的图像。由于在图16A的图像与图16B的图像之间出现包括旋转分量的位置偏移，因此，位置校正部403不能适当地执行位置偏移校正。结果，合成部404获得的图16D的合成图像看上去似乎边界模糊。

图17A、图17B、图17C和图17D示出针对各个运动矢量与平均运动矢量之间的一致数较大的情况的重叠情况。图17A、图17B和图17C分别类似于图15A、图15B和图15C。图17D示出利用图17A的图像与图17B的图像之间的平均运动矢量、通过重叠获得的图像。由于在图17A的图像与图17B的图像之间出现了由于平移导致的位置偏移，因此，位置校正部403可以适当地执行位置偏移校正。结果，合成部404可以获得满意的合成图像(参见图17D)。

注意，同样在使用上述确定方法(4)和(5)的情况下，运动矢量计算部503计算要用于位置偏移校正的运动矢量，并且将运动矢量输出到位置校正部403。

<操作>

接下来，将描述实施例2中的图像处理设备10的操作。图18是示出实施例2中的图像处理的一个示例的流程图。在图18的步骤S301中，图像传感器102在摄影控制部103的控制下获得短曝光时间的光电转换数据。在执行了上述处理后，图像存储部107存储这样获得的光电转换数据。

在步骤S302中，确定部401从获得部400获得多幅图像，并且对图像组合执行重叠确定，每个组合均具有特定数量的图像。多幅图像是例如通过在几秒内连续拍摄的摄影而获得的图像。确定部401可使用上述的确定方法(4)至(7)中的任一种。稍后将参照图19描述重叠确定处理。

在步骤S303中，选择部402从已被确定部401执行重叠确定的图像组合中选择最适合重叠的图像组合。例如，作为重叠确定的确定结果，选择部402获得通过确定部401所执行的计数而获得的计数值，并且选择具有最大计数值的图像组合。

在步骤S304中，位置校正部403对选择部402选择的图像组合执行位置偏移校正(位置调整处理)。

在步骤S305中，在位置偏移校正部403对图像组合执行位置调整处理(步骤S304)之后，合成部403对选择部202选择的图像组合进行重叠，并且因而生成合成图像。要重叠的图像的数量例如为2。

由此，与实施例1中相同，替代为了稳像的目的而通过使用已通过摄影拍到的多幅图像的全部生成合成图像，可以选择适合重叠的图像，并且生成合成图像。注意，在实施例2中，通过上述处理，由于执行了位置调整处理并且接着执行重叠以生成合成图像，因此，可以生成更满意的合成图像。

图19是示出实施例2中的重叠确定处理的一个示例的流程图。在图19中所示的实施例中，使用了上述的确定方法(7)。然而，可以替代使用上述(4)、(5)和(6)中的任意一种确定方法、或者另一确定方法。

在步骤S401中，对于两幅图像的组合，特征点提取部501计算每个像素的特征量，并且基于特征量提取特征点。

在步骤S402中，运动矢量计算部503执行追踪两幅图像之间的特征点，并且计算运动矢量。

在步骤S403中，运动矢量计算部503获得所获得的运动矢量的平均运动矢量。

在步骤S404中，计数部504对每一个均与平均运动矢量一致的运动矢量的数量进行计数。

在步骤S405中，确定部401确定是否针对全部图像组合执行了步骤S401至S404的处理。当已针对全部图像组合完成处理(步骤405，是)时，接着进行到步骤S406。当未针对全部图像组合完成处理(步骤405，否)时，接着返回到步骤S401，并且对另一组合执行处理。

在步骤S406中，计数部504将通过对全部图像组合执行的计数获得的计数值输出到选择部402。注意，确定部401可对多幅图像的全部组合执行确定处理。然而，替代地，确定部401可仅对特定数量(例如，2幅)的连续图像的组合执行确定处理。这是因为连续的两幅图像彼此类似的概率更高。从而，可以提高处理速度。

因此，根据实施例2，当使用多幅图像并且执行图像的合成时，可以通过使用适合重叠的图像执行位置调整，获得更满意的合成图像。另外，根据实施例2，可以通过仅使用图像的特征点的数量执行重叠确定，利用简单的方法选择适合重叠的图像。另外，根据实施例2，可以通过使用特征点强度执行重叠确定，选择具有较大特征量的许多特征点的图像。另外，根据实施例2，可以通过仅使用图像之间的运动矢量的数量执行重叠确定，利用简单的方法选择适合重叠的图像。另外，根据实施例2，可以确定出现了平移的图像作为要用于重叠的图像，并且因而，可以通过使用图像之间的运动矢量和平均运动矢量执行重叠确定，生成满意的合成图像。

图20示出实施例1和实施例2中的图像处理设备10的硬件配置的一个示例。图20所示的图像处理设备10包括CPU 601、存储单元602、存储器603、读取单元604、通信接口606和输入/输出单元607。

CPU 601执行各个单元的控制，并且对数据执行算术和逻辑运算，并修改数据。CPU 601通过使用存储器603执行图像处理程序。

存储单元602是HDD(硬盘驱动器)等，存储关于应用软件的数据等。存储单元602存储例如图像处理程序。注意，存储单元602可以是外部存储单元。

例如，存储器603包括ROM(只读存储器)、RAM(随机存取存储器)等。存储器603存储或暂时保存作为基本软件的OS(操作系统)、CPU 601执行的应用软件等、以及数据。

读取单元604根据CPU 601的指令对便携式记录介质605进行存取。便携式记录介质605例如是半导体器件(PC卡等)、利用磁效应输入信息以及输出信息的介质、利用光效应输入信息以及输出信息的介质等。

通信接口606根据CPU 601的指令，经由通信网络发送和接收数据。在上述的各个实施例中，输入/输出单元607对应于相机、显示单元、接收用户的指令的器件等。

注意，在各个实施例的配置中，摄影控制部103、图像处理部106和校正处理部108可通过例如CPU 601和用作工作存储器的存储器603来实现。图像存储部107可通过例如存储单元602、存储器603等来实现。图像处理设备10可应用于数码相机、具有相机功能的蜂窝电话、或者具有相机功能的台式PC(个人计算机)。

上述的每个实施例中的图像处理程序均可以以下形式来提供。

-图像处理程序预先安装在存储单元602中。

-图像处理程序通过便携式记录介质605提供。

-图像处理程序从程序服务器610下载。

作为如上所述配置的图像处理设备10执行图像处理程序的结果，实现了每个实施例中的图像处理设备。

[变型实施例]

在上述实施例中，已假设为了位置偏移校正而检测平移分量来进行描述。然而，检测部和位置校正部可检测旋转分量和/或放大/缩小分量。

例如，执行根据旋转角和/或放大/缩小比来执行图像变换的仿射变换。该仿射变换通过以下公式(3)来执行：

$\left\{\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ 1\end{array}\right\}=\left\{\begin{array}{ccc}S\cos \mathrm{\&theta;}& -S\sin \mathrm{\&theta;}& \mathrm{dx}\\ S\sin \mathrm{\&theta;}& S\cos \mathrm{\&theta;}& \mathrm{dy}\\ 0& 0& 1\end{array}\right\}\left\{\begin{array}{c}x\\ y\\ 1\end{array}\right\}...\left(3\right)$

在公式(3)中，“dx”表示水平方向上的偏移量，“dy”表示垂直方向上的偏移量，以及“θ”表示旋转角，即，相机的滚动方向上的偏移。“S”表示在相机在远或近方向上移动时出现的放大/缩小比。(x，y)表示像素在变换前的坐标，并且(x’，y’)表示像素在变换后的坐标。关于通过执行仿射变换的图像合成的技术的细节，参见日本早期公开专利申请第2010-232710号。

另外，可使用以高精确性分离平移分量、旋转分量以及放大/缩小分量的技术。该技术提取相对于第一图像的中心对称的位置处的第一特征点和第二特征点，并且在第二图像中搜索第一特征点和第二特征点。在该技术中，接下来，通过使用从第一图像提取的第一特征点和第二特征点的坐标以及通过从第二图像中搜索而获得的第一特征点和第二特征点的坐标，检测偏移量。关于该技术的细节，参见国际公布单行本第WO 2010/100677号。

通过计算旋转分量，例如，运动矢量计算部503可在将所计算出的旋转分量与平均运动矢量相加后将平均运动矢量输出到计数部504。具体地，在公式(3)中，可将“0”设置为“dx”和“dy”，并且在已这样仅针对θ和S校正一幅图像的像素的坐标后获得的运动矢量可用于获得平均运动矢量。由此，计数部504可对考虑了旋转分量的平均运动矢量与各个运动矢量之间的一致数进行计数。因此，选择部402可选择具有旋转分量的图像组合作为适合重叠的图像。

另外，在每个实施例中，为了执行稳像的目的，使用通过连续拍摄获得的多幅图像。然而，还可以将每个实施例的特征应用于如下情况：从通过不是连续拍摄的摄影拍到的、存储在存储单元中的多幅图像中选择适合重叠的特定数量的图像。

另外，可以通过在已被执行根据实施例2的位置调整的图像之间应用实施例1，使用更类似的图像作为用于重叠的图像。

另外，对于每个实施例，已进行了如下描述：在可使利用短曝光时间通过摄影而拍到的各幅图像更亮后执行图像的合成。然而，还可以将每个实施例的特征应用于以下技术：其中，作为将利用短曝光时间通过摄影而拍到的多幅图像加在一起的结果，通过图像合成获得更亮的图像。在这种情况下，替代仅将暗的图像加在一起，优选地，在亮度调整不超过最大亮度值之后，将多幅图像加在一起。

上述每个实施例中的图像处理设备可用于对文档进行摄影并且获得其图像，利用该图像，可以准确地理解文档的内容。即，用户通过使用图像处理设备对于某一时间段对文档进行摄影。此时，生成具有满意图像质量的合成图像。因此，可以通过在将合成图像变换成PDF(可移植文档格式)后存储该合成图像，将图像用作文档的影印本。当将根据每个实施例的上述摄影用作一种摄影模式时，考虑了选择该摄影模式的用户希望获得具有满意图像质量的图像，而不是在短时间段内摄影。

根据每个实施例的图像处理设备能够通过在几秒内的连续拍摄获得几十幅图像。因此，通过选择适合重叠的图像并合成所选的图像，可以生成具有满意图像质量的合成图像。

本文中所述的全部示例和条件语言旨在帮助读者理解发明人对促进技术贡献的本发明和概念的教育目的，并且应解释为对这样具体详述的示例和条件没有限制，说明书中这样的示例的结构也不涉及表示本发明的优越性或劣势。尽管已详细描述本发明的实施例，但是应该理解，在不背离本发明的精神和范围的情况下，可以进行各种改变、替代和变更。

Claims (12)

1.一种图像处理设备，包括：

摄影部，被配置成对摄影对象进行摄影；

获得部，被配置成获得包括由所述摄影部摄影得到的所述摄影对象的多幅图像；

确定部，被配置成检测包括在由所述获得部获得的所述多幅图像中的第一图像与第二图像之间的位置偏移，并且确定所述第一图像是否适合与所述第二图像重叠；

选择部，被配置成基于所述确定部的确定结果，从所述多幅图像中选择特定数量的图像；以及

合成部，被配置成对由所述选择部选择的所述特定数量的图像进行合成。

2.根据权利要求1所述的图像处理设备，其中，

在选择了所述特定数量的图像的情况下，所述选择部被配置成将用于结束对所述摄影对象的摄影的控制信号输出到所述摄影部。

3.根据权利要求1或权利要求2所述的图像处理设备，其中，

所述确定部被配置成获得所述第一图像中的第一像素与所述第二图像中在与所述第一像素的位置对应的位置处的第二像素之间的电平差，并且对电平差大于阈值的像素的数量进行计数，其中，所述阈值根据所述第一图像与所述第二图像之间的边缘强度而改变，并且

所述选择部被配置成基于所述确定部计数的所述像素的数量而选择所述特定数量的图像。

4.根据权利要求3所述的图像处理设备，其中，

所述确定部被配置成对所述电平差大于所述阈值的每个像素执行孤立点去除处理，并且然后执行计数。

5.根据权利要求1所述的图像处理设备，其中，

所述确定部被配置成检测所述第一图像与所述第二图像之间的所述位置偏移，提取这些图像的特征点，并且基于提取结果而确定所述第一图像是否适合重叠。

6.根据权利要求5所述的图像处理设备，其中，

所述确定部被配置成对所述特征点的数量进行计数，并且

所述选择部被配置成基于通过所述确定部执行的计数而获得的计数值，选择所述特定数量的图像。

7.根据权利要求5所述的图像处理设备，其中，

所述确定部被配置成计算所述特征点的强度，并且对通过所述强度加权的所述特征点执行计数，并且

所述选择部被配置成基于通过所述确定部执行的计数而获得的计数值，选择所述特定数量的图像。

8.根据权利要求5所述的图像处理设备，其中，

所述确定部被配置成获得所述第一图像与所述第二图像之间的所述特征点的运动矢量，并且对所述运动矢量的数量进行计数，并且

所述选择部被配置成基于通过所述确定部执行的计数而获得的计数值，选择所述特定数量的图像。

9.根据权利要求5所述的图像处理设备，其中，

基于所述第一图像中的多个特征点和所述第二图像中的多个特征点，所述确定部被配置成计算所述多个特征点的各个运动矢量，并且基于所述各个运动矢量的幅度分布和方向分布而执行确定。

10.根据权利要求5所述的图像处理设备，其中，

所述确定部被配置成计算所述这些图像之间的所述特征点的运动矢量、以及作为所述运动矢量的平均值的平均运动矢量，并且对所述平均运动矢量与所述运动矢量之间的一致数进行计数，并且

所述选择部被配置成基于通过所述确定部执行的计数而获得的计数值，选择所述特定数量的图像。

11.一种图像处理设备中的图像处理方法，包括：

获得包括由摄影部摄影得到的摄影对象的多幅图像；

检测包括在通过所述获得而获得的所述多幅图像中的第一图像与第二图像之间的位置偏移，并且确定所述第一图像是否适合与所述第二图像重叠；

基于所述确定的确定结果，从所述多幅图像中选择特定数量的图像；以及

对通过所述选择而选择的所述特定数量的图像进行合成。

12.一种有形地实施图像处理程序的计算机可读信息记录介质，所述图像处理程序在由计算机处理器执行时执行图像处理设备使用的图像处理方法，所述方法包括：

获得包括由摄影部摄影得到的摄影对象的多幅图像；

检测包括在通过所述获得而获得的所述多幅图像中的第一图像与第二图像之间的位置偏移，并且确定所述第一图像是否适合与所述第二图像重叠；

基于所述确定的确定结果，从所述多幅图像中选择特定数量的图像；以及

对通过所述选择而选择的所述特定数量的图像进行合成。

Images