CN102741878A - 图像处理装置、图像处理方法以及图像处理程序 - Google Patents

Abstract

一种图像处理装置，该图像处理装置在每次输入第2图像时，将由一张图像构成或接合多个图像而构成的第1图像与所输入的该第2图像进行接合，逐次生成合成图像，其特征在于，该图像处理装置具有：重叠区域取得部(14)，其根据构成第1图像的图像中在第2图像之前刚输入的前一输入图像和第2图像，取得运动矢量，根据所取得的运动矢量，取得前一输入图像与第2图像重叠的重叠区域；亮度值转换系数计算部(16)，其根据重叠区域中的第1图像的亮度值和第2图像的亮度值，计算亮度转换系数，该亮度转换系数以使第1图像和第2图像的亮度值的变化减小的方式对第1图像或第2图像的亮度值进行转换；以及合成图像生成部(12)，其使用亮度转换系数对第1图像或第2图像进行转换，接合第1图像与第2图像而生成合成图像。

Description

图像处理装置、图像处理方法以及图像处理程序

技术领域

本发明涉及图像处理装置、图像处理方法以及图像处理程序。

背景技术

以往，作为图像处理装置，公知有接合所拍摄的图像而生成一张作为广角静态图像的全景静态图像的装置(例如参照专利文献1、2)。专利文献1、2所记载的图像处理装置在接合第1图像和第2图像时，在第1图像与第2图像重叠的区域内对小区域进行模板匹配而进行定位，进行2个图像重叠的区域中至少一个图像的像素值的灰度转换，对2个图像重叠的区域中的明亮度进行校正以使接缝不明显。

现有技术文献

专利文献

专利文献1：日本特开平9-321972号公报

专利文献2：日本特开平10-91765号公报

发明内容

发明要解决的课题

近年来，数字照相机广泛普及，而且也已应用于便携电话等移动设备中。在要求小型化的上述设备中，期望以较少资源进行高速的全景图像的生成处理。在上述专利文献1、2所记载的装置中，从处理高速化的观点来看存在改善的余地。

因此，本发明是为了解决这种技术课题而完成的，其目的在于，提供图像处理装置、图像处理方法以及图像处理程序，它们在接合曝光条件不同的图像时，能够以低负荷进行使图像的接缝不明显的处理。

用于解决课题的手段

即，本发明的图像处理装置在每次输入第2图像时，将由一张图像构成或接合多个所述图像而构成的第1图像与所输入的该第2图像进行接合，逐次生成合成图像，该图像处理装置具有：重叠区域取得部，其根据构成所述第1图像的图像中在所述第2图像之前刚输入的前一输入图像和所述第2图像，取得运动矢量，根据所取得的所述运动矢量，取得所述前一输入图像与所述第2图像重叠的重叠区域；亮度值转换系数计算部，其根据所述重叠区域中的所述第1图像的亮度值和所述第2图像的亮度值，计算亮度转换系数，该亮度转换系数以使所述第1图像和所述第2图像的亮度值的变化减小的方式对所述第1图像或所述第2图像的亮度值进行转换；以及合成图像生成部，其使用所述亮度转换系数对所述第1图像或所述第2图像进行转换，接合所述第1图像与所述第2图像而生成所述合成图像。

在本发明的图像处理装置中，重叠区域取得部根据第2图像和在第2图像之前刚输入的前一输入图像，取得运动矢量，根据所取得的运动矢量，取得前一输入图像与第2图像重叠的重叠区域，亮度值转换系数计算部根据重叠区域中的第1图像的亮度值和第2图像的亮度值，计算亮度转换系数，该亮度转换系数以使第1图像和第2图像的亮度值的变化减小的方式对第1图像或第2图像的亮度值进行转换，合成图像生成部根据亮度转换系数对第1图像或第2图像进行转换，接合两个图像。这样，通过利用运动矢量取得前一输入图像与第2图像的重叠区域，能够低负荷且高速地取得重叠区域的亮度值的信息。由此，在接合曝光条件不同的图像时，能够以低负荷进行使图像的接缝变得不明显的处理。

这里，优选的是，该图像处理装置具有亮度绝对值计算部，该亮度绝对值计算部根据所述重叠区域中的所述前一输入图像的亮度值的总和以及所述第2图像的亮度值的总和，计算所述第2图像的亮度绝对值，所述第2图像的亮度绝对值是所述第1图像中的规定的基准图像的亮度值的总和与所述第2图像的亮度值的总和之比，所述亮度值转换系数计算部根据构成所述第1图像的图像中与所述第2图像重叠的对象图像的所述亮度绝对值和所述第2图像的所述亮度绝对值，计算所述第2图像的亮度值转换系数，所述第2图像的亮度值转换系数取决于离所述对象图像与所述第2图像的接缝的距离。

通过这样地构成，能够根据亮度值的总和来计算亮度绝对值，使用该亮度绝对值计算亮度转换系数，所以，能够进行稳健的运算。并且，不使用构成第1图像的一个图像即计算亮度绝对值时作为基准的基准图像的亮度值的总和，而是根据前一输入图像的亮度绝对值来计算第2图像的亮度绝对值。即，不需要为了计算逐次输入的第2图像的亮度绝对值而始终记录基准图像的亮度值的总和。由此，能够减轻处理负荷。

并且，优选的是，所述亮度值转换系数计算部以使合成位置(合成场所内的预定位置)处的所述第2图像的权重与合成位置离接缝的距离成比例地增大的方式，计算所述亮度值转换系数。

通过这样地构成，能够对第2图像的转换后的亮度值进行校正，使得离接缝越远，越接近第2图像的原本的亮度值。

另外，可以是，合成图像生成部根据合成位置离接缝的距离来决定合成位置处的所述亮度值转换系数，根据所决定的所述亮度值转换系数导出对所述第2图像的亮度值进行转换的校正函数，根据所述校正函数和所述第2图像的亮度值，计算在合成位置处使用的所述第2图像的亮度值。

另外，优选的是，在转换前的像素值和转换后的像素值小于规定阈值的范围内，所述校正函数是将所述亮度值转换系数作为比例常数的一次函数，在转换前的像素值或转换后的像素值为规定阈值以上的范围内，所述校正函数是与截止于阈值的一次函数连续且通过最大像素值的一次函数。

这样，通过采用一次函数作为校正函数，能够抑制校正函数的计算成本。并且，在转换前的像素值或转换后的像素值为规定阈值以上的范围内，设校正函数为与截止于阈值的一次函数连续且通过最大像素值的一次函数，由此，能够抑制校正函数的计算成本，并生成自然的合成图像。

另外，优选的是，该图像处理装置具有中心位置取得部，该中心位置取得部根据构成所述第1图像的图像中在所述第2图像之前刚输入的图像和所述第2图像，取得运动矢量，根据所取得的所述运动矢量，取得作为构成所述第1图像的各个图像的中心点的第1中心点的位置信息以及作为所述第2图像的中心点的第2中心点的位置信息，所述合成图像生成部取得构成所述第1图像的图像中与所述第2图像重叠的图像的所述第1中心点，根据所取得的所述第1中心点的位置信息和所述第2中心点的位置信息，将所取得的所述第1中心点与所述第2中心点的垂直二等分线作为所述第1图像和所述第2图像的接缝进行接合，生成所述合成图像。

通过这样地构成，在逐次合成第1图像和所输入的第2图像时，能够将第1中心点与第2中心点的垂直二等分线作为图像的接缝，所以，能够高速且低负荷地实现逐次合成处理。进而，通过使用垂直二等分线，能够降低2个图像的偏移量，所以，能够提高合成图像的品质。

进而，优选的是，所述合成图像生成部使处于从所述第1图像与所述第2图像的接缝到相距规定距离的位置为止的、比所述重叠区域小的范围内的像素值，成为所述第1图像的像素值和所述第2图像的像素值的合成值。

通过这样地构成，使从接缝到相距规定距离的位置为止的像素值成为合成值，所以，能够使接缝不明显。并且，能够使用对亮度值进行转换后的第2图像来计算像素值的合成值，所以，能够避免亮度值的差分大幅变化。而且，能够分别独立地进行亮度值的调整处理和像素值的合成处理，所以，例如，通过缩小接缝附近的合成区域，能够降低处理负荷，并且，通过缩小第1区域，能够根据比对像素进行合成后的区域大的区域中的第1图像和第2图像的亮度值，对显著的第1图像和第2图像的亮度值的差分进行校正。

并且，本发明的图像处理方法在每次输入第2图像时，将由一张图像构成或接合多个所述图像而构成的第1图像与所输入的该第2图像进行接合，逐次生成合成图像，其特征在于，该图像处理方法具有以下步骤：重叠区域取得步骤，根据构成所述第1图像的图像中在所述第2图像之前刚输入的前一输入图像和所述第2图像，取得运动矢量，根据所取得的所述运动矢量，取得所述前一输入图像与所述第2图像重叠的重叠区域；亮度转换系数计算步骤，根据所述重叠区域中的所述第1图像的亮度值和所述第2图像的亮度值，计算亮度转换系数，该亮度转换系数以使所述第1图像和所述第2图像的亮度值的变化减小的方式对所述第1图像或所述第2图像的亮度值进行转换；以及合成图像生成步骤，使用所述亮度转换系数对所述第1图像或所述第2图像进行转换，接合所述第1图像与所述第2图像而生成所述合成图像。

根据本发明的图像处理方法，能够发挥与上述本发明的图像处理装置相同的效果。

并且，本发明的图像处理程序使计算机发挥如下功能：在每次输入第2图像时，将由一张图像构成或接合多个所述图像而构成的第1图像与所输入的该第2图像进行接合，逐次生成合成图像，其特征在于，该图像处理程序作为以下部分发挥功能：重叠区域取得部，其根据构成所述第1图像的图像中在所述第2图像之前刚输入的前一输入图像和所述第2图像，取得运动矢量，根据所取得的所述运动矢量，取得所述前一输入图像与所述第2图像重叠的重叠区域；亮度值转换系数计算部，其根据所述重叠区域中的所述第1图像的亮度值和所述第2图像的亮度值，计算亮度转换系数，该亮度转换系数以使所述第1图像和所述第2图像的亮度值的变化减小的方式对所述第1图像或所述第2图像的亮度值进行转换；以及合成图像生成部，其使用所述亮度转换系数对所述第1图像或所述第2图像进行转换，接合所述第1图像与所述第2图像而生成所述合成图像。

根据本发明的图像处理程序，能够发挥与上述本发明的图像处理装置相同的效果。

发明效果

根据本发明，在接合曝光条件不同的图像时，能够以低负荷进行使图像的接缝不明显的处理。

附图说明

图1是搭载了实施方式的图像处理装置的便携终端的功能框图。

图2是搭载有实施方式的图像处理装置的便携终端的硬件结构图。

图3是说明已经输入的图像与之后输入的图像的重叠区域的概要图。

图4是说明合成图像与之后输入的图像的重叠区域的概要图。

图5是说明已经输入的图像与之后输入的图像的中心点的距离的概要图。

图6是说明合成图像与之后输入的图像的中心点的距离的概要图。

图7是示出实施方式的图像处理装置的动作的流程图。

图8是说明已经输入的图像与之后输入的图像的合成的概要图。

图9是说明亮度绝对值的概要图。

图10是说明亮度转换系数的概要图。

图11是说明校正函数的概要图。

图12是说明校正函数的另一例的概要图。

图13是说明合成图像的概要图。

图14是说明合成图像与之后输入的图像的合成的概要图。

图15是说明合成图像的概要图。

具体实施方式

下面，参照附图对本发明的实施方式进行说明。另外，在各图中对相同或相当的部分标注同一标号，并省略重复的说明。

本实施方式的图像处理装置是在每次输入了输入图像时接合输入图像而逐次生成一张图像的装置，例如，适合应用于以下情况：实时地将连续拍摄的多个图像进行接合而生成比1张摄像图像更为广角的全景图像。本实施方式的图像处理装置适合搭载于例如便携电话、数字照相机、PDA(Personal Digital Assistant：个人数字助理)等资源有限的移动终端中，但不限于此，例如也可以搭载于通常的计算机系统中。另外，在以下说明中，考虑到说明理解的容易性，作为本发明的图像处理装置的一例，对搭载于具有照相机功能的便携终端中的图像处理装置进行说明。

图1是具有本实施方式的图像处理装置1的便携终端2的功能框图。图1所示的便携终端2例如是由用户携带的移动终端，具有图2所示的硬件结构。图2是便携终端2的硬件结构图。如图2所示，便携终端2在物理上构成为通常的计算机系统，其包含CPU(Central Processing Unit：中央处理单元)100、ROM(Read Only Memory：只读存储器)101和RAM(Random Access Memory：随机存取存储器)102等主存储装置、照相机或键盘等输入设备103、显示器等输出设备104、硬盘等辅助存储装置105等。通过在CPU 100、ROM 101、RAM 102等硬件上读入规定的计算机软件，从而在CPU 100的控制下使输入设备103和输出设备104工作，并进行主存储装置和辅助存储装置105中的数据的读出和写入，由此实现后述的便携终端2以及图像处理装置1的各功能。另外，在上述说明中，说明了便携终端2的硬件结构，而图像处理装置1也可以构成为包含CPU 100、ROM 101和RAM 102等主存储装置、输入设备103、输出设备104、辅助存储装置105等的通常的计算机系统。并且，便携终端2还可以具有通信模块等。

如图1所示，便携终端2具有照相机30、图像处理装置1以及显示部31。照相机30具有对图像进行摄像的功能。作为照相机30，例如使用摄像元件等。照相机30例如具有从通过用户操作等指定的定时起以规定间隔反复进行摄像的连续摄像功能。例如，用户可以摆动照相机30从而对至少上下左右重叠的连续图像进行摄像。而且，照相机30具有在每次摄像时向图像处理装置1输出所拍摄的图像的功能。

图像处理装置1具有：图像输入部10、中心位置取得部11、合成图像生成部12、中心位置存储部13、重叠区域取得部14、亮度绝对值计算部15以及亮度值转换系数计算部16。

图像输入部10具有输入由照相机30摄像的图像的功能。图像输入部10具有在每次摄像时输入由例如照相机30拍摄的图像的功能。并且，图像输入部10具有将最初输入的图像保存到便携终端2所具有的第1临时存储区域中的功能。并且，图像输入部10具有将从下次起连续输入的图像保存到便携终端所具有的第2临时存储区域中的功能。另外，如后所述，在每次输入新的图像时更新第2临时存储区域，第1临时存储区域以改写保存的方式存储每次输入图像时逐次合成的图像(中间合成图像)。另外，以下，将存储在第1临时存储区域中的图像设为第1图像、将存储在第2临时存储区域中的图像设为第2图像进行说明。

重叠区域取得部14具有根据所输入的图像和在其之前刚输入的图像(前一输入图像)来检测照相机的运动(运动矢量)的功能。并且，重叠区域取得部14具有根据所得到的运动矢量取得所输入的图像和在其之前刚输入的图像的重叠区域的功能。图3、4是说明重叠区域的概要图。如图3所示，能够根据照相机的运动计算出第1图像F1与第2图像F2的重叠区域R1。并且，如图4所示，在第1图像由多个图像F1、F2构成的情况下，能够根据照相机的运动计算出第2图像F3与在该第2图像F3之前刚输入的图像F2的重叠区域R2。另外，重叠区域R1、R2是矩形区域，其确定起来极其容易。而且，重叠区域取得部14具有向亮度绝对值计算部15输出重叠区域的信息的功能。

亮度绝对值计算部15具有计算所输入的图像的亮度绝对值的功能。亮度绝对值是以某个图像的亮度值为基准而计算出的亮度值。作为基准的图像没有特别限定，而这里，以最初输入并存储到第1临时存储区域中的第1图像为基准进行说明。并且，根据由重叠区域取得部14确定的重叠区域中的亮度值的总和来计算亮度绝对值。即，亮度绝对值计算部15计算重叠区域中包含的第2图像的亮度值的总和以及重叠区域中包含的前一输入图像的亮度值的总和，根据两者的亮度值的总和之比以及前一输入图像的亮度绝对值，计算第2图像的亮度绝对值。当设重叠区域中包含的第2图像的亮度值的总和为S₂、重叠区域中包含的前一输入图像的亮度值的总和为S₁、前一输入图像的亮度绝对值为H₁时，使用以下的式1来计算第2图像的亮度绝对值H₂。

$H_2=H_1\·\frac{S_2}{S_1}\·\·\·\left(1\right)$

另外，最初输入并存储到第1临时存储区域中的第1图像的亮度绝对值使用规定值，例如使用1。并且，亮度绝对值计算部15具有向亮度值转换系数计算部16输出所计算出的亮度绝对值的功能。

中心位置取得部11具有取得图像输入部10输入的图像(初始的第1图像或第2图像)的中心点的位置信息的功能。中心点是根据图像的外缘唯一决定的点。位置信息可以是与实际空间相关联的位置信息，也可以是在连续输入的图像之间相关联的相对位置信息。中心位置取得部11具有为了取得上述位置信息而根据所输入的图像和在其之前刚输入的图像来检测照相机的运动(运动矢量)的功能。并且，中心位置取得部11具有根据所得到的运动矢量和之前刚输入的图像的中心点的位置信息计算所输入的图像的中心点的位置信息的功能。另外，中心位置取得部11仅在最初输入的图像(初始的第1图像)中取得中心点的位置信息，而对于以后输入的图像(第2图像)，根据使用输入图像和刚输入之前的图像而得到的运动矢量来取得中心点的位置信息。例如，关于第n次(n＞1)输入的第2图像，使用该第2图像和第n-1次输入的第2图像取得运动矢量，根据所取得的运动矢量取得第n次输入的第2图像的中心点的位置信息。这里，中心位置取得部11也可以不使用之前刚输入的图像本身，而是缩小之前刚输入的图像，进而使用仅作为亮度要素的图像来计算运动矢量。通过这样对之前输入的图像进行加工并取得运动矢量，能够降低处理时间或处理成本。另外，以下，将构成第1图像的各个图像的中心点作为第1中心点、将第2图像的中心点作为第2中心点进行说明。进而，中心位置取得部11具有向合成图像生成部12输出所取得的中心点的位置信息的功能。

合成图像生成部12具有生成对所输入的图像(第2图像)和已经输入的图像(第1图像)进行接合后的合成图像的功能，具有距离计算部121和合成部122。

距离计算部121具有例如根据由中心位置取得部11取得的运动矢量来确定构成第1图像的图像中与第2图像重叠的图像的功能。而且，距离计算部121具有确定离与第2图像重叠的图像的规定位置最近的第1中心点并计算所确定的第1中心点与第2图像的第2中心点的距离的功能。这里，为了使上述计算处理高速化，规定位置可以是格子状排列的格点处的位置。例如，在合成图像(这里为第1图像)内排列格点作为上述的规定位置。而且，距离计算部121具有如下功能：在计算第1中心点与第2中心点的距离之前，针对每个格点确定离该格点最近的第1中心点，预先存储到中心位置存储部13中。即，在中心位置存储部13中，相关联地存储有第1图像中包含的格点和离该格点最近的第1中心点。该情况下，距离计算部121确定构成第1图像的图像中与所输入的第2图像重叠的图像，参照中心位置存储部13，取得离所确定的格点最近的第1中心点。另外，在构成第1图像的图像中与第2图像重叠的图像存在多个的情况下，有时最近的第1中心点因格点不同而不同。该情况下，距离计算部121计算对于每个格点不同的第1中心点与第2中心点的距离。距离计算部121具有向合成部122输出所计算出的距离的功能。并且，距离计算部121具有向亮度值转换系数计算部16输出在计算距离时使用的第1中心点和第2中心点的坐标信息等的功能。

亮度值转换系数计算部16具有计算对亮度值进行转换的校正函数的系数即亮度值转换系数的功能。亮度值转换系数计算部16具有如下功能：根据构成第1图像的图像中与第2图像重叠的对象图像的亮度绝对值和第2图像的亮度绝对值，计算取决于离对象图像与第2图像的接缝的距离的第2图像的亮度值转换系数。例如，亮度值转换系数计算部16根据第1中心点和第2中心点的位置信息，确定第1图像与第2图像的接缝即垂直二等分线。然后，亮度值转换系数计算部16使用以下的式2计算亮度值转换系数J。

$J=\frac{H_{\mathrm{ex}}}{H_2}=(H_f\·(1-\frac{D}{D_0})+H_2\·\frac{D}{D_0})\·\frac{1}{H_2}\·\·\·\left(2\right)$

这里，H_ex是合成位置(合成区域内的规定位置)处的亮度绝对值，H₂是第2图像的亮度绝对值，H_f是对象图像的亮度绝对值，D₀是从垂直二等分线到合成位置的最大距离(决定亮度转换区域的阈值)，D是从垂直二等分线到合成位置的距离。另外，在距离D＞D₀的情况下，合成位置位于对亮度值进行转换的区域外，所以，只要设为D＝D₀进行处理即可。这样，亮度值转换系数计算部16具有如下功能：以使合成位置处的第2图像的权重与合成位置离接缝的距离成比例地增大的方式，计算出亮度值转换系数。并且，亮度值转换系数计算部16具有如下功能：计算亮度值转换系数，以便对从垂直二等分线到最大合成位置D₀的像素范围的亮度值进行转换。亮度值转换系数计算部16具有向合成部122输出所生成的亮度值转换系数的功能。

合成部122具有根据由距离计算部121计算出的第1中心点与第2中心点的距离对第1图像和第2图像进行接合的功能。例如，合成部122具有如下功能：在合成图像内的规定位置，根据从该规定位置到最近的第1中心点与第2中心点的垂直二等分线的距离，决定该规定位置处的像素值。图5、6是说明第1中心点与第2中心点的垂直二等分线的概要图。如图5所示，能够在第1图像F1的第1中心点P1与第2图像F2的第2中心点P2之间引出垂直二等分线L1。然后，计算合成图像内的规定位置到垂直二等分线L1的距离，决定该规定位置处的像素值。并且，如图6所示，在第1图像由多个图像F1、F2构成的情况下，可针对每个第1中心点P1、P2引出与第2中心点P3的垂直二等分线L2、L3。这样，在存在多个第1中心点的情况下，能够引出多个垂直二等分线。然后，计算合成图像内的规定位置到垂直二等分线的距离，决定该规定位置处的像素值。

并且，合成部122具有在将第2图像与第1图像接合之前对第2图像的像素值进行转换的功能。例如，合成部122根据由亮度值转换系数计算部16计算出的亮度值转换系数J和从接缝到合成位置的距离D，决定该合成位置处的亮度值转换系数J。然后，合成部122根据所决定的亮度值转换系数J，导出对第2图像的亮度值进行转换的校正函数Y。校正函数Y没有特别限定，例如使用一次函数。然后，合成部122根据校正函数Y和第2图像的亮度值，计算在该合成位置使用的第2图像的亮度值。另外，合成部122在后述的图像合成处理之前执行第2图像的亮度值的变更处理。

并且，为了采用第1图像和第2图像中离合成位置最近的图像的像素值作为该合成位置的像素值，合成部122利用了到垂直二等分线的距离。换言之，合成部122使用从合成图像内的规定位置到垂直二等分线的距离，作为对输入图像的远近度进行评价的评价值。例如，合成部122利用以下的式3来评价输入图像的远近度T。

$T=\frac{A^2-B^2}{C}\·\·\·\left(3\right)$

这里，A是从合成预定的规定位置到第2中心点的距离，B是从合成预定的规定位置到最近的第1中心点的距离，C是从第1中心点到第2中心点的距离。

合成部122将由式1得到的远近度T作为评价值来决定合成位置(规定位置)处的像素值。例如，在从规定位置到垂直二等分线的距离大于规定值、且规定位置相比于第2中心点更接近第1中心点的情况下，合成部122将第1图像的像素值作为该规定位置的像素值。另一方面，在从规定位置到垂直二等分线的距离大于规定值、且规定位置相比于第1中心点更接近第2中心点的情况下，合成部122将第2图像的像素值作为该规定位置的像素值。而且，在从规定位置到垂直二等分线的距离为规定值以下的情况下，合成部122对第1图像的像素值与第2图像的像素值进行合成而作为该规定位置的像素值。合成的手法可以采用现有手法，例如使用这样的手法：将第1图像的像素值与第2像素的像素值的平均值或加权平均值作为该规定位置的像素值。这样，合成部122具有如下功能：以垂直二等分线为界，判断合成图像的规定位置更接近第1中心点和第2中心点的哪一方，判断采用第1图像和第2图像中的哪一方的像素值。而且，合成部122具有如下功能：在规定位置处于垂直二等分线附近的情况下，即，针对合成图像中离垂直二等分线的距离为规定值以下的规定位置，对第1图像的像素值和第2图像的像素值进行合成，由此，减小接缝的亮度差，生成不舒适感少的合成图像。即，如下所示将远近度T作为评价值来决定规定位置处的像素值。

另外，用于判断是否对像素值进行合成的规定值W例如使用16(像素)。该情况下，在以垂直二等分线为基准位于8个像素内的图像位置处，对第1图像的像素值和第2图像的像素值进行合成。并且，通过设规定值W为几个像素～十几个像素左右，能够成为比重叠区域小的范围。

在输入第2图像之前，合成图像内的格点以完全包含第1图像的方式排列成格子状。另一方面，在输入第2图像之后，新追加格点，使得格点不仅包含第1图像还包含第2图像。这样，通过采用格点作为规定位置，不需要针对合成图像中包含的全部位置(像素位置)计算离垂直二等分线的距离，所以，能够降低处理负荷。而且，合成部122通过参照中心位置存储部13，能够高速读取离格点最近的第1中心点。由此，不需要对过去合成的全部图像的第1中心点的位置与格点的位置进行比较，所以，能够降低占用内存量。而且，为了进一步实现高速化，合成部122具有如下功能：根据格点处的判定结果来决定被格点包围的块内的像素值。例如，合成部122具有如下功能：在合成图像内排列成格子状的格点处，根据从该格点到最近的第1中心点与第2中心点的垂直二等分线的距离，决定该格点处的像素值。而且，合成部122针对像素值被第1图像的格点包围的块(区域)采用第1图像的像素值。即，合成部122针对该块不进行任何处理，而是将下一个块作为处理对象。另一方面，合成部122针对像素值被第2图像的格点包围的块采用第2图像的像素值。即，合成部122针对该块直接复制第2图像。然后，在包围块的格点处的像素值不是全部为第1图像的情况下或者不是全部为第2图像的情况下，即在块与垂直二等分线相交的情况下，合成部122具有将该块内的像素值作为第1图像和第2图像的像素值的合成值的功能。该情况下，根据格点处的远近度T，以线性插值的方式求出块内的像素位置处的远近度T，利用上述评价方法进行评价，由此，能够恰当地确定要合成的像素位置。

另外，在上述说明中，考虑到说明理解的容易性，而分别说明了合成部122的像素值决定功能(决定在某个合成位置处是使用第1图像或第2图像中哪个图像的像素值、或者使用两个图像的平均值等的功能)和亮度值转换功能，并且，说明了在对亮度值进行转换之后决定像素值的例子，不过，也可以在决定了像素值之后对亮度值进行转换。进而，也可以构成为，通过使用于发挥两个功能的判定式成为一者，同时进行亮度值的转换和像素值的决定。

下面，说明同时进行亮度值的转换和像素值的决定的情况。式2中使用的距离D为式3中使用的远近度T的1/2。另外，将垂直二等分线上作为原点，当从垂直二等分线观察，合成位置位于第1图像侧时，距离D取正值，当从垂直二等分线观察，合成位置位于第2图像侧时，距离D取负值。因此，如下所示，可将距离D作为评价值来决定规定位置处的像素值，同时判断有无亮度转换。

另外，规定值W与将远近度T作为评价值的上述判定式中使用的规定值W相同，将规定值W和最大距离D₀预先设定成，使得W/2小于从垂直二等分线到合成位置的最大距离D₀。例如，作为用于判断是否进行合成的规定值W(第1阈值)，使用16像素，作为用于判断是否进行亮度转换的最大距离D₀(第2阈值)，使用输入图像的宽度的3/8。合成部122通过先以块为单位执行上述判定式，从而能够实现高速化。合成部122针对每个像素位置计算合成比率(混合比率)、亮度转换值，所以，像素值和亮度值的变化方式各自独立。但是，由于能够同时进行距离的计算以及像素值决定处理，因此，通过使用上述判定式能够实现高速化。

并且，合成部122具有在通过上述处理生成了合成图像之后更新针对每个格点记录的最近的第1中心点的功能。例如，有时对第1图像和第2图像进行接合而生成了合成图像，而有时根据该合成图像内包含的格点的不同而变更了最近的第1中心点。因此，通过在执行接合处理之后进行更新最近的第1中心点的处理，能够维持最近的第1中心点的正确信息。

而且，合成部122在第1临时存储区域中改写保存对第1图像和第2图像进行接合而生成的合成图像。这样，合成部122在第1临时存储区域中保存最新的合成图像。即，在存在接着输入的第2图像的情况下，针对最新的合成图像(中间合成图像)执行接合第2图像的处理。这样，合成部122不是记录保持全部的合成对象的图像进行参照，而是逐次合成所输入的图像，由此，能够以较少的存储量合成图像。并且，合成部122具有向显示部31输出存储在第1临时存储区域中的合成图像的功能。显示部31与合成图像生成部12连接，具有向用户报知所输出的合成图像的功能。作为显示部31，例如使用液晶显示器等。

接着，说明本实施方式的图像处理装置1的动作。图7是示出本实施方式的图像处理装置1的动作的流程图。例如，在接通便携终端2的摄像功能的时刻执行图7所示的控制处理，并以规定周期反复执行。另外，考虑到说明理解的容易性，参照图8～15所示的图对图像处理装置1的动作进行说明。图8、13是将一个图像与已经输入的一个图像接合时的概要图，图9是说明亮度绝对值的概要图，图10是说明亮度值转换系数的概要图，图11、12是说明校正函数的概要图，图14、15是将一个图像与已经输入并合成后的图像接合时的概要图。

如图7所示，最初，图像处理装置1执行初始处理(S12)。如图6所示，图像输入部10从照相机30输入图像F1，作为第1图像F1存储到第1临时存储区域中。然后，中心位置取得部11取得第1图像F1的中心点即第1中心点P1的位置信息。然后，合成图像生成部12以包含第1图像F1的方式在合成场所(合成图像)中按格子状配置格点K_n(n：整数)。然后，合成图像生成部12确定第1中心点P1作为离格点K_n最近的第1中心点，将第1中心点P1分别与格点K_n关联起来而记录到中心位置存储部13中。以上，结束初始处理。当S12的处理结束后，转移到第2图像的输入处理(S14)。

在S14的处理中，图像输入部10从照相机30输入图像F2，作为第2图像F2存储到第2临时存储区域中。另外，这里，第2图像F2是在与第1图像F1的摄像位置不同的摄像位置拍摄的同一大小的图像，是具有与第1图像F1重叠的重叠区域的图像。当S14的处理结束后，转移到中心点位置取得处理和重叠区域取得处理(S15、S17)。在此后并行地进行中心点位置取得处理和重叠区域取得处理。首先从中心点位置取得处理进行说明。

在S15的处理中，中心位置取得部11取得第2图像F2的中心点即第2中心点P2的位置信息。例如，中心位置取得部11根据第1图像F1和第2图像F2的运动矢量，取得第2中心点P2的位置信息。当S15的处理结束后，转移到中心点间的距离取得处理(S16)。

在S16的处理中，距离计算部121根据在S12的处理中得到的第1中心点P1的位置信息、以及在S16的处理中得到的第2中心点P2的位置信息，计算第1中心点P1与第2中心点P2之间的距离。如图8所示，计算第1图像F1的第1中心点P1与第2图像F2的第2中心点P2的距离C。通过计算中心点间的距离C，能够评价离第1中心点P1与第2中心点P2的垂直二等分线L1的距离，将该垂直二等分线L1作为图像F1与图像F2的接缝。当S16的处理结束后，转移到亮度值转换系数计算处理(S19)。

另一方面，在S17的处理中，重叠区域取得部14取得在S12的处理中输入的第1图像与在S14的处理中输入的第2图像的重叠区域。例如，重叠区域取得部14根据第1图像F1和第2图像F2的运动矢量，取得重叠区域R1。当S17的处理结束后，转移到亮度绝对值的计算处理(S18)。

在S18的处理中，亮度绝对值计算部15根据在S17的处理中取得的重叠区域R1，计算亮度绝对值H。图9是示出各图像的合成位置处的亮度值的曲线图，横轴为合成场所位置，纵轴为亮度值。如图9所示，设第1图像F1与第2图像F2在重叠区域R1中重叠。这里，将最初输入的第1图像F1作为基准，设第1图像F1的亮度绝对值H₁为1。并且，这里，设第1图像F1在重叠区域R1中的像素值的总和S₁与第2图像F2在重叠区域R1中的像素值的总和S₂之比(S₂/S₁)为1.2。该情况下，亮度绝对值计算部15使用上述式1，计算第2图像F2的亮度绝对值H₂而得到1.2。当S18的处理结束后，转移到亮度值转换系数计算处理(S19)。

在S19的处理中，亮度值转换系数计算部16根据在S15、S16的处理中取得的中心点的位置信息，确定第1中心点和第2中心点的垂直二等分线。然后，亮度值转换系数计算部16根据在S18的处理中确定的第2图像F2的亮度绝对值H₂、以及保存在亮度绝对值存储部中的第1图像F1的亮度绝对值H_f，计算亮度值转换系数J。例如，亮度值转换系数计算部16在计算亮度值转换系数J之前，预先在亮度绝对值存储部中保存第1图像F1的亮度绝对值H_f。亮度值转换系数计算部16在合成之后，将在绝对亮度值存储部中对第2图像F2的亮度绝对值H₂乘以亮度值转换系数J而得到的转换后的亮度绝对值作为亮度绝对值H_f，保存到第1图像F1的亮度绝对值存储部中。图10是说明第2图像的亮度值转换系数J的决定处理的概要图。这里，例如，设构成第1图像F1的某个图像的亮度绝对值H_f为1.1、接着该图像输入的第2图像F2的亮度绝对值H₂为1.2。该情况下，关于位于垂直二等分线L1上的合成位置G1，由于离垂直二等分线L的距离D为0，所以，亮度值转换系数计算部16使用式2计算亮度值转换系数J计算而得到0.92。而关于合成位置G2，在设输入图像的权重D/D₀为0.7的情况下，使用式2计算亮度值转换系数J而得到0.97。进而，关于合成位置G3，由于D＞D₀，所以，设输入图像的权重D/D₀为1，使用式2计算亮度值转换系数J而得到1.00。当S19的处理结束后，转移到合成处理(S20)。

在S20的处理中，合成部122设定校正函数Y而对第2图像进行校正，然后，对图像F1和图像F2进行接合而生成合成图像。最初，从校正函数Y的设定进行说明。图11、图12是说明校正函数Y1、Y2的概要图，横轴表示输入像素值，纵轴表示最终像素值。即，校正函数Y1、Y2是在给出输入像素值时返回最终像素值的值的函数。合成部122将亮度值转换系数J作为校正函数Y1、Y2的斜率、即将亮度值转换系数J作为一次函数的比例常数，来设定校正函数Y1、Y2。例如，图11的校正函数Y1是设亮度值转换系数J＝1.15的例子，例如，图11的校正函数Y2是设亮度值转换系数J＝0.80的例子。

这里，在设校正函数为一次函数的情况下，与亮度值转换系数J的大小无关，输入像素值越大，输入像素值与最终像素值之差越大。例如，在设输入像素值为“50”、“220”的情况下，在校正函数Y1中，作为最终像素值，分别被转换为“58”、“253”，其差为“8”、“33”。并且，在校正函数Y2中，作为最终像素值，被转换为“40”、“176”，其差分别为“10”、“44”。这样可知，输入像素值越大，输入像素值与最终像素值之差越大。并且，在校正函数Y1中，针对某个值以上的输入像素值，最终像素值恒定为255，可能无法确切地表现原来的像素值的信息。因此，例如图12所示，在转换前的像素值或转换后的像素值为规定阈值以上的范围内，合成部122使校正函数Y1、Y2在阈值的交点处弯折，使得最终通过最大像素值(255)。即，在从0到阈值的范围内，成为将亮度值转换系数J作为斜率的一次函数，在从阈值到最终像素值的范围内，成为与截止于阈值的一次函数连续且通过最大像素值的一次函数。由此，能够避免无法确切地表现原来的像素值的信息的现象。

合成部122在设定校正函数Y之后，输入第2图像，对像素值进行转换。另外，这里所说的像素值例如由YUV空间来表示，通过对亮度值进行变更，像素值也被变更。

接着，合成部122对图像F1和转换后的图像F2进行接合而生成合成图像。如图8所示，第1图像F1和第2图像F2配置在合成图像的坐标空间内。而且，第2图像F2中不与第1图像F1重叠的区域没有配置格点K_n，所以，新追加格点K_m(m：整数，图中的点划线)。然后，针对所追加的格点K_m，合成部122确定第1中心点P1作为离格点K_m最近的第1中心点，将第1中心点P1分别与格点K_m关联起来而记录到中心位置存储部13中。此时，对于P1设定无限远的点。

然后，合成部122针对配置在第1图像F1和第2图像F2中的每个格点K_n、K_m，评价离垂直二等分线L1的距离，确定该格点K_n、K_m处的像素值。例如，从位于左上方的格点K_n起，按顺序使用上述式3计算远近度T。然后，设用于判断是否对像素值进行合成的规定值W为16来评价远近度T，由此确定格点K_n处的像素值。例如，如果是格点X1，则合成部122参照中心位置存储部13，取得最近的第1中心点P1，计算第1中心点P1与第2中心点P2的距离C、离第1中心点P1的距离A以及离第2中心点P2的距离B，使用式3计算远近度T。针对格点X2也进行同样的处理。由于格点X1、X2是配置在第1图像F1中的格点K_n，因此，合成部122如上所述地执行计算远近度T来进行评价的处理。另一方面，对于新追加的格点K_m，由于远近度T明显低于阈值，因此，设这些格点K_m的远近度T为-∞，省略远近度T的运算。

合成部122针对每个格点K_n评价所计算出的远近度T，对于被格点K_n包围了四角的块，在各个格点K_n的远近度T全部大于16的情况下，跳过对该块的处理。例如，格点X3～X6的远近度T全部大于16，所以，针对被格点X3～X6包围的块，跳过处理。另一方面，在四角的格点K_n的远近度T全部小于-16的情况下，采用第2图像F2的像素值作为该块的像素值。例如，格点X7～X10的远近度T全部小于-16，所以，对于被格点X7～X10包围的块，复制第2图像F2。而且，在四角的格点K_n的远近度T不是全部大于16的情况下、或者四角的格点K_n的远近度T不是全部小于-16的情况下，对第1图像F1和第2图像F2的像素值进行合成，作为该块的像素值。例如，格点X11、X12的远近度T大于0，格点X13、X14的远近度T小于0，所以，针对被格点X11～X14包围的块，对第1图像F1和第2图像F2的像素值进行合成。该情况下，利用X11～X14的远近度T对该块内的像素位置处的远近度T进行线性插值，在各像素位置处计算远近度T，利用阈值W进行评价。该评价的方法与上述方法相同。而且，针对阈值-W以上且阈值W以下的远近度T的像素位置，计算第1图像F1的像素值与第2图像F2的像素值的平均，作为该像素位置处的像素值。这样，最初，使用格点K_n以块为单位进行跳过、复制或合成的判断，针对包含需要进行合成的部位的块，利用针对每个像素进行线性插值后的远近度T进行更加详细的评价，进行跳过、复制或合成的判断。通过执行S20的处理，如图13所示，将垂直二等分线L1作为接缝对图像F1和图像F2进行接合，并且，沿着垂直二等分线L1形成带状的合成区域Q1。该合成区域Q1的宽度为阈值W。然后，将对图像F1接合图像F2而得到的图像作为第1图像，存储到第1临时存储区域中。即，对存储在第1临时存储区域中的第1图像进行更新。

另外，以上说明了如下情况：合成部122在设定校正函数Y之后，输入第2图像，对像素值进行转换，然后进行合成。不过，也可以同时进行转换像素值的处理以及确定像素值的处理。该情况下，合成部122通过用距离D代替了远近度T的判定式来确定格点处的像素值。例如，从位于左上方的格点K_n起，按顺序使用上述式3计算远近度T，根据远近度T计算距离D。然后，设用于判断是否对像素值进行合成的规定值W为16，设用于判断是否进行亮度转换的最大距离D₀为240(输入图像的宽度640像素的3/8)，对距离D进行评价，由此确定格点K_n处的像素值。例如，如果是格点X1，则合成部122参照中心位置存储部13，取得最近的第1中心点P1，计算第1中心点P1与第2中心点P2的距离C、离第1中心点P1的距离A以及到离第2中心点P2的距离B，使用式3计算远近度T，根据远近度T计算距离D。针对格点X2也进行同样的处理。

合成部122针对每个格点K_n评价所计算出的距离D，对于被格点K_n包围了四角的块，在各个格点K_n的距离D全部大于8的情况下(即，距离D的绝对值大于8、且合成位置相比于第2中心点更接近第1中心点的情况)，跳过对该块的处理。例如，格点X3～X6的距离D全部大于8。因此，针对被格点X3～X6包围的块，采用第1图像的像素值，跳过处理。另一方面，在四角的格点K_n的距离D全部小于-240的情况下(即，距离D的绝对值大于240、且合成位置相比于第1中心点更接近第2中心点的情况)，作为该块的像素值，复制第2图像F2的像素值。并且，在四角的格点K_n的距离D全部为-240以上且小于-8的情况下(即，距离D的绝对值大于8且为240以下、且合成位置相比于第1中心点更接近第2中心点的情况)，作为该块的像素值，复制进行了基于校正函数Y的亮度转换后的第2图像F2的像素值。进而，在四角的格点K_n的距离D全部为-8以上且为8以下的情况下(即，距离D的绝对值为8以下的情况)，作为该块的像素值，对第1图像的像素值和进行了基于校正函数Y的亮度转换后的第2图像F2的像素值进行合成(加权平均)。而且，在四角的格点K_n的判定不是全部相同的情况下，利用四角的格点K_n的距离D对该块内的像素位置的距离D进行线性插值，在各像素位置处计算距离D，利用规定值W和最大距离D₀来进行评价。该评价的方法与上述方法相同。这样，最初，使用格点K_n以块为单位进行跳过、复制或合成的判断，针对包含需要进行合成的部位的块，利用针对每个像素进行了线性插值后的远近度T进行更加详细的评价，进行跳过、复制或合成的判断。当S20的处理结束后，转移到中心点位置的更新处理(S22)。

S22的处理是合成部122对记录在中心位置存储部13中的第1中心点P1进行更新的处理。由于合成了图像F2，所以，第1中心点为P1、P2这两个点。因此，合成部122针对存储在第1临时存储区域中的第1图像，更新离格点K_n最近的第1中心点。例如在格点X2的情况下，第1中心点P1、P2中的第1中心点P1更近，所以与上次相同，因此不执行更新。另一方面，例如在格点X1的情况下，第1中心点P1、P2中的第1中心点P2更近，所以，对中心位置存储部13的存储信息进行更新。当S22的处理结束后，转移到判定有无输入图像的处理(S24)。

在S24的处理中，图像输入部10判定是否存在进一步输入的图像。例如，在当前的摄像次数小于自动连续摄像次数的情况下，判定为存在输入图像。在S24的处理中判定为存在输入图像的情况下，再次转移到图像的输入处理(S14)。然后，例如输入图像F3并存储到第2临时存储区域中。然后，中心位置取得部11取得图像F3的中心点P3的位置(S15)。然后，距离计算部121分别计算由存储在第1临时存储区域中的图像F1和图像F2构成的合成图像的第1中心点P1、P2与所输入的图像F2的第2中心点P3的距离(S16)。同时，重叠区域取得部14取得图像F2与图像F3的重叠区域R2(S17)。然后，如图9所示，亮度绝对值计算部15使用式1计算图像F3的亮度绝对值(S18)。这样，亮度绝对值是将最初输入的图像作为基准，不过，在亮度绝对值的运算中也可以不使用基准图像的信息。通过这样进行运算，在计算亮度绝对值时，不需要具有基准图像的信息，所以，能够减少运算所需要的资源。然后，图像F3的亮度值转换系数计算部16计算图像F3的亮度值转换系数(S19)。然后，合成部122利用校正函数对图像F3进行转换，之后对图像F1、F2和图像F3进行接合而生成合成图像。如图14所示，第1图像F1、F2和第2图像F3被配置在合成图像的坐标空间内。而且，第2图像F3中不与第1图像F1、F2重叠的区域没有被配置格点K_n，所以，新追加格点K_m(m：整数，图中的点划线)。然后，针对所追加的格点K_m，合成部122确定第1中心点P3作为离格点K_m最近的第1中心点，将第1中心点P3分别与格点K_m关联起来而记录到中心位置存储部13中。然后，与对图像F1、F2进行接合的情况相同，合成部122针对配置在第1图像F1、F2和第2图像F3中的格点K_n、K_m(例如X15、X16、X17等)，评价离垂直二等分线L2、L3的距离，确定该格点K_n、K_m处的像素值。由此，如图15所示，生成对图像F1、F2、F3进行合成后的图像。在合成之后，合成部122对格点K_n的中心点位置进行更新(S22)。这样，在存在输入图像的情况下，反复执行S14～S24的处理。

另一方面，在S24的处理中判定为不存在输入图像的情况下，转移到显示处理(S26)。在S26的处理中，图像处理装置1向显示部31输出保存在第1临时存储区域中的合成图像而进行显示。另外，图像处理装置1也可以切取合成图像的两端，在调整大小后向显示部31输出。当S26的处理结束后，结束图7所示的控制处理。另外，也可以在每次输入一张图像时(即S20与S24之间)进行S26的处理。

通过执行图7所示的控制处理，能够以低负荷进行高速的逐次合成。另外，S17的处理相当于重叠区域取得步骤，S18的处理相当于亮度转换系数计算步骤，S19～S24的处理相当于合成图像生成步骤。

接着，对用于使便携终端(计算机)2作为上述图像处理装置1发挥功能的图像处理程序进行说明。

图像处理程序具有主模块、输入模块和运算处理模块。主模块是统一控制图像处理的部分。输入模块使便携终端2工作以取得输入图像。运算处理模块具有：中心位置取得模块、距离计算模块、重叠区域取得模块、亮度绝对值计算模块、亮度值转换系数计算模块以及合成模块。通过执行主模块、输入模块和运算处理模块而实现的功能分别与上述图像处理装置1的图像输入部10、中心位置取得部11、距离计算部121、合成部122、重叠区域取得部14、亮度绝对值计算部15以及亮度值转换系数计算部16的功能相同。

例如，图像处理程序由ROM等存储介质或半导体存储器来提供。并且，图像处理程序也可以作为数据信号而经由网络来提供。

以上，根据本实施方式的图像处理装置1、图像处理方法以及图像处理程序，重叠区域取得部14根据第2图像和在第2图像之前刚输入的前一输入图像，取得运动矢量，根据所取得的运动矢量，取得前一输入图像与第2图像重叠的重叠区域，亮度值转换系数计算部16根据重叠区域中的第1图像的亮度值和第2图像的亮度值，计算以使第1图像和第2图像的亮度值的变化减小的方式对第2图像的亮度值进行转换的亮度值转换系数J，合成图像生成部12对第1图像和根据亮度值转换系数J进行转换后的第2图像进行接合。这样，通过利用运动矢量取得前一输入图像与第2图像的重叠区域，能够低负荷且高速地取得重叠区域的亮度值的信息。由此，在接合曝光条件不同的图像时，能够以低负荷进行使图像的接缝变得不明显的处理。

并且，根据本实施方式的图像处理装置1、图像处理方法以及图像处理程序，能够根据亮度值的总和来计算亮度绝对值，使用该亮度绝对值计算亮度转换系数，所以，能够利用简单的结构进行稳健的运算。并且，不使用构成第1图像的一个图像即计算亮度绝对值时作为基准的基准图像的亮度值的总和，而是根据前一输入图像的亮度绝对值来计算第2图像的亮度绝对值。即，不需要为了计算逐次输入的第2图像的亮度绝对值而始终记录基准图像的亮度值的总和。由此，能够减轻处理负荷。进而，在计算亮度值转换系数时，通过使用亮度绝对值，差分管理变得容易。

并且，根据本实施方式的图像处理装置1、图像处理方法以及图像处理程序，能够对第2图像的转换后的亮度值进行校正，使得离作为接缝的垂直二等分线L越远，越接近第2图像的原本的亮度值。

并且，根据本实施方式的图像处理装置1、图像处理方法以及图像处理程序，通过采用一次函数作为校正函数Y，能够抑制校正函数Y的计算成本。另一方面，当采用一次函数的校正函数Y时，转换前的像素值越大，转换前的像素值与转换后的像素值之差越大，其结果，可能生成不自然的合成图像。因此，在转换前的像素值或转换后的像素值为规定阈值以上的范围内，设校正函数Y为与截止于阈值的一次函数连续且通过最大像素值的一次函数，由此，能够抑制校正函数Y的计算成本，并生成自然的合成图像。

并且，根据本实施方式的图像处理装置1、图像处理方法以及图像处理程序，在逐次合成第1图像和所输入的第2图像时，能够将第1中心点与第2中心点的垂直二等分线L作为图像的接缝，所以，能够高速且低负荷地实现逐次合成处理。

并且，根据本实施方式的图像处理装置1、图像处理方法以及图像处理程序，使从接缝到与接缝相距规定距离的位置为止的像素值成为合成值，所以，能够使接缝不明显。并且，能够使用对亮度值进行转换后的第2图像来计算像素值的合成值，所以，能够避免亮度值的差分大幅变化。而且，能够分别独立地进行亮度值的调整处理和像素值的合成处理，所以，例如，通过缩小接缝附近的合成区域，能够降低处理负荷，并且，通过缩小第1区域，能够根据比对像素进行合成后的区域大的区域中的第1图像和第2图像的亮度值，对显著的第1图像和第2图像的亮度值的差分进行校正。这样，能够一并使用操作像素值而使接缝变得不明显的方法以及操作亮度值而使接缝变得不明显的方法。由此，能够生成接缝的色调自然、且图像内的明亮度整体很自然的图像。

另外，上述实施方式示出了本发明的图像处理装置的一例。本发明的图像处理装置不限于实施方式的图像处理装置1，在不变更各权利要求所记载的主旨的范围内，可以对实施方式的图像处理装置进行变形或应用于其它装置。

例如，在上述实施方式中说明了照相机30对静态图像进行连续摄像的例子，但是，照相机30也可以对动态图像进行摄像。该情况下，图像输入部10也可以具有从所拍摄的动态图像中提取连续图像的功能。并且，图像输入部10输入的图像也可以是从其它设备经由网络发送的图像。

并且，在上述实施方式中说明了由照相机30拍摄的图像的大小相同的情况，但是，所摄像的图像的大小也可以是对于每次摄像不同的大小。

并且，在上述实施方式中说明了由格点包围的区域为矩形的情况，但是，也可以是三角形或其他多边形。

并且，在上述实施方式中说明了中心位置取得部11使用所输入的图像和之前刚输入的图像来计算运动矢量的例子，但是，运动矢量的计算方法不限于此。例如，也可以使用所输入的图像和此前已生成的合成图像来计算运动矢量。

而且，在上述实施方式中说明了在第1图像与第2图像重叠时操作第2图像的亮度值的例子，但是，也可以仅操作第1图像的亮度值、或者操作第1图像和第2图像双方的亮度值。

标号说明

1：图像处理装置；10：图像输入部；11：中心位置取得部；12：合成图像生成部；121：距离计算部；122：合成部；13：中心位置存储部；14：重叠区域取得部；15：亮度绝对值计算部；16：亮度值转换系数计算部；31：显示部。

Claims (9)

1.一种图像处理装置，该图像处理装置在每次输入第2图像时，将由一张图像构成或接合多个所述图像而构成的第1图像与所输入的该第2图像进行接合，逐次生成合成图像，其特征在于，该图像处理装置具有：

重叠区域取得部，其根据构成所述第1图像的图像中在所述第2图像之前刚输入的前一输入图像和所述第2图像，取得运动矢量，根据所取得的所述运动矢量，取得所述前一输入图像与所述第2图像重叠的重叠区域；

亮度值转换系数计算部，其根据所述重叠区域中的所述第1图像的亮度值和所述第2图像的亮度值，计算亮度转换系数，该亮度转换系数以使所述第1图像和所述第2图像的亮度值的变化减小的方式对所述第1图像或所述第2图像的亮度值进行转换；以及

合成图像生成部，其使用所述亮度转换系数对所述第1图像或所述第2图像进行转换，接合所述第1图像与所述第2图像而生成所述合成图像。

2.根据权利要求1所述的图像处理装置，其中，

该图像处理装置具有亮度绝对值计算部，该亮度绝对值计算部根据所述重叠区域中的所述前一输入图像的亮度值的总和以及所述第2图像的亮度值的总和，计算所述第2图像的亮度绝对值，所述第2图像的亮度绝对值是所述第1图像中的规定的基准图像的亮度值的总和与所述第2图像的亮度值的总和之比，

所述亮度值转换系数计算部根据构成所述第1图像的图像中与所述第2图像重叠的对象图像的所述亮度绝对值和所述第2图像的所述亮度绝对值，计算所述第2图像的亮度值转换系数，所述第2图像的亮度值转换系数取决于离所述对象图像与所述第2图像的接缝的距离。

3.根据权利要求1或2所述的图像处理装置，其中，

所述亮度值转换系数计算部以使合成位置处的所述第2图像的权重与合成位置离接缝的距离成比例地增大的方式，计算所述亮度值转换系数。

4.根据权利要求1～3中的任意一项所述的图像处理装置，其中，

合成图像生成部根据合成位置离接缝的距离来决定合成位置处的所述亮度值转换系数，根据所决定的所述亮度值转换系数导出对所述第2图像的亮度值进行转换的校正函数，根据所述校正函数和所述第2图像的亮度值，计算在合成位置处使用的所述第2图像的亮度值。

5.根据权利要求4所述的图像处理装置，其中，

在转换前的像素值和转换后的像素值小于规定阈值的范围内，所述校正函数是将所述亮度值转换系数作为比例常数的一次函数，在转换前的像素值或转换后的像素值为规定阈值以上的范围内，所述校正函数是与截止于阈值的一次函数连续且通过最大像素值的一次函数。

6.根据权利要求1～5中的任意一项所述的图像处理装置，其中，

该图像处理装置具有中心位置取得部，该中心位置取得部根据构成所述第1图像的图像中在所述第2图像之前刚输入的图像和所述第2图像，取得运动矢量，根据所取得的所述运动矢量，取得作为构成所述第1图像的各个图像的中心点的第1中心点的位置信息以及作为所述第2图像的中心点的第2中心点的位置信息，

所述合成图像生成部取得构成所述第1图像的图像中与所述第2图像重叠的图像的所述第1中心点，根据所取得的所述第1中心点的位置信息和所述第2中心点的位置信息，将所取得的所述第1中心点与所述第2中心点的垂直二等分线作为所述第1图像和所述第2图像的接缝进行接合，生成所述合成图像。

7.根据权利要求6所述的图像处理装置，其中，

所述合成图像生成部使处于从所述第1图像与所述第2图像的接缝到相距规定距离的位置为止的、比所述重叠区域小的范围内的像素值，成为所述第1图像的像素值和所述第2图像的像素值的合成值。

8.一种图像处理方法，该图像处理方法在每次输入第2图像时，将由一张图像构成或接合多个所述图像而构成的第1图像与所输入的该第2图像进行接合，逐次生成合成图像，其特征在于，该图像处理方法具有以下步骤：

重叠区域取得步骤，根据构成所述第1图像的图像中在所述第2图像之前刚输入的前一输入图像和所述第2图像，取得运动矢量，根据所取得的所述运动矢量，取得所述前一输入图像与所述第2图像重叠的重叠区域；

亮度转换系数计算步骤，根据所述重叠区域中的所述第1图像的亮度值和所述第2图像的亮度值，计算亮度转换系数，该亮度转换系数以使所述第1图像和所述第2图像的亮度值的变化减小的方式对所述第1图像或所述第2图像的亮度值进行转换；以及

合成图像生成步骤，使用所述亮度转换系数对所述第1图像或所述第2图像进行转换，接合所述第1图像与所述第2图像而生成所述合成图像。

9.一种图像处理程序，该图像处理程序使计算机发挥如下功能：在每次输入第2图像时，将由一张图像构成或接合多个所述图像而构成的第1图像与所输入的该第2图像进行接合，逐次生成合成图像，其特征在于，该图像处理程序作为以下部分发挥功能：

重叠区域取得部，其根据构成所述第1图像的图像中在所述第2图像之前刚输入的前一输入图像和所述第2图像，取得运动矢量，根据所取得的所述运动矢量，取得所述前一输入图像与所述第2图像重叠的重叠区域；

亮度值转换系数计算部，其根据所述重叠区域中的所述第1图像的亮度值和所述第2图像的亮度值，计算亮度转换系数，该亮度转换系数以使所述第1图像和所述第2图像的亮度值的变化减小的方式对所述第1图像或所述第2图像的亮度值进行转换；以及

合成图像生成部，其使用所述亮度转换系数对所述第1图像或所述第2图像进行转换，接合所述第1图像与所述第2图像而生成所述合成图像。

Images