CN102342092A - 生成全景图像的装置、方法及由记录有运行该方法的程序的计算机可读取的记录介质 - Google Patents

Abstract

本发明提供生成全景图像的装置、方法及由记录有运行该方法的程序的计算机可读取的记录介质。生成全景图像的装置包括：图像获取部，其依次获取多个图像；拼接区域获取部，作为所述多个图像中的某一个的第一图像和要与所述第一图像结合的第二图像相互重复的拼接区域，获取具有细部区域的所述拼接区域，所述细部区域是与作为所述第二图像结合于所述第一图像的方向的结合方向垂直地分割而形成的；以及全景生成部，其利用针对所述细部区域进行定义的加权函数，以所述细部区域为单位，融合而结合相当于所述第一图像的所述拼接区域的区域和相当于所述第二图像的所述拼接区域的区域，来生成全景图像。

Description

生成全景图像的装置、方法及由记录有运行该方法的程序的计算机可读取的记录介质

技术领域

本发明涉及生成全景图像的装置、方法及由记录有运行该方法的程序的计算机可读取的记录介质。更具体而言，涉及一种生成自然地融合了拼接区域的图像的全景图像的装置、方法及由记录有运行该方法的程序的计算机可读取的记录介质。

背景技术

过去，通过基于SLR(Single Lens Reflex，单镜头反光)相机的胶卷型图像拍摄等古典的装置及方法生成图像。但是，最近普遍利用电荷耦合器件(CCD，charge-coupled device)、互补金属氧化物半导体(CMOS，complementary metaloxide semiconductor)等光学传感器来生成数码图像。

基于这种数码光学装置的图像拍摄随着现代人的文化生活和领域的扩大，对其的利用更加扩大，对于多种辅助拍摄装置及数码图像的处理装置等的发展，随其发展得到飞越性的发展。

胶卷型图像拍摄装置及数码拍摄装置等图像拍摄装置基本上将通过镜头、光圈及快门等光学装置流入的光学信息显像到胶卷，或上述光学传感器转换生成为电能。但是，这种图像拍摄装置不可避免地受到面对被拍摄体的镜头的光角限制。

为了克服上述限制而开发有根据不同用途的多种镜头组，但是在镜头的物理特性上无法完全消除其限制。

一般来说，全景图像作为为了克服如上所述的物理限制引起的制约，来满足应用数码图像的使用人员的增加的多种需求而提出的一个方案，其表示利用相机的拍摄技法、相机镜头的焦点的变化及数码图像处理等，来扩大能够由镜头囊括被拍摄体的区域的图像。

即，将多个拍摄的图像以横向或纵向或它们的组合进行连接，形成一个宽大的图像，如此形成的图像被称为全景图像。

为了生成全景图像而提出的现有技术中的方法有如下方法：生成通过多角度存在的多个相机拍摄的多个图像的方法；在图像拍摄装置内，物理上调整镜头朝向被拍摄体的角度，生成进行角度调整的图像并合成为全景图像的方法等。

如上所述的装置或方法需要有额外的装备，并较大地受到使用人员的运用方法等主观因素的影响，且对于当前基本上提供图像拍摄功能的便携式终端机的便携化及小型化需求来讲，可以称其为不适合的方法。

最近，开发出便携式终端机中也能够生成全景图像的方法及装置。但是，在这种方法及装置中，检测两个以上的图像的拼接区域，并以拼接区域为基准结合为一个图像。但是，如上所述结合的全景图像存在有不自然的情况较多。

其原因可能在于将三维空间的被拍摄体转换为二维图像的过程中产生的失真，即，即使具有相同的长度，随着与图像传感器的距离增加而缩小显示的现象。除此之外，可能是因为拍摄图像装置的光学镜头的物理特性，即，直线显示为曲线的现象。并且，还可能是由于数码自动相机的自动曝光及自动白平衡，使得相同的物体也显示不同的亮度，或者表现为其它颜色。

这种失真及不自然的合成能够通过具有高运算能力的计算装置中运行的PC用程序，得到复原或自然地再转换。但是，具有有限的资源和有限的运算能力的便携式终端机中难以完整地解决如上的操作。

因此，尚未满足现代人对能够方便携带的图像拍摄装置上容易而简便地自然合成全景图像的方法的需求。

发明内容

为了解决上述问题，本发明的目的在于提供一种自然地融合原图像之间的拼接区域，从而生成自然的全景图像的装置及方法。

并且，为了在计算机中实现如上所述的方法，本发明的目的在于提供一种记录有由计算机可识别并运行的程序的记录介质。

为了达到上述目的，根据本发明的一个方面的全景图像生成装置包括：图像获取部，其依次获取多个图像；拼接区域获取部，作为上述多个图像中的某一个的第一图像和要与上述第一图像结合的第二图像相互重复的拼接区域，获取具有细部区域的上述拼接区域，上述细部区域是与作为上述第二图像结合于上述第一图像的方向的结合方向垂直地分割而形成的；以及全景生成部，其利用针对上述细部区域进行定义的加权函数，以上述细部区域为单位，融合(blending)而结合相当于上述第一图像的上述拼接区域的区域和相当于上述第二图像的上述拼接区域的区域，来生成全景图像。

根据上述全景图像生成装置的一例，上述全景生成部包括：拼接区域融合部，其利用相当于上述第一图像和上述第二图像的上述拼接区域的像素的颜色信息及通过上述加权函数计算的上述各个细部区域的加权值，来计算融合拼接区域；以及全景结合部，其将上述第一图像的不属于上述拼接区域的区域、上述融合拼接区域以及上述第二图像的不属于上述拼接区域的区域结合为上述全景图像。

上述拼接区域融合部以上述细部区域为单位，从相当于上述第二图像的上述细部区域的像素的颜色信息中减去相当于上述第一图像的上述细部区域的像素的颜色信息来计算颜色信息偏差，上述细部区域的加权值乘以上述颜色信息偏差来计算加权颜色信息偏差，将上述加权颜色信息偏差加到相当于上述第一图像的上述细部区域的像素的颜色信息，由此计算上述融合拼接区域。

上述拼接区域融合部以上述细部区域为单位，利用上述细部区域的加权值，对相当于上述第一图像的上述细部区域的像素的颜色信息和相当于上述第二图像的上述细部区域的像素的颜色信息进行加权平均，来计算上述融合拼接区域。

根据上述全景图像生成装置的另一例，上述全景生成部包括：图像线加载部，其沿着上述结合方向依次加载垂直于上述结合方向并由上述第一图像和上述第二图像的像素构成的线；拼接区域判断部，其判断上述线是否属于上述拼接区域；全景依次生成部，如果上述线不属于上述拼接区域，则将上述线插入到相当于上述全景图像的上述线的位置，如果上述线属于上述拼接区域，则加载与上述线拼接的上述第二图像的拼接线，利用通过上述加权函数计算的上述线所属的上述细部区域的加权值，决定上述线和上述拼接线的最终线，将上述最终线插入到相当于上述全景图像的上述线的位置。

上述细部区域的数量可以与朝向上述拼接区域的上述结合方向的像素数量相同。并且，上述细部区域的数量也可以改变。

根据上述全景图像生成装置的又一例，上述加权函数是如下的单调递增函数：当上述细部区域的数量为L时，将0至L+1的整数作为输入变数，当上述输入变数为0时，上述加权函数的值为0，当上述输入变数为L+1时，上述加权函数的值为1。此时，上述加权函数可以是线性函数。

根据上述全景图像生成装置的再一例，还包括图像校正部，该图像校正部选择具有相当于第一图像和第二图像的上述拼接区域的相同位置的规定数量的像素，分别计算上述像素的颜色信息的平均值，使上述平均值的比率乘以属于上述第一图像或上述第二图像的所有像素的颜色信息。此时，上述比率能够乘以属于上述第一图像或上述第二图像的所有像素的颜色信息。

为了达到上述目的，根据本发明的另一方面的全景图像生成方法包括如下步骤：图像获取步骤，依次获取多个图像；拼接区域获取步骤，作为上述多个图像中的某一个的第一图像和要与上述第一图像结合的第二图像互重复的拼接区域，获取具有细部区域的上述拼接区域，上述细部区域是与作为上述第二图像结合于上述第一图像的方向的结合方向垂直地分割而形成的；以及全景生成步骤，利用针对上述细部区域进行定义的加权函数，以上述细部区域为单位，融合而结合相当于上述第一图像的上述拼接区域的区域和相当于上述第二图像的上述拼接区域的区域，来生成全景图像。

为了达到上述目的，根据本发明的又一方面的由计算机可读取的介质，在计算机中记录用于运行上述全景图像生成方法的程序。

在本发明的全景图像生成装置及方法中，应用基于像素距离的加权值，对作为全景图像对象的原图像的拼接区域进行融合，从而能够生成自然结合的全景图像。

并且，鉴于便携式终端机的图像拍摄装置的特性，对自动变化的曝光及白平衡重新进行调整，从而在除拼接区域以外的剩余区域之间也能够实现自然的合成。

更进一步，根据本发明的装置和方法，即使使用简单的计算过程和较小的资源也能够生成自然的全景图像，因此能够生成更加适于移动终端的硬件环境的全景图像。

附图说明

将通过参照附图对例示性实施例进行的说明，使得本发明的上述特征和优点以及其他特征和优点更为明确。

图1是根据本发明一实施例的全景图像生成装置的框图；

图2是根据本发明一实施例的图1的全景图像生成装置的全景生成部的框图；

图3是根据本发明另一实施例的图1的全景图像生成装置的全景生成部的框图；

图4至图8是表示为了说明本发明一实施例的全景图像生成过程而提供的示意图；

图9是根据本发明一实施例的全景图像生成方法的流程图；

图10是根据本发明一实施例的图9的全景图像生成方法中的全景生成过程的框图；

图11是根据本发明另一实施例的图9的全景图像生成方法中的全景生成过程的框图；

图12是选择性地包括在图9的全景图像生成方法中的图像校正过程的流程图；

图13和图14是融合发生之前和之后的全景图像。

具体实施方式

以下，参照附图对本发明的实施例进行更加详细的说明。在此之前，本说明书及权利要求书中使用的术语和单词不能被限定解释为通常或词典上的含义，立足于发明人为了按照最优的方法说明自己的发明可以适当地定义术语的概念的原则，应当被解释为符合本发明的技术思想的含义和概念。

因此，本说明书中记载的各实施例和附图中图示出的结构，是为了向相应技术领域中的普通技术人员更加完整地说明本发明而提供的。这种实施例只不过是例示性的实施例，并不代表本发明的全部技术思想，在本申请的起点上，应当理解存在有可代替上述实施例的多种等同物和变形实施例。

在对本发明详细说明之前，对于说明本发明时所需的术语及定义等进行简单阐述。

通常，作为图像处理的基本的图像的颜色空间根据颜色混合的观点、与人体的视觉体系的类似性等观察颜色空间的观点能够表现为RGB(红绿蓝)、CMYK(cyan青色、magenta品红色、yellow黄色、key black黑色)、HS系列、CIE(国际发光照明委员会，Commission Internationale de′Eclairage)、Y系列等多种空间。通过简单的数学变换式将表现为任意的形态的颜色空间变换为其它颜色空间，这对于本领域技术人员来说是显而易见的。

并且，输入图像由多个像素的和来表现，各像素将具有与之相应的图像信息(明度、颜色、彩度等)。通常，图像信息被区分为0到255阶段并显示为8位(bit)的信息。但是，根据应用的环境，图像信息当然可以多样地变更为10、12位等。

因此，作为本发明的一个例子表现的一个颜色空间坐标系可以相同或类似地适用于其它颜色空间坐标系，输入图像中的一个像素所具有的图像信息的位(bit)大小，应当被理解为其只不过是本发明的一个例子。

图1是根据本发明一实施例的全景图像生成装置100的框图。

参照图1，本发明一实施例的全景图像生成装置100包括图像获取部110、拼接区域获取部120及全景生成部130。全景图像生成装置100选择性地包括图像校正部140。

图像获取部110依次获取要结合为全景图像的多个图像。

依次获取的图像是指要合成或结合的至少2个原图像。图像获取部110可获取结合为水平全景图像或结合为垂直全景图像的图像。或者，图像获取部110可依次获取要结合为基于水平垂直的组合(2×2、2×3、3×3等)的全景图像的图像。只是在此情况下，依次获取的图像之间可能不会重叠。即，第一图像和第三或第四图像的一部分会相互重叠。

要结合为全景图像的多个图像可从全景图像生成装置100的外部接收，也可以由全景图像生成装置100中包括的相机部(未图示)直接拍摄并获取。

对此参照图4进行更加详细的说明。

拼接区域获取部120获取作为由图像获取部110依次获取的多个图像中的某一个图像的第一图像和要与第一图像结合的第二图像相互重复的拼接区域。

为了获取拼接区域，提取第一及第二图像的特征点，通过提取出的特征点的图案拼接，使第一及第二图像的坐标相对应。通过如此对应的坐标能够获取拼接区域。

拼接区域被区分为多个细部区域。细部区域的数量越多，全景图像将更柔和地进行结合。

对此参照图4进行更加详细的说明。

全景生成部130利用对于各个细部区域进行定义的加权函数，以细部区域为单位，融合而结合相当于第一图像和第二图像的拼接区域的区域，来生成全景图像。

如此生成的全景图像将柔和地连接第一图像和第二图像的颜色信息，以便除了颜色方面以外，在补偿失真方面也实现自然的结合。

对此参照如下的图2及图3进行更加详细的说明。

选择性地包括在全景图像生成装置100中的图像校正部140，选择具有相当于第一图像和第二图像的拼接区域的相同位置的规定数量像素，分别计算被选择的像素的颜色信息的平均值，计算出第一平均值和第二平均值，将第一平均值和第二平均值之间的比率反映到属于第一图像或第二图像的所有像素。

通过如上所述进行图像校正，将第一图像和第二图像的拍摄瞬间所决定的曝光值及白平衡相互类似地对准，从而实现更加自然的结合。

由于上述图像校正部140选择性地包括在全景图像生成装置100中，因此应当注意，在不背离本发明的保护范围的情况下，可以省略图像校正部140。

对于图像校正部140将参照图12进行更加详细的说明。

图2是表示本发明一实施例的图1的全景图像生成装置100的全景生成部130a的框图。

参照图2，全景生成部130a包括拼接区域融合部131及全景结合部132。

拼接区域融合部131利用相当于第一图像和第二图像的拼接区域的像素的颜色信息。并且，拼接区域融合部131通过加权函数计算各个细部区域的加权值，在融合拼接区域时利用对于各个细部区域的加权值。

图2中根据本发明一实施例，拼接区域融合部131以细部区域为单位，从相当于第二图像的上述细部区域的像素的颜色信息中减去相当于第一图像的上述细部区域的像素的颜色信息，来计算颜色信息偏差。随后，拼接区域融合部131将通过加权函数计算的上述细部区域的加权值乘以颜色信息偏差来计算加权颜色信息偏差。最后，拼接区域融合部131将加权颜色信息偏差加到相当于第一图像的上述细部区域的像素的颜色信息，来计算融合拼接区域。拼接区域融合部131对属于所有细部区域的所有像素执行上述过程，来计算融合拼接区域。

根据本发明的另一实施例，拼接区域融合部131以细部区域为单位，利用上述细部区域的加权值，对相当于第一图像的上述细部区域的像素的颜色信息和相当于第二图像的上述细部区域的像素的颜色信息进行加权平均。拼接区域融合部131将如此加权平均的值分配为融合拼接区域的相应像素的颜色信息的值。通过对属于所有细部区域的所有像素执行上述过程，拼接区域融合部131计算出融合拼接区域。

对于该拼接区域融合部131将参照图4进行更加详细的说明。

全景结合部132结合第一图像的不属于拼接区域的区域和融合拼接区域以及第二图像的不属于拼接区域的区域。通过如此的结合，全景结合部132将生成全景图像。

图3是根据本发明一实施例的图1的全景图像生成装置100的全景生成部130b的框图。

参照图3，全景生成部130b包括图像线(image line)加载部135、拼接区域判断部136及全景依次生成部137。

图像线加载部135依次加载由第一图像和第二图像的像素构成的线。该线垂直于第一图像和第二图像的结合方向。

拼接区域判断部136判断由图像线加载部135加载的线是否包含于拼接区域。

如果被加载的线不包含于拼接区域，全景依次生成部137则将被加载的线直接插入到全景图像的相应位置。相反，如果被加载的线包含于拼接区域，全景依次生成部137则加载与被加载的线对应的要结合的图像的拼接线。随后，对被加载的线和拼接线进行结合，此时，如上所述的方法那样，利用被加载的线所处的细部区域和该细部区域的加权值进行结合。其结果，将生成最终线。并将生成的最终线插入到全景图像的相应位置。

对此以下参照图4进行更加详细的说明。

图4至图8是表示用于说明根据本发明一实施例的生成全景图像的过程的示意图。

参照图1和图4，其例示性地图示出从图像获取部110依次获取的多个图像中的2个图像302、304。

如上所述，图像获取部110依次获取要结合为全景图像的多个图像。

以下说明将第一图像302和第二图像304结合为水平全景图像的过程。此时，第一图像302是从图像获取部110获取的任意一个图像，第二图像304是为了构成全景图像而要与第一图像302结合的图像。并且，假设第一图像302和第二图像304具有n×m的分辨率。但是，本发明的技术思想的范围并不局限于全景图像的结合方向或要结合的图像的数量及大小。

拼接区域获取部120获取第一图像302和第二图像304相互重复的拼接区域。

为了获取拼接区域，提取第一图像302和第二图像304的特征点，例如“312”。特征点是指相比周边区域成为特征，以能够识别图像的区域或点。例如，该特征点为相比周边亮度高的点、较强的界限交汇的点或与邻接像素具有规定大小以上的变化的点。在不背离本发明保护范围的情况下，该特征点可由多种提取方法确定。

基于如此提取的特征点312，提取第一图像302和第二图像304之间的单应性(homography)来执行多维变形(warping)。单应性是指为了结合第一图像302和第二图像304，将一个图像的像素坐标系相同地变换为另一图像的像素坐标系。随后，通过多维变形来补偿图像302、304自身具有的失真。

例如，将特征点312中的某一个点作为基准。求出对于作为基准的特征点312的第一图像302和第二图像304中的坐标。例如，假设特征点312的第一图像302中的坐标为(x1，y1)，第二图像304中的坐标为(x2，y2)时，相当于第一图像302的拼接区域的区域将被决定为(x1-x2，y1-y2)、(x1-x2，m)、(n，y1-y2)、(n，m)。此时，坐标系将图像的左上端设定为(1，1)，而将右下端设定为(n，m)。并且，如图4所示，在本实施例的情况下，假设第二图像304结合于第一图像302的右侧。

通过如上所述的过程，拼接区域获取部120获取第一图像302和第二图像304相互重叠的拼接区域。也可以选择性地从图像生成装置100的外部接收拼接区域。例如，全景图像生成装置100的拍摄部(未图示)拍摄第二图像，以使第一图像302的一部分与第二图像304的一部分相互重叠，从而提供预先决定的拼接区域308。

参照图1和图5，其图示出决定了拼接区域308的第一图像302和第二图像304。

拼接区域获取部120通过获取的拼接区域308可知第一图像302和第二图像304相结合的方向。在生成水平全景的本例中，如图5所示，如果拼接区域308位于第一图像302的右侧，可知第二图像304将要结合于第一图像302的右侧，此时的结合方向将是右侧方向。相反，在生成垂直全景的另一例中，如果拼接区域308位于第一图像302的下端，可知第二图像304将要结合于第一图像302的下端，此时的结合方向将是下侧方向。

图1和图5中，假设拼接区域308由d×m个像素构成。即，可以理解为拼接区域308具有由m个像素构成的d个纵向线。

拼接区域308以与结合方向垂直的方向分割拼接区域308，从而具有多个细部区域314。如果结合方向为右侧方向，还能通过纵向分割拼接区域308来获取多个细部区域314。在图1和图5中，假设拼接区域308具有L个细部区域314。此时，由于像素是具有颜色信息的最小单位，因而L不能大于d。

如后面所述，作为细部区域314的数量的L是能够表现为柔和结合的程度的常数。L越大，区分拼接区域308的细部区域314存在得越多，因而将更加柔和地进行结合。例如，当作为细部区域314的数量的L被设定为与作为朝向拼接区域308的结合方向像素的数量的d相等时，使其在给定的图像302、304之间最为柔和地进行结合。

通过上面的过程，获取包括相互要结合的至少2个图像的多个图像，并决定上述2个图像相互重复的拼接区域。

以下，对全景生成部130进行详细的说明。

如上所述，全景生成部130可以是图2中所示的全景生成部130a，也可以是图3中所示的全景生成部130b。全景生成部130a对获取的拼接区域执行运算后，结合非拼接区域306、310和拼接区域来生成全景图像。相反，全景生成部130b依次加载由第一图像302和第二图像304的像素构成的线并执行运算，从而依次生成全景图像。这种方式有利于在画面上显示全景图像。

在对全景生成部130a、130b进行详细的说明之前，参照图6及图7，说明对于细部区域314进行定义的加权函数w(x)和通过该函数计算的细部区域314的加权值。

各个细部区域314的加权值通过加权函数w(x)进行计算。加权函数w(x)是将从0到L+1的整数作为输入变数的函数，具有0以上1以下的值。并且，当加权函数被输入为0时，具有0值，当被输入为L+1时，具有1值。加权函数可以是具有随着输入次数增加而增加或者与其相等的值的单调递增函数。

例如，加权函数w(x)可以是如w(x)＝x/(L+1)的线性函数，根据拍摄的图像302、304的特性，例如焦距、被拍摄体、拍摄装置、拼接区域的大小，其可以是其它函数，例如是w(x)＝0.5*sin[π{x/(L+1)-0.5]+0.5，w(x)＝0.5*tan[π{x/2(L+1)-0.25}]+0.5或是w(x)＝4{x/(L+1)-0.5}3+0.5。该加权函数w(x)由使用人员的选择进行变更。为了减少全景图像生成装置的运算负担，加权函数w(x)被选择为线性函数。

加权函数w(x)的输入称为细部区域314的编号，输入该编号的结果为相应细部区域314的加权值。例如，对于第a个细部区域的加权值是将a作为加权函数的输入时的加权函数w(x)的结果值，即w(a)。其中，a显而易见的是1以上L以下，假设细部区域314的编号由结合方向来进行设定。在图6中所示的例中，最左侧的细部区域314为第1个细部区域314，最右侧细部区域314为第L个细部区域314。

图2中所示的拼接区域融合部131对相当于第一图像302和第二图像304的拼接区域308的区域进行融合。

拼接区域融合部131计算从属于相当于第二图像304的拼接区域308的区域的所有像素的颜色信息值减去属于相当于第一图像302的拼接区域308的区域的所有像素的颜色信息值的颜色信息偏差。例如，如果相当于第一图像302的拼接区域的特定坐标(i，j)的像素P1的颜色信息为(r1，g1，b1)，与上述特定像素P1对应并相当于第二图像304的拼接区域的坐标(i，j)的像素P2的颜色信息为(r2，g2，b2)时，颜色信息偏差将是(r2-r1，g2-g1，b2-b1)。此时，坐标(i，j)由局限于拼接区域的坐标系决定，假设拼接区域的左上端为(0，0)，拼接区域的右下端为(d，m)。

并且，假设包括有相当于(i，j)的像素(P1，P2)的细部区域314的编号为a，加权函数w(x)中输入a而得出的结果值，即加权值w(a)乘以颜色信息偏差。其结果，生成加权颜色信息偏差，该值为w(a)(r2-r1，g2-g1，b2-b1)。将加权颜色信息偏差加到相当于第一图像的上述坐标(i，j)的像素P1的颜色信息，生成最终拼接区域318。相当于最终拼接区域318的(i，j)的像素的最终颜色信息，将是(r1+w(a)(r2-r1)，g1+w(a)(g2-g1)，b1+w(a)(b2-b1))。

对属于拼接区域308的所有像素执行该过程，为了减少运算，作为加权函数的结果值的加权值按照相同的细部区域314单位执行。

更具体而言，当细部区域314的数量L与朝向细部区域314的结合方向的像素数量d相等时，对应由纵向排列的像素构成的纵向线中的每个纵向线，分配加权值。并且，对加权函数为如w(x)＝x/(d+1)的线性函数的例进行说明。

按照上面的数学式，属于最终拼接区域318的第i个线的像素具有(r1+i(r2-r1)/(d+1)，g1+i(g2-g1)/(d+1)，b1+i(b2-b1)/(d+1))的最终颜色信息。

选择性地，拼接区域融合部131将属于相当于拼接区域308的第一图像302的所有像素的颜色信息值和属于相当于拼接区域308的第二图像304的所有像素的颜色信息值，以相应像素所属的细部区域314的加权值进行加权平均，生成最终拼接区域318的最终颜色信息。

例如，拼接区域308的坐标(i，j)的像素的颜色信息由将第一图像302的坐标(i，j)的像素的颜色信息和第二图像304的坐标(i，j)的像素的颜色信息分别以1-w(a)和w(a)进行加权平均而进行计算。

通过如上所述使用加权平均，无需求出属于第一图像302和第二图像304的像素的颜色信息之差，从而减少运算量。

该过程也为了减少运算，按照加权函数的结果值相同的细部区域314单位来执行。

为了说明本发明的技术思想，本说明书中使用RGB色坐标系进行说明，但是应当注意本发明并非限定于此。

参照图示有第一图像302和第二图像304结合的最终全景图像的图8，图2中所示的全景结合部132将拼接区域融合部131中生成的最终拼接区域318与不相当于第一图像302的拼接区域308的区域306和不相当于第二图像304的拼接区域308的区域310进行结合，从而生成全景图像330。

参照图4的第一图像302和第二图像304，随着拍摄位置位于被拍摄体的中心，与被拍摄体靠近的部分，即第一图像302的右侧和第二图像304的左侧，相比第一图像302的左侧和第二图像304的右侧更大地显示。因此，第一图像302中显示的屋棚以正角倾斜，第二图像304中显示的屋棚以负角倾斜表现。这是起因于将三维空间表现为二维空间所发生的失真，即，即使是实际上相等的长度，根据与拍摄装置的镜头的距离而不同地表现的显像。该失真在制作为全景图像时，该失真将以X字形态重叠显示，或是实际上连接的线被表现为断线，从而不自然地进行结合。

但是，参照图8的最终拼接区域318，用“A”标记的部分由平滑的曲线弯曲表现。这是因为在结合第一图像302和第二图像304时利用加权值，从而显示为一个曲线，而不是以X字形态重叠显示。在使用具有宽广的视角的广角镜头的情况下，图像的周边部上显示的直线也将被显示为曲线，使得该现象被认为是自然的。

图13和图14是经由如上所述的融合过程之前和之后的全景图像的比较结果。

特别是，在图14的融合之前的图中，第一图像302和第二图像304结合的部分由明确的线来区分，并相互错开地拼接显示。但是，在融合之后的图中，可知错开拼接的部分变得自然。

现在，对图3的全景生成部130b进行说明。参照图3、图4、图5及图8。

图像线加载部135按照线单位依次加载属于第一图像302和第二图像304的所有像素。

上述线与第一图像302和第二图像304结合的结合方向垂直，按照结合方向顺序进行加载。参照图5，从由位于第一图像302的最左侧的m个像素构成的最左侧纵向线开始加载，接着加载与之相邻的右侧纵向线。如果按照如上所述的方式继续加载，则会按照第一图像302的非拼接区域306、第一图像302的拼接区域308和第二图像304的拼接区域308、第二图像304的非拼接区域310的顺序进行加载。

拼接区域判断部136判断图像线加载部135中加载的线是否属于拼接区域308。对于拼接区域308的信息可从图1中所示的拼接区域获取部120获取。

全景依次生成部137根据拼接区域判断部136的判断结果，如果被加载的线属于拼接区域308，则加载与被加载的线拼接的第二图像304的拼接线。

随后，将被加载的线和拼接线利用上述线所属的细部区域314的加权值来生成最终拼接线。由于利用加权值运算的过程已在上面进行说明，在此将省略。

随后，将最终拼接线插入到相当于被加载的线的位置，来生成全景图像。

如果拼接区域判断部136判断为被加载的线不属于拼接区域，将其插入到相当于被加载的线的位置，来生成全景图像。

图像线加载部135在加载属于第一图像302的所有像素后，加载第二图像304的非拼接区域310。由此，全景生成部130b对所有像素执行上述过程，来生成全景图像330。

在生成最终拼接区域318的同时，图3所示的全景生成部130b依次生成全景图像330，其运算量也不大，并且也不需要大容量的内存资源。图3所示的全景生成部130b尤其有利于将全景图像330实时地显示在显示装置，或是向其它装置传输数据。这是因为在对拼接区域308进行融合的同时，将融合的部分显示在显示器画面。

现在，对图1中所示的图像校正部140进行说明。

如图1所示，图像校正部140位于拼接区域获取部120与全景生成部130之间，在生成全景之前对图像进行校正。

参照图4至图8，图像校正部140选择相当于拼接区域308的第一图像302和第二图像304中具有相互拼接的位置的规定数量的像素。

规定数量的像素是拼接区域308中包含的预先决定的、例如位于中央的一部分区域的像素。或者是，规定数量的像素按照预先决定的数量随机选择。或者是，规定数量的像素是属于拼接区域308的所有像素。

在理想状态下，该像素在第一图像302和第二图像304中具有相同的颜色信息。但是，由于第一图像302和第二图像304在不同的时间进行拍摄，无法准确地保持一致。因此，拍摄相同的被拍摄体的第一图像302和第二图像304之间也将具有不同的曝光值及白平衡。该曝光值及白平衡的差异导致第一图像302和第二图像304之间生成规定的差异。

图像校正部140将被选择的规定数量的像素的颜色信息对第一图像302和第二图像304计算平均值，计算出第一颜色平均值及第二颜色平均值。

例如，如果颜色信息使用RGB色坐标系，被选择的像素的第一颜色平均值为(R1，G1，B1)，第二颜色平均值为(R2，G2，B2)。

例如，如果第二图像304的曝光值大于第一图像302的曝光值，则第二图像304则会相比第一图像302更亮地表现，第二图像304的像素将具有相对更高的颜色信息(例如RGB)。即，对于被选择的像素的第二图像的颜色信息，R2+G2+B2值将大于作为第一图像的颜色信息的R1+G1+B1值。

并且，如果第二图像304中的蓝色系列的颜色较多，使图像影像装置600将白平衡向蓝色侧移动时，第二图像304的像素将具有相对低的蓝颜色信息。即，对于被选择的像素的第二图像的蓝颜色信息即B2值将小于第一图像的蓝颜色信息即B1值。

图像校正部140计算出作为第一颜色平均值和第二颜色平均值之差的颜色偏差或颜色比率。

图4至图8中，颜色偏差可以是(R1-R2，G1-G2，B1-B2)，颜色比率可以是(R1/R2，G1/G2，B1/B2)。或者，也可以与之相反。

图像校正部140将计算出的颜色偏差或颜色比率反映到属于第一或第二图像的所有像素的颜色信息中。

如果颜色偏差被定义为(R1-R2，G1-G2，B1-B2)，则将上述颜色偏差加到属于第二图像304的所有像素的颜色信息中，由此能够将第二图像304的曝光值及白平衡校正为第一图像302的曝光值和白平衡水准。相反，从属于第一图像302的所有像素的颜色信息中减去上述颜色偏差，由此能够将第一图像302的曝光值及白平衡校正为第二图像304的曝光值和白平衡水准。

与此相同，在颜色比率为(R1/R2，G1/G2，B1/B2)的情况下，属于第一图像302或第二图像304的所有像素的颜色信息乘以或除以该颜色比率，使得第一图像302和第二图像304的曝光值及白平衡相同地进行调整。

在如上所述相同地调整曝光值和白平衡后，根据得到校正的第一图像302或得到校正的第二图像304生成全景时，能够获取更加自然地结合的全景。

以上利用RGB色坐标系进行了说明，但是本技术领域的技术人员应当理解，本发明同样适用于利用其它色坐标系的情况。

现在，基于上述内容对全景图像生成方法进行说明。

图9是根据本发明一实施例的全景图像生成方法的流程图。

参照图1和图9，从图像获取部110获取包括具有相互重复的区域的第一图像和第二图像的多个图像(过程S10)。由于这部分在上面已进行详细说明，在此省去详细的说明。

随后，拼接区域获取部120获取第一图像和第二图像相互重复的拼接区域(过程S20)。此时，拼接区域具有与作为第二图像结合于第一图像的方向的结合方向垂直地分割的细部区域。由于这部分在上面已进行详细说明，在此省去详细的说明。

随后，选择性地，图像校正部140对第一图像或第二图像进行校正(过程S40)。

选择具有相当于第一图像和第二图像的拼接区域的相同位置的规定数量的像素，分别计算上述像素的颜色信息的平均值，将上述平均值的比率反映到属于上述第一图像或上述第二图像的所有像素。该反映通过第一图像或第二图像乘以或除以上述比率来实现。由于这部分在上面已进行详细说明，在此省去详细的说明。

随后，在全景生成部130生成结合第一图像和第二图像的全景图像(过程S30)。由于这部分在上面已进行详细说明，在此省去详细的说明。

图10是表示本发明第一实施例的全景图像生成装置的全景生成过程的流程图。

参照图2和图10，全景生成过程S30a包括拼接区域融合过程S31和全景结合过程S32。

拼接区域融合部131对相当于第一图像和第二图像的拼接区域的区域进行融合，来生成融合拼接区域(过程S31)。由于这部分在上面已进行详细说明，在此省去详细的说明。

在全景结合部132将融合拼接区域与第一图像和第二图像的非拼接区域进行结合，来生成全景图像(过程S32)。由于这部分在上面已进行详细说明，在此省去详细的说明。

图11是根据本发明一实施例的图9方法中的全景生成过程S30的流程图。

参照图3和图11，全景生成过程S30b包括图像加载过程、拼接区域判断过程及全景依次生成过程。

在图像加载部135按照线单位依次加载属于第一图像和第二图像的所有像素，从而加载属于第一图像和第二图像的所有像素(过程S35)。

在拼接区域判断部136判断被加载的线是否属于拼接区域(过程S36)。

如果被加载的线属于拼接区域，全景依次生成部137则加载与被加载的线拼接的第二图像的拼接线(过程S37)。随后，将被加载的线和拼接线利用加权值来生成最终拼接线(过程S38)。随后，将最终拼接线插入到相当于被加载的线的位置，来生成全景图像(过程S39)。

如果判断为被加载的线不属于拼接区域，全景依次生成部137将该被加载的线插入到相当于被加载的线的位置，来生成全景图像(S39)。

在全景生成过程S30b中，在加载属于第一图像的所有像素后，加载属于第二图像的非拼接区域的所有像素。因此，在此过程中，对所有像素执行上述过程，从而生成全景图像。

对于全景生成过程S30b参照图3已在上面进行详细说明，在此省去详细的说明。

图12是选择性包括在图9方法中的图像的校正过程S40的流程图。

参照图12，图像的校正过程S40包括从第一图像和第二图像中选择具有相互拼接位置的规定数量的像素的过程(S42)。

收集如此被选择的像素的颜色信息，计算出作为第一图像中选择的像素的颜色信息的平均值的第一平均值和作为第二图像中选择的像素的颜色信息的平均值的第二平均值(过程S44)。

随后，对计算出的第一及第二平均值的偏差或比率进行计算(过程S46)。将计算出的平均值的偏差或比率反映到第一图像或第二图像(过程S48)。

对于图像校正过程已在上面进行详细说明，在此省去详细的说明。

上述根据本发明的全景图像生成方法可以在由计算机可读取的记录介质中，作为计算机可读取的代码来实现。计算机可读取的记录介质包括存储有由计算机可读取的数据的所有种类的记录装置。作为计算机可读取的记录介质，可举例ROM(只读存储器)、RAM(随机存储器)、CD-ROM(只读光盘)、磁带、软盘、光学数据存储装置等，并且还包括以载波(例如通过因特网传输)的形态来实现。并且，由计算机可读取的记录介质被分散到由网络连接的计算机装置，以分散方式存储并运行由计算机可读取的代码。并且，用于实现上述全景图像生成方法的功能性(function)的程序、代码及代码段(code segment)，可以由本发明所属技术领域的编程人员容易进行推导。

以上说明的本发明并非限定于前述的实施例及附图，在不超出由权利要求书决定的本发明的技术思想的范围内，可以对其进行多种置换、修改及变形，这些对于本发明所属技术领域的普通技术人员来说是显而易见的。

产业上的可利用性

本发明涉及生成全景图像的装置、方法及由记录有运行该方法的程序的计算机可读取的记录介质。更具体而言，涉及一种生成自然地融合了拼接区域的图像的全景图像的装置、方法及由记录有运行该方法的程序的计算机可读取的记录介质。

在本发明的全景图像生成装置及方法中，应用基于像素距离的加权值，对作为全景图像对象的原图像的拼接区域进行融合，从而能够生成自然结合的全景图像。并且，根据本发明的装置和方法，即使使用简单的计算过程和较小的资源也能够生成自然的全景图像，因此能够生成更加适于移动终端的硬件环境的全景图像。

Claims (20)

1.一种全景图像生成装置，其特征在于，包括：

图像获取部，其依次获取多个图像；

拼接区域获取部，作为所述多个图像中的某一个的第一图像和要与所述第一图像结合的第二图像相互重复的拼接区域，获取具有细部区域的所述拼接区域，所述细部区域是与作为所述第二图像结合于所述第一图像的方向的结合方向垂直地分割而形成的；以及

全景生成部，其利用针对所述细部区域进行定义的加权函数，以所述细部区域为单位，融合而结合相当于所述第一图像的所述拼接区域的区域和相当于所述第二图像的所述拼接区域的区域，来生成全景图像。

2.根据权利要求1所述的全景图像生成装置，其特征在于，所述全景生成部包括：

拼接区域融合部，其利用相当于所述第一图像和所述第二图像的所述拼接区域的像素的颜色信息及通过所述加权函数计算的所述各个细部区域的加权值，来计算融合拼接区域；以及

全景结合部，其将所述第一图像的不属于所述拼接区域的区域、所述融合拼接区域以及所述第二图像的不属于所述拼接区域的区域结合为所述全景图像。

3.根据权利要求2所述的全景图像生成装置，其特征在于，所述拼接区域融合部以所述细部区域为单位，从相当于所述第二图像的所述细部区域的像素的颜色信息中减去相当于所述第一图像的所述细部区域的像素的颜色信息来计算颜色信息偏差，所述细部区域的加权值乘以所述颜色信息偏差来计算加权颜色信息偏差，将所述加权颜色信息偏差加到相当于所述第一图像的所述细部区域的像素的颜色信息，由此计算所述融合拼接区域。

4.根据权利要求2所述的全景图像生成装置，其特征在于，所述拼接区域融合部以所述细部区域为单位，利用所述细部区域的加权值，对相当于所述第一图像的所述细部区域的像素的颜色信息和相当于所述第二图像的所述细部区域的像素的颜色信息进行加权平均，来计算所述融合拼接区域。

5.根据权利要求1所述的全景图像生成装置，其特征在于，所述全景生成部包括：

图像线加载部，其沿着所述结合方向依次加载垂直于所述结合方向并由所述第一图像和所述第二图像的像素构成的线；

拼接区域判断部，其判断所述线是否属于所述拼接区域；

全景依次生成部，如果所述线不属于所述拼接区域，则将所述线插入到相当于所述全景图像的所述线的位置，如果所述线属于所述拼接区域，则加载与所述线拼接的所述第二图像的拼接线，利用通过所述加权函数计算的所述线所属的所述细部区域的加权值，决定所述线和所述拼接线的最终线，将所述最终线插入到相当于所述全景图像的所述线的位置。

6.根据权利要求1所述的全景图像生成装置，其特征在于，所述细部区域的数量与朝向所述拼接区域的所述结合方向的像素数量相同。

7.根据权利要求1所述的全景图像生成装置，其特征在于，所述细部区域的数量能够改变。

8.根据权利要求1所述的全景图像生成装置，其特征在于，所述加权函数是如下的单调递增函数：当所述细部区域的数量为L时，将0至L+1的整数作为输入变数，当所述输入变数为0时，所述加权函数的值为0，当所述输入变数为L+1时，所述加权函数的值为1。

9.根据权利要求8所述的全景图像生成装置，其特征在于，所述加权函数是线性函数。

10.根据权利要求1所述的全景图像生成装置，其特征在于，还包括图像校正部，该图像校正部选择具有相当于第一图像和第二图像的所述拼接区域的相同位置的规定数量的像素，分别计算所述像素的颜色信息的平均值，使所述平均值的比率乘以属于所述第一图像或所述第二图像的所有像素的颜色信息。

11.一种全景图像生成方法，其特征在于，包括如下步骤：

图像获取步骤，依次获取多个图像；

拼接区域获取步骤，作为所述多个图像中的某一个的第一图像和要与所述第一图像结合的第二图像相互重复的拼接区域，获取具有细部区域的所述拼接区域，所述细部区域是与作为所述第二图像结合于所述第一图像的方向的结合方向垂直地分割而形成的；以及

全景生成步骤，利用针对所述细部区域进行定义的加权函数，以所述细部区域为单位，融合而结合相当于所述第一图像的所述拼接区域的区域和相当于所述第二图像的所述拼接区域的区域，来生成全景图像。

12.根据权利要求11所述的全景图像生成方法，其特征在于，所述全景生成步骤包括：

拼接区域融合步骤，利用相当于所述第一图像和所述第二图像的所述拼接区域的像素的颜色信息及通过所述加权函数计算的所述各个细部区域的加权值，来计算融合拼接区域；以及

全景结合步骤，将所述第一图像的不属于所述拼接区域的区域、所述融合拼接区域以及所述第二图像的不属于所述拼接区域的区域结合为所述全景图像。

13.根据权利要求12所述的全景图像生成方法，其特征在于，在所述拼接区域融合步骤中，以所述细部区域为单位，从相当于所述第二图像的所述细部区域的像素的颜色信息中减去相当于所述第一图像的所述细部区域的像素的颜色信息来计算颜色信息偏差，所述细部区域的加权值乘以所述颜色信息偏差来计算加权颜色信息偏差，将所述加权颜色信息偏差加到相当于所述第一图像的所述细部区域的像素的颜色信息，由此计算所述融合拼接区域。

14.根据权利要求12所述的全景图像生成方法，其特征在于，在所述拼接区域融合步骤中，以所述细部区域为单位，利用所述细部区域的加权值，对相当于所述第一图像的所述细部区域的像素的颜色信息和相当于所述第二图像的所述细部区域的像素的颜色信息进行加权平均，来计算所述融合拼接区域。

15.根据权利要求11所述的全景图像生成方法，其特征在于，所述全景生成步骤包括：

图像加载步骤，沿着所述结合方向依次加载垂直于所述结合方向并由所述第一图像和所述第二图像的像素构成的线；

拼接区域判断步骤，判断所述线是否属于所述拼接区域；

全景依次生成步骤，如果所述线不属于所述拼接区域，则将所述线插入到相当于所述全景图像的所述线的位置，如果所述线属于所述拼接区域，则加载与所述线拼接的所述第二图像的拼接线，利用通过所述加权函数计算的所述线所属的所述细部区域的加权值，决定所述线和所述拼接线的最终线，将所述最终线插入到相当于所述全景图像的所述线的位置。

16.根据权利要求11所述的全景图像生成方法，其特征在于，所述细部区域的数量与朝向所述拼接区域的所述结合方向的像素数量相同。

17.根据权利要求11所述的全景图像生成方法，其特征在于，所述细部区域的数量能够改变。

18.根据权利要求11所述的全景图像生成方法，其特征在于，所述加权函数是如下的单调递增函数：当所述细部区域的数量为L时，将0至L+1的整数作为输入变数，当所述输入变数为0时，所述加权函数的值为0，当所述输入变数为L+1时，所述加权函数的值为1。

19.根据权利要求18所述的全景图像生成方法，其特征在于，所述加权函数是线性函数。

20.根据权利要求11所述的全景图像生成方法，其特征在于，还包括图像校正步骤，在该图像校正步骤中，选择具有相当于第一图像和第二图像的所述拼接区域的相同位置的规定数量的像素，分别计算所述像素的颜色信息的平均值，使所述平均值的比率乘以属于所述第一图像或所述第二图像的所有像素的颜色信息。

Images