CN105023260A - 一种全景图像融合方法及融合装置 - Google Patents

Abstract

本发明公开了一种全景图像融合方法及融合装置，融合方法包括：A、将需要融合的图像投影到全景模板中，提取图像的原始像素值，并识别出图像之间的重叠区域在全景模板中的位置；B、将所述重叠区域的边界集合化，计算出重叠区域内像素点的权重；C、将所述原始像素值和对应像素点的权重进行加权求和、获得重叠区域内像素点在全景模板中的像素值；本发明其采用集合的方式来定量描述不规则的重叠区域，忽略重叠区域的具体形状，能获得较好的融合效果，还减少融合运算量，更易于网络计算的实现；解决了现有融合方法对于不规则的重叠区域的融合效果较差、计算较复杂的问题。

Description

一种全景图像融合方法及融合装置

技术领域

本发明涉及图像处理技术领域，特别涉及一种全景图像融合方法及融合装置。  

背景技术

一般情况下相邻摄像机由于采集时间和旋转角度差异等原因，对于获取的相邻视场的图像之间有部分重叠区域。在理想状况下，相邻视场的重叠区域的亮度以及颜色应该是相同的。但是由于拍摄角度及拍摄时间的不同而导致光照条件等拍摄环境发生了一定的改变，加之不同的摄像机内部成像的细微差异；同一场景在相邻图像上的颜色和亮度通常会有差异，导致其重叠区域常呈现出明暗强度及变形程度的差异，给相邻图像拼接带来麻烦。并且，由于相邻像素间不仅仅是简单的平移关系，还包括旋转、反射关系。如果只将图像的重叠区域简单地叠加起来，会发现拼接而成的图像中边界的痕迹非常明显、以及出现重叠区域模糊和失真现象，严重影响了全景图像的视觉效果。目前对图像拼接结果的要求是不能看到两幅图像在拼接过程中留下的痕迹。为了消除简单叠加造成的影响，实现图像的无缝拼接；为了减少拼接处颜色和亮度的不连续性，尽力避免重叠区域出现图像模糊、重影、明显的分界等缺陷；必须对图像的重叠区域进行平滑处理，以提高图像的质量。现有技术中采用图像融合方法来处理重叠区域。图像融合方法是在图像拼接过程中调整配准图像的像素值的处理过程，能将一系列图像正确的拼接在一起，且拼接后不会看出拼接的痕迹，使融合后的图像尽可能地平滑清晰、过渡自然。 

目前常见的图像重叠区域的融合方法包括：取平均值法、渐入溅出法、基于面积加权的全景融合算法（即加权平均法）以及多分辨率融合法等。其中，取平均值法对于数据量较大、有不规则的重叠区域的全景图像、会导致最终的拼接图像中存在较为明显的拼接痕迹。渐入溅出法对重叠区域、特别是不规则的重叠区域内图像颜色、亮度的平滑效果较差。加权平均法虽然能使重叠区域平滑过渡、并消除拼接痕迹，但对于不规则的重叠区域则很难有效地进行融合。分辨率融合法是先将图像分解成一系列具有不同分辨率、频率特性及方向特性的子带图像，然后在每个分解的频率域上将图像重叠边界附近加权平均，最后将所有频率上的图像拼合成一幅全景图像。由于分辨率融合法运算量太大，特别地、不规则的重叠区域更是增加了运算难度和时间，不能达到图像融合的实时性要求。 

因而现有技术还有待改进和提高。 

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供一种全景图像融合方法及融合装置，以解决现有技术对于不规则的重叠区域的图像存在融合效果较差的问题。 

为了达到上述目的，本发明采取了以下技术方案： 

一种全景图像融合方法，其包括：

A、将需要融合的图像投影到全景模板中，提取图像的原始像素值，并识别出图像之间的重叠区域在全景模板中的位置；

B、将所述重叠区域的边界集合化，计算出重叠区域内像素点的权重；

C、将所述原始像素值和对应像素点的权重进行加权求和、获得重叠区域内像素点在全景模板中的像素值。

所述的全景图像融合方法中，所述需要融合的图像包括第一图像和第二图像，所述步骤A具体包括： 

A1、将第一图像和第二图像通过投影变换矩阵投影到全景模板中，并提取第一图像和第二图像的原始像素值和掩膜函数；

A2、计算第一图像和第二图像的掩膜函数的交集、获得第一图像和第二图像的重叠区域的掩膜函数，以确定所述重叠区域在全景模板中的位置。

所述的全景图像融合方法中，所述步骤B具体包括： 

B1、获取第一图像和第二图像掩膜的边界函数；

B2、根据第一图像和第二图像的边界函数获取重叠区域的第一边界和第二边界的函数，以确定第一边界和第二边界的集合所包含的元素；

B3、计算出重叠区域内像素点到第一边界和第二边界的最短距离，并计算出重叠区域内像素点在两幅图像中的权重。

所述的全景图像融合方法中，在所述步骤C之后还包括： 

D、将全景模板中的像素值传输至全景生成服务器端生成拼接融合后的全景图像。

所述的全景图像融合方法中，在所述步骤A中， 

第一图像在全景模板中的掩膜函数 的公式为：

，其中，X表示全景模板P中任意的像素点，A表示第一图像；

第二图像在全景模板中的掩膜函数的公式为：

其中，B表示第二图像；

第一图像与第二图像的重叠区域的掩膜函数的公式为：

。

所述的全景图像融合方法中，在所述步骤B1中，第一图像掩膜的边界函数E_A（X）和第二图像掩膜的边界函数E_B（X）的公式分别为： 

，

。

所述的全景图像融合方法中，在所述步骤B2中，第一边界的函数Eacd（X）和第二边界函数Eabd（X）的公式分别为： 

,

。

所述的全景图像融合方法中，在所述步骤B3中，重叠区域内任意像素点到第一边界的最短距离d_A的公式为： 

，

重叠区域内任意像素点到第二边界的最短距离d_B的公式为： 

，

其中，K表示重叠区域内的任意像素点，acd表示第一边界上所有像素点的集合，abd表示第二边界上所有像素点的集合；

重叠区域内任意像素点在第一图像和第二图像中的权重w1(K)、w2(K)的公式分别为：

。

所述的全景图像融合方法中，重叠区域内任意像素点在全景模板中的像素值P(K)的公式为： 

。

所述的全景图像融合方法中，所述需要融合的图像为多个，包括第一图像至第N图像，所述步骤A具体包括：将需要融合的N幅图像投影到全景模板中，提取每幅图像的原始像素值，并对图像之间的所有重叠区域用集合表示。 

所述的全景图像融合方法中，所述步骤B具体包括： 

B11、对其中重叠的任意两幅图像进行一次融合，对这两幅图像的重叠区域内的每个像素点求得其在这两幅图像中的权重w1₁(K)、w2₁(K)；

B12、将一次融合后的图像和与其重叠的任一图像进行二次融合，对这两幅图像的重叠区域内的每个像素点求得其在这两幅图像中的权重w1₂(K)、w2₂(K)；

B13、将二次融合后的图像和与其重叠的任一图像进行三次融合，对这两幅图像的重叠区域内的每个像素点求得其在这两幅图像中的权重w1₃(K)、w2₃(K)；以此类推，直至将N-2次融合后的图像和与其重叠的最后一幅图像进行N-1次融合，对这两幅图像的重叠区域内的每个像素点求得其在这两幅图像中的权重w1_N-1(K)、w2 _N-1 (K)。

所述的全景图像融合方法中，所述步骤C具体包括： 

C11、根据权重w1₁(K)、w2₁(K)、w1₂(K)、w2₂(K)、w1₃(K)、w2₃(K)直至w1_N-1(K)、w2 _N-1 (K)，计算出各重叠区域内像素点的像素值；

C12、分别计算出在全景模板中各像素点在第一图像至第N图像中的权重w1(K)~wN(K)；获得重叠区域内任意像素点在全景模板中的像素值。

一种全景图像融合的融合装置，其包括： 

重叠区域识别模块，用于将需要融合的图像投影到全景模板中，提取图像的原始像素值，并识别出图像之间的重叠区域在全景模板中的位置；

权重计算模块，用于将所述重叠区域的边界集合化，计算出重叠区域内像素点的权重；

像素值计算模块，用于将所述原始像素值和对应像素点的权重进行加权求和、获得重叠区域内像素点在全景模板中的像素值。

相较于现有技术，本发明提供的全景图像融合方法及融合装置，将需要融合的图像投影到全景模板中，提取图像的原始像素值，并识别出图像之间的重叠区域在全景模板中的位置；将所述重叠区域的边界集合化，计算出重叠区域内像素点的权重；对所述原始像素值和对应像素点的权重进行加权求和、获得重叠区域内像素点在全景模板中的像素值，即可获得融合后的全景图像；其采用集合的方式来定量描述不规则的重叠区域，忽略重叠区域的具体形状，能获得较好的融合效果，还减少融合运算量，更易于网络计算的实现；解决了现有融合方法对于不规则的重叠区域的融合效果较差、计算较复杂的问题。 

附图说明

图1为本发明提供的全景图像融合方法流程图。 

图2为本发明提供的全景图像融合方法的实施例中两幅图像融合的示意图。 

图3为本发明提供的全景图像融合方法的实施例中边界与重叠区域内的像素点的距离示意图。 

图4为本发明提供的全景图像融合方法的实施例中三幅图像融合的示意图。 

图5为本发明提供的全景图像融合装置的结构框图。 

具体实施方式

本发明提供一种全景图像融合方法及融合装置，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。 

本发明提供的全景图像融合方法主要针对多视场交叉重叠的重叠区域的形状不规则的情况，在不提高融合运算量的前提下，采用集合的方式法来定量描述任意形状的重叠区域，以解决现有融合方法对于不规则的重叠区域的融合效果较差、计算较复杂的问题。并且，本发明提供的融合方法能忽略重叠区域的具体形状，能获得较好的融合效果，还减少融合运算量，更易于网络计算的实现。请参阅图1，本发明提供的全景图像融合方法包括： 

S100、将需要融合的图像投影到全景模板中，提取图像的原始像素值，并识别出图像之间的重叠区域在全景模板中的位置；

S200、将所述重叠区域的边界集合化，计算出重叠区域内像素点的权重；

S300、将所述原始像素值和对应像素点的权重进行加权求和、获得重叠区域内像素点在全景模板中的像素值。

图像融合时均在全景模板（相当于提供一基准坐标系）中进行，本实施例中提供的融合方法将图像以集合方式进行表示，针对重叠区域内的像素点，得到各个像素点在每个视场中的权重，然后结合该像素点在原视场中的原始像素值进行加权求和，获得重叠区域在全景模板中的真实像素值就能得到融合后的全景图像。由此可知，具体实施时所述步骤S100采用集合来表示重叠区域中的像素点，即可识别出重叠区域在全景模板中的位置。 

根据数字图像处理的数学运算原理可知，一幅图像可称为一个集合。若像素点X在图像Z区域内，则像素点X是图像Z的元素，记为；否则，记作。例如，令X = (x,y) ∈Z，X即是集合Z（即图像Z）中的元素（即像素点），其中（x,y）表示元素X在集合Z中的位置。在数学集合论中，通常用集合的特征函数来表征一个集合，相应的，在图像中，图像集合的特征函数就是其掩膜函数。集合Z中任意子集R的掩膜函数M_R (X)的公式为： 

；

子集R的补集的掩膜函数的公式为：

。

集合运算，实质上是逐个元素地对其特征函数进行运算。请同时参阅图2，本实施例以需要融合的图像为两幅、即第一图像和第二图像为例。所述步骤S100具体包括：先将第一图像和第二图像通过投影变换矩阵投影到全景模板中，并提取第一图像和第二图像的原始像素值和掩膜函数；再计算第一图像和第二图像的掩膜函数的交集、获得第一图像和第二图像的重叠区域的掩膜函数，以确定所述重叠区域在全景模板中的位置。 

将第一图像A（即集合A）根据已知的投影变换矩阵M（基于RANSAC的随机采样算法计算得到的投影变换矩阵）投影到全景模板P中，第一图像A的函数、即其原始像素值为f_A(X)，其为现有技术，此处对其公式的表示方式不作限定。 

第一图像A在全景模板P中的掩膜函数的公式为： 

，其中，X表示全景模板P中的任意像素点，A表示第一图像。若像素点X在第一图像A中（即），则=1；否则等于0。

将第二图像B（即集合B）根据已知的投影变换矩阵M投影变换到全景模板P中，第二图像B的函数、即其原始像素值为f_B(X) ，其为现有技术，此处对其公式的表示方式不作限定。 

第二图像B在全景模板P中的掩膜函数的公式为： 

其中，X表示全景模板P中的任意像素点，B表示第二图像。若像素点X在第二图像B中（即），则=1；否则等于0。

根据子集R的掩膜函数M_R (X)的公式，可以分别得到； 

第一图像A、第二图像B的所有区域的掩膜函数公式，即图2中第一图像A与第二图像B、以及重叠区域，相当于集合A和集合B的并集；。

第一图像A、第二图像B的重叠区域的掩膜函数公式，即图2中的阴影部分，相当于集合A和集合B的交集； 

。

第一图像A减去第二图像B的区域的掩膜函数公式，即图2中第一图像A的空白部分，相当于集合A和集合B的差集； 

。

获得第一图像A和第二图像B的重叠区域的掩膜函数，即可确定该重叠区域在全景模板P中的位置。 

由于相邻摄像机所拍摄视场存在绕轴旋转或水平旋转角度的影响，全景融合中的重叠区域通常是不规则的。为此，本实施例提供的融合算法主要是对重叠区域内的像素点，得到该像素点在每个视场中的权重，然后结合该像素点在原视场中的像素值进行加权求和就可以得到全景图像中的真实像素值。 

不同重叠区域虽然形状各异，但其边界可分为两类。以图3所示的两幅图像全景融合为例，重叠区域的边界可以分为两种：第一边界为第二图像B的边界在第一图像A中的部分，如图3中线段acd所示。第二边界为第一图像A的边界在第二图像B中的部分，如图3中线段abd所示。在不规则区域中，很难准确得到重叠区域中任意像素点K到第一边界的最短距离d_A、以及其到第二边界的最短距离 d_B。如果把两种边界看作是一系列像素点所组成的边界集合时，度量任意像素点K到两个边界的最短距离问题就可以转化为集合外的元素到集合的距离问题。由于集合的元素只是边界上的像素点，因此在度量最短距离d_A、d_B时可以忽略边界的具体形状。 

从图3中可以得出，线段acd完全处于第一图像A中，该部分像素点权重在第一图像A中为1，而在第二图像B中的权重为0。当重叠区域中的像素点的位置由线段acd往线段abd移动时，该像素点在第一图像A中的权重在不断减小，而在第二图像B中的权重在不断增加，当到达线段abd上时，像素点在第一图像A中的权重为0，在第二图像B中的权重为1。 

如图3所示，假设像素点K为重叠区域中任意一像素点，w1(K)为像素点K在第一图像A中的权重，w2(K)为像素点K在第二图像B中的权重。本实施例通过求取像素点K到第一边界和第二边界的最短距离d_A、d_B即可分别度量权重w1(K)、w2(K)。则所述步骤S200具体包括： 

1、获取第一图像和第二图像掩膜的边界函数。

定义集合（即图像）中任意元素（即图像中的像素点）的领域集合为N，其元素个数为固定的值（如四领域集合有4个元素，八领域集合有8个元素等），用Num表示。则任意区域集合R的边界函数E_R(X)的公式为： 

；

根据上述公式可求得第一图像A掩膜的边界函数E_A（X）与第二图像B掩膜的边界函数E_B（X）分别为：

，

。

2、根据第一图像和第二图像的边界函数获取重叠区域的第一边界和第二边界的函数，以确定第一边界和第二边界的集合所包含的元素。 

重叠区域的边界分为第一边界（即线段acd）和第二边界（即线段abd）。这两个边界相当于重叠区域边界集合的两个子集。本实施例中将线段acd称为第二图像B掩膜的边界在第一图像A中的部分，线段abd为第一图像A掩膜的边界在第二图像B中的部分，则第一边界的函数Eacd（X）和第二边界函数Eabd（X）的公式分别为： 

,

。

3、计算出重叠区域内像素点到第一边界和第二边界的最短距离，并计算出重叠区域内像素点在两幅图像中的权重。 

对于重叠区域内任意像素点K，全景融合的最终目的就是计算像素点K在全景模板P中的像素值。获得第一边界的函数Eacd（X）和第二边界函数Eabd（X）后，就可以计算像素点K到这两个边界的最短距离d_A、d_B，即： 

，其中，K表示重叠区域内的任意像素点，acd表示第一边界上所有像素点的集合，abd表示第二边界上所有像素点的集合。

则重叠区域内任意像素点K在第一图像A和在第二图像B中的权重w1(K)、w2(K)分别为： 

。

根据上述公式，在步骤S300中，即可计算出重叠区域内任意像素点K在全景图像（即在全景模板P）中的像素值P(K)为： 

。

其中，f_A(K )、f_B(K)分别为第一图像A、B的函数表示，即原始像素值。 

如果将权重扩展到整个全景区域（即全景模板），则当任意像素点位于重叠区域以外的第一图像A区域时，像素点X在第一图像A中的权重为1，即w1(X)为1，w2(X)为0。当像素点X位于除重叠区域以外的第二图像B区域时，像素点X在第二图像B中的权重为1，即w1(X)为0，w2(X)为1，则第一图像A和第二图像B中任意像素点X在全景模板中的像素值的公式为： 

最后将像素值P(X)传输至全景生成服务器端即可获得拼接融合好的全景图像。

对于三幅图像（即第一图像A、第二图像B、第三图像C）的全景融合，现有技术中采用依次拼接融合每一幅图像的方式，即第一图像A和第二图像B拼接融合后，再和第三图像C拼接融合。此时第一图像A、第二图像B、第三图像C的公共区域（如图4中圆点区域）内的像素点的值被计算两次，大大增加了计算量。 

请参阅图4，对于三幅图像，本实施例中提供的全景融合方法是： 

1、对图4中三幅图像的重叠区域进行集合划分，第一图像A、第二图像B、第三图像C共同的重叠区域用集合表示为（即图4中圆点区域），仅第一图像A、第二图像B的重叠区域用集合表示为（即图4中斜线区域），仅第一图像A、第三图像C的重叠区域用集合表示为（即图4中竖线区域），仅第二图像B、第三图像C的重叠区域用集合表示为（即图4中横线区域）。

2、按照上述两幅图的融合实施例来拼接融合第一图像A和第二图像B，对于第一图像A与第二图像B的重叠区域内的每个像素点求得其在两幅图像中的权重w1(K)、w2(K)。将第一图像A、第二图像B拼接融合好后的图像称之为融合图像P_AB。 

3、将融合图像P_AB与第三图像C按照上述融合方法进行拼接融合，得到融合图像P_AB与第三图像C重叠区域内的每个像素点在两幅图像中的权重w^/1(K)、w^/2(K)。 

4、根据上述四个权重w1(K)、w2(K)、w^/1(K)、w^/2(K)，计算出各重叠区域内像素点的像素值： 

对于任意，即第一图像A与第二图像B的重叠区域内像素点的像素值为：。

对于任意，即第一图像A与第三图像C的重叠区域内像素点的像素值为：。 

对于任意，即第二图像B与第三图像C的重叠区域内像素点的像素值为：。 

对于任意，即第一图像A与第二图像B与第三图像C的重叠区域内像素点的像素值为： 

。

根据上述四个像素值的公式，即可以计算出在全景模板P中各像素点在第一图像A、第二图像B、第三图像C中的权重wA(K)、wB(K)、wC(K)： 

；

；

。

当确定好权重系数当确定好权重系数、、后，图4所示的三幅图像的全景图像就可以表示成： 

。

上述实施例中主要叙述了两幅图和三幅图的全景融合方法，但是本发明不局限于两幅或三幅图，还可以是三幅以上，对于三幅以上的图像融合方法如下： 

假设需要融合的图像包括第一图像至第N图像，则所述步骤S100具体包括：将需要融合的N幅图像投影到全景模板中，提取每幅图像的原始像素值，并对图像之间的所有重叠区域用集合表示。具体可参照三幅图像的全景融合方法中1所示的集合表示方式。

所述步骤S200具体包括： 

步骤211、对其中重叠的任意两幅图像进行一次融合，对这两幅图像的重叠区域内的每个像素点求得其在这两幅图像中的权重w1₁(K)、w2₁(K)。

对其中任意两幅重叠的图像（如图1和图2）按照上述两幅图的融合实施例进行一次融合，对这两幅图像的重叠区域内的每个像素点求得其在两幅图像中的权重w1₁(K)、w2₁(K)。将图1和图2融合后图像标记为图像12。 

步骤212、将一次融合后的图像和与其重叠的任一图像进行二次融合，对这两幅图像的重叠区域内的任意像素点求得其在这两幅图像中的权重w1₂(K)、w2₂(K)。 

将与图像12重叠的任意一幅图像（如图3）按照上述两幅图的融合实施例进行二次融合，对这两幅图像的重叠区域内的每个像素点求得其在两幅图像中的权重w1₂(K)、w2₂(K)。将这图像12和图像3融合后图像标记为图像123。 

步骤213、将二次融合后的图像和与其重叠的任一图像进行三次融合，对这两幅图像的重叠区域内的每个像素点求得其在这两幅图像中的权重w1₃(K)、w2₃(K)；以此类推，直至将N-2次融合后的图像和与其重叠的最后一幅图像进行N-1次融合，对这两幅图像的重叠区域内的每个像素点求得其在这两幅图像中的权重w1_N-1(K)、w2 _N-1 (K)。 

需要理解的是，上述数字1、2、3表示为不同的图像，并不代表图像的序号。 

之后则计算像素值，即所述步骤S300具体包括： 

步骤311、根据权重w1₀(K)、w2₀(K)、w1₁(K)、w2₁(K)直至w1_N-1(K)、w2 _N-1 (K)，计算出各重叠区域内像素点的像素值。

步骤312、分别计算出在全景模板中各像素点在第一图像至第N图像中的权重w1(K)~wN(K)；获得重叠区域内任意像素点在全景模板中的像素值。 

基于上述的全景图像融合方法，本发明还相应提供一种全景图像的融合装置，其包括重叠区域识别模块10、权重计算模块20和像素值计算模块30，所述重叠区域识别模块10、权重计算模块20、像素值计算模块30依次连接。其中，所述重叠区域识别模块10将需要融合的图像投影到全景模板中，提取图像的原始像素值，并识别出图像之间的重叠区域在全景模板中的位置。权重计算模块20将所述重叠区域的边界集合化，计算出重叠区域内像素点的权重。像素值计算模块30将所述原始像素值和对应像素点的权重进行加权求和、获得重叠区域内像素点在全景模板中的像素值。最后将像素值传输至全景生成服务器端即可获得拼接融合好的全景图像。 

其中，所述重叠区域识别模块10包括： 

投影提取单元，用于将第一图像和第二图像通过投影变换矩阵投影到全景模板中，并提取第一图像和第二图像的原始像素值和掩膜函数；还用于将需要融合的N幅图像投影到全景模板中，提取每幅图像的原始像素值。

重叠计算单元，用于计算第一图像和第二图像的掩膜函数的交集、获得第一图像和第二图像的重叠区域的掩膜函数，以确定所述重叠区域在全景模板中的位置；还用于对图像之间的所有重叠区域用集合表示。 

权重计算模块20包括： 

边界计算单元，用于获取第一图像和第二图像掩膜的边界函数，根据第一图像和第二图像的边界函数获取重叠区域的第一边界和第二边界的函数，以确定第一边界和第二边界的集合所包含的元素。

重叠权重计算单元，用于计算出重叠区域内像素点到第一边界和第二边界的最短距离，并计算出重叠区域内像素点在两幅图像中的权重；其还用于对重叠的任意两幅图像进行一次融合，再将一次融合后的图像和与其重叠的任一图像进行二次融合，以此类推直至将N-2次融合后的图像和与其重叠的最后一幅图像进行N-1次融合；并求得每次融合的两幅图像的重叠区域内的每个像素点在这两幅图像中的权重。 

所述像素值计算模块30还用于根据重叠权重计算单元多次融合计算出的权重来计算各重叠区域内像素点的像素值、以及在全景模板中各像素点在第一图像至第N图像中的权重，最后获得重叠区域内任意像素点在全景模板中的像素值。 

综上所述，本发明将需要融合的图像投影到全景模板中，通过求取重叠区域内任意像素点的权重，并与其对应的原始像素值相乘，然后全部叠加获得重叠区域内像素点在全景模板中的像素值，全景生成服务器端根据该像素值生成融合后的全景图像，通过采用集合方式来定量描述不规则的重叠区域，可以忽略重叠区域的具体形状，获得了较好的融合效果，还减少了融合运算量，更易于网络计算的实现；解决了现有融合方法对于不规则的重叠区域的融合效果较差、计算较复杂的问题。 

可以理解的是，对本领域普通技术人员来说，可根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。 

Claims (13)

1.一种全景图像融合方法，其特征在于，包括：

A、将需要融合的图像投影到全景模板中，提取图像的原始像素值，并识别出图像之间的重叠区域在全景模板中的位置；

B、将所述重叠区域的边界集合化，计算出重叠区域内像素点的权重；

C、将所述原始像素值和对应像素点的权重进行加权求和、获得重叠区域内像素点在全景模板中的像素值。

2.根据权利要求1所述的全景图像融合方法，其特征在于，所述需要融合的图像包括第一图像和第二图像，所述步骤A具体包括：

A1、将第一图像和第二图像通过投影变换矩阵投影到全景模板中，并提取第一图像和第二图像的原始像素值和掩膜函数；

A2、计算第一图像和第二图像的掩膜函数的交集、获得第一图像和第二图像的重叠区域的掩膜函数，以确定所述重叠区域在全景模板中的位置。

3.根据权利要求2所述的全景图像融合方法，其特征在于，所述步骤B具体包括：

B1、获取第一图像和第二图像掩膜的边界函数；

B2、根据第一图像和第二图像的边界函数获取重叠区域的第一边界和第二边界的函数，以确定第一边界和第二边界的集合所包含的元素；

B3、计算出重叠区域内像素点到第一边界和第二边界的最短距离，并计算出重叠区域内像素点在两幅图像中的权重。

4.根据权利要求1所述的全景图像融合方法，其特征在于，在所述步骤C之后还包括：

D、将全景模板中的像素值传输至全景生成服务器端生成拼接融合后的全景图像。

5.根据权利要求3所述的全景图像融合方法，其特征在于，在所述步骤A中，第一图像在全景模板中的掩膜函数                                                的公式为：

，其中，X表示全景模板P中任意的像素点，A表示第一图像；

第二图像在全景模板中的掩膜函数的公式为：

其中，B表示第二图像；

第一图像与第二图像的重叠区域的掩膜函数的公式为：

。

6.根据权利要求5所述的全景图像融合方法，其特征在于，在所述步骤B1中，第一图像掩膜的边界函数E_A（X）和第二图像掩膜的边界函数E_B（X）的公式分别为：

，

。

7.根据权利要求6所述的全景图像融合方法，其特征在于，在所述步骤B2中，第一边界的函数Eacd（X）和第二边界函数Eabd（X）的公式分别为：

,

。

8.根据权利要求7所述的全景图像融合方法，其特征在于，在所述步骤B3中，重叠区域内任意像素点到第一边界的最短距离d_A的公式为：

，

重叠区域内任意像素点到第二边界的最短距离d_B的公式为： 

，

其中，K表示重叠区域内的任意像素点，acd表示第一边界上所有像素点的集合，abd表示第二边界上所有像素点的集合；

重叠区域内任意像素点在第一图像和第二图像中的权重w1(K)、w2(K)的公式分别为：

。

9.根据权利要求8所述的全景图像融合方法，其特征在于，重叠区域内任意像素点在全景模板中的像素值P(K)的公式为：

。

10.根据权利要求1所述的全景图像融合方法，其特征在于，所述需要融合的图像为多个，包括第一图像至第N图像，所述步骤A具体包括：将需要融合的N幅图像投影到全景模板中，提取每幅图像的原始像素值，并对图像之间的所有重叠区域用集合表示。

11.根据权利要求10所述的全景图像融合方法，其特征在于，所述步骤B具体包括：

B11、对其中重叠的任意两幅图像进行一次融合，对这两幅图像的重叠区域内的每个像素点求得其在这两幅图像中的权重w1₁(K)、w2₁(K)；

B12、将一次融合后的图像和与其重叠的任一图像进行二次融合，对这两幅图像的重叠区域内的每个像素点求得其在这两幅图像中的权重w1₂(K)、w2₂(K)；

B13、将二次融合后的图像和与其重叠的任一图像进行三次融合，对这两幅图像的重叠区域内的每个像素点求得其在这两幅图像中的权重w1₃(K)、w2₃(K)；以此类推，直至将N-2次融合后的图像和与其重叠的最后一幅图像进行N-1次融合，对这两幅图像的重叠区域内的每个像素点求得其在这两幅图像中的权重w1_N-1(K)、w2 _N-1 (K)。

12.根据权利要求11所述的全景图像融合方法，其特征在于，所述步骤C具体包括：

C11、根据权重w1₁(K)、w2₁(K)、w1₂(K)、w2₂(K)、w1₃(K)、w2₃(K)直至w1_N-1(K)、w2 _N-1 (K)，计算出各重叠区域内像素点的像素值；

C12、分别计算出在全景模板中各像素点在第一图像至第N图像中的权重w1(K)~wN(K)；获得重叠区域内任意像素点在全景模板中的像素值。

13.一种全景图像融合的融合装置，其特征在于，包括：

重叠区域识别模块，用于将需要融合的图像投影到全景模板中，提取图像的原始像素值，并识别出图像之间的重叠区域在全景模板中的位置；

权重计算模块，用于将所述重叠区域的边界集合化，计算出重叠区域内像素点的权重；

像素值计算模块，用于将所述原始像素值和对应像素点的权重进行加权求和、获得重叠区域内像素点在全景模板中的像素值。