CN101951487A - 一种全景图像融合方法、系统及图像处理设备 - Google Patents

Abstract

本发明适用于图像处理技术领域，提供了一种全景图像融合方法，包括以下步骤：对具有一定视场重合的两幅图像A、B，计算它们对全景视场的投影变换参数，并将它们投影变换到统一的全景视场中；计算这两幅图像在全景视场中的公共视场重叠区域，计算公共视场重叠区域的相异视场边界；计算公共视场重叠区域的像素点到相异视场边界的距离；根据相异视场边界距离计算融合系数；根据融合系数表对公共视场区域的图像进行融合。本发明解决了已有的全景图像融合方法无法很好地处理在公共重叠视场区域为任意形状时的无缝融合问题，也解决了已有的融合算法由于公共视场重叠区域的形状不同造成的融合算法不统一的问题。

Description

一种全景图像融合方法、系统及图像处理设备

技术领域

本发明属于图像处理技术领域，尤其涉及一种全景图像融合方法、系统及图像/视频处理设备。

背景技术

目前，全景图像的生成一般采取两类方式：第一类是利用广角镜头或全景反射光学镜头生成全景图像；第二类是利用普通相机获取的多个视角的图像经过变换、拼接、融合为一个包含各视角图像内容的大视场全景图像。

在第二类方式中，由于相机获取的多个视角的图像之间存在视场大小、方向、亮度、色彩等方面的差异，一般需要通过两个步骤才能够将这些图像拼接为一幅无缝全景图像。第一个步骤是对各个图像进行投影变换，将它们变换到一个统一的视场中；第二个步骤是对变换后的各个图像在它们的公共视场交叠区域进行色彩和亮度的一致性调整，消除图像拼接的马赛克效应，即消除全景图像中的拼接痕迹。

目前对全景图像中的公共视场交叠区域进行色彩和亮度的一致性调整的技术主要有下面几种方式：

平均值法：在两幅图像的公共视场重叠区中的像素颜色值是两幅图像的颜色值的平均值。

最佳缝合线法：在两幅图像的公共重叠区域中，寻找出两幅图像中那些颜色值和邻域几何结构最相似的点作为缝合线，在缝合线的一侧只取其中的一幅图像的内容，以实现两幅图像的全景拼接。

多分辨融合法：采用拉普拉斯金字塔型分解、或小波分解将图像分解为多分辨的形式，然后在不同分辨级上进行图像融合，最后将融合后的不同分辨级图像进行多分辨合成。

渐入渐出法：在两幅图像的公共重叠区域中，为每一个像素点计算出一个混合加权系数，该混合加权系数在公共重叠区域中随位置的不同具有渐变过渡特性，将两幅图像中对应的像素按照混合加权系数进行颜色值加权叠加，以使公共区域的色彩和亮度在两幅图像之间呈现出逐渐过渡的特点。该方法也称为阿尔法混合法。

在上述色彩和亮度的一致性调整方式中，渐入渐出法不仅可以得到无缝渐变的全景图像，而且在融合过程中运算相对简单，可以快速实现，因此使用广泛。渐入渐出法的关键是混合加权系数的定义和计算。目前的方法中，混合加权系数的计算方式主要包括：①沿图像的其中一维坐标方向计算混合系数，该方法的主要问题是，在图像重叠区域边界的另外一维坐标方向上会出现明显的拼接痕迹；②图像四边形重叠区域的面积加权法，该方法假设两幅图像的重叠区域为四边形，首先找出四边形四个顶点的位置，计算公共区域中的任意像素点与这四个顶点形成的四个三角形的面积，并以此为基础计算出混合系数。后一种方法虽然可以克服前面方法的缺点，但它只能对重叠区域为四边形的情况进行计算，使得它的使用范围受到限制。

现有渐入渐出融合技术生成全景图像时，存在无法对公共视场重叠区域为任意几何形状时的情况进行有效融合的问题，以及由于公共视场重叠区域的形状不同的原因造成的融合算法不统一的问题。

发明内容

本发明实施例的目的在于提供一种全景图像融合方法，旨在使图像融合过程与图像的具体几何形状无关，并最终生成无缝全景图像。

本发明实施例是这样实现的，一种全景图像融合方法，包括以下步骤：

步骤a1，对待融合的两幅图像进行到全景视场的投影变换处理，并通过插值运算得到待融合的两幅图像在全景视场中的对应镶嵌图；

步骤a2，计算两幅镶嵌图的区域掩模图，并根据所述两幅镶嵌图的区域掩模图得到两幅镶嵌图的公共重叠视场区域以及公共重叠视场区域的相异视场边界集合；

步骤a3，计算所述公共重叠视场区域中的像素点到所述相异视场边界集合的距离，并根据计算结果进一步计算得到融合系数；

步骤a4，根据所述融合系数、所述两幅镶嵌图的区域掩模图、所述两幅镶嵌图的公共重叠视场区域、所述两幅镶嵌图得到两幅图像融合后的全景图像。

进一步地，若待融合的图像数量多于两幅，则所述方法在步骤a1之前还包括以下步骤：

步骤a01，将待融合的n幅图像投影变换到全景视场中，并通过插值运算得到所述n幅图像在全景视场中的对应镶嵌图T1、T2、...、Tn；

步骤a02，计算所述n幅镶嵌图T1、T2、...、Tn的区域掩模图R1、R2、...、Rn；计算各区域掩模图之间的视场空间相邻关系，若其中的两个掩模图之间存在有视场公共重叠区域，则判断它们的视场相邻并建立相邻视场连通链表，否则不相邻；

在步骤a4之后，所述方法还包括以下步骤：

步骤a5，根据相邻视场连通链表对全景视场镶嵌图重新排序为T_c1、T_c2、...、T_cn，并采用顺序迭代方式计算全景融合图像，如下：

$P_{k+1}=P_k\⊕T_{\mathrm{ck}+1},$ k＝1，2，...，n-1

其中，

是图像融合运算符，P_k是由k个镶嵌图T_c1、T_c2、...、T_ck生成的部分全景图，P₁＝T_c1，P_n是最终的全景图。

本发明实施例还提供了一种全景图像融合系统，包括：

镶嵌图运算单元，用于对待融合的两幅图像进行到全景视场的投影变换处理，并通过插值运算得到待融合的两幅图像在全景视场中的对应镶嵌图；

全景图像参数运算单元，用于计算两幅镶嵌图的区域掩模图，并根据所述两幅镶嵌图的区域掩模图得到两幅镶嵌图的公共重叠视场区域以及公共重叠视场区域的相异视场边界集合；还用于计算所述公共重叠视场区域中的像素点到所述相异视场边界集合的距离，并根据计算结果进一步计算得到融合系数；

全景图像合成单元，用于根据所述融合系数、所述两幅镶嵌图的区域掩模图、所述两幅镶嵌图的公共重叠视场区域、所述两幅镶嵌图得到两幅图像融合后的全景图像。

进一步地，所述镶嵌图运算单元用于将待融合的n幅图像投影变换到全景视场中，并通过插值运算得到所述n幅图像在全景视场中的镶嵌图T1、T2、...、Tn；所述全景图像参数运算单元用于计算所述n幅镶嵌图T1、T2、...、Tn的区域掩模图R1、R2、...、Rn；

所述系统还包括：

相邻视场连通链表建立单元，用于根据所述全景图像参数运算单元计算得到的区域掩模图R1、R2、...、Rn，计算各区域掩模图之间的视场空间相邻关系，若其中的两个掩模图之间存在有视场公共重叠区域，则判断它们的视场相邻并建立相邻视场连通链表，否则不相邻；

所述全景图像合成单元还用于根据相邻视场连通链表对全景视场镶嵌图重新排序为T_c1、T_c2、...、T_cn，并采用顺序迭代方式计算全景融合图像，如下：

$P_{k+1}=P_k\⊕T_{\mathrm{ck}+1},$ k＝1，2，...，n-1，

其中，

是图像融合运算符，P_k是由k个镶嵌图T_c1、T_c2、...、T_ck生成的部分全景图，P₁＝T_c1，P_n是最终的全景图。

本发明实施例还提供了一种包括如上所述的全景图像融合系统的全景图像处理设备。

本发明实施例中，通过将具有一定视场重合的两幅图像，通过投影变换计算出它们在全景视场中的镶嵌图；利用镶嵌图中的公共视场重叠区域，计算出相异视场边界像素集合，并计算出公共视场重叠区域的像素点到相异视场边界的距离；根据相异视场边界距离计算融合系数，建立公共视场区域的融合系数表；根据融合系数表对公共视场区域的图像进行融合。整个处理过程与视场具体几何形状无关，具有通用性，应用范围广，从而实现了一种通用的对两幅图像公共视场重叠区域进行全景图像无缝融合的方法，解决了已有的全景图像融合方法无法很好地处理在公共重叠视场区域为任意形状时的无缝融合问题，也解决了以往由于不同形状公共视场重叠区域的原因造成的融合算法不统一的问题，本发明经过简单的扩展还可用于n(n≥3)幅图像的无缝融合。

附图说明

图1是本发明实施例提供的全景图像融合方法的实现流程图；

图2是本发明实施例提供的两幅图像全景融合的镶嵌图T_A、T_B，区域掩模图R_A、R_B、公共重叠视场区域掩模图R_AB，以及公共重叠视场区域掩模图R_AB的相异视场边界集合E_AB、E_BA的关系示意图；

图3是本发明实施例提供的像素点X的3×3邻域N(X)的示意图；

图4是本发明实施例提供的4幅图像全景融合的视场示意图；

图5是本发明实施例提供的全景图像融合系统的结构原理图；

图6是本发明实施例提供的n幅图像的全景图像融合方法的实现流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例通过将具有一定视场重合的两幅图像，通过投影变换计算出它们在全景视场中的镶嵌图；利用镶嵌图中的公共视场重叠区域，计算出相异视场边界像素集合，并计算出公共视场重叠区域的像素点到相异视场边界的距离；根据相异视场边界距离计算融合系数，建立公共视场区域的融合系数表；根据融合系数表对公共视场区域的图像进行融合。实现了一种通用的对两幅图像公共视场重叠区域进行全景图像无缝融合的方法，也实现了n(n≥3)幅图像的全景无缝融合方法。

图1示出了本发明实施例提供的全景图像融合方法的实现流程，详述如下。

在步骤S101中，对待融合的两幅图像，计算它们到全景视场的投影变换，并通过插值运算得到它们在全景视场中的对应镶嵌图。

在计算图像投影变换前，需要得到投影变换矩阵。在只有两幅图像的全景图像生成中，可以将其中一幅图像的视场作为基准视场，然后计算另一幅图像的视场对基准视场的投影变换矩阵；在两幅以上图像的全景生成中，需要将其中一幅图像的视场确定为基准视场，然后计算其它图像视场对基准视场的投影变换矩阵。现有技术中，计算一幅图像到基准视场的投影变换矩阵的方法有多种，其中基于尺度不变特征变换(SIFT)的特征匹配点提取和匹配点对的RANSAC提纯方法的投影矩阵计算方法是较佳的一种，它可以利用公共视场重叠区域的图像特征点对，自动计算出投影变换矩阵，此处不再一一列举。

本发明中所述的待融合图像和融合后的全景图像都是数字图像，由于数字图像具有离散的特点，在图像投影变换到全景基准视场后得到的镶嵌图中，某些像素点可能是空缺的，因此需要使用图像插值方法补全那些空缺的像素点。现有技术中，图像的插值方法有多种，其中的双线性插值方法是较佳的一种，此处不再一一列举。

假设待融合的两幅图像为A、B，并且已经得到了它们在全景视场中经过投影变换后的镶嵌图T_A(X)、T_B(X)，其中，X＝(X，y)，是全景图像视场中像素点的空间位置坐标。同时假设镶嵌图T_A(X)、T_B(X)的视场重叠区域是在空间位置上配准的。

在步骤S102中，利用S101中得到的镶嵌图T_A(X)、T_B(X)，计算区域掩模图R_A(X)、R_B(X)，公共重叠视场区域掩模图R_AB(X)，以及R_AB(X)的相异视场边界集合E_AB(X)、E_BA(X)。

为了更清楚地说明，镶嵌图T_A、T_B，掩模图R_A、R_B、R_AB，以及边界集合E_AB、E_BA的关系请参阅图2。具体详述如下：

掩模图R_A的计算如公式(1)，

$R_A\left(X\right)=\left\{\begin{array}{cc}1,& X\∈T_A\\ 0,& X\∉T_A\end{array}\right.---\left(1\right)$

公式(1)中，X＝(x，y)，是全景视场中像素点的空间位置坐标。

掩模图R_B的计算如公式(2)，

$R_B\left(X\right)=\left\{\begin{array}{cc}1,& X\∈T_B\\ 0,& X\∉T_B\end{array}\right.---\left(2\right)$

掩模图R_AB的计算如公式(3)，

R_AB(X)＝R_A(X)·R_B(X)                                        (3)

公式(3)中，·为乘积运算符。

公式(1)中的R_A(X)、公式(2)中的R_B(X)，以及公式(3)中的R_AB(X)可以理解为集合的指示函数，表示元素X是否属于该集合。因此掩模图R_A、R_B和R_AB可以表示像素点的集合。其中，R_AB是R_A和R_B的交集。

边界集合E_AB、E_BA的指示函数如公式(4)和公式(5)：

$E_{\mathrm{AB}}\left(X\right)=\left\{\begin{array}{cc}1,& \left[R_B\left(X\right)\underset{X_k\&Element;N\left(X\right)}{\mathrm{\&Pi;}}{R}_A\left(X_k\right)\right]\\ 0,& \mathrm{otherwise}\end{array}\right.=1,$ 且 $1<\underset{X_k\&Element;N\left(X\right)}{\mathrm{\&Sigma;}}{R}_B\left(X_k\right)<9---\left(4\right)$

$E_{\mathrm{BA}}\left(X\right)=\left\{\begin{array}{cc}1,& \left[R_A\left(X\right)\underset{X_k\&Element;N\left(X\right)}{\mathrm{\&Pi;}}{R}_B\left(X_k\right)\right]\\ 0,& \mathrm{otherwise}\end{array}\right.=1,$ 且 $1<\underset{X_k\&Element;N\left(X\right)}{\mathrm{\&Sigma;}}{R}_A\left(X_k\right)<9---\left(5\right)$

在公式(4)和公式(5)中，∏是连乘积运算符，∑是累加和运算符。N(X)是X的以X为中心的3×3邻域，是一个由9个元素组成的集合，请参阅图3，其中X₅＝X。E_AB(X)、E_BA(X)分别是集合E_AB、E_BA的指示函数。

在步骤S103中，计算公共重叠视场区域R_AB中的像素点X到相异视场边界集合E_AB、E_BA的距离d_AB(X)、d_BA(X)。

距离d_AB(X)的具体计算如公式(6)，d_BA(X)的具体计算如公式(7)：

d_AB(X)＝min{||X-X_k||，X_k∈E_AB}，X∈R_AB                     (6)

d_BA(X)＝min{||X-X_k||，X_k∈E_BA}，X∈R_AB                       (7)

公式(6)和公式(7)中，min{·}是求集合中最小元素的运算，||X-X_k||是公共重叠区域中的点X到相异边界集合中的点X_k之间的距离运算。假设X＝(x，y)，X_k＝(x_k，y_k)，采用欧氏距离，则具体距离的计算如公式(8)：

$\left|\right|X-X_k\left|\right|=\sqrt{{(x-x_k)}^2+{(y-y_k)}^2}---\left(8\right)$

在公式(6)和公式(7)中，d_AB(X)和d_BA(X)的实质是一种点到集合之间的距离。d_AB(X)定义为点X到集合E_AB中与其距离最近的点之间的距离；d_BA(X)定义为点X到集合E_BA中与其距离最近的点之间的距离。

在步骤S104中，利用S103中得到的距离d_AB(X)和d_BA(X)计算融合系数w_AB(X)、w_BA(X)，如公式(9)，

$w_{\mathrm{AB}}\left(X\right)=\frac{d_{\mathrm{BA}}\left(X\right)}{d_{\mathrm{AB}}\left(X\right)+d_{\mathrm{BA}}\left(X\right)},$ w_BA(X)＝1-w_AB(X)，                   (9)

使用公式(6)、公式(7)和公式(9)，对公共重叠区域R_AB中的每一个X点，计算融合系数，将这些系数存储并组织为一个区域R_AB的融合系数表。

在步骤S105中，根据融合系数表w_AB(X)、w_BA(X)、掩模图R_A、R_B和R_AB，以及全景镶嵌图T_A(X)、T_B(X)，计算得到由图像A、B融合后的全景图T_P(X)。具体如公式(10)所示：

$T_P\left(X\right)=\left\{\begin{array}{cc}{T}_A\left(X\right),& X\&Element;R_A-R_B\\ w_{\mathrm{AB}}\left(X\right)\&CenterDot;T_A\left(X\right)+w_{\mathrm{BA}}\left(X\right)\&CenterDot;T_B\left(X\right),& X\&Element;R_{\mathrm{AB}}\\ T_B\left(X\right),& X\&Element;R_B-R_A\end{array}\right.---\left(10\right)$

其中，公式(10)中，R_A-R_B是集合R_A与集合R_B的差集，R_B-R_A是集合R_B与集合R_A的差集。

所述公式(1)-(10)的计算过程中，并未涉及图像A、B的具体几何形状，也未涉及R_A、R_B的具体几何形状，以及视场重叠区域R_AB的具体几何形状。因此本发明所述的图像融合方法是一种与图像具体几何形状，以及视场重叠区域具体几何形状无关的方法，是一种通用的融合方法。如图4所示，是四幅图像进行全景融合的视场关系示意图，本发明所述全景融合方法非常适合解决这类非规则几何形状的公共重叠区域的融合问题。

本发明所述方法同样适用于n幅(n≥3)图像的全景融合问题。假设要将n幅图像融合为全景图，且这些图像到全景视场的投影变换参数已经得到，则融合过程的流程图如图5所示，具体步骤说明如下：

Step1：将待融合的n幅图像投影变换到全景视场中，并经过适当的插值运算，得到它们的镶嵌图T1、T2、...、Tn；

Step2：计算这n幅镶嵌图的区域掩模图R1、R2、...、Rn；计算区域掩模图之间的视场空间相邻关系。如果两个掩模图Ri、Rj存在有视场公共重叠区域，则它们的视场相邻，否则不相邻；由视场相邻关系，建立相邻视场连通链表；

Step3：根据相邻视场连通链表对全景视场镶嵌图重新排序为T_c1、T_c2、...、T_cn，并采用顺序迭代方式计算全景融合图像。顺序迭代如公式(11)：

$P_{k+1}=P_k\&CirclePlus;T_{\mathrm{ck}+1},$ k＝1，2，...，n-1                               (11)

在公式(11)中，

是图像融合运算符，P_k是由k个镶嵌图T_c1、T_c2、...、T_ck生成的部分全景图，特别P₁＝T_c1，P_n是最终的全景图。在公式(11)中，生成部分全景图像的每一次顺序迭代融合运算都是两幅图像之间的融合，采用本发明所述两幅图像的融合方法。

本领域普通技术人员可以理解实现上述各实施例提供的方法中的全部或部分步骤可以通过程序指令及相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该存储介质可以为ROM/RAM、磁盘、光盘等。

图6示出了本发明实施例提供的全景图像融合系统的结构原理，为了便于描述，仅示出了与本实施例相关的部分。此全景图像融合系统可以为内置于全景图像处理设备中的软件单元、硬件单元或软硬件结合的单元。

参照图6，镶嵌图运算单元61用于对待融合的两幅图像进行到全景视场的投影变换处理，并通过插值运算得到待融合的两幅图像在全景视场中的对应镶嵌图。全景图像参数运算单元62用于计算两幅镶嵌图的区域掩模图，并根据两幅镶嵌图的区域掩模图得到两幅镶嵌图的公共重叠视场区域以及公共重叠视场区域的相异视场边界集合，并计算所述公共重叠视场区域中的每一个像素点到所述相异视场边界集合的距离，然后根据计算结果进一步计算得到所述公共重叠视场区域中的每一个像素点的融合系数。而全景图像合成单元63则用于根据公共重叠视场区域中的每一个像素点的融合系数、两幅镶嵌图的区域掩模图、两幅镶嵌图的公共重叠视场区域、两幅镶嵌图得到两幅图像融合后的全景图像。

其中，全景图像参数运算单元62计算得到两幅镶嵌图的区域掩模图R_A、R_B，以及计算得到两幅镶嵌图的公共重叠视场区域R_AB，以及计算得到公共重叠视场区域的相异视场边界集合E_AB、E_BA，以及计算公共重叠视场区域中的像素点到相异视场边界集合E_AB、E_BA的距离d_AB(X)、d_BA(X)，以及计算得到公共重叠区域R_AB中的每一个X点的融合系数w_AB(X)、w_BA(X)的原理如上文所述，全景图像合成单元63得到两幅图像融合后的全景图像的原理如上文所述，此处不再一一赘述。

进一步地，上述全景图像融合系统也可扩展适用于多于两幅图像的融合，此时镶嵌图运算单元61用于将待融合的n幅图像(n≥3)投影变换到全景视场中，并通过插值运算得到n幅图像在全景视场中的镶嵌图T1、T2、...、Tn。全景图像参数运算单元62用于计算n幅镶嵌图T1、T2、...、Tn的区域掩模图R1、R2、...、Rn。同时全景图像融合系统还需包括一相邻视场连通链表建立单元(图6中未示出)，用于根据全景图像参数运算单元62计算得到的区域掩模图R1、R2、...、Rn，计算各区域掩模图之间的视场空间相邻关系，若其中的两个掩模图之间存在有视场公共重叠区域，则判断它们的视场相邻并建立相邻视场连通链表，否则不相邻。全景图像合成单元63用于根据相邻视场连通链表对全景视场镶嵌图重新排序为T_c1、T_c2、...、T_cn，并采用顺序迭代方式计算全景融合图像，如下：

$P_{k+1}=P_k\&CirclePlus;T_{\mathrm{ck}+1},$ k＝1，2，...，n-1，

其中，

是图像融合运算符，P_k是由k个镶嵌图T_c1、T_c2、...、T_ck生成的部分全景图，P₁＝T_c1，P_n是最终的全景图。其中生成部分全景图像的每一次顺序迭代融合运算都是两幅图像之间的融合，采用上文所述两幅图像的融合方法，不再赘述。

本发明实施例通过将具有一定视场重合的两幅图像，通过投影变换计算出它们在全景视场中的镶嵌图；利用镶嵌图中的公共视场重叠区域，计算出相异视场边界像素集合，并计算出公共视场重叠区域的像素点到相异视场边界的距离；根据相异视场边界距离计算融合系数，建立公共视场区域的融合系数表；根据融合系数表对公共视场区域的图像进行融合。实现了一种通用的对两幅图像公共视场重叠区域进行全景图像无缝融合的方法，解决了已有的全景图像融合方法无法很好地处理在公共重叠视场区域为任意形状时的无缝融合问题，也解决了以往由于不同形状公共视场重叠区域的原因造成的融合算法不统一的问题，本发明所述方法也适用于n幅(n≥3)图像的全景图像融合。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种全景图像融合方法，其特征在于，包括以下步骤：

步骤a1，对待融合的两幅图像进行到全景视场的投影变换处理，并通过插值运算得到待融合的两幅图像在全景视场中的对应镶嵌图；

步骤a2，计算两幅镶嵌图的区域掩模图，并根据所述两幅镶嵌图的区域掩模图得到两幅镶嵌图的公共重叠视场区域以及公共重叠视场区域的相异视场边界集合；

步骤a3，计算所述公共重叠视场区域中的每一个像素点到所述相异视场边界集合的距离，并根据计算结果进一步计算得到所述公共重叠视场区域中的每一个像素点的融合系数；

步骤a4，根据所述公共重叠视场区域中的每一个像素点的融合系数、所述两幅镶嵌图的区域掩模图、所述两幅镶嵌图的公共重叠视场区域、所述两幅镶嵌图得到两幅图像融合后的全景图像。

2.如权利要求1所述的方法，其特征在于，该步骤a2具体包括以下步骤：

步骤a21，计算两幅镶嵌图的区域掩模图R_A、R_B，

其中，X＝(x，y)，是全景图像视场中像素点的空间位置坐标，T_A、T_B分别是待融合的两幅图像在全景视场中的镶嵌图；

步骤a22，根据所述两幅镶嵌图的区域掩模图R_A、R_B得到两幅镶嵌图的公共重叠视场区域R_AB，R_AB(X)＝R_A(X)·R_B(X)，其中·为乘积运算符，R_AB是R_A和R_B的交集；

步骤a23，进一步得到公共重叠视场区域的相异视场边界集合E_AB、E_BA：

若

且

则E_AB(X)＝1，否则E_AB(X)＝0；

若且

则E_BA(X)＝1，否则E_BA(X)＝0；

其中∏是连乘积运算符，∑是累加和运算符。N(X)是X的以X为中心的3×3邻域，是一个由9个元素组成的集合，E_AB(X)、E_BA(X)分别是集合E_AB、E_BA的指示函数；

所述步骤a3具体包括以下步骤：

步骤a31，计算所述公共重叠视场区域中的像素点到所述相异视场边界集合E_AB、E_BA的距离d_AB(X)、d_BA(X)，如下：

d_AB(X)＝min{||X-X_k||，X_k∈E_AB}，X∈R_AB，d_BA(X)＝min{||X-X_k||，X_k∈E_BA}，X∈R_AB

其中，min{·}是求集合中最小元素的运算，||X-X_k||是计算公共重叠区域中的点X到相异边界集合中的点X_k之间的距离运算，假设X＝(x，y)，X_k＝(x_k，y_k)，采用欧氏距离，则具体距离的计算为

步骤a32，根据步骤a31的计算结果，计算公共重叠区域R_AB中的每一个X点的融合系数w_AB(X)、w_BA(X)：

$w_{\mathrm{AB}}\left(X\right)=\frac{d_{\mathrm{BA}}\left(X\right)}{d_{\mathrm{AB}}\left(X\right)+d_{\mathrm{BA}}\left(X\right)},$ w_BA(X)＝1-w_AB(X)；

所述步骤a4具体为：

根据下述公式得到两幅图像融合后的全景图像：

$T_P\left(X\right)=\left\{\begin{array}{cc}{T}_A\left(X\right),& X\&Element;R_A-R_B\\ w_{\mathrm{AB}}\left(X\right)\&CenterDot;T_A\left(X\right)+w_{\mathrm{BA}}\left(X\right)\&CenterDot;T_B\left(X\right),& X\&Element;R_{\mathrm{AB}}\\ T_B\left(X\right),& X\&Element;R_B-R_A\end{array}\right.$

其中R_A-R_B是集合R_A与集合R_B的差集，R_B-R_A是集合R_B与集合R_A的差集。

3.如权利要求1所述的方法，其特征在于，若待融合的图像数量多于两幅，则所述方法在步骤a1之前还包括以下步骤：

步骤a01，将待融合的n幅图像投影变换到全景视场中，并通过插值运算得到所述n幅图像在全景视场中的对应镶嵌图T1、T2、...、Tn；

步骤a02，计算所述n幅镶嵌图T1、T2、...、Tn的区域掩模图R1、R2、...、Rn；计算各区域掩模图之间的视场空间相邻关系，若其中的两个掩模图之间存在有视场公共重叠区域，则判断它们的视场相邻并建立相邻视场连通链表，否则不相邻；

在步骤a4之后，所述方法还包括以下步骤：

步骤a5，根据相邻视场连通链表对全景视场镶嵌图重新排序为T_c1、T_c2、...、T_cn，并采用顺序迭代方式计算全景融合图像，如下：

$P_{k+1}=P_k\&CirclePlus;T_{\mathrm{ck}+1},$ k＝1，2，...，n-1，

其中，

是图像融合运算符，P_k是由k个镶嵌图T_c1、T_c2、...、T_ck生成的部分全景图，P₁＝T_c1，P_n是最终的全景图。

4.一种全景图像融合系统，其特征在于，包括：

镶嵌图运算单元，用于对待融合的两幅图像进行到全景视场的投影变换处理，并通过插值运算得到待融合的两幅图像在全景视场中的对应镶嵌图；

全景图像参数运算单元，用于计算两幅镶嵌图的区域掩模图，并根据所述两幅镶嵌图的区域掩模图得到两幅镶嵌图的公共重叠视场区域以及公共重叠视场区域的相异视场边界集合；还用于计算所述公共重叠视场区域中的每一个像素点到所述相异视场边界集合的距离，并根据计算结果进一步计算得到所述公共重叠视场区域中的每一个像素点的融合系数；

全景图像合成单元，用于根据所述公共重叠视场区域中的每一个像素点的融合系数、所述两幅镶嵌图的区域掩模图、所述两幅镶嵌图的公共重叠视场区域、所述两幅镶嵌图得到两幅图像融合后的全景图像。

5.如权利要求4所述的系统，其特征在于，所述全景图像参数运算单元具体根据如下公式计算两幅镶嵌图的区域掩模图R_A、R_B、以及所述两幅镶嵌图的区域掩模图R_A、R_B得到两幅镶嵌图的公共重叠视场区域R_AB，

$R_A\left(X\right)=\left\{\begin{array}{cc}1,& X\&Element;T_A\\ 0,& X\&NotElement;T_A\end{array}\right.,$ $R_B\left(X\right)=\left\{\begin{array}{cc}1,& X\&Element;T_B\\ 0,& X\&NotElement;T_B\end{array}\right.,$ R_AB(X)＝R_A(X)·R_B(X)

其中，X＝(x，y)，是全景图像视场中像素点的空间位置坐标，T_A、T_B分别是待融合的两幅图像在全景视场中的镶嵌图，·为乘积运算符，R_AB是R_A和R_B的交集；

所述全景图像参数运算单元具体根据如下公式计算得到公共重叠视场区域的相异视场边界集合E_AB、E_BA：

若

且

则E_AB(X)＝1，否则E_AB(X)＝0；

若

且

则E_BA(X)＝1，否则E_BA(X)＝0；

其中，∏是连乘积运算符，∑是累加和运算符。N(X)是X的以X为中心的3×3邻域，是一个由9个元素组成的集合，E_AB(X)、E_BA(X)分别是集合E_AB、E_BA的指示函数；

所述全景图像参数运算单元具体根据如下公式计算所述公共重叠视场区域中的像素点到所述相异视场边界集合E_AB、E_BA的距离d_AB(X)、d_BA(X)、以及公共重叠区域R_AB中的每一个X点的融合系数w_AB(X)、w_BA(X)：

d_AB(X)＝min{||X-X_k||，X_k∈E_AB}，X∈R_AB，d_BA(X)＝min{||X-X_k||，X_k∈E_BA}，X∈R_AB $w_{\mathrm{AB}}\left(X\right)=\frac{d_{\mathrm{BA}}\left(X\right)}{d_{\mathrm{AB}}\left(X\right)+d_{\mathrm{BA}}\left(X\right)},$ w_BA(X)＝1-w_AB(X)

其中，min{·}是求集合中最小元素的运算，||X-X_k||是计算公共重叠区域中的点X到相异边界集合中的点X_k之间的距离运算，假设X＝(x，y)，X_k＝(x_k，y_k)，采用欧氏距离，则具体距离的计算为

所述全景图像合成单元根据下述公式得到两幅图像融合后的全景图像：

$T_P\left(X\right)=\left\{\begin{array}{cc}{T}_A\left(X\right),& X\&Element;R_A-R_B\\ w_{\mathrm{AB}}\left(X\right)\&CenterDot;T_A\left(X\right)+w_{\mathrm{BA}}\left(X\right)\&CenterDot;T_B\left(X\right),& X\&Element;R_{\mathrm{AB}}\\ T_B\left(X\right),& X\&Element;R_B-R_A\end{array}\right.$

其中R_A-R_B是集合R_A与集合R_B的差集，R_B-R_A是集合R_B与集合R_A的差集。

6.如权利要求4所述的系统，其特征在于，所述镶嵌图运算单元用于将待融合的n幅图像投影变换到全景视场中，并通过插值运算得到所述n幅图像在全景视场中的镶嵌图T1、T2、...、Tn；所述全景图像参数运算单元用于计算所述n幅镶嵌图T1、T2、...、Tn的区域掩模图R1、R2、...、Rn；

所述系统还包括：

相邻视场连通链表建立单元，用于根据所述全景图像参数运算单元计算得到的区域掩模图R1、R2、...、Rn，计算各区域掩模图之间的视场空间相邻关系，若其中的两个掩模图之间存在有视场公共重叠区域，则判断它们的视场相邻并建立相邻视场连通链表，否则不相邻；

所述全景图像合成单元还用于根据相邻视场连通链表对全景视场镶嵌图重新排序为T_c1、T_c2、...、T_cn，并采用顺序迭代方式计算全景融合图像，如下：

$P_{k+1}=P_k\&CirclePlus;T_{\mathrm{ck}+1},$ k＝1，2，...，n-1

其中，

是图像融合运算符，P_k是由k个镶嵌图T_c1、T_c2、...、T_ck生成的部分全景图，P₁＝T_c1，P_n是最终的全景图。

7.一种全景图像处理设备，其特征在于，包括如权利要求4至6任一项所述的全景图像融合系统。

Images