CN102938145B - 一种拼接类全景图的一致性调整方法及系统 - Google Patents

Abstract

本发明属于图像处理技术领域，提供了一种拼接类全景图的一致性调整方法及系统。该方法及系统首先得到待拼接图像在全景视场中的镶嵌图，镶嵌图中包括有一基准镶嵌图，之后建立其它镶嵌图与基准镶嵌图之间的连通通路，计算其它镶嵌图相对基准镶嵌图的灰度伸缩因子和偏移因子，进而根据得到的伸缩因子和偏移因子对相应镶嵌图的每一像素点进行亮度调整，相对于现有的图像亮度调整方法，其实现方式简单，尤其适用于对具有一定视场重合的拼接类单色灰度全景图的亮度调整以及拼接类彩色全景图的颜色调整，调整效果佳，解决了全景图拼合过程中，由于成像条件等原因造成的各个子图整体亮度/颜色不一致，导致全景图像出现局部亮度/颜色不均匀团块的问题。

Description

一种拼接类全景图的一致性调整方法及系统

技术领域

本发明属于图像处理技术领域，尤其涉及一种拼接类全景图的一致性调整方法及系统。

背景技术

全景图合成技术被广泛应用于虚拟现实、医学图像处理、遥感遥测图像处理等领域。

一般地，在将拼接图像合成全景图时，由于相机参数、成像条件等因素的影响，常常会出现待拼接的某些图像的整体亮度/颜色与其视场相邻图像的整体亮度/颜色之间出现明显的不一致，从而使合成后得到的全景图中存在明显的补丁痕迹，影响了全景图的整体效果。例如，目前在由遥感卫星获取的图像合成的卫星全景图中，在不同时相得到的地域块的图像之间往往就存在这样的问题。通常地，针对图像亮度不均的问题，现有技术存在如下几种常用的调整方法：

1、同态滤波法。该方法主要是应用高频提升滤波器来消除在同一幅图像中由于光照不均匀而造成的图像亮度不均匀的问题。对不同的图像需要有不同的高频提升滤波器，因此该方法使用不方便，且滤波后的效果往往并不令人特别满意。

2、Top-hat变换法。该方法是一种形态学方法，主要是为了提升在同一幅图像中由于光照较暗的部分的细节信息。由于该方法是用原图像减去形态开运算以后的图像，因此会使图像的整体亮度变暗，因此不适合在全景图的合成中使用。

3、参考标样的灰度校正法。该方法是用分布均匀的标样所成的像作为参考，对实际图像灰度进行相应的调整，主要用于对由同一幅图像中相机感光器件光照响应差异所引起的亮度不均的调整。该方法在全景图合成中的自适应效果不好，可能导致所成图像的灰度不真实，且在如卫星遥感等实际使用中，往往不易取得在实际光照条件下均匀标样的像，实现较困难。

4、基于重叠区域亮度均值的调整方法。该方法适用于对由两幅图像拼接而成的全景图的调整，包括以下步骤：首先，分别求出左右两幅拼接图像在相互重叠区域的子图的平均亮度，其中左面图像的子图的平均亮度记为AL、右面图像的子图的平均亮度记为AR；之后，计算出两个子图的平均亮度的平均值AM=(AL+AR)/2；最后，令左面图像中每个像素的灰度值加（AM-AL），右面图像的每个像素的灰度值加（AM-AR）。通过以上处理后，可使平均灰度值高的图像整体亮度向小调整，平均灰度值低的图像整体向大调整。从以上原理可以看出，基于重叠区域亮度均值调整算法是对图像灰度进行整体平移，只调整了图像的平均亮度，并没有涉及到对图像之间对比度的一致性调整，因此调整的效果受到较大的限制，并且该方法也未解决在多于两幅的图像拼接形成生成全景图像中，如何进行调整的问题。

综上所述，现有技术提供的上述图像亮度调整方法在应用于拼接类全景图的调整时，均存在由于自身算法的局限性所造成的调整效果差的问题。

发明内容

本发明实施例的目的在于提供一种拼接类全景图的一致性调整方法，旨在解决应用现有的图像亮度调整方法调整拼接类全景图时，由于自身算法局限性所造成的调整效果差的问题。

本发明实施例是这样实现的，一种拼接类全景图的一致性调整方法，所述方法包括以下步骤：

接收具有一定视场重合的n幅待拼接图像，并获取每一幅待拼接图像在全景视场中对应的镶嵌图，n为正整数且n≥2；

建立n幅镶嵌图中基准镶嵌图与其它每一镶嵌图之间的连通通路；

根据建立的所述连通通路，利用相邻视场直方图三质心传递算法，计算所述其它每一镶嵌图相对所述基准镶嵌图的灰度伸缩因子和偏移因子，并根据所述灰度伸缩因子和偏移因子，对相应的镶嵌图中的每一像素点进行亮度调整。

本发明实施例的另一目的在于提供一种拼接类全景图的一致性调整系统，所述系统包括：

镶嵌图获取单元，用于接收具有一定视场重合的n幅待拼接图像，并获取每一幅待拼接图像在全景视场中对应的镶嵌图，n为正整数且n≥2；

连通通路建立单元，用于建立所述镶嵌图获取单元获取的所述n幅镶嵌图中基准镶嵌图与其它每一镶嵌图之间的连通通路；

调整单元，用于根据所述连通通路建立单元建立的所述连通通路，利用相邻视场直方图三质心传递算法，计算其它每一镶嵌图相对所述基准镶嵌图的灰度伸缩因子和偏移因子，并根据计算得到的所述灰度伸缩因子和偏移因子，对相应的镶嵌图中的每一像素点进行亮度调整。

本发明实施例提供的拼接类全景图的一致性调整方法及系统首先得到每一待拼接图像在全景视场中的镶嵌图，镶嵌图中包括有一基准镶嵌图，之后建立其它镶嵌图与基准镶嵌图之间的连通通路，计算每一其它镶嵌图相对基准镶嵌图的灰度伸缩因子和偏移因子，进而根据得到的伸缩因子和偏移因子对相应镶嵌图的每一像素点进行亮度调整，相对于现有的图像亮度调整方法，其实现方式简单，尤其适用于对具有一定视场重合的拼接类单色灰度全景图的亮度调整以及拼接类彩色全景图的颜色调整，调整效果佳，解决了已有的全景图拼合过程中，由于相机、成像条件等原因造成的各个子图整体亮度/颜色不一致，导致拼合后的全景图像中出现局部亮度/颜色不均匀团块现象的问题。

附图说明

图1是本发明实施例提供的拼接类全景图的一致性调整方法的流程图；

图2a是本发明实施例中一镶嵌图的示例图；

图2b是图2a的直方图及其三个质心m1、m2和m3的关系图；

图3a是本发明实施例中，具有相邻视场公共重叠区域的两幅图镶嵌的示意图；

图3b是图3a中一镶嵌图在公共重叠区域中的第一子图像、以及另一镶嵌图在公共重叠区域中的第二子图像的示意图；

图4是本发明实施例提供的拼接类全景图的一致性调整系统的结构图；

图5是图4中镶嵌图获取单元的结构图；

图6是图4中连通通路建立单元的结构图；

图7是图4中调整单元的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明实施例提供的拼接类全景图的一致性调整方法首先得到每一待拼接图像在全景视场中的镶嵌图，镶嵌图中包括有一基准镶嵌图，之后建立其它镶嵌图与基准镶嵌图之间的连通通路，计算每一其它镶嵌图相对基准镶嵌图的灰度伸缩因子和偏移因子，进而根据得到的伸缩因子和偏移因子对相应镶嵌图的每一像素点进行亮度调整。

图1示出了本发明实施例提供的拼接类全景图的一致性调整方法的流程，包括以下步骤：

步骤S1：接收具有一定视场重合的n幅待拼接图像，并获取每一幅待拼接图像在全景视场中对应的镶嵌图，其中，n为正整数且n≥2。

进一步地，获取每一幅待拼接图像在全景视场中对应的镶嵌图的步骤可包括以下步骤：

步骤S11：分别计算n幅待拼接图像A1、A2、…An的直方图及直方图对应的熵，选取熵最大的待拼接图像为基准图像，为不失一般性，假设选取的基准图像为Ap，且1≤p≤n。其中，直方图及直方图的熵的概念为一般图像处理领域技术人员所公知，为不致引起歧义，分如下两种情况对其进行定义：

一、当待拼接图像为单色灰度图像时，假设待拼接图像A是一Ｍ行、Ｎ列的数字图像，且图像灰度级为G，则待拼接图像A的直方图H定义为：

$H\left(k\right)=\frac{1}{\mathrm{MN}}\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}\mathrm{\δ}(A(x,y)-k)---\left(1\right)$

其中，k=0,1，...,G-1，A(x,y)为待拼接图像A在位置(x,y)处的灰度值，δ(A(x,y)-k)满足：

$\mathrm{\δ}(A(x,y)-k)=\left\{\begin{array}{cc}1,& A(x,y)=k\\ 0,& A(x,y)\≠k\end{array}\right.---\left(2\right)$

直方图H的熵E定义为：

$E=-\underset{k=0}{\overset{G-1}{\mathrm{\Σ}}}H\left(k\right)\log \left(H\left(k\right)\right)---\left(3\right)$

若E1、E2、...、En分别是与待拼接图像A1、A2、...、An一一对应的直方图的熵，且p是具有最大熵的待拼接图像的下标，即：

$p=\underset{i}{\arg \max }\{\mathrm{Ei},i=\mathrm{1,2},...,n\}---\left(4\right)$

则待拼接图像Ap为基准图像。

二、当待拼接图像为彩色图像时，由于彩色图像的像素值由三基色分量构成，则待拼接图像的直方图包括三个直方图分量，假设彩色图像用r、g、b三基色空间表示，对应的直方图分量分别为H_r(k)、H_g(k)、H_b(k)，则直方图的熵E由下式确定：

$E=-\underset{k=0}{\overset{G-1}{\mathrm{\Σ}}}{H}_r\left(k\right)\log \left(H_r\left(k\right)\right)-\underset{k=0}{\overset{G-1}{\mathrm{\Σ}}}{H}_g\left(k\right)\log \left(H_g\left(k\right)\right)-\underset{k=0}{\overset{G-1}{\mathrm{\Σ}}}{H}_b\left(k\right)\log \left(H_b\left(k\right)\right)---\left(5\right)$

同样地，基准图像Ap为由公式（5）确定的最大熵所对应的待拼接图像。

步骤S12：计算n幅待拼接图像之间的投影变换矩阵，根据投影变换矩阵计算n幅待拼接图像到全景视场的投影变换，并利用插值算法得到n幅待拼接图像在全景视场中分别对应的镶嵌图T1、T2、…Tn，得到的镶嵌图包括基准图像Ap对应的基准镶嵌图Tp。

若n=2，则计算n幅待拼接图像之间的投影变换矩阵的步骤具体为：将一幅待拼接图像作为基准视场，之后基于尺度不变特征转换（SIFT）算法或随机抽样一致性（RANSAC）算法计算另一幅待拼接图像对该基准视场的投影变换矩阵。

若n>2，则计算n幅待拼接图像之间的投影变换矩阵的步骤具体为：在n幅待拼接图像中选取一幅作为基准视场；对于与选取的基准视场有公共重叠区域的其它待拼接图像，基于SIFT算法或RANSAC算法计算其它待拼接图像对选取的基准视场的投影变换矩阵；对于与选取的基准视场没有公共重叠区域的其它待拼接图像，建立其它待拼接图像与选取的基准视场之间有视场相邻关系的连通通路，之后利用投影矩阵的视场传递方法得到其它待拼接图像对选取的基准视场的投影变换矩阵。当然在实际应用中，计算待拼接图像对基准视场的投影变换矩阵的算法可以有多种选择，在此不再一一列举。

本发明实施例中，由于待拼接图像及后续调整和融合后的全景图像均为数字图像，而数字图像具有离散性，在将待拼接图像投影到全景视场后，某些像素点可能产生空缺，因此需要利用插值算法补全空缺的像素点。现有技术提供了多种插值算法，优选地，插值算法为双线性插值算法，其它的插值算法在此不再一一列举。另外，假设待拼接图像在全景视场中经过投影变换，且经过适当插值后对应的镶嵌图T1、T2、...、Tn已经得到，并假设镶嵌图T1、T2、...、Tn之间若存在视场重叠区域，则视场重叠区域是在空间位置上配准的。

步骤S2：建立n幅镶嵌图中基准镶嵌图Tp与其它每一镶嵌图之间的连通通路。进一步地，步骤S2可包括以下步骤：

步骤S21：计算n幅镶嵌图T1、T2、...、Tn在全景视场中的相邻视场连通关系，并根据计算得到的相邻视场连通关系建立n幅镶嵌图T1、T2、...、Tn的视场连通关系图。更进一步地，步骤S21可包括以下步骤：

步骤S211：计算在全景视场中n幅镶嵌图T1、T2、...、Tn的掩模图。

步骤S212：若两幅镶嵌图的掩模图存在视场公共重叠区域，且视场公共重叠区域中的像素点的个数超过一阈值，则标记相应两幅镶嵌图为相邻视场连通，否则标记相应两幅镶嵌图为视场不连通。其中，之所以设置一阈值，是考虑在后续步骤中需使用视场公共重叠区域的图像直方图特性，而图像的直方图是一种统计特性，需要一定数量的像素数。

步骤S213：根据步骤S212的标记结果，建立n幅镶嵌图T1、T2、...、Tn的视场连通关系图。在视场连通关系图中，n幅镶嵌图T1、T2、...、Tn为n个节点，根据标记结果，相邻视场连通的两幅镶嵌图之间存在一条公共边。有关视场连通关系图的建立及其在计算机中的数据表示方式在计算机科学技术类的教科书中有论述，在此不再赘述。

步骤S22：根据建立的视场连通关系图，建立基准镶嵌图Tp与其它每一镶嵌图Tq之间的连通通路。

其中，基准镶嵌图Tp与其它每一镶嵌图Tq之间的连通通路是指，存在一图像序列Tp1、Tp2、...、Tpr，在该图像序列中，Tpi与Tp（i+1）是相邻视场连通的，i=1，2，…，r-1，且Tp1=Tp，Tpr＝Tq。

公知地，建立基准镶嵌图Tp与其它每一镶嵌图Tq之间的连通通路的常用方法是，首先指定基准镶嵌图Tp为根节点，然后利用建立的视场连通关系图生成一颗连通树，树中的节点表示n幅镶嵌图T1、T2、...、Tn，两个节点之间的边表示这两个节点表示的镶嵌图具有相邻视场连通关系。以基准镶嵌图Tp为根节点生成单源最短路径树是通常较好的一种选择。由于根据视场连通关系图生成连通树的方法、特别是生成单源最短路径树的方法在计算机科学技术类的教科书中有论述，在此不再赘述。

步骤S3：根据建立的连通通路，利用相邻视场直方图三质心传递算法，计算其它每一镶嵌图相对基准镶嵌图的灰度伸缩因子和偏移因子，并根据计算得到的灰度伸缩因子和偏移因子，对相应的镶嵌图中的每一像素点进行亮度调整。

当待拼接图像为单色灰度图像时，假设建立的连通通路为Tp1、Tp2、...、Tpr，在该图像序列中，Tpj与Tp（j+1）是相邻视场连通的，j＝1，2，…，r-1，且Tp1=Tp，Tpr=Tq，根据建立的连通通路，利用相邻视场直方图三质心传递算法，计算其它每一镶嵌图相对基准镶嵌图的灰度伸缩因子和偏移因子的步骤可包括以下步骤：

步骤S31：计算连通通路中，相邻两视场Tpj与Tp（j+1）的公共重叠区域，并计算其中的一个视场Tpj在公共重叠区域中的第一子图像S_j1和其中的另一个视场Tp（j+1）在公共重叠区域中的第二子图像S_j2，图3a示出了具有相邻视场公共重叠区域的两幅图镶嵌T1和T2，其中的T12为两幅镶嵌图T1和T2的公共重叠区域，图3b示出了图3a中一镶嵌图T1在公共重叠区域中的第一子图像S11、以及另一镶嵌图T2在公共重叠区域中的第二子图像S12。其中，第一子图像和第二子图像可通过镶嵌图之间的差集运算和交集运算计算得到，在此不再赘述。

步骤S32：计算第一子图像S_j1的第一直方图H_j1和第二子图像S_j2的第二直方图H_j2，并计算出第一直方图H_j1的三质心m_j11、m_j12、m_j13，以及第二直方图H_j2的三质心m_j21、m_j22、m_j23，之后根据第一直方图H_j1的三质心和第二直方图H_j2的三质心计算得到相邻两视场Tp（j+1）到Tpj的灰度伸缩因子a_j和偏移因子b_j。

其中，第一直方图H_j1和第二直方图H_j2的计算原理可参照公式（1）和公式（2），在此不再赘述。

本发明实施例中，直方图的三质心的含义是：假设直方图的质心为m2，以包含质心m2的直线为边界线，将直方图分割为左直方图和右直方图，假设左直方图的质心为m1，右直方图的质心为m3，则质心m1、质心m2和质心m3即为直方图的三质心，如图2a为一镶嵌图示例，图2b示出了图2a的直方图及其三个质心m1、m2和m3的关系。据此定义，假设第一子图像S_j1的灰度级数是G1，第二子图像S_j2的灰度级数是G2，则步骤S31中，计算出第一直方图H_j1的三质心m_j11、m_j12、m_j13的步骤可表示为：

$m_{j12}=\frac{1}{\underset{k=0}{\overset{G1-1}{\mathrm{\Σ}}}{H}_{j1}\left(k\right)}\underset{k=0}{\overset{G1-1}{\mathrm{\Σ}}}{\mathrm{kH}}_{j1}\left(k\right)---\left(6\right)$

其中，表示小于m_j12的最大整数，表示大于m_j12的最小整数。计算第二直方图H_j2的三质心m_j21、m_j22、m_j23的步骤可表示为：

$m_{j22}=\frac{1}{\underset{k=0}{\overset{G2-1}{\mathrm{\Σ}}}{H}_{j2}\left(k\right)}\underset{k=0}{\overset{G2-1}{\mathrm{\Σ}}}{\mathrm{kH}}_{j2}\left(k\right)---\left(9\right)$

其中，表示小于m_j22的最大整数，表示大于m_j22的最小整数。

另外，根据第一直方图H_j1的三质心和第二直方图H_j2的三质心计算得到相邻视场Tp（j+1）到Tpj的灰度伸缩因子a_j和偏移因子b_j的步骤可表示为：

$a_j=\frac{m_{j13}-m_{j11}}{m_{j23}-m_{j21}}---\left(12\right)$

$b_j=m_{j12}-a_j{m}_{j22}=m_{j12}-m_{j22}\frac{m_{j13}-m_{j11}}{m_{j23}-m_{j21}}---\left(13\right)$

步骤S33：根据计算得到的连通通路上，各相邻两视场之间的灰度伸缩因子a_j和偏移因子b_j，计算得到连通通路的尾部的视场Tq相对于连通通路的首部的视场Tp的灰度伸缩因子a_q和偏移因子b_q。该步骤具体可表示为：

$a_q=\underset{j=1}{\overset{r-1}{\mathrm{\Π}}}{a}_j---\left(14\right)$

$b_q=b_1+b_2{a}_1+b_3{a}_2{a}_1+...+b_{r-1}{a}_{r-2}\·\·\·a_2{a}_1=b_1+\underset{j=2}{\overset{r-1}{\mathrm{\Σ}}}\left(b_j\underset{i=1}{\overset{j-1}{\mathrm{\Π}}}{a}_i\right)---\left(15\right)$

其中，∑是累加运算符，∏是累乘运算符。

举例来说，若在全景视场中存在一条由三幅镶嵌图T1，T2和T3组成的连通通路，经过步骤S32得到镶嵌图T2到镶嵌图T1的伸缩因子a1和偏移因子b1，T3到T2的伸缩因子a2和偏移因子b2，则由步骤S33计算出的该连通通路上，T3到T1的灰度伸缩因子a3和偏移因子b3为：a₃=a₂a₁、b₃=b₁+b₂a₁。

此时，根据计算得到的灰度伸缩因子a_q和偏移因子b_q，对相应的镶嵌图Tq中的每一像素点进行亮度调整的步骤可表示为：

T_q(x,y)=a_qT_q(x,y)+b_q                （16）

其中，（x,y）是镶嵌图Tq上像素点的空间位置坐标。可见，伸缩因子a_q用于调节亮度的有效动态范围大小，偏移因子b_q用于调节亮度的整体偏差。

当待拼接图像为彩色图像时，在步骤S31之前，还包括以下步骤：提取出n幅镶嵌图T1、T2、...、Tn中，每幅镶嵌图的红色、绿色和蓝色的分量图像，构成红色分量图像集合{Tr1、Tr2、...、Trn}、绿色分量图像集合{Tg1、Tg2、...、Tgn}、蓝色分量图像集合{Tb1、Tb2、...、Tbn}；之后，对红色分量图像集合、绿色分量图像集合和蓝色分量图像集合分别执行上述步骤S31至步骤S33，以实现对每一分量图像的亮度调整，经亮度调整后形成红色分量的全景图、绿色分量的全景图和蓝色分量的全景图。由于对彩色镶嵌图的三基色分量进行调整实际上等效于对其颜色进行调整，因此从整体上来说，实现了彩色拼接类全景图的颜色一致性的调整。

另外，由于数字图像的数字化效应，以及计算中的计算误差等因素的影响，在经过亮度调整以后的镶嵌图T1、T2、...、Tn之间的图像边界处一般仍然存在一定的灰度跳变，为了进一步消除生成的全景图像中的拼接痕迹，可以对重叠区域的图像亮度进行渐变处理和融合。具体地，当待拼接图像为单色灰度图像时，本发明实施例在步骤S3之后，还可包括以下步骤：对经亮度调整后的n幅镶嵌图T1、T2、...、Tn之间的视场重叠区域进行亮度渐变调整和融合，得到由n幅镶嵌图T1、T2、...、Tn拼合成的完整全景图；当待拼接图像为彩色图像时，本发明实施例在步骤S3之后，还可包括以下步骤：将形成的红色分量的全景图中n幅镶嵌图之间的视场重叠区域进行亮度渐变调整和融合，将形成的绿色分量的全景图中n幅镶嵌图之间的视场重叠区域进行亮度渐变调整和融合，并将形成的蓝色分量的全景图中n幅镶嵌图之间的视场重叠区域进行亮度渐变调整和融合；将经亮度渐变调整和融合后的红色分量的全景图、绿色分量的全景图和蓝色分量的全景图合成为彩色全景图。其中，对视场重叠区域进行渐变调整的方法有多种，而基于重叠区域相异边界距离度量的方法是多种方法中较佳的一种，此处不再赘述。

本发明实施例还提供了一种拼接类全景图的一致性调整系统，如图4示出了本发明实施例提供的拼接类全景图的一致性调整系统的结构，为了便于说明，仅示出了与本发明实施例相关的部分。

具体地，本发明实施例提供的拼接类全景图的一致性调整系统包括：镶嵌图获取单元11，用于接收具有一定视场重合的n幅待拼接图像，并获取每一幅待拼接图像在全景视场中对应的镶嵌图；连通通路建立单元12，用于建立镶嵌图获取单元11获取的n幅镶嵌图中基准镶嵌图Tp与其它每一镶嵌图之间的连通通路；调整单元13，用于根据连通通路建立单元12建立的连通通路，利用相邻视场直方图三质心传递算法，计算其它每一镶嵌图相对基准镶嵌图的灰度伸缩因子和偏移因子，并根据计算得到的灰度伸缩因子和偏移因子，对相应的镶嵌图中的每一像素点进行亮度调整。

图5示出了图4中镶嵌图获取单元11的结构。

具体地，镶嵌图获取单元11可以包括：接收模块111，用于接收具有一定视场重合的n幅待拼接图像；基准图像选取模块112，用于分别计算接收模块111接收到的n幅待拼接图像A1、A2、…An的直方图及直方图对应的熵，选取熵最大的待拼接图像为基准图像；投影模块113，用于计算接收模块111接收到的n幅待拼接图像之间的投影变换矩阵，根据投影变换矩阵计算n幅待拼接图像到全景视场的投影变换，并利用插值算法得到n幅待拼接图像在全景视场中分别对应的镶嵌图T1、T2、…Tn，得到的镶嵌图包括基准图像选取模块112选取的基准图像Ap对应的基准镶嵌图Tp。

其中，基准图像选取模块112计算n幅待拼接图像A1、A2、…An的直方图及直方图对应的熵的过程、以及投影模块113计算投影变换矩阵和利用插值算法得到n幅待拼接图像在全景视场中分别对应的镶嵌图的过程如上文所述，在此不再赘述。

图6示出了图4中连通通路建立单元12的结构。

具体地，连通通路建立单元12可以包括：连通关系图建立模块121，用于计算镶嵌图获取单元11获取的n幅镶嵌图T1、T2、...、Tn在全景视场中的相邻视场连通关系，并根据计算得到的相邻视场连通关系建立n幅镶嵌图T1、T2、...、Tn的视场连通关系图；连通通路建立模块122，用于根据连通关系图建立模块121建立的视场连通关系图，建立基准镶嵌图Tp与其它每一镶嵌图Tq之间的连通通路。连通关系图建立模块121的计算过程以及连通通路建立模块122建立连通通路的过程如上文所述，在此不再赘述。

图7示出了图4中调整单元13的结构。

具体地，若镶嵌图获取单元11接收到的n幅待拼接图像为单色灰度图像，则调整单元13可以包括：第一计算模块131，用于计算连通通路建立单元12建立的连通通路中，相邻两视场Tpj与Tp（j+1）的公共重叠区域，并计算其中的一个视场Tpj在公共重叠区域中的第一子图像S_j1和其中的另一个视场Tp（j+1）在公共重叠区域中的第二子图像S_j2；第二计算模块132，用于计算第一子图像S_j1的第一直方图H_j1和第二子图像S_j2的第二直方图H_j2，并计算出第一直方图H_j1的三质心m_j11、m_j12、m_j13，以及第二直方图H_j2的三质心m_j21、m_j22、m_j23，之后根据第一直方图H_j1的三质心和第二直方图H_j2的三质心计算得到相邻两视场Tp（j+1）到Tpj的灰度伸缩因子a_j和偏移因子b_j；第三计算模块133，用于根据第二计算模块132计算得到的连通通路上，各相邻两视场之间的灰度伸缩因子a_j和偏移因子b_j，计算得到连通通路的尾部的视场Tq相对于连通通路的首部的视场Tp的灰度伸缩因子a_q和偏移因子b_q，并根据计算得到的灰度伸缩因子和偏移因子，对相应的镶嵌图中的每一像素点进行亮度调整。第一计算模块131、第二计算模块132的计算过程如上文所述，第三计算模块133的计算及调整过程如上文所述，在此不再赘述。

若镶嵌图获取单元11接收到的n幅待拼接图像为彩色图像，则调整单元13还可以包括：提取模块134，用于提取出镶嵌图获取单元11获取的n幅镶嵌图T1、T2、...、Tn中，每幅镶嵌图的红色、绿色和蓝色的分量图像，构成红色分量图像集合{Tr1、Tr2、...、Trn}、绿色分量图像集合{Tg1、Tg2、...、Tgn}、蓝色分量图像集合{Tb1、Tb2、...、Tbn}。此时，第一计算模块131、第二计算模块132以及第三计算模块133分别对红色分量图像集合、绿色分量图像集合和蓝色分量图像集合执行上述相应的计算步骤，以实现对每一分量图像的亮度调整，经亮度调整后形成红色分量的全景图、绿色分量的全景图和蓝色分量的全景图。

此外，本发明实施例提供的拼接类全景图的一致性调整系统还可以包括全景图生成单元14。若镶嵌图获取单元11接收到的n幅待拼接图像为单色灰度图像，则全景图生成单元14用于对经调整单元13亮度调整后的n幅镶嵌图T1、T2、...、Tn之间的视场重叠区域进行亮度渐变调整和融合，得到由n幅镶嵌图T1、T2、...、Tn拼合成的完整全景图；若镶嵌图获取单元11接收到的n幅待拼接图像为彩色图像，则全景图生成单元14用于将经第一计算模块131、第二计算模块132以及第三计算模块133计算后形成的红色分量的全景图中n幅镶嵌图之间的视场重叠区域进行亮度渐变调整和融合，将形成的绿色分量的全景图中n幅镶嵌图之间的视场重叠区域进行亮度渐变调整和融合，并将形成的蓝色分量的全景图中n幅镶嵌图之间的视场重叠区域进行亮度渐变调整和融合；将经亮度渐变调整和融合后的红色分量的全景图、绿色分量的全景图和蓝色分量的全景图合成为彩色全景图。

本发明实施例提供的拼接类全景图的一致性调整方法及系统首先得到每一待拼接图像在全景视场中的镶嵌图，镶嵌图中包括有一基准镶嵌图，之后建立其它镶嵌图与基准镶嵌图之间的连通通路，计算每一其它镶嵌图相对基准镶嵌图的灰度伸缩因子和偏移因子，进而根据得到的伸缩因子和偏移因子对相应镶嵌图的每一像素点进行亮度调整，相对于现有的图像亮度调整方法，其实现方式简单，尤其适用于对具有一定视场重合的拼接类单色灰度全景图的亮度调整以及拼接类彩色全景图的颜色调整，调整效果佳，解决了已有的全景图拼合过程中，由于相机、成像条件等原因造成的各个子图整体亮度/颜色不一致，导致拼合后的全景图像中出现局部亮度/颜色不均匀团块现象的问题。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来控制相关的硬件完成，所述的程序可以在存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种拼接类全景图的一致性调整方法，其特征在于，所述方法包括以下步骤：

接收具有一定视场重合的n幅待拼接图像，并获取每一幅待拼接图像在全景视场中对应的镶嵌图，n为正整数且n≥2；

建立n幅镶嵌图中基准镶嵌图与其它每一镶嵌图之间的连通通路；

根据建立的所述连通通路，利用相邻视场直方图三质心传递算法，计算所述其它每一镶嵌图相对所述基准镶嵌图的灰度伸缩因子和偏移因子，并根据所述灰度伸缩因子和偏移因子，对相应的镶嵌图中的每一像素点进行亮度调整；

若所述待拼接图像为单色灰度图像，所述根据建立的所述连通通路，利用相邻视场直方图三质心传递算法，计算所述其它每一镶嵌图相对所述基准镶嵌图的灰度伸缩因子和偏移因子的步骤包括：

S31：计算所述连通通路中，相邻两视场的公共重叠区域，并计算其中的一个视场在所述公共重叠区域中的第一子图像和其中的另一个视场在所述公共重叠区域中的第二子图像；

S32：计算所述第一子图像的第一直方图和所述第二子图像的第二直方图，并计算出所述第一直方图的三质心，以及所述第二直方图的三质心，之后根据所述第一直方图的三质心和所述第二直方图的三质心计算得到所述相邻两视场之间的灰度伸缩因子和偏移因子；

S33：根据计算得到的所述连通通路上，各相邻两视场之间的所述灰度伸缩因子和所述偏移因子，计算得到所述连通通路的尾部的视场相对于所述连通通路的首部的视场的灰度伸缩因子和偏移因子；

则所述根据所述灰度伸缩因子和偏移因子，对相应的镶嵌图中的每一像素点进行亮度调整的步骤表示为：

T_q(x,y)＝a_qT_q(x,y)+b_q

其中，a_q表示所述连通通路的尾部的视场相对于所述连通通路的首部的视场的灰度伸缩因子，b_q表示所述连通通路的尾部的视场相对于所述连通通路的首部的视场的偏移因子，所述(x,y)是所述镶嵌图Tq上像素点的空间位置坐标。

2.如权利要求1所述的拼接类全景图的一致性调整方法，其特征在于，所述获取每一幅待拼接图像在全景视场中对应的镶嵌图的步骤包括：

分别计算所述n幅待拼接图像的直方图及所述直方图对应的熵，选取所述熵最大的待拼接图像为基准图像；

计算所述n幅待拼接图像之间的投影变换矩阵，根据所述投影变换矩阵计算所述n幅待拼接图像到全景视场的投影变换，并利用插值算法得到所述n幅待拼接图像在全景视场中分别对应的镶嵌图，得到的所述镶嵌图包括所述基准图像对应的所述基准镶嵌图。

3.如权利要求1所述的拼接类全景图的一致性调整方法，其特征在于，所述建立n幅镶嵌图中基准镶嵌图与其它每一镶嵌图之间的连通通路的步骤包括：

计算所述n幅镶嵌图在全景视场中的相邻视场连通关系，并根据计算得到的所述相邻视场连通关系建立所述n幅镶嵌图的视场连通关系图；

根据建立的所述视场连通关系图，建立所述基准镶嵌图与其它每一镶嵌图之间的连通通路。

4.如权利要求3所述的拼接类全景图的一致性调整方法，其特征在于，所述计算所述n幅镶嵌图在全景视场中的相邻视场连通关系，并根据计算得到的所述相邻视场连通关系建立所述n幅镶嵌图的视场连通关系图的步骤包括：

计算在全景视场中所述n幅镶嵌图的掩模图；

若两幅镶嵌图的所述掩模图存在视场公共重叠区域，且视场公共重叠区域中的像素点的个数超过一阈值，则标记相应两幅镶嵌图为相邻视场连通，否则标记相应两幅镶嵌图为视场不连通；

根据标记结果，建立所述n幅镶嵌图的所述视场连通关系图，在所述视场连通关系图中，所述n幅镶嵌图为n个节点，相邻视场连通的两幅镶嵌图之间存在一条公共边。

5.如权利要求1所述的拼接类全景图的一致性调整方法，其特征在于，若所述待拼接图像为彩色图像，则在步骤S31之前，所述方法包括：提取出所述n幅镶嵌图中，每幅镶嵌图的红色、绿色和蓝色的分量图像，构成红色分量图像集合、绿色分量图像集合、蓝色分量图像集合；

则对所述红色分量图像集合、绿色分量图像集合和蓝色分量图像集合分别执行所述步骤S31至所述步骤S33，并形成红色分量的全景图、绿色分量的全景图和蓝色分量的全景图。

6.如权利要求5所述的拼接类全景图的一致性调整方法，其特征在于，若所述待拼接图像为单色灰度图像，则在所述对相应的镶嵌图中的每一像素点进行亮度调整的步骤之后，所述方法还包括：

对经亮度调整后的所述n幅镶嵌图之间的视场重叠区域进行亮度渐变调整和融合，得到由所述n幅镶嵌图拼合成的完整全景图；

若所述待拼接图像为彩色图像，则在所述对相应的镶嵌图中的每一像素点进行亮度调整的步骤之后，所述方法还包括：

将形成的所述红色分量的全景图中所述n幅镶嵌图之间的视场重叠区域进行亮度渐变调整和融合，将形成的所述绿色分量的全景图中所述n幅镶嵌图之间的视场重叠区域进行亮度渐变调整和融合，并将形成的所述蓝色分量的全景图中所述n幅镶嵌图之间的视场重叠区域进行亮度渐变调整和融合；

将经亮度渐变调整和融合后的所述红色分量的全景图、绿色分量的全景图和蓝色分量的全景图合成为彩色全景图。

7.一种拼接类全景图的一致性调整系统，其特征在于，所述系统包括：

镶嵌图获取单元，用于接收具有一定视场重合的n幅待拼接图像，并获取每一幅待拼接图像在全景视场中对应的镶嵌图，n为正整数且n≥2；

连通通路建立单元，用于建立所述镶嵌图获取单元获取的n幅镶嵌图中基准镶嵌图与其它每一镶嵌图之间的连通通路；

调整单元，用于根据所述连通通路建立单元建立的所述连通通路，利用相邻视场直方图三质心传递算法，计算其它每一镶嵌图相对所述基准镶嵌图的灰度伸缩因子和偏移因子，并根据计算得到的所述灰度伸缩因子和偏移因子，对相应的镶嵌图中的每一像素点进行亮度调整；

若所述镶嵌图获取单元接收到的所述n幅待拼接图像为单色灰度图像，则所述调整单元包括：

第一计算模块，用于计算所述连通通路建立单元建立的所述连通通路中，相邻两视场的公共重叠区域，并计算其中的一个视场在所述公共重叠区域中的第一子图像和其中的另一个视场在所述公共重叠区域中的第二子图像；

第二计算模块，用于计算所述第一子图像的第一直方图和所述第二子图像的第二直方图，并计算出所述第一直方图的三质心以及所述第二直方图的三质心，之后根据所述第一直方图的三质心和所述第二直方图的三质心计算得到相邻两视场之间的灰度伸缩因子和偏移因子；

第三计算模块，用于根据所述第二计算模块计算得到的所述连通通路上，各相邻两视场之间的所述灰度伸缩因子和偏移因子，计算得到所述连通通路的尾部的视场相对于所述连通通路的首部的视场的灰度伸缩因子和偏移因子，并根据所述连通通路的尾部的视场相对于所述连通通路的首部的视场的灰度伸缩因子和偏移因子，对相应的镶嵌图中的每一像素点进行亮度调整。

8.如权利要求7所述的拼接类全景图的一致性调整系统，其特征在于，所述镶嵌图获取单元包括：

接收模块，用于接收具有一定视场重合的n幅待拼接图像；

基准图像选取模块，用于分别计算所述接收模块接收到的所述n幅待拼接图像的直方图及所述直方图对应的熵，选取所述熵最大的待拼接图像为基准图像；

投影模块，用于计算所述接收模块接收到的所述n幅待拼接图像之间的投影变换矩阵，根据所述投影变换矩阵计算所述n幅待拼接图像到全景视场的投影变换，并利用插值算法得到所述n幅待拼接图像在全景视场中分别对应的镶嵌图，得到的所述镶嵌图包括所述基准图像对应的基准镶嵌图。

9.如权利要求7所述的拼接类全景图的一致性调整系统，其特征在于，所述连通通路建立单元包括：

连通关系图建立模块，用于计算所述镶嵌图获取单元获取的所述n幅镶嵌图在全景视场中的相邻视场连通关系，并根据计算得到的所述相邻视场连通关系建立所述n幅镶嵌图n的视场连通关系图；

连通通路建立模块，用于根据所述连通关系图建立模块建立的所述视场连通关系图，建立所述基准镶嵌图与其它每一镶嵌图之间的连通通路；

若所述镶嵌图获取单元接收到的所述n幅待拼接图像为彩色图像，则所述调整单元还包括：

提取模块，用于提取出所述镶嵌图获取单元获取的所述n幅镶嵌图中，每幅镶嵌图的红色、绿色和蓝色的分量图像，构成红色分量图像集合、绿色分量图像集合、蓝色分量图像集合；

则所述第一计算模块、所述第二计算模块以及所述第三计算模块分别对所述红色分量图像集合、绿色分量图像集合和蓝色分量图像集合计算后，形成红色分量的全景图、绿色分量的全景图和蓝色分量的全景图。