CN110136083B - 一种结合交互式的底图更新方法及装置 - Google Patents

Abstract

本发明公开了一种结合交互式的底图更新方法及装置，更新方法包括以下步骤：对全景底图与更新图像进行粗配准及精细配准，以获取匹配点，并根据匹配点计算总变换参数；根据总变换参数获取全景底图与更新图像之间的重叠图像；获取重叠图像与更新图像之间的不变区域集合；根据不变区域集合确定颜色校正参数，基于颜色校正参数对更新图像进行颜色校正；将颜色校正后的更新图像与重叠图像的边缘进行线性加权融合，拼接至全景底图，得到更新后的全景底图。该方法通过对图像进行粗、精细配准，可提高全景底图和更新图像之间的分辨率、尺度及内容配准的准确性，使用校正参数对图像进行校正，降低图像之间的颜色差异，可获得理想的颜色校正效果的全景底图。

Description

一种结合交互式的底图更新方法及装置

技术领域

本发明涉及图像处理领域，尤其涉及一种结合交互式的底图更新方法及装置。

背景技术

在全景视频监控系统中，多路网络监控视频数据转换为可视化的全景监控视频数据，通过计算各路摄像机视场与全景底图之间的空间变换关系，将其标定到全景地图中，多路摄像机实时视频数据内嵌在静态的全景底图之中，实现全景监控视频数据的融合和预览，极大方便了监控人员观察各个摄像机的空间位置关系。

在实际场景中，一些区域可能会随时间的推移而发生变化，与全景底图之间产生不小差异，其中左边是待更新的全景底图，其中方框内是已经变化的区域，右边是相对应的更新图像。因此给视频数据的融合与预览在视觉上带来不小的差异。现有技术的图像更新方法存在问题之一是图像配准不准确。由于全景底图是由多张图片拼接而成，范围非常广且分辨率很高，而更新图片只是拍摄其中某一局部的图片，它与全景底图在尺度和分辨率上相差较大，成像角度不同，且内容存在较大差异。若是通过计算特征点的方式进行匹配，从而计算配准参数，该方法在计算特征点进行匹配时会有很大误差，会造成匹配误差，而且计算量也非常大。

现有技术的图像更新方法存在问题之二是颜色校正的问题。由于全景底图与更新图像是由不同摄像机拍摄得到的，两幅图像之间存在较大的颜色差异。由于两幅图像在内容上存在许多差异，若直接利用整幅进行色彩校正效果并不理想。

发明内容

本申请提供了一种结合交互式的底图更新方法，可以解决现有技术中图像配准不准确、颜色校正效果不理想的技术问题。

本发明第一方面提供一种结合交互式的底图更新方法，所述更新方法包括以下步骤：

对全景底图与更新图像进行粗配准及精细配准，以获取匹配点，并根据所述匹配点计算总变换参数；

根据所述总变换参数获取所述全景底图与所述更新图像之间的重叠图像，将所述重叠图像和所述更新图像分别等均划分为第一子块集合和第二子块集合；

根据所述第一子块集合和第二子块集合获取所述重叠图像与所述更新图像之间的不变区域集合，所述不变区域集合是指基本轮廓的相似度大于预设阈值的区域；

根据所述不变区域集合确定颜色校正参数，基于所述颜色校正参数对所述更新图像进行颜色校正；

将颜色校正后的所述更新图像与所述重叠图像的边缘进行线性加权融合，并拼接至所述全景底图，得到更新后的全景底图。

可选的，所述对全景底图与更新图像进行粗配准及精细配准，以获取匹配点，并根据所述匹配点计算总变换参数的步骤，具体包括：

对所述全景底图与所述更新图像进行粗配准，以获取所述粗配准后的匹配点，根据所述匹配点计算所述全景底图与所述更新图像之间的第一变换参数；

对所述全景底图与所述更新图像进行精细配准，以获取所述精细配准后的匹配点，根据所述匹配点计算所述全景底图与所述更新图像之间的第二变换参数；

利用所述第一变换参数和所述第二变换参数计算所述总变换参数。

可选的，所述对所述全景底图与所述更新图像进行精细配准，以获取所述精细配准后的匹配点的步骤包括：

分别从所述全景底图中选取第一图像子块A＝{A_i|i＝1,2,3,4}和从所述更新图像中选取第二图像子块B＝{B_i|i＝1,2,3,4}，对所第二图像子块进行旋转，得到旋转子块集合

利用所述第一图像子块计算得到所述第一图像子块的信息熵，公式如下：

H(A)表示所述全景底图的第一图像子块的信息熵，i表示所述第一图像子块的灰度值，N表示最大灰度值，P表示预设的概率函数；

利用所述第二图像子块计算得到所述第二图像子块的信息熵，公式如下：

H(B)表示所述更新图像的第二图像子块的信息熵，i表示所述第二图像子块的灰度值，N表示最大灰度值，P表示预设的概率函数；

利用所述第一图像子块和所述第二图像子块计算得到的联合熵，公式如下：

H(A,B)表示所述第一图像子块与所述第二图像子块之间的联合熵，a表示所述第一图像子块的灰度值，b表示所述第二图像子块的灰度值，P表示预设的概率函数；

利用所述信息熵和所述联合熵计算得到所述第一图像子块与所述第二图像子块之间的互信息，公式如下：

MI(A,B)＝H(A)+H(B)-H(A,B)

MI(A,B)表示计算所述全景底图与所述更新图像之间的互信息；

计算所述互信息中的最大互信息，公式如下：

其中，S_Ai(x,y)表示所述第一图像子块的中心点位于所述全景底图上的坐标，

表示

和S_Ai(x,y)之间的互信息，I(x,y)表示

在所述全景底图的第一图像子块中进行滑动匹配计算时的最大互信息；

计算多个所述最大互信息的坐标，并利用所述第二图像子块上的中心坐标，以获取所述精细配准后的匹配点；

其中，最大互信息的坐标的公式如下：

其中，M_i表示所述最大互信息的坐标，D_A表示

在所述全景底图的第一图像子块中的滑动范围。

可选的，所述根据所述总变换参数获取所述全景底图与所述更新图像之间的重叠图像，将所述重叠图像和所述更新图像分别等均划分为第一子块集合和第二子块集合的步骤，具体包括：

根据所述总变换参数将所述全景底图变换至所述更新图像的坐标系中，获取所述全景底图与所述更新图像之间的重叠图像；

将所述更新图像与所述重叠图像进行灰度转化后进行高斯滤波处理，将滤波处理后的重叠图像和更新图像分别等均划分为第一子块集合和第二子块集合。

所述根据所述第一子块集合和第二子块集合获取所述重叠图像与所述更新图像之间的不变区域集合的步骤包括：

所述第一子块集合A＝{A_mn|1≤m≤k,1≤n≤k}，所述第二子块集合B＝{B_mn|1≤m≤k,1≤n≤k}；

计算第一子块与第二子块的互信息，并基于所述互信息得到所述重叠图像与所述更新图像的子块相似度矩阵，利用所述子块相似度矩阵得到第一区域集合；

根据所述第一子块集合和所述第二子块集合计算所述重叠图像与所述更新图像之间的差分图，并根据所述差分图计算方差，以获取差分图像的度量矩阵，利用所述度量矩阵得到第二区域集合；

将所述第一区域集合与所述第二区域集合的并集确定为所述不变区域集合。

可选的，所述计算第一子块与第二子块的互信息，并基于所述互信息得到重叠图像和更新图像的子块相似度矩阵，利用所述子块相似度矩阵得到第一区域集合的步骤，具体包括：

利用所述第一子块计算得到所述第一子块的信息熵，公式如下：

H(A_mn)表示所述全景底图的第一子块的信息熵，i表示所述第一子块的灰度值，N表示最大灰度值，P表示预设的概率函数；

利用所述第二子块计算得到所述第二子块的信息熵，公式如下：

H(B_mn)表示所述全景底图的第一子块的信息熵，i表示所述第一子块的灰度值，N表示最大灰度值，P表示预设的概率函数；

利用所述第一子块和所述第二子块计算得到的联合熵，公式如下：

H(A_mn,B_mn)表示计算所述第一子块与所述第二子块之间的联合熵，a表示所述第一图像子块的灰度值，b表示所述第二图像子块的灰度值，P表示预设的概率函数；

利用所述信息熵和所述联合熵计算得到所述第一子块所述第二子块之间的互信息，公式如下：

M_mn＝H(A_mn)+H(B_mn)-H(A_mn,B_mn)

M_mn表示计算所述第一子块与所述第二子块之间所述互信息；

计算所述第一子块与所述第二子块的子块相似度矩阵，公式如下：

M表示所述第一子块与所述第二子块的子块之间的所述互信息的子块相似度矩阵；

根据所述相似度矩阵结合预设的阈值，选取所述重叠图像与所述更新图像之间的所述第一区域集合，所述第一区域集合为：C＝{(A_mn,B_mn)|M_mn>t}。

可选的，所述根据所述第一子块集合和所述第二子块集合计算所述重叠图像与所述更新图像之间的差分图，并根据所述差分图计算方差，以获取差分图像的度量矩阵，利用所述度量矩阵得到第二区域集合的步骤，具体包括：

计算第一子块的灰度图像与第二子块的灰度图像的差分图像，公式如下：

其中，

分别表示所述重叠图像的第一子块的灰度图像与所述更新图像的第二子块的灰度图像，d_mn表示每一对图像子块的灰度图像的差分图像；

计算所述差分图像的方差，公式如下：

其中，N为所述差分图像中的像素总数，μ为所述差分图像中像素值均值，σ_mn表示计算所述差分图像的方差；

计算所述方差的差分图像的度量矩阵，公式如下：

D表示计算所述方差的差分图像的度量矩阵；

根据所述度量矩阵获取所述重叠图像与所述更新图像之间的第二区域集合，所述第二区域集合为：E＝{(A_mn,B_mn)|σ_mn>λ}。

可选的，所述根据所述不变区域集合确定颜色校正参数的步骤包括：

计算所述更新图像的归一化颜色直方图的质心，公式如下：

表示所述更新图像的归一化颜色直方图，C_B表示所述更新图像的归一化颜色直方图的质心；

计算所述重叠图像的归一化颜色直方图的质心，公式如下：

表示所述重叠图像的归一化颜色直方图，C_A表示所述更新图像的归一化颜色直方图的质心；

计算所述更新图像的归一化颜色直方图的上质心，公式如下：

表示所述更新图像的归一化颜色直方图，

表示所述更新图像的归一化颜色直方图的上质心；

计算所述更新图像的归一化颜色直方图的下质心，公式如下：

表示所述更新图像的归一化颜色直方图，

表示所述更新图像的归一化颜色直方图的下质心；

计算所述重叠图像的归一化颜色直方图的上质心，公式如下：

表示所述重叠图像的归一化颜色直方图，

表示所述重叠图像的归一化颜色直方图的上质心；

计算所述重叠图像的归一化颜色直方图的下质心，公式如下：

表示所述重叠图像的归一化颜色直方图，

表示所述重叠图像的归一化颜色直方图的下质心；

计算所述更新图像与所述重叠图像的归一化颜色直方图的质心比，公式如下：

a_i表示所述质心比；

计算所述颜色校正参数，公式如下：

β_i＝C_B-α_iC_A

β_i表示所述颜色校正参数。

可选的，所述根据所述校正参数对所述更新图像进行颜色校正的步骤，具体包括：

根据所述校正参数对所述更新图像的三原色通道颜色进行校正，并将三原色通道合并，得到校正后的更新图像，所述校正后的更新图像采用以下计算方式：

其中，

表计算三个通道合并后的校正更新图像，i表示通道标量，Bi表示更新图像进行颜色校正前的灰度值，β_i表示所述颜色校正参数。

本发明的另一方面提供一种结合交互式的底图更新装置，包括：

配准模块，所述配准模块用于对全景底图与更新图像进行粗配准及精细配准，以获取匹配点，并根据所述配准点计算总变换参数；

分析模块，所述处理模块用于获取所述全景底图与所述更新图像之间的重叠图像，将所述更新图像和所述重叠图像分别等均划分为第一子块集合和第二子块集合；

计算模块，所述计算模块用于利用所述第一子块集合和第二子块集合获取所述重叠图像与所述更新图像之间的不变区域集合，所述不变区域集合是指基本轮廓的相似度大于预设阈值的区域，根据所述不变区域集合计算颜色校正参数；

校正模块，所述校正模块用于根据所述颜色校正参数对所述更新图像进行颜色校正；

处理模块，所述处理模块用于对所述更新图像与所述重叠图像的边缘进行线性加权融合，并拼接至所述全景底图，得到更新后的全景底图。

本发明提供的一种结合交互的底图更新方法及装置，通过对所述全景底图和所述更新图像先后进行粗配准和精细配准，获取总变换参数，对所述全景底图和所述更新图像进行变换，可提高全景底图和更新图像之间的分辨率、尺度以及内容上配准的准确性；通过不变区域获取颜色校正参数，对所述更新图像进行颜色校正，可降低更新图像与全景底图之间的颜色差异，进而获得理想的颜色校正效果的全景底图。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例的结合交互式的底图更新的步骤图；

图2为本申请实施例提供的全景底图和更新图像；

图3为本申请实施例的粗配准中匹配点选取示意图；

图4为本申请实施例的精细化配准中匹配子块选取对比示意图；

图5为本申请实施例精细化配准中子块滑动匹配示意图；

图6为本申请实施例的精细化配准中四组匹配点选取示意图；

图7为本申请实施例的基于互信息查找第一区域集合；

图8为本申请实施例的基于差分图查找第二区域集合；

图9为本申请实施例的不变区域结果；

图10为本申请实施例的更新图像与重叠图像之间融合区域的示意图；

图11为本申请实施例的全景底图更新前后对比图；

图12为本申请实施例提供的一种结合交互式的底图更新装置架构图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由于现有技术中图像配准不准确、颜色校正效果不理想技术问题。

为了解决上述技术问题，本发明第一方面提供一种结合交互式的底图更新方法，请参阅图1，图1为本申请实施例的结合交互式的底图更新的步骤图，更新方法包括以下步骤：

S101：对全景底图与更新图像进行粗配准及精细配准，以获取匹配点，并根据匹配点计算总变换参数；

S102：根据总变换参数获取全景底图与更新图像之间的重叠图像，将重叠图像和更新图像分别等均划分为第一子块集合和第二子块集合；

S103：根据第一子块集合和第二子块集合获取重叠图像与更新图像之间的不变区域集合，不变区域集合是指基本轮廓的相似度大于预设阈值的区域；

S104：根据不变区域集合确定颜色校正参数，基于颜色校正参数对更新图像进行颜色校正；

S105：将颜色校正后的更新图像与重叠图像的边缘进行线性加权融合，并拼接至全景底图，得到更新后的全景底图。

请参考图2，图2为本申请实施例提供的全景底图和更新图像，在本实施例中，更新图像是对全景底图中的部分图像区域进行更新。

进一步的，对全景底图与更新图像进行粗配准及精细配准，以获取匹配点，并根据匹配点计算总变换参数的步骤，具体包括：

请参考图3，图3为本申请实施例的粗配准中匹配点选取示意图；对全景底图与更新图像进行粗配准，以获取粗配准后的匹配点，根据匹配点计算全景底图与更新图像之间的第一变换参数；在本实施例中，在对第一变换参数进行计算时，至少需要4对匹配点才能计算出来，每对匹配点对应两幅图像上同一位置，进一步的，在交互式底图选取匹配点时，应该保证任意三个点不在一条直线上，且尽量的分散在图像的四个角落，使得4个匹配点构成的四边形所包含的面积尽可能大；

在本实施例中，对全景底图与更新图像进行粗配准时，获取4对匹配点为

其中，

表示在全景底图中选取的匹配点，

表示在更新图像中所选取的匹配点，根据上述匹配点计算第一变换参数，计算方式如下：

其中，M和b1可通过上述4对匹配点的坐标值进行计算，进一步的，数值h的计算方式如下：

h＝M^-1×b₁

更进一步的，在本实施例中，由于h₉＝1，根据h可求得全景底图到更新图像的投影第一变换参数矩阵H1，计算方式如下：

其中，H₁表示第一变换参数，矩阵中的h1、h2、h3、h4、h5、h6、h7、h8、h9表示数值；在本实施例中，根据第一变换参数使得全景底图和更新图像的尺度一致化；

进一步的，对全景底图与更新图像进行精细配准，以获取精细配准后的匹配点，根据匹配点计算全景底图与更新图像之间的第二变换参数；

对全景底图与更新图像进行精细配准，以获取精细配准后的匹配点的步骤包括：

分别从全景底图中选取第一图像子块A＝{A_i|i＝1，2，3，4}和从更新图像中选取第二图像子块B＝{B_i|i＝1,2,3,4}，对所第二图像子块进行旋转，得到旋转子块集合

在本实施例中，同一对图像子块A_i和B_i之间不能有明显的差异，并且每一块图像作为互信息匹配的局部特性要显著，请参考图4，图4为本申请实施例的精细化配准中匹配子块选取对比示意图，左边的子块明显要比右边的更好，包含了更多的信息，根据图像互信息计算公式，左边的图像块的信息熵为6.2331，右边的为4.9674。因此，左边的这类图像子块能够获得更准确的匹配点。在完成选取第一图像子块和第二图像子块后，计算第一图像子块和第二图像子块的信息熵，其计算方如下：

利用第一图像子块计算得到第一图像子块的信息熵，公式如下：

H(A)表示全景底图的第一图像子块的信息熵，i表示第一图像子块的灰度值，N表示最大灰度值，P表示预设的概率函数，进一步的，最大灰度值为255，最小灰度值为1，在本实施例中，在计算信息熵H(A)时，灰度值i的取值范围[0,N-1]；

利用第二图像子块计算得到第二图像子块的信息熵，公式如下：

H(B)表示更新图像的第二图像子块的信息熵，i表示第二图像子块的灰度值，N表示最大灰度值，P表示预设的概率函数，进一步的，最大灰度值为255，最小灰度值为1，在本实施例中，在计算信息熵H(B)时，灰度值i的取值范围[0,N-1]；

利用第一图像子块和第二图像子块计算得到的联合熵，公式如下：

H(A,B)表示第一图像子块与第二图像子块之间的联合熵，a表示第一图像子块的灰度值，b表示第二图像子块的灰度值，P表示预设的概率函数；

利用信息熵和联合熵计算得到第一图像子块与第二图像子块之间的互信息，公式如下：

MI(A,B)＝H(A)+H(B)-H(A,B)

MI(A,B)表示计算全景底图与更新图像之间的互信息；

计算所述互信息中的最大互信息，公式如下：

其中，公式中的S_Ai(x,y)表示第一图像子块的中心点位于全景底图上的坐标，

表示

和S_Ai(x,y)之间的互信息，I(x,y)表示

在全景底图的第一图像子块中进行滑动匹配计算时的最大互信息，请参考图5，图5为本申请实施例精细化配准中子块滑动匹配示意图，图中为更新图像的第二图像子块在全景底图的第一图像子块中滑动扫描，以获取匹配计算时最大的互信息；

计算多个最大互信息的坐标，即计算全景底图的第一图像子块中的最佳坐标点Mi，其中，M_i＝{(x_Ai,y_Ai)|i＝1,2,3,4}，进一步的，并利用第二图像子块上的中心坐标，该中心坐标点为C_i＝{(x_Bi,y_Bi)|i＝1,2,3,4}，根据全景底图中最大互信息的坐标点和第二图像子块上的中心坐标点组成匹配点，以获取精细配准后的最佳匹配点，在本实施例中，最佳匹配点为4组，最佳匹配点为{(M_i,C_i)|i＝1,2,3,4}，请参考图6，图6为申请实施例的精细化配准中四组匹配点选取示意图；

其中，计算最大互信息I(x,y)的坐标，公式如下：

其中，M_i表示最大互信息的坐标，D_A表示

在全景底图的第一图像子块中的滑动范围，滑动范围为[x_Ai-dx,x_Ai+dx]×[y_Ai-dy,y_Ai+dy]，(x_Ai,x_Ai)表示第一子块A_i的中心坐标，dx和dy表示偏移量，在本实施例中，互信息的灰度级为128，即灰度值的取值范围为{0,2,4,6......254}，dx＝dy＝25；

更进一步的，根据4组最佳匹配点计算第二变换参数，采用以下计算方式：

其中，M和b2可通过上述4对匹配点的坐标值进行计算，进一步的，数值h的计算方式如下：

h＝M^-1×b₂

更进一步的，在本实施例中，由于h₉＝1，根据h可求得全景底图到更新图像的投影第一变换参数矩阵H2，计算方式如下：

其中，H₂表示第一变换参数，矩阵中的h1、h2、h3、h4、h5、h6、h7、h8、h9表示数值；

利用第一变换参数和第二变换参数计算总变换参数，计算方式如下：

其中，H表示总变换参数，H₂表示第二变换参数，H₁表示为第一变换参数；

在本实施例中，总变化参数为全景底图和更新图像之间的投影变换参数，可根据总变化参数将全景底图变换到更新图像坐标系中，实现两幅图像之间的尺度一致化。

进一步的，根据总变换参数获取全景底图与更新图像之间的重叠图像，将重叠图像和更新图像分别等均划分为第一子块集合和第二子块集合的步骤，具体包括：

根据总变换参数将全景底图变换至更新图像的坐标系中，获取全景底图与更新图像之间的重叠图像；

将更新图像与重叠图像进行灰度转化后进行高斯滤波处理，将滤波处理后的重叠图像和更新图像分别等均划分为第一子块集合和第二子块集合。

进一步的，在本实施例中，将重叠图像和更新图像分别等均划分为第一子块集合和第二子块集合的步骤，具体包括：

将重叠图像和更新图像分别等均划分为第一子块集合和第二子块集合，第一子块集合和第二子块集合分别包含多个图像子块，图像子块的尺寸为

其中，j、l表示更新图像和重叠图像的尺寸，k为j、l的公约数

根据第一子块集合和第二子块集合获取重叠图像与更新图像之间的不变区域集合的步骤包括：

第一子块集合A＝{A_mn|1≤m≤k,1≤n≤k}，第二子块集合B＝{B_mn|1≤m≤k,1≤n≤k}；

请参考图7，图7为本申请实施例的基于互信息查找第一区域集合；计算第一子块与第二子块的互信息，并基于互信息得到重叠图像与更新图像的子块相似度矩阵，利用子块相似度矩阵得到第一区域集合；

请参考图8，图8为本申请实施例的基于差分图查找第二区域集合；根据第一子块集合和第二子块集合计算重叠图像与更新图像之间的差分图，并根据差分图计算方差，以获取差分图像的度量矩阵，利用度量矩阵得到第二区域集合；

请参考图9，图9为本申请实施例的不变区域结果；将第一区域集合与第二区域集合的并集确定为不变区域集合，在本实施例中，C表示第一区域集合，E表示第二区域集合，R表示不变区域集合，不变区域集合R＝C∪E。

进一步的，计算第一子块与第二子块的互信息，并基于互信息得到重叠图像和更新图像的子块相似度矩阵，利用子块相似度矩阵得到第一区域集合的步骤，具体包括：

利用第一子块计算得到第一子块的信息熵，公式如下：

H(A_mn)表示全景底图的第一子块的信息熵，i表示第一子块的灰度值，N表示最大灰度值，P表示预设的概率函数，进一步的，最大灰度值为255，最小灰度值为1，在本实施例中，在计算信息熵H(A)时，灰度值i的取值范围[0,N-1]；

利用第二子块计算得到第二子块的信息熵，公式如下：

H(B_mn)表示全景底图的第一子块的信息熵，i表示第一子块的灰度值，N表示最大灰度值，P表示预设的概率函数，进一步的，最大灰度值为255，最小灰度值为1，在本实施例中，在计算信息熵H(A)时，灰度值i的取值范围[0,N-1]；

利用第一子块和第二子块计算得到的联合熵，公式如下：

H(A_mn,B_mn)表示计算第一子块与第二子块之间的联合熵，a表示第一图像子块的灰度值，b表示第二图像子块的灰度值，P表示预设的概率函数；

利用信息熵和联合熵计算得到第一子块第二子块之间的互信息，公式如下：

M_mn＝H(A_mn)+H(B_mn)-H(A_mn,B_mn)

M_mn表示计算第一子块与第二子块之间互信息；

计算第一子块与第二子块的子块相似度矩阵，公式如下：

M表示第一子块与第二子块的子块之间的互信息的子块相似度矩阵；

根据相似度矩阵结合预设的阈值，选取重叠图像与更新图像之间的第一区域集合，第一区域集合为：C＝{(A_mn,B_mn)|M_mn>t}。

进一步的，根据第一子块集合和第二子块集合计算重叠图像与更新图像之间的差分图，并根据差分图计算方差，以获取差分图像的度量矩阵，利用度量矩阵得到第二区域集合的步骤，具体包括：

计算第一子块的灰度图像与第二子块的灰度图像的差分图像，公式如下：

其中，

分别表示重叠图像的第一子块的灰度图像与更新图像的第二子块的灰度图像，d_mn表示每一对图像子块的灰度图像的差分图像；

计算差分图像的方差，公式如下：

其中，N为差分图像中的像素总数，μ为差分图像中像素值均值，σ_mn表示计算差分图像的方差；

计算方差的差分图像的度量矩阵，公式如下：

D表示计算方差的差分图像的度量矩阵；

根据度量矩阵获取重叠图像与更新图像之间的第二区域集合，第二区域集合为：E＝{(A_mn,B_mn)|σ_mn>λ}。

进一步的，根据不变区域集合确定颜色校正参数的步骤包括：

计算更新图像的归一化颜色直方图的质心，公式如下：

表示更新图像的归一化颜色直方图，C_B表示更新图像的归一化颜色直方图的质心；

计算重叠图像的归一化颜色直方图的质心，公式如下：

表示重叠图像的归一化颜色直方图，C_A表示更新图像的归一化颜色直方图的质心；

计算更新图像的归一化颜色直方图的上质心，公式如下：

表示更新图像的归一化颜色直方图，

表示更新图像的归一化颜色直方图的上质心；

计算更新图像的归一化颜色直方图的下质心，公式如下：

表示更新图像的归一化颜色直方图，

表示更新图像的归一化颜色直方图的下质心；

计算重叠图像的归一化颜色直方图的上质心，公式如下：

表示重叠图像的归一化颜色直方图，

表示重叠图像的归一化颜色直方图的上质心；

计算重叠图像的归一化颜色直方图的下质心，公式如下：

表示重叠图像的归一化颜色直方图，

表示重叠图像的归一化颜色直方图的下质心；

计算更新图像与重叠图像的归一化颜色直方图的质心比，公式如下：

a_i表示质心比；

计算颜色校正参数，公式如下：

β_i＝C_B-α_iC_A

β_i表示颜色校正参数。

进一步的，根据校正参数对更新图像进行颜色校正的步骤，具体包括：

根据校正参数对更新图像的三原色通道颜色进行校正，并将三原色通道合并，得到校正后的更新图像，校正后的更新图像采用以下计算方式：

其中，

为校正后的更新图像，i表示通道标量，Bi表示更新图像进行颜色校正前的灰度值，β_i表示所述颜色校正参数。

进一步的，将颜色校正后的更新图像与重叠图像进行线性加权融合的步骤，具体包括：

请参考图10，图10为本申请实施例的更新图像与重叠图像之间融合区域的示意图；更新图像与重叠图像之间是完全重叠的，将颜色校正后的更新图像与重叠图像进行线性加权融合，得到融合入区域R；进行线性加权融合采取以下计算方式：

I(x,y)＝ωI_A(x,y)+(1-ω)I_B(x,y)

其中，I(x,y)表示更新图像在边缘处进行融合后的图像，I_P(x,y)表示重叠图像，I_U(x,y)表示更新图像。ω是融合参数，ω＝i/r,i＝{0,1,…,r-1}，i表示当前像素点与重叠图像四条边的最小距离，所有i相等的像素点形成一个矩形框，在该矩形框上的像素点采用相同融合参数进行融合，r表示更新图像在边缘处进行融合后的图像的宽度，在本实施例中，融合区域的宽度取值100，得到融合后的图像；

请参考图11，图11为本申请实施例的全景底图更新前后对比图；将上述的融合后的图像拼接到全景底图中，实现对全景视图的更新；更进一步的，对全景底图多次进行配准和颜色校正，以实现对全景底图进行整体更新。

本发明的另一方面提供一种结合交互式的底图更新装置，请参考图12，图12为本申请实施例提供的一种结合交互式的底图更新装置架构图，更新装置200包括：

配准模块201，配准模块用于对全景底图与更新图像进行粗配准及精细配准，以获取匹配点，并根据配准点计算总变换参数；

分析模块202，处理模块用于获取全景底图与更新图像之间的重叠图像，将更新图像和重叠图像分别等均划分为第一子块集合和第二子块集合；

计算模块203，计算模块用于利用第一子块集合和第二子块集合获取重叠图像与更新图像之间的不变区域集合，不变区域集合是指基本轮廓的相似度大于预设阈值的区域，根据不变区域集合计算颜色校正参数；

校正模块204，校正模块用于根据颜色校正参数对更新图像进行颜色校正；

处理模块205，处理模块用于对更新图像与重叠图像的边缘进行线性加权融合，并拼接至全景底图，得到更新后的全景底图。

本发明提供的一种结合交互的底图更新方法及装置，通过对全景底图和更新图像先后进行粗配准和精细配准，获取总变换参数，对全景底图和更新图像进行变换，可提高全景底图和更新图像之间的分辨率、尺度以及内容上配准的准确性；通过不变区域获取颜色校正参数，对更新图像进行颜色校正，可降低更新图像与全景底图之间的颜色差异，进而获得理想的颜色校正效果的全景底图。

本发明提出的结合人机交互的全景底图更新方法在计算两幅图像之间的配准参数时，设计了一种借助人机交互的半自动配准方法，它指结合人工干预和互信息的配准。主要分为粗配准和精细配准两个步骤，粗配准的目的是实现全景底图与更新图像的尺度一致化，为下一步精细化配准做好准备。精细化配准通过交互式的方法从两幅图像之间选取四对匹配区域子图，采用图像互信息作为匹配准则获得更为精确的匹配点对。最后结合两次配准的结果，得到最终的变换参数。

在进行颜色校正时充分利用两幅图像之间的计算区域来计算校正参数。设计了一种基于计算区域的颜色校正方法，该方法首先通过互信息和差分图方差等度量因子查找两幅图像之间的未变化区域，再利用这些区域采用课题组已有的算法计算出它们之间的颜色校正参数，最后根据校正参数对更新图片进行颜色校正。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上为对本发明所提供的一种结合交互式的底图更新方法及装置的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种结合交互式的底图更新方法，其特征在于，所述更新方法包括以下步骤：

对全景底图与更新图像进行粗配准，以获取所述粗配准后的4对匹配点，所述4对匹配点为

其中，

表示在所述全景底图中选取的匹配点，

表示在所述更新图像中所选取的匹配点，根据所述4对匹配点计算第一变换参数，计算方式如下：

其中，M和b₁ 可通过所述4对匹配点的坐标值进行计算，数值h的计算方式如下：

h＝M^-1×b₁，

根据h可求得全景底图到更新图像的投影第一变换参数矩阵H₁ ，计算方式如下：

其中，H₁表示第一变换参数，矩阵中的h₁ 、h ₂ 、h₃ 、h₄ 、h₅ 、h₆ 、h₇ 、h₈ 、h₉ 表示数值，h₉＝1；

对所述全景底图与所述更新图像进行精细配准，以获取所述精细配准后的匹配点，根据精细配准后的所述匹配点计算所述全景底图与所述更新图像之间的第二变换参数；

利用所述第一变换参数和所述第二变换参数计算总变换参数；

根据所述总变换参数获取所述全景底图与所述更新图像之间的重叠图像，将所述重叠图像和所述更新图像分别等均划分为第一子块集合和第二子块集合；

根据所述第一子块集合和第二子块集合计算第一子块与第二子块的互信息，并基于互信息得到所述重叠图像与所述更新图像的子块相似度矩阵，利用所述所述子块相似度矩阵得到第一区域集合，根据第一子块集合和所述第二子块集合计算所述重叠图像与所述更新图像之间的差分图，并根据所述差分图计算方差，以获取所述差分图的度量矩阵，利用所述度量矩阵得到第二区域集合，将所述第一区域集合与所述第二区域集合的并集确定为不变区域集合，所述不变区域集合是指基本轮廓的相似度大于预设阈值的区域；

根据所述不变区域集合确定颜色校正参数，基于所述颜色校正参数对所述更新图像进行颜色校正；

将颜色校正后的所述更新图像与所述重叠图像的边缘进行线性加权融合，并拼接至所述全景底图，得到更新后的全景底图。

2.如权利要求1所述一种结合交互式的底图更新方法，其特征在于，所述对所述全景底图与所述更新图像进行精细配准，以获取所述精细配准后的匹配点的步骤包括：

分别从所述全景底图中选取第一图像子块A'＝{A_i|i＝1,2,3,4}和从所述更新图像中选取第二图像子块B'＝{B_i|i＝1,2,3,4}，对所第二图像子块进行旋转，得到旋转子块集合

利用所述第一图像子块计算得到所述第一图像子块的信息熵，公式如下：

H(A')表示所述全景底图的第一图像子块的信息熵，i表示所述第一图像子块的灰度值，N表示最大灰度值，P表示预设的概率函数；

利用所述第二图像子块计算得到所述第二图像子块的信息熵，公式如下：

H(B')表示所述更新图像的第二图像子块的信息熵，i表示所述第二图像子块的灰度值，N表示最大灰度值，P表示预设的概率函数；

利用所述第一图像子块和所述第二图像子块计算得到的联合熵，公式如下：

H(A',B')表示所述第一图像子块与所述第二图像子块之间的联合熵，a表示所述第一图像子块的灰度值，b表示所述第二图像子块的灰度值，P表示预设的概率函数；

利用所述信息熵和所述联合熵计算得到所述第一图像子块与所述第二图像子块之间的互信息，公式如下：

MI(A',B')＝H(A')+H(B')-H(A',B')

MI(A',B')表示计算所述全景底图与所述更新图像之间的互信息；

计算所述互信息中的最大互信息，公式如下：

其中，S_Ai(x,y)表示所述第一图像子块的中心点位于所述全景底图上的坐标，

表示

和S_Ai(x,y)之间的互信息，I(x,y)表示

在所述全景底图的第一图像子块中进行滑动匹配计算时的最大互信息；

计算多个所述最大互信息的坐标，并利用所述第二图像子块上的中心坐标，以获取所述精细配准后的匹配点；

其中，最大互信息的坐标的公式如下：

其中，M_i表示所述最大互信息的坐标，D_A表示

在所述全景底图的第一图像子块中的滑动范围。

3.如权利要求1所述一种结合交互式的底图更新方法，其特征在于，所述根据所述总变换参数获取所述全景底图与所述更新图像之间的重叠图像，将所述重叠图像和所述更新图像分别等均划分为第一子块集合和第二子块集合的步骤，具体包括：

根据所述总变换参数将所述全景底图变换至所述更新图像的坐标系中，获取所述全景底图与所述更新图像之间的重叠图像；

将所述更新图像与所述重叠图像进行灰度转化后进行高斯滤波处理，将滤波处理后的重叠图像和更新图像分别等均划分为第一子块集合和第二子块集合。

4.如权利要求2所述一种结合交互式的底图更新方法，其特征在于，所述根据所述第一子块集合和第二子块集合获取所述重叠图像与所述更新图像之间的不变区域集合的步骤包括：

所述第一子块集合A'''＝{A_mn|1≤m≤k,1≤n≤k}，所述第二子块集合B'''＝{B_mn|1≤m≤k,1≤n≤k}；

计算第一子块与第二子块的互信息，并基于所述互信息得到所述重叠图像与所述更新图像的子块相似度矩阵，利用所述子块相似度矩阵得到第一区域集合；

根据所述第一子块集合和所述第二子块集合计算所述重叠图像与所述更新图像之间的差分图，并根据所述差分图计算方差，以获取差分图像的度量矩阵，利用所述度量矩阵得到第二区域集合；

将所述第一区域集合与所述第二区域集合的并集确定为所述不变区域集合。

5.如权利要求4所述一种结合交互式的底图更新方法，其特征在于，所述计算第一子块与第二子块的互信息，并基于所述互信息得到重叠图像和更新图像的子块相似度矩阵，利用所述子块相似度矩阵得到第一区域集合的步骤，具体包括：

利用所述第一子块计算得到所述第一子块的信息熵，公式如下：

H(A_mn)表示所述全景底图的第一子块的信息熵，i表示所述第一子块的灰度值，N表示最大灰度值，P表示预设的概率函数；

利用所述第二子块计算得到所述第二子块的信息熵，公式如下：

H(B_mn)表示所述全景底图的第一子块的信息熵，i表示所述第一子块的灰度值，N表示最大灰度值，P表示预设的概率函数；

利用第一子块和所述第二子块计算得到的联合熵，公式如下：

H(A_mn,B_mn)表示计算所述第一子块与所述第二子块之间的联合熵，a表示所述第一图像子块的灰度值，b表示所述第二图像子块的灰度值，P表示预设的概率函数；

利用所述信息熵和所述联合熵计算得到所述第一子块所述第二子块之间的互信息，公式如下：

M_mn＝H(A_mn)+H(B_mn)-H(A_mn,B_mn)

M_mn表示计算所述第一子块与所述第二子块之间所述互信息；

计算所述第一子块与所述第二子块的子块相似度矩阵，公式如下：

M'表示所述第一子块与所述第二子块的子块之间的所述互信息的子块相似度矩阵；

根据所述相似度矩阵结合预设的阈值，选取所述重叠图像与所述更新图像之间的所述第一区域集合，所述第一区域集合为：C＝{(A_mn,B_mn)|M_mn>t}。

6.如权利要求4所述一种结合交互式的底图更新方法，其特征在于，所述根据所述第一子块集合和所述第二子块集合计算所述重叠图像与所述更新图像之间的差分图，并根据所述差分图计算方差，以获取差分图像的度量矩阵，利用所述度量矩阵得到第二区域集合的步骤，具体包括：

计算第一子块的灰度图像与第二子块的灰度图像的差分图像，公式如下：

其中，

分别表示所述重叠图像的第一子块的灰度图像与所述更新图像的第二子块的灰度图像，d_mn表示每一对图像子块的灰度图像的差分图像；

计算所述差分图像的方差，公式如下：

其中，N为所述差分图像中的像素总数，μ为所述差分图像中像素值均值，σ_mn表示计算所述差分图像的方差；

计算所述方差的差分图像的度量矩阵，公式如下：

D表示计算所述方差的差分图像的度量矩阵；

根据所述度量矩阵获取所述重叠图像与所述更新图像之间的第二区域集合，所述第二区域集合为：E＝{(A_mn,B_mn)|σ_mn>λ}。

7.如权利要求1所述一种结合交互式的底图更新方法，其特征在于，所述根据所述不变区域集合确定颜色校正参数的步骤包括：

计算所述更新图像的归一化颜色直方图的质心，公式如下：

表示所述更新图像的归一化颜色直方图，C_B表示所述更新图像的归一化颜色直方图的质心；

计算所述重叠图像的归一化颜色直方图的质心，公式如下：

表示所述重叠图像的归一化颜色直方图，C_A表示所述更新图像的归一化颜色直方图的质心；

计算所述更新图像的归一化颜色直方图的上质心，公式如下：

表示所述更新图像的归一化颜色直方图，

表示所述更新图像的归一化颜色直方图的上质心；

计算所述更新图像的归一化颜色直方图的下质心，公式如下：

表示所述更新图像的归一化颜色直方图，

表示所述更新图像的归一化颜色直方图的下质心；

计算所述重叠图像的归一化颜色直方图的上质心，公式如下：

表示所述重叠图像的归一化颜色直方图，

表示所述重叠图像的归一化颜色直方图的上质心；

计算所述重叠图像的归一化颜色直方图的下质心，公式如下：

表示所述重叠图像的归一化颜色直方图，

表示所述重叠图像的归一化颜色直方图的下质心；

计算所述更新图像与所述重叠图像的归一化颜色直方图的质心比，公式如下：

a_i表示所述质心比；

计算所述颜色校正参数，公式如下：

β_i＝C_B-a_iC_A

β_i表示所述颜色校正参数。

8.如权利要求7所述一种结合交互式的底图更新方法，其特征在于，所述根据所述校正参数对所述更新图像进行颜色校正的步骤，具体包括：

根据所述校正参数对所述更新图像的三原色通道颜色进行校正，并将三原色通道合并，得到校正后的更新图像，所述校正后的更新图像采用以下计算方式：

其中，

表示校正后的更新图像，i表示通道标量，Bi表示更新图像进行颜色校正前的灰度值，β_i表示所述颜色校正参数。

9.一种结合交互式的底图更新装置，其特征在于，所述更新装置包括：

配准模块，所述配准模块用于对全景底图与更新图像进行粗配准，以获取所述粗配准后的4对匹配点，所述4对匹配点为

其中，

表示在所述全景底图中选取的匹配点，

表示在所述更新图像中所选取的匹配点，根据所述4对匹配点计算第一变换参数，计算方式如下：

其中，M和b₁ 可通过所述4对匹配点的坐标值进行计算，数值h的计算方式如下：

h＝M^-1×b₁，

根据h可求得全景底图到更新图像的投影第一变换参数矩阵H₁ ，计算方式如下：

其中，H₁表示第一变换参数，矩阵中的h₁ 、h₂ 、h₄ 、h₄ 、h₅ 、h₆ 、h₇ 、h₈ 、h₉ 表示数值，h₉＝1；

分析模块，所述分析模块用于对所述全景底图与所述更新图像进行精细配准，以获取所述精细配准后的匹配点，根据精细配准后的所述匹配点计算所述全景底图与所述更新图像之间的第二变换参数；

利用所述第一变换参数和所述第二变换参数计算总变换参数；

根据所述总变换参数获取所述全景底图与所述更新图像之间的重叠图像，将所述重叠图像和所述更新图像分别等均划分为第一子块集合和第二子块集合；

计算模块，所述计算模块用于根据所述第一子块集合和第二子块集合计算第一子块与第二子块的互信息，并基于互信息得到所述重叠图像与所述更新图像的子块相似度矩阵，利用所述所述子块相似度矩阵得到第一区域集合，根据第一子块集合和所述第二子块集合计算所述重叠图像与所述更新图像之间的差分图，并根据所述差分图计算方差，以获取所述差分图的度量矩阵，利用所述度量矩阵得到第二区域集合，将所述第一区域集合与所述第二区域集合的并集确定为不变区域集合，所述不变区域集合是指基本轮廓的相似度大于预设阈值的区域；

校正模块，所述校正模块用于根据所述颜色校正参数对所述更新图像进行颜色校正；

处理模块，所述处理模块用于对所述更新图像与所述重叠图像的边缘进行线性加权融合，并拼接至所述全景底图，得到更新后的全景底图。

Images