CN101909165B - 一种基于混合测度的视频数据宽景成像方法 - Google Patents

Abstract

一种基于混合测度的视频数据宽景成像方法，属于图像处理领域，本发明为解决现有针对两幅图像的配准拼接提出的宽景成像算法在处理视频数据的时候存在执行效率低、宽景成像精度低等问题，提供了一种基于混合测度的视频数据宽景成像方法。本发明：一、采样，配准帧图像，二、再次采样，待配准帧图像，三、有效性评估，四、获取配准参数，五、分别判断横向配准位移量和纵向配准位移量是否超出阈值范围，六、采用缝隙渐变加权融合的方法将获取配准参数的配准帧图像和待配准帧图像进行拼接，将本次拼接后的图像作为下一次的配准帧图像，然后返回二，进行下一次图像采样和拼接，直到视频数据采样过程结束，退出循环，完成一个宽景图像的拼接过程。

Description

一种基于混合测度的视频数据宽景成像方法

技术领域

本发明涉及一种基于混合测度的视频数据宽景成像方法，属于图像处理领域。

背景技术

宽景成像是指将通过实时采集装置在移动过程中所得到的连续视频图像，利用图像抑噪、图像配准和图像融合等图像处理技术，合成出完整的大幅面、低噪声和高清晰度的宽景图像。因为有较大的数据处理量，该技术一般利用高速处理器或计算机来重建所述单幅图像，并且越来越广泛地被应用于机器人、计算机视觉、虚拟现实及医学等领域。比如机器人视觉中，对于复杂环境的处理就需要宽景成像技术，通过对机器人双目获取的子图像进行合成，得到宽视野的环境信息。再比如在超声医学领域，由于超声成像距离或宽度受到探头尺寸的限制，一次数据采集不能有效地观察被测整个器官和病变部位的全貌，因此也需要对被测目标多次采集后进行宽景成像。

宽景成像系统可分为三个部分：采集子系统、处理子系统与浏览子系统。由于采集子系统中观测视角的限制，使得每一次采集的效果不足以对被观测对象做出判断，因此需要将多次采集的数据进行处理，得到被观测对象的全貌。其中最关键的处理技术为图像配准和图像拼接技术。尤其是图像配准技术，在一定程度上直接决定了宽景成像的成败。

图像配准是指通过寻找某种空间变换，使来自不同时间、不同传感器或不同视角的同一场景的两幅或多幅图像的对应点达到空间位置上的一致。目前常用的图像配准算法主要包括基于变化域的配准方法，基于特征提取的配准方法，基于变换模型的配准方法和基于灰度信息的配准方法。相关算法多是针对清晰度较高，特征轮廓较清晰的图像提出的。而对于清晰度较差，特征不明显的图像配准方法还有待进一步探索提高。

图像拼接技术就是将数张有重叠部分的图像(可能是不同时间、不同视角或者不同传感器获得的)拼成一幅大型的无缝高分辨率图像的技术。目前比较常用的有图像增长技术，递归的空间组合技术以及加权拼接技术。拼接技术一般要求原理简单，计算量小，并且能够在一定程度上填充掉两幅图像间的灰度差异和可能存在的几何外形形变等。

现今的宽景成像算法多是针对两幅图像的配准拼接提出的，这就导致了这些算法在处理视频数据的时候出现执行效率低、宽景成像精度低等问题，如能直接针对视频数据进行处理，将能在一定程度上克服上述缺点，给应用带来很大的方便。

发明内容

本发明目的是为了解决现有针对两幅图像的配准拼接提出的宽景成像算法在处理视频数据的时候存在执行效率低、宽景成像精度低等问题，提供了一种基于混合测度的视频数据宽景成像方法。

本发明包括如下步骤：

步骤一、在视频数据中采样，获得一帧图像作为配准帧图像，

步骤二、按设定的采样步长再次进行采样，获得下一帧图像作为待配准帧图像，

步骤三、对采样获取的帧图像进行有效性评估，有效性评估包括依次进行扫描有效性评估和拼接有效性评估，如果通过上述两个有效性评估，执行步骤四，如果没通过扫描有效性评估，需返回重新采样，如果没有通过拼接有效性评估，表明获取视频数据的扫描速度过快或过慢，则自适应调整采样步长，并将调整后的采样步长作为设定的采样步长，返回执行步骤二，

步骤四、采用互信息测度和梯度相关测度对通过有效性评估的配准帧图像和待配准帧图像进行图像配准，获取配准参数，

配准参数包括配准帧图像和待配准帧图像的横向配准位移量和纵向配准位移量，

采用先粗后精结合的方式实现图像配准，粗配准采用互信息测度获取配准帧图像和待配准帧图像的横向配准位移量，精配准采用梯度相关测度获取配准帧图像和待配准帧图像的纵向配准位移量，

步骤五、分别判断横向配准位移量和纵向配准位移量是否超出阈值范围，根据下述两式获得判断结果：

位移低阈值<横向配准位移量<位移高阈值，

位移低阈值<纵向配准位移量<位移高阈值，

若上述两式都成立，则表明横向配准位移量和纵向配准位移量均在阈值范围内，获取视频数据的扫描速度正常，无需调整采样步长，执行步骤六，

若有任何一式不成立，则表明横向配准位移量或纵向配准位移量超出阈值范围，获取视频数据的扫描速度过快或过慢，则自适应调整采样步长，并将调整后的采样步长作为设定的采样步长，再返回执行步骤二，

步骤六、采用缝隙渐变加权融合的方法将获取配准参数的的配准帧图像和待配准帧图像进行图像拼接，并将本次拼接后的图像作为下一次拼接用的配准帧图像，

然后返回步骤二，进行下一次图像采样和拼接，

直到视频数据采样过程结束，退出循环，完成一个宽景图像的拼接过程。

本发明的优点：

1) 处理对象直接是视频数据，使得该算法能直接用于实际应用中，解决了当前很多宽景成像算法只是针对两幅图像的提出而失去了直接的实际应用价值的问题。

2) 在算法中引入了采样帧有效性判断及采样变步长机制，通过有效性判断剔除不具有足够特征的帧图像，利用采样的循环体系保证了算法的准确性，结合采样步长的调整实现了宽景成像算法的自适应性。

3) 混合测度的结合使用为算法提供了较强的抗干扰能力，使其鲁棒性大大增加，在保证精度的同时也使得算法完全能够满足实时性的要求。

附图说明

图1为基于混合测度的宽景成像方法框图；

图2为互信息粗配准算法流程图；

图3为梯度相关法精配准算法流程图；

图4为图像缝隙渐变加权融合拼接算法流程图；

图5和图6为从视频数据中截取的两帧图像；

图7和图8为去除背景后的两帧超声图像；

图9为两帧图像的拼接图；

图10为人体肌肉组织扫描视频数据的宽景合成图；

图11为体膜视频数据的宽景合成图。

具体实施方式

具体实施方式一：下面结合图1至图4说明本实施方式，

本发明是通过以下技术方案实现的：

首先设定初始的采样步长，从视频图像数据中采集出两帧图像，分别对其进行帧扫描有效性和帧拼接有效性判断，以鉴别该采样帧的性能是否满足宽景成像要求，验证满足要求后将两个采样特征帧进行配准，这里采用的是由粗到精的两步配准法，先利用互信息测度进行粗配准，然后对图像进行背景去除以减小噪声干扰，并以得到的配准位移作为初始值，在其邻域内利用梯度相关法进行精确配准，最后利用缝隙渐变加权融合的方法将图像按照计算出的配准位移拼接起来，同时根据配准位移的数值大小调整采样步长，对视频数据进行再次采样，并将得到的宽景图像和新采集到的帧图像作为处理对象重复上面的过程，直至整个视频数据采样完成后算法结束，退出循环，得到所求的宽景图像，具体方法包括以下步骤：

步骤一、在视频数据中采样，获得一帧图像作为配准帧图像，

步骤二、按设定的采样步长再次进行采样，获得下一帧图像作为待配准帧图像，

步骤三、对采样获取的帧图像进行有效性评估，有效性评估包括依次进行扫描有效性评估和拼接有效性评估，如果通过上述两个有效性评估，适合宽景拼接，执行步骤四，如果没通过扫描有效性评估，需返回重新采样，如果没有通过拼接有效性评估，表明获取视频数据的扫描速度过快或过慢，则自适应调整采样步长，并将调整后的采样步长作为设定的采样步长，返回执行步骤二，

步骤四、采用互信息测度和梯度相关测度对通过有效性评估的配准帧图像和待配准帧图像进行图像配准，获取配准参数，

配准参数包括配准帧图像和待配准帧图像的横向配准位移量和纵向配准位移量，

采用先粗后精结合的方式实现图像配准，粗配准采用互信息测度获取配准帧图像和待配准帧图像的横向配准位移量，精配准采用梯度相关测度获取配准帧图像和待配准帧图像的纵向配准位移量，

步骤五、分别判断横向配准位移量和纵向配准位移量是否超出阈值范围，根据下述两式获得判断结果：

位移低阈值<横向配准位移量<位移高阈值，

位移低阈值<纵向配准位移量<位移高阈值，

若上述两式都成立，则表明横向配准位移量和纵向配准位移量均在阈值范围内，获取视频数据的扫描速度正常，无需调整采样步长，执行步骤六，

若有任何一式不成立，则表明横向配准位移量或纵向配准位移量超出阈值范围，获取视频数据的扫描速度过快或过慢，则自适应调整采样步长，并将调整后的采样步长作为设定的采样步长，再返回执行步骤二，

步骤六、采用缝隙渐变加权融合的方法将获取配准参数的的配准帧图像和待配准帧图像进行图像拼接，并将本次拼接后的图像作为下一次拼接用的配准帧图像，

然后返回步骤二，进行下一次图像采样和拼接，

直到视频数据采样过程结束，退出循环，完成一个宽景图像的拼接过程。

执行步骤一，采样视频数据的一帧图像作为配准帧图像，然后执行步骤二，按设定的采样步长再采样视频数据的下一帧图像作为待配准帧图像，第一次采样时，连续采样两帧图像，分别作为配准帧图像和待配准帧图像，经过后续的处理后，拼接成的图像在下一次采样时作为配准帧图像，因此，第二次以后采样只需采样待配准帧图像即可。

步骤三进行扫描有效性判断时，若第一次采样判断时，配准帧图像或待配准帧图像的扫描有效性有问题，返回执行步骤一；第二次及其以后采样，配准帧图像是上次拼接后的图像，不存在扫描有效性问题，只判断采样得到的待配准帧图像的扫描有效性，因此，若此步判断扫描有效性存在问题，返回步骤二，

步骤三中所述的扫描有效性评估是基于统计测度实现的，

判断采样获取的帧图像基于统计测度进行扫描有效性的标准是：要满足条件                                                

，

其中，

为像素统计阈值，

为帧图像中像素值小于的像素点数，

且

满足条件

，式中，

为帧图像中点

的像素值，

为像素阈值，Q为采样获取的帧图像，

配准帧图像和待配准帧图像统称为帧图像，在后续的运算中，令A代表配准帧图像，令B代表待配准帧图像，

满足上述条件，则扫描有效，否则，扫描无效；

步骤三中所述的拼接有效性的评估是基于绝对差和SAD实现的，

对采样获取的帧图像基于绝对差和SAD进行拼接有效性判断标准是：要满足条件：

，

其中，

为拼接有效性低阈值，

拼接有效性高阈值，

为配准帧图像中点

的像素值，

为待配准帧图像

中点

的像素值，为配准帧图像

和待配准帧图像

中的对应区域，

满足上述条件，则拼接有效，否则，拼接无效。

步骤三中的自适应调整步长的方法为：

若SV<SV1，则采样步长按下式进行调整设定：

Step_i+1= Step_i +Δstep1，

Step_i为第i次采样步长、Step_i+1为第i+1次采样步长，Δstep 1为调整采样步长，

若SV>SV2，则采样步长按下式进行调整设定：

Step_i+1= Step_i -Δstep1，

调整采样步长Δstep1依据经验而定，一般为1-10之间。

步骤三中所述的采样获取的帧图像不满足扫描有效性条件，需返回重新采样有两种方式：第一次循环需采样配准帧图像和待配准帧图像两帧图像，若配准帧图像或待配准帧图像不满足扫描有效性时，返回执行步骤一；第二次及其以后采样，只需对待配准帧图像进行扫描有效性判断，若待配准帧图像不满足扫描有效性时，返回执行步骤二。

步骤四中的采用互信息测度和梯度相关测度将通过有效性评估的配准帧图像和待配准帧图像进行图像配准的过程为：

首先采用互信息测度进行粗配准，然后去除背景干扰噪声，再采用梯度相关测度进行精配准，

采用互信息测度进行粗配准的方法为：

步骤41、将通过有效性评估的待配准帧图像都均分成n个竖条区域，

步骤42、以待配准帧图像的左侧第1个竖条区域作为匹配标准区域，按照设定的横向搜索步长在配准帧图像上进行从左至右的横向搜索，找出与匹配标准区域之间具有最大互信息值的位置，进而获得配准帧图像和待配准帧图像的横向配准位移量，实现了配准帧图像和待配准帧图像的粗配准，

将经过粗配准的配准帧图像和待配准帧图像去除背景干扰噪声的方法：

将经过粗配准的图像中像素值低于噪声像素阈值

的像素点作为背景干扰噪声去除，低于噪声像素阈值

的像素点按下述公式提取：

，

，

其中，

为经过粗配准的图像的整体区域，

去除背景干扰噪声后，再采用梯度相关测度进行精配准的过程为：

步骤43、在待配准帧图像的粗配准坐标临域内选取a×b矩阵作为匹配标准矩阵，

步骤44、以配准帧图像的粗配准坐标所在纵向位置为中心，按照设定的纵向搜索步长进行从上到下纵向搜索，获取多个a×b配准帧图像粗配准临域矩阵，

步骤45、采用梯度相关法找出与匹配标准矩阵之间具有最大相关性的配准帧图像粗配准临域矩阵，根据与匹配标准矩阵之间具有最大相关性的配准帧图像粗配准临域矩阵在配准帧图像中的位置，获得配准帧图像和待配准帧图像的纵向配准位移量，实现了配准帧图像和待配准帧图像的精配准。

找出与匹配标准区域之间具有最大互信息值的位置，进而获得配准帧图像和待配准帧图像的横向配准位移量的过程为：

按照下述公式计算匹配标准与在配准帧图像上按照设定的搜索步长横向搜索的多个区域之间的互信息值

：

，

其中，

为匹配标准区域的信息熵，

为配准帧图像上按照设定的搜索步长横向搜索出的区域的信息熵，y=1,2,…,n，

为匹配标准区域与配准帧图像上按照设定的搜索步长横向搜索出的区域的联合熵，

匹配标准区域的信息熵

与配准帧图像上按照设定的搜索步长横向搜索出的区域的信息熵

的获取方法相同，以下把匹配标准区域的信息熵

与配准帧图像上按照设定的搜索步长横向搜索出的区域的信息熵

统称为信息熵H，信息熵H按下述公式获得：

，

其中，

，

为信息熵H所对应图像总的像素个数，为图像中灰度值为

的像素点的个数，

匹配标准区域与配准帧图像上按照设定的搜索步长横向搜索出的区域的联合熵

按下述公式获得：

其中，

，表示匹配标准区域与配准帧图像上按照设定的搜索步长横向搜索出的区域对应位置处灰度值分别为

和的联合数目，

找出匹配标准与在配准帧图像上按照设定的搜索步长横向搜索的多个区域之间的互信息值

中的最大值，根据最大互信息值获取待配准帧图像中的匹配标准区域在配准帧图像中所对应的配准位置，据此求出配准帧图像与待配准帧图像的横向配准移动坐标，进而获得配准帧图像和待配准帧图像的横向配准位移量。

采用梯度相关法找出与匹配标准矩阵之间具有最大相关性的配准帧图像粗配准临域矩阵，根据与匹配标准矩阵之间具有最大相关性的配准帧图像粗配准临域矩阵在配准帧图像中的位置，获得配准帧图像和待配准帧图像的纵向配准位移量的过程为：

首先，采用梯度相关法计算匹配标准矩阵

与配准帧图像粗配准临域矩阵

的相关性系数

：

，

匹配标准矩阵

为：

，

配准帧图像粗配准临域矩阵为：

，

根据相关性系数

中的最大值，对应的配准帧图像粗配准临域矩阵，获取待配准帧图像中的匹配标准矩阵在配准帧图像中所对应的配准位置，据此求出配准帧图像与待配准帧图像的纵向配准移动坐标，进而获得配准帧图像和待配准帧图像的纵向配准位移量。

匹配标准矩阵采用某一列有数值，其它列均为0的形式。

为了减少计算量，匹配标准矩阵

可取成某一列由数值，其它列均为0的形式，这样只计算纵向方向的梯度信息，精配准只获取配准帧图像和待配准帧图像的纵向配准位移量。

步骤五中若横向配准位移量或纵向配准位移量超出阈值范围，表明获取视频数据的扫描速度过快或过慢，则自适应调整采样步长，以下将横向配准位移量或纵向配准位移量统称为配准位移量，其自适应调整采样步长的方法为：

采样步长按下式进行调整设定：

Step_i+1= Step_i -Δstep2/2，

其中，Step_i为第i次采样步长、Step_i+1为第i+1次采样步长，Δstep2=配准位移量-事先设定的理想配准位移量。

步骤六中的采用缝隙渐变加权融合的方法将获取配准参数的配准帧图像和待配准帧图像进行图像拼接的过程为：

步骤61、根据配准帧图像和待配准帧图像的横向、纵向配准位移量两个配准参数，将待配准帧图像的所有像素进行坐标变换，形成变换后待配准帧图像，

步骤62、按照下属公式将经过图像配准的配准帧图像和待配准帧图像拼接在一起：

，

其中，为融合区域像素值，

为配准帧图像的像素值，

为待配准帧图像的像素值。

是根据配准参数做位置变换后的坐标信息，

为渐变加权系数，当重合区域与配准帧图像

接壤时，

；当重合区域与待配准帧图像

接壤时，

。

具体实施方式二、本实施方式结合图1至图11给出一个具体的实施例，

为了评估提出的基于混合测度的视频数据宽景成像的方法，我们以从临床设备中实时采集的一段人体组织超声扫描视频为例，该视频共有293帧图像，每帧图像大小为461*421像素，像素值为8位无符号整型数值。

执行步骤一：设定初始采样步长

，从视频数据中提取出第一帧和第二帧图像数据，如图5所示。

执行步骤二：对两帧图像进行采样帧性能评估。首先评估其扫描有效性，设定“像素阈值” 

，设定“统计阈值” 

，经统计，两幅图像皆满足

的条件，可以用于宽景成像处理。然后对两帧图像的拼接有效性进行评估，设定拼接有效性SV的阈值门限分别为50000和500000，经过计算，两帧图像的SV值在这个区间内，满足拼接要求，可以进行配准。

执行步骤三：对两幅图像进行配准。首先进行互信息粗配准，得到最大互信息值1.2523，其位置为1，即配准位移为1。然后对两帧图像进行背景去除，其效果图如图6所示，从图中可以看出，经过背景去除，图像中一些颗粒状的斑点噪声被去除，而肌肉组织特征被凸显出来。这将有利于后续对图像梯度序列的提取，能够进一步放大组织特征的位置信息作用，而提高算法的精度。而在图像中仍然存在的部分噪声经过仿真验证不会对算法准确度产生较大的影响。此外，由于经过了背景去除后图像中大部分数据都被简化为1，这也大大减少了后续的处理数据量，进一步提高算法的运行时间。接下来对处理过的两帧图像进行梯度相关法精配准，得到最大梯度相关系数25.5418，其位置为1，即所求的配准位移为1。

执行步骤四：根据求得的配准位移调整采样步长。设定单帧的理想配准位移区间为[80,120]，而本次配准得出的位移为1，根据差值大小修改采样步长

。

执行步骤五：将两幅图像利用缝隙渐变加权融合的方法拼接起来，效果图如图7所示。

将得到的宽景拼接图作为新的待配准图像，利用已经调整过的采样步长再从视频数据中采集出一帧图像作为配准图像，重复步骤二，以此循环，直至整个视频数据采样结束，得到视频数据的宽景图如图8所示。从图中可以看出，视频组织保存完好，连接正常，成功实现了宽景成像功能。

为了更好地说明算法的鲁棒性，图9给出了利用该算法对体膜扫描视频数据的宽景合成图。可以看出，该算法对于像体膜视频这样的缺少特征信息的数据仍旧能够成功地合成其宽景图像，证明了算法较强的鲁棒性。

Claims (9)

1.一种基于混合测度的视频数据宽景成像方法，其特征在于，它包括如下步骤：

步骤一、在视频数据中采样，获得一帧图像作为配准帧图像，

步骤二、按设定的采样步长再次进行采样，获得下一帧图像作为待配准帧图像，

步骤三、对采样获取的帧图像进行有效性评估，有效性评估包括依次进行扫描有效性评估和拼接有效性评估，如果通过上述两个有效性评估，执行步骤四，如果没通过扫描有效性评估，需返回重新采样，如果没有通过拼接有效性评估，表明获取视频数据的扫描速度过快或过慢，则自适应调整采样步长，并将调整后的采样步长作为设定的采样步长，返回执行步骤二，

所述的扫描有效性评估是基于统计测度实现的，

判断采样获取的帧图像基于统计测度进行扫描有效性的标准是：要满足条件n_bi＜N_bi，

其中，N_bi为像素统计阈值，

n_bi为帧图像中像素值小于I的像素点数，

且n_bi满足条件n_bi＝∑{p_x＜I|x∈Q}，式中，p_x为帧图像中点x的像素值，I为像素阈值，Q为采样获取的帧图像，

满足上述条件，则扫描有效，否则，扫描无效；

步骤三中所述的拼接有效性的评估是基于绝对差和SAD实现的，

对采样获取的帧图像基于绝对差和SAD进行拼接有效性判断标准是：要满足条件：SV1＜SV＝∑{|P_A(x，y)-P_B(x，y)||(x，y)∈C}＜SV2，

其中，SV1为拼接有效性低阈值，SV2拼接有效性高阈值，P_A(x，y)为配准帧图像A中点(x，y)的像素值，P_B(x，y)为待配准帧图像B中点(x，y)的像素值，C为配准帧图像A和待配准帧图像B中的对应区域，

满足上述条件，则拼接有效，否则，拼接无效；

步骤四、采用互信息测度和梯度相关测度对通过有效性评估的配准帧图像和待配准帧图像进行图像配准，获取配准参数，

配准参数包括配准帧图像和待配准帧图像的横向配准位移量和纵向配准位移量，

采用先粗后精结合的方式实现图像配准，粗配准采用互信息测度获取配准帧图像和待配准帧图像的横向配准位移量，精配准采用梯度相关测度获取配准帧图像和待配准帧图像的纵向配准位移量，

步骤五、分别判断横向配准位移量和纵向配准位移量是否超出阈值范围，根据下述两式获得判断结果：

位移低阈值＜横向配准位移量＜位移高阈值，

位移低阈值＜纵向配准位移量＜位移高阈值，

若上述两式都成立，则表明横向配准位移量和纵向配准位移量均在阈值范围内，获取视频数据的扫描速度正常，无需调整采样步长，执行步骤六，

若有任何一式不成立，则表明横向配准位移量或纵向配准位移量超出阈值范围，获取视频数据的扫描速度过快或过慢，则自适应调整采样步长，并将调整后的采样步长作为设定的采样步长，再返回执行步骤二，

步骤六、采用缝隙渐变加权融合的方法将获取配准参数的的配准帧图像和待配准帧图像进行图像拼接，并将本次拼接后的图像作为下一次拼接用的配准帧图像，

然后返回步骤二，进行下一次图像采样和拼接，

直到视频数据采样过程结束，退出循环，完成一个宽景图像的拼接过程。

2.根据权利要求1所述的一种基于混合测度的视频数据宽景成像方法，其特征在于，步骤三中所述的采样获取的帧图像不满足扫描有效性条件，需返回重新采样有两种方式：第一次循环需采样配准帧图像和待配准帧图像两帧图像，若配准帧图像或待配准帧图像不满足扫描有效性时，返回执行步骤一；第二次及其以后采样，只需对待配准帧图像进行扫描有效性判断，若待配准帧图像不满足扫描有效性时，返回执行步骤二。

3.根据权利要求1所述的一种基于混合测度的视频数据宽景成像方法，其特征在于，步骤四中的采用互信息测度和梯度相关测度将通过有效性评估的配准帧图像和待配准帧图像进行图像配准的过程为：

首先采用互信息测度进行粗配准，然后去除背景干扰噪声，再采用梯度相关测度进行精配准，

采用互信息测度进行粗配准的方法为：

步骤41、将通过有效性评估的待配准帧图像都均分成n个竖条区域，

步骤42、以待配准帧图像的左侧第1个竖条区域作为匹配标准区域，按照设定的横向搜索步长在配准帧图像上进行从左至右的横向搜索，找出与匹配标准区域之间具有最大互信息值的位置，进而获得配准帧图像和待配准帧图像的横向配准位移量，实现了配准帧图像和待配准帧图像的粗配准，

将经过粗配准的配准帧图像和待配准帧图像去除背景干扰噪声的方法：

将经过粗配准的图像中像素值低于噪声像素阈值I_n的像素点作为背景干扰噪声去除，低于噪声像素阈值I_n的像素点p_x按下述公式提取：

p_x＝{1|x∈s}，

{x∈s|p_x＜I_n}，

其中，S为经过粗配准的图像的整体区域，

去除背景干扰噪声后，再采用梯度相关测度进行精配准的过程为：

步骤43、在待配准帧图像的粗配准坐标临域内选取a×b矩阵作为匹配标准矩阵，

步骤44、以配准帧图像的粗配准坐标所在纵向位置为中心，按照设定的纵向搜索步长进行从上到下纵向搜索，获取多个a×b配准帧图像粗配准临域矩阵，

步骤45、采用梯度相关法找出与匹配标准矩阵之间具有最大相关性的配准帧图像粗配准临域矩阵，根据与匹配标准矩阵之间具有最大相关性的配准帧图像粗配准临域矩阵在配准帧图像中的位置，获得配准帧图像和待配准帧图像的纵向配准位移量，实现了配准帧图像和待配准帧图像的精配准。

4.根据权利要求3所述的一种基于混合测度的视频数据宽景成像方法，其特征在于，找出与匹配标准区域之间具有最大互信息值的位置，进而获得配准帧图像和待配准帧图像的横向配准位移量的过程为：

按照下述公式计算匹配标准与在配准帧图像上按照设定的搜索步长横向搜索的多个区域之间的互信息值NMI_y：

${\mathrm{NMI}}_y=\frac{H_b\left(A\right)+H_y\left(B\right)}{H(A,B)},$

其中，H_b(A)为匹配标准区域的信息熵，H_y(B)为配准帧图像上按照设定的搜索步长横向搜索出的区域的信息熵，y＝1，2，...，n，H(A，B)为匹配标准区域与配准帧图像上按照设定的搜索步长横向搜索出的区域的联合熵，

匹配标准区域的信息熵H_b(A)与配准帧图像上按照设定的搜索步长横向搜索出的区域的信息熵H_y(B)的获取方法相同，以下把匹配标准区域的信息熵H_b(A)与配准帧图像上按照设定的搜索步长横向搜索出的区域的信息熵H_y(B)统称为信息熵H，信息熵H按下述公式获得：

$H=\underset{i}{\mathrm{\&Sigma;}}{p}_i\lg \frac{1}{p_i},$

其中，p_i＝N_i/N，N为信息熵H所对应图像总的像素个数，N_i为图像中灰度值为i的像素点的个数，

匹配标准区域与配准帧图像上按照设定的搜索步长横向搜索出的区域的联合熵H(A，B)按下述公式获得：

$H(A,B)=-\underset{\mathrm{ij}}{\mathrm{\&Sigma;}}{p}_{\mathrm{ij}}\&CenterDot;\lg p_{\mathrm{ij}}$

其中，p_ij＝N_ij/N，N_ij表示匹配标准区域与配准帧图像上按照设定的搜索步长横向搜索出的区域对应位置处灰度值分别为i和j的联合数目，

找出匹配标准与在配准帧图像上按照设定的搜索步长横向搜索的多个区域之间的互信息值NMI_y中的最大值，根据最大互信息值获取待配准帧图像中的匹配标准区域在配准帧图像中所对应的配准位置，据此求出配准帧图像与待配准帧图像的横向配准移动坐标，进而获得配准帧图像和待配准帧图像的横向配准位移量。

5.根据权利要求3所述的一种基于混合测度的视频数据宽景成像方法，其特征在于，采用梯度相关法找出与匹配标准矩阵之间具有最大相关性的配准帧图像粗配准临域矩阵，根据与匹配标准矩阵之间具有最大相关性的配准帧图像粗配准临域矩阵在配准帧图像中的位置，获得配准帧图像和待配准帧图像的纵向配准位移量的过程为：

首先，采用梯度相关法计算匹配标准矩阵Z与配准帧图像粗配准临域矩阵Z′的相关性系数k_i：

k_i＝Z₁₁Z′₁₁+Z₁₂Z′₁₂+...+Z_abZ′_ab，

匹配标准矩阵Z为： $\left[\begin{array}{cc}{Z}_{11}& Z_{12}...Z_{1b}\\ Z_{21}& Z_{22}...Z_{2b}\\ ...& \\ Z_{a1}& Z_{a2}...Z_{\mathrm{ab}}\end{array}\right],$

配准帧图像粗配准临域矩阵Z′为： $\left[\begin{array}{cc}{Z^{\&prime;}}_{11}& {Z^{\&prime;}}_{12}...{Z^{\&prime;}}_{1b}\\ {Z^{\&prime;}}_{21}& {Z^{\&prime;}}_{22}...{Z^{\&prime;}}_{2b}\\ ...& \\ {Z^{\&prime;}}_{a1}& {Z^{\&prime;}}_{a2}...{Z^{\&prime;}}_{\mathrm{ab}}\end{array}\right],$

根据相关性系数k_i中的最大值，对应的配准帧图像粗配准临域矩阵，获取待配准帧图像中的匹配标准矩阵在配准帧图像中所对应的配准位置，据此求出配准帧图像与待配准帧图像的纵向配准移动坐标，进而获得配准帧图像和待配准帧图像的纵向配准位移量。

6.根据权利要求5所述的一种基于混合测度的视频数据宽景成像方法，其特征在于，匹配标准矩阵Z采用某一列有数值，其它列均为0的形式。

7.根据权利要求1所述的一种基于混合测度的视频数据宽景成像方法，其特征在于，步骤三中的自适应调整步长的方法为：

若SV＜SV1，则采样步长按下式进行调整设定：

Step_i+1＝Step_i+Δstep1，

Step_i为第i次采样步长、Step_i+1为第i+1次采样步长，Δstep1为调整采样步长，

若SV＞SV2，则采样步长按下式进行调整设定：

Step_i+1＝Step_i-Δstep1，

调整采样步长Δstep1取1-10之间。

8.根据权利要求1所述的一种基于混合测度的视频数据宽景成像方法，其特征在于，步骤五中若横向配准位移量或纵向配准位移量超出阈值范围，表明获取视频数据的扫描速度过快或过慢，则自适应调整采样步长，以下将横向配准位移量或纵向配准位移量统称为配准位移量，其自适应调整采样步长的方法为：

采样步长按下式进行调整设定：

Step_i+1＝Step_i-Δstep2/2，

其中，Step_i为第i次采样步长、Step_i+1为第i+1次采样步长，Δstep2＝配准位移量-事先设定的理想配准位移量。

9.根据权利要求1所述的一种基于混合测度的视频数据宽景成像方法，其特征在于，步骤六中的采用缝隙渐变加权融合的方法将获取配准参数的配准帧图像和待配准帧图像进行图像拼接的过程为：

步骤61、根据配准帧图像和待配准帧图像的横向、纵向配准位移量两个配准参数，将待配准帧图像的所有像素进行坐标变换，形成变换后待配准帧图像，

步骤62、按照下述公式将经过图像配准的配准帧图像和待配准帧图像拼接在一起：

I(i，j)＝(1-e)×I₁(i，j)+e×I₂(Pt(i，j))，

其中，I(i，j)为融合区域像素值，I₁(i，j)为配准帧图像的像素值，I₂(Pt(i，j))为待配准帧图像的像素值，Pt(i，j)是根据配准参数做位置变换后的坐标信息，e为渐变加权系数，当重合区域与配准帧图像I₁接壤时，e＝0；当重合区域与待配准帧图像I₂接壤时，e＝1。

Images