CN101516040B - 视频匹配方法、装置及系统 - Google Patents

Abstract

本发明涉及一种视频匹配方法，包括：选取视频图像序列中已计算出完整图像深度图的一个帧作为参考帧；获取当前帧第一图像相对于参考帧第一图像的变化区域，以及当前帧第二图像相对于参考帧第二图像的变化区域；匹配并计算当前帧第一图像变化区域与当前帧第二图像变化区域的深度图。本发明还涉及一种视频匹配装置及系统。本发明利用视频图像特别是视频图像序列之间的相关性，选择已对完整图像对进行匹配和深度图计算的帧作为参考帧，通过检测当前帧图像相对于参考帧图像的变化区域，仅对当前帧该变化区域重新进行相应的图像匹配和深度图计算，因此明显缩短了当前帧图像的匹配时间，从而提高视频的匹配速度，实现视频的快速匹配。

Description

视频匹配方法、装置及系统

技术领域

本发明涉及视频领域，特别是涉及一种视频匹配方法、装置及系统。

背景技术

立体(3D)视频基于人的双目视差原理，通过双摄像机获取同一场景但略有差异的两幅图像，分别显示给人的左眼和右眼，形成双目视差，从而使人获得场景深度信息并体验到立体感。立体视频技术可以提供符合立体视觉原理的深度信息，从而能够真实地重现客观世界景象，表现出场景的纵深感、层次感和真实性，是当前视频技术发展的重要方向。立体视频技术早在七八十年代就开始有研究，但由于技术不成熟，显示设备昂贵和缺乏标准等原因一直没有大规模应用。但随着相关技术的完善、设备成本的大幅降低及相关编解码标准的出台，立体视频技术已越来越接近实用。立体匹配技术，即对左图像和右图像的匹配，是立体视频的关键技术之一。通过立体匹配建立场景中的目标在不同图像中成像点之间的对应关系，并结合摄像机的内外参数和相对位置关系，可以得到场景中目标的深度图。基于场景深度图和原有图像，立体视频可以合成虚拟视点视图，使用户在观看立体视频时，从不同视点可以观看到不同的视频内容，并且这些视频内容与从真实场景中对应的观看视点观看到的内容一致，从而使用户获得更好的真实感和临场感。

目前，用于普通立体图像匹配的立体匹配技术虽然通过部分算法已经可以获得较准确的场景深度图，但该部分算法较为复杂，难以满足立体视频匹配的实时匹配需求，基于普通立体图像匹配技术重构的虚拟视点图像视频闪烁问题也较为严重。为了解决上述视频闪烁问题，用于匹配立体视频的现有技术利用背景信息作为参考信息，仅对前景计算深度，用以降低视频重构中 的视频闪烁，但是，在实现本发明的过程中，发明人发现该现有技术至少存在以下问题：

该现有技术仅对背景不变的场景有效，当背景发生变化时，利用原有的背景深度信息重构的虚拟视点图像将发生错误；并且，该现有技术需要提取完整的前景目标轮廓，处理比较复杂，从而增加了现有技术实现立体视频匹配的难度。

发明内容

本发明实施例提供一种视频匹配方法、装置及系统，可用于背景变化或不变化的场景，易于实现视频的快速匹配。

本发明第一方面通过一些实施例提供了一种视频匹配方法，包括：

选取视频图像序列中已计算出完整图像深度图的一个帧作为参考帧；所述帧包括复合帧；

获取当前帧第一图像相对于参考帧第一图像的变化区域，以及当前帧第二图像相对于参考帧第二图像的变化区域；所述当前帧的第一图像和第二图像为当前帧的左图像和右图像，所述参考帧的第一图像和第二图像为参考帧的左图像和右图像；或者，所述当前帧的第一图像和第二图像为当前帧的右图像和左图像，所述参考帧的第一图像和第二图像为参考帧的右图像和左图像；

在当前帧第一图像变化区域或当前帧第二图像变化区域小于门限变化区域时，匹配并计算当前帧第一图像变化区域与当前帧第二图像变化区域的深度图。

本发明第一方面实施例的视频匹配方法中，利用视频的图像序列之间的相关性，选择已对完整图像进行匹配和深度图计算的帧作为参考帧，通过检测当前帧图像相对于参考帧图像的变化区域，仅对当前帧该变化区域重新进行相应的图像匹配和深度图计算，由于当前帧图像相对于参考帧图像的变化 区域小于完整的当前帧图像，因此明显缩短了当前帧图像的匹配时间，从而提高视频的匹配速度，实现视频的快速匹配；此外，由于不需要设置原始背景信息作为参考信息，不需要提取完整的前景目标轮廓，因此，本发明实施例不仅适用于背景不变的场景，还适用于背景变化的场景，具有易于实现视频快速匹配的优点。

本发明第二方面通过一些实施例提供了一种视频匹配装置，包括：

生成模块，用于选取视频图像序列中已计算出完整图像深度图的一个帧作为参考帧；所述帧包括复合帧；

检测模块，用于获取当前帧第一图像相对于参考帧第一图像的变化区域，以及当前帧第二图像相对于参考帧第二图像的变化区域；所述当前帧的第一图像和第二图像为当前帧的左图像和右图像，所述参考帧的第一图像和第二图像为参考帧的左图像和右图像；或者，所述当前帧的第一图像和第二图像为当前帧的右图像和左图像，所述参考帧的第一图像和第二图像为参考帧的右图像和左图像；

匹配与深度图计算模块，用于在当前帧第一图像变化区域或当前帧第二图像变化区域小于门限变化区域时，匹配并计算当前帧第一图像变化区域与当前帧第二图像变化区域的深度图。

本发明第二方面实施例视频匹配装置中，通过生成模块选择已对完整图像进行匹配和深度图计算的帧作为参考帧，检测模块检测当前帧图像相对于参考帧图像的变化区域，匹配与深度图计算模块仅对当前帧该变化区域重新进行相应的图像匹配和深度图计算，由于当前帧图像相对于参考帧图像的变化区域小于完整的当前帧图像，因此明显缩短了当前帧图像的匹配时间，从而提高视频的匹配速度，实现视频的快速匹配；此外，由于不需要设置原始背景信息作为参考信息，不需要提取完整的前景目标轮廓，因此，本发明实施例不仅适用于背景不变的场景，还适用于背景变化的场景，具有易于实现视频快速匹配的优点。

本发明第三方面通过一些实施例提供了一种视频匹配系统，包括：

图像采集装置，用于采集场景成像物体各帧的图像信息；所述帧包括复合帧；

视频匹配装置，用于根据所述图像采集装置采集的图像信息，选取视频图像序列中已计算出完整图像深度图的一个帧作为参考帧；获取当前帧第一图像相对于参考帧第一图像的变化区域，以及当前帧第二图像相对于参考帧第二图像的变化区域；所述当前帧的第一图像和第二图像为当前帧的左图像和右图像，所述参考帧的第一图像和第二图像为参考帧的左图像和右图像；或者，所述当前帧的第一图像和第二图像为当前帧的右图像和左图像，所述参考帧的第一图像和第二图像为参考帧的右图像和左图像；

在当前帧第一图像变化区域或当前帧第二图像变化区域小于门限变化区域时，匹配并计算当前帧第一图像变化区域与当前帧第二图像变化区域的深度图。

本发明第三方面实施例视频匹配系统中，通过视频匹配装置对图像采集装置采集的图像信息进行视频匹配，在视频匹配装置对视频图像序列各帧对应的图像进行匹配时，仅对当前帧该变化区域重新进行相应的图像匹配和深度图计算，由于当前帧图像相对于参考帧图像的变化区域小于完整的当前帧图像，因此明显缩短了当前帧图像的匹配时间，从而提高视频的匹配速度，实现视频的快速匹配；此外，由于不需要设置原始背景信息作为参考信息，不需要提取完整的前景目标轮廓，因此，本发明实施例不仅适用于背景不变的场景，还适用于背景变化的场景，具有易于实现视频快速匹配的优点。

附图说明

图1为本发明视频匹配方法第一实施例的流程图；

图2为本发明视频匹配方法第二实施例的流程图；

图3为本发明视频匹配方法第二实施例变化区域确定方法流程图；

图4为本发明视频匹配装置第一实施例的结构示意图；

图5为本发明视频匹配装置第二实施例的结构示意图；

图6为本发明视频匹配装置第三实施例的结构示意图；

图7为本发明视频匹配系统实施例的结构示意图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

下列各详述实施以视频序列特别是立体视频序列为例说明本发明实施例的技术方案，其中，立体视频图像序列由二个图像序列(第一图像序列和第二图像序列)组成，第一图像序列的一个图像帧和第二图像序列对应的一个图像帧组成立体视频图像序列的一个复合帧，该复合帧即为本发明实施例中的一个帧。本发明第一方面实施例提出了一种视频匹配方法。图1为本发明视频匹配方法第一实施例的流程图。本实施例中，立体视频图像序列每一帧的图像都包括二幅图像，即：参考帧图像包括参考帧第一图像和参考帧第二图像；当前帧图像包括当前帧第一图像和当前帧第二图像。如图1所示，本实施例包括：

步骤11、选取立体视频图像序列中计算出完整图像的深度图的一个帧 作为参考帧，即：对某一帧第一图像和第二图像完成完整图像的匹配和深度图计算，得到该帧完整图像深度图的帧可被选取作为参考帧；

步骤12、获取当前帧第一图像相对于参考帧第一图像的变化区域，以及当前帧第二图像相对于参考帧第二图像的变化区域；

步骤13、匹配并计算当前帧第一图像变化区域和当前帧第二图像变化区域的深度图；

步骤14、当前帧第一图像非变化区域的深度图继承参考帧图像第一图像相应区域的深度图；当前帧第二图像非变化区域的深度图继承参考帧图像第二图像相应区域的深度图。

本实施例利用立体视频的图像序列之间的相关性，选择已对完整图像进行匹配和深度图计算的帧作为参考帧，通过检测当前帧图像相对于参考帧图像的变化区域，仅对当前帧该变化区域重新进行相应的图像匹配和深度图计算，由于当前帧图像相对于参考帧图像的变化区域小于完整的当前帧图像，因此明显缩短了当前帧图像的匹配时间，从而提高立体视频的匹配速度，实现立体视频的快速匹配；此外，当前帧图像的非变化区域的深度图直接从参考帧图像相应的区域继承得到，在立体视频重构时，可显著降低虚拟视点视频的闪烁问题。由于不需要设置原始背景信息作为参考信息，不需要提取完整的前景目标轮廓，因此，本实施例不仅适用于背景不变的场景，还适用于背景变化的场景，具有易于实现立体视频快速匹配的优点。显然，本领域技术人员也可调整步骤13或步骤14的执行顺序，即：非变化区域的深度图继承参考帧的深度图，可以发生在对变化区域的深度图进行匹配之前，也可以发生在之后。

图2为本发明视频匹配方法第二实施例的流程图。本实施例中，当前帧的左图像和右图像即为本发明当前帧的第一图像和第二图像，参考帧的左图像和右图像即为本发明参考帧的第一图像和第二图像；或者，当前帧的左图像和右图像即为本发明当前帧的第二图像和第一图像，参考帧的左图像和右 图像即为本发明参考帧的第二图像和第一图像。如图2所示，本实施例包括：

步骤21、采集立体视频图像序列的第1帧图像，匹配第1帧的左图像和右图像，计算第1帧的左图像和右图像的深度图；

步骤22、令i＝2，其中，i表示当前帧的序数；

步骤23、选取第i-1帧为参考帧，采集第i帧左图像和右图像，检测第i帧的左图像相对于第i-1帧左图像的变化区域；其中，i表示当前帧的序数；i-1表示当前帧的前一帧的序数，即为参考帧的序数；

步骤24、根据第i帧左图像和右图像之间的预设最大视差确定与第i帧的左图像的变化区域相应的第i帧的右图像的变化区域；

步骤25、判断第i帧的左图像的变化区域是否大于预设的门限变化区域，是则执行步骤28，否则执行步骤26；

步骤26、匹配第i帧左图像的变化区域和第i帧的右图像的变化区域，计算第i帧左图像该变化区域和第i帧右图像该变化区域的深度图；

步骤27、更新第i-1帧左图像和右图像对应区域的深度图获得第i帧左图像和右图像的深度图，执行步骤29；

步骤28、匹配第i帧左图像和右图像，计算第i帧左图像和右图像的深度图，即：计算第i帧图像的完整深度图；

步骤29、判断i是否等于n，是则执行步骤211，否则执行步骤210，其中，i为当前帧的序数，n为立体视频图像序列包含的帧的总数；

步骤210、i＝i+1，执行步骤23；

步骤211、获得各帧左图像和右图像的深度图，完成立体视频匹配流程。

本实施例步骤23中检测当前帧左图像相对于参考帧左图像的变化区域的方法如图3所示，具体包括：

步骤231、将当前帧(第i帧)左图像与参考帧(第i-1帧)左图像分割成小的子区域，系统检测当前帧左图像与参考帧左图像相应的子区域的灰度差值；

步骤232、判断各子区域的灰度差值是否大于预设门限差值，是则执行步骤234，否则执行233；

步骤233、系统认可当前帧左图像该子区域相对于参考帧左图像子区域不产生灰度变化，执行步骤235；

步骤234、系统认可当前帧左图像该子区域相对于参考帧左图像子区域产生灰度变化；

步骤235、根据当前帧左图像相对于参考帧左图像产生灰度变化的子区域位置确定当前帧左图像相对于参考帧左图像的变化区域。

在检测当前帧图像相对于参考帧图像的变化区域过程中，用于系统判定子区域灰度值是否发生变化的门限差值的大小对系统检测变化区域的准确性具有重要影响。例如：如果门限差值设置较大，系统检测到的当前帧左图像相对于参考帧右图像的变化区域较实际变化区域的范围小；反之，如果门限差值设置较小，系统检测到的当前帧左图像相对于参考帧右图像的变化区域较实际变化区域的范围大。优选地，对于8位位深的图像，门限差值可设置为25。当然，本领域技术人员也可根据实际需要通过实验确定门限差值的最佳值。

此外，在本实施例技术方案的基础上，本领域技术人员也可根据立体视频图像序列之间的相关性采用其他方法获得当前帧图像相对参考帧图像的变化区域。例如：对当前帧之前的所有帧各左图像各相应像素点进行像素变化(该像素变化可具体为像素点的灰度变化、色度变化等变化)求均值处理，获得当前帧之前的所有帧各左图像对应的均值左图像；并对当前帧之前的所有帧各左图像的各相应像素点的像素变化进行求均方差处理，求出当前帧之前的所有帧各左图像像素变化的均方差。此时，系统检测当前帧左图像相对于均值左图像各相应像素点的像素变化，当当前帧左图像相对于均值左图像相应像素点的像素变化大于像素变化的均方差时，认为当前帧左图像该像素点相对于均值左图像相应的像素点发生了变化。采用同样的方法，以当前帧 之前的所有帧各左图像像素变化的均方差作为本发明的预设门限差值，系统可检测出当前帧左图像相对于均值左图像发生变化的各像素点，从而确定当前帧左图像相对于参考帧左图像的变化区域。当当前帧发生变化时，新当前帧之前的所有帧各左图像对应的均值左图像进行更新处理，新当前帧之前的所有帧各左图像像素变化的均方差进行相应的修正。该方法以当前帧之前的所有帧各左图像像素变化的均方差作为本发明的预设门限差值，来检测当前帧左图像相对于参考帧左图像的变化区域，从而弱化人为设定门限差值引入的经验误差。当然，本领域技术人员也可采用其他惯常使用的方法确定当前帧图像相对参考帧图像的变化区域。

本实施例步骤24中根据当前帧的左图像的变化区域确定当前帧的右图像的相应的变化区域时需要考虑左图像和右图像存在视差的因素，对右图像的相应的变化区域进行调整匹配。而左图像和右图像的最大视差可根据采集摄像机的相对位置和拍摄的场景范围预先确定(即确定本发明的预设最大视差)。例如：对于双目平行采集系统，极线矫正后左图像和右图像仅存在水平视差，不存在垂直视差，并且由于左图像相对于右图像的视差总为正，因此与左图像变化区域相对应的右图像的变化区域为左图像变化区域中各像素点向左平移一个最大视差范围后，即为左图像变化区域与右图像的可能匹配区域，将右图像的相应区域确定为右图像的变化区域。

本实施例步骤25中门限变化区域的设定影响到对当前帧图像进行匹配和深度计算的复杂度及得到的深度图的实际效果。例如：如果门限变化区域设置较大，则立体视频图像序列的多数帧图像将仅对其相对于参考帧的变化区域匹配并计算深度图，降低图像匹配和深度计算的算法的复杂性，但是当场景变化较大时，由于门限变化区域的预设值较大，当前帧图像仅对变化区域进行匹配和深度计算，降低计算的复杂性；同时当前帧图像中的部分区域虽然相对参考帧图像已发生了变化，但由于当前区域的颜色一致而无法被检测出来，该部分区域则通过直接继承参考帧的深度图作为该部分区域的深度 图，因此会造成深度图的准确性降低。如果门限变化区域设置较小，当前帧图像相对参考帧图像的略微变化都会被系统检测出来，使得立体视频图像序列的多数帧图像需要计算完整图像的匹配和深度计算，导致计算的复杂性，降低了立体视频匹配的速度。优选地，门限变化区域可设置为图像大小的1/2至2/3。当然，本领域技术人员也可根据实际需要设定门限变化区域的合理范围。

本实施例利用立体视频的图像序列之间的相关性，选择对完整图像进行匹配和深度图计算的当前帧的前一帧作为参考帧，通过检测当前帧图像相对于参考帧图像的变化区域，如果当前帧图像的变化区域小于预设的门限变化区域时，仅对当前帧该变化区域重新进行相应的图像匹配和深度图计算，而当前帧其他区域的深度图直接通过继承参考帧相应区域的深度图获得，由于本实施例在该情形下不需要对立体视频图像序列所有帧的完整图像均进行完整图像的匹配和深度计算，因此减小了需匹配和深度计算的区域，明显缩短了匹配时间，提高了匹配速度，实现立体视频的快速匹配；此外，当前帧图像的非变化区域的深度图直接从参考帧图像相应的区域继承得到，在立体视频重构时，可显著降低虚拟视点视频的闪烁问题。如果当前帧图像的变化区域大于预设的门限变化区域时，对当前帧完整图像进行匹配和深度计算；由于本实施例在该情形下当前帧图像的深度信息没有利用参考帧图像的深度信息，因此，提高了深度图的准确性，特别是当背景发生变化的场景时提高了立体视频图像的深度图的准确性，使得本实施例适用于背景变化或背景不变的场景，易于实现立体视频的快速匹配。

在参考帧的选取上，本实施例选取了当前帧的前一帧作为参考帧，由于立体视频图像序列之间存在相关性，通常当前帧图像和当前帧的前一帧图像之间的相关性最强，因此选用当前帧的前一帧作为参考帧有利于减小需要匹配和深度计算的变化区域，提高匹配速度，从参考帧继承得到的深度图也较为准确。此外，本领域技术人员也可在选用立体视频图像序列的已对完整图 像进行匹配并计算深度图后的初始帧或当前帧之前的其他帧作为参考帧的替代技术方案，其实现立体视频快速匹配的方法与本实施例相似，不再赘述。

在检测当前帧图像相对于参考帧图像的变化区域上，本实施例采用了检测当前帧左图像相对于参考帧左图像的变化区域，并根据该变化区域确定当前帧右图像的相对应的变化区域，此外，本领域技术人员还可通过系统检测立体视频图像序列中当前帧右图像相对于参考帧右图像的变化区域，并根据该变化区域确定当前帧左图像的相对应的变化区域的替代技术方案，或者，通过系统分别检测立体视频图像序列中当前帧左图像相对于参考帧左图像的变化区域、以及当前帧右图像相对于参考帧右图像的变化区域，其实现立体视频快速匹配的方法与本实施例相似，不再赘述。

立体视频匹配是实现立体视频的一项关键技术。立体视频的重构需要得到场景目标物体的三维信息，该三维信息中的深度信息需要通过多幅图像中提取。通过立体视频匹配获取深度信息的关键就是需要找到场景目标点在多幅图像中的对应成像点，根据场景目标点在多幅图像中的对应成像点坐标求出奇在空间中的坐标，从而获得该场景目标点的深度信息。

以平行双目摄像机采集系统为例，根据本发明实施例视频匹配方法，从二幅图像中提取深度信息的原理如下：

在平行双目摄像机采集系统中，左摄像机和右摄像机分别拍摄场景目标某一帧的左图像和右图像，场景目标点M在左图像和右图像相应点的视差满足公式(1)：

$d_x(m_1,m_r)=\frac{x_1}{X_1}=\frac{x_r}{X_r}=\frac{f}{Z}$

其中，m₁、m_r分别为场景目标点M在左图像中的相应点和右图像中的相应点；x₁、x_r分别为场景目标点M在左图像中的相应点m₁和右图像中的相应点m_r的坐标；X₁、X_r分别为x₁、x_r坐标变换后的世界坐标；d_x(m₁，m_r)为场景目标点M在左图像相应点m₁和右图像相应点m_r的视差；f为左摄像机和右 摄像机的焦距；Z为场景目标点M到成像平面之间的距离。

对公式(1)进行变换，可得公式(2)：

$d_x(m_1,m_r)=x_1-x_r=\frac{f}{Z}(X_1-X_r)=\frac{\mathrm{fB}}{Z}$

其中，B为左摄像机和右摄像机光心的间距。目标场景点M的深度信息通过公式(3)进行计算：

$Z=\frac{\mathrm{fB}}{d_x(m_1,m_r)}$

其中，d_x(m₁，m_r)可通过匹配场景目标点M的左图像和右图像确定。确定了d_x(m₁，m_r)后，考虑平行双目摄像机采集系统的系统参数，可根据公式(3)得到匹配场景目标点M的深度信息。

基于上述原理对立体视频图像序列的某一帧图像中的所有点进行图像匹配和深度计算，可得该帧对应的完整图像的深度图。计算立体视频图像序列的所有帧对应的图像的深度图后，即可获得该立体视频的场景深度图。基于该场景深度图和原有图像，立体视频可以合成虚拟视点视图。

下面以基于灰度的窗口匹配算法为例说明采用本发明实施例视频匹配方法从二幅图像中提取深度信息的实现算法：

基于灰度的窗口匹配算法的基本思想使将图像分割成小的子区域，以其灰度值作为模板在其他图像中找到与其最相似灰度值分布的子区域，如果二个子区域满足相似性要求，则认为该二个子区域中的点是匹配的，否则不匹配。在匹配过程中，通常使用相关函数衡量二个区域的相似性，基于灰度的匹配的窗口匹配算法一般都能得到图像的密集的深度图。

设f₁(x，y)和f_r(x，y)为平行双目摄像系统中左摄像机和右摄像机采集的二副图像，(x₁，y₁)为f₁(x，y)的一个成像点。以(x₁，y₁)为中心设定一个大小为m×n的子区域T，以该子区域T为模板T，在f_r(x，y)中平移该模板T。设该模板T在f_r(x，y)中沿水平方向平移Δx，沿垂直方向平移Δy后，模板T在f_r(x，y)中覆盖 的第k个区域为S_k，则S_k和T的相关性可用公式(4)相关函数D(S_k，T)衡量：

$D(S_k,T)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{[S_k(i,j)-T(i,j)]}^2=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\left[S_k(i,j)\right]}^2-2\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{S}_k(i,j)T(i,j)+\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\left[T(i,j)\right]}^2$

其中， 

为子区域T或模板T的能量，为常数； 

为区域的能量，该能量随模板T的变化而变化。

当模板T在f_r(x，y)中移动覆盖的多个区域中，如果第k个区域S_k与区域T的相关函数的值最小，即当D(S_k，T)达到最小时，则可设定区域S_k和区域T达到最佳匹配。如果区域S_k和区域T完全相同，则D(S_k，T)＝0。如果区域S_k和区域T不完全相同，但变化范围较小， 

也近似为常量，此时为使得D(S_k，T)的值最小，则应该取 

为最大值。

在实际匹配过程中，亮度差异会引起误匹配。此处采用归一化交叉相关算法(Normalized Cross Correlation，NCC)消除亮度差异引起的误匹配，区域S_k和区域T的相关函数可表示为公式(5)：

$C(\mathrm{\Δx},\mathrm{\Δy})=\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}|S_k(i,j)-E\left(S_k\right)||T(i,j)-E\left(T\right)|}{\sqrt{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{[S_k(i,j)-E\left(S_k\right)]}^2}\sqrt{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{[T(i,j)-E\left(T\right)]}^2}}$

其中，E(S_k)和E(T)分别子区域S_k和子区域T的平均灰度值。Δx和Δy分别为二副图像f₁(x，y)和f_r(x，y)之间的水平视差和垂直视差。当模板T在f_r(x，y)中移动覆盖的多个区域中，如果第k个区域S_k与区域T的相关函数C(Δx，Δy)的值最小，则可认为f₁(x，y)中成像点(x₁，y₁)与f_r(x，y)中成像点(x₁+Δx，y₁+Δy)匹配。

针对于平行双目摄像系统，由于垂直视差近似为0，水平视差可以表示为 $\mathrm{\Δx}=d_x(m_1,m_r)=\frac{\mathrm{fB}}{Z},$ 从而可以求出某个场景目标点对应的的深度信息为

$Z=\frac{\mathrm{fB}}{d_x(m_1,m_r)}=\frac{\mathrm{fB}}{\mathrm{\Δx}}.$

通过上述原理分析和算法举例可知，采用本发明实施例视频匹配方法对图像进行匹配后进行深度计算可以获得立体视频图像各帧对应的图像完整区域深度信息；或者，对图像进行匹配后进行深度计算获得各帧对应的图像局部的变化区域深度信息，非变化区域的深度信息直接继承相应参考帧中相应区域的深度信息，从而获得各帧对应的图像的深度图，实现立体视频的匹配。由于立体视频图像序列中多数帧对应的图像需要进行匹配和深度计算的变化区域小于完整图像，因此明显缩短了匹配时间，提高匹配速度，实现立体视频的快速匹配。其次，当前帧非变化区域的深度信息直接继承参考帧相应区域的深度信息，显著降低立体视频在重构时虚拟视点视频的闪烁问题。

本发明第二方面实施例提出了一种视频匹配装置。图4为本发明视频匹配装置第一实施例的结构示意图。如图4所示，本实施例包括生成模块201、检测模块202和匹配与深度图计算模块203，其中，

生成模块201用于选取视频图像序列中计算出完整图像的深度图的一个帧作为参考帧；

检测模块202用于获取当前帧第一图像相对于参考帧第一图像的变化区域，以及当前帧第二图像相对于参考帧第二图像的变化区域；

匹配与深度图计算模块203用于匹配并计算当前帧第一图像变化区域与当前帧第二图像变化区域的深度图。

本实施例通过生成模块选择已对完整图像进行匹配和深度图计算的帧作为参考帧，检测模块获取当前帧图像相对于参考帧图像的变化区域，匹配与深度图计算模块仅对当前帧该变化区域重新进行相应的图像匹配和深度图计算，由于当前帧图像相对于参考帧图像的变化区域小于完整的当前帧图像，因此明显缩短了当前帧图像的匹配时间，从而提高立体视频的  匹配速度，实现立体视频的快速匹配。

图5为本发明视频匹配装置第二实施例的结构示意图。如图5所示，本实施例与本发明视频匹配装置第一实施例的区别在于，本实施例中，匹配与深度图计算模块203具体包括判断单元2031、完全匹配单元2032和局部匹配单元2033，其中：

判断单元2031用于判断检测模块202获得的变化区域是否大于预设的门限变化区域，当该变化区域大于门限变化区域时向完全匹配单元2032输出完全匹配的控制命令；反之，当该变化区域小于或等于门限变化区域时向局部匹配单元2033输出局部匹配的控制命令；

完全匹配单元2032用于当接收到判断单元2031输出的完全匹配的控制命令时，匹配并计算当前帧第一图像与当前帧第二图像的深度图，即匹配并计算当前帧完整图像的深度图；

局部匹配单元2033用于当接收到判断单元2031输出的局部匹配的控制命令时，匹配并计算当前帧第一图像变化区域与当前帧第二图像变化区域的深度图；当前帧第一图像非变化区域的深度图继承参考帧图像第一图像相应区域的深度图，和/或当前帧第二图像非变化区域的深度图继承参考帧图像第二图像相应区域的深度图。

本实施例通过判断单元比较当前帧图像相对于参考帧图像的变化区域与预设的门限变化区域的大小，根据比较结果指示完全匹配单元进行完整图像的匹配和深度计算；或者指示局部匹配单元对变化区域对应的图像进行匹配和深度计算，非变化区域对应的当前帧图像的深度信息通过继承参考帧图像相应区域的深度信息获得。由于本实施例充分利用立体视频图像序列连续帧之间的相关性，根据当前帧相对参考帧变化的程度结合采取了完整图像或局部图像的匹配。在本实施例进行局部匹配时，减少了需匹配和深度计算的区域，明显缩短了匹配时间，提高了匹配速度，实现立体视频的快速匹配；此外，对当前帧图像的非变化区域的深度图直接从参考帧图像相应的区域继承得到，因此在立体视频重构时，可显著降低虚拟视 点视频的闪烁问题。由于本实施例当前帧图像相对参考帧图像变化范围较大时，采用完整匹配的方式对完整图像进行匹配和深度计算，使得本实施例提高了背景发生变化大的场景的深度图的准确性，使得本实施例适用于背景变化或背景不变的场景，易于实现立体视频的快速匹配。

图6为本发明视频匹配装置第三实施例的结构示意图。在常见的图像采集系统，如：双目平行摄像系统中，立体视频图像序列中的某一帧对应的图像包括二幅图像：第一图像和第二图像，其中，第一图像和第二图像可分别为左摄像机拍摄的左图像和右摄像机拍摄的右图像；或者，第一图像和第二图像可分别为右摄像机拍摄的右图像和左摄像机拍摄的左图像。如图6所示，本实施例与本发明视频匹配装置第二实施例的区别在于，本实施例中，检测模块202包括第一单元2021、第二单元2022、第三单元2023和第四单元2024，其中：

第一单元2021用于检测当前帧第一图像与参考帧第一图像相应的子区域的灰度差值；

第二单元2022用于根据第一单元2021检测的灰度差值确定当前帧第一图像中相对参考帧第一图像产生灰度变化的子区域位置；

第三单元2023用于根据第二单元2022检测的灰度变化的子区域位置确定当前帧第一图像相对于参考帧第一图像的变化区域；

第四单元2024用于根据当前帧第一图像和当前帧第二图像的预设最大视差确定第三单元2023确定的当前帧第一图像的变化区域相应的当前帧第二图像的变化区域后，将当前帧第一图像和第二图像的相对变化区域的信息发送给判断单元2031。

本实施例选取当前帧图像中的第一图像与参考帧第一图像进行子区域灰度差值的计算，通过灰度差值发生变化的子区域的位置确定当前帧第一图像相对于参考帧第一图像的变化区域，有利于当该变化区域在预设的门限变化区域的范围内时，采取对该变化区域对应的当前帧图像的匹配和深度计算， 减少了需匹配和深度计算的区域，明显缩短了匹配时间，易于实现立体视频的快速匹配。

本发明第三方面实施例提出了一种视频匹配系统。图7为本发明视频匹配系统实施例的结构示意图。如图7所示，本实施例包括图像采集装置1和视频匹配装置2，其中：

图像采集装置1用于采集场景成像物体各帧的图像信息；

视频匹配装置2用于根据图像采集装置1采集的各帧的图像信息进行立体视频匹配。视频匹配装置2具体用于：选取视频图像序列中计算出完整图像的深度图的一个帧作为参考帧；获取当前帧第一图像相对于参考帧第一图像的变化区域，以及当前帧第二图像相对于参考帧第二图像的变化区域；匹配并计算当前帧第一图像变化区域与当前帧第二图像变化区域的深度图。

本实施例通过视频匹配装置对图像采集装置采集的图像信息进行立体视频匹配，在视频匹配装置对立体视频图像序列各帧对应的图像进行匹配时，仅对当前帧该变化区域重新进行相应的图像匹配和深度图计算，由于当前帧图像相对于参考帧图像的变化区域小于完整的当前帧图像，因此明显缩短了当前帧图像的匹配时间，从而提高立体视频的匹配速度，实现立体视频的快速匹配；此外，由于不需要设置原始背景信息作为参考信息，不需要提取完整的前景目标轮廓，因此，本发明实施例不仅适用于背景不变的场景，还适用于背景变化的场景，具有易于实现立体视频快速匹配的优点。

此外，在本实施例技术方案的基础上，关于视频匹配装置1包含的模块的进一步功能描述可参本发明视频匹配装置第一实施例至第三实施例的文字描述以及图4至图6的记载，不再赘述。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述 的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种视频匹配方法，其特征在于，包括：

选取视频图像序列中已计算出完整图像深度图的一个帧作为参考帧；所述帧包括复合帧；

获取当前帧第一图像相对于参考帧第一图像的变化区域，以及当前帧第二图像相对于参考帧第二图像的变化区域；所述当前帧的第一图像和第二图像为当前帧的左图像和右图像，所述参考帧的第一图像和第二图像为参考帧的左图像和右图像；或者，所述当前帧的第一图像和第二图像为当前帧的右图像和左图像，所述参考帧的第一图像和第二图像为参考帧的右图像和左图像；

在当前帧第一图像变化区域或当前帧第二图像变化区域小于门限变化区域时，匹配并计算当前帧第一图像变化区域与当前帧第二图像变化区域的深度图。

2.根据权利要求1所述的视频匹配方法，其特征在于，所述选取视频图像序列中已计算出完整图像的深度图的一个帧作为参考帧之前，还包括：

匹配并计算所述参考帧第一图像和参考帧第二图像的深度图。

3.根据权利要求1所述的视频匹配方法，其特征在于，所述获取当前帧第二图像相对于参考帧第二图像的变化区域之后，还包括：

当前帧第一图像非变化区域的深度图继承参考帧图像第一图像相应区域的深度图，和/或当前帧第二图像非变化区域的深度图继承参考帧图像第二图像相应区域的深度图。

4.根据权利要求1所述的视频匹配方法，其特征在于，所述获取当前帧第二图像相对于参考帧第二图像的变化区域之后，还包括：

在当前帧第一图像变化区域或当前帧第二图像变化区域大于门限变化区域时，匹配并计算当前帧第一图像与当前帧第二图像的深度图。

5.根据权利要求1-4所述的任一视频匹配方法，其特征在于，所述获取当前帧第一图像相对于参考帧第一图像的变化区域，以及当前帧第二图像相对于参考帧第二图像的变化区域包括：

检测所述当前帧第一图像与所述参考帧第一图像相应的子区域的灰度差值；

根据所述灰度差值获取所述当前帧第一图像中相对所述参考帧第一图像产生灰度变化的子区域位置；

根据灰度变化的子区域位置获取所述当前帧第一图像相对于所述参考帧第一图像的变化区域；

根据所述当前帧第一图像和当前帧第二图像的预设最大视差确定所述当前帧第一图像的变化区域相应的所述当前帧第二图像的变化区域。

6.根据权利要求5所述的视频匹配方法，其特征在于，所述根据所述灰度差值获取所述当前帧第一图像中相对所述参考帧第一图像产生灰度变化的子区域位置具体为：分别比较各子区域的灰度差值与预设门限差值的大小，将灰度差值大于预设门限差值的子区域作为当前帧第一图像相对于参考帧第一图像产生灰度变化的子区域，获取当前帧第一图像产生灰度变化的子区域位置。

7.一种视频匹配装置，其特征在于，包括：

生成模块，用于选取视频图像序列中已计算出完整图像深度图的一个帧作为参考帧；所述帧包括复合帧；

检测模块，用于获取当前帧第一图像相对于参考帧第一图像的变化区域，以及当前帧第二图像相对于参考帧第二图像的变化区域；所述当前帧的第一图像和第二图像为当前帧的左图像和右图像，所述参考帧的第一图像和第二图像为参考帧的左图像和右图像；或者，所述当前帧的第一图像和第二图像为当前帧的右图像和左图像，所述参考帧的第一图像和第二图像为参考帧的右图像和左图像；

匹配与深度图计算模块，用于在当前帧第一图像变化区域或当前帧第二图像变化区域小于门限变化区域时，匹配并计算当前帧第一图像变化区域与当前帧第二图像变化区域的深度图。

8.根据权利要求7所述的视频匹配装置，其特征在于，所述检测模块包括：

第一单元，用于检测所述当前帧第一图像与所述参考帧第一图像相应的子区域的灰度差值；

第二单元，用于根据所述第一单元检测的灰度差值获取所述当前帧第一图像中相对所述参考帧第一图像产生灰度变化的子区域位置；

第三单元，用于根据所述第二单元检测的灰度变化的子区域位置获取所述当前帧第一图像相对于所述参考帧第一图像的变化区域；

第四单元，用于根据所述当前帧第一图像和当前帧第二图像的预设最大视差获取所述第三单元确定的当前帧第一图像的变化区域相应的所述当前帧第二图像的变化区域后，将相应的变化区域的信息发送给所述匹配与深度图计算模块。

9.根据权利要求7或8所述的视频匹配装置，其特征在于，所述匹配与深度图计算模块包括：

判断单元，用于判断所述检测模块获取的变化区域是否大于门限变化区域，根据判断结果输出完全匹配和局部匹配的控制命令；

完全匹配单元，用于当接收到所述判断单元的完全匹配的控制命令时，匹配并计算当前帧第一图像与当前帧第二图像的深度图；

局部匹配单元，用于当接收到所述判断单元的局部匹配的控制命令时，匹配并计算当前帧第一图像变化区域与当前帧第二图像变化区域的深度图；当前帧第一图像非变化区域的深度图继承参考帧图像第一图像相应区域的深度图，和/或当前帧第二图像非变化区域的深度图继承参考帧图像第二图像相应区域的深度图。

10.一种视频匹配系统，其特征在于，包括：

图像采集装置，用于采集场景成像物体各帧的图像信息；

视频匹配装置，用于根据所述图像采集装置采集的图像信息，选取视频图像序列中已计算出完整图像深度图的一个帧作为参考帧；获取当前帧第一图像相对于参考帧第一图像的变化区域，以及当前帧第二图像相对于参考帧第二图像的变化区域；在当前帧第一图像变化区域或当前帧第二图像变化区域小于门限变化区域时，匹配并计算当前帧第一图像变化区域与当前帧第二图像变化区域的深度图；所述帧包括复合帧；

所述当前帧的第一图像和第二图像为当前帧的左图像和右图像，所述参考帧的第一图像和第二图像为参考帧的左图像和右图像；或者，所述当前帧的第一图像和第二图像为当前帧的右图像和左图像，所述参考帧的第一图像和第二图像为参考帧的右图像和左图像。

Images