CN1307599C - 图像匹配 - Google Patents

Abstract

一种匹配数字图像的方法，包括调整多个像素组成的一个数字图像的图像特征，确定一套有限的候选值，其中一个候选值表示在第一图像的图像特征与第二图像的图像特征之间的一个可能匹配的候选值，以及建立用于评估这些候选值的一个匹配补偿函数，评估每个候选值的匹配补偿函数，并根据匹配补偿函数的评估结果来选择候选值，以及通过分割第一图像来调整该第一图像，这种调整包括将第一图像的至少一部分像素分配到各自的分割段，确定对于一个分割段的至少部分像素的确定参数，并且建立相应的匹配补偿函数，使得该函数至少部分基于该确定参数。

Description

图像匹配

技术领域

本发明涉及数字图像的匹配。

背景技术

图像处理过程会使用两个或多个图像的匹配，上述匹配实质上包括确定后继图像中的匹配段。在图像处理的多个领域中，图像的匹配是一个基本的步骤，比如深度重建，图像数据压缩，和动态分析。

匹配过程包括：确定在第一图像的第一位置中的图像特征，以及确定第二图像中这些图像特征的位置。在第一和第二图像的特征之间位置上的不同信息，例如平移或者旋转，可以被用在更多的处理中。比如：两个连续图像之间图像特征的平移可用来测量与该图像特征相关的物体的速度。

通过上下文所述的独立处理步骤可以执行图像匹配，上述匹配可以通过使用通用的图像处理硬件或软件实现，如MPEG的编码(解码)和电视扫描速度变换。在这些应用中，视频流的后继数字图像需要相互匹配。用于上述过程的一般方法内容如下。

源于同一视频流的两个后续图像需要匹配，使这些图象成为二维数字图象I₁(x，y)和I₂(x，y)，这两个图像的匹配包括计算一对函数M＝M_x(x，y)和M＝M_y(x，y)值，在图象I₁至图像I₂中的每个像素，其理想图像由下式求得：

I₂(x，y)＝I₁(x+M_x(x，y)，y+M_y(x，y))。

M函数包括了有关两个图像之间像素或者特征如何移动的信息。视频流中像素的运动变化可用M函数来表示，每个像素用一个运动矢量来描述。这种运动矢量描述用于很多方面，比如二维图像的深度重建，电视中的扫描速率向上转换过程，还有MPEG的压缩等。因此，图像匹配的一个重要步骤就是求出M函数。

M被定义为一个独立于图像中所有像素的函数，这就导致如何求出该M函数的问题变得难以确定。尽管函数M最终能够被确定，但是函数M的构造会成问题，并导致相当的花费，尤其在时间和计算量上。这样，为了简化确立函数M的问题，提出了规范化函数M的解决途径。US5 072 293所提供的一种方法是越过图像中关于图像帧被确定的预定义模块，将函数M设定成一常量，从而简化了求M的过程。但是这种方法的计算量仍然很大。

发明内容

本发明的目的在于提供一种比现有方法更快更有效的匹配后续图像段的方法。

为了达到这个目的，本发明提供了可用于分割图像、计算机程序、媒体、信号、以及显示设备的方法和装置。

按照本发明，提供了一种数字图像匹配的方法，步骤如下：

调整由多个像素组成的一个第一数字图像的图像特征；

提供由多个像素组成的一个第二数字图像；

确定一组有限的候选值，其中一个候选值表示所述第一图像的图像特征与所述第二图像的图像特征之间一个可能的匹配候选；

建立一个匹配补偿函数，用来计算所述候选值；

计算每个候选值的匹配补偿函数；以及

根据该匹配补偿函数的计算结果选择一个候选值；

其特征在于：

通过分割上述第一图像调整所述第一图像，上述调整包括

根据与图像相关的像素特性，将至少部分上述图像的像素分配到各自的分割段；

根据像素到一个分割段的实边界部分的距离，对一个分割段的至少部分的像素确定一个确定的参数；

在至少部分的确定参数的基础上建立匹配补偿函数。

按照本发明，提供了一种用于匹配数字图像的装置，该装置包括：

一个输入部分，用来接收数字图像，该数字图像包含由多个像素组成的一个第一数字图像和由多个像素组成的一个第二数字图像；

一个输出部分，用来输出匹配的结果；

一个处理单元，连接在所述输入部分和所述输出部分之间，用来：

通过分割所述第一图像来调整所述第一数字图像(I₁)的图像特征，包括根据与图像相关的像素特性向各个分割段指定所述图像的至少部分像素；

确定一套有限候选值，其中一个候选值表示所述第一图像的图像特征与所述第二图像的图像特征之间一个可能匹配的候选；

根据像素到一个分割段的实边界部分的距离，为一个分割段的至少部分像素确定一个确定的参数；

建立用于计算所述候选值的一个匹配补偿函数，该匹配补偿函数是至少部分地根据所述确定的参数；

计算对每个候选值的匹配补偿函数；以及

根据匹配补偿函数的计算结果选择一个候选值。

本发明的第一实施例中，通过分割调整第一图像使图像被匹配，分割包括指定所述第一图像至少部分的像素到各自的分割段，对一个分割段至少部分像素确定一个确定参数，并至少部分的根据该确定参数建立一个匹配补偿函数。通过分割调整第一个图像，向各个分割段提供确定的信息，就能更快更有效的实现本发明的匹配过程。如果采用准分割法，那么分割图像和提供确定信息所花的努力就会显著减少。准分割法在相应的申请，标题为“数字图像分割”(参考文件PHNL000493)中有详细的描述。

本发明的显著优点在实施例中作了阐述。本发明更多的目的、细节、修改、效果以及细节将参考附图进行详细描述。

附图说明

图1表示一个分割段的匹配过程的实例示意图

图2表示一种用于匹配数字图像的装置示意图

具体实施方式

在随后的本发明实施例中将叙述两个图像的匹配方案。这些图像可以是来自视频流的后续图像，但本发明并不局限于此。该图像是包括有效的像素并且可用二元函数I₁(x，y)，I₂(x，y)来表述的数字图像。其中，x、y是确定像素位置的坐标。

两个图像的匹配包括计算一对函数M＝M_x(x，y)和M＝M_y(x，y)。M函数与前面一样定义为将图像I1中的每个像素映射到I2中像素的函数。所依据的公式为：I₂(x，y)＝I₁(x+M_x(x，y)，y+M_y(x，y))。

根据本发明的一个实施例，修改函数M的构造在于通过公式I₂(x，y)＝I₁(x+M_x(G(x，y))，y+M_y(G(x，y)))，调整先前定义的函数M，将M重新定义为具有类似运动的像素组的常量函数。

引入函数G使得M对于一组有类似运动特征的像素为一常量。引入函数G是为了规范化匹配的问题，G函数的改进可以明显的减少求M的精力。

使得M为一常量的一组像素是由被认为具有相似运动特征的像素组成。为了找到这些像素集合，需要通过分割将图像划分为多个分割段。图像的分割相当于对图像中的每个像素确定一套有限分割段中的一个成员，其中一个分割段是一个相联系的像素集合。一种比较好的分割方法是可以根据与像素相关的像素特性比如颜色，亮度，和结构来确定分割段的像素成员，并进行局部划分。这种局部划分出来的多个分割段没有必要与目标图像直接对应，但是在一个确定分割段中的像素仍有可能具有类似的运动特征。有一种特别优选的分割方法叫做准分割法，在标题为“数字图像的分割”的相应专利申请文献中有详细的解释(参考文献PHNL000493)，在这里引用可作为参考。采用准分割的方法，图像可以被快速而有效地分割。

通过上述的准分割方法，图像I₁被分成多个分割段，所产生的分割段包括由边界所限定的多个像素，其中上述边界用于定义各自的分割段。由于采用准分割方法，这些分割段是由实边界和虚边界来限定。实边界部分是图像特征的分析结果，它对相关的分割段的边界具有很高的确定性。虚边界部分是通过计算对所检测的实边界部分的距离来确定，因此对相关的分割段边界的确定性就弱了一些。边界部分与图像内容联系越紧密，边界部分就越相关。根据本发明的一个实施例，在匹配分割段的形式中图像的匹配是优先于各自分割段的高确定特征的匹配来完成的。

图1中，图像I₁的分割段10是由准分割法确定，并由边界为11(实线表示)和12(虚线表示)划定界限。为了确定分割段10在图像I₁和I₂之间的位移函数，需要找到在图像I2中与分割段10相匹配的分段10的投影，从而求出位移函数M。这需要选择与分割段10相匹配的多个可能的图像I2的匹配候选，计算对每个候选的匹配标准，并选择具有最佳匹配结果的候选。匹配标准是一个确定性的测量，其中第一图像的分割段与第二图像中的投影相匹配。

图1中，与分割段10相匹配的图像I2的候选是以图像I₂中的投影20、30、40表示，由实边界部分21、31、41和虚边界部分22、32、42来限定。对于每个投影20、30、40，函数M分别以箭头M1、M2、M3表示。这样M1、M2、M3可看作函数M的候选值。为了确定哪个候选投影20，30，40与分割段10的关系最匹配，就必须计算对每个投影20，30，40的匹配标准。在评估对函数M的候选投影和候选值中，该匹配标准对高确定性的实边界部分具有更大的重要性。因此，在分割段的实边界部分与投影的边界部分之间的匹配比分割段虚边界部分的匹配具有更高的确定性。

匹配标准应用在数字图像处理中，并以作为减少匹配误差或简化匹配补偿函数的应用而著名。这种简化匹配函数的函数和匹配方法本身是现有技术中已知的，比如由作者De Haan和Biezen在“信号处理：图像通信6”(1994)229-239页中发表的“三维递归中检索块匹配时子像素运动的估计”。

一套有限的候选函数Mx，My为函数M在x和y坐标中的函数，定义为：{(M_x，i，M_y，i)|i＝1，2，3，....}。

对一套有限的候选函数Mx，My的选择本身已应用在本领域中，例如在上文提到的De Haan和Biezen的著作中同样运用了Mx，My的函数集合。最好尽量减少需要计算每个候选的计算量，使得计算简便。对于每个候选，每个候选投影之间都是相互联系的。

分割段中的像素坐标集合表示为Ω，对i-th候选的匹配补偿Pi可表示为：

$P_i=\underset{(x,y)\∈\mathrm{\Ω}}{\mathrm{\Σ}}|I_1(x,y)-I_2(x+M_{x;i},y+M_{y;i})|.$

这个匹配补偿函数反应了在一个分割段中每个像素都是平等的关系。根据上文所谈到的在每个分割段中的各个像素的确定度并不一样，考虑到这一方面，匹配补偿函数就要改写为：

${P^{\′}}_i=\underset{(x,y)\∈\mathrm{\Ω}}{\mathrm{\Σ}}w(x,y)|I_1(x,y)-I_2(x+M_{x;i},y+M_{y;i})|.$

函数w(x，y)是对每个像素分配一个确定权衡因素，以便具有高确定性的像素能够更好的促进补偿函数的计算。这个实施例中，w(x，y)的值与到该分割段的实边界部分的距离d(x，y)有关，并随着从实边界部分的距离的增加而减小。任何合适的距离定义都可应用，比如Euclidean的“城市街区”，“棋盘”或者上文所提到的PHNL000493中的距离转换。对于w(x，y)，任何合适的函数都可选用，只要函数值随着分割段边界距离的增加而减少即可。下面是一组可选用的一元情况w(x，y)的例子，两元函数对本领域普通技术人员来说是很显然的。下面的例子可无限的类推下去：

w(x)＝1/d(x)，

w(x)＝1/d(x)²，

w(x)＝1如果d(x)＜1.5；w(x)＝0如果d(x)≥1.5，

w(x)＝(5-d(x))/4如果x＜5；d(x)＝0如果x≥5，

w(x)＝(5²-d(x)²)/(5²-1)如果d(x)＜5；w(x)＝0如果d(x)≥1.5，并且

w(x)＝(15²-d(x)²)/(15²-1)如果d(x)＜15；w(x)＝0如果d(x)≥15。

注意上面所有的函数值都随着与实边界部分距离的增加产生一个减少值。假设上面的第三个函数的值在预先确定的距离上是一个常量，超过该距离的函数值为零，因此，也产生一个随着距离的增加而减少的函数值。第三到第六个函数把计算限定到只有一些确定的最接近的像素，这样就进一步减少了计算量。如果用上文提到优选的准分割法实现图像的分割，最接近像素所属的分割段的实边界部分的距离已经从分割处理中获得，它作为距离数组中的信息形式。这样又大大减少了匹配过程中的计算量。

上面表示确定函数的实施例与到实边界段像素的距离有关。但本发明并不仅仅适用于上面的情况，还可以运用将确定值分配到每个像素的其它方法。那种情况下一个确定数组w(x，y)必须被对每个像素的权衡因数填充，其中每个像素与各自像素所属的分割段相关。

本发明还可用于单一图像中图像部分的匹配，比如用于样品或图像识别。

本发明还涉及一种计算机程序产品，它包括在运行计算机时用于执行本发明方法步骤的计算机程序编码部分。本发明的计算机程序产品可存储在任何一个适合的信息载体中，如硬盘，软盘，CD-ROM或计算机内存中。

本发明还涉及一种如图2所示的装置100，用于匹配数字图像。根据上面所述的方法，装置100具有一个用户匹配数字图像的处理单元110。处理单元110与输入端口120相连，通过该输入端口120能够接收数字图像，并将它们输入到单元110。单元110与输出端口130相连，通过输出端口输出图像之间匹配的结果。装置100可以包括如(3—维)电视的显示装置200。

应该注意到上面叙述的实施例并不限制本发明，在不超出附加权利要求的范围内本领域的普通技术人员可以设计各种替换的实施例。在权利要求中，任何圆括号之间的参考标记将不会限制该权利要求。文字“包括”并不排除那些所列权利要求中之外的其它元件和步骤的存在。本发明可通过包括多个不同的元件和一个合适的编程计算机来实现。在装置权利要求中，所例举的几个装置可通过一个或同样的硬件项目来实现。在多个不同的从属权利要求中叙述多种方法，但这不表明这些方法的组合没有显著的优势。

简言之，本文提供了数字图像的匹配方法，该方法包括调整由多个像素组成的一个数字图像的图像特征，确定一套有限的候选值，其中一个候选值表示在第一图像的图像特征与第二图像的图像特征之间的一个可能匹配的候选值，以及建立用于评估这些候选值的一个匹配补偿函数，评估每个候选值的匹配补偿函数，并根据匹配补偿函数的评估结果来选择候选值，以及通过分割第一图像来调整该第一图像，这种调整包括将第一图像的至少一部分像素分配到各自的分割段，确定一个对于一个分割段的至少部分像素的确定参数，并且建立相应的匹配补偿函数，使得该函数至少部分基于该确定参数。

Claims (3)

1.一种数字图像匹配的方法，步骤如下：

调整由多个像素组成的一个第一数字图像(I₁)的图像特征；

提供由多个像素组成的一个第二数字图像(I₂)；

确定一组有限的候选值(M_x；i，M_y；i)，其中一个候选值表示所述第一图像的图像特征与所述第二图像的图像特征之间一个可能的匹配候选；

建立一个匹配补偿函数(P’_i)，用来计算所述候选值(M_x；i，M_y；i)；

计算每个候选值(M_x；i，M_y；i)的匹配补偿函数(P’_i)；以及

根据该匹配补偿函数的计算结果选择一个候选值(M_x；i，M_y；i)；

其特征在于：

通过分割上述第一图像调整所述第一图像，上述调整包括

根据与图像相关的像素特性，将至少部分上述图像的像素分配到各自的分割段；

根据像素到一个分割段的实边界部分的距离d(x，y)，对一个分割段的至少部分的像素确定一个确定的参数w(x，y)；

在至少部分的确定参数w(x，y)的基础上建立匹配补偿函数(P’_i)。

2.如权利要求1所述的方法，其中由准分割方法实现分割。

3.一种用于匹配数字图像的装置，该装置包括：

一个输入部分(120)，用来接收数字图像，该数字图像包含由多个像素组成的一个第一数字图像和由多个像素组成的一个第二数字图像；

一个输出部分(130)，用来输出匹配的结果；

一个处理单元(110)，连接在所述输入部分和所述输出部分之间，用来：

通过分割所述第一图像来调整所述第一数字图像(I₁)的图像特征，包括根据与图像相关的像素特性向各个分割段指定所述图像的至少部分像素；

确定一套有限候选值(Mx；i，My；i)，其中一个候选值表示所述第一图像的图像特征与所述第二图像的图像特征之间一个可能匹配的候选；

根据像素到一个分割段的实边界部分的距离d(x，y)，为一个分割段的至少部分像素确定一个确定的参数w(x，y)；

建立用于计算所述候选值(Mx；i，My；i)的一个匹配补偿函数(P’i)，该匹配补偿函数(P’i)是至少部分地根据所述确定的参数w(x，y)；

计算对每个候选值(Mx；i，My；i)的匹配补偿函数(P’i)；以及

根据匹配补偿函数的计算结果选择一个候选值(Mx；i，My；i)。