CN102725774B - 相似度计算设备、相似度计算方法及程序 - Google Patents

Abstract

相似度计算设备具有位移向量估计单元101，用于估计第一图像中设置的第一局部区域与第二图像中最相似于第一局部区域的第二局部区域之间的位移向量；几何变换参数估计单元102，用于估计几何变换参数，其中所述几何变换参数将第一图像几何变换为第二图像；位移向量校正单元103，用于基于几何变换参数来校正位移向量；投票单元104，用于在二维空间中对位移向量校正单元103已经校正的所述位移向量投票并创建已投票图像；峰值检测单元105，用于检测所述已投票图像中的峰值；以及相似度计算单元106，用于根据峰值的大小来计算第一图像与第二图像的相似度。

Description

相似度计算设备、相似度计算方法及程序

技术领域

本发明涉及一种相似度计算设备、相似度计算方法及程序。

背景技术

常规上，作为用于匹配诸如图像之类的模式的技术而言，图像的模板匹配技术是已知的。该技术将模板图像分为块区，针对每个块单元执行模板匹配，以及确定关于相应块的位移量，其中，所述位移量可以获得要搜索图像内的最大匹配率。通过对与位移量相对应的投票空间的坐标记下匹配率等且检测投票空间中的峰值，来执行模板匹配。

然而，当发生几何变换时；例如，当要搜索的图像相对于模板图像相对旋转时，则能够获得最大匹配率的位移量将随着几何变换而改变。具体地，对于旋转波动，因为与几何变换相关联的位移量基于位置而不同，所以投票空间中的投票位置将改变，且投票空间中的峰值将不再陡峭，且变得缓和。因此，匹配精度劣化。

在专利文献1中公开了一种图像匹配方法的示例，其考虑了与以上描述的几何变换相关联的位移量的变化。

专利文献1公开了一种图像匹配处理方法，包括以下处理：分别从输入图像和模型图像中分割出多个特性局部区域；将选定的局部区域的图像信息投影到特征空间中设置的点上；对于一个图像的每个局部区域，搜索另一图像的局部区域，且将两个局部区域相关联，其中所述另一图像的局部区域被投影到特征空间中与所述一个图像的局部区域最相近的位置上；基于一个图像的相关联局部区域与其它图像的局部区域的位置关系估计输入图像与模型图像之间的几何变换参数；以及通过使用估计的几何变换参数对一个图像的局部区域的图像信息或者整个图像的图像信息执行几何变换，以及对关联的局部区域的一致性进行评估及匹配。

现有文献

[专利文献1]专利公开JP-A-2001-92963

然而，对于专利文献1中描述的图像匹配处理方法，因为通过使用估计的几何变换参数对一个图像的局部区域的图像信息或者整个图像的图像信息执行几何变换，以及评估关联的局部区域的一致性，所以需要用于对图像信息执行几何变换的计算和用于将变换后图像的局部区域相关联且计算相似度的计算，并且计算量将极大地增加。

发明内容

本发明要解决的技术问题

因此，本发明的示例性目标在于，提供一种相似度计算设备，能够在即使当发生了诸如旋转之类的几何变换时也能抑制匹配精度的劣化，并且减少计算量。

解决技术问题的手段

根据本发明的相似度计算设备包括：位移向量估计单元，用于估计第一图像中设置的第一局部区域与第二图像中最相似于每个第一局部区域的第二局部区域之间的位移向量；几何变换参数估计单元，用于基于多个位移向量来估计几何变换参数，其中所述几何变换参数将第一图像几何变换为第二图像；位移向量校正单元，用于基于几何变换参数从位移向量中减去几何变换所引起的位移，并且校正位移向量；投票单元，用于在相应位移向量的元素所定义的二维空间中对位移向量校正单元已经校正的所述位移向量投票；峰值检测单元，用于检测已经执行投票的二维空间中的峰值；以及相似度计算单元，用于根据峰值的大小来计算第一图像与第二图像的相似度。

本发明的效果

根据本发明的示例性方面，即使当要进行匹配的图像经历了诸如相对旋转等的几何变换时，因为在使用估计的几何变换参数校正位移向量之后执行投票，且随后计算图像的相似度，所以能够抑制匹配精度的劣化，并且减少计算量。

附图说明

图1是示出了根据本发明实施例的模式匹配设备的配置的框图。

图2是示出了根据本发明实施例的模式匹配设备的操作的流程图。

图3(A)至3(C)是示意性地说明了在图像的相应参考点处估计的位移向量的示例的图。

图4(A)至4(C)是示意性地说明了通过在投票空间中对图3(A)至3(C)的相应位移向量执行投票处理而获得的投票值的图。

图5是说明了基于本发明的应用的在投票空间中检测到的峰值的波动的图。

具体实施方式

现在，将参考附图说明用于实现本发明的优选示例性实施例。

图1是示出了根据本发明实施例的模式匹配设备(相似度计算设备)100的配置的框图。

如图所示，模式匹配设备100包括位移向量估计单元101、几何变换参数估计单元102、位移向量校正单元103、投票单元104、峰值检测单元105和相似度计算单元106。

位移向量估计单元101、几何变换参数估计单元102、位移向量校正单元103、投票单元104、峰值检测单元105和相似度计算单元106被表示为计算机的处理器根据程序执行的操作模块，并且这些单元整体上配置模式匹配设备100的处理器的功能。

位移向量估计单元101估计第一图像中设置的第一局部区域与第二图像中最相似于第一局部区域的第二局部区域之间的位移向量(位移量)。

几何变换参数估计单元102估计将第一图像几何变换为第二图像的几何变换参数。

位移向量校正单元103基于几何变换参数来校正位移向量。

投票单元104在二维空间中对位移向量校正单元103已经校正了的位移向量投票，并创建已投票图像。

峰值检测单元105检测已投票图像中的峰值。

相似度计算单元106根据峰值的大小计算第一图像与第二图像的相似度。

现在说明模式匹配设备100的操作。

图2是示出了根据本发明实施例的模式匹配设备100的操作的示例的流程图。此处，面部图像的匹配被当作示例，并对其进行了说明。

首先，向模式匹配设备100输入要进行图像匹配的两个图像(步骤S201)。可以通过扫描器等执行图像的输入。应注意，在随后的说明中，要进行图像匹配的两个图像中的一个图像(第一图像)表示为f(x，y)，且另一图像(第二图像)表示为g(x，y)，以及相应图像的图像大小应该是256×256像素。

基本上，通过预先检测眼睛位置等使两个图像相关联，来基本上归一化第一图像f(x，y)和第二图像g(x，y)的大小和方向。常规技术可以用于这种类型的归一化处理。然而，通常在要检测的眼睛位置方面存在检测错误，并且存在如下情况：发生诸如两个图像之间的旋转等的几何偏差。

接下来，关于输入第一图像f(x，y)中设置的包括多个参考点(s，t)的多个局部区域，位移向量估计单元101通过块匹配方法等获得与第一图像f(x，y)最相似的第二图像g(x，y)的局部区域，并计算位移向量v(s，t)，作为两个图像的相似局部区域之间的位移量(步骤S202)。

具体地，首先，基于公式(1)计算以图像f(x，y)的参考点(s，t)为中心的局部区域与以图像g(x，y)的参考点(s+p，t+q)为中心的局部区域的校正值R(s，t，p，q)。设置每个局部区域的大小，使得x方向是2N_u+1，且y方向是2N_v+1，以及每个局部区域的大小例如被设置为N_u＝N_v＝8像素。此外，例如针对每8×8像素，设置参考点(s，t)，以及在第一图像中设置32×32个参考点。

[等式1]

$R(s,t,p,q)=\underset{u=-N_u}{\overset{N_u}{\mathrm{\Σ}}}\underset{v=N_v}{\overset{N_v}{\mathrm{\Σ}}}f(s+u,t+v)g(s+p+u,t+q+v)...\left(1\right)$

随后，基于公式(2)，相对于参考点(s，t)获得校正值R变得最大的位移量(p_max，q_max)，作为位移向量v(s，t)。

此处，max^-1R表示R变为最大值的p，q。

[等式2]

$v(s,t)=\left[\begin{array}{c}{p}_{\max }(s,t)\\ q_{\max }(s,t)\end{array}\right]={\underset{(p,q)}{\max }}^{-1}R(s,t,p,q)...\left(2\right)$

应注意，在参考点(s，t)处变得最大的校正值表示为R_max(s，t)。

接下来，几何变换参数估计单元102使用在步骤S202中获得的位移向量v(s，t)，并估计图像f(x，y)与图像g(x，y)之间的几何变换参数(步骤S203)。假设在图像f(x，y)与图像g(x，y)之间存在要受到仿射变换约束的几何变换，通过公式(3)表示图像f(x，y)的参考点(s，t)与图像g(x，y)的参考点(s’，t’)的关系。

[等式3]

$\left(\begin{array}{c}{s}^{\′}\\ t^{\′}\end{array}\right)=\left(\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right)\left(\begin{array}{c}s\\ t\end{array}\right)+\left(\begin{array}{c}{b}_1\\ b_2\end{array}\right)...\left(3\right)$

$=A\left(\begin{array}{c}s\\ t\end{array}\right)+b$

此处，A、b是仿射变换的参数。随后，例如通过使用最小二乘(least-square)法将由位移向量估计单元101获得的相应参考点(s，t)的位移向量v(s，t)用于估计A、b。具体地，获得使在公式(4)中表示的J最小化的A、b。

$J=\underset{(s,t)}{\mathrm{\Σ}}{\left|\begin{array}{c}v(s,t)-\left(\begin{array}{c}A\left(\begin{array}{c}s\\ t\end{array}\right)+b-\left(\begin{array}{c}s\\ t\end{array}\right)\end{array}\right)\end{array}\right|}^2...\left(4\right)$

应注意，尽管在该示例中，使用具有6自由度的仿射变换来估计几何变换参数A、b，但是还可以通过使用平移和旋转的三个参数，或者平移和旋转及膨胀和收缩的四个参数来执行估计。

接下来，位移向量校正单元103使用在步骤S203中获得的几何变换参数A、b，基于公式(5)来校正位移向量v(s，t)，并计算校正后的位移向量v’(s，t)(步骤S204)。

[等式5]

$v^{\′}(s,t)=v(s,t)-\left(\begin{array}{c}A\left(\begin{array}{c}s\\ t\end{array}\right)+b-\left(\begin{array}{c}s\\ t\end{array}\right)\end{array}\right)...\left(5\right)$

随后，投票单元104使用在步骤S204中获得的校正后的位移向量v’(s，t)，并在二维投票空间H中对与v’(s，t)相对应的投票位移向量v’(s，t)投票(步骤S205)。

当v’(s，t)＝(p’，q’)时，投票空间H被表示为排列(alignment)([p’]，[q’])。此处，[x]是通过离散化x而获得的值。如公式(6)和(7)所示，投票单元104将投票空间H加1或者计算位移向量时获得的最大相关度值R_max(s，t)。

[等式6]

H([p′]，[q′])+＝1…(6)

[等式7]

H([p′]，[q′])+＝R_max(s，t)  …(7)

接下来，峰值检测单元105检测示出了投票空间H中的最大值的峰值(步骤S206)。应注意，为了检测峰值，可以对利用投票单元104获得的投票空间H执行平滑处理等。作为执行以上描述的平滑的结果，能够确保针对噪声的顽强性(tenacity)。作为平滑处理，例如，可以对是二维阵列的投票空间H执行高斯卷积操作。

随后，相似度计算单元106获取投票空间H中的最大峰值，并根据峰值的大小计算第一图像与第二图像的相似度。此处，如果不对投票空间H执行平滑处理等，则可以在峰值附近执行诸如高斯窗(Gausswindow)之类的加权处理，以在峰值附近获得投票空间H的值之和。

可以基于前述处理计算第一图像与第二图像的相似度。

图3是示意性地示出了在相应参考点处估计的两个图像之间的位移向量的示例的图。图3(A)示出了在两个图像之间没有任何位移或旋转的情况下理想化地执行匹配时估计的位移向量的示例。图3(B)是在两个图像之间存在平移位移时估计的位移向量的示例。图3(C)是在发生了旋转波动时估计的位移向量的示例。

图4(A)至4(C)是示意性地说明了通过在投票空间中对图3(A)至3(C)中的相应位移向量执行投票处理而获得的投票值的图。

如图所示，对于图4(A)，因为两个图像之间不存在位移或旋转，所以位移向量分布在投票空间的坐标(0，0)附近，并且在投票空间中检测到陡峭的峰值。对于图4(B)，尽管在两个图像之间存在平移位移，但是因为位移向量分布在根据平移移动的坐标值附近，所以检测到陡峭的峰值。

同时，对于图4(C)，两个图像之间存在旋转波动，且相应位移向量加上了与旋转的几何变换相关联的位移波动，以及位移向量的分布不是常量。因此，在投票空间中检测到的峰值变小，且峰值变缓和。然而，即使在发生了图像的成比例波动(膨胀/收缩)的情况下，因为如同旋转波动一样，偏差也将随着图像的位置而改变，所以峰值将变得缓和，且峰值变小。

根据本实施例，通过使用几何变换参数A、b校正位移向量v(s，t)，校正了与几何变换相关联的偏差，并且可以获得分布在原点的坐标值(0，0)附近的位移向量v’(s，t)。

例如，如图5(A)所示，即使在执行投票处理时所获得的峰值由于图像的旋转波动而缓和的情况下，如图5(B)所示，通过使用几何变换参数且校正位移向量，也检测到陡峭且较大的峰值。因此，根据本实施例，消除了与几何变换相关联的投票空间中峰值的钝度(dullness)，且可以提高两个图像的相似度确定的精度。

此外，根据本实施例，因为通过使用几何变换参数来校正两个图像之间的位移向量，所以可以通过使用经受几何变换的位移向量来直接执行投票处理。因此，与对图像信息自身执行几何变换相比，不需要对图像执行几何变换处理，且不需要再一次将局部区域与几何变换后的图像相关联，能够极大地减少计算量。

应注意，在该实施例中，尽管说明了面部图像的匹配情况，但是本发明还可以应用于诸如指纹图像或静脉图像之类的其它生物学模式的匹配。此外，除了生物学模式的匹配之外，本发明还可以应用于多种领域的图像匹配。

本申请涉及并要求2010年1月8日提交的日本专利申请No.2010-002569的优先权，在此并入其全部公开以供参考。

以上参考实施例说明了本发明，但是本发明不限于前述实施例。本领域技术人员在本发明的范围内可以对本发明的配置和细节进行多种修改。

工业适用性

本发明适合用于即使当发生诸如旋转等的几何变换时也能抑制匹配精度的劣化，并且减少计算量。

符号说明

100模式匹配设备、101位移向量估计单元、102几何变换参数估计单元、103位移向量校正单元、104投票单元、105峰值检测单元、106相似度计算单元。

Claims (4)

1.一种相似度计算设备，包括：

位移向量估计单元，用于估计第一图像中设置的多个第一局部区域与第二图像中最相似于每个第一局部区域的第二局部区域之间的位移向量；

几何变换参数估计单元，用于仅基于多个位移向量来估计几何变换参数，其中所述几何变换参数将第一图像几何变换为第二图像；

位移向量校正单元，用于基于几何变换参数，从所述位移向量中减去几何变换所引起的位移并校正位移向量；

投票单元，用于在相应位移向量的元素所定义的二维空间中对位移向量校正单元已经校正的位移向量直接投票；

峰值检测单元，用于检测已经执行投票的二维空间中的峰值；以及

相似度计算单元，用于根据峰值的大小来计算第一图像与第二图像的相似度。

2.根据权利要求1所述的相似度计算设备，

其中，几何变换参数是仿射变换的参数。

3.根据权利要求1所述的相似度计算设备，

其中，投票单元对已经执行投票的二维空间执行平滑处理。

4.一种相似度计算方法，包括以下步骤：

估计第一图像中设置的多个第一局部区域与第二图像中最相似于每个第一局部区域的第二局部区域之间的位移向量；

仅基于多个位移向量来估计几何变换参数，其中所述几何变换参数将第一图像几何变换为第二图像；

基于几何变换参数，从所述位移向量中减去几何变换所引起的位移并校正位移向量；

在相应位移向量的元素所定义的二维空间中对校正后的位移向量直接投票；

检测已经执行投票的二维空间中的峰值；以及

根据峰值的大小来计算第一图像与第二图像的相似度。