CN104700415A - 一种图像匹配跟踪中匹配模板的选取方法 - Google Patents

Abstract

本发明属于计算机视觉、图像匹配技术领域，具体涉及到一种图像匹配跟踪中匹配模板选择方法。匹配模板选择方法分为匹配模板尺寸自适应确定步骤、匹配模板定位能力判定步骤两个部分；(1)匹配模板尺寸自适应确定步骤方法流程：以给定坐标点位置为中心，设定分割区域；对分割区域利用大津阈值分割算法自动阈值分割算法进行二值化，统计前景区域和背景区域的像素个数，求取前景区域像素个数与背景区域像素个数的比值；计算该比值与设定阈值之间的关系来决定匹配模板尺寸；(2)匹配模板定位能力判定步骤方法流程：分别以分割区域中心点为中心的8邻域像素点为中心，按照当前分割区域尺寸，提取8个图像块；将8个图像块与分割区域灰度差异的最小值与设定阈值之间的关系来判定匹配模板的定位能力。

Description

一种图像匹配跟踪中匹配模板的选取方法

技术领域

本发明属于计算机视觉与图像匹配技术领域，具体涉及一种图像匹配跟踪中匹配模板的选取方法。

背景技术

图像匹配是一种逐个像素比较的方法，根据已知的模式在另一幅图像中搜寻相对应的模式，以某一数据量来衡量图像之间的相似程度，从而得到最佳的匹配位置，这个过程就是图像匹配。我们把待匹配图像称为实时图，已知的图像称为匹配模板。

传统的选取匹配模板方法大致可以分为以下三种：第一种是通过分割的方法获取整个目标区域，将整个目标区域作为匹配模板，这种选定匹配模板方法没有考虑到目标内部的结构和纹理信息，在复杂背景或目标内部纹理和结构信息丰富时，通过分割的方法难以获得完整的目标区域；第二种是将具有一定纹理和结构信息的局部区域作为匹配模板，这种方法在目标为点状目标或斑状目标时，目标缺少纹理和结构信息，导致将目标局部区域作为匹配模板方法难以提取合理的局部区域作为匹配模板。第三种是基于先验信息获取匹配模板，基于先验信息获取匹配模板方法的自适应能力较差，在缺少目标先验信息或者真实应用场景中的目标信息与获取的先验信息存在一定差异的情况下，就会导致基于先验信息决定的匹配模板的无法根据实时场景中目标信息自适应的选取匹配模板。

中国航天科工集团第二研究院二0七所在其专利“一种复杂背景下运动目标相关匹配跟踪方法”(专利申请号201210365935.0，公开号CN103700115A)中公开了一种基于多尺度模板来解决目标模板尺寸变化的方法。为了适应目标的尺寸变化，该方法根据前一帧原始模板按比例计算出放大模板和缩小模板，设置三种缩放比例的模板——原始模板、放大模板、缩小模板，将三种模板与实时采集的当前图像进行匹配，计算分别针对三种模板的匹配度c₀、c₁、c₂，当c₀、c₁、c₂的相互间差值的绝对值不超过设定阈值，则保持原始模板，如果相互间差值的绝对值大于设定阈值，则使用最大匹配度对应模板作为新的模板。然而，在实际应用中，由于目标的速度是无法预估的，这就使目标的尺度变化也是无法预估的，这就导致了以固定缩放比例获得多尺度模板来解决匹配跟踪中目标尺度变化的方法无法根据目标尺度的变化自适应的调整的匹配模板尺度；同时，使用多尺度模板和实时采集的当前图像进行匹配增加了匹配跟踪的计算量。天津工业大学在其专利“一种基于特征点检测的模板匹配跟踪方法”(专利申请号201010573730.2，公开号CN102034114A)中公开了一种通过匹配检测出的特征点进行目标定位与识别的方法。该方法利用特征点检测方法分别在模板图像和目标图像中检测特征点，根据特征点的灰度信息进行模板匹配，并根据匹配特征点的相对位置信息确定目标的位置，完成对灰度图像目标的有效检测识别与定位跟踪，该方法具有计算量小，运算速度快的优点。然而，该方法的不足是，基于特征点进行匹配的方法在目标尺寸发生变化时，无法根据目标尺寸的变化相应的调整匹配模板的尺寸。

发明内容

为了克服上述现有技术在选取匹配模板方面的不足，本发明提出了一种图像匹配跟踪中的匹配模板选择方法，以实现在图像匹配跟踪中的匹配模板的自适应选择。

为了实现上述目的，本发明提供了一种图像匹配跟踪中匹配模板的选取方法，包括匹配模板尺寸自适应确定步骤，以及匹配模板定位能力判定步骤两个部分，具体地：

(1)匹配模板尺寸自适应确定步骤：

步骤(1.1)以初始给定坐标点为中心，获取原始图像中的分割区域t(i,j)，初始分割区域大小为M，M＝(2N+1)×(2N+1)，N为初始分割区域大小。

步骤(1.2)对分割区域利用大津阈值分割算法进行阈值分割，统计前景区域的像素个数ta_num和背景区域的像素个数bck_num。

在步骤(1.2)中，前景区域不是特指目标区域，而是在分割区域中灰度值较大的区域，背景区域不是指除目标区域外的其他区域，而是分割区域中灰度值较小的区域。这种定义前景区域和背景区域的方法可以保证在图像中具有结构和纹理特征时，以局部区域的结构和纹理特征作为匹配模板。当前分割阈值为k时，根据分割阈值k，按照t(i,j)中每个像素点的灰度值大小，将t(i,j)分割为两类图像，其中一类图像为前景类图像，另一类为背景类图像，k∈{1,2,3...L}，L为t(i,j)的所有像素点的灰度值的最大值；t(i,j)中灰度值大于k的像素点组成所述的前景类图像，所述前景类图像的像素点的个数为M₁(k)，所述前景类的图像的像素点的灰度值的均值为μ₁(k)；t(i,j)中灰度值小于或等于k的像素点组成所述背景类图像，所述背景类图像的像素点个数为M₀(k)，所述背景类图像的像素点的灰度值的均值为μ₀(k)；

所述t(i,j)中的像素点的个数为M，则所述前景类图像的像素点个数占t(i,j)中像素点个数的比例ω₁(k)为：ω₁(k)＝M₁(k)/M，所述背景类图像的像素点个数占t(i,j)中像素点个数的比例ω₀(k)为ω₀(k)＝M₀(k)/M；

t(i,j)在分割阈值k下的类间方差为：

$\begin{array}{cc}{\mathrm{\μ}}_0\left(k\right)=\frac{\underset{i=1}{\overset{k}{\mathrm{\Σ}}}i\×\mathrm{his}\left(i\right)}{\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\mathrm{his}\left(i\right)}& {\mathrm{\μ}}_1\left(k\right)=\frac{\underset{i=k+1}{\overset{255}{\mathrm{\Σ}}}i\×\mathrm{his}\left(i\right)}{\underset{i=k+1}{\overset{255}{\mathrm{\Σ}}}\mathrm{his}\left(i\right)}\end{array}$

式中，his(i)是t(i,j)中灰度为i时的像素个数；k为当前分割阈值；

最优的分割阈值：

步骤(1.3)计算前景区域像素个数与背景区域像素个数比值ra：ta_num表示前景区域的像素个数，bck_num表示背景区域的像素个数。前景区域像素个数与背景区域像素个数比值的判定阈值为th，如果ra＞th，则表明当前设定的分割区域过小，扩大当前分割区域，N＝λN(λ＞1)，M＝(2N+1)×(2N+1)，重复执行步骤(1.2)、(1.3)；如果ra＜th，认为当前分割区域尺度合理，将当前分割区域的尺寸作为匹配模板的尺寸。

(2)匹配模板定位能力判定步骤

步骤(2.1)：分别以分割区域中心点为中心的8邻域像素点为中心，按照当前分割区域尺寸，提取8个图像块，按照邻域像素点获取的先后顺序依次记为ES₁(i,j)、ES₂(i,j)、ES₃(i,j)、ES₄(i,j)、ES₅(i,j)、ES₆(i,j)、ES₇(i,j)和ES₈(i,j)。

步骤(2.1)中求取以分割区域中心点为中心的8邻域像素点通过以分割区域中心点为中心，大小为(2s+1)×(2s+1)的矩形框上，以分割区域中心点为原点构建直角坐标系，从x轴正方向开始，按照逆时针方向，每隔45°在矩形框上取一个像素点，作为以分割区域中心点为中心的8邻域像素点。

步骤(2.2)：分别比较8个图像块ES₁(i,j)、ES₂(i,j)、ES₃(i,j)、ES₄(i,j)、ES₅(i,j)、ES₆(i,j)、ES₇(i,j)、ES₈(i,j)与分割区域t(i,j)的灰度值差异，如果这8个图像块与分割区域灰度差异的最小值dif大于设定阈值th_dif，则认为该分割区域在其邻域内的8个方向上都具有定位能力，可以将该分割区域作为匹配模板，输出该匹配模板；如果dif小于th_dif，则表明当前分割区域在某个方向上不具备定位能力，调整分割区域的尺寸N，N＝βN(β＞1)，重复步骤(2.1)、步骤(2.2)。

$\mathrm{dif}=\underset{k}{\min }\left(\underset{i=0}{\overset{i=2N}{\mathrm{\Σ}}}\underset{j=0}{\overset{j=2N}{\mathrm{\Σ}}}\mathrm{abs}(t(i,j)-{\mathrm{ES}}_k(i,j))\right),k\∈\{\mathrm{1,2,3}...8\}$

${\mathrm{th}}_{\mathrm{dif}}=\mathrm{\λ}\×\underset{i=0}{\overset{2N}{\mathrm{\Σ}}}\underset{j=0}{\overset{2N}{\mathrm{\Σ}}}t(i,j),\mathrm{\λ}=0~0.3$

式中dif表示分割区域与8个图像块灰度差异最小值，k表示第k个图像块，λ表示灰度值差异最小值的判定阈值的加权系数。

本发明提出了一种图像匹配跟踪中匹配模板选择方法，根据图像信息，利用大津阈值分割和前景区域与背景区域像素个数的比值与设定阈值之间的关系，自适应的确定匹配模板尺寸；通过计算匹配模板与匹配模板邻域的灰度差异，保证选取的匹配模板在后续的匹配跟踪具有一定的定位能力。

附图说明

图1为本发明一种图像匹配跟踪中匹配模板选择方法的流程图；

图2为本发明分割区域中心点和8邻域像素点的关系；

图3a为本发明实施例中输入的真实场景中的图像；

图3b为本发明实施例中使用本发明方法所获取的匹配模板。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明所提方法可以自适应的确定匹配模板的尺寸，同时通过计算匹配模板与匹配模板邻域的灰度差异，保证选取的匹配模板在匹配跟踪具有一定的定位能力。当目标为点状目标或者斑状目标时，目标没有纹理和结构信息，此时以整个目标或者大部分目标作为匹配模板，用于匹配跟踪；当目标尺寸较大，具有一定的纹理和结构信息时，可以将包含一定目标纹理和结构信息的局部区域作为匹配模板，在目标具有纹理和结构信息时，以目标的局部区域作为匹配模板，不但可以保证后续匹配跟踪中的匹配模板的定位能力，也可以减少匹配跟踪中的计算量。首先，根据图像信息，自适应的确定匹配模板的尺寸；(1.1)通过大津阈值分割算法对设定分割区域进行分割，(1.2)计算分割区域的前景区域像素个数与背景区域像素个数的比值，(1.3)当该比值小于设定阈值，将分割区域尺寸作为匹配模板的尺寸；当该比值大于设定阈值，表明当前分割区域过小，分割区域中包含的前景信息较少，扩大分割区域，重复步骤(1.1)、(1.2)、(1.3)。其次，判定该匹配模板是否具有定位能力；匹配模板的定位能力可以通过匹配模板与匹配模板周围邻域的灰度差异进行判定。在确定匹配模板尺寸后，(2.1)以分割区域中心点为中心，获取以分割区域中心点为中心的8邻域像素点，分别以8邻域像素点为中心，按照当前分割区域尺寸，提取8个图像块，(2.2)分别比较8个图像块与分割区域的灰度值差异，如果灰度值差异的最小值大于设定阈值，认为该分割区域在其邻域内的8个方向上都具有定位能力，可以将该分割区域作为匹配模板；如果灰度值差异的最小值小于设定阈值，表明当前分割区域在某个方向上不具备定位能力，调整分割区域的尺寸，重复步骤(2.1)、(2.2)。

如图1所示，本发明提供了一种图像匹配跟踪中匹配模板选择方法，包括匹配模板尺寸自适应确定步骤、匹配模板定位能力判定步骤两个部分；初始给定坐标点位置通过以下两种方法之一的方法确定：自动检测、人工指定。本发明方法具体包括如下步骤：

(1)匹配模板尺寸自适应确定步骤：

(1.1)以初始给定坐标点为中心，获取原始图像中的分割区域t(i,j)。初始分割区域的大小N＝3，M＝7×7；

(1.2)对分割区域利用大津阈值分割算法进行阈值分割，统计前景区域的像素个数ta_num和背景区域的像素个数bck_num；

大津阈值分割算法阈值采用

$\mathrm{Thresh}=\arg \underset{k}{\max }\left({\mathrm{\ω}}_0\left(k\right){\mathrm{\ω}}_1\left(k\right){({\mathrm{\μ}}_0\left(k\right)-{\mathrm{\μ}}_1\left(k\right))}^2\right)$

在(1.2)中，前景区域不是特指目标区域，而是在分割区域中灰度值较大的区域，背景区域不是指除目标区域外的其他区域，而是分割区域中灰度值较小的区域。这种定义前景区域和背景区域的方法可以保证在图像中具有结构和纹理特征时，以局部区域的结构和纹理特征作为匹配模板。当前分割阈值为k时，根据分割阈值k，按照t(i,j)中每个像素点的灰度值大小，将t(i,j)分割为两类图像，其中一类图像为前景图像(目标图像)，另一类为背景类图像，k∈{1,2,3...L}，L为t(i,j)的所有像素点的灰度值的最大值；t(i,j)中灰度值大于k的像素点组成所述的前景类图像，所述前景类图像的像素点的个数为M₁(k)，所述前景类的图像的像素点的灰度值的均值为μ₁(k)；t(i,j)中灰度值小于或等于k的像素点组成所述背景类图像，所述背景类图像的像素点个数为M₀(k)，所述背景类图像的像素点的灰度值的均值为μ₀(k)；

所述t(i,j)中的像素点的个数为M，则所述前景类图像的像素点个数占t(i,j)中像素点个数的比例ω₁(k)为：ω₁(k)＝M₁(k)/M，所述背景类图像的像素点个数占t(i,j)中像素点个数的比例ω₀(k)为ω₀(k)＝M₀(k)/M；

t(i,j)在分割阈值k下的类间方差为：

$\begin{array}{cc}{\mathrm{\μ}}_0\left(k\right)=\frac{\underset{i=1}{\overset{k}{\mathrm{\Σ}}}i\×\mathrm{his}\left(i\right)}{\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\mathrm{his}\left(i\right)}& {\mathrm{\μ}}_1\left(k\right)=\frac{\underset{i=k+1}{\overset{255}{\mathrm{\Σ}}}i\×\mathrm{his}\left(i\right)}{\underset{i=k+1}{\overset{255}{\mathrm{\Σ}}}\mathrm{his}\left(i\right)}\end{array}$

式中，his(i)是t(i,j)中灰度为i时的像素个数；k为当前分割阈值；

最优的分割阈值：

(1.3)计算前景区域像素个数与背景区域像素个数比值ra：ta_num表示分割区域中前景区域的像素个数，bck_num表示分割区域中背景区域像素个数。前景区域像素个数与背景区域像素个数比值的判定阈值为th＝1，如果ra＞th，则表明当前设定的分割区域过小，扩大当前分割区域，N＝λN(λ＝1.3)，M＝(2N+1)×(2N+1)，重复执行(1.2)、(1.3)；如果ra＜th，认为当前分割区域尺度合理，将当前分割区域尺寸作为匹配模板的尺寸。

(2)匹配模板定位能力判定步骤

(2.1)分别以分割区域中心点为中心的8邻域像素点为中心，按照当前分割区域尺寸，提取8个图像块，按照邻域像素点获取的先后顺序依次记为ES₁(i,j)、ES₂(i,j)、ES₃(i,j)、ES₄(i,j)、ES₅(i,j)、ES₆(i,j)、ES₇(i,j)和ES₈(i,j)。如图2所示，为8邻域像素示意图，中间像素点为分割区域中心点，周围8个点为8邻域像素点。

(2.1)中求取以分割区域中心点为中心的8邻域像素点通过以分割区域中心点为中心，大小为(2s+1)×(2s+1),s＝1的矩形框上，以分割区域中心点为原点构建直角坐标系，从x轴正方向开始，按照逆时针方向，每隔45°在矩形框上取一个像素点，作为以分割区域中心点为中心的8邻域像素点。

(2.2)分别比较8个图像块ES₁(i,j)、ES₂(i,j)、ES₃(i,j)、ES₄(i,j)、ES₅(i,j)、ES₆(i,j)、ES₇(i,j)、ES₈(i,j)与分割区域t(i,j)的灰度值差异，如果这8个图像块与分割区域灰度差异的最小值dif大于设定阈值th_dif，则认为该分割区域在其邻域内的8个方向上都具有定位能力，可以将该分割区域作为匹配模板，输出该匹配模板；如果dif小于th_dif，则表明当前分割区域在某个方向上不具备定位能力，调整分割区域的尺寸N，N＝βN(β＞1)，重复步骤(2.1)、步骤(2.2)。

$\mathrm{dif}=\underset{k}{\min }\left(\underset{i=0}{\overset{i=2N}{\mathrm{\Σ}}}\underset{j=0}{\overset{j=2N}{\mathrm{\Σ}}}\mathrm{abs}(t(i,j)-{\mathrm{ES}}_k(i,j))\right),k\∈\{\mathrm{1,2,3}...8\}$

${\mathrm{th}}_{\mathrm{dif}}=\mathrm{\λ}\×\underset{i=0}{\overset{2N}{\mathrm{\Σ}}}\underset{j=0}{\overset{2N}{\mathrm{\Σ}}}t(i,j),\mathrm{\λ}=0~0.3$

式中dif表示分割区域与8个图像块灰度差异最小值；k表示第k个图像块。λ表示灰度值差异最小值的判定阈值的加权系数。此具体实施例中，灰度值差异最小值的判定阈值的加权系数λ＝0.1。

如图3所示为基于本具体实施例中的方法在真实场景获取匹配模板，其中图3a为本发明实施例中输入的真实场景中的图像；图3b为本发明实施例中使用本发明方法所获取的匹配模板。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种图像匹配跟踪中匹配模板的选取方法，其特征在于，包括匹配模板尺寸自适应确定步骤、匹配模板定位能力判定步骤，其中：

(1)匹配模板尺寸自适应确定步骤包括如下子步骤：

(1.1)以初始给定坐标点为中心，获取原始图像中的分割区域t(i,j)，初始分割区域大小为M，M＝(2N+1)×(2N+1)，N为初始分割区域大小；

(1.2)对分割区域利用大津阈值分割算法进行阈值分割，统计前景区域像素个数ta_num和背景区域像素个数bck_num；

(1.3)计算前景区域像素个数与背景区域像素个数之间的比值ra：当ra小于设定阈值th时，将当前分割区域的尺寸作为匹配模板的尺寸；当ra大于设定阈值th时，则扩大当前分割区域尺寸N，N＝λN(λ＝1.3)，重复步骤(1.2)和(1.3)；

(2)匹配模板定位能力判定步骤包括如下子步骤：

(2.1)分别以分割区域中心点为中心的8邻域像素点为中心，按照当前分割区域尺寸，提取8个图像块，按照邻域像素点获取的先后顺序依次记为ES₁(i,j)、ES₂(i,j)、ES₃(i,j)、ES₄(i,j)、ES₅(i,j)、ES₆(i,j)、ES₇(i,j)和ES₈(i,j)；

步骤(2.2)：分别比较8个图像块ES₁(i,j)、ES₂(i,j)、ES₃(i,j)、ES₄(i,j)、ES₅(i,j)、ES₆(i,j)、ES₇(i,j)、ES₈(i,j)与分割区域t(i,j)的灰度值差异，如果这8个图像块与分割区域灰度差异的最小值dif大于设定阈值th_dif，则认为该分割区域在其邻域内的8个方向上都具有定位能力，将该分割区域作为匹配模板，输出该匹配模板；如果dif小于th_dif，则表明当前分割区域在某个方向上不具备定位能力，调整分割区域的尺寸N，N＝βN(β＞1)，重复步骤(2.1)、步骤(2.2)。

2.如权利要求1所述的图像匹配跟踪中匹配模板的选取方法，其特征在于，在步骤(1.2)中，前景区域不是特指目标区域，而是在分割区域中灰度值较大的区域，背景区域不是指除目标区域外的其他区域，而是分割区域中灰度值较小的区域。

3.如权利要求1或2所述的图像匹配跟踪中匹配模板的选取方法，其特征在于，在步骤(1.2)中，对分割区域利用大津阈值分割算法进行阈值分割具体包括：

根据当前分割阈值k，按照t(i,j)中每个像素点的灰度值大小，将t(i,j)分割为两类图像，其中一类图像为前景类图像，另一类为背景类图像，k∈{1,2,3...L}，L为t(i,j)的所有像素点的灰度值的最大值；t(i,j)中灰度值大于k的像素点组成所述的前景类图像，所述前景类图像的像素点的个数为M₁(k)，所述前景类的图像的像素点的灰度值的均值为μ₁(k)；t(i,j)中灰度值小于或等于k的像素点组成所述背景类图像，所述背景类图像的像素点个数为M₀(k)，所述背景类图像的像素点的灰度值的均值为μ₀(k)；

所述t(i,j)中的像素点的个数为M，则所述前景类图像的像素点个数占t(i,j)中像素点个数的比例ω₁(k)为：ω₁(k)＝M₁(k)/M，所述背景类图像的像素点个数占t(i,j)中像素点个数的比例ω₀(k)为ω₀(k)＝M₀(k)/M；

t(i,j)在分割阈值k下的类间方差为：

${\mathrm{\μ}}_0\left(k\right)=\frac{\underset{i=1}{\overset{k}{\mathrm{\Σ}}}i\×\mathrm{his}\left(i\right)}{\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\mathrm{his}\left(i\right)}$ ${\mathrm{\μ}}_1\left(k\right)=\frac{\underset{i=k+1}{\overset{255}{\mathrm{\Σ}}}i\×\mathrm{his}\left(i\right)}{\underset{i=k+1}{\overset{255}{\mathrm{\Σ}}}\mathrm{his}\left(i\right)}$

式中，his(i)是t(i,j)中灰度为i时的像素个数；k为当前分割阈值。

4.如权利要求3所述的图像匹配跟踪中匹配模板的选取方法，其特征在于，最优的分割阈值为

5.如权利要求1或2所述的图像匹配跟踪中匹配模板的选取方法，其特征在于，所述步骤(2.2)中的8个图像块与分割区域灰度差异的最小值dif与设定阈值th_dif分别为：

$\mathrm{dif}=\underset{\text{k}}{\min }\left(\underset{i=0}{\overset{i=2N}{\mathrm{\Σ}}}\underset{j=0}{\overset{i=2N}{\mathrm{\Σ}}}\mathrm{abs}(t(i,j)-{\mathrm{ES}}_k(i,j))\right)$   k∈{1,2,3...8}

${\mathrm{th}}_{\mathrm{dif}}=\mathrm{\λ}\×\underset{i=0}{\overset{2N}{\mathrm{\Σ}}}\underset{j=0}{\overset{2N}{\mathrm{\Σ}}}t(i,j)$   λ＝0～0.3

式中dif表示分割区域与8个图像块灰度差异最小值，k表示第k个图像块，λ表示灰度值差异最小值的判定阈值的加权系数。