CN101819636B - 数字图像中不规则区域自动匹配方法 - Google Patents

Abstract

本发明涉及一种数字图像中不规则区域自动匹配方法，包括：采集图像并输入计算机；提取图像中的不规则区域；通过计算不规则区域内各点的平均梯度方向确定不规则区域的主方向；通过计算各点的不对称性确定其最大对称位置；以最大对称位置为中心，以主方向为起始方向，确定不规则区域的邻域；将不规则区域的邻域从里到外划分为三层，并将每层进一步沿圆周方向划分为至少一个子区域；利用梯度内积与外积运算构造不规则区域的匹配描述子；通过计算所得描述子之间欧式距离并利用双向匹配准则计算不规则区域之间的相似性，进行区域匹配并输出结果。本发明提供的方法，不会引入由于将不规则区域的形状拟合为规则形状带来的误差，提高了匹配的准确性。

Description

数字图像中不规则区域自动匹配方法

技术领域

本发明涉及计算机视觉中的图像特征自动匹配领域，尤其涉及一种数字图像中不规则区域自动匹配方法。

背景技术

特征匹配技术在图像检索、物体识别、视频跟踪以及增强现实等诸多领域有着重要应用。近些年来，以尺度不变特征变换(Scale Invariant FeatureTransform，简称SIFT)技术的提出为标志，图像特征点自动匹配技术取得了较大进展；以最大稳定极值区域(Maximally Stable Extremal Regions，简称MSER)技术为标志，图像特征区域自动检测技术也取得了较大进展。但是，如何匹配诸如MSER区域这类具有不规则形状的区域，是目前亟需解决的重要问题。

目前已有方法主要采用形状拟合的方式解决不规则区域的匹配问题：首先将不规则区域的形状拟合为规则形状，如椭圆、平行四边形等；然后在规则形状上构造区域描述子；最后利用区域描述子进行区域匹配。在对MSER区域进行匹配时，首先将原始不规则的MSER区域拟合为椭圆，然后使用SIFT描述子进行匹配。

但是，将不规则区域的形状拟合为规则形状的过程会产生拟合误差，导致匹配的准确性不高。

发明内容

本发明主要解决数字图像中不规则区域自动匹配问题，目的是提供一种具有更高准确性的数字图像中不规则区域自动匹配方法。

为实现本目的，本发明提供了一种数字图像中不规则区域自动匹配方法包括以下步骤：

步骤S1：采集图像并输入计算机；

步骤S2：利用不规则区域提取方法提取图像中的不规则区域；

步骤S3：通过计算所述不规则区域内各点的平均梯度方向确定所述不规则区域的主方向dMain；

步骤S4：通过计算各点的不对称性确定所述不规则区域的最大对称位置P；

步骤S5：以所述最大对称位置为中心，以所述主方向为起始方向，确定所述不规则区域的邻域；

步骤S6：将所述不规则区域的邻域从里到外划分为三层，并将每层进一步沿圆周方向划分为至少一个子区域；

步骤S7：利用梯度内积与外积运算构造所述不规则区域的匹配描述子；

步骤S8：通过计算所得描述子之间欧式距离并利用双向匹配准则计算所述不规则区域之间的相似性，进行区域匹配并输出匹配结果。

本发明提供的数字图像中不规则区域自动匹配方法，没有将不规则区域的形状拟合为规则形状，而是将不规则区域的邻域从里到外划分为三层，并将每层进一步沿圆周方向划分为至少一个子区域，利用梯度内积与外积运算构造所述不规则区域的匹配描述子，通过计算所得描述子之间欧式距离并利用双向匹配准则计算所述不规则区域之间的相似性，进行区域匹配，所以不会引入由于将不规则区域拟合为规则形状而带来的误差；并且在其他的步骤中也不会有显著的误差引入，所以相对于现有的不规则区域匹配方法，本发明具有更高的准确性。

附图说明

图1所示为本发明数字图像中不规则区域自动匹配方法的流程图；

图2所示为本发明步骤S5中确定的不规则区域的邻域的示意图；

图3所示为本发明步骤S6中分层并进行其区域划分的示意图。

具体实施方式

如图1所示为本发明数字图像中不规则区域自动匹配方法的流程图。本发明提供的不规则区域自动匹配方法主要步骤包括：采集图像并输入计算机、提取图像中的不规则区域、计算不规则区域的主方向d_Main、计算不规则区域的最大对称位置P、确定不规则区域的邻域、对邻域进行子区域划分、构造匹配描述子、匹配并输出结果。

各步骤的具体实施细节如下：

步骤S1：采集图像并输入计算机。可以利用数码相机拍摄同一场景不同视角下的两幅或多幅图像，输入计算机。

步骤S2：提取图像中的不规则区域。具体地可以利用MSER等各种不规则区域提取方法提取图像中的不规则区域。

步骤S3：通过计算不规则区域内各点的平均梯度方向确定不规则区域的主方向d_Main。

步骤S4：通过计算各点的不对称性确定不规则区域的最大对称位置P。对不规则区域内的任一位置，以该位置为中心，引出18条直线L_i(i＝1，2，...，18)将圆周分为36等份；记不规则区域内直线L_i(i＝1，2，...，18)两侧包含的像素数分别为N_L(i)，N_R(i)(i＝1，2，...，18)，定义

为上述任意位置处的不对称性，将不对称性最小的位置确定为不规则区域的最大对称位置。

步骤S5：以最大对称位置为中心，以主方向为起始方向，确定不规则区域的邻域。如图2所示为本发明步骤S5中确定的不规则区域的邻域的示意图，图2中箭头所示的方向即为主方向d_Main，P点为最大对称位置。具体步骤如下：以最大对称位置P为中心，主方向d_Main为起始方向，分别引出16条射线将圆周分为16等份，沿逆时针方向记各条射线与不规则区域边界轮廓线的交点分别为：C_i(i＝1，2，...16)；延长线段C_i至点D_i，使得|PD_i|＝6/5·|PC_i|(i＝1，2，...16)，其中|PC_i|、|PD_i|分别表示线段长度；将线段PD_i(i＝1，2，...16)等分为三段：PA_i，A_iB_i，B_iD_i(i＝1，2，...16)；将封闭曲线D₁D₂D₃...D₁₆D₁包含的区域确定为不规则区域的邻域。

步骤S6：将不规则区域的邻域从里到外划分为三层，并将每层进一步沿圆周方向划分为至少一个子区域。图3所示为本发明步骤S6中分层并进行其区域划分的示意图。具体步骤如下：确定不规则区域邻域的同时，将不规则区域的邻域从里到外划分为三层：第一层是封闭曲线A₁A₂A₃...A₁₆A₁构成的区域；第二层是封闭曲线A₁A₂A₃...A₁₆A₁与B₁B₂B₃...B₁₆B₁构成的区域；第三层是封闭曲线B₁B₂B₃...B₁₆B₁与D₁D₂D₃...D₁₆D₁构成的区域。

将第一层区域划分为4个子区域，依次编号为G₁、G₂、G₃和G₄，这4个子区域的边界曲线分别为：

G₁：PA₁A₂A₃A₄A₅P；        G₂：PA₅A₆A₇A₈A₉P；

G₃：PA₉A₁₀A₁₁A₁₂A₁₃P；    G₄：PA₁₃A₁₄A₁₅A₁₆A₁P。

将第二层区域划分8个子区域，依次编号为G₅、G₆、G₇、G₈、G₉、G₁₀、G₁₁和G₁₂，这8个子区域的边界曲线分别为：

G₅：A₁B₁B₂B₃A₃A₂A₁；        G₆：A₃B₃B₄B₅A₅A₄A₃；

G₇：A₅B₅B₆B₇A₇A₆A₅；        G₈：A₇B₇B₈B₉A₉A₈A₇；

G₉：A₉B₉B₁₀B₁₁A₁₁A₁₀A₉；    G₁₀：A₁₁B₁₁B₁₂B₁₃A₁₃A₁₂A₁₁；

G₁₁：A₁₃B₁₃B₁₄B₁₅A₁₅A₁₄A₁₃；G₁₂：A₁₅B₁₅B₁₆B₁A₁A₁₆A₁₅。

将第三层区域划分为16个子区域，依次编号为G₁₃、G₁₄、G₁₅、G₁₆、G₁₇、G₁₈、G₁₉、G₂₀、G₂₁、G₂₂、G₂₃、G₂₄、G₂₅、G₂₆、G₂₇和G₂₈，这16个子区域的边界曲线分别为：

G₁₃：B₁D₁D₂B₂B₁；           G₁₄：B₂D₂D₃B₃B₂；

G₁₅：B₃D₃D₄B₄B₃；           G₁₆：B₄D₄D₅B₅B₄；

G₁₇：B₅D₅D₆B₆B₅；           G₁₈：B₆D₆D₇B₇B₆；

G₁₉：B₇D₇D₈B₈B₇；           G₂₀：B₈D₈D₉B₉B₈；

G₂₁：B₉D₉D₁₀B₁₀B₉；         G₂₂：B₁₀D₁₀D₁₁B₁₁B₁₀；

G₂₃：B₁₁D₁₁D₁₂B₁₂B₁₁；      G₂₄：B₁₂D₁₂D₁₃B₁₃B₁₂；

G₂₅：B₁₃D₁₃D₁₄B₁₄B₁₃；      G₂₆：B₁₄D₁₄D₁₅B₁₅B₁₄；

G₂₇：B₁₅D₁₅D₁₆B₁₆B₁₅；      G₂₈：B₁₆D₁₆D₁B₁B₁₆。

步骤S7：利用梯度内积与外积运算构造不规则区域的匹配描述子。具体步骤如下：记子区域G_k(k＝1，2，...，28)内点(x_i，y_i)处梯度向量为

区域内平均梯度向量为

按照下式计算该区域描述向量V_k＝[V_k1，V_k2，V_k3，V_k4](k＝1，2，...，28)：

其中ο与∧分别表示内积与外积运算：

将V_k(k＝1，2，...，28)除以对应的子区域G_k(k＝1，2，...，28)内像素数，然后排列为一个向量，即可获得112维描述向量(其中N_k(k＝1，2...，28)分别表示子区域G_k(k＝1，2...，28)包含的像素数)：

V＝[V₁/N₁，V₂/N₂，...，V₂₈/V₂₈]

最后将向量V归一化为单位向量V/||V||即可获得不规则区域的匹配描述子。

步骤S8：通过计算所得描述子之间欧式距离并利用双向匹配准则计算不规则区域之间的相似性，进行区域匹配并输出匹配结果。获得匹配描述子后，首先计算两幅图像中描述子间的欧式距离来度量不同不规则区域之间的相似性；然后利用双向匹配准则进行匹配：对于第1幅图像中一个区域G，如果第2幅图像中区域G′在所有候选区域中与G匹配描述子间的欧式距离最小，如果G同时也是第1幅图像中与G′最匹配的区域，则G，G′为一对匹配区域。匹配完成后输出匹配结果。

本发明提供的数字图像中不规则区域自动匹配方法，没有将不规则区域的形状拟合为规则形状，而是将不规则区域的邻域从里到外划分为三层，并将每层进一步沿圆周方向划分为至少一个子区域，利用梯度内积与外积运算构造所述不规则区域的匹配描述子，通过计算所得描述子之间欧式距离并利用双向匹配准则计算所述不规则区域之间的相似性，进行区域匹配，所以不会引入由于将不规则区域拟合为规则形状而带来的误差；并且在其他的步骤中也不会有显著的误差引入，所以相对于现有的不规则区域匹配方法，本发明具有更高的准确性。

Claims (7)

1.一种数字图像中不规则区域自动匹配方法，其特征在于，包括：

步骤S1：采集图像并输入计算机；

步骤S2：利用不规则区域提取方法提取图像中的不规则区域；

步骤S3：通过计算所述不规则区域内各点的平均梯度方向确定所述不规则区域的主方向d_Main；

步骤S4：通过计算各点的不对称性确定所述不规则区域的最大对称位置P；

步骤S5：以所述最大对称位置为中心，以所述主方向为起始方向，确定所述不规则区域的邻域；

步骤S6：将所述不规则区域的邻域从里到外划分为三层，并将每层进一步沿圆周方向划分为至少一个子区域；

步骤S7：利用梯度内积与外积运算构造所述不规则区域的匹配描述子；

步骤S8：通过计算所得描述子之间欧式距离并利用双向匹配准则计算所述不规则区域之间的相似性，进行区域匹配并输出匹配结果。

2.根据权利要求1所述的数字图像中不规则区域自动匹配方法，其特征在于，所述步骤S4包括：以所述不规则区域内的任一位置为中心，利用18条直线L_i，其中i＝1，2，...，18，将整个圆周等分为36份；记所述不规则区域内直线L_i两侧的像素数分别为N_L(i)，N_R(i)，i＝1，2，...，18，定义

为所述任一位置处的不对称性；将不对称性最小的位置确定为不规则区域的最大对称位置P。

3.根据权利要求2所述的数字图像中不规则区域自动匹配方法，其特征在于，所述步骤S5包括：以所述最大对称位置P为中心，以所述主方向d_Main为起始方向，分别引出16条射线将圆周分为16等份，沿逆时针方向记各条射线与所述不规则区域边界轮廓线的交点分别为：C_i，其中i＝1，2，..16；延长线段C_i至点D_i，使得|PD_i|＝6/5·|PC_i|，i＝1，2，...16，其中|PC_i|、|PD_i|分别表示线段长度；将线段PD_i等分为三段：PA_i，A_iB_i，B_iD_i，i＝1，2，...16；将封闭曲线D₁D₂D₃...D₁₆D₁包含的区域确定为所述不规则区域的邻域。

4.根据权利要求3所述的数字图像中不规则区域自动匹配方法，其特征在于，所述步骤S6包括：将所述不规则区域的邻域从里到外划分为三层，第一层是封闭曲线A₁A₂A₃...A₁₆A₁构成的区域；第二层是封闭曲线A₁A₂A₃...A₁₆A₁与B₁B₂B₃...B₁₆B₁构成的区域；第三层是封闭曲线B₁B₂B₃...B₁₆B₁与D₁D₂D₃...D₁₆D₁构成的区域。

5.根据权利要求4所述的数字图像中不规则区域自动匹配方法，其特征在于，所述步骤S6中对第一层进行划分获得的子区域数为4，依次编号为G₁、G₂、G₃和G₄，这4个子区域的边界曲线分别为：

G₁：PA₁A₂A₃A₄A₅P；      G₂：PA₅A₆A₇A₈A₉P；

G₃：PA₉A₁₀A₁₁A₁₂A₁₃P；  G₄：PA₁₃A₁₄A₁₅A₁₆A₁P。

6.根据权利要求5所述的数字图像中不规则区域自动匹配方法，其特征在于，所述步骤S6中对第二层进行划分获得的子区域数为8，依次编号为G₅、G₆、G₇、G₈、G₉、G₁₀、G₁₁和G₁₂，这8个子区域的边界曲线分别为：

G₅：A₁B₁B₂B₃A₃A₂A₁；            G₆：A₃B₃B₄B₅A₅A₄A₃；

G₇：A₅B₅B₆B₇A₇A₆A₅；            G₈：A₇B₇B₈B₉A₉A₈A₇；

G₉：A₉B₉B₁₀B₁₁A₁₁A₁₀A₉；        G₁₀：A₁₁B₁₁B₁₂B₁₃A₁₃A₁₂A₁₁；

G₁₁：A₁₃B₁₃B₁₄B₁₅A₁₅A₁₄A₁₃；    G₁₂：A₁₅B₁₅B₁₆B₁A₁A₁₆A₁₅。

7.根据权利要求6所述的数字图像中不规则区域自动匹配方法，其特征在于，所述步骤S6对第三层进行划分获得的子区域数为16，依次编号为G₁₃、G₁₄、G₁₅、G₁₆、G₁₇、G₁₈、G₁₉、G₂₀、G₂₁、G₂₂、G₂₃、G₂₄、G₂₅、G₂₆、G₂₇和G₂₈，这16个子区域的边界曲线分别为：

G₁₃：B₁D₁D₂B₂B₁；        G₁₄：B₂D₂D₃B₃B₂；

G₁₅：B₃D₃D₄B₄B₃；        G₁₆：B₄D₄D₅B₅B₄；

G₁₇：B₅D₅D₆B₆B₅；        G₁₈：B₆D₆D₇B₇B₆；

G₁₉：B₇D₇D₈B₈B₇；        G₂₀：B₈D₈D₉B₉B₈；

G₂₁：B₉D₉D₁₀B₁₀B₉；      G₂₂：B₁₀D₁₀D₁₁B₁₁B₁₀；

G₂₃：B₁₁D₁₁D₁₂B₁₂B₁₁；   G₂₄：B₁₂D₁₂D₁₃B₁₃B₁₂；

G₂₅：B₁₃D₁₃D₁₄B₁₄B₁₃；   G₂₆：B₁₄D₁₄D₁₅B₁₅B₁₄；

G₂₇：B₁₅D₁₅D₁₆B₁₆B₁₅；   G₂₈：B₁₆D₁₆D₁B₁B₁₆。

Images