CN104537696A - 基于匹配特征三元组的单幅图像螺旋对称结构检测方法 - Google Patents

Abstract

本发明公开了一种基于匹配特征三元组的单幅图像螺旋对称结构检测方法，所述方法包括以下步骤：确定主螺旋图心；计算螺旋增长率的候选值；确定螺旋增长方向；确定主增长率；计算初始半径集；通过主螺旋图心、螺旋增长率、螺旋增长方向和初始半径集重建螺旋线组。本方法可以有效的从单幅图像上得到一个螺旋对称结构的主螺旋中心、增长方向、增长率和初始半径集合。在人造图像及自然场景下都进行了大量的实验证明了这个方法的有效性和优越性。

Description

基于匹配特征三元组的单幅图像螺旋对称结构检测方法

技术领域

本发明涉及计算机视觉领域，尤其涉及一种基于匹配特征三元组的单幅图像螺旋对称结构检测方法，能够快速有效的在人造图像及自然场景中检测出螺旋对称结构。

背景技术

总的来说，螺旋规律[1，2]不论是在自然界还是人造事物中都是大量存在。由于人类视觉系统对对称结构十分敏感，而且在不同的成像条件下，几何对称结构有很多特性是相同的，因此对称结构的检测在理解图像结构和内容[3，4]上都是非常重要的。最近，人们提出了许多有效的方法，能够在单幅图像上检测特定的对称结构[4-6]。同时，对称检测也用于许多视觉工作中，例如图像分割[7，8]、物体识别和验证[9，10]、特征提取与匹配[11，12]等。

对称检测的研究工作最早是针对特定对称形状的检测[13-16]。在1972年，Duda和Duday[17]研究了如何在一个三参数空间下利用霍夫变换来检测圆形，这三个参数分别为 形成圆形方程Kimme等人[18]根据圆形结构边界梯度方向总是指向或远离圆心这一事实，进一步优化了方法[17]，因此在同样的参数空间下大大减小了点密度。Ballard展示了如何通过霍夫变换来分析检测椭圆形[19]。最近，自动对称检测工作已经从纯欧几里得空间延伸到了更一股的仿射和射影变换。Lei等人[20]研究出了一种基于从边界轮廓提取斜对称轴和其相应倾斜角的霍夫变换策略。Lee等人[21，22]提出了一种带状膨胀(FE)方法，并且完美的得到了一股化斜旋转对称群的五个属性，即图心、变形、类型{C_n，D_n，O(2)}、基数和支撑域。

利用已经很成熟的局部鲁邦特征[23-25]，最近的对称检测方法通常都依赖于图像中提取的局部鲁邦特征。例如，Loy等人[26]利用鲁邦特征集来建模一个统一的方法，然后用有限的重复模式检测出两侧对称和径向对称结构。Cornelius等人[27]利用对所有的等方向和等倾斜角的穷举搜索提出了在仿射投影下检测平面螺旋对称的方法。Wang等人[28]提出了一个通过仿射不变性边缘特征在非特殊的真实图片中同时检测旋转对称和反射对称的策略。

对比发展迅速的一股化双侧对称结构的检测，针对单幅图像上一股化径向对称结构的检测工作却不太多。根据[1，29]，在数学上讲，径向对称可被分为两类：1)具有有限重复模式的传统径向对称结构；2)具有无限对称模式的更一股化的螺旋结构[29]，其最通用的类型就是等角螺线结构。正如图1所示，螺旋结构在自然世界和人造世界中都是普遍存在的。

特别的，在极坐标系统下，一个广义的具有图心O＝(x₀，y₀)的等角螺旋线能表示为：

ρ＝a exp[b(2tπ)+θ]   (1)

这里ρ代表径向距离，t≥0代表圈数索引，θ∈[0，2π)指代在当前圈[2tπ，2tπ+2π)中的径向角，即当前圈的径向角，是包含之前所有圈的实际径向角，a是基于t的初始半径(当t→∞时，a→0，也就是说在其内部螺旋线可以无限增长)，b代表螺旋增长率[1]。在这个极坐标系统中，r∈{CCW，CW}为螺旋线的增长方向，这里CCW是逆时针方向，CW为顺时针方向。可以很清楚的看到，一条标准的螺旋线能被4个参数{O，r，b，a}正确的建模。给定了这四个参数及螺旋线上点(x，y)的坐标，则该点相应的极坐标参数ρ，θ以及点所处圈数t就能正确的计算出来，公式如下，其中O＝(x₀，y₀)为等角螺旋线图心坐标。

$\left\{\begin{array}{c}\mathrm{\ρ}={[{(x-x_0)}^2+{(y-y_0)}^2]}^{\frac{1}{2}}\\ \mathrm{\θ}=\arctan \left(\frac{y-y_0}{x-x_0}\right)\\ t=\frac{1}{2\mathrm{\π}}[\frac{1}{b}\ln \left(\frac{\mathrm{\ρ}}{b}\right)-\mathrm{\θ}]\end{array}\right.---\left(2\right)$

此外，能容易的看到传统径向对称结构是泛化的螺旋模型的一个特殊情况(在等式(1)中b＝0的情况下)。

一个螺旋对称结构是由一组螺旋线组成的(如图2(c)中的两条螺旋线)，这些螺旋线共享同一个图心O(图2(a))，具有相同的增长方向r(图2(b))，还有同样的增长率b，但有不同的初始半径a(图2(c)(d))。因此，能将整个螺旋对称结构参数化为注意，是初始半径集，其中a_i是每个螺旋线的初始半径，K是该对称结构螺旋线的个数。例如，在图2(c)中的两条螺旋线属于同一个螺旋对称结构，他们参数中不同的只有初始半径。再注意，两个具有同样图心和增长方向的螺旋线在具有相同增长率的前提下是不会相交的，当然它们的图心除外。

从多幅图或向量场中检测特定的螺旋形状在不同的领域都有研究。例如，热带气旋(TC)定位是气象分析中一个重要的任务。它作为一个螺旋适配问题，在几幅连续的卫星图像中，使用局部区域优先或云图向量场来解决[30，31]。在流体动力学分析中，人们使用3D速度矢量场来进行皮质核的检测。然而，这些工作还不足以解决在单幅图像中检测非特定螺旋对称结构的任务。

发明内容

本发明提供了一种基于匹配特征三元组的单幅图像螺旋对称结构检测方法，本发明实现了对非特殊螺旋对称结构的检测，详见下文描述：

一种基于匹配特征三元组的单幅图像螺旋对称结构检测方法，所述方法包括以下步骤：

确定主螺旋图心；计算螺旋增长率的候选值；

确定螺旋增长方向；确定主增长率；计算初始半径集；

通过主螺旋图心、螺旋增长率、螺旋增长方向和初始半径集重建螺旋线组。

所述确定主螺旋图心的步骤具体为：

提取匹配特征三元组；产生图心候选点；通过霍夫投票求取主图心位置。

所述计算螺旋增长率的候选值的步骤具体为：求主图心相关的匹配特征三元组集合；计算中三元组的顺、逆时针增长率及权重。

所述确定螺旋增长方向具体为：

其中，螺旋增长方向的权重得分值r_CCW和r_CW：

$\left\{\begin{array}{c}{r}_{\mathrm{CCW}}=\underset{n=1}{\overset{3N}{\mathrm{\Σ}}}{w}_n\\ r_{\mathrm{CW}}=\underset{n=1}{\overset{3N}{\mathrm{\Σ}}}{w}_n^{\′}\end{array}\right.$

其中，N为三元组个数，w_n为逆时针方向上一个增长率的权重，w′_n为顺时针方向上一个增长率的权重。

所述计算初始半径集具体为：求主增长率相关的特征三元组集合；生成相关组并计算整体的初始半径参数求超相关组及超整体初始半径

本发明提供的技术方案的有益效果是：本发明提出了一种快速有效的基于提取匹配特征三元组的霍夫投票策略。本方法可以有效的从单幅图像上得到一个螺旋对称结构的主螺旋中心、增长方向、增长率和初始半径集合。在人造图像及自然场景下都进行了大量的实验证明了这个方法的有效性和优越性。

附图说明

图1：自然世界和人造场景中广泛存在的螺旋对称结构示意图；

图2：螺旋对称结构参数示意图。其中图2(a)表示一个螺旋图形，其图心为0。图2(b)表明了螺旋结构的增长方向。图2(c)表示两条螺旋线属于同一个螺旋结构。图2(d)表明属于同一个螺旋结构的螺旋线有着相同的图心，相同的增长方向，但有不同的初始半径；

图3：螺旋图心和螺旋线上特征点的关系示意图；

图4：确定螺旋图心示意图。图4(a)为特征点的示意图。图4(b)为霍夫投票结果示意图，横纵坐标对应图片宽高，图中越亮的位置其为图心的概率越高。图4(c)为确定图心位置后的结果图；

图5：由一个匹配特征三元组得到的两个方向上的螺旋线示意图。一个特征三元组中的三个特征点{P_i，P_j，P_k}可以看做在逆时针方向上的螺旋线上如图5(a)，也可以看做在顺时针方向上的螺旋线上，如图5(b)，但其中只有图5(a)中的结果才是正确的；

图6：确定螺旋增长方向及增长率示意图。图6(a)中确定了螺旋增长方向(r₀，逆时针)及增长率(b₀，参考值0.183)。图6(b)为计算螺旋增长率的投票结果，横坐标为增长率的可能值，纵坐标为增长率可能值对应的概率；

图7：相关组的产生及其整体初始半径的计算示意图(具体内容参见小节105：计算初始半径集)。图7(a)中展示一个例子，其中{P₁，P₂，P₃}和{P₃，P₄，P₅}属于两个不同的特征三元组，但因为P₃既属于前者又属于后者，因此这两个三元组被认为属于一个相关组。图7(b)中水平线l上的五个点到图心O的距离就是各个特征点求得的初始半径。图7(c)得到了一个近似的初始半径来近似计算每个特征点的圈数索引。图7(d)展示最终得到的初始半径的结果，使得所有的特征点整体上最近接螺旋线；

图8：螺旋线的重建及相近螺旋线的合并示意图。图8(a)展示了我们求得的所有螺旋线片段。图8(b)中将位置接近的螺旋线片段合成一条螺旋线；

图9：三种算法结果的比较示意图；

图10：三种算法图心检测准确率的比较示意图。图10(a)和(b)中的横坐标为判断检测是否成功的阈值，纵坐标为F1一measure(一个常用的评价标准，可以表示准确率)。图10(a)为三种方法在传统径向对称结构检测中的比较。图10(b)展示了三种方法在检测螺旋结构时图心准确率的结果；

图11：本算法螺旋增长率计算的准确率示意图；

图12：一种基于匹配特征三元组的单幅图像螺旋对称结构检测方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

目前没有一种对称检测方法尝试从非特殊类的真实图像中检测整个一股化的螺旋对称结构。为了填补这个空白，本方法提出了一种有理有效的方法来解决这个具有挑战性的问题。利用了匹配特征三元组(MRFs)方法来进行非特殊螺旋对称结构的检测。依靠价值度霍夫投票，它能可靠的求得一股化螺旋对称结构的主螺旋图心、相应的增长方向、相同的增长率和初始半径集合。同时，做了大量的实验证明了这个方法的有效性和优越性。

本发明致力于检测具有相同增长率和增长方向的螺旋线组成的螺旋对称结构。由于具有相同图心但不同增长率或不同增长方向的螺旋线组可能导致非对称的结构，因此这类情况本方法不作考虑。

可以说，本方法的工作可能是一种对非特类螺旋对称检测的新的尝试。这个方法基于局部鲁棒特征匹配三元组来实现，能够快速有效的在人造图像及自然场景中检测出螺旋对称结构。有关螺旋图心定位的初步工作在[32]中有介绍。

101：确定主螺旋图心；

检测整个螺旋对称结构的主要任务是在复杂的背景下精确的定位螺旋图心。本方法没有包含任何有关对称图心的先验操作，而是利用从单图中提取的匹配特征三元组来进行图心的检测。整个过程分为以下步骤：

1)匹配特征三元组的提取；

本方法以单幅图中提取的匹配特征三元组(MFT)为前提。为所有T_ijk的集合，其中P_i，P_j，P_k代表图像中的三个特征，P_i～P_j～P_k表示对于特征P_i来说，P_i，P_k是离P_i最近的两个特征。

这里，仅使用SIFT特征[34]。值得注意的是，一个特征P_i＝(x_i，y_i，φ_i，s_i)有四个参数：坐标(x_i，y_i)、方向φ_i和尺度s_i。接下来去掉中那些有问题的个体，例如：那些坐标很接近但方向差别很大的特征都是需要舍弃的，因为对于螺旋线上很接近的两个特征，它们的特征梯度方向不会相差很多。

一个MFT T_ijk中的匹配特征点P_i、P_j和P_k具有两个特性：等角和等圈。首先，每个特征点的主方向和其径向线的夹角β是一个常量(参见图3)，图3中ω是特征点主方向和螺旋线在该点切线的夹角，θ为螺旋线上一特征点对应的当前圈数下的径向角，为螺旋线上特征点的主方向角，ψ为螺旋线上一特征点的主方向和该点对应的径向线的夹角(后面还会引用图3，其参数说明后面不在赘述)。其次，在一个MFT中的三个特征点通常都在螺旋对称结构中的一个螺旋线上。更重要的是，它们的径向角θ的差值通常小于2π。另一方面，这三个特征点所在的圈数索引t也都是一样的。这两个结论不论从理论角度还是经验角度讲都是合理的：理论上，在一个MFT中，匹配特征点通常有非常接近的描述子和尺度，而且处于不同螺旋圈数的特征点尺度差别往往比处于同一螺旋圈数的特征点尺度差别要大，所以那些尺度相差很大的特征点不太可能出现在同一个MFT中；从经验角度考虑，实验中有超过91％的MFT满足等圈属性。在接下来的论述中，将详细介绍等角和等圈属性如何能帮助简化一股化螺旋对称结构的检测。

2)图心候选点的产生；

在研究过程中，发现每一个给定的匹配特征三元组T_ijk都能够产生一个候选的图心位置。如图3所示，在等式(1)中定义的等角螺线有一个显著的特性就是等角，也就是切线和径向线之间的夹角是一个常量[33]，定义为β。特别的，对于传统意义上的径向对称，进一步发现，由于某一特征点的主方向和其周围图像结构高度相关，因此任何一个检测到的特征点P_u(u∈{i，j，k})其主方向和它在螺旋线上相应切线的夹角ω是一个定值。因此，对于一个特征匹配三元组T_ijk，也就有了一个常量角度ψ＝β+ω，这是特征点主方向和其径向角的夹角。根据角之间的关系，有ψ＝π-(θ_u-φ_u)，其中u∈{i，j，k}(参见图3)。这样就能得到下面的等式：

θ_u-θ_v＝φ_u-φ_v    (3)

这里u，v∈{i，j，k}，u≠v。注意，在等式(3)中，等号右边的变量是已知的，等号左边的变量能根据螺旋图心O_ijk＝(x₀，y₀)来求得，因为tan(θ_u)＝(y_u-y₀)/(x_u-x₀)。tan(θ_u-θ_v)＝tan(φ_u-φ_v)，将三个式子合并，经过通分后能得：

$\tan ({\mathrm{\φ}}_u-{\mathrm{\φ}}_v)=\frac{(y_u-y_0)(x_v-x_0)-(y_v-y_0)(x_u-x_0)}{(x_u-x_0)(x_v-x_0)+(y_u-y_0)(y_v-y_0)}---\left(4\right)$

将等式(4)右边全部展开，同项合并后又能进一步表达为：

K_uv(x₀ ²+y₀ ²)+A_uvx₀+B_uv-C_uvy₀＝0    (5)

这里K_uv＝tan(φ_u-φ_v)，A_uv＝(y_u-y_v)-K_uv(x_u+x_v)，B_uv＝K_uv(x_ux_v+y_uy_v)+x_uy_v-x_vy_u，C_uv＝(x_u-x_v)+K_uv(y_u+y_v)。这些变量都是可以根据一个T_ijk求得的，其中uv可取ij、ik或jk，这里取uv＝ij和ik(因为uv取jk得到的式子可以被uv＝ij和ik得到的式子表示，因此只需要取两个式子即可)，得到：

$\left\{\begin{array}{c}{K}_{\mathrm{ij}}({x_0}^2+{y_0}^2)+A_{\mathrm{ij}}{x}_0+B_{\mathrm{ij}}-C_{\mathrm{ij}}{y}_0=0\\ K_{\mathrm{ik}}({x_0}^2+{y_0}^2)+A_{\mathrm{ik}}{x}_0+B_{\mathrm{ik}}-C_{\mathrm{ik}}{y}_0=0\end{array}\right.---\left(6\right)$

通过等式(6)，等式(5)中的有关x₀，y₀的二次项能被直接消除，从而等式能被简化为如下所示的一个线性方程：

(K_ikA_ij-K_ijA_ik)x₀+(K_ikB_ij-K_ijB_ik)＝(K_ikC_ij-K_ijC_ik)y₀    (7)

把等式(7)整合到等式(5)中能首先得到二次方程的根x₀，然后得到相应的y₀，从而得到了螺旋线的图心位置(x₀，y₀)。这个方法很有优势，因为它不必去计算一个四次方程，大大降低了计算复杂度。以上所述的图心候选点生成算法在之前的工作[32]中有相应描述。

3)霍夫投票求主图心位置。

通过公式(4)-(7)，能从匹配特征三元组中得到相应的螺旋图心坐标，形成一个集合C。如图4所示，使用[4，26]中的霍夫投票方法寻求局部极大值得到主螺旋图心。为了使投票过程更加稳定，用一个高斯核(σ＝5)与每个候选点进行卷积，并且用适当的权重W_ijk＝D·S来调节每个候选点，其中D为平均径向距离，S与{P_i，P_j，P_k}的标准差有关。需要说明的是，接近对称中心的特征相比远离中心的特征对投票过程的贡献程度要大，而且其程度要远远超过人们想象[26，34]，因此使用了类似[4]中提到的方案来给那些有相同特征尺度但有更短径向距离的特征点一个更大的权重。权重定义如下：

其中，第二个式子中，T_ijk一个匹配特征三元组，O_ijk为通过T_ijk计算得到的螺旋线图心。mean(T_ijk)计算了一个匹配特征三元组中每个特征到由这个三元组得到图心的距离的平均值。第一个式子中，得到所有三元组按照二式计算得到的最大值，∈为误差参数，计算时根据具体情况人为给定，也可根据具体实验结果进行调整。第四个式子中std表示计算标准差，std(T_ijk)得到一个三元组中三个特征的标准差。第三个式子和第一个式子类似。由W_ijk＝D·S可以看到，当平均径向距离meatn(T_ijk)越小时，D越大，则权重W_ijk越大；当标准差std(T_ijk)越小时，S越大，则权重W_ijk越大，符合假设。

102：计算螺旋增长率的候选值；

1)求主图心相关的匹配特征三元组集合；

给定了一个主图心O，找出所有图心O_ijk和O在空间上很近的三元组T_ijk，组成集合其中τ_o是判断阈值，把称之为O相关特征三元组。在实验中，参数τ_o往往设成图像对角线长度的5％。

2)计算中三元组的顺、逆时针增长率及权重；

定义(ρ_u，θ_u)(u∈{i，j，k})代表特征点P_u的极坐标，这里θ_u是当前圈的径向角(参见图3，且满足0≤θ_u≤2π；ρ_u为径向距离。考虑两个可能的螺旋增长方向(CW和CCW)，假定和是θ_u在两个不同方向下的结果有：

$\left\{\begin{array}{c}{\mathrm{\ρ}}_u=a\·\exp \left[b({2\mathrm{\πt}}_u^{\mathrm{CCW}}+{\mathrm{\θ}}_u^{\mathrm{CCW}})\right]\\ {\mathrm{\ρ}}_u=a^{\′}\·\exp \left[b^{\′}({2\mathrm{\πt}}_u^{\mathrm{CW}}+{\mathrm{\θ}}_u^{\mathrm{CW}})\right]\end{array}\right.---\left(9\right)$

其中，和是P_u在CCW和CW方向下的圈数索引；a和a′是在两个方向上的初始螺旋半径，b和b′是在两个方向上的螺旋增长率。根据特征三元组等圈属性，三元组中的三个特征点总是在一个螺旋线上。因此能从三元组中每两个特征点P_u、P_v(u，v∈{i，j，k})，各得到两个螺旋增长率b的值(b_uv，b′_uv)，如下所示：

$\left\{\begin{array}{c}{b}_{\mathrm{uv}}=\frac{\ln ({\mathrm{\ρ}}_u/{\mathrm{\ρ}}_v)}{{\mathrm{\θ}}_u^{\mathrm{CCW}}-{\mathrm{\θ}}_v^{\mathrm{CCW}}+(t_u^{\mathrm{CCW}}-t_v^{\mathrm{CCW}})2\mathrm{\π}}\\ b_{\mathrm{uv}}^{\′}=\frac{\ln ({\mathrm{\ρ}}_u/{\mathrm{\ρ}}_v)}{{\mathrm{\θ}}_u^{\mathrm{CW}}-{\mathrm{\θ}}_v^{\mathrm{CW}}+(t_u^{\mathrm{CW}}-t_v^{\mathrm{CW}})2\mathrm{\π}}\end{array}\right.---\left(10\right)$

其中，ρ_u、ρ_v为两个特征点对应的径向距离，为两个特征点在逆时针旋转的螺旋线上对应的径向角，为两个特征点在顺时针旋转的螺旋线上对应的径向角，为两个特征点在逆时针旋转的螺旋线上对应的圈数索引，为两个特征点在顺时针旋转的螺旋线上对应的圈数索引。

根据等圈属性可知，三元组中的三个特征点的径向角之差总小于2π，去掉有关圈数的变量，公式(10)可简化为：

$\left\{\begin{array}{c}{b}_{\mathrm{uv}}=\frac{\ln ({\mathrm{\ρ}}_u/{\mathrm{\ρ}}_v)}{{\mathrm{\θ}}_u^{\mathrm{CCW}}-{\mathrm{\θ}}_v^{\mathrm{CCW}}+{\left(2\mathrm{\π}\right)}^{k_1}}\\ b_{\mathrm{uv}}^{\′}=\frac{\ln ({\mathrm{\ρ}}_u/{\mathrm{\ρ}}_v)}{{\mathrm{\θ}}_u^{\mathrm{CW}}-{\mathrm{\θ}}_v^{\mathrm{CW}}+{\left(2\mathrm{\π}\right)}^{(1-k_1)}}\end{array}\right.---\left(11\right)$

这里k₁是用于调节圈数的变量，如果那么k₁＝0，否则k₁＝1。换句话说，为了保证有较大径向距离的特征点会有一个较大的径向角，所以当不满足这个条件时就给较大径向距离的特征点的径向角加上2π。例如，在图5(a)中，P_j比P_k具有更大的径向距离但其当前圈数下的径向角要更小。虽然他们的径向角之差要小于2π，但P_j的当前圈数要比P_k的大。在这种情况下，就需要做出这样的调整。

根据已求得的增长率b_uv和b′_uv，能计算出T_ijk中第三个点相应的径向距离和(h∈{i，j，k}，h≠u，h≠v)：

$\left\{\begin{array}{c}{\mathrm{\ρ}}_h^{\mathrm{CCW}}={\mathrm{\ρ}}_u\·\exp \left[b_{\mathrm{uv}}({\left(2\mathrm{\π}\right)}^{k_2}+{\mathrm{\θ}}_h^{\mathrm{CCW}}-{\mathrm{\θ}}_u^{\mathrm{CCW}})\right]\\ {\mathrm{\ρ}}_h^{\mathrm{CW}}={\mathrm{\ρ}}_u\·\exp \left[b_{\mathrm{uv}}({\left(2\mathrm{\π}\right)}^{(1-k_2)}+{\mathrm{\θ}}_h^{\mathrm{CW}}-{\mathrm{\θ}}_u^{\mathrm{CW}})\right]\end{array}\right.---\left(12\right)$

这里k₂是圈数调整变量，和是第三个特征点P_h在当前圈的两个方向的径向角。此外，为b_uv和b′_uv定义了权重w_uv，w′_uv：

$\left\{\begin{array}{c}{w}_{\mathrm{uv}}=\frac{\min ({\mathrm{\ρ}}_h,{\mathrm{\ρ}}_h^{\mathrm{CCW}})}{\max ({\mathrm{\ρ}}_h,{\mathrm{\ρ}}_h^{\mathrm{CCW}})}\\ w_{\mathrm{uv}}^{\′}=\frac{\min ({\mathrm{\ρ}}_h,{\mathrm{\ρ}}_h^{\mathrm{CW}})}{\max ({\mathrm{\ρ}}_h,{\mathrm{\ρ}}_h^{\mathrm{CW}})}\end{array}\right.---\left(13\right)$

上面式子表示如果由b_uv求得的和差距较小，那么b_uv就应该有一个较大的权重。这样的处理同样适用于b′_uv。

很清楚的知道，根据T_ijk可以分别求出两个方向上的各三个参数b的值和其相应的权重值。对中所有的三元组按公式(11)-(13)计算，就能得到两个候选参数集B_CCW＝{b_n，w_n}和B_CW＝{b′_n，w′_n}(n∈[1，3N])，这里N表示三元组的个数，b_n、w_n为逆时针旋转的螺旋线情况下计算出的增长率和权重，b′_n、w′_n为顺时针旋转的螺旋线情况下计算出的增长率和权重。需要注意，求出的权重值是确定增长方向r和增长率b的前提条件。

103：确定螺旋增长方向；

如图5所示，一个O相关特征三元组中的三个特征点{P_i，P_j，P_k}可以看做在逆时针方向上的螺旋线上如图5(a)，也可以看做在顺时针方向上的螺旋线上，如图5(b)。当一个本应处于逆时针方向螺旋线上的三元组被错误的认为在一个顺时针方向的螺旋线上时，就会如同图5(b)所示那样，三个特征点不处在同一圈上了。因为在计算增长率b的候选值时假设了每个O相关特征三元组中的特征点都在同一圈中，因此{P_i，P_j，P_k}得到的CW方向的权重w′_uv要比CCW方向的权重w_uv小。基于这个结论，给出了两个螺旋增长方向的权重得分值r_CCW和r_CW：

$\left\{\begin{array}{c}{r}_{\mathrm{CCW}}={\mathrm{\Σ}}_{n=1}^{3N}{w}_n\\ r_{\mathrm{CW}}={\mathrm{\Σ}}_{n=1}^{3N}{w}_n^{\′}\end{array}\right.---\left(14\right)$

这里N为三元组个数，w_n为逆时针方向上一个增长率可能值的权重，w′_n为顺时针方向上一个增长率可能值的权重。具有较大得分的方向即为螺旋增长方向(命名为r₀)，图6(a)展示了在实验中求增长方向的结果，图中b₀为某次实验中增长率的值，在下一步中介绍。

104：确定主增长率；

假如已经确定的增长方向是CCW，对在B_CCW(B_CCW＝{b_n，w_n}，n∈[1，3N])中所有的候选值b进行高斯模糊(σ＝10)霍夫投票，从而得到参数b的局部极大值(命名为b₀)。w_n作为b_n(n∈[1，3N])的投票权重使得投票过程更加稳定。这个过程同样适用于求解CW方向的螺旋增长方向问题。图6展示了在求解增长方向和主增长率b时的投票结果，横坐标为增长率的值，纵坐标为某增长率的概率，取纵坐标值最大的增长率为所求的增长率b₀，图中取值为0.183。

105：计算初始半径集；

1)求主增长率相关的特征三元组集合；

得到b₀相关的特征三元组在得到主增长率b后，找到和它相关的特征三元组命名为b₀相关特征三元组。特别的，这个集合中收集了至少有一个候选增长率b_uv足够接近b₀(阈值为τ_b)的所有三元组在本实验中，τ_b设为90％。

2)生成相关组并计算整体的初始半径参数

通过在每两个T_ijk 间搜索同样的特征点，可以构建一个邻接矩阵，这样那些拥有至少一个相同特征点的T_ijk会被组合起来形成相关组图7(a)中展示一个例子，其中{P₁，P₂，P₃}和{P₃，P₄，P₅}是两个不同的b₀相关特征三元组。因为P₃既属于前者又属于后者，因此这两个三元组被组合在了一起。

通过上述方法，能从中得到一个相关组利用最小二乘估计法，每一个相关组能推出一个整体的初始半径使得中所有的特征点都尽可能的接近由定义的螺旋线。为了清楚起见，先介绍如何从一个相关组中得到初始半径

设具有M个特征点的相关组为 中的一个特征能表示为P_m(ρ_m，θ_m，a_m)(m∈[1，M])，这里ρ_m，θ_m，a_m分别为P_m的径向距离、当前圈的径向角以及初始半径。根据等式(1)，一个螺旋线的初始半径无限接近零，当他足够小时，人们很难凭视觉判断它的大小。因此，通过连续放大P_m的圈数，能得到它的近似初始半径。同时地，在放大过程中，让所有中特征点的近似初始半径都在一个统一的范围内，这是为了排除中每个特征点所处圈数不同导致的影响。计算a_m的过程如下：

$\left\{\begin{array}{c}{t}^{*}=\min \begin{array}{c}\arg \\ t\end{array}(\frac{{\mathrm{\&rho;}}_m}{\exp \left[b_0(2\mathrm{t\&pi;}+{\mathrm{\&theta;}}_m)\right]}<\mathrm{\&mu;})\\ a_m=\frac{{\mathrm{\&rho;}}_m}{\exp \left[b_0(2\mathrm{t\&pi;}+{\mathrm{\&theta;}}_m)\right]}\end{array}\right.---\left(15\right)$

这里μ是一个很小的值，保证初始半径足够小，t^*是在满足的条件下驭最小值时的t值。实验中，μ＝5。如图7(b)所示，水平线l上的五个点到图心O的距离就是各个特征点求得的初始半径。

通常，对于中的M个特征点，初始半径为a₁，a₂，...，a_M，通过最小二乘估计法来求得

这里t_m代表由(O，r₀，b₀，a_x)表示的中每个特征点的圈数索引。

利用一个近似的初始半径来近似计算t_m，这里假设近似等于需要使中所有特征点的初始半径(a₁，a₂，...，a_M)全局上尽可能的接近

在图7(c)中，水平线l与螺旋线的交点到图心的距离就是它能保证所有的特征点(图7(c)中P₁到P₅)整体离螺旋线最近。由构成的螺旋线和经过图心与特征点P_m的每条直线都有交点。在这些交点中，选择离P_m最近的交点在螺旋线上的圈数索引即为P_m的所在圈数t_m。这个过程公式化为：

这里选择使得绝对值值最小的的值作为t_m。知道了t_m，将等式(16)进一步数学推导得到：

图7(d)展示了整体初始半径的结果，即水平线l与螺旋线交点到图心O的距离为根据等式(16)，由建立的螺旋线(如图7(d))使得e_sum最小，这里其中e_i第i个特征点到螺旋线的距离(如图7(d))，e_sum表示所有N个点到螺旋线的距离的平方和(图7(d)中N为5)，它的值越小表示我们的螺旋线拟合的越好。比较7(c)和7(d)中的螺旋线，很容易发现虽然由构建的螺旋线也很接近相关组的曲线适配结果，但由得到的螺旋线却能保证所有中的特征点与之全局更接近，这是因为在计算时考虑了每个特征点P_m的位置，而不是仅仅考虑他们的初始半径a_m。

3)求超相关组及超整体初始半径

按照之前所提的方法，能从中得到相关组的集合。假设相关组共有Z个，能得到一个超相关组 是第z个相关组 是求得的相应组的整体初始半径参数

在中，把具有较接近的组进一步合并，得到一个超组以及超整体参数a的集合。细化来说，如果 和就需要合并。属于同一个合并超组的特征点重新组合到一起然后按照等式(15)-(19)计算a_s。将所有计算出的a_s合并成一个集合即为所求的超整体参数集这个集合就是最终需要的初始半径集合。

综上，就构成了最终需要检测的螺旋对称结构，这里的r₀是由螺旋图心得来，b₀又由(O，r₀)求得，最后再由(O，r₀，b₀)算出。图8(a)中展示了由(O，r₀，b₀)及所有的可能取值构建的螺旋线片段。需要注意，通过式子2t_mπ+θ_m能得到所有特征点的径向角，也能画出由构建出的每个螺旋线片段，每个螺旋线片段由初始半径位置开始，一直连接到相关组中所有特征点中最大径向角位置。特别的，图8(a)中有很多螺旋线近似重合，因此我们将位置很接近的螺旋线用一条螺旋线表示，图8(b)所示。图8(b)展示了最后得到的螺旋线对称结构，除使用了超相关组来求螺旋线外，其它步骤与图8(a)中一样。

应该注意的是，这里提出的方法也能有效的检测径向对称结构，只要在求b₀时对阈值τ_c进行修改即可。当b₀≤τ_c，(τ_a＝0.01)时，检测的是径向对称结构并且强制使增长率b₀＝0。然后按照之前的过程得到初始半径集再根据初始半径集重建出径向对称结构。这里跟之前有两点不同，一个是可以直接把所有b₀相关特征三元组的特征点集合成一个相关组通过计算三元组中三个特征点径向距离的平均值得到整体初始半径参数第二点是能通过计算整体参数的平均值得到最终的初始半径a_s，这里由超相关组中的某一个相关组求得。

图9展示了本方法和Loy2006[13]及Dalitz2013[16]在两种类型检测上的对比，图中第一行为原图，第二行为Loy2006[13]的结果，第三行为Dalitz2013[16]的结果，最后一行为本方法的结果。能看到，已有的方法能检测出传统径向结构的图心和边缘(虽然也会检测错误，第3行第2列的图)，但对螺旋对称结构的检测结果很难让人满意，而本方法在面对这两种对称结构时都能得到不错的结果。

图10展示了图心检测准确率的比较，圆形线为Loy2006的结果，三角线为Dalitz2013的结果，方形线为我们的结果。图心检测对错的判断依据如下：令O_GT为通过人为判断得到的图中对称结构的图心，代表正确结果，O为由算法检测出的图心位置，当||O-O_GT||₂≤τ₁时，认为图心检测正确，否则检测失败。图10(a)和(b)中的横坐标为τ₁的值，纵坐标为F1-measure，是一个常用的评价标准，可以表示其准确率。图10(a)为三种方法在传统径向对称结构检测中的比较，能够看到，本方法的结果和Loy2006类似，但优于Dalitz2013。图10(b)展示了三种方法在检测螺旋结构时图心准确率的结果，可以看到，本方法要远远好于另两种方法。

图11展示了本方法在计算螺旋增长率时的正确率情况。规定当满足时认为增长率计算正确，其中b为算法所求，b_GT为人工检测得到的正确结果。图11中横坐标为τ₂的不同取值，纵坐标为螺旋增长率计算的正确率。在图11中可以看到，τ₂取0时正确率几乎为100％。相反，当τ₂取1时正确率近似为零。这是因为在这种情况下只有b＝b_GT时才算检测正确，而这种分毫不差的约束太过苛刻。

本方法也可以应用于存在多个螺旋结构的图像，也能处理有部分遮挡的螺旋结构图像，并且投入到更有实际意义的热带气旋检测工作中，也能达到很好的效果，对比检测热带气旋的常规方法[30，31]，本法更加简便且高效。

参考文献

[1]H.Weyl，Symmetry.Princeton Univ.，1952.

[2]M.Pauly，N.J.Mitra，J.Wallner，H.Pottmann，and L.J.Guibas，“Discovering structuralregularity in 3d geometry，”ACM Trans.Graph Proc.-Proc.of SIGGRAPH 2008，vol.27，no.3，pp.43：1-43：11，2008.

[3]G.Kootstra，A.Nederveen，and B.De Boer，“Paying attention to symmetry，”in BMVC，2008.

[4]S.Lee and Y.Liu，“Curved glide-reflection symmetry detection，”IEEE Trans.Pattern Anal.Mach.Intell.，vol.34，no.2，pp.266-278，2012.

[5]J.Ni，M.Singh，and C.Bahlmann，“Fast radial symmetry detection under affinetransformations，”in CVPR，2012.

[6]R.Kakarala，P.Kaliamoorthi，and V.Premachandran，“Three-dimensional bilateralsymmetry plane estimation in the phase domain，”in CVPR，2013.[7]Z.Liu，L.Xie，and W.Feng，“Maximum lexical cohesion for fine-grained news story segmentation，”inINTERSPEECH，2010.

[7]Y.Sun and B.Bhanu，“Reflection symmetry-integrated image segmentation，”IEEE Trans.Pattern Anal.Mach.Intell.，vol.34，no.9，pp.1827-1841，2012.

[8]W.Feng，J.Jia，and Z.-Q.Liu，“Self-validated labeling of Markov random fields for imagesegmentation，”IEEE Trans.Pattern Anal.Mach.Intell.，vol.32，no.10，pp.1871-1887，2010.

[9]P.Flynn，“3D object recognition with symmetric models：Symmetry extraction and encoding，”IEEE Trans.Pattern Anal.Mach.Intell.，vol.16，no.8，pp.814-818，1994.

[10]W.Feng and Z.-Q.Liu，“Region-level image authentication using Bayesian structuralcontent abstraction，”IEEE Trans.Image Processing，vol.17，no.12，pp.2413-2424，2008.

[11]D.Hauagge and N.Snavely，“Image matching using local symmetry features，”in CVPR，2012.

[12]W.Feng，Z.-Q.Liu，L.Wan，C.-M.Pun，and J.Jiang，“A spectral-multiplicity-tolerantapproach to robust graph matching，”Pattern Recognition，vol.46，no.10，pp.2819-2829，2013.

[13]R.Duda and R.Duday，“Use of the Hough transformation to detect lines and curves inpictures，”Communications of the ACM，vol.15，no.1，pp.11-15，1972.

[14]C.Kimme，D.Ballard，and J.Sklansky，“Finding circles by an array of accumulators，”Communications of the ACM，vol.18，no.2，pp.120-122，1975.

[15]D.Ballard，“Generalizing the Hough transform to detect arbitrary shapes，”PatternRecognition，vol.13，no.3，pp.111-122，1981.

[16]Y.Lei and K.C.Wong，“Detection and localisation of reflectional and rotational symmetryunder weak perspective projection，”Pattern Recognition，vol.32，no.2，pp.167-180，1999.

[17]R.Duda and R.Duday，“Use of the Hough transformation to detect lines and curves inpictures，”Communications of the ACM，vol.15，no.1，pp.11-15，1972.

[18]C.Kimme，D.Ballard，and J.Sklansky，“Finding circles by an array of accumulators，”Communications of the ACM，vol.18，no.2，pp.120-122，1975.

[19]D.Ballard，“Generalizing the Hough transform to detect arbitrary shapes，”PatternRecognition，vol.13，no.3，pp.111-122，1981.

[20]Y.Lei and K.C.Wong，“Detection and localisation of reflectional and rotational symmetryunder weak perspective projection，”Pattern Recognition，vol.32，no.2，pp.167-180，1999.

[21]S.Lee and Y.Liu，“Skewed rotation symmetry group detection，”IEEE Trans.Pattern Anal.Mach.Intell.，vol.31，no.9，pp.1659-1672，2010.

[22]S.Lee，Y.Liu，and R.Collins，“Rotation symmetry group detection via frequency analysisof frieze-expansions，”in CVPR，2008.

[23]D.-G.Lowe，“Distinctive image features from scaleinvariant keypoints，”Int.J.of Comp.Vis.，vol.60，no.2，pp.91-110，2004.

[24]Y.Ke and R.Sukthankar，“PCA-SIFT：A more distinctive representation for local imagedescriptors，”in CVPR，2004.

[25]E.Rublee，V.Rabaud，K.Konolige，and G.Bradski，“ORB：An efficient alternative to SIFTor SURF，”in ICCV，2011.

[26]G.Loy and J.Eklundh，“Detecting symmetry and symmetric constellations of features，”inECCV，2006.

[27]——，“Detecting rotational symmetry under affine projection，”in ICPR，2006.

[28]Z.Wang，L.Fu，and Y.F.Li，“Unified detection of skewed rotation，reflection andtranslation symmetries from affine invariant contour features，”Pattern Recognition，vol.47，no.4，pp.1764-1776，2014.

[29]I.Hargittai and C.A.Pickover，Spiral Symmetry.World Scientific Pub Co Inc.，1992.

[30]K.Wei and Z.-L.Jing，“Spiral band model optimization by chaos immune evolutionaryalgorithm for locating tropical cyclones，”Atmospheric Research，vol.97，no.1-2，pp.266-277，2010.

[31]K.-Y.Wong and C.Yip，“Identifying centers of circulating and spiraling vector fieldpatterns and its applications，”Pattern Recognition，vol.42，no.7，pp.1371-1387，2009.

[32]J.Wang，W.Feng，and J.Sun，“Spiral symmetry centroid detection，”Electronics Letters，vol.50，no.11，pp.808-810，2014.

[33]H.Huntley，The Divine Proportion：A Study in Mathematical Beauty.Dover Pub，1970.

[34]C.W.Tyler，L.Hardage，and R.T.Miller，“Multiple mechanisms for the detection of mirrorsymmetry，”in ICCV，1995.

[35]C.Dalitz，R.Pohle-Fr¨ohlich，and T.Bolten，“Detection of symmetry points in images，”inVISAPP，2013.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于匹配特征三元组的单幅图像螺旋对称结构检测方法，其特征在于，所述方法包括以下步骤：

确定主螺旋图心；计算螺旋增长率的候选值；

确定螺旋增长方向；确定主增长率；计算初始半径集；

通过主螺旋图心、螺旋增长率、螺旋增长方向和初始半径集重建螺旋线组。

2.根据权利要求1所述的一种基于匹配特征三元组的单幅图像螺旋对称结构检测方法，其特征在于，所述确定主螺旋图心的步骤具体为：

1)提取匹配特征三元组；

2)产生图心候选点；

3)通过霍夫投票求取主图心位置。

3.根据权利要求1所述的一种基于匹配特征三元组的单幅图像螺旋对称结构检测方法，其特征在于，所述计算螺旋增长率的候选值的步骤具体为：

1)求主图心相关的匹配特征三元组集合；

2)计算中三元组的顺、逆时针增长率及权重。

4.根据权利要求1所述的一种基于匹配特征三元组的单幅图像螺旋对称结构检测方法，其特征在于，所述确定螺旋增长方向具体为：

其中，螺旋增长方向的权重得分值r_CCW和r_CW：

$\left\{\begin{array}{c}{r}_{\mathrm{CCW}}=\underset{n=1}{\overset{3N}{\mathrm{\&Sigma;}}}{w}_n\\ r_{\mathrm{CW}}=\underset{n=1}{\overset{3N}{\mathrm{\&Sigma;}}}{w}_n^{\&prime;}\end{array}\right.$

其中，N为三元组个数，w_n为逆时针方向上一个增长率的权重，w′_n为顺时针方向上一个增长率的权重。

5.根据权利要求1所述的一种基于匹配特征三元组的单幅图像螺旋对称结构检测方法，其特征在于，所述计算初始半径集具体为：

1)求主增长率相关的特征三元组集合；

2)生成相关组并计算整体的初始半径参数

3)求超相关组及超整体初始半径