CN103258200B - 一种基于仿射不变量的符号识别方法 - Google Patents

Abstract

本发明属于计算机视觉领域，涉及到一种基于仿射不变量符号识别方法。首先，对目标符号求取凸包并构造一系列与符号轮廓相交的直线，通过引入特征比这一仿射不变量求出对应直线上的特征比值；然后，将特征比值依次组合成一个特征向量，并将该向量表示成一系列的特征比谱；最后，通过DTW算法比较特征比谱间的距离得出符号间的相似度，从而进行符号识别。实验表明，本方法不仅对严重的仿射变形有较高的识别率，对相似度较高的符号也有很好的区分效果。

Description

一种基于仿射不变量的符号识别方法

技术领域

本发明属于计算机视觉领域，涉及符号的描述及匹配，特别涉及到一种基于仿射不变量的符号识别方法。

背景技术

符号识别是计算机视觉领域的一个基本问题，有着重要的理论意义和广泛的应用价值，可以应用在大量的图像处理应用中，包括机器人导航,图像检索等。符号作为人类观察和描述物体的重要依据，一直以来就受到关注。而符号识别的目的就是寻找一种简单、有效的符号特征描述及比较方式，既能区分不同种类物体的形状差异，又能容忍符号在视角变化下的严重变形。

目标识别中常用的方法是在符号中找到相应的特征点，然后通过比较这些特征点的描述符，比较两个符号。常用的符号特征描述方法主要分为基于结构的方法和基于统计的方法。基于结构的方法通常将符号抽象为结构化的信息，并将符号用向量的形式进行描述。进而通过向量之间的比较实现符号之间的比较和识别，这类方法的优点是特征维度低，特征比较及识别速度快；基于统计的方法多将符号的轮廓作为表示符号的手段，然后通过轮廓像素点的位置关系生成特征描述符，该类方法通常对符号的各个轮廓点都有精准的描述，但是对于局部的噪声和变形比较敏感，常见的方法包括曲率尺度空间，形状上下文(Shape Context，SC)等。两种方法共同的缺点是对不同视角下符号的剧烈变形没有很好的稳定性，随着符号变形的加剧，识别率下降严重，不利于在实际中应用。

复旦大学的中国发明专利，申请号200410016733，“一种通用的用于符号识别的特征描述方法”,该专利是将符号分割为点，以点和点之间的几何约束作为符号形状描述的基本元素。属于基于统计的方法，优点是具有旋转和伸缩不变的特点，可用于各种图纸和文档中的以及笔输入的符号和字符识别。然而不适用于仿射条件下的符号识别。

华中科技大学的中国发明专利，申请号201110080680，“基于十六值变换的符号识别方法”，该专利将像素点的位置关系生成16值表示的特征，进而进行特征匹配和识别，具有特征提取简单、识别率高、识别速度快等特点，然而仍无法识别真实场景中变形较大的符号，尤其对相似符号的区分度也有欠缺。

发明内容

本发明提出了一种新的基于仿射不变特征的符号描述及识别方法，解决了现有技术的不足，在严重的仿射变换下该方法仍然能保持较高的识别率。

本发明的技术方案包括如下步骤：

步骤1.对原始符号利用边缘检测的方法提取轮廓。

步骤2.对符号轮廓提取凸包。

步骤3.在凸包上进行均匀采样，采样点数为n。采样点顺时针标号为p₁,p₂,…p_n。

步骤4.计算符号与直线相交处的特征比值。

步骤4-1取凸包上任一点p_i为起始点，按逆时针方向与轮廓上其余点p_i-1,p_i-2,…,p₁,…,p_i+1依次相连，共产生n-1条直线。p_i与p_j相连的直线记为<p_i,p_j>。

步骤4-2指与向量平行的单位向量，指与计算与向量垂直的单位向量；这里通过计算与向量平行的单位向量和与向量垂直的单位向量，使其满足

步骤4-3对待识别符号上任一轮廓点，若q满足则q是直线<p_i,p_j>与符号轮廓的一个交点。

步骤4-4设直线<p_i,p_j>与符号轮廓相交的坐标点集为q_s＝{q₁,q₂,...,q_m}。

步骤5.利用定理(1)计算符号在直线<p_i,p_j>处的特征比值。

定理(1)设u,v∈IP² _，u,v是射影平面IP²中的两点，q₁,q₂,...,q_k是点(u,v)所在直线上的k个点，则存在实数使q_i＝a_iu+b_iv,i＝1,2,...,k，称比值

$CHR\&lsqb;u,v;q_1,q_2,\mathrm{...},q_k\&rsqb;:=\frac{b_1{b}_2\mathrm{...}{b}_k}{a_1{a}_2\mathrm{...}{a}_k}$

为点q₁,q₂,...,q_k关于点(u,v)的特征比。

步骤6.重复步骤4，步骤5，将与点p_i相连的所有n-1个采样点的特征值计算完毕。将所有特征值组合成一个特征向量，称为特征比谱CHRS(character-ratiospectra)。则点p_i的特征比谱表示为CHRS(p_i)＝{CHR(p_i,p_k),k＝i-1,i-2,...,1,...,i+1},p_k表示从p_i-1开始的凸包上绕逆时针方向除p_i之外的任一采样点。

步骤7.设X为未知符号目标，x_s＝{x₁,x₂,...,x_M}是其轮廓上的采样点集；设T为某模板符号目标，t_s＝{t₁,t₂,...,t_N}是其轮廓上的采样点集。X上任一轮廓点x_i的特征比谱简写为CHRS(x_i)＝{x_i,u＝CHR(x_i,x_u)|u＝i-1,i-2,...,1,...,i+1}；T上任一轮廓点t_j的特征比谱简写为CHRS(t_j)＝{t_j,v＝CHR(t_j,t_v)|v＝j-1,j-2,...,1,...,j+1}。

步骤7-1利用公式(1)计算采样点x_i和t_j的特征比谱的距离：

$DTW(u,v)=min\left\{\begin{array}{c}DTW(u-1,v-1)+c(u,v)\\ DTW(u-1,v)+c(u,v)\\ DTW(u,v-1)+c(u,v)\end{array}\right.---\left(1\right)$

其中c(u,v)的计算方式为，当(u＝1,v＝1)时，DTW(u,v)＝c(0,0)，其余情况的计算方式如公式(2)所示。

$c(u,v)=\frac{abs\left(\log \right(x_{i,u}+1)-\log (t_{j,v}+1))}{\log (x_{i,u}+1)+\log (t_{j,v}+1)}---\left(2\right)$

步骤7-2重复步骤7-1，计算符号X的任一轮廓采样点与模板符号T的任一轮廓采样点的特征比谱的距离。并建立下表：

表1查询符号与模板符号的DTW距离表

步骤8.在未知符号的轮廓采样点集x_s中选定一个采样点，如表1中x₁,同样从模板符号的采样点集t_s中选择一个采样点t_k，k＝1,...,n，将x₁与t_k对齐作为起始点，对它们顺时针方向上的其他点利用公式(3)作DTW比较，如表1中的DTW距离匹配表。

${\mathrm{DTW}}_k(i,j)=min\left\{\begin{array}{c}{\mathrm{DTW}}_k(i-1,j-1)+c_k(i,j)\\ {\mathrm{DTW}}_k(i-1,j)+c_k(i,j)\\ {\mathrm{DTW}}_k(i,j-1)+c_k(i,j)\end{array}\right.---\left(3\right)$

公式中i＝1,2,...,M,j＝1,2,...,N。当i＝1,j＝1时，DTW_k(i,j)＝DTWdist(x₁,t_k)，c_k(i,j)＝DTWdist(X_i,T_(j+k)modN)。当k＝1时，表1中的灰色背景部分即为匹配的子表。

步骤9.由公式(3)，当X₁与T_k对齐时,X与T的距离记为dist_k(Q,T)＝DTW_k(M,N)。经过N次DTW比较，可以计算出X和T之间的距离为:

dist(X,T)＝min{dist_k(X,T),k＝0,1,...,N-1} (4)

步骤10.利用公式(4)计算未知符号X与所有模板符号之间的距离，距离最小者对应的模板符号即为识别出的符号。

本发明对查询符号具有平移、旋转，仿射不变性，且计算简单，维度较低，对于严重的仿射变形仍能保持比较稳定的识别率。仅仅需要简单的特征比求取和DTW计算，就能够对符号性状进行描述及匹配操作，运算时间大大减少，增加了其通用性。

附图说明

图1(a)是示例符号在正视图下的视图，图1(b)为示例符号在仿射变换后的视图。

图2(a)为对图1(a)的符号求取轮廓及凸包后的结果，其中p₁,p₂,...,p₉为凸包上的一系列采样点，q₁,q₂为凸包上p₁,p₉两采样点的连线与符号轮廓的交点。图2(b)为对图1(b)的符号求取轮廓及凸包后的结果，其中p₁',p₂',...,p₉'为凸包上的一系列采样点，q'₁,q'₂为凸包上p₁',p₉'两采样点的连线与符号轮廓的交点。

图3(a)为图1(a)的符号以图2(a)中采样点p₁为起始点对应的特征比谱，图3(b)为图1(b)的符号以图2(b)中采样点p₁'为起始点对应的特征比谱。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实例，对本发明做进一步详细说明。这些实例仅仅是说明性的，而并非对本发明的限制。

1.读入一个符号图片，如图1中的字符“g”。使用canny边缘检测算法提取符号轮廓，然后在此基础上提取符号的凸包。采用均匀采样方法，在凸包上提取20个采样点，标记为p₁,p₂,...,p₂₀，如图2所示，圆圈为凸包上的采样点。

2.以任一采样点，如图1中p₁为例，并计算其与其他采样点如图2中p₉相连的直线与符号轮廓的交点q₁,q₂构成的特征比值，如定理(1)。

3.将p₁与p₂,...,p₂₀这19个采样点分别相连，并计算这些直线上的特征比值，组成一个特征向量，称为特征比谱，特征比谱的形式如图3所示。

4.从任一采样点出发与剩余采样点相连都可以求得一个特征比谱。因此当凸包上采样点数为20时，该符号对应的特征比谱共有20个。将正视图下的符号作为模板符号，将每个模板符号对应的特征比谱储存起来以备比较。

5.对每一个待查询的符号都用同样的方式计算其特征比谱，并用公式(1)、公式(2)对待查询符号与模板符号的特征比谱进行比较。查询表1，假设查询符号中标号为1的采样点与某模板符号中标号为2的采样点对齐作为起始点，它们对应的特征比谱进行比较；然后查询符号中标号为2的采样点与某模板符号中标号3的采样点进行比较，以此类推，直至表1中灰色区域比较完毕。

6.利用公式(4)计算出查询符号与模板符号的最小距离，并以此作为查询符号与该模板符号之间的相似度。最后，与查询符号距离最小的模板符号即为识别出的符号。

Claims (1)

1.一种基于仿射不变量的符号识别方法，其特征包括以下步骤，

步骤1：对原始符号利用边缘检测的方法提取轮廓；

步骤2：对符号轮廓提取凸包；

步骤3：在凸包上进行均匀采样，采样点数为n；采样点顺时针标号为p₁,p₂,…p_n；

步骤4：计算符号与直线相交处的特征比值

步骤4-1：取凸包上任一点p_i为起始点，按逆时针方向与轮廓上其余点p_i-1,p_i-2,…,p₁,…,p_i+1依次相连，共产生n-1条直线；p_i与p_j相连的直线记为<p_i,p_j>；

步骤4-2：计算与向量平行的单位向量并计算与向量垂直的单位向量使其满足

步骤4-3：对待识别符号上任一轮廓点，若q满足则q是直线<p_i,p_j>与符号轮廓的一个交点；

步骤4-4：设直线<p_i,p_j>与符号轮廓相交的坐标点集为q_s＝{q₁,q₂,...,q_m}；

步骤5：计算符号在直线<p_i,p_j>处的特征比值；

设u,v∈IP²，u,v是射影平面IP²中的两点，q₁,q₂,...,q_k是点(u,v)所在直线上的k个点，则存在实数使q_i＝a_iu+b_iv,i＝1,2,...,k，称比值

$CHR\&lsqb;u,v;q_1,q_2,...,{\mathrm{qp}}_k\&rsqb;:=\frac{b_1{b}_2...b_k}{a_1{a}_2...a_k}$

为点q₁,q₂,...,q_k关于点(u,v)的特征比；

步骤6：重复步骤4和步骤5，将与点p_i相连的所有n-1个采样点的特征值计算完毕；将所有特征值组合成一个特征向量，称为特征比谱CHRS(character-ratio spectra)；则点p_i的特征比谱表示为CHRS(p_i)＝{CHR(p_i,p_k),k＝i-1,i-2,...,1,...,i+1},p_k表示从p_i-1开始的凸包上绕逆时针方向除p_i之外的任一采样点；

步骤7：设X为未知符号目标，x_s＝{x₁,x₂,...,x_M}是其轮廓上的采样点集；设T为某模板符号目标，t_s＝{t₁,t₂,...,t_N}是其轮廓上的采样点集；X上任一轮廓点x_i的特征比谱简写为CHRS(x_i)＝{x_i,u＝CHR(x_i,x_u)|u＝i-1,i-2,...,1,...,i+1}；T上任一轮廓点t_j的特征比谱简写为CHRS(t_j)＝{t_j,v＝CHR(t_j,t_v)|v＝j-1,j-2,...,1,...,j+1}；

步骤7-1：利用公式(1)计算采样点x_i和t_j的特征比谱的距离：

$DTW(u,v)=min\left\{\begin{array}{c}DTW(u-1,v-1)+c(u,v)\\ DTW(u-1,v)+c(u,v)\\ DTW(u,v-1)+c(u,v)\end{array}\right.---\left(1\right)$

其中c(u,v)的计算方式为，当(u＝1,v＝1)时，DTW(u,v)＝c(0,0)，其余情况的计算方式如公式(2)所示；

$c(u,v)=\frac{abs\left(\log \right(x_{i,u}+1)-\log (t_{j,v}+1))}{\log (x_{i,u}+1)-\log (t_{j,v}+1)}---\left(2\right)$

步骤7-2：重复步骤7-1，计算符号X的任一轮廓采样点与模板符号T的任一轮廓采样点的特征比谱的距离；并建立下表1：

表1 查询符号与模板符号的DTW距离表

步骤8：在未知符号的轮廓采样点集x_s中选定一个采样点，如表1中x₁,同样从模板符号的采样点集t_s中选择一个采样点t_k，k＝1,...,n，将x₁与t_k对齐作为起始点，对它们顺时针方向上的其他点利用公式(3)作DTW比较，如表1中的DTW距离匹配表；

${\mathrm{DTW}}_k(i,j)=min\left\{\begin{array}{c}{\mathrm{DTW}}_k(i-1,j-1)+c_k(i,j)\\ {\mathrm{DTW}}_k(i-1,j)+c_k(i,j)\\ {\mathrm{DTW}}_k(i,j-1)+c_k(i,j)\end{array}\right.---\left(3\right)$

公式中i＝1,2,...,M,j＝1,2,...,N；当i＝1,j＝1时，DTW_k(i,j)＝DTWdist(x₁,t_k)，c_k(i,j)＝DTWdist(X_i,T_(j+k)modN)；当k＝1时，表1中的灰色背景部分即为匹配的子表；

步骤9：由公式(3)，当X₁与T_k对齐时,X与T的距离记为dist_k(Q,T)＝DTW_k(M,N)；经过N次DTW比较，可以计算出X和T之间的距离为:

dist(X,T)＝min{dist_k(X,T),k＝0,1,...,N-1} (4)

步骤10：利用公式(4)计算未知符号X与所有模板符号之间的距离，距离最小者对应的模板符号即为识别出的符号。