CN101964053B - 一种复合图形在线识别方法 - Google Patents

Abstract

一种复合图形在线识别方法，首先定义了基于基元构成与空间关系构成的复合图形特征，该特征为一维组合特征向量，向量的长度为基元种类与空间关系种类之和，向量的每一位表示该位代表的基元类型或空间关系类型在该复合图形构成中的数目；基于组合特征向量定义设计了组合特征增量提取方法，随着用户连续的笔输入，组合特征向量被动态更新，并只基于向量更新位进行特征匹配，简化了特征提取过程，保证了特征匹配的实时性；在特征匹配过程中设计了空间关系误判处理方法，进一步保证了方法对用户随意输入的适应性。本方法具备一定的通用性和可扩展性，可应用于不同专业领域，实现基于手绘草图在线识别的智能人机交互。

Description

一种复合图形在线识别方法

技术领域

本发明属于草图在线识别技术领域，具体的说是一种复合图形在线识别方法。

背景技术

草图识别是笔式交互研究的核心内容，根据笔式交互获取的模糊的草图表达，捕捉和理解用户意图，并映射至精确的图形表达，在计算机辅助设计、计算机动画与虚拟现实、可视化对象建模、计算机支持的协同工作等诸多领域都有广泛的应用需求。

草图识别分为离线识别和在线识别两种：离线识别是指通过特定的采集系统(如扫描仪、摄像机)将文字或图形以图像方式采集并输入计算机存储，随后识别系统根据该图像数据进行识别，即传统的OCR(光学字符识别)技术；在线识别则主要通过各种与计算机相连的二维坐标输入设备(如数字化仪、鼠标、写字板等)将笔的运动轨迹实时送入计算机并进行识别，是一个动态的识别过程。本专利所讨论的草图识别方法都是基于在线方式，后续文字将不再特别强调这一点。

草图识别往往由两个顺序的、循环的子问题构成：基本图形识别和复合图形识别。基本图形是复合图形对象的基本组成元素，通常是可一笔绘制的封闭凸多边形、椭圆或者线/弧段等几何图形，对其识别及规整化是草图识别的基本问题。复合图形通常由基本图形单元按一定的几何关系构成。复合图形识别的基础是基本图形识别，通过在基本图形识别的基础上提取复合图形特征并进行特征匹配，完成对复合图形的识别。图1显示了草图识别的基本流程图。在本说明书的后续部分为了表述的方便，所述基元即指基本图形单元。

手绘草图具有很大的随意性和自由度，其语义又具有模糊性和不确定性，因此，草图在线识别是人机交互领域一个极具挑战性的课题。草图识别技术的重点及难点在于复合图形识别技术，其中复合图形特征的定义及提取是关键。目前虽然一些商用图形图像工具中提供了笔式交互功能，但基本上只是在传统图形用户界面中嵌入了简单面低级的交互。已有对草图识别研究主要集中在构成相对简单的图形及其笔划的识别，针对复合图形识别的研究则为降低复杂度而缺乏通用性，更缺乏满足用户个性化输入的用户适应性研究。

如广东威创视讯科技股份有限公司申请的“手绘几何图形的识别方法”，专利申请号：200810198994.7，公开了一种手绘几何图形的识别方法，该方法实现的是对几种简单几何图形的识别，如：直线、三角形、矩形、椭圆形等，属于基本图形识别的范畴，不涉及复合图形识别技术。又如：飞图科技(北京)有限公司申请的“一种基于手持设备的依靠快捷图形识别调用功能的方法”，专利申请号为200810119196.0，提出了一种基于手持设备的手绘图形识别技术，该专利技术中手绘图形识别的对象为一到两笔的简单图形，如：方形、圆形、“叉”形等，识别方法通过基于笔输入轨迹的匹配来完成，也不涉及到复合图形识别技术。再如Trembley等申请的“Sketch recognition andenhancement”(United States Patent：7515752)，提出了一种手绘草图识别及规整化方法，该专利申报点主要侧重于基于时间的方法运行机制、手绘草图规整化方法，其复合图形识别方法基于基本图形的模糊识别以及基元类型特征的提取，并提到由于草图的空间拓扑结构信息模糊所以并没有提取空间关系类型特征。该种方法容易造成草图拓扑结构这一重要信息的丢失，对识别的鲁棒性造成影响。

目前国内外对复合图形在线识别方法有一定的研究，具体有以下几种方法：

(1)基于统计模型的识别方法，该方法需要大量的训练数据，采用该类方法建立的分类器不易扩展，不能自由识别新的图形符号。

(2)采用基于笔划方向、笔划顺序、笔划位置等规则约束的识别方法，方法有效的前提为用户的自由度受到一定的限制，缺乏对用户随意输入的适应性。

(3)采用基于基元类型特征提取的识别方法，丢失了草图的空间拓扑形态这一重要信息，无法区分基元组成相同但空间拓扑结构不同的草图；

(4)采用基于线/弧元类型特征和空间关系特征提取的识别方法，空间关系的主体只限于线元和弧元，在求取复合图形特征时需要先求取多边形、圆等基本图形的分段点将其分割为直线段和弧段基元，然后再统计线/弧元类型特征数量及多个线元和弧元间的二元空间关系来更新特征向量，使特征定义及求取过程复杂化；

(4)采用基于空间关系图匹配的识别方法，所提取的空间关系特征表现为二元空间关系图矩阵，特征匹配时需要计算空间关系图间的相似度，空间和时间复杂度都较高。

因此，提供一种复合图形特征定义及提取过程简化、特征匹配实时性强、对用户的随意输入具备较强鲁棒性和适应性的复合图形在线识别方法极为必要。

发明内容

本发明的目的在于提供一种复合图形在线识别方法，能对手绘复合图形进行实时识别，且对用户的随意输入具备较强鲁棒性和适应性。更进一步地，可用于机械工程设计、流程图设计、电子白板教学、军事标绘等领域，以提供自然高效的笔式交互方式。

为了实现上述目的，本发明提出了一种基于组合特征增量提取及空间关系误判处理的复合图形在线识别方法，下面对发明内容进行简单说明。

根据本领域所公知的知识，笔划定义为落笔和抬笔间的采样点序列，通过自定义抬笔和下次落笔间的时间间隔范围来判定若干笔划是否属于同一个草图符号。在本方法中，笔划表现为在一次落笔抬笔间隔间可完成的基本图形单元，一段笔划既可以为一条直线段、一段弧，也可以是一个圆、一个多边形。由于本发明讨论的是复合图形的在线识别方法，所以暂不讨论多笔绘制一个基本图形单元的情况。

本发明首先设计了基于基元构成与空间关系构成的复合图形特征，该特征为一维组合特征向量，向量的长度为基元种类与空间关系种类之和，向量的每一位表示该位代表的基元类型或空间关系类型在该复合图形构成中的数目。基元类型为基本图形集中的任意一种基本图形类型，不局限于线元和弧元。基本图形集可以根据不同的专业应用领域有不同的定义，例如，在电路图设计领域电气元件图形符号为该领域待识别的复合图形集，根据该复合图形集的基元构成情况可以自定义基本图形集，复合图形集中的任意一种电气元件图形符号由基本图形集中的一种或多种基本图形组成。二元空间关系的主体为基本图形集中的任意两种基本图形，如相交关系既可以指直线/直线间，也可以指直线/弧间，也可以指直线/多边形间。空间关系集可以根据不同专业应用领域有不同的定义，例如，在机械设计领域机械符号为该领域待识别的复合图形集，可根据构成该领域复合图形集的基元间的空间关系的种类定义空间关系集，复合图形集中任意一种机械符号的空间关系构成为空间关系集的子集。

草图信息是增量输入的，为了实现复合图形的实时识别，当用户每输入一笔时系统就需要进行相应处理。本发明设计了组合特征增量提取方法，随着用户连续的笔输入，组合特征向量被动态更新，并用于特征匹配。用户每输入一笔，首先判断该笔划是否为新草图的新笔划，如果是则将组合特征向量的每一位初始化为0，然后根据该笔划的基本图形识别结果，将组合特征向量对应的基元类型向量位上加1；从用户绘制的第二笔开始，在更新基元类型对应的向量位的同时，依次求取当前笔划与当前草图符号的笔划集中之前绘制的每一笔间的二元空间关系类型，并在相应的空间关系类型特征位上加1。随着用户连续的笔输入进行上述过程的组合特征增量提取，并在每次组合特征向量更新后将特征向量与标准图形库中的特征向量集进行特征匹配。

在特征匹配过程中，如果每输入一笔系统就对标准图形库中的所有特征向量进行一轮匹配，是比较费时和低效的。本发明采取基于基元和空间关系数量匹配的方法，缩小候选图形集。用户每输入一笔后，针对组合特征向量的更新位，首先处理基元类型的更新位，将候选图形集中特征向量相应位数值小于当前组合特征向量对应位数值的候选图形删除；然后判断空间关系类型的更新位，如果该向量位对应的空间关系类型属于空间关系可能误判类型，通过空间误判处理方法进行处理；否则，将候选图形集中特征向量相应位数值小于当前组合特征向量对应位数值的候选图形删除。

由于用户输入的随意性，用户本意想表达的空间关系形态往往表现为其他的空间关系形态，因此在求取空间关系时，可能存在对二元空间关系的误判。针对这一问题，本发明设计了空间关系误判处理方法，在基于基元和空间关系数量匹配的步骤中，对当前特征向量可能存在误判的空间关系类型向量位，针对其可能误判包含的空间关系特征向量位，检索当前图形候选集的特征向量集，对于所有相关特征位的数值的和不小于当前特征向量对应位数值的特征向量对应的图形，均保留于候选图形集，否则将该图形从候选图形集中删除。

最后将当前特征向量与候选图形集对应的特征向量集进行相似度计算，选择相似度值在所设阈值范围内且相似度值最大的复合图形为识别结果。

结合上述说明，本发明实现复合图形在线识别方法主要包括以下步骤(该方法是建立在已知基本图形的识别结果上的)：

(1)用户输入完一笔，则判断当前笔划是否为新草图的新笔划，是则转入(2)，不是则转入(3)；

(2)初始化组合特征向量，转入(4)；

(3)求取基元间的空间关系类型并更新组合特征向量的相应位；

(4)根据当前笔划的基本图形识别结果，更新组合特征向量对应于基元类型的相应位；

(5)结合空间关系误判处理方法，对组合特征向量的更新位进行基于基元和空间关系的数量匹配，筛选候选图形集；

(6)对当前特征向量与候选图形集的特征向量集进行相似度计算；

(7)如果相似度最大值小于预设阈值，转入(8)；否则，将相似度值最大的候选图形作为复合图形识别结果反馈给用户界面；

(8)重复步骤(1)-(7)，进入新的循环。

本发明具有以下有益效果：

1、定义了基于基元构成与空间关系构成的组合特征，该特征具有平移、缩放、旋转不变性，与笔划方向和笔划顺序无关，在不限制用户输入自由度的情况下，对不同草图具备较强的区分度。

2、设计了组合特征增量提取方法，且所提取的组合特征为一维特征向量，特征的主体为所定义基本图形集中的基元，不限于线/弧元，有效地简化了特征提取过程，提高了特征匹配过程的实时性。

3、设计了基于空间关系误判处理的特征匹配方法，进一步保证了方法对用户随意输入的适应性。

4、方法具备一定的通用性和可扩展性，可应用于不同专业领域，实现基于手绘草图在线识别的智能人机交互。

附图说明

图1是草图识别的基本流程图；

图2为结合具体实施例的7种基本图形单元类型；

图3为结合具体实施例的8种空间关系类型；

图4为多种基本图形单元的二元半相交关系；

图5为两种复合图形的基元构成情况；

图6为一种复合图形的空间关系构成情况；

图7为一种复合图形的组合特征向量取值情况；

图8为所提出的复合图形在线识别方法的流程图；

图9为手绘输入某复合图形时本发明方法的实施示意图。

具体实施方式

下面参照附图对本发明优选实施例进行进一步的说明，在说明过程中省略了对本发明来说是不必要的细节和功能，以防止对本发明的理解造成混淆。

图2显示了根据本发明的一个实施例所定义的直线、三角形、矩形、圆等七种基本图形单元，后续说明中的复合图形都是由该基本图形集中的基元构成。基本图形集根据不同的专业应用领域可以有不同的定义。例如，在电路图设计领域电气元件图形符号为该领域待识别的复合图形集，根据该复合图形集的基元构成情况可以自定义基本图形集，复合图形集中的任意一种电气元件图形符号由基本图形集中的一种或多种基本图形组成。

参看图3，结合本发明的一个实施例，显示了根据本发明的一个实施例定义的包含、相交、平行、内接等八种空间关系。空间关系集根据不同专业应用领域的图形符号集可以有不同的定义，例如，在机械设计领域机械符号为该领域待识别的复合图形集，可根据构成该领域复合图形集的基元间的空间关系的种类定义空间关系集，复合图形集中任意一种机械符号的空间关系构成为空间关系集的子集。求取空间关系类型时空间关系的主体为基本图形集中的任意两种基本图形，如相交关系既可以指直线/直线间，也可以指直线/弧间，也可以指直线/多边形间。图4显示了多种基本图形单元的二元半相交关系。

复合图形通常是由基本图形单元按一定几何关系构成，因此其识别重点在于确定其基本图形单元的构成以及基元间的空间关系模式。

图5显示了两种复合图形的基元构成情况，图中圆圈内的数字为构成该复合图形的每种基本图形单元的个数。

图6显示了一种复合图形的空间关系构成情况，图中圆圈内的数字为每种空间关系的个数。该复合图形包含2个圆基元、2条直线段基元，该图形的空间关系构成情况为；外圆和内圆间有1种包含关系、外圆和直线段间有2种包含关系、内圆和直线段间有2种内接关系、直线段和直线段间有1种相交关系。由于本方法定义的空间关系并不对二元关系的主体——基本图形单元作区分，因此综合来看，该复合图形的空间关系构成情况为：3种包含关系、2种内接关系、1种相交关系。

本发明方法定义了基于复合图形基元构成与空间关系构成的一维组合特征向量，其中，向量前若干位的每一位分别对应一种基本图形单元类型，表示构成复合图形的该种基元的数目，而后若干位的每一位分别对应一种空间关系类型，表示构成复合图形的该种空间关系的数目。根据本发明的一个实施例，组合特征向量为一个15位的一维特征向量。图7显示了一种复合图形的组合特征向量取值情况。待识别复合图形的组合特征向量都被添加到标准图形库的特征向量集中。

图8图示说明了复合图形在线识别方法800的流程图。下面根据本发明的一个实施例具体说明方法800的各步骤：

(1)预设一个一维组合特征向量，向量的长度为基元类型与空间关系类型之和，向量前若干位的每一位分别对应一种基元类型，而后若干位的每一位分别对应一种空间关系类型。

(2)用户输入完一笔，判断当前笔划是否为新草图的新笔划，是则转入(3)，不是则转入(4)；

(3)初始化组合特征向量，将组合特征向量的每一位初始化为0，转入(5)；

(4)依次求取当前笔划与当前草图符号的笔划集中之前绘制的每一笔间的二元空间关系，对所求取的每种空间关系类型，将组合特征向量相应的空间关系类型特征位上加1。

(5)根据当前笔划的基本图形识别结果，将组合特征向量对应的基元类型特征位上加1。

(6)对组合特征向量当前更新的若干位，首先处理基元类型的更新位，将候选图形集中特征向量相应位数值小于当前组合特征向量对应位数值的候选图形删除。

(7)对组合特征向量当前更新的若干位，再判断空间关系类型的更新位，如果该向量位对应的空间关系类型属于空间关系可能误判类型，转入(8)；否则，将候选图形集中特征向量相应位数值小于当前组合特征向量对应位数值的候选图形删除，转入(9)。

(8)基于该种空间关系可能误判包含的空间关系特征向量位，检索当前候选图形集的特征向量集，对于所有相关特征位的数值的和不小于当前特征向量对应位数值的特征向量对应的图形，均保留于候选图形集，否则将该图形从候选图形集中删除。

(9)将当前组合特征向量与候选图形集的特征向量集进行相似度计算；

(10)如果相似度最大值小于预设阈值，转入(11)；否则，将相似度值最大的候选图形作为识别结果反馈给用户界面；

(11)重复步骤(2)-(10)，进入新的循环。

其中，相似度计算采用目前本领域公知的方法，相似度距离采用经典的二次欧拉距离。假设图形A和图形B的特征向量分别为Combvector₁和Combvector₂，则图形A和图形B的相似度Sim(A，B)的计算公式如下：

$\mathrm{Sim}(A,B)=\left\{\begin{array}{cc}0& \mathrm{ifDis}(A,B)>{\mathrm{\ϵ}}_s\\ 1-\frac{\mathrm{Dis}\left(\text{A,B}\right)}{{\mathrm{\ϵ}}_s}& \mathrm{else}\end{array}\right.$

其中，

ε_s为经验阈值。

图9为根据本发明的一个实施例手绘输入某复合图形时本发明方法的实施示意图。示意图中，用户手绘输入3笔完成复合图形符号903的绘制，由于用户输入的随意性，导致在第3笔绘制直线段时，与第2笔绘制直线段所表现的空间关系为半相交关系而非标准图形库中复合图形903中的相邻关系。由于方法800在特征匹配的过程中引入了空间关系误判处理方法，因此，在手绘输入完后，候选图形集中复合图形903得以保留，在进行相似度计算时方法800最终判定当前手绘输入的草图符号为复合图形903。

下面结合图9详细说明方法800的具体实施过程。

首先，预设一个15位的一维组合特征向量CombVecter，向量的每一位初始化为0，用户第一笔输入一个圆，圆对应的基元类型向量位加1，得到Combvecter＝{0，…，0，1，0，…，0}，然后进行基元数量匹配，标准图形库中所有第7位上不为0的特征向量对应的图形被保留，其他图形则从候选图形集中被删除，当前特征向量Combvecter只与候选图形集中的复合图形对应的特征向量进行相似度计算及相似度最大值的阈值判断；用户第2笔在圆中手绘一段直线段，则直线段对应的基元类型向量位加1，同时计算直线段与之前输入的圆之间的二元空间关系，则包含关系对应的空间关系类型向量位加1，得到Combvecter＝{1，0，…，0，1，0，0，1，0，…，0}，对刚才第一笔输入完后得到的候选图形集，继续进行基于基元和空间关系数量匹配，将链表中第1位(直线段基元类型位)或第10位(包含空间关系类型位)为0的元素删除，然后进行相似度计算和相似度最大值的阈值判断；用户第3笔在圆中继续手绘一段直线段，该直线段与之前的直线段半相交，更新当前特征向量Combvecter，直线段对应的基元类型向量位加1，包含关系及半相交关系对应的空间关系类型向量位各加1，得到Combvecter＝{2，0，…，0，1，0，0，2，0，0，1，0，0}，继续对上一轮得到的候选图形集进行基元和空间关系数量匹配，将链表中第1位(直线段基元类型位)、第10位(包含空间关系类型位)数值小于当前特征向量对应位数值的元素删除，由于半相交空间关系可能是对相邻空间关系的误判，因此在筛选候选列表中的图形时，同时考虑候选图形集的特征向量集中相邻关系和半相交关系对应的空间关系类型向量位，如果候选列表图形中特征向量的相邻关系位和半相交关系位数值的和不小于当前特征向量半相交关系对应的向量位数值，则该图形予以保留，否则将其删除。这样，在手绘输入完后，候选图形集中复合图形903得以保留。最终在进行相似度计算及相似度最大值的阈值判断时，方法800判定当前手绘输入的草图符号为复合图形903。

经过以上所述步骤，本发明的实施例实现了对标准图形库中的复合图形手绘输入的在线识别，方法简化了特征定义及提取过程，提高了特征匹配过程的实时性，且对用户输入具备较强的鲁棒性和适应性。

Claims (4)

1.一种复合图形在线识别方法，其特征在于：其步骤如下

(1)用户输入完一笔，则判断当前笔划是否为新草图的新笔划，是则转入(2)，不是则转入(3)；

(2)初始化复合图形特征向量，转入(4)；

(3)求取基元间的空间关系类型并更新复合图形特征向量的相应位；

(4)根据当前笔划的基本图形识别结果，更新复合图形特征向量对应于基元类型的相应位；

(5)对复合图形特征向量当前的更新位，首先处理基元类型的更新位，将候选图形集中特征向量相应位数值小于当前复合图形特征向量对应位数值的候选图形删除；

(6)对复合图形特征向量当前的更新位，再判断空间关系类型的更新位，如果该向量位对应的空间关系类型属于空间关系会误判类型，通过空间误判处理方法进行处理；否则，将候选图形集中特征向量相应位数值小于当前复合图形特征向量对应位数值的候选图形删除；

(7)对当前特征向量与候选图形集的特征向量集进行相似度计算；

(8)如果相似度最大值小于预设阈值，转入(9)；否则，将相似度值最大的候选图形作为复合图形识别结果反馈给用户界面；

(9)重复步骤(1)一(8)，进入新的循环。

2.根据权利要求1所述的一种复合图形在线识别方法，其特征在于：所述复合图形特征向量为基于复合图形基元构成与空间关系构成的一维组 合特征向量，向量的长度为基元类型与空间关系类型之和，向量的每一位表示该位代表的基元类型或空间关系类型在该复合图形构成中的数目。

3.根据权利要求1或2所述的一种复合图形在线识别方法，其特征在于：复合图形特征向量随着用户连续的笔输入，被动态更新，并用于特征匹配。

4.根据权利要求1或2所述的一种复合图形在线识别方法，其特征在于：所述空间误判处理方法为：对当前复合图形特征向量会发生误判的空间关系类型向量位，针对其误判对应的空间关系特征向量位，检索当前候选图形集的特征向量集，对于所有相关特征位的数值的和不小于当前复合图形特征向量对应位数值的特征向量对应的图形，均保留于候选图形集，否则将该图形从候选图形集中删除。 

Images