CN110837798A - 一种基于视觉特性的草图笔画编组方法 - Google Patents

Abstract

本发明提供了一种基于视觉特性的草图笔画编组方法，包括：输入某一类别多张统一格式后的草图；统计草图中的笔画长度；基于设定阈值将草图中所有笔画长度划分为长笔画、中笔画和短笔画；将长笔画切分为中笔画和/或短笔画；根据得分计算规则对同一张草图中的所有笔画计算得分，得到得分矩阵；根据得分矩阵进行笔画编组；判断所有笔画是否完成笔画编组；完成笔画编组时，结束编组结束；未完成笔画编组时，根据编组结果，增加得分计算项，更新得分矩阵后计算得分矩阵进行笔画编组。本发明利用计算机学习手绘草图的视觉信息和时序信息，解决草图语义分割的问题，使其尽可能接近人类的认知水平，同时在一个计算模型中，可以同时协同多种编组特性。

Description

一种基于视觉特性的草图笔画编组方法

技术领域

本发明属于计算机视觉以及深度学习技术领域，尤其涉及一种基于视觉特性的草图笔画编组方法。

背景技术

在人类信息传递发展史上，手绘草图始终发挥着很重要的作用，对草图的研究也一直是计算机视觉与模式识别领域的重要基础问题之一。草图与传统的彩色图像有着明显的区别，构图简单、线条数量少、是对一类具有相同特征事物的抽象描述，因此计算机视觉领域对于草图的深度研究是具有十分重要的意义的。

图像分割就是把原始图像分割成具有各自特征的区域并提取出感兴趣目标的技术与方法。图像分割通常作为视觉研究的第一步，因为如果图像分割的效果非常好，往往会对其他图像研究领域的带来突破性的进展。现如今对草图的研究也从传统的基于轮廓、区域、骨架等特征的方法向深度学习领域发展，并进一步从草图的整体概念研究(草图检索、草图识别)延伸至更加精细的草图编组及语义分割等概念。

事物的草图与轮廓与我们的生活息息相关，随着科技的进步和硬件行业地发展，触摸屏逐渐普及，我们现在可以毫不费力地在手机、平板电脑和智能手表等智能移动终端上绘制草图。绘制草图已经成为最常用的人机交互手段之一。人们利用手绘草图表达的信息更丰富、简洁而且方便。当人们需要通过细节信息搜索相关物品时，只需要在脑海中构思该物品的视觉特征，利用绘制出的草图作为输入即可，这比用词汇描述具有更明显优势。因此，研究手绘草图近年来越来越受欢迎。尽管计算机在识别手绘草图方面日趋进步，但是其分割草图的能力，特别是徒手草图，还没有得到充分探索。

介绍两种草图存储格式：草图的存储格式除图片格式外，另有两种主流的存储格式为可放缩矢量图形(Scalable Vector Graphics,简写svg)，和stroke-3格式。stroke-3格式存储了草图中笔画的先后次序以及笔画中部分关键点的位置信息，可根据以上信息恢复出完整草图。Stroke-3格式以关键点的序列形式对草图进行存储，每一个关键点为一个三元组(Δx，Δy，p)，其中Δx，Δy分别代表当前关键点相对于上一个关键点在二维平面水平和垂直两个方向上的偏移量，p代表当前关键点的状态，取值为0或1，1代表当前关键点是当前笔画的最后一个关键点，即到该关键点时，该笔画将结束，0代表当前关键点是当前笔画中的一个关键点，当前关键点之后将继续该笔画。

现有的草图分割工作主要集中在使用传统方法对草图进行语义分割并赋予其各个部件的标签，目前草图分割的准确率还不高，大多数前人的工作都遵循标准的监督学习方法来解决草图问题。由于草图具有高度模糊、抽象和多样的特点，目前机器对于草图的理解具有相当大的挑战性。大部分现有的草图分割工作总是忽略了关于草图笔画绘制顺序等相关信息，而笔画顺序却是人们绘制草图时需要的一个十分关键的信息。另外草图数据集的规模也在日益增长，目前已存在千万级的草图数据集，对这样的数据集进行语义标注所需要的时间、人力、物力、财力都是难以估计的。因此标准的监督方法在这样的数据集上并不适用。

将手绘草图的编组研究扩展到广泛类别会存在三大挑战:(1)草图与完全注释的各个部件或特征点的获得既困难又复杂，尤指为一个以上的类别；(2)草图的多样性会导致方法的通用性收到限制(3)草图的抽样性导致有较多噪声数据点，对编组造成较大影响。

发明内容

为了解决上述技术问题，本发明提出了一种基于视觉特性的草图笔画编组方法，该方法能够自动对给定的草图进行笔画编组。草图与普通的二维图像不同，它具有极高的抽样性，即使对同一个类别进行草图绘制时，也会由于不同的绘画者、不同的绘画技巧、不同的理解认知而产生出不同的草图。而草图笔画编组是让组成草图的笔画通过编组的方式使不具有语义的单一笔画变成有语义的笔画编组。当一组拟合模型是具有相似姿态的草图时，该方法会自动发现并学习该类草图具有的通用结构以及组成该结构的通用部件，其中的每个部件由一组笔画表示，它代表每个草图类别的一致性拓扑结构和多样性结构和外观变化。模型成功的关键是通过对大量草图进行研究和观察，发现一系列有助于笔画形成语义编组的规则，并对这些规则进行合理的量化和组合，从而发明出一种自动草图笔画编组方法。

本发明通过以下技术方案来具体实现：

本发明提供了一种基于视觉特性的草图笔画编组方法，包括：

步骤一、输入某一类别多张统一格式后的草图；

步骤二、统计草图中的笔画长度；

步骤三、基于设定阈值将草图中所有笔画长度划分为长笔画、中笔画和短笔画；

步骤四、将长笔画切分为中笔画和/或短笔画；

步骤五、根据得分计算规则对同一张草图中的所有笔画计算得分，得到得分矩阵；

步骤六、根据得分矩阵进行笔画编组；判断所有笔画是否完成笔画编组；完成笔画编组时，结束编组结束；未完成笔画编组时，根据编组结果，增加得分计算项，更新得分矩阵后，重复步骤五。

步骤一，具体包括：

将草图格式转换为stroke-3格式的草图，从草图的第一个关键点开始计算草图中每一个关键点的绝对坐标：

其中，p_i表示当前笔画中的第i个关键点，

表示第i个关键点在水平方向上的绝对坐标；

表示第i个关键点在垂直方向上的绝对坐标，

表示第i-1个关键点在水平方向上的绝对坐标，

表示第i-1个关键点在垂直方向上的绝对坐标；Δx_i表示当前关键点相对于上一个关键点在水平方向上的偏移；Δy_i表示当前关键点相对于上一个关键点在垂直方向上的偏移；

通过上述计算得到草图中每一个关键点的绝对坐标，从而得到绝对坐标下的stroke-3格式草图，将绝对坐标下的stroke-3格式草图中的每一个关键点记作一个三元组(x，y，p),其中x,y分别代表当前关键点在二维平面上在水平和垂直方向上的绝对坐标，p仍代表当前关键点的状态。

步骤二，具体包括：

对每一个类别中的所有草图进行笔画长度统计；

第j个笔画长度计算方法如下：

其中，n代表第j个笔画中包含的关键点的数目，x_i，y_i分别代表第i个关键点在水平和垂直方向上的绝对坐标。x_i+1，y_i+1分别代表第i+1个关键点在水平和垂直方向上的绝对坐标。

步骤三，具体包括：

基于设定阈值θ₁，θ₂对笔画长度进行分类；对于长度小于θ₁的笔画，将该笔画划分为短笔画；对于长度介于θ₁，θ₂之间的笔画，将该笔画划分为适中笔画；对于长度大于θ₂的笔画，将该笔画划分为长笔画。

步骤四，将长笔画切分为中笔画和/或短笔画，具体包括：

从长笔画的第一个关键点开始计算笔画长度，当长笔画的长度达到切分阈值或当前点为转折点时进行切分，并对剩余笔画部分重新计算长度，将长笔画切分为中笔画和/或短笔画；其中，当前点与前后两点的夹角位于45到120度之间，则视当前点为转折点。

步骤五，具体包括：

基于邻近性、相似性、连续性和对称性的综合得分计算规则对同一张草图中的所有笔画计算得分；

基于邻近性得分计算规则对同一张草图中的所有笔画计算得分，包括：

通过计算两个笔画之间的弗雷歇距离(Frechet distance)，来度量两个笔画之间的邻近度，K_pro越小，代表两个笔画的邻近度越高；

K_pro＝d_F(S_i，S_j)；

其中，S_i和S_j分别代表第i个和第j个笔画，d_F(S_i，S_j)代表两个笔画之间的弗雷歇距离计算公式。

基于相似性得分计算规则对同一张草图中的所有笔画计算得分，包括：

通过形状上下文描述子(shape contextual descriptor)计算两个笔画之间的匹配代价，来度量两个笔画之间的相似度,K_sim越小，两个笔画之间的相似度越高；

K_sim＝K(S_i，S_j)；

其中，S_i代表第i个笔画，S_j代表第j个笔画，K(S_i，S_j)代表两个笔画各自的形状上下文描述子之间的匹配代价；

基于连续性得分计算规则对同一张草图中的所有笔画计算得分，包括：

通过两个笔画之间的起始点两两之间的距离的最小值来度量两个笔画之间的连续性K_con越小，两个笔画之间的连续性越高；

K_con＝min(||S_i-start-S_j-start||，||S_i-start-S_j-end||，||S_i-end-S_j-start||，||S_i-end-S_j-end||)；

其中，S_{i_start}和S_{j_start}分别代表第i个和第j个笔画的第一个关键点，即该笔画的起点，S_{i_end}和S_{j_end}分别代表第i个和第j个笔画的最后一个关键点，即该笔画的终点，||·||代表两个点之间的欧式距离；

基于对称性得分计算规则对同一张草图中的所有笔画计算得分，包括：

分别计算两个笔画起点连线上的中点和终点连线上的中点，根据两个中点确定两个笔画之间的中线；得到中线后按关键点顺序分别计算两个笔画对应顺序上的点到中线的距离之差，对该差求和来度量两个笔画之间的对称性；K_sym越小，两个笔画之间的对称性越强；

其中，，S_{i_z}和S_{j_z}分别代表第i个和第j个笔画上的第z个关键点，z代表两个笔画包含的关键点数目中的较小值，中线为l,关键点z到中线的距离为d(z，l)；

根据以上四项特性对两个笔画之间计算综合得分，建立草图得分矩阵M；

M_ij＝M(S_iS_j)＝α_pro*K_pro+α_sim*K_sim+α_con*K_con+α_sym*K_sym

其中α_pro，α_sim，α_con，α_sym,分别为不同特性的调节系数，可根据经验和需求进行设置，M_ij代表得分矩阵M第i行第j列上的元素。

步骤六，具体包括：

设置编组阈值φ，用来调节编组结果；

A.找到得分矩阵中最小的元素所在的位置，从该位置开始进行编组，其中，得分最小的位置为M_ab，且该位置得分小于编组阈值φ，则对笔画S_a，S_b进行编组：

若S_a，S_b均为被编组，则将S_a，S_b建立一个新的组别；

若S_a，S_b其中有一个笔画被编组，则将按照已被编组的笔画的组别对未被编组的笔画进行编组；

重复步骤A，直到所有小于编组阈值φ的位置上的笔画均被编组；

B.更新得分矩阵：

对于所有已被编组的笔画，在计算得分中，需要增加一项长度特性：

M_ij＝M(S_i，S_j)＝α_pro*K_pro+α_sim*K_sim+α_con*K_con+α_sym*K_sym+α_len*K_len；

其中

度量笔画i所属的编组的总长度与编组长度参数L_group之间的关系；L_group代表根据经验得到的编组中笔画总长度；当K_len小于1时，设置α_len为-1，即鼓励其他的笔画加入这个编组；当K_len大于1时，设置α_len为1，即其他笔画若想加入这个编组需要更强的条件；

C.终止条件：

对于A，B两个步骤重复执行，直到所有的笔画都被编组，则结束。

本发明的有益效果是：

本发明利用计算机学习手绘草图的视觉信息和时序信息，解决草图语义分割的问题，使其尽可能接近人类的认知水平，同时在一个计算模型中，可以同时协同多种编组特性。在本发明方法涉及的多种视觉特征协同计算过程中，能够针对手绘草图的编组过程进行动态调整。本发明方法具有通用性，可以良好地匹配草图的多样性特点，使其可以在不同类别中通用。

附图说明

图1所示为本发明提供的方法流程示意图。

图2所示为本发明提供的手绘草图编组结果示意图。

图3所示为本发明提供的千万级数据集部分样本展示示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

实施例一

如图1所示，本发明实施例提供了一种基于视觉特性的草图笔画编组方法，其中，该实施例中，S_i表示草图中第i个笔画；p_i表示当前笔画中的第i个关键点；

表示第i个关键点在水平方向上的绝对坐标；

表示第i个关键点在垂直方向上的绝对坐标；L_j表示第j个笔画的长度。具体的，该方案包括：

步骤一、输入某一类别多张统一格式后的草图。

将草图格式转换为stroke-3格式的草图，从草图的第一个关键点开始计算草图中每一个关键点的绝对坐标：

其中，p_i表示当前笔画中的第i个关键点，

表示第i个关键点在水平方向上的绝对坐标；表示第i个关键点在垂直方向上的绝对坐标；

表示第i-1个关键点在水平方向上的绝对坐标，

表示第i-1个关键点在垂直方向上的绝对坐标；Δx_i表示当前关键点相对于上一个关键点在水平方向上的偏移；Δy_i表示当前关键点相对于上一个关键点在垂直方向上的偏移；

通过上述计算得到草图中每一个关键点的绝对坐标，从而得到绝对坐标下的stroke-3格式草图，将绝对坐标下的stroke-3格式草图中的每一个关键点记作一个三元组(x，y，p),其中x,y分别代表当前关键点在二维平面上在水平和垂直方向上的绝对坐标，p仍代表当前关键点的状态。

步骤二、统计草图中的笔画长度。

对每一个类别中的所有草图进行笔画长度统计得到统计结果；所述统计结果可通过笔画长度分布直方图或可以存储每个长度区间分别有多少笔画的数组等表示。

第j个笔画长度计算方法如下：

其中，n代表第j个笔画中包含的关键点的数目，x_i，y_i分别代表第i个关键点在水平和垂直方向上的绝对坐标。x_i+1，y_i+1分别代表第i+1个关键点在水平和垂直方向上的绝对坐标。

步骤三、基于设定阈值将草图中所有笔画长度划分为长笔画、中笔画和短笔画。

基于设定阈值θ₁，θ₂对笔画长度进行分类；对于长度小于θ₁的笔画，将该笔画划分为短笔画；对于长度介于θ₁，θ₂之间的笔画，将该笔画划分为适中笔画；对于长度大于θ₂的笔画，将该笔画划分为长笔画。

步骤四、将长笔画切分为中笔画和/或短笔画。

从长笔画的第一个关键点开始计算笔画长度，当长笔画的长度达到切分阈值或当前点为转折点时进行切分，并对剩余笔画部分重新计算长度，将长笔画切分为中笔画和/或短笔画；其中，当前点与前后两点的夹角位于45到120度之间，则视当前点为转折点。

步骤五、根据得分计算规则对同一张草图中的所有笔画计算得分，得到得分矩阵。

基于邻近性、相似性、连续性和对称性的综合得分计算规则对同一张草图中的所有笔画计算得分；

基于邻近性得分计算规则对同一张草图中的所有笔画计算得分，包括：

通过计算两个笔画之间的弗雷歇距离(Frechet distance)，来度量两个笔画之间的邻近度，K_pro越小，代表两个笔画的邻近度越高；

K_pro＝d_F(S_i，S_j)；

其中，S_i和S_j分别代表第i个和第j个笔画，，d_F(S_i，S_j)代表两个笔画之间的弗雷歇距离计算公式。

基于相似性得分计算规则对同一张草图中的所有笔画计算得分，包括：

通过形状上下文描述子(shape contextual descriptor)计算两个笔画之间的匹配代价，来度量两个笔画之间的相似度,K_sim越小，两个笔画之间的相似度越高；

K_sim＝K(S_i，S_j)；

其中，S_i和S_j分别代表第i个和第j个笔画，，K(S_i，S_j)代表两个笔画各自的形状上下文描述子之间的匹配代价；

基于连续性得分计算规则对同一张草图中的所有笔画计算得分，包括：

通过两个笔画之间的起始点两两之间的距离的最小值来度量两个笔画之间的连续性K_con越小，两个笔画之间的连续性越高；

K_con＝min(||S_i-start-S_j-start||，||S_i-start-S_j-end||，||S_i-end-S_j-start||，||S_i-end-S_j-end||)；

其中，S_{i_start}和S_{j_start}分别代表第i个和第j个笔画的第一个关键点，即该笔画的起点，S_{i_end}和S_{j_end}分别代表第i个和第j个笔画的最后一个关键点，即该笔画的终点，||·||代表两个点之间的欧式距离；

基于对称性得分计算规则对同一张草图中的所有笔画计算得分，包括：

分别计算两个笔画起点连线上的中点和终点连线上的中点，根据两个中点确定两个笔画之间的中线；得到中线后按关键点顺序分别计算两个笔画对应顺序上的点到中线的距离之差，对该差求和来度量两个笔画之间的对称性；K_sym越小，两个笔画之间的对称性越强；

其中，，S_{i_z}和S_{j_z}分别代表第i个和第j个笔画上的第z个关键点，z代表两个笔画包含的关键点数目中的较小值，中线为1，关键点z到中线的距离为d(z，l)；

根据以上四项特性对两个笔画之间计算综合得分，建立草图得分矩阵M；

M_ij＝M(S_i，S_j)＝α_pro*K_pro+α_sim*K_sim+α_con*K_con+α_sym*K_sym

其中α_pro，α_sim，α_con，α_sym，分别为不同特性的调节系数，可根据经验和需求进行设置，M_ij代表得分矩阵M第i行第j列上的元素。

步骤六、根据得分矩阵进行笔画编组；判断所有笔画是否完成笔画编组；完成笔画编组时，结束编组结束；未完成笔画编组时，根据编组结果，增加得分计算项，更新得分矩阵后，重复步骤五。

设置编组阈值φ，用来调节编组结果；

A.找到得分矩阵中最小的元素所在的位置，从该位置开始进行编组，其中，得分最小的位置为M_ab，且该位置得分小于编组阈值φ，则对笔画S_a，S_b进行编组：

若S_a，S_b均为被编组，则将S_a，S_b建立一个新的组别；

若S_a，S_b其中有一个笔画被编组，则将按照已被编组的笔画的组别对未被编组的笔画进行编组；

重复步骤A，直到所有小于编组阈值φ的位置上的笔画均被编组；

B.更新得分矩阵：

对于所有已被编组的笔画，在计算得分中，需要增加一项长度特性：

M_ij＝M(S_i，S_j)＝α_pro*K_pro+α_sim*K_sim+α_con*K_con+α_sym*K_sym+α_len*K_ken；

其中

度量笔画i所属的编组的总长度与编组长度参数L_group之间的关系；L_group代表根据经验得到的编组中笔画总长度；当K_len小于1时，设置α_len为-1，即鼓励其他的笔画加入这个编组；当K_len大于1时，设置α_len为1，即其他笔画若想加入这个编组需要更强的条件；

C.终止条件：

对于A，B两个步骤重复执行，直到所有的笔画都被编组，则结束。

一具体应用实例。

步骤一、输入多张统一格式的草图，本实例仅输入类别为人脸的十张草图；

步骤二、统计这十张草图的笔画长度分布，取长度分布1/2,2/3处的长度值作为划分阈值θ₁，θ_２，具体数值分别为0.39，0.64；

步骤三、根据划分阈值，将所有笔画划分为长笔画、中笔画、短笔画

步骤四、将长笔画切分为短笔画和中笔画，以某一长笔画为例，不同颜色代表切分后属于不同的短/中笔画。

步骤五、根据得分计算规则对同一张草图中的所有笔画计算得分，得到得分矩阵；其中得分规则中，

步骤六、根据得分矩阵进行笔画编组；判断所有笔画是否完成笔画编组；完成笔画编组时，结束编组结束；未完成笔画编组时，根据编组结果，增加得分计算项，更新得分矩阵后，重复步骤五。

如图2所示，通过本具体应用实例，根据我们的编组结果可以明显看出该草图被分为三个组别：分别为房顶，房体，窗户，符合客观情况下对草图的认知，图中不同线条类型代表不同组别。

本发明实施例经过对草图笔画的全面分析我们展示了手绘草图独有的数据，通过对多项视觉特征的协同处理，完成手绘草图的编组任务。更具体地说，我们建议使用多种编组规则进行适当组合，将原始手绘草图变成多个有语义的编组，这是首次具象地解释手绘草图特有的线索，例如笔画长度、绘画顺序、草图结构等。本方法对手绘草图特有的线索进行了统一的量化和组合，提出了一种通用的笔画间得分矩阵的计算方法，并根据该得分矩阵对草图进行笔画编组。我们的工作有三方面的贡献：

通过对千万级草图数据集的观察研究，观察数据如图3所示，发现一系列有助于草图笔画编组的特性，提出了一种基于笔画分析的计算模型，该模型首次协同多种特性，对每一种特性进行量化，并对所有特性进行动态组合，特别是对于不同长度的笔画动态调节组合参数，以达到更好的编组结果；

在对草图进行编组过程中，根据当前组合状态，动态调整组合项，以构成更合理的计算模型。感知分组创建构建块(语义笔画/部分)用于基于原始笔画输入的模型学习。感知分组中我们考虑到了多方面的因素，比如局部时间顺序有助于确定笔画是否语义相关。与上述同样重要的是，传统的知觉分组原则(格式塔原则，例如接近度、连续性、相似性)也需要决定如果笔画集应该分组。此外，在第一次之后迭代中，学习的需求侧管理模型能够分配一个组每个笔画的标签，可用于下一个分组迭代。

在算法上，我们采用迭代分组的思想，但是改变和扩展它们的误差度量来适应我们的任务。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种基于视觉特性的草图笔画编组方法，其特征在于，包括：

步骤一、输入某一类别多张统一格式后的草图；

步骤二、统计草图中的笔画长度；

步骤三、基于设定阈值将草图中所有笔画长度划分为长笔画、中笔画和短笔画；

步骤四、将长笔画切分为中笔画和/或短笔画；

步骤五、根据得分计算规则对同一张草图中的所有笔画计算得分，得到得分矩阵；

步骤六、根据得分矩阵进行笔画编组；判断所有笔画是否完成笔画编组；完成笔画编组时，结束编组结束；未完成笔画编组时，根据编组结果，增加得分计算项，更新得分矩阵后，重复步骤五。

2.如权利要求1所述的方法，其特征在于，步骤一，具体包括：

将草图格式转换为stroke-3格式的草图，从草图的第一个关键点开始计算草图中每一个关键点的绝对坐标：

其中，p_i表示当前笔画中的第i个关键点，

表示第i个关键点在水平方向上的绝对坐标；表示第i个关键点在垂直方向上的绝对坐标；

表示第i-1个关键点在水平方向上的绝对坐标，

表示第i-1个关键点在垂直方向上的绝对坐标，Δx_i表示当前关键点相对于上一个关键点在水平方向上的偏移；Δy_i表示当前关键点相对于上一个关键点在垂直方向上的偏移；

通过上述计算得到草图中每一个关键点的绝对坐标，从而得到绝对坐标下的stroke-3格式草图，将绝对坐标下的stroke-3格式草图中的每一个关键点记作一个三元组(x，y，p),其中x,y分别代表当前关键点在二维平面上在水平和垂直方向上的绝对坐标，p仍代表当前关键点的状态。

3.如权利要求1或2所述的方法，其特征在于，步骤二，具体包括：

对每一个类别中的所有草图进行笔画长度统计；

第j个笔画长度计算方法如下：

其中，n代表第j个笔画中包含的关键点的数目，x_i，y_i分别代表第i个关键点在水平和垂直方向上的绝对坐标，x_i+1，y_i+1分别代表第i+1个关键点在水平和垂直方向上的绝对坐标。

4.如权利要求1-3之一所述的方法，其特征在于，步骤三，具体包括：

基于设定阈值θ₁，θ₂对笔画长度进行分类；对于长度小于θ₁的笔画，将该笔画划分为短笔画；对于长度介于θ₁，θ₂之间的笔画，将该笔画划分为适中笔画；对于长度大于θ₂的笔画，将该笔画划分为长笔画。

5.如权利要求1所述的方法，其特征在于，步骤四，将长笔画切分为中笔画和/或短笔画，具体包括：

从长笔画的第一个关键点开始计算笔画长度，当长笔画的长度达到切分阈值或当前点为转折点时进行切分，并对剩余笔画部分重新计算长度，将长笔画切分为中笔画和/或短笔画；其中，当前点与前后两点的夹角位于45到120度之间，则视当前点为转折点。

6.如权利要求1所述的方法，其特征在于，步骤五，具体包括：

基于邻近性、相似性、连续性和对称性的综合得分计算规则对同一张草图中的所有笔画计算得分；

基于邻近性得分计算规则对同一张草图中的所有笔画计算得分，包括：

通过计算两个笔画之间的弗雷歇距离(Frechet distance)，来度量两个笔画之间的邻近度，K_pro越小，代表两个笔画的邻近度越高；

K_pro＝d_F(S_i，S_j)；

其中，S_i和S_j分别代表第i个和第j个笔画，d_F(S_i，S_j)代表两个笔画之间的弗雷歇距离计算公式。

基于相似性得分计算规则对同一张草图中的所有笔画计算得分，包括：

通过形状上下文描述子(shape contextual descriptor)计算两个笔画之间的匹配代价，来度量两个笔画之间的相似度，K_sim越小，两个笔画之间的相似度越高；

K_sim＝K(S_i，S_j)；

其中，S_i和S_j分别代表第i个和第j个笔画，K(S_i，S_j)代表两个笔画各自的形状上下文描述子之间的匹配代价；

基于连续性得分计算规则对同一张草图中的所有笔画计算得分，包括：

通过两个笔画之间的起始点两两之间的距离的最小值来度量两个笔画之间的连续性K_con越小，两个笔画之间的连续性越高；

K_con＝min(||S_{i_start}-S_{j_start}||，||S_{i_start}-S_{j_end}||，||S_{i_end}-S_{j_start}||，|｜S_{i_end}-S_{j_end}||)；

其中，S_{i_start}和S_{j_start}分别代表第i个和第j个笔画的第一个关键点，即该笔画的起点，S_{i_end}和S_{j_end}分别代表第i个和第j个笔画的最后一个关键点，即该笔画的终点，||·||代表两个点之间的欧式距离；

基于对称性得分计算规则对同一张草图中的所有笔画计算得分，包括：

分别计算两个笔画起点连线上的中点和终点连线上的中点，根据两个中点确定两个笔画之间的中线；得到中线后按关键点顺序分别计算两个笔画对应顺序上的点到中线的距离之差，对该差求和来度量两个笔画之间的对称性；K_sym越小，两个笔画之间的对称性越强；

其中，S_{j_z}和S_{j_z}分别代表第i个和第j个笔画上的第z个关键点，z代表两个笔画包含的关键点数目中的较小值，中线为1，关键点z到中线的距离为d(z，l)；

根据以上四项特性对两个笔画之间计算综合得分，建立草图得分矩阵M；

M_ij＝M(S_i，S_j)＝α_pro*K_pro+α_sim*K_sim+α_con*K_con+α_sym*K_sym

其中α_pro，α_sim，α_con，α_sym，分别为不同特性的调节系数，可根据经验和需求进行设置，M_ij代表得分矩阵M第i行第j列上的元素。

7.如权利要求1所述的方法，其特征在于，步骤六，具体包括：

设置编组阈值φ，用来调节编组结果；

A.找到得分矩阵中最小的元素所在的位置，从该位置开始进行编组，其中，得分最小的位置为M_ab，且该位置得分小于编组阈值φ，则对笔画S_a，S_b进行编组：

若S_a，S_b均为被编组，则将S_a，S_b建立一个新的组别；

若S_a，S_b其中有一个笔画被编组，则将按照已被编组的笔画的组别对未被编组的笔画进行编组；

重复步骤A，直到所有小于编组阈值φ的位置上的笔画均被编组；

B.更新得分矩阵：

对于所有已被编组的笔画，在计算得分中，需要增加一项长度特性：

M_ij＝M(S_i，S_j)＝α_pro*K_pro+α_sim*K_sim+α_con*K_con+α_sym*K_sym+α_len*K_len；

其中度量笔画i所属的编组的总长度与编组长度参数L_group之间的关系；L_group代表根据经验得到的编组中笔画总长度；当K_len小于1时，设置α_len为-1，即鼓励其他的笔画加入这个编组；当K_len大于1时，设置α_len为1，即其他笔画若想加入这个编组需要更强的条件；

C.终止条件：

对于A，B两个步骤重复执行，直到所有的笔画都被编组，则结束。

Images