CN103927056A - 用于智能手绘输入的基于混合特征的笔划分割方法 - Google Patents

Abstract

本发明提出了一种用于智能手绘输入的基于混合特征的笔划分割方法，提取输入的有效笔划的采样点，采用基于速度特征的笔划分割方法得到有效输入笔划的速度分割点，并对有效输入笔划进行折线化逼近得到折点序列，对折点序列与速度分割点序列进行第一次特征映射，得到速度折点序列，再对有效输入笔划进行分割得到几何分割点序列，将速度折点序列与几何分割点序列进行二次映射，得到前期分割点序列，再对前期分割点判断得到后期分割点。本发明将速度特征和几何特征相结合，通过映射处理得到新的混合特征，先进行前期分割，然后进行单一线元识别，最后进行后期分割，有效地避免了单纯几何特征分割和单纯速度特征分割的不足。

Description

用于智能手绘输入的基于混合特征的笔划分割方法

技术领域

本发明涉及一种基于混合特征的手绘图笔划分割的方法，用于智能手绘输入设备，如手写板、智能手机等手绘输入设备。

背景技术

手绘图是人类一种自然而直接的思维和交流方式，基于手绘图的新一代Post-WIMP用户交互界面的引入，向人类提出了新的挑战。基于手绘图人机交互技术较完整的定义是：用户使用粗略几何形状对其意图模糊逼近的一种图形交互输入方式。用户输入的随意性使得采用手绘图方法能够快速表达创造性思维，但草图信息的模糊性导致手绘图与用户的设计意图存在一定的偏差，这就给计算机解释手绘图带来了很大困难。草图识别的目标是在用户绘制约束最小的情况下达到最佳识别效率和效果。目前，在由2D草图重建3D模型的领域中，草图解释方面一般均采用基于基本线元的手绘图识别方法。该方法解决了图形描述的唯一性问题，包含笔划分割、图形分类、识别、拟合、规整等步骤，其中笔划分割是影响识别效果的关键步骤。

笔划分割技术经过了长期的研究已有很多的研究成果，但主要源于图像处理领域或由此演变而来，现有速度特征提取Sezgin算法一般采用基于平均值的方法，以速度平均值的90％作为阈值，将低于阈值的速度曲线分组，在各组中以速度值最小点作为速度特征点。该方法在一定程度上解决了速度特征的提取问题，但仍存在许多不足：局部噪声可能导致分组错误，阈值相对固定可能导致算法对笔划噪声敏感，绘图速度较均匀时特征提取失效。

申请号为201410128457.0的中国专利申请《用于智能手绘输入的基于速度特征的笔划分割方法》中公开了一种将笔划分为常速和近匀速两类，对于常速笔划给出了采用速度平均值及其上下偏差作为三线阈值进行分割的方法，有效避免了算法对笔划噪声敏感的问题；而对于绘制速度较均匀的近匀速笔划则通过滤波-锐化处理将其转化为常速笔划进行处理。但进一步研究发现，速度特征只能近似反映手绘图的某种特性，用户的绘图状态对速度特征影响很大，单纯考虑速度特征的笔划分割效果并不鲁棒。

发明内容

要解决的技术问题

为解决现有技术存在的问题，本发明提出了一种用于智能手绘输入的基于混合特征的笔划分割方法，将速度特征和几何特征相结合，通过映射处理得到新的混合特征。

技术方案

本发明的技术方案为：

所述一种用于智能手绘输入的基于混合特征的笔划分割方法，其特征在于：采用以下步骤：

步骤1：对接收到的有效输入笔划提取N个采样点，采样点包含笔划起点和笔划终点，相邻采样点的间隔时间不小于S；分别获取各个采样点的瞬时速度、采样时刻和对应像素点的坐标，并计算所有N个采样点的瞬时速度的平均值

步骤2：采用基于速度特征的笔划分割方法得到有效输入笔划的速度分割点，并按采样顺序组成速度分割点序列{q_r,r＝0,1,2,...,R}；并对有效输入笔划进行折线化逼近，得到折点序列{s_i,i＝0,1,2,...,M}；对折点序列与速度分割点序列进行第一次特征映射：

对于{q_r,r＝1,2,...,R-1}中的每一点q_r，进行以下判断：根据速度分割点q_r的采样时刻t_r，遍历折点序列{s_i,i＝0,1,2,...,M}，得到由连续两个折点s_i、s_i+1的采样时刻组成的时间段[t_i,t_i+1]包含t_r，取折点s_i、s_i+1中距离速度分割点q_r近的点为q_r的速度折点；由得到的所有速度折点，以及速度分割点序列中的首尾点组成速度折点序列{z_r,r＝0,1,2,...,R}；

步骤3：对有效输入笔划进行如下分割，得到几何分割点序列{g_j,j＝0,1,2,...,G}：

首先根据步骤2得到的折点序列{s_i,i＝0,1,2,...,M}判断有效输入笔划的凸凹性：在折点序列中判断折点s₁～s_M-1的方向，折点s_i的方向指矢量与矢量叉乘得到的矢量方向，若折点s₁～s_M-1的方向都相同，则表示有效输入笔划为凸笔划，否则为凹笔划；选择如下不同分割方法对有效输入笔划进行分割：

凸笔划分割方法：

步骤3.1：对组成凸笔划的折点序列进行单一线元拟合，计算拟合误差δ，并与阈值δ_max进行比较；若δ<δ_max，则折点序列被识别为单一线元，否则进入步骤3.2；

步骤3.2：从凸笔划的首端开始顺序去除一个折点，对剩余折点进行单一线元拟合，判断剩余折点能否被识别为单一线元，若能，则将剩余折点的首点作为几何分割点，并将去除的折点组成新的折点序列进行凸笔划分割，若不能，则循环继续去除折点并判断；或者从凸笔划的尾端开始顺序去除一个折点，对剩余折点进行单一线元拟合，判断剩余折点能否被识别为单一线元，若能，则将剩余折点的尾点作为几何分割点，并将去除的折点组成新的折点序列进行凸笔划分割，若不能则循环继续去除折点并判断；

凹笔划分割方法：

步骤3.3：对组成凹笔划的折点序列{s_i,i＝0,1,2,...,M}按照折点方向分为若干组：从折点序列{s_i,i＝1,2,...,M-1}任意一端开始，判断每个折点的折点方向，将折点方向连续相同的若干个折点分为一组，将折点s₀分入折点s₁所在组，将折点s_M分入折点s_M-1所在组；

步骤3.4：对于步骤3.3得到的若干组折点，按照以下公式分别计算每组折点的判断函数值δ_n：

${\mathrm{\&delta;}}_n=\frac{{{\mathrm{num}}_n}^2}{L_n}$

其中num_n为第n组折点的折点个数，L_n为第n组折点构成的子笔划的长度；若δ_n≥δ_n+1，则将第n+1组折点中与第n组折点序号最接近的折点作为几何分割点，否则将第n组折点中与第n+1组折点序号最接近的折点作为几何分割点；

将速度折点序列{z_r,r＝0,1,2,...,R}与几何分割点序列{g_j,j＝0,1,2,...,G}进行二次映射：

对{z_r,r＝1,2,...,R-1}中的每个速度折点z_r，进行以下判断，以得到前期分割点序列：分别计算z_r与{g_j,j＝0,1,2,...,G}中所有点的距离，得到距离的最小值，若最小值小于设定阈值，则将该速度折点z_r作为前期分割点；将速度折点序列的首尾点也标记为前期分割点；

步骤4：对前期分割点序列中的每组相邻两个前期分割点分别进行以下处理：提取该组前期分割点之间的折点序列，对该折点序列进行单一线元拟合，判断能否被识别为单一线元，若能，就将该组前期分割点标记为后期分割点；若不能，则采用步骤3的方法对该折点序列进行划分，将得到的几何分割点以及该组前期分割点作为后期分割点；从而将有效输入笔划由后期分割点分割为若干子段；

步骤5：对步骤4得到的若干子段进行判断，若相邻两个子段都属于直线线元或折线线元，则去除分割该相邻子段的后期分割点，并将该相邻子段合并成新的子段。

所述一种用于智能手绘输入的基于混合特征的笔划分割方法，其特征在于：N不小于5。

所述一种用于智能手绘输入的基于混合特征的笔划分割方法，其特征在于：S为0.015s。

所述一种用于智能手绘输入的基于混合特征的笔划分割方法，其特征在于：对有效输入笔划进行折线化逼近过程中的阈值ε_z采用阈值函数

ε_z＝0.2(L₁/L+0.5)·D

得到，其中L₁为有效输入笔划的首采样点与尾采样点连线长度，L为有效输入笔划长度，D为笔划宽度。

有益效果

本发明将速度特征和几何特征相结合，通过映射处理得到新的混合特征，通过“分割－识别－再分割”的笔划识别原则，先进行前期分割，然后进行单一线元识别，最后进行后期分割，有效地避免了单纯几何特征分割和单纯速度特征分割的不足。

附图说明

图1：基于混合特征的笔划分割算法流程图。

图2：基于不同方法的笔划分割比较。

具体实施方式

下面结合具体实施例描述本发明：

本实施例中采用的基于混合特征的笔划分割方法，采用以下步骤：

步骤1：对接收到的有效输入笔划提取N个采样点，N不小于5，采样点包含笔划起点和笔划终点，相邻采样点的间隔时间不小于S，S取0.015s；这里的输入笔划指按键——移动——松键的过程中形成的一条轨迹。分别获取各个采样点的瞬时速度、采样时刻和对应像素点的坐标，并计算所有N个采样点的瞬时速度的平均值v；其中笔划起点和笔划终点作为采样点序列的首尾采样点，瞬时速度为0。

步骤2：采用基于速度特征的笔划分割方法得到有效输入笔划的速度分割点，并按采样顺序组成速度分割点序列{q_r,r＝0,1,2,...,R}。并对有效输入笔划进行折线化逼近，得到折点序列{s_i,i＝0,1,2,...,M}。

所述基于速度特征的笔划分割方法采用申请号为201410128457.0的中国专利申请《用于智能手绘输入的基于速度特征的笔划分割方法》中公开的方法。

所述折线化逼近过程采用文献“Cooper M C.Linear-time algorithms for testing thereliability of line drawings of curved objects,Artificial Intelligence[J],1999,108(1):31-67”中公开的方法，其基本原理为：将笔划的第一个和最后一个采样点连成的直线作为笔划的初始拟合，用AB标记。在采样点中计算最大规范误差，如果该误差值高于某一阈值，则在离直线段AB最远的采样点上设置一个折点，用C来标记。这样，笔划被分割成相对于折线段ACB的两个子笔划。在每一个子笔划中，重复上述的分裂算法，直到将笔划在最大规范误差范围内完全分裂为止，将笔划用折线段进行代替。

本实施例中对有效输入笔划进行折线化逼近过程中误差值的阈值ε_z采用阈值函数

ε_z＝0.2(L₁/L+0.5)·D

得到，其中L₁为有效输入笔划的首采样点与尾采样点连线长度，L为有效输入笔划长度，D为笔划宽度。

对折点序列与速度分割点序列进行第一次特征映射：

对于{q_r,r＝1,2,...,R-1}中的每一点q_r，进行以下判断：根据速度分割点q_r的采样时刻t_r，遍历折点序列{s_i,i＝0,1,2,...,M}，得到由连续两个折点s_i、s_i+1的采样时刻组成的时间段[t_i,t_i+1]包含t_r，取折点s_i、s_i+1中距离速度分割点q_r近的点为q_r的速度折点；由得到的所有速度折点，以及速度分割点序列中的首尾点组成速度折点序列{z_r,r＝0,1,2,...,R}。

步骤3：对有效输入笔划进行如下分割，得到几何分割点序列{g_j,j＝0,1,2,...,G}：

首先根据步骤2得到的折点序列{s_i,i＝0,1,2,...,M}判断有效输入笔划的凸凹性：在折点序列中判断折点s₁～s_M-1的方向，折点si的方向指矢量与矢量叉乘得到的矢量方向，若折点s₁～s_M-1的方向都相同，则表示有效输入笔划为凸笔划，否则为凹笔划；选择如下不同分割方法对有效输入笔划进行分割：

凸笔划分割方法：

步骤3.1：对组成凸笔划的折点序列进行单一线元拟合，计算拟合误差δ，并与阈值δ_max进行比较；若δ<δ_max，则折点序列被识别为单一线元，否则进入步骤3.2；

步骤3.2：从凸笔划的首端开始顺序去除一个折点，对剩余折点进行单一线元拟合，判断剩余折点能否被识别为单一线元，若能，则将剩余折点的首点作为几何分割点，并将去除的折点组成新的折点序列进行凸笔划分割，若不能，则循环继续去除折点并判断；或者从凸笔划的尾端开始顺序去除一个折点，对剩余折点进行单一线元拟合，判断剩余折点能否被识别为单一线元，若能，则将剩余折点的尾点作为几何分割点，并将去除的折点组成新的折点序列进行凸笔划分割，若不能则循环继续去除折点并判断；

凹笔划分割方法：

步骤3.3：对组成凹笔划的折点序列{s_i,i＝0,1,2,...,M}按照折点方向分为若干组：从折点序列{s_i,i＝1,2,...,M-1}任意一端开始，判断每个折点的折点方向，将折点方向连续相同的若干个折点分为一组，将折点s₀分入折点s₁所在组，将折点s_M分入折点s_M-1所在组；

步骤3.4：对于步骤3.3得到的若干组折点，按照以下公式分别计算每组折点的判断函数值δ_n：

${\mathrm{\&delta;}}_n=\frac{{{\mathrm{num}}_n}^2}{L_n}$

其中num_n为第n组折点的折点个数，L_n为第n组折点构成的子笔划的长度；若δ_n≥δ_n+1，则将第n+1组折点中与第n组折点序号最接近的折点作为几何分割点，否则将第n组折点中与第n+1组折点序号最接近的折点作为几何分割点。

这里的单一线元拟合方法采用文献“Parui S K,Guin K,Bhattacharya U,et al.Onlinehandwritten Bangla character recognition using HMM[C]//19th International IEEEConference on Pattern Recognition ICPR,IEEE,2008:1-4”中公开的方法。

将速度折点序列{z_r,r＝0,1,2,...,R}与几何分割点序列{g_j,j＝0,1,2,...,G}进行二次映射：

对{z_r,r＝1,2,...,R-1}中的每个速度折点z_r，进行以下判断，以得到前期分割点序列：分别计算z_r与{g_j,j＝0,1,2,...,G}中所有点的距离，得到距离的最小值，若最小值小于设定阈值，则将该速度折点z_r作为前期分割点；将速度折点序列的首尾点也标记为前期分割点。

步骤4：对前期分割点序列中的每组相邻两个前期分割点分别进行以下处理：提取该组前期分割点之间的折点序列，对该折点序列进行单一线元拟合，判断能否被识别为单一线元，若能，就将该组前期分割点标记为后期分割点；若不能，则采用步骤3的方法对该折点序列进行划分，将得到的几何分割点以及该组前期分割点作为后期分割点；从而将有效输入笔划由后期分割点分割为若干子段。

步骤5：单一线元合并：对步骤4得到的若干子段进行判断，若相邻两个子段都属于直线线元或折线线元，则去除分割该相邻子段的后期分割点，并将该相邻子段合并成新的子段。这样最后剩余的后期分割点就是最终通过混合特征得到的笔画分割点。

为进行对比，本实施例中给出7条笔划通过不同特征提取方法得到的笔划分割结果的比较分析，如图2所示。第一列为通过折线化逼近得到的笔划的折点位置及其个数，其中小圆圈代表折点；第二列为采用基于几何特征得到的笔划分割点及其个数，其中黑点代表几何特征点；第三列为采用基于速度特征提取算法得到的笔划分割点及其个数，其中圆圈代表速度特征点；第四列为基于混合特征得到的笔划分割点及其个数，其中黑点代表混合特征点；最后一列给出了采用基于混合特征得到的笔划分割方法结果的识别结果。

笔划1采用基于速度特征的笔划分割得到的速度分割点存在一个冗余点段，采用几何特征和混合特征得到的分割效果较好；笔划2采用速度分割和混合分割得到的分割结果较好，而采用几何特征进行分割，若只采用基于折点的凸笔划分割容易造成分割错误，而采用基于速度折点的分割效果则较好，速度折点又是通过混合特征获得，所以采用基于速度折点的凸笔划分割方法也是一种混合特征分割法；笔划3采用三种分割方法的分割结果均很好；笔划4采用几何分割和混合分割效果较好，采用速度分割方法会存在少量冗余点；笔划5和笔划6是凸笔划，其中以混合特征效果最佳，速度分割中会存在少点或多点现象；笔划6是由折线段曲线和二次曲线光滑连接构成的笔划，笔划7是由二次曲线和二次曲线光滑连接构成的笔划，其中笔划6只有速度分割中存在少点问题，其它两种分割方法均较好，但笔划7采用上述三种分割方法得到的分割结果均存在一个冗余点。

下表给出几种不同算法提取的关键值比较

Nt为理想分割点数，是用户本身绘制意图想要的分割点数；Ns为算法分割点数，是不同算法对笔划进行处理得到的分割点数；Nr为有效分割点数，是不同算法对比进行处理得到的算法分割点数中有效的分割点数。考虑不同算法得到的分割点数Ns有时多于有时少于理想的分割点数Nt，给出分割正确率

通过上述7条笔划在采用三种不同分割方式进行分割的结果，以及图2和上表可以看出，采用几何特征和速度特征得到的分割点并不鲁棒,而且会将原本可以直接被识别为单一线元的折线段进行不必要的分段，从而还需要通过单一线元合并进行连接；而采用基于混合特征得到的分割结果均能较好地将折线段作为一个整体进行处理，从而很好地避免了单一线元合并的处理过程，基本符合设计者的要求。

Claims (4)

1.一种用于智能手绘输入的基于混合特征的笔划分割方法，其特征在于：采用以下步骤：

步骤1：对接收到的有效输入笔划提取N个采样点，采样点包含笔划起点和笔划终点，相邻采样点的间隔时间不小于S；分别获取各个采样点的瞬时速度、采样时刻和对应像素点的坐标，并计算所有N个采样点的瞬时速度的平均值

步骤2：采用基于速度特征的笔划分割方法得到有效输入笔划的速度分割点，并按采样顺序组成速度分割点序列{q_r,r＝0,1,2,...,R}；并对有效输入笔划进行折线化逼近，得到折点序列{s_i,i＝0,1,2,...,M}；对折点序列与速度分割点序列进行第一次特征映射：

对于{q_r,r＝1,2,...,R-1}中的每一点q_r，进行以下判断：根据速度分割点q_r的采样时刻t_r，遍历折点序列{s_i,i＝0,1,2,...,M}，得到由连续两个折点s_i、s_i+1的采样时刻组成的时间段[t_i,t_i+1]包含t_r，取折点s_i、s_i+1中距离速度分割点q_r近的点为q_r的速度折点；由得到的所有速度折点，以及速度分割点序列中的首尾点组成速度折点序列{z_r,r＝0,1,2,...,R}；

步骤3：对有效输入笔划进行如下分割，得到几何分割点序列{g_j,j＝0,1,2,...,G}：

首先根据步骤2得到的折点序列{s_i,i＝0,1,2,...,M}判断有效输入笔划的凸凹性：在折点序列中判断折点s₁～s_M-1的方向，折点s_i的方向指矢量与矢量叉乘得到的矢量方向，若折点s₁～s_M-1的方向都相同，则表示有效输入笔划为凸笔划，否则为凹笔划；选择如下不同分割方法对有效输入笔划进行分割：

凸笔划分割方法：

步骤3.1：对组成凸笔划的折点序列进行单一线元拟合，计算拟合误差δ，并与阈值δ_max进行比较；若δ<δ_max，则折点序列被识别为单一线元，否则进入步骤3.2；

步骤3.2：从凸笔划的首端开始顺序去除一个折点，对剩余折点进行单一线元拟合，判断剩余折点能否被识别为单一线元，若能，则将剩余折点的首点作为几何分割点，并将去除的折点组成新的折点序列进行凸笔划分割，若不能，则循环继续去除折点并判断；或者从凸笔划的尾端开始顺序去除一个折点，对剩余折点进行单一线元拟合，判断剩余折点能否被识别为单一线元，若能，则将剩余折点的尾点作为几何分割点，并将去除的折点组成新的折点序列进行凸笔划分割，若不能则循环继续去除折点并判断；

凹笔划分割方法：

步骤3.3：对组成凹笔划的折点序列{s_i,i＝0,1,2,...,M}按照折点方向分为若干组：从折点序列{s_i,i＝1,2,...,M-1}任意一端开始，判断每个折点的折点方向，将折点方向连续相同的若干个折点分为一组，将折点s₀分入折点s₁所在组，将折点s_M分入折点s_M-1所在组；

步骤3.4：对于步骤3.3得到的若干组折点，按照以下公式分别计算每组折点的判断函数值δ_n：

${\mathrm{\&delta;}}_n=\frac{{{\mathrm{num}}_n}^2}{L_n}$

其中num_n为第n组折点的折点个数，L_n为第n组折点构成的子笔划的长度；若δ_n≥δ_n+1，则将第n+1组折点中与第n组折点序号最接近的折点作为几何分割点，否则将第n组折点中与第n+1组折点序号最接近的折点作为几何分割点；

将速度折点序列{z_r,r＝0,1,2,...,R}与几何分割点序列{g_j,j＝0,1,2,...,G}进行二次映射：

对{z_r,r＝1,2,...,R-1}中的每个速度折点z_r，进行以下判断，以得到前期分割点序列：分别计算z_r与{g_j,j＝0,1,2,...,G}中所有点的距离，得到距离的最小值，若最小值小于设定阈值，则将该速度折点z_r作为前期分割点；将速度折点序列的首尾点也标记为前期分割点；

步骤4：对前期分割点序列中的每组相邻两个前期分割点分别进行以下处理：提取该组前期分割点之间的折点序列，对该折点序列进行单一线元拟合，判断能否被识别为单一线元，若能，就将该组前期分割点标记为后期分割点；若不能，则采用步骤3的方法对该折点序列进行划分，将得到的几何分割点以及该组前期分割点作为后期分割点；从而将有效输入笔划由后期分割点分割为若干子段；

步骤5：对步骤4得到的若干子段进行判断，若相邻两个子段都属于直线线元或折线线元，则去除分割该相邻子段的后期分割点，并将该相邻子段合并成新的子段。

2.根据权利要求1所述一种用于智能手绘输入的基于混合特征的笔划分割方法，其特征在于：N不小于5。

3.根据权利要求1所述一种用于智能手绘输入的基于混合特征的笔划分割方法，其特征在于：S为0.015s。

4.根据权利要求1所述一种用于智能手绘输入的基于混合特征的笔划分割方法，其特征在于：对有效输入笔划进行折线化逼近过程中的阈值ε_z采用阈值函数

ε_z＝0.2(L₁/L+0.5)·D

得到，其中L₁为有效输入笔划的首采样点与尾采样点连线长度，L为有效输入笔划长度，D为笔划宽度。