CN107203268A - 一种基于方向链码的三维笔势识别方法 - Google Patents

Abstract

本发明涉及一种基于方向链码的三维笔势识别方法，属于人机交互领域，通过采集笔式输入通道中笔的空间位置信息，采用方向链码来描述笔的运动轨迹，进而建立三维笔势的模型，通过与系统中设定好的模型进行匹配，来实时地识别用户的交互意图。本发明可以实时地识别出用户在三维空间中的一些笔势操作，具有一定的通用性以及扩展性，支持三维书空识别，增强人机交互平台的自然性，运用方向链码的编码方式，算法简便，计算量小，实时性高，通过对方向链码的去噪以及整合处理，可以进行精准识别。

Description

一种基于方向链码的三维笔势识别方法

技术领域

本发明属于人机交互领域，具体涉及三维笔式交互领域，提供一种基于方向链码的三维笔势识别方法。

背景技术

随着人机交互技术的不断发展，以人为中心的自然人机交互方法成为研究热点。目前以鼠标、键盘为代表的平面交互方法难以描绘三维空间信息，限制了自然人机交互的发展。三维书空笔式交互，不但符合人类长期以来的纸笔使用习惯，而且这种交互方式具有灵活、自然、表达丰富的特点，更可以满足三维空间交互的需求，所以受到越来越多人的重视，相应的笔势识别方法也逐渐成为该领域必须解决的问题。

目前已有一些关于三维空间笔势或者手势的识别方法。

中国专利“基于GL优化的神经网络手势识别人机交互方法”(申请号201610811148.2)公开了一种基于深度学习神经网络的手势识别方法，从大量标签数据中提取数据特征，并消除背景环境变化对识别效果产生的不良影响。中国专利“一种基于多级深度卷积神经网络的手势识别方法”(申请号201610983244.5)公开了一种基于多级深度卷积的识别方法，将人体图像数据输入深度神经网络模型，进行操作开始状态的初步判断，进一步与构建的混合模型进行匹配识别，并将输入数据与识别结果进行误差判定，得到相应的识别概率。刘杰等(参考文献：模板匹配的三维手势识别算法.计算机辅助设计与图形学学报,2016,28(8):1365-1372.)将二维平面手势识别算法拓展到三维空间，实现平面手势和立体手势的同步识别。但以上方法需要运用大量样本进行训练或对矩阵进行奇异值分解，具有较大的计算复杂度，难以实现实时、快速的识别。

发明内容

本发明提供一种基于方向链码的三维笔势识别方法，以解决运用机器学习或者图像识别的方法虽然只需要根据手势或者笔势就可以实现识别功能，但此类算法需要大量的训练样本建立模板库，且存在复杂的非线性映射等过程，具有较重的计算负担，难以保证识别的实时性和快速性的问题。

本发明采取的技术方案是，包括下列步骤：

1)基于三维空间的方向链码，建立三维笔势模板库；

2)采集笔的空间坐标信息，用户在操作笔的同时，笔式交互系统以一定的频率采集笔的空间坐标信息P_n(x_n,y_n,z_n)，其中n＝1,2,3…，将最近时刻采样点P_i(x_i,y_i,z_i)及上一时刻采样点P_i-1(x_i-1,y_i-1,z_i-1)送到处理单元进行处理，其中i＝2,3,4…；

3)确定所对应的方向链码，计算在x-y平面的投影向量确定方向链码的第一个分量a_i，然后分别计算在x-z平面、y-z平面的投影向量 并确定方向链码的第二个分量b_i以及第三个分量c_i，得到的方向链码为(a_i,b_i,c_i)，用M_i表示；

4)方向链码去噪，根据实时更新的链码序列M_i，当满足i＝kN+1时，将N个链码M_kN+2～M_(k+1)N+1进行去噪处理：在这N个链码中，若某个链码M_i占整组链码的个数比例超过了一个阈值ξ，则将M_i实时地更新到一个新的链码序列MM_j，其中N为整数，根据实际情况设定，k＝1,2,3…，j＝1,2,3…；

5)确定方向链码矩阵，将新的链码序列MM_j进行整合，把连续的相同链码合并为同一个链码，并将其按照顺序以列向量的形式存储到矩阵中，形成最终的方向链码矩阵；

6)根据方向链码矩阵与模板库进行匹配，并执行对应的操作。

本发明所述步骤1)中的三维笔势模板库需要进行设置，包括基本的复制、粘贴、删除、撤销、打开、关闭操作。

本发明所述步骤3)中的方向链码是三维空间的方向链码，将其投影到x-y平面包括8个方向链码，投影到x-z平面包括8个方向链码，投影到y-z平面包括8个方向链码；

进一步的，x-y平面中的8个链码如下：以x轴、y轴、一三象限角分线、二四象限角分线画出4条线，以x-y坐标系原点为原点，沿着这4条线可以得到8个方向，这8个方向分别对应着8个链码；每个链码都有自己的码字，x轴正向的码字为1，将其逆时针旋转45°的码字为2；y轴正向的码字为3，将其逆时针旋转45°的码字为4；x轴负向的码字为5，将其逆时针旋转45°的码字为6；y轴负向的码字为7，将其逆时针旋转45°的码字为8；x-z平面中的8个链码如下：以x轴、z轴、一三象限角分线、二四象限角分线画出4条线，以x-z坐标系原点为原点，沿着这4条线可以得到8个方向，这8个方向分别对应着8个链码。每个链码都有自己的码字，x轴正向的码字为1，将其逆时针旋转45°的码字为2；z轴正向的码字为3，将其逆时针旋转45°的码字为4；x轴负向的码字为5，将其逆时针旋转45°的码字为6；z轴负向的码字为7，将其逆时针旋转45°的码字为8；y-z平面中的8个链码如下：以y轴、z轴、一三象限角分线、二四象限角分线画出4条线，以y-z坐标系原点为原点，沿着这4条线可以得到8个方向，这8个方向分别对应着8个链码；每个链码都有自己的码字，y轴正向的码字为1，将其逆时针旋转45°的码字为2；z轴正向的码字为3，将其逆时针旋转45°的码字为4；y轴负向的码字为5，将其逆时针旋转45°的码字为6；z轴负向的码字为7，将其逆时针旋转45°的码字为8；

进一步的，上述的三维空间方向链码总数一共18个，即将x-y、x-z、y-z这3个平面的方向链码整合到一起、并去掉重复的方向链码，得到三维空间的所有方向链码。

本发明所述步骤3)中的由投影向量得到链码分量的方法为：

(1)若投影向量为(0,0)，则编码为0，否则转到第2步；

(2)若投影向量与坐标轴重合，则直接编码为坐标轴所对应的链码，否则转到第(3)步；

(3)求出向量对应坐标点到该点所在象限角分线的距离以及到两个坐标轴的距离，取其中距离最小的方向链码作为该投影向量的方向链码，若出现距离相等的情况，则取数值上相对较小的链码作为该投影向量的方向链码。

目前三维空间手势或者笔势交互的识别方法相当普遍，通过笔式交互通道中笔的实时空间坐标信息，采用三维空间的方向链码来描述笔的运动轨迹，能对用户连续的笔势输入进行实时的反馈处理，更加流畅的完成用户的交互意图，从而实现高效的笔式交互方式。

本发明的优点包括：

1)本发明支持三维书空识别，增强人机交互平台的自然性；

2)本发明运用18个方向链码，基本涵盖三维空间中的所有方向；

3)本发明运用方向链码的编码方式，算法简便，计算量小，实时性高；

4)本发明通过对方向链码的去噪以及整合处理，可以进行精准识别。

附图说明

图1A是本发明复制模板笔势轨迹图；

图1B是本发明粘贴模板笔势轨迹图；

图1C是本发明删除模板笔势轨迹图；

图1D是本发明撤销模板笔势轨迹图；

图2A是本发明三维方向链码示意图；

图2B是本发明x-y平面方向链码示意图；

图2C是本发明x-z平面方向链码示意图；

图2D是本发明y-z平面方向链码示意图；

图3是本发明采集复制笔势的空间坐标信息图；

图4A是本发明的三维向量示意图；

图4B是本发明在x-y平面投影向量示意图；

图4C是本发明在x-z平面投影向量示意图；

图4D是本发明在y-z平面投影向量示意图。

具体实施方式

包括下列步骤：

1)基于三维空间的方向链码，建立三维笔势模板库；

2)采集笔的空间坐标信息，用户在操作笔的同时，笔式交互系统以一定的频率采集笔的空间坐标信息P_n(x_n,y_n,z_n)，其中n＝1,2,3…，将最近时刻采样点P_i(x_i,y_i,z_i)及上一时刻采样点P_i-1(x_i-1,y_i-1,z_i-1)送到处理单元进行处理，其中i＝2,3,4…；

3)确定所对应的方向链码，计算在x-y平面的投影向量确定方向链码的第一个分量a_i，然后分别计算在x-z平面、y-z平面的投影向量 并确定方向链码的第二个分量b_i以及第三个分量c_i，得到的方向链码为(a_i,b_i,c_i)，用M_i表示；

4)方向链码去噪，根据实时更新的链码序列M_i，当满足i＝kN+1时，将N个链码M_kN+2～M_(k+1)N+1进行去噪处理：在这N个链码中，若某个链码M_i占整组链码的个数比例超过了一个阈值ξ，则将M_i实时地更新到一个新的链码序列MM_j，其中N为整数，根据实际情况设定，k＝1,2,3…，j＝1,2,3…；

5)确定方向链码矩阵，将新的链码序列MM_j进行整合，把连续的相同链码合并为同一个链码，并将其按照顺序以列向量的形式存储到矩阵中，形成最终的方向链码矩阵；

6)根据方向链码矩阵与模板库进行匹配，并执行对应的操作。

本发明所述步骤1)中的三维笔势模板库需要进行设置，包括基本的复制、粘贴、删除、撤销、打开、关闭操作。

本发明所述步骤3)中的方向链码是三维空间的方向链码，将其投影到x-y平面包括8个方向链码，投影到x-z平面包括8个方向链码，投影到y-z平面包括8个方向链码；

进一步的，x-y平面中的8个链码如下：以x轴、y轴、一三象限角分线、二四象限角分线画出4条线，以x-y坐标系原点为原点，沿着这4条线可以得到8个方向，这8个方向分别对应着8个链码；每个链码都有自己的码字，x轴正向的码字为1，将其逆时针旋转45°的码字为2；y轴正向的码字为3，将其逆时针旋转45°的码字为4；x轴负向的码字为5，将其逆时针旋转45°的码字为6；y轴负向的码字为7，将其逆时针旋转45°的码字为8；x-z平面中的8个链码如下：以x轴、z轴、一三象限角分线、二四象限角分线画出4条线，以x-z坐标系原点为原点，沿着这4条线可以得到8个方向，这8个方向分别对应着8个链码。每个链码都有自己的码字，x轴正向的码字为1，将其逆时针旋转45°的码字为2；z轴正向的码字为3，将其逆时针旋转45°的码字为4；x轴负向的码字为5，将其逆时针旋转45°的码字为6；z轴负向的码字为7，将其逆时针旋转45°的码字为8；y-z平面中的8个链码如下：以y轴、z轴、一三象限角分线、二四象限角分线画出4条线，以y-z坐标系原点为原点，沿着这4条线可以得到8个方向，这8个方向分别对应着8个链码；每个链码都有自己的码字，y轴正向的码字为1，将其逆时针旋转45°的码字为2；z轴正向的码字为3，将其逆时针旋转45°的码字为4；y轴负向的码字为5，将其逆时针旋转45°的码字为6；z轴负向的码字为7，将其逆时针旋转45°的码字为8；

进一步的，上述的三维空间方向链码总数一共18个，即将x-y、x-z、y-z这3个平面的方向链码整合到一起、并去掉重复的方向链码，得到三维空间的所有方向链码。

本发明所述步骤3)中的由投影向量得到链码分量的方法为：

(1)若投影向量为(0,0)，则编码为0，否则转到第2步；

(2)若投影向量与坐标轴重合，则直接编码为坐标轴所对应的链码，否则转到第(3)步；

(3)求出向量对应坐标点到该点所在象限角分线的距离以及到两个坐标轴的距离，取其中距离最小的方向链码作为该投影向量的方向链码，若出现距离相等的情况，则取数值上相对较小的链码作为该投影向量的方向链码。

下边结合附图通过具体实例进一步说明本发明。

本发明针对一些在交互过程中常用的操作，建立了一些简单的模板库，下面列举出四种操作所对应的模板，其示意图如图1所示。

图2A给出了三维方向链码示意图，将其投影到x-y平面包括8个方向链码，投影到x-z平面包括8个方向链码，投影到y-z平面包括8个方向链码，将x-y、x-z、y-z这3个平面的方向链码整合到一起并去掉重复的方向链码即可得到三维空间的所有方向链码，一共18个。

图2B给出了x-y平面中的8个方向链码，具体描述如下：以x轴、y轴、一三象限角分线、二四象限角分线画出4条线，以x-y坐标系原点为原点，沿着这4条线可以得到8个方向，这8个方向分别对应着8个链码。每个链码都有自己的码字，x轴正向的码字为1，将其逆时针旋转45°的码字为2；y轴正向的码字为3，将其逆时针旋转45°的码字为4；x轴负向的码字为5，将其逆时针旋转45°的码字为6；y轴负向的码字为7，将其逆时针旋转45°的码字为8。图2C给出了x-z平面中的8个方向链码，具体描述如下：以x轴、z轴、一三象限角分线、二四象限角分线画出4条线，以x-z坐标系原点为原点，沿着这4条线可以得到8个方向，这8个方向分别对应着8个链码。每个链码都有自己的码字，x轴正向的码字为1，将其逆时针旋转45°的码字为2；z轴正向的码字为3，将其逆时针旋转45°的码字为4；x轴负向的码字为5，将其逆时针旋转45°的码字为6；z轴负向的码字为7，将其逆时针旋转45°的码字为8。图2D给出了y-z平面中的8个方向链码，具体描述如下：以y轴、z轴、一三象限角分线、二四象限角分线画出4条线，以y-z坐标系原点为原点，沿着这4条线可以得到8个方向，这8个方向分别对应着8个链码。每个链码都有自己的码字，y轴正向的码字为1，将其逆时针旋转45°的码字为2；z轴正向的码字为3，将其逆时针旋转45°的码字为4；y轴负向的码字为5，将其逆时针旋转45°的码字为6；z轴负向的码字为7，将其逆时针旋转45°的码字为8。

下面结合模板库中的复制手势，如图1A所示，具体分析本发明所述的基于方向链码的三维笔势识别方法：

1)根据本发明专利所利用的方法，模板库已经确定复制操作所对应的方向链码序列为(7,0,5)-(1,8,7)-(3,0,1)，所对应的方向链码矩阵为

2)采集笔的空间坐标信息。如图3所示，用户在描述复制操作的过程中，笔的轨迹应该符合三个向量和用户在操作笔的同时，笔式交互系统以一定的频率采集笔的空间坐标信息P_n(x_n,y_n,z_n)，其中n＝1,2,3…。将最近时刻采样点P_i(x_i,y_i,z_i)及上一时刻采样点P_i-1(x_i-1,y_i-1,z_i-1)送到处理单元进行处理，其中i＝2,3,4…；

3)确定所对应的方向链码。以图3中为例，将其单独放在如图4A所示的新坐标系中，然后进行编码。如图4B所示，在x-y平面的投影向量其与y轴负向重合，所以编码为7；如图4C所示，在x-z平面的投影向量所以编码为0；如图4D所示，在y-z平面的投影向量其与y轴负向重合，所以编码为5。这样就得到了所对应的方向链码(7,0,5)，用M₁表示。

4)方向链码去噪。如图3所示，根据实时采集的坐标点可以得到实时更新的链码序列M_i，当满足i＝kN+1时，即可对N个链码M_kN+2～M_(k+1)N+1进行去噪处理，并更新到新的链码序列MM_k。以k＝1为例，若由于定位误差或者手抖动等原因导致这N个链码序列为则比较(N-2)/N与ξ的大小，若前者大，则将链码(7,0,5)新到新的链码序列MM₁，否则不做更新处理。

5)确定方向链码矩阵。将新的链码序列MM_k进行整合，把连续的相同链码合并为同一个链码，并将其按照顺序以列向量的形式存储到矩阵中，形成最终的方向链码矩阵。如图3所示，以第一个向量为例，MM₁和MM₂的链码同为(7,0,5)，则将其合并为一个链码(7,0,5)。同理，向量所对应的连码为(1,8,7)，向量所对应的连码为(3,0,1)。然后将其整合为方向链码矩阵

6)根据方向链码矩阵与模板库进行匹配，并执行对应的操作。经过上述笔势操作之后，得到一个方向链码矩阵，然后与模板库中的模板值进行匹配，得到对应的操作为复制，则执行该操作。

通过以上实例对本发明所述的基于方向链码的三维笔势识别方法进行了详细说明，但本发明的具体实现形式并不局限于此。本领域的一般技术人员，可以在不背离本发明所述方法的精神和原则的情况下对其进行各种显而易见的变化与修改。本发明的保护范围应以权利要求书所述为准。

Claims (8)

1.一种基于方向链码的三维笔势识别方法，其特征在于，包括下列步骤：

1)基于三维空间的方向链码，建立三维笔势模板库；

2)采集笔的空间坐标信息，用户在操作笔的同时，笔式交互系统以一定的频率采集笔的空间坐标信息P_n(x_n,y_n,z_n)，其中n＝1,2,3…，将最近时刻采样点P_i(x_i,y_i,z_i)及上一时刻采样点P_i-1(x_i-1,y_i-1,z_i-1)送到处理单元进行处理，其中i＝2,3,4…；

3)确定所对应的方向链码，计算在x-y平面的投影向量确定方向链码的第一个分量a_i，然后分别计算在x-z平面、y-z平面的投影向量 并确定方向链码的第二个分量b_i以及第三个分量c_i，得到的方向链码为(a_i,b_i,c_i)，用M_i表示；

4)方向链码去噪，根据实时更新的链码序列M_i，当满足i＝kN+1时，将N个链码M_kN+2～M_(k+1)N+1进行去噪处理：在这N个链码中，若某个链码M_i占整组链码的个数比例超过了一个阈值ξ，则将M_i实时地更新到一个新的链码序列MM_j，其中N为整数，根据实际情况设定，k＝1,2,3…，j＝1,2,3…；

5)确定方向链码矩阵，将新的链码序列MM_j进行整合，把连续的相同链码合并为同一个链码，并将其按照顺序以列向量的形式存储到矩阵中，形成最终的方向链码矩阵；

6)根据方向链码矩阵与模板库进行匹配，并执行对应的操作。

2.根据权利要求1所述的一种基于方向链码的三维笔势识别方法，其特征在于：所述步骤1)中的三维笔势模板库需要进行设置，包括基本的复制、粘贴、删除、撤销、打开、关闭操作。

3.根据权利要求1所述的一种基于方向链码的三维笔势识别方法，其特征在于，所述步骤3)中的方向链码是三维空间的方向链码，将其投影到x-y平面包括8个方向链码，投影到x-z平面包括8个方向链码，投影到y-z平面包括8个方向链码。

4.根据权利要求3所述的一种基于方向链码的三维笔势识别方法，其特征在于：x-y平面中的8个链码如下：以x轴、y轴、一三象限角分线、二四象限角分线画出4条线，以x-y坐标系原点为原点，沿着这4条线可以得到8个方向，这8个方向分别对应着8个链码；每个链码都有自己的码字，x轴正向的码字为1，将其逆时针旋转45°的码字为2；y轴正向的码字为3，将其逆时针旋转45°的码字为4；x轴负向的码字为5，将其逆时针旋转45°的码字为6；y轴负向的码字为7，将其逆时针旋转45°的码字为8。

5.根据权利要求3所述的一种基于方向链码的三维笔势识别方法，其特征在于：x-z平面中的8个链码如下：以x轴、z轴、一三象限角分线、二四象限角分线画出4条线，以x-z坐标系原点为原点，沿着这4条线可以得到8个方向，这8个方向分别对应着8个链码。每个链码都有自己的码字，x轴正向的码字为1，将其逆时针旋转45°的码字为2；z轴正向的码字为3，将其逆时针旋转45°的码字为4；x轴负向的码字为5，将其逆时针旋转45°的码字为6；z轴负向的码字为7，将其逆时针旋转45°的码字为8。

6.根据权利要求3所述的一种基于方向链码的三维笔势识别方法，其特征在于：y-z平面中的8个链码如下：以y轴、z轴、一三象限角分线、二四象限角分线画出4条线，以y-z坐标系原点为原点，沿着这4条线可以得到8个方向，这8个方向分别对应着8个链码；每个链码都有自己的码字，y轴正向的码字为1，将其逆时针旋转45°的码字为2；z轴正向的码字为3，将其逆时针旋转45°的码字为4；y轴负向的码字为5，将其逆时针旋转45°的码字为6；z轴负向的码字为7，将其逆时针旋转45°的码字为8。

7.根据权利要求3所述的一种基于方向链码的三维笔势识别方法，其特征在于：所述的三维空间的方向链码总数一共18个，即将x-y、x-z、y-z这3个平面的方向链码整合到一起、并去掉重复的方向链码，得到三维空间的所有方向链码。

8.根据权利要求1所述的一种基于方向链码的三维笔势识别方法，其特征在于：所述步骤3)中的由投影向量得到链码分量的方法为：

(1)若投影向量为(0,0)，则编码为0，否则转到第2步；

(2)若投影向量与坐标轴重合，则直接编码为坐标轴所对应的链码，否则转到第(3)步；

(3)求出向量对应坐标点到该点所在象限角分线的距离以及到两个坐标轴的距离，取其中距离最小的方向链码作为该投影向量的方向链码，若出现距离相等的情况，则取数值上相对较小的链码作为该投影向量的方向链码。