CN1512298A - 三维手写识别的方法及其系统 - Google Patents

Abstract

本发明是关于一种能充分利用系统的计算能力，更快速地得到最终输入结果的三维手写识别方法及采用该方法的三维手写识别系统。根据本发明，提供了一种可以感知三维运动产生三维运动数据，并计算相应的三维坐标，构造三维轨迹，进而依一个字符的部分笔划的三维轨迹推导出二维投影平面，并将这个字符的三维轨迹映射到该二维平面，产生相应的用于手写识别的二维图像的三维手写识别方法以及相应的系统。本发明的三维手写识别方法能够更充分地利用系统的计算能力，使系统性能大幅提高。从而使用户在书写完字符后更快速地得到最终输入结果，而不必在输入两个字符间进行长时间的等待，得到更愉快而自然地输入体验。

Description

三维手写识别的方法及其系统

                                技术领域

本发明涉及手写识别技术，特别涉及三维(3D)手写识别的方法及其系统。

                                技术背景

手写识别是一种技术，通过该技术智能系统能够识别手写的文字和各种符号。由于该技术使用户从键盘操作中解脱出来，且允许用户用一种更自然的方法来书写和画图，因此已经被人们所广泛应用。

目前，对输入设备的最低需求是鼠标。为了用鼠标书写，用户需要按住且压下鼠标的基本按钮，然后移动鼠标的指针来形成一个字或字符的笔划以至最终产生字或字符。

广泛使用的手写输入设备，如触笔及书写板，在传统的手持设备如PDA中使用，或通过串行端口或USB端口连接到计算机上。手持设备通常使用触笔和接触屏帮助用户完成输入功能。大多数的手持设备如PDA都配备有这种输入设备。

另一种手写输入设备可以是一支笔，它允许用户简单地在一张普通白纸上用自然笔迹写或画，然后将数据传输到具有识别功能的接收单元例如手机、PDA或PC。

以上这些传统的手写输入设备均采用二维(2D)输入方法。用户必须在物理媒体上书写，如写字板、接触屏、或纸便签本等平面。这限制了用户的使用范围。例如，如果一个用户想要在一场表演或演讲过程中写下一些评论，那么他不得不首先找到一物理媒体，如一个书写板、一本便签本等。这对站立在房间中进行表演或演讲的用户来说相当的不便。同样，在一个移动环境中，如在小轿车、公共汽车或地铁里，用一支触笔在物理媒体上书写也是非常不便的。

在申请号为02144248.7的题为三维手写识别的方法及其系统的专利申请中，提供了一种改进的手写识别方法。该方法允许用户用一种非接触的方法在三维空间里自由地书写，无需任何物理媒体如便签本或书写板等。给用户带来更大的灵活性和便捷性，并将用户从二维手写识别所需要的物理媒体中解脱出来。

该方法接收通过将三维轨迹投影到二维平面上，从三维轨迹中推导相应的用于手写识别的二维图像。其中从三维轨迹中推导相应的用于手写识别的二维图像的步骤包括：系统从三维轨迹中抽样出若干点；当一个字或字符书写完毕后，系统从其所有抽样点的三维坐标中推导出一个二维平面；并将三维轨迹投影到该二维平面产生相应的用于手写识别的二维图像。

该系统要在用户书写完整个字或字符后才开始推导二维的投影平面，然后才能将三维的轨迹数据变换成二维图像。所以，当用户书写时系统没有进行计算，导致从用户书写完字符直到最终得到结果的时间将会很长。

因此，有必要提供一种改进的三维手写识别方法以及采用该方法的三维手写识别系统，来解决以上问题。

                               发明内容

本发明的目的是提供一种充分利用系统的计算能力，从而能更快速地得到最终输入结果的三维手写识别方法，以及采用该方法的三维手写识别系统。

根据本发明，提供了一种可以感知三维运动产生三维运动数据，并计算相应的三维坐标，构造三维轨迹，进而依一个字符的部分笔划的三维轨迹推导出二维的投影平面，并将这个字符的三维轨迹映射到该二维平面，产生相应的用于手写识别的二维图像的三维手写识别方法与采用该方法的三维手写识别系统。

更进一步，本发明以一个字符的部分三维轨迹为基础定义笔划，并判断两个笔划是否足以区分，然后从两个可区分的笔划的轨迹的抽样点的三维数据中推导出二维的投影平面，并通过将字符的三维轨迹投影到该二维平面上，推导相应的用于手写识别的二维图像。

本发明的三维手写识别方法能够更充分地利用三维手写识别系统的计算能力，从而能更快速地得到最终输入结果，并使用户得到更愉快而自然地输入体验。

对本发明更完整的理解将通过下面结合附图的描述和权利要求的内容而变得显而易见。

                               附图说明

图1是依据本发明的一个实施例的三维手写识别过程的流程图；

图2是依据本发明的一个实施例的定义不同笔划的示意图；

图3是依据本发明的一个实施例的三维手写识别系统。

                              具体实施方式

下面结合附图对本发明进行更详细的阐述。在申请号为02144248.7的题为三维手写识别的方法及其系统的专利申请中阐述的方法，作为使本发明完整的现有技术通过引用结合到本发明中。

图1是根据本发明的一个实施例说明三维手写识别过程100的流程图。在图1中，接收三维运动数据和抽样率后(步骤102)，以收到的信息为基础，将移动的开始点用作原点，计算每个抽样点的相应的X、Y和Z轴上的三维坐标(步骤106)。每个抽样点也作为计算下一个抽样点坐标的参考点。其中，抽样率可以基于例如运动的速度来动态确定和调节。

可以这样做，例如，首先确定和手写有关初始运动的速度。接着识别设备能以上一次抽样点的速度为基础动态地调整抽样率。速度越高，抽样率也越高，反之亦然。通过动态地调整抽样率，可以提高手写识别的精确度，因为只有最佳数量的抽样点才能用于构成文字或字符。此外，可以减小功率消耗。

以引入的三维运动数据为基础不断地进行三维坐标的计算，并用已经得到的三维坐标构造相应的三维轨迹(步骤116)，并接着将其投影到二维平面上(步骤122)。直到处理器检测收到一个控制信号(步骤124)。该控制信号表示一个字或字符的书写完毕，这时一个完整字符的二维映像轨迹就被构成。此后，进行传统的二维手写识别(步骤126)。

在上述识别过程中，为了将三维轨迹投影到二维平面上，首先必须找到一个合适的二维投影平面(步骤118)。在本发明的一个最佳实施例中，利用一个字或字符的的第一和第二可区分的笔划(步骤119)推导出合适的二维投影平面(步骤121)。

为了得到第一和第二可区分的笔划，首先要从已经得到的三维轨迹中定义不同的笔划。

对于一列三维的轨迹数据序列N_min＝3，如果其中每点都沿相同方向移动，即ΔP×(i)＝P×(i+1)-P×(i)与ΔP×(i-1)都是正或负或零，而且ΔPy(i)与ΔPz(i)也是如此，就认为他们属于一笔。否则，他们就属于另一笔。其中，P×(i)，Py(i)和Pz(i)分别代表点P(i)在x，y和z方向的坐标。

例如，所有的ΔP×(i)(0＜i＜k)都是负的，而ΔP×(k)是正的，那么三维的轨迹数据序列P₁，P₂，…，P_k-2，P_k-1，P_k属于一笔，从点P_k+1开始则是另一笔。

图2所示的是中文字符○(零)的二维图。这里使用二维图仅仅是简化处理的方法，对三维的情况也适用于同一思想。

对从A到B的所有点，可以认为他们都属于同一笔(笔划AB)，因为所有的ΔP×(i)和ΔPy(i)(P(i)是AB间的任一点)都是负的。但从B到C虽然ΔPy(i)仍是负的，而ΔP×(i)却变成了正的，所以他们并不属于笔划AB。将相同的思想应用于这个字符的余下部分，结果是这个字符有4笔。

由于实际作为输入的三维运动并不会十分精确，因为人的手并非机械，所以有时实际会与想要的移动方向有一定差别。这里需要定义一个极限N_min(N_min＞0的整数)，用来鉴别不同的笔划。如果少于N_min个连续点与其它点移动的方向不同，可以将他们视为“噪音”，并不被计算入有效的抽样点。

在本实施例中，我们取N_min＝3。对于每一点，我们要决定其运动方向需要考虑相邻的前后的两点。所以，如果ΔP×(i)、ΔPy(i)与ΔPz(i)(0＜i＜k)都是各自相同的正或负或零，那么三维的轨迹数据序列P₁，P₂，…，P_k-2，P_k-1，P_k属于同一笔。而从Pk开始的连续三个点P_k+1，P_k+2，P_k+3朝着另一不同方向运动，则从P₁到P_k的点属于第一笔，而P_k之后的点则不属于第一笔。

在本发明的其它实施例中，也可以设定合适的N_min(N_min＞0的整数)。

通过同样的方法可以找出第二笔。

然后，需要对两个笔划判断是否能加以区分。

显而易见，可区分的笔划彼此不能靠的太近。对于笔划A和笔划B，我们定义笔划B上的一点B_i(x_i，y_i，z_i)到笔划A的距离，是该点到笔划A上离其最近一点的距离。当笔划B的所有N_b个点到笔划A的平均距离∑d_i/N_b大于预定值d_min时，认为笔划A与笔划B可以区分。

在本发明较佳的实施例中，预定值d_min设为0.5厘米。在其它实施例中，也可以依需要定为其它大于0的值。

如果结果是能够区分的，那么我们就得到了两个可区分的笔划(步骤119)。否则，需要继续重新对新输入的三维轨迹定义笔划。然后判断是否有可区分的笔划。

为了构建二维投影平面(步骤121)，需要至少3个不在同一直线上的点。假如笔划A有N_a个点，而笔划B有N_b个点，我们可以从笔划A上选出n_a个点，从笔划B上选出n_b个点，只要0＜n_a＜N_a，0＜n_b＜N_b，n_a+n_b≥3，并且这些点不都在同一直线上。

在本实施例中，我们利用两个可区分笔划来取抽样点。在其它实施例中，只要能保证取到至少3个不在同一直线上的点，也可以实现本发明。

在本实施例中，需要n＝n_a+n_b个抽样点。实际上，只要满足n＝n_a+n_b≥3就可以满足本发明的目的。

根据几何原理，一个合适的二维投影平面是一个平面，每个抽样点到该平面的距离平方的总和是最小的。假设n个抽样点的坐标如下：(x₁，y₁，z₁)，(x₂，y₂，z₂)…(x_n，y_n，z_n)，平面方程为Ax+By+Cz+D＝0，其中(A²+B²+C²≠0)。现在必须决定A，B，C，D的值。给出了从一点(x₁，y₁，z₁)到平面的距离 $d_1=\frac{|{\mathrm{Ax}}_1+{\mathrm{By}}_1+{\mathrm{Cz}}_1+D|}{\sqrt{A^2+B^2+C^2}},$ 并用F(A，B，C，D)代表的总和 $\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{d_i}^2$ 表示为：

$F(A,B,C,D)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{d_i}^2=\frac{{({\mathrm{Ax}}_1+{\mathrm{By}}_1+{\mathrm{Cz}}_1+D)}^2+{({\mathrm{Ax}}_2+{\mathrm{By}}_2+{\mathrm{Cz}}_2+D)}^2+\·\·\·+{({\mathrm{Ax}}_n+{\mathrm{By}}_n+{\mathrm{Cz}}_n+D)}^2}{A^2+B^2+C^2}$

A，B，C，D的值可以用下述拉格朗日乘法的方法确定，在A²+B²+C²＝1的约束下，F(A，B，C，D)＝F′(A，B，C，D)＝(Ax₁+By₁+Cz₁+D)²+(Ax₂+By₂+Cz₂+D)²+…+(Ax_n+By_n+Cz_n+D)²。根据拉格朗日乘法，我们可以构造如下方程：

G(A，B，C，D)＝F′(A，B，C，D)+λ(A²+B²+C²-1)

其中λ是拉格朗日乘子，它是一个常数。G(A，B，C，D)关于A、B、C和D的偏微分方程如下：

$\frac{\∂G(A,B,C,D)}{\∂A}=0$

$\frac{\∂G(A,B,C,D)}{\∂B}=0$

$\frac{\∂G(A,B,C,D)}{\∂C}=0$

$\frac{\∂G(A,B,C,D)}{\∂D}=0$

从上述的4个方程可以得到以下的方程：

$A({\mathrm{\Σ}}_{i=1}^n(x_i*x_i)+\mathrm{\λ})+B{\mathrm{\Σ}}_{i=1}^n(x_i*y_i)+C{\mathrm{\Σ}}_{i=1}^n(x_i*z_i)+D{\mathrm{\Σ}}_{i=1}^n{x}_i=0---\left(1\right)$

$A{\mathrm{\Σ}}_{i=1}^n(x_i*y_i)+B({\mathrm{\Σ}}_{i=1}^n(y_i*y_i)+\mathrm{\λ})C{\mathrm{\Σ}}_{i=1}^n(y_i*z_i)+D{\mathrm{\Σ}}_{i=1}^n{y}_i=0---\left(2\right)$

$A{\mathrm{\Σ}}_{i=1}^n(x_i*z_i)+B{\mathrm{\Σ}}_{i=1}^n(z_i*y_i)+C({\mathrm{\Σ}}_{i=1}^n(z_i*z_i)+\mathrm{\λ})+D{\mathrm{\Σ}}_{i=1}^n{z}_i=0---\left(3\right)$

$A{\mathrm{\Σ}}_{i=1}^n{x}_i+B{\mathrm{\Σ}}_{i=1}^n{y}_i+C{\mathrm{\Σ}}_{i=1}^n{z}_i+\mathrm{nD}=0$

A²+B²+C²＝1                                                      (5)

其中方程(4)可以改写成：

$D=-\frac{1}{n}(A{\mathrm{\Σ}}_{i=1}^n{x}_i+B{\mathrm{\Σ}}_{i=1}^n{y}_i+C{\mathrm{\Σ}}_{i=1}^n{z}_i)---\left(6\right)$

将方程(6)代入方程(1)、(2)和(3)得到下述方程：

$\left[\begin{array}{ccc}{\mathrm{\Σ}}_{i=1}^n(x_i*x_i)-\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n(x_i*x_i)& {\mathrm{\Σ}}_{i=1}^n(x_i*y_i)-\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n(x_i*y_i)& {\mathrm{\Σ}}_{i=1}^n(x_i*z_i)-\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n(x_i*z_i)\\ {\mathrm{\Σ}}_{i=1}^n(x_i*y_i)-\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n(x_i*y_i)& {\mathrm{\Σ}}_{i=1}^n(y_i*y_i)-\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n(y_i*y_i)& {\mathrm{\Σ}}_{i=1}^n(z_i*y_i)-\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n(z_i*y_i)\\ {\mathrm{\Σ}}_{i=1}^n(x_i*z_i)-\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n(x_i*z_i)& {\mathrm{\Σ}}_{i=1}^n(z_i*y_i)-\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n(z_i*y_i)& {\mathrm{\Σ}}_{i=1}^n(z_i*z_i)-\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n(z_i*z_i)\end{array}\right]*\left[\begin{array}{c}A\\ B\\ C\end{array}\right]=-\mathrm{\λ}\left[\begin{array}{c}A\\ B\\ C\end{array}\right]\left(7\right)$

这样，从上述方程中可以得到A、B、C和D的值。

上面采用拉格朗日乘法的方法来获取A、B、C和D的值，也可以采用其它方法如线性回归方法。

知道A、B、C和D的值后就得到投影平面方程Ax+By+Cz+D＝0(步骤121)，加上垂直于投影平面的直线的方程 $\frac{x-x_i}{A}=\frac{y-y_i}{B}=\frac{z-z_i}{C}$ 可以得到以下的方程：

$x^{\′}=\frac{(B^2+C^2)x_i-A({\mathrm{By}}_i+{\mathrm{Cz}}_i+D)}{A^2+B^2+C^2}$

$y=\frac{(A^2+C^2)y_i-B({\mathrm{Ax}}_i+{\mathrm{Cz}}_i+D)}{A^2+B^2+C^2}$

可以使用上述方程来获取每个三维抽样点相应的二维坐标(步骤122)，无论它是属于已经输入的三维轨迹数据还是用户继续输入的这个字符的其余部分。

由于大多数中英文字符都包含两个以上的可区分的笔划，只要找出最先的两个可区分笔划(步骤119)就能找出二维投影平面(步骤121)。而后就能计算出用户在三维空间内书写的字符的全部三维轨迹的二维图像(步骤122)。

参考图3，显示了根据本发明的一个实施例的三维手写识别系统10。如图所示，系统10包括一个手写输入设备20、一个识别设备30以及一个输出设备40。输入设备20包括一个三维运动检测传感器22、一个控制电路26以及一个通信接口28。识别设备30包括一个处理器32、一个内存34、一个存储设备36，以及一个通信接口38。为简明起见，图3中没有显示其它常规元件。在其他变化实施例中，内存34也可以独立于识别设备30外，并与识别设备30操作性连接。

在操作中，用户移动输入设备20在三维空间中自由地书写文字或字符。运动检测传感器22检测三维运动并经通信接口28(如蓝牙、Zigbee、IEEE802.11、红外线或USB端口)和与其对应的接口38，将三维运动数据和抽样率传送到识别设备30用于手写识别(步骤102)。抽样率可以基于各种因素(如系统的处理能力)由最终用户或生产商预先确定其值。或者，抽样率可以基于例如运动的速度来动态确定和调节。在本发明的最佳实施例中，基于速度调整抽样率。首先，确定和手写有关初始运动的速度；接着，识别设备以上一次抽样点的速度为基础，动态地调整抽样率。速度越高，抽样率也越高，反之亦然。通过动态地调整抽样率，可以提高手写识别的精确度，因为只有最佳数量的抽样点才能用于构成文字或字符。

以从输入设备20接收到的运动数据和抽样率为基础，处理器32占用内存34，计算X、Y和Z轴上的相应的三维坐标(步骤106)，并将这些坐标存入存储设备36中。而后，处理器32占用内存34，用经过计算的坐标来构造相应的三维轨迹(步骤116)，并计算所需的二维投影平面(步骤118)。接着将该三维轨迹投影在二维平面上(步骤122)，用于形成能用传统的手写识别软件识别的二维图像。最终结果显示在输出设备40上。

由于三维书写是一个连续的过程，输入设备20的控制电路26经输入设备的接口28和识别设备的接口38为识别设备提供一个控制信号(步骤124)，用于在接收到用户提供的外部输入时分隔单独的文字或字符。例如，用户可以在书写完一个字或字符后，按住一个控制钮使控制电路26产生控制信号。

上述就是采用本发明的一个实施例的三维手写识别系统。

通过这样的依一个字符的部分笔划的三维轨迹数据推导出二维的投影平面，并将这个字符的所有三维轨迹数据映射到该二维平面，产生相应的用于手写识别的二维图像的三维手写识别方法，就能大幅缩减处理时间。这样用户就能在书写完字符后比原来短的多的时间内得到最终输入结果。这样，用户就不必在输入两个字符间进行长时间的等待，就会有舒适的用户体验，同时系统性能也大幅提高。

虽然结合特定实施例叙述了本发明，但具体实施例只是举例说明，而非用于限定本发明的内容和范围。根据本发明的附图和详细描述，对熟悉本技术领域的技术人员来说显而易见的许多替代方案、修改和变化也在本发明权利要求的精神和范围内。

Claims (24)

1.一种三维手写识别方法，包括以下步骤：

1)以三维运动数据为基础计算相应的三维坐标；

2)以三维坐标为基础构造三维轨迹；

3)以已经输入的部分三维轨迹为基础推导二维投影平面；

4)在用户输入剩余三维运动数据的同时，将三维轨迹投影到该二维投影平面上得到相应的用于手写输入的二维图像。

2.如权利要求1所述的三维手写识别方法，其中在步骤1)前进一步包括感知三维运动产生三维运动数据的步骤。

3.如权利要求2所述的三维手写识别方法，其中在感知三维运动产生三维运动数据的步骤和以三维运动数据为基础计算相应的三维坐标的步骤间进一步包括以运动的速度为基础动态调整抽样率的步骤。

4.如权利要求1所述的三维手写识别方法，其中在步骤5)后进一步包括以二维图像为基础完成二维手写识别的步骤。

5.如权利要求1所述的三维手写识别方法，其中步骤4)进一步包括：

A)基于输入的至少一部分三维轨迹找出可区分的笔划的步骤。

B)从上述可区分的笔划或他们的一部分推导出二维投影平面的步骤。

6.如权利要求5所述的三维手写识别方法，其中步骤A)包括：

a)首先需要找出两个不同的笔划

b)判断两个笔划的平均距离是否满足可区分条件。

7.如权利要求5所述的三维手写识别方法，其中步骤B)推导的步骤进一步包括推导每个取样点到所述平面的距离平方的总和是最小的二维平面的步骤。

8.如权利要求5所述的三维手写识别方法，其中步骤B使用的可区分笔划是最先两笔可区分的笔划。

9.如权利要求6所述的三维手写识别方法，其中步骤a)定义不同笔划是通过判断三维轨迹的运动方向是否发生变化。

10.如权利要求6所述的三维手写识别方法，其中步骤b)中两个可区分笔划的平均距离要大于某一个可以预先设定的大于0的值。

11.如权利要求7所述的三维手写识别方法，其中推导每个取样点到所述平面的距离平方的总和是最小的二维平面的方法可以采用拉格朗日乘法。

12.如权利要求9所述的三维手写识别方法，其中判断运动方向是否发生变化时允许N_min个连续点与先前点移动的方向不同，N_min为某一个预先设定的大于0的整数。

13.一种手写识别系统，包括：

一个输入设备，所述设备包括一个三维运动检测传感器，用于产生响应三维运动的三维运动数据；以及

一个识别设备，与输入设备信息交流，用于接收三维运动数据，并以三维运动数据为基础推导相应的用于手写识别的二维图像。

14.如权利要求13所述的系统，其中识别设备采用了以二维图像为基础完成二维手写识别的方法。

15.如权利要求13所述的系统，其中识别设备采用了：

以三维运动数据为基础计算相应的三维坐标的方法；

以三维坐标为基础构造相应的三维轨迹的方法；以及

从三维轨迹中推导相应的二维图像的方法。

16.如权利要求15所述的系统，其中识别设备进一步采用了以运动的速度为基础动态调整抽样率的方法。

17.如权利要求15所述的系统，其中从三维轨迹中推导相应的二维图像的方法进一步包括将三维轨迹投影到一个二维平面上以推导用于手写识别的二维图像的步骤。

18.如权利要求17所述的系统，其中推导步骤进一步包括推导每个取样点到所述平面的距离平方的总和是最小的二维平面的步骤。

19.如权利要求13所述的系统，其中输入设备进一步包括一个控制电路，响应用户的指令，并产生一个传送到识别设备，表示一个字或字符书写完毕的控制信号。

20.如权利要求14所述的系统，其中进一步包括一个显示手写识别最终结果的输出设备。

21.一种计算系统，包括：

一个内存；

一个包括一个三维运动检测传感器的输入设备，其中三维运动检测传感器用于产生响应三维运动的三维运动数据；以及

一个识别设备，与内存操作性连接且与输入设备信息交流，其构型成用于接收三维运动数据并以三维运动数据为基础推导相应的用于手写识别的二维图像。

22.如权利要求21所述的系统，其中识别设备采用了以二维图像为基础完成二维手写识别的方法。

23.如权利要求21所述的系统，其中识别设备采用了：

以三维运动数据为基础计算相应的三维坐标的方法；

以三维坐标为基础构造相应的三维轨迹的方法；以及

从三维轨迹中推导相应的二维图像的方法。

24.如权利要求23所述的系统，其中推导步骤进一步包括将三维轨迹投影到一个二维平面上以推导用于手写识别的二维图像的步骤。

Images