CN104793724B - 空中书写处理方法及装置 - Google Patents
空中书写处理方法及装置 Download PDFInfo
- Publication number
- CN104793724B CN104793724B CN201410020038.5A CN201410020038A CN104793724B CN 104793724 B CN104793724 B CN 104793724B CN 201410020038 A CN201410020038 A CN 201410020038A CN 104793724 B CN104793724 B CN 104793724B
- Authority
- CN
- China
- Prior art keywords
- node
- point set
- handwriting trace
- hand
- identified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Character Discrimination (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种空中书写处理方法及装置，其中，该方法包括：获取对应于用户空中书写过程中书写部件的运动轨迹的一系列节点；获取书写部件的运动信息，根据该运动信息，从一系列节点中，选择一个节点作为书写轨迹点集的起点，选择一个节点作为书写轨迹点集的终点；对书写轨迹点集进行识别，显示识别结果。本申请能够使得用户的书写更加方便和自然，并能够提高识别率。
Description
技术领域
本申请涉及信息处理技术领域，特别涉及一种空中书写处理方法及装置。
背景技术
目前，例如手机、电脑等终端设备已经支持了手写输入功能。用户可以使用手指或手写笔（或操作笔）在这些终端设备的触摸屏上手动地输入想要输入的内容，终端能够通过触摸屏上感应到的轨迹，来进行识别。但是，这种方式必须依赖例如触摸屏这种输入介质才能完成。
随着科学技术的不断进步，一种有别于上述传统手写方式的空中手写方式已经应运而生。空中手写，顾名思义，就是终端设备能够获取到用户使用手指或手写笔在不碰触显示屏的前提下书写的轨迹信息，并进行识别。通过空中手写，用户可以远距离向终端设备中输入内容。
现有技术中提出了一种基于Kinect的空中手写方法，其中，Kinect是一种3D（三维）体感摄影机，具有即时动态捕捉、影像辨识、麦克风输入、语音辨识、和社群互动等功能。该方法主要包括如下步骤：
步骤1、利用Kinect捕捉视频信息；
步骤2、分析处理并分割视频信息，分割得到每一帧图像里面用户的手部；
步骤3、对分割出来的手部进行指尖定位并且视为字符的一系列离散节点，完成一个字符的手写后，将这些节点拼接起来重构得到恢复的字符笔画，它被输入到一个字符识别引擎从而输出候选字；并且，对分割出来的手部提取形态特征，这些特征被用来作为手势检测的依据，一旦检测到指定的手势动作，系统将做出相应的响应操作。
上述基于Kinect的空中手写方法存在以下问题：
（1）用户需要使用特定手势五指张开变为单指，来标示一个字符输入的开始，以及使用特定手势单指变为五指张开，来标示一个字符输入的结束，使用不便。
（2）重构得到的轨迹无法断笔，这使得在根据该轨迹进行识别时，对于某些有“.”（点）的字符，例如，i，j等，识别正确率不高。
发明内容
本申请提供了一种空中书写处理方法及装置，旨在解决现有技术中存在的上述问题至少之一。
本申请的技术方案如下：
一方面，提供了一种空中书写处理方法，包括：
获取对应于用户空中书写过程中书写部件的运动轨迹的一系列节点；
获取书写部件的运动信息，根据运动信息，从一系列节点中，选择一个节点作为书写轨迹点集的起点，选择一个节点作为书写轨迹点集的终点；
对书写轨迹点集进行识别，显示识别结果。
另一方面，还提供了一种空中书写处理装置，包括：
获取模块，用于获取对应于用户空中书写过程中书写部件的运动轨迹的一系列节点；还用于获取书写部件的运动信息；
选择模块，用于根据获取模块获取到的运动信息，从一系列节点中，选择一个节点作为书写轨迹点集的起点，选择一个节点作为书写轨迹点集的终点；
识别模块，用于对书写轨迹点集进行识别，得到识别结果；
显示模块，用于显示识别模块得到的识别结果。
本申请的以上技术方案中，获取对应于用户空中书写过程中书写部件的运动轨迹的一系列节点，获取书写部件的运动信息，根据该运动信息，从一系列节点中，选择一个节点作为书写轨迹点集的起点，选择一个节点作为书写轨迹点集的终点，然后，对书写轨迹点集进行识别，显示识别结果。从而，通过分析书写部件的运动信息，能够自动地选择出书写轨迹点集的起点和终点，无需用户使用特定手势标示书写开始和结束，使得用户的书写更加方便和自然。
附图说明
图1是本申请实施例一的XYZ坐标系的示意图；
图2是本申请实施例一的空中书写处理方法的流程图；
图3是本申请实施例一的消除空中书写起始时由于用户抬手产生的冗余轨迹的过程示意图；
图4是本申请实施例一的空中书写带有“.”笔画的字符时实现断笔的一种情况下的过程示意图；
图5是本申请实施例一的空中书写带有“.”笔画的字符时实现断笔的另一种情况下的过程示意图；
图6是本申请实施例一的各种编辑命令对应的手势、名称和操作定义的示意图；
图7是本申请实施例一的上一次的识别结果正确时，用户连续书写的过程示意图；
图8是本申请实施例一的从上一次的识别结果中删除部分字符的过程示意图；
图9是本申请实施例一的向上一次的识别结果中插入至少一个字符的过程示意图；
图10是本申请实施例一的将上一次的识别结果中的部分字符替换为其他字符的过程示意图；
图11是本申请实施例一的确认上一次的识别结果正确的示意图；
图12是本申请实施例一的当上一次的识别结果有多个候选项，且这些候选项需要至少两页显示时，用户通过翻页命令实现向前/后翻一页的过程示意图；
图13是本申请实施例一的当上一次的识别结果有多个候选项时，用户通过选择命令选择对应的候选项的过程示意图；
图14是本申请实施例二的空中书写处理装置的结构示意图。
具体实施方式
为了解决现有技术中存在的用户需要使用特定手势标示一个字符输入的开始和结束，使用不便的问题，以及，重构得到的轨迹无法断笔，使得在根据该轨迹进行识别时，对于某些有“.”（点）的字符，识别正确率不高的问题，本申请以下实施例中提供了一种空中书写处理方法，以及一种可以应用该方法的装置。
本申请以下实施例中，定义了如图1所示的XYZ坐标系，XYZ坐标系中的XY平面与显示屏（执行实施例一的方法的装置，或实施例二中的空中书写处理装置的显示屏）位于同一水平面，X轴位于显示屏的水平方向，Y轴位于显示屏的竖直方向，Y轴正方向指向显示屏的下边沿，Z轴与XY平面垂直。
实施例一
如图2所示，本申请实施例的空中书写处理方法包括以下步骤：
步骤S102，获取对应于用户空中书写过程中书写部件的运动轨迹的一系列节点；
其中，书写部件可以是用户的手部或书写笔等。
具体的，当书写部件是用户的手部时，实现步骤S102的方法可以包括以下步骤：
步骤S1021：获取用户空中书写过程的深度图视频；
其中，可以利用深度图像传感器或摄像设备获取深度图视频。深度图（Depth Map）是指场景中各点相对于深度图像传感器或摄像设备的距离，即深度图中的每一个像素值表示场景中某一点与深度图像传感器或摄像设备之间的距离。
步骤S1022，依次从深度图视频中的每一帧图像中分割得到用户的手部，定位手部上的预定点的位置，得到一系列节点。
其中，由于视频是由按照时间先后顺序排列的多个图像组成，因此，本步骤S1022中依次对深度图视频中的各个图像进行处理。
具体的，从任一个图像中分割得到用户的手部，定位手部上的预定点的位置的方法包括以下步骤11-13：
步骤11：对图像中的背景进行建模，并利用背景和人体（即用户）的运动信息将图像中的人体分割出来；
步骤12：利用机器学习的方法从分割出的人体中找出手部；
具体的，对人体的运动区域点进行采样，利用随机森林算法判断采样点是否属于手部，最终找到所有属于手部的采样点。
步骤13：对所有属于手部的采样点进行mean-shift（均值漂移）聚类算法，找出手部上的预定点。
其中，预定点可以是手心点或指尖点等。当预定点采用手心点时，定位手部上的手心点的位置时的定位结果最准确，且稳定性最好。
步骤S104，获取书写部件的运动信息，根据该运动信息，从一系列节点中，选择一个节点作为书写轨迹点集的起点，选择一个节点作为书写轨迹点集的终点；
步骤S106，对书写轨迹点集进行识别，显示识别结果。
在步骤S106中，对书写轨迹点集进行平滑处理，并投影到与显示屏位于同一水平面的XY平面，之后，一方面，将处理后的书写轨迹点集送入识别引擎进行书写轨迹识别，并显示识别结果，另一方面，连接处理后的书写轨迹点集得到书写轨迹，并反馈给用户观看，使用户能明确地知道自己的书写状态以及书写结果。
本申请上述实施例的技术方案中，获取对应于用户空中书写过程中书写部件的运动轨迹的一系列节点，获取书写部件的运动信息，根据该运动信息，从一系列节点中，选择一个节点作为书写轨迹点集的起点，选择一个节点作为书写轨迹点集的终点，然后，对书写轨迹点集进行识别，显示识别结果。从而，通过分析书写部件的运动信息，能够自动地选择出书写轨迹点集的起点和终点，无需用户使用特定手势标示书写开始和结束，使得用户的书写更加方便和自然。
其中，步骤S104中的运动信息可以是速度和/或加速度。此时，步骤S104中获取书写部件的运动信息的方法可以采用以下方法中的任意一种：
方法一、根据一系列节点中节点之间的欧式距离的变化情况，获取书写部件的速度和/或加速度；
该方法一中，获取书写部件的速度的方法包括：计算一系列节点中相邻的两个节点之间的欧式距离dist(Pi,Pi-1)；其中，Pi表示节点i的坐标，Pi-1为节点i的前一个节点i-1的坐标，dist表示欧式距离运算符。此时，步骤S104中，根据运动信息，选择书写轨迹点集的起点和终点的方法包括：从一系列节点中选择满足以下条件的节点k作为书写轨迹点集的起点，该条件是：dist(Pk,Pk-1)≥TH且dist(Pk-1,Pk-2)＜TH；从一系列节点中选择满足以下条件的节点s作为书写轨迹点集的终点，该条件是：dist(Ps,Ps-1)＜TH且dist(Ps-1,Ps-2)≥TH；其中，TH为预设的欧氏距离阈值。
或者，该方法一中，获取书写部件的速度和加速度的方法包括：计算一系列节点中相邻的两个节点之间的欧式距离dist(Pi,Pi-1)；计算dist(Pi,Pi-1)-dist(Pi-1,Pi-2)；其中，Pi表示节点i的坐标，Pi-1为节点i的前一个节点i-1的坐标，dist表示欧式距离运算符。此时，步骤S104中根据运动信息，选择书写轨迹点集的起点和终点的方法包括：按照运动轨迹的运动方向，从一系列节点中选择第一个满足以下条件的节点c作为书写轨迹点集的起点，该条件是：dist(Pc,Pc-1)≥THv且dist(Pc,Pc-1)-dist(Pc-1,Pc-2)≥THa1；按照运动轨迹的运动方向，从一系列节点中选择第一个满足以下条件的节点d作为书写轨迹点集的终点，该条件是：
dist(Pd,Pd-1)＜THv且dist(Pd,Pd-1)-dist(Pd-1,Pd-2)＜-THa1；其中，THv和THa1为预设的欧氏距离阈值。
由于相邻两帧图像之间的时间间隔是相同的，因此，对应于相邻两帧图像上的预定点的位置的相邻的两个节点之间的欧式距离的变化情况，能够反映出书写部件的运动速度的变化情况，进而，反映出书写部件的加速度的变化情况。
方法二、通过加速度传感器获取书写部件的加速度。
当采用该方法二获取书写部件的加速度时，步骤S104中根据运动信息，选择书写轨迹点集的起点和终点的方法包括：按照运动轨迹的运动方向，从一系列节点中选择第一个满足以下条件的节点g作为书写轨迹点集的起点，该条件是：ag≥THa2；按照运动轨迹的运动方向，从一系列节点中选择第一个满足以下条件的节点h作为书写轨迹点集的终点，该条件是：ah＜-THa2；其中，THa2为预设的加速度阈值，ag为节点g对应的加速度，ah为节点h对应的加速度。
按照人们的书写习惯，在书写开始之前和书写结束时，书写部件都会有一段时间的停顿，具体来说，书写开始时，书写部件从停顿到运动，书写结束时，书写部件从运动到停顿。通过方法一或方法二，可以根据书写部件的速度和/加速度的变化情况，从一系列节点中，选择一个用于指示书写部件由停顿开始运动的节点，作为书写轨迹点集的起点，选择一个用于指示书写部件由运动开始停顿的节点，作为书写轨迹点集的终点。从而，通过分析用户在书写之前和之后都稍有停顿的书写习惯，利用书写部件的速度和/加速度的变化情况，选择出书写轨迹点集的起点和终点，使得用户的书写更加方便和自然。
另外，通过上述步骤S102-S104得到的书写轨迹点集是由步骤S104中选择的起点和终点，以及起点与终点之间的节点构成的。但是，在实际过程中，大部分用户在书写开始时会有抬手的动作，这个抬手的动作所产生的冗余轨迹可能会影响识别率。而且，由于用户在空中书写过程中书写部件的运动轨迹是连续的，因此，对于某些字符，如i，j等带有“.”（点）的笔画的字符，无法实现断笔，影响了识别率。
为了消除上述由于抬手动作所产生的冗余轨迹，本申请实施例的方法，在步骤S104之后，以及在步骤S106之前，会执行以下步骤：若书写轨迹点集上存在从起点开始沿着Y轴反方向延伸的抬手冗余轨迹点集（这部分轨迹点集被认为是用户抬手产生的冗余轨迹），则从书写轨迹点集上删除该抬手冗余轨迹点集。具体的，实现该操作的具体方法为从起点开始，执行以下步骤31-33：
步骤31：判断当前节点i和其后一个节点i+1的连线与Y轴之间的夹角α(i,i+1)是否大于预设的角度阈值，若是，则执行步骤32，否则，执行步骤33；
步骤32：退出本流程；
步骤33：删除该当前节点i，令i＝i+1，返回执行步骤31。
也就是说，假设，书写轨迹中从起点到终点依次编号为节点1，节点2，…。判断节点1（即起点）和节点2的连线与Y轴之间的夹角是否大于预设的角度阈值，若是，则退出本流程；否则，删除节点1，并继续判断节点2和节点3的连线与Y轴之间的夹角是否大于预设的角度阈值，若是，则退出本流程，否则，删除节点2，并继续判断节点3和节点4的连线与Y轴之间的夹角是否大于预设的角度阈值，以此类推。
由于不管是中文字符还是英文字符，在起笔的时候都没有斜向上（即，从起点开始沿着Y轴反方向延伸）的笔画，因此，可以通过步骤31-33将开始书写时由抬手带来的冗余笔画去掉。
例如，用户空中书写了一个英文字符“h”，在步骤S104后得到的书写轨迹点集连接后的显示图如图3的第1个图所示，在书写轨迹的起始部分有一段由于抬手产生的冗余轨迹，经过步骤31-33后得到的书写轨迹点集连接后的显示图如图3的第2个图所示，已经将书写轨迹的起始部分的一段由于抬手产生的冗余轨迹删除了，最终，经过步骤S106得到的识别结果如图3的第3个图所示。
为了实现断笔，本申请实施例的方法，在从书写轨迹点集上删除抬手冗余轨迹点集之后，还会执行以下操作：若书写轨迹点集上存在沿着Z方向延伸的断笔冗余轨迹点集，则从书写轨迹点集上删除该断笔冗余轨迹点集。具体的，实现该操作的具体方法包括以下步骤41-42：
步骤41：从书写轨迹点集的一端开始，重复执行以下步骤411-413，直至另一端：
步骤411、判断当前节点j和其后一个节点j+1在Z方向的距离distZ(Pj+1,Pj)是否小于THZ，若是，则执行步骤412，否则，执行步骤413；
其中，Pj表示该当前节点j的坐标，Pj+1表示该当前节点j的后一个节点j+1的坐标，distZ表示Z方向上的距离运算符；
步骤412、令j＝j+1，返回执行步骤411；
步骤413、将该当前节点j记为冗余点，令j＝j+1，返回执行步骤411；
distZ(Pj+1,Pj)≥THZ时，认为书写部件在Z方向上有运动，该当前节点j是需要删除的冗余点。
步骤42：将所有冗余点中的前N个冗余点保留，并将剩余的冗余点删除，其中，N为预设自然数。
在实际实施时，可以保留N个沿着Z方向延伸的冗余点，去除其余沿着Z方向延伸的冗余点。
由于用户在写“.”（点）这个笔画时，书写部件通常会有自然的前探和收手的动作，这样，在处理书写轨迹点集时，如果Z方向的运动特别明显，说明用户书写部件在做前探动作，如果连续一段时间都在做此动作，那么认为用户在写“.”（点）这个笔画，则可以在此处断笔。通过上述步骤41-42，可以将由于空中书写时书写部件运动轨迹是连续的，从而在书写带有“.”（点）笔画的字符时产生的冗余轨迹。
其中，在执行步骤42的过程中，或者，在步骤42执行完毕之后，还可以在剩余的书写轨迹上与被删除的冗余点对应的空白位置上，添加一断笔标记点。具体的，可以在被删除的第一个冗余点的位置上添加一断笔标记点，或者，在被删除的最后一个冗余点的位置上添加一断笔标记点，也可以在其它被删除的冗余点位置上添加一断笔标记点，本申请对此不做限定。
由于在对应于被删除的冗余点的位置上添加了一断笔标记点，这样，在执行步骤S106时，连接处理后的书写轨迹点集时，就可以在该断笔标记点两端断开；并且，在对剩余的书写轨迹点集进行识别时，可以获知书写轨迹点集在该断笔标记点两端断开，对于带有“.”（点）笔画的字符的识别，正确率会提高。
例如，用户空中书写了一个英文字符“i”，最初得到的书写轨迹点集连接后的显示图如图4的第1个图所示，“.”笔画与“ι”笔画之间有一段断笔冗余轨迹，经过步骤41-42之后得到的书写轨迹点集连接后的显示图如图4的第2个图所示，“.”笔画与“ι”笔画之间实现了断笔，最终，经过步骤S106得到的识别结果如图4的第3个图所示。
同样，对于如图5的情况，也经由步骤41-42实现了断笔。
经过上述方法步骤后，在步骤S106中得到的识别结果可以是以下之一：至少一个字符、动作手势型编辑命令；其中，字符可以是中文字符或英文字符；其中，动作手势型编辑命令是可以通过书写轨迹识别的编辑命令，动作手势型编辑命令包括：删除命令，插入命令，替换命令，确认命令和翻页命令，例如，各个动作手势型编辑命令对应的手势、名称、以及操作定义可以如图6所示。
若上一次识别出的识别结果是至少一个字符，用户查看识别结果是否正确，如果正确，则用户可以继续空中书写。例如，如图7所示，用户先书写了一个英文单词“the”，用户查看识别结果正确，则继续书写下一个英文单词“one”。如果上一次识别出的识别结果不正确，用户可以通过空中书写如图6所示的编辑命令对识别结果进行编辑。这样，若上一次识别出的识别结果是至少一个字符，本次识别出的识别结果是动作手势型编辑命令，则，在本次识别出动作手势型编辑命令之后，会根据本次识别出的动作手势型编辑命令，对该上一次识别出的至少一个字符进行相应编辑操作。
下面针对本次识别出的动作手势型编辑命令分别是删除命令，插入命令，替换命令，确认命令或翻页命令的不同情况，详细介绍对上一次识别出的至少一个字符进行相应编辑操作的具体方法。
（1）删除命令
当本次识别出的动作手势型编辑命令是如图6所示的删除命令时，对该上一次识别出的至少一个字符进行相应编辑操作具体方法是：根据删除命令对应的书写轨迹点集所覆盖的区域，确定上一次识别出的至少一个字符中的待删除字符；从该上一次识别出的至少一个字符中删除该待删除字符，显示删除结果。
例如，如图8所示，用户空中书写了一个英文单词“the”，在显示屏的手写区中显示了对应的书写轨迹，识别出来后，在书写区和文本输入框中均显示出了识别结果“the”，用户又想要删除“the”中的“he”，可以通过删除命令对应的动作型手势，双向横跨待删除字符“he”，从而，将上一次识别出的“the”中的“he”删除，最终在书写区和文本输入框中均显示出了删除后的新字符“t”。
（2）插入命令
当本次识别出的动作手势型编辑命令是插入命令时，对该上一次识别出的至少一个字符进行相应编辑操作具体方法是：根据插入命令对应的书写轨迹点集中的插入点所处的位置，确定待插入位置；其中，该插入位置在该上一次识别出的至少一个字符中的任两个字符之间，或者，在该上一次识别出的至少一个字符之前或之后；将下一次识别出的至少一个字符插入到该待插入位置上，显示插入结果。
其中，插入点是指插入命令对应的动作型手势中的尖角的最高点。
例如，如图9所示，用户空中书写了一个英文单词“the”，在显示屏的手写区中显示了对应的书写轨迹，识别出来后，在书写区和文本输入框中均显示出了识别结果“the”，用户又想要将“the”修改为“these”，可以通过插入命令对应的动作型手势，在上一次识别出的“the”中的“th”与“e”之间添加插入命令，然后，用户再空中书写“es”，从而，在“the”中的“th”与“e”之间插入了“es”，最终在书写区和文本输入框中均显示出了删除后的新单词“these”。
（3）替换命令
当本次识别出的动作手势型编辑命令是替换命令时，对该上一次识别出的至少一个字符进行相应编辑操作具体方法是：根据替换命令对应的书写轨迹点集所覆盖的区域，确定该上一次识别出的至少一个字符中的待替换字符；将待替换字符替换为下一次识别出的至少一个字符，显示替换结果。
例如，如图10所示，用户空中书写了一个英文单词“the”，在显示屏的手写区中显示了对应的书写轨迹，识别出来后，在书写区和文本输入框中均显示出了识别结果“the”，用户又想要将“the”修改为“thank”，可以通过替换命令对应的动作型手势，横跨上一次识别出的“the”中的待替换字符“e”，即，先选中待替换字符“e”，选中后待替换字符“e”可以高亮显示，提示用户该字符已经被选中，然后，用户再次空中书写“ank”，从而，可以以下一次识别出的“ank”替换上一次识别出的“the”中的待替换字符“e”，最终在书写区和文本输入框中均显示出了替换后的新单词“thank”。
（4）确认命令
当本次识别出的动作手势型编辑命令是确认命令时，对该上一次识别出的至少一个字符进行相应编辑操作具体方法是：根据确认命令，确定该上一次识别出的至少一个字符是正确的。
例如，如图11所示，用户空中书写了一个英文单词“the”，在显示屏的手写区中显示了对应的书写轨迹，识别出来后，在书写区和文本输入框中均显示出了识别结果“the”，用户查看该识别结果正确，则通过替换命令对应的动作型手势，确认该识别结果是正确的。
（5）翻页命令
当本次识别出的动作手势型编辑命令是翻页命令时，对该上一次识别出的至少一个字符进行相应编辑操作具体方法是：若上一次识别出的识别结果有至少两个候选项，且该至少两个候选项需要通过至少两页显示，则，根据翻页命令对应的书写轨迹点集的起点到终点所指向的方向，向前或向后翻一页。
例如，如图12所示，用户空中书写了一个英文字母“e”，得到的识别结果有8个候选项，在一页中无法显示完全，因此，在第一页中显示前5个候选项e，l，c，C，f，用户可以通过翻页命令中对应于向后翻一页的动作型手势，使得候选界面向后翻一页，从而翻到第二页，在第二页中显示后3个候选项t，p，b，然后，还可以通过对应于向前翻一页的动作型手势，重新回到第一页。
另外，在步骤S1022中从一个图像中分割得到用户的手部之后，还需要执行以下操作：识别分割得到的手部的形态，其中，该形态包括：手部伸出的手指数目；若识别出该手部的形态与静态手势型编辑命令相匹配，则根据所匹配的静态手势型编辑命令，对上一次识别出的识别结果进行相应编辑操作。也就是说，用户除了可以使用上述动作手势型编辑命令对识别出的至少一个字符进行编辑操作以外，还可以使用静态手势型编辑命令进行相应操作。通过识别用户手部的形态，就可以识别出具有该形态的手部是否是一种静态手势型编辑命令，以及是哪一种静态手势型编辑命令。其中，如图6所示，静态手势型编辑命令包括：选择命令。
具体的，若上一次识别出的识别结果有至少两个候选项，本次识别出的所匹配的静态手势型编辑命令是选择命令，则，对上一次识别出的识别结果进行相应编辑操作具体方法是：根据选择命令对应的手部的形态所指示的手部伸出的手指数目，从该至少两个候选项中，选择编号与该数目相同的候选项作为该上一次的最终识别结果，显示该最终识别结果。
例如，如图13所示，用户空中书写了一个英文字母“l”，得到的识别结果有多个候选项：1,e；2,l；3,c；4,C；5,f。用户通过选择命令对应的静态手势，手部伸出5个手指，从而，选择了编号为5的候选项f作为最终识别结果。
本申请实施例中，提供了一组编辑命令，包括：动态手势型编辑命令和静态手势型编辑命令，当上一次的识别结果正确时，可以连续输入，提高了用户手写速度和易用性；当需要编辑修改上一次的识别结果时，用户也可以通过对应的编辑命令，即可编辑上一次的识别结果，例如，插入、删除、替换等，使得用户可以直接在上一次的识别结果的基础上进行编辑，而无需重新完整输入。
实施例二
针对上述实施例一中的方法，本申请实施例中提供了一种可以应用该方法的空中书写处理装置。
如图14所示，该装置中包括以下模块：获取模块10、选择模块20、识别模块30和显示模块40，其中：
获取模块10，用于获取对应于用户空中书写过程中书写部件的运动轨迹的一系列节点；还用于获取书写部件的运动信息；
选择模块20，用于根据获取模块10获取到的运动信息，从一系列节点中，选择一个节点作为书写轨迹点集的起点，选择一个节点作为书写轨迹点集的终点；
识别模块30，用于对书写轨迹点集进行识别，得到识别结果；
显示模块40，用于显示识别模块30得到的识别结果。
其中，上述的运动信息包括：速度和/或加速度。
其中，获取模块包括：第一获取单元或者第二获取单元，其中：
第一获取单元，用于根据一系列节点中节点之间的欧式距离的变化情况，获取书写部件的速度和/或加速度；
第二获取单元，用于通过加速度传感器获取书写部件的加速度。
其中，第一获取单元具体用于：计算一系列节点中相邻的两个节点之间的欧式距离dist(Pi,Pi-1)；其中，Pi表示节点i的坐标，Pi-1为节点i的前一个节点i-1的坐标，dist表示欧式距离运算符。此时，选择模块包括：起点选择单元，用于从一系列节点中选择满足以下条件的节点k作为书写轨迹点集的起点，该条件是：dist(Pk,Pk-1)≥TH且dist(Pk-1,Pk-2)＜TH；终点选择单元，用于从一系列节点中选择满足以下条件的节点s作为书写轨迹点集的终点，该条件是：dist(Ps,Ps-1)＜TH且dist(Ps-1,Ps-2)≥TH；其中，TH为预设的欧氏距离阈值。
或者，第一获取单元具体用于：计算一系列节点中相邻的两个节点之间的欧式距离dist(Pi,Pi-1)；计算dist(Pi,Pi-1)-dist(Pi-1,Pi-2)；其中，Pi表示节点i的坐标，Pi-1为节点i的前一个节点i-1的坐标，dist表示欧式距离运算符。此时，选择模块包括：起点选择单元，用于按照运动轨迹的运动方向，从一系列节点中选择第一个满足以下条件的节点c作为书写轨迹点集的起点，该条件是：dist(Pc,Pc-1)≥THv且dist(Pc,Pc-1)-dist(Pc-1,Pc-2)≥THa1；终点选择单元，用于按照运动轨迹的运动方向，从一系列节点中选择第一个满足以下条件的节点d作为书写轨迹点集的终点，该条件是：dist(Pd,Pd-1)＜THv且dist(Pd,Pd-1)-dist(Pd-1,Pd-2)＜-THa1；其中，THv和THa1为预设的欧氏距离阈值。
另外，当获取模块包括第二获取单元时，选择模块包括：起点选择单元，用于按照运动轨迹的运动方向，从一系列节点中选择第一个满足以下条件的节点g作为书写轨迹点集的起点，该条件是：ag≥THa2；终点选择单元，用于按照运动轨迹的运动方向，从一系列节点中选择第一个满足以下条件的节点h作为书写轨迹点集的终点，该条件是：ah＜-THa2；其中，THa2为预设的加速度阈值，ag为节点g对应的加速度，ah为节点h对应的加速度。
其中，该装置中还包括：删除模块，其中：
删除模块，用于在选择模块选择书写轨迹点集的起点和终点之后，以及，在识别模块对书写轨迹点集进行识别之前，若书写轨迹点集上存在从起点开始沿着Y轴反方向延伸的抬手冗余轨迹点集，则从书写轨迹点集上删除该抬手冗余轨迹点集；
其中，XYZ坐标系中的XY平面与显示屏位于同一水平面，X轴位于显示屏的水平方向，Y轴位于显示屏的竖直方向，Y轴正方向指向显示屏的下边沿，Z轴与XY平面垂直。
其中，删除模块中包括：第一删除处理单元，用于从起点开始，执行以下操作A1-A3：
A1、判断当前节点i和其后一个节点i+1的连线与Y轴之间的夹角α(i,i+1)是否大于预设的角度阈值，若是，则执行步骤A2，否则，执行步骤A3；
A2、退出本流程；
A3、删除该当前节点i，令i＝i+1，返回执行步骤A1。
另外，删除模块，还用于在从书写轨迹点集上删除该抬手冗余轨迹点集之后，若书写轨迹点集上存在沿着Z方向延伸的断笔冗余轨迹点集，则从书写轨迹点集上删除该断笔冗余轨迹点集。
其中，删除模块中包括：冗余点处理单元和第二删除处理单元，其中：
冗余点处理单元，用于从书写轨迹点集的一端开始，执行以下操作B1-B3，直至另一端：B1、判断当前节点j和其后一个节点j+1在Z方向的距离distZ(Pj+1,Pj)是否小于THZ，若是，则执行步骤B2，否则，执行步骤B3，其中，Pj表示该当前节点j的坐标，Pj+1表示该当前节点j的后一个节点j+1的坐标，distZ表示Z方向上的距离运算符；B2、令j＝j+1，返回执行步骤B2；B3、将该当前节点j记为冗余点，令j＝j+1，返回执行步骤B2；
第二删除处理单元，用于将所有冗余点中的前N个冗余点保留，并将剩余的冗余点删除，其中，N为预设自然数。
另外，删除模块中还包括：添加单元，用于在剩余的书写轨迹点集上与被删除的冗余点对应的空白位置上，添加一断笔标记点。
其中，上述的识别结果是以下之一：至少一个字符、动作手势型编辑命令；其中，动作手势型编辑命令包括：删除命令，插入命令，替换命令，确认命令和翻页命令。
另外，该装置中还包括：编辑模块，用于若上一次识别出的识别结果是至少一个字符，本次识别出的识别结果是动作手势型编辑命令，则在识别模块本次识别出动作手势型编辑命令之后，根据本次识别出的动作手势型编辑命令，对该上一次识别出的至少一个字符进行相应编辑操作。
其中，编辑模块具体用于：
当本次识别出的动作手势型编辑命令是删除命令时，根据删除命令对应的书写轨迹点集所覆盖的区域，确定该上一次识别出的至少一个字符中的待删除字符；
从该上一次识别出的至少一个字符中删除待删除字符，将删除结果发送给显示模块进行显示。
其中，编辑模块具体用于：
当本次识别出的动作手势型编辑命令是插入命令时，根据插入命令对应的书写轨迹点集中的插入点所处的位置，确定待插入位置；其中，插入位置在该上一次识别出的至少一个字符中的任两个字符之间，或者，在该上一次识别出的至少一个字符之前或之后；
将下一次识别出的至少一个字符，插入到待插入位置上，将插入结果发送给显示模块进行显示。
其中，编辑模块具体用于：
当本次识别出的动作手势型编辑命令是替换命令时，根据替换命令对应的书写轨迹点集所覆盖的区域，确定该上一次识别出的至少一个字符中的待替换字符；
将待替换字符替换为下一次识别出的至少一个字符，将替换结果发送给显示模块进行显示。
其中，编辑模块具体用于：
当本次识别出的动作手势型编辑命令是确认命令时，根据确认命令，确定该上一次识别出的至少一个字符是正确的。
其中，编辑模块具体用于：
当本次识别出的动作手势型编辑命令是翻页命令时，若上一次识别出的识别结果有至少两个候选项，且该至少两个候选项需要通过至少两页显示，则根据翻页命令对应的书写轨迹点集的起点到终点所指向的方向，向前或向后翻一页。
另外，当书写部件是用户的手部时，获取模块包括：视频获取单元，用于获取用户空中书写过程的深度图视频；处理单元，用于依次从深度图视频中的每一帧图像中分割得到用户的手部，定位手部上的预定点的位置，得到一系列节点，其中，预定点是手心点或指尖点。此时，该装置中还可以包括：手部形态识别模块和编辑模块，其中：
手部形态识别模块，用于在处理单元从一帧图像中分割得到用户的手部之后，识别分割得到的手部的形态，其中，形态包括：手部伸出的手指数目；还用于识别该手部的形态是否与静态手势型编辑命令相匹配；
编辑模块，用于若手部形态识别模块识别出该手部的形态与静态手势型编辑命令相匹配，则根据所匹配的静态手势型编辑命令，对上一次识别出的识别结果进行相应编辑操作。
其中，编辑模块具体用于：
若上一次识别出的识别结果有至少两个候选项，本次识别出的所匹配的静态手势型编辑命令是选择命令，则根据选择命令对应的手部的形态所指示的手部伸出的手指数目，从至少两个候选项中，选择编号与该数目相同的候选项，作为该上一次的最终识别结果，并将该最终识别结果发送给显示模块进行显示。
综上，本申请以上实施例可以达到以下技术效果：
（1）获取对应于用户空中书写过程中书写部件的运动轨迹的一系列节点，获取书写部件的运动信息，根据该运动信息，从一系列节点中，选择一个节点作为书写轨迹点集的起点，选择一个节点作为书写轨迹点集的终点，然后，对书写轨迹点集进行识别，显示识别结果。从而，通过分析书写部件的运动信息，能够自动地选择出书写轨迹点集的起点和终点，无需用户使用特定手势标示书写开始和结束，使得用户的书写更加方便和自然。
（2）通过分析是中文字符和英文字符，在起笔的时候都没有斜向上（即，从起点开始沿着Y轴反方向延伸）的笔画的特点，可以将用户在书写开始时由于抬手动作产生的冗余轨迹删除，提高了识别率；
（3）通过分析用户在写“.”（点）笔画时，书写部件通常会有自然的前探和收手动作的特点，利用书写部件在Z方向上的运动信息，提供了一种简单有效的对书写轨迹进行断笔的方法，从而，提高了某些带有“.”（点）笔画的字符，例如，“i”、“j”等的识别率
（4）本申请实施例的空中书写处理方法可以使得用户的手写过程更加自然，并且，本方法的应用范围更加广泛。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。
Claims (16)
1.一种空中书写处理方法，其特征在于，包括：
获取对应于用户空中书写过程中书写部件的运动轨迹的一系列节点；
获取所述书写部件的运动信息，根据所述运动信息，从所述一系列节点中，选择一个节点作为书写轨迹点集的起点，选择一个节点作为书写轨迹点集的终点；
对所述书写轨迹点集进行识别，显示识别结果；
当所述书写部件是用户的手部时，还包括：
识别手部的形态，其中，所述形态包括：手部伸出的手指数目；
若识别出该手部的形态与静态手势型编辑命令相匹配，则根据所匹配的静态手势型编辑命令，对上一次识别出的识别结果进行相应编辑操作；
其中，若上一次识别出的识别结果有至少两个候选项，本次识别出的所匹配的静态手势型编辑命令是选择命令，则，对上一次识别出的识别结果进行相应编辑操作具体包括：
根据所述选择命令对应的手部的形态所指示的手部伸出的手指数目，从所述至少两个候选项中，选择编号与该数目相同的候选项，作为该上一次的最终识别结果，显示该最终识别结果。
2.根据权利要求1所述的方法，其特征在于，获取所述书写部件的运动信息的方法包括：
根据所述一系列节点中节点之间的欧式距离的变化情况，获取所述书写部件的速度和/或加速度；
或者，通过加速度传感器获取所述书写部件的加速度。
3.根据权利要求2所述的方法，其特征在于，当根据所述一系列节点中节点之间的欧式距离的变化情况，获取所述书写部件的速度时，根据所述运动信息，从所述一系列节点中，选择一个节点作为书写轨迹点集的起点，选择一个节点作为书写轨迹点集的终点的方法包括：
从所述一系列节点中选择满足以下条件的节点k作为书写轨迹点集的起点，该条件是：dist(Pk,Pk-1)≥TH且dist(Pk-1,Pk-2)<TH；
从所述一系列节点中选择满足以下条件的节点s作为书写轨迹点集的终点，该条件是：dist(Ps,Ps-1)<TH且dist(Ps-1,Ps-2)≥TH；
其中，TH为预设的欧氏距离阈值，i为变量，Pi表示节点i的坐标，Pi-1为节点i的前一个节点i-1的坐标，dist(Pi,Pi-1)表示节点i与节点i-1之间的欧式距离。
4.根据权利要求2所述的方法，其特征在于，当根据所述一系列节点中节点之间的欧式距离的变化情况，获取所述书写部件的速度和加速度时，根据所述运动信息，从所述一系列节点中，选择一个节点作为书写轨迹点集的起点，选择一个节点作为书写轨迹点集的终点的方法包括：
按照所述运动轨迹的运动方向，从所述一系列节点中选择第一个满足以下条件的节点c作为书写轨迹点集的起点，该条件是：dist(Pc,Pc-1)≥THv且dist(Pc,Pc-1)-dist(Pc-1,Pc-2)≥THa1；
按照所述运动轨迹的运动方向，从所述一系列节点中选择第一个满足以下条件的节点d作为书写轨迹点集的终点，该条件是：dist(Pd,Pd-1)<THv且dist(Pd,Pd-1)-dist(Pd-1,Pd-2)<-THa1；
其中，THv和THa1为预设的欧氏距离阈值，i为变量，Pi表示节点i的坐标，Pi-1为节点i的前一个节点i-1的坐标，dist(Pi,Pi-1)表示节点i与节点i-1之间的欧式距离。
5.根据权利要求2所述的方法，其特征在于，当通过加速度传感器获取所述书写部件的加速度时，根据所述运动信息，从所述一系列节点中，选择一个节点作为书写轨迹点集的起点，选择一个节点作为书写轨迹点集的终点的方法包括：
按照所述运动轨迹的运动方向，从所述一系列节点中选择第一个满足以下条件的节点g作为书写轨迹点集的起点，该条件是：ag≥THa2；
按照所述运动轨迹的运动方向，从所述一系列节点中选择第一个满足以下条件的节点h作为书写轨迹点集的终点，该条件是：ah<-THa2；
其中，THa2为预设的加速度阈值，ag为节点g对应的加速度，ah为节点h对应的加速度。
6.根据权利要求1所述的方法，其特征在于，在选择书写轨迹点集的起点和终点之后，以及，在对所述书写轨迹点集进行识别之前，还包括：
若所述书写轨迹点集上存在从所述起点开始沿着Y轴反方向延伸的抬手冗余轨迹点集，则从所述书写轨迹点集上删除该抬手冗余轨迹点集；
其中，XYZ坐标系中的XY平面与显示屏位于同一水平面，X轴位于所述显示屏的水平方向，Y轴位于所述显示屏的竖直方向，Y轴正方向指向所述显示屏的下边沿，Z轴与XY平面垂直。
7.根据权利要求6所述的方法，其特征在于，若所述书写轨迹点集上存在从所述起点开始沿着Y轴反方向延伸的抬手冗余轨迹点集，则从所述书写轨迹点集上删除该抬手冗余轨迹点集的方法包括：从所述起点开始，执行以下操作：
A1、判断当前节点i和其后一个节点i+1的连线与Y轴之间的夹角α(i,i+1)是否大于预设的角度阈值，若是，则执行步骤A2，否则，执行步骤A3；
A2、退出本流程；
A3、删除该当前节点i，令i＝i+1，返回执行步骤A1。
8.根据权利要求6所述的方法，其特征在于，在从所述书写轨迹点集上删除该抬手冗余轨迹点集之后，还包括：
若书写轨迹点集上存在沿着Z方向延伸的断笔冗余轨迹点集，则从书写轨迹点集上删除该断笔冗余轨迹点集。
9.根据权利要求8所述的方法，其特征在于，若书写轨迹点集上存在沿着Z方向延伸的断笔冗余轨迹点集，则从书写轨迹点集上删除该断笔冗余轨迹点集的方法包括：
从书写轨迹点集的一端开始，执行以下操作，直至另一端：B1、判断当前节点j和其后一个节点j+1在Z方向的距离distZ(Pj+1,Pj)是否小于THZ，若是，则执行步骤B2，否则，执行步骤B3，其中，Pj表示该当前节点j的坐标，Pj+1表示该当前节点j的后一个节点j+1的坐标，distZ表示Z方向上的距离运算符；B2、令j＝j+1，返回执行步骤B2；B3、将该当前节点j记为冗余点，令j＝j+1，返回执行步骤B2；
将所有冗余点中的前N个冗余点保留，并将剩余的冗余点删除，其中，N为预设自然数。
10.根据权利要求1至9中任一项所述的方法，其特征在于，若上一次识别出的识别结果是至少一个字符，本次识别出的识别结果是动作手势型编辑命令，则，在本次识别出所述动作手势型编辑命令之后，还包括：
根据本次识别出的动作手势型编辑命令，对该上一次识别出的至少一个字符进行相应编辑操作。
11.根据权利要求10所述的方法，其特征在于，当本次识别出的动作手势型编辑命令是删除命令时，对该上一次识别出的至少一个字符进行相应编辑操作具体包括：
根据所述删除命令对应的书写轨迹点集所覆盖的区域，确定该上一次识别出的至少一个字符中的待删除字符；
从该上一次识别出的至少一个字符中删除所述待删除字符，显示删除结果。
12.根据权利要求10所述的方法，其特征在于，当本次识别出的动作手势型编辑命令是插入命令时，对该上一次识别出的至少一个字符进行相应编辑操作具体包括：
根据所述插入命令对应的书写轨迹点集中的插入点所处的位置，确定待插入位置；其中，所述插入位置在该上一次识别出的至少一个字符中的任两个字符之间，或者，在该上一次识别出的至少一个字符之前或之后；
将下一次识别出的至少一个字符，插入到所述待插入位置上，显示插入结果。
13.根据权利要求10所述的方法，其特征在于，当本次识别出的动作手势型编辑命令是替换命令时，对该上一次识别出的至少一个字符进行相应编辑操作具体包括：
根据所述替换命令对应的书写轨迹点集所覆盖的区域，确定该上一次识别出的至少一个字符中的待替换字符；
将所述待替换字符替换为下一次识别出的至少一个字符，显示替换结果。
14.根据权利要求10所述的方法，其特征在于，当本次识别出的动作手势型编辑命令是确认命令时，对该上一次识别出的至少一个字符进行相应编辑操作具体包括：
根据所述确认命令，确定该上一次识别出的至少一个字符是正确的。
15.根据权利要求10所述的方法，其特征在于，当本次识别出的动作手势型编辑命令是翻页命令时，对该上一次识别出的至少一个字符进行相应编辑操作具体包括：
若上一次识别出的识别结果有至少两个候选项，且该至少两个候选项需要通过至少两页显示，则根据所述翻页命令对应的书写轨迹点集的起点到终点所指向的方向，向前或向后翻一页。
16.一种空中书写处理装置，其特征在于，包括：
获取模块，用于获取对应于用户空中书写过程中书写部件的运动轨迹的一系列节点；还用于获取所述书写部件的运动信息；
选择模块，用于根据所述获取模块获取到的运动信息，从所述一系列节点中，选择一个节点作为书写轨迹点集的起点，选择一个节点作为书写轨迹点集的终点；
识别模块，用于对所述书写轨迹点集进行识别，得到识别结果；
显示模块，用于显示所述识别模块得到的识别结果；
当书写部件是用户的手部时，所述获取模块包括视频获取单元和处理单元；所述装置还包括手部形态识别模块和编辑模块；
其中，所述视频获取单元用于获取用户空中书写过程的深度图视频；所述处理单元，用于依次从深度图视频中的每一帧图像中分割得到用户的手部，定位手部上的预定点的位置，得到一系列节点，其中，预定点是手心点或指尖点；
所述手部形态识别模块，用于在处理单元从一帧图像中分割得到用户的手部之后，识别分割得到的手部的形态，其中，形态包括：手部伸出的手指数目；还用于识别该手部的形态是否与静态手势型编辑命令相匹配；
所述编辑模块，用于手部形态识别模块，用于在所述处理单元从一帧图像中分割得到用户的手部之后，识别分割得到的手部的形态，其中，形态包括：手部伸出的手指数目；还用于识别该手部的形态是否与静态手势型编辑命令相匹配；若上一次识别出的识别结果有至少两个候选项，本次识别出的所匹配的静态手势型编辑命令是选择命令，则根据选择命令对应的手部的形态所指示的手部伸出的手指数目，从至少两个候选项中，选择编号与该数目相同的候选项，作为该上一次的最终识别结果，并将该最终识别结果发送给显示模块进行显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410020038.5A CN104793724B (zh) | 2014-01-16 | 2014-01-16 | 空中书写处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410020038.5A CN104793724B (zh) | 2014-01-16 | 2014-01-16 | 空中书写处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104793724A CN104793724A (zh) | 2015-07-22 |
| CN104793724B true CN104793724B (zh) | 2018-12-21 |
Family
ID=53558599
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410020038.5A Active CN104793724B (zh) | 2014-01-16 | 2014-01-16 | 空中书写处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104793724B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106527729A (zh) * | 2016-11-17 | 2017-03-22 | 科大讯飞股份有限公司 | 非接触式输入方法和装置 |
| CN106886282B (zh) * | 2017-01-04 | 2020-12-25 | 奇酷互联网络科技（深圳）有限公司 | 字符输入方法和装置 |
| CN108037830B (zh) * | 2017-01-23 | 2021-08-31 | 苏州梦想人软件科技有限公司 | 一种增强现实的实现方法 |
| CN108764070B (zh) * | 2018-05-11 | 2021-12-31 | 西北大学 | 一种基于书写视频的笔画分割方法及书法临摹指导方法 |
| CN108846339B (zh) * | 2018-06-04 | 2020-11-27 | 珠海格力电器股份有限公司 | 一种文字识别方法、装置、电子设备和存储介质 |
| CN111382598B (zh) * | 2018-12-27 | 2024-05-24 | 北京搜狗科技发展有限公司 | 一种识别方法、装置和电子设备 |
| CN111104886A (zh) * | 2019-12-10 | 2020-05-05 | 北京集创北方科技股份有限公司 | 手势识别方法、装置、设备和存储介质 |
| CN111553147A (zh) * | 2020-03-27 | 2020-08-18 | 南京工业大学 | 一种基于N-gram的BERT模型以及语义分割方法 |
| CN112162635B (zh) * | 2020-09-27 | 2022-03-25 | 华南理工大学 | 空中手写单词序列合成模型生成方法及合成方法 |
| WO2022160330A1 (zh) * | 2021-02-01 | 2022-08-04 | 京东方科技集团股份有限公司 | 手写体识别方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102246126A (zh) * | 2008-12-15 | 2011-11-16 | 惠普开发有限公司 | 基于手势的编辑模式 |
| CN102346859A (zh) * | 2010-07-26 | 2012-02-08 | 卡西欧计算机株式会社 | 文字识别装置 |
| WO2012025029A1 (zh) * | 2010-08-24 | 2012-03-01 | 北京联想软件有限公司 | 一种信息处理设备及其控制方法 |
| CN102870078A (zh) * | 2010-02-10 | 2013-01-09 | 微晶片科技德国第二公司 | 用于对三维移动空间中的手势进行非接触式检测与辨识的系统及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120038652A1 (en) * | 2010-08-12 | 2012-02-16 | Palm, Inc. | Accepting motion-based character input on mobile computing devices |
-
2014
- 2014-01-16 CN CN201410020038.5A patent/CN104793724B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102246126A (zh) * | 2008-12-15 | 2011-11-16 | 惠普开发有限公司 | 基于手势的编辑模式 |
| CN102870078A (zh) * | 2010-02-10 | 2013-01-09 | 微晶片科技德国第二公司 | 用于对三维移动空间中的手势进行非接触式检测与辨识的系统及方法 |
| CN102346859A (zh) * | 2010-07-26 | 2012-02-08 | 卡西欧计算机株式会社 | 文字识别装置 |
| WO2012025029A1 (zh) * | 2010-08-24 | 2012-03-01 | 北京联想软件有限公司 | 一种信息处理设备及其控制方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于连笔消除的空间手写字符识别方法;赖英超;《计算机工程》;20121031;第38卷(第19期);第3节，第5.2节 * |
| 用于空中手写的加速度传感器积累误差消除技术研究;徐时伟;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120710;第2.3节，第5节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104793724A (zh) | 2015-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104793724B (zh) | 空中书写处理方法及装置 | |
| KR102460737B1 (ko) | 공중 필기 인식을 위한 방법, 장치, 기기 및 컴퓨터 판독 가능한 저장 매체 | |
| CN105830011B (zh) | 用于交叠手写文本输入的用户界面 | |
| CN107483834B (zh) | 一种图像处理方法、连拍方法及装置和相关介质产品 | |
| CN107728916B (zh) | 隔空手写轨迹的显示方法及装置 | |
| CN108932053B (zh) | 基于手势的绘图方法、装置、存储介质和计算机设备 | |
| CN107609489B (zh) | 书法书写路径评价装置、方法及电子设备 | |
| CN104063723B (zh) | 脱机手写汉字的笔画还原方法及装置 | |
| CN106778456B (zh) | 一种手写输入的优化方法及装置 | |
| CN107024989A (zh) | 一种基于Leap Motion手势识别的沙画制作方法 | |
| CN103226388A (zh) | 一种基于Kinect的手写方法 | |
| US11372518B2 (en) | Systems and methods for augmented or mixed reality writing | |
| CN103268166A (zh) | 手写输入设备的原笔迹信息采集和显示方法 | |
| CN104808794A (zh) | 一种唇语输入方法和系统 | |
| US20160210276A1 (en) | Information processing device, information processing method, and program | |
| CN103106388B (zh) | 图像识别方法和系统 | |
| US9928414B2 (en) | Information processing system for displaying handwriting action trajectory based on meta information | |
| CN103176651B (zh) | 一种手写信息快速采集方法 | |
| CN103412677A (zh) | 一种手绘内容识别的方法及装置 | |
| JP5904730B2 (ja) | 動作認識装置および動作認識方法 | |
| CN110858291A (zh) | 字符切分方法及装置 | |
| CN117095414A (zh) | 一种基于点阵纸笔的手写识别系统及识别方法 | |
| CN104199602B (zh) | 一种信息处理方法及电子设备 | |
| Razzak et al. | Combining offline and online preprocessing for online urdu character recognition | |
| CN115188080A (zh) | 基于骨架识别和门控循环网络的交警手势识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |