CN104615367A - 基于手写输入状态自适应判断处理的笔式交互方法及系统 - Google Patents

Abstract

一种基于手写输入状态自适应判断处理的笔式交互方法，在用户进行手绘图形输入和手写文字输入的过程中，自动判断用户当前输入状态并进行实时的处理反馈，用户无需通过鼠标、键盘等交互设备介入，无需进行显式状态切换，流畅地表达交互意图。该方法定义了文字输入手势，该手势既可区别于其它基本图形，也可与组成复合图形的基本图形具有二义性定义。所设计的文字输入状态判断处理方法和注记位置判断方法，能实现对独立文字对象或目标符号注记输入状态、以及注记位置的自动判断。本方法能简化用户操作流程，使用户自然、高效地完成笔式交互，具备一定的通用性和可扩展性，可应用于基于笔式交互的机械辅助设计、指挥控制等专业领域等。

Description

基于手写输入状态自适应判断处理的笔式交互方法及系统

技术领域

本发明涉及人机交互输入技术领域，特别涉及一种基于手写输入状态自适应判断处理的笔式交互方法及系统。

背景技术

传统的图形用户界面基于桌面隐喻，采用WIMP(Window，Icon,Menu,Pointing)交互范式，以鼠标、键盘作为交互设备实现人机对话。笔式交互基于纸笔的隐喻，通过写字板、触摸屏等输入设备，采集用户基于手写笔或手指的输入轨迹，帮助人们方便地捕捉想法、记录事件、进行抽象思考和形象的描述。因提供自然、便利的操作方式，笔式交互在计算机辅助设计、计算机动画与虚拟现实、可视化对象建模、军事标绘等诸多领域有广泛的应用需求。

笔式交互的输入包括图形符号输入和文字输入。在图形符号输入的状态下，笔式交互采用草图识别的方法，将用户手绘输入的图形映射至相关专业应用领域的图形符号集中的标准图形符号反馈显示；在文字输入的状态下，笔式交互采用文字识别的方法，将用户手写输入的文字映射成字符集中的任意文字串(包括汉字、英文字母、数字、标点符号等)。由于图形符号的几何特征往往作为草图识别最重要的识别特征，而文字识别主要是基于统计特征实现的，因此，草图识别和文字识别是通过不同的技术途径实现的。由此，在交互过程中如果同时存在草图输入和文字输入，则需要区分草图输入状态和文字输入状态，从而分别调用草图识别分类器和文字识别分类器。但在笔式交互的某些应用领域，如：可视化对象建模、军事标绘等领域，该领域的符号集中包含既有图形又有文字的符号，而纯文字输入既可能作为独立的文字对象输入，也可能作为某些符号的注记输入，部分符号甚至可能有多个注记框，注记更新时还需要进行注记位置判断。

目前对手写交互方面的研究有如下的一些方法。如“基于GIS平台和触摸屏设备的快速态势标绘系统及方法”(申请号：201310615706.4)中，提出了一种基于图形触摸绘制的标绘方法，该方法只涉及到简单几何图形的绘制、笔迹保存和图形分离，既不涉及到复杂图形的识别标绘，也不涉及到文字输入标绘。又如“一种基于图形符号草图在线识别的电子标绘方法”(申请号：201218007969.3)中，提出了一种基于军队标号草图识别的电子标绘方法，该方法侧重于基于图形识别的军标图形符号标绘，不涉及文字输入标绘。又如“Chinese character handwriting recognition system”(授权号：US6970599B2)，提出了一种中文手写识别方法，该方法侧重于中文手写识别反馈方法，不涉及到图形的识别反馈。又如“HandWriting Recognition systemusing multiple path recognition framework”(申请号：US 20100163316A1)，提出了一种对手写化学式的识别方法，化学式所涉及的字符集主要包括英文字母、数字、及少量特定意义的符号，该识别方法侧重于字符识别及基于上下文的语义分析，属于字符识别方法的范畴，不涉及图形识别方法及交互反馈机制的设计。

目前国内外在手写交互方面的研究，具体存在以下方面的问题：

(1)部分研究仅限于原始笔迹的保存和复现，不涉及对笔迹的识别；

(2)大部分研究侧重于只针对草图图形符号的手绘图形交互方法或只针对文字的手写文字交互方法的研究，对既包含图形交互又包含文字交互的应用领域研究较少，少数研究同时涉及到草图手绘输入和文字手写输入，往往采取显式状态区分的方法(如按钮切换状态、设计文字手写专用区域等)来实现草图交互和文字交互状态的判断，并未涉及到对既有图形又有文字的符号输入的判断和处理，不能满足某些笔式交互应用领域的实际需求。

(3)缺乏在保证用户输入连续性的情况下对交互反馈机制的设计，在通过显式状态区分来处理草图输入和文字输入的情况下，存在多个交互反馈焦点，难以真正提高用户的交互效率。

发明内容

为解决现有技术的手写交互输入方法无法对既有图形又有文字的符号输入进行判断和处理的缺陷，提供一种基于手写输入状态自适应判断处理的笔式交互方法及系统。

一种基于手写输入状态自适应判断处理的笔式交互方法，其包括如下步骤：

S1、将输入状态标志初始化为草图输入状态；

S2、在用户输入完一个笔划后，判断当前输入笔划是否为新笔划，如果是新笔划，则启动定时器计时并根据当前输入状态标志判断当前输入状态，如果不是新笔划则直接根据当前输入状态标志判断当前输入状态；在当前输入状态为草图输入状态时，跳转到步骤S3，在当前输入状态为文字输入状态时，跳转到步骤S4，在当前输入状态为图文输入状态时，跳转到步骤S5；

S3、将当前输入笔划的笔迹送入草图识别基元分类器进行识别，判断当前输入笔划是否为文字输入手势，是则跳转到步骤S6，否则跳转到步骤S8；

S4、将当前输入笔划的笔迹送入文字识别分类器识别，反馈当前文字识别结果，跳转到步骤S9；

S5、将当前笔划笔迹送入文字识别分类器识别，判断当前文字识别结果结合文字输入手势输入之前的草图识别结果是否与目标符号集中的任一图文符号相匹配，如果是，反馈当前图文符号识别结果，跳转到步骤S9，否则，跳转到步骤S12；

S6、判断当前输入笔划是否为新笔划，如果是，则将当前输入状态标志变更为文字输入状态，跳转到步骤S12，否则，跳转到步骤S7；

S7、判断截止到上一笔的当前草图识别结果是否与目标符号集中的任一图文符号的图形部分相匹配，如果是，将当前输入状态标志变更为图文输入状态，跳转到步骤S12，否则，跳转到步骤S8；

S8、将当前笔划笔迹送入草图识别复合图形分类器识别，反馈当前草图识别结果；

S9、判断用户是否选取候选识别结果，如果是，跳转到步骤S10，否则，跳转到步骤S12；

S10、判断当前输入状态是否为文字输入状态，如果是，跳转到步骤S11，否则将用户选择的识别结果以标准目标符号的形式输出到显示界面，跳转到步骤S12；

S11、进行文字输入状态判断处理，并根据处理结果进行反馈显示，跳转到步骤S12；

S12、判断定时器是否截止，如果是，将当前输入状态标志变更为草图输入状态，取消定时器，跳转到步骤S13；否则，直接跳转到步骤S13；

S13、重复执行步骤S2至S12，进入新的循环，直至用户不再输入新的笔划。

一种基于手写输入状态自适应判断处理的笔式交互系统，其包括如下模块：

初始化模块，用于将输入状态标志初始化为草图输入状态；

综合判断模块，用于在用户输入完一个笔划后，判断当前输入笔划是否为新笔划，如果是新笔划，则启动定时器计时并根据当前输入状态标志判断当前输入状态，如果不是新笔划则直接根据当前输入状态标志判断当前输入状态；在当前输入状态为草图输入状态时，启动草图输入状态处理模块的功能，在当前输入状态为文字输入状态时，启动文字输入状态处理模块的功能，在当前输入状态为图文输入状态时，启动图文输入状态处理模块的功能；

草图输入状态处理模块，用于将当前输入笔划的笔迹送入草图识别基元分类器进行识别，判断当前输入笔划是否为文字输入手势，是则启动文字输入状态变更条件判断模块的功能，否则启动复合图形识别模块的功能；

文字输入状态处理模块，用于将当前输入笔划的笔迹送入文字识别分类器识别，反馈当前文字识别结果，启动候选识别结果选择判断模块的功能；

图文输入状态处理模块，用于将当前笔划笔迹送入文字识别分类器识别，判断当前文字识别结果结合文字输入手势输入之前的草图识别结果是否与目标符号集中的任一图文符号相匹配，如果是，反馈当前图文符号识别结果，启动候选识别结果选择判断模块的功能，否则启动定时器状态判断模块的功能；

文字输入状态变更条件判断模块，用于判断当前输入笔划是否为新笔划，如果是，则将当前输入状态标志变更为文字输入状态，启动定时器状态判断模块的功能，否则启动图文输入状态变更条件判断模块的功能；

图文输入状态变更条件判断模块，用于判断截止到上一笔的当前草图识别结果是否与目标符号集中的任一图文符号的图形部分相匹配，如果是，将当前输入状态标志变更为图文输入状态，启动定时器状态判断模块的功能，否则启动复合图形识别模块的功能；

复合图形识别模块，用于将当前笔划笔迹送入草图识别复合图形分类器识别，反馈当前草图识别结果；

候选识别结果选择判断模块，用于判断用户是否选取候选识别结果，如果是则启动标准目标符号输出模块的功能，否则启动定时器状态判断模块的功能；

标准目标符号输出模块，用于判断当前输入状态是否为文字输入状态，如果是则启动文字输入状态细分处理模块的功能，否则将用户选择的识别结果以标准目标符号的形式输出到显示界面，启动定时器状态判断模块的功能；

文字输入状态细分处理模块，用于对文字输入的不同状态进行判断处理，并根据处理结果进行反馈显示，启动定时器状态判断模块的功能；

定时器状态判断模块，用于判断定时器是否截止，如果是，将当前输入状态标志变更为草图输入状态，取消定时器，启动循环模块的功能；否则，直接启动循环模块的功能；

循环模块，用于重复依次启动综合判断模块、草图输入状态处理模块、文字输入状态处理模块、图文输入状态处理模块、文字输入状态变更条件判断模块、图文输入状态变更条件判断模块、复合图形识别模块、候选识别结果选择判断模块、标准目标符号输出模块、文字输入状态细分处理模块以及定时器状态判断模块的功能，进入新的循环，直至用户不再输入新的笔划。

本发明提供的基于手写输入状态自适应判断处理的笔式交互方法及系统具有如下优点：

1、针对笔式交互应用领域的实际需求，提供对草图手绘输入和文字手写输入的同时支持，无需调出专用菜单或通过鼠标、键盘等交互设备输入，无需进行显式状态切换，对用户输入状态进行自动判断，简化了用户的操作流程，使用户的交互方式自然、高效。

2、所设计的交互反馈机制，能根据不同的用户输入状态捕捉用户意图，随着用户连续的笔划输入向用户提供及时的界面反馈，使用户的意图直观、明确。

3、具备通用性和可扩展性，可应用于不同专业领域，实现基于笔式交互的机械辅助设计或其它指挥控制领域等。

附图说明

图1是本发明实施中与文字相关的某应用领域的目标符号示意图；

图2是本发明实施的基于手写输入状态自适应判断处理的笔式交互方法的流程图；

图3是图2中步骤X18的子流程图；

图4是本发明实施的基于手写输入状态自适应判断处理的笔式交互系统结构框图；

图5是图4中文字输入状态细分处理模块的结构框图。

具体实施方式

笔划定义为落笔和抬笔间的采样点序列，笔划既是手绘草图图形的基本组成单元，也是手写输入文字的基本组成单元。通过自定义抬笔和下次落笔间的时间间隔范围来判定若干笔划是否属于同一个草图符号或同一个文字。草图识别往往由两个顺序的、循环的子问题构成：基本图形识别和复合图形识别。基本图形表现为可一笔绘制的封闭凸多边形、椭圆、线、弧段等几何图形，既可作为复合图形的基本组成元素，也可代表需通过手绘输入的预定义的手势，为了表述的方便，基本图形简称为基元。复合图形由基元按一定的几何关系构成，对应于专业应用领域的图形符号集中的图形。通过自定义抬笔和下次落笔间的时间间隔范围来判定若干笔划是否属于同一个图形符号或同一个文字串。在后文中，为了表述的方便，将既有图形又有文字的符号简称为图文符号，将专业应用领域的符号集简称为目标符号集，专业应用领域的符号集中的任一符号简称为目标符号，将草图符号或文字的第一笔输入称为新笔划。

本发明将用户输入状态区分为三类：草图输入状态、文字输入状态、以及图文输入状态。草图输入状态指的是图形手绘输入状态，文字输入状态指的是文字手写输入状态，图文输入状态指的是图文符号手绘手写输入状态。本发明设计了文字输入手势，该手势为自定义的基本图形，既可区别于其它基本图形，也可与组成复合图形的基本图形具有二义性定义。用户在文字输入状态下或图文输入状态下输入文字之前均需要先手绘输入预定义的文字输入手势。另外，在图文输入状态下，本方法默认用户先手绘输入图文符号的图形部分，然后手绘输入文字输入手势后，再手写输入图文符号的文字部分。用户的初始输入状态默认为草图输入状态，随着用户的增量输入，本方法对用户输入状态自动判断，在判断满足状态变更的情况下进行用户输入状态变更，并根据不同的输入状态进行处理，向用户提供及时的界面反馈和操作响应。

本发明实施例提供一种基于手写输入状态自适应判断处理的笔式交互方法，其包括如下步骤：

S1、将输入状态标志初始化为草图输入状态。

S2、在用户输入完一个笔划后，判断当前输入笔划是否为新笔划，如果是新笔划，则启动定时器计时并根据当前输入状态标志判断当前输入状态，如果不是新笔划则直接根据当前输入状态标志判断当前输入状态；在当前输入状态为草图输入状态时，跳转到步骤S3，在当前输入状态为文字输入状态时，跳转到步骤S4，在当前输入状态为图文输入状态时，跳转到步骤S5。

S3、将当前输入笔划的笔迹送入草图识别基元分类器进行识别，判断当前输入笔划是否为文字输入手势，是则跳转到步骤S6，否则跳转到步骤S8。

可选地，所述文字输入手势为区别于现有基本图形之外的自定义的基本图形；或者为与组成复合图形的基本图形具有二义性定义的图形。

S4、将当前输入笔划的笔迹送入文字识别分类器识别，反馈当前文字识别结果，跳转到步骤S9。

S5、将当前笔划笔迹送入文字识别分类器识别，判断当前文字识别结果结合文字输入手势输入之前的草图识别结果是否与目标符号集中的任一图文符号相匹配，如果是，反馈当前图文符号识别结果，跳转到步骤S9，否则，跳转到步骤S12。

S6、判断当前输入笔划是否为新笔划，如果是，则将当前输入状态标志变更为文字输入状态，跳转到步骤S12，否则，跳转到步骤S7。

S7、判断截止到上一笔的当前草图识别结果是否与目标符号集中的任一图文符号的图形部分相匹配，如果是，将当前输入状态标志变更为图文输入状态，跳转到步骤S12，否则，跳转到步骤S8。

S8、将当前笔划笔迹送入草图识别复合图形分类器识别，反馈当前草图识别结果。

S9、判断用户是否选取候选识别结果，如果是，跳转到步骤S10，否则，跳转到步骤S12。

S10、判断当前输入状态是否为文字输入状态，如果是，跳转到步骤S11，否则将用户选择的识别结果以标准目标符号的形式输出到显示界面，跳转到步骤S12。

S11、进行文字输入状态判断处理，并根据处理结果进行反馈显示，跳转到步骤S12。

可选地，所述步骤S11中文字输入状态判断处理包括如下子步骤：

S101、开始本次文字输入状态判断处理。

S102、判断当前是否有目标符号被选中，如果有，跳转到步骤S103，否则将用户选中的文字识别结果以独立文字对象形式输出到显示界面，转入步骤S106。

S103、判断当前被选中的目标符号是否包含多个注记框，如果是转入步骤S104，否则转入步骤S105。

S104、进行注记位置判断处理，跳转到步骤S106。

本实施例提供文字输入状态判断处理方法和注记位置判断方法，能自动判断手写输入过程中文字输入的不同状态，并在必要时进行注记位置判断，再根据不同的文字输入状态将手写输入文字以不同的形式输出到交互界面，实现了智能化的手写文字输入处理。

可选地，所述的注记位置判断处理方法为：计算当前输入文字位置与被选中目标符号的不同注记框位置之间的相对位置关系，并将用户选中的文字识别结果更新到与当前文字输入位置最接近的目标符号注记框中。

S105、将目标符号的注记内容更新为用户选中的文字识别结果。

S106、结束本次文字输入状态判断处理。

S12、判断定时器是否截止，如果是，将当前输入状态标志变更为草图输入状态，取消定时器，跳转到步骤S13；否则，直接跳转到步骤S13；

S13、重复执行步骤S2至S12，进入新的循环，直至用户不再输入新的笔划。

如图1所示，本发明的一个实施例中部分与文字相关的目标符号示意图：其中，101为既有图形又有文字的目标符号，也就是本发明所述的图文符号；102为独立文字对象，其内容可以为任意字符串；103为含一个注记的目标符号，注记的内容为任意字符串；104为包含两个注记的目标符号，注记1和注记2所在的位置分别是两个注记框所在的位置，注记的内容为任意字符串。

以下结合附图2具体说明方法。

X00、将输入状态标志初始化为草图输入状态；

X01、用户输入完一笔；

X02、判断当前输入笔划是否为新笔划；如果是，转入X03，否则，转入X04；

X03、启动定时器；

X04、判断当前输入状态标志；如为草图输入状态，转入X06；如为文字输入状态，转入X07，如为图文输入状态，转入X05；

X06、将当前笔划笔迹送入草图识别基元分类器识别；X08、判断当前输入笔划是否为文字输入手势，是则转入X09，否则，转入X13；

X07、将当前笔划笔迹送入文字识别分类器识别，反馈当前文字识别结果，转入X16；

X05、将当前笔划笔迹送入文字识别分类器识别；X14、判断当前文字识别结果结合文字输入手势输入之前的草图识别结果是否与目标符号集中的任一图文符号相匹配，如果是，X15、反馈当前图文符号识别结果，转入X16，否则，转入X20；

X09、判断当前输入笔划是否为新笔划；如果是，X11、将当前输入状态标志变更为文字输入状态，转入X20；否则，转入X10；

X10、判断截止到上一笔的当前草图识别结果是否与目标符号集中的任一图文符号的图形部分相匹配，如果是，X12、将当前输入状态标志变更为图文输入状态，转入X20；否则，X13、将当前笔划笔迹送入草图识别复合图形分类器识别，反馈当前草图识别结果，转入X16；

X16、判断用户是否选取候选识别结果，如果是，转入X17，否则，转入X20；

X17、判断当前输入状态是否为文字输入状态，如果是，转入X18，否则，X19、将用户选择的识别结果以标准目标符号的形式输出到显示界面，转入X20；

X18、进行文字输入状态判断处理，并根据处理结果进行反馈显示，转入X20；

X20、定时器是否截止，如果是，X21、将当前输入状态标志变更为草图输入状态，取消定时器，重复X01-X04，进入新的循环；否则，直接重复X01-X05，进入新的循环。

以下结合图3具体说明X18的各步骤：

X101、本次文字输入状态判断处理开始；

X102、判断当前是否有目标符号被选中，如果有，转入X103，否则X104、将用户选中的文字识别结果以独立文字对象形式输出到显示界面，转入X108；

X103、判断当前被选中的目标符号是否包含多个注记框，如果是转入X106，否则X105、将目标符号的注记内容更新为用户选中的文字识别结果，转入X108；

X106、计算当前输入文字位置与被选中目标符号的不同注记框位置之间的相对位置关系；X107、将用户选中的文字识别结果更新到与当前文字输入位置最接近的目标符号注记框中，转入X108；

X108、本次文字输入状态判断处理结束。

本实施例可以区分当前文字输入是独立文字对象输入，还是注记输入，以及进行注记位置判断等。

本发明实施例还提供一种基于手写输入状态自适应判断处理的笔式交互系统，其包括如下模块：

初始化模块1，用于将输入状态标志初始化为草图输入状态。

综合判断模块2，用于在用户输入完一个笔划后，判断当前输入笔划是否为新笔划，如果是新笔划，则启动定时器计时并根据当前输入状态标志判断当前输入状态，如果不是新笔划则直接根据当前输入状态标志判断当前输入状态；在当前输入状态为草图输入状态时，启动草图输入状态处理模块3的功能，在当前输入状态为文字输入状态时，启动文字输入状态处理模块4的功能，在当前输入状态为图文输入状态时，启动图文输入状态处理模块5的功能。

草图输入状态处理模块3，用于将当前输入笔划的笔迹送入草图识别基元分类器进行识别，判断当前输入笔划是否为文字输入手势，是则启动文字输入状态变更条件判断模块6的功能，否则启动复合图形识别模块8的功能。

可选地，所述文字输入手势为区别于现有基本图形之外的自定义的基本图形；或者为与组成复合图形的基本图形具有二义性定义的图形。

文字输入状态处理模块4，用于将当前输入笔划的笔迹送入文字识别分类器识别，反馈当前文字识别结果，启动候选识别结果选择判断模块9的功能。

图文输入状态处理模块5，用于将当前笔划笔迹送入文字识别分类器识别，判断当前文字识别结果结合文字输入手势输入之前的草图识别结果是否与目标符号集中的任一图文符号相匹配，如果是，反馈当前图文符号识别结果，启动候选识别结果选择判断模块9的功能，否则启动定时器状态判断模块12的功能。

文字输入状态变更条件判断模块6，用于判断当前输入笔划是否为新笔划，如果是，则将当前输入状态标志变更为文字输入状态，启动定时器状态判断模块12的功能，否则启动图文输入状态变更条件判断模块7的功能。

图文输入状态变更条件判断模块7，用于判断截止到上一笔的当前草图识别结果是否与目标符号集中的任一图文符号的图形部分相匹配，如果是，将当前输入状态标志变更为图文输入状态，启动定时器状态判断模块12的功能，否则启动复合图形识别模块8的功能。

复合图形识别模块8，用于将当前笔划笔迹送入草图识别复合图形分类器识别，反馈当前草图识别结果。

候选识别结果选择判断模块9，用于判断用户是否选取候选识别结果，如果是则启动标准目标符号输出判断模块的功能，否则启动定时器状态判断模块12的功能。

标准目标符号输出模块10，用于判断当前输入状态是否为文字输入状态，如果是则启动文字输入状态细分处理模块11的功能，否则将用户选择的识别结果以标准目标符号的形式输出到显示界面，启动定时器状态判断模块12的功能。

文字输入状态细分处理模块11，用于对文字输入的不同状态进行处理，并根据处理结果进行反馈显示，启动定时器状态判断模块12的功能。

可选地，所述文字输入状态细分处理模块11包括如下单元：

初始单元10，用于开始本次文字输入状态判断处理。

第一判断单元20，用于判断当前是否有目标符号被选中，如果有，则启动第二判断单元30的功能，否则将用户选中的文字识别结果以独立文字对象形式输出到显示界面，启动终止单元60的功能。

第二判断单元30，用于判断当前被选中的目标符号是否包含多个注记框，如果是则启动注记位置判断处理单元40的功能，否则启动更新单元的功能。

注记位置判断处理单元40，用于进行注记位置判断处理，启动终止单元60的功能。

可选地，注记位置判断处理单元40中注记位置判断处理方法为：计算当前输入文字位置与被选中目标符号的不同注记框位置之间的相对位置关系，并将用户选中的文字识别结果更新到与当前文字输入位置最接近的目标符号注记框中。

注记内容更新单元50，用于将目标符号的注记内容更新为用户选中的文字识别结果。

终止单元60，用于结束本次文字输入状态判断处理。

定时器状态判断模块12，用于判断定时器是否截止，如果是，将当前输入状态标志变更为草图输入状态，取消定时器，启动循环模块13的功能；否则，直接启动循环模块13的功能。

循环模块13，用于重复依次启动综合判断模块2、草图输入状态处理模块3、文字输入状态处理模块4、图文输入状态处理模块5、文字输入状态变更条件判断模块6、图文输入状态变更条件判断模块7、复合图形识别模块8、候选识别结果选择判断模块9、标准目标符号输出模块10、文字输入状态细分处理模块11以及定时器状态判断模块12的功能，进入新的循环，直至用户不再输入新的笔划。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机储存器、内存、只读存储器、电可编程ROM、电可檫除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其他形式的存储介质中。

可以理解的是，对于本领域的普通技术人员来说，可以根据本发明的技术构思做出其它各种相应的改变与变形，而所有这些改变与变形都应属于本发明权利要求的保护范围。

Claims (8)

1.一种基于手写输入状态自适应判断处理的笔式交互方法，其特征在于，其包括如下步骤：

S1、将输入状态标志初始化为草图输入状态；

S2、在用户输入完一个笔划后，判断当前输入笔划是否为新笔划，如果是新笔划，则启动定时器计时并根据当前输入状态标志判断当前输入状态，如果不是新笔划则直接根据当前输入状态标志判断当前输入状态；在当前输入状态为草图输入状态时，跳转到步骤S3，在当前输入状态为文字输入状态时，跳转到步骤S4，在当前输入状态为图文输入状态时，跳转到步骤S5；

S3、将当前输入笔划的笔迹送入草图识别基元分类器进行识别，判断当前输入笔划是否为文字输入手势，是则跳转到步骤S6，否则跳转到步骤S8；

S4、将当前输入笔划的笔迹送入文字识别分类器识别，反馈当前文字识别结果，跳转到步骤S9；

S5、将当前笔划笔迹送入文字识别分类器识别，判断当前文字识别结果结合文字输入手势输入之前的草图识别结果是否与目标符号集中的任一图文符号相匹配，如果是，反馈当前图文符号识别结果，跳转到步骤S9，否则，跳转到步骤S12；

S6、判断当前输入笔划是否为新笔划，如果是，则将当前输入状态标志变更为文字输入状态，跳转到步骤S12，否则，跳转到步骤S7；

S7、判断截止到上一笔的当前草图识别结果是否与目标符号集中的任一图文符号的图形部分相匹配，如果是，将当前输入状态标志变更为图文输入状态，跳转到步骤S12，否则，跳转到步骤S8；

S8、将当前笔划笔迹送入草图识别复合图形分类器识别，反馈当前草图识别结果；

S9、判断用户是否选取候选识别结果，如果是，跳转到步骤S10，否则，跳转到步骤S12；

S10、判断当前输入状态是否为文字输入状态，如果是，跳转到步骤S11，否则将用户选择的识别结果以标准目标符号的形式输出到显示界面，跳转到步骤S12；

S11、进行文字输入状态判断处理，并根据处理结果进行反馈显示，跳转到步骤S12；

S12、判断定时器是否截止，如果是，将当前输入状态标志变更为草图输入状态，取消定时器，跳转到步骤S13；否则，直接跳转到步骤S13；

S13、重复执行步骤S2至S12，进入新的循环，直至用户不再输入新的笔划。

2.如权利要求1所述的基于手写输入状态自适应判断处理的笔式交互方法，其特征在于：所述文字输入手势为区别于现有基本图形之外的自定义的基本图形；或者为与组成复合图形的基本图形具有二义性定义的图形。

3.如权利要求1所述的基于手写输入状态自适应判断处理的笔式交互方法，其特征在于：所述步骤S11中文字输入状态判断处理包括如下子步骤：

S101、开始本次文字输入状态判断处理；

S102、判断当前是否有目标符号被选中，如果有，跳转到步骤S103，否则将用户选中的文字识别结果以独立文字对象形式输出到显示界面，转入步骤S106；

S103、判断当前被选中的目标符号是否包含多个注记框，如果是转入步骤S104，否则转入步骤S105；

S104、进行注记位置判断处理，跳转到步骤S106；

S105、将目标符号的注记内容更新为用户选中的文字识别结果；

S106、结束本次文字输入状态判断处理。

4.如权利要求3所述的基于手写输入状态自适应判断处理的笔式交互方法，其特征在于：所述的注记位置判断处理方法为：计算当前输入文字位置与被选中目标符号的不同注记框位置之间的相对位置关系，并将用户选中的文字识别结果更新到与当前文字输入位置最接近的目标符号注记框中。

5.一种基于手写输入状态自适应判断处理的笔式交互系统，其特征在于，其包括如下模块：

初始化模块，用于将输入状态标志初始化为草图输入状态；

综合判断模块，用于在用户输入完一个笔划后，判断当前输入笔划是否为新笔划，如果是新笔划，则启动定时器计时并根据当前输入状态标志判断当前输入状态，如果不是新笔划则直接根据当前输入状态标志判断当前输入状态；在当前输入状态为草图输入状态时，启动草图输入状态处理模块的功能，在当前输入状态为文字输入状态时，启动文字输入状态处理模块的功能，在当前输入状态为图文输入状态时，启动图文输入状态处理模块的功能；

草图输入状态处理模块，用于将当前输入笔划的笔迹送入草图识别基元分类器进行识别，判断当前输入笔划是否为文字输入手势，是则启动文字输入状态变更条件判断模块的功能，否则启动复合图形识别模块的功能；

文字输入状态处理模块，用于将当前输入笔划的笔迹送入文字识别分类器识别，反馈当前文字识别结果，启动候选识别结果选择判断模块的功能；

图文输入状态处理模块，用于将当前笔划笔迹送入文字识别分类器识别，判断当前文字识别结果结合文字输入手势输入之前的草图识别结果是否与目标符号集中的任一图文符号相匹配，如果是，反馈当前图文符号识别结果，启动候选识别结果选择判断模块的功能，否则启动定时器状态判断模块的功能；

文字输入状态变更条件判断模块，用于判断当前输入笔划是否为新笔划，如果是，则将当前输入状态标志变更为文字输入状态，启动定时器状态判断模块的功能，否则启动图文输入状态变更条件判断模块的功能；

图文输入状态变更条件判断模块，用于判断截止到上一笔的当前草图识别结果是否与目标符号集中的任一图文符号的图形部分相匹配，如果是，将当前输入状态标志变更为图文输入状态，启动定时器状态判断模块的功能，否则启动复合图形识别模块的功能；

复合图形识别模块，用于将当前笔划笔迹送入草图识别复合图形分类器识别，反馈当前草图识别结果；

候选识别结果选择判断模块，用于判断用户是否选取候选识别结果，如果是则启动标准目标符号输出模块的功能，否则启动定时器状态判断模块的功能；

标准目标符号输出模块，用于判断当前输入状态是否为文字输入状态，如果是则启动文字输入状态细分处理模块的功能，否则将用户选择的识别结果以标准目标符号的形式输出到显示界面，启动定时器状态判断模块的功能；

文字输入状态细分处理模块，用于对文字输入的不同状态进行判断处理，并根据处理结果进行反馈显示，启动定时器状态判断模块的功能；

定时器状态判断模块，用于判断定时器是否截止，如果是，将当前输入状态标志变更为草图输入状态，取消定时器，启动循环模块的功能；否则，直接启动循环模块的功能；

循环模块，用于重复依次启动综合判断模块、草图输入状态处理模块、文字输入状态处理模块、图文输入状态处理模块、文字输入状态变更条件判断模块、图文输入状态变更条件判断模块、复合图形识别模块、候选识别结果选择判断模块、标准目标符号输出模块、文字输入状态细分处理模块以及定时器状态判断模块的功能，进入新的循环，直至用户不再输入新的笔划。

6.如权利要求5所述的基于手写输入状态自适应判断处理的笔式交互系统，其特征在于：所述文字输入手势为区别于现有基本图形之外的自定义的基本图形；或者为与组成复合图形的基本图形具有二义性定义的图形。

7.如权利要求5所述的基于手写输入状态自适应判断处理的笔式交互系统，其特征在于：所述输入状态判断处理模块包括如下单元：

初始单元，用于开始本次文字输入状态判断处理；

第一判断单元，用于判断当前是否有目标符号被选中，如果有，则启动第二判断单元的功能，否则将用户选中的文字识别结果以独立文字对象形式输出到显示界面，启动终止单元的功能；

第二判断单元，用于判断当前被选中的目标符号是否包含多个注记框，如果是则启动注记位置判断处理单元的功能，否则启动更新单元的功能；

注记位置判断处理单元，用于进行注记位置判断处理，启动终止单元的功能；

注记内容更新单元，用于将目标符号的注记内容更新为用户选中的文字识别结果；

终止单元，用于结束本次文字输入状态判断处理。

8.如权利要求7所述的基于手写输入状态自适应判断处理的笔式交互系统，其特征在于：注记位置判断处理单元中注记位置判断处理方法为：计算当前输入文字位置与被选中目标符号的不同注记框位置之间的相对位置关系，并将用户选中的文字识别结果更新到与当前文字输入位置最接近的目标符号注记框中。