CN105022843B - 一种基于在线手写的交互方法及系统 - Google Patents

Abstract

本发明公开了一种基于在线手写的交互方法及系统，该方法包括：接收用户手写输入信息并记录手写笔迹序列；根据记录的手写笔迹序列确定用户是否已选定关键词；如果用户已选定关键词，则根据选定的关键词做出响应。利用本发明，可以大大减少用户交互次数，提高交互效率。

Description

一种基于在线手写的交互方法及系统

技术领域

本发明涉及信息交互技术领域，具体涉及一种基于在线手写的交互方法及系统。

背景技术

随着互联网技术的发展，多媒体技术迅速兴起并且蓬勃发展。多媒体技术应用已遍及国民经济与社会生活的各个角落，它正在对人类的工作方式和生活方式等带来巨大的变革，进一步地它也深刻影响了教育教学领域。现有的多媒体教学书写板已经可以实现在线手写信息输入，并且可以对手写信息输入内容进行关键词选定，实现关键词的识别、搜索等功能，进而在教学过程中展示更丰富多彩的内容。在现有的教学系统中，用于识别、搜索等操作的关键词，其选定方法多是在用户进行手写信息输入后，用户通过特定操作(如点击特定按钮)进入关键词选定模式，待关键词选定完毕后再通过特定操作退出关键词选定模式，最后进入选定的关键词识别、搜索等后续系统模式。现有的关键词选定方法，需要用户与交互式多媒体设备进行多次交互，这种频繁的交互会降低用户体验度，降低系统响应速度，使得整个教学过程流畅度大打折扣。

发明内容

本发明提供一种基于在线手写的交互方法及系统，以减少用户与交互式多媒体设备交互的次数，提高交互效率及用户体验度。

为此，本发明提供如下技术方案：

一种基于在线手写的交互方法，包括：

接收用户手写输入信息并记录手写笔迹序列；

根据记录的手写笔迹序列确定关键词选定区域；

提取所述关键词选定区域内的笔迹特征；

根据预先训练的判断模型及所述笔迹特征确定用户是否已选定关键词；

如果用户已选定关键词，则根据选定的关键词做出响应。

优选地，在所述接收用户手写输入信息并记录手写笔迹序列后，还包括：

判断用户手写输入是否结束；

如果是，则根据记录的手写笔迹序列确定关键词选定区域。

优选地，所述判断用户手写输入是否结束包括：

监测用户手写输入的抬笔时间；

如果所述抬笔时间超过设定的时间阈值，则确定用户手写输入结束。

优选地，所述根据记录的手写笔迹序列确定关键词选定区域包括：

提取记录的手写笔迹序列中的各连通体，所述连通体是指相交笔迹的组合；

检查提取的连通体中是否有包含关系，并删除具有包含关系的多个连通体中最外面一个连通体之外的其它连通体；

计算各连通体外接矩形的面积；

如果所述连通体外接矩形的面积大于设定的面积阈值，则将所述连通体外接矩形内区域作为关键词选定区域。

优选地，所述笔迹特征包括以下任意一种或多种：凸边特性、笔画累积长度、笔画累积弧度、关键词选定区域大小、关键词选定区域内笔迹数量、关键词选定区域内字识别置信度；所述凸边特性是指以画圈方式选定关键词时，圈上任意连续三个笔迹点构成开口向中心的凸角。

优选地，所述根据记录的手写笔迹序列确定关键词选定区域包括：

提取记录的手写笔迹序列中的各横线；

计算各横线的长度；

检查提取的各横线所在书写行的垂直方向是否有包含关系，并删除具有包含关系的多个横线中的非最长的横线；

如果所述横线的长度大于设定的长度阈值，则将所述横线所在书写行的垂直有笔迹区域作为关键词选定区域。

优选地，所述笔迹特征包括以下任意一种或多种：横线长度、关键词选定区域大小、横线下方笔迹点数目、横线位置、横线起笔信息。

优选地，所述根据选定的关键词做出响应包括：

提取关键词笔迹；

对所述关键词笔迹进行手写识别，得到识别结果；

根据所述识别结果做出响应。

优选地，所述根据所述识别结果做出响应包括：

调用搜索引擎对所述识别结果进行关键词搜索，得到关键词相关信息；然后展现和/或存储所述关键词相关信息；或者

将所述识别结果合成语音，并播放所述语音。

一种基于在线手写的交互系统，包括：

接收模块，用于接收用户手写输入信息并记录手写笔迹序列；

关键词选定识别模块，所述关键词选定识别模块包括：

选定区域确定子模块，用于根据接收模块记录的手写笔迹序列确定关键词选定区域；

笔迹特征提取子模块，用于提取所述关键词选定区域内的笔迹特征；

确定子模块，用于根据预先训练的判断模型及所述笔迹特征确定用户是否已选定关键词；

响应模块，用于在关键词选定识别模块确定所述用户已选定关键词后，根据选定的关键词做出响应。

优选地，所述关键词选定识别模块还包括：

判断子模块，用于判断用户手写输入是否结束；

所述选定区域确定子模块，还用于在所述判断子模块判断用户手写输入已结束后，根据接收模块记录的手写笔迹序列确定关键词选定区域。

优选地，所述判断子模块，具体用于监测用户手写输入的抬笔时间，并在所述抬笔时间超过设定的时间阈值时，确定用户手写输入结束。

优选地，所述选定区域确定子模块包括：

连通体提取单元，用于提取记录的手写笔迹序列中的各连通体，所述连通体是指相交笔迹的组合；

第一筛选单元，用于检查所述连通体提取单元提取的连通体中是否有包含关系，并删除具有包含关系的多个连通体中最外面一个连通体之外的其它连通体；

第一计算单元，用于计算所述第一筛选单元筛选后的各连通体外接矩形的面积；

第一判断单元，用于判断所述连通体外接矩形的面积是否大于设定的面积阈值，如果是，则将所述连通体外接矩形内区域作为关键词选定区域。

优选地，所述选定区域确定子模块包括：

横线提取单元，用于提取记录的手写笔迹序列中的各横线；

第二计算单元，用于计算各横线的长度；

第二筛选单元，用于检查所述横线提取单元提取的各横线所在书写行的垂直方向是否有包含关系，并删除具有含关系的多个横线中的非最长的横线；

第二判断单元，用于判断所述横线的长度是否大于设定的长度阈值，如果是，则将所述横线所在书写行的垂直有笔迹区域作为关键词选定区域。

优选地，所述响应模块包括：

笔迹提取子模块，用于提取关键词笔迹；

手写识别子模块，用于对所述关键词笔迹进行手写识别，得到识别结果；

响应子模块，用于根据所述识别结果做出响应。

优选地，所述响应子模块包括：调用单元，还包括：展现单元和/或存储单元；

所述调用单元，用于调用搜索引擎对所述识别结果进行关键词搜索，得到关键词相关信息；

所述展现单元，用于展现所述关键词相关信息；

所述存储单元，用于存储所述关键词相关信息。

优选地，所述响应子模块包括：

语音合成单元，用于将所述识别结果合成语音；

播放单元，用于播放所述语音。

本发明实施例提供的基于在线手写的交互方法及系统，可以根据用户在线手写笔迹序列信息自动识别用户是否选定了关键词，一旦识别到用户已选定关键词，系统即可根据用户选定的关键词自动做出响应，如识别搜索、语音合成等，从而大大减少了用户交互次数，提高了交互效率。尤其是在多媒体教学以及运用其它交互式多媒体设备的教学应用中，利用本发明方法及系统，可以为教学提供一个更快捷、形象、具体、流畅的教学过程，有效提高了用户体验。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本发明实施例基于在线手写的交互方法的流程图；

图2是本发明实施例中以画圈方式选定关键词时确定用户是否已选定关键词的流程图；

图3是本发明实施例中连通体示意图；

图4是本发明实施例中连通域示意图；

图5是本发明实施例中凸角示意图；

图6是本发明实施例中以画线方式选定关键词时确定用户是否已选定关键词的流程图；

图7是本发明实施例基于在线手写的交互系统的结构示意图；

图8是本发明系统中关键词选定识别模块的一种具体结构示意图；

图9是本发明系统中响应模块的一种具体结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。

如图1所示，是本发明实施例基于在线手写的交互方法的流程图，包括以下步骤：

步骤101，接收用户手写输入信息并记录手写笔迹序列。

比如，接收用户在手写板上的手写输入信息，并实时地记录用户的手写笔迹序列。

步骤102，根据记录的手写笔迹序列确定用户是否已选定关键词。

在实际应用中，可以由应用系统预先设定关键词选定方式，比如划线(包括单线、双线等)、画圈等方式，当然也可以是其它方式。相应地，用户在进行手写输入时，如果需要选定关键词，则需要按照系统设定的方式来进行关键词的选定。

当然，在实际应用中，应用系统也可以向用户提供多种不同的关键词选定方式，由用户选择其中的一种；或者应用系统同时支持多种不同的关键词选定方式，在根据记录的手写笔迹序列确定用户是否已选定关键词时，可以逐一按照其所支持的方式分别进行判断，只要满足其中任意一种的判断条件，即确定用户已选定关键词。

需要说明的是，针对不同的关键词选定方式，在进行判断时，均可以按照以下过程进行判断：

(1)监测用户手写输入是否结束。

具体地，可以根据用户手写输入的抬笔时间来判断用户手写信息输入是否结束，也就是说，监测用户手写输入的抬笔时间，如果抬笔时间超过设定的时间阈值，则确定用户手写输入信息结束。所述时间阈值可以根据实际应用需要或经验预先设定。另外，该时间阈值也可以根据用户习惯进行个性化调整。

(2)如果已结束，则根据记录的手写笔迹序列确定关键词选定区域。

关键词选定区域的判断与具体的关键词选定方式相关，对此将在后面举例详细说明。

需要说明的是，针对用户的连续手写输入，上述步骤(1)至步骤(2)也是实时进行的，也就是说，在用户手写输入结束后，才执行根据记录的手写笔迹序列确定关键词选定区域的操作，否则还继续返回步骤(1)，直至检测到用户手写输入结束。

(3)提取所述关键词选定区域内的笔迹特征。

同样，针对不同的关键词选定方式，所需提取的笔迹特征中有相同的特征，也有不同的特征，具体提取哪些笔迹特征要根据关键词选定方式的特点来决定，对此本发明实施例不做限定。

(4)根据预先训练的判断模型及所述笔迹特征确定用户是否已选定关键词。

所述判断模型可以是分类模型，比如Adaboost分类器、SVM(Support VectorMachine，支持向量机)等。比如对于Adaboost分类器，其输入为上述提取得到的多种笔迹特征或其中多种特征的向量，输出为是否为关键词选定分类问题的后验概率。

需要说明的是，所述判断模型的训练过程与判断过程类似，其输入是由标注好的训练数据提取的笔迹特征，输出是输入的笔迹特征对应标注数据的分类结果，具体训练过程可以采用现有技术，比如，Adaboost分类器的训练可以采用现有的Adaboost迭代算法进行。

步骤103，如果用户已选定关键词，则根据选定的关键词做出响应。

由于应用系统记录的是用户在线输入的手写笔迹序列，而对相应的关键词做出准确响应，则需要首先对关键词进行手写识别，然后再对识别结果做出响应。具体地，由于用户已确定了关键词，因此，可以提取关键词的笔迹，然后对所述关键词笔迹进行手写识别，得到识别结果，具体的手写识别方法可以采用现有的一些方法，对此本发明实施例不做限定。

针对不同的应用，做出的响应也会不同。

比如，应用在检索领域，可以调用搜索引擎对所述识别结果进行关键词搜索，得到该关键词的相关信息，比如包含该关键词的信息、与该关键词具有链接关系的信息等；然后展现和/或存储所述关键词的相关信息。需要说明的是，这种应用不同于现有的关键词搜索技术，现有的关键词搜索技术通常都是在搜索界面，在关键词输入框中输入待搜索的关键词，然后点击回车键或命令框，系统根据该关键词返回相应的搜索结果。而本发明方案，针对的是手写输入的应用环境，而且无需特定的操作指令，系统即可自动识别用户是否已选定关键词，并根据用户选定的关键词自动做出响应。

再比如，应用在信息提示领域，可以将所述识别结果合成语音，并播放该语音。当然，还可以有其它方面的应用，对此本发明实施例不做限定。

前面提到，关键词选定方式可以预先设定，而且可以向用户提供多种选定方式，对此下面举例详细说明。

如图2所示，是本发明实施例中以画圈方式选定关键词时确定用户是否已选定关键词的流程图。

步骤201，在用户手写输入信息结束后，提取记录的手写笔迹序列中的各连通体，所述连通体是指相交笔迹的组合。

如图3所示，其中包含了五个连通体，分别为图中的1、2、3、4、5。

步骤202，检查提取的连通体中是否有包含关系，并删除具有包含关系的多个连通体中最外面一个连通体之外的其它连通体。

也就是说，对于具有包含关系的多个连通体，只需保留所述多个连通体中最外面，即面积最大的一个连通体即可。

步骤203，计算各连通体外接矩形的面积。

图4示出了连通体5的外接矩形。

步骤204，如果所述连通体外接矩形的面积大于设定的面积阈值，则将所述连通体外接矩形内区域作为关键词选定区域。

为了描述方便，将连通体外接矩形内区域称作连通域。如果一个连通域的面积大于所述面积阈值，则可以初步判断该连通域内可能包含用户选定的关键词。

所述面积阈值可以根据用户实际字体大小、手写方式、手写工具或经验等来确定，如将该阈值设为用户实际字体平均大小的1.5倍。用户实际字体大小可以根据对用户手写笔迹的切分结果来确定，比如，一个字或一个切分单元的大小为其外接矩形框的大小，字体平均大小即为用户所写字字体大小的均值。

步骤205，提取所述关键词选定区域内的笔迹特征。

针对以画圈方式选定关键词的应用，提取的笔迹特征可以包括以下任意一种或多种：凸边特性、笔画累积长度、笔画累积弧度、关键词选定区域大小、关键词选定区域内笔迹数量、关键词选定区域内字识别置信度。当然，笔迹特征的种类越多，对后续的关键词判断越有利，可以得到更准确的判断结果。

下面分别对上述各笔迹特征进行简要说明。

1.凸边特性，是指以画圈方式选定关键词时，圈上任意连续三个笔迹点构成开口向中心的凸角。

如图5所示，假设点C(x0,y0)为笔迹的中心，p1(x1,y1)，p2(x2,y2)，p3(x3,y3)是笔迹上连续的三个点；p3与C在p1与p2组成的直线l1同侧并且角p1-p2-p3大于90度，则这三个点构成开口向中心的凸角。

需要说明的是，点p1、p2、p3可以是笔迹序列的采样点，当然也可以是原笔迹序列点。

2.笔画累积长度

假设笔迹由连续笔迹P＝{(x_i,y_i),i＝1,2…N}组成，则笔画累积长度L可以通过下式计算：

考虑到不同用户有不同的书写习惯，写出的字符有大有小。因此，为了使上述计算得到的累积长度更具代表性，还可以对其进行归一化处理，具体采用以下公式：

L’＝L/H

其中，L’为归一化后的笔画累积长度，H为文字行高，由用户实际输入手写笔迹的行高决定，可以取笔迹序列中有黑像素点的最高点和最低点间的距离。当然如果是多行文字，需要先进行行切分，文字行高H可以取多行行高的均值。

在实际应用过程中还可以进行文字行倾斜矫正等，在此不再详细阐述。

需要说明的是，所述笔画累积长度指的是形成关键词选定区域的连通体所对应笔画的累积长度。

3.笔画累积弧度

设连续点a，b，c的旋转弧度为α，则

笔画累积弧度则为全部连续三个点的转角之和，该角度为整个笔迹划过的弧度。

需要说明的是，所述笔画累积弧度是指形成关键词选定区域的连通体所对应笔画的累积弧度。

4.关键词选定区域大小

即笔迹的外接矩形的面积S。同样，对面积S也可以进行与前述笔画累积长度类似的归一化处理。

5.关键词选定区域内笔迹数量

由笔迹外接矩形提取出该区域内部的笔迹，即可计算得到这些笔迹的累积数量。

6.关键词选定区域内字识别置信度

根据笔迹外接矩形，提取出该区域内部的笔迹，送入连续识别引擎，并返回字符的平均识别置信度。所述识别引擎可以采用现有的连续识别技术，对此本发明实施例不做限定。

步骤206，根据预先训练的判断模型及所述笔迹特征确定用户是否已选定关键词。

所述判断模型的训练及检测过程前面已有详细描述，在此不再赘述。

如图6所示，是本发明实施例中以画线方式选定关键词时确定用户是否已选定关键词的流程图。

步骤601，在用户手写输入信息结束后，提取记录的手写笔迹序列中的各横线。

具体可以采用改进的霍夫变换算法找出各连通体中的所有横线，所述改进的霍夫变换属于现有技术，在此不再详细描述。

步骤602，计算各横线的长度。

步骤603，检查提取的各横线所在书写行的垂直方向是否有包含关系，并删除具有包含关系的多个横线中的非最长的横线。

步骤604，如果所述横线的长度大于设定的长度阈值，则将所述横线所在书写行的垂直有笔迹区域作为关键词选定区域。

步骤605，提取所述关键词选定区域内的笔迹特征。

针对以画线方式选定关键词的应用，提取的笔迹特征可以包括以下任意一种或多种：横线长度、关键词选定区域大小、横线下方笔迹点数目、横线位置、横线起笔信息。其中：

横线长度、关键词选定区域大小，顾名思义，无需详细描述。

横线下方笔迹点数目是指关键词选定区域内该横线下方垂直区域内笔迹点的数目。

横线位置指的是关键词选定区域内的位置，比如该横线距顶的距离/距底的距离。

横线起笔信息指的是该横线起笔距该关键词选定区域内最左上笔迹点之间相隔的时间。

步骤606，根据预先训练的判断模型及所述笔迹特征确定用户是否已选定关键词。

当然，针对其它关键词选定方式，通过对上述一些步骤做适应性的调整，应用系统同样可以自动确定用户选定的关键词，对此不再一一举例说明。

本发明实施例提供的基于在线手写的交互方法，可以根据用户在线手写笔迹序列信息自动识别用户是否选定了关键词，一旦识别到用户已选定关键词，系统即可根据用户选定的关键词自动做出响应，如识别搜索、语音合成等，从而大大减少了用户交互次数，提高了交互效率。尤其是在多媒体教学以及运用其它交互式多媒体设备的教学应用中，利用本发明方法及系统，可以为教学提供一个更快捷、形象、具体、流畅的教学过程，有效提高了用户体验。

相应地，本发明实施例还提供一种基于在线手写的交互系统，如图7所示，是该系统的一种结构示意图。

在该实施例中，所述系统包括：

接收模块701，用于接收用户手写输入信息并记录手写笔迹序列；

关键词选定识别模块702，用于根据记录的手写笔迹序列确定用户是否已选定关键词；

响应模块703，用于在关键词选定识别模块确定所述用户已选定关键词后，根据选定的关键词做出响应。

上述关键词选定识别模块702可以根据接收模块701记录的手写笔迹序列初步确定关键词选定区域，然后再根据预先训练的判断模型及关键词选定区域内的笔迹特征进一步准确判定用户是否已选定关键词。

如图8所示，该关键词选定识别模块702的一种具体结构可以包括以下各子模块：

判断子模块721，用于判断用户手写输入是否结束；

选定区域确定子模块722，用于在所述判断子模块721判断用户手写输入已结束后，根据接收模块记录的手写笔迹序列确定关键词选定区域；

笔迹特征提取子模块723，用于提取所述关键词选定区域内的笔迹特征；

确定子模块724，用于根据预先训练的判断模型及所述笔迹特征确定用户是否已选定关键词。

所述判断子模块721具体可以通过监测用户手写输入的抬笔时间来确定用户手写输入是否结束，如果抬笔时间超过设定的时间阈值，则确定用户手写输入结束；否则继续监测。

在实际应用中，可以由所述系统预先设定关键词选定方式，比如划线(包括单线、双线等)、画圈等方式，当然也可以是其它方式。而且，所述系统可以向用户提供多种不同的关键词选定方式，由用户选择其中的一种；或者系统同时支持多种不同的关键词选定方式，在根据记录的手写笔迹序列确定用户是否已选定关键词时，关键词选定识别模块702可以逐一按照系统所支持的方式分别进行判断，只要满足其中任意一种的判断条件，即确定用户已选定关键词。

需要说明的是，针对不同的关键词选定方式，在进行判断时，所述关键词选定识别模块702均可以采用图8所示结构来实现其功能，只是选定区域确定子模块722及笔迹特征提取子模块723所需计算及提取的对象需要根据关键词选定方式的不同做适应性地调整即可。

比如，采用以画圈方式选定关键词时，所述选定区域确定子模块722可以包括以下各单元：

连通体提取单元，用于提取记录的手写笔迹序列中的各连通体，所述连通体是指相交笔迹的组合；

第一筛选单元，用于检查所述连通体提取单元提取的连通体中是否有包含关系，并删除具有包含关系的多个连通体中最外面一个连通体之外的其它连通体；

第一计算单元，用于计算所述第一筛选单元筛选后的各连通体外接矩形的面积；

第一判断单元，用于判断所述连通体外接矩形的面积是否大于设定的面积阈值，如果是，则将所述连通体外接矩形内区域作为关键词选定区域。

相应地，笔迹特征提取子模块723提取的笔迹特征可以是以下任意一种或多种：凸边特性、笔画累积长度、笔画累积弧度、关键词选定区域大小、关键词选定区域内笔迹数量、关键词选定区域内字识别置信度。

再比如，采用以画线方式选定关键词时，所述选定区域确定子模块722可以包括以下各单元：

横线提取单元，用于提取记录的手写笔迹序列中的横线；

第二计算单元，用于计算各横线的长度；

第二筛选单元，用于检查所述横线提取单元提取的各横线所在书写行的垂直方向是否有包含关系，并删除具有包含关系的多个横线中的非最长的横线；

第二判断单元，用于判断所述横线的长度是否大于设定的长度阈值，如果是，则将所述横线所在书写行的垂直有笔迹区域作为关键词选定区域。

相应地，笔迹特征提取子模块723提取的笔迹特征可以是以下任意一种或多种：横线长度、关键词选定区域大小、横线下方笔迹点数目、横线位置、横线起笔信息。

可见，在采用其它关键词选定方式时，只需根据关键词选定方式、关键词选定区域的特点以及该区域内书写笔迹的特点，对上述判断对象及提取对象做适应性地调整即可，在此不再一一举例说明。

上述响应模块703可以首先对用户选定的关键词进行手写识别，然后再根据识别结果做出相应具体响应动作，如图9所示，是该响应模块703的一种具体结构示意图。

该响应模块703包括：

笔迹提取子模块731，用于提取关键词笔迹；

手写识别子模块732，用于对所述关键词笔迹进行手写识别，得到识别结果；具体手写识别方法可以采用现有技术，对此本发明实施例不做限定；

响应子模块733，用于根据所述识别结果做出响应。

所述响应子模块733所需进行的响应操作可以根据应用需求的不同来设定。

比如，将该系统应用在检索领域，所述响应子模块733可以包括：调用单元，还包括：展现单元和/或存储单元。其中：

所述调用单元，用于调用搜索引擎对所述识别结果进行关键词搜索，得到关键词相关信息；

所述展现单元，用于展现所述关键词相关信息；

所述存储单元，用于存储所述关键词相关信息。

再比如，将该系统应用在信息提示领域，所述响应子模块733可以包括语音合成单元及播放单元。其中：

所述语音合成单元，用于将所述识别结果合成语音；

所述播放单元，用于播放所述语音。

当然，在不同的应用领域，所述响应子模块733可以具有不同的响应功能，而这些功能的实现可以采用一些现有技术，也可以采用一些特定技术，只要能实现其应用所需的功能即可，对此本发明实施例不做限定。

可见，本发明实施例提供的基于在线手写的交互系统，可以根据用户在线手写笔迹序列信息自动识别用户是否选定了关键词，一旦识别到用户已选定关键词，系统即可根据用户选定的关键词自动做出响应，如识别搜索、语音合成等，从而大大减少了用户交互次数，提高了交互效率。尤其是在多媒体教学以及运用其它交互式多媒体设备的教学应用中，利用本发明方法及系统，可以为教学提供一个更快捷、形象、具体、流畅的教学过程，有效提高了用户体验。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上对本发明实施例进行了详细介绍，本文中应用了具体实施方式对本发明进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及系统；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (19)

1.一种基于在线手写的交互方法，其特征在于，包括：

接收用户手写输入信息并记录手写笔迹序列；

根据记录的手写笔迹序列确定关键词选定区域；其中，在所述关键词选定区域内可能存在用户选定的关键词；

根据所述关键词选定区域内的笔迹特征，确定用户是否已选定关键词；

如果用户已选定关键词，则根据选定的关键词做出响应。

2.根据权利要求1所述的方法，其特征在于，在根据记录的手写笔迹序列确定关键词选定区域之前，所述方法还包括：判断用户手写输入是否结束。

3.根据权利要求2所述的方法，其特征在于，所述判断用户手写输入是否结束包括：

监测用户手写输入的抬笔时间；

如果所述抬笔时间超过设定的时间阈值，则确定用户手写输入结束。

4.根据权利要求1所述的方法，其特征在于，所述根据所述关键词选定区域内的笔迹特征，确定用户是否已选定关键词包括：

提取所述关键词选定区域内的笔迹特征；

根据预先训练的判断模型及所述笔迹特征确定用户是否已选定关键词。

5.根据权利要求1所述的方法，其特征在于，所述根据记录的手写笔迹序列确定关键词选定区域包括：

提取记录的手写笔迹序列中的各连通体，所述连通体是指相交笔迹的组合；

检查提取的连通体中是否有包含关系，并删除具有包含关系的多个连通体中最外面一个连通体之外的其它连通体；

计算各连通体外接矩形的面积；

如果所述连通体外接矩形的面积大于设定的面积阈值，则将所述连通体外接矩形内区域作为关键词选定区域。

6.根据权利要求5所述的方法，其特征在于，所述笔迹特征包括以下任意一种或多种：凸边特性、笔画累积长度、笔画累积弧度、关键词选定区域大小、关键词选定区域内笔迹数量、关键词选定区域内字识别置信度；所述凸边特性是指以画圈方式选定关键词时，圈上任意连续三个笔迹点构成开口向中心的凸角。

7.根据权利要求1所述的方法，其特征在于，所述根据记录的手写笔迹序列确定关键词选定区域包括：

提取记录的手写笔迹序列中的各横线；

计算各横线的长度；

检查提取的各横线所在书写行的垂直方向是否有包含关系，并删除具有包含关系的多个横线中的非最长的横线；

如果所述横线的长度大于设定的长度阈值，则将所述横线所在书写行的垂直有笔迹区域作为关键词选定区域。

8.根据权利要求7所述的方法，其特征在于，所述笔迹特征包括以下任意一种或多种：横线长度、关键词选定区域大小、横线下方笔迹点数目、横线位置、横线起笔信息。

9.根据权利要求2-8任一项所述的方法，其特征在于，所述根据选定的关键词做出响应包括：

提取关键词笔迹；

对所述关键词笔迹进行手写识别，得到识别结果；

根据所述识别结果做出响应。

10.根据权利要求9所述的方法，其特征在于，所述根据所述识别结果做出响应包括：

调用搜索引擎对所述识别结果进行关键词搜索，得到关键词相关信息；然后展现和/或存储所述关键词相关信息；或者

将所述识别结果合成语音，并播放所述语音。

11.一种基于在线手写的交互系统，其特征在于，包括：

接收模块，用于接收用户手写输入信息并记录手写笔迹序列；

关键词选定识别模块，所述关键词选定识别模块包括：选定区域确定子模块，用于根据接收模块记录的手写笔迹序列确定关键词选定区域；其中，在所述关键词选定区域内可能存在用户选定的关键词；

所述关键词选定识别模块还用于根据所述关键词选定区域内的笔迹特征，确定用户是否已选定关键词；

响应模块，用于在关键词选定识别模块确定所述用户已选定关键词后，根据选定的关键词做出响应。

12.根据权利要求11所述的系统，其特征在于，所述关键词选定识别模块还包括：

判断子模块，用于判断用户手写输入是否结束；

所述选定区域确定子模块，还用于在所述判断子模块判断用户手写输入已结束后，根据记录的手写笔迹序列确定关键词选定区域。

13.根据权利要求12所述的系统，其特征在于，

所述判断子模块，具体用于监测用户手写输入的抬笔时间，并在所述抬笔时间超过设定的时间阈值时，确定用户手写输入结束。

14.根据权利要求11所述的系统，其特征在于，所述关键词选定识别模块还包括：

笔迹特征提取子模块，用于提取所述关键词选定区域内的笔迹特征；

确定子模块，用于根据预先训练的判断模型及所述笔迹特征确定用户是否已选定关键词。

15.根据权利要求11所述的系统，其特征在于，所述选定区域确定子模块包括：

连通体提取单元，用于提取记录的手写笔迹序列中的各连通体，所述连通体是指相交笔迹的组合；

第一筛选单元，用于检查所述连通体提取单元提取的连通体中是否有包含关系，并删除具有包含关系的多个连通体中最外面一个连通体之外的其它连通体；

第一计算单元，用于计算所述第一筛选单元筛选后的各连通体外接矩形的面积；

第一判断单元，用于判断所述连通体外接矩形的面积是否大于设定的面积阈值，如果是，则将所述连通体外接矩形内区域作为关键词选定区域。

16.根据权利要求11所述的系统，其特征在于，所述选定区域确定子模块包括：

横线提取单元，用于提取记录的手写笔迹序列中的各横线；

第二计算单元，用于计算各横线的长度；

第二筛选单元，用于检查所述横线提取单元提取的各横线所在书写行的垂直方向是否有包含关系，并删除具有包含关系的多个横线中的非最长的横线；

第二判断单元，用于判断所述横线的长度是否大于设定的长度阈值，如果是，则将所述横线所在书写行的垂直有笔迹区域作为关键词选定区域。

17.根据权利要求11-16任一项所述的系统，其特征在于，所述响应模块包括：

笔迹提取子模块，用于提取关键词笔迹；

手写识别子模块，用于对所述关键词笔迹进行手写识别，得到识别结果；

响应子模块，用于根据所述识别结果做出响应。

18.根据权利要求17所述的系统，其特征在于，所述响应子模块包括：调用单元，还包括：展现单元和/或存储单元；

所述调用单元，用于调用搜索引擎对所述识别结果进行关键词搜索，得到关键词相关信息；

所述展现单元，用于展现所述关键词相关信息；

所述存储单元，用于存储所述关键词相关信息。

19.根据权利要求17所述的系统，其特征在于，所述响应子模块包括：

语音合成单元，用于将所述识别结果合成语音；

播放单元，用于播放所述语音。