CN113673432A - 手写识别方法、触摸显示设备、计算机设备及存储介质 - Google Patents
手写识别方法、触摸显示设备、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113673432A CN113673432A CN202110965551.1A CN202110965551A CN113673432A CN 113673432 A CN113673432 A CN 113673432A CN 202110965551 A CN202110965551 A CN 202110965551A CN 113673432 A CN113673432 A CN 113673432A
- Authority
- CN
- China
- Prior art keywords
- track
- points
- character set
- character
- continuous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Human Computer Interaction (AREA)
- Character Discrimination (AREA)
Abstract
本发明实施例公开一种手写识别方法、触摸显示设备、计算机设备及存储介质。在一具体实施方式中,该手写识别方法包括:获取用户通过触摸屏手写输入的字符组的书写轨迹中的采样点,确定字符组的轨迹点,所述轨迹点的参数包括坐标参数和时间参数;对所述字符组的轨迹点进行预处理,包括:对所述字符组的轨迹点形成的每一连续轨迹进行重采样以使得每一连续轨迹的轨迹点密度等于设定密度值;将预处理后的字符组的轨迹点输入已训练的手写识别模型,以识别得到用户手写输入的字符组。本实施方式的手写识别方法具有操作便利性强、识别准确率高、应用范围广等优点。
Description
技术领域
本发明涉及显示技术领域。更具体地,涉及一种手写识别方法、触摸显示设备、计算机设备及存储介质。
背景技术
现有的手写识别方法,可分为脱机手写识别方法和联机手写识别方法。脱机手写识别是基于手写文字的图片,对图片数据进行文字识别,支持多场景、任意版面下整图文字中的手写中英文、字母、数字、常见字符的识别,不依赖于笔顺的规范性。联机手写识别是基于手写设备采集到的序列轨迹点,输入数据带有笔顺信息,单字识别准确率较高。然而现有的联机手写识别方法对以行形式出现的文字的识别率较低,并且同一种联机手写识别算法在不同设备上识别率差异较大。
发明内容
本发明的目的在于提供一种手写识别方法、触摸显示设备、计算机设备及存储介质,以解决现有技术存在的问题中的至少一个。
为达到上述目的,本发明采用下述技术方案:
本发明第一方面提供了一种手写识别方法,包括:
获取用户通过触摸屏手写输入的字符组的书写轨迹中的采样点,确定字符组的轨迹点,所述轨迹点的参数包括坐标参数和时间参数;
对所述字符组的轨迹点进行预处理,包括:对所述字符组的轨迹点形成的每一连续轨迹进行重采样以使得每一连续轨迹的轨迹点密度等于设定密度值;
将预处理后的字符组的轨迹点输入已训练的手写识别模型,以识别得到用户手写输入的字符组。
可选的,该方法还包括:
获取多个字符组训练样本的书写轨迹中的采样点,确定字符组训练样本的轨迹点,所述轨迹点的参数包括坐标参数和时间参数;
对所述多个字符组训练样本的轨迹点分别进行预处理,包括:对所述字符组训练样本的轨迹点形成的每一连续轨迹进行重采样以使得每一连续轨迹的轨迹点密度等于设定密度值;
利用预处理后的多个字符组训练样本的轨迹点训练得到手写识别模型。
可选的,该方法还包括:
获取多个字符组训练样本,包括:
建立字符库,其中,对于字符库中的每一个字符,分别获取多人通过触摸屏手写输入的字符;
对于语句词典中的多个语句,分别从多人通过触摸屏手写输入的字符中随机选取一字符组成每一语句,得到多个字符组训练样本。
可选的,所述对所述字符组的轨迹点进行预处理还包括:在所述进行重采样前,对所述字符组中的每行字符的轨迹点的整体尺寸分别进行基于坐标参数的归一化。
可选的,所述对所述字符组中的每行字符的轨迹点的整体尺寸分别进行基于坐标参数的归一化包括:基于每行字符的各轨迹点的坐标参数极值,分别对所述每行字符的轨迹点的整体尺寸进行基于坐标参数的归一化。
可选的,所述对所述多个字符组训练样本的轨迹点分别进行预处理还包括:在所述进行重采样前,对所述字符组训练样本中的每行字符的轨迹点的整体尺寸分别进行基于坐标参数的归一化。
可选的,所述对所述字符组训练样本中的每行字符的轨迹点的整体尺寸分别进行基于坐标参数的归一化包括:基于字符组训练样本中的每行字符的各轨迹点的坐标参数极值,分别对所述字符组训练样本中的每行字符的轨迹点的整体尺寸进行基于坐标参数的归一化。
可选的,所述对所述字符组的轨迹点形成的每一连续轨迹进行重采样以使得每一连续轨迹的轨迹点密度等于设定密度值包括:
获取所述字符组的轨迹点形成的每一连续轨迹包含的轨迹点数量;
根据所述连续轨迹的长度及包含的轨迹点数量计算所述连续轨迹的轨迹点密度;
判断所述连续轨迹的轨迹点密度与设定密度值的关系:若所述连续轨迹的轨迹点密度大于所述设定密度值,则对所述连续轨迹进行下采样以使得所述连续轨迹的轨迹点密度等于所述设定密度值;若所述连续轨迹的轨迹点密度小于所述设定密度值,则对所述连续轨迹进行上采样以使得所述连续轨迹的轨迹点密度等于所述设定密度值。
可选的,所述对所述字符组训练样本的轨迹点形成的每一连续轨迹进行重采样以使得每一连续轨迹的轨迹点密度等于设定密度值包括:
获取所述字符组训练样本的轨迹点形成的每一连续轨迹包含的轨迹点数量;
根据所述连续轨迹的长度及包含的轨迹点数量计算所述连续轨迹的轨迹点密度;
判断所述连续轨迹的轨迹点密度与设定密度值的关系:若所述连续轨迹的轨迹点密度大于所述设定密度值,则对所述连续轨迹进行下采样以使得所述连续轨迹的轨迹点密度等于所述设定密度值;若所述连续轨迹的轨迹点密度小于所述设定密度值,则对所述连续轨迹进行上采样以使得所述连续轨迹的轨迹点密度等于所述设定密度值。
可选的,所述对所述字符组的轨迹点进行预处理还包括:
对连续轨迹重采样后的所述字符组的轨迹点进行整体角度校正。
可选的,所述对所述多个字符组训练样本的轨迹点分别进行预处理还包括:
对连续轨迹重采样后的所述字符组训练样本的轨迹点进行整体角度校正。
可选的,所述手写识别模型为基于双向长短期记忆网络的手写识别模型。
可选的,所述基于双向长短期记忆网络的手写识别模型包括串联的特征提取模块和全连接模块,所述特征提取模块包括串联的多个特征提取单元模块,所述特征提取单元包括串联的双向长短期记忆网络和随机失活层。
可选的,所述特征提取模块包括串联的四个特征提取单元。
本发明第二方面提供了一种触摸显示设备,包括:
获取模块,用于获取用户通过触摸屏手写输入的字符组的书写轨迹中的采样点,确定字符组的轨迹点以及各轨迹点的相关参数,所述相关参数包括坐标参数和时间参数;
预处理模块,用于对所述字符组的轨迹点进行预处理,包括:对所述字符组的轨迹点形成的每一连续轨迹进行重采样以使得每一连续轨迹的轨迹点密度等于设定密度值;
识别模块,用于将预处理后的轨迹点输入已训练的手写识别模型,以识别得到用户手写输入的字符组。
本发明第三方面提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本发明第一方面所述的方法。
本发明第四方面提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明第一方面所述的方法。
本发明的有益效果如下:
本发明所述技术方案通过根据用户输入的字符组的书写轨迹,确定包括表征位置参数和时间参数的轨迹点,预处理轨迹点以得到处理后的与设定密度值一致的轨迹点密度,实现以预处理的统一化的轨迹点密度表征字符组的轨迹点密度,利用手写识别模型对预处理的轨迹点密度进行识别,识别得到用户输入的字符组。本发明的手写识别方法能够识别用户手写输入的字符组,具有操作便利性强、识别准确率高,以及适用于多种采样率的终端设备等优点,具有广泛的应用前景。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明。
图1示出本发明实施例的手写识别方法在实际应用中的示例性应用场景示意图;
图2示出本发明的一个实施例的手写识别方法的整体流程图;
图3示出本发明的一个实施例中的步骤S210的流程图;
图4示出本发明的一个实施例中的步骤S211的流程图;
图5本发明实施例一个具体示例的不同用户手写输入形成的字符库示意图;
图6示出本发明实施例一个具体示例的智能手机上显示的用户手写的行字符组的示意图;
图7示出本发明的一个实施例中的步骤S213的流程图;
图8示出本发明的一个实施例中的步骤S2132的流程图;
图9示出本发明实施例的手写识别模型的结构框架图;
图10示出本发明实施例一个具体示例的用户在智能手机上手写输入行字符组的示意图;
图11示出本发明的一个实施例中的步骤S23的流程图;
图12示出本发明的一个实施例中的步骤S232的流程图;
图13示出本发明另一个实施例的触摸显示设备的框架示意图;
图14示出本发明另一个实施例的计算机系统的结构示意图。
具体实施方式
为了更清楚地说明本发明,下面结合实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解,下面所具体描述的内容是说明性的而非限制性的,不应以此限制本发明的保护范围。
现有技术中,随着笔式电脑、掌上电脑和手机等移动终端设备的出现和越来越多地得到应用,手写识别方法得到越来越多的关注。与常见的屏幕与键盘的输入方式相比,手写输入技术使用户不必切换输入设备、输入模式或输入软件,对不会使用输入法的人、不习惯使用键盘的人,以及没有键盘或键盘很小的情况(如手持式移动终端)提供了一种更方便有效的途径。
而手写识别方法的字符识别准确率和速度对于笔输入技术具有极大影响。常见的手写识别方法能够快速实现单字识别,即,响应于用户手写输入,识别单个字符的输入,然后识别给出候选识别结果供用户选择,这使得识别方法和识别准确率受到极大的限制。
并且,现有技术的手写识别方法其应用在不同的终端设备中识别率差异较大,例如,智能手机、手写板、大屏幕显示终端这三种不同的联机手写设备,其触摸屏尺寸不一致,所应用的处理器大概率不同,此时,利用同一种手写识别方法难以兼容上述不同的设备以实现准确率较高的字符识别。
发明人认为,手写识别方法出现上述问题的主要原因是:不同的终端设备获取的用户手写输入时的轨迹点采样率不一致,导致识别时输入的轨迹点数据差异较大,从而产生同一手写识别方法不能兼容于不同的终端设备且识别率低的问题。有鉴于此,发明人提出一种手写识别方法、触摸显示设备、计算机设备及存储介质,以解决至少一个上述问题。
本发明的一个实施例提出一种手写识别方法,包括如下步骤:
获取用户通过触摸屏手写输入的字符组的书写轨迹中的采样点,确定字符组的轨迹点,所述轨迹点的参数包括坐标参数和时间参数;
对所述字符组的轨迹点进行预处理,包括:对所述字符组的轨迹点形成的每一连续轨迹进行重采样以使得每一连续轨迹的轨迹点密度等于设定密度值;
将预处理后的字符组的轨迹点输入已训练的手写识别模型,以识别得到用户手写输入的字符组。
在本发明实施例中,用户能够通过触摸屏手写输入字符组,本发明实施例的字符可理解为用户所写入的单个汉字、单个字母、符合等,而字符组则可以理解为用户输入的多个字符形成的短语、单词、带有标点符号的中英文句子等,其中,用户输入的字符组可能包含一行字符,也可能包含多行字符(如果以古文形式竖向输入,可理解为每行一个字符的多行字符)。在一个具体示例中,当采用智能手机作为手写输入的终端设备时,用户通过智能手机的触摸屏输入中文语句时,每一个汉字和标点符号为一个字符,所有汉字组成字符组子即为字符组。
因此,本发明实施例通过根据用户输入的字符组的书写轨迹,确定包括表征位置参数和时间参数的轨迹点,预处理轨迹点以得到处理后的与设定密度值一致的轨迹点密度,实现以预处理的统一化的轨迹点密度表征字符组的轨迹点密度,利用手写识别模型对预处理的轨迹点密度进行识别,识别得到用户输入的字符组。本发明实施例的手写识别方法能够准确识别用户手写输入的字符组,具有操作便利性强、识别准确率高等优点,且可适用于各种型号、触摸屏尺寸、触摸屏采样率的终端设备,具有广泛的应用前景。
为了便于理解本实施例的技术方案,下面结合图1对本实施例提供的上述方法在实际中的场景进行说明。参见图1,该场景包括训练服务器110和终端设备120。在本实施例中,训练服务器110先利用字符组训练样本对用于识别字符组轨迹点神经网络进行训练,以得到训练后的手写识别模型。不限型号、触摸屏尺寸、触摸屏采样率的终端设备120可以利用训练服务器110训练得到的手写识别模型进行手写输入的字符组识别,得到用户手写输入的短语、单词、语句的识别结果。
如图1所示,终端设备120可包括智能手机、手写板、笔式电脑和大屏幕显示终端等具有触摸显示功能的终端设备。需要注意的是,图1中的训练服务器110和终端设备120在实际应用中,可以是独立的设备,也可以是集成有模型训练功能和识别功能的终端设备。当是独立的两个设备时,训练服务器和终端设备之间可通过网络进行通信,该网络可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等。
接下来,对训练服务器应用的手写识别模型的训练过程以及利用已训练的手写识别模型的整个过程进行说明。
如图2所示,本发明的一个实施例提供了一种手写识别方法,包括如下步骤:
S210、获取多个字符组训练样本并根据所述字符组训练样本进行训练得到手写识别模型。
在一个可选的实施例中,如图3所示,步骤S210包括:
S211、获取多个字符组训练样本。
示例性的,如图4所示,步骤S211包括:
S2111、建立字符库,其中,对于字符库中的每一个字符,分别获取多人通过触摸屏手写输入的字符。其中,多人手写输入字符时可使用各自的不限类型、尺寸、分辨率的触摸屏,例如可使用智能手机、手写板、笔式电脑和大屏幕显示终端等。
在该步骤中,本发明实施例的字符库包括常见的中文文字、英文字母、数字及符号,例如,中文一级字库、中文二级字库常用字、中文三级常用字库、数字、字母、符号等能够用于正常生活使用的字符。本发明实施例的字符库包括但不限于上述字符库,对于具有特殊需求的用户,例如繁体字用户、研究学者或者外国用户等,字符库的字符随之不同,本领域技术人员应当能够根据实际应用建立对应的字符库,在此不再赘述。
对于前述字符库中的每一个字符,例如字库中包括M个字符,采集N个用户对M个字符的书写字符,从而构建N*M个单字字符库。在一个具体示例中,在采集单字字符的过程中,可要求用户以不同的书写方式书写字符库中的字符,例如,楷体、行书以及草书等,进一步构建不同字体、多种特征的字符库,实现字符库的多样化。在一个具体示例中,如图5所示,用户A~C分别对同一字符组“一二三四”进行手写,从而能够得到12个不同的单字字符库。
S2112、对于语句词典中的多个语句,分别从多人通过触摸屏手写输入的字符中随机选取一个字符,组成每一语句,从而得到多个字符组训练样本,可理解的是,字符组训练样本可以包含一行字符,也可包含多行字符。基于步骤S2111中得到的单字字符库,步骤S2112可进一步利用字符库生成字符组的字符组库。
具体的,利用语句词典能够得到单字字符之间的关联关系,例如单字字符组成的常用语、网络词汇、文学作品等,例如,可统计该语句词典中每一个字符被使用的频率,当某个单字字符出现频率较低时,可进一步收集该单字字符相关联的常用语、网络词汇以及文学作品等,并将其作为新增语句添加进语句字典,进行语句字典的扩充,直到满足所有字符出现的频率达到设定的要求,这样,能够保证语句词典中单字字符的分布均衡,使得单字字符构成语句的样本充足,从而实现语句词典中的语句充足。
进一步,利用该语句词典生成行字符词库,从单字字符库中随机选择相关联的不同手写者的单字字符,并将这些字符进行拼接得到语句词典中的语句,从而得到字符组词库,便可利用得到的字符组词库作为字符组训练样本进行手写识别模型的训练。
本发明实施例中的语句中的每一单字字符,为从前述单字字符库中随机抽取的,即,每一单字字符的手写者可能为不同用户或者不同字体,例如,语句词典中的短语为“一二三”,字符组由单字字符“一”、单字字符“二”以及单字字符“三”组成,在选取单字字符随机拼接的过程中,第一个单字字符“一”可为用户C手写,单字字符“二”可为用户B手写,第二个单字字符“三”可为用户A手写。
影响手写识别方法的主要难点在于字符组训练样本不足,同时样本缺乏多样性以及字符分布不均衡,导致手写识别模型的训练过程中很难学习到多样化的字符特征,造成手写识别模型识别准确率较低的问题。而本发明上述实施例形成单字字符库、语句词典以及作为训练样本的字符组库的过程,充分实现训练样本的特征多样化、组合多样化以及均衡分布,有效确保手写识别模型的识别准确率。
在获取多个字符组训练样本后,即可利用得到的字符组词库作为训练样本训练并生成手写识别模型:
S212、获取多个字符组训练样本的书写轨迹中的采样点,确定字符组训练样本的轨迹点,所述轨迹点的参数包括坐标参数和时间参数。
具体的,在多个用户通过各自的触摸屏手写输入用于建立字符库的字符或字符组的过程中,触摸屏以预设频率实时对触摸的轨迹进行采样,从而得到关于手写输入的单字字符或字符组的书写轨迹的采样点,根据用户手写过程中的采集的采样点,能够确定用户所书写的字符的相对于触摸屏输入界面的轨迹点,利用轨迹点的坐标参数和时间参数,即能够确定整个字符组训练样本中全部字符的轨迹。
如图6所示,以用户通过具有触摸显示功能的智能手机手写输入字符为例,图6所示智能手机的虚线处为输入的手写区,用户在手写输入时在该虚线区域内进行手写输入,因此以虚线框所在区域作为坐标区域,以图6所示X轴、Y轴作为坐标系,此时通过轨迹点在输入界面的位置能够通过二维坐标(x,y)表示。
用户在触摸屏的手写区写入行字符组“一二三四”(图6中,字符“一二三四”形成的字符组为单行字符组,简称行字符组),以其中的单字符“一”为例,该字符从开始手写到输入结束的过程中,在预设的采样频率下,会得到对应于该书写轨迹的多个采样点,采样点包括采集过程中的时间参数(例如采样时刻,可以时间绝对值、时间相对值或与上一个采样点之间的时间差值表示),对于该字符显示在触摸屏显示界面的书写轨迹,每一采样点对应在书写轨迹的轨迹点包括坐标参数(例如坐标值(x,y))。因此,在用户手写输入字符组“一二三四”的过程中,能够获取整个字符组中每一字符的轨迹点和相关参数。由此,在从字符库中随机选取字符,组成语句词典中的语句以形成字符组训练样本时,即可根据每一字符包含的轨迹点的坐标参数和时间参数,得到整个字符组训练样本的轨迹点的坐标参数和时间参数。
S213、对所述多个字符组训练样本的轨迹点分别进行预处理。
在一种可能的实现方式中,如图7所示,步骤S213包括:
S2131、对所述字符组训练样本中的每行字符的轨迹点的整体尺寸分别进行基于坐标参数的归一化。
进一步,步骤S2131包括:
基于字符组训练样本中的每行字符的各轨迹点的坐标参数极值,分别对字符组训练样本中的每行字符的轨迹点的整体尺寸进行基于坐标参数的归一化。
示例性的,可根据步骤S212得到的字符组训练样本中的轨迹点的坐标参数,获取字符组训练样本中每行字符包含的全部轨迹点中的坐标参数极值,得到字符组训练样本中每行字符对应的坐标参数极值,基于此分别对字符组训练样本中每行字符的轨迹点的整体尺寸进行归一化,例如,每行字符对应的坐标参数极值为每行字符包含的各轨迹点中,Y方向轨迹点坐标中的最小值和最大值及X方向轨迹点坐标中的最小值和最大值。从而,能够得到字符组训练样本中每行字符的整体尺寸。进一步的,在得到字符组训练样本中每行字符的整体尺寸后,将字符组训练样本中的每行字符进行标准化处理,即基于坐标参数的归一化处理。具体的,本发明实施例设置有预设的字符组训练样本标准尺寸,例如X方向和Y方向上的预设标准尺寸为N*10像素和10像素(10像素代表预设的单个字符标准尺寸为宽(X方向—行方向)*高(Y方向—列方向)为10*10像素,N标识行字符包含的字符数量),而根据前述坐标参数极值得到的一字符组训练样本中某行字符整体尺寸为X方向2000像素、Y方向100像素,则可将该行字符的整体尺寸标准化为X方向200像素和Y方向10像素,实现整体尺寸的归一化,在该归一化过程中,需对全部轨迹点的全部坐标参数进行归一化,以确保书写轨迹的轨迹真实。
S2132、对归一化后的字符组训练样本的轨迹点形成的每一连续轨迹进行重采样以使得每一连续轨迹的轨迹点密度等于设定密度值。从而,实现字符组训练样本中的连续轨迹的标准化或者说统一化。
示例性的,如图8所示,步骤S2132包括:
S21321、获取归一化后的字符组训练样本的轨迹点形成的每一连续轨迹包含的轨迹点数量。
具体的,以触摸屏为手机的手写键盘输入区为例,本发明实施例中的连续轨迹定义为时间不间断的状态下形成在输入区的轨迹,在一个具体示例中,如图5所示的字符库中不同用户手写的文字所示,字符“一”为用户A自落笔到抬笔的过程中,一直连续书写形成的,也就是说,此时的“一”是一个笔画,其包含在连续轨迹的范围内。
在另一个具体示例中,如图5所示,“二”的字符虽然在楷体上是由两个笔画“横”构成,然而用户A在输入时,短横和长横之间连续输入,即在用户自该次落笔至该次抬笔且完成该字符或者笔画的书写过程中,用户在整个时间段中,处于连续书写的状态,则形成的轨迹为连续轨迹。
在另一个具体示例中,如图5所示,用户C在书写单字字符“四”的笔画“横折”的过程中,用户在该笔画的弯折处先形成顿笔后再形成竖向笔画,则此时该笔画由“横”、“顿笔弯折”到“竖”从而完成整个“横折”的过程中,其在顿笔处的时间并不连续,因此,该状态下的用户书写的“横折”为两个连续轨迹。
不同的是,图5所示的另一用户A书写的“横折”为类似连笔书写,即在时间上连续形成的,其在弯折处没有顿笔,直接形成该笔画,此时则为连续轨迹。因此,本发明实施例的连续轨迹为在时间上连续形成的笔画,其包括但不限于练笔书写,每一连续轨迹能够表征用户书写字符的特点,能够提高手写识别模型的准确性。在一个具体示例中,本发明实施例还消除同一连续轨迹中位于相同坐标处的轨迹点,以提高轨迹点处理速度及精度。
S21322、根据归一化后的字符组训练样本的轨迹点形成的连续轨迹的长度及包含的轨迹点数量计算所述连续轨迹的轨迹点密度。
该步骤中,本发明实施例利用轨迹点的坐标参数,得到连续轨迹的长度,本发明实施例的长度并非以连续轨迹的起点轨迹点和终点轨迹点的坐标参数得到的起始距离之和,也就是说,本发明实施例的连续轨迹的长度为连续时间段中的相邻轨迹点的距离之和。利用连续轨迹的长度以及该长度上轨迹点的数量则能够确定当前连续轨迹的轨迹点密度,从而能够根据轨迹点密度确定当前连续轨迹密度与标准化连续轨迹的密度之间的关系。
在一个具体示例中,如图5所示,字符库中用户C书写的“二”字包括“短横”和“长横”两个连续轨迹,则分别计算每一连续轨迹的轨迹点密度,例如,“短横”的连续轨迹长度为其轨迹点中的起始点到轨迹终点之间的整个连续轨迹的长度,包括了手写时的弧形长度,轨迹点密度即为连续轨迹长度除以轨迹点数量。
而如图5所示,字符库中用户B书写的字符“二”整体为连续轨迹,因此,整个字符“二”均为连续轨迹,该连续轨迹的长度包括自短横起始点的轨迹点到长横终点的所有轨迹对应的长度,也就是说,其还包括短横和长横之间的连笔所对应的轨迹长度,该连续轨迹的长度则为短横轨迹长度+连笔轨迹长度+长横轨迹长度,密度则为该长度除以该长度对应的轨迹点数量。
S21323、判断所述连续轨迹的轨迹点密度与设定密度值的关系:若所述连续轨迹的轨迹点密度大于所述设定密度值,则对所述连续轨迹进行下采样以使得所述连续轨迹的轨迹点密度等于所述设定密度值;若所述连续轨迹的轨迹点密度小于所述设定密度值,则对所述连续轨迹进行上采样以使得所述连续轨迹的轨迹点密度等于所述设定密度值。
本发明实施例利用前述步骤S21322确定的轨迹点密度与设定密度值进行判断,并将不符合判定原则的轨迹点密度对应的连续轨迹进行标准化处理,从而实现连读轨迹的标准化和归一化。
具体的,以前述确定的轨迹点密度为例,若设定密度值为30,连续轨迹“横折”的轨迹点密度值为25,其小于该设定密度值30,说明当前根据采样点得到的轨迹点可能无法表征连续轨迹的全部特征,因此,本发明实施例进一步对连续轨迹进行上采样以使得所述连续轨迹的轨迹点密度等于所述设定密度值。在一个具体示例中,上采样包括轨迹点插值处理,例如,对于“横折”的轨迹点密度值为25小于设定密度值30时,需新增5个插值点,此时,可每5个轨迹点增加一个插值点,实现插值点的均匀分布,进一步实现识别准确率。
在另一个具体示例中,若设定密度值仍为30,连续轨迹“短横”的轨迹点密度值为35,其大于设定密度值30,说明当前根据采样点得到的轨迹点已经能表征连续轨迹的全部特征,且当前的轨迹点已经处于冗余状态,对识别速度产生影响,因此,本发明实施例进一步对连续轨迹进行下采样以使得所述连续轨迹的轨迹点密度等于所述设定密度值,在一个具体示例中,可通过删减轨迹点实现下采样。例如,连续轨迹“短横”的轨迹点密度值需删减5个轨迹点,可每5个轨迹点或者6个轨迹点删除一个轨迹点,实现轨迹点的均匀分布,在确保识别准确率的基础上,进一步确保识别速度。
S2133、对连续轨迹重采样后的所述字符组训练样本的轨迹点进行整体角度校正,使得字符组训练样本中所有的字符处于基于坐标系的水平方向,例如平行于X方向。在一个具体示例中,可通过霍夫变换(Hough变换)对字符组训练样本中倾斜的字符进行角度校正,实现整体字符组训练样本中轨迹点的整体角度校正。
需要说明的是,预处理步骤S213中的关键步骤是重采样步骤S2132,而归一化步骤S2131和角度校正步骤S2133分别为优选步骤。
S214、利用预处理后的多个字符组训练样本的轨迹点训练得到手写识别模型。
经过上述步骤,能够得到本发明实施例的多个字符组训练样本,其样本具有特征多样性、特征准确度高以及特征分布均衡的特点,利用本发明实施例的训练样本,能够得到识别速度快、准确率高的手写识别模型。
在一个可选的实施例中,所述手写识别模型为基于双向长短期记忆网络的手写识别模型。
长短期记忆网络(Long-Short Term Memory,LSTM)是一种时间递归神经网络,适合于处理和预测时间序列中间隔和延迟非常长的重要事件。双向长短期记忆网络(BiLong-Short Term Memory,Bi-LSTM)则是在LSTM的基础上实现双向记忆的网络,本发明实施例利用双向长短期记忆网络建立的手写识别模型,能够快速准确识别用户通过触摸屏输入的字符组训练样本,实现字符组训练样本的快速识别,具有更准确的识别性能。
在一个可选的实施例中,如图9所示,所述基于双向长短期记忆网络的手写识别模型包括串联的特征提取模块和全连接模块,所述特征提取模块包括串联的多个特征提取单元,所述特征提取单元包括串联的双向长短期记忆网络和随机失活层。
本发明实施例中,特征提取模块的输入端作为手写识别模型的输入端,特征提取模块的输出端与全连接模块的输入端连接,全连接模块的输出端作为手写识别模型的输出端。
字符组训练样本的训练样本输入特征提取模块的输入端,特征提取模块将训练样本所包括的所有特征提取并分类,本发明实施例的特性提取模块设置为多个,确保特征提取精度。在一个可选的实施例中,所述特征提取模块包括串联的四个特征提取单元,其能够在保证字符组训练样本识别精度的基础上,实现手写识别模型的快速收敛,进一步提高识别速度,实现识别准确性以及识别速度的最优化设计。
进一步的,本发明实施例中,所述特征提取单元包括串联的双向长短期记忆网络和随机失活层。本发明实施例中,通过将双向长短期记忆网络串联有随机失活层,能够在训练所述双向长短期记忆网络的过程中随机冻结所述预设比例对应的神经元,以抑制过拟合现象。在一个具体示例中,所述随机失活层可以为Dropout层,Dropout层能够随机让双向长短期记忆网络中某些隐含层节点的神经元不工作,消除减弱了神经元节点间的联合适应性,增强了泛化能力,防止模型过拟合,Dropout层能够确保手写识别模型在丢失一个个体线索的情况下保持精度,可以减少权重连接,增加手写识别模型在缺失个体连接信息情况下的鲁棒性。
本发明实施例中,全连接层将特征提取模块提取的特征进行综合并整合具有类别区分性的特征信息。在本发明实施例中,全连接模块包括串联的两个全连接层,其中一个全连接层连接特征提取单元的输出端,能够进一步增强特征提取单元提取的特征,例如该全连接层能够将256的特征通道增强为512的特征通道。另一个全连接层与前一个全连接层连接,利用激励函数计算每个字符的类别概率,实现类别整合。从而形成的本发明实施例的手写识别模型的识别准确率高,且识别速度快。
在上述步骤S210的基础上(即完成训练阶段流程的基础上),执行下述步骤S220-S240(即执行识别阶段的流程),即可利用本发明实施例得到的手写识别模型以识别用户通过触摸屏手写输入的字符组。从具有数据处理能力的终端设备为例的角度,例如该终端设备为具有触摸显示功能的智能手机,以该智能手机应用已训练好的手写识别模型对用户手写输入的字符组训练样本进行识别为例,即本发明实施例的手写识别模型应用于图1所示的场景中为例,本实施例中的识别阶段的流程如下:
S220、获取用户通过触摸屏手写输入的字符组的书写轨迹中的采样点,确定字符组的轨迹点,所述轨迹点的参数包括坐标参数和时间参数。
具体的,获取模块以预设频率实时对显示在触摸屏上的轨迹进行采样,得到多个关于手写输入的单字字符或字符组的书写轨迹的采样点,根据用户手写过程中的采集的采样点,能够确定用户所书写的字符组的相对于触摸屏输入界面的轨迹点,利用轨迹点的坐标参数和时间参数,即能够确定整个字符组中全部字符的轨迹。
在一个具体示例中,图10所示智能手机的虚线处为输入字符组的手写区,用户在手写输入时在该虚线区域内进行手写输入,因此以虚线框所在区域作为坐标区域,以图10所示X轴、Y轴作为坐标系,此时字符组的每一轨迹点在输入界面的位置能够通过二维坐标(x,y)表示,值得说明的是,坐标系仅为示例性的说明字符位于坐标区域中的定位方式,实际应用中,坐标系可不显示在手写输入界面。
如图10所示,用户A使用智能手机在手写输入界面的手写区域(图中的虚线框区域)进行手写输入,手写输入的字符组为“八九十”。以其中的单字符“八”为例,该字符从开始手写到输入结束的过程中,在预设的采样频率下,得到对应于该书写轨迹的多个采样点,采样点包括采集过程中的时间参数,对于该字符显示在触摸屏显示界面的书写轨迹,每一采样点对应在书写轨迹的轨迹点包括坐标参数和时间参数。轨迹点的坐标参数和时间参数分别为采样点在手机的工作表面中坐标系中的坐标点,时间参数例如为每个书写发生的采样点的时间绝对值、时间相对值或与上一个采样点之间的时间差值。字符组中字符“九”和“十”的采样点以及轨迹点的原理一致,在此不再赘述。
S230、对所述字符组(用户通过触摸屏手写输入的字符组)的轨迹点进行预处理。
示例性的,如图11所示,步骤S230包括:
S231、对所述字符组中的每行字符的轨迹点的整体尺寸分别进行基于坐标参数的归一化。
进一步,步骤S231包括:
基于每行字符的各轨迹点的坐标参数极值,分别对所述每行字符的轨迹点的整体尺寸进行基于坐标参数的归一化。
示例性的,由于步骤S220已经得到字符组中的轨迹点的坐标参数,基于图10所示坐标系能够获取字符组的全部轨迹点中的坐标参数极值,例如,Y方向轨迹点坐标中的最小值和最大值,X方向轨迹点坐标中的最小值和最小值,从而能够得到用户手写在手机输入界面中的字符组的整体尺寸,即在输入区域中字符组的整体尺寸,如图10的矩形实线框所示。进一步的,在得到字符组的整体尺寸后将整体的字符组进行标准化处理,即基于坐标参数的归一化处理。
具体的,本发明实施例设置有预设的字符组标准尺寸,例如X方向和Y方向上的预设标准尺寸为N*10像素和10像素(10像素代表预设的单个字符标准尺寸为宽(X方向—行方向)*高(Y方向—列方向)为10*10像素,N标识行字符包含的字符数量),而根据前述坐标参数极值得到的字符组中某行字符整体尺寸为X方向3000像素、Y方向100像素,则可将该行字符的整体尺寸标准化为X方向300像素和Y方向10像素,实现整体尺寸的归一化,在该归一化过程中,需对全部轨迹点的全部坐标参数进行归一化,以确保书写轨迹的轨迹真实。在另一个具体示例中,本发明实施例不限制在X方向的预设标准尺寸,这样,用户能够根据自己的手写习惯确定字符组之间的字符横向间距,提高用户体验。
S232、对归一化后的字符组的轨迹点形成的每一连续轨迹进行重采样以使得每一连续轨迹的轨迹点密度等于设定密度值,从而实现字符组中的连续轨迹基于采样密度的标准化或者说统一化。
示例性的,如图12所示,步骤S232包括:
S2321、获取归一化后的字符组的轨迹点形成的每一连续轨迹包含的轨迹点数量。
本发明实施例中的连续轨迹定义为时间不间断的状态下形成在输入区的轨迹,在一个具体示例中,如图10所示,用户在手写字符组中的字符“八”的过程中,组成字符“八”的偏旁包括“丿”和由图10可知,用户在输入该字符时,两个偏旁之间并未连续,即字符“八”不是连续轨迹。进一步的,在书写过程中,即自用户第一次落笔到该次抬笔的过程中,轨迹“丿”可以在连续时间段中形成,因此轨迹“丿”为连续轨迹。同理,轨迹同样能够在用户连续的手写输入时间中得到,为连续轨迹。
在另一个具体示例中,如图10所示,用户在书写单字字符“九”的笔画的过程中,用户在该笔画的弯折处先形成顿笔后再形成弯钩,则此时该笔画由横“一”、“顿笔弯折”到斜钩从而完成整个的过程中,其在顿笔处的时间并不连续,因此,该状态下的用户书写的不是连续轨迹,而其书写过程中的横“一”以及斜钩分别为两个连续轨迹。
在另一个具体示例中,如图10所示,用户书写的“十”为连笔书写,用户在一次落笔到该次抬笔的过程中一次性完成了该字符的书写,并且弯折处没有顿笔,因此,本发明实施例的连续轨迹也可称为笔画,但不限于标准笔画,可以为连笔。更具体的,该字符是用户在时间上连续形成的,不存在轨迹点在同一输入区域停顿的情况,此时则为连续轨迹。因此,本发明实施例的连续轨迹为在时间上连续形成的笔画,每一连续轨迹能够表征用户书写字符的特点,能够提高手写识别方法的准确性。在一个具体示例中,本发明实施例还消除同一连续轨迹中位于相同坐标处的轨迹点,以提高轨迹点处理速度。
S2322、根据所述连续轨迹的长度及包含的轨迹点数量计算所述连续轨迹的轨迹点密度。
在该步骤中,本发明实施例利用轨迹点的坐标参数,得到连续轨迹的长度,本发明实施例的长度并非以连续轨迹的起点轨迹点和终点轨迹点的坐标参数得到的起始距离之和,也就是说,本发明实施例的连续轨迹的长度为连续时间段中的相邻轨迹点的距离之和。利用连续轨迹的长度以及该长度上轨迹点的数量则能够确定当前连续轨迹的轨迹点密度,从而能够根据轨迹点密度确定当前连续轨迹密度与标准化连续轨迹的密度之间的关系,进一步提高本发明实施例手写识别方法的识别准确率。
在一个具体示例中,如图10所示,用户手写的字符“九”中的横“一”以及斜钩分别为两个连续轨迹。则分别计算每一连续轨迹的轨迹点密度,例如,横“一”的连续轨迹长度为其轨迹点中的起始点到轨迹终点之间的整个连续轨迹的长度,包括了手写时的弧形长度,轨迹点密度即为连续轨迹长度除以轨迹点数量。
S2323、判断所述连续轨迹的轨迹点密度与设定密度值的关系:若所述连续轨迹的轨迹点密度大于所述设定密度值,则对所述连续轨迹进行下采样以使得所述连续轨迹的轨迹点密度等于所述设定密度值;若所述连续轨迹的轨迹点密度小于所述设定密度值,则对所述连续轨迹进行上采样以使得所述连续轨迹的轨迹点密度等于所述设定密度值。
本发明实施例利用前述步骤S2322确定的轨迹点密度与设定密度值进行判断,并将不符合判定原则的轨迹点密度对应的连续轨迹进行标准化处理,从而实现连读轨迹的标准化和归一化,该手写识别方法能够应用于任何具有触摸屏的设备中,消除了触摸显示设备执行手写识别方法的对设备采样性能的要求。
在一个具体示例中,以用户输入的字符组中的字符“九”为例,其包括连续轨迹:“丿”、“一”以及斜钩设定密度值为30。若连续轨迹“丿”的轨迹点密度值为30,轨迹点密度值等于设定密度值,则说明该连续轨迹的密度已经实现标准化,无需进行上采样或下采样处理。
若连续轨迹“一”的轨迹点密度值为15,小于该设定密度值30,说明当前根据采样点得到的轨迹点可能无法表征连续轨迹的全部特征,因此,本发明实施例进一步对连续轨迹进行上采样以使得所述连续轨迹“一”的轨迹点密度等于所述设定密度值,在一个具体示例中,上采样包括轨迹点插值处理,例如,需新增15个插值点以实现轨迹点密度满足设定密度值,可每两个轨迹点增加一个插值点,实现插值点的均匀分布,进一步实现提高识别准确率。
若连续轨迹的轨迹点密度值为50,则连续轨迹横的轨迹点密度值大于该设定密度值30,说明当前根据采样点得到的轨迹点已经能表征连续轨迹的全部特征,且当前的轨迹点已经处于冗余状态,对手写识别方法的识别速度产生影响,因此,本发明实施例进一步对连续轨迹进行下采样以使得所述连续轨迹的轨迹点密度等于所述设定密度值。在一个具体示例中,下采样包括删减轨迹点的方式,例如,需删除20个轨迹点以实现轨迹点密度值符合设定密度值的标准化要求。
S233、对连续轨迹重采样后的所述字符组的轨迹点进行整体角度校正,使得字符组中所有的字符处于基于坐标系的水平方向,即平行于图10的X方向。在一个具体示例中,可通过霍夫变换(Hough变换)对字符组中倾斜的字符进行角度校正,实现整体字符组中轨迹点的整体角度校正,能够进一步提高手写识别的准确率。
需要说明的是,与训练阶段类似的是,在识别阶段,预处理步骤S230中的关键步骤是重采样步骤S232,而归一化步骤S231和角度校正步骤S233分别为优选步骤。
S240、将预处理后的字符组的轨迹点输入已训练的手写识别模型,以识别得到用户手写输入的字符组。
待识别的预处理后的字符组的轨迹点输入至手写识别模型,利用手写识别模型则能够识别用户手写输入的字符组,本发明实施例的手写模型为基于双向长短期记忆网络的手写识别模型,其包括串联的多个特征提取模块和全连接模块。在一个具体示例中,如图10所示,手写识别模型得到的字符组能够显示在手机的虚线框表示的手写区上方的识别区中,以进行字符组的编辑。
需要说明的是,在步骤S214中,可以直接利用预处理后的多个可能存在一行字符也可能存在多行字符的字符组训练样本的轨迹点训练得到手写识别模型,这样,训练得到的手写识别模型可以学习到识别用户通过触摸屏手写输入包括一行或多行字符的字符组的能力,识别阶段直接将预处理后的字符组的轨迹点输入已训练的手写识别模型即可识别得到用户手写输入的字符组。
此外,在步骤S214中,也可以利用预处理后的多个字符组训练样本中的每行字符构成一个训练样本,即,以包括单行字符的字符组训练样本训练手写识别模型,这样,训练得到的手写识别模型学习到的是识别用户通过触摸屏手写输入包括一行字符的字符组(或者说单行字符的字符组,或者简称为行字符组)的能力。基于此,在识别阶段进行识别时,需要先判断(例如根据字符组中各字符的坐标参数判断)用户通过触摸屏手写输入的字符组是只包括一行字符还是包括多行字符:若只包括一行字符则直接预处理后输入训练得到的手写识别模型进行识别即可得到用户手写输入的字符组;若包含多行字符,则可通过行拆分(例如根据字符组中各字符的坐标参数进行行拆分)将多行字符拆分为多个单行字符,再分别将多个单行字符预处理后输入训练得到的手写识别模型进行识别,将识别结果进行拼接即可得到用户手写输入的字符组。
综上,本发明实施例的手写识别方法能够精确识别用户手写输入的字符组,具有操作便利性强、识别准确率高,以及适用于多种采样率的终端设备等优点,具有广泛的应用前景。该手写识别方法能够应用于任何具有触摸屏的设备中,解决了手写体识别方法对设备的依赖性,消除了触摸显示设备执行手写识别方法的对设备采样性能的要求,利用本发明实施例的手写识别方法能够兼容不同的终端设备且保证每一终端设备的手写识别的准确率。
本发明另一个实施例提供一种触摸显示设备,如图13所示,包括:
获取模块,用于获取用户通过触摸屏手写输入的字符组的书写轨迹中的采样点,确定字符组的轨迹点以及各轨迹点的相关参数,所述相关参数包括坐标参数和时间参数;
预处理模块,用于对所述字符组的轨迹点进行预处理,包括:对所述字符组的轨迹点形成的每一连续轨迹进行重采样以使得每一连续轨迹的轨迹点密度等于设定密度值;
识别模块,用于将预处理后的轨迹点输入已训练的手写识别模型,以识别得到用户手写输入的字符组。
本发明实施例的触摸显示设备,可以为电子纸、手机、平板电脑、电视机、显示器、笔记本电脑、数码相框、导航仪等等任何具有触摸显示功能的产品或部件,本实施例对此不做限定。
在一个具体示例中,以触摸显示设备为具有触摸显示功能的平板电脑为例,获取模块、预处理模块以及识别模块可以为安装于平板电脑中的第三方应用程序,或者,获取模块、预处理模块以及识别模块也可以实现为第三方应用程序中的插件或组件,或者,获取模块、预处理模块以及识别模块也可以是终端中的操作系统自带的系统工具。
本发明另一个实施例的一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述的手写识别方法。
本发明的另一个实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现:获取用户通过触摸屏手写输入的字符组的书写轨迹中的采样点,确定字符组的轨迹点,所述轨迹点的参数包括坐标参数和时间参数;对所述字符组的轨迹点进行预处理,包括:对所述字符组的轨迹点形成的每一连续轨迹进行重采样以使得每一连续轨迹的轨迹点密度等于设定密度值;将预处理后的字符组的轨迹点输入已训练的手写识别模型,以识别得到用户手写输入的字符组。
在实际应用中,所述计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
如图14所示,本发明的另一个实施例提供的一种计算机设备的结构示意图。图14显示的计算机设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图14所示,计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图14未显示,通常称为“硬盘驱动器”)。尽管图14中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该计算机设备12交互的设备通信,和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图14所示,网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白,尽管图14中未示出,可以结合计算机设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的一种手写识别方法。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定,对于本领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动,这里无法对所有的实施方式予以穷举,凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。
Claims (17)
1.一种手写识别方法,其特征在于,包括:
获取用户通过触摸屏手写输入的字符组的书写轨迹中的采样点,确定字符组的轨迹点,所述轨迹点的参数包括坐标参数和时间参数;
对所述字符组的轨迹点进行预处理,包括:对所述字符组的轨迹点形成的每一连续轨迹进行重采样以使得每一连续轨迹的轨迹点密度等于设定密度值;
将预处理后的字符组的轨迹点输入已训练的手写识别模型,以识别得到用户手写输入的字符组。
2.根据权利要求1所述的方法,其特征在于,该方法还包括:
获取多个字符组训练样本的书写轨迹中的采样点,确定字符组训练样本的轨迹点,所述轨迹点的参数包括坐标参数和时间参数;
对所述多个字符组训练样本的轨迹点分别进行预处理,包括:对所述字符组训练样本的轨迹点形成的每一连续轨迹进行重采样以使得每一连续轨迹的轨迹点密度等于设定密度值;
利用预处理后的多个字符组训练样本的轨迹点训练得到手写识别模型。
3.根据权利要求2所述的方法,其特征在于,该方法还包括:
获取多个字符组训练样本,包括:
建立字符库,其中,对于字符库中的每一个字符,分别获取多人通过触摸屏手写输入的字符;
对于语句词典中的多个语句,分别从多人通过触摸屏手写输入的字符中随机选取一字符组成每一语句,得到多个字符组训练样本。
4.根据权利要求1所述的方法,其特征在于,所述对所述字符组的轨迹点进行预处理还包括:在所述进行重采样前,对所述字符组中的每行字符的轨迹点的整体尺寸分别进行基于坐标参数的归一化。
5.根据权利要求4所述的方法,其特征在于,所述对所述字符组中的每行字符的轨迹点的整体尺寸分别进行基于坐标参数的归一化包括:基于每行字符的各轨迹点的坐标参数极值,分别对所述每行字符的轨迹点的整体尺寸进行基于坐标参数的归一化。
6.根据权利要求2所述的方法,其特征在于,所述对所述多个字符组训练样本的轨迹点分别进行预处理还包括:在所述进行重采样前,对所述字符组训练样本中的每行字符的轨迹点的整体尺寸分别进行基于坐标参数的归一化。
7.根据权利要求6所述的方法,其特征在于,对所述字符组训练样本中的每行字符的轨迹点的整体尺寸分别进行基于坐标参数的归一化包括:基于字符组训练样本中的每行字符的各轨迹点的坐标参数极值,分别对所述字符组训练样本中的每行字符的轨迹点的整体尺寸进行基于坐标参数的归一化。
8.根据权利要求1所述的方法,其特征在于,所述对所述字符组的轨迹点形成的每一连续轨迹进行重采样以使得每一连续轨迹的轨迹点密度等于设定密度值包括:
获取所述字符组的轨迹点形成的每一连续轨迹包含的轨迹点数量;
根据所述连续轨迹的长度及包含的轨迹点数量计算所述连续轨迹的轨迹点密度;
判断所述连续轨迹的轨迹点密度与设定密度值的关系:若所述连续轨迹的轨迹点密度大于所述设定密度值,则对所述连续轨迹进行下采样以使得所述连续轨迹的轨迹点密度等于所述设定密度值;若所述连续轨迹的轨迹点密度小于所述设定密度值,则对所述连续轨迹进行上采样以使得所述连续轨迹的轨迹点密度等于所述设定密度值。
9.根据权利要求2所述的方法,其特征在于,所述对所述字符组训练样本的轨迹点形成的每一连续轨迹进行重采样以使得每一连续轨迹的轨迹点密度等于设定密度值包括:
获取所述字符组训练样本的轨迹点形成的每一连续轨迹包含的轨迹点数量;
根据所述连续轨迹的长度及包含的轨迹点数量计算所述连续轨迹的轨迹点密度;
判断所述连续轨迹的轨迹点密度与设定密度值的关系:若所述连续轨迹的轨迹点密度大于所述设定密度值,则对所述连续轨迹进行下采样以使得所述连续轨迹的轨迹点密度等于所述设定密度值;若所述连续轨迹的轨迹点密度小于所述设定密度值,则对所述连续轨迹进行上采样以使得所述连续轨迹的轨迹点密度等于所述设定密度值。
10.根据权利要求1所述的方法,其特征在于,所述对所述字符组的轨迹点进行预处理还包括:
对连续轨迹重采样后的所述字符组的轨迹点进行整体角度校正。
11.根据权利要求2所述的方法,其特征在于,所述对所述多个字符组训练样本的轨迹点分别进行预处理还包括:
对连续轨迹重采样后的所述字符组训练样本的轨迹点进行整体角度校正。
12.根据权利要求1所述的方法,其特征在于,所述手写识别模型为基于双向长短期记忆网络的手写识别模型。
13.根据权利要求12所述的方法,其特征在于,所述基于双向长短期记忆网络的手写识别模型包括串联的特征提取模块和全连接模块,所述特征提取模块包括串联的多个特征提取单元模块,所述特征提取单元包括串联的双向长短期记忆网络和随机失活层。
14.根据权利要求13所述的方法,其特征在于,所述特征提取模块包括串联的四个特征提取单元。
15.一种触摸显示设备,其特征在于,包括:
获取模块,用于获取用户通过触摸屏手写输入的字符组的书写轨迹中的采样点,确定字符组的轨迹点以及各轨迹点的相关参数,所述相关参数包括坐标参数和时间参数;
预处理模块,用于对所述字符组的轨迹点进行预处理,包括:对所述字符组的轨迹点形成的每一连续轨迹进行重采样以使得每一连续轨迹的轨迹点密度等于设定密度值;
识别模块,用于将预处理后的轨迹点输入已训练的手写识别模型,以识别得到用户手写输入的字符组。
16.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-14中任一项所述的方法。
17.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-14中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110965551.1A CN113673432A (zh) | 2021-08-23 | 2021-08-23 | 手写识别方法、触摸显示设备、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110965551.1A CN113673432A (zh) | 2021-08-23 | 2021-08-23 | 手写识别方法、触摸显示设备、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113673432A true CN113673432A (zh) | 2021-11-19 |
Family
ID=78544821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110965551.1A Pending CN113673432A (zh) | 2021-08-23 | 2021-08-23 | 手写识别方法、触摸显示设备、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113673432A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113970996A (zh) * | 2021-12-06 | 2022-01-25 | 深圳市爱协生科技有限公司 | 一种字符手势识别方法和系统 |
CN115167750A (zh) * | 2022-07-26 | 2022-10-11 | 京东方科技集团股份有限公司 | 手写笔记处理方法、计算机设备及可读存储介质 |
CN115185443A (zh) * | 2022-06-24 | 2022-10-14 | 青岛海信移动通信技术股份有限公司 | 手写输入方法、装置、终端设备及计算机可读存储介质 |
CN117275013A (zh) * | 2023-08-25 | 2023-12-22 | 安徽以观文化科技有限公司 | 移动终端上汉字笔画书写识别方法 |
WO2024022068A1 (zh) * | 2022-07-29 | 2024-02-01 | 京东方科技集团股份有限公司 | 一种基于图形识别交互的方法及显示设备 |
-
2021
- 2021-08-23 CN CN202110965551.1A patent/CN113673432A/zh active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113970996A (zh) * | 2021-12-06 | 2022-01-25 | 深圳市爱协生科技有限公司 | 一种字符手势识别方法和系统 |
CN113970996B (zh) * | 2021-12-06 | 2023-09-12 | 深圳市爱协生科技股份有限公司 | 一种字符手势识别方法和系统 |
CN115185443A (zh) * | 2022-06-24 | 2022-10-14 | 青岛海信移动通信技术股份有限公司 | 手写输入方法、装置、终端设备及计算机可读存储介质 |
CN115167750A (zh) * | 2022-07-26 | 2022-10-11 | 京东方科技集团股份有限公司 | 手写笔记处理方法、计算机设备及可读存储介质 |
WO2024022068A1 (zh) * | 2022-07-29 | 2024-02-01 | 京东方科技集团股份有限公司 | 一种基于图形识别交互的方法及显示设备 |
CN117275013A (zh) * | 2023-08-25 | 2023-12-22 | 安徽以观文化科技有限公司 | 移动终端上汉字笔画书写识别方法 |
CN117275013B (zh) * | 2023-08-25 | 2024-05-14 | 安徽以观文化科技有限公司 | 移动终端上汉字笔画书写识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102449640B (zh) | 识别手写单词 | |
CN113673432A (zh) | 手写识别方法、触摸显示设备、计算机设备及存储介质 | |
EP3320482B1 (en) | System for recognizing multiple object input and method and product for same | |
RU2661750C1 (ru) | Распознавание символов с использованием искусственного интеллекта | |
KR102473543B1 (ko) | 디지털 잉크 상호작용을 위한 시스템 및 방법 | |
Biadsy et al. | Segmentation-free online arabic handwriting recognition | |
CN111507330B (zh) | 习题识别方法、装置、电子设备及存储介质 | |
Zhelezniakov et al. | Online handwritten mathematical expression recognition and applications: A survey | |
CN108369637B (zh) | 用于美化数字墨水的系统和方法 | |
US11837001B2 (en) | Stroke attribute matrices | |
CN115294581A (zh) | 错误字符的识别方法、装置、电子设备及存储介质 | |
Nguyen et al. | Preparation of an unconstrained vietnamese online handwriting database and recognition experiments by recurrent neural networks | |
Urala et al. | Recognition of open vocabulary, online handwritten pages in Tamil script | |
Jain | Unconstrained Arabic & Urdu text recognition using deep CNN-RNN hybrid networks | |
Rossignol et al. | Mode detection and incremental recognition | |
US20240078377A1 (en) | Completing typeset characters using handwritten strokes | |
WO2006090404A1 (en) | System, method, and apparatus for accomodating variability in chunking the sub-word units of online handwriting | |
CN100565553C (zh) | 用于亚洲语言的手写输入的方法和系统 | |
CN115826762A (zh) | 应用于空中手写的文本识别方法、装置、设备及存储介质 | |
WO2023170315A1 (en) | Merging text blocks | |
WO2024110354A1 (en) | Setting font size in an unconstrained canvas | |
CN116665230A (zh) | 多方向的手写文本识别方法、装置、设备及存储介质 | |
CN117315692A (zh) | 基于笔画信息的汉字拆分方法、装置、设备以及存储介质 | |
CN115063809A (zh) | 一种文本识别方法、装置、设备及存储介质 | |
CN115167750A (zh) | 手写笔记处理方法、计算机设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |