CN110348306A - 一种手写输入方法及系统 - Google Patents

一种手写输入方法及系统 Download PDF

Info

Publication number
CN110348306A
CN110348306A CN201910492508.0A CN201910492508A CN110348306A CN 110348306 A CN110348306 A CN 110348306A CN 201910492508 A CN201910492508 A CN 201910492508A CN 110348306 A CN110348306 A CN 110348306A
Authority
CN
China
Prior art keywords
hand
written
input information
information
recognition result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910492508.0A
Other languages
English (en)
Inventor
曹若谋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xueyin Education Technology Co Ltd
Original Assignee
Shanghai Xueyin Education Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xueyin Education Technology Co Ltd filed Critical Shanghai Xueyin Education Technology Co Ltd
Priority to CN201910492508.0A priority Critical patent/CN110348306A/zh
Publication of CN110348306A publication Critical patent/CN110348306A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/30—Writer recognition; Reading and verifying signatures
    • G06V40/33—Writer recognition; Reading and verifying signatures based only on signature image, e.g. static signature recognition

Abstract

一种手写输入方法及系统，涉及手写输入技术领域，该手写输入方法包括：获取手写输入信息，所述输入信息包括手写输入所触发的连续坐标信息；根据手写输入信息绘制书写内容，形成内容图像；将所述内容图像分割成若干子图像，每个子图像中仅具有单个文字；利用识字模型识别出每个子图像中的单个文字；输出可编辑格式的识别结果。本发明先根据手写输入信息绘制书写图像，再将书写图像分割成若干子图像，最后对子图像进行逐一识别，有效解决现有技术中的手写输入技术对连续字符识别准确率较低的问题。

Description

一种手写输入方法及系统
技术领域
本发明涉及手写输入技术领域，具体地涉及一种手写输入方法及系统。
背景技术
现有的手写输入的相关技术主要包括以下三类：
触摸屏的手写输入；即现有智能终端上广泛使用的手写输入法，目前仅对书写单个汉字效果好，字符重叠且是在书写过程中识别，无法处理图片。
手写板的手写输入；手写板能够提高输入效率，适用更多的输入场景；但是，手写板的书写内容只能以图片方式输出，无法自动识别内容，不利于编辑。
OCR技术(Optical CharacterRecognition，光学字符识别)；OCR指电子设备(例如扫描仪或数码相机)检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程；即，针对印刷体字符，采用光学的方式将纸质文档中的文字转换成为黑白点阵的图像文件，并通过识别软件将图像中的文字转换成文本格式，供文字处理软件进一步编辑加工的技术。OCR技术的缺点在于仅能识别规范字符，主要用于识别打印字符。
因此，现有技术中缺少一种能够提高识别准确率的手写输入技术。
发明内容
本发明解决的技术问题是如何提高手写输入技术的识别准确率。
为解决上述技术问题，本发明实施例提供一种手写输入方法，包括：
获取手写输入信息，所述输入信息包括手写输入所触发的连续坐标信息；
根据手写输入信息绘制书写内容，形成内容图像；
将所述内容图像分割成若干子图像，每个子图像中仅具有单个文字；
利用识字模型识别出每个子图像中的单个文字；
输出可编辑格式的识别结果。
在上述技术方案中，进一步的，将所述内容图像分割成若干子图像，包括：
将内容图像做灰度化，生成灰度图；
通过MSER算法，在灰度图上生成候选字母区域；
候选字母区域经过NMS去除重复区域，最终得到子图像。
在上述技术方案中，进一步的，所述识字模型的训练方法包括：
获取单个文字的书写图片，进行标注，生成标注集；
用LeNet卷积神经网络来训练标注集，直至准确度达到预设值。
在上述技术方案中，进一步的，记录用户的对识别结果的编辑信息，利用所述编辑信息标注该识别结果对应的子图片；将子图片添加至标注集。
在上述技术方案中，进一步的，所述输入信息包括书写压力值以及状态信息，所述状态信息包括按下、抬起、悬浮移动。
在上述技术方案中，进一步的，在获取手写输入信息后，先过滤无效信息，再根据过滤之后的手写输入信息绘制书写内容。
此外，本发明还提供一种手写输入系统，包括：
手写输入装置，用于获取手写输入信息；
终端设备，所述终端设备安装有软件客户端；
服务器，所述服务器包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述方法的步骤；
所述终端设备与手写输入装置连接以接收手写输入信息，所述服务器与终端设备通信连接，对手写输入信息进行识别，将识别结果返回终端设备，所述终端设备通过软件客户端显示识别结果。
在上述技术方案中，进一步的，手写输入装置与终端设备以无线通信的方式连接。
在上述技术方案中，进一步的，所述手写输入装置为手写板。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
本发明实施例提供一种手写输入方法及系统，先根据手写输入信息绘制书写图像，再将书写图像分割成若干子图像，最后对子图像进行逐一识别，有效解决现有技术中的手写输入技术对连续字符识别准确率较低的问题。而且，识别结果以可编辑的格式输出，便于用户做进一步的修改，在一定程度上降低由识别错误引起的不良影响。
附图说明
图1是本发明实施例的一种手写输入方法的流程示意图。
图2是本发明实施例的一种内容图像的分割方法的示意图。
图3是本发明实施例的一种手写输入系统的结构示意图。
具体实施方式
本领域技术人员理解，如背景技术所言，现有技术中的各种手写输入技术均具有自身的缺陷，尤其是在识别率方面，对连续字符的识别准确率普遍较低。
本发明实施例提供一种手写输入方法，包括：获取手写输入信息，所述输入信息包括手写输入所触发的连续坐标信息；根据手写输入信息绘制书写内容，形成内容图像；将所述内容图像分割成若干子图像，每个子图像中仅具有单个文字；利用识字模型识别出每个子图像中的单个文字；输出可编辑格式的识别结果。
本发明实施例先根据手写输入信息绘制书写图像，再将书写图像分割成若干子图像，最后对子图像进行逐一识别，有效解决现有技术中的手写输入技术对连续字符识别准确率较低的问题。而且，识别结果以可编辑的格式输出，便于用户做进一步的修改，在一定程度上降低由识别错误引起的不良影响。
为使本申请的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本申请作进一步的详细说明，本申请的示意性实施方式及其说明仅用于解释本申请，并不作为对本申请的限定。
图1是本发明实施例的一种手写输入方法的流程示意图。
如图1所示，手写输入方法方法可以包括以下步骤：
步骤S101，获取手写输入信息。
在一些实施例中，所述输入信息包括手写输入所触发的连续坐标信息、书写压力值以及状态信息，所述状态信息包括按下、抬起、悬浮移动。
在一些实施例中，在获取手写输入信息后，需要过滤无效信息。无效信息可以通过预设规则判定，例如，当出现“X”状时，判定为无效信息；当出现大片无规则涂抹形状时，判定为无限信息。无效信息的判定规则也可以通过机器学习获取。
过滤掉无效信息后，执行下一步骤。
步骤S102，根据手写输入信息绘制书写内容，形成内容图像。
在一些实施例中，用户在手写板上书写，书写输入动作被手写板的一系列坐标记录，通过坐标信息即可复现用户在书手写板上书写图形，即内容图像。
步骤S103，将所述内容图像分割成若干子图像，每个子图像中仅具有单个文字。
图2是本发明实施例的一种内容图像的分割方法的示意图。
如图2所示，内容图像的分割方法包括：
将内容图像做灰度化，生成灰度图；
通过MSER(Maximally Stable Extremal Regions，最大稳定极值区域)算法，在灰度图上生成候选字母区域；
候选字母区域经过NMS(Non-Maximum Suppression，非极大值抑制)算法去除重复区域，最终得到子图像。
NMS算法，即抑制不是极大值的元素，可以理解为局部最大搜索。这个局部代表的是一个邻域，邻域有两个参数可变，一是邻域的维数，二是邻域的大小。NMS在计算机视觉领域有着非常重要的应用，如视频目标跟踪、数据挖掘、3D重建、目标识别以及纹理分析等。
步骤S104，利用识字模型识别出每个子图像中的单个文字。
在一些实施例中，识字模型通过以下方式建立：
获取单个文字的书写图片，对书写图片进行标注，生成标注集，标注集即样本数据集合；
用LeNet卷积神经网络来训练标注集，直至准确度达到99％。
步骤S105，输出可编辑格式的识别结果。
用户可对识别结果进行修改，在一定程度上降低由识别错误引起的不良影响，也可进行复制、粘贴等操作。
在一些实施例中，当用户对识别结果进行修改后，记录用户的对识别结果的编辑信息，利用所述编辑信息标注该识别结果对应的子图片；将子图片添加至标注集。该标注集可以是针对用户的私人标注集，通过私人标注集能够对识字模型进行个性化、精准化的训练，能够提高准确性。
图3是本发明实施例的一种手写输入系统的结构示意图。
如图3所示，本发明提供一种手写输入系统，包括：手写输入装置310、终端设备320以及服务器330。
手写输入装置310，用于获取手写输入信息。在一些实施例中，手写输入装置310为手写板或者触摸屏。
终端设备320，所述终端设备320安装有软件客户端321。在一些实施例中，终端设备320为智能手机、平板电脑、PC等。
服务器330，所述服务器330设有存储器331和处理器332，所述存储器331上存储有可在所述处理器332上运行的计算机指令，所述处理器332运行所述计算机指令时执行上述方法的步骤。
手写输入装置310、终端设备320、服务器330的连接关系如下：
所述终端设备320与手写输入装置310连接以接收手写输入信息，在一些实施例中，手写输入装置310通过蓝牙、WIFI等方式与终端设备320连接。在一些实施例中，手写输入装置310通过数据线与终端设备320连接。所述服务器330与终端设备320通信连接，对手写输入信息进行识别，将识别结果返回终端设备320，所述终端设备320通过软件客户端321显示识别结果。
以一具体实施例，说明上述手写输入系统的操作方法：
启动智能手机上的软件客户端321，与手写板进行蓝牙配对；
用户在手写板上进行手写输入，软件客户端321接收手写输入信息；
在手写输入完成后，在软件客户端321上点“完成”按钮；
软件客户端321将手写输入信息上传至服务器330；
服务器330的处理器332利用识字模型自动识别手写输入信息，具体识别方法如图1所示。
服务器330将识别结果返回至软件客户端321，软件客户端321显示识别结果。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (9)

1.一种手写输入方法，其特征在于，包括：
获取手写输入信息，所述输入信息包括手写输入所触发的连续坐标信息；
根据手写输入信息绘制书写内容，形成内容图像；
将所述内容图像分割成若干子图像，每个子图像中仅具有单个文字；
利用识字模型识别出每个子图像中的单个文字；
输出可编辑格式的识别结果。
2.根据权利要求1所述的手写输入方法，其特征在于，将所述内容图像分割成若干子图像，包括：
将内容图像做灰度化，生成灰度图；
通过MSER算法，在灰度图上生成候选字母区域；
候选字母区域经过NMS去除重复区域，最终得到子图像。
3.根据权利要求1或2所述的手写输入方法，其特征在于，所述识字模型的训练方法包括：
获取单个文字的书写图片，进行标注，形成标注集；
用LeNet卷积神经网络来训练标注集，直至准确度达到预设值。
4.根据权利要求3所述的手写输入方法，其特征在于，记录用户的对识别结果的编辑信息，利用所述编辑信息标注该识别结果对应的子图片；将子图片添加至标注集。
5.根据权利要求1所述的手写输入方法，其特征在于，所述输入信息包括书写压力值以及状态信息。
6.根据权利要求1所述的手写输入方法，其特征在于，在获取手写输入信息后，先过滤无效信息，再根据过滤之后的手写输入信息绘制书写内容。
7.一种手写输入系统，其特征在于，包括：
手写输入装置，用于获取手写输入信息；
终端设备，所述终端设备安装有软件客户端；
服务器，所述服务器包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行权利要求1至5任一项所述的方法的步骤；
所述终端设备与手写输入装置连接以接收手写输入信息，所述服务器与终端设备通信连接，对手写输入信息进行识别，将识别结果返回终端设备，所述终端设备通过软件客户端显示识别结果。
8.根据权利要求7所述的手写输入系统，其特征在于，手写输入装置与终端设备以无线通信的方式连接。
9.根据权利要求7或8所述的手写输入系统，其特征在于，所述手写输入装置为手写板。
CN201910492508.0A 2019-06-06 2019-06-06 一种手写输入方法及系统 Pending CN110348306A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910492508.0A CN110348306A (zh) 2019-06-06 2019-06-06 一种手写输入方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910492508.0A CN110348306A (zh) 2019-06-06 2019-06-06 一种手写输入方法及系统

Publications (1)

Publication Number Publication Date
CN110348306A true CN110348306A (zh) 2019-10-18

Family

ID=68181639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910492508.0A Pending CN110348306A (zh) 2019-06-06 2019-06-06 一种手写输入方法及系统

Country Status (1)

Country Link
CN (1) CN110348306A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5583543A (en) * 1992-11-05 1996-12-10 Sharp Kabushiki Kaisha Pen input processing apparatus
CN1501273A (zh) * 2002-11-12 2004-06-02 联想(北京)有限公司 一种将手写笔记转换为文字文本的方法及其移动设备
CN104063176A (zh) * 2014-06-25 2014-09-24 哈尔滨工业大学深圳研究生院 手写序列可编辑的连续手写输入方法与系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5583543A (en) * 1992-11-05 1996-12-10 Sharp Kabushiki Kaisha Pen input processing apparatus
CN1501273A (zh) * 2002-11-12 2004-06-02 联想(北京)有限公司 一种将手写笔记转换为文字文本的方法及其移动设备
CN104063176A (zh) * 2014-06-25 2014-09-24 哈尔滨工业大学深圳研究生院 手写序列可编辑的连续手写输入方法与系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CLOUDOX_: "MSER+NMS检测图像中文本区域", 《HTTPS://WWW.JIANSHU.COM/P/B5AF24E2F9FF》 *
南通大学教务处主编: "《学海图南 南通大学优秀毕业设计（论文）集 2015届》", 30 April 2016 *
张振霞等: "《计算机多媒体技术应用研究》", 31 May 2017 *
许楠等: "《物联网工程设计与实施》", 31 March 2019 *

Similar Documents

Publication Publication Date Title
US10698560B2 (en) Organizing digital notes on a user interface
US10013624B2 (en) Text entity recognition
KR101033451B1 (ko) 비디오-기반의 수기 입력 방법 및 장치
US11625871B2 (en) System and method for capturing and interpreting images into triple diagrams
US9292186B2 (en) Note capture and recognition with manual assist
US9262679B2 (en) System and method for identification and separation of form and feature elements from handwritten and other user supplied elements
US20110222776A1 (en) Form template definition method and form template definition apparatus
CN102073870A (zh) 一种触摸屏汉字笔迹识别方法
CN111399638B (zh) 一种盲用电脑及适配于盲用电脑的智能手机辅助控制方法
CN105260751A (zh) 一种文字识别方法及其系统
CN112668541A (zh) 一种基于点阵笔的智能听写系统及其方法
CA3185810A1 (en) Systems and methods for augmented or mixed reality writing
CN105027145A (zh) 可标记表面的自动分类和颜色增强
CN115937887A (zh) 文档结构化信息的提取方法及装置、电子设备、存储介质
CN104951749A (zh) 图像内容识别装置和方法
JP2017120503A (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
CN117095414A (zh) 一种基于点阵纸笔的手写识别系统及识别方法
CN110348306A (zh) 一种手写输入方法及系统
CN111191647A (zh) 一种基于图像处理的标准公式识别方法
Nakai et al. A method of annotation extraction from paper documents using alignment based on local arrangements of feature points
CN113011412A (zh) 基于笔顺及ocr文字识别方法、装置、设备及存储介质
CN111556251A (zh) 电子书生成方法、设备及介质
Chakraborty et al. Frame selection for OCR from video stream of book flipping
US20240160299A1 (en) An electronic input writing device for digital creation and a method for operating the same
CN112668434A (zh) 一种智能笔书写数据采集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191018

WD01 Invention patent application deemed withdrawn after publication