CN112016361A - 一种基于ocr技术的带笔的平板电脑文本识别系统 - Google Patents

一种基于ocr技术的带笔的平板电脑文本识别系统 Download PDF

Info

Publication number
CN112016361A
CN112016361A CN201910465232.7A CN201910465232A CN112016361A CN 112016361 A CN112016361 A CN 112016361A CN 201910465232 A CN201910465232 A CN 201910465232A CN 112016361 A CN112016361 A CN 112016361A
Authority
CN
China
Prior art keywords
text
pen
tablet
writing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910465232.7A
Other languages
English (en)
Inventor
刘军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Scope Co ltd
Original Assignee
Shenzhen Scope Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Scope Co ltd filed Critical Shenzhen Scope Co ltd
Priority to CN201910465232.7A priority Critical patent/CN112016361A/zh
Publication of CN112016361A publication Critical patent/CN112016361A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Character Discrimination (AREA)
  • Character Input (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提出一种基于OCR技术的带笔的平板电脑文本识别系统,包括平板电脑和与该平板电脑通过数据线相连的书写笔,该书写笔提供笔尖坐标的位置信息;还包括以下程序模块:处理中心、文本生成单元、定时截图单元、图像处理单元、数据库、OCR识别单元以及输出单元。能够在书写的过程中无痕地实现文本录入,语音播报识别得到的文本,大大提升用户体验。

Description

一种基于OCR技术的带笔的平板电脑文本识别系统
技术领域
本发明涉及字符识别,尤其涉及基于OCR技术的文本识别。
背景技术
目前的带笔的手写体输入装置主要分为点阵笔,在文本区域进行点阵铺码,通过书写过程中识别点阵码进行文本识别;另一种为超声波定位手写识别,通过手写面板前面的超声波发送装置不停的向笔发送超声波进行定位,抓取笔手写的文本进行识别;还有一种是电磁感应的方式进行文本识别,通过手写板中铺设坐标纸,通过电磁感应按压抓取手写体的坐标信息进行识别;此三种方式需要配备点阵码或者手写板,因此对书写的文本输入都及不方便,用户也不方便携带。
OCR技术是光学字符识别的缩写(Optical Character Recognition),是通过扫描等光学输入方式将各种票据、报刊、书籍、文稿及其它印刷品的文字转化为图像信息,再利用文字识别技术将图像信息转化为可以使用的计算机输入技术;目前很多翻译APP产品或者搜题软件都支持拍照翻译功能,其操作方式为:用户将手机或者带摄像头的平板电脑对着要识别的文本进行拍照,此过程虽然不需要文档手动输入计算机系统,但是在扫描过程中可能导致图像比度、照明度、歪斜等多个因素,使得系统处理该图像中的所有像素时,OCR引擎的性能可能会降级并且处理时间可能会增加。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述缺陷,提出一种基于OCR技术的带笔的平板电脑文本识别系统,能够在书写的过程中无痕地实现文本录入,语音播报识别得到的文本,大大提升用户体验。
本发明解决其技术问题所采用的技术方案是:提供一种基于OCR技术的带笔的平板电脑文本识别系统,包括平板电脑和与该平板电脑通过数据线相连的书写笔,该书写笔提供笔尖坐标的位置信息;还包括以下程序模块:
处理中心,用于根据该书写笔提供的笔尖坐标的位置信息,进行计算建模,实现位置轨迹转换成字迹的参数化生成;
文本生成单元,用于根据该处理中心提供的字迹的参数,进行格式化统一和文本存储;
定时截图单元,用于按照系统预设的时间间隔,对该文本生成单元产生的文本进行图片截取;
图像处理单元,用于对该定时截图单元提供的图片进行处理,以形成压缩二值化图像数据;
数据库,用于提供对用户的字迹进行匹配和识别用的字库模型,该字库模型通过用户的字迹不停地予以训练;
OCR识别单元,用于对该图像处理单元提供的图片,进行字符切分处理并转换为系统可编辑的字符流,并对识别结果字符流与该数据库提供的字库模型进行比对与匹配,输出相应的语意结果;以及
输出单元,用于对该OCR识别单元识别得到的文本,进行语音播报。
在一些实施例中,该输出单元包括语音转换器,用于实现文本到语音的转换。
在一些实施例中,该数据库包括用户个人的所有书写字迹的模型库、用户一定数量的书写数据库以及标准字库。
在一些实施例中,该模型库和该书写数据库保存在该平板电脑上,该标准字库保存在与该平板电脑通过网络连接的服务器上。
在一些实施例中,该模型库保存在该平板电脑上,该书写数据库和该标准字库保存在与该平板电脑通过网络连接的服务器上。
在一些实施例中,该图像处理单元对该定时截图单元提供的图片,进行滤波去噪、图像二值化及编码压缩处理。
在一些实施例中,该定时截图单元在平板电脑的界面的设定区域形成文本字迹。
在一些实施例中,该设定区域预设图片背景,没有任何冗余的字符。
在一些实施例中,该书写笔包括笔芯,笔筒,发光二极管,光学感应器,摄像头,微处理器和接口。
在一些实施例中,该发光二极管选用发射黄光的发光二极管,其聚焦点在于该笔芯作用于书写对象上的笔迹的两侧,为该光电感应器提供光源。
本发明的有益效果在于,通过处理中心、文本生成单元、定时截图单元、图像处理单元、数据库、OCR识别单元以及输出单元这些程序模块的巧妙配合,能够在书写的过程中无痕地实现文本录入,语音播报识别得到的文本,大大提升用户体验。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1示意出本发明的基于OCR技术的带笔的平板电脑文本识别系统的框架结构。
图2示意出本发明平板电脑文本识别系统的物理连接关系。
图3示意出本发明平板电脑文本识别系统的工作流程。
其中,附图标记说明如下:100、文本识别系统 10、平板电脑 11、处理中心 12、文本生成单元 13、定时截图单元 14、图像处理单元 15、数据库 16、OCR识别单元 17、输出单元 19、界面 191、设定区域 20、手写笔 21、笔芯 22、笔筒 23、发光二极管 24、光学感应器25、摄像头 26、微处理器 27、接口 30、数据线 40、书写对象。
具体实施方式
现结合附图,对本发明的较佳实施例作详细说明。
参见图1和图2,图1示意出本发明的基于OCR技术的带笔的平板电脑文本识别系统的框架结构。图2示意出本发明平板电脑文本识别系统的物理连接关系。本发明提出一种基于OCR技术的带笔的平板电脑文本识别系统100,其包括:平板电脑10和与平板电脑10通过数据线30相连的书写笔20。书写笔20在书写对象30上书写的同时,借助于书写笔20与平板电脑10的配合,可以在平板电脑10得到与书写相对应的识别后的文本。
平板电脑10配置有以下程序模块:处理中心11,文本生成单元12,定时截图单元13,图像处理单元14,数据库15,OCR识别单元16和输出单元17。
处理中心11,用于根据书写笔20提供的笔尖坐标的位置信息,进行计算建模,实现位置轨迹转换成字迹的参数化生成。
文本生成单元12,用于根据处理中心11提供的字迹的参数,进行格式化统一和文本存储。
定时截图单元13,用于按照系统预设的时间间隔,对上述文本生成单元12产生的文本进行图片截取。具体地,在平板电脑10的界面19的设定区域191形成文本字迹,该设定区域191预设图片背景,没有任何冗余的字符。
图像处理单元14,用于对定时截图单元13提供的图片,进行滤波去噪、图像二值化及编码压缩处理,以形成压缩二值化图像数据。
数据库15,用于提供对用户的字迹进行匹配和识别用的字库模型,字库模型通过用户的字迹不停地予以训练,能够不断提升用户的字迹的识别率。具体地,数据库15包括用户个人的所有书写字迹的模型库、用户一定数量的书写数据库以及标准字库。
数据库15可以灵活地配置在平板电脑10和通过网络与平板电脑10连接的服务器上。举例而言,在一些应用中,模型库和书写数据库保存在平板电脑10上,标准字库保存在服务器上;在一些应用中,模型库保存在平板电脑10上,书写数据库和标准字库保存在服务器上;在一些应用中,模型库、书写数据库以及标准字库均保存在平板电脑10上。
OCR识别单元16,用于对上述图像处理单元14提供的图片,进行字符切分处理并转换为系统可编辑的字符流,并对识别结果字符流与上述数据库15提供的字库模型进行比对与匹配,输出相应的语意结果(识别得到的文本)。
输出单元17,用于对OCR识别单元16识别得到的文本,进行语音播报。输出单元17借助于音响和液晶触摸屏等。输出单元17包括语音转换器,用于实现文本到语音的转换。
书写笔20包括:笔芯21,笔筒22,发光二极管23,光学感应器24,摄像头25,微处理器26和接口27。
笔芯21,用于在书写对象40上留下笔迹。举例而言,笔芯21选用现成的0.5毫米的中性笔笔芯。
笔筒22,用于容纳笔芯21和其他的诸如发光二极管23、光学感应器24、摄像头25、微处理器26和接口27之类的电子结构。
发光二极管23选用发射黄光的发光二极管,其聚焦点在于笔芯21作用于书写对象40上的笔迹的两侧,为光电感应器24提供光源。可以理解的是,发光二极管23提供的黄色光线,不但白天光线较强时,对书写的影响较小;并且晚上在灯光的作用下,对书写的影响也较小。
光学感应器24,用于检测书写笔书写过程中,笔尖(笔芯21的前端)的移动量,每书写一定距离都能准确定位和抓取参数,并将其轨迹参数最大化,单位是CPI (CharactersPer Inch,每英寸含字符数)。
摄像头25,用于以一定的时间间隔不断的对笔尖书写部分进行图像拍摄,产生一系列的图像。
微处理器26,用于对摄像头25拍摄的书写过程中产生的这些图像,进行数字化处理,并进行图像数字矩阵的分析。由于相邻的两幅图像总会存在大部分相同的特征,因此,通过不断地对比这些特征点的位置变化信息,可以准确计算出笔尖移动的方向和距离,其计算结果被转换为笔尖实时坐标的偏移量,以实现对笔迹的定位。
接口27,用于通过数据线30连接书写笔20和平板电脑10,以提供书写笔20采集的参数的数据传输,以及为书写笔20提供电源供应。值得一提的是,借助数据线30将平板电脑10与书写笔20连接到一起,也可以确保书写笔20不容易摔坏。
数据线30,用于将书写笔20的接口27与平板电脑10的处理中心11电连接到一起。举例而言,数据线30为PS/2线缆,或者,USB线缆。
参见图3,图3示意出本发明平板电脑文本识别系统的工作流程。这个工作流程大致包括以下步骤:
步骤S310、书写笔20在书写对象40上书写,笔内的光电感应器24通过发光二极管23和摄像头25,可以感知笔尖的移动轨迹。
步骤S320、笔中的摄像头25在移动轨迹上摄取一系列图像,微处理器26对这些图像进行分析处理;具体地,通过对这些图像上特征点位置的变化进行分析,来判断笔尖的移动方向和移动距离,从而获取笔迹的位置参数。
步骤S330、书写笔20将笔尖的位置参数通过数据线30,上传至平板电脑10的处理中心11,进行文本生成的轨迹参数计算,将轨迹生成字体。
步骤S340、定时截图单元13,根据系统预设定时截图,在文本生成一定的程度进行文本的格式截图,通过图像处理单元14,对图片的灰度、亮度、对比度等值作调整,输出图片的参数,使其更加符合OCR识别单元16的要求。
步骤S350、OCR识别单元16对图片,进行自动判断、拆分、识别和还原图片中的手写体;具体地,与数据库15提供的字库模型进行匹配识别。
步骤S360、输出单元17将识别成功的文本语意信息反馈至用户或者平板电脑10的界面19。
与现有技术相比,本发明的文本识别系统100的有益效果包括:
1、通过选用实时采集用户笔迹的光电感应方式的书写笔20,能够实时地将笔迹送至平板电脑10形成文本。
2、通过数据线30将书写笔20与平板电脑10连为一体,使得学生在平板电脑学习过程中不需要增加额外的装置。
3、通过在平板电脑10中配置处理中心11、文本生成单元12、定时截图单元13、图像处理单元14和OCR识别单元16等程序模块;并且,通过在平板电脑10和与平板电脑10网络连接的服务器上灵活配置数据库15,能够在平板电脑10上,对根据书写笔20提供的字迹的参数而生成的文本进行实时的图片生成,并进行OCR技术的识别。
综上,本发明的平板Flash学习系统100,能够使用户在使用书写笔20进行书写的过程中,无痕地实现文本录入;并且,能够有效地克服识别文本过程中,图像比度、照明度、歪斜等多个因素的影响。
应当理解的是,以上实施例仅用以说明本发明的技术方案,而非对其限制,对本领域技术人员来说,可以对上述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改和替换,都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于OCR技术的带笔的平板电脑文本识别系统,包括平板电脑和与该平板电脑通过数据线相连的书写笔,该书写笔提供笔尖坐标的位置信息;其特征在于,还包括以下程序模块:
处理中心,用于根据该书写笔提供的笔尖坐标的位置信息,进行计算建模,实现位置轨迹转换成字迹的参数化生成;
文本生成单元,用于根据该处理中心提供的字迹的参数,进行格式化统一和文本存储;
定时截图单元,用于按照系统预设的时间间隔,对该文本生成单元产生的文本进行图片截取;
图像处理单元,用于对该定时截图单元提供的图片进行处理,以形成压缩二值化图像数据;
数据库,用于提供对用户的字迹进行匹配和识别用的字库模型,该字库模型通过用户的字迹不停地予以训练;
OCR识别单元,用于对该图像处理单元提供的图片,进行字符切分处理并转换为系统可编辑的字符流,并对识别结果字符流与该数据库提供的字库模型进行比对与匹配,输出相应的语意结果;以及
输出单元,用于对该OCR识别单元识别得到的文本,进行语音播报。
2.根据权利要求1所述的平板电脑文本识别系统,其特征在于:该输出单元包括语音转换器,用于实现文本到语音的转换。
3.根据权利要求1所述的平板电脑文本识别系统,其特征在于:该数据库包括用户个人的所有书写字迹的模型库、用户一定数量的书写数据库以及标准字库。
4.根据权利要求3所述的平板电脑文本识别系统,其特征在于:该模型库和该书写数据库保存在该平板电脑上,该标准字库保存在与该平板电脑通过网络连接的服务器上。
5.根据权利要求3所述的平板电脑文本识别系统,其特征在于:该模型库保存在该平板电脑上,该书写数据库和该标准字库保存在与该平板电脑通过网络连接的服务器上。
6.根据权利要求1所述的平板电脑文本识别系统,其特征在于:该图像处理单元对该定时截图单元提供的图片,进行滤波去噪、图像二值化及编码压缩处理。
7.根据权利要求1所述的平板电脑文本识别系统,其特征在于:该定时截图单元在平板电脑的界面的设定区域形成文本字迹。
8.根据权利要求7所述的平板电脑文本识别系统,其特征在于:该设定区域预设图片背景,没有任何冗余的字符。
9.根据权利要求1至8任一项所述的平板电脑文本识别系统,其特征在于:该书写笔包括笔芯,笔筒,发光二极管,光学感应器,摄像头,微处理器和接口。
10.根据权利要求9所述的平板电脑文本识别系统,其特征在于:该发光二极管选用发射黄光的发光二极管,其聚焦点在于该笔芯作用于书写对象上的笔迹的两侧,为该光电感应器提供光源。
CN201910465232.7A 2019-05-30 2019-05-30 一种基于ocr技术的带笔的平板电脑文本识别系统 Pending CN112016361A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910465232.7A CN112016361A (zh) 2019-05-30 2019-05-30 一种基于ocr技术的带笔的平板电脑文本识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910465232.7A CN112016361A (zh) 2019-05-30 2019-05-30 一种基于ocr技术的带笔的平板电脑文本识别系统

Publications (1)

Publication Number Publication Date
CN112016361A true CN112016361A (zh) 2020-12-01

Family

ID=73502087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910465232.7A Pending CN112016361A (zh) 2019-05-30 2019-05-30 一种基于ocr技术的带笔的平板电脑文本识别系统

Country Status (1)

Country Link
CN (1) CN112016361A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011412A (zh) * 2021-04-15 2021-06-22 深圳市鹰硕云科技有限公司 基于笔顺及ocr文字识别方法、装置、设备及存储介质
CN115761781A (zh) * 2023-01-06 2023-03-07 江苏狄诺尼信息技术有限责任公司 一种用于工程电子档案笔记图像数据识别系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040085301A1 (en) * 2002-10-31 2004-05-06 Naohiro Furukawa Handwritten character input device, program and method
CN1932739A (zh) * 2005-09-14 2007-03-21 株式会社东芝 字符读取器、字符读取方法和字符读取程序
KR101801153B1 (ko) * 2016-12-30 2017-11-27 이경민 기계학습 기반의 문자 인식 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040085301A1 (en) * 2002-10-31 2004-05-06 Naohiro Furukawa Handwritten character input device, program and method
CN1932739A (zh) * 2005-09-14 2007-03-21 株式会社东芝 字符读取器、字符读取方法和字符读取程序
KR101801153B1 (ko) * 2016-12-30 2017-11-27 이경민 기계학습 기반의 문자 인식 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011412A (zh) * 2021-04-15 2021-06-22 深圳市鹰硕云科技有限公司 基于笔顺及ocr文字识别方法、装置、设备及存储介质
CN115761781A (zh) * 2023-01-06 2023-03-07 江苏狄诺尼信息技术有限责任公司 一种用于工程电子档案笔记图像数据识别系统

Similar Documents

Publication Publication Date Title
US10943107B2 (en) Simulating image capture
CN104157171A (zh) 一种点读系统及其方法
US9852349B2 (en) Scanning system, terminal device and scanning method
CN112016361A (zh) 一种基于ocr技术的带笔的平板电脑文本识别系统
US20110285634A1 (en) Portable data entry device
US10929684B2 (en) Intelligently generating digital note compilations from digital video
WO2021208617A1 (zh) 进出站识别方法、装置、终端及存储介质
CN110852204A (zh) 一种智能远程书法数字化学习评价信息处理系统及方法
CN111723653B (zh) 基于人工智能的绘本阅读方法及装置
CN111736731A (zh) 一种手写笔迹获取方法及系统
KR102440198B1 (ko) 시각 검색 방법, 장치, 컴퓨터 기기 및 저장 매체 (video search method and apparatus, computer device, and storage medium)
CN114021543B (zh) 基于表格结构解析的文档比对分析方法及系统
CN109147002B (zh) 一种图像处理方法和装置
CN103559512A (zh) 一种文字识别输出方法及系统
CN112528799B (zh) 一种教学直播方法、装置、计算机设备和存储介质
CN117095414A (zh) 一种基于点阵纸笔的手写识别系统及识别方法
CN107102781A (zh) 一种自标识触控笔及多点触控交互系统
CN115620314A (zh) 文本识别方法、答案文本的验证方法、装置、设备及介质
CN113011412A (zh) 基于笔顺及ocr文字识别方法、装置、设备及存储介质
CN110865723A (zh) 阅读笔及阅读方法
CN111556251A (zh) 电子书生成方法、设备及介质
CN104503581A (zh) 一种基于视频交互系统的科普方法
CN112016278A (zh) 一种基于人工智能的学习文本标注系统
CN110781900A (zh) 一种基于模式识别的汉字识别系统
KR101667910B1 (ko) 디지털 인공 필기 데이터를 생성하는 방법, 장치 및 컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination