CN114120769A - 盲文阅读方法、装置、存储介质及电子装置 - Google Patents
盲文阅读方法、装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN114120769A CN114120769A CN202111434663.0A CN202111434663A CN114120769A CN 114120769 A CN114120769 A CN 114120769A CN 202111434663 A CN202111434663 A CN 202111434663A CN 114120769 A CN114120769 A CN 114120769A
- Authority
- CN
- China
- Prior art keywords
- braille
- reading
- voice
- broadcasting
- punctuation marks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 239000011159 matrix material Substances 0.000 claims abstract description 71
- 238000012015 optical character recognition Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 18
- 238000013519 translation Methods 0.000 claims description 14
- 230000015572 biosynthetic process Effects 0.000 claims description 13
- 238000003786 synthesis reaction Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/001—Teaching or communicating with blind persons
- G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Character Input (AREA)
- Character Discrimination (AREA)
Abstract
本发明公开了一种盲文阅读方法、装置、存储介质及电子装置。其中，该盲文阅读方法包括：获取放置在盲文书籍放置板上盲文书籍的盲文图像，其中，盲文图像对应盲文书籍中的一页盲文；提取盲文图像的凸点和空白信息，形成二进制的盲文凸点矩阵，其中，盲文凸点矩阵中1表示凸点，0表示空白信息；将盲文凸点矩阵翻译成拼音和标点符号，并根据拼音和标点符号翻译成汉字文本和标点符号，形成阅读文本；响应语音播报指令，播报阅读文本，即将盲文转化为语音，辅助盲人进行阅读，提升盲文阅读的速度和效率。进而解决了现有技术中，盲文阅读效率低的技术问题。
Description
技术领域
本发明涉及盲文阅读相关领域，具体而言，涉及一种盲文阅读方法、装置、存储介质及电子装置。
背景技术
盲文也称作点字、凸字，是专为盲人设计、靠触觉感知的文字。盲文书籍由盲文打印机在特种纸张上打印出来，装订成册，盲人在阅读时，通过手逐个盲文进行触摸，进行拼读，形成文字，再形成完整的信息。盲文书籍是盲人学习盲文，了解信息的重要媒介。
根据统计，盲文阅读速度通常在120-200字/分钟，且与阅读者盲文能力极大相关，初学者很难达到“阅读理解”的速度。而正常普通人的阅读效率通常不低于500字/分钟，加之视觉的敏感性和视野的完整性，可以保证在快速阅读和粗略阅读的时候，大脑中可以形成完整的信息，即所谓的一目十行，过目不忘等等，这是盲文阅读所不具备的。但是如果片面的提高触摸速度，会增加盲文阅读的错误率，同时，为了达到精细阅读的目的，有时需要反复对一段盲文进行触摸，或进行停留思考，片面的提高速度，获取的信息不完整，反而降低了效率。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种盲文阅读方法、装置、存储介质及电子装置，以至少解决现有技术中，盲文阅读效率低的技术问题。
根据本发明实施例的一个方面，提供了一种盲文阅读方法，包括：获取放置在盲文书籍放置板上盲文书籍的盲文图像，其中，所述盲文图像对应所述盲文书籍中的一页盲文；提取所述盲文图像的凸点和空白信息，形成二进制的盲文凸点矩阵，其中，所述盲文凸点矩阵中1表示凸点，0表示空白信息；将所述盲文凸点矩阵翻译成拼音和标点符号，并根据所述拼音和所述标点符号翻译成汉字文本和标点符号，形成阅读文本；响应语音播报指令，播报所述阅读文本。
可选的，所述提取所述盲文图像的凸点和空白信息之前，所述方法还包括：对所述盲文图像进行预处理，得到处理后的盲文图像，其中，所述预处理包括以下之一：降噪处理、滤波处理、旋转处理。
可选的，所述获取放置在盲文书籍放置板上的盲文图像，包括：接收拍摄指令，其中，所述拍摄指令用于拍摄所述盲文图像；响应所述拍摄指令，通过摄像装置拍摄放置在所述盲文书籍放置板上的盲文书籍，得到所述盲文图像。
可选的，所述提取所述盲文图像的凸点和空白信息，包括：通过光学字符识别OCR技术提取所述盲文图像中的凸点和空编信息。
可选的，所述将所述盲文凸点矩阵翻译成拼音和标点符号，并根据所述拼音和所述标点符号翻译成汉字文本和标点符号，形成阅读文本之后，所述方法还包括：发出提示信息，其中，所述提示信息用于指示所述一页盲文已完成阅读文本。
可选的，所述响应语音播报指令，播报所述阅读文本，包括：通过TTS语音合成模块读取所述阅读文本，并按照预设语速播报。
可选的，所述方法还包括：在播报所述阅读文本的过程中，接收播报控制指令，其中，所述控制指令包括以下之一：暂定指令、重复上一字指令、重复下一字指令、重复上一句指令、重复下一句指令、重复上一段指令、重复下一段指令、播报语速减慢指令、播报语速加快指令；响应所述控制指令，执行所述控制指令操作。
可选的，所述响应语音播报指令，播报所述阅读文本，包括：接收语音控制指令，其中，所述语音播报指令包括所述语音控制指令；根据所述语音控制指令，播报所述阅读文本。
根据本发明实施例的另一方面，还提供了一种盲文阅读装置，包括：获取单元，用于获取放置在盲文书籍放置板上盲文书籍的盲文图像，其中，所述盲文图像对应所述盲文书籍中的一页盲文；提取单元，用于提取所述盲文图像的凸点和空白信息，形成二进制的盲文凸点矩阵，其中，所述盲文凸点矩阵中1表示凸点，0表示空白信息；翻译单元，用于将所述盲文凸点矩阵翻译成拼音和标点符号，并根据所述拼音和所述标点符号翻译成汉字文本和标点符号，形成阅读文本；播报单元，用于响应语音播报指令，播报所述阅读文本。
根据本发明实施例的另一方面，还提供了一种盲文阅读设备，包括：书籍放置板，用于放置所述盲文书籍；摄像头，用于拍摄所述盲文书籍每页的内容，得到所述盲文图像；处理器，用于提取所述盲文图像的凸点和空白信息，形成二进制的盲文凸点矩阵，其中，所述盲文凸点矩阵中1表示凸点，0表示空白信息；将所述盲文凸点矩阵翻译成拼音和标点符号，并根据所述拼音和所述标点符号翻译成汉字文本和标点符号，形成阅读文本；响应语音播报指令，播报所述阅读文本。
根据本发明实施例的另一方面，还提供了一种盲文阅读系统，包括：摄像模块，用于控制摄像头拍摄盲文书籍页面的内容，得到盲文图像；OCR模块，用于提取所述盲文图像的凸点和空白信息，形成二进制的盲文凸点矩阵，其中，所述盲文凸点矩阵中1表示凸点，0表示空白信息；盲文翻译模块，用于将所述盲文凸点矩阵翻译成拼音和标点符号，并根据所述拼音和所述标点符号翻译成汉字文本和标点符号，形成阅读文本；TTS语音合成模块，用于响应语音播报指令，播报所述阅读文本。
可选的，所述系统还包括：语音采集模块，用于采集用户的声音；语音识别模块，用于识别所述声音，转化为语音控制命令，其中，所述语音播报指令包括所述语音控制指令。
根据本申请实施例的第一个方面，提供了一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述盲文阅读方法。
根据本申请实施例的第一个方面，提供了一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述盲文阅读方法。
在本发明实施例中，获取放置在盲文书籍放置板上盲文书籍的盲文图像，其中，盲文图像对应盲文书籍中的一页盲文；提取盲文图像的凸点和空白信息，形成二进制的盲文凸点矩阵，其中，盲文凸点矩阵中1表示凸点，0表示空白信息；将盲文凸点矩阵翻译成拼音和标点符号，并根据拼音和标点符号翻译成汉字文本和标点符号，形成阅读文本；响应语音播报指令，播报阅读文本，即将盲文转化为语音，辅助盲人进行阅读，提升盲文阅读的速度和效率。进而解决了现有技术中，盲文阅读效率低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的盲文阅读方法的移动终端的硬件结构框图；
图2是根据本发明实施例的一种可选的盲文阅读方法的流程图；
图3是根据本发明实施例的一种可选的盲文阅读装置的顶视图；
图4是根据本发明实施例的一种可选的盲文阅读装置的右侧视图；
图5是根据本发明实施例的一种可选的二进制矩阵数据示意图；
图6是根据本发明实施例的一种可选的盲文阅读装置图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一序列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了更好的理解本申请，现对部分名称说明如下：
TTS是Text To Speech的缩写，即“从文本到语音”，是人机对话的一部分，让机器能够说话。
OCR(Optical Character Recognition，光学字符识别)是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程；即，针对印刷体字符，采用光学的方式将纸质文档中的文字转换成为黑白点阵的图像文件，并通过识别软件将图像中的文字转换成文本格式，供文字处理软件进一步编辑加工。
本申请实施例所提供的盲文阅读方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种盲文阅读方法的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的盲文阅读方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中还提供了一种盲文阅读方法，图2是根据本发明实施例的盲文阅读方法的流程图，如图2所示，该盲文阅读方法流程包括如下步骤：
步骤S202，获取放置在盲文书籍放置板上盲文书籍的盲文图像，其中，盲文图像对应盲文书籍中的一页盲文。
步骤S204，提取盲文图像的凸点和空白信息，形成二进制的盲文凸点矩阵，其中，盲文凸点矩阵中1表示凸点，0表示空白信息。
步骤S206，将盲文凸点矩阵翻译成拼音和标点符号，并根据拼音和标点符号翻译成汉字文本和标点符号，形成阅读文本。
步骤S208，响应语音播报指令，播报阅读文本。
在本实施例中，上述盲文阅读方法可以提高盲文阅读盲文的速度。上述智能设备可以包括但不限于具有语音采集装置、手势感知传感器，如智能BIM显示屏。
其中，上述盲文阅读方法的执行主体可以包括但不限于由智能设备、服务器、终端设备等。
在本实施例中，实现上述盲文阅读方法的硬件包括书籍放置板、摄像头、控制器三大部分组成，书籍放置板集成麦克风、喇叭。如图3所示，盲文阅读装置的顶视图，如图4所示，盲文阅读装置的右侧视图。
其中，书籍放置板，用于放置盲文书籍，在放置板右上区域有显著可触摸标记的定位角，因为盲文书籍是单页单面打印，放置盲文书籍的时候，通过右上定位角，可以有效的保证书籍放置的位置和角度，保证摄像头拍照的质量，进一步保证OCR识别准确率。麦克风用于采集语音数据，进行语音操控，喇叭用于播报书籍内容和系统提示。
摄像头，用于拍摄盲文书籍每页的内容，拍照后，进行后续的OCR识别。
控制器，包括上下左右方向键、拍照键、播报/暂停键、语音播报调速旋钮。键播报前一句、键播报后一句，键播报前一个字，键播报后一个字。播报/暂停键，按下播报再次按下暂停。拍照键用于控制摄像头拍照，进行OCR识别和盲文翻译，翻译完成并存储后，会给出提示。语音播报调速旋钮，用于调节语音播报的速度，用户觉得书籍内容播报过快，可以逆时针调节降低速度，反之可以顺时针调节加快速度。
通过本申请提供的实施例，获取放置在盲文书籍放置板上盲文书籍的盲文图像，其中，盲文图像对应盲文书籍中的一页盲文；提取盲文图像的凸点和空白信息，形成二进制的盲文凸点矩阵，其中，盲文凸点矩阵中1表示凸点，0表示空白信息；将盲文凸点矩阵翻译成拼音和标点符号，并根据拼音和标点符号翻译成汉字文本和标点符号，形成阅读文本；响应语音播报指令，播报阅读文本，即将盲文转化为语音，辅助盲人进行阅读，提升盲文阅读的速度和效率。进而解决了现有技术中，盲文阅读效率低的技术问题。
可选的，提取盲文图像的凸点和空白信息之前，上述方法还可以包括：对盲文图像进行预处理，得到处理后的盲文图像，其中，预处理包括以下之一：降噪处理、滤波处理、旋转处理。
可选的，获取放置在盲文书籍放置板上的盲文图像，可以包括：接收拍摄指令，其中，拍摄指令用于拍摄盲文图像；响应拍摄指令，通过摄像装置拍摄放置在盲文书籍放置板上的盲文书籍，得到盲文图像。
可选的，提取盲文图像的凸点和空白信息，可以包括：通过光学字符识别OCR技术提取盲文图像中的凸点和空编信息。
可选的，将盲文凸点矩阵翻译成拼音和标点符号，并根据拼音和标点符号翻译成汉字文本和标点符号，形成阅读文本之后，上述方法还可以包括：发出提示信息，其中，提示信息用于指示一页盲文已完成阅读文本。
可选的，响应语音播报指令，播报阅读文本，可以包括：通过TTS语音合成模块读取阅读文本，并按照预设语速播报。
可选的，上述方法还可以包括：在播报阅读文本的过程中，接收播报控制指令，其中，控制指令包括以下之一：暂定指令、重复上一字指令、重复下一字指令、重复上一句指令、重复下一句指令、重复上一段指令、重复下一段指令、播报语速减慢指令、播报语速加快指令；响应控制指令，执行控制指令操作。
可选的，响应语音播报指令，播报阅读文本，可以包括：接收语音控制指令，其中，语音播报指令包括语音控制指令；根据语音控制指令，播报阅读文本。
作为一种可选的实施例，本申请还提供了一种盲文书籍智能辅助阅读的方法。通过图3和图4所示的装置实现盲文书籍智能辅助阅读的方法具体过程如下。
1，盲人用户将盲文书籍放置在放置板上，通过右上定位角进行定位，按下控制器的拍照键进行拍摄。
2，完整一页的盲文拍摄成图像后，对图像进行降噪、滤波、旋转等处理，通过OCR模块将图像中的凸点和空白信息提取出来，形成盲文凸点矩阵数据，即用1表示凸点，0表示空白的二进制矩阵数据。如图5所示，二进制矩阵数据示意图。
3，将二进制矩阵数据，通过盲文翻译模块翻译成拼音和标点符号，进一步翻译成汉字文本和标点符号，最终形成句子和段落，存储到存储器中。
4，通过TTS语音合成播报“该页扫描完毕”，提示用户盲文的扫描完成，可以进行辅助阅读。
5，用户按下播报键，TTS语音合成模块读取存储器中的文本，进行播报，TTS播报的速度与普通正常讲话的语速相同，为150-200字/分钟，完美切合盲文阅读速度。此时，用户可以边听着盲文的语音播报，边触摸盲文来进行辅助阅读。TTS语音合成的速度可以通过语音播报调速旋钮进行调整，以适应不同水平的盲文阅读者。
6，当用户需要停下来进行思考，或者对某个盲文进行确认，可以按下暂停键。
7，用户需要重复阅读上一句、下一句，或者对某个盲文进行重复的收听，可以按下控制键。来实现精细化阅读。
8，用户可以口述“拍照”、“播放”、“暂停”、“上一句”、“下一句”、“上一个字”、“下一个字”、“快一点”、“慢一点”，来实现控制器上按键的同样功能。
通过本申请提供的实施例，通过OCR识别、盲文翻译、TTS语音播报技术，将盲文转化为语音，辅助盲人进行阅读，提升盲文阅读的速度和效率。通过语音操控或者按键操控，实现精细化阅读，加深阅读质量和对内容的理解。同时，通过正确的盲文发音，帮助盲人对错误进行纠正，实现自学盲文，提高盲文学习质量。
作为一种可选的实施例，本申请还提供了一种盲文书籍智能辅助阅读的系统。该系统包括摄像模块、OCR模块、盲文翻译模块、TTS语音合成模块、语音采集模块、语音识别模块、操控模块。具体的实现过程如下。
摄像模块，控制摄像头拍摄盲文书籍页面的内容，形成图像，对图像进行降噪、滤波、旋转等处理。
OCR模块，将处理后的图像转化为凸点和空白的二进制矩阵数据。
盲文翻译模块，将二进制矩阵数据，翻译成拼音和标点符号，进一步翻译成汉字文本和标点符号，最终形成句子和段落，存储到存储器中。
TTS语音合成模块，配合控制器逻辑，实现前一句、后一句、前一个字、后一个字，以及整页文字的播报。同时，对系统的提示进行播报。
语音采集模块、语音识别模块，对盲人的语音进行采集并识别，转化为语音控制命令，用来实现同控制器一样的操作，拍照、播放、暂停、上一句、下一句、上一个字、下一个字、降低播报速度、提高播报速度。
根据本发明实施例的另一方面，还提供了一种盲文阅读设备，具体包括：
书籍放置板，用于放置盲文书籍。
摄像头，用于拍摄盲文书籍每页的内容，得到盲文图像。
处理器，用于提取盲文图像的凸点和空白信息，形成二进制的盲文凸点矩阵，其中，盲文凸点矩阵中1表示凸点，0表示空白信息；将盲文凸点矩阵翻译成拼音和标点符号，并根据拼音和标点符号翻译成汉字文本和标点符号，形成阅读文本；响应语音播报指令，播报阅读文本。
通过本申请提供的实施例，书籍放置板放置盲文书籍；摄像头拍摄盲文书籍每页的内容，得到盲文图像；处理器提取盲文图像的凸点和空白信息，形成二进制的盲文凸点矩阵，其中，盲文凸点矩阵中1表示凸点，0表示空白信息；将盲文凸点矩阵翻译成拼音和标点符号，并根据拼音和标点符号翻译成汉字文本和标点符号，形成阅读文本；响应语音播报指令，播报阅读文本，即将盲文转化为语音，辅助盲人进行阅读，提升盲文阅读的速度和效率。进而解决了现有技术中，盲文阅读效率低的技术问题。
根据本发明实施例的另一方面，还提供了一种盲文阅读系统，具体包括：
摄像模块，用于控制摄像头拍摄盲文书籍页面的内容，得到盲文图像。
OCR模块，用于提取盲文图像的凸点和空白信息，形成二进制的盲文凸点矩阵，其中，盲文凸点矩阵中1表示凸点，0表示空白信息。
盲文翻译模块，用于将盲文凸点矩阵翻译成拼音和标点符号，并根据拼音和标点符号翻译成汉字文本和标点符号，形成阅读文本；TTS语音合成模块，用于响应语音播报指令，播报阅读文本。
通过本申请提供的实施例，摄像模块控制摄像头拍摄盲文书籍页面的内容，得到盲文图像；OCR模块提取盲文图像的凸点和空白信息，形成二进制的盲文凸点矩阵，其中，盲文凸点矩阵中1表示凸点，0表示空白信息；盲文翻译模块将盲文凸点矩阵翻译成拼音和标点符号，并根据拼音和标点符号翻译成汉字文本和标点符号，形成阅读文本；TTS语音合成模块响应语音播报指令，播报阅读文本。即将盲文转化为语音，辅助盲人进行阅读，提升盲文阅读的速度和效率。进而解决了现有技术中，盲文阅读效率低的技术问题。
可选的，上述系统还可以包括：语音采集模块，用于采集用户的声音；语音识别模块，用于识别声音，转化为语音控制命令，其中，语音播报指令包括语音控制指令。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种盲文阅读装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图6是根据本发明实施例的盲文阅读装置的结构框图，如图6所示，该盲文阅读装置包括：
获取单元61，用于获取放置在盲文书籍放置板上盲文书籍的盲文图像，其中，盲文图像对应盲文书籍中的一页盲文。
提取单元63，用于提取盲文图像的凸点和空白信息，形成二进制的盲文凸点矩阵，其中，盲文凸点矩阵中1表示凸点，0表示空白信息。
翻译单元65，用于将盲文凸点矩阵翻译成拼音和标点符号，并根据拼音和标点符号翻译成汉字文本和标点符号，形成阅读文本。
播报单元67，用于响应语音播报指令，播报阅读文本。
通过本申请提供的实施例，获取单元61获取放置在盲文书籍放置板上盲文书籍的盲文图像，其中，盲文图像对应盲文书籍中的一页盲文；提取单元63提取盲文图像的凸点和空白信息，形成二进制的盲文凸点矩阵，其中，盲文凸点矩阵中1表示凸点，0表示空白信息；翻译单元65将盲文凸点矩阵翻译成拼音和标点符号，并根据拼音和标点符号翻译成汉字文本和标点符号，形成阅读文本；播报单元67响应语音播报指令，播报阅读文本。，即将盲文转化为语音，辅助盲人进行阅读，提升盲文阅读的速度和效率。进而解决了现有技术中，盲文阅读效率低的技术问题。
可选的，上述装置还可以包括：处理单元，用于提取盲文图像的凸点和空白信息之前，对盲文图像进行预处理，得到处理后的盲文图像，其中，预处理包括以下之一：降噪处理、滤波处理、旋转处理。
可选的，上述获取单元61，可以包括：第一接收模块，用于接收拍摄指令，其中，拍摄指令用于拍摄盲文图像；拍摄模块，用于响应拍摄指令，通过摄像装置拍摄放置在盲文书籍放置板上的盲文书籍，得到盲文图像。
可选的，上述提取单元63，可以包括：提取模块，用于通过光学字符识别OCR技术提取盲文图像中的凸点和空编信息。
可选的，上述装置还可以包括：提醒单元，用于将盲文凸点矩阵翻译成拼音和标点符号，并根据拼音和标点符号翻译成汉字文本和标点符号，形成阅读文本之后，发出提示信息，其中，提示信息用于指示一页盲文已完成阅读文本。
可选的，上述播报单元67，可以包括：第一播报模块，用于通过TTS语音合成模块读取阅读文本，并按照预设语速播报。
可选的，上述装置还可以包括：第二接收模块，用于在播报阅读文本的过程中，接收播报控制指令，其中，控制指令包括以下之一：暂定指令、重复上一字指令、重复下一字指令、重复上一句指令、重复下一句指令、重复上一段指令、重复下一段指令、播报语速减慢指令、播报语速加快指令；执行模块，用于响应控制指令，执行控制指令操作。
可选的，上述播报单元67，可以包括：第三接收模块，用于接收语音控制指令，其中，语音播报指令包括语音控制指令；第二播报模块，用于根据语音控制指令，播报阅读文本。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取放置在盲文书籍放置板上盲文书籍的盲文图像，其中，盲文图像对应盲文书籍中的一页盲文；
S2，提取盲文图像的凸点和空白信息，形成二进制的盲文凸点矩阵，其中，盲文凸点矩阵中1表示凸点，0表示空白信息；
S3，将盲文凸点矩阵翻译成拼音和标点符号，并根据拼音和标点符号翻译成汉字文本和标点符号，形成阅读文本；
S4，响应语音播报指令，播报阅读文本。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-OnlyMemory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取放置在盲文书籍放置板上盲文书籍的盲文图像，其中，盲文图像对应盲文书籍中的一页盲文；
S2，提取盲文图像的凸点和空白信息，形成二进制的盲文凸点矩阵，其中，盲文凸点矩阵中1表示凸点，0表示空白信息；
S3，将盲文凸点矩阵翻译成拼音和标点符号，并根据拼音和标点符号翻译成汉字文本和标点符号，形成阅读文本；
S4，响应语音播报指令，播报阅读文本。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (14)
1.一种盲文阅读方法，其特征在于，包括：
获取放置在盲文书籍放置板上盲文书籍的盲文图像，其中，所述盲文图像对应所述盲文书籍中的一页盲文；
提取所述盲文图像的凸点和空白信息，形成二进制的盲文凸点矩阵，其中，所述盲文凸点矩阵中1表示凸点，0表示空白信息；
将所述盲文凸点矩阵翻译成拼音和标点符号，并根据所述拼音和所述标点符号翻译成汉字文本和标点符号，形成阅读文本；
响应语音播报指令，播报所述阅读文本。
2.根据权利要求1所述的方法，其特征在于，所述提取所述盲文图像的凸点和空白信息之前，所述方法还包括：
对所述盲文图像进行预处理，得到处理后的盲文图像，其中，所述预处理包括以下之一：降噪处理、滤波处理、旋转处理。
3.根据权利要求1所述的方法，其特征在于，所述获取放置在盲文书籍放置板上的盲文图像，包括：
接收拍摄指令，其中，所述拍摄指令用于拍摄所述盲文图像；
响应所述拍摄指令，通过摄像装置拍摄放置在所述盲文书籍放置板上的盲文书籍，得到所述盲文图像。
4.根据权利要求1所述的方法，其特征在于，所述提取所述盲文图像的凸点和空白信息，包括：
通过光学字符识别OCR技术提取所述盲文图像中的凸点和空白信息。
5.根据权利要求1所述的方法，其特征在于，所述将所述盲文凸点矩阵翻译成拼音和标点符号，并根据所述拼音和所述标点符号翻译成汉字文本和标点符号，形成阅读文本之后，所述方法还包括：
发出提示信息，其中，所述提示信息用于指示所述一页盲文已完成阅读文本。
6.根据权利要求1所述的方法，其特征在于，所述响应语音播报指令，播报所述阅读文本，包括：
通过TTS语音合成模块读取所述阅读文本，并按照预设语速播报。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：
在播报所述阅读文本的过程中，接收播报控制指令，其中，所述控制指令包括以下之一：暂定指令、重复上一字指令、重复下一字指令、重复上一句指令、重复下一句指令、重复上一段指令、重复下一段指令、播报语速减慢指令、播报语速加快指令；
响应所述控制指令，执行所述控制指令操作。
8.根据权利要求1至6任一项所述的方法，其特征在于，所述响应语音播报指令，播报所述阅读文本，包括：
接收语音控制指令，其中，所述语音播报指令包括所述语音控制指令；
根据所述语音控制指令，播报所述阅读文本。
9.一种盲文阅读装置，其特征在于，包括：
获取单元，用于获取放置在盲文书籍放置板上盲文书籍的盲文图像，其中，所述盲文图像对应所述盲文书籍中的一页盲文；
提取单元，用于提取所述盲文图像的凸点和空白信息，形成二进制的盲文凸点矩阵，其中，所述盲文凸点矩阵中1表示凸点，0表示空白信息；
翻译单元，用于将所述盲文凸点矩阵翻译成拼音和标点符号，并根据所述拼音和所述标点符号翻译成汉字文本和标点符号，形成阅读文本；
播报单元，用于响应语音播报指令，播报所述阅读文本。
10.一种盲文阅读设备，其特征在于，包括：
书籍放置板，用于放置所述盲文书籍；
摄像头，用于拍摄所述盲文书籍每页的内容，得到所述盲文图像；
处理器，用于提取所述盲文图像的凸点和空白信息，形成二进制的盲文凸点矩阵，其中，所述盲文凸点矩阵中1表示凸点，0表示空白信息；将所述盲文凸点矩阵翻译成拼音和标点符号，并根据所述拼音和所述标点符号翻译成汉字文本和标点符号，形成阅读文本；响应语音播报指令，播报所述阅读文本。
11.一种盲文阅读系统，其特征在于，包括：
摄像模块，用于控制摄像头拍摄盲文书籍页面的内容，得到盲文图像；
OCR模块，用于提取所述盲文图像的凸点和空白信息，形成二进制的盲文凸点矩阵，其中，所述盲文凸点矩阵中1表示凸点，0表示空白信息；
盲文翻译模块，用于将所述盲文凸点矩阵翻译成拼音和标点符号，并根据所述拼音和所述标点符号翻译成汉字文本和标点符号，形成阅读文本；
TTS语音合成模块，用于响应语音播报指令，播报所述阅读文本。
12.根据权利要求11所述的系统，其特征在于，所述系统还包括：
语音采集模块，用于采集用户的声音；
语音识别模块，用于识别所述声音，转化为语音控制命令，其中，
所述语音播报指令包括所述语音控制指令。
13.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至8任一项中所述的方法。
14.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至8任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111434663.0A CN114120769A (zh) | 2021-11-29 | 2021-11-29 | 盲文阅读方法、装置、存储介质及电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111434663.0A CN114120769A (zh) | 2021-11-29 | 2021-11-29 | 盲文阅读方法、装置、存储介质及电子装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114120769A true CN114120769A (zh) | 2022-03-01 |
Family
ID=80371285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111434663.0A Pending CN114120769A (zh) | 2021-11-29 | 2021-11-29 | 盲文阅读方法、装置、存储介质及电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114120769A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114913745A (zh) * | 2022-05-26 | 2022-08-16 | 深圳大学 | 一种盲文阅读器、盲文编码方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101840648A (zh) * | 2010-04-28 | 2010-09-22 | 长春大学 | 自动盲文阅卷系统 |
| CN103077625A (zh) * | 2013-01-30 | 2013-05-01 | 中国盲文出版社 | 一种盲用电子阅读器和助盲阅读方法 |
| WO2016186599A1 (en) * | 2015-05-21 | 2016-11-24 | Basciftci Fatih | Support device for visually handicapped people |
| CN107331249A (zh) * | 2017-07-26 | 2017-11-07 | 中国盲文出版社 | 盲文点读方法及装置 |
| CN108986564A (zh) * | 2018-06-21 | 2018-12-11 | 广东小天才科技有限公司 | 一种基于智能交互的报读控制方法及电子设备 |
| CN110705556A (zh) * | 2019-09-18 | 2020-01-17 | 佛山职业技术学院 | 一种盲文转化仪、转化方法及存储介质 |
| CN112908111A (zh) * | 2021-01-30 | 2021-06-04 | 云知声智能科技股份有限公司 | 一种用于盲人的点读方法、装置及系统 |
| CN214202843U (zh) * | 2020-12-22 | 2021-09-14 | 韶关学院 | 一种基于ocr和tts的视障者阅读装置 |
-
2021
- 2021-11-29 CN CN202111434663.0A patent/CN114120769A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101840648A (zh) * | 2010-04-28 | 2010-09-22 | 长春大学 | 自动盲文阅卷系统 |
| CN103077625A (zh) * | 2013-01-30 | 2013-05-01 | 中国盲文出版社 | 一种盲用电子阅读器和助盲阅读方法 |
| WO2016186599A1 (en) * | 2015-05-21 | 2016-11-24 | Basciftci Fatih | Support device for visually handicapped people |
| CN107331249A (zh) * | 2017-07-26 | 2017-11-07 | 中国盲文出版社 | 盲文点读方法及装置 |
| CN108986564A (zh) * | 2018-06-21 | 2018-12-11 | 广东小天才科技有限公司 | 一种基于智能交互的报读控制方法及电子设备 |
| CN110705556A (zh) * | 2019-09-18 | 2020-01-17 | 佛山职业技术学院 | 一种盲文转化仪、转化方法及存储介质 |
| CN214202843U (zh) * | 2020-12-22 | 2021-09-14 | 韶关学院 | 一种基于ocr和tts的视障者阅读装置 |
| CN112908111A (zh) * | 2021-01-30 | 2021-06-04 | 云知声智能科技股份有限公司 | 一种用于盲人的点读方法、装置及系统 |
Non-Patent Citations (1)
| Title |
|---|
| （美）CHARLES PETZOLD: "编码的奥秘", 30 September 2020, 机械工业出版社, pages: 60 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114913745A (zh) * | 2022-05-26 | 2022-08-16 | 深圳大学 | 一种盲文阅读器、盲文编码方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9589198B2 (en) | Camera based method for text input and keyword detection | |
| US20170011732A1 (en) | Low-vision reading vision assisting system based on ocr and tts | |
| CN104239861A (zh) | 卷曲文本图像预处理方法和彩票扫描识别方法 | |
| GB2428124A (en) | Digital pen correlating handwriting with speech | |
| CN114255470A (zh) | 基于手写轨迹识别的答题处理方法、手写笔、系统及终端 | |
| CN111814779A (zh) | 一种票据文本识别方法、装置、设备及存储介质 | |
| CN114120769A (zh) | 盲文阅读方法、装置、存储介质及电子装置 | |
| CN111192586B (zh) | 语音识别方法及装置、电子设备、存储介质 | |
| CN111079726B (zh) | 一种图像处理方法及电子设备 | |
| CN114550174A (zh) | 辅助阅读方法及装置 | |
| Manage et al. | An intelligent text reader based on python | |
| CN111723653A (zh) | 基于人工智能的绘本阅读方法及装置 | |
| CN114120334A (zh) | 盲文处理方法、装置、存储介质及电子装置 | |
| US9860398B2 (en) | Information processing apparatus that creates other documents from read document | |
| CN112329563A (zh) | 一种基于树莓派的智能阅读辅助方法及系统 | |
| CN110209280B (zh) | 一种应答方法、应答装置及存储介质 | |
| US9948795B2 (en) | Image processing apparatus recognizing a partial image recorded in a specified region, and corresponding image processing method, and non-transitory computer readable medium | |
| CN205910881U (zh) | 一种语音控制有声阅读器 | |
| CN110674825A (zh) | 应用于智能语音鼠标的文字识别方法、装置、系统和存储介质 | |
| CN111428569A (zh) | 基于人工智能的绘本或教材的视觉识别方法及装置 | |
| US20200296233A1 (en) | Scoring apparatus and non-transitory computer readable medium | |
| KR101865251B1 (ko) | 지능형 점자 번역장치 | |
| CN114115542A (zh) | 盲文处理方法、装置、存储介质及电子装置 | |
| Ravi et al. | Raspberry pi based smart reader for blind people | |
| KR101789560B1 (ko) | 촉각 콘텐츠 제조 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |