CN114913745B - 一种盲文阅读器、盲文编码方法及系统 - Google Patents

一种盲文阅读器、盲文编码方法及系统 Download PDF

Info

Publication number
CN114913745B
CN114913745B CN202210584978.1A CN202210584978A CN114913745B CN 114913745 B CN114913745 B CN 114913745B CN 202210584978 A CN202210584978 A CN 202210584978A CN 114913745 B CN114913745 B CN 114913745B
Authority
CN
China
Prior art keywords
braille
processing unit
central processing
information
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210584978.1A
Other languages
English (en)
Other versions
CN114913745A (zh
Inventor
邱洪
李玲珑
曹广忠
范炜健
莫嘉熙
陈潇泳
邓通
张慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202210584978.1A priority Critical patent/CN114913745B/zh
Publication of CN114913745A publication Critical patent/CN114913745A/zh
Application granted granted Critical
Publication of CN114913745B publication Critical patent/CN114913745B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/007Teaching or communicating with blind persons using both tactile and audible presentation of the information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/12Use of codes for handling textual entities
    • G06F40/126Character encoding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/003Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G09B21/004Details of particular tactile cells, e.g. electro-mechanical or mechanical layout
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/003Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G09B21/005Details of specially-adapted software to access information, e.g. to browse through hyperlinked information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种盲文阅读器、盲文编码方法及系统,本发明的一种盲文阅读器,包括:点状触摸屏,与中央处理器连接,用于辅助盲人定位文本位置;通信模块,与中央处理器连接,用于根据用户的触控、语音指令获取文本信息;中央处理器,用于将文本信息转换为盲文编码信息;盲文显示模块,与中央处理器连接,用于根据盲文编码信息显示相应的盲文;语音识别模块,与中央处理器连接,用于根据用户的语音生成语音指令。本发明通过利用通信模块获取各个网站上的文本信息,用户通过点状触摸屏,然后使用盲文显示模块显示相应的盲文,可以通过语音识别模块让盲人从网络中获取资讯与知识并能随时记录下阅读心得,充分满足了视障人群的需求。

Description

一种盲文阅读器、盲文编码方法及系统
技术领域
本发明属于盲文阅读技术领域,更具体地说,是涉及一种盲文阅读器、盲文编码方法及系统。
背景技术
目前中国乃至世界的视障人士都是一个巨大群体,这个群体不仅在生活上面临这重大的挑战,在网络化,信息化时代中也会面临着落伍的困难。当今时代,网络化,信息化成为本发明日常生活中获取信息的主流,也让人类的生产生活方式产生了变迁,变得更加智能化。正常人们可以使用手机或者电脑完成工作,但是视障人士却不能使用。目前便利于视障人士使用网络的工具少之又少,而正常的产品对于视障人士来说又非常难以使用,获取网络信息通常困难且费力,这导致视障人群获取信息的主要途径仍然来源于书籍。总的来说,视障人士十分难以获取网络信息。现在网络的信息庞杂且变化速度飞快,无法获取网络信息就会落后于时代。并且在视障人群中,青壮年阶段人群占据大部分,这类人群本会是网络主力军,对网络的使用需求会相当高。
目前在市面上的盲人阅读工具大多数为软件类的读屏软件,也有少量的实体阅读器,但大多数这类工具都采用了语音播报的方式,而这类方式有明显的缺陷。网络的信息通常使用较书面的语言,其中不乏较长较复杂的文字信息,而这样的文字通过听的方式和读看的方式获取的效果区别较大。通过读看的方式获取文字信息会在脑子中留下较深的印象,对于长难句的理解也较容易,但是如果通过听的方式获取的信息在理解与记忆的效果上则会比较差。不仅如此,需要重复寻找一部分信息时,语音播报的缺陷也就暴露出来了。重复听取语音操作相较于读看操作会慢且复杂许多。并且视障人士在生活中也会遇到无法获取语音信息的情况,这时语音播报就会失效。而且由于盲文阅读器无法获取网络信息且只能识别文字,更重要的是,对于本就有视力障碍的人群来说,要准确的拍摄清晰且包含目标内容的图片,本就极为困难。这种阅读器仅仅提供了摄像图片转化盲文的功能,仅能在特殊情况下使用,而不能满足视障人群的日常使用,使用范围十分局限。
发明内容
本发明的目的在于提供一种盲文阅读器、盲文编码方法及系统,旨在解决现有盲文阅读器使用不方便的问题。
为实现上述目的,本发明采用的技术方案是:
一种盲文阅读器,包括:
语音识别模块,与中央处理器连接,用于根据用户的语音生成语音指令;
通信模块,与中央处理器连接,用于根据用户的触控指令和语音指令获取各个网站上的文本信息;
点状触摸屏,与中央处理器连接,用于辅助盲人定位文本位置;
中央处理器,用于将文本信息转换为盲文编码信息;
盲文显示模块,与中央处理器连接,用于根据盲文编码信息显示相应的盲文。
优选的,所述盲文显示模块,包括:
盲文触点驱动电路,与所述中央处理器连接,用于将所述盲文编码信息转换为驱动盲文显示模块的电压信号;
盲文触点运动器,主体为并行的3×2盲文点阵,与所述盲文触点电压产生器和盲文触点连接,用于根据所述电压信号控制相应的盲文触点运动形成盲文。
优选的,所述通信模块,包括:
4G/5G无线通信模块,与所述中央处理器连接,用于通过移动网络运营商提供的蜂窝移动通信网络获取网络上的文本信息;
WiFi无线通信模块,与所述中央处理器连接,用于通过WIFI无线局域网技术获取网络上的文本信息;
蓝牙无线通信模块,与所述中央处理器连接,用于通过上位机(如手机、电脑等)传输文档到本发明的内置存储器中,并支持连接音频设备相互传输音频信号。
优选的,还包括:
摄像头,与所述中央处理器连接,用于对目标文本进行拍照,并将目标图片传输到中央处理器,中央处理器用于将所述目标图片的文本信息转换为盲文编码信息。
优选的,还包括:
扬声器,与所述中央处理器连接,用于对所述文本信息或者所述目标图片中的文本进行语音播报。
优选的,还包括:
麦克风,与所述中央处理器连接,用于用户发出的音频信号的采集。
存储器,与所述中央处理器连接,用于存储所述文本信息。
本发明还提供了一种盲文编码方法,包括:
步骤1:获取网站上的HTML文件;
步骤2:根据HTML标签提取所述HTML文件中的文本信息;
步骤3:将所述文本信息转换为拼音编码;
步骤4:将所述拼音编码转换为盲文编码。
优选的,在所述步骤3:将所述文本信息转换为拼音编码,之前还包括:
获取摄像头拍摄的目标文本图片;
使用图片文字识别算法对所述目标文本图片中的文字进行识别得到文本信息。
本发明还提供了一种盲文编码系统,包括:
网页转换模块,用于获取网站上的HTML文件,并转化为设备可用格式;
文本过滤模块,用于根据HTML标签分类提取所需文本信息;
文本转译模块,用于将所述文字编码转换为拼音编码(如若英文则无需此模块);
盲文编码模块,用于将所述拼音编码转换为可用的盲文编码。
优选的,还包括:
摄像头模块,用于获取摄像头拍摄的目标图片;
图片识别模块,用于使用图片文字识别算法对所述目标图片中的文字进行识别、提取以获得目标图片中的文本信息。
本发明提供的一种盲文阅读器、盲文编码方法及系统的有益效果在于:与现有技术相比,本发明的一种盲文阅读器,包括:点状触摸屏,与中央处理器连接,用于辅助盲人定位文本位置;通信模块,与中央处理器连接,用于根据用户的指令获取各个网站上的文本信息;中央处理器,用于将文本信息转换为盲文编码信息、控制盲文显示模块等;盲文显示模块,与中央处理器连接,用于根据盲文编码信息显示相应的盲文;语音识别模块,与中央处理器连接,用于语音激活检测、唤醒以及音频信号的录制与识别。本发明通过利用点状触摸屏和通信模块获取各个网站上的文本信息,然后使用盲文显示模块显示相应的盲文,可以通过语音识别模块让盲人从网络中获取资讯与知识并能随时记录下阅读心得,充分满足了视障人群的需求。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明所提供的盲文阅读器的功能框图;
图2为本发明所提供的一种盲文阅读器的工作流程图;
图3为本发明所提供的一种盲文阅读器在网络阅读功能下的工作原理图;
图4为本发明所提供的点状触摸屏示意图;
图5为本发明所提供的盲文显示模块示意图;
图6为本发明所提供的盲文阅读器正视图;
图7为本发明所提供的盲文阅读器的左侧视图和背面视图;
图8为本发明所提供的盲文阅读器的背面示意图。
附图说明:
电源开关-1、上一页按钮-2、下一页按钮-3、确定键-4、返回键-5、模式键-6、蓝牙开关键-7、音频播放键-8、音量增大键-9、音量减小键-10、拍照键-11、下载键-12、删除键-13、充电口-14、盲文显示模块-15、点状触摸屏-16、充电标志-17、电量标志-18、点状触摸屏辅助定位标识-19。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明的目的在于提供一种盲文阅读器、盲文编码方法及系统,旨在解决现有盲文阅读器使用不方便的问题。
请一并参阅图1-3,为实现上述目的,本发明采用的技术方案是:一种盲文阅读器,包括:点状触摸屏、通信模块、中央处理器、盲文显示模块、语音识别模块、摄像头、扬声器、麦克风。
语音识别模块,与中央处理器连接,用于根据用户的语音生成语音指令;进一步的,本发明的语音识别模块还具有用于语音激活检测、唤醒以及音频信号的录制与识别功能;点状触摸屏,与中央处理器连接,用于辅助盲人定位文本位置;通信模块,与中央处理器连接,用于根据用户的触控指令和语音指令获取各个网站上的文本信息;中央处理器,用于将文本信息转换为盲文编码信息、控制盲文显示模块等;盲文显示模块,与中央处理器连接,用于根据盲文编码信息显示相应的盲文。摄像头,与中央处理器连接,用于对目标文本进行拍照,并将目标文本图片传输到中央处理器,中央处理器用于将目标文本图片转换为盲文编码信息。扬声器,与中央处理器连接,用于对文本信息或者目标文本图片中的文字进行阅读。麦克风,与所述中央处理器连接,用于用户发出的音频信号的采集。存储器,与中央处理器连接,用于存储文本信息。
进一步的,本发明中的盲文显示模块,包括:盲文触点驱动电路、盲文触点运动器和盲文触点。
盲文触点驱动电路,与所述中央处理器连接,用于将所述盲文编码信息转换为驱动盲文显示模块的电压信号;盲文触点运动器,主体为并行的3×2盲文点阵,与所述盲文触点电压产生器和盲文触点连接,用于根据所述电压信号控制相应的盲文触点运动形成盲文。
进一步的,本发明中的通信模块,包括:4G/5G无线通信模块、WiFi无线通信模块和蓝牙无线通信模块。
4G/5G无线通信模块,与所述中央处理器连接,用于通过移动网络运营商提供的蜂窝移动通信网络获取网络上的文本信息;WiFi无线通信模块,与所述中央处理器连接,用于通过WIFI无线局域网技术获取网络上的文本信息;蓝牙无线通信模块,与所述中央处理器连接,用于通过其他设备(如手机、电脑等)传输文档到本发明的内置存储器中,并支持连接音频设备相互传输音频信号。
本发明通过利用通信模块获取各个网站以及其他设备上的文本信息,利用点状触摸屏辅助定位文本内容,然后使用盲文显示模块显示相应的盲文,可以让盲人从网络中获取资讯与知识,并能获得更好的阅读体验,充分满足了视障人群的需求。此外,本发明可使用摄像头来对现实中需要的文本信息进行拍照,通过盲文显示模块显示出来,也可使用扬声器将相应的文本信息进行语音播报,也可使用麦克风及语音识别模块将用户的语音信息转换为文字信息,用于进行网络搜索以及文档阅读过程的笔记记录。
下面结合具体的实施例对本发明进行进一步的说明:
请参阅图3,本发明中的点状触摸屏为树脂触摸屏,有着很好的抗摔防震能力并且由于树脂触摸屏可塑性高且价格低廉,故而树脂触摸屏有着良好的经济性。由于树脂优秀的可塑性,本发明利用了树脂触摸屏上可以轻松印刷出点阵突起以及横线突起这一特性,视障人士可参照着印刷好的横线突起以及点阵触摸屏辅助定位边缘进行定位。点状触摸屏上的一个点对应一个字符位,触摸屏将视障人士此时手指按压字符位的位置反馈给中央处理器。此时处理模块记录下位置信息。使用网络阅读功能时,在访问一个网页时,使用通信模块获取网页HTML标签以及标签内容,通过处理模块筛选后将选优的文本信息按照标签进行存储。在视障人士使用此阅读器时,按照点状触摸屏上一个字符位对应一个字符信息的形式在盲文显示模块上显示出网页的字符内容。中央处理器通过设定好的映射关系,将识别到的位置信息转化为文字的字符信息,通过国标汉字码表将其转化为对应的盲文点阵并发送给盲文显示模块。盲文显示模块将三个并行的3×2盲文点阵信息译码后转化为相应物理触点的控制信号,控制信号通过控制盲文触点运动电路的开关,使得物理触点发生相应的变化以显示对应的盲文。使用本地阅读功能时则无需字符信息的获取,可直接将内存中的文本内容通过点状触摸屏以及盲文显示模块进行显示。
需要说明的是,本发明使用的触摸屏类型为电阻触摸屏或电容触摸屏,其工作原理分别如下:
1)电阻薄膜屏主要部分是一块与显示器表面非常匹配的多层复合薄膜。它以树脂作为基层,表面涂有一层透明氧化金属(ITO氧化铟)导电层,最上面还有一层经过硬化处理,光滑防擦的塑料外表面,其内表面也涂有ITO氧化铟。
2)电容技术触摸屏主要部分是一块四层复合玻璃屏,玻璃屏的内表面和夹层各涂一层ITO氧化铟,最外层是只有0.0015mm厚的矽土玻璃保护层,夹层ITO涂层作为工作面,四个角引出四个电极,内层ITO为屏层以保证工作环境。
两个ITO氧化铟涂层之间有许多细小的间隔点将导电层隔离,从而起到绝缘的效果。当用户用手或触摸笔按下触摸屏时,平常相互绝缘的两层导电层就在触摸点位置有了一个闭合点。因为其中一个导电层接通了Y轴方向的5V均匀电场,使得侦测层的电压由0变成非0。
当中央处理器检测到这个变化后,对取得的模拟电压信号进行A/D转换,将得到的电压值与5V相比即可算出接触点的Y轴坐标,同理也可以算出接触点的X轴的坐标。之后,用户就可以通过触摸的方式进行后台动作。
点状触摸屏为一个22cm×18cm的区域,上有一个个可触摸点,每个触摸点从点阵屏左上方开头按顺序排列,触摸区域为一个突起点,点状触摸屏左侧和上侧边缘分别有着代表第几行和第几列的对应盲文点阵标识,每个突起点的位置可根据触摸屏边缘的辅助定位标识来定位,表示该触摸区域为本页的第几行第几个字,每一横行内相邻的触摸区域无缝连接,而上下横行由实体分隔线隔开。每一块触摸区域的作用是确定英文字母或者一个汉字对应的盲文,中央处理器会识别用户触碰的触摸区域,然后将该触摸区域对应的盲文信息显示在盲文显示模块。盲文显示模块为三个并列的3X2点阵,这三个点阵的组合表示三个英文字母或一个汉字拼音。所有的文本信息都会通过盲文显示模块来显示,包括文档标题,板块标题(新闻,知识等板块),文章正文等内容。
请参阅图4,本发明使用的盲文标准为:GB/T 15720-2008。盲文显示模块为三个并列的3X2点阵,这三个点阵的组合具体表示为一个汉字加声调。由于盲文形式都使用Braille盲文字方,所以本发明中的盲文阅读器只要经不同语言进行转译,即可适配多种不同语言。中文模式下,在触摸一个字符位时,盲文显示模块会同时显示三个Braille盲文字方,其按照拼音的形式组成一个汉字;而在英文模式中由于不需要类似中文中的声韵母组合,本发明将三个字方用来表示三个英文字母,依照此规则,视障人士能够使用多语言进行阅读。
本发明的盲文显示模块包括,盲文触点驱动电路,盲文触点运动器以及相应的盲文触点。其工作流程实现如下:
1)将中央处理器中得到的盲文信号传输到盲文触点驱动电路中。
2)盲文触点运动器在盲文触点驱动电路产生的电压作用从下向上突起。
3)由于盲文触点连接在触点运动器上,因此在相应的盲文触点运动器的带动下,会引起盲文触点的运动,形成相应的盲文。
相应的触电运动器主要由压电陶瓷片构成及其驱动电路构成。
1)在触点电压产生器装置上有三个触点控制子装置,分别用于控制三个盲文点阵。
2)一个触点控制子装置上的6个电路开关分别与一个盲文触点运动器相连,当触点控制器在某一开关电路发出信号时,此触点运动器接入对应的BOOST电路产生相应的触点运动电压,使触点进行突起动作。
3)升压装置的工作电压为5V直流电压,但是本发明不能直接将电源电压输入到升压装置中,本发明是通过电源装置将电源电压整流之后再输入到升压装置中。
4)盲文触点运动器实质是压电陶瓷片,要使其向上运动,应在其两端输入相应的直流电压,由于本发明用到的接口电源只有5V,因此本发明在设备上加了一个升压装置,对接口的电压进行升压。
5)每一个盲文触点运动器就是一个长条形的压电陶瓷片,当本发明在其一端加上电压之后,会使它的另一端翘起,从而带动盲文触点向上移动;当断开电压时,就能使得盲文触点向下移动,回到原来的位置。
为了满足视障人士的上网需求,本发明找寻了一种在不改变现有网络架构的条件下可以满足视障人士阅读需求的方式。该方法基于现有的4G/5G/WiFi网络通信方式,利用内置的网络浏览器获取网页HTML文件,将其中与文字文本相关的信息与标签索引出来,按标签分类后,将分类好的文本信息按照中国国家标准盲文字库转译为盲文信息。在获取到盲文信息后,按照标签的分类发送给显示模块,以完成网络信息的盲文显示。
本发明除了通信模块外还兼具了摄像、音频、收声、语音识别模块以及基本的充电、供电模块、存储模块等用户模块,满足视障群体使用盲人阅读器的一切需求。
请一并参阅图6-8,屏幕右侧与下方有两个按键集群,上面已设置多个功能键,其中包括但不限于上下翻页、音量加减、确认退出等功能,这些设定好的功能键为盲人群体的使用提供了便利。
由于从网络中获取的网页文件为HTML文件,先将获取到的html文件保存到固定内存路径中,再读取html文件的路径和文件名,最后得到该文件中所有的内容。因为HTML文件包含了例如:广告,图片等诸多无用信息,本发明通过识别html文件中的标签类型,基于神经网络模型对各类标签进行同种标签聚类、不同种标签分类以及无用标签过滤,只留下所需文字标签以及对应的内容。对于汉字,则将每个汉字获取其汉字编码后再内置的汉字拼音库字典中进行查找、翻译、再版,得到所有文字对应的拼音文档;若是英文则直接使用ASCII经行翻译再版;若是其他语言则采用其对应的国际编码翻译再版。再版后的文档为汉字声母、韵母、声调编码组以及数字和英文ASCII码的格式;若是其他语言则再版为其对应的编码组。将编码再版后文档中的ASCII表以及汉字声母、韵母、声调组对照提前创建的内置的盲文码表,翻译成对应盲文点字编码(其他语言同上)。翻译后的文档(下称为译码文档)可直接用于盲文显示模块,中央处理器根据用户的指令,取出相应文字的译码文档内容发送给盲文触点驱动电路,盲文触点驱动电路获取编码后翻译为控制盲文触点运动器的电信号以控制盲文触点运动器,盲文触点运动器受盲文触点驱动器的控制显示相应的盲文点字。上述流程完成网页文件的显示。
进一步的,本发明具有本地文档阅读与网络获取文档阅读两种模式。
a)本地文档阅读模式:本发明的盲文阅读器内置有存储器,可将网络下载或者蓝牙、type-c传输所得的文档以盲文编码形式存储在存储器中。在选择本地文档阅读后,可通过阅读文档标题选择自己需要阅读的本地文档,最后通过盲文显示模块显示相应内容。
b)网络获取文档模式:在选择网络获取文档模式后,本发明的中央处理器将自动调用4G/5G/WiFi通信模块。本发明可通过进入内置的浏览器引擎,并通过语音输入用户想要搜索的信息,在浏览器上自动搜索获取各网站板块相关内容给予用户选择,用户按需选择之后该网页上的相应内容就会在盲文显示模块上显示,通过点击下载按钮,可将内容下载到存储器。同时在该模式下,用户可通过手机上的微信小程序或者APP选择所需的文档以盲文编码形式传输到本发明并存储在存储器中。
本发明的背后带有一个摄像头,用于对现实中需要的文本信息进行拍照,之后通过内部的OCR算法能够实现将网络信息与文本信息转换为相应的盲文点阵信息,并将点阵信息在触摸屏中显示出来,并且用户可以使用下载功能把文档下载到本地文档中。
本发明可通过使用扬声器或者蓝牙音频设备实现对文本信息的语音播报。语音播报功能可自主选择开闭,本发明提供了两种语音播报开始形式。
a)在左手触碰点阵屏的凸点时开启语音播报,则由此凸点对应的盲文内容开始播放;
b)在左手不触摸点阵屏定位文本位置时开启功能:若在所阅读的文档中是第一次使用语音播报功能,则从头开始播放;若本文档使用过语音播报按钮,则会从上次暂停位置开始播放。同时本发明也具有可调节音量大小的实体按键。
本发明内置语音识别模块,在任意模式下长按“音量+”键后进入备忘录功能,待语音识别模块检测到用户命令词后唤醒语音识别程序,用户可以通过口述的方式记录需记录的内容。语音识别模块获取音频信号后经过过滤、识别、联想后转化成文字信息。中央处理器通过分析获取的文本信息添加并存储备忘录。用户可再次进入备忘录功能进行阅读。
本发明支持书签功能,在用户阅读某一文档时,长按“音量-”键即可进入书签模式,此时可以进行新建书签、跳转到书签处、编辑书签的操作。进入书签模式后,单击“播放”键在用户当前阅读处新建书签;单击“拍照”键选中下一个书签,当按下“确认”键选中某一个书签时,阅读器会自动跳转至书签标识处,用户即可从书签标识处开始阅读;当选中某一个书签时,用户可以使用语音功能在书签位置添加信息,此信息会以批注的形式添加入文本,且该书签在文本阅读时会有明确的标识。
本发明支持使用语音进行网络搜索,在语音识别模块检测到用户命令词或者用户长按“播放”键的动作后唤醒语音识别网络搜索程序。该程序运行时会录制用户的音频,经过过滤、识别、联想后转化成文字信息,并在搜索引擎上进行搜索。搜索所得结果采用上述网页文件阅读的形式进行展示,供用户阅读。
本发明支持使用蓝牙功能,在按下蓝牙开关键后便可以将本发明与其他设备进行连接。在连接成功后可以通过其他设备(如手机、电脑等)传输文档并存储至内置的存储器中,该方式获取的文档可在本地文档阅读模式下进行选择阅读;在连接成功音频设备后,可选择传输当前阅读文档的语音播报音频信号,若音频设备具备传声功能,也可将音频设备采集到的用户发出的音频信号进行语音识别功能。
请一并参阅图6-8,下面对本发明提供的盲文阅读器的使用过程做说明:
①开关:按下电源开关1开启阅读器,当感受到阅读器震动可确认开机成功。开机状态下按下电源开关关闭阅读器。
②功能使用:在开机成功后,按下模式键6进入模式选择界面,显示模块(15+16)会显示本地文档模式和网络文档模式的可选择条目,左手放在触摸点阵屏16需要选择的条目上,按下确定键4选择此条目。
1、进入本地文档模式后,显示模块(15+16)会罗列显示出每一个文档标题,相邻的文档标题会以一个空行相隔,通过上一页2,下一页3的翻页按钮翻页查看,可左手放在点阵触摸屏16需要选择的标题上按下确定4选择此文档阅读,也可左手放在点阵触摸屏16的标题上按下删除键13后按下确定键4删除此文档。
2、进入网络文档模式,阅读器智能开启4G/5G网络并获取热点资讯或网络搜索所得的文档,每条文档的标题会展示在显示模块上罗列,相邻两个标题之间以一个空行相隔,通过翻页(2+3)选择要看的文档,同样左手放在触摸点阵屏需要选择的标题上的按下确定4选择此文档阅读,在进入文档后,可直接阅读,也可按下载键12将文档下载至本地中,感受到震动可确定文档下载完成,之后可通过本地文档模式可阅读。在开机后的任意界面点击拍照键11进入拍照模式,盲文显示模块显示“拍”的盲文可确定成功进入拍照模式,此模式下按下拍照键11拍摄照片,按下确定键4后,系统会自动将照片中的文本信息提取并转化为盲文形成文档,并显示在显示模块(15+16),按下载键12可以将此文档下载到本地中。
③阅读:选择文档后,使用左手触碰触摸点阵屏上的数字凸点的触摸区域,盲文显示模块就会显示对应的实体盲文,用户可以用右手读取盲文显示模块的盲文,通过左手在不同的凸点之间滑动来让不同的盲文显示显示在盲文显示模块。按下上一页2,下一页3翻页阅读文档。在阅读文档中,按下音频播放键8开始语音播报。
④充电:将Type-C充电线插入充电口14中即可充电,充电进行时充电标志17会凸起,可通过此标志识别是否正在充电。本发明可通过感受电量标志位18是否凸起确定电量状态,在充电状态下电量标志位18不凸起可知充电满100%;在充电状态下电量标志位18凸起可知正在充电且电量未满100%;在未充电状态下,电量标志位18凸起可知电量不足20%,未凸起可知电量位于20~100%安全区间。
根据本发明的实施例本发明提供了以下有益效果:
1)本发明在触摸屏区域每一上下相邻横行间由实体分隔线分隔,该分隔线可保证视障人士在横向滑动读取一行信息时不会偏离到下一横行。
2)网络智能调节开关。在用户选择网络获取文档模式,在获取网页时自动开启4G/5G/WiFi,在用户选择好阅读的文档并开始阅读时,4G/5G/WiFi会自动关闭。
3)本发明在触摸点阵屏的左侧与上侧边缘按顺序写上了以盲文形式表示的数字,让视障人士很容易就摸出该盲文对应的是第几位,降低了视障人士的操作复杂度。
本发明还提供了一种盲文编码方法,包括:
步骤1:获取网站上的HTML文件;
步骤2:根据HTML标签提取HTML文件中的文本信息;
步骤3:将文本信息转换为拼音编码;
步骤4:将拼音编码转换为盲文编码。
优选的,在步骤3:将文本信息转换为拼音编码,之前还包括:
获取摄像头拍摄的目标文本图片;
使用文字检测算法对目标文本图片中的文字进行识别得到文本信息。
本发明还提供了一种盲文编码系统,包括:
网页转换模块,用于获取网站上的HTML文件,并转化为设备可用格式;
文本过滤模块,用于根据HTML标签分类提取所需文本信息;
文本转译模块,用于将所述文字编码转换为拼音编码(如若英文则无需此模块);
盲文编码模块,用于将所述拼音编码转换为可用的盲文编码。
优选的,还包括:
摄像头模块,用于获取摄像头拍摄的目标图片;
图片识别模块,用于使用图片文字识别算法对所述目标图片中的文字进行识别、提取以获得目标图片中的文本信息。
本发明提供的一种盲文阅读器、盲文编码方法及系统的有益效果在于:
①使用触摸屏辅以盲文显示模块的阅读方式,可在有限的大小下尽可能显示更多的文字,大大提高了产品的编写性又尽可能减少了高耗电机构,使盲文阅读器在充电后使用周期相较于传统多点阵设备大幅度延长,具有极高的实用性。
②本发明使用了特殊的转译方式,可将网页信息转变为视障人士可以互动的盲文信息,可在不用付出太大的学习成本的前提下,轻松的学习使用本产品。
③本发明集成了拍照识别的功能,可以直接通过拍照的形式,通过内置算法将文本信息在阅读器上显示出来,为视障人士提供了便利。
④本发明附带书签功能,可通过按键和语音识别模块记录重要文本位置以及文本批注,便于下次阅读,为视障人士提供了轻松学习新方向。
⑤本发明附带上语音转文档的功能,此功能解决了以往视障人士不便于记录信息的缺陷,使得视障人士能够向正常人一样随时随地地记录信息。
⑥本发明具有语音网络搜索功能,此功能可以让视障人士能够便捷搜索目标内容。
⑦本发明具有蓝牙功能,此功能让其他设备与本发明进行无线连接,完成文档、音频交互动作。
本发明还提供了一种电子设备,包括总线、收发器、通信模块、存储器、摄像头、扬声器、麦克风、语音识别模块、中央处理器及存储在存储器上并可在中央处理器上运行的计算机程序,收发器、通信模块、存储器、摄像头、扬声器、麦克风、语音识别模块和中央处理器通过总线相连,计算机程序被中央处理器执行时实现上述盲文编码方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,计算机程序被中央处理器执行时实现上述的一种盲文编码方法中的步骤,计算机程序被中央处理器执行时实现上述一种盲文编码方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种盲文阅读器,其特征在于,包括:
语音识别模块,与中央处理器连接,用于根据用户的语音生成语音指令;通信模块,与中央处理器连接,用于根据用户的触控、所述语音指令获取文本信息;点状触摸屏,与中央处理器连接,用于辅助盲人定位文本位置;中央处理器,用于将文本信息转换为盲文编码信息;盲文显示模块,与中央处理器连接,用于根据盲文编码信息显示相应的盲文;摄像头,与所述中央处理器连接,用于对目标文本进行拍照,并将目标图片传输到中央处理器,中央处理器用于将所述目标图片的文本信息转换为盲文编码信息;
所述盲文显示模块,包括:盲文触点驱动电路,与所述中央处理器连接,用于将所述盲文编码信息转换为驱动盲文显示模块的电压信号;盲文触点运动器,为并行的3×2盲文点阵,与盲文触点电压产生器和盲文触点连接,用于根据所述电压信号控制相应的盲文触点运动形成盲文;所述盲文触点电压产生器上有三个触点控制子装置,分别用于控制三个盲文点阵;其中,每个触点控制子装置上的6个电路开关分别与一个盲文触点运动器相连;
所述点状触摸屏有一个个可触摸点,每个触摸点从点阵屏左上方开头按顺序排列,触摸区域为一个突起点,所述点状触摸屏左侧和上侧边缘分别有着代表第几行和第几列的对应盲文点阵标识,每个突起点的位置可根据触摸屏边缘的辅助定位标识来定位,表示该触摸区域为本页的第几行第几个字,每一横行内相邻的触摸区域无缝连接,而上下横行由实体分隔线隔开;每一块触摸区域的作用是确定英文字母或者一个汉字对应的盲文,所述中央处理器会识别用户触碰的触摸区域,然后将该触摸区域对应的盲文信息显示在盲文显示模块;
当视障人士使用所述盲文阅读器时,按照点状触摸屏上一个字符位对应一个字符信息的形式在盲文显示模块上显示出网页的字符内容;其中,中央处理器通过设定好的映射关系,将识别到的位置信息转化为文字的字符信息,通过国标汉字码表将其转化为对应的盲文点阵并发送给盲文显示模块。
2.如权利要求1所述的一种盲文阅读器,其特征在于,所述通信模块,包括但不限于:
4G/5G无线通信模块,与所述中央处理器连接,用于通过移动网络运营商提供的蜂窝移动通信网络获取网络上的文本信息;
WiFi无线通信模块,与所述中央处理器连接,用于通过WIFI无线局域网获取网络上的文本信息;
蓝牙无线通信模块,与所述中央处理器连接,用于与上位机进行通信连接。
3.如权利要求1所述的一种盲文阅读器,其特征在于,还包括:
扬声器,与所述中央处理器连接,用于对所述文本信息或者所述目标图片中的文本进行语音播报。
4.如权利要求1所述的一种盲文阅读器,其特征在于,还包括:
麦克风,与所述中央处理器连接,用于用户发出的音频信号的采集;
存储器,与所述中央处理器连接,用于存储所述文本信息。
5.一种基于权利要求1-4任一项所述的盲文阅读器的盲文编码方法,其特征在于,包括:
步骤1:获取网站上的HTML文件;
步骤2:根据HTML标签提取所述HTML文件中的文本信息;
步骤3:将所述文本信息转换为拼音编码;
步骤4:将所述拼音编码转换为盲文编码。
6.如权利要求5所述的一种盲文编码方法,其特征在于,在所述步骤3:将所述文本信息转换为拼音编码,之前还包括:
获取摄像头拍摄的目标图片;
使用文字检测算法对所述目标文本图片中的文字进行识别得到文本信息。
7.一种基于权利要求1-4任一项所述的盲文阅读器的盲文编码系统,其特征在于,包括:
网页转换模块,用于获取网站上的HTML文件,并转化为设备可用格式;
文本过滤模块,用于根据HTML标签分类提取所需文本信息;
文本转译模块,用于将所述文字编码转换为拼音编码(如若英文则无需此模块);
盲文编码模块,用于将所述拼音编码转换为可用的盲文编码。
8.如权利要求7所述的一种盲文编码系统,其特征在于,还包括:
摄像头模块,用于获取摄像头拍摄的目标图片;
图片识别模块,用于使用图片文字识别算法对所述目标图片中的文字进行识别、提取以获得目标图片中的文本信息。
CN202210584978.1A 2022-05-26 2022-05-26 一种盲文阅读器、盲文编码方法及系统 Active CN114913745B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210584978.1A CN114913745B (zh) 2022-05-26 2022-05-26 一种盲文阅读器、盲文编码方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210584978.1A CN114913745B (zh) 2022-05-26 2022-05-26 一种盲文阅读器、盲文编码方法及系统

Publications (2)

Publication Number Publication Date
CN114913745A CN114913745A (zh) 2022-08-16
CN114913745B true CN114913745B (zh) 2023-07-18

Family

ID=82769085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210584978.1A Active CN114913745B (zh) 2022-05-26 2022-05-26 一种盲文阅读器、盲文编码方法及系统

Country Status (1)

Country Link
CN (1) CN114913745B (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881195B (zh) * 2012-10-15 2014-08-06 长春大学 盲文学习机
CN103077625A (zh) * 2013-01-30 2013-05-01 中国盲文出版社 一种盲用电子阅读器和助盲阅读方法
CN105100346B (zh) * 2015-08-10 2018-02-02 京东方科技集团股份有限公司 盲文显示终端、系统及方法
AU2017100226A4 (en) * 2017-02-27 2017-04-06 MEHTA, Utkal DR Braille slate to teach children with visual disabilities
CN113706976A (zh) * 2020-05-22 2021-11-26 闽南师范大学 一种视障学生读写学习仪
CN114120769A (zh) * 2021-11-29 2022-03-01 云知声智能科技股份有限公司 盲文阅读方法、装置、存储介质及电子装置
CN114120334A (zh) * 2021-11-29 2022-03-01 云知声智能科技股份有限公司 盲文处理方法、装置、存储介质及电子装置

Also Published As

Publication number Publication date
CN114913745A (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN102981764B (zh) 触控操作的处理方法及设备
US6616703B1 (en) Character input apparatus with character string extraction portion, and corresponding storage medium
CN109614847A (zh) 管理实时手写识别
CN101639760A (zh) 联系信息输入方法及系统
WO2007141204A1 (en) System and method for recalling media
CN103703431A (zh) 自动创建文本数据与音频数据之间的映射
CN102446061A (zh) 信息终端装置和文字输入方法
CN103995600B (zh) 一种盲文汉字转换装置及其方法
CN105206123B (zh) 一种聋哑患者交流装置
CN102165438A (zh) 信息处理装置及信息处理方法
JP2005508031A (ja) 部首に基づいた、適合化可能な画の書き順システム
CN106710326A (zh) 一种基于语文的点读课本系统
CN106710327A (zh) 一种基于英语的点读课本系统
KR101789057B1 (ko) 시각 장애인을 위한 자동 오디오 북 시스템 및 그 운영 방법
CN101813981A (zh) 中文输入装置
CN114913745B (zh) 一种盲文阅读器、盲文编码方法及系统
CN201251767Y (zh) 智能电子词典
CN107422921A (zh) 一种输入方法、装置、电子设备以及存储介质
JP5628691B2 (ja) 手話キーボードおよびそれを用いた手話検索装置
CN201348834Y (zh) 盲文电子词典
CN113469035A (zh) 一种绘本辅助阅读方法和电子设备
CN211375596U (zh) 一种词频分类永久记忆单词阅读器
CN111325040A (zh) 一种文言文翻译辅助装置
JP2003005902A (ja) 文字入力装置、情報処理装置、文字入力装置の制御方法、及び記憶媒体
CN111797825A (zh) 一种智能评卷系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant