CN114020143A - 智能阅读辅助装置 - Google Patents

智能阅读辅助装置 Download PDF

Info

Publication number
CN114020143A
CN114020143A CN202111152668.4A CN202111152668A CN114020143A CN 114020143 A CN114020143 A CN 114020143A CN 202111152668 A CN202111152668 A CN 202111152668A CN 114020143 A CN114020143 A CN 114020143A
Authority
CN
China
Prior art keywords
intelligent
reading
page
page turning
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111152668.4A
Other languages
English (en)
Inventor
汪禹莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202111152668.4A priority Critical patent/CN114020143A/zh
Publication of CN114020143A publication Critical patent/CN114020143A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47B—TABLES; DESKS; OFFICE FURNITURE; CABINETS; DRAWERS; GENERAL DETAILS OF FURNITURE
    • A47B19/00—Reading-desks; Lecterns; Pulpits, i.e. free-standing
    • A47B19/10—Reading-desks; Lecterns; Pulpits, i.e. free-standing characterised by association with auxiliary devices, e.g. paper clamps, line indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Abstract

本发明公开了智能阅读辅助装置，包括智能传感输入单元、信息智能处理单元和阅读架部件，智能传感输入单元包括眼球追踪、手势识别摄像头、书面监控摄像头和语音输入麦克。本发明通过智能传感输入单元输入信号，并通过信息智能处理单元向阅读架部件输出执行信号，无需使用者手动操作，有效解决了残障人士阅读纸质或者电子书籍时存在困难的问题，提高了残障人士阅读时的体验。

Description

智能阅读辅助装置
技术领域
本发明涉及一种阅读装置，具体是智能阅读辅助装置。
背景技术
我国约有8500万的残疾人，随着经济的不断发展，如何提高残疾人的阅读服务质量一满足残疾人日益增长的精神文化和教育需求，已经成为成为给残疾人提供物质生活之外的重要问题。残障人士阅读纸质或者电子书籍都存在一定的困难，比如：手指残缺导致拿书、翻页不便；视力障碍导致书面字迹看不清、看不到；听力障碍会导致无法听取声音。
发明内容
本发明通过图像、人声输入结合智能识别、处理和控制技术实现一种智能阅读辅助装置的设计方法，通过智能识别技术实现无接触书面翻页或者智能识别转换后输出至大屏、音响等，可以解决手部残疾、视障、听障等部分人士的阅读问题。
在阅读纸质书本时，书本安置于装置上，可以通过跟踪眼球或者语音输入实现自动翻页，或者手动输入指令翻页，还可以识别书面内容转换成图像或音频的数字输出至大屏显示器和音响设备，为视力不佳人士提供辅助阅读；装置也提供网络、蓝牙、USB等方式的通信连接，接收电子书的输入和存储，也可以直接将电子书输出为图像或音频以便于阅读和收听。
为实现上述目的，本发明提供如下技术方案：
智能阅读辅助装置，包括智能传感输入单元、信息智能处理单元和阅读架部件，智能传感输入单元包括眼球追踪、手势识别摄像头、书面监控摄像头和语音输入麦克。
优选的：所述信息智能处理单元包括蓝牙通信组件、网络通信组件、USB接口、手动输入按键电池电源管理、状态指示显示屏、音视频输出接口、控制输出、多核CPU和存储器，其中、网络通信组件、USB接口、手动输入按键电池电源管理、状态指示显示屏、音视频输出接口、控制输出和存储器均与多核CPU电连接。
优选的：所述智能传感输入单元中的眼球追踪、手势识别摄像头、书面监控摄像头和语音输入麦克均与多核CPU电连接。
优选的：所述阅读架部件包括翻页电机、翻页机构、电机驱动器、夹持机构、控制输入、电源和阅读台架，其中翻页电机、翻页机构、电机驱动器、夹持机构、控制输入和电源均安装在阅读台架上，其中控制输入与控制输出电连接。
与现有技术相比，本发明的有益效果是：
通过智能传感输入单元输入信号，并通过信息智能处理单元向阅读架部件输出执行信号，无需使用者手动操作，有效解决了残障人士阅读纸质或者电子书籍时存在困难的问题，提高了残障人士阅读时的体验。
附图说明
图1为智能阅读辅助装置的组成结构图。
图2为智能阅读辅助装置中阅读架部件的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
请参阅图1，本发明实施例中，智能阅读辅助装置，包括智能传感输入单元A1、信息智能处理单元A2和阅读架部件A3，智能传感输入单元A1包括眼球追踪、手势识别摄像头A101、书面监控摄像头A102和语音输入麦克A103，在实际应用中，通过眼球追踪、手势识别摄像头A101负责采集阅读者的眼球转动和隔空手势运动轨迹图像，通过书面监控摄像头A102负责采集所阅读当前书面内容，通过语音输入麦克A103负责采集阅读者的声音指令，并将智能传感输入单元A1将所采集到音视频数据传输至信息智能处理单元A2进行后续处理。
所述信息智能处理单元A2包括蓝牙通信组件A201、网络通信组件A202、USB接口A203、手动输入按键A204电池电源管理A205、状态指示显示屏A206、音视频输出接口A207、控制输出A208、多核CPUA209和存储器A210，其中A201、网络通信组件A202、USB接口A203、手动输入按键A204电池电源管理A205、状态指示显示屏A206、音视频输出接口A207、控制输出A208和存储器A210均与多核CPUA209电连接。
所述智能传感输入单元A1中的眼球追踪、手势识别摄像头A101、书面监控摄像头A102和语音输入麦克A103均与多核CPUA209电连接。
其中，蓝牙通信组件A201用于实现于手机、耳机等输入输出设备无线连接；
网络通信组件A202实现网络连接，用于获取在线电子阅读资源或软件升级等；
USB接口A203用于连接存储设备，获得电子书、音视频数据等文件；
手动输入按键A204用于人工输入来控制装置的系统参数配置、文件读取、网络连接、书本翻页、输出方式等；
电池电源管理A205为整个装置提供电池或直接电源的供电、充电控制管理；
状态指示显示屏A206为装置运行状态信息输出并在使用手动输入按键A204时提供交互信息；
音视频输出接口A207提供视频和音频输出接口，可以外接大屏显示器或者音响设备；
控制输出A208负责输出对阅读架部件A3运行机械部件的控制信号、指令；
多核CPUA209是整个装置的信息智能处理和控制的核心，负责处理输入数据、控制指令以及输出信号、指令等；
存储器A210配合多核CPUA209实现装置的系统软件、工作软件、运行参数、电子书、音视频数据等文件和信息存储。
所述阅读架部件A3包括翻页电机A301、翻页机构A302、电机驱动器A303、夹持机构A304、控制输入A305、电源A306和阅读台架A307，其中翻页电机A301、翻页机构A302、电机驱动器A303、夹持机构A304、控制输入A305和电源A306均安装在阅读台架A307上，其中控制输入A305与控制输出A208电连接。
所述阅读台架A307包括阅读台A3071、液压杆A3072和支撑座A3073，阅读台A3071的底面与竖直设置的液压杆A3072顶端固定连接，液压杆A3072的底端与支撑座A3073的顶面固定连接，支撑座A3073的底面四角处均通过螺栓固定有行走轮，阅读台A3071的顶面一端焊接固定有支架，支架上设置眼球追踪、手势识别摄像头A101和语音输入麦克A103，阅读台A3071上设置有翻页机构A302和夹持机构A304，其中翻页机构A302包括吸盘条A3022和转轴A3021，转轴A3021转动安装在支架的底部，且转轴A3021的一端与翻页电机A301的输出端固定连接，翻页电机A301通过螺栓固定在支架的外壁上，转轴A3021的中部与连接杆的一端固定连接，连接杆的另一端固定连接吸盘条A3022，通过吸盘条A3022将书页吸出，然后通过翻页电机A301带动转轴A3021转动，从而带动吸盘条A3022进行翻页，吸盘条A3022与外置的气动系统连接，由气动系统控制吸盘条A3022将书页吸住，翻页后再将书页松开，阅读台A3071的中部一体成型有固定架A105，固定架A105的两侧内壁均滑动安装有可上下移动的夹持机构A304，夹持机构A304由气动系统控制上下移动，夹持机构A304下压时，能够将书页压住固定，且固定架A105的顶部固定有书面监控摄像头A102，书面监控摄像头A102的旁边在固定架A105的顶部固定有补光灯A104。
翻页电机A301负责实现对翻页机构A302和电源A306进行驱动；
翻页机构A302负责执行对书本的前后翻页动作，可由翻页电机A301驱动；
电机驱动器A303负责对翻页电机A301的驱动以及与控制信号的隔离；
夹持机构A304负责执行对纸质书本的夹持，可由翻页电机A301驱动；
控制输入A305负责接收和处理信息智能处理单元A2输出的控制信号和指令；
电源A306由电池组和交直流电源转换模块组成，负责整个装置的电源电力的供应，
阅读台架A307为整个装置结构，负责所有零部件、组件的布置和安装，可实现阅读位高度、角度等调节功能。
本发明的工作流程如下：
1多核CPUA209执行智能算法软件对来自眼球追踪、手势识别摄像头A101的视频数据进行实时分析、识别：
追踪阅读者的眼球转动方位判断是否已经阅读到本页最后的位置，根据阅读者的阅读速度和习惯判读是否已经读完本页并做出是否需要翻页的决策，发出相应的控制信号至控制输出A208；
识别阅读者的手势，根据阅读者手势轨迹判断出具体操作指令，可以实现前后翻页、切换书本、返回等隔空操作功能，发出相应的控制信号至控制输出A208；
2多核CPUA209执行图像识别算法软件对来自书面监控摄像头A102的图像数据进行实时分析、识别：
识别书本中页面的内容，一方面识别出页面当前页码为翻页操作提供依据，另一方面可将页面内容重新转换合成为视频、音频，进行大屏投射或者音响设备输出；
3多核CPUA209执行语音语义识别算法软件对来自语音输入麦克A103的采集到的音频数据进行实时分析、识别：
识别阅读者的语音内容判断出具体操作指令，可以实现前后翻页、切换书本、返回等功能，发出相应的控制信号至控制输出A208；
4多核CPUA209对来自手动输入按键A204的按键指令进行处理：
根据按键编码和组合含义，结合状态指示显示屏A206显示系统菜单和状态信息，用户可对系统参数配置、网络连接配置、蓝牙设备连接、USB存储设备中文件读写、内部存储文件管理、电子文件输出视频、电子文件输出音频、书本前后翻页、切换书本、返回、软件升级和系统自检等功能进行操作。

Claims (5)

1.智能阅读辅助装置，包括智能传感输入单元(A1)、信息智能处理单元(A2)和阅读架部件(A3)，其特征在于，所述智能传感输入单元(A1)包括眼球追踪、手势识别摄像头(A101)、书面监控摄像头(A102)和语音输入麦克(A103)。
2.根据权利要求(1)所述的智能阅读辅助装置，其特征在于，所述信息智能处理单元(A2)包括蓝牙通信组件(A201)、网络通信组件(A202)、USB接口(A203)、手动输入按键(A204)电池电源管理(A205)、状态指示显示屏(A206)、音视频输出接口(A207)、控制输出(A208)、多核CPU(A209)和存储器(A210)，其中(A201)、网络通信组件(A202)、USB接口(A203)、手动输入按键(A204)电池电源管理(A205)、状态指示显示屏(A206)、音视频输出接口(A207)、控制输出(A208)和存储器(A210)均与多核CPU(A209)电连接。
3.根据权利要求(1)所述的智能阅读辅助装置，其特征在于，所述智能传感输入单元(A1)中的眼球追踪、手势识别摄像头(A101)、书面监控摄像头(A102)和语音输入麦克(A103)均与多核CPU(A209)电连接。
4.根据权利要求(1)所述的智能阅读辅助装置，其特征在于，所述阅读架部件(A3)包括翻页电机(A301)、翻页机构(A302)、电机驱动器(A303)、夹持机构(A304)、控制输入(A305)、电源(A306)和阅读台架(A307)，其中翻页电机(A301)、翻页机构(A302)、电机驱动器(A303)、夹持机构(A304)、控制输入(A305)和电源(A306)均安装在阅读台架(A307)上，其中控制输入(A305)与控制输出(A208)电连接。
5.一种智能阅读辅助装置的工作流程，其特征在于，包括如下过程：
a多核CPU(A209)执行智能算法软件对来自眼球追踪、手势识别摄像头(A101)的视频数据进行实时分析、识别:
追踪阅读者的眼球转动方位判断是否已经阅读到本页最后的位置，根据阅读者的阅读速度和习惯判读是否已经读完本页并做出是否需要翻页的决策，发出相应的控制信号至控制输出(A208)；
识别阅读者的手势，根据阅读者手势轨迹判断出具体操作指令，可以实现前后翻页、切换书本、返回等隔空操作功能，发出相应的控制信号至控制输出(A208)；
b多核CPU(A209)执行图像识别算法软件对来自书面监控摄像头(A102)的图像数据进行实时分析、识别：
识别书本中页面的内容，一方面识别出页面当前页码为翻页操作提供依据，另一方面可将页面内容重新转换合成为视频、音频，进行大屏投射或者音响设备输出；
c多核CPU(A209)执行语音语义识别算法软件对来自语音输入麦克(A103)的采集到的音频数据进行实时分析、识别：
识别阅读者的语音内容判断出具体操作指令，可以实现前后翻页、切换书本、返回等功能，发出相应的控制信号至控制输出(A208)；
d多核CPU(A209)对来自手动输入按键(A204)的按键指令进行处理：
根据按键编码和组合含义，结合状态指示显示屏(A206)显示系统菜单和状态信息，用户可对系统参数配置、网络连接配置、蓝牙设备连接、USB存储设备中文件读写、内部存储文件管理、电子文件输出视频、电子文件输出音频、书本前后翻页、切换书本、返回、软件升级和系统自检等功能进行操作。
CN202111152668.4A 2021-09-29 2021-09-29 智能阅读辅助装置 Pending CN114020143A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111152668.4A CN114020143A (zh) 2021-09-29 2021-09-29 智能阅读辅助装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111152668.4A CN114020143A (zh) 2021-09-29 2021-09-29 智能阅读辅助装置

Publications (1)

Publication Number Publication Date
CN114020143A true CN114020143A (zh) 2022-02-08

Family

ID=80055149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111152668.4A Pending CN114020143A (zh) 2021-09-29 2021-09-29 智能阅读辅助装置

Country Status (1)

Country Link
CN (1) CN114020143A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116052671A (zh) * 2022-11-21 2023-05-02 深圳市东象设计有限公司 一种智能翻译机及翻译方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202736319U (zh) * 2012-07-18 2013-02-13 广州市晶华光学电子有限公司 一种智能阅读和小型教育系统
US20130152014A1 (en) * 2011-12-12 2013-06-13 Qualcomm Incorporated Electronic reader display control
US20140168054A1 (en) * 2012-12-14 2014-06-19 Echostar Technologies L.L.C. Automatic page turning of electronically displayed content based on captured eye position data
CN108763143A (zh) * 2018-05-22 2018-11-06 京东方科技集团股份有限公司 辅助阅读装置
CN110135404A (zh) * 2019-06-21 2019-08-16 西南石油大学 一种智能阅读机器人的阅读系统
CN110287925A (zh) * 2019-06-29 2019-09-27 Oppo广东移动通信有限公司 阅读翻页控制方法及相关产品
KR20200098812A (ko) * 2019-02-12 2020-08-21 경북대학교 산학협력단 안구의 움직임 또는 음성에 따라 동작하는 자동 책장 넘김 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130152014A1 (en) * 2011-12-12 2013-06-13 Qualcomm Incorporated Electronic reader display control
CN202736319U (zh) * 2012-07-18 2013-02-13 广州市晶华光学电子有限公司 一种智能阅读和小型教育系统
US20140168054A1 (en) * 2012-12-14 2014-06-19 Echostar Technologies L.L.C. Automatic page turning of electronically displayed content based on captured eye position data
CN108763143A (zh) * 2018-05-22 2018-11-06 京东方科技集团股份有限公司 辅助阅读装置
KR20200098812A (ko) * 2019-02-12 2020-08-21 경북대학교 산학협력단 안구의 움직임 또는 음성에 따라 동작하는 자동 책장 넘김 장치 및 방법
CN110135404A (zh) * 2019-06-21 2019-08-16 西南石油大学 一种智能阅读机器人的阅读系统
CN110287925A (zh) * 2019-06-29 2019-09-27 Oppo广东移动通信有限公司 阅读翻页控制方法及相关产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116052671A (zh) * 2022-11-21 2023-05-02 深圳市东象设计有限公司 一种智能翻译机及翻译方法

Similar Documents

Publication Publication Date Title
CN203861914U (zh) 一种宠物机器人
CN106737760B (zh) 一种人型智能机器人及人机交流系统
CN110405789B (zh) 一种查房陪护机器人、机器人查房陪护系统及方法
CN109035919A (zh) 一种协助用户解决问题的智能装置及系统
CN102509479A (zh) 便携式文字识别发声阅读器及读取文字的方法
CN114020143A (zh) 智能阅读辅助装置
CN205466240U (zh) 一种多用途智能服务机器人
CN112066987B (zh) 一种用于辅助室内变电站巡检的激光语音引导装置
CN110473436A (zh) 一种阅读辅助学习设备
CN107168182A (zh) 一种室内机器人vr应用的系统及方法
CN112509576A (zh) 一种语音控制大屏展示系统
JP2004214895A (ja) 通信補助装置
CN202424833U (zh) 一种全语音操控移动终端的系统
CN112278639A (zh) 一种智能垃圾箱
CN116521844A (zh) 一种用于ai学习的智能眼镜设备及其操作方法
CN103167125B (zh) 一种盲人使用的手机音乐播放系统及方法
CN112389897A (zh) 一种基于语音垃圾分类的智能垃圾桶及其工作方法
RU198673U1 (ru) Портативное устройство распознавания речи и звуковых сигналов
CN207488881U (zh) 显示器
CN112732887A (zh) 一种多轮对话的处理装置及其系统
CN112669679A (zh) 视障人员社交装置、方法及移动终端
Thongbai et al. Reading Aid Machine for Elderly and Visually Impaired Using Single-Board Computer
CN213736870U (zh) 一种智能垃圾箱
CN217333154U (zh) 一种服务机器人的人机交互控制系统
CN212160967U (zh) 一种基于智能语音技术的人机互动教学设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination