CN111639581A - 一种指读儿童机器人系统 - Google Patents
一种指读儿童机器人系统 Download PDFInfo
- Publication number
- CN111639581A CN111639581A CN202010452407.3A CN202010452407A CN111639581A CN 111639581 A CN111639581 A CN 111639581A CN 202010452407 A CN202010452407 A CN 202010452407A CN 111639581 A CN111639581 A CN 111639581A
- Authority
- CN
- China
- Prior art keywords
- module
- data
- camera
- reading
- finger
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002452 interceptive effect Effects 0.000 claims abstract description 12
- 230000003993 interaction Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
- G09B5/062—Combinations of audio and printed presentations, e.g. magnetically striped cards, talking books, magnetic tapes with printed texts thereon
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及点读系统，具体涉及到一种指读儿童机器人系统，一种指读儿童机器人系统，包括儿童机器人和云端服务器；所述儿童机器人包括儿童机器人外壳、摄像头、和控制板；所述儿童机器人外壳内安装有摄像头和控制板，所述摄像头与控制板电连接；所述摄像头用于对手指指读的绘本进行聚焦拍摄。所述控制板上安装MCU控制模块、摄像头模块、WIFI模块、4G模块、图像算法模块、播放器模块、MIC阵列模块、AI交互模块和数据上报/接收解析模块；所述WIFI模块和4G模块用于与云端服务器建立通信连接。所述儿童机器人通过WIFI模块和4G模块与云端服务器建立通信连接。有益效果：具有自动识别播放的功能，控制操作方便，更具智能。
Description
技术领域
本发明涉及到一种点读笔系统，特别是一种识别手指点读的指读儿童机器人系统。
背景技术
传统点读笔需要手一直握着点读笔，才能识别点读笔指向的位置的文字，使用不便利，并且传统点读笔需要将内容更新下载到本地tf卡，要人为的不断更新本地内容。需要一直手握点读设备才能进行识别的不便利性；需要人为更新本地tf或者其他存储设备内容，才能不断兼容新绘本的不便利性目前的传统点读笔已无法适应目前使用需求，需要改进产品性能，才能适应市场需求。
发明内容
为解决上述技术问题，本发明提供了一种识别手指点读的指读儿童机器人系统。
本发明提供的技术方案是：一种指读儿童机器人系统，包括儿童机器人和云端服务器；所述儿童机器人包括儿童机器人外壳、摄像头、和控制板；
所述儿童机器人外壳内安装有摄像头和控制板，所述摄像头与控制板电连接；所述摄像头用于对手指指读的绘本进行聚焦拍摄。
所述控制板上安装MCU控制模块、摄像头模块、WIFI模块、4G模块、图像算法模块、播放器模块、MIC阵列模块、AI交互模块和数据上报/接收解析模块；所述WIFI模块和4G模块用于与云端服务器建立通信连接。
所述云端服务器包括TTS算法模块、数据接收/下发模块和数据库资源；
所述儿童机器人通过WIFI模块和4G模块与云端服务器建立通信连接。
进一步优化，所述MCU控制模块与摄像头模块、WIFI模块、4G模块、图像算法模块、播放器模块、MIC阵列模块、AI交互模块和数据上报/接收解析模块电连接；
进一步优化，所述MCU控制模块用于控制摄像头模块、WIFI模块、4G模块、图像算法模块、播放器模块、MIC阵列模块、AI交互模块和数据上报/接收解析模块；
所述摄像头模块用于记录摄像机所拍摄的数据；所述图像算法模块用于对摄像机所拍摄的图像数据进行处理；所述播放器模块用于对摄像机所拍摄的数据进行播放；所述MIC阵列模块用于对声音指令进行录入；所述AI交互模块用于对声音指令进行交互；所述数据上报/接收解析模块用于将摄像机所拍摄的数据通过WIFI模块和4G模块上传到云端服务器并接收云端服务器发送的数据。
进一步优化，所述TTS算法模块用于对儿童机器人上传的数据进行处理；所述数据接收/下发模块用于接收儿童机器人上传的数据并将处理后的数据进行下发给儿童机器人；所述数据库资源是用于储存数据资料；
进一步优化，所述指读机器人的摄像机没有识别到人手指进行点读，则对整个绘本画面进行拍摄；所述摄像头识别到手指的点读动作，所述摄像头自动对焦，对手指指向的地方进行拍摄。
进一步优化，所述指读机器人通过图像算法模块对摄像机拍摄的数据对图像进行压缩，所述指读机器人通过数据上报/接收解析模块把压缩后的图像上传到云端服务器，
进一步优化，所述云端服务器通过TTS算法模块对图像进行解析，并通过数据库资源匹配到对应的音频数据，把音频数据的链接通过数据接收/下发模块发送到指读机器人。
进一步优化，所述指读系统通过数据上报/接收解析模块收到播放链接后，通过播放器模块进行播放。
进一步优化，启动AI交互模块，指读机器人通过mic录取语音数据，并把语音数据上传到云端服务器，所述云端服务器对音频数据通过TTS算法模块进行解析，并把解析后的数据通过数据库资源匹配对应的答案，把答案对应的音频数据链接发送到本地指读系统，本地指读系统在收到音频数据的链接后，通过播放器进行播放，从而实现了AI交互的功能。
采用了上述技术方案后，本发明的有益效果是：
相对于已披露的技术方案，本发明的床头柜其创新点在于，实现识别手指的点读动作，来识别手指所点的任意位置，摆脱传统点读笔需要一直手握的不便利性。 通过将手指点到位置的数据上传云端的方式，在云端服务器进行运算，返回对应的音频文件链接给到点读笔系统，从而避免了需要依赖本地tf卡，或者其他存储设备的弊端，也不需要人为的不断更新内容，同时节约硬件成本，本发明除了具有点读功能，当儿童打开绘本后，或者识别到翻页动作后，对本页面进行识别，播放此页面的内容的播放，具有自动识别播放的功能。
附图说明
图1是一种指读儿童机器人系统方框结构示意图；
图2是一种指读儿童机器人系统步骤示意图。
具体实施方式
下面结合附图1和图2，以及具体实施例对本发明进行详细描述，但不作为对本发明的限定。
实施例
如附图1和图2所示，一种指读儿童机器人系统，包括儿童机器人和云端服务器；所述儿童机器人包括儿童机器人外壳、摄像头、和控制板；
所述儿童机器人外壳内安装有摄像头和控制板，所述摄像头与控制板电连接；所述摄像头用于对手指指读的绘本进行聚焦拍摄。
所述控制板上安装MCU控制模块、摄像头模块、WIFI模块、4G模块、图像算法模块、播放器模块、MIC阵列模块、AI交互模块和数据上报/接收解析模块；所述WIFI模块和4G模块用于与云端服务器建立通信连接。所述云端服务器包括TTS算法模块、数据接收/下发模块和数据库资源；所述儿童机器人通过WIFI模块和4G模块与云端服务器建立通信连接。
所述指读机器人的摄像机没有识别到人手指进行点读，则对整个绘本画面进行拍摄；所述摄像头识别到手指的点读动作，所述摄像头自动对焦，对手指指向的地方进行拍摄。所述指读机器人通过图像算法模块对摄像机拍摄的数据对图像进行压缩，所述指读机器人通过数据上报/接收解析模块把压缩后的图像上传到云端服务器，所述云端服务器通过TTS算法模块对图像进行解析，并通过数据库资源匹配到对应的音频数据，把音频数据的链接通过数据接收/下发模块发送到指读机器人。所述指读系统通过数据上报/接收解析模块收到播放链接后，通过播放器模块进行播放。启动AI交互模块，指读机器人通过mic录取语音数据，并把语音数据上传到云端服务器，所述云端服务器对音频数据通过TTS算法模块进行解析，并把解析后的数据通过数据库资源匹配对应的答案，把答案对应的音频数据链接发送到本地指读系统，本地指读系统在收到音频数据的链接后，通过播放器进行播放，从而实现了AI交互的功能。由此实现该发明目的。
由技术常识可知，本技术方案可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。
Claims (9)
1.一种指读儿童机器人系统，包括儿童机器人和云端服务器；所述儿童机器人包括儿童机器人外壳、摄像头、和控制板；其特征在于：
所述儿童机器人外壳内安装有摄像头和控制板，所述摄像头与控制板电连接；所述摄像头用于对手指指读的绘本进行聚焦拍摄；
所述控制板上安装MCU控制模块、摄像头模块、WIFI模块、4G模块、图像算法模块、播放器模块、MIC阵列模块、AI交互模块和数据上报/接收解析模块；所述WIFI模块和4G模块用于与云端服务器建立通信连接；
所述云端服务器包括TTS算法模块、数据接收/下发模块和数据库资源；
所述儿童机器人通过WIFI模块和4G模块与云端服务器建立通信连接。
2.根据权利要求1中所述的指读儿童机器人系统，其特征在于：所述MCU控制模块与摄像头模块、WIFI模块、4G模块、图像算法模块、播放器模块、MIC阵列模块、AI交互模块和数据上报/接收解析模块电连接。
3.根据权利要求1中所述的指读儿童机器人系统，其特征在于：所述MCU控制模块用于控制摄像头模块、WIFI模块、4G模块、图像算法模块、播放器模块、MIC阵列模块、AI交互模块和数据上报/接收解析模块；所述摄像头模块用于记录摄像机所拍摄的数据；所述图像算法模块用于对摄像机所拍摄的图像数据进行处理；所述播放器模块用于对摄像机所拍摄的数据进行播放；所述MIC阵列模块用于对声音指令进行录入；所述AI交互模块用于对声音指令进行交互；所述数据上报/接收解析模块用于将摄像机所拍摄的数据通过WIFI模块和4G模块上传到云端服务器并接收云端服务器发送的数据。
4.根据权利要求1中所述的指读儿童机器人系统，其特征在于：所述TTS算法模块用于对儿童机器人上传的数据进行处理；所述数据接收/下发模块用于接收儿童机器人上传的数据并将处理后的数据进行下发给儿童机器人；所述数据库资源是用于储存数据资料。
5.根据权利要求1中所述的指读儿童机器人系统，其特征在于：所述指读机器人的摄像机没有识别到人手指进行点读，则对整个绘本画面进行拍摄；所述摄像头识别到手指的点读动作，所述摄像头自动对焦，对手指指向的地方进行拍摄。
6.根据权利要求1中所述的指读儿童机器人系统，其特征在于：所述指读机器人通过图像算法模块对摄像机拍摄的数据对图像进行压缩，所述指读机器人通过数据上报/接收解析模块把压缩后的图像上传到云端服务器。
7.根据权利要求1中所述的指读儿童机器人系统，其特征在于：所述云端服务器通过TTS算法模块对图像进行解析，并通过数据库资源匹配到对应的音频数据，把音频数据的链接通过数据接收/下发模块发送到指读机器人。
8.根据权利要求1中所述的指读儿童机器人系统，其特征在于：所述指读系统通过数据上报/接收解析模块收到播放链接后，通过播放器模块进行播放。
9.根据权利要求1中所述的指读儿童机器人系统，其特征在于：启动AI交互模块，指读机器人通过mic录取语音数据，并把语音数据上传到云端服务器，所述云端服务器对音频数据通过TTS算法模块进行解析，并把解析后的数据通过数据库资源匹配对应的答案，把答案对应的音频数据链接发送到本地指读系统，本地指读系统在收到音频数据的链接后，通过播放器进行播放，从而实现了AI交互的功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010452407.3A CN111639581A (zh) | 2020-05-26 | 2020-05-26 | 一种指读儿童机器人系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010452407.3A CN111639581A (zh) | 2020-05-26 | 2020-05-26 | 一种指读儿童机器人系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111639581A true CN111639581A (zh) | 2020-09-08 |
Family
ID=72329204
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010452407.3A Pending CN111639581A (zh) | 2020-05-26 | 2020-05-26 | 一种指读儿童机器人系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111639581A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201327424A (zh) * | 2011-12-21 | 2013-07-01 | Tien-Hwa Ho | 手指影像點讀及雲端資訊推薦方法 |
| CN205621319U (zh) * | 2016-02-27 | 2016-10-05 | 深圳市中幼国际教育科技有限公司 | 一种具有摄像和云存储功能的智能点读笔 |
| CN110085063A (zh) * | 2019-06-01 | 2019-08-02 | 厦门市思芯微科技有限公司 | 带有4g移动ai互动功能的点读笔系统 |
| CN110097789A (zh) * | 2019-06-01 | 2019-08-06 | 厦门市思芯微科技有限公司 | 一种带nfc功能的智能点读笔系统 |
| CN209486938U (zh) * | 2018-11-20 | 2019-10-11 | 华侨大学 | 一种智能点读棒 |
| CN110443231A (zh) * | 2019-09-05 | 2019-11-12 | 湖南神通智能股份有限公司 | 一种基于人工智能的单手手指点读文字识别方法和系统 |
| CN110929709A (zh) * | 2019-10-25 | 2020-03-27 | 北京光年无限科技有限公司 | 基于oid点读内容转换为绘本指读内容的方法及装置 |
-
2020
- 2020-05-26 CN CN202010452407.3A patent/CN111639581A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201327424A (zh) * | 2011-12-21 | 2013-07-01 | Tien-Hwa Ho | 手指影像點讀及雲端資訊推薦方法 |
| CN205621319U (zh) * | 2016-02-27 | 2016-10-05 | 深圳市中幼国际教育科技有限公司 | 一种具有摄像和云存储功能的智能点读笔 |
| CN209486938U (zh) * | 2018-11-20 | 2019-10-11 | 华侨大学 | 一种智能点读棒 |
| CN110085063A (zh) * | 2019-06-01 | 2019-08-02 | 厦门市思芯微科技有限公司 | 带有4g移动ai互动功能的点读笔系统 |
| CN110097789A (zh) * | 2019-06-01 | 2019-08-06 | 厦门市思芯微科技有限公司 | 一种带nfc功能的智能点读笔系统 |
| CN110443231A (zh) * | 2019-09-05 | 2019-11-12 | 湖南神通智能股份有限公司 | 一种基于人工智能的单手手指点读文字识别方法和系统 |
| CN110929709A (zh) * | 2019-10-25 | 2020-03-27 | 北京光年无限科技有限公司 | 基于oid点读内容转换为绘本指读内容的方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 吕何新等: "《FrontPage网页设计与制作》", 高等教育出版社, pages: 235 - 236 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6713034B2 (ja) | スマートテレビの音声インタラクティブフィードバック方法、システム及びコンピュータプログラム | |
| CN109147784B (zh) | 语音交互方法、设备以及存储介质 | |
| CN108319171B (zh) | 一种基于语音控制的动向投影方法、装置及动向投影系统 | |
| CN109448709A (zh) | 一种终端投屏的控制方法和终端 | |
| CN102868934A (zh) | 基于智能电视的视频对象信息检索方法及装置 | |
| CN112148922A (zh) | 会议记录方法、装置、数据处理设备及可读存储介质 | |
| CN102056328A (zh) | 一种建立无线连接的方法及终端 | |
| CN110570847A (zh) | 一种多人场景的人机交互系统及方法 | |
| CN108960158A (zh) | 一种智能手语翻译的系统和方法 | |
| CN110047497B (zh) | 背景音频信号滤除方法、装置及存储介质 | |
| CN109151565A (zh) | 播放语音的方法、装置、电子设备及存储介质 | |
| CN109034148A (zh) | 一种基于文字图像识别音频阅读方法及其装置 | |
| CN103593356A (zh) | 基于多媒体信息指纹技术的信息搜索方法、系统和应用 | |
| KR102097777B1 (ko) | 사용자 필기 데이터 기반의 학습 성취도 판단 방법, 그리고 이를 위한 스마트 디바이스, 서버 및 시스템 | |
| CN111831120A (zh) | 一种视频应用的手势交互方法、装置及系统 | |
| US11580971B2 (en) | Photo album management method, storage medium and electronic device | |
| CN111639581A (zh) | 一种指读儿童机器人系统 | |
| CN106027753B (zh) | 一种点读故事机的控制方法及装置 | |
| CN114090986A (zh) | 一种公用设备上识别用户的方法及电子设备 | |
| CN1549545B (zh) | 一种实现连接网络及大容量存储的多媒体装置 | |
| CN108282678B (zh) | 一种多媒体数据的播放方法、装置及系统 | |
| CN110659006A (zh) | 跨屏显示的方法、装置、电子设备及可读存储介质 | |
| WO2023087287A1 (zh) | 一种会议内容显示的方法、会议系统及会议设备 | |
| KR102164773B1 (ko) | 마이크로폰으로 인공지능스피커와 연동되는 전자펜 시스템 | |
| CN109118862A (zh) | 一种点读验证装置以及点读答题验证评分方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200908 |