CN114387831A - 一种古诗词辅助学习机器人 - Google Patents
一种古诗词辅助学习机器人 Download PDFInfo
- Publication number
- CN114387831A CN114387831A CN202011132061.5A CN202011132061A CN114387831A CN 114387831 A CN114387831 A CN 114387831A CN 202011132061 A CN202011132061 A CN 202011132061A CN 114387831 A CN114387831 A CN 114387831A
- Authority
- CN
- China
- Prior art keywords
- user
- robot
- information
- book
- ancient poetry
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008909 emotion recognition Effects 0.000 claims abstract description 11
- 230000001815 facial effect Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 5
- 230000008451 emotion Effects 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 5
- 230000004438 eyesight Effects 0.000 abstract description 3
- 238000013519 translation Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000036651 mood Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
- G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Manipulator (AREA)
Abstract
本发明属于智能家庭服务机器人领域，具体说是一种古诗词辅助学习机器人。包括机器人本体以及云平台，其中，机器人本体包括：机器人控制器，摄像头，麦克风阵列，云平台包括：语义理解模块，图像识别模块，人脸识别模块，情绪识别模块。本发明可以提供沉浸式的古诗词学习体验，提高学习效率，降低学习成本。同时，本发明让孩子从屏幕回归书本，有效保护孩子视力，降低孩子对于平板电脑的依赖。可作为智能化设备在中小学进行推广。
Description
技术领域
本发明属于智能家庭服务机器人领域，具体说是一种古诗词辅助学习机器人。
背景技术
辅助学习古诗词的工具和智能化产品应运而生。目前的方法也是比较传统的方法，借助字典和工具书学习诗词。这种方法的优点是准确，但是缺点非常明显就是效率不高。另一种方法是，使用点读机和学习机这类智能化产品。这类产品往往并不是针对古诗词所研发的，都存在各自的局限性。点读机主要是针对学习英语而开发的，实现了“哪里不会点哪里”的语音点播模式。这种模式对于学习古诗词明显并不不适用。古诗词只学习发音和跟读是远远不够的，理解每一个字的意义，以及每个字在一句诗词中的意义才是关键。学习机一般都是基于平板电脑开发的，孩子读的是电子书，这对孩子的视力产生了不良影响，也导致孩子过分依赖平板电脑。更关键的是，学习机固化了学习模式，只能一步一步的跟着学习，孩子的思维也就被固化了。古诗词辅助学习机器人结合了工具书，字典的准确性和流行的AI(人工智能)技术，让孩子从屏幕回归书本，同时机器人高效辅助学习，打造沉浸式学习体验，有效的解决了这一痛点。
发明内容
本发明旨在解决上述现有技术中存在的问题，结合现在流行的机器人技术和人工智能技术，通过机器人辅助学习古诗词。
本发明为实现上述目的所采用的技术方案是：
一种古诗词辅助学习机器人，包括机器人本体以及云平台，其中，机器人本体包括：
机器人控制器，用于数据信息处理以及与云平台进行信息交互；
摄像头，用于实时获取用户面部图像以及书本图像，并通过机器人控制器将用户面部图像发送给云平台中的人脸识别模块以及情绪识别模块，将书本图像信息发送给图像识别模块；
麦克风阵列，用于收集用户的音频信息，并发送给语义理解模块；
云平台包括：
语义理解模块，用于接收用户的音频信息并将用户的音频信息转换为文字信息，将文字信息与古诗词知识库中的内容进行匹配，得到匹配后的信息并将其转换为语音信息发送给机器人控制器；
图像识别模块，用于接收摄像头获取的书本图像信息，提取出书本图像中的书本文字信息，在书目知识库中匹配出书本文字信息所属的书名、页码和古诗词名称并发送给机器人控制器；
人脸识别模块，用于接收并识别出摄像头获取的用户面部图像，提取出用户面部特征与用户信息数据库进行匹配，实现用户登陆操作；
情绪识别模块，用于接收并识别出摄像头获取的用户面部图像，提取出用户面部特征，并根据用户面部特征识别用户情绪。
所述机器人本体还包括：
扬声器，用于播放云平台中语义理解模块匹配后的语音信息以及古诗词知识库中的音视频信息；
显示屏，用于用户和机器人交互使用。
所述用户信息数据库包括用户个人信息、用户登陆时间、用户阅读内容信息。
所述摄像头实时采集书本图像，检测并定位用户手指指向书本的位置，识别出该位置处的文字内容，通过图像识别模块在古诗词知识库中查询出对应的知识点，通过显示器展示给用户。
本发明具有以下有益效果及优点：
本发明可以提供沉浸式的古诗词学习体验，提高学习效率，降低学习成本。同时，本发明让孩子从屏幕回归书本，有效保护孩子视力，降低孩子对于平板电脑的依赖。可作为智能化设备在中小学进行推广。
附图说明
图1为古诗词辅助学习机器人系统结构图；
图2为系统软件模块划分及数据流传递示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
本发明古诗词辅助学习机器人结构图如图1所示，主要包括机器人本体和云平台两部分。机器人本体主要包括机器人控制器，摄像头，麦克风阵列，高保真扬声器和一块7英寸的交互屏幕。云平台给机器人提供强大的服务，包括语义理解，图像识别服务，人脸识别服务，情绪识别服务，古诗词知识库，书目知识库，用户信息存储服务。
如图2所示，机器人控制器是机器人本体的核心，用于数据信息运算处理，和云平台进行交互，获取和解析数据结果，最后通过显示屏展示给用户。
面部监控摄像头用于实时抓取用户面部图像，经过控制器处理后传给云平台进行人脸识别和情绪识别，通过人脸识别区分是谁正在使用机器人，完成登录操作并连接用户信息服务数据库。用户信息数据库用于记录使用机器人的记录，包括登录时间，阅读内容，交互历史等信息。通过情绪识别获得用户阅读时的心情，主动与用户交互。例如，在识别到用户疑惑的情绪时，主动询问和解答问题。情绪识别服务主要可识别用户的高兴，惊讶，悲伤和疑惑等情绪。
书本监控摄像头用于实时抓取书本图像，经过控制器处理后传给图像识别服务，提取图像中的文字信息，在书目知识库中匹配出用户当前阅读的书名，页码和古诗词名称。图像识别服务将这些书目信息发送给机器人本体控制器并保存。当用户遇到不会读或者不理解的文字时，可以使用手指点击对应文字，经过图像处理，提取到手指所指位置处的文字或者语句。机器人控制器将手指处的信息和当前书目信息发送给古诗词知识库进行查询，获得结果后通过显示器和扬声器展示给用户。
用户可以和机器人进行自由对话，例如查询知识点。麦克风阵列用于收集用户的问题，经过控制器处理，将音频信息传给云平台语义理解服务。语义理解服务识别出用户问题后，在古诗词知识库中匹配，找到最优答案后回传给机器人本体，在机器人本体端完成语音合成后，经过扬声器播放答案内容。
首先，机器人首次使用，用户需完成注册操作。用户面对面部监控摄像头，说出“我要注册”。机器人识别到注册语音指令后，为用户拍照，并将图像信息上传云平台，在人脸识别服务中提取人脸特征。机器人此时语音提示用户“请说出您想要注册的用户名”，用户说出用户名后，机器人将用户名和人脸特征信息进行绑定，然后存入用户信息数据库中。之后用户通过面部识别，即可完成自动登录。
用户登录成功后，有语音提示“xx您好，您已成功登录，请将书本封面平放于桌面上，置于机器人摄像头下。”此时，用户将要学习的古诗词书本封面放在桌面上，机器人将拍摄的图像信息上传云平台，通过书目检索服务，检索到对应的书目《唐诗三百首》。接下来，用户将书本翻至想要学习的古诗《静夜思》。机器人将该页图像信息上传云平台，获得页码数“12”和古诗词名称《静夜思》。
用户此时询问机器人，“可以介绍一下这首诗的作者吗？”。机器人将这句问题上传至云平台，首先进行语义理解，得知要介绍一下《静夜思》作者李白后，在古诗词知识库中查询李白的介绍并发送给机器人。机器人在显示屏上展示李白的画像，并语音介绍李白。用户此时可以用手指指古诗中的“疑是地上霜”，并询问机器人“这句话是什么意思？”。机器人识别到语音询问指令后，将该图像上传至云平台，经过图像处理服务，识别出手指处的文字“疑是地上霜”，之后再古诗词知识库中查询这句话的译文并发送给机器人。机器人接收到这句话的译文后，通过语音告诉用户，这句话的意思是“明亮的月光洒在床前的窗户纸上，好像地上泛起了一层白霜。”
用户此时会产生疑问并皱起眉头，用户此时的面部情绪被面部监控摄像头拍摄并上传云平台，经过面部情绪识别，得知用户此时产生疑惑并发送给机器人。机器人接收到情绪识别结果后，主动询问用户“您对这句译文存在疑惑是吗？”。用户通过语音回答“是的”。机器人继续将“疑是地上霜”这句上传云平台，在古诗词知识库中查询用于加强理解的动画或者音频信息，找到了《静夜思》这首诗的短视频，发送给机器人。机器人接收后，在屏幕上播放这个短视频。用户观看短视频后，理解了这句古诗词译文的意思。
Claims (4)
1.一种古诗词辅助学习机器人，其特征在于，包括机器人本体以及云平台，其中，机器人本体包括：
机器人控制器，用于数据信息处理以及与云平台进行信息交互；
摄像头，用于实时获取用户面部图像以及书本图像，并通过机器人控制器将用户面部图像发送给云平台中的人脸识别模块以及情绪识别模块，将书本图像信息发送给图像识别模块；
麦克风阵列，用于收集用户的音频信息，并发送给语义理解模块；
云平台包括：
语义理解模块，用于接收用户的音频信息并将用户的音频信息转换为文字信息，将文字信息与古诗词知识库中的内容进行匹配，得到匹配后的信息并将其转换为语音信息发送给机器人控制器；
图像识别模块，用于接收摄像头获取的书本图像信息，提取出书本图像中的书本文字信息，在书目知识库中匹配出书本文字信息所属的书名、页码和古诗词名称并发送给机器人控制器；
人脸识别模块，用于接收并识别出摄像头获取的用户面部图像，提取出用户面部特征与用户信息数据库进行匹配，实现用户登陆操作；
情绪识别模块，用于接收并识别出摄像头获取的用户面部图像，提取出用户面部特征，并根据用户面部特征识别用户情绪。
2.根据权利要求1所述的一种古诗词辅助学习机器人，其特征在于，所述机器人本体还包括：
扬声器，用于播放云平台中语义理解模块匹配后的语音信息以及古诗词知识库中的音视频信息；
显示屏，用于用户和机器人交互使用。
3.根据权利要求1所述的一种古诗词辅助学习机器人，其特征在于，所述用户信息数据库包括用户个人信息、用户登陆时间、用户阅读内容信息。
4.根据权利要求1所述的一种古诗词辅助学习机器人，其特征在于，所述摄像头实时采集书本图像，检测并定位用户手指指向书本的位置，识别出该位置处的文字内容，通过图像识别模块在古诗词知识库中查询出对应的知识点，通过显示器展示给用户。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011132061.5A CN114387831A (zh) | 2020-10-21 | 2020-10-21 | 一种古诗词辅助学习机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011132061.5A CN114387831A (zh) | 2020-10-21 | 2020-10-21 | 一种古诗词辅助学习机器人 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114387831A true CN114387831A (zh) | 2022-04-22 |
Family
ID=81193477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011132061.5A Pending CN114387831A (zh) | 2020-10-21 | 2020-10-21 | 一种古诗词辅助学习机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114387831A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104091478A (zh) * | 2014-07-08 | 2014-10-08 | 肖文芳 | 随问随答学习机以及网络学习系统 |
| CN109215419A (zh) * | 2018-10-25 | 2019-01-15 | 重庆鲁班机器人技术研究院有限公司 | 教育机器人及体验式教学系统 |
| CN109741645A (zh) * | 2019-03-15 | 2019-05-10 | 山东顺势教育科技有限公司 | Ai机器人引导及互动对话教学系统 |
| CN110060524A (zh) * | 2019-04-30 | 2019-07-26 | 广东小天才科技有限公司 | 一种机器人辅助阅读的方法及阅读机器人 |
| CN110766989A (zh) * | 2019-11-07 | 2020-02-07 | 重庆文理学院 | 一种基于人工智能古诗词教学系统 |
-
2020
- 2020-10-21 CN CN202011132061.5A patent/CN114387831A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104091478A (zh) * | 2014-07-08 | 2014-10-08 | 肖文芳 | 随问随答学习机以及网络学习系统 |
| CN109215419A (zh) * | 2018-10-25 | 2019-01-15 | 重庆鲁班机器人技术研究院有限公司 | 教育机器人及体验式教学系统 |
| CN109741645A (zh) * | 2019-03-15 | 2019-05-10 | 山东顺势教育科技有限公司 | Ai机器人引导及互动对话教学系统 |
| CN110060524A (zh) * | 2019-04-30 | 2019-07-26 | 广东小天才科技有限公司 | 一种机器人辅助阅读的方法及阅读机器人 |
| CN110766989A (zh) * | 2019-11-07 | 2020-02-07 | 重庆文理学院 | 一种基于人工智能古诗词教学系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112162628A (zh) | 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端 | |
| US6526395B1 (en) | Application of personality models and interaction with synthetic characters in a computing system | |
| CN110931042B (zh) | 同声传译方法、装置、电子设备以及存储介质 | |
| CN107203953A (zh) | 一种基于互联网、表情识别和语音识别的教学系统及其实现方法 | |
| CN111833672B (zh) | 一种教学视频的展示方法、装置及系统 | |
| CN107992195A (zh) | 一种教学内容的处理方法、装置、服务器及存储介质 | |
| KR102174922B1 (ko) | 사용자의 감정 또는 의도를 반영한 대화형 수어-음성 번역 장치 및 음성-수어 번역 장치 | |
| CN115329779A (zh) | 一种多人对话情感识别方法 | |
| De Coster et al. | Machine translation from signed to spoken languages: State of the art and challenges | |
| CN112632244A (zh) | 一种人机通话的优化方法、装置、计算机设备及存储介质 | |
| CN110825164A (zh) | 基于儿童专用穿戴智能设备的交互方法及系统 | |
| Rajbongshi et al. | Bangla optical character recognition and text-to-speech conversion using raspberry Pi | |
| Dreuw et al. | The signspeak project-bridging the gap between signers and speakers | |
| CN111158490A (zh) | 基于手势识别的辅助语义识别系统 | |
| CN117252259A (zh) | 基于深度学习的自然语言理解方法及ai助教系统 | |
| CN113542797A (zh) | 视频播放中的互动方法、装置及计算机可读存储介质 | |
| CN114387831A (zh) | 一种古诗词辅助学习机器人 | |
| JP3930402B2 (ja) | オンライン教育システム、情報処理装置、情報提供方法及びプログラム | |
| CN113763925B (zh) | 语音识别方法、装置、计算机设备及存储介质 | |
| CN115171673A (zh) | 一种基于角色画像的交流辅助方法、装置及存储介质 | |
| Lang et al. | Feedback interpretation based on facial expressions in human-robot interaction | |
| CN111160051A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN113918114B (zh) | 文档控制方法、装置、计算机设备和存储介质 | |
| Ouakrim et al. | A Multistream Model for Continuous Recognition of Lexical Units in French Sign Language | |
| Zhang et al. | An interactive oral training platform based on Kinect for EFL learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |