CN106056109A - 一种基于计算机视觉的讲故事机器人 - Google Patents

一种基于计算机视觉的讲故事机器人 Download PDF

Info

Publication number
CN106056109A
CN106056109A CN201610611478.7A CN201610611478A CN106056109A CN 106056109 A CN106056109 A CN 106056109A CN 201610611478 A CN201610611478 A CN 201610611478A CN 106056109 A CN106056109 A CN 106056109A
Authority
CN
China
Prior art keywords
story
telling
user
robot
microprocessor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610611478.7A
Other languages
English (en)
Inventor
张迪
程忠光
张猛
龚莉杰
许杰雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hanwuji Intelligent Technology Co Ltd
Original Assignee
Shenzhen Hanwuji Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hanwuji Intelligent Technology Co Ltd filed Critical Shenzhen Hanwuji Intelligent Technology Co Ltd
Priority to CN201610611478.7A priority Critical patent/CN106056109A/zh
Publication of CN106056109A publication Critical patent/CN106056109A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Toys (AREA)

Abstract

一种基于计算机视觉的讲故事机器人,包括：当讲故事进行至需要用户交互时，微处理器提醒用户进行交互，通过摄像头接收用户提供的实物或卡片的信息传送至微处理器，微处理器进行信息的解码，采样再进行检测与识别得出结果，并将结果与预先设定的故事答案比较；若相同，则反馈出正确并继续故事的讲述；若不相同，则反馈不正确并提醒用户进行交互；若不相同超过一定次数，则反馈出正确答案并继续故事的讲述；若检测不到实物或卡片，则反馈检测不到实物或物体并提醒用户进行交互；若检测不到实物或卡片超过一定次数，则反馈出正确答案并继续故事的讲述。通过这一种有趣的方式，使用户通过故事充分接触现实与识别物体，使之成为辅助幼儿教学的优秀工具。

Description

一种基于计算机视觉的讲故事机器人
技术领域
本发明涉及机器人领域，计算机视觉领域，模式识别领域，特别涉及一种基于计算机视觉的讲故事机器人。
背景技术
一般的讲故事系统，用户只能单一的接受故事，或者通过语音来与系统进行交互。互动性不足，用户不能通过故事将故事与现实联系起来。
发明内容
本发明的目的是提供一种基于计算机视觉的讲故事机器人，允许用户用实物与卡片与机器人进行交互，机器人通过识别实物和卡片后，与预设的故事答案进行比对，再进行反馈。通过这一种有趣的方式，使用户通过故事充分认识现实中的物体，使之成为辅助幼儿教学的优秀工具。
为解决上述技术问题，本发明采用的一个技术方案是：机器人讲述故事的过程中，若遇到需要进行交互识别环节，微处理器通过音响提示用户进行识别操作，并在屏幕上显示将答案镂空的故事画面与位于画面下方的开始检测键。用户将与故事相关联的实物或者卡片静止的放置于机器人的摄像头前，并点击屏幕上的开始检测键。机器人开启摄像头并通过摄像头获取用户放置在摄像头前的物体的信息，同时屏幕显示检测识别中，获取完信息后传至微处理器，并通过微处理器运行程序来处理信息，检测实物或者卡片的位置，再进行识别操作。如果在一段时间内检测不到实物或者卡片则通过屏幕显示未检测成功并重新进行交互识别环节；若检测失败一定次数后则通过屏幕公布正确答案，并继续进行故事流程的讲述；如果识别出实物或者卡片但并不是正确选项则通过屏幕提示用户重新选择实物或者卡片并重新进行交互识别环节；若识别出不正确选项一定次数后则通过屏幕公布正确答案，并继续进行故事流程的讲述；如果识别出实物或者卡片是正确选项则通过屏幕表示选项正确并继续进行故事流程的讲述。
例如,机器人讲述白雪公主的故事时，在讲述到白雪公主吃毒苹果的片段的时候，进入交互识别环节。屏幕显示白雪公主吃毒苹果的画面，其中毒苹果为阴影的镂空画面，并在画面底下显示开始检测键。机器人通过音响问用户这是什么东西，并提示用户进行识别操作。用户将苹果或者苹果卡片放置于摄像头前，并点击开始检测键。屏幕显示检测识别中，微处理器开启摄像头并通过摄像头获取一段时间的录像，微处理器将获得的录像进行解码成多张图像，再进行采样，检测与识别操作。若检测不到物体或卡片，则提示用户重新进行检测，并重新进入交互识别环节。检测失败一定次数后则通过屏幕公布正确答案是苹果，并继续进行故事流程的讲述；如果识别出不是苹果或苹果卡片则通过屏幕提示用户重新选择实物或者卡片，并重新进入交互识别环节；若识别出不正确选项一定次数后则通过屏幕公布正确答案，并继续进行故事流程的讲述；如果识别出是苹果则通过屏幕表示选项正确并继续进行故事流程的讲述。
若微处理器检测识别到多个物体或卡片，则将检测出的多个结果逐一与预设的故事答案进行比较，若有一个正确，则进入正确流程，若全部答案都错误，则进入错误流程。
附图说明
通过实例并参照附图，本发明将被进一步阐明，其中：图 1 是本发明的方法的流程图。
图 2 是本发明的主视图。
图 3 是本发明的系统框图。
具体实施方式
参见图 1，本发明的方法包括八个步骤。步骤 1 机器人通过音响提示用户进行检测操作，并在屏幕上显示故事答案的阴影画面并在画面下显示开始检测键。 步骤 2 在屏幕上显示检测识别中，微处理器开启摄像头，摄像头获取信息并传送至微处理器，微处理器将传送的信息进行处理，检测用户提供的物体或卡片位置，并进行识别。 步骤 3 判断是否检测到物体或卡片，如果检测不到物体则跳转步骤4，如果检测到物体就跳转步骤5。 步骤4 判断检测不到物体的次数是否超出了一定次数，如果没有超过则跳转回步骤1，如果超出一定次数则跳转至步骤8 。 在步骤5 将检测到的物体或卡片与预设的故事答案进行比较并进入步骤 6。步骤 6 如果比较不正确则跳转步骤7，否则跳转步骤8。步骤 7判断比较不正确的次数是否超出了一定次数，如果没有超过则跳转回步骤1，如果超出一定次数则跳转至步骤8 。步骤 8 为公布正确答案并继续故事的讲述。
请参阅图2，本发明实施例包括：1、机器人， 2、屏幕， 3、摄像头， 4、微处理器，存储器集成在一起， 5、音响。
图 3的讲故事机器人系统包括： 1、摄像头， 2、微处理器， 3、存储器， 4、音响，5、屏幕。
本发明实施例中，图 3 中的 1、摄像头可以获取摄像头正前方录像，并将录像发至微处理器进行处理。1、摄像头与2、微处理器进行双向通信。
本发明实施例中，图 3 中的 2、微处理器可以运行3、存储器中的程序算法与故事数据，控制故事流程。当2、微处理器遇到需要与用户交互的环节时，发送需要交互的信号至1、摄像头。待1、摄像头传输回录像时，对1、摄像头传送的录像进行解码，采样成多张图像后，再进行检测与识别，再将识别出来的结果与预设的故事答案进行比较。并根据比较的结果发送至屏幕与音响进行反馈。
本发明实施例中，图 3 中的3、存储器包含例如硬盘或类似闪存等固态存储器。存储器可以用于存储一个或多个故事的数据与必要的算法程序。存储器与微处理器相连可进行双向通信。
本发明实施例中，图 3 中的 4、音响可以辅助2、微处理器进行故事的讲述，进行交互的提示及交互结果的反馈。4、音响与2、微处理器进行单向通信。
图 3 中的 5、屏幕可以辅助2、微处理器进行故事的讲述，故事答案的提示（故事答案的镂空图），让机器人进入检测识别环节（用户点击位于故事画面下方的检测开始键）及交互结果的反馈。5、屏幕与2、微处理器进行单向通信。

Claims (8)

1.一种基于计算机视觉的讲故事机器人,包括：当讲故事进行至需要用户交互时，微处理器提醒用户进行交互，通过摄像头接收用户提供的实物或卡片的信息，微处理器进行信息解码，采样，再检测与识别得出结果，并将结果与预先设定的故事答案比较；若相同，则反馈出正确并继续故事的讲述；若不相同，则反馈不正确并提醒用户再次重新进行交互；若不相同超过一定次数，则反馈出正确答案并继续故事的讲述；若检测不到实物或卡片，则反馈检测不到实物或物体并提醒用户再次重新交互；若检测不到实物或卡片超过一定次数，则反馈出正确答案并继续故事的讲述。
2.如权利要求 1 所述的一种基于计算机视觉的讲故事机器人，其特征在于，若微处理器检测识别到多个物体或卡片，则将检测出的多个结果逐一与预设的故事答案进行比较，若有一个正确，则进入正确流程，若全部答案都错误，则进入错误流程。
3.如权利要求 1 所述的一种基于计算机视觉的讲故事机器人，其特征在于，当讲故事进行至需要用户交互时，屏幕显示故事答案的镂空图，来提示用户答案。
4.如权利要求 1 所述的一种基于计算机视觉的讲故事机器人，其特征在于，当讲故事进行至需要用户交互时，微处理器通过音响来提醒用户进行交互，若音响提醒被用户选择进入检测识别阶段打断，则进入检测识别阶段。
5.如权利要求 1 所述的一种基于计算机视觉的讲故事机器人，其特征在于，当讲故事进行至需要反馈时，微处理器通过屏幕与音响来反馈给用户结果。
6.如权利要求 1 所述的一种基于计算机视觉的讲故事机器人，其特征在于，当微处理器检测识别时，屏幕显示检测识别中的画面。
7.如权利要求 1 所述的一种基于计算机视觉的讲故事机器人，其特征在于，故事数据与算法程序都存储在存储器中被供微处理器调用。
8.如权利要求 1 所述的一种基于计算机视觉的讲故事机器人，其特征在于，摄像头接收录像并传至微处理器，微处理器对录像进行解码采样获得多张图像后进行检测识别操作。
CN201610611478.7A 2016-07-30 2016-07-30 一种基于计算机视觉的讲故事机器人 Pending CN106056109A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610611478.7A CN106056109A (zh) 2016-07-30 2016-07-30 一种基于计算机视觉的讲故事机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610611478.7A CN106056109A (zh) 2016-07-30 2016-07-30 一种基于计算机视觉的讲故事机器人

Publications (1)

Publication Number Publication Date
CN106056109A true CN106056109A (zh) 2016-10-26

Family

ID=57195759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610611478.7A Pending CN106056109A (zh) 2016-07-30 2016-07-30 一种基于计算机视觉的讲故事机器人

Country Status (1)

Country Link
CN (1) CN106056109A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106777066A (zh) * 2016-12-12 2017-05-31 北京奇虎科技有限公司 一种图像识别匹配媒体文件的方法和装置
CN107808110A (zh) * 2017-10-27 2018-03-16 安徽硕威智能科技有限公司 一种带视觉识别卡片的讲故事机器人
WO2018148881A1 (zh) * 2017-02-15 2018-08-23 深圳市前海中康汇融信息技术有限公司 交互教学机器人及其处理方法
CN109858391A (zh) * 2019-01-11 2019-06-07 北京光年无限科技有限公司 一种用于绘本机器人的人机交互方法及装置
CN113345284A (zh) * 2021-07-01 2021-09-03 王翔 一种可实现知识转化的益智教具

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411854A (zh) * 2011-09-01 2012-04-11 苏州梦想人软件科技有限公司 基于增强现实的课堂教学混合技术应用系统及方法
CN102509484A (zh) * 2011-10-13 2012-06-20 苏州梦想人软件科技有限公司 一种基于增强现实技术的学习系统及其学习方法
CN203043559U (zh) * 2012-12-27 2013-07-10 安徽科大讯飞信息科技股份有限公司 一种能够插卡的智能语音识别交互玩具装置
US20130218339A1 (en) * 2010-07-23 2013-08-22 Aldebaran Robotics "humanoid robot equipped with a natural dialogue interface, method for controlling the robot and corresponding program"

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130218339A1 (en) * 2010-07-23 2013-08-22 Aldebaran Robotics "humanoid robot equipped with a natural dialogue interface, method for controlling the robot and corresponding program"
CN102411854A (zh) * 2011-09-01 2012-04-11 苏州梦想人软件科技有限公司 基于增强现实的课堂教学混合技术应用系统及方法
CN102509484A (zh) * 2011-10-13 2012-06-20 苏州梦想人软件科技有限公司 一种基于增强现实技术的学习系统及其学习方法
CN203043559U (zh) * 2012-12-27 2013-07-10 安徽科大讯飞信息科技股份有限公司 一种能够插卡的智能语音识别交互玩具装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106777066A (zh) * 2016-12-12 2017-05-31 北京奇虎科技有限公司 一种图像识别匹配媒体文件的方法和装置
CN106777066B (zh) * 2016-12-12 2021-03-19 北京奇虎科技有限公司 一种图像识别匹配媒体文件的方法和装置
WO2018148881A1 (zh) * 2017-02-15 2018-08-23 深圳市前海中康汇融信息技术有限公司 交互教学机器人及其处理方法
CN107808110A (zh) * 2017-10-27 2018-03-16 安徽硕威智能科技有限公司 一种带视觉识别卡片的讲故事机器人
CN109858391A (zh) * 2019-01-11 2019-06-07 北京光年无限科技有限公司 一种用于绘本机器人的人机交互方法及装置
CN113345284A (zh) * 2021-07-01 2021-09-03 王翔 一种可实现知识转化的益智教具
CN113345284B (zh) * 2021-07-01 2023-11-03 合肥霁明工业设计有限公司 一种可实现知识转化的益智教具

Similar Documents

Publication Publication Date Title
CN106056109A (zh) 一种基于计算机视觉的讲故事机器人
CN110996138B (zh) 一种视频标注方法、设备及存储介质
US10922630B2 (en) Queuing apparatus, and queuing control method thereof
CN106227335A (zh) 预习讲义与视频课程的交互学习方法及应用学习客户端
KR102387495B1 (ko) 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체
CN109284402B (zh) 一种信息推荐方法、装置及存储介质
US20220375225A1 (en) Video Segmentation Method and Apparatus, Device, and Medium
CN109597943A (zh) 一种基于场景的学习内容推荐方法及学习设备
EP1665124A1 (en) Apparatus and method for feature recognition
CN108090424B (zh) 一种在线教学调研方法及设备
CN110547756A (zh) 一种视力测试方法、装置和系统
CN109817244A (zh) 口语评测方法、装置、设备和存储介质
CN113117306A (zh) 一种瑜伽辅助学习方法、系统和存储介质
JPH10263126A (ja) パソコンを使用した運動の姿勢の分析装置
CN109993999B (zh) 一种基于书写进度的智能报读方法及电子设备
CN101661558A (zh) 图像处理装置和图像处理方法及摄像装置
CN109033448A (zh) 一种学习引导方法及家教设备
CN113252655A (zh) 层析检测方法、移动终端、服务器及层析检测装置
CN109933687B (zh) 信息处理方法、装置及电子设备
CN105792005B (zh) 录像控制的方法及装置
CN110971924B (zh) 一种直播过程中美颜的方法、设备、存储介质及系统
CN111077989B (zh) 一种基于电子设备的屏幕控制方法及电子设备
CN110990607B (zh) 游玩照片筛选方法、装置、服务器和计算机可读存储介质
CN111081090B (zh) 一种点读场景下的信息输出方法及学习设备
CN111081104B (zh) 一种基于课堂表现的听写内容选择方法及学习设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161026