CN111399648A - 一种基于眼球驱动与控制的早教图画交互系统 - Google Patents

一种基于眼球驱动与控制的早教图画交互系统 Download PDF

Info

Publication number
CN111399648A
CN111399648A CN202010185568.0A CN202010185568A CN111399648A CN 111399648 A CN111399648 A CN 111399648A CN 202010185568 A CN202010185568 A CN 202010185568A CN 111399648 A CN111399648 A CN 111399648A
Authority
CN
China
Prior art keywords
screen
user
early education
controller
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010185568.0A
Other languages
English (en)
Inventor
陆永华
陈加徐
王旦
刘冠诚
梁立鹏
赵采仪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University Of Aeronautics And Astronautics Wuxi Research Institute
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University Of Aeronautics And Astronautics Wuxi Research Institute
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University Of Aeronautics And Astronautics Wuxi Research Institute, Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University Of Aeronautics And Astronautics Wuxi Research Institute
Priority to CN202010185568.0A priority Critical patent/CN111399648A/zh
Publication of CN111399648A publication Critical patent/CN111399648A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于眼球驱动与控制的早教图画交互系统，包括早教图画交互系统本体，所述的早教图画交互系统本体包括屏幕、控制器、扬声器以及安装在屏幕中央的摄像头，所述的屏幕、控制器、扬声器以及摄像头之间信号连接。本发明具备用户仅通过眼球注视屏幕指定区域便可实现各种动植物、汉字英文等的发声的优点，解决了现有技术中，早教图画交互系统所有的发音均需要通过用户点击来完成的问题，使早教系统摆脱了双手的束缚，实现了用户通过眼球即可自主控制早教系统完成各种动、植物、中英文等的发音，更具趣味性。

Description

一种基于眼球驱动与控制的早教图画交互系统
技术领域
本发明涉及早教图画交互系统技术领域，具体为一种基于眼球驱动与控制的早教图画交互系统。
背景技术
随着社会的发展与进步，人们对婴幼儿早期教育重视的程度越来越高，有关0-3岁婴幼儿发展与教育的研究日益增多。同时，社会上涌现了一大批早教图画电子产品，这些产品大多都是采用点读的方式，用户通过点击图画上指定区域，产品发出声音，完成婴幼儿对字母、动物等事物的认知，建立起抽象图像与实际事物之间的联系，帮助幼儿更快地发声，认识这个世界。
目前，人工智能技术是一大热门，该技术已经应用在很多领域，使人类从双手中解放出来。将该技术与早教系统结合起来，同样可以解放婴幼儿的双手，另外这个认知、学习的过程将会变得更有趣、更轻松，将会使早教图画交互系统进入全新的发展阶段。
发明内容
本发明的目的在于提供一种基于眼球驱动与控制的早教图画交互系统，具备用户仅通过眼球注视屏幕指定区域便可实现各种动植物、汉字英文等的发声的优点，解决了现有技术中，早教图画交互系统所有的发音均需要通过用户点击来完成的问题。
为实现上述目的，本发明提供如下技术方案：一种基于眼球驱动与控制的早教图画交互系统，包括早教图画交互系统本体，所述的早教图画交互系统本体包括屏幕、控制器、扬声器以及安装在屏幕中央的摄像头，所述的屏幕、控制器、扬声器以及摄像头之间信号连接。
优选的，所述的摄像头用于实时采集婴幼儿人脸图像，所述的屏幕用于产生标定需要的坐标点和早教图画，所述的控制器用于实时检测用户眼球的眼部特征参数、计算用户注视屏幕坐标点、向扬声器发送指令，所述扬声器用于接收控制器发送的指令，进行发声。
本发明还提供一种基于眼球驱动与控制的早教图画交互系统的使用方法，其特征在于：包括如下步骤：
第一步，用户移动到屏幕面前，使得脸部处于屏幕中央与摄像头位置相对；
第二步，启动系统，在屏幕的显示区依次产生标定点，摄像头分别采集用户注视指定标定点的人脸图像；
第三步，控制器计算所有标定图片中的虹膜中心和眼角，构造眼部特征信息，确定用户眼部特征信息与屏幕显示区物理坐标之间的映射关系；
第四步，标定完毕后，在屏幕的显示区就会出现等分块的功能区域，各等分块的区域用于显示相应的早教图画；
第五步，摄像头会实时采集用户人脸图像传入控制器中，控制器实时定位每帧图像中的虹膜中心和眼角位置，根据标定确定的映射模型实时计算用户眼球注视的屏幕坐标，根据注视点屏幕坐标的范围判断用户正在观看哪一等分块的早教图画；
第六步，控制器发送指令给扬声器，扬声器发出用户正在注视的早教图画的设定声音。
优选的，所述的屏幕竖直固定。
优选的，所述用户可站姿或坐姿使用。
优选的，所述的第六步中，使扬声器发出用户正在注视的早教图画的中英文发音。
与现有技术相比，本发明的有益效果如下：
一、本发明通过上述技术方案，可解决现有技术中，早教图画交互系统所有的发音均需要通过用户点击来完成的问题，使早教系统摆脱了双手的束缚，实现了用户通过眼球即可自主控制早教系统完成各种动、植物、中英文等的发音，更具趣味性。
二、本发明有效克服了现有技术中早教系统交互功能均需要通过点击来完成的问题，并能够实现用户仅通过眼球注视屏幕指定区域便可实现各种动植物、汉字英文等的发声，使早教图画交互系统进入了全新的发展阶段。
附图说明
图1为本发明的一种基于眼球驱动与控制的早教图画交互系统的结构及原理示意图；
图2为本发明的早教图画交互系统的工作原理流程图
图中：101—屏幕；102—摄像头；103—控制器；104—扬声器；105—虹膜中心在眼球中的相对位置关系。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1至图2，本发明提供一种技术方案：一种基于眼球驱动与控制的早教图画交互系统，包括早教图画交互系统本体，所述的早教图画交互系统本体包括屏幕101、控制器103、扬声器104以及安装在屏幕101中央的摄像头102，所述的屏幕101、控制器103、扬声器104以及摄像头102之间信号连接。
优选的，所述的摄像头102用于实时采集婴幼儿人脸图像，所述的屏幕101用于产生标定需要的坐标点和早教图画，所述的控制器103用于实时检测用户眼球的眼部特征参数、计算用户注视屏幕101坐标点、向扬声器104发送指令，所述扬声器104用于接收控制器103发送的指令，进行发声。
本发明还提供一种基于眼球驱动与控制的早教图画交互系统的使用方法，包括如下步骤：
第一步，用户移动到屏幕101面前，使得脸部处于屏幕101中央与摄像头102位置相对；
第二步，启动系统，在屏幕101的显示区依次产生标定点，摄像头102分别采集用户注视指定标定点的人脸图像；
第三步，控制器103计算所有标定图片中的虹膜中心和眼角，构造眼部特征信息，确定用户眼部特征信息与屏幕101显示区物理坐标之间的映射关系；
第四步，标定完毕后，在屏幕101的显示区就会出现等分块的功能区域，各等分块的区域用于显示相应的早教图画；
第五步，摄像头102会实时采集用户人脸图像传入控制器103中，控制器103实时定位每帧图像中的虹膜中心和眼角位置，根据标定确定的映射模型实时计算用户眼球注视的屏幕101坐标，根据注视点屏幕101坐标的范围判断用户正在观看哪一等分块的早教图画；
第六步，控制器103发送指令给扬声器104，扬声器104发出用户正在注视的早教图画的设定声音。
优选的，所述的屏幕101竖直固定。
优选的，所述用户可站姿或坐姿使用。
优选的，所述的第六步中，使扬声器104发出用户正在注视的早教图画的中英文发音。
如图1所示，本发明的实施例的一种基于眼球驱动与控制的早教图画交互系统，包括早教图画交互系统本体，所述早教图画交互系统本体主要包括屏幕101、控制器103、扬声器104，所述屏幕101中间安装有一个摄像头102，所述屏幕101、控制器103与扬声器104之间使用线缆连接。
在上述技术方案中，所述屏幕101可固定在墙壁上，所述屏幕101在使用过程中相对于用户保持静止，所述屏幕101用于产生标定需要的坐标点和早教图画，早教图画可以是动物、植物、汉字、英文等各种抽象形象；
在上述技术方案中，所述摄像头102用于实时采集婴幼儿人脸图像；
在上述技术方案中，所述控制器103用于实时检测用户眼球的眼部特征参数、计算用户注视屏幕101坐标点、向扬声器104发送指令等过程。
在上述技术方案中，所述扬声器104用于接收控制器103发送的指令，完成各种语音的发声。
用户主要是0-3岁的儿童，本发明所称的“注视”表示为目光停留在某一功能区域一段时间，该段时间可通过摄像机收录图像帧数计算，判断是否注视某一功能区域至少包括2帧或以上的相同人脸图像。
使用时，如图1、图2所示，用户站立在屏幕101面前，调整位置使得脸部大致相对于屏幕101中央，启动系统，在屏幕101的显示区依次产生标定点，摄像头102分别采集用户注视指定标定点的人脸图像，控制器103计算所有标定图片中的虹膜中心和眼角，从而构造眼部特征信息，进而确定用户眼部特征信息与屏幕101显示区物理坐标之间的映射关系，标定完毕后，在屏幕101的显示区就会出现16块功能区域，摄像头102会实时采集用户人脸图像传入控制器103中，控制器103实时定位每帧图像中的虹膜中心和眼角位置，根据标定确定的映射模型实时计算用户眼球注视的屏幕101坐标，根据注视点屏幕101坐标的范围判断用户正在观看哪一种早教图画。
在上述技术方案中，如果用户正在注视狗的图画区域，控制器103判断出此时用户的屏幕101注视点坐标在“狗”功能区域的坐标范围内，此时虹膜中心在眼眶中的位置为左上角，便会向扬声器104发送对应指令，用户便会听到扬声器104中传出“狗”的中英文发音以及叫声；发出对应的中英文发音及叫声
通过上述技术方案，可解决现有技术中，早教图画交互系统所有的发音均需要通过用户点击来完成的问题，使早教系统摆脱了双手的束缚，实现了用户通过眼球即可自主控制早教系统完成各种动、植物、中英文等的发音，趣味性十足。
以上结合附图详细说明了本发明的技术方案，本发明的技术方案提出了一种基于眼球驱动与控制的新型早教图画交互系统，有效克服了现有技术中早教系统交互功能均需要通过点击来完成的问题，并能够实现用户仅通过眼球注视屏幕指定区域便可实现各种动植物、汉字英文等的发声，使早教图画交互系统进入了全新的发展阶段。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于眼球驱动与控制的早教图画交互系统，包括早教图画交互系统本体，其特征在于：所述的早教图画交互系统本体包括屏幕(101)、控制器(103)、扬声器(104)以及安装在屏幕(101)中央的摄像头(102)，所述的屏幕(101)、控制器(103)、扬声器(104)以及摄像头(102)之间信号连接。
2.根据权利要求1所述的一种基于眼球驱动与控制的早教图画交互系统，其特征在于：所述的摄像头(102)用于实时采集婴幼儿人脸图像，所述的屏幕(101)用于产生标定需要的坐标点和早教图画，所述的控制器(103)用于实时检测用户眼球的眼部特征参数、计算用户注视屏幕(101)坐标点、向扬声器(104)发送指令，所述扬声器(104)用于接收控制器(103)发送的指令，进行发声。
3.一种基于眼球驱动与控制的早教图画交互系统的使用方法，其特征在于：包括如下步骤：
第一步，用户移动到屏幕(101)面前，使得脸部处于屏幕(101)中央与摄像头(102)位置相对；
第二步，启动系统，在屏幕(101)的显示区依次产生标定点，摄像头(102)分别采集用户注视指定标定点的人脸图像；
第三步，控制器(103)计算所有标定图片中的虹膜中心和眼角，构造眼部特征信息，确定用户眼部特征信息与屏幕(101)显示区物理坐标之间的映射关系；
第四步，标定完毕后，在屏幕(101)的显示区就会出现等分块的功能区域，各等分块的区域用于显示相应的早教图画；
第五步，摄像头(102)会实时采集用户人脸图像传入控制器(103)中，控制器(103)实时定位每帧图像中的虹膜中心和眼角位置，根据标定确定的映射模型实时计算用户眼球注视的屏幕(101)坐标，根据注视点屏幕(101)坐标的范围判断用户正在观看哪一等分块的早教图画；
第六步，控制器(103)发送指令给扬声器(104)，扬声器(104)发出用户正在注视的早教图画的设定声音。
4.根据权利要求3所述的基于眼球驱动与控制的早教图画交互系统的使用方法，其特征在于：所述的屏幕(101)竖直固定。
5.根据权利要求4所述的基于眼球驱动与控制的早教图画交互系统的使用方法，其特征在于：所述用户可站姿或坐姿使用。
6.根据权利要求3-5任意一项所述的基于眼球驱动与控制的早教图画交互系统的使用方法，其特征在于：所述的第六步中，使扬声器(104)发出用户正在注视的早教图画的中英文发音。
CN202010185568.0A 2020-03-17 2020-03-17 一种基于眼球驱动与控制的早教图画交互系统 Pending CN111399648A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010185568.0A CN111399648A (zh) 2020-03-17 2020-03-17 一种基于眼球驱动与控制的早教图画交互系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010185568.0A CN111399648A (zh) 2020-03-17 2020-03-17 一种基于眼球驱动与控制的早教图画交互系统

Publications (1)

Publication Number Publication Date
CN111399648A true CN111399648A (zh) 2020-07-10

Family

ID=71434296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010185568.0A Pending CN111399648A (zh) 2020-03-17 2020-03-17 一种基于眼球驱动与控制的早教图画交互系统

Country Status (1)

Country Link
CN (1) CN111399648A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204257027U (zh) * 2014-11-13 2015-04-08 成都市思码特科技有限公司 一种英语教学用有声挂图
CN104866100A (zh) * 2015-05-27 2015-08-26 京东方科技集团股份有限公司 眼控装置及其眼控方法和眼控系统
CN104933910A (zh) * 2015-07-08 2015-09-23 杭州问嫂科技有限公司 基于实物图文的视听内容播放方法及儿童早教机
JP2017023343A (ja) * 2015-07-21 2017-02-02 株式会社三洋物産 遊技機

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204257027U (zh) * 2014-11-13 2015-04-08 成都市思码特科技有限公司 一种英语教学用有声挂图
CN104866100A (zh) * 2015-05-27 2015-08-26 京东方科技集团股份有限公司 眼控装置及其眼控方法和眼控系统
CN104933910A (zh) * 2015-07-08 2015-09-23 杭州问嫂科技有限公司 基于实物图文的视听内容播放方法及儿童早教机
JP2017023343A (ja) * 2015-07-21 2017-02-02 株式会社三洋物産 遊技機

Similar Documents

Publication Publication Date Title
CN109731292B (zh) 一种基于虚拟现实技术的平衡能力测试与训练系统及方法
US7404639B2 (en) Apparatus for recovering eyesight utilizing stereoscopic video and method for displaying stereoscopic video
KR20190087912A (ko) 증강현실과 가상현실을 이용한 훈련용 응급처치 시뮬레이션 방법
CN109616179B (zh) 自闭症谱系障碍混合现实康复训练系统及方法
CN108428375A (zh) 一种基于增强现实的教学辅助方法及设备
CN115016648B (zh) 一种全息互动装置及其处理方法
CN111009318A (zh) 一种基于虚拟现实技术的自闭症训练系统、方法及装置
CN207104966U (zh) 一种服务机器人仿生头部
CN110786643A (zh) 一种学生学习保护视力的桌面装置和方法
CN107346178A (zh) 一种视力保护装置及方法
CN102048611A (zh) 一种基于双眼光路分离的虚拟眼罩系统
CN111399648A (zh) 一种基于眼球驱动与控制的早教图画交互系统
CN111450480B (zh) 一种基于vr的踏步机运动平台
CN210402777U (zh) 一种虚拟现实教学设备
CN113096805B (zh) 一种自闭症情绪认知与干预系统
CN111667906B (zh) 一种眼球结构虚拟教学系统及其数字模型建立方法
CN201987843U (zh) 虚拟眼罩
CN201681500U (zh) 闪卡教学装置
KR100445846B1 (ko) 대인 공포증 치료를 위한 가상 연설 시뮬레이터
KR20080078324A (ko) 자율적 감정표현 로봇 시스템
CN216565407U (zh) 一种带高仿真眼睛显示模块的可视门铃装置
CN216751939U (zh) 一种带高仿真眼睛显示模块的门铃装置
CN114253398B (zh) 一种高仿真生物眼睛互动图像显示模块及方法
CN214724262U (zh) 一种教学辅助机器人
RU122301U1 (ru) Игрушка с динамическим выражением глаз

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200710