CN108777083A - 一种基于增强现实技术的头戴式英语学习设备 - Google Patents

一种基于增强现实技术的头戴式英语学习设备 Download PDF

Info

Publication number
CN108777083A
CN108777083A CN201810659704.8A CN201810659704A CN108777083A CN 108777083 A CN108777083 A CN 108777083A CN 201810659704 A CN201810659704 A CN 201810659704A CN 108777083 A CN108777083 A CN 108777083A
Authority
CN
China
Prior art keywords
data
image
time
module
english
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810659704.8A
Other languages
English (en)
Inventor
王臻
陈鹏
孙志民
郭欣欣
赵乙仰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanyang Institute of Technology
Original Assignee
Nanyang Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanyang Institute of Technology filed Critical Nanyang Institute of Technology
Priority to CN201810659704.8A priority Critical patent/CN108777083A/zh
Publication of CN108777083A publication Critical patent/CN108777083A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明涉及一种基于增强现实技术的头戴式英语学习设备,包括:计时器、AR眼镜(1)、图像采集器(2)、微型投影仪(3)、时间安排录入机构(5)、显示器(6)和中央控制器;本发明将AR技术应用到设备中,通过对现实物体的图像采集,将采集的图像与设备存储的物体图像进行对比,在匹配成功后能够辨识出当前物体的信息,然后在设备内存中提取该物体信息所对应的物体汉语名称和英文单词,将物体汉语名称和英文单词显示在AR眼镜上;实现了图形与英语单词的关联,使得设备能够在任何实际场景中随时完成教学,提高的学习效率;另外,通过对人们的作息时间进行分析,使得英语学习者能够更加理性的安排自己的闲暇时间,充分提高时间的有效利用率。

Description

一种基于增强现实技术的头戴式英语学习设备
技术领域
本发明涉及英语教学设备领域,具体涉及一种基于增强现实技术的头戴式英语学习设备。
背景技术
目前,英语学习得到了越来越多人的重视,从幼儿时期的启蒙到工作中的进修,英语学习无论是在学习还是在工作阶段,均占据着一定比例的时间。幼儿时期的学习比较系统,学生有专门的学习时间和空间,但是对于想要进修和充电的上班族来说,英语学习的条件就相当有限,工作和日常生活已经占用了生活的大部分时间,无法抽出专门的时间进行学习,这在当今快节奏的生活中对成年人来说是很难坚持下来的。另外,没有经过一个系统的学习规划,闲暇时间会被一些非必要的事情占用,从而浪费了学习英语的时间。
而人们在工作日或假日,都会积累较多空闲时间,如果不加以利用反而造成了时间的浪费;如果能充分利用这些空闲时间,不仅能减轻人等待中的焦虑,还能在碎片时间中学习到原汁原味的英语,避免整块时间学习的不方便以及厌烦情绪。而现有英语学习系统通常是在电脑、电视或手机上完成的,并不能适用于车载环境,特别是没有考虑到如何利用闲暇的碎片时间进行学习,更没有考虑到如何兼顾英语学习与工作、生活相互融合。
另外,在英语学习过程中,无论是对口语表达能力,还是对读写能力而言,单词的积累量都是需要克服的首要问题。传统的单词记忆方法是先理解单词的具体含义及用法,然后通过读音标和拼写的方式帮助学习者巩固记忆。但是以此种方法背单词的效率较低,且需要大量的时间进行重复记忆,同时也因枯燥的记忆模式导致学习者产生厌倦心理,进一步降低了学习效率。为此,一些教育机构提供了各种联想记忆法,例如:词根词缀联想记忆法、谐音联想记忆法、词义比较记忆法和图形联想记忆法等等,以快速提高英语单词的记忆速度。而在上述诸多联想记忆方法中,将图形与英语单词相互关联的方式最为有效,是目前最合乎人类的大脑运作模式的记忆法,与其他记忆方式相比效率提高了3-10倍。
目前,图形联想记忆法的运用方式均是以书本上印刷的静态图形或以教学设备播放的预设图像作为教学参考,需要提供特定的时间及环境来完成学习,因此,该方法的应用在学习过程中存在一定的局限性。
发明内容
本发明的目的在于,为解决现有技术中不存在针对图形联想记忆法应用的英语教学设备,提供一种基于增强现实技术的头戴式英语学习设备,本发明的设备通过运用增强现实技术,将现实场景的实物与英语单词相互关联,能够在任何实际场景中随时完成教学,克服了现有学习模式的局限性;同时该设备能够以人们闲暇的碎片时间安排英语学习,并根据时间对学习策略进行合理规划。
为实现上述目的,本发明提供的一种基于增强现实技术的头戴式英语学习设备,其特征在于,包括:计时器、AR眼镜、图像采集器、微型投影仪、时间安排录入机构、显示器和中央控制器;
所述的计时器用于计时,并在到达预设的计时点时触发时间安排录入机构启动;
所述AR眼镜的两侧镜架上对称设置有至少两个图像采集器,所述的图像采集器用于采集其可视范围内的图像,并将生成的图像数据发送至中央控制器;
所述的时间安排录入机构与显示器连接,在启动时通过显示器向使用者发送提示信息,并记录由使用者按提示信息输入的时间安排数据,所述的提示信息为请求使用者输送时间安排数据的消息,所述的时间安排数据为记录使用者在各时间段对应的处理事务、事务重要性信息;
所述中央控制器的信号输入端与时间安排录入机构连接,用于接收时间安排数据,分析获得供英语学习的碎片时间,在各段碎片时间中驱动图像采集器进行图像采集,然后从采集获得的图像数据中对物体进行特征提取,通过对特征数据进行分析后以辨识出物体信息,并将物体信息所对应的物体汉语名称和英文单词进行图像转化,获得虚拟显示对象,结合真实场景对虚拟显示对象进行渲染,并通过微型投影仪将渲染后的虚拟显示对象进行投影,该中央控制器还用于从接收的图像数据中识别出人体的手势数据,通过对手势数据进行分析后生成对应的动作数据,并利用该动作数据执行人机交互操作;
所述微型投影仪的信号输入端与中央控制器连接,该微型投影仪的投射端与AR眼镜上设置的半透射镜相对,用于将中央控制器输出的图像投影至半透射镜上。
作为上述技术方案的进一步改进,所述的图像采集器采用CCD摄像头对图像进行采集。
作为上述技术方案的进一步改进,所述的中央控制器包括:时间分析模块、采集驱动模块、信号处理模块、特征提取模块、物体辨识模块、知识库、图像渲染模块和手势辨识模块;
所述的时间分析模块用于接收时间安排数据,并将各时间段对应的事务重要性与设定的重要性等级进行比较,提取低于重要性等级所对应的时间段作为碎片时间;
所述的采集驱动模块用于接收碎片时间数据,并在各段碎片时间到达时驱动图像采集器进行图像采集;
所述信号处理模块用于接收图像采集器输出的图像信号,并将图像信号进行处理,生成供特征提取模块识别的图像数据;
所述的特征提取模块用于在图像数据中识别出物体的特征数据,并将获得的特征数据发送至物体辨识模块,所述的特征数据包括物体的颜色、纹理、轮廓和立体形状数据;
所述的物体辨识模块将特征数据与知识库中存储的特征组合序列进行匹配,提取经匹配的特征组合序列所对应的物体汉语名称及英文单词;
所述的知识库用于存储各种特征组合序列,所述的特征组合序列包括由物体的颜色、纹理、轮廓和立体形状数据组成的特征组合及其对应的物体汉语名称和英文单词;
所述的图像渲染模块用于将匹配获得的物体汉语名称和英文单词进行图像转化,获得虚拟显示对象,并结合真实场景中物体的位置选定虚拟显示对象的显示位置,同时根据真实场景图像帧中的亮度对虚拟显示对象进行光照渲染;
所述的手势辨识模块用于在图像数据中识别出人体的手势数据,并通过对手势数据进行分析后生成对应的动作数据,并以动作数据控制中央控制器的运行。
作为上述技术方案的进一步改进,所述的信号处理模块包括:A/D转换器、信号放大器和滤波器,用于将图像采集器输出的信号依次进行模数转换、放大和滤波处理。
作为上述技术方案的进一步改进,所述的中央控制器还包括学习模式选择模块,所述的学习模式选择模块内设置有若干个学习模式,用于将物体辨识模块匹配获得的物体汉语名称和英文单词与用户选定的学习模式相比较,如果在学习模式中存在该匹配获得的物体汉语名称和英文单词,则将物体汉语名称和英文单词输出至图像渲染模块,否则不输出该匹配获得的物体汉语名称和英文单词;
所述的学习模式是按照不同等级的知识水平对知识库中存储的所有特征组合序列进行划分,并组合成对应的物体汉语名称及英语单词集合。
作为上述技术方案的进一步改进,所述的知识库还存储与英文单词关联的音标、例句和思维导图数据;
所述的物体辨识模块还用于提取与英文单词关联的音标、例句和思维导图数据,并发送至图像渲染模块;
所述的图像渲染模块还用于将接收到的音标、例句和思维导图数据进行图像转化,获得虚拟显示对象,并结合真实场景中物体的位置选定虚拟显示对象的显示位置,同时根据真实场景图像帧中的亮度对虚拟显示对象进行光照渲染;
所述的思维导图数据是以匹配获得的英文单词为核心,将与其属性相关的所有英文单词构建得到的关联图。
作为上述技术方案的进一步改进,所述的时间安排录入机构为键盘式结构,所述的时间安排录入机构与计时器、显示器为一体集成式结构,该时间安排录入机构与中央控制器采用无线传输方式连接。
本发明提供的一种基于增强现实技术的头戴式英语学习设备优点在于:
本发明将AR技术应用到英语学习设备中,通过对现实物体的图像采集,并将采集的图像与设备存储的物体图像进行对比,在匹配成功后能够辨识出当前物体的信息,此时即可在设备内存中提取该物体信息所对应的物体汉语名称和英文单词,这些英文单词就是学习者需要记住的;为此,将物体汉语名称和英文单词进行图像转化,获得虚拟显示对象,结合真实场景将虚拟显示对象直接显示在AR眼镜上;由此实现了图形与英语单词的关联,能够在任何实际场景中随时完成教学,克服了现有学习模式的局限性,提高了学习效率;另外,本设备通过对人们的作息时间进行分析,能够在人们的日常生活中提取可供英语学习的空闲时间,使得英语学习者能够更加理性的安排自己的闲暇时间,尽量减少不必要的活动安排,争取获得更多的有效时间来进行英语学习,充分提高时间的有效利用率。
附图说明
图1为本发明提供的一种基于增强现实技术的头戴式英语学习设备结构示意图;
图2为利用本发明的英语学习设备完成时间规划操作示意图;
图3为本发明一个实施例中提供的中央控制器结构示意图;
图4为本发明另一个实施例中提供的中央控制器结构示意图;
图5为本发明实施例中提供的信号处理模块结构示意图;
图6a为本发明实施例中提供的AR眼镜佩戴示意图;
图6b为本发明实施例中提供的AR眼镜外部结构示意图。
图7为本发明实施例中提供的一体集成式结构的时间安排录入机构外形示意图;
图8为本发明图7中示出的时间安排录入机构侧视图。
附图标记
1、AR眼镜 2、图像采集器
3、微型投影仪 4、半透射镜
5、时间安排录入机构 6、显示器
7、手带 8、耳机接口
9、USB接口
具体实施方式
下面结合附图和实施例对本发明所述的一种基于增强现实技术的头戴式英语学习设备进行详细说明。
如图1所示,本发明提供的一种基于增强现实技术的头戴式英语学习设备,该设备具体包括:计时器、AR眼镜、图像采集器、微型投影仪、时间安排录入机构、显示器和中央控制器。
如图6b所示,所述AR眼镜1的两侧镜架上对称设置有至少两个图像采集器2,所述的图像采集器2用于采集其可视范围内的图像,并将生成的图像数据发送至中央控制器;
所述的时间安排录入机构与显示器连接,在启动时通过显示器向使用者发送提示信息,并记录由使用者按提示信息输入的时间安排数据,所述的提示信息为请求使用者输送时间安排数据的消息,所述的时间安排数据为记录使用者在各时间段对应的处理事务、事务重要性信息;
所述中央控制器的信号输入端与时间安排录入机构连接,用于接收时间安排数据,分析获得供英语学习的碎片时间,在各段碎片时间中驱动图像采集器进行图像采集,然后从采集获得的图像数据中对物体进行特征提取,通过对特征数据进行分析后以辨识出物体信息,并将物体信息所对应的物体汉语名称和英文单词进行图像转化,获得虚拟显示对象,结合真实场景对虚拟显示对象进行渲染,并通过微型投影仪将渲染后的虚拟显示对象进行投影,该中央控制器还用于从接收的图像数据中识别出人体的手势数据,通过对手势数据进行分析后生成对应的动作数据,并利用该动作数据执行人机交互操作;
所述微型投影仪的信号输入端与中央控制器连接,如图6b所示,该微型投影仪3的投射端与AR眼镜1上设置的半透射镜4相对,用于将中央控制器输出的图像投影至半透射镜4上,并由半透射镜4将虚拟显示对象反射至人的眼部;
所述的半透射镜4能够使微型投影仪3射出的光进行反射,而使外界环境入射的光进行透射,从而将真实场景与虚拟对象在人眼部实现了图像融合。其中,佩戴AR眼镜的状态如图6a所示。
AR技术作为目前虚拟现实技术的前端体验,在各个行业有着广泛的应用。它是一种图像处理的概念,与相关视觉工具相互结合便成为一门技术,也就是人们常说的增强现实。这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动,在实现效果上需要将摄像头等多媒体、传感器与场景融合,增强现实技术不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来,两种信息相互补充、叠加。
本发明将上述AR技术应用到英语学习设备中,通过对现实物体的图像采集,并将采集的图像与设备存储的物体图像进行对比,在匹配成功后能够辨识出当前物体的信息,此时即可在设备内存中提取该物体信息所对应的物体汉语名称和英文单词,这些英文单词就是学习者需要记住的;为此,将物体汉语名称和英文单词进行图像转化,获得虚拟显示对象,结合真实场景将虚拟显示对象直接显示在AR眼镜上;由此实现了图形与英语单词的关联。
相比于现有的诸多教学设备,利用本发明的设备进行英语学习,使用者不需要在固定的时间或地点专注于学习,仅需佩戴可移动的AR视觉眼镜,在日常生活环境内行走即可随时观察到图像化的、与现实物体相关联的英语知识。与此同时,结合人体手势的感知功能,能够实现人机交互操作,便于生产者手动控制设备的运行。
另外,本发明的英语学习设备通过分析学习者每天的时间使用情况,以确定其在非睡眠时间段内闲暇时间的活动安排。对于上班族而言,主要包括工作日和周末/节假日两种时间段。
在工作日的非工作时间段,通过本发明的计时器可设定好提示的时间段,每隔一个小时采用语音提示或信息显示的方式提问学习者,之前的一个小时在做什么,让学习者自己做出判断,学习者使用语音回答或在时间安排录入机构上输入的方式给与选择和反馈,标记出当前时间段做了什么事务,该事务是否属于必要事件,可否利用这个时间段来学习英语。做出明确判断后,设备会在该时间段上给与记录,并将该时间段标记为是否可以规划到英语的学习时间。
在周末或节假日时间段,通过本发明的计时器同样可设定好提示的时间段,在规定的间隔时间内采用语音提示或信息显示的方式提问学习者,之前一段时间在做什么,标记所述事务的重要性,可否利用这个时间段来学习英语。做出明确判断后,设备会在该时间段上给与记录,并将该时间段标记为是否可以规划到英语的学习时间。
如图2所示,为利用本发明的设备按照上述规则实现时间规划的示意图,图中阴影部分表示已规划出的、可供英语学习的碎片时间。
利用本发明的英语学习设备所提供的上述时间规划功能,使得英语学习者能够更加理性的安排自己的闲暇时间,尽量减少不必要的活动安排,争取获得更多的有效时间来进行英语学习。
为了实现上述中央控制器的智能控制功能,如图3所示,本实施例中的中央控制器可包括:时间分析模块、采集驱动模块、信号处理模块、特征提取模块、物体辨识模块、知识库、图像渲染模块和手势辨识模块。
所述的时间分析模块用于接收时间安排数据,并将各时间段对应的事务重要性与设定的重要性等级进行比较,提取低于重要性等级所对应的时间段作为碎片时间;
所述的采集驱动模块用于接收碎片时间数据,并在各段碎片时间到达时驱动图像采集器进行图像采集;
所述信号处理模块用于接收图像采集器输出的图像信号,并将图像信号进行处理,生成供特征提取模块识别的图像数据;
所述的特征提取模块用于在图像数据中识别出物体的特征数据,并将获得的特征数据发送至物体辨识模块,所述的特征数据包括物体的颜色、纹理、轮廓和立体形状数据;
所述的物体辨识模块将特征数据与知识库中存储的特征组合序列进行匹配,提取经匹配的特征组合序列所对应的物体汉语名称及英文单词;
所述的知识库用于存储各种特征组合序列,所述的特征组合序列包括由物体的颜色、纹理、轮廓和立体形状数据组成的特征组合及其对应的物体汉语名称和英文单词;
所述的图像渲染模块用于将匹配获得的物体汉语名称和英文单词进行图像转化,获得虚拟显示对象,并结合真实场景中物体的位置选定虚拟显示对象的显示位置,同时根据真实场景图像帧中的亮度对虚拟显示对象进行光照渲染;
所述的手势辨识模块用于在图像数据中识别出人体的手势数据,并通过对手势数据进行分析后生成对应的动作数据,并以动作数据控制中央控制器的运行。
如图4所示,在本发明的另一个实施例中,所述的中央控制器还可包括学习模式选择模块,所述的学习模式选择模块内设置有若干个学习模式,用于将物体辨识模块匹配获得的物体汉语名称和英文单词与用户选定的学习模式相比较,如果在学习模式中存在该匹配获得的物体汉语名称和英文单词,则将物体汉语名称和英文单词输出至图像渲染模块,否则不输出该匹配获得的物体汉语名称和英文单词;
所述的学习模式是按照不同等级的知识水平对知识库中存储的所有特征组合序列进行划分,并组合成对应的物体汉语名称及英语单词集合。
对于不同的人群而言,会存在不同的学习需求;为此,本发明的设备以不同的知识水平将英语单词划分成多个集合;例如:针对学生考试可划分成符合小学英语、初中英语、高中英语、大学四级考试、大学六级考试、专业四级考试、专业八级考试、托福考试、雅思考试等多种词汇集,针对上班族可划分成符合日常交际用语、商业交流用语、技术专业用语等多种词汇集。学习者可根据自身的需求和知识水平的等级,选择对应的学习模式;在模式选定后,设备会只输出模式中存在的词汇,对于匹配获得的超范围词汇不予显示,实现了个性化的教学功能。
另外,如图5所示,本发明设备中的图像采集器可采用CCD摄像头对图像进行采集。CCD是Charge Coupled Device(电荷耦合器件)的缩写,它是一种半导体成像器件,因而具有灵敏度高、抗强光、畸变小、体积小、寿命长、抗震动等优点;另外,本发明通过运用CCD摄像头实现图像采集,能够获得分辨率较高的清晰图像,为中央控制器后续的数据分析提供保障。
如图5所示,所述的信号处理模块可通过设置的A/D转换器,将其接收的模拟信号转换为供特征提取模块及手势辨识模块识别的数字信号;同时,为了降低信号的噪声干扰,提高信号的探测精度,所述的信号处理模块还可包括信号放大器和滤波器,用于将图像采集器输出的信号进行放大和滤波处理。
另外,为了进一步提高英语知识的记忆效率,所述的知识库还存储与英文单词关联的音标、例句和思维导图数据。
为此,所述的物体辨识模块还用于提取与英文单词关联的音标、例句和思维导图数据,并发送至图像渲染模块;所述的图像渲染模块还用于将接收到的音标、例句和思维导图数据进行图像转化,获得虚拟显示对象,并结合真实场景中物体的位置选定虚拟显示对象的显示位置,同时根据真实场景图像帧中的亮度对虚拟显示对象进行光照渲染。本发明的设备将多维度的信息与英语单词相关联,能够进一步加深学习者对英语知识的理解,同时提高其词汇运用能力。
上述思维导图又叫心智导图,是表达发散性思维的有效图形思维工具,它简单却又很有效。思维导图运用图文并重的技巧,把各级主题的关系用相互隶属与相关的层级图表现出来,把主题关键词与图像、颜色等建立记忆链接。思维导图充分运用左右脑的机能,利用记忆、阅读、思维的规律,协助人们在科学与艺术、逻辑与想象之间平衡发展,从而开启人类大脑的无限潜能,思维导图因此具有人类思维的强大功能。
另外,思维导图是一种将思维形象化的方法。我们知道放射性思考是人类大脑的自然思考方式,每一种进入大脑的资料,不论是感觉、记忆或是想法——包括文字、数字、符码、香气、食物、线条、颜色、意象、节奏、音符等,都可以成为一个思考中心,并由此中心向外发散出成千上万的关节点,每一个关节点代表与中心主题的一个连结,而每一个连结又可以成为另一个中心主题,再向外发散出成千上万的关节点,呈现出放射性立体结构。
运用思维导图来记忆的精髓在于,平衡人大脑左脑和右脑的运用,刺激出大脑中的潜能,将存在于大脑中的信息变成可视化的图文进行记忆,因为人脑对于图文信息的接受记忆能力要比单独的文字高出近百倍,其中最需要大量记忆的莫过于英语单词。
基于上述思维导图的原理,本发明提供的用于学习的导图数据是以匹配获得的英文单词为核心,将与其属性相关的所有英文单词构建得到的关联图,通过设置思维导图,能够在提高记忆速度的同时帮助学习者对学习的知识进行扩展。
此外,如图7所示,所述的时间安排录入机构5可为键盘式结构,为了提高设备的便携性,所述的时间安排录入机构5与计时器(未图示)、显示器6为一体集成式结构,并通过设置的手带7以佩戴手表的方式套在手腕上。如图8所示,本实例中设计的设备在侧面还设置有耳机接口8,方便与耳机连接;同时还设置有USB接口9,以便将准备好的教学数据传输至设备内置的存储器,并可提供充电功能,使设备更易携带和使用。所述的时间安排录入机构5与中央控制器(未图示)之间可采用无线传输方式连接,以避免数据线传输方式带来的不便。
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,对本发明的技术方案进行修改或者等同替换,都不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于增强现实技术的头戴式英语学习设备,其特征在于,包括:计时器、AR眼镜(1)、图像采集器(2)、微型投影仪(3)、时间安排录入机构(5)、显示器(6)和中央控制器;
所述的计时器用于计时,并在到达预设的计时点时触发时间安排录入机构(5)启动;
所述AR眼镜(1)的两侧镜架上对称设置有至少两个图像采集器(2),所述的图像采集器(2)用于采集其可视范围内的图像,并将生成的图像数据发送至中央控制器;
所述的时间安排录入机构(5)与显示器(6)连接,在启动时通过显示器(6)向使用者发送提示信息,并记录由使用者按提示信息输入的时间安排数据,所述的提示信息为请求使用者输送时间安排数据的消息,所述的时间安排数据为记录使用者在各时间段对应的处理事务、事务重要性信息;
所述中央控制器的信号输入端与时间安排录入机构(5)连接,用于接收时间安排数据,分析获得供英语学习的碎片时间,在各段碎片时间中驱动图像采集器(2)进行图像采集,然后从采集获得的图像数据中对物体进行特征提取,通过对特征数据进行分析后以辨识出物体信息,并将物体信息所对应的物体汉语名称和英文单词进行图像转化,获得虚拟显示对象,结合真实场景对虚拟显示对象进行渲染,并通过微型投影仪(3)将渲染后的虚拟显示对象进行投影,该中央控制器还用于从接收的图像数据中识别出人体的手势数据,通过对手势数据进行分析后生成对应的动作数据,并利用该动作数据执行人机交互操作;
所述微型投影仪(3)的信号输入端与中央控制器连接,该微型投影仪(3)的投射端与AR眼镜(1)上设置的半透射镜(4)相对,用于将中央控制器输出的图像投影至半透射镜(4)上。
2.根据权利要求1所述的基于增强现实技术的头戴式英语学习设备,其特征在于,所述的图像采集器采用CCD摄像头对图像进行采集。
3.根据权利要求1所述的基于增强现实技术的头戴式英语学习设备,其特征在于,所述的中央控制器包括:时间分析模块、采集驱动模块、信号处理模块、特征提取模块、物体辨识模块、知识库、图像渲染模块和手势辨识模块;
所述的时间分析模块用于接收时间安排数据,并将各时间段对应的事务重要性与设定的重要性等级进行比较,提取低于重要性等级所对应的时间段作为碎片时间;
所述的采集驱动模块用于接收碎片时间数据,并在各段碎片时间到达时驱动图像采集器进行图像采集;
所述信号处理模块用于接收图像采集器输出的图像信号,并将图像信号进行处理,生成供特征提取模块识别的图像数据;
所述的特征提取模块用于在图像数据中识别出物体的特征数据,并将获得的特征数据发送至物体辨识模块,所述的特征数据包括物体的颜色、纹理、轮廓和立体形状数据;
所述的物体辨识模块将特征数据与知识库中存储的特征组合序列进行匹配,提取经匹配的特征组合序列所对应的物体汉语名称及英文单词;
所述的知识库用于存储各种特征组合序列,所述的特征组合序列包括由物体的颜色、纹理、轮廓和立体形状数据组成的特征组合及其对应的物体汉语名称和英文单词;
所述的图像渲染模块用于将匹配获得的物体汉语名称和英文单词进行图像转化,获得虚拟显示对象,并结合真实场景中物体的位置选定虚拟显示对象的显示位置,同时根据真实场景图像帧中的亮度对虚拟显示对象进行光照渲染;
所述的手势辨识模块用于在图像数据中识别出人体的手势数据,并通过对手势数据进行分析后生成对应的动作数据,并以动作数据控制中央控制器的运行。
4.根据权利要求3所述的基于增强现实技术的头戴式英语学习设备,其特征在于,所述的信号处理模块包括:A/D转换器、信号放大器和滤波器,用于将图像采集器输出的信号依次进行模数转换、放大和滤波处理。
5.根据权利要求3所述的基于增强现实技术的头戴式英语学习设备,其特征在于,所述的中央控制器还包括学习模式选择模块,所述的学习模式选择模块内设置有若干个学习模式,用于将物体辨识模块匹配获得的物体汉语名称和英文单词与用户选定的学习模式相比较,如果在学习模式中存在该匹配获得的物体汉语名称和英文单词,则将物体汉语名称和英文单词输出至图像渲染模块,否则不输出该匹配获得的物体汉语名称和英文单词;
所述的学习模式是按照不同等级的知识水平对知识库中存储的所有特征组合序列进行划分,并组合成对应的物体汉语名称及英语单词集合。
6.根据权利要求3所述的基于增强现实技术的头戴式英语学习设备,其特征在于,所述的知识库还存储与英文单词关联的音标、例句和思维导图数据;
所述的物体辨识模块还用于提取与英文单词关联的音标、例句和思维导图数据,并发送至图像渲染模块;
所述的图像渲染模块还用于将接收到的音标、例句和思维导图数据进行图像转化,获得虚拟显示对象,并结合真实场景中物体的位置选定虚拟显示对象的显示位置,同时根据真实场景图像帧中的亮度对虚拟显示对象进行光照渲染;
所述的思维导图数据是以匹配获得的英文单词为核心,将与其属性相关的所有英文单词构建得到的关联图。
7.根据权利要求1所述的基于增强现实技术的头戴式英语学习设备,其特征在于,所述的时间安排录入机构(5)为键盘式结构,所述的时间安排录入机构(5)与计时器、显示器(6)为一体集成式结构,该时间安排录入机构(5)与中央控制器采用无线传输方式连接。
CN201810659704.8A 2018-06-25 2018-06-25 一种基于增强现实技术的头戴式英语学习设备 Pending CN108777083A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810659704.8A CN108777083A (zh) 2018-06-25 2018-06-25 一种基于增强现实技术的头戴式英语学习设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810659704.8A CN108777083A (zh) 2018-06-25 2018-06-25 一种基于增强现实技术的头戴式英语学习设备

Publications (1)

Publication Number Publication Date
CN108777083A true CN108777083A (zh) 2018-11-09

Family

ID=64026368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810659704.8A Pending CN108777083A (zh) 2018-06-25 2018-06-25 一种基于增强现实技术的头戴式英语学习设备

Country Status (1)

Country Link
CN (1) CN108777083A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599820A (zh) * 2019-08-19 2019-12-20 南京旅游职业学院 一种基于虚拟现实技术的烹饪英语专业词汇达标系统
CN110634338A (zh) * 2019-09-25 2019-12-31 北京艾斯酷科技有限公司 一种交互式英语单词学习方法及系统
CN111292587A (zh) * 2018-12-10 2020-06-16 塔普翊海(上海)智能科技有限公司 算盘、算盘教学系统及基于ar显示设备的算盘教学方法
CN111741162A (zh) * 2020-06-01 2020-10-02 广东小天才科技有限公司 背诵提示方法及电子设备、计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102968915A (zh) * 2012-10-23 2013-03-13 中国石油化工股份有限公司 化工设备培训管理装置、设备知识库及培训管理系统
CN103154972A (zh) * 2010-10-13 2013-06-12 高通股份有限公司 基于文本的3d扩增实境
CN107037589A (zh) * 2017-03-30 2017-08-11 河南工学院 一种场景式外文翻译和学习系统
CN107798932A (zh) * 2017-12-08 2018-03-13 快创科技(大连)有限公司 一种基于ar技术的早教训练系统
CN207253468U (zh) * 2017-03-23 2018-04-20 郑州诚优成电子科技有限公司 学习式增强现实视力康复装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103154972A (zh) * 2010-10-13 2013-06-12 高通股份有限公司 基于文本的3d扩增实境
CN102968915A (zh) * 2012-10-23 2013-03-13 中国石油化工股份有限公司 化工设备培训管理装置、设备知识库及培训管理系统
CN207253468U (zh) * 2017-03-23 2018-04-20 郑州诚优成电子科技有限公司 学习式增强现实视力康复装置
CN107037589A (zh) * 2017-03-30 2017-08-11 河南工学院 一种场景式外文翻译和学习系统
CN107798932A (zh) * 2017-12-08 2018-03-13 快创科技(大连)有限公司 一种基于ar技术的早教训练系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292587A (zh) * 2018-12-10 2020-06-16 塔普翊海(上海)智能科技有限公司 算盘、算盘教学系统及基于ar显示设备的算盘教学方法
CN110599820A (zh) * 2019-08-19 2019-12-20 南京旅游职业学院 一种基于虚拟现实技术的烹饪英语专业词汇达标系统
CN110634338A (zh) * 2019-09-25 2019-12-31 北京艾斯酷科技有限公司 一种交互式英语单词学习方法及系统
CN111741162A (zh) * 2020-06-01 2020-10-02 广东小天才科技有限公司 背诵提示方法及电子设备、计算机可读存储介质
CN111741162B (zh) * 2020-06-01 2021-08-20 广东小天才科技有限公司 背诵提示方法及电子设备、计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN108777083A (zh) 一种基于增强现实技术的头戴式英语学习设备
CN108665744A (zh) 一种智能化的英语辅助学习系统
CN110991381B (zh) 一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法
CN108922274A (zh) 一种多功能应用的英语辅助学习系统
CN108877344A (zh) 一种基于增强现实技术的多功能英语学习系统
Schiel et al. The SmartKom Multimodal Corpus at BAS.
CN108877340A (zh) 一种基于增强现实技术的智能化英语辅助学习系统
CN107030691A (zh) 一种看护机器人的数据处理方法及装置
CN106200886A (zh) 一种基于语言交互操控的移动智能玩具及玩具使用方法
CN110349667A (zh) 结合调查问卷及多模态范式行为数据分析的孤独症评估系统
CN106408480A (zh) 基于增强现实、语音识别的国学三维交互学习系统及方法
CN201453284U (zh) 一种心理治疗系统
CN109493652A (zh) 基于vr技术的实践教学系统
CN113835522A (zh) 手语视频生成、翻译、客服方法、设备和可读介质
CN103745423B (zh) 一种口型示教系统与示教方法
CN108877311A (zh) 一种基于增强现实技术的英语学习系统
CN110534180A (zh) 深度学习人机互适应运动想象脑机接口系统和训练方法
CN114446109B (zh) 多功能交互式推拿教学系统
CN110930780A (zh) 基于虚拟现实技术的自闭症虚拟教学系统、方法及设备
CN115525144A (zh) 一种基于虚拟现实的多对象交互设备及其交互方法
Rudowicz et al. On Ng's why asians are less creative than westerners
CN201986001U (zh) 口型识别输入移动终端
CN111695496A (zh) 一种智能互动学习方法、学习编程方法及机器人
CN104010014A (zh) 工作学习应用机器人
CN107680421A (zh) 用于思想政治教育的教学系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181109