CN108153415A - 虚拟现实语言教学交互方法和虚拟现实设备 - Google Patents

虚拟现实语言教学交互方法和虚拟现实设备 Download PDF

Info

Publication number
CN108153415A
CN108153415A CN201711405702.8A CN201711405702A CN108153415A CN 108153415 A CN108153415 A CN 108153415A CN 201711405702 A CN201711405702 A CN 201711405702A CN 108153415 A CN108153415 A CN 108153415A
Authority
CN
China
Prior art keywords
voice
user
virtual
language
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711405702.8A
Other languages
English (en)
Inventor
曾桓正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Optical Technology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN201711405702.8A priority Critical patent/CN108153415A/zh
Publication of CN108153415A publication Critical patent/CN108153415A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明实施例提供了一种虚拟现实语言教学交互方法和虚拟现实设备,所述方法包括:展示预先生成的虚拟场景,所述虚拟场景中包括虚拟交互者和多个物体;若接收到用户对所述多个物体的选择操作,则控制所述虚拟交互者以预设语言输出与被选择的物体对应的发音语音,以供所述用户跟读所述发音语音;若接收到所述用户的输入语音,则控制所述虚拟交互者以预设语言输出与所述输入语言相关的反馈语音。通过实施本方案的实施例,可以提高语言教学过程中虚拟现实设备的智能程度,进而对语言的教学提供帮助。

Description

虚拟现实语言教学交互方法和虚拟现实设备
技术领域
本发明涉及虚拟现实技术领域,尤其涉及一种虚拟现实语言教学交互方法和虚拟现实设备。
背景技术
随着虚拟现实技术的发展,虚拟现实设备逐渐被应用到语言教学的过程中。虚拟现实设备可以帮助语言学习者学习语言,具体过程体现为:学习者需要先听设备所发出的语音,然后跟读。
但是,上述方式的智能程度较低,对于学习者学习语言的帮助不是很大,具体体现为:在上述方式中,学习者只能被动的跟读,同时,这往往不能使学习者主动使用所学习的语言表达自己的意愿。
发明内容
有鉴于此,本发明实施例提供一种虚拟现实语言教学交互方法和虚拟现实设备,用以提高语言教学过程中虚拟现实设备的智能程度,进而更好地对语言的教学提供帮助。
第一方面,本发明实施例提供一种虚拟现实语言教学交互方法,包括:
展示预先生成的虚拟场景,所述虚拟场景中包括虚拟交互者和多个物体;
若接收到用户对所述多个物体的选择操作,则控制所述虚拟交互者以预设语言输出与被选择的物体对应的发音语音,以供所述用户跟读所述发音语音;
若接收到所述用户的输入语音,则控制所述虚拟交互者以预设语言输出与所述输入语言相关的反馈语音。
第二方面,本发明实施例提供一种虚拟现实设备,包括存储器和处理器;
所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现本发明实施例第一方面提供的虚拟现实语言教学交互方法。
第三方面,本发明实施例提供一种存储有计算机程序的计算机可读存储介质,所述计算机程序使计算机执行时实现本发明实施例第一方面提供的虚拟现实语言教学交互方法。
本发明实施例所提供的一种虚拟现实语言教学交互方法和虚拟现实设备,若接收到用户对虚拟场景内物体的选择操作,控制虚拟场景内的虚拟交互者以用户所学习的语言发出与被选择物体对应的语音,以供用户跟读发音语音,若接受到输入语音,则输出与输入语音相关的反馈语音。本实施例中,在教学场景下,通过构建教学所用的包含虚拟交互者和多个物体的虚拟场景,使得用户可以主动选择其中需要学习的物体,进而通过虚拟交互者输出针对用户所选择物体的语音,实现了用户的主动教学需求因此提高了语言教学过程中虚拟现实设备的智能程度,进而更好地对语言的教学提供帮助。进一步地,接收用户的输入语音,以完成与用户的交互。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的虚拟现实语言教学交互方法的流程图;
图2a为在图1所示实施例基础上的一优选流程图;
图2b为在图1所示实施例基础上的另一优选流程图;
图3为本发明实施例提供的虚拟现实语言教学交互装置的结构示意图;
图4为本发明实施例提供的虚拟现实设备的结构示意图;
图5为本发明实施例提供的虚拟现实设备的另一结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
应当理解,尽管在本发明实施例中可能采用术语第一、第二、第三等来描述XXX,但这些XXX不应限于这些术语。这些术语仅用来将XXX区分开。例如,在不脱离本发明实施例范围的情况下,第一XXX也可以被称为第二XXX,类似地,第二XXX也可以被称为第一XXX。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
进一步值得说明的是,本发明各实施例中各步骤之间的顺序是可以调整的,不是必须按照以下举例的顺序执行。
本发明实施例提供的一种虚拟现实语言教学交互方法,可以应用于虚拟现实设备,该虚拟现实设备可以为单/双目虚拟现实眼镜、以及各种形态的头戴设备。具体地,本实施例提供的方法还可以应用于运行在虚拟现实设备上的虚拟现实交互装置,该交互装置可以为语言教学软件,还可以为电子词典软件、翻译软件等相关软件的功能插件。
如图1所示,本发明实施例提供的一种虚拟现实语言教学交互方法,包括如下步骤:
S101:展示预先生成的虚拟场景,虚拟场景中包括虚拟交互者和多个物体。
实际应用中,展示预先生成的虚拟场景,可以为语言学习者建立一个对话情景,进而有助于引导学习语言的用户的思路,更容易使得用户主动通过所学习语言讲出自己的想法。需要说明的是,预先生成的虚拟场景并不唯一,虚拟场景可以包括现实世界中的任意场景,例如教室、商场、游乐场、办公室等等。在用户开始学习语言时,可以响应于用户的选择展示虚拟现实设备中的任一场景;在未接收到用户的选择时可以随机展示虚拟现实设备中的任一场景、或者可以设置默认场景进行展示。相应于虚拟场景的不同,物体的种类也可以有所不同,例如,在办公室中,物体可以包括打印机、计算机、电话、办公桌、日光灯、咖啡机、回形针、传真机等等;在商场场景中,物体可以包括各种商品、柜台、展示商品的展示柜、置物架等等。
可选地,当根据用户选择展示虚拟场景后,若虚拟现实设备中没有存储用户所选场景,则显示“该场景未开放”,并在设备所存储的场景中选择一个场景进行推荐。例如,若用户说我想去图书馆,而此时设备中并未存储图书馆的虚拟场景,此时可以输出“图书馆目前还没有开放,去书店逛逛怎么样?”的信息,并在接收到用户的确认指令后,切换至书店的虚拟场景。
可选地,若用户结束浏览某一个非默认的虚拟场景时,可切换至默认虚拟场景。例如,当用户结束浏览商场的虚拟场景,则展示默认场景家的虚拟场景。
可选地,虚拟交互者可以为虚拟机器人,虚拟机器人可以体现为任意形态,例如可以为真实的人的形态、还可以为某一卡通人物的形态、当然还可以为动物的形态。
展示虚拟空间后,用户会根据自己的意愿选择其中的某一个物体,以便针对所选中物体通过所学习语言与机器进行交互,达到语言学习的目的。本实施例中,用户选择物体的方式不唯一,例如,用户可以通过与虚拟现实设备相通信的手柄选择,或者用户可以通过语音选择,再如,用户可以通过手指直接指向某一物体以示选择该物体。
可选地,为了使用户知晓自己期望选择的物体是否被选中、或者为了防止用户遗忘自己所选择的物体,在用户选择虚拟场景中某一物体后,可以将该物体至于选中状态。具体地,将物体至于选中状态的方式可以包括:将该物体的颜色标亮、或者使该物体闪烁等等。
S102:若接受到用户对上述多个物体的选择操作,则控制虚拟交互者以预设语言输出与被选择的物体对应的发音语音,以供用户跟读发音语音。
当用户选择某一物体后,可以通过虚拟交互者输出与该物体相应的语音。举例而言,若用户通过虚拟现实设备学习英语,并且选中教室虚拟场景中的黑板,则虚拟交互者发出“黑板”的英文单词,如此用户可以进行跟读。
S103:若接收到用户的输入语音,则控制虚拟交互者以预设语言输出与输入语言相关的反馈语音。
本实施例中的输入语音可以为用户跟读发音语音所发出的。当然,还可以为询问某一问题、查询某一相关信息所发出的,例如发音语音可以为“今天的天气如何”等,以时间用户与虚拟交互者之间的聊天交互。
本实施例中向用户展示虚拟场景,以使得用户基于所展示虚拟场景中的物体自主选择交互内容,进而提高了语言教学过程中虚拟现实设备的智能程度,以更好地对语言的教学提供帮助。进一步地,本实施例中接收用户发出的输入语音,进而完成与用户的交互。
为了进一步提高语言教学过程中虚拟现实设备的智能程度,可选地,如图2(a)所示,步骤S103可通过以下步骤实现:
S201:接收用户的输入语音。
S202:通过识别上述输入语音与发音语音的相似度,确定用户是否在跟读发音语音,若用户在跟读发音语音,则执行步骤S203。
可以理解到的是,当输出被选择物体对应的预设语言的发音语音后,用户可能跟读上述发音语音,因此会接收到用户的输入语音;当然,还存在很大的可能用户并没有跟读发音语音,而是通过预设语言(即所学习语言)讲出自己的其他意愿。因此可以根据输入语音与发音语音的相似度来判定用户是否在跟读。
可以理解到的是,本实施例中输入语音与发音语音的相似度,指的是识别输入语音与发音语音语义内容的相似度,以鉴别输入语音的语义内容与发音语音的语义内容是否一致,而不是识别两语音的发音者、发音方式的异同。具体地,可以通过语音识别算法识别输入语音。
若输入语音与发音语音的相似度高于判定数值,则认定用户在跟读发音语音,否则用户未跟读发音语音。
S203:根据相似度控制虚拟交互者输出对应的反馈语音。
可选地,若相似度大于或等于预设阈值,则认为用户的输入语音与发音语音相似度非常高,控制虚拟交互者输出预设表扬语音;若相似度小于预设阈值,说明用户在模仿跟读发音语音但是模仿得不太准确,则控制虚拟交互者重新输出发音语音。需要说明的是,预设阈值的数值高于步骤S202中的判定数值。
若用户没有跟读发音语音,则如图2(b)所示,执行以下步骤,以对输入语音进行进一步识别,以进一步增加交互的智能程度。
S204:确定输入语音对应的物体与被选择的物体是否一致,若与被选择的物体不一致,则执行步骤S205,若与被选择的物体一致则执行步骤S206。
在实际情况下,在图1所示实施例步骤S102中输出发音语音后,用户可能并未跟读发音语音,而是通过语音与虚拟设备进行其他交互。举例而言,若通过预设语言输出电灯的发音语音后,用户使用预设语言发出“点亮电灯”的语音;再如,输出预设语言对应的电灯的发音语音后,用户针对虚拟场景中除电灯以外的其他物体发出语音信号。
因此在一可选实施例中,若根据相似度确定出用户没有跟读发音语音,即输入语音与发音语音的相似度不高于判定数值,则确定输入语音对应的物体与被选择的物体是否一致。可选地,确定输入语音对应的物体与被选择的物体是否一致的方式可以为:根据所接收到的输入语音通过语音识别算法识别出该语音对应的物体,将所识别出的物体与被选择的物体进行比对,进而得出结果。当然,在某些可选应用场景中,根据本轮对话中用户的输入语音可能并不能明确确定出输入语音所对应的物体。例如,本轮输入语音为“点亮它”,此时,可以根据多轮对话算法,结合前几轮对话内容进行识别。通过多轮对话算法,虚拟交互者可以根据对话的语言环境、对话所涉及的虚拟场景中的物体对用户发出的反馈语音进行应答。可选地,若用户当前浏览商场的虚拟场景,且当前选中的物体为“奶酪”,则用户可以通过预设语言向虚拟交互者询问“这个东西多少钱?”“什么牌子的好用?”“如何使用它?”等等,如此,通过多轮对话算法,即使用户在询问奶酪价钱等问题时不提及奶酪,虚拟交互者依然可以根据对话情景通过预设语言对问题进行回答。
进一步地,若输入语音对应物体与被选择的物体不一致,则说明用户对虚拟场景中除被选择物体以外的其他物体发出信息,因此执行S205。
S205:获取与输入语音对应的反馈语音,并输出反馈语音。
举例而言,若被选择物体为电灯,而用户的输入语音为“屋顶上的东西是什么”,则输入语音所对应的物体为屋顶上的物体,进而输出屋顶上的物体的反馈语音,该反馈语音可以为屋顶上物体的名称、功能介绍等。
进一步地,为了进一步增加交互的智能程度,帮助用户更好地学习语言,针对各虚拟场景中的不同物体,可以预先设定向用户提出的问题,形成预设问题库,如此当用户选中某一物体时,可以根据所选定虚拟场景、所选择的物体调取问题并以预设语言输出,进而引导用户使用预设语言对所提出问题进行回答,进而提高用户针对预设语言的听说能力。例如,在商场场景中用户选中物体为奶酪,则可询问用户“你喜欢奶酪吗?”、“你打算买多少?”、“你要用奶酪来做什么?”等问题。当用户回答上述问题后,接收回答并可以根据多轮对话算法对用户的回答进行识别,进而决定下一步的对话内容,例如,当用户回答“我用奶酪来做披萨”,则可以继续询问“你一般会怎么做披萨?”、“你一般什么时候会做披萨?”等问题。
进一步地,在接收到用户的回答后,可以根据用户的发音、语法进行评分,以使用户知晓自己的发音情况。当评分过低时,以正确的语法、发音输出用户想要回答的内容,以做纠正。
S206:识别输入语音是否为对应于动作命令的语音,若是,则执行步骤S207,否则执行S208。
S207:控制虚拟交互者执行与输入语音对应的动作。
S208:获取与输入语音对应的反馈语音,并输出反馈语音。
若输入语音对应物体与被选择的物体一致,则说明用户针对被选择物体发出语音,进一步识别输入语音是否为对应于动作命令的语音,若是动作命令,则说明用户希望针对被选择物体执行某一操作,例如点亮电灯、拉上窗帘等,进而控制虚拟交互者执行与输入语音对应的动作,例如,控制虚拟交互者去拉上窗帘。若不是动作命令。则说明用户可能希望得到针对被选择物体的其他信息,例如针对被选择物体的介绍等,进而获取与输入语音对应的介绍并输出。
本实施例中,在图1所示实施例基础上,接收用户发出的输入语音,并根据输入语音判定用户是否在跟读图1实施例输出的发音语音,且在确定出用户跟读发音语音的情况下向用户反馈跟读的准确性,因此,进一步提高了用户与虚拟现实设备的交互程度,进而进一步提高了语言教学中虚拟现实设备的智能程度。
相应于上述方法实施例,如图3所示,本发明实施例还提供了一种虚拟现实语言教学交互装置,包括:
展示模块310,用于展示预先生成的虚拟场景,所述虚拟场景中包括虚拟交互者和多个物体;
第一响应模块320,用于若接收到用户对所述多个物体的选择操作,则控制所述虚拟交互者以预设语言输出与被选择的物体对应的发音语音,以供所述用户跟读所述发音语音;
第二响应模块330,若接收到所述用户的输入语音,则控制所述虚拟交互者以预设语言输出与所述输入语言相关的反馈语音。
可见,本实施例中向用户展示虚拟场景,以使得用户基于所展示虚拟场景中的物体自主选择交互内容,进而提高了语言教学过程中虚拟现实设备的智能程度,以更好地对语言的教学提供帮助。
可选地,所述装置还包括:设置模块340,具体用于:
在控制所述虚拟交互者以预设语言输出与被选择的物体对应的发音语音之前,将所述被选择的物体置为选中状态。
可选地,所述第二响应模块330,包括:
接收子模块331,用于接收所述用户的输入语音;
确定子模块332,用于通过识别所述输入语音与所述发音语音的相似度,确定所述用户是否在跟读所述发音语音;
反馈子模块333,用于若所述用户在跟读所述发音语音,则根据所述相似度控制所述虚拟交互者输出对应的反馈语音。
可选地,所述反馈子模块333,包括:
第一输出子模块3331,用于若所述相似度大于或等于预设阈值,则控制所述虚拟交互者输出预设表扬语音;
第二输出子模块3332,用于若所述相似度小于预设阈值,则控制所述虚拟交互者重新输出所述发音语音。
可选地,所述装置还包括第一处理模块370,包括:
确定子模块371,用于若所述用户没有跟读所述发音语音,则确定所述输入语音对应的物体与所述被选择的物体是否一致;
第一输出子模块372,用于若与所述被选择的物体不一致,则获取与所述输入语音对应的反馈语音,并输出所述反馈语音。
可选地,所述装置还包括:
调取子模块373,用于在触发第一输出子模块372之后,根据所述虚拟场景以及所述被选择的物体,从预设问题库调取问题,通过所述虚拟交互者以预设语言输出;
第一识别子模块374,用于接收所述用户针对所述问题的答案并进行识别。
可选地,所述装置还包括第二处理模块380,包括:
第二识别子模块381,用于若与所述被选择的物体一致,则识别所述输入语音是否为对应于动作命令的语音;
第二输出子模块382,用于若所述输入语音是对应于动作命令的语音,则控制所述虚拟交互者执行与所述输入语音对应的动作;
第三输出子模块383,用于若所述输入语音不对应于动作命令的语音,则获取与所述输入语音对应的反馈语音,并输出所述反馈语音。
需要说明的是,对于装置实施例而言,由于其基本相似于方法实施例,所以描述得较为简单,相关之处参见方法实施例的部分说明即可。
如图4所示,本发明实施例还提供一种虚拟现实设备,包括存储器410和处理器420;
所述存储器410用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器420执行时实现本发明实施例提供的虚拟现实语言教学交互方法。
该电子设备可以为用户终端设备,可选地,本实施例中的虚拟现实设备还可以包括:通信接口430,用于实现虚拟现实设备与其他设备、通信网络间的通信。
本发明一些实施例提供的虚拟现实设备可以为虚拟现实领域的头戴显示设备,具体可以为外接式头戴显示设备或者一体式头戴显示设备,其中外接式头戴显示设备需要与外部处理系统(例如计算机处理系统)配合使用。
图5示出了一些实施例中头戴显示设备500的内部配置结构示意图。
显示单元501可以包括显示面板,显示面板设置在头戴显示设备500上面向用户面部的侧表面,可以为一整块面板、或者为分别对应用户左眼和右眼的左面板和右面板。显示面板可以为电致发光(EL)元件、液晶显示器或具有类似结构的微型显示器、或者视网膜可直接显示或类似的激光扫描式显示器。
虚拟图像光学单元502以放大方式拍摄显示单元501所显示的图像,并允许用户按放大的虚拟图像观察所显示的图像。作为输出到显示单元501上的显示图像,可以是从内容再现设备(蓝光光碟或DVD播放器)或流媒体服务器提供的虚拟场景的图像、或者使用外部相机510拍摄的现实场景的图像。一些实施例中,虚拟图像光学单元502可以包括透镜单元,例如球面透镜、非球面透镜、菲涅尔透镜等。
输入操作单元503包括至少一个用来执行输入操作的操作部件,例如按键、按钮、开关或者其他具有类似功能的部件,通过操作部件接收用户指令,并且向控制单元507输出指令。
状态信息获取单元504用于获取穿戴头戴显示设备500的用户的状态信息。状态信息获取单元504可以包括各种类型的传感器,用于自身检测状态信息,并可以通过通信单元505从外部设备(例如智能手机、腕表和用户穿戴的其它多功能终端)获取状态信息。状态信息获取单元504可以获取用户的头部的位置信息和/或姿态信息。状态信息获取单元504可以包括陀螺仪传感器、加速度传感器、全球定位系统(GPS)传感器、地磁传感器、多普勒效应传感器、红外传感器、射频场强度传感器中的一个或者多个。此外,状态信息获取单元504获取穿戴头戴显示设备500的用户的状态信息,例如获取例如用户的操作状态(用户是否穿戴头戴显示设备500)、用户的动作状态(诸如静止、行走、跑动和诸如此类的移动状态,手或指尖的姿势、眼睛的开或闭状态、视线方向、瞳孔尺寸)、精神状态(用户是否沉浸在观察所显示的图像以及诸如此类的),甚至生理状态。
通信单元505执行与外部装置的通信处理、调制和解调处理、以及通信信号的编码和解码处理。另外,控制单元507可以从通信单元505向外部装置发送传输数据。通信方式可以是有线或者无线形式,例如移动高清链接(MHL)或通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真(Wi-Fi)、蓝牙通信或低功耗蓝牙通信,以及IEEE802.11s标准的网状网络等。另外,通信单元505可以是根据宽带码分多址(W-CDMA)、长期演进(LTE)和类似标准操作的蜂窝无线收发器。
一些实施例中,头戴显示设备500还可以包括存储单元,存储单元506是配置为具有固态驱动器(SSD)等的大容量存储设备。一些实施例中,存储单元506可以存储应用程序或各种类型的数据。例如,用户使用头戴显示设备500观看的内容可以存储在存储单元506中。
一些实施例中,头戴显示设备500还可以包括控制单元,控制单元507可以包括计算机处理单元(CPU)或者其他具有类似功能的设备。一些实施例中,控制单元507可以用于执行存储单元506存储的应用程序,或者控制单元507还可以用于执行本申请一些实施例公开的方法、功能和操作的电路。
图像处理单元508用于执行信号处理,比如与从控制单元507输出的图像信号相关的图像质量校正,以及将其分辨率转换为根据显示单元501的屏幕的分辨率。然后,显示驱动单元509依次选择显示单元501的每行像素,并逐行依次扫描显示单元501的每行像素,因而提供基于经信号处理的图像信号的像素信号。
一些实施例中,头戴显示设备500还可以包括外部相机。外部相机510可以设置在头戴显示设备500主体前表面,外部相机510可以为一个或者多个。外部相机510可以获取三维信息,并且也可以用作距离传感器。另外,探测来自物体的反射信号的位置灵敏探测器(PSD)或者其他类型的距离传感器可以与外部相机510一起使用。外部相机510和距离传感器可以用于检测穿戴头戴显示设备500的用户的身体位置、姿态和形状。另外,一定条件下用户可以通过外部相机510直接观看或者预览现实场景。
一些实施例中,头戴显示设备500还可以包括声音处理单元,声音处理单元511可以执行从控制单元507输出的声音信号的声音质量校正或声音放大,以及输入声音信号的信号处理等。然后,声音输入/输出单元512在声音处理后向外部输出声音以及输入来自麦克风的声音。
需要说明的是,图5中虚线框示出的结构或部件可以独立于头戴显示设备500之外,例如可以设置在外部处理系统(例如计算机系统)中与头戴显示设备500配合使用;或者,虚线框示出的结构或部件可以设置在头戴显示设备500内部或者表面上。
本发明实施例还提供一种存储有计算机程序的计算机可读存储介质,所述计算机程序使计算机执行时实现本发明实施例提供的虚拟现实语言教学交互方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种虚拟现实语言教学交互方法,其特征在于,包括:
展示预先生成的虚拟场景,所述虚拟场景中包括虚拟交互者和多个物体;
若接收到用户对所述多个物体的选择操作,则控制所述虚拟交互者以预设语言输出与被选择的物体对应的发音语音,以供所述用户跟读所述发音语音;
若接收到所述用户的输入语音,则控制所述虚拟交互者以预设语言输出与所述输入语言相关的反馈语音。
2.根据权利要求1所述的方法,其特征在于,所述控制所述虚拟交互者以预设语言输出与被选择的物体对应的发音语音之前,还包括:
将所述被选择的物体置为选中状态。
3.根据权利要求2所述的方法,其特征在于,所述将所述被选择的物体置为选中状态,包括:
将所述被选择的物体的体积按照预设比例放大;或者
将所述被选择的物体的亮度设置为高于未被选中的物体的亮度。
4.根据权利要求1所述的方法,其特征在于,所述若接收到所述用户的输入语音,则控制所述虚拟交互者以预设语言输出与所述输入语言相关的反馈语音,包括:
接收所述用户的输入语音;
通过识别所述输入语音与所述发音语音的相似度,确定所述用户是否在跟读所述发音语音;
若所述用户在跟读所述发音语音,则根据所述相似度控制所述虚拟交互者输出对应的反馈语音。
5.根据权利要求4所述的方法,其特征在于,所述根据所述相似度控制所述虚拟交互者输出对应的反馈语音,包括:
若所述相似度大于或等于预设阈值,则控制所述虚拟交互者输出预设表扬语音;
若所述相似度小于预设阈值,则控制所述虚拟交互者重新输出所述发音语音。
6.根据权利要求1所述的方法,其特征在于,所述若接收到所述用户的输入语音,则控制所述虚拟交互者以预设语言输出与所述输入语言相关的反馈语音,包括:
若所述用户没有跟读所述发音语音,则确定所述输入语音对应的物体与所述被选择的物体是否一致;
若与所述被选择的物体不一致,则获取与所述输入语音对应的反馈语音,并输出所述反馈语音。
7.根据权利要求6所述的方法,其特征在于,在所述输出所述反馈语音之后,还包括:
根据所述虚拟场景以及所述被选择的物体,从预设问题库调取问题,通过所述虚拟交互者以预设语言输出;
接收所述用户针对所述问题的答案并进行识别。
8.根据权利要求6所述的方法,其特征在于,所述方法还包括:
若与所述被选择的物体一致,则识别所述输入语音是否为对应于动作命令的语音;
若是,则控制所述虚拟交互者执行与所述输入语音对应的动作;
若不是,则获取与所述输入语音对应的反馈语音,并输出所述反馈语音。
9.一种虚拟现实设备,其特征在于,包括存储器和处理器;
所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现如权利要求1至8中任一项所述的虚拟现实语言教学交互方法。
10.一种存储有计算机程序的计算机可读存储介质,其特征在于,所述计算机程序使计算机执行时实现如权利要求1至8中任一项所述的虚拟现实语言教学交互方法。
CN201711405702.8A 2017-12-22 2017-12-22 虚拟现实语言教学交互方法和虚拟现实设备 Pending CN108153415A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711405702.8A CN108153415A (zh) 2017-12-22 2017-12-22 虚拟现实语言教学交互方法和虚拟现实设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711405702.8A CN108153415A (zh) 2017-12-22 2017-12-22 虚拟现实语言教学交互方法和虚拟现实设备

Publications (1)

Publication Number Publication Date
CN108153415A true CN108153415A (zh) 2018-06-12

Family

ID=62465159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711405702.8A Pending CN108153415A (zh) 2017-12-22 2017-12-22 虚拟现实语言教学交互方法和虚拟现实设备

Country Status (1)

Country Link
CN (1) CN108153415A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064799A (zh) * 2018-08-31 2018-12-21 苏州竹原信息科技有限公司 一种基于虚拟现实的语言培训系统及方法
CN109493658A (zh) * 2019-01-08 2019-03-19 上海健坤教育科技有限公司 情景化人机对话式口语交互学习方法
CN109671320A (zh) * 2018-12-12 2019-04-23 广东小天才科技有限公司 一种基于语音交互的速算练习方法及电子设备
CN110069139A (zh) * 2019-05-08 2019-07-30 上海优谦智能科技有限公司 Vr技术实现旅游教学实践的体验系统
CN110176284A (zh) * 2019-05-21 2019-08-27 杭州师范大学 一种基于虚拟现实的言语失用症康复训练方法
CN110221694A (zh) * 2019-05-31 2019-09-10 珠海格力电器股份有限公司 一种交互平台的控制方法、装置、存储介质及交互平台
CN110309274A (zh) * 2018-03-14 2019-10-08 北京三快在线科技有限公司 引导语推荐方法、装置及电子设备
CN110599820A (zh) * 2019-08-19 2019-12-20 南京旅游职业学院 一种基于虚拟现实技术的烹饪英语专业词汇达标系统
CN111882936A (zh) * 2020-07-18 2020-11-03 纽智医疗科技(苏州)有限公司 一种基于力反馈与虚拟现实的手术预演及教学系统
CN112309390A (zh) * 2020-03-05 2021-02-02 北京字节跳动网络技术有限公司 信息交互方法和装置
CN113253836A (zh) * 2021-03-22 2021-08-13 联通沃悦读科技文化有限公司 一种基于人工智能与虚拟现实的教学方法及系统
CN114489326A (zh) * 2021-12-30 2022-05-13 南京七奇智能科技有限公司 面向人群的虚拟人交互注意力驱动的姿态控制装置及方法
US11887499B2 (en) 2021-03-09 2024-01-30 Ailin SHA Virtual-scene-based language-learning system and device thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011123833A1 (en) * 2010-04-01 2011-10-06 Yanntek, Inc. Immersive multimedia terminal
KR20170064026A (ko) * 2015-11-30 2017-06-09 (주)포디비전 가상현실, 증강현실 기반의 3차원 실감형 천체교육용 스마트 교육서비스 제공방법
CN106875764A (zh) * 2017-04-26 2017-06-20 北京大生在线科技有限公司 基于网络的虚拟现实外语学习系统及控制方法
CN107403011A (zh) * 2017-08-01 2017-11-28 三星电子(中国)研发中心 虚拟现实环境语言学习实现方法和自动录音控制方法
CN109035915A (zh) * 2018-08-21 2018-12-18 合肥创旗信息科技有限公司 一种vr全息教学管理系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011123833A1 (en) * 2010-04-01 2011-10-06 Yanntek, Inc. Immersive multimedia terminal
KR20170064026A (ko) * 2015-11-30 2017-06-09 (주)포디비전 가상현실, 증강현실 기반의 3차원 실감형 천체교육용 스마트 교육서비스 제공방법
CN106875764A (zh) * 2017-04-26 2017-06-20 北京大生在线科技有限公司 基于网络的虚拟现实外语学习系统及控制方法
CN107403011A (zh) * 2017-08-01 2017-11-28 三星电子(中国)研发中心 虚拟现实环境语言学习实现方法和自动录音控制方法
CN109035915A (zh) * 2018-08-21 2018-12-18 合肥创旗信息科技有限公司 一种vr全息教学管理系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
涂序彦等编著: "《拟人学与拟人系统》", 31 August 2013 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309274A (zh) * 2018-03-14 2019-10-08 北京三快在线科技有限公司 引导语推荐方法、装置及电子设备
CN110309274B (zh) * 2018-03-14 2021-09-07 北京三快在线科技有限公司 引导语推荐方法、装置及电子设备
CN109064799A (zh) * 2018-08-31 2018-12-21 苏州竹原信息科技有限公司 一种基于虚拟现实的语言培训系统及方法
CN109671320B (zh) * 2018-12-12 2021-06-01 广东小天才科技有限公司 一种基于语音交互的速算练习方法及电子设备
CN109671320A (zh) * 2018-12-12 2019-04-23 广东小天才科技有限公司 一种基于语音交互的速算练习方法及电子设备
CN109493658A (zh) * 2019-01-08 2019-03-19 上海健坤教育科技有限公司 情景化人机对话式口语交互学习方法
CN110069139A (zh) * 2019-05-08 2019-07-30 上海优谦智能科技有限公司 Vr技术实现旅游教学实践的体验系统
CN110069139B (zh) * 2019-05-08 2022-03-25 上海优谦智能科技有限公司 Vr技术实现旅游教学实践的体验系统
CN110176284A (zh) * 2019-05-21 2019-08-27 杭州师范大学 一种基于虚拟现实的言语失用症康复训练方法
CN110221694A (zh) * 2019-05-31 2019-09-10 珠海格力电器股份有限公司 一种交互平台的控制方法、装置、存储介质及交互平台
CN110599820A (zh) * 2019-08-19 2019-12-20 南京旅游职业学院 一种基于虚拟现实技术的烹饪英语专业词汇达标系统
CN112309390A (zh) * 2020-03-05 2021-02-02 北京字节跳动网络技术有限公司 信息交互方法和装置
CN111882936A (zh) * 2020-07-18 2020-11-03 纽智医疗科技(苏州)有限公司 一种基于力反馈与虚拟现实的手术预演及教学系统
US11887499B2 (en) 2021-03-09 2024-01-30 Ailin SHA Virtual-scene-based language-learning system and device thereof
CN113253836A (zh) * 2021-03-22 2021-08-13 联通沃悦读科技文化有限公司 一种基于人工智能与虚拟现实的教学方法及系统
CN114489326A (zh) * 2021-12-30 2022-05-13 南京七奇智能科技有限公司 面向人群的虚拟人交互注意力驱动的姿态控制装置及方法
CN114489326B (zh) * 2021-12-30 2023-12-15 南京七奇智能科技有限公司 面向人群的虚拟人交互注意力驱动的姿态控制装置及方法

Similar Documents

Publication Publication Date Title
CN108153415A (zh) 虚拟现实语言教学交互方法和虚拟现实设备
EP3381175B1 (en) Apparatus and method for operating personal agent
JP6816925B2 (ja) 育児ロボットのデータ処理方法及び装置
US10019962B2 (en) Context adaptive user interface for augmented reality display
US9342610B2 (en) Portals: registered objects as virtualized, personalized displays
US10521636B1 (en) Apparatus and method to determine a distance of a visual object using a label
US11126140B2 (en) Electronic device, external device capable of being combined with the electronic device, and a display method thereof
US20170017642A1 (en) Second language acquisition systems, methods, and devices
WO2014190221A1 (en) Object display with visual verisimilitude
KR102304701B1 (ko) 사용자의 음성 입력에 대한 답변을 제공하는 방법 및 장치
US11315325B2 (en) Systems and methods for artificial intelligence-based virtual and augmented reality
KR101770220B1 (ko) 가상현실을 이용한 외국어 학습 서비스 시스템 및 그 방법
US20160019016A1 (en) Augmented reality doll
US10565452B2 (en) Virtual reality system and kit
KR102552857B1 (ko) 언어 교육을 위한 영상의 자막 처리 방법 및 장치
CN108803871A (zh) 头戴显示设备中数据内容的输出方法、装置及头戴显示设备
US20210049352A1 (en) Information processing system, information processing method, and recording medium
CN112017495A (zh) 一种基于学习终端的信息交互方法和系统
CN113132802A (zh) 屏幕显示调控方法及装置、电子设备和介质
US10558858B2 (en) Augmented reality system and kit
US20220358729A1 (en) Virtual tastings and guided tours for augmented reality experiences
CN107957859A (zh) 用于虚拟现实儿童教学的图像展示方法和虚拟现实设备
KR20210146193A (ko) 가상현실을 이용한 원격수업제공방법
US20230230293A1 (en) Method and system for virtual intelligence user interaction
US20230237922A1 (en) Artificial intelligence-driven avatar-based personalized learning techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201029

Address after: 261061 north of Yuqing East Street, east of Dongming Road, Weifang High tech Zone, Weifang City, Shandong Province (Room 502, Geer electronic office building)

Applicant after: GoerTek Optical Technology Co.,Ltd.

Address before: 266104 Laoshan Qingdao District North House Street investment service center room, Room 308, Shandong

Applicant before: GOERTEK TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
CB02 Change of applicant information

Address after: 261061 east of Dongming Road, north of Yuqing East Street, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building)

Applicant after: GoerTek Optical Technology Co.,Ltd.

Address before: 261061 East of Dongming Road, Weifang High-tech Zone, Weifang City, Shandong Province, North of Yuqing East Street (Room 502, Goertek Office Building)

Applicant before: GoerTek Optical Technology Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20180612

RJ01 Rejection of invention patent application after publication