CN111028597A - 混合现实的外语情景、环境、教具教学系统及其方法 - Google Patents

Abstract

本发明提供一种混合现实的外语情景、环境、教具教学系统及其方法，其中，混合现实的外语情景式教学系统，至少包括AR显示设备，AR显示设备根据在视场中的真实人体轮廓影像的尺寸,在人体轮廓表面生成对应外语情景的伪装贴图。本发明的有益效果在于：通过AR技术结合外语情景教学来提高外语情景教学的真实感，使得学生可以身临其境，更加方便的融入情景教学中，进而提高外语情景的参与者的互动体验，集教学、管理、学习、娱乐、分享、互动交流于一体，真正实现“教与学”的双线并进和实时互动。

Description

混合现实的外语情景、环境、教具教学系统及其方法

技术领域

本发明涉及课堂教学培训领域，尤其涉及混合现实的外语情景、环境、教具教学系统及其方法。

背景技术

随着科技的进步，随着AR(AugmentedReality，增强现实技术)/VR(VirtualReality，虚拟现实技术)混合现实技术的日益发展，其应用越来越被人们所接受。AR/VR混合现实技术应用广泛，无论是医学方面、娱乐方面，还是航天领域、铁路运输、安全隐患培训。AR/VR技术成为应用广泛、强有力的应用解决方案。

目前，外语教学中的情景教学是最能让学生进入外语学习状态的一种非常有效的方法，然而情景课堂的搭建，以及情景角色的装扮的人工成本和材料成本过高，因此，现有技术中往往需要学生自己进行情景想象，从而导致情景教学过于“假”，即学生很难进入情景，从而影响教学的效果。

因此在情景教学中，AR技术的应用具有远大的发展前景。

然而目前应用在教育领域的AR实现方式只能通过摄像设备捕捉到标识模型上的识别标识，以根据上述识别标识、识别标识模型；然后运行AR软件对标识模型进行处理，以将与标识模型对应的虚拟模型通过显示屏幕呈现

然而上述现有技术中还存在下述问题：并没有涉及到情景教学，还是让学生和老师通过想象的方式进行假想中的情景课堂，缺少情景课堂的真实性或者沉浸性。

发明内容

针对现有技术中存在的上述问题，现提供一种旨在提高外语情景教学的真实感的混合现实的外语情景、环境、教具教学系统及其方法。

具体技术方案如下：

本发明公开一种混合现实的外语情景式教学系统，其中，至少包括AR显示设备，AR显示设备根据在视场中的真实人体轮廓影像的尺寸,在人体轮廓表面生成对应外语情景的伪装贴图。

优选的，外语情景式教学系统，其中，AR显示设备包括第一图像采集模块和/或第一传感器模块；

第一图像采集模块，用于获取真实人体轮廓(老师和/或学生)的影像信息；

第一传感器模块，用于获取AR显示设备的状态信息，以及外语情景的参与者的状态信息。

优选的，外语情景式教学系统，其中，第一传感器模块包括鱼眼摄像头、自由度传感器和惯性测量单元；

鱼眼摄像头，用于识别AR显示设备在当前空间内的移动距离，并根据移动距离计算得到AR显示设备在当前场景内的位置信息；

自由度传感器，用于获取AR显示设备在当前场景内的移动距离和旋转角度，并根据移动距离和旋转角度计算得到AR显示设备在当前场景内的位置信息；

惯性测量单元，用于获取AR显示设备在当前场景内的移动距离，并根据移动距离计算得到AR显示设备在当前场景内的位置信息。

优选的，外语情景式教学系统，其中，AR显示设备包括贴图模块；

贴图模块，用于根据真实人体的人体尺寸生成对应于外语情景且能动态覆盖真实人体轮廓的2D/3D模型的伪装贴图。

优选的，外语情景式教学系统，其中，贴图模块包括2D/3D模型建立单元、人体尺寸获取单元和贴图覆盖单元；

人体尺寸获取单元，用于采集真实人体的人体尺寸；

2D/3D模型建立单元与人体尺寸获取单元连接，2D/3D模型建立单元，用于根据人体尺寸以及真实人体轮廓的影像信息，建立与真实人体的轮廓一致的2D/3D模型，并2D/3D模型投射到AR显示设备中并与对应的真实人体实时重叠；

贴图覆盖单元分别与2D/3D模型建立单元，以及人体尺寸获取单元连接，贴图覆盖单元用于根据人体尺寸调整伪装贴图，以将伪装贴图覆盖于不同视角中的2D/3D模型的表面。

优选的，外语情景式教学系统，其中，贴图覆盖单元包括第一覆盖组件，第一覆盖组件实时获取AR显示设备的当前视角，并将根据当前视角下的真实人体的人体尺寸调整伪装贴图，以将伪装贴图覆盖于当前视角中的2D/3D模型的表面。

优选的，外语情景式教学系统，其中，贴图覆盖单元包括第二覆盖组件，第二覆盖组件根据于多个视角下的真实人体的人体尺寸调整伪装贴图，以将贴图覆盖于每个视角中的2D/3D模型的表面；

其中，所有视角构成真实教师和/或真实学生的360度的空间视角。

优选的，外语情景式教学系统，其中，贴图包括头部贴图、躯干贴图、四肢贴图；

贴图覆盖单元包括头部贴图覆盖组件、躯干贴图覆盖组件、四肢贴图覆盖组件；

头部贴图覆盖组件用于根据真实人体的头部的头部尺寸调整头部贴图，以将头部贴图覆盖在不同视角中的2D/3D模型的头部；

躯干贴图覆盖组件用于根据真实人体的躯干的躯干尺寸调整躯干贴图，以将躯干贴图覆盖在不同视角中的2D/3D模型的躯干；

四肢贴图覆盖组件用于根据真实人体的四肢尺寸调整四肢贴图，以将四肢贴图覆盖在不同视角中的2D/3D模型的四肢；

其中，人体尺寸包括头部尺寸、躯干尺寸和四肢尺寸。

优选的，外语情景式教学系统，其中，AR显示设备包括手势捕捉模块、手势识别模块；

手势捕捉模块，用于捕捉真实(真实教师和/或真实学生)执行的手势动作；

手势识别模块，与手势捕捉模块连接，用于识别手势捕捉模块捕捉到的手势动作。

优选的，外语情景式教学系统，其中，手势捕捉模块采用手柄控制器和/或手表式惯性测量单元捕捉真实教师和/或真实学生执行的手势动作。

优选的，外语情景式教学系统，其中，AR显示设备包括第一语音采集模块和/或语音翻译模块；

第一语音采集模块，用于采集真实人体中(的真实教师和/或真实学生)发出的语音指令。

优选的，外语情景式教学系统，其中，外语情景教学系统包括第一语音识别模块，第一语音搜索对比判断模块和第一语音提示矫正模块；

第一语音识别模块，用于识别外语情景中参与者语音的音高、音调、音准和/或音节；

第一语音搜索对比判断模块，与第一语音识别模块连接，用于在外语语音库中根据参与者语音的音高、音调、音准和/或音节进行对比和判断，以获取接近于参与者语音的音高、音调、音准和/或音节的语音判断内容；

第一语音提示矫正模块，与第一语音搜索对比判断模块连接，用于根据语音判断内容，向参与者提示参与者语音的音高、音调、音准和/或音节的矫正内容。

本发明还提供一种混合现实的外语情景教学环境系统，其中，至少包括AR显示设备，AR显示设备根据真实环境的空间尺寸，提供用于显示覆盖于真实环境的真实地面、真实墙面和真实顶棚的不同情景环境的虚拟地面、虚拟墙面和虚拟顶棚，虚拟地面、虚拟墙面及虚拟顶棚组成一虚拟外语情景教学环境。

优选的，外语情景教学环境系统，其中，AR显示设备包括一第一图像采集模块与一第一传感器模块；

第一图像采集模块，用于获取真实环境的图像信息；

第一传感器模块，用于获取AR显示设备的状态信息，以及相对于AR显示设备的真实环境的状态信息。

优选的，外语情景教学环境系统，其中，第一图像采集模块包括一3D扫描仪或TOF摄像头；

3D扫描仪或TOF摄像头，用于采集真实环境内的图像信息、距离信息及尺寸信息，并根据图像信息、距离信息及尺寸信息来识别外语情景的参与者与真实环境的实时相对位置状态。

优选的，外语情景教学环境系统，其中，第一传感器模块包括鱼眼摄像头，自由度传感器和惯性测量单元；

鱼眼摄像头，用于识别AR显示设备在真实场景内的移动距离，并根据移动距离计算得到AR显示设备在虚拟外语情景教学环境内的位置信息；

自由度传感器，用于获取AR显示设备在真实场景内的移动距离和旋转角度，并根据移动距离和旋转角度计算得到AR显示设备在虚拟外语情景教学环境内的位置信息；

惯性测量单元，用于获取AR显示设备在真实场景内的移动距离，并根据移动距离计算得到AR显示设备在虚拟外语情景教学环境内的位置信息。

优选的，外语情景教学环境系统，其中，外语情景教学环境系统包括一虚拟环境生成模块，虚拟环境生成模块用于根据情景环境建立与教学相关的虚拟外语情景教学环境，并将虚拟外语情景教学环境投射至AR显示设备中，并敷贴显示于真实环境的表面。

优选的，外语情景教学环境系统，其中，AR显示设备包括场景切换模块，外语情景的参与者通过场景切换模块中，从多个虚拟外语情景教学环境选择一个虚拟外语情景教学环境来覆盖真实环境或当前的虚拟外语情景教学环境。

优选的，外语情景教学环境系统，其中，外语情景环境教学系统包括一虚拟摆件生成模块，虚拟摆件生成模块用于根据情景环境中的真实摆件建立虚拟摆件。

优选的，外语情景教学环境系统，其中，外语情景环境教学系统包括一第一存储模块和一第二存储模块；

第一存储模块用于存储每个情景环境对应的虚拟外语情景教学环境；

第二存储模块与虚拟摆件生成模块连接，第二存储模块用于存储虚拟摆设，外语情景的参与者选择虚拟摆件，并通过使用AR显示设备将虚拟摆设放置在虚拟外语情景教学环境中。

优选的，外语情景教学环境系统，其中，虚拟外语情景教学环境包括：休闲社交交流的情景环境，家庭交流的情景环境，医疗交流情景环境、宾馆前台交流情景环境、银行交流情景环境、超市交流情景环境、大使馆交流情景环境、餐厅交流情景环境、问路/寻人交流情景环境、交通枢纽咨询柜台交流情景环境和日常交流的情景环境等等。

本发明还提供一种混合现实的教具互动系统，其中，至少包括AR显示设备，AR显示设备显示2D/3D虚拟外语情景教具，外语情景的参与者通过使用AR显示设备与2D/3D虚拟外语教具进行教学互动。

优选的，(外语)教具互动系统，其中，外语教具互动系统包括第一教具生成模块，第二教具生成模块，第三教具生成模块和第四教具生成模块；

第一教具生成模块直接创建2D/3D虚拟外语教具，并将2D/3D虚拟外语教具投射至AR显示设备中；

第二教具生成模块根据真实教具触发2D/3D虚拟教具，并将2D/3D虚拟教具投射至AR显示设备中；

第三教具生成模块根据第一触发物触发2D/3D虚拟教具，并将2D/3D虚拟教具投射至AR显示设备中；

第四教具生成模块对第二触发物进行识别，以根据识别结果触发无颜色的2D/3D虚拟教具，并根据外语情景的参与者添加的颜色特征于无颜色的2D/3D虚拟教具添加对应的颜色，并将无颜色或添加颜色的2D/3D虚拟教具投射至AR显示设备中。

优选的，(外语)教具互动系统，其中，AR显示设备包括一第三传感器模块；

第三传感器模块，用于获取AR显示设备的状态信息，以及相对于AR显示设备的AR显示设备所处的当前场景的状态信息。

优选的，(外语)教具互动系统，其中，第三传感器模块包括鱼眼摄像头，自由度传感器和惯性测量单元；

鱼眼摄像头，用于识别AR显示设备在当前场景内的移动距离，并根据移动距离计算得到AR显示设备在当前场景内的位置信息；

自由度传感器，用于获取AR显示设备在当前场景内的移动距离和旋转角度，并根据移动距离和旋转角度计算得到AR显示设备在当前场景内的位置信息；

惯性测量单元，用于获取AR显示设备在当前场景内的移动距离，并根据移动距离计算得到AR显示设备在当前场景内的位置信息。

本发明还提供一种混合现实的外语情景式教学方法，其中，具体包括：

步骤S1，AR显示设备根据在视场中的真实人体轮廓影像的尺寸，在人体轮廓表面生成对应外语情景的伪装贴图。

优选的，外语情景式教学方法，其中，步骤S1具体包括：

步骤S11，获取真实人体轮廓的影像信息；

步骤S12，获取AR显示设备的状态信息，以及外语情景的参与者的状态信息。

优选的，外语情景式教学方法，其中，步骤S12具体包括：

步骤S121，采用鱼眼摄像头识别AR显示设备在当前空间内的移动距离，并根据移动距离计算得到AR显示设备在当前场景内的位置信息。

步骤S122，采用自由度传感器获取AR显示设备在当前场景内的移动距离和旋转角度，并根据移动距离和旋转角度计算得到AR显示设备在当前场景内的位置信息；

步骤S123，采用惯性测量单元获取AR显示设备在当前场景内的移动距离，并根据移动距离计算得到AR显示设备在当前场景内的位置信息。

优选的，外语情景式教学方法，其中，步骤S1具体包括：

步骤S13，根据真实人体的人体尺寸生成对应于外语情景且能动态覆盖真实人体轮廓的2D/3D模型的伪装贴图。

优选的，外语情景式教学方法，其中，

步骤S13具体包括：

步骤S131，采集真实人体的人体尺寸；

步骤S132，根据人体尺寸以及真实人体轮廓(老师和/或学生)的影像信息，建立与真实人体的轮廓一致的2D/3D模型，并将2D/3D模型投射到AR显示设备中并与对应的真实人体实时重叠；

步骤S133，根据人体尺寸调整伪装贴图，以将伪装贴图覆盖于不同视角中的2D/3D模型的表面。

优选的，外语情景式教学方法，其中，步骤S133具体包括：

步骤S1331，实时获取AR显示设备的当前视角，并将根据当前视角下的真实人体的人体尺寸调整伪装贴图，以将伪装贴图覆盖于当前视角中的2D/3D模型的表面。

步骤S1332，根据于多个视角下的真实人体的人体尺寸调整伪装贴图，以将贴图覆盖于每个视角中的2D/3D模型的表面；

其中，所有视角构成真实人体的360度的空间视角。

优选的，外语情景式教学方法，其中，贴图包括头部贴图、躯干贴图、四肢贴图；

步骤S133具体包括：

步骤S1333，根据真实人体的头部的头部尺寸调整头部贴图，以将头部贴图覆盖在不同视角中的2D/3D模型的头部；

步骤S1334，根据真实人体的躯干的躯干尺寸调整躯干贴图，以将躯干贴图覆盖在不同视角中的2D/3D模型的躯干；

步骤S1335，根据真实人体的四肢尺寸调整四肢贴图，以将四肢贴图覆盖在不同视角中的2D/3D模型的四肢；

其中，人体尺寸包括头部尺寸、躯干尺寸和四肢尺寸。

优选的，外语情景式教学方法，其中，步骤S1具体包括：

步骤S14，捕捉真实(真实教师和/或真实学生)执行的手势动作；

步骤S15，识别捕捉到的手势动作。

优选的，外语情景式教学方法，其中，步骤S1还包括：

步骤S16，识别外语情景中参与者语音的音高、音调、音准和/或音节；

步骤S17，根据外语语音库与采集到的参与者语音的音高、音调、音准和/或音节进行对比和判断，以获取接近于参与者语音的音高、音调、音准和/或音节的语音判断内容；

步骤S18，根据语音判断内容，向参与者提示参与者语音的音高、音调、音准和/或音节的矫正内容。

本发明还提供一种混合现实的外语情景式教学环境实现方法，其中，具体包括：

步骤S2，AR显示设备根据真实环境的空间尺寸，提供用于显示覆盖于真实环境的真实地面、真实墙面和真实顶棚的不同情景环境的虚拟地面、虚拟墙面和虚拟顶棚，虚拟地面、虚拟墙面及虚拟顶棚组成一虚拟外语情景教学环境。

优选的，外语情景式教学环境实现方法，其中，步骤S2包括：

步骤S21，获取真实环境的图像信息；

步骤S22，获取AR显示设备的状态信息，以及相对于AR显示设备的真实环境的状态信息。

优选的，外语情景式教学环境实现方法，其中，步骤S21包括：

步骤S211，采集真实环境内的图像信息、距离信息及尺寸信息，并根据图像信息、距离信息及尺寸信息来识别外语情景的参与者与真实环境的实时相对位置状态。包括参与者的(绝对/相对)朝向和相对于空间中的位置，以及参与者站靠于门旁，或是参与者坐于沙发上等等。

优选的，外语情景式教学环境实现方法，其中，步骤S22包括：

步骤S221，采用鱼眼摄像头识别AR显示设备在真实场景内的移动距离，并根据移动距离计算得到AR显示设备在虚拟外语情景教学环境内的位置信息；

步骤S222，采用自由度传感器获取AR显示设备在真实场景内的移动距离和旋转角度，并根据移动距离和旋转角度计算得到AR显示设备在虚拟外语情景教学环境内的位置信息；

步骤S223，采用惯性测量单元获取AR显示设备在真实场景内的移动距离，并根据移动距离计算得到AR显示设备在虚拟外语情景教学环境内的位置信息。

优选的，外语情景式教学环境实现方法，其中，步骤S2具体包括：

步骤S23，根据情景环境建立与教学相关的虚拟外语情景教学环境，并将虚拟外语情景教学环境投射至AR显示设备中，并敷贴显示于真实环境的表面。

优选的，外语情景式教学环境方法，其中，AR显示设备包括场景切换模块，步骤S2具体包括：

步骤S24，外语情景的参与者通过场景切换模块，从多个虚拟外语情景教学环境选择一个虚拟外语情景教学环境来覆盖真实环境，或替换当前的虚拟外语情景教学环境。

本发明还提供一种混合现实的外语教具互动方法，其中，具体包括：

步骤S3，AR显示设备显示2D/3D虚拟外语情景教具，外语情景的参与者通过使用AR显示设备与2D/3D虚拟外语教具进行教学互动。

优选的，外语教具互动方法，其中，步骤S3具体包括：

步骤S31，直接创建2D/3D虚拟外语教具，并将2D/3D虚拟外语教具投射至AR显示设备中；

步骤S32，根据真实教具触发2D/3D虚拟教具，并将2D/3D虚拟教具投射至AR显示设备中；

步骤S33，根据第一触发物触发2D/3D虚拟教具，并将2D/3D虚拟教具投射至AR显示设备中；

步骤S34，对第二触发物进行识别，以根据识别结果触发无颜色的2D/3D虚拟教具，并根据外语情景的参与者添加的颜色特征于无颜色的2D/3D虚拟教具添加对应的颜色，并将无颜色或添加颜色的2D/3D虚拟教具投射至AR显示设备中。

优选的，外语教具互动方法，其中，步骤S3具体包括：

步骤S35，获取AR显示设备的状态信息，以及相对于AR显示设备的AR显示设备所处的当前场景的状态信息。

优选的，外语教具互动方法，其中，步骤S35具体包括：

步骤S351，采用鱼眼摄像头识别AR显示设备在当前场景内的移动距离，并根据移动距离计算得到AR显示设备在当前场景内的位置信息；

步骤S352，采用自由度传感器获取AR显示设备在当前场景内的移动距离和旋转角度，并根据移动距离和旋转角度计算得到AR显示设备在当前场景内的位置信息；

步骤S353，采用惯性测量单元获取AR显示设备在当前场景内的移动距离，并根据移动距离计算得到AR显示设备在当前场景内的位置信息。

上述总体技术方案及具体技术方案的组合具有如下优点或有益效果：通过AR技术结合外语情景教学来提高外语情景教学的真实感，使得学生可以身临其境，更加方便的融入情景教学中，进而提高外语情景的参与者的互动体验，集教学、管理、学习、娱乐、分享、互动交流于一体，真正实现“教与学”的双线并进和实时互动。

附图说明

参考所附附图，以更加充分的描述本发明的实施例。然而，所附附图仅用于说明和阐述，并不构成对本发明范围的限制。

图1为本发明混合现实的外语情景教学环境系统的实施例的原理框图；

图2为本发明混合现实的外语情景式教学系统的实施例的AR显示设备的原理框图1；

图3为本发明混合现实的外语情景式教学系统的实施例的第一传感器模块的原理框图；

图4为本发明混合现实的外语情景式教学系统的实施例的贴图模块的原理框图；

图5为本发明混合现实的外语情景式教学系统的实施例的贴图覆盖单元的原理框图一；

图6为本发明混合现实的外语情景式教学系统的实施例的贴图覆盖单元的原理框图二；

图7为本发明混合现实的外语情景式教学系统的实施例的AR显示设备的原理框图二；

图8为本发明混合现实的外语情景教学环境系统的实施例的原理框图；

图9为本发明混合现实的教具互动系统的实施例的原理框图；

图10为本发明混合现实的教具互动系统的实施例的外语情景的参与者手持真实的地球模型的示意图；

图11为本发明混合现实的教具互动系统的实施例的外语情景的参与者手持触发的虚拟的太阳系模型的示意图；

图12为本发明混合现实的教具互动系统的实施例的触发的虚拟的太阳系模型的示意图；

图13为本发明混合现实的外语情景式教学方法的实施例的流程图；

图14为本发明混合现实的外语情景式教学方法的实施例的步骤S1的流程图一；

图15为本发明混合现实的外语情景式教学方法的实施例的步骤S12的流程图；

图16为本发明混合现实的外语情景式教学方法的实施例的步骤S1的流程图二；

图17为本发明混合现实的外语情景式教学方法的实施例的步骤S13的流程图；

图18为本发明混合现实的外语情景式教学方法的实施例的步骤S133的流程图一；

图19为本发明混合现实的外语情景式教学方法的实施例的步骤S133的流程图二；

图20为本发明混合现实的外语情景式教学方法的实施例的步骤S133的流程图三；

图21为本发明混合现实的外语情景式教学方法的实施例的步骤S1的流程图三；

图22为本发明混合现实的外语情景式教学方法的实施例的步骤S1的流程图三；

图23为本发明混合现实的外语情景式教学环境方法的实施例的流程图；

图24为本发明混合现实的外语情景式教学环境方法的实施例的步骤S2的流程图一；

图25为本发明混合现实的外语情景式教学环境方法的实施例的步骤S21的流程图；

图26为本发明混合现实的外语情景式教学环境方法的实施例的步骤S22的流程图；

图27为本发明混合现实的外语情景式教学环境方法的实施例的步骤S2的流程图二；

图28为本发明混合现实的外语情景式教学环境方法的实施例的步骤S2的流程图三；

图29为本发明混合现实的外语教具互动方法的实施例的流程图；

图30为本发明混合现实的外语教具互动方法的实施例的步骤S3的流程图一；

图31为本发明混合现实的外语教具互动方法的实施例的步骤S3的流程图二；

图32为本发明混合现实的外语教具互动方法的实施例的步骤S35的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

【实施例一】

本发明包括一种混合现实的外语情景式教学系统，如图1所示，至少包括AR显示设备1，AR显示设备1根据在视场中的真实人体轮廓影像的尺寸，在人体轮廓表面生成对应外语情景的伪装贴图。

在上述实施例中，AR显示设备1根据在视场中的真实人体轮廓影像的尺寸，在人体轮廓表面生成对应外语情景的伪装贴图，使得外语情景的参与者(外语情景的参与者可以为学生和教师)可以在AR显示设备1中进行情景角色扮演，并且不需要真实穿戴情景角色扮演所需要的服饰，从而减少购买扮演所需服饰的成本，并且提高外语情景教学的真实感，使得学生可以身临其境，更加方便的融入情景教学中，进而提高外语情景的参与者的互动体验，集教学、管理、学习、娱乐、分享、互动交流于一体，真正实现“教与学”的双线并进和实时互动。

进一步地，作为优选的实施方式，教师和学生可以扮演具体情景场景中的特定角色，并且通过AR显示设备1在教师和学生的人体轮廓表面生成对应外语情景的伪装贴图，然后教师和学生都可以在扮演情景角色中进行外语交流，从而实现以娱乐的情景教学的方式增加外语学习的沉浸性，进而增加口语和听力的能力，并且通过AR显示设备1进行情景角色扮演来提高外语情景教学的广泛性，以及降低现有技术中针对性的购买合身的扮演服饰的成本。这个成本至少包括购置特定服装的成本和更衣的时间成本。甚至于会发生统一购买的服饰并不适合不同体型的人(高矮胖瘦的老师或者学生都需要参与)来穿戴的问题。

进一步地，在上述实施例中，如图2所示，AR显示设备1包括第一图像采集模块2和/或第一传感器模块3；

第一图像采集模块2，用于获取真实人体轮廓的影像信息；

第一传感器模块3，用于获取AR显示设备1的状态信息，以及外语情景的参与者的状态信息。

在上述实施例中，第一图像采集模块2可以获取外语情景的参与者的真实人体轮廓的影像信息，其中，第一图像采集模块2可以包括TOF摄像头，TOF摄像头可以获取外语情景的参与者的真实人体轮廓的影像信息。

其中，需要说明的是，TOF摄像头采用一种深度信息测量方案，TOF摄像头32可以由红外光投射器和接收模组构成。投射器向外投射红外光，红外光遇到被测物体(外语情景的参与者)后反射，并被接收模组接收，通过记录红外光从发射到被接收的时间，计算出被照物体深度信息，并完成3D建模，即通过TOF摄像头可以获取外语情景的参与者的真实人体轮廓的影像信息。

第一传感器单元可以获取AR显示设备1的状态信息，上述状态信息包括AR显示设备1的朝向信息、高度信息及空间位置信息，也可以获取到相对于AR显示设备1和与AR显示设备1相对的位置信息及相对距离。

第一传感器单元可以获取到相对于AR显示设备1的外语情景的参与者的相对位置、相对距离等，其中上述外语情景的参与者可以为教师，也可以为学生。

进一步地，在上述实施例中，如图3所示，第一传感器模块3包括鱼眼摄像头31、自由度传感器32和惯性测量单元33；

鱼眼摄像头31，用于识别AR显示设备1在当前空间内的移动距离，并根据移动距离计算得到AR显示设备1在当前场景内的位置信息；

自由度传感器32，用于获取AR显示设备1在当前场景内的移动距离和旋转角度，并根据移动距离和旋转角度计算得到AR显示设备1在当前场景内的位置信息；

惯性测量单元33(IMU，Inertial measurement unit)，用于获取AR显示设备1在当前场景内的移动距离，并根据移动距离计算得到AR显示设备1在当前场景内的位置信息。

在上述实施例中，第一传感器单元可以采用鱼眼摄像头31不间断的拍摄当前空间内的图像信息，分析比较每一帧的图像信息的特征点，如果判断特征点向左移动，就可以推断为AR显示设备1向右移动，如果判断特征点向右移动，就可以推断为AR显示设备1可能向左移动，向上向下同理，如果判断特征点之间的距离越来越大，可以推断为AR显示设备1向前移动，如果判断距离越来越小，可以推断为AR显示设备1向后移动。

进一步地，作为优选的实施方式，可以在AR显示设备1上设置两个鱼眼摄像头31，即通过双鱼眼摄像头31能够获取超广视野，在双鱼眼摄像头31之后安装有一百万像素的单色传感器，以有效提高了在低照度下捕捉影像的能力，工作时通过双鱼眼摄像头31协同工作，以30FPS速度扫描AR显示设备1的周边环境，并通过三角测量原理计算AR显示设备1与当前的周边环境的距离，其原理与手机双摄像头拍摄虚化背景照片相同，但不同点在于两个双鱼眼摄像头31的间距很大，精度更高，距离信息经处理后变换为空间位置信息，获取映射至一软件系统应用里面的某个节点，然后与单色传感器的数据进行融合，节点可以随着AR显示设备1的位置移动而移动，以及节点可以随着AR显示设备1的转动而转动，但是当前场景中除节点以外的物体是静止在原地的，因此可以实现当外语情景的参与者佩戴AR显示设备1时，可以在当前场景中无障碍行走或自由移动；

其中，上述软件系统应用可以是Unity软件(或类似软件)。

在上述实施例中，自由度传感器32的自由度总共有六个(6DOF)，分为在X，Y，Z轴位移和围绕X，Y，Z轴旋转，在任意一个自由度中，物体可以沿两个“方向”自由运动，例如，电梯限制在一个自由度中，但电梯能够在这个自由度中上下运动，同样，摩天轮限制在1个(旋转)自由度中，但这是旋转自由度，所以摩天轮能够朝相反的方向旋转，例如，主题公园，碰碰车总共有3个自由度(X、Y和旋转Z)，它只能在3轴中的2条轴里平移，然后它只能以一种方式旋转，即2个平移、1个旋转总计为3自由度。

进一步地，无论多复杂，程序设定中的物体的任何可能性运动都可以通过6自由度的组合进行表达，例如在用球拍击或打网球的时候，球拍的复杂运动可以表示为平移和旋转的组合。

在上述实施例中，惯性测量单元33是一种通过传感器组合(具体包括加速度计、陀螺仪和磁力计)来测量和报告速度、方向和重力的电子设备。

作为优选的实施方式中，第一传感器单元的鱼眼摄像头31可以结合惯性测量单元33，其中惯性测量单元33包括陀螺仪、重力、加速度、磁场仪四种传感器，通过特定的算法，就可以得到AR显示设备1的旋转和相对位移，即能够感应设备的前、后、左、右、上、下、前、后的移动。从而通过结合使用鱼眼摄像头31和惯性测量单元33，可以实现外语情景的参与者佩戴AR显示设备1在当前场景内自由移动。

【实施例二】

进一步地，在上述实施例中，如图4所示，AR显示设备1包括贴图模块4；

贴图模块4，用于根据真实人体的人体尺寸生成对应于外语情景且能动态覆盖真实人体轮廓的2D/3D模型的伪装贴图。

在上述实施例中，通过贴图模块4实现在AR显示设备1中显示动态覆盖外语情景的参与者的真实人体轮廓的2D/3D模型的伪装贴图，从而实现外语情景的参与者的情景角色扮演。

进一步地，在上述实施例中，如图4所示，贴图模块4包括2D/3D模型建立单元42、人体尺寸获取单元41和贴图覆盖单元43；

人体尺寸获取单元41，用于采集真实人体的人体尺寸；

2D/3D模型建立单元42与人体尺寸获取单元41连接，2D/3D模型建立单元42，用于根据人体尺寸以及真实人体轮廓的影像信息，建立与真实人体的轮廓一致的2D/3D模型，并2D/3D模型投射到AR显示设备1中并与对应的真实人体实时重叠；

贴图覆盖单元43分别与2D/3D模型建立单元42，以及人体尺寸获取单元41连接，贴图覆盖单元43用于根据人体尺寸调整伪装贴图，以将伪装贴图覆盖于不同视角中的2D/3D模型的表面。

在上述实施例中，人体尺寸获取单元41可以为深度传感器，该深度传感器用于估计和检测外语情景的参与者的人体尺寸、人的姿态等；

2D/3D模型建立单元42根据人体尺寸获取单元41获取的外语情景的参与者的人体尺寸以及第一图像采集模块2获取的外语情景的参与者的真实人体轮廓的影像信息建立与外语情景的参与者的真实人体的轮廓一致的2D/3D模型，并且将2D/3D模型进行保存，同时将2D/3D模型(覆盖)投射到AR显示设备1中并与对应的真实人体实时重叠；

贴图覆盖单元43将伪装贴图覆盖于不同视角中的2D/3D模型的表面；

其中，由于2D/3D模型与对应的真实人体实时重叠，因此覆盖在2D/3D模型的表面的伪装贴图同时也覆盖在对应的真实人体上，外语情景的参与者通过AR显示设备1就可以看到穿戴情景装扮服饰的参与者们，并且进行相应的互动，从而增加情景教学的趣味性，进而实现“娱乐”与“教学”的结合，使得外语情景教学更加有效。

进一步地，作为优选的实施方式，2D/3D模型建立单元42建立的2D/3D模型可以为全透明的2D/3D模型；也可以是接近人体轮廓处为透明的2D/3D模型；通过设置全透明的2D/3D模型或半透明的2D/3D模型，来避免当通讯网络延迟时，不会露出颜色各异的2D/3D模型。

进一步地，作为优选的实施方式，如图5所示，贴图覆盖单元43包括第一覆盖组件431，第一覆盖组件431实时获取AR显示设备1的当前视角，并将根据当前视角下的真实人体的人体尺寸调整伪装贴图，以将伪装贴图覆盖于当前视角中的2D/3D模型的表面。

在上述优选的实施方式中，第一覆盖组件431只需要实时获取AR显示设备1的当前视角，并且只针对当前视角下的真实人体的人体尺寸调整伪装贴图，以将伪装贴图覆盖于当前视角中的2D/3D模型的表面；减少当前所需的伪装贴图的量，进而减少外语情景的参与者佩戴的AR显示设备1的处理量。

进一步地，作为优选的实施方式，如图5所示，贴图覆盖单元43包括第二覆盖组件432，第二覆盖组件432根据于多个视角下的真实人体的人体尺寸调整伪装贴图，以将贴图覆盖于每个视角中的2D/3D模型的表面；

其中，所有视角构成真实教师和/或真实学生的360度的空间视角。

在上述优选的实施方式中，第二覆盖组件432需要获取整个真实人体，即需要针对多个视角下的真实人体的人体尺寸调整伪装贴图，以将伪装贴图覆盖于每个视角中的2D/3D模型的表面；可以直接获取整个真实人体的人体尺寸进行调整伪装贴图。

进一步地，在上述实施例中，如图6所示，贴图包括头部贴图、躯干贴图、四肢贴图；

贴图覆盖单元43包括头部贴图覆盖组件433，用于根据真实人体的头部的头部尺寸调整头部贴图，以将头部贴图覆盖在不同视角中的2D/3D模型的头部；

贴图覆盖单元43包括躯干贴图覆盖组件434，用于根据真实人体的躯干的躯干尺寸调整躯干贴图，以将躯干贴图覆盖在不同视角中的2D/3D模型的躯干；

贴图覆盖单元43包括四肢贴图覆盖组件435，用于根据真实人体的四肢尺寸调整四肢贴图，以将四肢贴图覆盖在不同视角中的2D/3D模型的四肢；

其中，人体尺寸包括头部尺寸、躯干尺寸和四肢尺寸。

作为优选的实施方式，头部贴图可以包括有帽子贴图，眼镜贴图和口罩贴图等；

躯干贴图可以包括上身服饰和/或下身服饰的躯干部分贴图；

四肢贴图可以包括上身服饰和/或下身服饰的四肢部分贴图。

例如，当教师和几个学生需要扮演外国语教学仿真环境下的医生和护士角色时。例如，教师来扮演医生，学生们来扮演护士，此时在不是扮演医生的参与者佩戴的AR显示设备1中可以显示教师的躯干和四肢上覆盖了“白大褂”，并且在“白大褂”上适配有表明医生身份的特定物品，例如“听诊器”；并且可以看到其他扮演护士的参与者的头部的特定位置上分别覆盖有“护士帽”和“口罩”，和在其他扮演护士的参与者的躯干和四肢上覆盖有护士穿戴的“白大褂”；然后参与者们(包括上述扮演医生的教师和扮演护士的学生们)进行医生和护士之间的外语交流，从而实现医生和护士之间的外语情景教学。

【实施例三】

进一步地，在上述实施例中，如图7所示，AR显示设备1包括手势捕捉模块5、手势识别模块6；

手势捕捉模块5，用于捕捉真实教师和/或真实学生执行的手势动作；

手势识别模块6，与手势捕捉模块5连接，用于识别手势捕捉模块5捕捉到的手势动作。

进一步地，在上述实施例中，手势捕捉模块5采用手柄控制器和/或手表式惯性测量单元33捕捉真实教师和/或真实学生执行的手势动作。

其中，手势捕捉模块5中的AR技术以及手势识别技术，就是用到了三层的空间精确叠加，即基于手势传感器、鱼眼摄像头31、IMU等传感器获取的三维参数，叠加入AR三维展示空间(坐标体系)，以及叠加当前空间(地球坐标体系)，三个空间精确叠加而形成的。使得当前空间中的教师或学生或教具，经过(3D)抠图后，也叠加显示在AR三维展示空间中，且显示的位置是指定位置的3D显示。

在上述实施例中，采用一三维图像引擎搭建一个3D的虚拟场景空间，并在虚拟场景空间创建某3D虚拟教师、虚拟同学以及虚拟玩具；其中，上述三维图像引擎可以为Unity3D引擎；

手势捕捉模块5可以为自然手势识别传感器(例如Leap Motion)，Leap Motion提供的识别手势(空间参数)的功能函数模块，并在三维图像引擎构建的虚拟场景空间中加入手模型(包括手部和手臂)。并根据Leap Motion的驱动以及硬件设备支持捕捉到的手势动作，并将捕捉到的手势动作通过用于识别手势(空间参数)的功能函数模块进行运算以检测得到捕捉到的手势动作的手势信息参数，使得Leap Motion中的功能函数模块能够把手势信息参数传递到三维图像引擎，并映射这些手势信息参数到手模型上，即可实现将真实的手模拟成虚拟手，并呈现到AR显示设备1的视场中。

具体的，将手势形状映射到手模型具体包括：三维图像引擎将手势信息参数进行分析计算，得到一些特定的手势形状，并将手势形状映射到手模型上，手势形状可以包括“捏或握”，手势传感器分析得到“捏或握”动作的开始和结束。开始和结束时依照食指和拇指指尖的距离进行设定。当两者之间的距离小于某个阈值即为进入“捏或握”的状态，大于某个阈值，即为离开“捏或握”的状态。

进一步地，在能够识别“捏或握”动作之后，在其中加入交互，例如“捏或握”住一个虚拟物体，该原理是在虚拟手指捏或握住的位置创建一个可以用于触发的小球，小球的角度会随虚拟手的旋转而转动，当虚拟手指捏或握住虚拟物体时，即该虚拟物体的触发器与小球接触或相交，一般虚拟物体的触发器被设定在物体的表面上，然后将物体与小球的位置和角度进行锁定，相当于将物体“挂”在小球上，这样虚拟手模型移动和旋转也会带着虚拟物体移动和旋转，从而实现抓取的功能。

其中，可以进行指向判断，即判断用户的食指指尖与虚拟物的空间位置关系，当判断指尖接触或者指尖指入，都算是选中。

进一步地，在上述实施例中，如图1所示，AR显示设备1包括第一语音采集模块20和/或语音翻译模块；第一语音采集模块20用于采集真实人体中的真实教师和/或真实学生发出的语音指令。

在上述实施例中，可以根据需要启动第一语音采集模块20来采集任一外语情景的参与者的发出的语音指令；

例如，语音指令可以为外语的语音指令，当外语情景的参与者由于语言种类无法分辨上述语音指令时，语音翻译模块可以对上述语音指令进行翻译成参与者能够分辨的语言种类，使得参与者能够分辨上述语音指令；

例如，语音指令可以为中文的语音指令，此时，需要和参与者们进行外语交流，因此可以通过语音翻译模块将中文的语音指令翻译成参与者们交流的语言类别(例如，英语、法语、俄语或波斯语)。进一步地，作为优选的实施方式，AR显示设备1可以包括通信设备，与第一语音采集模块20和/或语音翻译模块连接，并通过通信设备将语音指令和/或翻译后的语音指令同步至其它的AR显示设备1的耳麦中。

进一步地，在上述实施例中，如图1所示，外语情景教学系统包括第一语音识别模块7，第一语音搜索对比判断模块8和第一语音提示矫正模块9；

第一语音识别模块7，用于识别外语情景中参与者语音的音高、音调、音准和/或音节；

第一语音搜索对比判断模块8，与第一语音识别模块7连接，用于在外语语音库中根据参与者语音的音高、音调、音准和/或音节进行对比和判断，以获取接近于参与者语音的音高、音调、音准和/或音节的语音判断内容；

第一语音提示矫正模块9，与第一语音搜索对比判断模块8连接，用于根据语音判断内容，向参与者提示参与者语音的音高、音调、音准和/或音节的矫正内容。

比如，在家中需要完成外语对话练习，家长并不懂葡萄牙语，没关系，家长只要参与即可，语音翻译模块将家长中文的语音翻译成与孩子对话交流的葡萄牙语，孩子才使用正确的葡萄牙语进行交流。第一语音识别模块7，第一语音搜索对比判断模块8和第一语音提示矫正模块9会代替学校中的老师，帮助孩子进行语音纠错和示范。

在上述实施例中，第一语音识别模块7可以和第一语音采集模块20连接，并且通过第一语音识别模块7，第一语音搜索对比判断模块8和第一语音提示矫正模块9可以对参与者的语音的发音进行校正和提示，从而可以提高参与者的语音的发音精度。

例如，即外语情景的参与者(可以为学生)在发音校正过程中，可以对某教具(可以为虚拟教师或虚拟学生或能采集语音的玩具)进行外语沟通，此时，第一语音识别模块7识别到参与者发出的语音的音高、音调、音准和/或音节，并将音高、音调、音准和/或音节的识别结果发给第一语音搜索对比判断模块8，第一语音搜索对比判断模块8在外语语音库中根据参与者语音的音高、音调、音准和/或音节进行对比和判断，并且获取接近于参与者语音的音高、音调、音准和/或音节的语音判断内容；随后第一语音提示矫正模块9根据语音判断内容，向参与者提示参与者语音的音高、音调、音准和/或音节的矫正内容供参与者进行相应的校正。

其中，第一语音提示矫正模块9可以通过虚拟教师的口中或直接由教具回答给参与者听；其中，第一语音提示矫正模块9也可以通过展示一发音动画回答给参与者看和听，使得参与者根据正确的发音嘴型进行相应的校正。

外语情景式教学系统存储有不同国家/地区的语音包、环境包，学习对应的语言，调处对应的语音包和对应的国家/地区的环境包，即可随时随地进行情景式外语学习。

在上述实施例中，AR显示设备1可以为头戴式AR显示设备，例如AR头盔或AR眼镜。

在上述实施例中，外语情景式教学系统可以通过Unity3D引擎发布成对应硬件使用平台例如包括安卓、iOS、PSP等的应用程序，并将其作为内容端，以及设多台AR/VR头戴式显示设备，其中包括教师端和学生端，AR/VR头戴式显示设备实时显示同样的内容，其内容的视角、远近、播放(图形和声效)、暂停或互动等均由教师端来完成。即学生通过AR眼镜的观察自由度是1DOF～3DOF～6DOF，均可以由教师端或服务器端进行设置。

【实施例四】

本发明还提供一种混合现实的外语情景教学环境系统，如图8所示，至少包括AR显示设备1，AR显示设备1根据真实环境的空间尺寸，提供用于显示覆盖于真实环境的真实地面、真实墙面和真实顶棚的不同情景环境的虚拟地面、虚拟墙面和虚拟顶棚，虚拟地面、虚拟墙面及虚拟顶棚组成一虚拟外语情景教学环境。

在上述实施例中，通过覆盖于真实环境的真实地面、真实墙面和真实顶棚的不同情景环境的虚拟地面、虚拟墙面和虚拟顶棚，虚拟地面、虚拟墙面及虚拟顶棚组成一虚拟外语情景教学环境，使得虚拟外语情景教学环境的虚拟地面、虚拟墙面和虚拟顶棚不会移动，而外语情景的参与者在虚拟外语情景教学环境内可以自由移动，使得外语情景教学更加方便，进而使得参与者的更加快速地融入到外语情景教学中。

作为优选的实施方式，外语情景的参与者(可以为教师和/或学生)可以佩戴AR显示设备1(可以为AR眼镜或AR头盔)，可以通过AR显示设备1来识别真实环境的空间尺寸，例如近似方形空间的四壁以及顶面、地面，其中顶面和地面都是方形或长方形。

作为优选的实施方式，外语情景教学环境系统将根据真实环境建立与外语情景教学环境相关的虚拟外语情景教学环境，并将虚拟外语情景教学环境投射至AR显示设备1中，并且将虚拟外语情景教学环境恰好覆盖显示于真实环境的表面，例如虚拟环境包括虚拟地面、虚拟墙面和虚拟顶棚。在创建虚拟外语情景教学环境时，系统预先提供情景教学材质，使得参与者可以选择对虚拟地面、虚拟墙面和虚拟顶棚进行情景教学材质的覆盖，从而完成虚拟外语情景教学环境的构建；从而营造出置身于不同外国语教学的室内场景，比如欧美国家外国语环境的咖啡厅茶室、餐厅、宾馆前台、公共交通问讯处、医院就医、银行柜面、超市收银台、博物馆、图书馆或游乐场。

其中在虚拟地面进行情景教学材质的覆盖时，可以创建设置在地面上的家具，例如桌子、椅子等；其中在虚拟顶棚进行情景教学材质的覆盖时，可以创建设置在顶棚上的家具，例如灯具等。

进一步地，作为优选的实施方式，创建好的虚拟外语情景教学环境可以保存在存储空间中，参与者可以在上述存储空间中选择一个创建好的虚拟外语情景教学环境进行外语情景教学。

进一步地，在上述实施例中，AR显示设备1包括一第一图像采集模块2与一第一传感器模块3；

第一图像采集模块2，用于获取真实环境的图像信息；

第一传感器模块3，用于获取AR显示设备1的状态信息，以及相对于AR显示设备1的真实环境的状态信息。

进一步地，在上述实施例中，第一图像采集模块2包括一3D扫描仪或TOF摄像头；

3D扫描仪或TOF摄像头，用于采集真实环境内的图像信息、距离信息及尺寸信息，并根据图像信息、距离信息及尺寸信息来识别外语情景的参与者与真实环境的实时相对位置状态。

进一步地，在上述实施例中，第一传感器模块3包括鱼眼摄像头31，自由度传感器32和惯性测量单元33；

鱼眼摄像头31用于识别AR显示设备1在真实场景内的移动距离，并根据移动距离计算得到AR显示设备1在虚拟外语情景教学环境内的位置信息；

自由度传感器32，用于获取AR显示设备1在真实场景内的移动距离和旋转角度，并根据移动距离和旋转角度计算得到AR显示设备1在虚拟外语情景教学环境内的位置信息；

惯性测量单元33(IMU，Inertial measurement unit)，用于获取AR显示设备1在真实场景内的移动距离，并根据移动距离计算得到AR显示设备1在虚拟外语情景教学环境内的位置信息。

在上述实施例中，第一图像采集模块2可以获取到真实环境的真实地面、真实墙面和真实顶棚的图像信息。其中，第一传感器单元可以采用鱼眼摄像头31不间断的拍摄当前空间内的图像信息，分析比较每一帧的图像信息的特征点，如果判断特征点向左移动，就可以推断为AR显示设备1向右移动，如果判断特征点向右移动，就可以推断为AR显示设备1可能向左移动，向上向下同理，如果判断特征点之间的距离越来越大，可以推断为AR显示设备1向前移动，如果判断距离越来越小，可以推断为AR显示设备1向后移动。

在上述实施例中，第一传感器模块3可以获取AR显示设备1的朝向信息、高度信息及空间位置信息，也可以获取到相对于AR显示设备1的真实环境与周边相对的位置信息及相对距离。其中，第一图像采集模块2的鱼眼摄像头31可以结合第一传感器模块311的IMU(Inertial measurement unit，惯性测量装置)传感器，其中IMU传感器包括陀螺仪、重力、加速度、磁场仪四种传感器，通过特定的算法，就可以得到AR显示设备1的旋转和相对位移，即能够感应设备的前、后、左、右、上、下、前、后的移动。

进一步地，结合使用鱼眼摄像头31或IMU传感器，使得小朋友可以在该虚拟环境内自由移动。

具体地，例如，可以选择3D扫描仪，也可以选择激光雷达、毫米波雷达等传感器，也可以选择(双)鱼眼摄像头31，通过(双)鱼眼摄像头31能够获取超广视野，在(双)鱼眼摄像头31之后安装的是一百万像素的单色传感器，有效提高了在低照度下捕捉影像的能力，工作时两个(双)鱼眼摄像头31协同工作，以30FPS速度扫描周边环境，通过三角测量原理计算AR显示设备1与当前景物的距离，其原理与手机双摄像头拍摄虚化背景照片相同，但不同点在于两个双鱼眼摄像头31的间距很大，精度更高，距离信息经处理后变换为空间位置信息，获取映射至软件系统应用里面的某个节点，例如，软件系统应用可以是Unity软件，然后与单色传感器的数据进行融合，节点能随着AR显示设备1的位置移动而移动，随着AR显示设备1的转动而转动，但是在虚拟环境中节点以外的物体可以静止在原地，这样通过3D扫描仪与(双)鱼眼摄像头31的配合使用，使得小朋友可以在虚拟环境中自由行走或自由移动，贴在真实墙面、地面和顶面的“贴图”则不会移动。

具体地，角速度传感器的自由度总共有六个(6DOF)，分为在X，Y，Z轴位移和围绕X，Y，Z轴旋转，在任意一个自由度中，物体可以沿两个“方向”自由运动，例如，电梯限制在一个自由度中，但电梯能够在这个自由度中上下运动，同样，摩天轮限制在1个(旋转)自由度中，但这是旋转自由度，所以摩天轮能够朝相反的方向旋转，例如，主题公园，碰碰车总共有3个自由度(X、Y和旋转Z)，它只能在3轴中的2条轴里平移，然后它只能以一种方式旋转，即2个平移、1个旋转总计为3自由度。

进一步地，无论多复杂，程序设定中的物体的任何可能性运动都可以通过6自由度的组合进行表达，例如在用球拍击或打网球的时候，球拍的复杂运动可以表示为平移和旋转的组合。

进一步地，在上述实施例中，外语情景教学环境系统包括一虚拟环境生成模块11，虚拟环境生成模块11用于根据情景环境建立与教学相关的虚拟外语情景教学环境，并将虚拟外语情景教学环境投射至AR显示设备1中，并敷贴显示于真实环境的表面。

进一步地，在上述实施例中，AR显示设备1包括场景切换模块10，外语情景的参与者通过场景切换模块10中，从多个虚拟外语情景教学环境选择一个虚拟外语情景教学环境来覆盖真实环境或当前的虚拟外语情景教学环境。

作为优选的实施方式，例如当前的虚拟外语情景教学环境为外国的咖啡厅情景教学场景，然而当前参与者想要的虚拟外语情景教学环境为动物园情景教学场景，因此参与者可以在场景切换模块10中选择动物园情景教学场景来覆盖当前的咖啡厅情景教学场景，从而实现让参与者1秒中就从咖啡厅情景教学场景进入到动物园情景教学场景中，效果真实可信，切换成本极低。

作为优选的实施方式，场景切换模块10可以提供一个外接的触屏器，使得参与者通过上述触屏器就可以实现虚拟外语情景教学环境的选择。

进一步地，在上述实施例中，外语情景环境教学系统包括一虚拟摆件生成模块12，虚拟摆件生成模块12用于根据情景环境中的真实摆件建立虚拟摆件。

作为优选的实施方式，外语情景的参与者(可以是教室和/或学生)可以在虚拟外语情景教学环境中摆放自己喜欢的3D虚拟的桌子、椅子、书架、柜台、货架等虚拟摆件，其中，上述虚拟摆件在虚拟外语情景教学环境中的方向(朝向)是可以调整的。当然，也可以是外语情景环境教学系统默认一起导入的虚拟摆件。

其中，上述虚拟摆件也可以为马克杯，台历、毛绒玩具等等。

其中，上述虚拟摆件，都需要在外语情景环境教学系统中建模编程预制过。可以根据需要单独地或者成套地被调用。

进一步地，该外语情景环境教学系统结合AR技术创建虚拟外语情景教学环境，满足多维交互体验的实践教学需求，为外语情景的参与者提供一个不受时间和空间的限制的虚拟外语情景教学环境，并且能够提升学生对外语情景教学的兴趣，从而以互动形式探查、研究更深层次的内容，进一步地吸引学生能够学习和参与到教学中。

进一步地，在上述实施例中，如图8所示，外语情景环境教学系统包括一第一存储模块13和一第二存储模块14；

第一存储模块13用于存储每个情景环境对应的虚拟外语情景教学环境；

第二存储模块14与虚拟摆件生成模块12连接，第二存储模块14用于存储虚拟摆设，外语情景的参与者选择虚拟摆件，并通过使用AR显示设备1将虚拟摆设放置在虚拟外语情景教学环境中。

在上述实施例中，外语情景环境教学系统包括一存储器，所述存储器可以被划分有第一存储模块13和第二存储模块14。

进一步地，在上述实施例中，虚拟外语情景教学环境包括：休闲交流的情景环境，家庭交流的情景环境，医疗交流情景环境、宾馆前台交流情景环境、银行交流情景环境、超市交流情景环境、大使馆交流情景环境、餐厅交流情景环境、问路/寻人交流情景环境、交通枢纽咨询柜台交流情景环境和日常交流的情景环境。并且第一存储模块13中存储的虚拟外语情景教学环境不限于上述示例中的虚拟外语情景教学环境。

【实施例五】

本发明还提供一种混合现实的教具互动系统，如图9所示，至少包括AR显示设备1，AR显示设备1显示2D/3D虚拟外语情景教具，外语情景的参与者通过使用AR显示设备1与2D/3D虚拟外语教具进行教学互动。

在上述实施例中，外语情景的参与者通过使用AR显示设备1与2D/3D虚拟外语教具进行教学互动，从而提高情景教学的互动性。

上述2D/3D虚拟外语情景教具可以为虚拟恐龙模型、虚拟几何形状块、虚拟植物、虚拟地球(仪)、虚拟太阳系模型等等。

进一步地，在上述实施例中，如图9所示，外语教具互动系统包括第一教具生成模块15，第二教具生成模块16，第三教具生成模块17和第四教具生成模块18；

第一教具生成模块15可以直接创建2D/3D虚拟外语教具，并将2D/3D虚拟外语教具投射至AR显示设备1中；

第二教具生成模块16可以根据真实教具触发2D/3D虚拟教具，并将2D/3D虚拟教具投射至AR显示设备1中；

第三教具生成模块17可以根据第一触发物触发2D/3D虚拟教具，并将2D/3D虚拟教具投射至AR显示设备1中；

第四教具生成模块18可以对第二触发物进行识别，以根据识别结果触发无颜色的2D/3D虚拟教具，并根据外语情景的参与者添加的颜色特征于无颜色的2D/3D虚拟教具添加对应的颜色，并将无颜色或添加颜色的2D/3D虚拟教具投射至AR显示设备1中。

在上述实施例中，第一教具生成模块15，第二教具生成模块16，第三教具生成模块17和第四教具生成模块18是2D/3D虚拟外语情景教具的4种教具生成模块，其中，教具互动系统的后台模块管理系统包括上述4种教具生成模块，方便上述4种教具生成模块的管理。

作为优选的实施方式，第一教具生成模块15可以直接创建2D/3D虚拟外语教具，并将2D/3D虚拟外语教具投射至AR显示设备1中；例如，上述第一教具生成模块15创建的2D/3D虚拟外语教具可以为虚拟的精灵教具、虚拟的恐龙教具、虚拟的兔子教具；即上述2D/3D虚拟外语教具可以是有现实依据的也可以是通过人类的想象凭空产生的。

作为优选的实施方式，第二教具生成模块16可以根据真实教具触发2D/3D虚拟教具，并将2D/3D虚拟教具投射至AR显示设备1中；例如，如图10-12所示，真实教具可以为太阳系中的一个星球模型，在此以真实的地球模型E1为例，并且真实的地球模型E1(显示大小可以设置)可以触发虚拟的太阳系模型，其中，虚拟的太阳系模型(显示大小可以设置)中包括虚拟的地球模型E2，当触发显示真实的地球模型E1相应的虚拟的太阳系模型时，虚拟的太阳系模型中的虚拟的地球模型E2正好覆盖真实的地球模型E1，从而实现基于真实的地球模型E1展开虚拟的太阳系模型的视觉效果，使得虚实结合更加紧密。

外语教学系统中还存储有教具包，在不同外语教学环境下可以单独地调取教具包中的虚拟教具和2D/3D模型。

在上述实施例中，可以将真实教具结合2D/3D虚拟教具，从而将教学、管理、学习、娱乐、分享和互动交流集一体，以满足多维交互体验的实践教学需求。

作为优选的实施方式，第三教具生成模块17可以根据第一触发物触发2D/3D虚拟教具，并将2D/3D虚拟教具投射至AR显示设备1中；

第一触发物可以包括触发卡片，例如，触发卡片上设置有恐龙、蔬菜和小动物等绘画对象，并且每张触发卡片上均设置有一个标记物，其中，AR显示设备1直视整张触发卡片时，即AR显示设备1观察到标记物时可以根据标记物显示与恐龙卡片对应的虚拟恐龙，上述虚拟恐龙可以设置在真实的触发卡片的上方，给用户跃然纸上的视觉效果，增强虚拟结合的趣味性，从而提升用户的学习兴趣。

第一触发物还可以包括触发多面体，触发多面体(比如立法体)的每个面均设置有标记物，只要一个标记物被AR显示设备1捕捉到就可以触发显示由触发多面体触发的虚拟教具，从而避免用户的移动而导致的触发的虚拟教具消失。

作为优选的实施方式，第二触发物可以为白描动物画纸，第四教具生成模块18可以对上述白描动物画纸进行识别，并且根据识别结果触发白描动物画纸对应的无颜色的2D/3D虚拟教具，随后当外语情景的参与者在白描动物画纸上添加颜色时，第四教具生成模块18根据添加的颜色的位置和色块，在无颜色的2D/3D虚拟教具的对应位置上添加对应的颜色，随后将添加颜色的2D/3D虚拟教具投射至AR显示设备1中。

其中，AR显示设备1中的RGB摄像头可以识别在白描动物画纸上添加颜色的色块，从而在2D/3D虚拟教具的对应位置上就添加对应的色块。

进一步地，在上述实施例中，AR显示设备1包括一第三传感器模块；

第三传感器模块，用于获取AR显示设备1的状态信息，以及相对于AR显示设备1的AR显示设备1所处的当前场景的状态信息。

在上述实施例中，第三传感器模块可以获取AR显示设备1的状态信息，上述状态信息包括AR显示设备1的朝向信息、高度信息及空间位置信息，也可以获取到相对于AR显示设备1和与AR显示设备1相对的位置信息及相对距离。

进一步地，在上述实施例中，第三传感器模块包括鱼眼摄像头31，自由度传感器32和惯性测量单元33；

鱼眼摄像头31，用于识别AR显示设备1在当前场景内的移动距离，并根据移动距离计算得到AR显示设备1在当前场景内的位置信息；

自由度传感器32，用于获取AR显示设备1在当前场景内的移动距离和旋转角度，并根据移动距离和旋转角度计算得到AR显示设备1在当前场景内的位置信息；

惯性测量单元33，用于获取AR显示设备1在当前场景内的移动距离，并根据移动距离计算得到AR显示设备1在当前场景内的位置信息。

在上述实施例中，第三传感器模块可以采用鱼眼摄像头31不间断的拍摄当前场景内的图像信息，分析比较每一帧的图像信息的特征点，如果判断特征点向左移动，就可以推断为AR显示设备1向右移动，如果判断特征点向右移动，就可以推断为AR显示设备1可能向左移动，向上向下同理，如果判断特征点之间的距离越来越大，可以推断为AR显示设备1向前移动，如果判断距离越来越小，可以推断为AR显示设备1向后移动。

进一步地，作为优选的实施方式，可以在AR显示设备1上设置两个鱼眼摄像头31，即通过双鱼眼摄像头31能够获取超广视野，在双鱼眼摄像头31之后安装有一百万像素的单色传感器，以有效提高了在低照度下捕捉影像的能力，工作时通过双鱼眼摄像头31协同工作，以30FPS速度扫描AR显示设备1的周边环境，并通过三角测量原理计算AR显示设备1与当前景物的距离，其原理与手机双摄像头拍摄虚化背景照片相同，但不同点在于两个双鱼眼摄像头31的间距很大，精度更高，距离信息经处理后变换为空间位置信息，获取映射至软件系统应用里面的某个节点，例如，软件系统应用可以是Unity软件(或类似软件)，然后与单色传感器的数据进行融合，节点能随着AR显示设备1的位置移动而移动，以及节点可以随着AR显示设备1的转动而转动，但是在当前场景中的节点以外的物体可以静止在原地，从而可以实现外语情景的参与者佩戴AR显示设备1在当前场景中自由行走或自由移动。

在上述实施例中，惯性测量单元33是一种通过传感器组合(具体包括加速度计、陀螺仪和磁力计)来测量和报告速度、方向和重力的电子设备。

作为优选的实施方式中，第三传感器单元的鱼眼摄像头31可以结合惯性测量单元33，其中惯性测量单元33包括陀螺仪、重力、加速度、磁场仪四种传感器，通过特定的算法，就可以得到AR显示设备1的旋转和相对位移，即能够感应设备的前、后、左、右、上、下、前、后的移动。从而通过结合使用鱼眼摄像头31和惯性测量单元33，可以实现外语情景的参与者佩戴AR显示设备1在当前场景内自由移动。

在人体贴图覆盖、环境贴图覆盖和虚实道具互动等等的基础上，学生更容易沉浸入外语环境，可以说在某种程度上是相当于学生出国至当地体验当地风土人情和语音交流。

进一步地，在上述实施例中，混合现实的外语情景式教学系统和外语情景教学环境系统以及教具互动系统优选的硬件条件要求包括：

(1)NVIDIA独显小型PC(可以在信息计算中心设置一台SEVER)机，并支持4G/5G频段WIFI路由器(可以在每个第二教学场景和第二教学场景各设1台上述路由器)，和多台AR显示设备1；

其中，第一和第二视角分别设置有至少2台AR显示设备1，第三视角设置有至少3台AR显示设备1(教师端设置有至少2台AR显示设备1，其中一台AR显示设备1作为教师自己使用，另一台AR显示设备1用于获取虚实结合图像上传给系统)；

(2)PC机与本地路由器有线连接；

(3)每台路由器与当地多台AR显示设备1无线连接。

其中，PC机相当于服务(SEVER)端，也可以有云服务器来承担，充当系统中心的角色，承担内容展示调度的作用；一台AR显示设备1作为教师端并配备操作手柄，其他AR显示设备1作为学生端同步观看由教师端控制的由内容端播放的虚拟教学演示内容，支持互动。并且学生端有多人的，可以给每个学生端配备AR显示设备1，例如AR眼镜，但并不要求所有处于学生端的用户在同一空间中。

【实施例六】

本发明还提供一种混合现实的外语情景式教学方法，如图13所示，具体包括：

步骤S1，AR显示设备根据在视场中的真实人体轮廓影像的尺寸，在人体轮廓表面生成对应外语情景的伪装贴图。

在上述实施例中，AR显示设备根据在视场中的真实人体轮廓影像的尺寸，在人体轮廓表面生成对应外语情景的伪装贴图，使得外语情景的参与者(外语情景的参与者可以为学生和教师)可以在AR显示设备中进行情景角色扮演，并且不需要真实穿戴情景角色扮演所需要的服饰，从而减少购买扮演所需服饰的成本，并且提高外语情景教学的真实感，使得学生可以身临其境，更加方便的融入情景教学中，进而提高外语情景的参与者的互动体验，集教学、管理、学习、娱乐、分享、互动交流于一体，真正实现“教与学”的双线并进和实时互动。

进一步地，在上述实施例中，如图14所示，步骤S1具体包括：

步骤S11，获取真实人体轮廓的影像信息；

步骤S12，获取AR显示设备的状态信息，以及外语情景的参与者的状态信息。

在上述实施例中，在步骤S11中可以通过TOF摄像头获取真实人体轮廓的影像信息，在步骤S12中可以通过传感器获取AR显示设备的状态信息，以及外语情景的参与者的状态信息，其中，上述状态信息包括AR显示设备的朝向信息、高度信息及空间位置信息，也可以获取到相对于AR显示设备和与AR显示设备相对的位置信息及相对距离。

进一步地，在上述实施例中，如图15所示，步骤S12具体包括：

步骤S121，采用鱼眼摄像头识别AR显示设备在当前空间内的移动距离，并根据移动距离计算得到AR显示设备在当前场景内的位置信息；

步骤S122，采用自由度传感器获取AR显示设备在当前场景内的移动距离和旋转角度，并根据移动距离和旋转角度计算得到AR显示设备在当前场景内的位置信息；

步骤S123，采用惯性测量单元获取AR显示设备在当前场景内的移动距离，并根据移动距离计算得到AR显示设备在当前场景内的位置信息。

进一步地，在上述实施例中，如图16所示，步骤S1具体包括：

步骤S13，根据真实人体的人体尺寸生成对应于外语情景且能动态覆盖真实人体轮廓的2D/3D模型的伪装贴图。从而实现外语情景的参与者的情景角色扮演。

进一步地，在上述实施例中，如图17所示，

步骤S13具体包括：

步骤S131，采集真实人体的人体尺寸；

步骤S132，根据人体尺寸以及真实人体轮廓的影像信息，建立与真实人体的轮廓一致的2D/3D模型，并将2D/3D模型投射到AR显示设备中并与对应的真实人体实时重叠；

步骤S133，根据人体尺寸调整伪装贴图，以将伪装贴图覆盖于不同视角中的2D/3D模型的表面。

在上述实施例中，可以通过深度传感器采集真实人体的人体尺寸；

在上述实施例中，通过将2D/3D模型与对应的真实人体实时重叠，实现覆盖在2D/3D模型的表面的伪装贴图同时也覆盖在对应的真实人体上，从而使得外语情景的参与者通过AR显示设备就可以看到穿戴情景装扮服饰的参与者们，并且进行相应的互动，从而增加情景教学的趣味性，进而实现“娱乐”与“教学”的结合，使得外语情景教学更加有效。

进一步地，作为优选的实施方式，如图18所示，步骤S133具体包括：

步骤S1331，实时获取AR显示设备的当前视角，并将根据当前视角下的真实人体的人体尺寸调整伪装贴图，以将伪装贴图覆盖于当前视角中的2D/3D模型的表面。

在上述优选的实施方式中，在步骤S1331中只需要实时获取AR显示设备的当前视角，并且只针对当前视角下的真实人体的人体尺寸调整伪装贴图，以将伪装贴图覆盖于当前视角中的2D/3D模型的表面；减少当前所需的伪装贴图的量，进而减少外语情景的参与者佩戴的AR显示设备的处理量。

进一步地，作为优选的实施方式，如图19所示，步骤S133具体包括：

步骤S1332，根据于多个视角下的真实人体的人体尺寸调整伪装贴图，以将贴图覆盖于每个视角中的2D/3D模型的表面；

其中，所有视角构成真实人体的360度的空间视角。

在上述优选的实施方式中，在步骤S1332中，需要获取整个真实人体，即需要针对多个视角下的真实人体的人体尺寸调整伪装贴图，以将伪装贴图覆盖于每个视角中的2D/3D模型的表面；可以直接获取整个真实人体的人体尺寸进行调整伪装贴图。

进一步地，在上述实施例中，贴图包括头部贴图、躯干贴图、四肢贴图；

如图20所示，步骤S133具体包括：

步骤S1333，根据真实人体的头部的头部尺寸调整头部贴图，以将头部贴图覆盖在不同视角中的2D/3D模型的头部；

步骤S1334，根据真实人体的躯干的躯干尺寸调整躯干贴图，以将躯干贴图覆盖在不同视角中的2D/3D模型的躯干；

步骤S1335，根据真实人体的四肢尺寸调整四肢贴图，以将四肢贴图覆盖在不同视角中的2D/3D模型的四肢；

其中，人体尺寸包括头部尺寸、躯干尺寸和四肢尺寸。

作为优选的实施方式，头部贴图可以包括有帽子贴图，眼镜贴图和口罩贴图等；

躯干贴图可以包括上身服饰和/或下身服饰的躯干部分贴图；

四肢贴图可以包括上身服饰和/或下身服饰的四肢部分贴图。

并且各个贴图根据对应贴图的头部尺寸、躯干尺寸和四肢尺寸进行相应的调节。

进一步地，在上述实施例中，如图21所示，步骤S1具体包括：

步骤S14，捕捉真实教师和/或真实学生执行的手势动作；

步骤S15，识别捕捉到的手势动作。

进一步地，在上述实施例中，在步骤S14中，可以采用手柄控制器和/或手表式惯性测量单元捕捉真实教师和/或真实学生执行的手势动作。

进一步地，在上述实施例中，如图22所示，步骤S1还包括：

步骤S16，识别外语情景中参与者语音的音高、音调、音准和/或音节；

步骤S17，根据外语语音库与采集到的参与者语音的音高、音调、音准和/或音节进行对比和判断，以获取接近于参与者语音的音高、音调、音准和/或音节的语音判断内容；

步骤S18，根据语音判断内容，向参与者提示参与者语音的音高、音调、音准和/或音节的矫正内容。

在上述实施例中，可以对参与者的语音的发音进行校正和提示，从而可以提高参与者的语音的发音精度。

【实施例七】

本发明还提供一种混合现实的外语情景式教学环境方法，如图23所示，具体包括：

步骤S2，AR显示设备根据真实环境的空间尺寸，提供用于显示覆盖于真实环境的真实地面、真实墙面和真实顶棚的不同情景环境的虚拟地面、虚拟墙面和虚拟顶棚，虚拟地面、虚拟墙面及虚拟顶棚组成一虚拟外语情景教学环境。

在上述实施例中，通过覆盖于真实环境的真实地面、真实墙面和真实顶棚的不同情景环境的虚拟地面、虚拟墙面和虚拟顶棚，虚拟地面、虚拟墙面及虚拟顶棚组成一虚拟外语情景教学环境，使得虚拟外语情景教学环境的虚拟地面、虚拟墙面和虚拟顶棚不会移动，而外语情景的参与者在虚拟外语情景教学环境内可以自由移动，使得外语情景教学更加方便，进而使得参与者的更加快速地融入到外语情景教学中。

进一步地，在上述实施例中，如图24所示，步骤S2包括：

步骤S21，获取真实环境的图像信息；

步骤S22，获取AR显示设备的状态信息，以及相对于AR显示设备的真实环境的状态信息。

在上述实施例中，在步骤S21中，可以通过3D扫描仪或TOF摄像头获取真实环境的图像信息。

进一步地，在上述实施例中，如图25所示，步骤S21包括：

步骤S211，采集真实环境内的图像信息、距离信息及尺寸信息，并根据图像信息、距离信息及尺寸信息来识别外语情景的参与者与真实环境的实时相对位置状态。

进一步地，在上述实施例中，如图26所示，步骤S22包括：

步骤S221，采用鱼眼摄像头识别AR显示设备在真实场景内的移动距离，并根据移动距离计算得到AR显示设备在虚拟外语情景教学环境内的位置信息；

步骤S222，采用自由度传感器获取AR显示设备在真实场景内的移动距离和旋转角度，并根据移动距离和旋转角度计算得到AR显示设备在虚拟外语情景教学环境内的位置信息；

步骤S223，采用惯性测量单元获取AR显示设备在真实场景内的移动距离，并根据移动距离计算得到AR显示设备在虚拟外语情景教学环境内的位置信息。

进一步地，在上述实施例中，如图27所示，步骤S2具体包括：

步骤S23，根据情景环境建立与教学相关的虚拟外语情景教学环境，并将虚拟外语情景教学环境投射至AR显示设备中，并敷贴显示于真实环境的表面。

进一步地，在上述实施例中，AR显示设备包括场景切换模块，如图28所示，步骤S2具体包括：

步骤S24，外语情景的参与者通过场景切换模块中，从多个虚拟外语情景教学环境选择一个虚拟外语情景教学环境来覆盖真实环境或当前的虚拟外语情景教学环境。

作为优选的实施方式，例如当前的虚拟外语情景教学环境为外国的咖啡厅情景教学场景，然而当前参与者想要的虚拟外语情景教学环境为动物园情景教学场景，因此参与者可以在场景切换模块中选择动物园情景教学场景来覆盖当前的咖啡厅情景教学场景，从而实现让参与者1秒中就从咖啡厅情景教学场景进入到动物园情景教学场景中，效果真实可信，切换成本极低。

【实施例八】

本发明还提供一种混合现实的外语教具互动方法，如图29所示，具体包括：

步骤S3，AR显示设备显示2D/3D虚拟外语情景教具，外语情景的参与者通过使用AR显示设备与2D/3D虚拟外语教具进行教学互动。

在上述实施例中，外语情景的参与者通过使用AR显示设备与2D/3D虚拟外语教具进行教学互动，从而提高情景教学的互动性。

上述2D/3D虚拟外语情景教具可以为虚拟恐龙模型、虚拟几何形状块、虚拟植物、虚拟地球(仪)、虚拟太阳系模型等等。

进一步地，在上述实施例中，如图30所示，步骤S3具体包括：

步骤S31，直接创建2D/3D虚拟外语教具，并将2D/3D虚拟外语教具投射至AR显示设备中；

步骤S32，根据真实教具触发2D/3D虚拟教具，并将2D/3D虚拟教具投射至AR显示设备中；

步骤S33，根据第一触发物触发2D/3D虚拟教具，并将2D/3D虚拟教具投射至AR显示设备中；

步骤S34，对第二触发物进行识别，以根据识别结果触发无颜色的2D/3D虚拟教具，并根据外语情景的参与者添加的颜色特征于无颜色的2D/3D虚拟教具添加对应的颜色，并将无颜色或添加颜色的2D/3D虚拟教具投射至AR显示设备中。

作为优选的实施方式，上述步骤S31创建的2D/3D虚拟外语教具可以为虚拟的精灵教具、虚拟的恐龙教具、虚拟的兔子教具；即上述2D/3D虚拟外语教具可以是有现实依据的也可以是通过人类的想象凭空产生的。

作为优选的实施方式，上述步骤S32中的真实教具可以为恐龙玩具，那与真实教具对应的2D/3D虚拟恐龙。

在上述实施例中，可以将真实教具结合2D/3D虚拟教具，从而将教学、管理、学习、娱乐、分享和互动交流集一体，以满足多维交互体验的实践教学需求。

作为优选的实施方式，上述步骤S33中的第一触发物可以包括触发卡片，例如，触发卡片上设置有恐龙、蔬菜和小动物等绘画对象，并且每张触发卡片上均设置有一个标记物，其中，AR显示设备直视整张触发卡片时，即AR显示设备观察到标记物时可以根据标记物显示与恐龙卡片对应的虚拟恐龙，上述虚拟恐龙可以设置在真实的触发卡片的上方，给用户跃然纸上的视觉效果，增强虚拟结合的趣味性，从而提升用户的学习兴趣。

第一触发物还可以包括触发多面体，触发多面体的每个面均设置有标记物，只要一个标记物被AR显示设备捕捉到就可以触发显示由触发多面体触发的虚拟教具，从而避免用户的移动而导致的触发的虚拟教具消失。

作为优选的实施方式，上述步骤S34中的第二触发物可以为白描动物画纸，并对上述白描动物画纸进行识别，并且根据识别结果触发白描动物画纸对应的无颜色的2D/3D虚拟教具，随后当外语情景的参与者在白描动物画纸上添加颜色时，AR显示设备根据添加的颜色的位置和色块，在无颜色的2D/3D虚拟教具的对应位置上添加对应的颜色，随后将添加颜色的2D/3D虚拟教具投射至AR显示设备中。

其中，AR显示设备中的RGB摄像头可以识别在白描动物画纸上添加颜色的色块，从而在2D/3D虚拟教具的对应位置上就添加对应的色块。

进一步地，在上述实施例中，如图31所示，步骤S3具体包括：

步骤S35，获取AR显示设备的状态信息，以及相对于AR显示设备的AR显示设备所处的当前场景的状态信息。

上述状态信息包括AR显示设备的朝向信息、高度信息及空间位置信息，也可以获取到相对于AR显示设备和与AR显示设备相对的位置信息及相对距离。

进一步地，在上述实施例中，如图32所示，步骤S35具体包括：

步骤S351，采用鱼眼摄像头识别AR显示设备在当前场景内的移动距离，并根据移动距离计算得到AR显示设备在当前场景内的位置信息；

步骤S352，采用自由度传感器获取AR显示设备在当前场景内的移动距离和旋转角度，并根据移动距离和旋转角度计算得到AR显示设备在当前场景内的位置信息；

步骤S353，采用惯性测量单元获取AR显示设备在当前场景内的移动距离，并根据移动距离计算得到AR显示设备在当前场景内的位置信息。

以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (43)

1.一种混合现实的外语情景式教学系统，其特征在于，至少包括AR显示设备，所述AR显示设备根据在视场中的真实人体轮廓影像的尺寸,在所述人体轮廓表面生成对应所述外语情景的伪装贴图。

2.如权利要求1所述的外语情景式教学系统，其特征在于，所述AR显示设备包括第一图像采集模块和/或第一传感器模块；

所述第一图像采集模块，用于获取所述真实人体轮廓的影像信息；

所述第一传感器模块，用于获取所述AR显示设备的状态信息，以及所述外语情景的参与者的状态信息。

3.如权利要求2所述的外语情景式教学系统，其特征在于，所述第一传感器模块包括鱼眼摄像头、自由度传感器和惯性测量单元；

所述鱼眼摄像头，用于识别所述AR显示设备在当前空间内的移动距离，并根据所述移动距离计算得到所述AR显示设备在所述当前场景内的位置信息；

所述自由度传感器，用于获取所述AR显示设备在当前场景内的移动距离和旋转角度，并根据所述移动距离和所述旋转角度计算得到所述AR显示设备在当前场景内的所述位置信息；

所述惯性测量单元，用于获取所述AR显示设备在所述当前场景内的移动距离，并根据所述移动距离计算得到所述AR显示设备在所述当前场景内的所述位置信息。

4.如权利要求1所述的外语情景式教学系统，其特征在于，所述AR显示设备包括贴图模块；

所述贴图模块，用于根据所述真实人体的人体尺寸生成对应于所述外语情景且能动态覆盖所述真实人体轮廓的2D/3D模型的伪装贴图。

5.如权利要求4所述的外语情景式教学系统，其特征在于，所述贴图模块包括2D/3D模型建立单元、人体尺寸获取单元和贴图覆盖单元；

所述人体尺寸获取单元，用于采集所述真实人体的所述人体尺寸；

所述2D/3D模型建立单元与所述人体尺寸获取单元连接，所述2D/3D模型建立单元，用于根据所述人体尺寸以及所述真实人体轮廓的所述影像信息，建立与所述真实人体的轮廓一致的2D/3D模型，并所述2D/3D模型投射到所述AR显示设备中并与对应的所述真实人体实时重叠；

所述贴图覆盖单元分别与所述2D/3D模型建立单元，以及所述人体尺寸获取单元连接，所述贴图覆盖单元用于根据所述人体尺寸调整所述伪装贴图，以将所述伪装贴图覆盖于不同视角中的所述2D/3D模型的表面。

6.如权利要求5所述的外语情景式教学系统，其特征在于，所述贴图覆盖单元包括第一覆盖组件，所述第一覆盖组件实时获取所述AR显示设备的当前视角，并将根据所述当前视角下的所述真实人体的所述人体尺寸调整所述伪装贴图，以将所述伪装贴图覆盖于所述当前视角中的所述2D/3D模型的表面。

7.如权利要求5所述的外语情景式教学系统，其特征在于，所述贴图覆盖单元包括第二覆盖组件，所述第二覆盖组件根据于多个视角下的所述真实人体的所述人体尺寸调整所述伪装贴图，以将所述贴图覆盖于每个视角中的所述2D/3D模型的表面；

其中，所有视角构成所述真实人体的360度的空间视角。

8.如权利要求5所述的外语情景式教学系统，其特征在于，所述贴图包括头部贴图、躯干贴图、四肢贴图；

所述贴图覆盖单元包括头部贴图覆盖组件、躯干贴图覆盖组件、四肢贴图覆盖组件；

所述头部贴图覆盖组件，用于根据所述真实人体的头部的头部尺寸调整所述头部贴图，以将所述头部贴图覆盖在不同视角中的所述2D/3D模型的头部；

所述躯干贴图覆盖组件，用于根据所述真实人体的躯干的躯干尺寸调整所述躯干贴图，以将所述躯干贴图覆盖在不同视角中的所述2D/3D模型的躯干；

所述四肢贴图覆盖组件，用于根据所述真实人体的四肢尺寸调整所述四肢贴图，以将所述四肢贴图覆盖在不同视角中的所述2D/3D模型的四肢；

其中，所述人体尺寸包括所述头部尺寸、所述躯干尺寸和所述四肢尺寸。

9.如权利要求1所述的外语情景式教学系统，其特征在于，所述AR显示设备包括手势捕捉模块、手势识别模块；

所述手势捕捉模块，用于捕捉所述真实执行的手势动作；

所述手势识别模块，与所述手势捕捉模块连接，用于识别所述手势捕捉模块捕捉到的所述手势动作。

10.如权利要求9所述的外语情景式教学系统，其特征在于，所述手势捕捉模块采用手柄控制器和/或手表式惯性测量单元捕捉所述真实执行的所述手势动作。

11.如权利要求1所述的外语情景式教学系统，其特征在于，所述AR显示设备包括第一语音采集模块和/或语音翻译模块；

所述第一语音采集模块，用于采集所述真实人体中发出的所述语音指令。

12.如权利要求11所述的外语情景式教学系统，其特征在于，所述外语情景教学系统包括第一语音识别模块，第一语音搜索对比判断模块和第一语音提示矫正模块；

所述第一语音识别模块，用于识别所述外语情景中参与者语音的音高、音调、音准和/或音节；

所述第一语音搜索对比判断模块，与所述第一语音识别模块连接，用于在外语语音库中根据所述参与者语音的音高、音调、音准和/或音节进行对比和判断，以获取接近于所述参与者语音的音高、音调、音准和/或音节的语音判断内容；

所述第一语音提示矫正模块，与所述第一语音搜索对比判断模块连接，用于根据所述语音判断内容，向所述参与者提示所述参与者语音的音高、音调、音准和/或音节的矫正内容。

13.一种混合现实的外语情景教学环境系统，其特征在于，至少包括AR显示设备，所述AR显示设备根据真实环境的空间尺寸，提供用于显示覆盖于所述真实环境的真实地面、真实墙面和真实顶棚的不同情景环境的虚拟地面、虚拟墙面和虚拟顶棚，所述虚拟地面、所述虚拟墙面及所述虚拟顶棚组成一虚拟外语情景教学环境。

14.如权利要求13所述的外语情景教学环境系统，其特征在于，所述AR显示设备包括一第一图像采集模块与一第一传感器模块；

所述第一图像采集模块，用于获取所述真实环境的图像信息；

所述第一传感器模块，用于获取所述AR显示设备的状态信息，以及相对于所述AR显示设备的所述真实环境的状态信息。

15.根据权利要求14所述的外语情景教学环境系统，其特征在于，所述第一图像采集模块包括一3D扫描仪或TOF摄像头；

所述3D扫描仪或TOF摄像头，用于采集所述真实环境内的图像信息、距离信息及尺寸信息，并根据所述图像信息、所述距离信息及所述尺寸信息来识别外语情景的参与者与所述真实环境的实时相对位置状态。

16.根据权利要求14所述的外语情景教学环境系统，其特征在于，所述第一传感器模块包括鱼眼摄像头，自由度传感器和惯性测量单元；

所述鱼眼摄像头，用于识别所述AR显示设备在所述真实场景内的移动距离，并根据所述移动距离计算得到所述AR显示设备在所述虚拟外语情景教学环境内的位置信息；

所述自由度传感器，用于获取所述AR显示设备在所述真实场景内的移动距离和旋转角度，并根据所述移动距离和所述旋转角度计算得到所述AR显示设备在所述虚拟外语情景教学环境内的所述位置信息；

所述惯性测量单元，用于获取所述AR显示设备在所述真实场景内的移动距离，并根据所述移动距离计算得到所述AR显示设备在所述虚拟外语情景教学环境内的所述位置信息。

17.如权利要求13所述的外语情景教学环境系统，其特征在于，所述外语情景教学环境系统包括一虚拟环境生成模块，所述虚拟环境生成模块用于根据所述情景环境建立与教学相关的所述虚拟外语情景教学环境，并将所述虚拟外语情景教学环境投射至所述AR显示设备中，并敷贴显示于所述真实环境的表面。

18.如权利要求13所述的外语情景教学环境系统，其特征在于，所述AR显示设备包括场景切换模块，外语情景的参与者通过所述场景切换模块，从多个所述虚拟外语情景教学环境选择一个所述虚拟外语情景教学环境来覆盖所述真实环境或当前的所述虚拟外语情景教学环境。

19.如权利要求13所述的外语情景教学环境系统，其特征在于，所述外语情景环境教学系统包括一虚拟摆件生成模块，所述虚拟摆件生成模块用于根据所述情景环境中的真实摆件建立虚拟摆件。

20.如权利要求19所述的外语情景教学环境系统，其特征在于，所述外语情景环境教学系统包括一第一存储模块和一第二存储模块；

所述第一存储模块用于存储每个所述情景环境对应的所述虚拟外语情景教学环境；

所述第二存储模块与所述虚拟摆件生成模块连接，所述第二存储模块用于存储虚拟摆设，外语情景的参与者选择所述虚拟摆件，并通过使用所述AR显示设备将所述虚拟摆设放置在所述虚拟外语情景教学环境中。

21.如权利要求20所述的外语情景教学环境系统，其特征在于，所述虚拟外语情景教学环境包括：休闲社交交流的情景环境，家庭交流的情景环境，医疗交流情景环境、宾馆前台交流情景环境、银行交流情景环境、超市交流情景环境、大使馆交流情景环境、餐厅交流情景环境、问路/寻人交流情景环境、交通枢纽咨询柜台交流情景环境和日常交流的情景环境。

22.一种混合现实的教具互动系统，其特征在于，至少包括AR显示设备，所述AR显示设备显示2D/3D虚拟外语情景教具，外语情景的参与者通过使用所述AR显示设备与所述2D/3D虚拟外语教具进行教学互动。

23.如权利要求22所述的教具互动系统，其特征在于，所述外语教具互动系统包括第一教具生成模块，第二教具生成模块，第三教具生成模块和第四教具生成模块；

所述第一教具生成模块直接创建所述2D/3D虚拟外语教具，并将所述2D/3D虚拟外语教具投射至所述AR显示设备中；

所述第二教具生成模块根据真实教具触发所述2D/3D虚拟教具，并将所述2D/3D虚拟教具投射至所述AR显示设备中；

所述第三教具生成模块根据第一触发物触发所述2D/3D虚拟教具，并将所述2D/3D虚拟教具投射至所述AR显示设备中；

所述第四教具生成模块对第二触发物进行识别，以根据识别结果触发无颜色的所述2D/3D虚拟教具，并根据外语情景的参与者添加的颜色特征于无颜色的所述2D/3D虚拟教具添加对应的颜色，并将无颜色或添加颜色的所述2D/3D虚拟教具投射至所述AR显示设备中。

24.如权利要求23所述的教具互动系统，其特征在于，所述AR显示设备包括一第三传感器模块；

所述第三传感器模块，用于获取所述AR显示设备的状态信息，以及相对于所述AR显示设备的所述AR显示设备所处的当前场景的状态信息。

25.根据权利要求24所述的教具互动系统，其特征在于，所述第三传感器模块包括鱼眼摄像头，自由度传感器和惯性测量单元；

所述鱼眼摄像头，用于识别所述AR显示设备在所述当前场景内的移动距离，并根据所述移动距离计算得到所述AR显示设备在所述当前场景内的位置信息；

所述自由度传感器，用于获取所述AR显示设备在所述当前场景内的移动距离和旋转角度，并根据所述移动距离和所述旋转角度计算得到所述AR显示设备在所述当前场景内的所述位置信息；

所述惯性测量单元，用于获取所述AR显示设备在所述当前场景内的移动距离，并根据所述移动距离计算得到所述AR显示设备在所述当前场景内的所述位置信息。

26.一种混合现实的外语情景式教学方法，其特征在于，具体包括：

步骤S1，AR显示设备根据在视场中的真实人体轮廓影像的尺寸，在所述人体轮廓表面生成对应所述外语情景的伪装贴图。

27.如权利要求26所述的外语情景式教学方法，其特征在于，所述步骤S1具体包括：

步骤S11，获取所述真实人体轮廓的影像信息；

步骤S12，获取所述AR显示设备的状态信息，以及所述外语情景的参与者的状态信息。

28.如权利要求27所述的外语情景式教学方法，其特征在于，所述步骤S12具体包括：

步骤S121，采用鱼眼摄像头识别所述AR显示设备在当前空间内的移动距离，并根据所述移动距离计算得到所述AR显示设备在所述当前场景内的位置信息；

步骤S122，采用自由度传感器获取所述AR显示设备在当前场景内的移动距离和旋转角度，并根据所述移动距离和所述旋转角度计算得到所述AR显示设备在当前场景内的所述位置信息；

步骤S123，采用惯性测量单元获取所述AR显示设备在所述当前场景内的移动距离，并根据所述移动距离计算得到所述AR显示设备在所述当前场景内的所述位置信息。

29.如权利要求26所述的外语情景式教学方法，其特征在于，所述步骤S1具体包括：

步骤S13，根据所述真实人体的人体尺寸生成对应于所述外语情景且能动态覆盖所述真实人体轮廓的2D/3D模型的伪装贴图。

30.如权利要求29所述的外语情景式教学方法，其特征在于，

所述步骤S13具体包括：

步骤S131，采集所述真实人体的所述人体尺寸；

步骤S132，根据所述人体尺寸以及所述真实人体轮廓的所述影像信息，建立与所述真实人体的轮廓一致的2D/3D模型，并将所述2D/3D模型投射到所述AR显示设备中并与对应的所述真实人体实时重叠；

步骤S133，根据所述人体尺寸调整所述伪装贴图，以将所述伪装贴图覆盖于不同视角中的所述2D/3D模型的表面。

31.如权利要求30所述的外语情景式教学方法，其特征在于，所述步骤S133具体包括：

步骤S1331，实时获取所述AR显示设备的当前视角，并将根据所述当前视角下的所述真实人体的所述人体尺寸调整所述伪装贴图，以将所述伪装贴图覆盖于所述当前视角中的所述2D/3D模型的表面；

步骤S1332，根据于多个视角下的所述真实人体的所述人体尺寸调整所述伪装贴图，以将所述贴图覆盖于每个视角中的所述2D/3D模型的表面；

其中，所有所述视角构成所述真实人体的360度的空间视角。

32.如权利要求30所述的外语情景式教学方法，其特征在于，所述贴图包括头部贴图、躯干贴图、四肢贴图；

所述步骤S133具体包括：

步骤S1333，根据所述真实人体的头部的头部尺寸调整所述头部贴图，以将所述头部贴图覆盖在不同视角中的所述2D/3D模型的头部；

步骤S1334，根据所述真实人体的躯干的躯干尺寸调整所述躯干贴图，以将所述躯干贴图覆盖在不同视角中的所述2D/3D模型的躯干；

步骤S1335，根据所述真实人体的四肢尺寸调整所述四肢贴图，以将所述四肢贴图覆盖在不同视角中的所述2D/3D模型的四肢；

其中，所述人体尺寸包括所述头部尺寸、所述躯干尺寸和所述四肢尺寸。

33.如权利要求26所述的外语情景式教学方法，其特征在于，所述步骤S1还包括：

步骤S16，识别所述外语情景中参与者语音的音高、音调、音准和/或音节；

步骤S17，根据外语语音库与采集到的所述参与者语音的音高、音调、音准和/或音节进行对比和判断，以获取接近于所述参与者语音的音高、音调、音准和/或音节的语音判断内容；

步骤S18，根据所述语音判断内容，向所述参与者提示所述参与者语音的音高、音调、音准和/或音节的矫正内容。

34.一种混合现实的外语情景式教学环境实现方法，其特征在于，具体包括：

步骤S2，AR显示设备根据真实环境的空间尺寸，提供用于显示覆盖于所述真实环境的真实地面、真实墙面和真实顶棚的不同情景环境的虚拟地面、虚拟墙面和虚拟顶棚，所述虚拟地面、所述虚拟墙面及所述虚拟顶棚组成一虚拟外语情景教学环境。

35.如权利要求34所述的外语情景式教学环境实现方法，其特征在于，所述步骤S2包括：

步骤S21，获取所述真实环境的图像信息；

步骤S22，获取所述AR显示设备的状态信息，以及相对于所述AR显示设备的所述真实环境的状态信息。

36.根据权利要求35所述的外语情景式教学环境实现方法，其特征在于，所述步骤S21包括：

步骤S211，采集所述真实环境内的图像信息、距离信息及尺寸信息，并根据所述图像信息、所述距离信息及所述尺寸信息来识别外语情景的参与者与所述真实环境的实时相对位置状态。

37.根据权利要求35所述的外语情景式教学环境实现方法，其特征在于，所述步骤S22包括：

步骤S221，采用鱼眼摄像头识别所述AR显示设备在所述真实场景内的移动距离，并根据所述移动距离计算得到所述AR显示设备在所述虚拟外语情景教学环境内的位置信息；

步骤S222，采用自由度传感器获取所述AR显示设备在所述真实场景内的移动距离和旋转角度，并根据所述移动距离和所述旋转角度计算得到所述AR显示设备在所述虚拟外语情景教学环境内的所述位置信息；

步骤S223，采用惯性测量单元获取所述AR显示设备在所述真实场景内的移动距离，并根据所述移动距离计算得到所述AR显示设备在所述虚拟外语情景教学环境内的所述位置信息。

38.如权利要求34所述的外语情景式教学环境实现方法，其特征在于，所述步骤S2具体包括：

步骤S23，根据所述情景环境建立与教学相关的所述虚拟外语情景教学环境，并将所述虚拟外语情景教学环境投射至所述AR显示设备中，并敷贴显示于所述真实环境的表面。

39.如权利要求34所述的外语情景式教学环境实现方法，其特征在于，所述AR显示设备包括场景切换模块，所述步骤S2具体包括：

步骤S24，外语情景的参与者通过所述场景切换模块，从中多个所述虚拟外语情景教学环境选择一个所述虚拟外语情景教学环境来覆盖所述真实环境，或替换当前的所述虚拟外语情景教学环境。

40.一种混合现实的外语教具互动方法，其特征在于，具体包括：

步骤S3，所述AR显示设备显示2D/3D虚拟外语情景教具，外语情景的参与者通过使用所述AR显示设备与所述2D/3D虚拟外语教具进行教学互动。

41.如权利要求40所述的外语教具互动方法，其特征在于，所述步骤S3具体包括：

步骤S31，直接创建所述2D/3D虚拟外语教具，并将所述2D/3D虚拟外语教具投射至所述AR显示设备中；

步骤S32，根据真实教具触发所述2D/3D虚拟教具，并将所述2D/3D虚拟教具投射至所述AR显示设备中；

步骤S33，根据第一触发物触发所述2D/3D虚拟教具，并将所述2D/3D虚拟教具投射至所述AR显示设备中；

步骤S34，对第二触发物进行识别，以根据识别结果触发无颜色的所述2D/3D虚拟教具，并根据外语情景的参与者添加的颜色特征于无颜色的所述2D/3D虚拟教具添加对应的颜色，并将无颜色或添加颜色的所述2D/3D虚拟教具投射至所述AR显示设备中。

42.如权利要求40所述的外语教具互动方法，其特征在于，所述步骤S3具体包括：

步骤S35，获取所述AR显示设备的状态信息，以及相对于所述AR显示设备的所述AR显示设备所处的当前场景的状态信息。

43.如权利要求42所述的外语教具互动方法，其特征在于，所述步骤S35具体包括：

步骤S351，采用鱼眼摄像头识别所述AR显示设备在所述当前场景内的移动距离，并根据所述移动距离计算得到所述AR显示设备在所述当前场景内的位置信息；

步骤S352，采用自由度传感器获取所述AR显示设备在所述当前场景内的移动距离和旋转角度，并根据所述移动距离和所述旋转角度计算得到所述AR显示设备在所述当前场景内的所述位置信息；

步骤S353，采用惯性测量单元获取所述AR显示设备在所述当前场景内的移动距离，并根据所述移动距离计算得到所述AR显示设备在所述当前场景内的所述位置信息。

Images