CN103337079A - 一种虚拟增强现实的教学方法及装置 - Google Patents

Abstract

本发明实施例公开了一种虚拟增强现实的教学方法及装置，利用实时抠图技术，将抠图结果与教学场景相组合，可以实现身临其境的虚拟教育体验。本发明实施例方法包括：获取实景影像和人物深度图，所述人物深度图用于指示人物的空间位置；根据所述人物深度图对所述实景影像进行抠图，获得人物影像；根据所述人物深度图和预置的合成规则将所述人物影像和预置的教学场景进行叠加合成；输出叠加合成后的影像。

Description

一种虚拟增强现实的教学方法及装置

技术领域

本发明实施例涉及教学领域，具体涉及一种虚拟增强现实的教学方法及装置。

背景技术

教育对于人类而言是至关重要的，现有的教育方式大多还是以教师的言传身教或配合电教学仪器为主，但是也有不少的虚拟教学设备，以满足人类各方面的教育需求。

虚拟教学是利用虚拟现实技术把教学过程做成动画的形式，但是比动画多了更多的互动性和真实性，可以达到完全模拟的程度。现有的虚拟教学设备大多只能进行一些简单的前进后退的操作，而缺乏与用户之间的人机交互。

然而由于现有的虚拟教学设备与用户之间缺乏很好的联系，因而很容易导致用户失去教育学习的兴趣，同时也很难给用户带来良好的用户体验。

发明内容

本发明实施例提供了一种虚拟增强现实的教学方法及装置，利用实时抠图技术，将抠图结果与教学场景相组合，可以实现身临其境的虚拟教育体验。

本发明实施例提供的虚拟增强现实的教学方法，包括：

获取实景影像和人物深度图，所述人物深度图用于指示人物的空间位置；

根据所述人物深度图对所述实景影像进行抠图，获得人物影像；

根据所述人物深度图和预置的合成规则将所述人物影像和预置的教学场景进行叠加合成；

输出叠加合成后的影像。

可选地，

步骤根据所述人物深度图和预置的合成规则将所述人物影像和预置的教学场景进行叠加合成之后还包括；

根据预置的坐标参考规则及所述人物深度图获取人物影像的动作指令；

根据所述动作指令改变所述人物影像和所述教学场景。

可选地，

所述获取实景影像和人物深度图包括：

通过红外感应技术获取实景影像和人物深度图。

可选地，

所述根据所述人物深度图对实景影像进行抠图包括：

根据所述人物深度图对实景影像进行粗抠图，获得粗抠图结果；

根据所述人物深度图对实景影像进行细抠图，获得细抠图结果；

根据所述粗抠图结果和所述细抠图结果生成抠图结果。

可选地，

所述根据人物深度图和预置的合成规则将所述人物影像和预置的教学场景进行叠加合成包括：

获取当前教学场景中预置的人物影像位置；

根据人物深度图和所述预置的坐标参考规则对所述人物影像进行缩放；

将缩放后的人物影像置于所述预置的人物影像位置。

本发明实施例提供的虚拟增强现实的教学装置，包括：

获取单元，用于获取实景影像和人物深度图，所述人物深度图用于指示人物的空间位置；

抠图单元，用于对根据所述人物深度图对所述实景影像进行抠图，获得人物影像；

合成单元，用于根据所述人物深度图和预置的合成规则将所述人物影像和预置的教学场景进行叠加合成；

输出单元，用于输出叠加合成后的影像。

可选地，

所述装置还包括：

指令单元，用于根据预置的坐标参考规则及所述人物深度图获取人物影像的动作指令；

改变单元，用于根据所述动作指令改变所述人物影像和所述教学场景。

可选地，

所述抠图单元包括：

粗抠图子单元，用于根据所述人物深度图对实景影像进行粗抠图，获得粗抠图结果；

细抠图子单元，用于根据所述人物深度图对实景影像进行细抠图，获得细抠图结果；

生成子单元，用于根据所述粗抠图结果和所述细抠图结果生成抠图结果。

可选地，

所述合成单元包括：

获取子单元，用于获取当前教学场景中预置的人物影像位置；

缩放子单元，用于根据人物深度图对所述人物影像进行缩放；

放置子单元，用于将缩放后的人物影像置于所述预置的人物影像位置。

本发明实施例中，首先获取实景影像和人物深度图，所述人物深度图用于指示人物的空间位置；接着对根据所述人物深度图对所述实景影像进行抠图，获得人物影像；然后根据所述人物深度图和预置的合成规则将所述人物影像和预置的教学场景进行叠加合成；最后输出叠加合成后的影像。由于本发明实施例的方法和装置利用了实时抠图技术，将抠图结果与教学场景相组合，因此可以实现身临其境的虚拟教育体验。

附图说明

图1为本发明实施例中虚拟增强现实的教学方法第一实施例流程图；

图2为本发明实施例中虚拟增强现实的教学方法第二实施例流程图；

图3为本发明实施例中虚拟增强现实的教学装置实施例结构示意图。

具体实施方式

本发明实施例提供了一种虚拟增强现实的教学方法及装置，利用实时抠图技术，将抠图结果与教学场景相组合，可以实现身临其境的虚拟教育体验。

抠图，就是把图片或影像的某一部分从原始图片或影像中分离出来成为单独图层的操作，主要是为了后期的图像合成做准备。

请参阅图1，本发明实施例中虚拟增强现实的教学方法的第一实施例包括：

101、获取实景影像和人物深度图，人物深度图用于指示人物影像的空间位置；

在进行虚拟教学之前，可以先获取实景影像和人物深度图，由于只有用户站在虚拟教学装置的有效数据采集范围时才能实现用户与虚拟教学装置间的人机交互，因此获取实景影像和人物深度图的具体过程可以是：用户首先站在虚拟教学装置的有效数据采集范围内，虚拟教学装置中的采集部件，可以是普通光学摄像头、红外发射器和cmos红外传感接收器，其中普通光学摄像头可以通过直接拍摄获取实景影像；红外发射器发射红外线到场景中，红外传感接收器接收红外信息，然后根据接收到的红外信息区分用户和场景，进而生成人物深度图。

需要说明的是，上述的用户不限于一个，可以是两个或者三个，在此处不做限定。当用户数量不少于一个的时候，可以根据预置的控制规则进行控制，具体的可以是：显示所有用户并将最先采集到的用户作为控制用户。

102、根据人物深度图对实景影像进行抠图，获得人物影像；

获取实景影像和人物深度图之后，可以根据人物深度图对实景影像进行抠图，从而获得实景影像中的人物形象。

由于实景影像中除了包含用户的人物影像图之外，还包含了背景图，为了实现将用户与教学场景的良好叠加合成，可以先通过抠图技术将用户的人物形象图先分离出来。

由于人物深度图中的每一个像素值表示场景中某一点与采集部件之间的距离，因而人物深度图中除了可以反映人物的形象之外，还可以反映人物的动作和移动等方面的内容，将人物深度图作为抠像的抠像框，在实景影像中用上述的抠像框进行实时抠像，即可得到人物影像。

103、根据人物深度图和预置的合成规则将人物影像和预置的教学场景进行叠加合成；

获得人物影像之后，可以根据人物深度图和预置的合成规则将人物影像和预置的教学场景进行叠加合成。

104、输出叠加合成后的影像。

根据人物深度图和预置的合成规则将人物影像和预置的教学场景进行叠加合成之后，可以输出叠加合成后的影像。具体的，可以通过显示屏将叠加合成后的影像进行输出，也可以通过投影仪将叠加合成后的影像进行输出，在此处不做限定。

本发明实施例中，首先获取实景影像和人物深度图，所述人物深度图用于指示人物的空间位置；接着对根据所述人物深度图对所述实景影像进行抠图，获得人物影像；然后根据所述人物深度图和预置的合成规则将所述人物影像和预置的教学场景进行叠加合成；最后输出叠加合成后的影像。由于本发明实施例的方法和装置利用了实时抠图技术，将抠图结果与教学场景相组合，因此可以实现身临其境的虚拟教育体验。

上面简单介绍了本发明虚拟增强现实的教学方法的第一实施例，下面对本发明虚拟增强现实的教学方法的第二实施例进行详细的描述，请参阅图2，本发明实施例中虚拟增强现实的教学方法的第二实施例包括：

201、获取实景影像和人物深度图，人物深度图用于指示人物影像的空间位置；

在进行虚拟教学之前，可以先获取实景影像和人物深度图，由于只有用户站在虚拟教学装置的有效数据采集范围时才能实现用户与虚拟教学装置间的人机交互，因此获取实景影像和人物深度图的具体过程可以是：用户首先站在虚拟教学装置的有效数据采集范围内，虚拟教学装置中的采集部件，可以是普通光学摄像头、红外发射器和cmos红外传感接收器，其中普通光学摄像头可以通过直接拍摄获取实景影像；红外发射器发射红外线到场景中，红外传感接收器接收红外信息，然后根据接收到的红外信息区分用户和场景，进而生成人物深度图。

需要说明的是，上述的用户不限于一个，可以是两个或者三个，在此处不做限定。当用户数量不少于一个的时候，可以根据预置的控制规则进行控制，具体的可以是：显示所有用户并将最先采集到的用户作为控制用户。

202、根据人物深度图对实景影像进行抠图，获得人物影像；

获取实景影像和人物深度图之后，可以根据人物深度图对实景影像进行抠图，从而获得实景影像中的人物形象。

由于实景影像中除了包含用户的人物影像图之外，还包含了背景图，为了实现将用户与教学场景的良好叠加合成，可以先通过抠图技术将用户的人物形象图先分离出来。

由于人物深度图中的每一个像素值表示场景中某一点与采集部件之间的距离，因而人物深度图中除了可以反映人物的形象之外，还可以反映人物的动作和移动等方面的内容，将人物深度图作为抠像的抠像框，在实景影像中用上述的抠像框进行实时抠像，即可得到人物影像。通过抠图技术将用户的人物形象图分离出来的具体过程可以是：对实景影像进行粗抠图，获得粗抠图结果；对实景影像进行细抠图，获得细抠图结果；根据粗抠图结果和细抠图结果生成抠图结果。

203、根据人物深度图和预置的合成规则将人物影像和预置的教学场景进行叠加合成；

获得人物影像之后，可以根据人物深度图和预置的合成规则将人物影像和预置的教学场景进行叠加合成。

根据人物深度图和预置的合成规则将人物影像和预置的教学场景进行叠加合成的具体过程可以是：获取当前教学场景中预置的人物影像位置；根据人物深度图和预置的坐标参考规则对人物影像进行缩放；将缩放后的人物影像置于预置的人物影像位置。

下面以一个具体的例子对上述根据人物深度图和预置的合成规则将人物影像和预置的教学场景进行叠加合成的过程进行详细的描述：

假设当前教学场景为宇宙恒星教学场景，上述宇宙恒星教学场景中预置的人物影像位置为正中央，可以首先获取宇宙恒星教学场景，获知人物影像位置为正中央后，可以根据人物深度图和预置的坐标参考规则对人物影像进行缩放，例如坐标参考规则为：以虚拟教学装置为原点，虚拟教学装置的显示器所在直线为水平轴，垂直于上述显示器的并与水平轴相交的直线为竖直轴；假设人物深度图显示用户距离虚拟教学装置的4.5m，当用户远离虚拟教学装置时，缩小上述的人物影像，反之放大上述的人物影像，最后将缩放后的人物影像置于预置的人物影像位置。

204、输出叠加合成后的影像；

根据人物深度图和预置的合成规则将人物影像和预置的教学场景进行叠加合成之后，可以输出叠加合成后的影像。具体的，可以通过显示屏将叠加合成后的影像进行输出，也可以通过投影仪将叠加合成后的影像进行输出，在此处不做限定。

205、根据预置的坐标参考规则及所述人物深度图获取人物影像的动作指令；

完成用户与虚拟教学装置之间的人机交互，需要首先根据预置的坐标参考规则及所述人物深度图获取人物影像的动作指令，上述的动作指令可以是：手掌左移、手掌右移、手掌前移或手掌后移，上述动作指令对应的操作可以是：手掌左移对应场景图像左移或左转、手掌右移对应场景图像的右移或右转、手掌前移对应场景图像的放大或手掌后移对应场景图像的缩小。

需要说明的是，动作指令不限于上述举例的手掌左移、手掌右移、手掌前移或手掌后移，动作指令对应的操作也不限于手掌左移对应场景图像左移或左转、手掌右移对应场景图像的右移或右转、手掌前移对应场景图像的放大或手掌后移对应场景图像的缩小，具体可以根据场景图像或需求进行设定。

需要进一步说明的是，上述根据预置的坐标参考规则及所述人物深度图获取人物影像的动作指令的过程为一个自动获取的过程，亦即当虚拟教学装置处于工作状态的时候，上述的装置可以自动根据预置的坐标参考规则及及所述人物深度图来获取用户的动作指令。

206、根据动作指令改变人物影像和教学场景。

根据预置的坐标参考规则及所述人物深度图获取人物影像的动作指令，可以根据动作指令改变人物影像和教学场景。

需要说明的是，步骤205及步骤206不限于在步骤204之后，可以在完成步骤根据人物深度图和预置的合成规则将人物影像和预置的教学场景进行叠加合成之后的任一时刻。

本发明实施例中，首先获取实景影像和人物深度图，所述人物深度图用于指示人物的空间位置；接着对根据所述人物深度图对所述实景影像进行抠图，获得人物影像；然后根据所述人物深度图和预置的合成规则将所述人物影像和预置的教学场景进行叠加合成；最后输出叠加合成后的影像。由于本发明实施例的方法和装置利用了实时抠图技术，将抠图结果与教学场景相组合，因此可以实现身临其境的虚拟教育体验，同时人体动作与装置间的人机交互，可以进一步提高虚拟教学的趣味性。

上面对本发明虚拟增强现实的教学方法的第二实施例作了详细描述，特别是通过获取动作指令完成用户与虚拟教学装置的人机交互过程，下面介绍本发明虚拟增强现实的教学装置实施例，请参阅图3，本发明实施例中虚拟增强现实的教学装置实施例包括：

获取单元301，用于获取实景影像和人物深度图，所述人物深度图用于指示人物的空间位置；

抠图单元302，用于对根据所述人物深度图对所述实景影像进行抠图，获得人物影像；

合成单元303，用于根据所述人物深度图和预置的合成规则将所述人物影像和预置的教学场景进行叠加合成；

输出单元304，用于输出叠加合成后的影像。

本发明实施例的装置进一步还包括：

指令单元305，用于根据预置的坐标参考规则及所述人物深度图获取人物影像的动作指令；

改变单元306，用于根据动作指令改变人物影像和教学场景。

可选地，

抠图单元302包括：

粗抠图子单元3021，用于根据所述人物深度图对实景影像进行粗抠图，获得粗抠图结果；

细抠图子单元3022，用于根据所述人物深度图对实景影像进行细抠图，获得细抠图结果；

生成子单元3023，用于根据粗抠图结果和细抠图结果生成抠图结果。

可选地，

合成单元303包括：

获取子单元3031，用于获取当前教学场景中预置的人物影像位置；

缩放子单元3032，用于根据人物深度图对人物影像进行缩放；

放置子单元3033，用于将缩放后的人物影像置于预置的人物影像位置。

在进行虚拟教学之前，获取单元301可以先获取实景影像和人物深度图，由于只有用户站在虚拟教学装置的有效数据采集范围时才能实现用户与虚拟教学装置间的人机交互，因此获取实景影像和人物深度图的具体过程可以是：用户首先站在虚拟教学装置的有效数据采集范围内，虚拟教学装置中的采集部件，可以是普通光学摄像头、红外发射器和cmos红外传感接收器，其中普通光学摄像头可以通过直接拍摄获取实景影像；红外发射器发射红外线到场景中，红外传感接收器接收红外信息，然后根据接收到的红外信息区分用户和场景，进而生成人物深度图。

需要说明的是，上述的用户不限于一个，可以是两个或者三个，在此处不做限定。当用户数量不少于一个的时候，可以根据预置的控制规则进行控制，具体的可以是：显示所有用户并将最先采集到的用户作为控制用户。

获取单元301获取实景影像和人物深度图之后，抠图单元302可以根据人物深度图对实景影像进行抠图，从而获得实景影像中的人物形象。

由于实景影像中除了包含用户的人物影像图之外，还包含了背景图，为了实现将用户与教学场景的良好叠加合成，抠图单元302可以先通过抠图技术将用户的人物形象图先分离出来。由于人物深度图中的每一个像素值表示场景中某一点与采集部件之间的距离，因而人物深度图中除了可以反映人物的形象之外，还可以反映人物的动作和移动等方面的内容，将人物深度图作为抠像的抠像框，在实景影像中用上述的抠像框进行实时抠像，即可得到人物影像。通过抠图技术将用户的人物形象图分离出来的具体过程可以是：粗抠图子单元3021对实景影像进行粗抠图，获得粗抠图结果；细抠图子单元3022对实景影像进行细抠图，获得细抠图结果；生成子单元3023根据粗抠图结果和细抠图结果生成抠图结果。

获得人物影像之后，合成单元303可以根据人物深度图和预置的合成规则将人物影像和预置的教学场景进行叠加合成。

合成单元303根据人物深度图和预置的合成规则将人物影像和预置的教学场景进行叠加合成的具体过程可以是：获取子单元3031获取当前教学场景中预置的人物影像位置；缩放子单元3032根据人物深度图和预置的坐标参考规则对人物影像进行缩放；放置子单元3033将缩放后的人物影像置于预置的人物影像位置。

下面以一个具体的例子对上述根据人物深度图和预置的合成规则将人物影像和预置的教学场景进行叠加合成的过程进行详细的描述：

假设当前教学场景为宇宙恒星教学场景，上述宇宙恒星教学场景中预置的人物影像位置为正中央，获取子单元3031可以首先获取宇宙恒星教学场景，获知人物影像位置为正中央后，可以根据人物深度图和预置的坐标参考规则对人物影像进行缩放，例如坐标参考规则为：以虚拟教学装置为原点，虚拟教学装置的显示器所在直线为水平轴，垂直于上述显示器的并与水平轴相交的直线为竖直轴；假设人物深度图显示用户距离虚拟教学装置的4.5m，当用户远离虚拟教学装置时，缩放子单元3032缩小上述的人物影像，反之缩放子单元3032放大上述的人物影像，最后放置子单元3033将缩放后的人物影像置于预置的人物影像位置。

合成单元303根据人物深度图和预置的合成规则将人物影像和预置的教学场景进行叠加合成之后，输出单元304可以输出叠加合成后的影像。具体的，输出单元304可以通过显示屏将叠加合成后的影像进行输出，也可以通过投影仪将叠加合成后的影像进行输出，在此处不做限定。

完成用户与虚拟教学装置之间的人机交互，指令单元305需要首先根据预置的坐标参考规则及所述人物深度图获取人物影像的动作指令，上述的动作指令可以是：手掌左移、手掌右移、手掌前移或手掌后移，上述动作指令对应的操作可以是：手掌左移对应场景图像左移或左转、手掌右移对应场景图像的右移或右转、手掌前移对应场景图像的放大或手掌后移对应场景图像的缩小。

需要说明的是，动作指令不限于上述举例的手掌左移、手掌右移、手掌前移或手掌后移，动作指令对应的操作也不限于手掌左移对应场景图像左移或左转、手掌右移对应场景图像的右移或右转、手掌前移对应场景图像的放大或手掌后移对应场景图像的缩小，具体可以根据场景图像或需求进行设定。

需要进一步说明的是，上述指令单元305根据预置的坐标参考规则及所述人物深度图获取人物影像的动作指令的过程为一个自动获取的过程，亦即当虚拟教学装置处于工作状态的时候，上述的装置可以自动根据预置的坐标参考规则及及所述人物深度图来获取用户的动作指令。

指令单元305根据预置的坐标参考规则及所述人物深度图获取人物影像的动作指令，改变单元306可以根据动作指令改变人物影像和教学场景。

本发明实施例中，获取单元301首先获取实景影像和人物深度图，所述人物深度图用于指示人物的空间位置；接着抠图单元302对根据所述人物深度图对所述实景影像进行抠图，获得人物影像；然后合成单元303根据所述人物深度图和预置的合成规则将所述人物影像和预置的教学场景进行叠加合成；最后输出单元304输出叠加合成后的影像。由于本发明实施例的方法和装置利用了实时抠图技术，将抠图结果与教学场景相组合，因此可以实现身临其境的虚拟教育体验，同时指令单元305和改变单元306的加入能够实现人体动作与装置间的人机交互，可以进一步提高虚拟教学的趣味性。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，其中的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上对本发明所提供的一种虚拟增强现实的教学方法及装置进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种虚拟增强现实的教学方法，其特征在于，包括：

获取实景影像和人物深度图，所述人物深度图用于指示人物的空间位置；

根据所述人物深度图对所述实景影像进行抠图，获得人物影像；

根据所述人物深度图和预置的合成规则将所述人物影像和预置的教学场景进行叠加合成；

输出叠加合成后的影像。

2.根据权利要求1所述的虚拟增强现实的教学方法，其特征在于，步骤根据所述人物深度图和预置的合成规则将所述人物影像和预置的教学场景进行叠加合成之后还包括；

根据预置的坐标参考规则及所述人物深度图获取人物影像的动作指令；

根据所述动作指令改变所述人物影像和所述教学场景。

3.根据权利要求1或2所述的虚拟增强现实的教学方法，其特征在于，所述获取实景影像和人物深度图包括：

通过红外感应技术获取实景影像和人物深度图。

4.根据权利要求1或2所述的虚拟增强现实的教学方法，其特征在于，所述根据所述人物深度图对所述实景影像进行抠图包括：

根据所述人物深度图对实景影像进行粗抠图，获得粗抠图结果；

根据所述人物深度图对实景影像进行细抠图，获得细抠图结果；

根据所述粗抠图结果和所述细抠图结果生成抠图结果。

5.根据权利要求1或2所述的虚拟增强现实的教学方法，其特征在于，所述根据人物深度图和预置的合成规则将所述人物影像和预置的教学场景进行叠加合成包括：

获取当前教学场景中预置的人物影像位置；

根据人物深度图和所述预置的坐标参考规则对所述人物影像进行缩放；

将缩放后的人物影像置于所述预置的人物影像位置。

6.一种虚拟增强现实的教学装置，其特征在于，包括：

获取单元，用于获取实景影像和人物深度图，所述人物深度图用于指示人物的空间位置；

抠图单元，用于对根据所述人物深度图对所述实景影像进行抠图，获得人物影像；

合成单元，用于根据所述人物深度图和预置的合成规则将所述人物影像和预置的教学场景进行叠加合成；

输出单元，用于输出叠加合成后的影像。

7.根据权利要求6所述的虚拟增强现实的教学装置，其特征在于，所述装置还包括：

指令单元，用于根据预置的坐标参考规则及所述人物深度图获取人物影像的动作指令；

改变单元，用于根据所述动作指令改变所述人物影像和所述教学场景。

8.根据权利要求6或7所述的虚拟增强现实的教学装置，其特征在于，所述抠图单元包括：

粗抠图子单元，用于根据所述人物深度图对实景影像进行粗抠图，获得粗抠图结果；

细抠图子单元，用于根据所述人物深度图对实景影像进行细抠图，获得细抠图结果；

生成子单元，用于根据所述粗抠图结果和所述细抠图结果生成抠图结果。

9.根据权利要求6或7述的虚拟增强现实的教学装置，其特征在于，所述合成单元包括：

获取子单元，用于获取当前教学场景中预置的人物影像位置；

缩放子单元，用于根据人物深度图对所述人物影像进行缩放；

放置子单元，用于将缩放后的人物影像置于所述预置的人物影像位置。

Images