CN108831216B - 真三维虚拟仿真交互方法及系统 - Google Patents

Abstract

本发明提供的真三维虚拟仿真交互方法及系统，方法包括以下步骤：获取输入的多个视频源和/或交互内容；获取用户输入的叠加方式；根据叠加方式将视频源和/或交互内容以图层的方式进行合成，得到合成视频；将合成视频传输到输出设备输出；获取用户输入的切换指令，在输出设备上实现合成视频之间的切换。该方法能够实现录制人员对讲解的知识点配合的视频源或交互内容进行实时的互动，通过视频源或交互内容的配合让录制人员可以更具象的讲解抽象概念和实操过程。采用多通道三维视频融合与精准分析匹配输出设备，进行虚实交互模拟多路输出，采集实际视频流输入到真三维虚拟场景，教师实时与真三维虚拟场景产生的互动。

Description

真三维虚拟仿真交互方法及系统

技术领域

本发明属于教育辅导技术领域，具体涉及真三维虚拟仿真交互方法及系统。

背景技术

随着网络的发展，现有的很多教育机构偏爱远程教育或网络教育，这也源于远程教育和网络教育的便利性，用户不需要前往指定的培训地点，可以直接在网上接受不同的教育，所以也深受用户的喜爱。

例如慕课就是一种基于网络教育的学习平台，该平台拥有多门课程，帮助用户进行远程教育。目前慕课的网络课程都是由市场现有的虚拟演播室以特效和后期合成实现，以此来达到与三维虚拟元素的互动，不能实时的随意的控制三维元素并进行适时的虚拟仿真交互。且在慕课中有些知识点的讲解中，知识点表达形式单一，不能实现情景化、动态化、形象化的阅读学习体验。同时现有的形式还是基于传统技术以课堂翻录的形式进行慕课制作，主讲人员的表演形式重。

发明内容

针对现有技术中的缺陷，本发明提供真三维虚拟仿真交互方法及系统，能够根据多个视频源或三维元素合成三维动画，实现了真实场景与虚拟场景的直接交互。

第一方面，一种真三维虚拟仿真交互方法，包括以下步骤：

获取输入的多个视频源和/或交互内容；

获取用户输入的叠加方式；

根据叠加方式将视频源和/或交互内容以图层的方式进行合成，得到合成视频；

将合成视频传输到输出设备输出；

获取用户输入的切换指令，在输出设备上实现合成视频之间的切换。

进一步地，所述输出设备包括书写屏；该方法在所述在输出设备上实现合成视频之间的切换之后，还包括：

捕捉声纳笔在书写屏上的实时位置；

建立声纳笔的实时位置与鼠标的实时位置之间的关联；

获取用户操作声呐笔得到的控制指令；

根据控制指令模拟鼠标操作，实现在输出设备上拖动、旋转、缩放或拆分合成视频。

进一步地，所述输出设备还包括投影仪和摄像机；

所述书写屏固定在墙壁前方；所述投影仪通过背投的方式设置在书写屏与墙壁之间；所述摄像机设置在书写屏前方，且摄像机的镜头正对书写屏设置。

进一步地，所述将合成视频传输到输出设备输出具体包括：

获取用户输入的书写屏上的构图范围；

调整所述摄像机的位置，使得摄像机位于构图范围的正中间；

打开投影仪，将投影仪投影到书写屏的区域调整至与构图范围重合；

打开摄像机，并开启投影仪的梯形校正进行校正，使得摄像机在书写屏上的成像区域和投影仪投影到书写屏的区域重合。

进一步地，该方法在开启投影仪的梯形校正进行校正之后，还包括：

接收用户输入的一键录制指令，打开所述摄像机进行录制，得到录制视频；

获取预设的多个视频源和/或交互内容；

根据预设的叠加方式将录制视频、视频源和/或交互内容以图层的方式进行合成，得到合成视频；

保存合成视频。

进一步地，所述视频源包括第一视频源和/或第二视频源；

第一视频源为对物理音视频源进行抠像处理获得，所述物理音视频源由物理设备拍摄获得；

第二视频源为将用户输入的课件视频源转换为流媒体得到；

所述交互内容包括利用三维交互引擎制作三维元素、仿真交互物体和/或仿真交互场景物体。

进一步地，所述课件视频源包括视频、图片、PPT文档和/或文本文档；

所述第二视频源通过以下方法得到：

对课件视频源进行渲染，以得到渲染图片；

将渲染图片转换为流媒体，以得到第二视频源。

第二方面，一种真三维虚拟仿真交互系统，包括接收单元、合成单元、输出设备和书写单元；

所述接收单元用于获取输入的多个视频源和/或交互内容；

所述合成单元用于获取用户输入的叠加方式，根据叠加方式将视频源和/或交互内容以图层的方式进行合成，得到合成视频，将合成视频传输到输出设备输出；

所述书写单元用于获取用户输入的切换指令，在输出设备上实现合成视频之间的切换。

进一步地，该系统还包括声呐笔；所述输出设备包括书写屏；

所述书写单元还用于捕捉声纳笔在书写屏上的实时位置，建立声纳笔的实时位置与鼠标的实时位置之间的关联；还用于获取用户操作声呐笔得到的控制指令，根据控制指令模拟鼠标操作，实现在输出设备上拖动、旋转、缩放或拆分合成视频。

进一步地，所述输出设备还包括投影仪和摄像机；

所述书写屏固定在墙壁前方；所述投影仪通过背投的方式设置在书写屏与墙壁之间；所述摄像机设置在书写屏前方，且摄像机的镜头正对书写屏设置；

所述将合成视频传输到输出设备输出具体包括：

获取用户输入的书写屏上的构图范围；

调整所述摄像机的位置，使得摄像机位于构图范围的正中间；

打开投影仪，将投影仪投影到书写屏的区域调整至与构图范围重合；

打开摄像机，并开启投影仪的梯形校正进行校正，使得摄像机在书写屏上的成像区域和投影仪投影到书写屏的区域重合。

由上述技术方案可知，本发明提供的真三维虚拟仿真交互方法及系统具有以下优点：

1、实现交互内容制作一键化录制开启，无需配备专业人员；

2、通过声呐笔实现交互内容精准呈现；

3、采用多通道三维视频融合与精准分析匹配输出设备，进行虚实交互模拟多路输出，采集实际视频流输入到真三维虚拟场景，教师实时与真三维虚拟场景产生的互动，根据用户预设参数进行多纵深、多景别、多路精准输出到各类输出设备。实现了真实场景与虚拟场景的直接交互。

4、对各个虚拟视频源的格式转换，保证输出到各类输出设备上的信号为标准信号，保证了视频呈现的效果及质量。

6、通过三维引擎制作的交互内容可以进行调取实时操作，同时整合出操作视频源，与其它视频源以图层的叠加后输出并存储。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为实施例一提供的方法流程图。

图2为实施例二提供的合成视频输出的方法流程图。

图3为实施例三提供的书写交互的方法流程图。

图4为实施例四提供的系统框图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

实施例一：

一种真三维虚拟仿真交互方法，参见图1，包括以下步骤：

S1：获取输入的多个视频源和/或交互内容；

S2：获取用户输入的叠加方式；

具体地，叠加方式用于指示需要叠加的视频源和/或交互内容，以及对应的图层。

S3：根据叠加方式将视频源和/或交互内容以图层的方式进行合成，得到合成视频；

具体地，例如待合成的数据包括视频源A、视频源B、交互内容A、交互内容B。当用户输入的叠加方式为将交互内容A与视频源A叠加，且交互内容A叠加在视频源A上，则叠加时，将视频源A作为底层图层，将交互内容A作为上层底层进行叠加，得到合成视频信号。该步骤可以实现交互内容之间、视频源之间、或者是各个视频源和交互内容之间的叠加。

S4：将合成视频传输到输出设备输出；

具体地，输出设备可以是投影，反间，录机等显示设备和录制设备。该步骤将合成视频信号进行分配，分配给不同的输出设备输出，实现观看录制等功能。

S5：获取用户输入的切换指令，在输出设备上实现合成视频之间的切换。

具体地，例如：当前播放视频B，但是用户希望切换到交互内容B进行展示，则在发出切换指令时，便能够立即切换到交互内容B进行展示。该方法交互内容和交互平台均是采用相同的三维引擎制作的，所以得到的交互内容从底层来说，和交互平台是一致的，省略了集成关系，避免了兼容性的问题。这样就能够实现课件视频源与交互内容瞬间无缝切换。

该方法能够实现录制人员对讲解的知识点配合的视频源或交互内容进行实时的互动，通过视频源或交互内容的配合让录制人员可以更具象的讲解抽象概念和实操过程。该方法采用多通道三维视频融合与精准分析匹配输出设备，进行虚实交互模拟多路输出，采集实际视频流输入到真三维虚拟场景，教师实时与真三维虚拟场景产生的互动，根据用户预设参数进行多纵深、多景别、多路精准输出到各类输出设备。实现了真实场景与虚拟场景的直接交互。

实施例二：

实施例二在实施例一的基础上，增加以下通过声呐笔交互功能。

所述输出设备包括书写屏；该方法在所述在输出设备上实现合成视频之间的切换之后，参见图2，还包括：

S11：捕捉声纳笔在书写屏上的实时位置；

具体地，声纳笔是现有成熟产品。

S12：建立声纳笔的实时位置与鼠标的实时位置之间的关联；

具体地，建立好关联后，用户可以直接通过操作声呐笔模拟鼠标动作，例如：拖动、单击、双击等。

S13：获取用户操作声呐笔得到的控制指令；

S14：根据控制指令模拟鼠标操作，实现在输出设备上拖动、旋转、缩放或拆分合成视频。

具体地，例如用户在进行坦克培训的时候，向学员展示制作的坦克模型动画视频，那么用户可以通过声呐笔模拟鼠标操作，展示对坦克模型的拖动、旋转、缩放或拆分等。用户可以通过选项实现自己制作简单的交互内容的操作。

该方法可以通过在书写屏上对声呐笔进行定位，捕捉声纳笔在书写屏上的实时位置，采用蓝牙无线传输技术来传输声纳笔的实时坐标与PC端鼠标位置的建立联系，实现声纳笔对PC端鼠标左，中，右键的控制，可以模拟左，中，右键点击，双击，拖动等功能。

除此之外，该方法还设有直播功能，可以在直播平台推送相应的合成视频，实现广域和局域范围实时互动和三维视频的分享。同时该方法还具有远程控制功能，管理交互平台或进行远程协助。

发明实施例所提供的方法，为简要描述，实施例部分未提及之处，可参考前述方法实施例中相应内容。

实施例三：

实施例三在上述实施例的基础上，增加以下内容：

所述输出设备还包括投影仪和摄像机；

所述书写屏固定在墙壁前方；所述投影仪通过背投的方式设置在书写屏与墙壁之间；所述摄像机设置在书写屏前方，且摄像机的镜头正对书写屏设置。

具体地，书写屏可以为绿屏。书写屏与墙壁的距离优选为1.1m，投影仪和书写屏的距离优选为0.3m，摄像机的镜头光圈与书写屏的距离优选为3.3m。投影仪通过背投的方式进行安装，适用于观众不多，环境光线和照明很好的环境。

进一步地，参见图3，所述将合成视频传输到输出设备输出具体包括：

S21：获取用户输入的书写屏上的构图范围；

具体地，构图范围是指用户希望在书写屏上成像的区域。构图范围可以是书写屏的任何区域，可以是整个书写屏的区域，也可以是部分书写屏的区域。

S22：调整所述摄像机的位置，使得摄像机位于构图范围的正中间；

具体地，将摄像机设置在构图范围的正中间，能够使得摄像机投射到书写屏上的成像覆盖整个构图区域。

S23：打开投影仪，将投影仪投影到书写屏的区域调整至与构图范围重合；

S24：打开摄像机，并开启投影仪的梯形校正进行校正，使得摄像机在书写屏上的成像区域和投影仪投影到书写屏的区域重合。

具体地，步骤S23和S24是为了校正投影仪的成像区域，使得像机在书写屏上的成像区域和投影仪投影到书写屏的区域重合，且覆盖整个构图区域。

该方法能够保证投影仪、摄像机输出的两个图像视频，能够在书写屏上精准重合对位，保证了在书写屏上合成的视频不会出现偏差。

除此之外，该方法还可以增加一键开启功能。该方法在开启投影仪的梯形校正进行校正之后，还包括：

接收用户输入的一键录制指令，打开所述摄像机进行录制，得到录制视频；

获取预设的多个视频源和/或交互内容；

根据预设的叠加方式将录制视频、视频源和/或交互内容以图层的方式进行合成，得到合成视频；

保存合成视频。

具体地，视频界面上还设有虚拟的快捷键，当快捷键按下时，发出一键录制指令，自动完成交互内容的制作，无需配备专业人员。例如：用户可以在讲课时开启一键录制功能，自动将用户的讲课过程录制下来，并与其他视频源和/或交互内容进行合成，得到合成视频。

发明实施例所提供的方法，为简要描述，实施例部分未提及之处，可参考前述方法实施例中相应内容。

实施例四：

实施例四在其他实施例的基础上，增加以下内容：

所述视频源包括第一视频源和/或第二视频源；

第一视频源为对物理音视频源进行抠像处理获得，所述物理音视频源由物理设备拍摄获得；

具体地，物理设备可以是摄像机、录像机、麦克风等，用于采集音频信号或视频信号。物理音视频源进行抠像处理后，还可以对得到的数据进行滤镜，得到第一视频。对物理音视频源进行抠像和滤镜处理，提取出物理音视频源的重要元素。

第二视频源为将用户输入的课件视频源转换为流媒体得到；

具体地，课件视频源可以由讲课老师进行录制，或者是由讲课老师提供的辅助视频等。将课件视频源转换为流媒体，方便在网络上传输。对各个虚拟视频源的格式转换，保证输出到各类输出设备上的信号为标准信号，保证了视频呈现的效果及质量。

所述交互内容包括利用三维交互引擎制作三维元素、仿真交互物体和/或仿真交互场景物体。

具体地，三维交互引擎可以是Unity、Unreal Engine等引擎，创建的三维元素可以是三维视频游戏、三维动画等。仿真交互物体和仿真交互场景物体为三维引擎开发的仿真内容，其文件格式为.unity3d压缩格式。由于在教学过程中，经常需要具象的内容来呈现抽象内容，甚至还需要实时的操作讲解这些抽象内容来更好地完成阐述。本实施例的三维元素可以解决抽象内容的展现问题。仿真交互场景物体是指场景元素，例如：海边、跑道、高山等。仿真交互物体可以是物体元素或人物元素等。

进一步地，所述课件视频源包括视频、图片、PPT文档和/或文本文档；

所述第二视频源通过以下方法得到：

对课件视频源进行渲染，以得到渲染图片；

将渲染图片转换为流媒体，以得到第二视频源。

具体地，课件视频源可以通过一台PC实现，录制者把课件的内容导入到PC内，课件内容可以是视频，图片，PPT等文字内容，可课件视频源通过HDMI高清线传输给PC，PC的显卡对课件视频源进行渲染，并对渲染后的文件进行格式转换，转换为可读取的视频格式。

发明实施例所提供的方法，为简要描述，实施例部分未提及之处，可参考前述方法实施例中相应内容。

实施例五：

一种真三维虚拟仿真交互系统，参见图4，包括接收单元、合成单元、输出设备和书写单元；

所述接收单元用于获取输入的多个视频源和/或交互内容；

所述合成单元用于获取用户输入的叠加方式，根据叠加方式将视频源和/或交互内容以图层的方式进行合成，得到合成视频，将合成视频传输到输出设备输出；

所述书写单元用于获取用户输入的切换指令，在输出设备上实现合成视频之间的切换。

进一步地，该系统还包括声呐笔；所述输出设备包括书写屏；

所述书写单元还用于捕捉声纳笔在书写屏上的实时位置，建立声纳笔的实时位置与鼠标的实时位置之间的关联；还用于获取用户操作声呐笔得到的控制指令，根据控制指令模拟鼠标操作，实现在输出设备上拖动、旋转、缩放或拆分合成视频。

进一步地，所述输出设备还包括投影仪和摄像机；

所述书写屏固定在墙壁前方；所述投影仪通过背投的方式设置在书写屏与墙壁之间；所述摄像机设置在书写屏前方，且摄像机的镜头正对书写屏设置；

进一步地，所述将合成视频传输到输出设备输出具体包括：

获取用户输入的书写屏上的构图范围；

调整所述摄像机的位置，使得摄像机位于构图范围的正中间；

打开投影仪，将投影仪投影到书写屏的区域调整至与构图范围重合；

打开摄像机，并开启投影仪的梯形校正进行校正，使得摄像机在书写屏上的成像区域和投影仪投影到书写屏的区域重合。

进一步地，所述书写单元还用于接收用户输入的一键录制指令，打开所述摄像机进行录制；保存录制得到的视频。

进一步地，该系统还包括物理设备、抠像单元、转换单元和元素生成单元；所述视频源包括第一视频源和/或第二视频源；

所述物理设备用于拍摄获得物理音视频源，并传给接收单元；

所述接收单元用于将物理音视频源传给抠像单元，还用于接收用户输入的课件视频源，并传给转换单元；

所述抠像单元用于对物理音视频源进行抠像处理，得到第一视频源；

所述转换单元用于将课件视频源转换为流媒体，得到第二视频源；

所述元素生成单元用于利用三维交互引擎制作三维元素、仿真交互物体和/或仿真交互场景物体。

进一步地，所述课件视频源包括视频、图片、PPT文档和/或文本文档；

所述第二视频源通过以下方法得到：

对课件视频源进行渲染，以得到渲染图片；

将渲染图片转换为流媒体，以得到第二视频源。

发明实施例所提供的系统，为简要描述，实施例部分未提及之处，可参考前述方法实施例中相应内容。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (3)

1.一种真三维虚拟仿真交互系统，其特征在于，包括接收单元、合成单元、输出设备和书写单元；

所述接收单元用于获取输入的多个交互内容；其中交互内容和交互系统均采用相同的三维引擎制作得到；

所述合成单元用于获取用户输入的叠加方式，根据叠加方式将交互内容以图层的方式进行合成，得到合成视频，将合成视频传输到输出设备输出；

所述书写单元用于获取用户输入的切换指令，在输出设备上实现合成视频之间的切换；

所述交互内容包括利用三维交互引擎制作三维元素、仿真交互物体和/或仿真交互场景物体；

所述将合成视频传输到输出设备输出具体包括：

获取用户输入的书写屏上的构图范围；

调整摄像机的位置，使得摄像机位于构图范围的正中间；

打开投影仪，将投影仪投影到书写屏的区域调整至与构图范围重合；

打开摄像机，并开启投影仪的梯形校正进行校正，使得摄像机在书写屏上的成像区域和投影仪投影到书写屏的区域重合。

2.根据权利要求1所述真三维虚拟仿真交互系统，其特征在于，该系统还包括声呐笔；所述输出设备包括书写屏；

所述书写单元还用于捕捉声纳笔在书写屏上的实时位置，建立声纳笔的实时位置与鼠标的实时位置之间的关联；还用于获取用户操作声呐笔得到的控制指令，根据控制指令模拟鼠标操作，实现在输出设备上拖动、旋转、缩放或拆分合成视频。

3.根据权利要求2所述真三维虚拟仿真交互系统，其特征在于，

所述输出设备还包括投影仪和摄像机；

所述书写屏固定在墙壁前方；所述投影仪通过背投的方式设置在书写屏与墙壁之间；所述摄像机设置在书写屏前方，且摄像机的镜头正对书写屏设置。

Images