CN105513436B - 交互式全息幻象教学系统及方法 - Google Patents
交互式全息幻象教学系统及方法 Download PDFInfo
- Publication number
- CN105513436B CN105513436B CN201410553976.1A CN201410553976A CN105513436B CN 105513436 B CN105513436 B CN 105513436B CN 201410553976 A CN201410553976 A CN 201410553976A CN 105513436 B CN105513436 B CN 105513436B
- Authority
- CN
- China
- Prior art keywords
- operator
- mirage
- control device
- sensing control
- motion sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 19
- 208000030984 MIRAGE syndrome Diseases 0.000 claims description 79
- TVLSRXXIMLFWEO-UHFFFAOYSA-N prochloraz Chemical compound C1=CN=CN1C(=O)N(CCC)CCOC1=C(Cl)C=C(Cl)C=C1Cl TVLSRXXIMLFWEO-UHFFFAOYSA-N 0.000 claims description 79
- 230000009471 action Effects 0.000 claims description 55
- 239000004744 fabric Substances 0.000 claims description 38
- 230000003993 interaction Effects 0.000 claims description 24
- 241001633942 Dais Species 0.000 claims description 9
- 238000005538 encapsulation Methods 0.000 claims description 9
- 238000000926 separation method Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 2
- 239000011800 void material Substances 0.000 claims 1
- 230000003238 somatosensory effect Effects 0.000 abstract 3
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Holo Graphy (AREA)
Abstract
本发明提供了一种交互式全息幻象教学系统及方法，其中，该系统包括：服务器；包括第一体感控制器、方向照明灯、第二黑幕布的第一装置；包括投影仪、全息膜、第一黑幕布的第二装置；包括摄像头、第二体感控制器、第一处理器的第三装置；包括摄像机、第二处理器、显示器的第四装置；按照序号依次设置该四个装置；服务器分别与摄像头、第一体感控制器、投影仪、通过第一处理器与第二体感控制器连接；第一装置、第二装置处于黑暗环境中。上述系统能突破全息幻象技术只在展现类应用的局限性，开拓全息幻象的交互应用，且能将其与教学相结合，突破传统多媒体教学方式，第一、二操作者均可与虚拟幻象进行交互，增添课堂的趣味性和互动性，提高教学质量。
Description
技术领域
本发明涉及交互式全息投影技术、背景图像分离技术、多传感器融合技术、体感交互技术领域，尤其涉及一种交互式全息幻象教学系统及方法。
背景技术
全息投影(Holography)是一种采用全息膜将真实物体的反射光线与虚拟图像的反射光线相融合，在空中产生立体幻象，实现虚拟物体在现实环境中再现的视觉效果。在最初，这种技术只是应用在展会展览，随着技术的不断成熟，全息投影技术渐渐应用在了其他的领域，尤其是在数字娱乐，如舞台展现、产品发布会、虚拟讲堂等。以上都很精彩地将虚拟物体呈现在真实场景中。然而以上应用都主在呈现，硬性地将虚拟物体置于特定的真实场景中，而缺少交互的功能，这也是为何全息技术至今主要应用在展会，演唱会等展现类应用方面的原因。若要让全息投影技术应用到各个领域，我们必须要让全息投影技术融合体感交互技术。
发明内容
针对现有技术中的缺陷，本发明提供一种交互式全息幻象教学系统及方法，能够突破全息幻象技术只在展会、演唱会等展现类应用的局限性，开拓了全息幻象的交互应用，同时，能够将交互式全息幻象与课堂教学相结合，突破了传统的多媒体教学方式，不仅第一操作者可以与虚拟的幻象进行交互，第二操作者在课堂中也可以实时的进行虚实交互，增添课堂的趣味性和互动性，提高教学质量。
第一方面，本发明提供一种交互式全息幻象教学系统，包括：
第一装置、第二装置、第三装置、第四装置、服务器，所述第二装置设置于所述第一、三装置之间，所述第三装置设置于所述第二、四装置之间；
所述第一装置包括：第一体感控制器、方向照明灯、第二黑幕布；
所述第二装置包括：投影仪、全息膜、第一黑幕布；
所述第三装置包括：摄像头、第二体感控制器、第一处理器；
所述第四装置包括：摄像机、第二处理器、显示器；
所述摄像头，用于获取第二操作者的图像；
所述第一体感控制器，用于获取第一操作者的动作信息，并将所述第一操作者的动作信息转化为数字动作指令信息；
所述第二体感控制器，用于获取第二操作者的肢体动作信息；
所述第一处理器，用于将所述肢体动作信息转化为肢体动作的数字操纵指令信息；
所述服务器，用于获取所述摄像头中的所述第二操作者的图像、所述第一体感控制器中的所述数字动作指令信息、以及所述第一处理器中的所述数字操纵指令信息，将所述第二操作者的图像进行背景分离处理，获得所述第二操作者的人物图像，将所述第二操作者的人物图像融入到保存在所述服务器中的3D虚拟场景中，分别根据所述数字动作指令信息、所述数字操纵指令信息，在所述服务器中的融入所述第二操作者的人物图像后的3D虚拟场景中分别实现第一操作者、第二操作者与虚拟物体的交互，获取交互后的3D虚拟场景，所述服务器与所述摄像头、所述第一体感控制器、所述投影仪分别连接，所述服务器通过所述第一处理器与所述第二体感控制器连接；
所述第一黑幕布，用于反射所述投影仪的投影，所述第一黑幕布在所述投影仪的下方；
所述全息膜，用于将所述第一黑幕布反射的投影生成3D幻象；
所述第二黑幕布，用于混合背景呈现为黑色,所述第二黑幕布在所述第一操作者的背后位置；
所述方向照明灯，用于照亮所述第一操作者，使所述第一操作者与所述3D幻象融合到一个场景中；
所述摄像机，用于获取所述第一操作者与所述3D幻象融合后的场景的图像，将所述第一操作者与所述3D幻象融合后的场景的图像通过第二处理器在显示器中显示，以使所述第一操作者在所述显示器中看到所述3D幻象、所述3D幻象中的第二操作者和所述第一操作者自己；
所述第一装置、所述第二装置均处于黑暗环境中。
可选地，所述第一体感控制器为：Kinect；
和/或，
所述第二体感控制器为：leap motion；
和/或，
所述摄像头为：广角摄像头。
可选地，所述第二操作者与所述第二体感控制器和所述第一处理器的数量相同，为一个或一个以上；
和/或，
所述第一体感控制器、和/或所述显示器、和/或所述投影仪、和/或所述摄像头设置在讲台或舞台上，和/或所述全息膜通过连接器设置在所述讲台或舞台上。
可选地，所述全息膜与所述第二操作者方向的水平地面成45°；
和/或，
所述第一体感控制器设置在所述显示器的顶部。
可选地，所述系统还包括：竖直设置的第三黑幕布，用于防止所述第二操作者观测到所述投影仪在所述第一黑幕布生成的地面投影；
和/或，
所述服务器放置在所述第三黑幕布的内部。
可选地，所述第一处理器设置在所述第二操作者使用的封装桌子的内部，通过所述封装桌子的上表面的小孔与设置在所述封装桌子的上表面的所述第二体感控制器连接，所述第一处理器通过所述封装桌子的侧面的小孔与外接电源连接。
第二方面，本发明提供一种使用上述系统的交互式全息幻象教学方法，包括：
摄像头获取第二操作者的图像；
第一体感控制器获取第一操作者的动作信息，将所述第一操作者的动作信息转化为数字动作指令信息；
第二体感控制器获取第二操作者的肢体动作信息，将所述肢体动作信息发送至第一处理器，所述第一处理器将所述肢体动作信息转化为肢体动作的数字操纵指令信息；
服务器获取所述第二操作者的图像、所述数字动作指令信息和所述数字操纵指令信息；
服务器将所述第二操作者的图像进行背景分离处理，获得所述第二操作者的人物图像，将所述第二操作者的人物图像融入到保存在所述服务器中的3D虚拟场景中；
服务器分别根据所述数字动作指令信息、所述数字操纵指令信息，在所述服务器中的融入所述第二操作者的人物图像后的3D虚拟场景中分别实现第一操作者、第二操作者与虚拟物体的交互，获取交互后的3D虚拟场景；
投影仪获取服务器中的所述交互后的3D虚拟场景，将所述交互后的3D虚拟场景投影在所述投影仪下方的第一黑幕布上；
第一黑幕布将所述投影仪的投影反射通过全息膜生成3D幻象；
方向照明灯照亮所述第一操作者，使所述第一操作者与所述3D幻象融合到一个场景中；
摄像机获取所述第一操作者与所述3D幻象融合后的场景的图像，将所述第一操作者与所述3D幻象融合后的场景的图像通过第二处理器在显示器中显示，以使所述第一操作者在所述显示器中看到所述3D幻象、所述3D幻象中的第二操作者和所述第一操作者自己。
可选地，所述第一体感控制器为：Kinect；
和/或，
所述第二体感控制器为：leap motion；
和/或，
所述摄像头为：广角摄像头。
所述第一体感控制器为：Kinect；
和/或，
所述第二体感控制器为：leap motion；
和/或，
所述摄像头为：广角摄像头。
可选地，所述全息膜与所述第二操作者方向的水平地面成45°。
可选地，所述第二操作者与所述第二体感控制器和所述第一处理器的数量相同，为一个或一个以上；
和/或，
所述第一体感控制器设置在所述显示器的顶部。
由上述技术方案可知，本发明提供的一种交互式全息幻象教学系统及方法，能够突破全息幻象技术只在展会、演唱会等展现类应用的局限性，开拓了全息幻象的交互应用，同时，能够将交互式全息幻象与课堂教学相结合，突破了传统的多媒体教学方式，不仅第一操作者可以与虚拟的幻象进行交互，第二操作者在课堂中也可以实时的进行虚实交互，增添课堂的趣味性和互动性，提高教学质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种交互式全息幻象教学系统的结构示意图；
图2为本发明实施例提供的一种交互式全息幻象教学系统的各部分设置的一种具体位置信息的结构示意图；
图3为图2所示一部分提供的第一操作者使用的讲台或舞台的结构示意图；
图4为图2所示另一部分提供的的全息投影第三黑幕布的结构示意图；
图5为图2所示另一部分提供的第二操作者座位的结构示意图；
图6为本发明实施例提供的一种使用图1所示实施例提供的交互式全息幻象教学系统的交互式全息幻象教学方法的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他的实施例，都属于本发明保护的范围。
当前的体感交互技术发展迅速，已经涌现了大批的体感交互设备，如Kinect、Leapmotion等。其中，Kinect是利用红外摄像头发射红外射线来识别人体的动作，并将人体动作信息加以处理转化为数字指令的方式来实现人机互动的。Leap motion上配备有两个摄像头以及一个红外线LED，两个摄像头捕捉被红外线发光二极管(Light Emitting Diode，简称LED)照亮的肢体阴影，利用机械学习算法计算出手在空间中的相对坐标以及各种手势。
本发明除了用到了以上的技术和设备，还使用摄像头来捕获图像，运用DirectX和GPU编程来实时地提取拍摄的图像中的人物信息并融入到虚拟场景中，达到了虚实交互的实时性。
图1为本发明实施例提供的一种交互式全息幻象教学系统的结构示意图，如图1所示，本实施例的交互式全息幻象教学系统，包括：第一装置、第二装置、第三装置、第四装置、服务器5，所述第二装置设置于所述第一装置、所述第三装置之间，所述第三装置设置于所述第二装置、所述第四装置之间；
所述第一装置包括：第一体感控制器2、方向照明灯14、第二黑幕布17；
所述第二装置包括：投影仪6、全息膜8、第一黑幕布7；
所述第三装置包括：摄像头1、第二体感控制器3、第一处理器4；
所述第四装置包括：摄像机9、第二处理器10、显示器11；
所述摄像头1，用于获取第二操作者13的图像；
所述第一体感控制器2，用于获取第一操作者12的动作信息，并将所述第一操作者12的动作信息转化为数字动作指令信息；
所述第二体感控制器3，用于获取第二操作者13的肢体动作信息；
所述第一处理器4，用于将所述肢体动作信息转化为肢体动作的数字操纵指令信息；
所述服务器5，用于获取所述摄像头1中的所述第二操作者13的图像、所述第一体感控制器2中的所述数字动作指令信息、以及所述第一处理器4中的所述数字操纵指令信息，将所述第二操作者13的图像进行背景分离处理，获得所述第二操作者13的人物图像，将所述第二操作者13的人物图像融入到保存在所述服务器5中的3D虚拟场景中，分别根据所述数字动作指令信息、所述数字操纵指令信息，在所述服务器5中的融入所述第二操作者13的人物图像后的3D虚拟场景中分别实现第一操作者12、第二操作者13与虚拟物体的交互，获取交互后的3D虚拟场景，所述服务器5与所述摄像头1、所述第一体感控制器2、所述投影仪6分别连接，所述服务器5通过所述第一处理器4与所述第二体感控制器3连接；
所述第一黑幕布7，用于反射所述投影仪6的投影，所述第一黑幕布7在所述投影仪6的下方；
所述全息膜8，用于将所述第一黑幕布7反射的投影生成3D幻象；
所述第二黑幕布17，用于混合背景呈现为黑色,所述第二黑幕布17在所述第一操作者12的背后位置；
所述方向照明灯14，用于照亮所述第一操作者12，使所述第一操作者12与所述3D幻象融合到一个场景中；
所述摄像机9，用于获取所述第一操作者12与所述3D幻象融合后的场景的图像，将所述第一操作者12与所述3D幻象融合后的场景的图像通过第二处理器10在显示器11中显示，以使所述第一操作者12在所述显示器11中看到所述3D幻象、所述3D幻象中的第二操作者13和所述第一操作者12自己；
所述第一装置、所述第二装置均处于黑暗环境中。
在具体应用中，由于本实施例的所述第一装置、所述第二装置均处于黑暗环境中，所以需要使用方向照明灯14照亮所述第一操作者12，使所述第一操作者12与所述3D幻象融合到一个场景中。
在具体应用中，本实施例的所述服务器5是通过DirectX编程方式将所述第二操作者13的图像进行背景分离处理，获得所述第二操作者13的人物图像的；所述服务器5是通过GPU编程方式将所述第二操作者13的人物图像融入到保存在所述服务器5中的3D虚拟场景中的。
举例来说，图2示出了本发明实施例提供的一种交互式全息幻象教学系统的各部分设置的一种具体位置信息的结构示意图，图3至图5分别示出了图2的部分结构示意图(包括①、②、③、④和⑤)。
在具体应用中，举例来说，本实施例的所述第一体感控制器2可以优选为：Kinect；
举例来说，本实施例的所述第二体感控制器3可以优选为：leap motion；
举例来说，本实施例的所述摄像头1可以优选为：广角摄像头。
当第二操作者的数量为多个时，使用广角摄像头可以比使用普通摄像头获取更多个第二操作者的图像
可理解的是，本实施例的所述第二操作者13与所述第二体感控制器3和所述第一处理器4的数量相同，为一个或一个以上。
在具体应用中，本实施例的所述第一体感控制器2、和/或所述显示器11、和/或所述投影仪6、和/或所述摄像头1可以设置在讲台(或舞台)16上，和/或所述全息膜8可以通过连接器设置在所述讲台(或舞台)16上。举例来说，讲台(或舞台)16可以如图3所示为供第一操作者12站立的、可演示所生成的3D幻象的讲台或舞台。
在具体应用中，本实施例的所述全息膜8可以优选为：与所述第二操作者13方向的水平地面成45°。
在具体应用中，本实施例的所述第一体感控制器2可以设置在所述显示器11的顶部。
在具体应用中，如图4所示，本实施例所述系统还包括：竖直设置的第三黑幕布18，用于防止所述第二操作者观测到所述投影仪在所述第一黑幕布7生成的地面投影。
举例来说，本实施例所述服务器5放置在所述第三黑幕布18的内部。
在具体应用中，举例来说，如图5所示，本实施例所述第一处理器4可以设置在所述第二操作者13使用的封装桌子15的内部，可以通过所述封装桌子15的上表面的小孔与设置在所述封装桌子15的上表面的所述第二体感控制器3连接，所述第一处理器4可以通过所述封装桌子15的侧面的小孔与外接电源连接。
本实施例的交互式全息幻象教学系统，能够突破全息幻象技术只在展会、演唱会等展现类应用的局限性，开拓了全息幻象的交互应用，同时，能够将交互式全息幻象与课堂教学相结合，突破了传统的多媒体教学方式，不仅第一操作者可以与虚拟的幻象进行交互，第二操作者在课堂中也可以实时的进行虚实交互，增添课堂的趣味性和互动性，提高教学质量。
图6为本发明实施例提供的一种使用图1所示实施例提供的交互式全息幻象教学系统的交互式全息幻象教学方法的流程示意图，如图6所示，本实施例的交互式全息幻象教学方法如下所述。
601、摄像头获取第二操作者的图像。
在具体应用中，本实施例的摄像头可以优选为：广角摄像头。
当第二操作者的数量为多个时，使用广角摄像头可以比使用普通摄像头获取更多个第二操作者的图像
602、第一体感控制器获取第一操作者的动作信息，将所述第一操作者的动作信息转化为数字动作指令信息。
举例来说，本实施例的第一体感控制器可以优选为：Kinect。
603、第二体感控制器获取第二操作者的肢体动作信息，将所述肢体动作信息发送至第一处理器，所述第一处理器将所述肢体动作信息转化为肢体动作的数字操纵指令信息。
举例来说，本实施例的第二体感控制器可以优选为：leap motion。
在具体应用中，本实施例的所述第二操作者与所述第二体感控制器和所述第一处理器的数量相同，为一个或一个以上。
604、服务器获取所述第二操作者的图像、所述数字动作指令信息和所述数字操纵指令信息。
605、服务器将所述第二操作者的图像进行背景分离处理，获得所述第二操作者的人物图像，将所述第二操作者的人物图像融入到保存在所述服务器中的3D虚拟场景中。
在具体应用中，所述服务器是通过DirectX编程方式将所述第二操作者的图像进行背景分离处理，获得所述第二操作者的人物图像的；所述服务器是通过GPU编程方式将所述第二操作者的人物图像融入到保存在所述服务器中的3D虚拟场景中的。
606、服务器分别根据所述数字动作指令信息、所述数字操纵指令信息，在所述服务器中的融入所述第二操作者的人物图像后的3D虚拟场景中分别实现第一操作者、第二操作者与虚拟物体的交互，获取交互后的3D虚拟场景。
607、投影仪获取服务器中的所述交互后的3D虚拟场景，将所述交互后的3D虚拟场景投影在所述投影仪下方的第一黑幕布上。
608、第一黑幕布将所述投影仪的投影反射通过全息膜生成3D幻象。
在具体应用中，本实施例的所述全息膜可以优选为：与所述第二操作者方向的水平地面成45°。
609、方向照明灯照亮所述第一操作者，使所述第一操作者与所述3D幻象融合到一个场景中。
在具体应用中，由于本实施例使用的图1所述系统中，所述第一装置、所述第二装置均处于黑暗环境中，所以需要使用方向照明灯照亮所述第一操作者，使所述第一操作者与所述3D幻象融合到一个场景中。
610、摄像机获取所述第一操作者与所述3D幻象融合后的场景的图像，将所述第一操作者与所述3D幻象融合后的场景的图像通过第二处理器在显示器中显示，以使所述第一操作者在所述显示器中看到所述3D幻象、所述3D幻象中的第二操作者和所述第一操作者自己。
在具体应用中，本实施例的所述第一体感控制器可以设置在所述显示器的顶部。
本实施例的交互式全息幻象教学方法，使用图1所示实施例提供的交互式全息幻象教学系统，通过服务器获取摄像头中的第二操作者的图像、第一体感控制器中的数字动作指令信息、第一处理器中的将第二体感控制器中的第二操作者的肢体动作信息转化的数字操纵指令信息，服务器将第二操作者的图像进行背景分离处理，获得第二操作者的人物图像，将其融入到保存在服务器中的3D虚拟场景中，服务器分别根据数字动作指令信息、数字操纵指令信息，在服务器中的融入第二操作者的人物图像后的3D虚拟场景中分别实现第一操作者、第二操作者与虚拟物体的交互，获取交互后的3D虚拟场景，投影仪获取服务器中的交互后的3D虚拟场景，将其投影在第一黑幕布上进行反射通过全息膜生成3D幻象，方向照明灯照亮第一操作者，使第一操作者与3D幻象融合到一个场景中，摄像机获取第一操作者与3D幻象融合后的场景的图像，将其通过第二处理器在显示器中显示，以使第一操作者在显示器中看到3D幻象、3D幻象中的第二操作者和第一操作者自己，由此，能够突破全息幻象技术只在展会、演唱会等展现类应用的局限性，开拓了全息幻象的交互应用，同时，能够将交互式全息幻象与课堂教学相结合，突破了传统的多媒体教学方式，不仅第一操作者可以与虚拟的幻象进行交互，第二操作者在课堂中也可以实时的进行虚实交互，增添课堂的趣味性和互动性，提高教学质量。
本发明并不限制为交互式全息幻象教学系统，可以应用本发明来实现的与本发明技术方案相似的使用交互式全息幻象的其他系统也属于本发明的保护范围之内，举例来说，也可以为交互式全息幻象会议系统等，即本发明实施例中的第一操作者可以为会议的发言者(包括讲师)等，本发明实施例中的第二操作者可以为会议的其他参与者(包括学生)等。
本领域普通技术人员可以理解：实现上述方法实施例的全部或者部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
以上所述，仅为本发明的具体实施方式，但是，本发明的保护范围不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替代，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种交互式全息幻象教学系统，其特征在于，包括：第一装置、第二装置、第三装置、第四装置、服务器，所述第二装置设置于所述第一、三装置之间，所述第三装置设置于所述第二、四装置之间；
所述第一装置包括：第一体感控制器、方向照明灯、第二黑幕布；
所述第二装置包括：投影仪、全息膜、第一黑幕布；
所述第三装置包括：摄像头、第二体感控制器、第一处理器；
所述第四装置包括：摄像机、第二处理器、显示器；
所述摄像头，用于获取第二操作者的图像；
所述第一体感控制器，用于获取第一操作者的动作信息，并将所述第一操作者的动作信息转化为数字动作指令信息；
所述第二体感控制器，用于获取第二操作者的肢体动作信息；
所述第一处理器，用于将所述肢体动作信息转化为肢体动作的数字操纵指令信息；
所述服务器，用于获取所述摄像头中的所述第二操作者的图像、所述第一体感控制器中的所述数字动作指令信息、以及所述第一处理器中的所述数字操纵指令信息，将所述第二操作者的图像进行背景分离处理，获得所述第二操作者的人物图像，将所述第二操作者的人物图像融入到保存在所述服务器中的3D虚拟场景中，分别根据所述数字动作指令信息、所述数字操纵指令信息，在所述服务器中的融入所述第二操作者的人物图像后的3D虚拟场景中分别实现第一操作者、第二操作者与虚拟物体的交互，获取交互后的3D虚拟场景，所述服务器与所述摄像头、所述第一体感控制器、所述投影仪分别连接，所述服务器通过所述第一处理器与所述第二体感控制器连接；
所述第一黑幕布，用于反射所述投影仪的投影，所述第一黑幕布在所述投影仪的下方；
所述全息膜，用于将所述第一黑幕布反射的投影生成3D幻象；
所述第二黑幕布，用于混合背景呈现为黑色,所述第二黑幕布在所述第一操作者的背后位置；
所述方向照明灯，用于照亮所述第一操作者，使所述第一操作者与所述3D幻象融合到一个场景中；
所述摄像机，用于获取所述第一操作者与所述3D幻象融合后的场景的图像，将所述第一操作者与所述3D幻象融合后的场景的图像通过第二处理器在显示器中显示，以使所述第一操作者在所述显示器中看到所述3D幻象、所述3D幻象中的第二操作者和所述第一操作者自己；
所述第一装置、所述第二装置均处于黑暗环境中。
2.根据权利要求1所述的系统，其特征在于，所述第一体感控制器为：Kinect；
和/或，
所述第二体感控制器为：leap motion；
和/或，
所述摄像头为：广角摄像头。
3.根据权利要求1所述的系统，其特征在于，所述第二操作者与所述第二体感控制器和所述第一处理器的数量相同，为一个以上；
和/或，
所述第一体感控制器、和/或所述显示器、和/或所述投影仪、和/或所述摄像头设置在讲台或舞台上，和/或所述全息膜通过连接器设置在所述讲台或舞台上。
4.根据权利要求1所述的系统，其特征在于，所述全息膜与所述第二操作者方向的水平地面成45°；
和/或，
所述第一体感控制器设置在所述显示器的顶部。
5.根据权利要求1所述的系统，其特征在于，还包括：竖直设置的第三黑幕布，用于防止所述第二操作者观测到所述投影仪在所述第一黑幕布生成的地面投影；
和/或，
所述服务器放置在所述第三黑幕布的内部。
6.根据权利要求1所述的系统，其特征在于，所述第一处理器设置在所述第二操作者使用的封装桌子的内部，通过所述封装桌子的上表面的小孔与设置在所述封装桌子的上表面的所述第二体感控制器连接，所述第一处理器通过所述封装桌子的侧面的小孔与外接电源连接。
7.一种使用权利要求1-6中任一项所述系统的交互式全息幻象教学方法，其特征在于，包括：
摄像头获取第二操作者的图像；
第一体感控制器获取第一操作者的动作信息，将所述第一操作者的动作信息转化为数字动作指令信息；
第二体感控制器获取第二操作者的肢体动作信息，将所述肢体动作信息发送至第一处理器，所述第一处理器将所述肢体动作信息转化为肢体动作的数字操纵指令信息；
服务器获取所述第二操作者的图像、所述数字动作指令信息和所述数字操纵指令信息；
服务器将所述第二操作者的图像进行背景分离处理，获得所述第二操作者的人物图像，将所述第二操作者的人物图像融入到保存在所述服务器中的3D虚拟场景中；
服务器分别根据所述数字动作指令信息、所述数字操纵指令信息，在所述服务器中的融入所述第二操作者的人物图像后的3D虚拟场景中分别实现第一操作者、第二操作者与虚拟物体的交互，获取交互后的3D虚拟场景；
投影仪获取服务器中的所述交互后的3D虚拟场景，将所述交互后的3D虚拟场景投影在所述投影仪下方的第一黑幕布上；
第一黑幕布将所述投影仪的投影反射通过全息膜生成3D幻象；
方向照明灯照亮所述第一操作者，使所述第一操作者与所述3D幻象融合到一个场景中；
摄像机获取所述第一操作者与所述3D幻象融合后的场景的图像，将所述第一操作者与所述3D幻象融合后的场景的图像通过第二处理器在显示器中显示，以使所述第一操作者在所述显示器中看到所述3D幻象、所述3D幻象中的第二操作者和所述第一操作者自己。
8.根据权利要求7所述的方法，其特征在于，所述第一体感控制器为：Kinect；
和/或，
所述第二体感控制器为：leap motion；
和/或，
所述摄像头为：广角摄像头。
9.根据权利要求7所述的方法，其特征在于，所述全息膜与所述第二操作者方向的水平地面成45°。
10.根据权利要求7所述的方法，其特征在于，所述第二操作者与所述第二体感控制器和所述第一处理器的数量相同，为一个以上；
和/或，
所述第一体感控制器设置在所述显示器的顶部。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410553976.1A CN105513436B (zh) | 2014-10-17 | 2014-10-17 | 交互式全息幻象教学系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410553976.1A CN105513436B (zh) | 2014-10-17 | 2014-10-17 | 交互式全息幻象教学系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105513436A CN105513436A (zh) | 2016-04-20 |
| CN105513436B true CN105513436B (zh) | 2017-12-19 |
Family
ID=55721374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410553976.1A Active CN105513436B (zh) | 2014-10-17 | 2014-10-17 | 交互式全息幻象教学系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105513436B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105955462A (zh) * | 2016-04-25 | 2016-09-21 | 孙小燕 | 一种异地情侣全息影像显现系统 |
| CN106485962A (zh) * | 2016-06-06 | 2017-03-08 | 丁昊冉 | 高中生学习投影互动教学装置 |
| CN105844976A (zh) * | 2016-06-14 | 2016-08-10 | 赵博源 | 高中生学习用投影教学装置 |
| CN105844990A (zh) * | 2016-06-14 | 2016-08-10 | 丁昊冉 | 高中生学习投影互动教学装置 |
| CN106200831A (zh) * | 2016-08-31 | 2016-12-07 | 广州数娱信息科技有限公司 | 一种ar、全息智能装置 |
| CN107463248A (zh) * | 2017-06-20 | 2017-12-12 | 昆明理工大学 | 一种基于动态捕捉与全息投影的远程交互方法 |
| CN108877391A (zh) * | 2018-06-28 | 2018-11-23 | 优贝乐（北京）国际教育咨询有限公司 | 一种体感教学系统 |
| CN109064795B (zh) * | 2018-07-16 | 2020-12-25 | 广东小天才科技有限公司 | 一种投影交互的方法及照明设备 |
| CN110737338A (zh) * | 2019-10-20 | 2020-01-31 | 南京象皮尼科技有限公司 | 一种特效自动跟随角色的全息投影方法及系统 |
| CN114005310A (zh) * | 2021-10-28 | 2022-02-01 | 北京同思佳创电子技术有限公司 | 全息交互教学系统 |
| CN114005309A (zh) * | 2021-10-28 | 2022-02-01 | 北京同思佳创电子技术有限公司 | 一种利用全息交互设备互动课堂的教学方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9244525B2 (en) * | 2009-02-19 | 2016-01-26 | Disney Enterprises, Inc. | System and method for providing user interaction with projected three-dimensional environments |
| CN102784479A (zh) * | 2011-05-20 | 2012-11-21 | 德信互动科技（北京）有限公司 | 全息投影体感互动系统和方法 |
| CN202306130U (zh) * | 2011-09-28 | 2012-07-04 | 深圳市数虎图像科技有限公司 | 感应互动全息影像系统 |
| CN202601130U (zh) * | 2012-03-26 | 2012-12-12 | 上海摩奇贝斯展示设计营造有限公司 | 互动场景模式全息成像系统 |
| CN102929384A (zh) * | 2012-06-01 | 2013-02-13 | 北京八亿时空液晶科技股份有限公司 | 三维电子沙盘装置 |
| CN203133746U (zh) * | 2012-12-07 | 2013-08-14 | 青岛经纬蓝图信息技术有限公司 | 基于体感交互的一体化虚拟景观游览装置 |
-
2014
- 2014-10-17 CN CN201410553976.1A patent/CN105513436B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN105513436A (zh) | 2016-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105513436B (zh) | 交互式全息幻象教学系统及方法 | |
| US6370267B1 (en) | System for manipulating digitized image objects in three dimensions | |
| US20150348326A1 (en) | Immersion photography with dynamic matte screen | |
| CN106157359B (zh) | 一种虚拟场景体验系统的设计方法 | |
| CN102540464B (zh) | 提供环绕视频的头戴式显示设备 | |
| US11100695B1 (en) | Methods and systems for creating an immersive character interaction experience | |
| JP2017522682A (ja) | 拡張現実技術に基づく手持ち式閲覧デバイス及びその方法 | |
| CN202601130U (zh) | 互动场景模式全息成像系统 | |
| KR102186607B1 (ko) | 증강현실을 통한 발레 공연 시스템 및 방법 | |
| US20120251995A1 (en) | Apparatus and method for tutoring in convergence space of real and virtual environment | |
| CN202600354U (zh) | 互动虚拟实景全息成像系统 | |
| CN111862711A (zh) | 一种基于5g物联虚拟现实娱乐休闲学习装置 | |
| CN206325235U (zh) | 一种戏曲舞台虚实融合互动表演系统 | |
| IJsselsteijn | History of telepresence | |
| Marner et al. | Exploring interactivity and augmented reality in theater: A case study of Half Real | |
| CN110554556B (zh) | 一种用于多屏幕的空间全息互动操控的方法及系统 | |
| Letellier et al. | Visualization and interaction techniques in virtual reality for guided tours | |
| JP2022093262A (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
| Palmer et al. | Virtual Reality Blueprints: Create compelling VR experiences for mobile and desktop | |
| CN103810932A (zh) | 一种虚拟星空教学设备 | |
| CN105929630A (zh) | 基于体感交互的360度幻影成像系统 | |
| Park et al. | Gyeongju VR theater: a journey into the breath of Sorabol | |
| CN106409157B (zh) | 一种可用于魔术表演的幻术显示系统 | |
| Pai | An imitation of 3D projection mapping using augmented reality and shader effects | |
| Wang | Immersive and Interactive Digital Stage Design Based on Computer Automatic Virtual Environment and Performance Experience Innovation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240108 Address after: 1111, Building 2, Shangfengyuan, Baijiatuan, Haidian District, Beijing, 100029 Patentee after: ZHONGQU (BEIJING) TECHNOLOGY CO.,LTD. Address before: 5 jinyuanzhuang Road, Shijingshan District, Beijing Patentee before: NORTH CHINA University OF TECHNOLOGY |