CN115022615A - 基于投影的虚拟感知系统及方法 - Google Patents

基于投影的虚拟感知系统及方法 Download PDF

Info

Publication number
CN115022615A
CN115022615A CN202210506112.9A CN202210506112A CN115022615A CN 115022615 A CN115022615 A CN 115022615A CN 202210506112 A CN202210506112 A CN 202210506112A CN 115022615 A CN115022615 A CN 115022615A
Authority
CN
China
Prior art keywords
projection
virtual
observer
execution processors
communication connection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210506112.9A
Other languages
English (en)
Inventor
施磊
吴军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Sincere Creative Digital Technology Co ltd
Original Assignee
Nanjing Sincere Creative Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Sincere Creative Digital Technology Co ltd filed Critical Nanjing Sincere Creative Digital Technology Co ltd
Priority to CN202210506112.9A priority Critical patent/CN115022615A/zh
Publication of CN115022615A publication Critical patent/CN115022615A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种基于投影的虚拟感知系统及方法。该系统包括：虚拟感知设备，用于获取观察者的视点位置；主处理器，与所述虚拟感知设备通信连接，用于向至少四个执行处理器广播接收到的操作数据和获取的视点位置；至少四个执行处理器，与主处理器通信连接，用于分别根据操作数据、虚拟空间的摄像机坐标和视点位置生成至少四个立体影像，并将至少四个立体影像分别给到至少四个投影仪；至少四个投影仪，分别与至少四个执行处理器通信连接，将至少四个投影影像分别投射到至少四个投影面上。本申请解决了无法对多个方位的场景进行模拟造成的人员体验感很差，且场景模拟能力弱技术问题。

Description

基于投影的虚拟感知系统及方法
技术领域
本申请涉及虚拟感知领域，具体而言，涉及一种基于投影的虚拟感知系统及方法。
背景技术
发明人发现，虚拟感知技术采用头戴式设备和显示屏相结合，但是当人员将视线转移离开屏幕后会进入现实场景，也就是说只能对一个方位进行场景模拟，无法对多个方位的场景进行模拟，使人员体验感很差，场景模拟能力也弱。
针对相关技术中无法对多个方位的场景进行模拟，使人员体验感很差，场景模拟能力也弱的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种基于投影的虚拟感知系统及方法，以解决无无法对多个方位的场景进行模拟，使人员体验感很差，场景模拟能力也弱的问题。
为了实现上述目的，根据本申请的一个方面，提供了一种基于投影的虚拟感知系统。
根据本申请的基于投影的虚拟感知系统包括：虚拟感知设备，用于获取观察者的视点位置；主处理器，与所述虚拟感知设备通信连接，用于向至少四个执行处理器广播接收到的操作数据和获取的视点位置；至少四个执行处理器，与主处理器通信连接，用于分别根据操作数据、虚拟空间的摄像机坐标和视点位置生成至少四个立体影像，并将至少四个立体影像分别给到至少四个投影仪；至少四个投影仪，分别与至少四个执行处理器通信连接，将至少四个投影影像分别投射到至少四个投影面上。
进一步的，所述虚拟感知设备，还用于检测观察者的交互动作信息；主处理器，还用于根据交互动作信息和视点位置确定反馈信号，并根据反馈信号控制虚拟感知设备进行交互反馈。
进一步的，至少四个执行处理器，还用于分别通过图像的几何校正算法，对至少四个立体影像进行变换，得到用于适配不平整投影面的异性校正影像。
进一步的，所述主处理器通过同步卡与所述至少四个执行处理器通信连接。
进一步的，所述同步卡使用NVIDIA G-SYNC信号进行通信。
进一步的，所述执行处理器、所述投影仪、所述投影面为四个或六个。
进一步的，所述投影面为纱幕。
为了实现上述目的，根据本申请的另一方面，提供了一种基于投影的虚拟感知方法。
根据本申请的基于投影的虚拟感知方法包括：获取观察者的视点位置；向至少四个执行处理器广播接收到的操作数据和获取的视点位置；根据操作数据、虚拟空间的摄像机坐标和视点位置生成至少四个立体影像，并将至少四个立体影像分别给到至少四个投影仪；将至少四个投影影像分别投射到至少四个投影面上。
进一步的，获取观察者的视点位置之后还包括：检测观察者的交互动作信息；根据交互动作信息和视点位置确定反馈信号，并根据反馈信号控制虚拟感知设备进行交互反馈。
进一步的，根据操作数据、虚拟空间的摄像机坐标和视点位置生成至少四个立体影像之后还包括：通过图像的几何校正算法，对至少四个立体影像进行变换，得到用于适配不平整投影面的异性校正影像。
在本申请实施例中，采用多个处理器与虚拟感知设备、投影仪相配合的方式，通过虚拟感知设备，用于获取观察者的视点位置；主处理器，与所述虚拟感知设备通信连接，用于向至少四个执行处理器广播接收到的操作数据和获取的视点位置；至少四个执行处理器，与主处理器通信连接，用于分别根据操作数据、虚拟空间的摄像机坐标和视点位置生成至少四个立体影像，并将至少四个立体影像分别给到至少四个投影仪；至少四个投影仪，分别与至少四个执行处理器通信连接，将至少四个投影影像分别投射到至少四个投影面上。达到了对以人员为中心的多个方位的场景进行模拟的目的，从而实现了大大提升人员体验感，且增强场景模拟能力的技术效果，进而解决了无法对多个方位的场景进行模拟造成的人员体验感很差，且场景模拟能力弱技术问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的基于投影的虚拟感知系统的结构示意图；
图2是根据本申请实施例的基于投影的虚拟感知方法的流程示意图；
图3是根据本申请优选实施例的基于投影的虚拟感知系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本实用新型及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本实用新型中的具体含义。
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本实用新型中的具体含义。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
根据本发明实施例，提供了一种基于投影的虚拟感知系统，如图1所示，该系统包括：
虚拟感知设备，用于获取观察者的视点位置；
虚拟感知设备中带有定位器，当人员带着虚拟感知设备在投影面围合形成的空间内行走时，定位器实时采集人员当前所处的位置，并且将其转换为投影面围合的空间体系下的坐标值，该坐标值即为观察者的视点位置，基于视点位置可以为后续的处理提供数据保障。
本实施例中，虚拟感知设备还包含能够增强现实的眼镜，人员通过佩戴该增强现实的眼镜，观看经过特殊处理的视频时产生观看三维的效果。
在一些示例中，虚拟感知设备还包含六轴加速度传感器，通过六轴加速度传感器检测观察者的抬头、转头等动作。
主处理器，与所述虚拟感知设备通信连接，用于向至少四个执行处理器广播接收到的操作数据和获取的视点位置；
主处理器为安装在服务器或计算机内，主处理器和虚拟感知设备可以是无线或有线通信连接；另外，操作人员通过操作，可以选择或导入相应的操作数据，即用于模拟虚拟场景的视频数据，如此，虚拟感知设备测得的视点位置可以传输至主处理器，主处理器根据预先设置的程序将视点位置和操作数据给到至少四个执行处理器，为后续执行处理器的处理提供数据支持。
至少四个执行处理器，与主处理器通信连接，用于分别根据操作数据、虚拟空间的摄像机坐标和视点位置生成至少四个立体影像，并将至少四个立体影像分别给到至少四个投影仪；
至少四个投影仪，分别与至少四个执行处理器通信连接，将至少四个投影影像分别投射到至少四个投影面上。
至少四个执行处理器与主处理器之间均采用无线或有线通信连接，本实施例中，所述主处理器通过同步卡与所述至少四个执行处理器通信连接；通过同步卡可以保证系统在最小的相应时间内可以并行传输数据，保证每个执行处理器能够在最小的误差时间内收到数据，并同步进行处理。
本实施例中，优选的，所述同步卡使用NVIDIA G-SYNC信号进行通信。
执行处理器安装在计算机内，每个执行处理器均可以根据操作数据、虚拟空间的摄像机坐标和视点位置进行计算，生成至少四个立体影像。
优选的，所述执行处理器、所述投影仪、所述投影面为四个或六个。
具体地，以六个方位分别设置六个投影面为例，首先，操作数据中的影像可以按照预先设置的切割规则分为左、右、前、后、上、下六个部分，并且采用GPU以上的六个部分分别进行3D渲染，再通过投影多通道融合拼接技术对渲染后的六个部分的接缝处进行拼接，保证没有接缝，提升体验感；然后六个执行处理器分别参照虚拟空间的摄像机坐标(可以反应左、右、前、后、上、下的投影面位置)，从六个部分中确定一个作为左、右、前、后、上或下侧投影面需要投影的影像，最后六个执行处理器将确定的影像分别发给对应位置的投影仪分别投影到对应的六个投影面上，如此，可以对以人员为中心的多个方位的场景进行模拟，大提升人员体验感，且增强场景模拟能力，使人员更能沉浸其中。
本实施例中，优选的，所述投影面为纱幕。通过投影机将动态视频投射到双层铁纱上，能够浮现出梦幻绚丽的画面。
从以上的描述中，可以看出，本发明实现了如下技术效果：
在本申请实施例中，采用多个处理器与虚拟感知设备、投影仪相配合的方式，通过虚拟感知设备，用于获取观察者的视点位置；主处理器，与所述虚拟感知设备通信连接，用于向至少四个执行处理器广播接收到的操作数据和获取的视点位置；至少四个执行处理器，与主处理器通信连接，用于分别根据操作数据、虚拟空间的摄像机坐标和视点位置生成至少四个立体影像，并将至少四个立体影像分别给到至少四个投影仪；至少四个投影仪，分别与至少四个执行处理器通信连接，将至少四个投影影像分别投射到至少四个投影面上。达到了对以人员为中心的多个方位的场景进行模拟的目的，从而实现了大大提升人员体验感，且增强场景模拟能力的技术效果，进而解决了无法对多个方位的场景进行模拟造成的人员体验感很差，且场景模拟能力弱技术问题。
根据本申请实施例，优选的，所述虚拟感知设备，还用于检测观察者的交互动作信息；
主处理器，还用于根据交互动作信息和视点位置确定反馈信号，并根据反馈信号控制虚拟感知设备进行交互反馈。
虚拟感知设备还包括用于检测观察者的交互动作信息的手持设备，如此，可以检测观察者在投影面围合形成的空间内的交互动作信息，主处理器根据交互动作信息和视点位置确定对应的反馈信号，手持设备根据该反馈信号控制震动、声响等进行交互反馈。
根据本申请实施例，优选的，至少四个执行处理器，还用于分别通过图像的几何校正算法，对至少四个立体影像进行变换，得到用于适配不平整投影面的异性校正影像。
使用几何校正算法能够实现对至少四个立体影像进行变换，进而可以适配不平整投影面。
根据本发明实施例，优选的，如图3所示，四个(或六个)影面围绕观察者组成立方体结构，每个投影面均对应一个摄像机，其中三个墙面采用背投方式，地面采用正投方式，如此，配合软件处理后，可以在观察者周围均投影出同一个场景的多个方向的影像，从而能够产生一种使观察者置身其中的作用。
本实施例中，若放置虚拟感知系统的房间大小有限，可通过反射镜把投影图象投影到屏幕上以节省空间。
本实施例中，观察者戴上液晶立体眼镜和一种六个自由度的头部跟踪设备，以便将观察者的视点位置实时反馈到计算机系统和体验身临其境的感觉。
本实施例中，该立体结构可以供多人参与，所有参与者均完全沉浸在一个被立体投影画面包围的高级虚拟仿真环境中，借助相应虚拟感知交互设备(如数据手套、力反馈装置、位置跟踪器等)，从而获得一种身临其境的高分辨率三维立体视听影像和6自由度交互感受。
作为一种可选的实施方案，投影机通过主动立体融合器与仿真服务器通信连接，可以接收服务器发布的信息；同时主动立体融合器与可编程控制器通信连接，可编程控制器与手机、iPad等通信连接，可以接收手机、iPad等发布的影像，再由主动立体融合器处理后分配给到投影机投影。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
根据本发明实施例，还提供了一种基于投影的虚拟感知方法，如图2所示，该方法包括如下的步骤S101至步骤S104：
步骤S101、获取观察者的视点位置；
虚拟感知设备中带有定位器，当人员带着虚拟感知设备在投影面围合形成的空间内行走时，定位器实时采集人员当前所处的位置，并且将其转换为投影面围合的空间体系下的坐标值，该坐标值即为观察者的视点位置，基于视点位置可以为后续的处理提供数据保障。
本实施例中，虚拟感知设备还包含能够增强现实的眼镜，人员通过佩戴该增强现实的眼镜，观看经过特殊处理的视频时产生观看三维的效果。
在一些示例中，虚拟感知设备还包含六轴加速度传感器，通过六轴加速度传感器检测观察者的抬头、转头等动作。
步骤S102、向至少四个执行处理器广播接收到的操作数据和获取的视点位置；
主处理器为安装在服务器或计算机内，主处理器和虚拟感知设备可以是无线或有线通信连接；另外，操作人员通过操作，可以选择或导入相应的操作数据，即用于模拟虚拟场景的视频数据，如此，虚拟感知设备测得的视点位置可以传输至主处理器，主处理器根据预先设置的程序将视点位置和操作数据给到至少四个执行处理器，为后续执行处理器的处理提供数据支持。
步骤S103、根据操作数据、虚拟空间的摄像机坐标和视点位置生成至少四个立体影像，并将至少四个立体影像分别给到至少四个投影仪；
步骤S104、将至少四个投影影像分别投射到至少四个投影面上。
至少四个执行处理器与主处理器之间均采用无线或有线通信连接，本实施例中，所述主处理器通过同步卡与所述至少四个执行处理器通信连接；通过同步卡可以保证系统在最小的相应时间内可以并行传输数据，保证每个执行处理器能够在最小的误差时间内收到数据，并同步进行处理。
本实施例中，优选的，所述同步卡使用NVIDIA G-SYNC信号进行通信。
执行处理器安装在计算机内，每个执行处理器均可以根据操作数据、虚拟空间的摄像机坐标和视点位置进行计算，生成至少四个立体影像。
优选的，所述执行处理器、所述投影仪、所述投影面为四个或六个。
具体地，以六个方位分别设置六个投影面为例，首先，操作数据中的影像可以按照预先设置的切割规则分为左、右、前、后、上、下六个部分，并且采用GPU以上的六个部分分别进行3D渲染，再通过投影多通道融合拼接技术对渲染后的六个部分的接缝处进行拼接，保证没有接缝，提升体验感；然后六个执行处理器分别参照虚拟空间的摄像机坐标(可以反应左、右、前、后、上、下的投影面位置)，从六个部分中确定一个作为左、右、前、后、上或下侧投影面需要投影的影像，最后六个执行处理器将确定的影像分别发给对应位置的投影仪分别投影到对应的六个投影面上，如此，可以对以人员为中心的多个方位的场景进行模拟，大提升人员体验感，且增强场景模拟能力，使人员更能沉浸其中。
本实施例中，优选的，所述投影面为纱幕。通过投影机将动态视频投射到双层铁纱上，能够浮现出梦幻绚丽的画面。
从以上的描述中，可以看出，本发明实现了如下技术效果：
在本申请实施例中，采用多个处理器与虚拟感知设备、投影仪相配合的方式，通过虚拟感知设备，用于获取观察者的视点位置；主处理器，与所述虚拟感知设备通信连接，用于向至少四个执行处理器广播接收到的操作数据和获取的视点位置；至少四个执行处理器，与主处理器通信连接，用于分别根据操作数据、虚拟空间的摄像机坐标和视点位置生成至少四个立体影像，并将至少四个立体影像分别给到至少四个投影仪；至少四个投影仪，分别与至少四个执行处理器通信连接，将至少四个投影影像分别投射到至少四个投影面上。达到了对以人员为中心的多个方位的场景进行模拟的目的，从而实现了大大提升人员体验感，且增强场景模拟能力的技术效果，进而解决了无法对多个方位的场景进行模拟造成的人员体验感很差，且场景模拟能力弱技术问题。
根据本申请实施例，优选的，所述虚拟感知设备，还用于检测观察者的交互动作信息；
主处理器，还用于根据交互动作信息和视点位置确定反馈信号，并根据反馈信号控制虚拟感知设备进行交互反馈。
虚拟感知设备还包括用于检测观察者的交互动作信息的手持设备，如此，可以检测观察者在投影面围合形成的空间内的交互动作信息，主处理器根据交互动作信息和视点位置确定对应的反馈信号，手持设备根据该反馈信号控制震动、声响等进行交互反馈。
根据本申请实施例，优选的，至少四个执行处理器，还用于分别通过图像的几何校正算法，对至少四个立体影像进行变换，得到用于适配不平整投影面的异性校正影像。
使用几何校正算法能够实现对至少四个立体影像进行变换，进而可以适配不平整投影面。
根据本发明实施例，优选的，如图3所示，四个(或六个)影面围绕观察者组成立方体结构，每个投影面均对应一个摄像机，其中三个墙面采用背投方式，地面采用正投方式，如此，配合软件处理后，可以在观察者周围均投影出同一个场景的多个方向的影像，从而能够产生一种使观察者置身其中的作用。
本实施例中，若放置虚拟感知系统的房间大小有限，可通过反射镜把投影图象投影到屏幕上以节省空间。
本实施例中，观察者戴上液晶立体眼镜和一种六个自由度的头部跟踪设备，以便将观察者的视点位置实时反馈到计算机系统和体验身临其境的感觉。
本实施例中，该立体结构可以供多人参与，所有参与者均完全沉浸在一个被立体投影画面包围的高级虚拟仿真环境中，借助相应虚拟感知交互设备(如数据手套、力反馈装置、位置跟踪器等)，从而获得一种身临其境的高分辨率三维立体视听影像和6自由度交互感受。
作为一种可选的实施方案，投影机通过主动立体融合器与仿真服务器通信连接，可以接收服务器发布的信息；同时主动立体融合器与可编程控制器通信连接，可编程控制器与手机、iPad等通信连接，可以接收手机、iPad等发布的影像，再由主动立体融合器处理后分配给到投影机投影。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于投影的虚拟感知系统，其特征在于，包括：
虚拟感知设备，用于获取观察者的视点位置；
主处理器，与所述虚拟感知设备通信连接，用于向至少四个执行处理器广播接收到的操作数据和获取的视点位置；
至少四个执行处理器，与主处理器通信连接，用于分别根据操作数据、虚拟空间的摄像机坐标和视点位置生成至少四个立体影像，并将至少四个立体影像分别给到至少四个投影仪；
至少四个投影仪，分别与至少四个执行处理器通信连接，将至少四个投影影像分别投射到至少四个投影面上。
2.根据权利要求1所述的基于投影的虚拟感知系统，其特征在于，
所述虚拟感知设备，还用于检测观察者的交互动作信息；
主处理器，还用于根据交互动作信息和视点位置确定反馈信号，并根据反馈信号控制虚拟感知设备进行交互反馈。
3.根据权利要求1所述的基于投影的虚拟感知系统，其特征在于，
至少四个执行处理器，还用于分别通过图像的几何校正算法，对至少四个立体影像进行变换，得到用于适配不平整投影面的异性校正影像。
4.根据权利要求1所述的基于投影的虚拟感知系统，其特征在于，所述主处理器通过同步卡与所述至少四个执行处理器通信连接。
5.根据权利要求4所述的基于投影的虚拟感知系统，其特征在于，所述同步卡使用NVIDIA G-SYNC信号进行通信。
6.根据权利要求1所述的基于投影的虚拟感知系统，其特征在于，所述执行处理器、所述投影仪、所述投影面为四个或六个。
7.根据权利要求1所述的基于投影的虚拟感知系统，其特征在于，所述投影面为纱幕。
8.一种基于投影的虚拟感知方法，其特征在于，包括：
获取观察者的视点位置；
向至少四个执行处理器广播接收到的操作数据和获取的视点位置；
根据操作数据、虚拟空间的摄像机坐标和视点位置生成至少四个立体影像，并将至少四个立体影像分别给到至少四个投影仪；
将至少四个投影影像分别投射到至少四个投影面上。
9.根据权利要求8所述的基于投影的虚拟感知方法，其特征在于，获取观察者的视点位置之后还包括：
检测观察者的交互动作信息；
根据交互动作信息和视点位置确定反馈信号，并根据反馈信号控制虚拟感知设备进行交互反馈。
10.根据权利要求8所述的基于投影的虚拟感知方法，其特征在于，根据操作数据、虚拟空间的摄像机坐标和视点位置生成至少四个立体影像之后还包括：
通过图像的几何校正算法，对至少四个立体影像进行变换，得到用于适配不平整投影面的异性校正影像。
CN202210506112.9A 2022-05-10 2022-05-10 基于投影的虚拟感知系统及方法 Pending CN115022615A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210506112.9A CN115022615A (zh) 2022-05-10 2022-05-10 基于投影的虚拟感知系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210506112.9A CN115022615A (zh) 2022-05-10 2022-05-10 基于投影的虚拟感知系统及方法

Publications (1)

Publication Number Publication Date
CN115022615A true CN115022615A (zh) 2022-09-06

Family

ID=83068151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210506112.9A Pending CN115022615A (zh) 2022-05-10 2022-05-10 基于投影的虚拟感知系统及方法

Country Status (1)

Country Link
CN (1) CN115022615A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175758A (ja) * 1997-12-11 1999-07-02 Mitsubishi Electric Corp 立体表示方法および装置
KR20130024459A (ko) * 2011-08-31 2013-03-08 에스엘 주식회사 차량의 주변 영상 디스플레이 장치 및 방법
CN107705364A (zh) * 2016-08-08 2018-02-16 国网新疆电力公司 一种基于三维地理信息的沉浸式虚拟展示系统
CN209357430U (zh) * 2018-11-06 2019-09-06 北京洛德时代文化产业发展有限公司 博物馆移动展教交互系统
CN111050148A (zh) * 2018-10-11 2020-04-21 上海云绅智能科技有限公司 基于三折幕场地的投影方法及系统、三折幕场地
CN111045286A (zh) * 2018-10-11 2020-04-21 上海云绅智能科技有限公司 基于两折幕场地的投影方法及系统、两折幕场地
CN111050144A (zh) * 2018-10-11 2020-04-21 上海云绅智能科技有限公司 基于六折幕场地的投影方法及系统、六折幕场地
CN111050156A (zh) * 2018-10-11 2020-04-21 上海云绅智能科技有限公司 基于四折幕场地的投影方法及系统、四折幕场地
CN111050147A (zh) * 2018-10-11 2020-04-21 上海云绅智能科技有限公司 基于五折幕场地的投影方法及系统、五折幕场地
CN112601069A (zh) * 2020-12-11 2021-04-02 深圳市创凯智能股份有限公司 三维场景投影设备、方法及可读存储介质
CN214751299U (zh) * 2021-01-28 2021-11-16 哈尔滨鹏兮科技开发有限公司 一种基于投影融合显示的cave式显示装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175758A (ja) * 1997-12-11 1999-07-02 Mitsubishi Electric Corp 立体表示方法および装置
KR20130024459A (ko) * 2011-08-31 2013-03-08 에스엘 주식회사 차량의 주변 영상 디스플레이 장치 및 방법
CN107705364A (zh) * 2016-08-08 2018-02-16 国网新疆电力公司 一种基于三维地理信息的沉浸式虚拟展示系统
CN111050148A (zh) * 2018-10-11 2020-04-21 上海云绅智能科技有限公司 基于三折幕场地的投影方法及系统、三折幕场地
CN111045286A (zh) * 2018-10-11 2020-04-21 上海云绅智能科技有限公司 基于两折幕场地的投影方法及系统、两折幕场地
CN111050144A (zh) * 2018-10-11 2020-04-21 上海云绅智能科技有限公司 基于六折幕场地的投影方法及系统、六折幕场地
CN111050156A (zh) * 2018-10-11 2020-04-21 上海云绅智能科技有限公司 基于四折幕场地的投影方法及系统、四折幕场地
CN111050147A (zh) * 2018-10-11 2020-04-21 上海云绅智能科技有限公司 基于五折幕场地的投影方法及系统、五折幕场地
CN209357430U (zh) * 2018-11-06 2019-09-06 北京洛德时代文化产业发展有限公司 博物馆移动展教交互系统
CN112601069A (zh) * 2020-12-11 2021-04-02 深圳市创凯智能股份有限公司 三维场景投影设备、方法及可读存储介质
CN214751299U (zh) * 2021-01-28 2021-11-16 哈尔滨鹏兮科技开发有限公司 一种基于投影融合显示的cave式显示装置

Similar Documents

Publication Publication Date Title
US11868675B2 (en) Methods and systems of automatic calibration for dynamic display configurations
US9684994B2 (en) Modifying perspective of stereoscopic images based on changes in user viewpoint
US7907167B2 (en) Three dimensional horizontal perspective workstation
US9354718B2 (en) Tightly coupled interactive stereo display
US9298070B2 (en) Participant collaboration on a displayed version of an object
WO2016204914A1 (en) Complementary augmented reality
EP3332565A1 (en) Mixed reality social interaction
KR20150067194A (ko) 제어된 3차원 통신 엔드포인트
CN104102013A (zh) 影像显示装置和影像显示方法
CN104168315B (zh) 一种全视角平滑的沉浸式显示方法和系统
US20130088488A1 (en) Method, apparatus and system for adjusting stereoscopic image, television set and stereoscopic glasses
CN113382224B (zh) 一种基于全息沙盘的交互手柄展示方法及装置
CN109996060B (zh) 一种虚拟现实影院系统及信息处理方法
KR20200115631A (ko) 멀티뷰잉 가상 현실 사용자 인터페이스
JP4042356B2 (ja) 画像表示システムおよび画像表示システム用画像補正サービス方法
CN113206991A (zh) 全息显示方法、系统、计算机程序产品及存储介质
CN115022615A (zh) 基于投影的虚拟感知系统及方法
CN113485547A (zh) 一种应用于全息沙盘的交互方法及装置
CN108574833B (zh) 一种投影系统、方法和服务器
WO2024185429A1 (ja) ヘッドマウントディスプレイおよび画像表示方法
CN210983511U (zh) 一种投影系统
JPH09113191A (ja) 仮想空間呈示システム
JP2024125699A (ja) ヘッドマウントディスプレイおよび画像表示方法
CN117452637A (zh) 头戴式显示器和图像显示方法
CN115914607A (zh) 一种基于OsgEarth的全息智能沙盘的渲染方法及装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination