CN111885366A - 一种用于虚拟现实屏幕的立体显示方法、装置、存储介质及设备 - Google Patents

一种用于虚拟现实屏幕的立体显示方法、装置、存储介质及设备 Download PDF

Info

Publication number
CN111885366A
CN111885366A CN202010311570.8A CN202010311570A CN111885366A CN 111885366 A CN111885366 A CN 111885366A CN 202010311570 A CN202010311570 A CN 202010311570A CN 111885366 A CN111885366 A CN 111885366A
Authority
CN
China
Prior art keywords
screen
marker
determining
mark body
display data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010311570.8A
Other languages
English (en)
Inventor
周清会
汤代理
毛佳红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Manheng Digital Technology Co ltd
Original Assignee
Shanghai Manheng Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Manheng Digital Technology Co ltd filed Critical Shanghai Manheng Digital Technology Co ltd
Priority to CN202010311570.8A priority Critical patent/CN111885366A/zh
Publication of CN111885366A publication Critical patent/CN111885366A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例公开了一种用于虚拟现实屏幕的立体显示方法、装置、存储介质及设备。该方法包括：根据预设标记体特征，确定待追踪标记体；根据所述眼镜标记体位姿信息，确定屏幕显示数据的主视角，以及根据手柄标记体位姿信息，确定屏幕显示数据的运动响应参数；其中，位姿信息包括中心点位置和三维姿态；根据屏幕的显示参数配置，屏幕显示数据相对于主视角的空间位置，以及屏幕显示数据的运动响应参数，进行虚拟现实屏幕的立体显示。通过采用本申请所提供的技术方案，可以根据用户的位置以及用户使用的手柄位置，为用户提供三维信息显示的效果，从而可以实现多用户共享立体显示效果并且无需携带专用头盔，使得显示的三维视觉效果更接近现实场景的目的。

Description

一种用于虚拟现实屏幕的立体显示方法、装置、存储介质及 设备
技术领域
本发明实施例涉及虚拟现实技术领域，尤其涉及一种用于虚拟现实屏幕的立体显示方法、装置、存储介质及设备。
背景技术
随着科技水平的迅速发展，虚拟现实技术已经逐步被推向人们的休闲和娱乐生活中。
虚拟现实技术，以VR为例，大部分用户较为了解的VR显示设备主要有HTCVIVE、OculusRift、PSVR等头盔式显示设备。这些头戴式显示设备都有一个共同的特点，就是只能个人体验，旁边的人无法看到体验的内容，并且使用中体验者也无法看到外面的真实场景，容易撞上空间中的物品或墙面等，造成意外的损伤。
另外，使用头戴式VR显示设备时，用户必须佩戴头盔，头盔一般较重，长时间佩戴很容易造成眩晕，无法在摘下头盔后马上适应真实的环境，而且对于不同用户来说，佩戴头盔还会造成用户在较热环境下流汗过多，影响用户的使用体验。
发明内容
本发明实施例提供一种用于虚拟现实屏幕的立体显示方法、装置、存储介质及设备，可以根据用户的位置以及用户使用的手柄位置，为用户提供三维信息显示的效果，从而可以实现多用户共享立体显示效果并且无需携带专用头盔，使得显示的三维视觉效果更接近现实场景的目的。
第一方面，本发明实施例提供了一种用于虚拟现实屏幕的立体显示方法，该方法包括：
根据预设标记体特征，确定待追踪标记体；其中，所述待追踪标记体包括眼镜标记体和手柄标记体；
根据所述眼镜标记体位姿信息，确定屏幕显示数据的主视角，以及根据手柄标记体位姿信息，确定屏幕显示数据的运动响应参数；其中，所述位姿信息包括中心点位置和三维姿态；
根据屏幕的显示参数配置，屏幕显示数据相对于主视角的空间位置，以及屏幕显示数据的运动响应参数，进行虚拟现实屏幕的立体显示。
进一步的，在根据预设标记体特征，确定待追踪标记体之前，所述方法还包括：
通过至少二个追踪摄像机获取T型杆校准工具的校准图像；
根据所述T型杆校准工具的校准图像，对所述至少二个追踪摄像机进行校准。
进一步的，在对所述至少二个追踪摄像机进行校准之后，所述方法还包括：
将带有标记体特征的目标物体放在追踪区域内；其中所述追踪区域为所述至少二个追踪摄像机的拍摄区域；
对拍摄到的图像进行标记体特征识别，确定目标物体中的眼镜标记体和/或手柄标记体，并建立标记体。
进一步的，在对所述至少二个追踪摄像机进行校准之后，所述方法还包括：
通过L型杆校准工具的校准图像，进行房间坐标系的建立。
进一步的，在进行房间坐标系的建立之后，所述方法还包括：
根据屏幕在房间坐标系中的空间位置，以及屏幕宽度和屏幕高度，确定屏幕的显示参数配置。
进一步的，所述带有标记体特征的目标物体，包括带有至少三个相对位置固定设置的反光球的目标物体；其中，所述眼镜标记体的标记体特征和手柄标记体的标记体特征存在差异。
进一步的，所述运动响应参数包括摇杆参数和按键参数。
第二方面，本发明实施例还提供了一种在线虚拟现实屏幕的立体显示装置，该装置包括：
待追踪标记体确定模块，用于根据预设标记体特征，确定待追踪标记体；其中，所述待追踪标记体包括眼镜标记体和手柄标记体；
显示数据转化模块，用于根据所述眼镜标记体位姿信息，确定屏幕显示数据的主视角，以及根据手柄标记体位姿信息，确定屏幕显示数据的运动响应参数；其中，所述位姿信息包括中心点位置和三维姿态；
立体显示模块，用于根据屏幕的显示参数配置，屏幕显示数据相对于主视角的空间位置，以及屏幕显示数据的运动响应参数，进行虚拟现实屏幕的立体显示。
第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的虚拟现实屏幕的立体显示方法。
第四方面，本申请实施例提供了一种移动设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的虚拟现实屏幕的立体显示方法。
本申请实施例所提供的技术方案，根据预设标记体特征，确定待追踪标记体；其中，所述待追踪标记体包括眼镜标记体和手柄标记体；根据所述眼镜标记体位姿信息，确定屏幕显示数据的主视角，以及根据手柄标记体位姿信息，确定屏幕显示数据的运动响应参数；其中，所述位姿信息包括中心点位置和三维姿态；根据屏幕的显示参数配置，屏幕显示数据相对于主视角的空间位置，以及屏幕显示数据的运动响应参数，进行虚拟现实屏幕的立体显示。通过采用本申请所提供的技术方案，可以根据用户的位置以及用户使用的手柄位置，为用户提供三维信息显示的效果，从而可以实现多用户共享立体显示效果并且无需携带专用头盔，使得显示的三维视觉效果更接近现实场景的目的。
附图说明
图1是本发明实施例一提供的用于虚拟现实屏幕的立体显示方法的流程图；
图2是本发明实施例一提供的用于虚拟现实屏幕的立体显示设备的示意图；
图3是本发明实施例一提供的虚拟现实屏幕主视图；
图4是本发明实施例一提供的虚拟现实屏幕俯视图；
图5是本发明实施例二提供的用于虚拟现实屏幕的立体显示装置的结构示意图；
图6是本申请实施例四提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1是本发明实施例一提供的用于虚拟现实屏幕的立体显示方法的流程图，本实施例可适用于虚拟现实屏幕的立体显示的情况，该方法可以由本发明实施例所提供的用于虚拟现实屏幕的立体显示装置来执行，该装置可以由软件和/或硬件的方式来实现，并可集成于立体显示的控制终端等电子设备中。
如图1所示，所述用于虚拟现实屏幕的立体显示方法包括：
S110、根据预设标记体特征，确定待追踪标记体；其中，所述待追踪标记体包括眼镜标记体和手柄标记体。
其中，标记体特征，可以是预先设置的，例如预先设置好用户使用的眼镜标记体的特征和手柄标记体的特征，这样只要能够获取到相应的特征就可以确定待追踪的标记体。具体的获取方式可以是通过至少一个摄像头来获取的。标记体的特征可以是颜色特征，还可以是形状特征，也可以是两者的结合。
在本实施例中，可选的，所述带有标记体特征的目标物体，包括带有至少三个相对位置固定设置的反光球的目标物体；其中，所述眼镜标记体的标记体特征和手柄标记体的标记体特征存在差异。
其中，由于反光球的空间位置的不同，可以根据获取到的图像中各个反光球的空间相对位置，来确定当前识别到的目标物体是眼镜标记体还是手柄标记体。通过这样的设置，可以简便并快速的建立标记体，以实现根据标记体确定用户的视觉位置以及对手柄的操作信息，例如上下挥动，从而实现根据用户的操作进行立体显示的目的。
在本实施例中，可选的，在根据预设标记体特征，确定待追踪标记体之前，所述方法还包括：通过至少二个追踪摄像机获取T型杆校准工具的校准图像；根据所述T型杆校准工具的校准图像，对所述至少二个追踪摄像机进行校准。其中，追踪相机等间距安装在大屏顶上或天花板上。
追踪摄像机采用双目视觉原理实现三维重建，因此追踪摄像机的数量需要在二个或者二个以上。通过T型杆校准工具，对至少二个追踪摄像机进行校准，可以是在固定T型杆校准工具之后，通过至少二个追踪摄像机同时获取图像，并根据图像中的T型杆校准工具的特征进行校准，校准到同一个坐标系下。这样设置有利于后续的对显示数据的空间位置进行确定，同时可以在校准之后的一段时间内进行使用，简便用户的使用操作。
在本实施例中，具体的，在对所述至少二个追踪摄像机进行校准之后，所述方法还包括：将带有标记体特征的目标物体放在追踪区域内；其中所述追踪区域为所述至少二个追踪摄像机的拍摄区域；对拍摄到的图像进行标记体特征识别，确定目标物体中的眼镜标记体和/或手柄标记体，并建立标记体。
其中，通过校准后的至少二个追踪摄像机在拍摄区域内完成对眼镜标记体和/或手柄标记体的建立标记体的工作，可以便于后续通讯过程中的简化，例如将眼镜标记体确定为标记体0，手柄标记体确定为标记体1，还可以对其他标记体进行相应的编号。进而可以在所建立的标记体的基础上进行处理。
在本实施例中，可选的，在对所述至少二个追踪摄像机进行校准之后，所述方法还包括：通过L型杆校准工具的校准图像，进行房间坐标系的建立。
其中，L型杆校准工具区别于T型杆校准工具，既可以便于用户的区分使用，还能够根据L型杆校准工具的顶点位置确定房间坐标系的坐标原点，并且完成房间坐标系的建立。
在上述技术方案中，可选的，在进行房间坐标系的建立之后，所述方法还包括：根据屏幕在房间坐标系中的空间位置，以及屏幕宽度和屏幕高度，确定屏幕的显示参数配置。
根据屏幕在房间坐标系中的空间位置，此处可以是屏幕中心的位置，以及屏幕自身的宽度和屏幕高度，则可以确定屏幕的显示参数配置。
S120、根据所述眼镜标记体位姿信息，确定屏幕显示数据的主视角，以及根据手柄标记体位姿信息，确定屏幕显示数据的运动响应参数；其中，所述位姿信息包括中心点位置和三维姿态。
其中，眼镜标记体位姿信息，即为眼镜标记体的中心点位置和三维姿态，手柄标记体位姿信息，即为手柄标记体的中心点位置和三维姿态。根据眼镜标记体的中心点位置和三维姿态，可以确定用户此时眼睛的位置和面部朝向的方向，由此，可以确定屏幕显示数据的主视角，即为将显示数据转化为用户眼睛位置的三维空间位置。手柄标记体的中心点位置和三维姿态，可以确定用户手部的姿态和位置，从而可以确定运动响应参数的姿态和位置。从而可以实现对坐标系的转化。
在本技术方案中，所述运动响应参数包括摇杆参数和按键参数。其中摇杆参数和按键参数可以确定用户的具体操作内容，例如此时虚拟现实场景为用户手持一个武器，可以通过确定摇杆参数和按键参数，对该武器进行具体的操作。
S130、根据屏幕的显示参数配置，屏幕显示数据相对于主视角的空间位置，以及屏幕显示数据的运动响应参数，进行虚拟现实屏幕的立体显示。
在获取到上述数据之后，可以根据屏幕的显示参数配置，屏幕显示数据相对于主视角的空间位置，以及屏幕显示数据的运动响应参数，实现将显示数据转化到用户的视觉坐标系当中，进行虚拟现实屏幕的立体显示。
本申请实施例所提供的技术方案，根据预设标记体特征，确定待追踪标记体；其中，所述待追踪标记体包括眼镜标记体和手柄标记体；根据所述眼镜标记体位姿信息，确定屏幕显示数据的主视角，以及根据手柄标记体位姿信息，确定屏幕显示数据的运动响应参数；其中，所述位姿信息包括中心点位置和三维姿态；根据屏幕的显示参数配置，屏幕显示数据相对于主视角的空间位置，以及屏幕显示数据的运动响应参数，进行虚拟现实屏幕的立体显示。通过采用本申请所提供的技术方案，可以根据用户的位置以及用户使用的手柄位置，为用户提供三维信息显示的效果，从而可以实现多用户共享立体显示效果并且无需携带专用头盔，使得显示的三维视觉效果更接近现实场景的目的。
为了能够让本领域技术人员更加清楚的了解本方案，本申请还提供了具体的优选实施方式如下：
一、系统搭建。
图2是本发明实施例一提供的用于虚拟现实屏幕的立体显示设备的示意图。如图2所示，本发明硬件系统主要由五部分组成，包括：追踪摄像机、LED屏幕、工作站主机、立体眼镜及眼镜标记体和手柄及手柄标记体。
其中，工作站主机连接大屏显示主机桌面，二台以上的追踪相机等间距安装在大屏顶上或天花板上；
追踪软件和三维软件都安装在工作站主机上，手柄信号接收器通过USB接口与工作主机连接，实时接收手柄按键信息。
二、追踪软件的相机校准。
启动追踪软件后，首先在相机没有校准的情况下，先用T型杆做相机校准，得到相机与相机间的位姿关系，实现空间中反光球的位置追踪。
然后，用L型杆进行房间坐标系设置。
三、追踪软件的新建标记体。
在待追踪标记体未建的情况下，需要先进行标记体新建，将带标记体的目标放入追踪区域，在追踪软件界面鼠标框选识别到的属于标记体的每个目标点，将他们标记为标记体，并自动按顺序标记ID(从0开始)，并保存标记体三维结构模板信息作为初始姿态。一般先新建眼镜标记为0，手柄标记为1。
四、VRPN输出。
根据追踪摄像机实时捕捉图像信息，根据相机校准结果，实时计算反光球3D位置信息，根据标记体三维结构模板信息从3D自由点中，找出匹配的标记体的3D自由点，并计算该标记体相对结构模板的三维姿态Rot(rx,ry,rz,rw)和中心点位置Pos(x,y,z),通过VRPN输出tracker信息：标记体ID、Pos(x,y,z)、Rot(rx,ry,rz,rw)，及手柄信息：按键和摇杆。
五、三维软件的外设配置。
根据追踪软件的VRPN服务器信息(如：服务器名称：ServerName、本机IP：localhost)，通过地址(ServerName@localhost),连接追踪软件的VRPN服务器，通过ID绑定设备，如：0为眼镜，1为手柄，与新建标记体的ID对应。
六、三维软件的屏幕参数配置。
图3是本发明实施例一提供的虚拟现实屏幕主视图。图4是本发明实施例一提供的虚拟现实屏幕俯视图。如图3和图4所示：
已知追踪软件设置的房间坐标系距离屏幕2m，屏幕的宽(X)和高(Z)，根据如图所示，配置屏幕参数：
由主视图可知大屏长度为X，高度为Z，屏幕低端离地为Y，由俯视图计算出：
屏幕左下：就是A点在以追踪软件为原点的坐标系里的坐标值(-X/2，0，-2)
宽度偏移：屏幕宽度偏移量(X，0，0)
高度偏移：屏幕高度偏移量(0，Z，0)
根据屏幕左下、宽度偏移、高度偏移向量可以得到三维软件显示坐标系与追踪软件房间坐标系之间的转换关系矩阵M。
七、大屏显示三维场景。
从VRPN接收到的标记体信息Pos(x,y,z)、Rot(rx,ry,rz,rw)经过转换关系矩阵M，转换为三维显示坐标系下的位置信息Pos’(x’,y’,z’)、Rot’(rx’,ry’,rz’,rw’)；
然后将ID为0的眼镜标记体作为主视角，通过眼镜位置的变化，计算投影矩阵，然后将计算好的投影矩阵作为3D引擎渲染的投影矩阵，由此得到了，根据眼镜位置显示三维立体场景的效果；同时通过手柄实现人机交互。
本发明的目的是提供一种基于追踪系统的用于虚拟现实屏幕的立体显示方法，该方法融合了3D立体显示技术、立体空间追踪定位技术及人机交互技术等技术，使用户在虚拟的场景中拥有“自主的控制权和超高的自由度”使得沉浸感更强，体验更加真实。首先整体系统搭建：在屏幕上方安装2台以上追踪摄像机，追踪软件安装在工作站主机，工作站主机显卡能够显示3D立体，屏幕显示工作站主机桌面。在追踪软件中：首先用T型杆校准相机，然后用L型杆做房间坐标系标定；最后依次新建标记体(追踪目标，即眼镜和手柄上安装的3个以上反光球组成的空间结构体，后续统称为标记体或刚体)。启动三维软件，通过配置屏幕参数，统一三维软件和追踪软件的房间坐标系，实现标记体实际运动和三维显示内容中的运动一致；通过设置外设，实时获取标记体6自由度位姿信息和手柄按键信息，实现在虚拟现实场景下的人机交互。三维软件通过将眼镜标记体作为上帝视角，根据眼镜的位置和姿态改变显示内容，最终实现虚拟现实的沉浸式体验感，真正做到身临其境。
实施例二
图5是本发明实施例二提供的虚拟现实屏幕的立体显示装置的结构示意图。如图5所示，所述虚拟现实屏幕的立体显示装置，包括：
待追踪标记体确定模块510，用于根据预设标记体特征，确定待追踪标记体；其中，所述待追踪标记体包括眼镜标记体和手柄标记体；
显示数据转化模块520，用于根据所述眼镜标记体位姿信息，确定屏幕显示数据的主视角，以及根据手柄标记体位姿信息，确定屏幕显示数据的运动响应参数；其中，所述位姿信息包括中心点位置和三维姿态；
立体显示模块530，用于根据屏幕的显示参数配置，屏幕显示数据相对于主视角的空间位置，以及屏幕显示数据的运动响应参数，进行虚拟现实屏幕的立体显示。
本申请实施例所提供的技术方案，根据预设标记体特征，确定待追踪标记体；其中，所述待追踪标记体包括眼镜标记体和手柄标记体；根据所述眼镜标记体位姿信息，确定屏幕显示数据的主视角，以及根据手柄标记体位姿信息，确定屏幕显示数据的运动响应参数；其中，所述位姿信息包括中心点位置和三维姿态；根据屏幕的显示参数配置，屏幕显示数据相对于主视角的空间位置，以及屏幕显示数据的运动响应参数，进行虚拟现实屏幕的立体显示。通过采用本申请所提供的技术方案，可以根据用户的位置以及用户使用的手柄位置，为用户提供三维信息显示的效果，从而可以实现多用户共享立体显示效果并且无需携带专用头盔，使得显示的三维视觉效果更接近现实场景的目的。
上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
实施例三
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种用于虚拟现实屏幕的立体显示方法，该方法包括：
根据预设标记体特征，确定待追踪标记体；其中，所述待追踪标记体包括眼镜标记体和手柄标记体；
根据所述眼镜标记体位姿信息，确定屏幕显示数据的主视角，以及根据手柄标记体位姿信息，确定屏幕显示数据的运动响应参数；其中，所述位姿信息包括中心点位置和三维姿态；
根据屏幕的显示参数配置，屏幕显示数据相对于主视角的空间位置，以及屏幕显示数据的运动响应参数，进行虚拟现实屏幕的立体显示。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDRRAM、SRAM、EDORAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的在线虚拟现实屏幕的立体显示操作，还可以执行本申请任意实施例所提供的虚拟现实屏幕的立体显示方法中的相关操作。
实施例四
本申请实施例提供了一种电子设备，该电子设备中可集成本申请实施例提供的图像的排版装置。图6是本申请实施例四提供的一种电子设备的结构示意图。如图6所示，本实施例提供了一种电子设备600，其包括：一个或多个处理器620；存储装置610，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器620运行，使得所述一个或多个处理器620实现本申请实施例所提供的图像的排版方法，该方法包括：
根据预设标记体特征，确定待追踪标记体；其中，所述待追踪标记体包括眼镜标记体和手柄标记体；
根据所述眼镜标记体位姿信息，确定屏幕显示数据的主视角，以及根据手柄标记体位姿信息，确定屏幕显示数据的运动响应参数；其中，所述位姿信息包括中心点位置和三维姿态；
根据屏幕的显示参数配置，屏幕显示数据相对于主视角的空间位置，以及屏幕显示数据的运动响应参数，进行虚拟现实屏幕的立体显示。
若评分网络模型的输出评分结果符合预设标准，则将当前图像状态确定为图像的排版结果。
当然，本领域技术人员可以理解，处理器620还可以实现本申请任意实施例所提供的图像的排版方法的技术方案。
图6显示的电子设备600仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，该电子设备600包括处理器620、存储装置610、输入装置630和输出装置640；电子设备中处理器620的数量可以是一个或多个，图6中以一个处理器620为例；电子设备中的处理器620、存储装置610、输入装置630和输出装置640可以通过总线或其他方式连接，图6中以通过总线650连接为例。
存储装置610作为一种计算机可读存储介质，可用于存储软件程序、计算机可运行程序以及模块单元，如本申请实施例中的图像的排版方法对应的程序指令。
存储装置610可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置610可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置610可进一步包括相对于处理器620远程设置的存储器，这些远程存储器可以通过网络连接。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置630可用于接收输入的数字、字符信息或语音信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏、扬声器等设备。
本申请实施例提供的电子设备，可以根据用户的位置以及用户使用的手柄位置，为用户提供三维信息显示的效果，从而可以实现多用户共享立体显示效果并且无需携带专用头盔，使得显示的三维视觉效果更接近现实场景的目的。
上述实施例中提供的图像的排版装置、介质及电子设备可运行本申请任意实施例所提供的图像的排版方法，具备运行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的图像的排版方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种用于虚拟现实屏幕的立体显示方法，其特征在于，包括：
根据预设标记体特征，确定待追踪标记体；其中，所述待追踪标记体包括眼镜标记体和手柄标记体；
根据所述眼镜标记体位姿信息，确定屏幕显示数据的主视角，以及根据手柄标记体位姿信息，确定屏幕显示数据的运动响应参数；其中，所述位姿信息包括中心点位置和三维姿态；
根据屏幕的显示参数配置，屏幕显示数据相对于主视角的空间位置，以及屏幕显示数据的运动响应参数，进行虚拟现实屏幕的立体显示。
2.根据权利要求1所述的方法，其特征在于，在根据预设标记体特征，确定待追踪标记体之前，所述方法还包括：
通过至少二个追踪摄像机获取T型杆校准工具的校准图像；
根据所述T型杆校准工具的校准图像，对所述至少二个追踪摄像机进行校准。
3.根据权利要求2所述的方法，其特征在于，在对所述至少二个追踪摄像机进行校准之后，所述方法还包括：
将带有标记体特征的目标物体放在追踪区域内；其中所述追踪区域为所述至少二个追踪摄像机的拍摄区域；
对拍摄到的图像进行标记体特征识别，确定目标物体中的眼镜标记体和/或手柄标记体，并建立标记体。
4.根据权利要求2所述的方法，其特征在于，在对所述至少二个追踪摄像机进行校准之后，所述方法还包括：
通过L型杆校准工具的校准图像，进行房间坐标系的建立。
5.根据权利要求4所述的方法，其特征在于，在进行房间坐标系的建立之后，所述方法还包括：
根据屏幕在房间坐标系中的空间位置，以及屏幕宽度和屏幕高度，确定屏幕的显示参数配置。
6.根据权利要求3所述的方法，其特征在于，所述带有标记体特征的目标物体，包括带有至少三个相对位置固定设置的反光球的目标物体；其中，所述眼镜标记体的标记体特征和手柄标记体的标记体特征存在差异。
7.根据权利要求1所述的方法，其特征在于，所述运动响应参数包括摇杆参数和按键参数。
8.一种用于虚拟现实屏幕的立体显示装置，其特征在于，包括：
待追踪标记体确定模块，用于根据预设标记体特征，确定待追踪标记体；其中，所述待追踪标记体包括眼镜标记体和手柄标记体；
显示数据转化模块，用于根据所述眼镜标记体位姿信息，确定屏幕显示数据的主视角，以及根据手柄标记体位姿信息，确定屏幕显示数据的运动响应参数；其中，所述位姿信息包括中心点位置和三维姿态；
立体显示模块，用于根据屏幕的显示参数配置，屏幕显示数据相对于主视角的空间位置，以及屏幕显示数据的运动响应参数，进行虚拟现实屏幕的立体显示。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的虚拟现实屏幕的立体显示方法。
10.一种移动设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任一所述的虚拟现实屏幕的立体显示方法。
CN202010311570.8A 2020-04-20 2020-04-20 一种用于虚拟现实屏幕的立体显示方法、装置、存储介质及设备 Pending CN111885366A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010311570.8A CN111885366A (zh) 2020-04-20 2020-04-20 一种用于虚拟现实屏幕的立体显示方法、装置、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010311570.8A CN111885366A (zh) 2020-04-20 2020-04-20 一种用于虚拟现实屏幕的立体显示方法、装置、存储介质及设备

Publications (1)

Publication Number Publication Date
CN111885366A true CN111885366A (zh) 2020-11-03

Family

ID=73154389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010311570.8A Pending CN111885366A (zh) 2020-04-20 2020-04-20 一种用于虚拟现实屏幕的立体显示方法、装置、存储介质及设备

Country Status (1)

Country Link
CN (1) CN111885366A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114327066A (zh) * 2021-12-30 2022-04-12 上海曼恒数字技术股份有限公司 虚拟现实屏幕的立体显示方法、装置、设备及存储介质
CN114415840A (zh) * 2022-03-30 2022-04-29 北京华建云鼎科技股份公司 一种虚拟现实交互系统
CN116433769A (zh) * 2023-04-21 2023-07-14 北京优酷科技有限公司 空间校准方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120054690A1 (en) * 2010-09-01 2012-03-01 Pantech Co., Ltd. Apparatus and method for displaying three-dimensional (3d) object
CN107340870A (zh) * 2017-07-13 2017-11-10 深圳市未来感知科技有限公司 一种融合vr和ar的虚拟现实展示系统及其实现方法
CN206649468U (zh) * 2016-11-30 2017-11-17 南京航空航天大学 基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统
CN107977082A (zh) * 2017-12-19 2018-05-01 亮风台（上海）信息科技有限公司 一种用于呈现ar信息的方法及系统
CN108961343A (zh) * 2018-06-26 2018-12-07 深圳市未来感知科技有限公司 虚拟坐标系的构建方法、装置、终端设备及可读存储介质
CN110609622A (zh) * 2019-09-18 2019-12-24 深圳市瑞立视多媒体科技有限公司 结合3d与虚拟现实技术实现多人交互方法、系统及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120054690A1 (en) * 2010-09-01 2012-03-01 Pantech Co., Ltd. Apparatus and method for displaying three-dimensional (3d) object
CN206649468U (zh) * 2016-11-30 2017-11-17 南京航空航天大学 基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统
CN107340870A (zh) * 2017-07-13 2017-11-10 深圳市未来感知科技有限公司 一种融合vr和ar的虚拟现实展示系统及其实现方法
CN107977082A (zh) * 2017-12-19 2018-05-01 亮风台（上海）信息科技有限公司 一种用于呈现ar信息的方法及系统
CN108961343A (zh) * 2018-06-26 2018-12-07 深圳市未来感知科技有限公司 虚拟坐标系的构建方法、装置、终端设备及可读存储介质
CN110609622A (zh) * 2019-09-18 2019-12-24 深圳市瑞立视多媒体科技有限公司 结合3d与虚拟现实技术实现多人交互方法、系统及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114327066A (zh) * 2021-12-30 2022-04-12 上海曼恒数字技术股份有限公司 虚拟现实屏幕的立体显示方法、装置、设备及存储介质
CN114415840A (zh) * 2022-03-30 2022-04-29 北京华建云鼎科技股份公司 一种虚拟现实交互系统
CN116433769A (zh) * 2023-04-21 2023-07-14 北京优酷科技有限公司 空间校准方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN108830894A (zh) 基于增强现实的远程指导方法、装置、终端和存储介质
US10725297B2 (en) Method and system for implementing a virtual representation of a physical environment using a virtual reality environment
US8933965B2 (en) Method for calculating light source information and generating images combining real and virtual images
CN108304075B (zh) 一种在增强现实设备进行人机交互的方法与设备
US20200035034A1 (en) Method, device, terminal device and storage medium for realizing augmented reality image
JP2020531965A (ja) 支援型の拡張現実
CN109584295A (zh) 对图像内目标物体进行自动标注的方法、装置及系统
CN111885366A (zh) 一种用于虚拟现实屏幕的立体显示方法、装置、存储介质及设备
US20170186219A1 (en) Method for 360-degree panoramic display, display module and mobile terminal
CN111651051B (zh) 一种虚拟沙盘展示方法及装置
US10871823B1 (en) Systems and methods for using scene understanding for calibrating eye tracking
JP2022505998A (ja) 拡張現実データの提示方法、装置、電子機器及び記憶媒体
CN104536579A (zh) 交互式三维实景与数字图像高速融合处理系统及处理方法
CN109840946B (zh) 虚拟对象显示方法及装置
CN108830944B (zh) 光学透视式三维近眼显示系统及显示方法
CN111968221B (zh) 基于温度场与实景视频流的双模式三维建模方法及装置
CN115131528A (zh) 虚拟现实场景确定方法、装置及系统
CN113178017A (zh) Ar数据展示方法、装置、电子设备及存储介质
CN112204958B (zh) 用于无线电模拟的增强现实的方法、设备
CN111539299A (zh) 一种基于刚体的人体运动捕捉方法、装置、介质及设备
CN110192169A (zh) 虚拟场景中菜单处理方法、装置及存储介质
CN112950711B (zh) 一种对象的控制方法、装置、电子设备及存储介质
CN112017304A (zh) 用于呈现增强现实数据的方法、装置、电子设备及介质
KR102176805B1 (ko) 뷰 방향이 표시되는 vr 컨텐츠 제공 시스템 및 방법
CN111918114A (zh) 图像显示方法、装置、显示设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
DD01 Delivery of document by public notice

Addressee: Patent director of Shanghai manheng Digital Technology Co., Ltd

Document name: Notice of conformity

DD01 Delivery of document by public notice
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201103

RJ01 Rejection of invention patent application after publication