CN114866760A - 一种虚拟现实显示方法、设备、系统和可读存储介质 - Google Patents

Abstract

本申请公开了一种虚拟现实显示方法、设备、系统和可读存储介质，该虚拟现实显示方法应用于远程视觉系统中的图像处理设备，远程视觉系统还包括多个摄像设备以及至少一个虚拟现实显示设备，摄像设备用于采集第一全景图像，该虚拟现实显示方法包括：获取第一全景图像以及用户姿态信息，用户姿态信息为佩戴虚拟现实显示设备的用户的姿态信息；基于用户姿态信息，生成变换数据；基于变换数据，对第一全景图像进行纹理贴图处理，得到与用户的视角对应的局部视图；将局部视图分发至相应的虚拟现实显示设备，以使得虚拟现实显示设备显示局部视图。通过上述方式，本申请能够提升数据传输的效率以及实时性。

Description

一种虚拟现实显示方法、设备、系统和可读存储介质

技术领域

本申请涉及显示技术领域，具体涉及一种虚拟现实显示方法、设备、系统和可读存储介质。

背景技术

随着虚拟现实技术(Virtual Reality，VR)的发展，用户与VR设备的交互不再局限于移动终端，而是更多地往用户交互体验更优的沉浸式视觉方案渗透，比如，用户通过VR设备远程体验某个著名景点的景观；然而目前的VR设备为了追求更轻薄与更低功耗的效果，容易导致VR设备的处理器的性能受限制的问题，从而使得VR设备的计算能力受限，则将全高清的全景图像分发至VR设备的方法，必然造成网络传输的压力，导致数据传输延迟，使得用户无法获得实时图像，同时由于性能受限也无法满足多个用户的同时接入需求。

发明内容

本申请提供一种虚拟现实显示方法、设备、系统和可读存储介质，能够提升数据传输的效率以及实时性。

为解决上述技术问题，本申请采用的技术方案是：提供一种虚拟现实显示方法，该方法应用于远程视觉系统中的图像处理设备，远程视觉系统还包括多个摄像设备以及至少一个虚拟现实显示设备，摄像设备用于采集第一全景图像，该虚拟现实显示方法包括：获取第一全景图像以及用户姿态信息，用户姿态信息为佩戴虚拟现实显示设备的用户的姿态信息；基于用户姿态信息，生成变换数据；基于变换数据，对第一全景图像进行纹理贴图处理，得到与用户的视角对应的局部视图；将局部视图分发至相应的虚拟现实显示设备，以使得虚拟现实显示设备显示局部视图。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种图像处理设备，图像处理设备包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的虚拟现实显示方法。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种远程视觉系统，远程视觉系统包括多个摄像设备、图像处理设备以及至少一个虚拟现实显示设备，摄像设备与图像处理设备连接，其用于采集第一全景图像并发送至图像处理设备；图像处理设备用于基于第一全景图像，生成与每个虚拟现实显示设备对应的局部视图，图像处理设备为上述技术方案中的图像处理设备；虚拟现实显示设备与图像处理设备连接，其用于接收局部视图并进行显示。

为解决上述技术问题，本申请采用的又一技术方案是：提供一种计算机可读存储介质，其用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的虚拟现实显示方法。

通过上述方案，本申请的有益效果是：先获取第一全景图像以及用户姿态信息，然后根据用户姿态信息生成变换数据，再根据变换数据对第一全景图像进行纹理贴图处理，得到与用户的视角对应的局部视图，然后将局部视图分发至相应的虚拟现实显示设备，以使得虚拟现实显示设备显示局部视图；通过用户姿态信息获取用户视野下的局部视图，将较大的全景图像压缩成小视口的局部视图，并将其分发给对应的虚拟现实显示设备，以显示给用户，由于不是将整个全景图像都发送给虚拟现实显示设备，能够在提高虚拟现实显示设备与用户之间的互动性的同时，大幅降低码率，提升数据传输的效率以及实时性，从而避免传输延时的情况发生，同时还能够支持多用户的接入，大大提升了同时在线用户的数量，可满足多个用户的观看需求。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的虚拟现实显示方法一实施例的流程示意图；

图2是本申请提供的虚拟现实显示方法另一实施例的流程示意图；

图3是本申请提供的图像处理设备一实施例的结构示意图；

图4是本申请提供的远程视觉系统一实施例的结构示意图；

图5是本申请提供的摄像设备一实施例的结构示意图；

图6是本申请提供的图像处理设备另一实施例的结构示意图；

图7是本申请提供的计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面结合附图和实施例，对本申请作进一步的详细描述。特别指出的是，以下实施例仅用于说明本申请，但不对本申请的范围进行限定。同样的，以下实施例仅为本申请的部分实施例而非全部实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

需要说明的是，本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

请参阅图1，图1是本申请提供的虚拟现实显示方法一实施例的流程示意图，该方法应用于远程视觉系统中的图像处理设备，远程视觉系统还包括多个摄像设备以及至少一个VR设备，摄像设备用于采集第一全景图像，图像处理设备可为服务器或计算机等设备，该方法包括：

步骤11：获取第一全景图像以及用户姿态信息。

用户姿态信息为佩戴VR设备的用户的姿态信息，姿态信息可包括转头、俯仰或摆头等动作，第一全景图像可为摄像设备获取的当前环境的360度图像，远程视觉系统中的每个摄像设备都可采集到其对应的当前环境下的360度全景视频流，图像处理设备还可获取用户输入的需求信息，然后根据需求信息从所有全景视频流中拉取出所需的第一全景图像，以获取第一全景图像。

步骤12：基于用户姿态信息，生成变换数据。

根据用户姿态信息生成对应的变换数据，通过变换数据可获取到精确的用户视野下的图像。

步骤13：基于变换数据，对第一全景图像进行纹理贴图处理，得到与用户的视角对应的局部视图。

根据变换数据对第一全景图像进行纹理贴图处理，从而得到与用户的视角对应的局部视图，即用户视野下的图像；具体地，纹理贴图处理可由图像处理技术领域中的纹理贴图方法完成，在此不作限定。

步骤14：将局部视图分发至相应的VR设备，以使得VR设备显示局部视图。

将局部视图分发至相应的VR设备中，以使得VR设备显示局部视图；可以理解地，VR设备可为多个，每个VR设备对应的用户以及用户姿态信息都不相同，可根据每个VR设备对应的用户姿态信息获取每个用户再其当前视野下的局部视图，然后将不同/相同的局部视图分发至相应的VR设备，以使得VR设备将局部视图显示给用户，从而能够随着用户姿态信息的变化显示不同视野下的局部视图，提高VR设备与用户之间的互动性，同时降低码率，提升数据传输的效率以及实时性；具体地，可对局部视图进行压缩处理，然后将压缩后的局部视图分发至相应的VR设备。

本实施例通过用户姿态信息获取用户视野下的局部视图，将较大的全景图像压缩成小视口的局部视图，并将其分发给对应的VR设备，以显示给用户，而不是将整个全景图像都发送给VR设备，提高VR设备与用户之间的互动性的同时，能够大幅降低码率，提升数据传输的效率以及实时性，从而避免传输延时的情况发生，同时还能够支持多用户的接入，大大提升了同时在线用户的数量。

请参阅图2，图2是本申请提供的虚拟现实显示方法另一实施例的流程示意图，该方法包括：

步骤21：获取第一全景图像以及用户姿态信息。

步骤21与上述步骤11相同，在此不再赘述。

步骤22：基于用户姿态信息，生成变换数据。

用户姿态信息可包括用户的三自由度信息(three Degree of Freedom，3DoF)、用户的视角信息以及摄像设备的姿态信息，其中，3DoF信息可包括用户的转头信息、俯仰信息以及摆头信息，其可表现为用户头部在立体空间中分别沿x轴、y轴、z轴的旋转角度；用户的视角信息可由用户自定义设置，用户可通过调整视角信息的大小来调整所要获取的视图的远近；摄像设备的姿态信息可包括摄像设备的俯仰角信息。

进一步地，变换数据可包括模型矩阵、投影矩阵以及视图矩阵，可对三自由度信息进行处理，得到模型矩阵；对视角信息进行处理，得到投影矩阵；对姿态信息进行处理，得到视图矩阵；可以理解地，模型矩阵、投影矩阵以及视图矩阵都可为4*4矩阵，具体对三自由度信息、视角信息以及姿态信息的处理可通过图像处理技术领域中的模型矩阵、投影矩阵以及视图矩阵的相关算法来实现，在此不作赘述。

步骤23：获取第一全景图像的原始像素顶点坐标。

第一全景图像可为二维图像，为了保证图像的真实性以及精确度，在二维的第一全景图像中得到三维的视觉效果，则在获取局部视图之前，可先构建出三维视觉模型，即对第一全景图像进行等距圆柱投影的逆处理，从而得到第二全景图像，其中，第二全景图像的维度大于第一全景图像的维度，即将二维的第一全景图像通过等距圆柱投影的逆处理得到三维的第二全景图像，将畸变的带有三维信息的二维图像重新还原至三维的真实的视图效果，然后再执行步骤23～步骤25，以获取精确的三维的局部视图。

步骤24：基于变换数据与原始像素顶点坐标，计算得到当前像素顶点坐标。

在得到变换数据以及原始像素顶点坐标之后，可根据变换数据与原始像素顶点坐标，计算得到当前像素顶点坐标；具体地，可将模型矩阵、投影矩阵、视图矩阵以及原始像素顶点坐标相乘，从而得到当前像素顶点坐标。

步骤25：基于当前像素顶点坐标，对第一全景图像进行纹理贴图处理，得到局部视图。

根据当前像素顶点坐标对第一全景图像进行纹理贴图处理，得到局部视图，纹理贴图处理可由图像处理技术领域中的纹理贴图方法完成，在此不作限定。

步骤26：将局部视图分发至相应的VR设备，以使得VR设备显示局部视图。

可先对局部视图进行压缩处理，然后将压缩后的局部视图分发至相应的VR设备，以使得VR设备显示局部视图；具体地，在将局部视图分发至相应的VR设备之前，可先构建离屏纹理，然后将局部视图渲染至离屏纹理中，并将离屏纹理中的图像数据进行编码，然后发送至VR设备，以使得VR设备显示局部视图；进一步地，图像处理设备可包括编码器，可先将离屏纹理共享至图像处理设备中的编码器进行编码操作，得到编码后的视频流，然后再将该视频流发送至VR设备，由于获取局部视图以及编码的操作都在图像处理设备中完成，数据共享的效率较高、耗时较低，进一步提高数据传输的效率；其中，离屏纹理可为存储图像的显存，其用于存储局部视图。

本实施例所采用的技术方案先根据用户姿态信息生成变换数据，然后获取第一全景图像的原始像素顶点坐标，根据变换数据与原始像素顶点坐标，计算得到当前像素顶点坐标，再根据当前像素顶点坐标对第一全景图像进行纹理贴图处理，得到局部视图，将较大的全景图像压缩成小视口的局部视图，并将其分发给对应的VR设备，从而能够大幅降低码率，提升数据传输的效率以及实时性；同时还能够通过等距圆柱投影的逆处理将二维的第一全景图像转换为三维的第二全景图像，使得局部视图更加接近用户的真实观感，从而提高局部视图的视图效果，保证局部视图的质量。

请参阅图3，图3是本申请提供的图像处理设备一实施例的结构示意图，图像处理设备30包括互相连接的存储器31和处理器32，存储器31用于存储计算机程序，计算机程序在被处理器32执行时，用于实现上述实施例中的虚拟现实显示方法。

请参阅图4，图4是本申请提供的远程视觉系统一实施例的结构示意图，远程视觉系统40包括多个摄像设备41、图像处理设备42以及至少一个VR设备43，摄像设备41与图像处理设备42连接，其用于采集第一全景图像并发送至图像处理设备42；图像处理设备42用于根据第一全景图像，生成与每个VR设备43对应的局部视图，图像处理设备42为上述实施例中的图像处理设备42；VR设备43与图像处理设备42连接，其用于接收局部视图并进行显示。

在一具体的实施方式中，图像处理设备42可为服务器或计算机等设备，图像处理设备42还用于构建离屏纹理，将局部视图渲染至离屏纹理，并将离屏纹理发送至VR设备43，以使得VR设备43显示局部视图；具体地，图像处理设备42可具备同时接入多个VR设备43的能力，其能够将局部视图同时分发给独立的多个VR设备43，VR设备43可为虚拟现实技术领域中的常规VR设备43，在此不作限定。

进一步地，远程视觉系统40还包括通信基站44，通信基站44与摄像设备41以及图像处理设备42连接，其用于建立摄像设备41与图像处理设备42之间的通信连接；其中，通信基站44可为5G基站，摄像设备41中可包括5G通信模块(图中未示出)，可通过摄像设备41中的5G通信模块与图像处理设备42建立5G技术下的通信连接，从而利用5G技术的高带宽与低延时特性，进一步提高数据传输效率，快速传输摄像设备41采集的第一全景图像。

在另一具体的实施方式中，如图5所示，摄像设备41可包括多个按照环形排布的子摄像头(图中标识为PanoCam)，相邻两个子摄像头之间的夹角为预设角度；具体地，摄像设备41可为360度全景摄像机，其能够获取360度的全景图像，则一个摄像设备41可包含6个子摄像头，每个子摄像头以均匀60度的间隔夹角分布，可先标定每个子摄像头的焦距，确定子摄像头的视野，并尽可能保证每个子摄像头的采集视频的视野大小一致且重叠部分比较小，从而在一次标定完成后，后续便无需再调整，能够获取当前场景下的360度的全景图像；而且通过使用多个固定方式的子摄像头拼接成获得全景图像的摄像设备41，相较于现有的一体化全景摄像机来采集多角度的画面，无需设置云台部件，能够降低系统复杂性，有效提升摄像设备41的使用寿命，而且本实施例中的摄像设备41带有5G传输能力，能够极大提升数据传输的实时性，同时还能够实现360*180视角的最高8K分辨率的视频采集，足以满足VR真实感体验所需的视频需求；可以理解地，在其他实施例中，摄像设备41还可采集当前环境下的音频数据等，以满足用户需求，采集真实全面的音视频数据。

进一步地，摄像设备41还可包括主控单元411，主控单元411与所有子摄像头连接，其用于对所有子摄像头采集到的图像数据进行拼接，即将6个子摄像头采集到的6个图像数据进行拼接，得到第一全景数据，再对第一全景数据进行等距圆柱投影处理，得到第二全景数据，然后对第二全景数据进行编码，得到全景编码数据并发送至图像处理设备42，以使得图像处理设备42对全景编码数据进行解码得到第一全景图像；其中，第一全景数据的维度大于第二全景数据的维度，第一全景数据为三维数据，第二全景数据为二维数据；可以理解地，对于摄像设备41采集的超高清的360度全景画面，视频分辨率一般达到8K，码率达到10Mbps以上，图像处理设备42可启用GPU硬解码器进行高效解码，以提升解码速率。

上述远程视觉系统40可应用在虚拟观光、游戏、智慧城市或者城市规划等应用场景中，以虚拟观光场景为例，摄像设备41可部署于高山、沙漠、山川、峡谷、石窟或壁画等旅游景点，可将摄像设备41采集到的旅游景点的全景图像通过图像处理设备42的处理，发送至用户佩戴的VR设备43中，以实现的高保真、低延时的VR观感效果，为用户提供高质量、高带宽利用率以及低延时的VR沉浸式体验，让用户不用亲临景观现场便可以观赏到高保真的3D实景，大大满足了老人、儿童、残障以及不想付出较大体力/财力的人群的观景需求，而且在当前新冠病毒疫情的大背景下，还能够大大降低出行人员在某些热门景点的聚集，同时还能够减少人类活动对某些珍贵名胜古迹的破坏，对于景区和消费者是一种双赢的方式。

在一具体的实施方式中，如图6所示，图像处理设备42可包括VR设备交互模块421、图像接收模块422、虚拟渲染模块423、编码模块424、流媒体分发模块425以及服务集群管理模块426，VR设备交互模块421用于获取用户姿态信息以及用户操作信息；图像接收模块422用于获取第一全景图像；虚拟渲染模块423用于根据第一全景图像，生成与每个VR设备对应的局部视图，并将局部视图渲染至离屏纹理中；编码模块424用于对离屏纹理中的图像数据进行编码，输出H.265高质量高压缩比的视频流；流媒体分发模块425用于将视频流分发给对应的VR设备；服务集群管理模块426用于接收大规模用户的接入请求，实现计算资源的弹性伸缩。

本实施例中的远程视觉系统包括多个摄像设备、图像处理设备以及至少一个VR设备，摄像设备采集第一全景图像并发送至图像处理设备，图像处理设备根据第一全景图像，生成与每个VR设备对应的局部视图，VR设备接收局部视图并进行显示，远程视觉系统能够同时支持多个VR设备的接入，为用户高质量、高带宽利用率以及低延时的VR沉浸式体验。

请参阅图7，图7是本申请提供的计算机可读存储介质一实施例的结构示意图，计算机可读存储介质70用于存储计算机程序71，计算机程序71在被处理器执行时，用于实现上述实施例中的虚拟现实显示方法。

计算机可读存储介质70可以是服务端、U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (12)

1.一种虚拟现实显示方法，其特征在于，应用于远程视觉系统中的图像处理设备，所述远程视觉系统还包括多个摄像设备以及至少一个虚拟现实显示设备，所述摄像设备用于采集第一全景图像，所述方法包括：

获取所述第一全景图像以及用户姿态信息，所述用户姿态信息为佩戴所述虚拟现实显示设备的用户的姿态信息；

基于所述用户姿态信息，生成变换数据；

基于所述变换数据，对所述第一全景图像进行纹理贴图处理，得到与所述用户的视角对应的局部视图；

将所述局部视图分发至相应的虚拟现实显示设备，以使得所述虚拟现实显示设备显示所述局部视图。

2.根据权利要求1所述的虚拟现实显示方法，其特征在于，所述用户姿态信息包括用户的三自由度信息、用户的视角信息以及所述摄像设备的姿态信息，所述变换数据包括模型矩阵、投影矩阵以及视图矩阵；

所述基于所述用户姿态信息，生成变换数据的步骤，包括：

对所述三自由度信息进行处理，得到所述模型矩阵；

对所述视角信息进行处理，得到所述投影矩阵；

对所述姿态信息进行处理，得到所述视图矩阵。

3.根据权利要求2所述的虚拟现实显示方法，其特征在于，所述基于所述变换数据，对所述第一全景图像进行纹理贴图处理，得到与所述用户的视角对应的局部视图的步骤，包括：

获取所述第一全景图像的原始像素顶点坐标；

基于所述变换数据与所述原始像素顶点坐标，计算得到当前像素顶点坐标；

基于所述当前像素顶点坐标，对所述第一全景图像进行纹理贴图处理，得到所述局部视图。

4.根据权利要求3所述的虚拟现实显示方法，其特征在于，所述基于所述变换数据与所述原始像素顶点坐标，计算得到当前像素顶点坐标的步骤，包括：

将所述模型矩阵、所述投影矩阵、所述视图矩阵以及所述原始像素顶点坐标相乘，得到所述当前像素顶点坐标。

5.根据权利要求1所述的虚拟现实显示方法，其特征在于，所述基于所述变换数据，对所述第一全景图像进行纹理贴图处理，得到与所述用户的视角对应的局部视图的步骤之前，包括：

对所述第一全景图像进行等距圆柱投影的逆处理，得到第二全景图像，所述第二全景图像的维度大于所述第一全景图像的维度。

6.一种图像处理设备，其特征在于，包括互相连接的存储器和处理器，其中，所述存储器用于存储计算机程序，所述计算机程序在被所述处理器执行时，用于实现权利要求1-5中任一项所述的虚拟现实显示方法。

7.一种远程视觉系统，其特征在于，包括多个摄像设备、图像处理设备以及至少一个虚拟现实显示设备，所述摄像设备与所述图像处理设备连接，用于采集第一全景图像并发送至所述图像处理设备；所述图像处理设备用于基于所述第一全景图像，生成与每个所述虚拟现实显示设备对应的局部视图，所述图像处理设备为权利要求6所述的图像处理设备；所述虚拟现实显示设备与所述图像处理设备连接，用于接收所述局部视图并进行显示。

8.根据权利要求7所述的远程视觉系统，其特征在于，所述远程视觉系统还包括通信基站，所述通信基站与所述摄像设备以及所述图像处理设备连接，用于建立所述摄像设备与所述图像处理设备之间的通信连接。

9.根据权利要求7所述的远程视觉系统，其特征在于，所述图像处理设备还用于构建离屏纹理，将所述局部视图渲染至所述离屏纹理，并将所述离屏纹理发送至所述虚拟现实显示设备，以使得所述虚拟现实显示设备显示所述局部视图。

10.根据权利要求7所述的远程视觉系统，其特征在于，所述摄像设备包括多个按照环形排布的子摄像头，相邻两个所述子摄像头之间的夹角为预设角度。

11.根据权利要求10所述的远程视觉系统，其特征在于，所述摄像设备还包括主控单元，所述主控单元与所有所述子摄像头连接，用于对所有所述子摄像头采集到的图像数据进行拼接，得到第一全景数据；对所述第一全景数据进行等距圆柱投影处理，得到第二全景数据，所述第一全景数据的维度大于所述第二全景数据的维度；对所述第二全景数据进行编码，得到全景编码数据并发送至所述图像处理设备，以使得所述图像处理设备对所述全景编码数据进行解码得到所述第一全景图像。

12.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序在被处理器执行时，用于实现权利要求1-5中任一项所述的虚拟现实显示方法。

Images