CN115883792A

CN115883792A - 一种利用5g和8k技术的跨空间实景用户体验系统

Info

Publication number: CN115883792A
Application number: CN202310115035.9A
Authority: CN
Inventors: 周云霞; 何洪
Original assignee: Perfect Display Technology Co ltd
Current assignee: Perfect Display Technology Co ltd
Priority date: 2023-02-15
Filing date: 2023-02-15
Publication date: 2023-03-31
Anticipated expiration: 2043-02-15
Also published as: CN115883792B

Abstract

本发明提供了一种利用5G和8K技术的跨空间实景用户体验系统，涉及图形处理技术领域。本发明先根据客户端的硬件信息划分出至少一个视场区域，并根据各个视场区域对应的视野图像确定在前物品与对应的在后物品，进而分析出遮挡情况，根据遮挡情况将在后物品的第一模型进行切割得到最优未遮挡部分模型和最优遮挡部分模型，并令最优未遮挡部分模型保留原始质量，而最优遮挡部分模型降低质量，得到第二虚拟场景，由于上述步骤均是在前期完成，使得用户在使用时，生成的图像是基于第二虚拟场景，不会影响显示效果同时能降低性能要求。

Description

一种利用5G和8K技术的跨空间实景用户体验系统

技术领域

本发明涉及图形处理技术领域，具体涉及一种利用5G和8K技术的跨空间实景用户体验系统。

背景技术

传统的跨空间实景用户体验系统大多都是在场景中固定位置拍摄的全景照片来实现，例如房屋中介APP中的VR看房功能，但传统的方式，只能展现环境，无法与场景中的物体进行交互，用户体验有所欠缺。

近几年随着图像处理技术和通讯技术的进步，目前已可通过5G的高带宽、低延迟的特性来传输高分辨率图像，再配合VR设备来实现跨空间实景用户体验，用户就能够与虚拟场景中的物品进行交互。

但由于VR的成像特性，上述方法在用户体验上要达到传统高清图像的清晰度需要更高的建模质量和传输分辨率；这对于硬件性能提出了很高的要求。因此，在上述场景中，如何在保证显示效果的同时降低硬件性能需求是目前亟需解决的技术问题。

发明内容

（一）解决的技术问题

针对现有技术的不足，本发明提供了一种利用5G和8K技术的跨空间实景用户体验系统，解决了如何在保证显示效果的同时降低硬件性能需求的问题。

为实现以上目的，本发明通过以下技术方案予以实现：

一种利用5G和8K技术的跨空间实景用户体验系统，该系统包括：

第一虚拟场景获取模块，用于获取第一虚拟场景中的物品三维尺寸和物品位置，以及客户端的视场角、虚拟相机位置；所述第一虚拟场景包括：若干第一模型；

视场区域获取模块，用于基于所述视场角、虚拟相机位置获取若干个视场区域，且所述视场区域的覆盖角度不小于视场角；

在前物品及在后物品划分模块，用于获取虚拟相机位置朝向各个视场区域时的视野图像；并标注出视野图像中的所有在前物品；并将与各个在前物品相接的物品标注为对应的在后物品；

备选未遮挡部分模型切割模块，用于获取视场区域中的各个在前物品与对应的在后物品的遮挡情况，并基于遮挡情况将在后物品的第一模型进行切割得到备选未遮挡部分模型；

不可交互物品划分模块，用于基于物品位置、虚拟相机位置以及最大交互距离得到第一虚拟场景中的不可交互物品；

最优遮挡部分模型计算模块，用于获取各个不可交互物品对应的所有备选未遮挡部分模型和第一模型，并求所有备选未遮挡部分模型的并集得到最优未遮挡部分模型；再将第一模型除最优未遮挡部分模型以外的部分作为最优遮挡部分模型；

第二虚拟场景构建模块，用于从第一虚拟场景中提取各个不可交互物品的第一模型对应的最优未遮挡部分模型作为第二模型；从第一虚拟场景中提取各个不可交互物品的第一模型对应的最优遮挡部分模型作为第三模型；并降低第三模型的多边形数量和贴图分辨率得到第四模型；将第二模型与第四模型替换第一虚拟场景中对应的第一模型，得到第二虚拟场景；

8K图像传输模块，用于利用5G通信技术向客户端实时远程传输生成的第二虚拟场景中虚拟相机对应的8K图像。

进一步的，所述获取视场区域中的各个在前物品与对应的在后物品的遮挡情况，并基于遮挡情况将在后物品的第一模型进行切割得到备选未遮挡部分模型，包括：

S4.1、基于物品三维尺寸和物品位置构建在前物品m_i的包围盒和在后物品m_ij的包围盒；其中，m_i表示第i个在前物品；m_ij表示第i个在前物品对应的第j个在后物品；

S4.2、获取在前物品m_i的包围盒的各个角点与虚拟相机位置所在直线，并将所呈夹角最大的两条直线作为遮挡线；

S4.3、获取所述两条遮挡线与在后物品m_ij的包围盒的交点；

S4.4、基于所述交点构建切割平面；所述切割平面垂直于视场角所在平面且过同一条遮挡线的两个交点；

S4.5、基于切割平面对在后物品m_ij的第一模型进行切割，得到横向/纵向视场角下的未遮挡区域模型；

S4.6、将横向视场角下的未遮挡区域模型与纵向视场角下的未遮挡区域模型求并集得到备选未遮挡部分模型mu_ij。

进一步的，所述第一虚拟场景中的不可交互物品的获取方法包括：

获取物品与虚拟相机位置的距离；

将距离大于最大交互距离的物品作为不可交互物品。

进一步的，视场区域数量的获取方法包括：

Min{ N}；

且N≤360°/FOV，N=1，2，3，……；

其中，N表示视场区域数量；

FOV表示客户端的横向视场角；

且每个所述视场区域的角度均为360°/N。

进一步的，所述虚拟相机位置为虚拟场景的中心处。

进一步的，所述第一模型的贴图分辨率为8K。

进一步的，所述客户端为VR一体机。

进一步的，所述第四模型的贴图分辨率为1080P。

本发明提供了一种利用5G和8K技术的跨空间实景用户体验系统。与现有技术相比，具备以下有益效果：

本发明先根据客户端的硬件信息划分出至少一个视场区域，并根据各个视场区域对应的视野图像确定在前物品与对应的在后物品，进而分析出遮挡情况，根据遮挡情况将在后物品的第一模型进行切割得到最优未遮挡部分模型和最优遮挡部分模型，并令最优未遮挡部分模型保留原始质量，而最优遮挡部分模型降低质量，得到第二虚拟场景，由于上述步骤均是在前期完成，使得用户在使用时，生成的图像是基于第二虚拟场景，不会影响显示效果同时能降低性能要求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的系统框图；

图2为本发明实施例的视场区域划分示意图；

图3为本发明实施例的在前物品和在后物品的示意图；

图4为本发明实施例的横向/纵向视场角下在前物品和在后物品的遮挡示意图。

实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例通过提供一种利用5G和8K技术的跨空间实景用户体验系统，解决了如何在保证显示效果的同时降低硬件性能需求的问题。本申请特别适用于看房体验功能或是虚拟实景培训体验功能等虚拟相机位置是相对固定的场景。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

如图1所示，本发明提供了一种利用5G和8K技术的跨空间实景用户体验系统，该系统包括：

在前物品及在后物品划分模块，用于获取虚拟相机位置朝向各个视场区域时的视野图像；并标注出视野图像中的所有在前物品{m_i}，i=1，2，……I；并将与各个在前物品m_i相接的物品标注为对应的在后物品{m_ij}，j=1，2，……J；

备选未遮挡部分模型切割模块，用于获取视场区域中的各个在前物品m_i与对应的在后物品m_ij的遮挡情况，并基于遮挡情况将在后物品m_ij的第一模型进行切割得到备选未遮挡部分模型mu_ij；

最优遮挡部分模型计算模块，用于获取各个不可交互物品对应的所有备选未遮挡部分模型{mu_ij}和第一模型，并求所有备选未遮挡部分模型{mu_ij}的并集得到最优未遮挡部分模型mu_b；再将第一模型除最优未遮挡部分模型mu_b以外的部分作为最优遮挡部分模型mc_b；

第二虚拟场景构建模块，用于从第一虚拟场景中提取各个不可交互物品的第一模型对应的最优未遮挡部分模型mu_b作为第二模型；从第一虚拟场景中提取各个不可交互物品的第一模型对应的最优遮挡部分模型mc_b作为第三模型；并降低第三模型的多边形数量和贴图分辨率得到第四模型；将第二模型与第四模型替换第一虚拟场景中对应的第一模型，得到第二虚拟场景；

本实施例的有益效果为：

下面对本发明实施例的实现过程进行详细说明：

S1、获取第一虚拟场景中的物品三维尺寸和物品位置，以及客户端的视场角、虚拟相机位置；所述第一虚拟场景包括：若干第一模型。

其中，所述第一虚拟场景根据实景制作，其中的物品采用高质量模型，例如采用8K素材和贴图，并配合具有高多边形数量的模型作为第一模型，保证物品对应的模型质量。

所述物品三维尺寸包括第一虚拟场景中物品的三维尺寸(长,宽,高)，物品位置为物品在第一虚拟场景中的空间坐标；

客户端可以为用户所佩戴的VR设备，例如VR一体机，而VR设备的视场角FOV受下面多个因素影响，例如头盔显示屏尺寸、透镜大小、人眼和透镜距离、物理瞳距大小等，因此，需要根据VR设备的具体情况来确定后续步骤。

而虚拟相机位置为预先由人工进行设定的在第一虚拟场景中的位置，即用户头部在第一虚拟场景中的位置，其拍摄方向也就是用户的视线方向，例如在看房体验功能中可以设置为虚拟场景的中心处，而在培训体验功能中可以设置为操作设备的操控台处。

S2、基于所述视场角、虚拟相机位置获取若干个视场区域，且所述视场区域的覆盖角度不小于视场角。

在具体实施时，可根据实际需要设定至少一个视场区域。为了增强用户体验，可进一步按照如下方式确定视场区域数量N，以实现全方向多角度的体验；

Min{ N}，表示获取最小的N；

N≤360°/FOV，N=1，2，3，……；

其中，N表示视场区域数量；

FOV表示VR设备的横向视场角。

通过上述计算，在虚拟相机位置已知的情况下，将整个第一虚拟场景划分为N个区域，且每个区域的角度为360°/N，可以保证划分的视场区域的范围不小于设备的FOV。以横向FOV=90°为例，如图2所示，粗虚线表示视场区域的边界等角度分割成的四个区域。

S3、获取虚拟相机位置朝向各个视场区域时的视野图像；标注出视野图像中的所有在前物品{m_i}，i=1，2，……I；并将与各个在前物品m_i相接的物品标注为对应的在后物品{m_ij}，j=1，2，……J。

在具体实施时，所述视野图像采用8K分辨率的图像，以保证物品的清晰度。标注可由人工或是基于深度学习的识别模型实现，标注方式如图3所示，为构建一个将该物品包含在内的最小矩形框作为标注框。

S4、获取视场区域中的各个在前物品m_i与对应的在后物品m_ij的遮挡情况，并基于遮挡情况将在后物品m_ij的第一模型进行切割得到备选未遮挡部分模型mu_ij。

在具体实施时，在横向/纵向视场角下，如图4所示，任意在前物品m_i与对应的在后物品m_ij的遮挡情况可采用如下获取步骤获取：

S4.1、基于物品三维尺寸和物品位置构建在前物品m_i的包围盒和在后物品m_ij的包围盒（图中的矩形框）；

S4.2、获取在前物品m_i的包围盒的各个角点与虚拟相机位置所在直线，并将所呈夹角最大的两条直线L_i1和L_i2作为遮挡线；

S4.3、获取所述两条遮挡线L_i1和L_i2与在后物品m_ij的包围盒的交点；

S4.4、基于所述交点构建切割平面，所述切割平面垂直于视场角所在平面且过同一条遮挡线的两个交点；

S4.5、基于切割平面对在后物品m_ij的第一模型进行切割，得到横向/纵向视场角下的未遮挡区域模型；（图中包围盒的阴影部分即为遮挡区域，空白部分即为未遮挡区域）

通过上述步骤可知，单一视场角下的未遮挡区域模型并不能完整表达前物品m_i与在后物品m_ij的遮挡情况，因此需要将两个视场角下的未遮挡区域模型合并。

通过上述步骤能够得到一个在前物品与在后物品的遮挡情况，且在前物品和在后物品是相对的，物品a可能是物品b的在前物品，同时也可能是物品c的在后物品，且物品a也可能是多个在前物品的在后物品。

S5、基于物品位置、虚拟相机位置以及最大交互距离划分可交互物品和不可交互物品。

由于本实施例中虚拟相机位置固定，因此，在一定距离内，用户可以与其中的物品进行交互，以提高整个系统的交互性。

具体的，包括如下步骤：

获取物品与虚拟相机位置的距离；

将所述距离不大于最大交互距离的物品作为可交互物品；

将距离大于最大交互距离的物品作为不可交互物品。

S6、获取各个不可交互物品对应的所有备选未遮挡部分模型{mu_ij}和第一模型，并求所有备选未遮挡部分模型{mu_ij}的并集得到最优未遮挡部分模型mu_b；再将第一模型除最优未遮挡部分模型mu_b以外的部分作为最优遮挡部分模型mc_b。

通过上述步骤，即可综合考虑物品a相对不同的在前物品的遮挡情况，最终只需建立一个模型即可满足各个视场区域都不会影响显示效果的问题。

S7、从第一虚拟场景中提取各个不可交互物品的第一模型对应的最优未遮挡部分模型mu_b作为第二模型；从第一虚拟场景中提取各个不可交互物品的第一模型对应的最优遮挡部分模型mc_b作为第三模型；并降低第三模型的多边形数量和贴图分辨率得到第四模型（例如多边形数量降低为四分之一，贴图分辨率降低为1080P）；将第二模型与第四模型替换第一虚拟场景中对应的第一模型，得到第二虚拟场景。

通过上述步骤可知，第二虚拟场景与第一虚拟场景相比，模型被遮挡的部分通过上述步骤能够降低多边形数量和贴图质量，进而在不影响显示效果的情况下降低性能需求，且由于第二虚拟场景中物品相比第一虚拟场景并未缺失，因此不会影响到光追效果。

S8、在构建完第二虚拟场景后，用户登陆系统会进入第二虚拟场景，在选定一个视场区域，根据虚拟相机位置生成高清的8K分辨率图像，再利用5G通信技术高带宽、低延迟的特性将图像发送至客户端进行显示，用户通过客户端跨空间体验到高清实景影像，并能够与部分物品进行交互。

需要说明的是，通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种利用5G和8K技术的跨空间实景用户体验系统，其特征在于，该系统包括：

2.如权利要求1所述的一种利用5G和8K技术的跨空间实景用户体验系统，其特征在于，所述获取视场区域中的各个在前物品与对应的在后物品的遮挡情况，并基于遮挡情况将在后物品的第一模型进行切割得到备选未遮挡部分模型，包括：

S4.3、获取两条所述遮挡线与在后物品m_ij的包围盒的交点；

3.如权利要求1所述的一种利用5G和8K技术的跨空间实景用户体验系统，其特征在于，所述第一虚拟场景中的不可交互物品的获取方法包括：

获取物品与虚拟相机位置的距离；

将距离大于最大交互距离的物品作为不可交互物品。

4.如权利要求1所述的一种利用5G和8K技术的跨空间实景用户体验系统，其特征在于，视场区域数量的获取方法包括：

Min{ N}；

且N≤360°/FOV，N=1，2，3，……；

其中，N表示视场区域数量；

FOV表示客户端的横向视场角；

且每个所述视场区域的角度均为360°/N。

5.如权利要求1所述的一种利用5G和8K技术的跨空间实景用户体验系统，其特征在于，所述虚拟相机位置为虚拟场景的中心处。

6.如权利要求1所述的一种利用5G和8K技术的跨空间实景用户体验系统，其特征在于，所述第一模型的贴图分辨率为8K。

7.如权利要求1所述的一种利用5G和8K技术的跨空间实景用户体验系统，其特征在于，所述客户端为VR一体机。

8.如权利要求1所述的一种利用5G和8K技术的跨空间实景用户体验系统，其特征在于，所述第四模型的贴图分辨率为1080P。