CN114554173B - 基于Cloud XR的云端简化注视点渲染的方法以及装置 - Google Patents
基于Cloud XR的云端简化注视点渲染的方法以及装置 Download PDFInfo
- Publication number
- CN114554173B CN114554173B CN202210204238.0A CN202210204238A CN114554173B CN 114554173 B CN114554173 B CN 114554173B CN 202210204238 A CN202210204238 A CN 202210204238A CN 114554173 B CN114554173 B CN 114554173B
- Authority
- CN
- China
- Prior art keywords
- frame image
- image
- monocular
- cloud
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012545 processing Methods 0.000 claims abstract description 68
- 230000005540 biological transmission Effects 0.000 claims abstract description 61
- 238000006243 chemical reaction Methods 0.000 claims abstract description 25
- 230000011218 segmentation Effects 0.000 claims abstract description 19
- 210000001508 eye Anatomy 0.000 claims description 35
- 206010047531 Visual acuity reduced Diseases 0.000 claims description 20
- 230000004371 high visual acuity Effects 0.000 claims description 20
- 230000004315 low visual acuity Effects 0.000 claims description 20
- 230000002093 peripheral effect Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 8
- 238000000638 solvent extraction Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 5
- 239000000758 substrate Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种基于Cloud XR的云端简化注视点渲染的方法以及装置。该方法包括在所述Cloud XR传输过程中预先配置帧图像处理参数；根据所述帧图像处理参数，计算当前帧图像中的注视点边界区域；根据所述注视点边界区域，将所述当前帧图像的单眼帧图像切分成第一预设区域与第二预设区域；根据所述单眼帧图像切分成第一预设区域与第二预设区域，对所述单眼帧图像的单眼区域沿Y轴镜像得到双眼帧图像切分结果；根据所述双眼帧图像切分结果，按照对应的预设分辨率进行图像转换。本申请解决了采用云端渲染时，回传的画面图像传输带宽占用较大的技术问题。通过本申降低了图像编码后关键帧的数据大小，降低传输带宽占用。
Description
技术领域
本申请涉及VR/AR/MR/XR应用领域，具体而言，涉及一种基于Cloud XR的云端简化注视点渲染的方法以及装置。
背景技术
Cloud XR传输过程中，在GPU服务器渲染内容时会使用注视点渲染技术。
相关技术中，注视点渲染技术FFR主要在用于一体机本地算力渲染效率的提升上，也就是说大多数方案中并未考虑在云渲染下，远端GPU服务器侧的FFR实现方式。进一步，目前云渲染的方式下，传输过程仍然是将整个渲染画面编码传输，当区域内存在多台设备渲染时，对5G或无线网络造成很大压力，同时也降低了用户体验。
针对相关技术中回传的画面图像传输带宽占用较大的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种基于Cloud XR的云端简化注视点渲染的方法以及装置，以解决采用云端渲染时，回传的画面图像传输带宽占用较大的问题。
为了实现上述目的，根据本申请的一个方面，提供了一种基于Cloud XR传输过程的中简化注视点渲染的方法。
根据本申请的基于Cloud XR传输过程的中简化注视点渲染的方法包括：在所述Cloud XR传输过程中预先配置帧图像处理参数，其中所述帧图像处理参数中至少包括如下之一：预设注视点坐标、单眼宽高比例范围、注视点的范围边缘比率；根据所述帧图像处理参数，计算当前帧图像中的注视点边界区域；根据所述注视点边界区域，将所述当前帧图像的单眼帧图像切分成第一预设区域与第二预设区域；根据所述单眼帧图像切分成第一预设区域与第二预设区域，对所述单眼帧图像的单眼区域沿Y轴镜像得到双眼帧图像切分结果；根据所述双眼帧图像切分结果，按照对应的预设分辨率进行图像转换。
进一步地，所述将所述当前帧图像的单眼帧图像切分成第一预设区域与第二预设区域，包括：将所述当前帧图像的单眼帧图像切分成：高视敏度区域的高分辨率作为所述第一预设区域，以及低视敏度区域的低分辨率作为所述第二预设区域。
进一步地，所述根据所述单眼帧图像切分成第一预设区域与第二预设区域，对所述单眼帧图像的单眼区域沿Y轴镜像得到双眼帧图像切分结果，包括：根据预设切分的区域分别渲染高视敏度区域的高分辨率图像以及所述低视敏度区域的低分辨率图像。
进一步地，所述在所述Cloud XR传输过程中，还包括：建立与瘦客户端的网络通信；在接收到所述瘦客户端的控制信号以及空间位置信息后，将根据所述控制信号以及空间位置信息确定的操作信息与预设三维程序通信；在所述预设三维程序接收到控制信息后，根据内容逻辑渲染出图像，并将渲染好的下一帧图像传入显存中。
进一步地，所述根据所述双眼帧图像切分结果，按照对应的预设分辨率进行图像转换之后，还包括：将各个区域图像拼装成完整图像后使用预设编码器进行图像编码，并将编码数据发送到所述瘦客户端进行解码和画面渲染，其中，所述预设编码器至少包括如下之一：h264、h265/HEVC。
进一步地，所述在所述Cloud XR传输过程中，还包括：根据瘦客户端通过输入外设将操控数据通过虚拟外设的控制模块进行标准化处理；通过所述瘦客户端建立的网络，接收基于5G/WI-FI传输的控制信息，其中所述输入外设至少包括如下之一：手柄、键盘鼠标、手势识别、语音输入。
进一步地，所述在所述Cloud XR传输过程中预先配置帧图像处理参数，其中所述帧图像处理参数中至少包括如下之一：预设注视点坐标、单眼宽高比例范围、注视点的范围边缘比率，包括：在所述Cloud XR传输过程中预先配置帧图像处理参数中的所述预设注视点坐标根据图像中心点位置坐标得到；在所述Cloud XR传输过程中预先配置帧图像处理参数中的单眼宽高比例范围分别包括左右眼的宽高比例范围；在所述Cloud XR传输过程中预先配置帧图像处理参数中的所述注视点的范围边缘比率为动态可调的；对当前帧图像画面进行分区域渲染，以使画面由中心所述注视区到边缘的清晰度递减。
为了实现上述目的，根据本申请的另一方面，提供了一种基于Cloud XR传输过程的中简化注视点渲染的装置。
根据本申请的基于Cloud XR传输过程的中简化注视点渲染的装置包括：图像处理参数模块，用于在所述Cloud XR传输过程中预先配置帧图像处理参数，其中所述帧图像处理参数中至少包括如下之一：预设注视点坐标、单眼宽高比例范围、注视点的范围边缘比率；注视点边界模块，用于根据所述帧图像处理参数，计算当前帧图像中的注视点边界区域；切分模块，用于根据所述注视点边界区域，将所述当前帧图像的单眼帧图像切分成第一预设区域与第二预设区域；分区模块，用于根据所述单眼帧图像切分成第一预设区域与第二预设区域，对所述单眼帧图像的单眼区域沿Y轴镜像得到双眼帧图像切分结果；转换模块，用于根据所述双眼帧图像切分结果，按照对应的预设分辨率进行图像转换。
为了实现上述目的，根据本申请的又一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述方法。
为了实现上述目的，根据本申请的再一方面，提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述的方法。
在本申请实施例中基于Cloud XR的云端简化注视点渲染的方法以及装置，采用在所述Cloud XR传输过程中预先配置帧图像处理参数的方式，通过根据所述帧图像处理参数，计算当前帧图像中的注视点边界区域以及根据所述注视点边界区域，将所述当前帧图像的单眼帧图像切分成第一预设区域与第二预设区域，达到了根据所述单眼帧图像切分成第一预设区域与第二预设区域，对所述单眼帧图像的单眼区域沿Y轴镜像得到双眼帧图像切分结果的目的，从而实现了根据所述双眼帧图像切分结果，按照对应的预设分辨率进行图像转换的技术效果，进而解决了采用云端渲染时，回传的画面图像传输带宽占用较大的技术问题。本申请通过对画面进行分区域渲染，使画面由中心注视区到边缘的清晰度递减，降低了图像编码后关键帧的数据大小。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的基于Cloud XR的云端简化注视点渲染的方法的硬件结构示意图；
图2是根据本申请实施例的基于Cloud XR的云端简化注视点渲染的方法的流程示意图；
图3是根据本申请实施例的基于Cloud XR的云端简化注视点渲染的装置结构示意图；
图4是根据本申请实施例的基于Cloud XR的云端简化注视点渲染的方法的原理示意图；
图5是根据本申请实施例的基于Cloud XR的云端简化注视点渲染的方法中的SFFR参数及效果说明示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
随着5G及无线网络的发展，传统XR业态从PCVR或一体机转变为Cloud XR，将画面渲染从本地移动到远端GPU服务器中，由于远端GPU服务器渲染的画面质量越来约高，对于网络传输侧带来的网络压力也越来越高，如何平衡用户体验和传输带宽，成为制约CloudXR发展的关键难点。
发明人发现，在现有的FFR(Fixed Foveated Rendering)技术主要集中在一体机本地算力渲染效率的提升上，并未考虑在云渲染下，远端GPU服务器侧的FFR实现方式。也就是说，在一体机FFR中，通过眼动追踪获取用户的注视点，然后在中心区域高分辨率，之外区域低分辨率，同时其目的是降低在一体机的GPU负载和渲染管道需求，并非用于在云渲染中降低码率，其方法也不适用于在远端GPU服务器的渲染。
此外，对于目前已有的云渲染方案中，传输过程是将整个渲染画面编码传输，对于4K画质内容，其内容传输占用带宽在50-80mbps，在区域内存在多台设备渲染时，对5G或无线网络造成很大压力，同时降低了用户体验。
本申请的实施例中，对于上述相关技术的中不足，如果在Cloud XR传输过程中，在GPU服务器渲染内容时，通过一种简便的注视点渲染技术(SFFR，simple Fixed FoveatedRendering SFFR)，在渲染服务器运算端实现高视敏度(High Acuity，HA)区高分辨率，低视敏度(Low-Acuity，LA)区低分辨率，从而有效降低传输码率同时保障用户体验。
本申请的方法或装置，能够支持远端GPU服务器SFFR，使瘦客户端低时延、高精度、高画质的体验三维内容。此外，还提供了降低带宽使用方式，实现端到端端低时延用户体验。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1所示，是根据本申请实施例的基于Cloud XR的云端简化注视点渲染的方法的硬件结构示意图，本申请实施例中的硬件结构包括了Cloud XR客户端100、Cloud XR云服务端。在本申请中所述Cloud XR客户端100是瘦客户端，其通过5G或WI-FI传输控制信息至所述Cloud XR云服务端。同时，在所述Cloud XR云服务端处理完成之后通过过5G或WI-FI传输画面信息至所述Cloud XR客户端100。
如图2所示，该方法包括如下的步骤S201至步骤S205：
步骤S201，在所述Cloud XR传输过程中预先配置帧图像处理参数，其中所述帧图像处理参数中至少包括如下之一：预设注视点坐标、单眼宽高比例范围、注视点的范围边缘比率；
步骤S202，根据所述帧图像处理参数，计算当前帧图像中的注视点边界区域；
步骤S203，根据所述注视点边界区域，将所述当前帧图像的单眼帧图像切分成第一预设区域与第二预设区域；
步骤S204，根据所述单眼帧图像切分成第一预设区域与第二预设区域，对所述单眼帧图像的单眼区域沿Y轴镜像得到双眼帧图像切分结果；
步骤S205，根据所述双眼帧图像切分结果，按照对应的预设分辨率进行图像转换。
从以上的描述中，可以看出，本申请实现了如下技术效果：
采用在所述Cloud XR传输过程中预先配置帧图像处理参数的方式，通过根据所述帧图像处理参数，计算当前帧图像中的注视点边界区域以及根据所述注视点边界区域，将所述当前帧图像的单眼帧图像切分成第一预设区域与第二预设区域，达到了根据所述单眼帧图像切分成第一预设区域与第二预设区域，对所述单眼帧图像的单眼区域沿Y轴镜像得到双眼帧图像切分结果的目的，从而实现了根据所述双眼帧图像切分结果，按照对应的预设分辨率进行图像转换的技术效果，进而解决了采用云端渲染时，回传的画面图像传输带宽占用较大的技术问题。本申请通过对画面进行分区域渲染，使画面由中心注视区到边缘的清晰度递减，降低了图像编码后关键帧的数据大小。
相比传统全画质传输，本申请可有效降低20％-35％左右带宽。此外，本申请的方法或装置支持/适用于XR终端，包括手机、平板、web、VR头显一体机等多种跨终端设备。
在上述步骤S201中Cloud XR服务端在所述Cloud XR传输过程中预先配置帧图像处理参数。可以理解，所述帧图像处理参数通过预先配置的方式得到。所述Cloud XR服务端通过GPU渲染模块处理待处理的帧图像。
在一种具体实施方式中，所述帧图像处理参数中至少包括如下之一：预设注视点坐标、单眼宽高比例范围、注视点的范围边缘比率。
其中，所述预设注视点坐标为(x，y)坐标数据。所述单眼宽高比例范围是指左、右眼单眼的宽以及高，以及两者的比例范围。所述注视点的范围边缘比率即ratio的比例是指偏移比率。所述注视点坐标可以基于所述眼球跟踪结果得到。
在一种优选实施方式中，通过预先设置的左、右眼长宽比例范围，以及画面中心点位置、基于注视点范围及其偏移量、单眼边缘比率动态范围，对单帧画面进行分区域渲染。
在上述步骤S202中Cloud XR服务端根据所述帧图像处理参数，计算当前帧图像中的注视点边界区域。可以理解，所述当前帧图像是指单帧图像。注视点边界区域可以用于切割不同分辨率的区域。
在一种具体实施方式中，使用所述帧图像处理参数中的预设注视点坐标、单眼宽高比例范围的预先设置进行计算。
在上述步骤S203中Cloud XR服务端根据所述注视点边界区域，将所述当前帧图像的单眼帧图像切分成第一预设区域与第二预设区域。
在一种具体实施方式中，所述将所述当前帧图像的单眼帧图像切分成第一预设区域与第二预设区域，包括：将所述当前帧图像的单眼帧图像切分成：高视敏度区域的高分辨率作为所述第一预设区域，以及低视敏度区域的低分辨率作为所述第二预设区域。
在一种优选实施方式中，所述根据所述单眼帧图像切分成第一预设区域与第二预设区域，对所述单眼帧图像的单眼区域沿Y轴镜像得到双眼帧图像切分结果，包括：根据预设切分的区域分别渲染高视敏度区域的高分辨率图像以及所述低视敏度区域的低分辨率图像。
具体实施时，在渲染服务器运算端实现高视敏度(High Acuity，HA)区高分辨率，低视敏度(Low-Acuity，LA)区低分辨率，有效降低传输码率同时保障用户体验。
在上述步骤S204中Cloud XR服务端根据所述单眼帧图像切分成第一预设区域与第二预设区域，对所述单眼帧图像的单眼区域沿Y轴镜像得到双眼帧图像切分结果。可以理解，Y轴是相对于水平方向X轴的垂直方向。依据注视点范围计算注视点边界区域，将单眼帧图像切分成HA与LA区域，然后对单眼区域沿Y轴进行镜像处理，完成双眼帧图像切分，最后对不同区域的图像块，从编码器中通过沿着失真轴的降低分辨率来减少伪影，按照不同分辨率进行图像转换。
在一种具体实施方式中，对所述单眼帧图像的单眼区域沿Y轴镜像得到双眼帧图像切分结果中与单眼帧图像是一一对应的。
在一种优选实施方式中，根据所述单眼帧图像切分成第一预设区域与第二预设区域，得到高分辨率以及低分辨率的图像区域。
在上述步骤S205中Cloud XR服务端，根据所述双眼帧图像切分结果，按照对应的预设分辨率进行图像转换。
在一种具体实施方式中，基于图像编码按照对应的预设分辨率进行图像转换。
在一种优选实施方式中，根据转换结果，经过数据传输至所述Cloud XR客户端。可以理解，所述Cloud XR客户端包括多个。
作为本实施例中的优选，所述在所述Cloud XR传输过程中，还包括：建立与瘦客户端的网络通信；在接收到所述瘦客户端的控制信号以及空间位置信息后，将根据所述控制信号以及空间位置信息确定的操作信息与预设三维程序通信；在所述预设三维程序接收到控制信息后，根据内容逻辑渲染出图像，并将渲染好的下一帧图像传入显存中。
如果是VR显示内容，则需将操作信息数据与openxr runtime(SteamVR)通信。通常对于三维程序，需要与directx或opengl通信。基于三维程序接收到控制信息后，依据内容逻辑渲染图像，并将渲染好的下一帧图像送入Cloud XR服务端的显存。
作为本实施例中的优选，所述根据所述双眼帧图像切分结果，按照对应的预设分辨率进行图像转换之后，还包括：将各个区域图像拼装成完整图像后使用预设编码器进行图像编码，并将编码数据发送到所述瘦客户端进行解码和画面渲染，其中，所述预设编码器至少包括如下之一：h264、h265/HEVC。
具体实施时，将各个区域图像拼装成完整图像后使用h264或者h265/HEVC编码器进行图像编码，并将编码数据发送到瘦客户端进行解码及画面渲染。
作为本实施例中的优选，所述在所述Cloud XR传输过程中，还包括：根据瘦客户端通过输入外设将操控数据通过虚拟外设的控制模块进行标准化处理；通过所述瘦客户端建立的网络，接收基于5G/WI-FI传输的控制信息，其中所述输入外设至少包括如下之一：手柄、键盘鼠标、手势识别、语音输入。
具体实施时，具体实施时，所述Cloud XR服务端的渲染过程中，Cloud XR的瘦客户端通过自带输入外设比如手柄、键盘鼠标、手势识别、语音输入等，将操控数据通过虚拟外设控制模块进行标准化处理后，通过瘦客户端建立的网络，传输到Cloud XR Server端。Cloud XR Server端接收到控制信号和空间位置信息后，将操作信息与三维程序通信，依据内容不同，可能调用的模块不同。
作为本实施例中的优选，所述在所述Cloud XR传输过程中预先配置帧图像处理参数，其中所述帧图像处理参数中至少包括如下之一：预设注视点坐标、单眼宽高比例范围、注视点的范围边缘比率，包括：在所述Cloud XR传输过程中预先配置帧图像处理参数中的所述预设注视点坐标根据图像中心点位置坐标得到；在所述Cloud XR传输过程中预先配置帧图像处理参数中的单眼宽高比例范围分别包括左右眼的宽高比例范围；在所述Cloud XR传输过程中预先配置帧图像处理参数中的所述注视点的范围边缘比率为动态可调的；对当前帧图像画面进行分区域渲染，以使画面由中心所述注视区到边缘的清晰度递减。
具体实施时，在Cloud XR服务端预先设置用户的注视点中心位置，左右眼宽和高的范围，以及合适的注视点范围偏移量。即所述帧图像处理参数中的预设注视点坐标、单眼宽高比例范围、注视点的范围边缘比率。
在所述Cloud XR传输过程中预先配置帧图像处理参数中的所述预设注视点坐标根据图像中心点位置坐标得到；在所述Cloud XR传输过程中预先配置帧图像处理参数中的单眼宽高比例范围分别包括左右眼的宽高比例范围；在所述Cloud XR传输过程中预先配置帧图像处理参数中的所述注视点的范围边缘比率为动态可调的；对当前帧图像画面进行分区域渲染，以使画面由中心所述注视区到边缘的清晰度递减。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
根据本申请实施例，还提供了一种用于实施上述方法的基于Cloud XR的云端简化注视点渲染的装置，如图3所示，该装置包括：
图像处理参数模块301，用于在所述Cloud XR传输过程中预先配置帧图像处理参数，其中所述帧图像处理参数中至少包括如下之一：预设注视点坐标、单眼宽高比例范围、注视点的范围边缘比率；
注视点边界模块302，用于根据所述帧图像处理参数，计算当前帧图像中的注视点边界区域；
切分模块303，用于根据所述注视点边界区域，将所述当前帧图像的单眼帧图像切分成第一预设区域与第二预设区域；
分区模块304，用于根据所述单眼帧图像切分成第一预设区域与第二预设区域，对所述单眼帧图像的单眼区域沿Y轴镜像得到双眼帧图像切分结果；
转换模块305，用于根据所述双眼帧图像切分结果，按照对应的预设分辨率进行图像转换。
本申请实施例的所述图像处理参数模块301中Cloud XR服务端在所述Cloud XR传输过程中预先配置帧图像处理参数。可以理解，所述帧图像处理参数通过预先配置的方式得到。所述Cloud XR服务端通过GPU渲染模块处理待处理的帧图像。
在一种具体实施方式中，所述帧图像处理参数中至少包括如下之一：预设注视点坐标、单眼宽高比例范围、注视点的范围边缘比率。
其中，所述预设注视点坐标为(x，y)坐标数据。所述单眼宽高比例范围是指左、右眼单眼的宽以及高，以及两者的比例范围。所述注视点的范围边缘比率即ratio的比例是指偏移比率。
在一种优选实施方式中，通过预先设置的左、右眼长宽比例范围，以及画面中心点位置、基于注视点范围及其偏移量、单眼边缘比率动态范围，对单帧画面进行分区域渲染。
本申请实施例的所述注视点边界模块302中Cloud XR服务端根据所述帧图像处理参数，计算当前帧图像中的注视点边界区域。可以理解，所述当前帧图像是指单帧图像。注视点边界区域可以用于切割不同分辨率的区域。
在一种具体实施方式中，使用所述帧图像处理参数中的预设注视点坐标、单眼宽高比例范围的预先设置进行计算。
本申请实施例的所述切分模块303中Cloud XR服务端根据所述注视点边界区域，将所述当前帧图像的单眼帧图像切分成第一预设区域与第二预设区域。
在一种具体实施方式中，所述将所述当前帧图像的单眼帧图像切分成第一预设区域与第二预设区域，包括：将所述当前帧图像的单眼帧图像切分成：高视敏度区域的高分辨率作为所述第一预设区域，以及低视敏度区域的低分辨率作为所述第二预设区域。
在一种优选实施方式中，所述根据所述单眼帧图像切分成第一预设区域与第二预设区域，对所述单眼帧图像的单眼区域沿Y轴镜像得到双眼帧图像切分结果，包括：根据预设切分的区域分别渲染高视敏度区域的高分辨率图像以及所述低视敏度区域的低分辨率图像。
具体实施时，在渲染服务器运算端实现高视敏度(High Acuity，HA)区高分辨率，低视敏度(Low-Acuity，LA)区低分辨率，有效降低传输码率同时保障用户体验。
本申请实施例的所述分区模块304中Cloud XR服务端根据所述单眼帧图像切分成第一预设区域与第二预设区域，对所述单眼帧图像的单眼区域沿Y轴镜像得到双眼帧图像切分结果。可以理解，Y轴是相对于水平方向X轴的垂直方向。依据注视点范围计算注视点边界区域，将单眼帧图像切分成HA与LA区域，然后对单眼区域沿Y轴进行镜像处理，完成双眼帧图像切分，最后对不同区域的图像块，从编码器中通过沿着失真轴的降低分辨率来减少伪影，按照不同分辨率进行图像转换。
在一种具体实施方式中，对所述单眼帧图像的单眼区域沿Y轴镜像得到双眼帧图像切分结果中与单眼帧图像是一一对应的。
在一种优选实施方式中，根据所述单眼帧图像切分成第一预设区域与第二预设区域，得到高分辨率以及低分辨率的图像区域。
本申请实施例的所述转换模块305中Cloud XR服务端，根据所述双眼帧图像切分结果，按照对应的预设分辨率进行图像转换。
在一种具体实施方式中，基于图像编码按照对应的预设分辨率进行图像转换。
在一种优选实施方式中，根据转换结果，经过数据传输至所述Cloud XR客户端。可以理解，所述Cloud XR客户端包括多个。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
为了更好的理解上述基于Cloud XR的云端简化注视点渲染的方法流程，以下结合优选实施例对上述技术方案进行解释说明，但不用于限定本发明实施例的技术方案。
本申请实施例中的基于Cloud XR的云端简化注视点渲染的方法，在远端GPU服务器渲染画面时采用简便注视点渲染(SFFR)方法，具有的特点方法简便，不同于一体机端的FFR，通过眼球追踪，获得注视点，在远端GPU渲染中，需要通过一种简单高效的方式处理，本发明通过镜像对称的方式，沿Y轴将画面处理成左右2部分，通过预先设置的左、右眼长宽比例范围，以及画面中心位置，通过算法技术注视点范围及其偏移量，以及单眼边缘比率动态范围，对画面进行分区域渲染，使画面由中心注视区到边缘的清晰度递减，降低了图像编码后关键帧的数据大小。通过上述的方式降低了画面传输带宽占用的同时保障用户体验。
如图5所示是本申请实施例的基于Cloud XR的云端简化注视点渲染的方法中的SFFR参数及效果说明示意图。如图4所示，是本申请实施例中基于Cloud XR的云端简化注视点渲染的方法的流程示意图，实现的具体过程包括如下步骤：
S1，Cloud XR瘦客户端通过5G或WI-FI传输控制信息。
S2，Cloud XR服务端的控制处理模块接收所述Cloud XR瘦客户端的控制信息。
S3，GPU渲染。
S4，帧图像处理，其中包括：1.预设的注视点(x，y)坐标信息；2.左右眼宽、高信息；3.注视点范围边缘比率ratio。
S5，注视点范围计算模块，计算注视点边界范围。
S6，依据单眼宽、高设置及注视范围边缘比率ratio，将画面切割成HA与LA区域。
S7，轴镜像画面。
S8，依据切分的区域分别渲染不同分辨率图像。
S9，图像编码。
S10，数据传输。通过5G或WI-FI传输画面信息至Cloud XR瘦客户端。
在上述步骤中通过镜像对称的方式，沿Y轴将画面处理成左右两部分，通过预先设置的左、右眼长宽比例范围，以及画面中心位置，通过算法技术注视点范围及其偏移量，以及单眼边缘比率动态范围，对画面进行分区域渲染，使画面由中心注视区到边缘的清晰度递减，降低了图像编码后关键帧的数据大小。通过上述的方式降低了画面传输带宽占用的同时保障用户体验。
具体而言：是预设用户的注视点中心位置，左右眼宽和高的范围，以及合适的注视点范围偏移量。
Cloud XR渲染过程中，首先Cloud XR瘦客户端通过自带输入外设(如手柄、键盘鼠标、手势识别、语音输入等)将操控数据通过虚拟外设控制模块进行标准化处理后，通过瘦客户端建立的网络，传输到Cloud XRserver端。
Cloud XRserver端接收到控制信号和空间位置信息后，将操作信息与三维程序通信，依据内容不同，可能调用的模块不同，如VR内容，需将操作信息数据与openxr runtime(steamvr)通信，一般三维程序，需要与directx或opengl通信。三维程序接收到控制信息后，依据内容逻辑渲染图像，并将渲染好的下一帧图像送入显存。
SFFR注视点渲染计算模块调取应用显存当前帧图像后，依据注视点范围计算注视点边界区域，将单眼帧图像切分成HA与LA区域，然后对单眼区域沿Y轴镜像，完成双眼帧图像切分，最后对不同区域的图像块，从编码器中通过沿着失真轴的降低分辨率来减少伪影，按照不同分辨率进行图像转换，最后将各个区域图像拼装成完整图像后使用h264、h265/HEVC编码器进行图像编码，并将编码数据发送到瘦客户端进行解码及画面渲染。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (8)
1.一种基于Cloud XR的云端简化注视点渲染的方法，其特征在于，包括：
在所述Cloud XR传输过程中预先配置帧图像处理参数，其中所述帧图像处理参数中至少包括如下之一：预设注视点坐标、单眼宽高比例范围、注视点的范围边缘比率；所述单眼宽高比例范围是指左、右眼单眼的宽以及高，以及两者的比例范围；所述注视点的范围边缘比率即ratio的比例是指偏移比率；
在所述Cloud XR传输过程中预先配置帧图像处理参数中的单眼宽高比例范围分别包括左右眼的宽高比例范围；
在所述Cloud XR传输过程中预先配置帧图像处理参数中的所述注视点的范围边缘比率为动态可调的；
根据所述帧图像处理参数，计算当前帧图像中的注视点边界区域；
根据所述注视点边界区域，将所述当前帧图像的单眼帧图像切分成第一预设区域与第二预设区域；
所述将所述当前帧图像的单眼帧图像切分成第一预设区域与第二预设区域，包括：
将所述当前帧图像的单眼帧图像切分成：高视敏度区域的高分辨率作为所述第一预设区域，以及低视敏度区域的低分辨率作为所述第二预设区域；
根据所述单眼帧图像切分成第一预设区域与第二预设区域，对所述单眼帧图像的单眼区域沿Y轴镜像得到双眼帧图像切分结果；
所述根据所述单眼帧图像切分成第一预设区域与第二预设区域，对所述单眼帧图像的单眼区域沿Y轴镜像得到双眼帧图像切分结果，包括：
根据预设切分的区域分别渲染高视敏度区域的高分辨率图像以及所述低视敏度区域的低分辨率图像；
根据所述双眼帧图像切分结果，按照对应的预设分辨率进行图像转换。
2.根据权利要求1所述的方法，其特征在于，所述在所述Cloud XR传输过程中，还包括：
建立与瘦客户端的网络通信；
在接收到所述瘦客户端的控制信号以及空间位置信息后，将根据所述控制信号以及空间位置信息确定的操作信息与预设三维程序通信；
在所述预设三维程序接收到控制信息后，根据内容逻辑渲染出图像，并将渲染好的下一帧图像传入显存中。
3.根据权利要求2所述的方法，其特征在于，所述根据所述双眼帧图像切分结果，按照对应的预设分辨率进行图像转换之后，还包括：
将各个区域图像拼装成完整图像后使用预设编码器进行图像编码，并将编码数据发送到所述瘦客户端进行解码和画面渲染，其中，所述预设编码器至少包括如下之一：h264、h265/HEVC。
4.根据权利要求1所述的方法，其特征在于，所述在所述Cloud XR传输过程中，还包括：
根据瘦客户端通过输入外设将操控数据通过虚拟外设的控制模块进行标准化处理；
通过所述瘦客户端建立的网络，接收基于5G/WI-FI传输的控制信息，其中所述输入外设至少包括如下之一：手柄、键盘鼠标、手势识别、语音输入。
5.根据权利要求1所述的方法，其特征在于，
所述在所述Cloud XR传输过程中预先配置帧图像处理参数，其中所述帧图像处理参数中至少包括如下之一：预设注视点坐标、单眼宽高比例范围、注视点的范围边缘比率，包括：
在所述Cloud XR传输过程中预先配置帧图像处理参数中的所述预设注视点坐标根据图像中心点位置坐标得到；
对当前帧图像画面进行分区域渲染，以使画面由中心注视区到边缘的清晰度递减。
6.一种基于Cloud XR的云端简化注视点渲染的装置，其特征在于，包括：
图像处理参数模块，用于在所述Cloud XR传输过程中预先配置帧图像处理参数，其中所述帧图像处理参数中至少包括如下之一：预设注视点坐标、单眼宽高比例范围、注视点的范围边缘比率；所述单眼宽高比例范围是指左、右眼单眼的宽以及高，以及两者的比例范围；所述注视点的范围边缘比率即ratio的比例是指偏移比率；
在所述Cloud XR传输过程中预先配置帧图像处理参数中的单眼宽高比例范围分别包括左右眼的宽高比例范围；
在所述Cloud XR传输过程中预先配置帧图像处理参数中的所述注视点的范围边缘比率为动态可调的；
注视点边界模块，用于根据所述帧图像处理参数，计算当前帧图像中的注视点边界区域；
切分模块，用于根据所述注视点边界区域，将所述当前帧图像的单眼帧图像切分成第一预设区域与第二预设区域；
所述将所述当前帧图像的单眼帧图像切分成第一预设区域与第二预设区域，包括：
将所述当前帧图像的单眼帧图像切分成：高视敏度区域的高分辨率作为所述第一预设区域，以及低视敏度区域的低分辨率作为所述第二预设区域；
分区模块，用于根据所述单眼帧图像切分成第一预设区域与第二预设区域，对所述单眼帧图像的单眼区域沿Y轴镜像得到双眼帧图像切分结果；
所述根据所述单眼帧图像切分成第一预设区域与第二预设区域，对所述单眼帧图像的单眼区域沿Y轴镜像得到双眼帧图像切分结果，包括：
根据预设切分的区域分别渲染高视敏度区域的高分辨率图像以及所述低视敏度区域的低分辨率图像；
转换模块，用于根据所述双眼帧图像切分结果，按照对应的预设分辨率进行图像转换。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为由处理器运行时执行所述权利要求1至5任一项所述的方法。
8.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至5任一项所述的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111374753 | 2021-11-17 | ||
| CN2021113747535 | 2021-11-17 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114554173A CN114554173A (zh) | 2022-05-27 |
| CN114554173B true CN114554173B (zh) | 2024-01-30 |
Family
ID=81661603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210204238.0A Active CN114554173B (zh) | 2021-11-17 | 2022-03-03 | 基于Cloud XR的云端简化注视点渲染的方法以及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114554173B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107516335A (zh) * | 2017-08-14 | 2017-12-26 | 歌尔股份有限公司 | 虚拟现实的图形渲染方法和装置 |
| CN110324601A (zh) * | 2018-03-27 | 2019-10-11 | 京东方科技集团股份有限公司 | 渲染方法、计算机产品及显示装置 |
| CN113485013A (zh) * | 2021-07-07 | 2021-10-08 | 深圳市安之眼科技有限公司 | 一种双目ar显示装置合像错位的调节方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109509150A (zh) * | 2018-11-23 | 2019-03-22 | 京东方科技集团股份有限公司 | 图像处理方法和装置、显示装置、虚拟现实显示系统 |
-
2022
- 2022-03-03 CN CN202210204238.0A patent/CN114554173B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107516335A (zh) * | 2017-08-14 | 2017-12-26 | 歌尔股份有限公司 | 虚拟现实的图形渲染方法和装置 |
| CN110324601A (zh) * | 2018-03-27 | 2019-10-11 | 京东方科技集团股份有限公司 | 渲染方法、计算机产品及显示装置 |
| CN113485013A (zh) * | 2021-07-07 | 2021-10-08 | 深圳市安之眼科技有限公司 | 一种双目ar显示装置合像错位的调节方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114554173A (zh) | 2022-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11373338B2 (en) | Image padding in video-based point-cloud compression CODEC | |
| US11348283B2 (en) | Point cloud compression via color smoothing of point cloud prior to texture video generation | |
| US11290699B2 (en) | View direction based multilevel low bandwidth techniques to support individual user experiences of omnidirectional video | |
| US11288843B2 (en) | Lossy compression of point cloud occupancy maps | |
| US20220375124A1 (en) | Systems and methods for video communication using a virtual camera | |
| US20200302682A1 (en) | Systems and methods of rendering real world objects using depth information | |
| US11210812B2 (en) | Single-pass boundary detection in video-based point cloud compression | |
| CN110892453A (zh) | 使用图像/视频编解码器的点云和网格压缩 | |
| US20200221134A1 (en) | Fast projection method in video-based point cloud compression codecs | |
| US11922663B2 (en) | Decision-making rules for attribute smoothing | |
| US11039115B2 (en) | Low complexity color smoothing of reconstructed point clouds | |
| US10964067B2 (en) | Visual quality enhancement of reconstructed point clouds via color smoothing | |
| US11803987B2 (en) | Attribute transfer in V-PCC | |
| WO2021199205A1 (ja) | 画像データ転送装置、画像表示システム、および画像データ転送方法 | |
| US20230308684A1 (en) | Tiling for video based point cloud compression | |
| WO2022166712A1 (zh) | 图像的显示方法、装置、可读介质和电子设备 | |
| US20220058833A1 (en) | Complexity reduction of video-based point cloud compression encoding using grid-based segmentation | |
| CN114554173B (zh) | 基于Cloud XR的云端简化注视点渲染的方法以及装置 | |
| CN108693953A (zh) | 一种增强现实ar投影方法及云端服务器 | |
| US20240095966A1 (en) | Coding of displacements by use of contexts for vertex mesh (v-mesh) | |
| US20240187615A1 (en) | Signaling of multiview tiled volumetric video | |
| CN117830573A (zh) | 基于图像裁剪的xr组合场景构建方法、系统及介质 | |
| Baoliang et al. | Research on technology of multi-view stereo video display based on optical-plate stereo mobile phone |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |