CN112738553A - 一种基于网络通信质量的自适应云渲染系统及方法 - Google Patents
一种基于网络通信质量的自适应云渲染系统及方法 Download PDFInfo
- Publication number
- CN112738553A CN112738553A CN202011515196.XA CN202011515196A CN112738553A CN 112738553 A CN112738553 A CN 112738553A CN 202011515196 A CN202011515196 A CN 202011515196A CN 112738553 A CN112738553 A CN 112738553A
- Authority
- CN
- China
- Prior art keywords
- network
- detection
- network quality
- data
- time delay
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 98
- 238000004891 communication Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000001514 detection method Methods 0.000 claims abstract description 184
- 230000005540 biological transmission Effects 0.000 claims abstract description 46
- 238000012546 transfer Methods 0.000 claims abstract description 40
- 230000008569 process Effects 0.000 claims abstract description 28
- 230000004044 response Effects 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 8
- 230000000903 blocking effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请提供一种基于网络通信质量的自适应云渲染系统及方法。系统,包括:云渲染服务器和网络质量探测平台,云渲染服务器通过网络数据传输通道与虚拟现实终端建立通信连接,网络数据传输通道包括多个通信中转设备;云渲染服务器用于在所述目标云应用进程的运行过程中,定时接收网络质量探测平台发送的所述网络数据传输通道的网络质量参数,根据所述网络质量参数调整所述目标云应用的渲染方式和/或编码方式;网络质量探测平台用于接收所述网络探测终点设备发送的响应上述网络探测指令所获得的网络质量探测结果,将所述网络质量参数发送至所述云渲染服务器。如此,可以自适应调整云渲染,保证用户体验。
Description
技术领域
本申请涉及通信技术领域,具体而言,涉及一种基于网络通信质量的自适应云渲染系统及方法。
背景技术
随着5G、光纤入户等大带宽通信技术的发展,虚拟现实技术的发展速度越来越快,大带宽通信技术的发展不但可以减少传输延迟,提高传输速度,而且还能节约成本,让消费者对虚拟现实技术相关应用的体验感提高,更加精细化。
本发明的发明人在研究中发现,为满足虚拟现实终端的沉浸感,首先需要保证该终端侧画面的显示不出现画面出框、无法完整覆盖用户视场范围等现象,而在用户头部运动时如果网络出现波动的会导致上述现象的发生,因此如果要保证用户体验感,则首先需要降低网络波动对虚拟现实终端画面显示的影响。
发明内容
有鉴于此,本申请提供一种云应用的部署方法及装置,以提高虚拟现实终端的用户观看体验。
具体地,本申请是通过如下技术方案实现的:
第一方面,本申请实施例提供了一种基于网络通信质量的自适应云渲染系统,所述系统,包括:云渲染服务器和网络质量探测平台,所述云渲染服务器通过网络数据传输通道与虚拟现实终端建立通信连接,所述网络数据传输通道包括多个通信中转设备;
所述云渲染服务器用于在响应于所述终端发送的目标云应用的启动指令后启动所述目标云应用,将所述目标云应用运行所生成的应用场景进行渲染得到图像数据和音频数据,对所述图像数据和音频数据编码成视频流,将所述视频流通过所述数据传输通道发送至所述虚拟现实终端;
所述云渲染服务器还用于在所述目标云应用的运行过程中,定时接收网络质量探测平台发送的所述网络数据传输通道的网络质量参数,根据所述网络质量参数调整所述目标云应用的图像渲染方式;
所述网络质量探测平台用于定时向所述网络传输数据传输通道上的至少两个通信中转设备发送网络质量探测指令,所述至少两个通信中转设备包括一个网络探测起点设备和网络探测终点设备,接收所述网络探测终点设备响应所述网络探测指令所上传的探测结果,基于所述探测结果确定所述网络质量参数,将所述网络质量参数发送至所述云渲染服务器。
第二方面,本申请实施例提供了一种基于网络通信质量的自适应渲染方法,所述方法,包括:
云渲染服务器在响应于所述终端发送的目标云应用的启动指令后启动目标云应用,将所述目标云应用运行所生成的应用场景进行渲染得到图像数据和音频数据,将所述图像数据和音频数据编码成视频流,将所述视频流通过所述数据传输通道发送至所述虚拟现实终端;
所述云渲染服务器在所述目标云应用的运行过程中,定时接收网络质量探测平台发送的所述网络数据传输通道的网络质量参数,根据所述网络质量参数调整所述目标云应用的图像渲染方式;
所述网络质量探测平台定时向所述网络传输数据传输通道上的至少两个通信中转设备发送网络质量探测指令,所述至少两个通信中转设备包括一个网络探测起点设备和网络探测终点设备,接收所述网络探测终点设备响应所述网络探测指令所上传的探测结果,基于所述探测结果确定所述网络质量参数,将所述网络质量参数发送至所述云渲染服务器。
本申请实施例中提供的一种基于网络通信质量的自适应云渲染系统及方法,云渲染服务器响应于终端发送的目标云应用的启动指令后启动目标云应用进程,对目标云应用进程运行所生成的应用场景进行渲染得到应用图像,将应用图像和对应的音频数据进行编码成视频流,将所述通过数据传输通道发送至虚拟现实终端;并且通过网络质量探测平台定时向网络传输数据传输通道上的至少两个通信中转设备发送网络质量探测指令,该至少两个通信中转设备包括网络探测起点设备和网络探测终点设备,网络质量探测平台接收网络探测终点设备响应网络探测指令所上传的网络质量探测结果,基于网络质量探测结果确定网络质量参数,将网络质量参数发送至云渲染服务器,进而云渲染服务器能够实现在目标云应用进程的运行过程中,定时接收网络质量探测平台发送的网络数据传输通道的网络质量参数,根据网络质量参数调整目标云应用的渲染方式和/或编码方式;本申请实施例中,云渲染服务器根据网络质量自适应调整云应用的渲染和/或编码工作,使得虚拟现实终端所接收的画面能够保持与用户的视场角相适应用,避免出现画面出框等情况。
附图说明
图1是本申请一示例性实施例示出的基于网络通信质量的自适应云渲染系统的架构示意图;
图2是本申请一示例性实施例示出的网络数据传输通道示意图;
图3是本申请一示例性实施例示出的一种基于网络通信质量的自适应渲染方法的流程示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
考虑到现有技术中,在网络出现波动的情况下会导致上述现象的发生,因此如果要保证用户体验感,则首先需要降低网络波动对虚拟现实终端画面显示的影响;基于此,本申请实施例中提供了一种基于网络通信质量的自适应云渲染系统及方法。
图1是本申请一示例性实施例示出的一种基于网络通信质量的自适应云渲染系统的架构示意图。参照图1所示,该系统,包括:云渲染服务器10和网络质量探测平台20,云渲染服务器10通过网络数据传输通道30与虚拟现实终端40建立通信连接,该网络数据传输通道30包括多个通信中转设备;示例性的,图中示出了三个通信中转设备,分别为:第一通信中转设备、第二通信中转设备和第三通信中转设备。
本申请中,云渲染服务器10用于响应于虚拟现实终端40发送的目标云应用的启动指令启动目标云应用进程,对该目标云应用进程运行所生成的应用场景进行渲染得到应用图像,采集该应用图像和对应的音频数据进行编码成视频流,将视频流通过网络数据传输通道30发送至虚拟现实终端40。
上述云渲染服务器10还用于在目标云应用进程的运行过程中,定时接收网络质量探测平台20发送的表征网络数据传输通道的网络质量的网络质量参数,根据该网络质量参数调整目标云应用的渲染方式和/或编码方式。
本实施例中,上述网络质量探测平台20用于定时向网络传输数据传输通道30上的至少两个通信中转设备发送网络质量探测指令,该至少两个通信中转设备中包括网络探测起点设备和网络探测终点设备,网络质量探测平台还用于接收网络探测终点设备发送的响应网络探测指令所获得的网络质量探测结果,基于该网络质量探测结果确定网络质量参数,将网络质量参数发送至云渲染服务器。
本申请一实施例,上述通信中转设备,具体用于:
接收网络质量探测平台发送的网络质量探测指令;其中,网络质量探测指令中包含有待探测的上述目标云应用的标识和网络质量探测策略。该网络质量探测策略中表明了所需要进行质量探测的方式,比如时延探测和丢包探测。
在网络质量探测策略包括时延探测的情况下;作为时延探测起点设备的通信中转设备,在接到探测指令后生成与目标应用进程的业务报文的发送服务等级相同且传输路径相同的时延检测报文并进行发送,该检测报文中包括时间戳信息。
作为时延探测终点设备的通信中转设备,若接收到上述时延检测报文,对时延检测报文进行解析得到时间戳信息,根据该时间戳信息计算得到时延数据,将该时延数据上传至所述网络质量探测平台。进而由网络质量探测平台将该时延数据进一步发送至云渲染服务器。
本实施例中,根据网络质量管理平台所下发的探测指令决定通信中转设备是作为起点设备还是终点设备。
在网络质量探测策略包括丢包探测方式的情况下,作为丢包探测起点设备的通信中转设备对目标应用的业务报文进行封装丢包检测标签后进行发送,该丢包检测标签中包含有表征进行丢包检测的字段和用于对业务报文进行计数的编码字段。
报文封装格式中,包含有:
扩展标签(XL):采用RFC7274中定义的标准扩展标签值15,用于指示后续标签为扩展特殊用途标签;
扩展特殊用途标签(ESPL):采用IANA定义中尚未分配的值,用于指示后续标签为应用标识标签,如可使用标签101。
质量探测标签:用于标识具体应用的质量探测信息。标签中共20位可用,可通过不同位的含义组合表示对不同应用的多类质量探测信息。
应用标识:可采用多位标识一个应用。
质量类别:可分为丢包、时延等不同的质量类别。
质量信息:可携带具体的质量信息。例如:丢包检测时,为用于计数的编码字段。
具体的标签的封装的顺序可以参照现有技术。
作为丢包探测终点设备的通信中转设备,则将统计的在指定发送周期内实际接收到的报文数量和指定周期内实际发送的所述业务报文的报文数量进行比较,计算丢包数据,并将所述丢包数据上传至网络质量探测平台;网络质量探测平台用于将丢包数据发送至所述云渲染服务器。
具体的,通信中转设备在作为丢包探测的起点设备时,对所述业务报文进行分组连续编码,在一个发送周期内发送指定数量的一组所述业务报文;若所述通信中转设备为丢包探测的终点设备,则所述通信中转设备用于在超过一个所述发送周期后对接收到所述业务报文数量进行统计检测。
比如,发送端设备将属于目标应用的业务报进行分块标记计数编码,接收端设备在接收到业务报文以后延迟进行检测。示例性的,对发送的属于同一个应用的第1~50个报文分别进行编码,例如计数编码为1,对于发送的属于该应用的第51~100个报文分别进行设置计数编码为2,对于发送的属于该应用的第101~150个报文分别进行设置计数编码为3,依次进行编码,直至编码为4后,按照上述的方式重新对业务报文进行编码。接收端设备在接收到业务报文以后,对该业务报文的标签进行解析,并实时对接收到的具有不同计数编码的报文的数量进行统计,在接收到第一个编码为4的报文以后,判断已统计的编码为1的业务报文的数量是否为50,如果不是,则判断发生了数据丢包,并计算得到丢包数;在接收到第一个编码为1的报文以后,判断已统计的编码为2的业务报文的数量是否为50,依次类推;也可以是在接收到第一编码为3的报文以后,判断统计的编码为1的业务报文的数据是否为50,进而相当于是每间隔三个计数周期对接收到的业务报文进行一次检测。
应用上述方式进行网络质量探测,具有探测更精确,且能够实现对网络故障进行定位的优点。
上述的网络质量探测平台可以是云渲染服务器触发执行质量探测,也可以是根据用户设置执行网络质量探测工作,本申请对此不做限定。
参照图2所示,上述的第一通信中转设备301、第二通信中转设备302和第三通信中转设备303可以是交换机设备。
本申请一实施例中,云渲染服务器具体用于通过以下方式根据网络质量数据进行调整渲染方式:
在丢包数据小于指定丢包数据的情况下,若时延数据大于指定时延阈值,则对目标应用进程运行所生成的应用场景按照大于虚拟现实终端FOV的方式进行渲染。
如果时延数据小于所述指定时延阈值,则对所述应用画面按照所述终端显示设备视场角进行渲染或者也可以是采用上述大于虚拟现实终端FOV的方式进行渲染。
本实施例中,现有虚拟显示终端的FOV一般情况下为水平120度视场角,本实施例中,在时延数据大于指定时延阈值时,综合考虑用户头部运动的平均速度,根据以下公式得到新的放大比率K=(fov+tw)/fov。进而使用该放大比率K对应用场景进行放大渲染,避免用户头部运动情况下,如果网络质量不佳导致虚拟现实终端的画面显示出现跑偏、不能完整覆盖用户视场范围的情况发生。
本申请一实施例中,上述云渲染服务器还用于通过以下方式根据网络质量数据进行调整渲染方式:
在所述丢包数据大于所述指定丢包数据的情况下,则触发操作系统关闭所述目标云应用进程。
在丢包大于指定丢包数的情况下,说明此时网络质量较差,无法保证终端用户的体验,此时会触发操作系统结束该目标应用进程。
本申请一实施例中,上述云渲染服务器,具体用于通过以下方式对所述应用场景按照大于虚拟现实终端FOV的方式进行渲染:
对所述应用场景按照大于所述虚拟现实终端FOV的方式进行渲染,且对应于用户感兴趣区域部分按照第一分辨率(比如分辨率为1080P)进行渲染,对应于用户非感兴趣区域部分按照第二分辨率(比如分辨率为720P)进行渲染,所述第一分辨率大于所述第二分辨率。
对用户感兴趣区域进行采用高分辨率渲染,在充分考虑网络时延较大的情况下,保证用户体验。
本申请一实施例中,在按照大于虚拟现实终端FOV的视场角进行渲染后,为进一步提高传输效率,上述述云渲染服务器,还用于:
对所述图像按照第一分辨率和第二分辨率分别进行渲染得到的图像的不同部分进行分块,得到第一图像块和第二图像块;
分别按照第一码率(比如码率为40M)和第二码率(比如码率为20M)对所述第一图像块和第二图像块进行编码,将编码后的第一图像块和第二图像按照对应关系发送至所述终端;第一码率低于所述第二码率。
图3是本申请一示例性实施例示出的一种基于网络通信质量的自适应渲染方法的流程示意图;参照图3所示,该方法,包括如下步骤S31-S33:
S31、云渲染服务器在响应于所述终端发送的目标云应用的启动指令后启动目标云应用,将所述目标云应用运行所生成的应用场景进行渲染得到图像数据和音频数据,将所述图像数据和音频数据编码成视频流,将所述视频流通过所述数据传输通道发送至所述虚拟现实终端。
S32、网络质量探测平台定时向所述网络传输数据传输通道上的至少两个通信中转设备发送网络质量探测指令,所述至少两个通信中转设备包括一个网络探测起点设备和网络探测终点设备,接收所述网络探测终点设备响应所述网络探测指令所上传的探测结果,基于所述探测结果确定所述网络质量参数,将所述网络质量参数发送至所述云渲染服务器。
上述通信中转设备,具体用于接收网络质量探测平台发送的网络质量探测指令;其中,网络质量探测指令中包含有待探测的上述目标云应用的标识和网络质量探测策略。该网络质量探测策略中表明了所需要进行质量探测的方式,比如时延探测和丢包探测。
在网络质量探测策略包括时延探测的情况下;作为时延探测起点设备的通信中转设备,在接到探测指令后生成与目标应用进程的业务报文的发送服务等级相同且传输路径相同的时延检测报文并进行发送,该检测报文中包括时间戳信息。
作为时延探测终点设备的通信中转设备,若接收到上述时延检测报文,对时延检测报文进行解析得到时间戳信息,根据该时间戳信息计算得到时延数据,将该时延数据上传至所述网络质量探测平台。进而由网络质量探测平台将该时延数据进一步发送至云渲染服务器。
本实施例中,根据网络质量管理平台所下发的探测指令决定通信中转设备是作为起点设备还是终点设备。
在网络质量探测策略包括丢包探测方式的情况下,作为丢包探测起点设备的通信中转设备对目标应用的业务报文进行封装丢包检测标签后进行发送,该丢包检测标签中包含有表征进行丢包检测的字段和用于对业务报文进行计数的编码字段。
S33、所述云渲染服务器接收所述网络质量探测平台发送的所述网络数据传输通道的网络质量参数,根据所述网络质量参数调整所述目标云应用的渲染方式和/或编码方式。
上述云渲染服务器具体用于通过以下方式根据网络质量数据进行调整渲染方式:
在丢包数据小于指定丢包数据的情况下,若时延数据大于指定时延阈值,则对目标应用进程运行所生成的应用场景按照大于虚拟现实终端FOV的方式进行渲染;若时延数据大于所述指定时延阈值,则对所述应用画面按照所述终端显示设备视场角进行渲染。在所述丢包数据大于所述指定丢包数据的情况下,则触发操作系统关闭所述目标云应用进程。
本申请一实施例中,示例性地,上述云渲染服务器对应用场景按照大于所述虚拟现实终端FOV的方式进行渲染,且对应于用户感兴趣区域部分按照第一分辨率(比如分辨率为1080P)进行渲染,对应于用户非感兴趣区域部分按照第二分辨率(比如分辨率为720P)进行渲染,所述第一分辨率大于所述第二分辨率。
对用户感兴趣区域进行采用高分辨率渲染,在充分考虑网络时延较大的情况下,保证用户体验。
本申请另一实施例中,在按照大于虚拟现实终端FOV的视场角进行渲染后,为进一步提高传输效率,上述述云渲染服务器对所述图像按照第一分辨率和第二分辨率分别进行渲染得到的图像的不同部分进行分块,得到第一图像块和第二图像块;分别按照第一码率(比如码率为40M)和第二码率(比如码率为20M)对所述第一图像块和第二图像块进行编码,将编码后的第一图像块和第二图像按照对应关系发送至所述终端;第一码率低于所述第二码率。
可选地,所述方法,还包括:
所述通信中转设备接收所述网络质量探测平台发送的网络质量探测指令,所述网络质量探测指令中包含有所述目标云应用的标识和网络质量探测策略;
若所述网络质量探测策略包括:时延探测;
所述通信中转设备若作为时延探测的起点设备,则生成与所述应用的业务报文的发送服务等级相同、传输路径相同的时延检测报文,所述检测报文中包括时间戳信息;
所述通信中转设备若作为时延探测的终点设备,则接收时延检测报文,解析所述时延检测报文中的时间戳信息,根据该时间戳信息和接收时间戳进行计算得到时延数据,将该时延数据上传至所述网络质量探测平台;
所述网络质量探测平台将所述时延数据发送至所述云渲染服务器。
本申请实施例中系统中的各设备的执行步骤可以参见上述系统实施例描述的具体过程。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
适合用于执行计算机程序的计算机包括,例如通用和/或专用微处理器,或任何其他类型的中央处理单元。通常,中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常,计算机还将包括用于存储数据的一个或多个大容量存储设备,例如磁盘、磁光盘或光盘等,或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据,抑或两种情况兼而有之。然而,计算机不是必须具有这样的设备。此外,计算机可以嵌入在另一设备中,例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备,仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备,例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本说明书包含许多具体实施细节,但是这些不应被解释为限制任何发明的范围或所要求保护的范围,而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面,在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外,虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护,但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除,并且所要求保护的组合可以指向子组合或子组合的变型。
类似地,虽然在附图中以特定顺序描绘了操作,但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行,以实现期望的结果。在某些情况下,多任务和并行处理可能是有利的。此外,上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离,并且应当理解,所描述的程序组件和系统通常可以一起集成在单个软件产品中,或者封装成多个软件产品。
由此,主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下,权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外,附图中描绘的处理并非必需所示的特定顺序或顺次顺序,以实现期望的结果。在某些实现中,多任务和并行处理可能是有利的。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。
Claims (10)
1.一种基于网络通信质量的自适应云渲染系统,其特征在于,包括:云渲染服务器和网络质量探测平台,所述云渲染服务器通过网络数据传输通道与虚拟现实终端建立通信连接,所述网络数据传输通道包括多个通信中转设备;
所述云渲染服务器,用于响应于所述虚拟现实终端发送的目标云应用的启动指令启动目标云应用进程,对所述目标云应用进程运行所生成的应用场景进行渲染得到应用图像,将所述应用图像和对应的音频数据编码成视频流,将所述视频流通过所述数据传输通道发送至所述虚拟现实终端;
所述云渲染服务器,还用于在所述目标云应用进程的运行过程中,定时接收网络质量探测平台发送的所述网络数据传输通道的网络质量参数,根据所述网络质量参数调整所述目标云应用的渲染方式和/或编码方式;
所述网络质量探测平台,用于定时向所述网络传输数据传输通道上的至少两个通信中转设备发送网络质量探测指令,所述至少两个通信中转设备中包括网络探测起点设备和网络探测终点设备;所述网络质量探测平台还用于接收所述网络探测终点设备发送的响应上述网络探测指令所获得的网络质量探测结果,基于所述网络质量探测结果确定网络质量参数,将所述网络质量参数发送至所述云渲染服务器。
2.根据权利要求1所述的方法,其特征在于,所述通信中转设备,具体用于:
接收所述网络质量探测平台发送的所述网络质量探测指令;其中,所述网络质量探测指令中包含有所述目标云应用的应用标识和网络质量探测策略;
若所述网络质量探测策略包括:时延探测;
所述通信中转设备若作为时延探测的起点设备,则生成与所述目标应用进程的业务报文的发送服务等级相同且传输路径相同的时延检测报文并进行发送,所述检测报文中包括时间戳信息;
所述通信中转设备若作为时延探测的终点设备,则接收时所述延检测报文,对所述时延检测报文进行解析得到所述时间戳信息,根据该时间戳信息计算得到时延数据,将该时延数据上传至所述网络质量探测平台;
所述网络质量探测平台用于将所述时延数据发送至所述云渲染服务器。
3.根据权利要求2所述的方法,其特征在于,若所述网络质量探测策略包括:丢包探测,所述通信中转设备,具体用于:
所述通信中转设备若作为丢包探测的起点设备,则对所述应用的业务报文进行封装丢包检测标签后进行发送;其中,所述丢包检测标签中包含有表征进行丢包检测的字段和用于对所述业务报文进行计数的编码字段;
所述通信中转设备若作为丢包探测的终点设备,则将统计的在指定发送周期内实际接收到的报文数量和所述指定周期内实际发送的所述业务报文的报文数量进行比较,计算丢包数据,并将所述丢包数据上传至所述网络质量探测平台;
所述网络质量探测平台用于将所述丢包数据发送至所述云渲染服务器。
4.根据权利要求3所述的系统,其特征在于,所述通信中转设备在作为丢包探测的起点设备时,所述通信中转设备具体用于:
对所述业务报文进行分组连续编码,在一个发送周期内发送指定数量的一组所述业务报文;
若所述通信中转设备为丢包探测的终点设备,则所述通信中转设备用于在超过一个所述发送周期后对接收到所述业务报文数量进行统计检测。
5.根据权利要求4所述的系统,其特征在于,所述云渲染服务器,具体用于通过以下方式根据网络质量数据进行调整渲染方式:
在所述丢包数据小于指定丢包数据的情况下,若所述时延数据大于指定时延阈值,则对所述目标应用进程运行所生成的应用场景按照大于所述虚拟现实终端FOV的方式进行渲染。
6.根据权利要求5所述的系统,其特征在于,所述云渲染服务器还用于通过以下方式根据网络质量数据进行调整渲染方式:
在所述丢包数据大于所述指定丢包数据的情况下,则触发操作系统关闭所述目标云应用进程。
7.根据权利要求5或6所述的系统,所述云渲染服务器,具体用于通过以下方式对所述应用场景按照大于所述虚拟现实终端FOV的方式进行渲染:
对所述应用场景按照大于所述虚拟现实终端FOV的方式进行渲染,且对应于用户感兴趣区域部分按照第一分辨率进行渲染,对应于用户非感兴趣区域部分按照第二分辨率进行渲染;其中,所述第一分辨率大于所述第二分辨率。
8.根据权利要求7所述的系统,其特征在于,所述云渲染服务器,还用于:
对所述图像按照第一分辨率和第二分辨率分别进行渲染得到的图像的不同部分进行分块,得到第一图像块和第二图像块;
分别按照第一码率和第二码率对所述第一图像块和第二图像块进行编码,将编码后的第一图像块和第二图像按照对应关系发送至所述终端;
其中,所述第一码率低于所述第二码率。
9.一种基于网络通信质量的自适应渲染方法,其特征在于,所述方法,包括:
云渲染服务器在响应于所述终端发送的目标云应用的启动指令后启动目标云应用,将所述目标云应用运行所生成的应用场景进行渲染得到图像数据和音频数据,将所述图像数据和音频数据编码成视频流,将所述视频流通过所述数据传输通道发送至所述虚拟现实终端;
网络质量探测平台定时向所述网络传输数据传输通道上的至少两个通信中转设备发送网络质量探测指令,所述至少两个通信中转设备包括一个网络探测起点设备和网络探测终点设备,接收所述网络探测终点设备响应所述网络探测指令所上传的探测结果,基于所述探测结果确定所述网络质量参数,将所述网络质量参数发送至所述云渲染服务器;
所述云渲染服务器接收所述网络质量探测平台发送的所述网络数据传输通道的网络质量参数,根据所述网络质量参数调整所述目标云应用的渲染方式和/或编码方式。
10.根据权利要求9所述的方法,其特征在于,所述方法,还包括:所述通信中转设备接收所述网络质量探测平台发送的网络质量探测指令,所述网络质量探测指令中包含有所述目标云应用的标识和网络质量探测策略;
若所述网络质量探测策略包括:时延探测;
所述通信中转设备若作为时延探测的起点设备,则生成与所述应用的业务报文的发送服务等级相同、传输路径相同的时延检测报文,所述检测报文中包括时间戳信息;
所述通信中转设备若作为时延探测的终点设备,则接收时延检测报文,解析所述时延检测报文中的时间戳信息,根据该时间戳信息和接收时间戳进行计算得到时延数据,将该时延数据上传至所述网络质量探测平台;
所述网络质量探测平台将所述时延数据发送至所述云渲染服务器。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011515196.XA CN112738553A (zh) | 2020-12-18 | 2020-12-18 | 一种基于网络通信质量的自适应云渲染系统及方法 |
PCT/CN2021/134994 WO2022127606A1 (zh) | 2020-12-18 | 2021-12-02 | 基于网络通信质量的自适应云渲染系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011515196.XA CN112738553A (zh) | 2020-12-18 | 2020-12-18 | 一种基于网络通信质量的自适应云渲染系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112738553A true CN112738553A (zh) | 2021-04-30 |
Family
ID=75603671
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011515196.XA Pending CN112738553A (zh) | 2020-12-18 | 2020-12-18 | 一种基于网络通信质量的自适应云渲染系统及方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112738553A (zh) |
WO (1) | WO2022127606A1 (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113573142A (zh) * | 2021-09-22 | 2021-10-29 | 北京海誉动想科技股份有限公司 | 分辨率调整方法与装置 |
CN114302125A (zh) * | 2021-12-30 | 2022-04-08 | 展讯通信(上海)有限公司 | 图像处理方法及装置、计算机可读存储介质 |
CN114501062A (zh) * | 2022-01-27 | 2022-05-13 | 腾讯科技(深圳)有限公司 | 视频渲染协同方法、装置、设备及存储介质 |
WO2022127606A1 (zh) * | 2020-12-18 | 2022-06-23 | 微网优联科技(成都)有限公司 | 基于网络通信质量的自适应云渲染系统及方法 |
CN114827104A (zh) * | 2022-05-17 | 2022-07-29 | 咪咕文化科技有限公司 | 时延调整方法、装置、设备及计算机可读存储介质 |
WO2023029845A1 (zh) * | 2021-09-03 | 2023-03-09 | 华为云计算技术有限公司 | 渲染方法、远端装置、计算设备集群、终端装置及设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100063992A1 (en) * | 2008-09-08 | 2010-03-11 | Microsoft Corporation | Pipeline for network based server-side 3d image rendering |
CN105187228A (zh) * | 2015-06-12 | 2015-12-23 | 中国通信建设集团设计院有限公司 | 一种网络质量探测方法及路由器 |
CN110138769A (zh) * | 2019-05-09 | 2019-08-16 | 深圳市腾讯网域计算机网络有限公司 | 一种图像传输的方法以及相关装置 |
CN110191022A (zh) * | 2019-05-30 | 2019-08-30 | 新华三技术有限公司 | 一种业务质量检测方法及装置 |
CN110930307A (zh) * | 2019-10-31 | 2020-03-27 | 北京视博云科技有限公司 | 图像处理方法和装置 |
CN111901635A (zh) * | 2020-06-17 | 2020-11-06 | 北京视博云信息技术有限公司 | 一种视频处理方法、装置、存储介质及设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8832226B2 (en) * | 2011-10-10 | 2014-09-09 | Eyeview, Inc. | Using cloud computing for generating personalized dynamic and broadcast quality videos |
CN111061560B (zh) * | 2019-11-18 | 2022-12-06 | 江苏视博云信息技术有限公司 | 云渲染资源调度方法、装置、电子设备及存储介质 |
CN111563879B (zh) * | 2020-03-27 | 2023-09-26 | 北京视博云信息技术有限公司 | 一种应用画面显示质量的检测方法及装置 |
CN112738553A (zh) * | 2020-12-18 | 2021-04-30 | 深圳市微网力合信息技术有限公司 | 一种基于网络通信质量的自适应云渲染系统及方法 |
-
2020
- 2020-12-18 CN CN202011515196.XA patent/CN112738553A/zh active Pending
-
2021
- 2021-12-02 WO PCT/CN2021/134994 patent/WO2022127606A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100063992A1 (en) * | 2008-09-08 | 2010-03-11 | Microsoft Corporation | Pipeline for network based server-side 3d image rendering |
CN105187228A (zh) * | 2015-06-12 | 2015-12-23 | 中国通信建设集团设计院有限公司 | 一种网络质量探测方法及路由器 |
CN110138769A (zh) * | 2019-05-09 | 2019-08-16 | 深圳市腾讯网域计算机网络有限公司 | 一种图像传输的方法以及相关装置 |
CN110191022A (zh) * | 2019-05-30 | 2019-08-30 | 新华三技术有限公司 | 一种业务质量检测方法及装置 |
CN110930307A (zh) * | 2019-10-31 | 2020-03-27 | 北京视博云科技有限公司 | 图像处理方法和装置 |
CN111901635A (zh) * | 2020-06-17 | 2020-11-06 | 北京视博云信息技术有限公司 | 一种视频处理方法、装置、存储介质及设备 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022127606A1 (zh) * | 2020-12-18 | 2022-06-23 | 微网优联科技(成都)有限公司 | 基于网络通信质量的自适应云渲染系统及方法 |
WO2023029845A1 (zh) * | 2021-09-03 | 2023-03-09 | 华为云计算技术有限公司 | 渲染方法、远端装置、计算设备集群、终端装置及设备 |
CN113573142A (zh) * | 2021-09-22 | 2021-10-29 | 北京海誉动想科技股份有限公司 | 分辨率调整方法与装置 |
CN114302125A (zh) * | 2021-12-30 | 2022-04-08 | 展讯通信(上海)有限公司 | 图像处理方法及装置、计算机可读存储介质 |
CN114501062A (zh) * | 2022-01-27 | 2022-05-13 | 腾讯科技(深圳)有限公司 | 视频渲染协同方法、装置、设备及存储介质 |
CN114501062B (zh) * | 2022-01-27 | 2023-02-21 | 腾讯科技(深圳)有限公司 | 视频渲染协同方法、装置、设备及存储介质 |
CN114827104A (zh) * | 2022-05-17 | 2022-07-29 | 咪咕文化科技有限公司 | 时延调整方法、装置、设备及计算机可读存储介质 |
CN114827104B (zh) * | 2022-05-17 | 2024-02-23 | 咪咕文化科技有限公司 | 时延调整方法、装置、设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2022127606A1 (zh) | 2022-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112738553A (zh) | 一种基于网络通信质量的自适应云渲染系统及方法 | |
US11551408B2 (en) | Three-dimensional model distribution method, three-dimensional model receiving method, three-dimensional model distribution device, and three-dimensional model receiving device | |
EP3550844A1 (en) | Three-dimensional model distribution method and three-dimensional model distribution device | |
US20200250798A1 (en) | Three-dimensional model encoding device, three-dimensional model decoding device, three-dimensional model encoding method, and three-dimensional model decoding method | |
KR100935650B1 (ko) | 비디오 품질 추정 장치, 방법 및 프로그램을 기록한 컴퓨터 판독가능한 기록매체 | |
EP2860606A1 (en) | Information processing device, information processing method, and program | |
CN102118596B (zh) | 输出设备和输出方法 | |
CN111683273A (zh) | 视频卡顿信息的确定方法及装置 | |
CN110782433B (zh) | 基于时序的动态信息暴力抛物检测方法、装置及存储介质 | |
CN110418170A (zh) | 检测方法和装置、存储介质及电子装置 | |
Dou et al. | Edge computing-enabled deep learning for real-time video optimization in IIoT | |
CN109144858B (zh) | 流畅度检测方法、装置、计算设备及存储介质 | |
Park et al. | Seaware: Semantic aware view prediction system for 360-degree video streaming | |
CN109389833A (zh) | 一种车辆拥堵预警方法和装置 | |
AU2018275194A1 (en) | Temporal placement of a rebuffering event | |
CN106997282B (zh) | 客户端的显示模式的处理方法和装置 | |
CN111325057B (zh) | 一种排队队列检测的方法与装置 | |
EP2296095A1 (en) | Video descriptor generator | |
CN114095722A (zh) | 清晰度的确定方法、装置及设备 | |
CN111954034B (zh) | 一种基于终端设备参数的视频编码方法及系统 | |
CN111563027B (zh) | 一种应用的运行监测方法、装置及系统 | |
CN111628905B (zh) | 数据包的抓取方法、装置及设备 | |
CN115134582A (zh) | 视频质量评估方法和装置 | |
CN107733874A (zh) | 信息处理方法、装置、计算机设备和存储介质 | |
CN114222096A (zh) | 数据传输方法及摄像机、电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210430 |
|
RJ01 | Rejection of invention patent application after publication |