CN113573142A - 分辨率调整方法与装置 - Google Patents
分辨率调整方法与装置 Download PDFInfo
- Publication number
- CN113573142A CN113573142A CN202111104051.5A CN202111104051A CN113573142A CN 113573142 A CN113573142 A CN 113573142A CN 202111104051 A CN202111104051 A CN 202111104051A CN 113573142 A CN113573142 A CN 113573142A
- Authority
- CN
- China
- Prior art keywords
- resolution
- ratio
- adjustment
- determining
- network state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000001514 detection method Methods 0.000 claims abstract description 60
- 238000005070 sampling Methods 0.000 claims abstract description 34
- 238000003860 storage Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000009877 rendering Methods 0.000 claims description 35
- 230000000717 retained effect Effects 0.000 claims description 9
- 238000013139 quantization Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 description 13
- 230000015654 memory Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请提供了一种分辨率调整方法与装置、电子设备及存储介质，方法包括：在对云应用运行过程中产生的画面进行渲染得到渲染画面后，对渲染画面进行编码，并将经所述编码后的渲染画面发送给终端，其中，编码采用目标分辨率；目标分辨率按照如下方法确定：在检测时间到来，且网络状态介于差和良好之间时，获取当前编码码率；在当前编码码率不满足第一条件且不满足第二条件时，比较调整比率与预设的降采样比率的大小；根据调整比率与预设的降采样比率的大小比较结果确定分辨率调整方案，并根据分辨率调整方案确定目标分辨率，能够进行分辨率自动调整，从而提高云应用画面的流畅度和显示质量。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种分辨率调整方法与装置、电子设备及存储介质。
背景技术
随着云技术的发展，越来越多的云应用出现在人们的生活中。云应用以云计算为基础，在云端服务器的虚拟机/容器里运行，由虚拟机/容器完成云应用画面的所有计算，生成每一帧的画面图像，从而形成由连续的图像帧组成的图像流，云端服务器将图像流发送给用户终端，用户终端按序显示每一帧画面图像。在此种模式下，用户终端实际上只需要将用户的操作指令发送给云端服务器，然后从云端服务器接收图像流进行播放。
而云应用领域对于云应用画面的延迟、卡顿、跳帧等问题要求非常严格（比如对于云游戏来说，有别于视频直播等可容许有百毫秒缓冲等待时间，云游戏的延迟要求必须低于百毫秒）。为了使用户在各种复杂的网络环境下，获得更好的体验，针对不同的网络状况，推流端需要非常好的调整能力。对于硬件处理能力以及网络带宽极值固定的情况下，有诸多手段可以减缓网络拥塞、抖动、限制带宽等问题，而使用技术手段来提升用户体验，必然会引起另外的一些弊端，例如生产成本的增加（比如通过使用额外的边缘计算节点做超分操作等发送多路数据包来抗丢包，）、画面质量变差（比如采用前向纠错FEC手段在渲染端可以不用合成整个数据帧进行渲染，会有色块丢失，此种方式通过不完全渲染来换取整体画面流畅感）等。
因此，如何提供一种方案，以达到较好的抗弱网效果的同时，保证较好的渲染效果和较低的成本，成为亟待解决的技术问题。
发明内容
针对现有技术存在的技术问题，本申请实施例提供一种分辨率调整方法与装置、电子设备及存储介质。
第一方面，本申请实施例提供了一种分辨率调整方法，包括：
在对云应用运行过程中产生的画面进行渲染得到渲染画面后，对所述渲染画面进行编码，并将经编码后的渲染画面发送给终端，其中，编码采用目标分辨率；
其中，所述目标分辨率按照如下方法确定：
在检测时间到来，且网络状态介于差和良好之间时，获取当前编码码率，其中，所述检测时间根据检测周期和补偿时间确定，所述补偿时间根据网络状态确定；
在所述当前编码码率不满足第一条件且不满足第二条件时，比较调整比率与预设的降采样比率的大小，其中，所述第一条件为当前编码码率大于预设的最大分辨率码率，且当前分辨率高度大于预设的最大分辨率高度，所述第二条件为当前编码码率小于预设的最小分辨率码率，且当前分辨率高度小于预设的最小分辨率高度，所述调整比率根据所述当前编码码率确定；
根据所述调整比率与预设的降采样比率的大小比较结果确定分辨率调整方案，并根据所述分辨率调整方案确定所述目标分辨率。
第二方面，本申请实施例还提供了一种分辨率调整装置，包括：
调整单元，用于在对云应用运行过程中产生的画面进行渲染得到渲染画面后，对所述渲染画面进行编码，并将经编码后的渲染画面发送给终端，其中，编码采用目标分辨率；
其中，所述装置还包括：
获取单元，用于在检测时间到来，且网络状态介于差和良好之间时，获取当前编码码率，其中，所述检测时间根据检测周期和补偿时间确定，所述补偿时间根据网络状态确定；
比较单元，用于在所述当前编码码率不满足第一条件且不满足第二条件时，比较调整比率与预设的降采样比率的大小，其中，所述第一条件为当前编码码率大于预设的最大分辨率码率，且当前分辨率高度大于预设的最大分辨率高度，所述第二条件为当前编码码率小于预设的最小分辨率码率，且当前分辨率高度小于预设的最小分辨率高度，所述调整比率根据所述当前编码码率确定；
确定单元，用于根据所述调整比率与预设的降采样比率的大小比较结果确定分辨率调整方案，并根据所述分辨率调整方案确定所述目标分辨率。
第三方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面所述的分辨率调整方法的步骤。
第四方面，本申请实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面所述的分辨率调整方法的步骤。
综上，本申请实施例提供的分辨率调整方法与装置、电子设备及存储介质，根据网络状态确定检测周期的补偿时间，利用所述补偿时间确定检测时间；在检测时间到来，且网络状态介于差和良好之间时，获取当前编码码率，在所述当前编码码率不满足第一条件且不满足第二条件时，比较调整比率与预设的降采样比率的大小，根据所述调整比率与预设的降采样比率的大小比较结果确定分辨率调整方案，并根据所述分辨率调整方案确定目标分辨率，利用目标分辨率对渲染画面进行编码，整个方案通过把控检测时机，并结合分辨率调整方案，能够达到较好的抗弱网效果的同时，保证较好的渲染效果，而且不需要额外的边缘计算节点进行处理，因而能够以较低的成本实现方案。
附图说明
图1为本申请实施例提供的一种分辨率调整方法的流程示意图；
图2为本申请实施例提供的一种分辨率调整装置的结构示意图；
图3为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
参照图1所示，为本申请实施例提供的一种分辨率调整方法的流程示意图，该方法应用于云端服务器，具体包括：
S10、在对云应用运行过程中产生的画面进行渲染得到渲染画面后，对所述渲染画面进行编码，并将经编码后的渲染画面发送给终端，其中，编码采用目标分辨率；
其中，所述目标分辨率按照如下方法确定：
S11、在检测时间到来，且网络状态介于差和良好之间时，获取当前编码码率，其中，所述检测时间根据检测周期和补偿时间确定，所述补偿时间根据网络状态确定；
本实施例中，需要说明的是，网络状态可以分为差、良好和其它状态，可以根据网络丢包量化值Loss值和网络包往返时延RTT值来确定。具体地，可以定时检测Loss值（取值范围可以为0~255，例如255为全部丢包，0为不丢包）和RTT值，并将各个时刻的Loss值记录在队列list_loss_fraction中，将各个时刻的RTT值记录在队列list_rtt_ms中。Loss值和RTT值的检测可以采用现有技术，此处不再赘述。
对于队列list_loss_fraction，统计网络中持续的丢包情况，在一个常规检测周期（例如10s）内，记录抖动次数（非0的Loss值的数量），抖动次数除以常规检测时间内的数据总数得到丢包抖动比率，丢包抖动比率有超过预设值Q1（比如3%，具体取值可以根据需要设置）而不超过预设值Q2（比如10%，具体取值可以根据需要设置）的丢包，则认为网络小抖动；有超过预设值Q2的丢包，则认为网络持续抖动；其它情况则认为网络状态良好。举例来说，假设Q1为3%，Q2为10%，且在一个历史检测周期内队列list_loss_fraction中有5个值，分别为0、0、0、0和255，这5个值里的丢包抖动比率为20%（即1/5），其大于Q2，则可以认为网络持续抖动。
相应的，对于队列list_rtt_ms，统计网络中持续延迟的情况，在一个常规检测周期内，记录延迟次数。延迟判断需定义两个预设值Q3，Q4。比如可以根据需要设置Q3=20ms，Q4=60ms。小于20ms表示网络延迟良好；超过60ms表示网络有抖动。统计时，记录两个比率，一个是延迟良好比率R1，另一个是延迟抖动比率R2。延迟良好次数除以常规检测周期内的数据总数得到延迟良好比率R1；延迟抖动次数除以常规检测周期内的数据总数得到延迟抖动比率R2。如果R1>Q5（比如95%）,则设置网络状态为良好；否则，再判断R2。如果R2>Q6（比如10%）,则设置网络状态为持续抖动；否则为小抖动。举例来说，假设在一个常规检测周期内队列list_rtt_ms中有10个值，分别为15 ms、16 ms、17 ms、18 ms、19 ms、20 ms、22 ms、23ms、50 ms和18 ms，且Q5=95%，Q6=10%；则延迟良好次数为6，延迟抖动次数为0；R1=6/10=60%，R2=0。R1< Q5且R2< Q6，则可以认为网络小抖动。
在根据Loss值和RTT值确定出各个常规检测周期对应的网络状态之后，可以将其分别记录在队列history_loss和history_rtt_ms中。
在每个历史检测周期里，从history_loss中读出每一个基于Loss值的网络状态，并做计数：如果所有的状态值均为良好，设置loss_status为loss_up，其意义为由Loss值决定的分辨率调整方案为升分辨率；如果所有的状态值均为小抖动或持续抖动，设置loss_status为loss_down，其意义为由Loss值决定的分辨率调整方案为降分辨率。
从history_rtt_ms中读出每一个基于RTT值的网络状态，并做计数：如果所有的状态值均为良好，设置rtt_status为rtt_up，其意义为由RTT值决定的分辨率调整方案为升分辨率；如果所有的状态值均为小抖动或持续抖动，设置rtt_status为rtt_down，其意义为由RTT值的分辨率调整方案为降分辨率。
综合loss_status和rtt_status，如果loss_status为loss_up并且rtt_status为rtt_up，则确定网络状态良好；如果loss_status为loss_down并且rtt_status为rtt_down，则确定网络状态差；其他情况，则确定为其他状态。
本实施例中，在第一次检测时，可以先等待网络带宽稳定，等网络带宽稳定后，可以判断网络状态是否介于差和良好之间，即处于其它状态，如果网络状态处于其它状态，则会判断检测时间是否到来，如果检测时间到来，则会获取当前编码码率，其中，该检测时间即为判断分辨率是否调整的检测时间，其由检测周期和补偿时间确定，即该检测时间为检测周期对应时间与补偿时间的和。检测周期可以根据需要设置，比如设置为10s。补偿时间可以为正数，也可以为负数或0，其取值依据网络状态确定。当前编码码率即为当前对云应用的渲染画面进行编码的码率。
S12、在所述当前编码码率不满足第一条件且不满足第二条件时，比较调整比率与预设的降采样比率的大小，其中，所述第一条件为当前编码码率大于预设的最大分辨率码率，且当前分辨率高度大于预设的最大分辨率高度，所述第二条件为当前编码码率小于预设的最小分辨率码率，且当前分辨率高度小于预设的最小分辨率高度，所述调整比率根据所述当前编码码率确定；
本实施例中，在获取当前编码码率之后，会判断所述当前编码码率是否满足第一条件，如果满足所述第一条件，则确定分辨率调整方案为保持分辨率不变；而如果不满足所述第一条件，则会判断所述当前编码码率是否满足第二条件，如果满足所述第二条件，则确定分辨率调整方案为保持分辨率不变；而如果不满足所述第二条件，则会比较调整比率与预设的降采样比率（取值可以为1.001，具体取值可以根据需要确定）的大小，其中，所述第一条件为当前编码码率大于预设的最大分辨率码率（可以为原始渲染分辨率的最大编码码率），且当前分辨率高度大于预设的最大分辨率高度（可以为原始渲染分辨率的高度），所述第二条件为当前编码码率小于预设的最小分辨率码率（可以为原始渲染分辨率的最小编码码率），且当前分辨率高度小于预设的最小分辨率高度（即可配置的最小分辨率的高度）。当前分辨率高度即为当前编码使用的分辨率的高度。调整比率根据所述当前编码码率确定。
S13、根据所述调整比率与预设的降采样比率的大小比较结果确定分辨率调整方案，并根据所述分辨率调整方案确定所述目标分辨率。
本实施例中，在确定出所述调整比率与预设的降采样比率的大小比较结果之后，可以根据比较结果确定分辨率调整方案，并根据所述分辨率调整方案确定所述目标分辨率。
本申请实施例提供的分辨率调整方法，根据网络状态确定检测周期的补偿时间，利用所述补偿时间确定检测时间；在检测时间到来，且网络状态介于差和良好之间时，获取当前编码码率，在所述当前编码码率不满足第一条件且不满足第二条件时，比较调整比率与预设的降采样比率的大小，根据所述调整比率与预设的降采样比率的大小比较结果确定分辨率调整方案，并根据所述分辨率调整方案确定目标分辨率，利用目标分辨率对渲染画面进行编码，整个方案通过把控检测时机，并结合分辨率调整方案，能够达到较好的抗弱网效果的同时，保证较好的渲染效果，而且不需要额外的边缘计算节点进行处理，因而能够以较低的成本实现方案。
在前述方法实施例的基础上，所述补偿时间可以按照如下方法确定：
计算网络丢包量化值Loss值和/或网络包往返时延RTT值，并根据所述Loss值确定第一网络状态和/或根据所述RTT值确定第二网络状态，其中，所述第一网络状态和第二网络状态均包括持续抖动、小抖动和状态良好；
若根据所述第一网络状态和/或第二网络状态确定网络状态良好，则确定所述补偿时间为N1秒，其中，N1为正数；或者
若根据所述第一网络状态和/或第二网络状态确定网络小抖动，则确定所述补偿时间为N2秒，其中，N2为负数；或者
若根据所述第一网络状态和/或第二网络状态确定网络持续抖动，则确定所述补偿时间为N3秒，其中，N3为负数，且N3的绝对值大于N2的绝对值。
本实施例中，需要说明的是，所述补偿时间可以根据由Loss值确定的网络状态（记为第一网络状态）和由RTT值确定的网络状态（记为第二网络状态）中的至少一种确定，而如何根据Loss值确定第一网络状态以及如何根据RTT值确定第二网络状态，可以参见前述实施例，本实施例对此不再赘述。
如果所述补偿时间仅根据第一网络状态确定，则当第一网络状态分别指示网络状态良好、网络小抖动和网络持续抖动时，确定所述补偿时间分别为N1秒、N2秒和N3秒；如果所述补偿时间仅根据第二网络状态确定，则当第二网络状态分别指示网络状态良好、网络小抖动和网络持续抖动时，确定所述补偿时间分别为N1秒、N2秒和N3秒；而如果所述补偿时间根据第一网络状态和第二网络状态确定，则当根据第一网络状态和第二网络状态确定出的网络状态分别为网络状态良好、网络小抖动和网络持续抖动时，确定所述补偿时间分别为N1秒、N2秒和N3秒。
其中，根据第一网络状态和第二网络状态确定网络状态的方法可以为：
当第一网络状态和第二网络状态均指示网络状态良好时，确定网络状态为网络状态良好；
当第一网络状态或第二网络状态均指示网络持续抖动时，确定网络状态为网络持续抖动；
当第一网络状态或第二网络状态均指示网络小抖动时，确定网络状态为网络小抖动；
其它情况确定网络状态为网络小抖动。
当然，除了上述方法之外，根据第一网络状态和第二网络状态确定网络状态也可以采用其他的策略，此处不再赘述。
上述N1为正数，取值可以为5；N2为负数，取值可以为-5；N3为负数，且其绝对值大于N2的绝对值，其取值可以为-10。除了上述取值之外，N1、N2和N3均可以采用其它取值，本实施例对此不作限制。
本实施例中，根据由Loss值和/或RTT值确定出的网络状态来确定补偿时间，便于根据补偿时间确定出合理的检测时间，从而便于较准确的把控分辨率调整时机，相较于前述实施例，能够达到更好的抗弱网效果。
在前述方法实施例的基础上，所述根据所述调整比率与预设的降采样比率的大小比较结果确定分辨率调整方案，可以包括：
判断所述调整比率是否小于所述降采样比率，其中，所述调整比率为所述当前编码码率与所述最小分辨率码率的比值；
若所述调整比率小于所述降采样比率，则确定分辨率调整方案为降低分辨率；或者
若所述调整比率不小于所述降采样比率，则判断所述调整比率是否小于预设的保持分辨率比率，若所述调整比率小于所述保持分辨率比率，则确定分辨率调整方案为保持分辨率不变，或者若所述调整比率不小于所述保持分辨率比率，则确定分辨率调整方案为增大分辨率。
本实施例中，在根据所述调整比率与预设的降采样比率的大小比较结果确定分辨率调整方案时，需要判断所述调整比率与所述降采样比率的大小关系，并视情况判断所述调整比率与预设的保持分辨率比率（取值可以为1.151，具体取值可以根据需要确定）的大小关系，具体来说，需先判断所述调整比率是否小于所述降采样比率，如果若所述调整比率小于所述降采样比率，则确定分辨率调整方案为降低分辨率。而如果所述调整比率不小于所述降采样比率，则需要判断所述调整比率是否小于所述保持分辨率比率，如果所述调整比率小于所述保持分辨率比率，则确定分辨率调整方案为保持分辨率不变，或者如果所述调整比率不小于所述保持分辨率比率，则确定分辨率调整方案为增大分辨率。需要说明的是，所述调整比率为所述当前编码码率与所述最小分辨率码率的比值。本实施例以及本实施例前后实施例中出现的降低分辨率均可以指降采样为调整前分辨率的b1/a1（b1和a1均为正整数，且b1小于或等于a1），增大分辨率均可以指升采样为调整前分辨率的b2/a2（b2和a2均为正整数，且b2大于或等于a2）。调整后的分辨率不能超过原始渲染分辨率，且不能小于可配置的最小分辨率。需要说明的是，b1/a1和b2/a2可以是固定值，也可以是非固定值。举例来说，b1/a1取值可以为3/4、2/3，则降低分辨率时可以按照轮询的方式依次从集合{3/4，2/3}中取值，比如第一次降低分辨率时将分辨率降为当前分辨率的2/3，第二次降低分辨率时将分辨率降为当前分辨率的3/4，第三次降低分辨率时将分辨率降为当前分辨率的2/3，第四次降低分辨率时将分辨率降为当前分辨率的3/4，第五次降低分辨率时将分辨率降为当前分辨率的2/3等等。增大分辨率的过程同降低分辨率的过程，此处不再赘述。b2/a2可以与b1/a1对应，比如当b1/a1取值为3/4、2/3时，b2/a2取值可以为4/3、3/2。
本实施例中，基于所述调整比率与预设的降采样比率的大小比较结果、所述调整比率与预设的保持分辨率比率的大小比较结果来确定分辨率调整方案，相较于前述实施例，能够保证更好的渲染效果。
在前述方法实施例的基础上，所述方法还可以包括：
在所述当前编码码率满足所述第一条件，或者不满足所述第一条件，且满足所述第二条件时，确定分辨率调整方案为保持分辨率不变。
在前述方法实施例的基础上，所述方法还可以包括：
在所述当前编码码率小于预设的第一数值时，增大编码量化参数QP值。
本实施例中，所述第一数值为在终端保持游戏还能进行的最低带宽值。在所述当前编码码率小于所述第一数值时，增大编码量化参数QP值，而当所述当前编码码率不小于所述第一数值时，恢复编码量化参数QP值为原始值。在调整完编码量化参数QP值后，可以根据所述当前编码码率设置优先码率值。其中，所述优先码率值的设置可以采用现有技术，此处不再赘述。当所述当前编码码率小于所述第一数值时，增大编码量化参数QP值，即通过编码优化降低画质（大量马赛克块）的方式，在低数据量的情况下，保持画面流畅。
在前述方法实施例的基础上，所述在检测时间到来，且网络状态介于差和良好之间时，获取当前编码码率，可以包括：
在检测时间到来，且网络状态介于差和良好之间，且所述云应用的自身渲染帧率不小于预设的第二数值时，获取当前编码码率。
本实施例中，所述第二数值可以根据需要设置，比如设置为15fps。在获取当前编码码率之前，还需要云应用的自身渲染帧率不小于所述第二数值，具体地，可以先判断所述云应用的自身渲染帧率是否小于所述第二数值，若所述云应用的自身渲染帧率不小于所述第二数值，则判断网络状态是否介于差和良好之间，即处于其它状态，若网络状态处于其它状态，则会判断检测时间是否到来，如果检测时间到来，则会获取当前编码码率。
在前述方法实施例的基础上，所述方法还可以包括：
在网络状态差，且所述云应用的自身渲染帧率不小于所述第二数值时，确定分辨率调整方案为降低分辨率；或者
在检测时间未到来，且网络状态介于差和良好之间，且所述云应用的自身渲染帧率不小于所述第二数值时，确定分辨率调整方案为保持分辨率不变；或者
在网络状态良好，且所述云应用的自身渲染帧率不小于所述第二数值时，确定分辨率调整方案为增大分辨率；或者
在所述云应用的自身渲染帧率小于所述第二数值，且当前分辨率高度小于预设的第三数值时，确定分辨率调整方案为增大分辨率；或者
在所述云应用的自身渲染帧率小于所述第二数值，且当前分辨率高度不小于所述第三数值时，确定分辨率调整方案为保持分辨率不变。
本实施例中，具体地，可以先判断所述云应用的自身渲染帧率是否小于所述第二数值，如果所述云应用的自身渲染帧率小于所述第二数值，说明云应用可能处于类似登录、设置、查看状态等状态的画面显示中，此时需要判断当前分辨率高度是否小于预设的第三数值，若所述当前分辨率高度小于所述第三数值（可以为原始渲染分辨率的高度），确定分辨率调整方案为增大分辨率，具体可以增大至原始渲染分辨率，以达到更好的显示效果。此时，即使分辨率最大的情况下，帧率很小，所发出的数据量也是很小的。即使网络较差的情况，依然能使用户享受高清的画质和流畅的体验。否则，则确定分辨率调整方案为保持分辨率不变。
若所述云应用的自身渲染帧率不小于所述第二数值，则判断网络状态是否介于差和良好之间，即处于其它状态，若网络状态处于其它状态，则会判断检测时间是否到来，如果检测时间未到来，则确定分辨率调整方案为保持分辨率不变。除此之外，若网络状态差，则确定分辨率调整方案为降低分辨率，或者若网络状态好，则确定分辨率调整方案为增大分辨率。
另外，需要说明的是，分辨率在降低后，可以通过设置编码码率来适配小的分辨率，使得画质变得更好。而且在网络传输时的数据量很小，对于抗延迟、抗丢包、抗带宽受限上具有很大的优势。同时终端接收到云应用画面后，只需要做拉伸处理，此时得到的画质，使用PSNR（峰值信噪比）、SSIM（结构相似性）、VMAF（视频多方法评估融合）标准做评测后的显示效果，均优于在同等条件下有大量马赛克或者FEC丢包合成的效果。同时在相同弱网下，游戏的卡顿感、延迟感均优于不做调整时的体感。
参照图2所示，为本申请实施例提供的一种分辨率调整装置的结构示意图，该装置具体包括：
调整单元20，用于在对云应用运行过程中产生的画面进行渲染得到渲染画面后，对所述渲染画面进行编码，并将经编码后的渲染画面发送给终端，其中，编码采用目标分辨率；
其中，所述装置还包括：
获取单元21，用于在检测时间到来，且网络状态介于差和良好之间时，获取当前编码码率，其中，所述检测时间根据检测周期和补偿时间确定，所述补偿时间根据网络状态确定；
比较单元22，用于在所述当前编码码率不满足第一条件且不满足第二条件时，比较调整比率与预设的降采样比率的大小，其中，所述第一条件为当前编码码率大于预设的最大分辨率码率，且当前分辨率高度大于预设的最大分辨率高度，所述第二条件为当前编码码率小于预设的最小分辨率码率，且当前分辨率高度小于预设的最小分辨率高度，所述调整比率根据所述当前编码码率确定；
确定单元23，用于根据所述调整比率与预设的降采样比率的大小比较结果确定分辨率调整方案，并根据所述分辨率调整方案确定所述目标分辨率。
本申请实施例提供的分辨率调整装置，根据网络状态确定检测周期的补偿时间，利用所述补偿时间确定检测时间；在检测时间到来，且网络状态介于差和良好之间时，获取当前编码码率，在所述当前编码码率不满足第一条件且不满足第二条件时，比较调整比率与预设的降采样比率的大小，根据所述调整比率与预设的降采样比率的大小比较结果确定分辨率调整方案，并根据所述分辨率调整方案确定目标分辨率，利用目标分辨率对渲染画面进行编码，整个方案通过把控检测时机，并结合分辨率调整方案，能够达到较好的抗弱网效果的同时，保证较好的渲染效果，而且不需要额外的边缘计算节点进行处理，因而能够以较低的成本实现方案。
本申请实施例提供的分辨率调整装置，其实现过程与本申请实施例提供的分辨率调整方法一致，所能达到的效果也与本申请实施例提供的分辨率调整方法相同，在此不再赘述。
如图3所示，本申请实施例提供的一种电子设备，包括：处理器30、存储器31和总线32，所述存储器31存储有所述处理器30可执行的机器可读指令，当电子设备运行时，所述处理器30与所述存储器31之间通过总线32通信，所述处理器30执行所述机器可读指令，以执行如上述分辨率调整方法的步骤。
具体地，上述存储器31和处理器30能够为通用的存储器和处理器，这里不做具体限定，当处理器30运行存储器31存储的计算机程序时，能够执行上述分辨率调整方法。
对应于上述分辨率调整方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述分辨率调整方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种分辨率调整方法，其特征在于，包括：
在对云应用运行过程中产生的画面进行渲染得到渲染画面后，对所述渲染画面进行编码，并将经所述编码后的渲染画面发送给终端，其中，编码采用目标分辨率；
其中，所述目标分辨率按照如下方法确定：
在检测时间到来，且网络状态介于差和良好之间时，获取当前编码码率，其中，所述检测时间根据检测周期和补偿时间确定，所述补偿时间根据网络状态确定；
在所述当前编码码率不满足第一条件且不满足第二条件时，比较调整比率与预设的降采样比率的大小，其中，所述第一条件为当前编码码率大于预设的最大分辨率码率，且当前分辨率高度大于预设的最大分辨率高度，所述第二条件为当前编码码率小于预设的最小分辨率码率，且当前分辨率高度小于预设的最小分辨率高度，所述调整比率根据所述当前编码码率确定；
根据所述调整比率与预设的降采样比率的大小比较结果确定分辨率调整方案，并根据所述分辨率调整方案确定所述目标分辨率。
2.如权利要求1所述的方法，其特征在于，所述补偿时间按照如下方法确定：
计算网络丢包量化值Loss值和/或网络包往返时延RTT值，并根据所述Loss值确定第一网络状态和/或根据所述RTT值确定第二网络状态，其中，所述第一网络状态和第二网络状态均包括持续抖动、小抖动和状态良好；
若根据所述第一网络状态和/或第二网络状态确定网络状态良好，则确定所述补偿时间为N1秒，其中，N1为正数；或者
若根据所述第一网络状态和/或第二网络状态确定网络小抖动，则确定所述补偿时间为N2秒，其中，N2为负数；或者
若根据所述第一网络状态和/或第二网络状态确定网络持续抖动，则确定所述补偿时间为N3秒，其中，N3为负数，且N3的绝对值大于N2的绝对值。
3.如权利要求1或2所述的方法，其特征在于，所述根据所述调整比率与预设的降采样比率的大小比较结果确定分辨率调整方案，包括：
判断所述调整比率是否小于所述降采样比率，其中，所述调整比率为所述当前编码码率与所述最小分辨率码率的比值；
若所述调整比率小于所述降采样比率，则确定分辨率调整方案为降低分辨率；或者
若所述调整比率不小于所述降采样比率，则判断所述调整比率是否小于预设的保持分辨率比率，若所述调整比率小于所述保持分辨率比率，则确定分辨率调整方案为保持分辨率不变，或者若所述调整比率不小于所述保持分辨率比率，则确定分辨率调整方案为增大分辨率。
4.如权利要求1所述的方法，其特征在于，还包括：
在所述当前编码码率满足所述第一条件，或者不满足所述第一条件，且满足所述第二条件时，确定分辨率调整方案为保持分辨率不变。
5.如权利要求1所述的方法，其特征在于，还包括：
在所述当前编码码率小于预设的第一数值时，缩小编码量化参数QP值。
6.如权利要求1所述的方法，其特征在于，所述在检测时间到来，且网络状态介于差和良好之间时，获取当前编码码率，包括：
在检测时间到来，且网络状态介于差和良好之间，且所述云应用的自身渲染帧率不小于预设的第二数值时，获取当前编码码率。
7.如权利要求6所述的方法，其特征在于，所述方法，还包括：
在网络状态差，且所述云应用的自身渲染帧率不小于所述第二数值时，确定分辨率调整方案为降低分辨率；或者
在检测时间未到来，且网络状态介于差和良好之间，且所述云应用的自身渲染帧率不小于所述第二数值时，确定分辨率调整方案为保持分辨率不变；或者
在网络状态良好，且所述云应用的自身渲染帧率不小于所述第二数值时，确定分辨率调整方案为增大分辨率；或者
在所述云应用的自身渲染帧率小于所述第二数值，且当前分辨率高度小于预设的第三数值时，确定分辨率调整方案为增大分辨率；或者
在所述云应用的自身渲染帧率小于所述第二数值，且当前分辨率高度不小于所述第三数值时，确定分辨率调整方案为保持分辨率不变。
8.一种分辨率调整装置，其特征在于，包括：
调整单元，用于在对云应用运行过程中产生的画面进行渲染得到渲染画面后，对所述渲染画面进行编码，并将经编码后的渲染画面发送给终端，其中，编码采用目标分辨率；
其中，所述装置还包括：
获取单元，用于在检测时间到来，且网络状态介于差和良好之间时，获取当前编码码率，其中，所述检测时间根据检测周期和补偿时间确定，所述补偿时间根据网络状态确定；
比较单元，用于在所述当前编码码率不满足第一条件且不满足第二条件时，比较调整比率与预设的降采样比率的大小，其中，所述第一条件为当前编码码率大于预设的最大分辨率码率，且当前分辨率高度大于预设的最大分辨率高度，所述第二条件为当前编码码率小于预设的最小分辨率码率，且当前分辨率高度小于预设的最小分辨率高度，所述调整比率根据所述当前编码码率确定；
确定单元，用于根据所述调整比率与预设的降采样比率的大小比较结果确定分辨率调整方案，并根据所述分辨率调整方案确定所述目标分辨率。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一项所述的分辨率调整方法的步骤。
10.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至7任一项所述的分辨率调整方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111104051.5A CN113573142B (zh) | 2021-09-22 | 2021-09-22 | 分辨率调整方法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111104051.5A CN113573142B (zh) | 2021-09-22 | 2021-09-22 | 分辨率调整方法与装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113573142A true CN113573142A (zh) | 2021-10-29 |
| CN113573142B CN113573142B (zh) | 2021-12-24 |
Family
ID=78173863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111104051.5A Active CN113573142B (zh) | 2021-09-22 | 2021-09-22 | 分辨率调整方法与装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113573142B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116440501A (zh) * | 2023-06-16 | 2023-07-18 | 瀚博半导体(上海)有限公司 | 自适应云游戏视频画面渲染方法和系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0433199A1 (fr) * | 1989-12-15 | 1991-06-19 | ETAT FRANCAIS représenté par le Ministre des PTT (Centre National d'Etudes des Télécommunications) | Système et décodeur de signal haute définition de la famille MAC/Paquet, compatibles avec une transmission en large bande et en bande étroite |
| JP2005229400A (ja) * | 2004-02-13 | 2005-08-25 | Matsushita Electric Ind Co Ltd | 映像品質表示装置 |
| CN103974060A (zh) * | 2013-01-31 | 2014-08-06 | 华为技术有限公司 | 视频质量调整方法和装置 |
| US20160241892A1 (en) * | 2015-02-17 | 2016-08-18 | Nextvr Inc. | Methods and apparatus for generating and using reduced resolution images and/or communicating such images to a playback or content distribution device |
| CN106792156A (zh) * | 2016-12-08 | 2017-05-31 | 深圳Tcl新技术有限公司 | 提升网络视频清晰度的方法及装置 |
| CN108391127A (zh) * | 2018-04-27 | 2018-08-10 | 腾讯科技（深圳）有限公司 | 视频编码方法、装置、存储介质及设备 |
| CN111185003A (zh) * | 2019-12-31 | 2020-05-22 | 咪咕互动娱乐有限公司 | 实时云应用托管方法、装置、服务器和存储介质 |
| CN111340711A (zh) * | 2020-05-21 | 2020-06-26 | 腾讯科技（深圳）有限公司 | 一种超分辨率重建方法、装置、设备和存储介质 |
| CN111681167A (zh) * | 2020-06-03 | 2020-09-18 | 腾讯科技（深圳）有限公司 | 画质调整方法和装置、存储介质及电子设备 |
| CN112738553A (zh) * | 2020-12-18 | 2021-04-30 | 深圳市微网力合信息技术有限公司 | 一种基于网络通信质量的自适应云渲染系统及方法 |
| CN112929704A (zh) * | 2021-01-26 | 2021-06-08 | 游密科技(深圳)有限公司 | 数据传输方法、装置、电子设备以及存储介质 |
| CN113411637A (zh) * | 2021-07-05 | 2021-09-17 | 北京海誉动想科技股份有限公司 | 画面处理方法与装置 |
-
2021
- 2021-09-22 CN CN202111104051.5A patent/CN113573142B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0433199A1 (fr) * | 1989-12-15 | 1991-06-19 | ETAT FRANCAIS représenté par le Ministre des PTT (Centre National d'Etudes des Télécommunications) | Système et décodeur de signal haute définition de la famille MAC/Paquet, compatibles avec une transmission en large bande et en bande étroite |
| JP2005229400A (ja) * | 2004-02-13 | 2005-08-25 | Matsushita Electric Ind Co Ltd | 映像品質表示装置 |
| CN103974060A (zh) * | 2013-01-31 | 2014-08-06 | 华为技术有限公司 | 视频质量调整方法和装置 |
| US20160241892A1 (en) * | 2015-02-17 | 2016-08-18 | Nextvr Inc. | Methods and apparatus for generating and using reduced resolution images and/or communicating such images to a playback or content distribution device |
| CN106792156A (zh) * | 2016-12-08 | 2017-05-31 | 深圳Tcl新技术有限公司 | 提升网络视频清晰度的方法及装置 |
| CN108391127A (zh) * | 2018-04-27 | 2018-08-10 | 腾讯科技（深圳）有限公司 | 视频编码方法、装置、存储介质及设备 |
| CN111185003A (zh) * | 2019-12-31 | 2020-05-22 | 咪咕互动娱乐有限公司 | 实时云应用托管方法、装置、服务器和存储介质 |
| CN111340711A (zh) * | 2020-05-21 | 2020-06-26 | 腾讯科技（深圳）有限公司 | 一种超分辨率重建方法、装置、设备和存储介质 |
| CN111681167A (zh) * | 2020-06-03 | 2020-09-18 | 腾讯科技（深圳）有限公司 | 画质调整方法和装置、存储介质及电子设备 |
| CN112738553A (zh) * | 2020-12-18 | 2021-04-30 | 深圳市微网力合信息技术有限公司 | 一种基于网络通信质量的自适应云渲染系统及方法 |
| CN112929704A (zh) * | 2021-01-26 | 2021-06-08 | 游密科技(深圳)有限公司 | 数据传输方法、装置、电子设备以及存储介质 |
| CN113411637A (zh) * | 2021-07-05 | 2021-09-17 | 北京海誉动想科技股份有限公司 | 画面处理方法与装置 |
Non-Patent Citations (3)
| Title |
|---|
| MARYAM JENAB: "Content-Adaptive Resolution Control To Improve Video Coding Efficiency", 《2018 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA & EXPO WORKSHOPS (ICMEW)》 * |
| 李盼等: "3G网络下视频传输自适应控制的研究", 《电子设计工程》 * |
| 赵娜: "面向UHDTV的视频显示质量评估研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116440501A (zh) * | 2023-06-16 | 2023-07-18 | 瀚博半导体(上海)有限公司 | 自适应云游戏视频画面渲染方法和系统 |
| CN116440501B (zh) * | 2023-06-16 | 2023-08-29 | 瀚博半导体(上海)有限公司 | 自适应云游戏视频画面渲染方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113573142B (zh) | 2021-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10659847B2 (en) | Frame dropping method for video frame and video sending apparatus | |
| CN111669619B (zh) | 一种视频流数据切换方法、装置、终端和可读存储介质 | |
| CN108881894B (zh) | Vr多媒体的体验质量确定方法及装置 | |
| CN111182352B (zh) | 一种视频播放的自适应码流控制装置及方法 | |
| CN113573142B (zh) | 分辨率调整方法与装置 | |
| CN113037697A (zh) | 一种视频帧处理方法、装置和电子设备及可读存储介质 | |
| CN108737818B (zh) | 一种拥塞网络下的丢帧方法、装置及终端设备 | |
| CN113766217A (zh) | 视频延时的测试方法、装置、电子设备及存储介质 | |
| CN113286146B (zh) | 媒体数据处理方法、装置、设备以及存储介质 | |
| CN112087627A (zh) | 图像的编码控制方法、装置、设备及存储介质 | |
| CN114245196B (zh) | 一种录屏推流方法、装置、电子设备及存储介质 | |
| CN111524110A (zh) | 视频质量的评价模型构建方法、评价方法及装置 | |
| CN116260801A (zh) | 一种流媒体音视频推送的推流参数控制方法及相关装置 | |
| CN114302145A (zh) | 自适应网络环境的视频编码优化方法、装置、设备及存储介质 | |
| CN114302142A (zh) | 视频编码方法、图像发送设备及存储介质 | |
| US20210058616A1 (en) | Systems and Methods for Selective Transmission of Media Content | |
| CN115002520B (zh) | 一种视频流数据处理方法、装置、设备及存储介质 | |
| TWI779655B (zh) | 混合渲染系統和混合渲染方法 | |
| CN114338550B (zh) | 一种减低带宽的云电脑实时编码方法及系统 | |
| JP2003009117A (ja) | 動画像のリアルタイム配信方法及び配信システム | |
| US20220277686A1 (en) | Display control apparatus, transmission apparatus, display control method, and program | |
| CN114466228B (zh) | 一种提高投屏显示流畅度的方法、设备及存储介质 | |
| EP3989566A1 (en) | Motion information list construction method in video encoding and decoding, device, and apparatus | |
| CN117596444A (zh) | 视频卡顿检测方法、系统、设备以及存储介质 | |
| CN116996639A (zh) | 投屏帧率获取方法、装置、计算机设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 230031 Room 672, 6/F, Building A3A4, Zhong'an Chuanggu Science Park, No. 900, Wangjiang West Road, High-tech Zone, Hefei, Anhui Patentee after: Anhui Haima Cloud Technology Co.,Ltd. Address before: 100015 rooms 304 and 305, 3 / F, 201 / F, yard 10, Jiuxianqiao North Road, Chaoyang District, Beijing Patentee before: BEIJING HAIYUDONGXIANG TECHNOLOGY Co.,Ltd. |
|
| CP03 | Change of name, title or address |