CN117061791B - 云视频帧自适应协作渲染方法、装置及计算机设备 - Google Patents

云视频帧自适应协作渲染方法、装置及计算机设备 Download PDF

Info

Publication number
CN117061791B
CN117061791B CN202311316498.8A CN202311316498A CN117061791B CN 117061791 B CN117061791 B CN 117061791B CN 202311316498 A CN202311316498 A CN 202311316498A CN 117061791 B CN117061791 B CN 117061791B
Authority
CN
China
Prior art keywords
rendering
target area
cloud video
area
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311316498.8A
Other languages
English (en)
Other versions
CN117061791A (zh
Inventor
许亦
王曜
刘琦
贺国超
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yuntian Changxiang Information Technology Co ltd
Original Assignee
Shenzhen Yuntian Changxiang Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yuntian Changxiang Information Technology Co ltd filed Critical Shenzhen Yuntian Changxiang Information Technology Co ltd
Priority to CN202311316498.8A priority Critical patent/CN117061791B/zh
Publication of CN117061791A publication Critical patent/CN117061791A/zh
Application granted granted Critical
Publication of CN117061791B publication Critical patent/CN117061791B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了一种云视频帧自适应协作渲染方法、装置及计算机设备，包括以下步骤：根据所述目标区域，通过信息量检测，得到目标区域的动态信息量；根据所述动态信息量，通过渲染倍数的自适应关系，得到目标区域的自适应渲染倍数；第一渲染服务器依据所述目标区域的自适应渲染倍数，对所述目标区域进行画面渲染得到第一渲染区域；第二渲染服务器依据固定渲染倍数，对所述非目标区域进行画面渲染得到第二渲染区域。本发明通过建立渲染倍数的自适应关系，根据信息动态性强的渲染区域的动态信息量得到信息动态性强的渲染区域的自适应渲染倍数，使得信息动态性强的渲染区域中渲染流畅性得以适配信息动态性，云视频的渲染效果达到最佳。

Description

云视频帧自适应协作渲染方法、装置及计算机设备
技术领域
本发明涉及视频处理技术领域，具体涉及一种云视频帧自适应协作渲染方法、装置及计算机设备。
背景技术
流媒体已经遍布人们工作生活的方方面面，例如电视、手机、笔记本等各种终端中都要使用流媒体进行视频及云视频播放。相应的，人们对视频播放质量的要求，包括清晰度、流畅性、实时性等方面要求也越来越高。很多流媒体场景比如云游戏的云渲染(Rendering)，是在云端完成渲染，然后将渲染得到的视频图像编码串流传输至端侧，由端侧对接收到的码流进行解码。这样，端侧可以获取到高质量的渲染内容实现视频播放。
在现有技术进行视频帧渲染时，通常对渲染服务器进行统一的渲染设定，导致渲染忽略了视频帧的信息动态性，使得渲染流畅性无法适配信息动态性，云视频的渲染效果无法达到最佳，影响云游戏体验。
发明内容
本发明的目的在于提供一种云视频帧自适应协作渲染方法、装置及计算机设备，以解决现有技术中渲染忽略了视频帧的信息动态性，使得渲染流畅性无法适配信息动态性，云视频的渲染效果无法达到最佳的技术问题。
为解决上述技术问题，本发明具体提供下述技术方案：
在本发明的第一个方面，本发明提供了一种云视频帧自适应协作渲染方法，包括以下步骤：
获取云视频，所述云视频中包含有多个云视频帧，所述云视频帧包含目标区域和非目标区域；
对目标区域和非目标区域，通过渲染服务器匹配，得到第一渲染服务器和第二渲染服务器，其中，第一渲染服务器对应于目标区域的画面渲染，第二渲染服务器对应于非目标区域的画面渲染；
根据所述目标区域，通过信息量检测，得到目标区域的动态信息量；
根据所述动态信息量，通过渲染倍数的自适应关系，得到目标区域的自适应渲染倍数，所述渲染倍数的自适应关系为表征动态信息量与渲染倍数映射关系的神经网络；
第一渲染服务器依据所述目标区域的自适应渲染倍数，对所述目标区域进行画面渲染得到第一渲染区域；
第二渲染服务器依据固定渲染倍数，对所述非目标区域进行画面渲染得到第二渲染区域；
将第一渲染区域和第二渲染区域进行融合重构得到渲染云视频帧，将渲染云视频帧对应替换云视频中的云视频帧，得到渲染云视频。
作为本发明的一种优选方案，所述云视频帧的目标区域和云视频帧的非目标区域的确定，包括：
利用YOLO V5网络对云视频帧进行目标检测，得到云视频帧的目标区域和云视频帧的非目标区域；
所述YOLO V5网络经由大数据量的云视频帧进行训练。
作为本发明的一种优选方案，所述目标区域的动态信息量的确定，包括：
在云视频中，根据云视频帧的序列位置顺序，将位于目标区域所属的云视频帧的前置相邻序列位置处的云视频帧，标定为目标区域的前置云视频帧，以及将位于目标区域所属的云视频帧的后置相邻序列位置处的云视频帧，标定为目标区域的后置云视频帧；
提取出所述前置云视频帧中的目标区域作为目标区域的前置目标区域，以及提取出所述后置云视频帧中的目标区域作为目标区域的后置目标区域；
将目标区域、前置目标区域和后置目标区域进行离散性分析，得到目标区域的动态信息量。
作为本发明的一种优选方案，所述离散性分析采用标准差方式进行量化；
所述离散性分析的表达式为：；式中，K M 为目标区域的动态信息量，G i 为i的图像矩阵，i为L，M，R的标识符，L，M，R分别为前置目标区域，目标区域，后置目标区域，/>为G i 与/>的矩阵距离。
作为本发明的一种优选方案，所述渲染倍数的自适应关系的构建，包括：
随机选取一组目标区域作为学习区域，获取目标区域的动态信息量作为学习区域的动态信息量，获取目标区域的前置目标区域和后置目标区域分别作为学习区域的前置学习区域和后置学习区域；
在每个学习区域中，利用梯度下降法设定多个渲染倍数；
在每个学习区域中，逐一利用每个渲染倍数对学习区域进行画面渲染，得到每个渲染倍数下的渲染学习区域；
在每个学习区域中，逐一将每个渲染倍数下的渲染学习区域与学习区域的前置学习区域和后置学习区域，依据云视频帧的序列位置顺序，构成局部云视频；
在每个学习区域中，逐一检测每个渲染倍数下的局部云视频的播放流畅度；
在每个学习区域中，利用BP神经网络对渲染倍数与所述播放流畅度进行学习训练，得到第一渲染倍数测算网络；
所述第一渲染倍数测算网络的函数表达式为：H=BP(T)；
式中，H为播放流畅度，T为渲染倍数，BP为神经网络；
在每个学习区域中，利用第一渲染倍数测算网络对学习区域所有可选的渲染倍数进行播放流畅度测算，并将最大播放流畅度对应的渲染倍数作为学习区域的自适应渲染倍数；
在多个学习区域中，利用BP神经网络对学习区域的动态信息量与学习区域的自适应渲染倍数进行学习训练，得到所述渲染倍数的自适应关系，以实现利用动态信息量测算出自适应渲染倍数；
所述渲染倍数的自适应关系的函数表达式为：TM=BP(KM)；
式中，TM为自适应渲染倍数，KM为动态信息量，BP为BP神经网络。作为本发明的一种优选方案，所述目标区域的自适应渲染倍数的确定，包括：
将任一目标区域输入至所述渲染倍数的自适应关系，得到任一目标区域的自适应渲染倍数。
作为本发明的一种优选方案，所述播放流畅度利用局部云视频的码率、局部云视频的帧率中的至少一种进行度量。
作为本发明的一种优选方案，所述固定渲染倍数的设定，包括：
随机选取一组非目标区域作为第二学习区域，获取非目标区域的前置非目标区域和后置非目标区域分别作为第二学习区域的第二前置学习区域和第二后置学习区域；
在每个第二学习区域中，利用梯度下降法设定多个渲染倍数；
在每个第二学习区域中，逐一利用每个渲染倍数对第二学习区域进行画面渲染，得到每个渲染倍数下的第二渲染学习区域；
在每个第二学习区域中，逐一将每个渲染倍数下的第二渲染学习区域与第二前置学习区域和第二后置学习区域，依据云视频帧的序列位置顺序，构成第二局部云视频；
在每个第二学习区域中，逐一检测每个渲染倍数下的第二局部云视频的播放流畅度；
在每个第二学习区域中，利用BP神经网络对渲染倍数与所述播放流畅度进行学习训练，得到第二渲染倍数测算网络；
所述第二渲染倍数测算网络的函数表达式为：
H2=BP(T2)；
式中，H2为播放流畅度，T2为渲染倍数，BP为神经网络；
在每个第二学习区域中，利用第二渲染倍数测算网络对第二学习区域所有可选的渲染倍数进行播放流畅度测算，并将最大播放流畅度对应的渲染倍数作为第二学习区域的最优渲染倍数；
在多个第二学习区域中，将第二学习区域的最优渲染倍数进行中位数计算，得到非目标区域的固定渲染倍数；
其中，非目标区域的前置非目标区域和后置非目标区域与目标区域的前置目标区域和后置目标区域的确定过程一致。
在本发明的第二个方面，本发明提供了一种云视频帧自适应协作渲染装置，包括：
数据获取模块，用于获取云视频，所述云视频中包含有多个云视频帧，所述云视频帧包含目标区域和非目标区域；
数据处理模块，用于对目标区域和非目标区域，通过渲染服务器匹配，得到第一渲染服务器和第二渲染服务器，其中，第一渲染服务器对应于目标区域的画面渲染，第二渲染服务器对应于非目标区域的画面渲染；
用于根据所述目标区域，通过信息量检测，得到目标区域的动态信息量；
用于根据所述动态信息量，通过渲染倍数的自适应关系，得到目标区域的自适应渲染倍数，所述渲染倍数的自适应关系为表征动态信息量与渲染倍数映射关系的神经网络；
用于将第一渲染区域和第二渲染区域进行融合重构得到渲染云视频帧，将渲染云视频帧对应替换云视频中的云视频帧，得到渲染云视频；
服务器模块，包括第一渲染服务器和第二渲染服务器，其中，第一渲染服务器依据所述目标区域的自适应渲染倍数，对所述目标区域进行画面渲染得到第一渲染区域；
第二渲染服务器依据固定渲染倍数，对所述非目标区域进行画面渲染得到第二渲染区域；
数据存储模块，用于存储固定渲染倍数，渲染倍数的自适应关系，以及实时存储云视频帧的目标区域、云视频帧的非目标区域、第一渲染区域和第二渲染区域。
在本发明的第三个方面，本发明提供了一种计算机设备，
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使计算机设备执行云视频帧自适应协作渲染方法。
在本发明的第四个方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现云视频帧自适应协作渲染方法。
本发明与现有技术相比较具有如下有益效果：
本发明通过建立渲染倍数的自适应关系，根据信息动态性强的渲染区域的动态信息量得到信息动态性强的渲染区域的自适应渲染倍数，使得信息动态性强的渲染区域中渲染流畅性得以适配信息动态性，云视频的渲染效果达到最佳，而且对于信息动态性弱的渲染区域，采用固定的渲染倍数，保证渲染流畅性同时，减少渲染资源的浪费，提高渲染效率。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例提供的云视频帧自适应协作渲染方法流程图；
图2为本发明实施例提供的云视频帧自适应协作渲染方法装置框图；
图3为本发明实施例提供的计算机装置的内部结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，在本发明的第一个方面，本发明提供了一种云视频帧自适应协作渲染方法，包括以下步骤：
获取云视频，云视频中包含有多个云视频帧，云视频帧包含目标区域和非目标区域；
对目标区域和非目标区域，通过渲染服务器匹配，得到第一渲染服务器和第二渲染服务器，其中，第一渲染服务器对应于目标区域的画面渲染，第二渲染服务器对应于非目标区域的画面渲染；
根据目标区域，通过信息量检测，得到目标区域的动态信息量；
根据动态信息量，通过渲染倍数的自适应关系，得到目标区域的自适应渲染倍数，渲染倍数的自适应关系为表征动态信息量与渲染倍数映射关系的神经网络；
第一渲染服务器依据目标区域的自适应渲染倍数，对目标区域进行画面渲染得到第一渲染区域；
第二渲染服务器依据固定渲染倍数，对非目标区域进行画面渲染得到第二渲染区域；
将第一渲染区域和第二渲染区域进行融合重构得到渲染云视频帧，将渲染云视频帧对应替换云视频中的云视频帧，得到渲染云视频。
本发明为了提高云视频渲染效率，满足在云游戏中云视频加载服务的时效性，将云视频的视频帧进行分区域多服务器渲染，多服务器协同相较于单一服务器渲染有效的提高了渲染效率。
本发明为了提高服务器的渲染针对性，构建了渲染倍数的自适应关系，对云视频帧进行分区服务器渲染设定，即对云视频帧的划分出的目标区域采用自适应渲染设定，对云视频帧划分出的非目标区域采用固定渲染设定，其中，目标区域包含有构成云游戏画面的角色要素、场景要素等等，决定云游戏画面的重要区域，而非目标区域则包含有构成云游戏画面的一些不重要元素，比如画面背景中固化设定等等，根据目标区域和非目标区域中的画面元素区别可知，在渲染目标区域需要达到在播放云视频时保持目标区域低卡顿感，高流畅感的目的，由于非目标区域的画面要素重要性低，变化性也低，则渲染非目标区域更接近于静态渲染，很容易满足基本的流畅感。
目标区域要比非目标区域具有更高的渲染需求，因此将视频帧进行分区渲染，并根据分区根据渲染流畅性需求设定服务器，更能根据画面需求实现针对性渲染，既能满足信息动态性强的视频帧局部区域的流畅性需求，又能降低信息动态性弱的视频帧局部区域的数据处理压力和时长，使渲染效果达到最佳，渲染时效性达到最佳，且不会造成渲染资源的乱分配（比如为非目标区域配备的渲染服务器进行动态实时调整，或为目标区域配备的渲染服务器无法进行动态实时调整）。
在目标区域的信息动态性程度越高的情况下，需要保持目标区域在渲染后呈现越高的流畅感，对应到渲染服务器设定上需要越高的渲染倍数，则就对应具有越高的渲染复杂度，也就是具有越高的渲染数据处理压力、时长，另一方面，在目标区域的信息动态性程度较低的情况下，在保持目标流畅感足够的情况下，就可以选择低些渲染倍数，从而降低渲染复杂度，也就是降低渲染服务器的渲染数据处理压力、时长，因此本发明为了兼顾渲染流畅度和渲染数据处理压力和时长，对目标区域的渲染倍数采用根据信息动态性进行自适应。
本发明对目标区域的渲染倍数采用根据信息动态性进行自适应，分别为在信息动态性强的目标区域，设定高渲染倍数，用渲染数据处理压力和时长换取渲染流畅度，在信息动态性若的目标区域，设定低渲染倍数，实现保持渲染流畅度时，减少渲染数据处理压力和时长。
本发明为了数据化信息动态性，采用离散性分析目标区域与相邻的云视频帧上的目标区域（前置目标区域和后置目标区域）的动态信息量，目标区域与前置目标区域和后置目标区域离散性越高，则说明目标区域内信息量变化越大，对流畅感的需求越高，才能使得变化的信息量流畅的进行展示，且不发生卡顿，即需要越高的渲染倍数才能达到上述目标，因此采用离散性分析能够准确的数据化出信息动态性，得到动态信息量，作为渲染倍数的自适应参数。
非目标区域中大多为画面背景中固化设定，可知信息动态性变化较低，且不同的非目标区域之间差别也不大，都是信息动态性弱的画面区域，因此，本发明将非目标区域的渲染倍数设定为一个固定值，能够较全面满足渲染流畅性的同时，还能够无需实时更改服务器设定，避免在渲染过程中进行大的调整，来适应不同类型的视频帧局部区域的渲染，保持服务器渲染的有效针对性，规避了服务器渲染设定的调整，提高了渲染效率。
云视频帧的目标区域和云视频帧的非目标区域的确定，包括：
利用YOLO V5网络对云视频帧进行目标检测，得到云视频帧的目标区域和云视频帧的非目标区域；
YOLO V5网络经由大数据量的云视频帧进行训练。
本发明为了数据化信息动态性，采用离散性分析目标区域与相邻的云视频帧上的目标区域（前置目标区域和后置目标区域）的动态信息量，具体如下：
目标区域的动态信息量的确定，包括：
在云视频中，根据云视频帧的序列位置顺序，将位于目标区域所属的云视频帧的前置相邻序列位置处的云视频帧，标定为目标区域的前置云视频帧，以及将位于目标区域所属的云视频帧的后置相邻序列位置处的云视频帧，标定为目标区域的后置云视频帧；
提取出前置云视频帧中的目标区域作为目标区域的前置目标区域，以及提取出后置云视频帧中的目标区域作为目标区域的后置目标区域；
将目标区域、前置目标区域和后置目标区域进行离散性分析，得到目标区域的动态信息量。
离散性分析采用标准差方式进行量化；
离散性分析的表达式为：；式中，K M 为目标区域的动态信息量，G i 为i的图像矩阵，i为L，M，R的标识符，L，M，R分别为前置目标区域，目标区域，后置目标区域，/>为G i 与/>的矩阵距离。
本发明为了数据化信息动态性，采用离散性分析目标区域与相邻的云视频帧上的目标区域（前置目标区域和后置目标区域）的动态信息量，目标区域与前置目标区域和后置目标区域离散性越高，则说明目标区域内信息量变化越大，对流畅感的需求越高，才能使得变化的信息量流畅的进行展示，且不发生卡顿，即需要越高的渲染倍数才能达到上述目标，因此采用离散性分析能够准确的数据化出信息动态性，得到动态信息量，作为渲染倍数的自适应参数。
本发明为了提高服务器的渲染针对性，构建了渲染倍数的自适应关系，对云视频帧进行分区服务器渲染设定，具体如下：
渲染倍数的自适应关系的构建，包括：
随机选取一组目标区域作为学习区域，获取目标区域的动态信息量作为学习区域的动态信息量，获取目标区域的前置目标区域和后置目标区域分别作为学习区域的前置学习区域和后置学习区域；
在每个学习区域中，利用梯度下降法设定多个渲染倍数；
在每个学习区域中，逐一利用每个渲染倍数对学习区域进行画面渲染，得到每个渲染倍数下的渲染学习区域；
在每个学习区域中，逐一将每个渲染倍数下的渲染学习区域与学习区域的前置学习区域和后置学习区域，依据云视频帧的序列位置顺序，构成局部云视频；
在每个学习区域中，逐一检测每个渲染倍数下的局部云视频的播放流畅度；
在每个学习区域中，利用BP神经网络对渲染倍数与播放流畅度进行学习训练，得到第一渲染倍数测算网络；
第一渲染倍数测算网络的函数表达式为：
H=BP(T)；式中，H为播放流畅度，T为渲染倍数，BP为神经网络；
在每个学习区域中，利用第一渲染倍数测算网络对学习区域所有可选的渲染倍数进行播放流畅度测算，并将最大播放流畅度对应的渲染倍数作为学习区域的自适应渲染倍数；
在多个学习区域中，利用BP神经网络对学习区域的动态信息量与学习区域的自适应渲染倍数进行学习训练，得到渲染倍数的自适应关系，以实现利用动态信息量测算出自适应渲染倍数；
渲染倍数的自适应关系的函数表达式为：
TM=BP(KM)；
式中，TM为自适应渲染倍数，KM为动态信息量，BP为BP神经网络。
目标区域的自适应渲染倍数的确定，包括：
将任一目标区域输入至渲染倍数的自适应关系，得到任一目标区域的自适应渲染倍数。
播放流畅度利用局部云视频的码率、局部云视频的帧率中的至少一种进行度量。
本发明利用神经网络进行渲染倍数的自适应关系的构建，利用神经网络的学习能力学习到自适应渲染倍数与动态信息量间的映射关系，即可以直接通过神经网络基于目标区域的动态信息量测算出目标区域的自适应渲染倍数，提高云视频渲染效率，满足在云游戏中云视频加载服务的时效性。
本发明对目标区域的渲染倍数采用根据信息动态性进行自适应，分别为在信息动态性强的目标区域，设定高渲染倍数，用渲染数据处理压力和时长换取渲染流畅度，在信息动态性若的目标区域，设定低渲染倍数，实现保持渲染流畅度时，减少渲染数据处理压力和时长。
本发明将非目标区域的渲染倍数设定为一个固定值，能够较全面满足渲染流畅性的同时，还能够无需实时更改服务器设定，避免在渲染过程中进行大的调整，来适应不同类型的视频帧局部区域的渲染，保持服务器渲染的有效针对性，规避了服务器渲染设定的调整，提高了渲染效率，具体如下：
固定渲染倍数的设定，包括：
随机选取一组非目标区域作为第二学习区域，获取非目标区域的前置非目标区域和后置非目标区域分别作为第二学习区域的第二前置学习区域和第二后置学习区域；
在每个第二学习区域中，利用梯度下降法设定多个渲染倍数；
在每个第二学习区域中，逐一利用每个渲染倍数对第二学习区域进行画面渲染，得到每个渲染倍数下的第二渲染学习区域；
在每个第二学习区域中，逐一将每个渲染倍数下的第二渲染学习区域与第二前置学习区域和第二后置学习区域，依据云视频帧的序列位置顺序，构成第二局部云视频；
在每个第二学习区域中，逐一检测每个渲染倍数下的第二局部云视频的播放流畅度；
在每个第二学习区域中，利用BP神经网络对渲染倍数与播放流畅度进行学习训练，得到第二渲染倍数测算网络；
第二渲染倍数测算网络的函数表达式为：H2=BP(T2)；
式中，H2为播放流畅度，T2为渲染倍数，BP为神经网络；
在每个第二学习区域中，利用第二渲染倍数测算网络对第二学习区域所有可选的渲染倍数进行播放流畅度测算，并将最大播放流畅度对应的渲染倍数作为第二学习区域的最优渲染倍数；
在多个第二学习区域中，将第二学习区域的最优渲染倍数进行中位数计算，得到非目标区域的固定渲染倍数；
其中，非目标区域的前置非目标区域和后置非目标区域与目标区域的前置目标区域和后置目标区域的确定过程一致。
本发明为了提高服务器的渲染针对性，构建了渲染匹配模型，对视频帧进行分区服务器匹配，实现一个服务器只处理同一类型视频帧局部区域的渲染，渲染针对性强，使得服务器的渲染设定保持相对固定，无需在渲染过程中进行大的调整，来适应不同类型的视频帧局部区域的渲染，保持服务器的渲染针对性，规避了服务器渲染设定的调整，又进一步提高了渲染效率。
本发明在构建渲染匹配模型时，根据视频帧分区进行针对性构建，因此需要先进行视频帧分区，将视频帧分为目标区域和非目标区域，其中，目标区域包含有构成云游戏画面的角色要素、场景要素等等，决定云游戏画面的重要区域，而非目标区域则包含有构成云游戏画面的一些不重要元素，比如画面背景中固化设定等等，根据目标区域和非目标区域中的画面元素可知，目标区域和非目标区域在渲染上存在着不同的需求，目标区域要比非目标区域具有更高的渲染需求，因此将视频帧进行分区渲染，并根据分区匹配符合渲染需求的服务器，更能根据画面需求实现针对性渲染，且不会造成渲染资源的乱分配（比如为非目标区域配备渲染效果更高的服务器，或为目标区域配备徐奥给更差的服务器）。
本发明构建渲染匹配模型实现根据分区匹配符合渲染需求的服务器，在目标区域和非目标区域中构建目标区域的渲染匹配模型和非目标区域的渲染匹配模型，为目标区域和非目标区域各自匹配符合渲染需求的服务器，即目标区域的渲染匹配模型匹配出的目标区域的服务器的渲染设定满足目标区域的渲染需求，实现对目标区域的针对性渲染，以及和非目标区域的渲染匹配模型匹配出的非目标区域的服务器的渲染设定满足非目标区域的渲染需求，实现对非目标区域的针对性渲染。
如图2所示，在本发明的第二个方面，本发明提供了一种云视频帧自适应协作渲染装置，包括：
数据获取模块，用于获取云视频，云视频中包含有多个云视频帧，云视频帧包含目标区域和非目标区域；
数据处理模块，用于对目标区域和非目标区域，通过渲染服务器匹配，得到第一渲染服务器和第二渲染服务器，其中，第一渲染服务器对应于目标区域的画面渲染，第二渲染服务器对应于非目标区域的画面渲染；
用于根据目标区域，通过信息量检测，得到目标区域的动态信息量；
用于根据动态信息量，通过渲染倍数的自适应关系，得到目标区域的自适应渲染倍数，渲染倍数的自适应关系为表征动态信息量与渲染倍数映射关系的神经网络；
用于将第一渲染区域和第二渲染区域进行融合重构得到渲染云视频帧，将渲染云视频帧对应替换云视频中的云视频帧，得到渲染云视频；
服务器模块，包括第一渲染服务器和第二渲染服务器，其中，第一渲染服务器依据目标区域的自适应渲染倍数，对目标区域进行画面渲染得到第一渲染区域；
第二渲染服务器依据固定渲染倍数，对非目标区域进行画面渲染得到第二渲染区域；
数据存储模块，用于存储固定渲染倍数，渲染倍数的自适应关系，以及实时存储云视频帧的目标区域、云视频帧的非目标区域、第一渲染区域和第二渲染区域。
如图3所示，在本发明的第三个方面，本发明提供了一种计算机设备，
至少一个处理器；以及
与至少一个处理器通信连接的存储器；
其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使计算机设备执行云视频帧自适应协作渲染方法。
在本发明的第四个方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现云视频帧自适应协作渲染方法。
本发明通过建立渲染倍数的自适应关系，根据信息动态性强的渲染区域的动态信息量得到信息动态性强的渲染区域的自适应渲染倍数，使得信息动态性强的渲染区域中渲染流畅性得以适配信息动态性，云视频的渲染效果达到最佳，而且对于信息动态性弱的渲染区域，采用固定的渲染倍数，保证渲染流畅性同时，减少渲染资源的浪费，提高渲染效率。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (10)

1.一种云视频帧自适应协作渲染方法，其特征在于，包括以下步骤：
获取云视频，所述云视频中包含有多个云视频帧，所述云视频帧包含目标区域和非目标区域；
对目标区域和非目标区域，通过渲染服务器匹配，得到第一渲染服务器和第二渲染服务器，其中，第一渲染服务器对应于目标区域的画面渲染，第二渲染服务器对应于非目标区域的画面渲染；
根据所述目标区域，通过信息量检测，得到目标区域的动态信息量，所述目标区域的动态信息量用于表征目标区域在云视频帧之间的变化情况；
根据所述动态信息量，通过渲染倍数的自适应关系，得到目标区域的自适应渲染倍数，所述渲染倍数的自适应关系为表征动态信息量与渲染倍数映射关系的神经网络；
第一渲染服务器依据所述目标区域的自适应渲染倍数，对所述目标区域进行画面渲染得到第一渲染区域；
第二渲染服务器依据固定渲染倍数，对所述非目标区域进行画面渲染得到第二渲染区域；
将第一渲染区域和第二渲染区域进行融合重构得到渲染云视频帧，将渲染云视频帧对应替换云视频中的云视频帧，得到渲染云视频。
2.根据权利要求1所述的一种云视频帧自适应协作渲染方法，其特征在于：所述云视频帧的目标区域和云视频帧的非目标区域的确定，包括：
利用YOLO V5网络对云视频帧进行目标检测，得到云视频帧的目标区域和云视频帧的非目标区域；
所述YOLO V5网络经由大数据量的云视频帧进行训练。
3.根据权利要求1所述的一种云视频帧自适应协作渲染方法，其特征在于：所述目标区域的动态信息量的确定，包括：
在云视频中，根据云视频帧的序列位置顺序，将位于目标区域所属的云视频帧的前置相邻序列位置处的云视频帧，标定为目标区域的前置云视频帧，以及将位于目标区域所属的云视频帧的后置相邻序列位置处的云视频帧，标定为目标区域的后置云视频帧；
提取出所述前置云视频帧中的目标区域作为目标区域的前置目标区域，以及提取出所述后置云视频帧中的目标区域作为目标区域的后置目标区域；
将目标区域、前置目标区域和后置目标区域进行离散性分析，得到目标区域的动态信息量。
4.根据权利要求3所述的一种云视频帧自适应协作渲染方法，其特征在于：所述离散性分析采用标准差方式进行量化；
所述离散性分析的表达式为：式中，K M 为目标区域的动态信息量，G i 为i的图像矩阵，i为L，M，R的标识符，L，M，R分别为前置目标区域，目标区域，后置目标区域，/>为G i 与/>的矩阵距离。
5.根据权利要求4所述的一种云视频帧自适应协作渲染方法，其特征在于：所述渲染倍数的自适应关系的构建，包括：
随机选取一组目标区域作为学习区域，获取目标区域的动态信息量作为学习区域的动态信息量，获取目标区域的前置目标区域和后置目标区域分别作为学习区域的前置学习区域和后置学习区域；
在每个学习区域中，利用梯度下降法设定多个渲染倍数；
在每个学习区域中，逐一利用每个渲染倍数对学习区域进行画面渲染，得到每个渲染倍数下的渲染学习区域；
在每个学习区域中，逐一将每个渲染倍数下的渲染学习区域与学习区域的前置学习区域和后置学习区域，依据云视频帧的序列位置顺序，构成局部云视频；
在每个学习区域中，逐一检测每个渲染倍数下的局部云视频的播放流畅度；
在每个学习区域中，利用BP神经网络对渲染倍数与所述播放流畅度进行学习训练，得到第一渲染倍数测算网络；
所述第一渲染倍数测算网络的函数表达式为：
H=BP(T)；式中，H为播放流畅度，T为渲染倍数，BP为神经网络；
在每个学习区域中，利用第一渲染倍数测算网络对学习区域所有可选的渲染倍数进行播放流畅度测算，并将最大播放流畅度对应的渲染倍数作为学习区域的自适应渲染倍数；
在多个学习区域中，利用BP神经网络对学习区域的动态信息量与学习区域的自适应渲染倍数进行学习训练，得到所述渲染倍数的自适应关系，以实现利用动态信息量测算出自适应渲染倍数；
所述渲染倍数的自适应关系的函数表达式为：TM=BP(KM)；式中，TM为自适应渲染倍数，KM为动态信息量，BP为BP神经网络。
6.根据权利要求5所述的一种云视频帧自适应协作渲染方法，其特征在于：所述目标区域的自适应渲染倍数的确定，包括：
将任一目标区域输入至所述渲染倍数的自适应关系，得到任一目标区域的自适应渲染倍数。
7.根据权利要求6所述的一种云视频帧自适应协作渲染方法，其特征在于：所述播放流畅度利用局部云视频的码率、局部云视频的帧率中的至少一种进行度量。
8.根据权利要求7所述的一种云视频帧自适应协作渲染方法，其特征在于：所述固定渲染倍数的设定，包括：
随机选取一组非目标区域作为第二学习区域，获取非目标区域的前置非目标区域和后置非目标区域分别作为第二学习区域的第二前置学习区域和第二后置学习区域；
在每个第二学习区域中，利用梯度下降法设定多个渲染倍数；
在每个第二学习区域中，逐一利用每个渲染倍数对第二学习区域进行画面渲染，得到每个渲染倍数下的第二渲染学习区域；
在每个第二学习区域中，逐一将每个渲染倍数下的第二渲染学习区域与第二前置学习区域和第二后置学习区域，依据云视频帧的序列位置顺序，构成第二局部云视频；
在每个第二学习区域中，逐一检测每个渲染倍数下的第二局部云视频的播放流畅度；
在每个第二学习区域中，利用BP神经网络对渲染倍数与所述播放流畅度进行学习训练，得到第二渲染倍数测算网络；
所述第二渲染倍数测算网络的函数表达式为：
H2=BP(T2)；式中，H2为播放流畅度，T2为渲染倍数，BP为神经网络；
在每个第二学习区域中，利用第二渲染倍数测算网络对第二学习区域所有可选的渲染倍数进行播放流畅度测算，并将最大播放流畅度对应的渲染倍数作为第二学习区域的最优渲染倍数；
在多个第二学习区域中，将第二学习区域的最优渲染倍数进行中位数计算，得到非目标区域的固定渲染倍数；
其中，非目标区域的前置非目标区域和后置非目标区域与目标区域的前置目标区域和后置目标区域的确定过程一致。
9.一种云视频帧自适应协作渲染装置，其特征在于，包括：
数据获取模块，用于获取云视频，所述云视频中包含有多个云视频帧，所述云视频帧包含目标区域和非目标区域；
数据处理模块，用于对目标区域和非目标区域，通过渲染服务器匹配，得到第一渲染服务器和第二渲染服务器，其中，第一渲染服务器对应于目标区域的画面渲染，第二渲染服务器对应于非目标区域的画面渲染；
用于根据所述目标区域，通过信息量检测，得到目标区域的动态信息量，所述目标区域的动态信息量用于表征目标区域在云视频帧之间的变化情况；
用于根据所述动态信息量，通过渲染倍数的自适应关系，得到目标区域的自适应渲染倍数，所述渲染倍数的自适应关系为表征动态信息量与渲染倍数映射关系的神经网络；
用于将第一渲染区域和第二渲染区域进行融合重构得到渲染云视频帧，将渲染云视频帧对应替换云视频中的云视频帧，得到渲染云视频；
服务器模块，包括第一渲染服务器和第二渲染服务器，其中，第一渲染服务器依据所述目标区域的自适应渲染倍数，对所述目标区域进行画面渲染得到第一渲染区域；
第二渲染服务器依据固定渲染倍数，对所述非目标区域进行画面渲染得到第二渲染区域；
数据存储模块，用于存储固定渲染倍数，渲染倍数的自适应关系，以及实时存储云视频帧的目标区域、云视频帧的非目标区域、第一渲染区域和第二渲染区域。
10.一种计算机设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使计算机设备执行权利要求1-8任一项所述的方法。
CN202311316498.8A 2023-10-12 2023-10-12 云视频帧自适应协作渲染方法、装置及计算机设备 Active CN117061791B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311316498.8A CN117061791B (zh) 2023-10-12 2023-10-12 云视频帧自适应协作渲染方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311316498.8A CN117061791B (zh) 2023-10-12 2023-10-12 云视频帧自适应协作渲染方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN117061791A CN117061791A (zh) 2023-11-14
CN117061791B true CN117061791B (zh) 2024-01-26

Family

ID=88655861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311316498.8A Active CN117061791B (zh) 2023-10-12 2023-10-12 云视频帧自适应协作渲染方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN117061791B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114501062A (zh) * 2022-01-27 2022-05-13 腾讯科技（深圳）有限公司 视频渲染协同方法、装置、设备及存储介质
CN114511661A (zh) * 2022-01-21 2022-05-17 北京百度网讯科技有限公司 图像渲染方法、装置、电子设备及存储介质
CN114900731A (zh) * 2022-03-31 2022-08-12 咪咕文化科技有限公司 视频清晰度切换方法及装置
WO2022228383A1 (zh) * 2021-04-30 2022-11-03 华为技术有限公司 一种图形渲染方法以及装置
CN115767181A (zh) * 2022-11-17 2023-03-07 北京字跳网络技术有限公司 直播视频流渲染方法、装置、设备、存储介质及产品
CN116778054A (zh) * 2023-06-26 2023-09-19 网易（杭州）网络有限公司 场景渲染方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022228383A1 (zh) * 2021-04-30 2022-11-03 华为技术有限公司 一种图形渲染方法以及装置
CN114511661A (zh) * 2022-01-21 2022-05-17 北京百度网讯科技有限公司 图像渲染方法、装置、电子设备及存储介质
CN114501062A (zh) * 2022-01-27 2022-05-13 腾讯科技（深圳）有限公司 视频渲染协同方法、装置、设备及存储介质
CN114900731A (zh) * 2022-03-31 2022-08-12 咪咕文化科技有限公司 视频清晰度切换方法及装置
CN115767181A (zh) * 2022-11-17 2023-03-07 北京字跳网络技术有限公司 直播视频流渲染方法、装置、设备、存储介质及产品
CN116778054A (zh) * 2023-06-26 2023-09-19 网易（杭州）网络有限公司 场景渲染方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN117061791A (zh) 2023-11-14

Similar Documents

Publication Publication Date Title
He et al. Rubiks: Practical 360-degree streaming for smartphones
Madhusudana et al. Subjective and objective quality assessment of high frame rate videos
De Silva et al. Toward an impairment metric for stereoscopic video: A full-reference video quality metric to assess compressed stereoscopic video
CN110139113B (zh) 视频资源的传输参数分发方法及装置
CN111079740A (zh) 图像的质量评价方法、电子设备和计算机可读存储介质
CN110267098B (zh) 一种视频处理方法及终端
CN103533367A (zh) 一种无参考视频质量评价方法及装置
Li et al. User-generated video quality assessment: A subjective and objective study
CN110620924A (zh) 编码数据的处理方法、装置、计算机设备及存储介质
CN104410860A (zh) 一种高清roi视频实时质量调节的方法
CN114125495A (zh) 视频质量评估模型训练方法、视频质量评价方法和装置
Li et al. A real-time blind quality-of-experience assessment metric for http adaptive streaming
CN117061791B (zh) 云视频帧自适应协作渲染方法、装置及计算机设备
Choi et al. Video QoE models for the compute continuum
CN113259727A (zh) 视频推荐方法、视频推荐装置及计算机可读存储介质
CN114945097B (zh) 视频流处理方法及装置
CN115396688B (zh) 一种基于虚拟场景的多人互动网络直播方法及系统
CN116471262A (zh) 视频质量评估方法、装置、设备、存储介质及程序产品
CN116980604A (zh) 视频编码方法、视频解码方法及相关设备
US10986337B2 (en) Systems and methods for selective transmission of media content
CN117061792B (zh) 云视频协作渲染方法、装置及计算机设备
CN114693553A (zh) 一种移动智能终端图像处理方法及系统
CN117061825B (zh) 流媒体视频坏帧检测方法、装置及计算机设备
Li et al. A QoE model in point cloud video streaming
Li et al. Perceptual quality assessment of face video compression: A benchmark and an effective method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant