CN117061792B - 云视频协作渲染方法、装置及计算机设备 - Google Patents

云视频协作渲染方法、装置及计算机设备 Download PDF

Info

Publication number
CN117061792B
CN117061792B CN202311316578.3A CN202311316578A CN117061792B CN 117061792 B CN117061792 B CN 117061792B CN 202311316578 A CN202311316578 A CN 202311316578A CN 117061792 B CN117061792 B CN 117061792B
Authority
CN
China
Prior art keywords
rendering
target area
area
server
cloud video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311316578.3A
Other languages
English (en)
Other versions
CN117061792A (zh
Inventor
许亦
王曜
刘琦
贺国超
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yuntian Changxiang Information Technology Co ltd
Original Assignee
Shenzhen Yuntian Changxiang Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yuntian Changxiang Information Technology Co ltd filed Critical Shenzhen Yuntian Changxiang Information Technology Co ltd
Priority to CN202311316578.3A priority Critical patent/CN117061792B/zh
Publication of CN117061792A publication Critical patent/CN117061792A/zh
Application granted granted Critical
Publication of CN117061792B publication Critical patent/CN117061792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了一种云视频协作渲染方法、装置及计算机设备，包括以下步骤：利用目标区域的渲染服务器，对目标区域进行渲染得到第一渲染区域；利用非目标区域的渲染服务器，对非目标区域进行渲染得到第二渲染区域；将第一渲染区域和第二渲染区域进行融合重构得到第一渲染视频帧，将第一渲染视频帧对应替换云视频中的云视频帧，得到渲染云视频。本发明对云视频进行分区多服务器协作渲染，效率高，能够满足在云游戏中云视频加载服务的时效性，保证云游戏体验，而且构建渲染匹配模型进行服务器匹配，使得同类别的画面区域在同一个服务器中进行渲染，渲染操作针对性强，进一步提高渲染效率。

Description

云视频协作渲染方法、装置及计算机设备
技术领域
本发明涉及视频处理技术领域，具体涉及一种云视频协作渲染方法、装置及计算机设备。
背景技术
流媒体已经遍布人们工作生活的方方面面，例如电视、手机、笔记本等各种终端中都要使用流媒体进行视频及云视频播放。相应的，人们对视频播放质量的要求，包括清晰度、流畅性、实时性等方面要求也越来越高。很多流媒体场景比如云游戏的云渲染(Rendering)，是在云端完成渲染，然后将渲染得到的视频图像编码串流传输至端侧，由端侧对接收到的码流进行解码。这样，端侧可以获取到高质量的渲染内容实现视频播放。
在现有技术进行视频帧渲染时，通常使用单一服务器进行渲染操作，导致效率低下，难以满足在云游戏中云视频加载服务的时效性，影响云游戏体验。
发明内容
本发明的目的在于提供一种云视频协作渲染方法、装置及计算机设备，以解决现有技术中使用单一服务器进行渲染操作，导致效率低下，难以满足在云游戏中云视频加载服务的时效性，影响云游戏体验的技术问题。
为解决上述技术问题，本发明具体提供下述技术方案：
在本发明的第一个方面，本发明提供了一种云视频协作渲染方法，包括以下步骤：
获取云视频，所述云视频中包含有多个云视频帧；
对云视频帧，通过图像识别模型，得到云视频帧的目标区域和云视频帧的非目标区域；
对云视频帧的目标区域，通过目标区域的渲染匹配模型，确定出所述目标区域的渲染服务器；
对云视频帧的非目标区域，通过非目标区域的渲染匹配模型，确定出所述非目标区域的渲染服务器；
利用目标区域的渲染服务器，对目标区域进行渲染得到第一渲染区域；
利用非目标区域的渲染服务器，对非目标区域进行渲染得到第二渲染区域；
将第一渲染区域和第二渲染区域进行融合重构得到第一渲染视频帧，将第一渲染视频帧对应替换云视频中的云视频帧，得到渲染云视频；
其中，所述图像识别模型为神经网络，所述渲染匹配模型为聚类模型。
作为本发明的一种优选方案，所述云视频帧的目标区域和云视频帧的非目标区域的确定，包括：
利用YOLO V5网络对云视频帧进行目标检测，得到云视频帧的目标区域和云视频帧的非目标区域；
所述YOLO V5网络经由大数据量的云视频帧进行训练。作为本发明的一种优选方案，所述目标区域的渲染匹配模型的构建，包括：
随机选择一组云视频帧的目标区域作为样本目标区域；
将所述样本目标区域利用聚类算法进行聚类处理，得到多个样本区域簇；
为每个样本区域簇赋予一个服务器标签，将样本区域簇的服务器标签作为样本区域簇中每个样本目标区域的服务器标签；
将样本目标区域作为sofmax分类器的第一输入项，将样本目标区域的服务器标签作为sofmax分类器的第一输出项；
利用sofmax分类器对第一输入项和第一输出项进行学习训练，得到所述目标区域的渲染匹配模型；
所述目标区域的渲染匹配模型的模型表达式为：
Label_object=sofmax(g_object)；式中，Label_object为目标区域的服务器标签，g_object为所述目标区域，sofmax为sofmax分类器；所述服务器标签对应于渲染服务器的编号。
作为本发明的一种优选方案，确定出所述目标区域的渲染服务器，包括：
将云视频帧的目标区域输入至目标区域的渲染匹配模型，由目标区域的渲染匹配模型输出云视频帧的目标区域的服务器标签；
根据服务器标签匹配到对应编号的渲染服务器。
作为本发明的一种优选方案，所述非目标区域的渲染匹配模型的构建，包括：
随机选择一组云视频帧的非目标区域作为第二样本目标区域；
将所述第二样本目标区域利用聚类算法进行聚类处理，得到多个第二样本区域簇；
为每个第二样本区域簇赋予一个服务器标签，将第二样本区域簇的服务器标签作为第二样本区域簇中每个第二样本目标区域的服务器标签；
将第二样本目标区域作为sofmax分类器的第二输入项，将第二样本目标区域的服务器标签作为sofmax分类器的第二输出项；
利用sofmax分类器对第二输入项和第二输出项进行学习训练，得到所述非目标区域的渲染匹配模型；
所述非目标区域的渲染匹配模型的模型表达式为：
Label_Nobject=sofmax(g_Nobject)；式中，Label_Nobject为非目标区域的服务器标签，g_Nobject为所述非目标区域，sofmax为sofmax分类器；
所述服务器标签对应于渲染服务器的编号。
作为本发明的一种优选方案，确定出所述非目标区域的渲染服务器，包括：
将云视频帧的非目标区域输入至非目标区域的渲染匹配模型，由非目标区域的渲染匹配模型输出云视频帧的非目标区域的服务器标签；
根据服务器标签匹配到对应编号的渲染服务器。
作为本发明的一种优选方案，所述第一渲染区域的获得，包括：
将目标区域与目标区域的渲染服务器中存储的已完成渲染的所有历史目标区域进行逐一比较，其中，
若目标区域与历史目标区域的相似度高于或等于预设阈值，则将历史目标区域作为目标区域的标定区域；
若目标区域与历史目标区域的相似度小于预设阈值，则将历史目标区域作为目标区域的非标定区域；
当目标区域存在至少一个标定区域，则将渲染服务器中存储的所述相似度最高对应的标定区域的渲染结果作为所述第一渲染区域；
当目标区域不存在标定区域，则利用渲染服务器对目标区域进行渲染处理得到第一渲染区域。
作为本发明的一种优选方案，所述第二渲染区域的获得，包括：
将非目标区域与非目标区域的渲染服务器中存储的已完成渲染的所有历史非目标区域进行逐一比较，其中，
若非目标区域与历史非目标区域的相似度高于或等于预设阈值，则将历史非目标区域作为非目标区域的标定区域；
若非目标区域与历史非目标区域的相似度小于预设阈值，则将历史非目标区域作为非目标区域的非标定区域；
当非目标区域存在至少一个标定区域，则将渲染服务器中存储的所述相似度最高对应的标定区域的渲染结果作为所述第二渲染区域；
当非目标区域不存在标定区域，则利用渲染服务器对非目标区域进行渲染处理得到第二渲染区域。
在本发明的第二个方面，本发明提提供了一种云视频协作渲染装置，包括：
数据获取模块，用于获取第一流媒体视频，所述第一流媒体视频中包含有多个云视频帧；
数据处理模块，用于对云视频帧，通过图像识别模型，得到云视频帧的目标区域和云视频帧的非目标区域；
对云视频帧的目标区域，通过目标区域的渲染匹配模型，确定出所述目标区域的渲染服务器；
对云视频帧的非目标区域，通过非目标区域的渲染匹配模型，确定出所述非目标区域的渲染服务器；
利用目标区域的渲染服务器，对目标区域进行渲染得到第一渲染区域；
利用非目标区域的渲染服务器，对非目标区域进行渲染得到第二渲染区域；
将第一渲染区域和第二渲染区域进行融合重构得到第一渲染视频帧，将第一渲染视频帧对应替换云视频中的云视频帧，得到渲染云视频；
数据存储模块，用于存储图像识别模型，渲染匹配模型，以及实时存储云视频帧的目标区域、云视频帧的非目标区域、第一渲染区域和第二渲染区域。
在本发明的第三个方面，本发明提提供了一种计算机设备，
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使计算机设备执行云视频协作渲染方法。
在本发明的第四个方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现云视频协作渲染方法。
本发明与现有技术相比较具有如下有益效果：
本发明对云视频进行分区多服务器协作渲染，效率高，能够满足在云游戏中云视频加载服务的时效性，保证云游戏体验，而且构建渲染匹配模型进行服务器匹配，使得同类别的画面区域在同一个服务器中进行渲染，渲染操作针对性强，进一步提高渲染效率。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例提供的云视频协作渲染方法流程图；
图2为本发明实施例提供的云视频协作渲染方法装置框图；
图3为本发明实施例提供的计算机装置的内部结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，在本发明的第一个方面，本发明提供了一种云视频协作渲染方法，包括以下步骤：
获取云视频，云视频中包含有多个云视频帧；
对云视频帧，通过图像识别模型，得到云视频帧的目标区域和云视频帧的非目标区域；
对云视频帧的目标区域，通过目标区域的渲染匹配模型，确定出目标区域的渲染服务器；
对云视频帧的非目标区域，通过非目标区域的渲染匹配模型，确定出非目标区域的渲染服务器；
利用目标区域的渲染服务器，对目标区域进行渲染得到第一渲染区域；
利用非目标区域的渲染服务器，对非目标区域进行渲染得到第二渲染区域；
将第一渲染区域和第二渲染区域进行融合重构得到第一渲染视频帧，将第一渲染视频帧对应替换云视频中的云视频帧，得到渲染云视频；
其中，图像识别模型为神经网络，渲染匹配模型为聚类模型。
本发明为了提高云视频渲染效率，满足在云游戏中云视频加载服务的时效性，将云视频的视频帧进行分区域多服务器渲染，多服务器协同相较于单一服务器渲染有效的提高了渲染效率。
本发明为了提高服务器的渲染针对性，构建了渲染匹配模型，对视频帧进行分区服务器匹配，实现一个服务器只处理同一类型视频帧局部区域的渲染，渲染针对性强，使得服务器的渲染设定保持相对固定，无需在渲染过程中进行大的调整，来适应不同类型的视频帧局部区域的渲染，保持服务器的渲染针对性，规避了服务器渲染设定的调整，又进一步提高了渲染效率。
本发明在构建渲染匹配模型时，根据视频帧分区进行针对性构建，因此需要先进行视频帧分区，将视频帧分为目标区域和非目标区域，其中，目标区域包含有构成云游戏画面的角色要素、场景要素等等，决定云游戏画面的重要区域，而非目标区域则包含有构成云游戏画面的一些不重要元素，比如画面背景中固化设定等等，根据目标区域和非目标区域中的画面元素可知，目标区域和非目标区域在渲染上存在着不同的需求，目标区域要比非目标区域具有更高的渲染需求，因此将视频帧进行分区渲染，并根据分区匹配符合渲染需求的服务器，更能根据画面需求实现针对性渲染，且不会造成渲染资源的乱分配（比如为非目标区域配备渲染效果更高的服务器，或为目标区域配备渲染效果更差的服务器）。
本发明构建渲染匹配模型实现根据分区匹配符合渲染需求的服务器，在目标区域和非目标区域中构建目标区域的渲染匹配模型和非目标区域的渲染匹配模型，为目标区域和非目标区域各自匹配符合渲染需求的服务器，即目标区域的渲染匹配模型匹配出的目标区域的服务器的渲染设定满足目标区域的渲染需求，实现对目标区域的针对性渲染，以及和非目标区域的渲染匹配模型匹配出的非目标区域的服务器的渲染设定满足非目标区域的渲染需求，实现对非目标区域的针对性渲染。
本发明针对云游戏会存在大量重复元素的画面，因此服务器还将历史渲染结果进行存储，在监测到已经渲染过的视频帧区域时，直接调用历史渲染结果，避免重复渲染，造成渲染资源的浪费，还能节约渲染时长。
本发明将视频帧分为目标区域和非目标区域，具体如下：
云视频帧的目标区域和云视频帧的非目标区域的确定，包括：
利用YOLO V5网络对云视频帧进行目标检测，得到云视频帧的目标区域和云视频帧的非目标区域；
YOLO V5网络经由大数据量的云视频帧进行训练。
本发明构建渲染匹配模型实现根据分区匹配符合渲染需求的服务器，在目标区域和非目标区域中构建目标区域的渲染匹配模型和非目标区域的渲染匹配模型，具体如下：
目标区域的渲染匹配模型的构建，包括：
随机选择一组云视频帧的目标区域作为样本目标区域；
将样本目标区域利用聚类算法进行聚类处理，得到多个样本区域簇；
为每个样本区域簇赋予一个服务器标签，将样本区域簇的服务器标签作为样本区域簇中每个样本目标区域的服务器标签；
将样本目标区域作为sofmax分类器的第一输入项，将样本目标区域的服务器标签作为sofmax分类器的第一输出项；
利用sofmax分类器对第一输入项和第一输出项进行学习训练，得到目标区域的渲染匹配模型；
目标区域的渲染匹配模型的模型表达式为：
Label_object=sofmax(g_object)；
式中，Label_object为目标区域的服务器标签，g_object为目标区域，sofmax为sofmax分类器；
服务器标签对应于渲染服务器的编号。
确定出目标区域的渲染服务器，包括：
将云视频帧的目标区域输入至目标区域的渲染匹配模型，由目标区域的渲染匹配模型输出云视频帧的目标区域的服务器标签；
根据服务器标签匹配到对应编号的渲染服务器。
非目标区域的渲染匹配模型的构建，包括：
随机选择一组云视频帧的非目标区域作为第二样本目标区域；
将第二样本目标区域利用聚类算法进行聚类处理，得到多个第二样本区域簇；
为每个第二样本区域簇赋予一个服务器标签，将第二样本区域簇的服务器标签作为第二样本区域簇中每个第二样本目标区域的服务器标签；
将第二样本目标区域作为sofmax分类器的第二输入项，将第二样本目标区域的服务器标签作为sofmax分类器的第二输出项；
利用sofmax分类器对第二输入项和第二输出项进行学习训练，得到非目标区域的渲染匹配模型；
非目标区域的渲染匹配模型的模型表达式为：
Label_Nobject=sofmax(g_Nobject)；
式中，Label_Nobject为非目标区域的服务器标签，g_Nobject为非目标区域，sofmax为sofmax分类器；
服务器标签对应于渲染服务器的编号。
本发明为了提高服务器的渲染针对性，利用聚类模型构建了渲染匹配模型，将同一类型的视频帧局部区域划归至同一服务器，即对视频帧进行分区服务器匹配，实现一个服务器只处理同一类型视频帧局部区域的渲染，渲染针对性强，使得服务器的渲染设定保持相对固定，无需在渲染过程中进行大的调整，来适应不同类型的视频帧局部区域的渲染，保持服务器的渲染针对性，规避了服务器渲染设定的调整，又进一步提高了渲染效率。
本发明为目标区域和非目标区域各自匹配符合渲染需求的服务器，即目标区域的渲染匹配模型匹配出的目标区域的服务器的渲染设定满足目标区域的渲染需求，实现对目标区域的针对性渲染，以及和非目标区域的渲染匹配模型匹配出的非目标区域的服务器的渲染设定满足非目标区域的渲染需求，实现对非目标区域的针对性渲染。
确定出非目标区域的渲染服务器，包括：
将云视频帧的非目标区域输入至非目标区域的渲染匹配模型，由非目标区域的渲染匹配模型输出云视频帧的非目标区域的服务器标签；
根据服务器标签匹配到对应编号的渲染服务器。
第一渲染区域的获得，包括：
将目标区域与目标区域的渲染服务器中存储的已完成渲染的所有历史目标区域进行逐一比较，其中，
若目标区域与历史目标区域的相似度高于或等于预设阈值，则将历史目标区域作为目标区域的标定区域；
若目标区域与历史目标区域的相似度小于预设阈值，则将历史目标区域作为目标区域的非标定区域；
当目标区域存在至少一个标定区域，则将渲染服务器中存储的相似度最高对应的标定区域的渲染结果作为第一渲染区域；
当目标区域不存在标定区域，则利用渲染服务器对目标区域进行渲染处理得到第一渲染区域。
第二渲染区域的获得，包括：
将非目标区域与非目标区域的渲染服务器中存储的已完成渲染的所有历史非目标区域进行逐一比较，其中，
若非目标区域与历史非目标区域的相似度高于或等于预设阈值，则将历史非目标区域作为非目标区域的标定区域；
若非目标区域与历史非目标区域的相似度小于预设阈值，则将历史非目标区域作为非目标区域的非标定区域；
当非目标区域存在至少一个标定区域，则将渲染服务器中存储的相似度最高对应的标定区域的渲染结果作为第二渲染区域；
当非目标区域不存在标定区域，则利用渲染服务器对非目标区域进行渲染处理得到第二渲染区域。
本发明针对云游戏会存在大量重复元素的画面，因此服务器还将历史渲染结果进行存储，在监测到已经渲染过的视频帧区域时，直接调用历史渲染结果，避免重复渲染，造成渲染资源的浪费，还能节约渲染时长。
在本发明的第二个方面，本发明提提供了一种云视频协作渲染装置，包括：
数据获取模块，用于获取第一流媒体视频，第一流媒体视频中包含有多个云视频帧；
数据处理模块，用于对云视频帧，通过图像识别模型，得到云视频帧的目标区域和云视频帧的非目标区域；
对云视频帧的目标区域，通过目标区域的渲染匹配模型，确定出目标区域的渲染服务器；
对云视频帧的非目标区域，通过非目标区域的渲染匹配模型，确定出非目标区域的渲染服务器；
利用目标区域的渲染服务器，对目标区域进行渲染得到第一渲染区域；
利用非目标区域的渲染服务器，对非目标区域进行渲染得到第二渲染区域；
将第一渲染区域和第二渲染区域进行融合重构得到第一渲染视频帧，将第一渲染视频帧对应替换云视频中的云视频帧，得到渲染云视频；
数据存储模块，用于存储图像识别模型，渲染匹配模型，以及实时存储云视频帧的目标区域、云视频帧的非目标区域、第一渲染区域和第二渲染区域。
在本发明的第三个方面，本发明提提供了一种计算机设备，
至少一个处理器；以及
与至少一个处理器通信连接的存储器；
其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使计算机设备执行云视频协作渲染方法。
在本发明的第四个方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现云视频协作渲染方法。
本发明对云视频进行分区多服务器协作渲染，效率高，能够满足在云游戏中云视频加载服务的时效性，保证云游戏体验，而且构建渲染匹配模型进行服务器匹配，使得同类别的画面区域在同一个服务器中进行渲染，渲染操作针对性强，进一步提高渲染效率。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (9)

1.一种云视频协作渲染方法，其特征在于，包括以下步骤：
获取云视频，所述云视频中包含有多个云视频帧；
对云视频帧，通过图像识别模型，得到云视频帧的目标区域和云视频帧的非目标区域；
对云视频帧的目标区域，通过目标区域的渲染匹配模型，确定出所述目标区域的渲染服务器；
对云视频帧的非目标区域，通过非目标区域的渲染匹配模型，确定出所述非目标区域的渲染服务器；
利用目标区域的渲染服务器，对目标区域进行渲染得到第一渲染区域；
利用非目标区域的渲染服务器，对非目标区域进行渲染得到第二渲染区域；
将第一渲染区域和第二渲染区域进行融合重构得到第一渲染视频帧，将第一渲染视频帧对应替换云视频中的云视频帧，得到渲染云视频；
其中，所述图像识别模型为神经网络，所述渲染匹配模型为聚类模型；
所述目标区域的渲染匹配模型的构建，包括：
随机选择一组云视频帧的目标区域作为样本目标区域；
将所述样本目标区域利用聚类算法进行聚类处理，得到多个样本区域簇；
为每个样本区域簇赋予一个服务器标签，将样本区域簇的服务器标签作为样本区域簇中每个样本目标区域的服务器标签；
将样本目标区域作为sofmax分类器的第一输入项，将样本目标区域的服务器标签作为sofmax分类器的第一输出项；
利用sofmax分类器对第一输入项和第一输出项进行学习训练，得到所述目标区域的渲染匹配模型；
所述目标区域的渲染匹配模型的模型表达式为：
Label_object=sofmax(g_object)；
式中，Label_object为目标区域的服务器标签，g_object为所述目标区域，sofmax为sofmax分类器；
所述服务器标签对应于渲染服务器的编号。
2.根据权利要求1所述的一种云视频协作渲染方法，其特征在于：所述云视频帧的目标区域和云视频帧的非目标区域的确定，包括：
利用YOLO V5网络对云视频帧进行目标检测，得到云视频帧的目标区域和云视频帧的非目标区域；
所述YOLO V5网络经由大数据量的云视频帧进行训练。
3.根据权利要求2所述的一种云视频协作渲染方法，其特征在于：
确定出所述目标区域的渲染服务器，包括：
将云视频帧的目标区域输入至目标区域的渲染匹配模型，由目标区域的渲染匹配模型输出云视频帧的目标区域的服务器标签；
根据服务器标签匹配到对应编号的渲染服务器。
4.根据权利要求3所述的一种云视频协作渲染方法，其特征在于：
所述非目标区域的渲染匹配模型的构建，包括：
随机选择一组云视频帧的非目标区域作为第二样本目标区域；
将所述第二样本目标区域利用聚类算法进行聚类处理，得到多个第二样本区域簇；
为每个第二样本区域簇赋予一个服务器标签，将第二样本区域簇的服务器标签作为第二样本区域簇中每个第二样本目标区域的服务器标签；
将第二样本目标区域作为sofmax分类器的第二输入项，将第二样本目标区域的服务器标签作为sofmax分类器的第二输出项；
利用sofmax分类器对第二输入项和第二输出项进行学习训练，得到所述非目标区域的渲染匹配模型；
所述非目标区域的渲染匹配模型的模型表达式为：
Label_Nobject=sofmax(g_Nobject)；
式中，Label_Nobject为非目标区域的服务器标签，g_Nobject为所述非目标区域，sofmax为sofmax分类器；
所述服务器标签对应于渲染服务器的编号。
5.根据权利要求4所述的一种云视频协作渲染方法，其特征在于：
确定出所述非目标区域的渲染服务器，包括：
将云视频帧的非目标区域输入至非目标区域的渲染匹配模型，由非目标区域的渲染匹配模型输出云视频帧的非目标区域的服务器标签；
根据服务器标签匹配到对应编号的渲染服务器。
6.根据权利要求5所述的一种云视频协作渲染方法，其特征在于：所述第一渲染区域的获得，包括：
将目标区域与目标区域的渲染服务器中存储的已完成渲染的所有历史目标区域进行逐一比较，其中，
若目标区域与历史目标区域的相似度高于或等于预设阈值，则将历史目标区域作为目标区域的标定区域；
若目标区域与历史目标区域的相似度小于预设阈值，则将历史目标区域作为目标区域的非标定区域；
当目标区域存在至少一个标定区域，则将渲染服务器中存储的所述相似度最高对应的标定区域的渲染结果作为所述第一渲染区域；
当目标区域不存在标定区域，则利用渲染服务器对目标区域进行渲染处理得到第一渲染区域。
7.根据权利要求6所述的一种云视频协作渲染方法，其特征在于：所述第二渲染区域的获得，包括：
将非目标区域与非目标区域的渲染服务器中存储的已完成渲染的所有历史非目标区域进行逐一比较，其中，
若非目标区域与历史非目标区域的相似度高于或等于预设阈值，则将历史非目标区域作为非目标区域的标定区域；
若非目标区域与历史非目标区域的相似度小于预设阈值，则将历史非目标区域作为非目标区域的非标定区域；
当非目标区域存在至少一个标定区域，则将渲染服务器中存储的所述相似度最高对应的标定区域的渲染结果作为所述第二渲染区域；
当非目标区域不存在标定区域，则利用渲染服务器对非目标区域进行渲染处理得到第二渲染区域。
8.一种云视频协作渲染装置，其特征在于，包括：
数据获取模块，用于获取第一流媒体视频，所述第一流媒体视频中包含有多个云视频帧；
数据处理模块，用于对云视频帧，通过图像识别模型，得到云视频帧的目标区域和云视频帧的非目标区域；
对云视频帧的目标区域，通过目标区域的渲染匹配模型，确定出所述目标区域的渲染服务器；
对云视频帧的非目标区域，通过非目标区域的渲染匹配模型，确定出所述非目标区域的渲染服务器；
利用目标区域的渲染服务器，对目标区域进行渲染得到第一渲染区域；
利用非目标区域的渲染服务器，对非目标区域进行渲染得到第二渲染区域；
将第一渲染区域和第二渲染区域进行融合重构得到第一渲染视频帧，将第一渲染视频帧对应替换云视频中的云视频帧，得到渲染云视频；
数据存储模块，用于存储图像识别模型和渲染匹配模型，以及实时存储云视频帧的目标区域、云视频帧的非目标区域、第一渲染区域和第二渲染区域；
所述目标区域的渲染匹配模型的构建，包括：
随机选择一组云视频帧的目标区域作为样本目标区域；
将所述样本目标区域利用聚类算法进行聚类处理，得到多个样本区域簇；
为每个样本区域簇赋予一个服务器标签，将样本区域簇的服务器标签作为样本区域簇中每个样本目标区域的服务器标签；
将样本目标区域作为sofmax分类器的第一输入项，将样本目标区域的服务器标签作为sofmax分类器的第一输出项；
利用sofmax分类器对第一输入项和第一输出项进行学习训练，得到所述目标区域的渲染匹配模型；
所述目标区域的渲染匹配模型的模型表达式为：
Label_object=sofmax(g_object)；
式中，Label_object为目标区域的服务器标签，g_object为所述目标区域，sofmax为sofmax分类器；
所述服务器标签对应于渲染服务器的编号。
9.一种计算机设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使计算机设备执行权利要求1-7任一项所述的方法。
CN202311316578.3A 2023-10-12 2023-10-12 云视频协作渲染方法、装置及计算机设备 Active CN117061792B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311316578.3A CN117061792B (zh) 2023-10-12 2023-10-12 云视频协作渲染方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311316578.3A CN117061792B (zh) 2023-10-12 2023-10-12 云视频协作渲染方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN117061792A CN117061792A (zh) 2023-11-14
CN117061792B true CN117061792B (zh) 2024-01-30

Family

ID=88664856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311316578.3A Active CN117061792B (zh) 2023-10-12 2023-10-12 云视频协作渲染方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN117061792B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274469A (zh) * 2017-06-06 2017-10-20 清华大学 面向虚拟现实的协同渲染方法
CN114501062A (zh) * 2022-01-27 2022-05-13 腾讯科技（深圳）有限公司 视频渲染协同方法、装置、设备及存储介质
CN115409926A (zh) * 2021-05-11 2022-11-29 电子科技大学 一种分布式渲染方法
CN116440501A (zh) * 2023-06-16 2023-07-18 瀚博半导体(上海)有限公司 自适应云游戏视频画面渲染方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10249073B2 (en) * 2015-07-21 2019-04-02 Intel Corporation Distributed frame buffer and API for scalable parallel rendering

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274469A (zh) * 2017-06-06 2017-10-20 清华大学 面向虚拟现实的协同渲染方法
CN115409926A (zh) * 2021-05-11 2022-11-29 电子科技大学 一种分布式渲染方法
CN114501062A (zh) * 2022-01-27 2022-05-13 腾讯科技（深圳）有限公司 视频渲染协同方法、装置、设备及存储介质
CN116440501A (zh) * 2023-06-16 2023-07-18 瀚博半导体(上海)有限公司 自适应云游戏视频画面渲染方法和系统

Also Published As

Publication number Publication date
CN117061792A (zh) 2023-11-14

Similar Documents

Publication Publication Date Title
He et al. Rubiks: Practical 360-degree streaming for smartphones
US10499056B2 (en) System and method for video processing based on quantization parameter
CN110072119B (zh) 一种基于深度学习网络的内容感知视频自适应传输方法
CN110139113B (zh) 视频资源的传输参数分发方法及装置
KR102050780B1 (ko) 신경망을 이용한 컨텐츠 인지 기반 컨텐츠 전송 서버 장치 및 방법
CN112102212B (zh) 一种视频修复方法、装置、设备及存储介质
CN110620924B (zh) 编码数据的处理方法、装置、计算机设备及存储介质
CN116440501B (zh) 自适应云游戏视频画面渲染方法和系统
CN112435244A (zh) 直播视频的质量评价方法、装置、计算机设备和存储介质
CN116033189A (zh) 基于云边协同的直播互动视频分区智能控制方法和系统
WO2021136144A1 (zh) 一种字符的还原方法及装置、存储介质、电子装置
CN117061792B (zh) 云视频协作渲染方法、装置及计算机设备
CN114827617B (zh) 一种基于感知模型的视频编解码方法及系统
CN112560552A (zh) 视频分类的方法和装置
CN111954034A (zh) 一种基于终端设备参数的视频编码方法及系统
CN116980604A (zh) 视频编码方法、视频解码方法及相关设备
US10986337B2 (en) Systems and methods for selective transmission of media content
CN114071121B (zh) 影像品质评估装置及其影像品质评估方法
CN117058598B (zh) 云视频帧高质量优化方法、装置及计算机设备
US10764578B2 (en) Bit rate optimization system and method
CN113628121A (zh) 数据处理、训练多媒体数据的方法和装置
CN117061791B (zh) 云视频帧自适应协作渲染方法、装置及计算机设备
CN114095763B (zh) 视频列表推送方法及播放质量评估方法
CN109783475B (zh) 一种视频失真效应标记大规模数据库的构建方法
CN117061825B (zh) 流媒体视频坏帧检测方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant