CN117058598B - 云视频帧高质量优化方法、装置及计算机设备 - Google Patents

云视频帧高质量优化方法、装置及计算机设备 Download PDF

Info

Publication number
CN117058598B
CN117058598B CN202311316506.9A CN202311316506A CN117058598B CN 117058598 B CN117058598 B CN 117058598B CN 202311316506 A CN202311316506 A CN 202311316506A CN 117058598 B CN117058598 B CN 117058598B
Authority
CN
China
Prior art keywords
rendering
area
rendering area
fusion
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311316506.9A
Other languages
English (en)
Other versions
CN117058598A (zh
Inventor
贺国超
王曜
刘琦
许亦
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yuntian Changxiang Information Technology Co ltd
Original Assignee
Shenzhen Yuntian Changxiang Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yuntian Changxiang Information Technology Co ltd filed Critical Shenzhen Yuntian Changxiang Information Technology Co ltd
Priority to CN202311316506.9A priority Critical patent/CN117058598B/zh
Publication of CN117058598A publication Critical patent/CN117058598A/zh
Application granted granted Critical
Publication of CN117058598B publication Critical patent/CN117058598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/86—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using syntactic or structural representations of the image or video pattern, e.g. symbolic string recognition; using graph matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种云视频帧高质量优化方法、装置及计算机设备，包括以下步骤：根据第一渲染区域和第二渲染区域，通过特征提取，分别得到第一渲染区域以及第二渲染区域的图像主体结构特征和图像轮廓纹理特征；根据所述图像轮廓纹理特征，通过相似性聚类，得到第一渲染区域和第二渲染区域的融合对；根据所述图像主体结构特征和图像轮廓纹理特征，对第一渲染区域和第二渲染区域的融合对进行融合重构，得到渲染云视频帧。本发明在协作渲染中通过图像主体结构特征和图像轮廓纹理特征进行融合重构，使得协作渲染得到的多个局部渲染区域融合的过渡更加自然，降低拼接缝的产生，实现云视频帧的高质量优化，保证云游戏画面体验感。

Description

云视频帧高质量优化方法、装置及计算机设备
技术领域
本发明涉及视频处理技术领域，具体涉及一种云视频帧高质量优化方法、装置及计算机设备。
背景技术
流媒体已经遍布人们工作生活的方方面面，例如电视、手机、笔记本等各种终端中都要使用流媒体进行视频及云视频播放。相应的，人们对视频播放质量的要求，包括清晰度、流畅性、实时性等方面要求也越来越高。很多流媒体场景比如云游戏的云渲染(Rendering)，是在云端完成渲染，然后将渲染得到的视频图像编码串流传输至端侧，由端侧对接收到的码流进行解码。这样，端侧可以获取到高质量的渲染内容实现视频播放。
在现有技术进行视频帧协作渲染时，通常使用多服务器进行协作渲染操作，提高效率低下，满足在云游戏中云视频加载服务的时效性，但是却专注于追求效率的提升，忽视了视频渲染质量，难以得到高质量的渲染视频帧，影响云游戏画面清晰度，最终影响云游戏体验。
发明内容
本发明的目的在于提供一种云视频帧高质量优化方法、装置及计算机设备，以解决现有技术中专注于追求效率的提升，忽视了视频渲染质量，难以得到高质量的渲染视频帧，影响云游戏画面清晰度，最终影响云游戏体验的技术问题。
为解决上述技术问题，本发明具体提供下述技术方案：
在本发明的第一个方面，本发明提供了一种云视频帧高质量优化方法，包括以下步骤：
获取云视频，所述云视频中包含有多个云视频帧，所述云视频帧包含目标区域和非目标区域；
对云视频帧，通过渲染服务器的分区渲染，得到第一渲染区域和第二渲染区域，第一渲染区域对应于目标区域的服务器渲染结果，第二渲染区域对应于非目标区域的服务器渲染结果；
根据第一渲染区域和第二渲染区域，通过特征提取，分别得到第一渲染区域的图像主体结构特征和图像轮廓纹理特征，以及第二渲染区域的图像主体结构特征和图像轮廓纹理特征；
根据所述图像轮廓纹理特征，通过相似性聚类，得到第一渲染区域和第二渲染区域的融合对，所述第一渲染区域和第二渲染区域的融合对对应于至少两个可融合的第一渲染区域和第二渲染区域；
根据所述图像主体结构特征和图像轮廓纹理特征，对第一渲染区域和第二渲染区域的融合对进行融合重构，得到渲染云视频帧。
作为本发明的一种优选方案，所述云视频帧的目标区域和云视频帧的非目标区域的通过YOLO V5网络确定。
作为本发明的一种优选方案，所述第一渲染区域的图像主体结构特征和图像轮廓纹理特征的确定，包括：
将第一渲染区域进行图像金字塔构建，得到第一渲染区域的图像金字塔；
将第一渲染区域的图像金字塔进行拉普拉斯变换得到第一渲染区域的高频分量，以及第一渲染区域的低频分量；
将第一渲染区域的高频分量作为第一渲染区域的图像轮廓纹理特征；
将第一渲染区域的低频分量作为第一渲染区域的图像主体结构特征。
作为本发明的一种优选方案，所述第二渲染区域的图像主体结构特征和图像轮廓纹理特征的确定，包括：
将第二渲染区域进行图像金字塔构建，得到第二渲染区域的图像金字塔；
将第二渲染区域的图像金字塔进行拉普拉斯变换得到第二渲染区域的高频分量，以及第二渲染区域的低频分量；
将第二渲染区域的高频分量作为第二渲染区域的图像轮廓纹理特征；
将第二渲染区域的低频分量作为第二渲染区域的图像主体结构特征。
作为本发明的一种优选方案，所述第一渲染区域和第二渲染区域的融合对的确定，包括：
当预建立的融合对分类模型的准确性低于预设阈值，则
以各个第一渲染区域的图像轮廓纹理特征为聚类中心，利用Kmeans聚类算法以聚类中心基于第二渲染区域的图像纹理特征进行聚类，得到多个聚类簇；
将每个聚类簇中聚类中心对应的第一渲染区域与同一聚类簇中各个第二渲染区域逐一构成第一渲染区域和第二渲染区域的融合对；
当预建立的融合对分类模型的准确性高于或等于预设阈值，则
将第一渲染区域的图像轮廓纹理特征与第二渲染区域的图像纹理特征输入至预建立的融合对分类模型中，得到第一渲染区域和第二渲染区域的融合对。
作为本发明的一种优选方案，所述融合对分类模型的构建，包括：
随机选取多个云视频帧的第一渲染区域和第二渲染区域，并对应作为第一样本区域和第二样本区域；
以各个第一样本区域的图像轮廓纹理特征为聚类中心，利用Kmeans聚类算法以聚类中心基于第二样本区域的图像纹理特征进行聚类，得到多个聚类簇；
将每个聚类簇中聚类中心对应的第一样本区域与同一聚类簇中各个第二样本区域逐一构成第一样本区域和第二样本区域的融合对；
将第一样本区域的图像轮廓纹理特征与第二样本区域的图像纹理特征作为sofmax分类器的输入项，将第一样本区域和第二样本区域的融合对作为sofmax分类器的输出项；
利用sofmax分类器对所述输入项和所述输出项进行学习训练，得到融合对分类模型；
所述融合对分类模型的模型表达式为：G1_G2=sofmax(G1_feature1, G2_feature1)；式中，G1_G2为第一样本区域和第二样本区域的融合对，G1_feature1为第一样本区域的图像轮廓纹理特征， G2_feature1为第二样本区域的图像轮廓纹理特征，sofmax为sofmax分类器。
作为本发明的一种优选方案，所述对第一渲染区域和第二渲染区域的融合对进行融合重构，得到渲染云视频帧，包括：
在第一渲染区域和第二渲染区域的融合对中，将第一渲染区域的图像主体结构特征与第二渲染区域的图像主体结构特征进行均值化处理，将第一渲染区域的图像轮廓纹理特征与第二渲染区域的图像轮廓纹理特征进行加权平均处理，得到第一渲染区域和第二渲染区域的融合对的融合区域；
提取所有所述融合区域的图像主体结构特征和图像轮廓纹理特征，并将各个融合区域的图像主体结构特征进行均值化处理，以及将各个融合区域的图像轮廓纹理特征进行加权平均处理，得到第一融合渲染视频帧；
将第一渲染区域和第二渲染区域对应填充到云视频帧的目标区域和云视频帧的非目标区域处，并对处于目标区域和非目标区域交接处的第一渲染区域和第二渲染区域进行加权平均处理，得到第二融合渲染视频帧；
将第一融合渲染视频帧的拉普拉斯反变换与第二融合渲染视频帧的拉普拉斯反变换进行重构，得到第一渲染云视频；
所述重构规则为为取大值、取小值或加权平均中的至少一种。
作为本发明的一种优选方案，所述目标区域和非目标区域分别通过不同的渲染服务器得到第一渲染区域和第二渲染区域。
在本发明的第二个方面，一种云视频帧高质量优化装置，包括：
数据获取模块，获取云视频，所述云视频中包含有多个云视频帧，所述云视频帧包含目标区域和非目标区域；
数据处理模块，用于对云视频帧，通过渲染服务器的分区渲染，得到第一渲染区域和第二渲染区域，第一渲染区域对应于目标区域的服务器渲染结果，第二渲染区域对应于非目标区域的服务器渲染结果；
根据第一渲染区域和第二渲染区域，通过特征提取，分别得到第一渲染区域的图像主体结构特征和图像轮廓纹理特征，以及第二渲染区域的图像主体结构特征和图像轮廓纹理特征；
根据所述图像轮廓纹理特征，通过相似性聚类，得到第一渲染区域和第二渲染区域的融合对，所述第一渲染区域和第二渲染区域的融合对对应于至少两个可融合的第一渲染区域和第二渲染区域；
根据所述图像主体结构特征和图像轮廓纹理特征，对第一渲染区域和第二渲染区域的融合对进行融合重构，得到渲染云视频帧；
数据存储模块，用于存储融合对分类模型。
在本发明的第三个方面，一种计算机设备，
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使计算机设备执行云视频帧高质量优化方法。
在本发明的第四个方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现云视频帧高质量优化方法。
本发明与现有技术相比较具有如下有益效果：
本发明在协作渲染中通过图像主体结构特征和图像轮廓纹理特征进行融合重构，使得协作渲染得到的多个局部渲染区域融合的过渡更加自然，降低拼接缝的产生，实现云视频帧的高质量优化，增强云游戏画面清晰度，保证云游戏画面体验感。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例提供的云视频帧高质量优化方法流程图；
图2为本发明实施例提供的云视频帧高质量优化方法装置框图；
图3为本发明实施例提供的计算机装置的内部结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，在本发明的第一个方面，本发明提供了一种云视频帧高质量优化方法，包括以下步骤：
获取云视频，云视频中包含有多个云视频帧，云视频帧包含目标区域和非目标区域；
对云视频帧，通过渲染服务器的分区渲染，得到第一渲染区域和第二渲染区域，第一渲染区域对应于目标区域的服务器渲染结果，第二渲染区域对应于非目标区域的服务器渲染结果；
根据第一渲染区域和第二渲染区域，通过特征提取，分别得到第一渲染区域的图像主体结构特征和图像轮廓纹理特征，以及第二渲染区域的图像主体结构特征和图像轮廓纹理特征；
根据图像轮廓纹理特征，通过相似性聚类，得到第一渲染区域和第二渲染区域的融合对，第一渲染区域和第二渲染区域的融合对对应于至少两个可融合的第一渲染区域和第二渲染区域；
根据图像主体结构特征和图像轮廓纹理特征，对第一渲染区域和第二渲染区域的融合对进行融合重构，得到渲染云视频帧。
本发明为了在多服务器协作渲染提高渲染效率的基础上，保证渲染效率的同时保证渲染的视频帧质量，对多服务器针对各个视频帧局部区域的渲染结果（即第一渲染区域和第二渲染区域）进行融合重构，提高渲染得到的云视频帧的质量，实现云视频帧的渲染质量优化。
本发明为了增强第一渲染区域和第二渲染区域的融合重构效果，避免边界融合痕迹重，主体结构不连贯，画面分辨率低的缺陷，将第一渲染区域和第二渲染区域进行分特征融合，将决定边界融合痕迹的特征分量（图像轮廓纹理特征）和决定主体结构连贯性的特征分量（图像主体结构特征），进行针对性融合。
本发明对决定边界融合痕迹的特征分量进行细节融合处理，即采用加权平均的方式，尽可能的保存第一渲染区域和第二渲染区域的图像轮廓纹理特征，使得第一渲染区域和第二渲染区域的融合边界处朝向第一渲染区域或第二渲染区域均呈现自然过渡，从而避免了暴力融合导致第一渲染区域和第二渲染区域的图像轮廓纹理特征过度丢失，减少了边界痕迹。
本发明对决定主体结构连贯性的特征分量进行暴力融合处理，即采用均值化的方式，尽可能快速融合第一渲染区域和第二渲染区域的图像主体结构特征，保持第一渲染区域和第二渲染区域融合过程中决定了融合后主体结构连贯性，主体结构融合无需考虑融合边界痕迹的问题，因此不存在融合细节处理的问题，所以可直接追求融合效率，即采用暴力融合处理。
云视频帧的目标区域和云视频帧的非目标区域的通过YOLO V5网络确定。
第一渲染区域的图像主体结构特征和图像轮廓纹理特征的确定，包括：
将第一渲染区域进行图像金字塔构建，得到第一渲染区域的图像金字塔；
将第一渲染区域的图像金字塔进行拉普拉斯变换得到第一渲染区域的高频分量，以及第一渲染区域的低频分量；
将第一渲染区域的高频分量作为第一渲染区域的图像轮廓纹理特征；
将第一渲染区域的低频分量作为第一渲染区域的图像主体结构特征。
第二渲染区域的图像主体结构特征和图像轮廓纹理特征的确定，包括：
将第二渲染区域进行图像金字塔构建，得到第二渲染区域的图像金字塔；
将第二渲染区域的图像金字塔进行拉普拉斯变换得到第二渲染区域的高频分量，以及第二渲染区域的低频分量；
将第二渲染区域的高频分量作为第二渲染区域的图像轮廓纹理特征；
将第二渲染区域的低频分量作为第二渲染区域的图像主体结构特征。
本发明脱离第一渲染区域和第二渲染区域在原始视频帧上的位置关系进行融合，转而利用图像轮廓纹理特征确定出可融合在一起的第一渲染区域和第二渲染区域（即第一渲染区域和第二渲染区域的融合对），具体如下：
第一渲染区域和第二渲染区域的融合对的确定，包括：
当预建立的融合对分类模型的准确性低于预设阈值，则
以各个第一渲染区域的图像轮廓纹理特征为聚类中心，利用Kmeans聚类算法以聚类中心基于第二渲染区域的图像纹理特征进行聚类，得到多个聚类簇；
将每个聚类簇中聚类中心对应的第一渲染区域与同一聚类簇中各个第二渲染区域逐一构成第一渲染区域和第二渲染区域的融合对；
当预建立的融合对分类模型的准确性高于或等于预设阈值，则
将第一渲染区域的图像轮廓纹理特征与第二渲染区域的图像纹理特征输入至预建立的融合对分类模型中，得到第一渲染区域和第二渲染区域的融合对。
本发明利用图像轮廓纹理特征确定出可融合在一起的第一渲染区域和第二渲染区域（即第一渲染区域和第二渲染区域的融合对），使用了两种方式，第一种，直接利用聚类算法，第二种，在利用聚类算法积累了大量数据样本后进行深度学习，构建出融合对分类模型，提高自动化程度，满足云渲染的时效性需求。
融合对分类模型的构建，包括：
随机选取多个云视频帧的第一渲染区域和第二渲染区域，并对应作为第一样本区域和第二样本区域；
以各个第一样本区域的图像轮廓纹理特征为聚类中心，利用Kmeans聚类算法以聚类中心基于第二样本区域的图像纹理特征进行聚类，得到多个聚类簇；
将每个聚类簇中聚类中心对应的第一样本区域与同一聚类簇中各个第二样本区域逐一构成第一样本区域和第二样本区域的融合对；
将第一样本区域的图像轮廓纹理特征与第二样本区域的图像纹理特征作为sofmax分类器的输入项，将第一样本区域和第二样本区域的融合对作为sofmax分类器的输出项；
利用sofmax分类器对输入项和输出项进行学习训练，得到融合对分类模型；
融合对分类模型的模型表达式为：G1_G2=sofmax(G1_feature1, G2_feature1)；式中，G1_G2为第一样本区域和第二样本区域的融合对，G1_feature1为第一样本区域的图像轮廓纹理特征， G2_feature1为第二样本区域的图像轮廓纹理特征，sofmax为sofmax分类器。本发明为了在分特征融合增强第一渲染区域和第二渲染区域的融合重构效果的基础上，进一步的提高融合重构后的视频帧质量，脱离第一渲染区域和第二渲染区域在原始视频帧上的位置关系进行融合，转而利用图像轮廓纹理特征确定出可融合在一起的第一渲染区域和第二渲染区域（即第一渲染区域和第二渲染区域的融合对），直接利用特征分量决定融合关系，融合结果，得到完全由图像特征决定的融合结果，融合重构的聚焦点在图像特征上，得到第一融合渲染视频帧。
还利用第一渲染区域和第二渲染区域在原始视频帧上的位置关系进行融合，利用目标区域和非目标区域的位置关系进行融合，得到完全由原始位置关系决定的融合结果，融合重构的聚焦点在图像位置关系上，得到第二融合渲染视频帧。
本发明将不同聚焦点的第一融合渲染视频帧和第二融合渲染视频帧进行融合得到最终的高质量渲染视频帧，将融合重构兼顾至图像特征和图像位置关系的统一，提高融合重构后的视频帧质量。
本发明将不同聚焦点的第一融合渲染视频帧和第二融合渲染视频帧进行融合得到最终的高质量渲染视频帧，具体如下：
对第一渲染区域和第二渲染区域的融合对进行融合重构，得到渲染云视频帧，包括：
在第一渲染区域和第二渲染区域的融合对中，将第一渲染区域的图像主体结构特征与第二渲染区域的图像主体结构特征进行均值化处理，将第一渲染区域的图像轮廓纹理特征与第二渲染区域的图像轮廓纹理特征进行加权平均处理，得到第一渲染区域和第二渲染区域的融合对的融合区域；
提取所有融合区域的图像主体结构特征和图像轮廓纹理特征，并将各个融合区域的图像主体结构特征进行均值化处理，以及将各个融合区域的图像轮廓纹理特征进行加权平均处理，得到第一融合渲染视频帧；
将第一渲染区域和第二渲染区域对应填充到云视频帧的目标区域和云视频帧的非目标区域处，并对处于目标区域和非目标区域交接处的第一渲染区域和第二渲染区域进行加权平均处理，得到第二融合渲染视频帧；
将第一融合渲染视频帧的拉普拉斯反变换与第二融合渲染视频帧的拉普拉斯反变换进行重构，得到第一渲染云视频；
重构规则为为取大值、取小值或加权平均中的至少一种。
目标区域和非目标区域分别通过不同的渲染服务器得到第一渲染区域和第二渲染区域。
本发明为了提高云视频渲染效率，满足在云游戏中云视频加载服务的时效性，将云视频的视频帧进行分区域多服务器渲染，多服务器协同相较于单一服务器渲染有效的提高了渲染效率。
本发明为了提高服务器的渲染针对性，构建了渲染匹配模型，对视频帧进行分区服务器匹配，实现一个服务器只处理同一类型视频帧局部区域的渲染，渲染针对性强，使得服务器的渲染设定保持相对固定，无需在渲染过程中进行大的调整，来适应不同类型的视频帧局部区域的渲染，保持服务器的渲染针对性，规避了服务器渲染设定的调整，又进一步提高了渲染效率。
本发明在构建渲染匹配模型时，根据视频帧分区进行针对性构建，因此需要先进行视频帧分区，将视频帧分为目标区域和非目标区域，其中，目标区域包含有构成云游戏画面的角色要素、场景要素等等，决定云游戏画面的重要区域，而非目标区域则包含有构成云游戏画面的一些不重要元素，比如画面背景中固化设定等等，根据目标区域和非目标区域中的画面元素可知，目标区域和非目标区域在渲染上存在着不同的需求，目标区域要比非目标区域具有更高的渲染需求，因此将视频帧进行分区渲染，并根据分区匹配符合渲染需求的服务器，更能根据画面需求实现针对性渲染，且不会造成渲染资源的乱分配（比如为非目标区域配备渲染效果更高的服务器，或为目标区域配备渲染效果更差的服务器）。
本发明构建渲染匹配模型实现根据分区匹配符合渲染需求的服务器，在目标区域和非目标区域中构建目标区域的渲染匹配模型和非目标区域的渲染匹配模型，为目标区域和非目标区域各自匹配符合渲染需求的服务器，即目标区域的渲染匹配模型匹配出的目标区域的服务器的渲染设定满足目标区域的渲染需求，实现对目标区域的针对性渲染，以及和非目标区域的渲染匹配模型匹配出的非目标区域的服务器的渲染设定满足非目标区域的渲染需求，实现对非目标区域的针对性渲染。
如图2所示，在本发明的第二个方面，一种云视频帧高质量优化装置，包括：
数据获取模块，获取云视频，云视频中包含有多个云视频帧，云视频帧包含目标区域和非目标区域；
数据处理模块，用于对云视频帧，通过渲染服务器的分区渲染，得到第一渲染区域和第二渲染区域，第一渲染区域对应于目标区域的服务器渲染结果，第二渲染区域对应于非目标区域的服务器渲染结果；
根据第一渲染区域和第二渲染区域，通过特征提取，分别得到第一渲染区域的图像主体结构特征和图像轮廓纹理特征，以及第二渲染区域的图像主体结构特征和图像轮廓纹理特征；
根据图像轮廓纹理特征，通过相似性聚类，得到第一渲染区域和第二渲染区域的融合对，第一渲染区域和第二渲染区域的融合对对应于至少两个可融合的第一渲染区域和第二渲染区域；
根据图像主体结构特征和图像轮廓纹理特征，对第一渲染区域和第二渲染区域的融合对进行融合重构，得到渲染云视频帧；
数据存储模块，用于存储融合对分类模型。
如图3所示，在本发明的第三个方面，一种计算机设备，
至少一个处理器；以及
与至少一个处理器通信连接的存储器；
其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使计算机设备执行云视频帧高质量优化方法。
在本发明的第四个方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现云视频帧高质量优化方法。
本发明在协作渲染中通过图像主体结构特征和图像轮廓纹理特征进行融合重构，使得协作渲染得到的多个局部渲染区域融合的过渡更加自然，降低拼接缝的产生，实现云视频帧的高质量优化，增强云游戏画面清晰度，保证云游戏画面体验感。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (10)

1.一种云视频帧高质量优化方法，其特征在于，包括以下步骤：
获取云视频，所述云视频中包含有多个云视频帧，所述云视频帧包含目标区域和非目标区域；
对云视频帧，通过渲染服务器的分区渲染，得到第一渲染区域和第二渲染区域，第一渲染区域对应于目标区域的服务器渲染结果，第二渲染区域对应于非目标区域的服务器渲染结果；
根据第一渲染区域和第二渲染区域，通过特征提取，分别得到第一渲染区域的图像主体结构特征和图像轮廓纹理特征，以及第二渲染区域的图像主体结构特征和图像轮廓纹理特征；
根据所述图像轮廓纹理特征，通过相似性聚类，得到第一渲染区域和第二渲染区域的融合对，所述第一渲染区域和第二渲染区域的融合对对应于至少两个可融合的第一渲染区域和第二渲染区域；
根据所述图像主体结构特征和图像轮廓纹理特征，对第一渲染区域和第二渲染区域的融合对进行融合重构，得到渲染云视频帧。
2.根据权利要求1所述的一种云视频帧高质量优化方法，其特征在于：所述云视频帧的目标区域和云视频帧的非目标区域的通过YOLO V5网络确定。
3.根据权利要求2所述的一种云视频帧高质量优化方法，其特征在于：所述第一渲染区域的图像主体结构特征和图像轮廓纹理特征的确定，包括：
将第一渲染区域进行图像金字塔构建，得到第一渲染区域的图像金字塔；
将第一渲染区域的图像金字塔进行拉普拉斯变换得到第一渲染区域的高频分量，以及第一渲染区域的低频分量；
将第一渲染区域的高频分量作为第一渲染区域的图像轮廓纹理特征；
将第一渲染区域的低频分量作为第一渲染区域的图像主体结构特征。
4.根据权利要求3所述的一种云视频帧高质量优化方法，其特征在于：
所述第二渲染区域的图像主体结构特征和图像轮廓纹理特征的确定，包括：
将第二渲染区域进行图像金字塔构建，得到第二渲染区域的图像金字塔；
将第二渲染区域的图像金字塔进行拉普拉斯变换得到第二渲染区域的高频分量，以及第二渲染区域的低频分量；
将第二渲染区域的高频分量作为第二渲染区域的图像轮廓纹理特征；
将第二渲染区域的低频分量作为第二渲染区域的图像主体结构特征。
5.根据权利要求4所述的一种云视频帧高质量优化方法，其特征在于：
所述第一渲染区域和第二渲染区域的融合对的确定，包括：
当预建立的融合对分类模型的准确性低于预设阈值，则
以各个第一渲染区域的图像轮廓纹理特征为聚类中心，利用Kmeans聚类算法以聚类中心基于第二渲染区域的图像纹理特征进行聚类，得到多个聚类簇；
将每个聚类簇中聚类中心对应的第一渲染区域与同一聚类簇中各个第二渲染区域逐一构成第一渲染区域和第二渲染区域的融合对；
当预建立的融合对分类模型的准确性高于或等于预设阈值，则
将第一渲染区域的图像轮廓纹理特征与第二渲染区域的图像纹理特征输入至预建立的融合对分类模型中，得到第一渲染区域和第二渲染区域的融合对。
6.根据权利要求5所述的一种云视频帧高质量优化方法，其特征在于：
所述融合对分类模型的构建，包括：
随机选取多个云视频帧的第一渲染区域和第二渲染区域，并对应作为第一样本区域和第二样本区域；
以各个第一样本区域的图像轮廓纹理特征为聚类中心，利用Kmeans聚类算法以聚类中心基于第二样本区域的图像纹理特征进行聚类，得到多个聚类簇；
将每个聚类簇中聚类中心对应的第一样本区域与同一聚类簇中各个第二样本区域逐一构成第一样本区域和第二样本区域的融合对；
将第一样本区域的图像轮廓纹理特征与第二样本区域的图像纹理特征作为sofmax分类器的输入项，将第一样本区域和第二样本区域的融合对作为sofmax分类器的输出项；
利用sofmax分类器对所述输入项和所述输出项进行学习训练，得到融合对分类模型；
所述融合对分类模型的模型表达式为：G1_G2=sofmax(G1_feature1, G2_feature1)；式中，G1_G2为第一样本区域和第二样本区域的融合对，G1_feature1为第一样本区域的图像轮廓纹理特征， G2_feature1为第二样本区域的图像轮廓纹理特征，sofmax为sofmax分类器。
7.根据权利要求5所述的一种云视频帧高质量优化方法，其特征在于：
所述对第一渲染区域和第二渲染区域的融合对进行融合重构，得到渲染云视频帧，包括：
在第一渲染区域和第二渲染区域的融合对中，将第一渲染区域的图像主体结构特征与第二渲染区域的图像主体结构特征进行均值化处理，将第一渲染区域的图像轮廓纹理特征与第二渲染区域的图像轮廓纹理特征进行加权平均处理，得到第一渲染区域和第二渲染区域的融合对的融合区域；
提取所有所述融合区域的图像主体结构特征和图像轮廓纹理特征，并将各个融合区域的图像主体结构特征进行均值化处理，以及将各个融合区域的图像轮廓纹理特征进行加权平均处理，得到第一融合渲染视频帧；
将第一渲染区域和第二渲染区域对应填充到云视频帧的目标区域和云视频帧的非目标区域处，并对处于目标区域和非目标区域交接处的第一渲染区域和第二渲染区域进行加权平均处理，得到第二融合渲染视频帧；
将第一融合渲染视频帧的拉普拉斯反变换与第二融合渲染视频帧的拉普拉斯反变换进行重构，得到第一渲染云视频；
所述重构规则为为取大值、取小值或加权平均中的至少一种。
8.根据权利要求7所述的一种云视频帧高质量优化方法，其特征在于：所述目标区域和非目标区域分别通过不同的渲染服务器得到第一渲染区域和第二渲染区域。
9.一种云视频帧高质量优化装置，其特征在于，包括：
数据获取模块，获取云视频，所述云视频中包含有多个云视频帧，所述云视频帧包含目标区域和非目标区域；数据处理模块，用于对云视频帧，通过渲染服务器的分区渲染，得到第一渲染区域和第二渲染区域，第一渲染区域对应于目标区域的服务器渲染结果，第二渲染区域对应于非目标区域的服务器渲染结果；
根据第一渲染区域和第二渲染区域，通过特征提取，分别得到第一渲染区域的图像主体结构特征和图像轮廓纹理特征，以及第二渲染区域的图像主体结构特征和图像轮廓纹理特征；
根据所述图像轮廓纹理特征，通过相似性聚类，得到第一渲染区域和第二渲染区域的融合对，所述第一渲染区域和第二渲染区域的融合对对应于至少两个可融合的第一渲染区域和第二渲染区域；
根据所述图像主体结构特征和图像轮廓纹理特征，对第一渲染区域和第二渲染区域的融合对进行融合重构，得到渲染云视频帧；
数据存储模块，用于存储融合对分类模型。
10.一种计算机设备，其特征在于，
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使计算机设备执行权利要求1-8任一项所述的方法。
CN202311316506.9A 2023-10-12 2023-10-12 云视频帧高质量优化方法、装置及计算机设备 Active CN117058598B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311316506.9A CN117058598B (zh) 2023-10-12 2023-10-12 云视频帧高质量优化方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311316506.9A CN117058598B (zh) 2023-10-12 2023-10-12 云视频帧高质量优化方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN117058598A CN117058598A (zh) 2023-11-14
CN117058598B true CN117058598B (zh) 2023-12-22

Family

ID=88667782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311316506.9A Active CN117058598B (zh) 2023-10-12 2023-10-12 云视频帧高质量优化方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN117058598B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129420A (zh) * 2021-04-14 2021-07-16 江苏理工学院 一种基于深度缓冲加速的光线追踪渲染方法
WO2021195585A1 (en) * 2020-03-27 2021-09-30 Datavizvr Incorporated 3d collaborative visual command line system to visualize and manage networked endpoints
CN114501062A (zh) * 2022-01-27 2022-05-13 腾讯科技（深圳）有限公司 视频渲染协同方法、装置、设备及存储介质
CN114780618A (zh) * 2022-05-17 2022-07-22 上海海洋大学 面向海洋数据异常检测的多视图协同可视分析方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9264749B2 (en) * 2012-12-13 2016-02-16 Microsoft Technology Licensing, Llc Server GPU assistance for mobile GPU applications

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021195585A1 (en) * 2020-03-27 2021-09-30 Datavizvr Incorporated 3d collaborative visual command line system to visualize and manage networked endpoints
CN113129420A (zh) * 2021-04-14 2021-07-16 江苏理工学院 一种基于深度缓冲加速的光线追踪渲染方法
CN114501062A (zh) * 2022-01-27 2022-05-13 腾讯科技（深圳）有限公司 视频渲染协同方法、装置、设备及存储介质
CN114780618A (zh) * 2022-05-17 2022-07-22 上海海洋大学 面向海洋数据异常检测的多视图协同可视分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
云边页协同的WebBIM大场景多粒度兴趣加载调度算法;李柯 等;《计算机辅助设计与图形学学报》;第33卷(第9期);第1388-1397页 *

Also Published As

Publication number Publication date
CN117058598A (zh) 2023-11-14

Similar Documents

Publication Publication Date Title
Liu et al. Pd-gan: Probabilistic diverse gan for image inpainting
Gu et al. Automatic contrast enhancement technology with saliency preservation
CN111954053B (zh) 获取蒙版帧数据的方法、计算机设备及可读存储介质
CN110072119B (zh) 一种基于深度学习网络的内容感知视频自适应传输方法
Qi et al. Reduced reference stereoscopic image quality assessment based on binocular perceptual information
CN112102212B (zh) 一种视频修复方法、装置、设备及存储介质
CN110852964A (zh) 一种基于深度学习的图像比特增强方法
CN110620924B (zh) 编码数据的处理方法、装置、计算机设备及存储介质
CN111445424B (zh) 图像处理和移动终端视频处理方法、装置、设备和介质
CN113473148B (zh) 一种用于视频编码的计算系统及视频编码方法
CN109587491A (zh) 一种帧内预测方法、装置及存储介质
CN116033189B (zh) 基于云边协同的直播互动视频分区智能控制方法和系统
DE102019218316A1 (de) 3d-renderer-zu-videocodierer-pipeline für verbesserte visuelle qualität und geringe latenz
Zhou et al. Attentional feature fusion for end-to-end blind image quality assessment
CN116440501A (zh) 自适应云游戏视频画面渲染方法和系统
CN111970565A (zh) 视频数据处理方法、装置、电子设备及存储介质
WO2021136144A1 (zh) 一种字符的还原方法及装置、存储介质、电子装置
CN114299573A (zh) 视频处理方法、装置、电子设备及存储介质
CN117058598B (zh) 云视频帧高质量优化方法、装置及计算机设备
Gu et al. Brightness preserving video contrast enhancement using S-shaped transfer function
Guo et al. Progressive Domain Translation Defogging network for real-world fog images
CN116980604A (zh) 视频编码方法、视频解码方法及相关设备
CN117061792B (zh) 云视频协作渲染方法、装置及计算机设备
Zheng et al. Rethinking Video Error Concealment: A Benchmark Dataset
Zhang et al. Image Quality Assessment–driven Reinforcement Learning for Mixed Distorted Image Restoration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant