CN114666590A - 一种基于负载均衡的全视场视频编码方法与系统 - Google Patents

一种基于负载均衡的全视场视频编码方法与系统 Download PDF

Info

Publication number
CN114666590A
CN114666590A CN202210574853.0A CN202210574853A CN114666590A CN 114666590 A CN114666590 A CN 114666590A CN 202210574853 A CN202210574853 A CN 202210574853A CN 114666590 A CN114666590 A CN 114666590A
Authority
CN
China
Prior art keywords
coding
intra
brightness
training
slice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210574853.0A
Other languages
English (en)
Inventor
蒋先涛
张纪庄
郭咏梅
郭咏阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Kangda Kaineng Medical Technology Co ltd
Original Assignee
Ningbo Kangda Kaineng Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Kangda Kaineng Medical Technology Co ltd filed Critical Ningbo Kangda Kaineng Medical Technology Co ltd
Priority to CN202210574853.0A priority Critical patent/CN114666590A/zh
Publication of CN114666590A publication Critical patent/CN114666590A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于负载均衡的全视场视频编码方法与系统，涉及图像处理技术领域，包括步骤：基于帧内图像编码要素提取帧内图像中存在的编码特征集；通过主成分分析对各编码特征进行线性变换，并提取特征协方差矩阵最大的主要特征集；提取训练视频序列中的主要特征集并以此通过极端随机树进行负载均衡为目标的切片划分训练；通过训练好的极端随机树对目标视频的帧内图像进行切片划分并编码。本发明通过帧内图像的数据级非均匀切片分割，进而在图像编码过程中使各处理器之间的负载均衡，在整体上减少了编码时间。

Description

一种基于负载均衡的全视场视频编码方法与系统
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于负载均衡的全视场视频编码方法与系统。
背景技术
图像和视频数据占所有互联网的绝大部分流量，因为混合现实、4K和8K分辨率的新应用和新兴服务的兴起，不仅涉及通信链中的人类，还涉及机器，如自动驾驶汽车、智能监控系统等。媒体内容的需求不断增加，这对支持更高分辨率和更丰富的视频格式提出了新的要求，在编码算法、网络和用户设备方面提出了新的挑战。这也推动了标准化的努力，特别是针对全视场视频，需要非常高的分辨率和复杂的压缩算法，以实现高级服务和应用。JVET组织最新推出的视频压缩标准叫做多功能视频编码（Versatile Video Coding，VVC），用以应对超高清（Ultra-High Definition，UHD）分辨率这些新的视觉格式提出的挑战性要求。于2020年底发布的VVC编码标准，虽然大大提高了其前身高效视频编码（HighEfficiency Video Coding，HEVC）的编码效率，但是，由于这种改进是以显著增加计算复杂度为代价的，因此快速计算方法对于简化标准的采用和满足执行约束是至关重要的。
而基于切片（Slice）划分的数据级并行处理是解决VVC计算复杂度高、UHD全视场（360°）视频数据量大等问题的一种可行方案。之前与HEVC相关的工作中，对于高复杂度视频的编码，是通过将帧分割成复杂度大致相等的片来实现的，从而在多个处理器之间均匀地分配计算负载，以提高整体编码效率。然而，对于VVC编码标准下的全视场视频的编码，还无法很好的解决负载均衡的问题。因为全视场视频具有与传统平面视频不同的特点：利用等矩形投影（Equirectangular Projection，ERP）在全视场视频中观察到的一个相关现象是这种投影的固有几何特征，这通常会导致中纬线附近的区域具有较高的复杂性，而较低的复杂性区域则聚集在极点附近。当数据被均匀分区时，这将导致计算负载的显著不平衡。
发明内容
为了更好的提高VVC编码标准下对于全视场视频的编码效率，本发明提出了一种基于负载均衡的全视场视频编码方法，包括步骤：
S1：基于帧内图像编码要素提取帧内图像中存在的编码特征集；
S2：通过主成分分析对各编码特征进行线性变换，并提取特征协方差矩阵最大的主要特征集；
S3：提取训练视频序列中的主要特征集并以此通过极端随机树进行负载均衡为目标的切片划分训练；
S4：通过训练好的极端随机树对目标视频的帧内图像进行切片划分并编码。
进一步地，所述S1步骤中，编码特征集中，提取的特征具有正交性。
进一步地，所述编码特征集包括帧内图像中的：亮度均值、亮度标准差、第一方向上Sobel滤波亮度的平均值、第一方向上Sobel滤波亮度的偏差、第二方向上Sobel滤波亮度的平均值、第二方向上Sobel滤波亮度的偏差、Sobel滤波亮度在第一方向和第二方向上平方和的平方根熵、空间信息的偏差、空间信息的均方根、平均Sobel滤波亮度梯度向量的角度、编码单元中心点的纬度、对应纬度下的采集密度，其中第一方向与第二方向垂直。
进一步地，所述对应纬度下的采集密度表示为如下公式：
Figure 35610DEST_PATH_IMAGE001
式中，
Figure 110008DEST_PATH_IMAGE002
为纬度
Figure 437215DEST_PATH_IMAGE003
下对应的采集密度。
进一步地，所述S3步骤中，训练极端随机树的目标函数为如下公式：
Figure 566845DEST_PATH_IMAGE004
式中，
Figure 233146DEST_PATH_IMAGE005
为使负载不均衡的平方和最小的一组切片划分组合，
Figure 665396DEST_PATH_IMAGE006
为被切片帧内图像的总复杂度，
Figure 542216DEST_PATH_IMAGE007
为划分后第j个切片的复杂度，
Figure 209958DEST_PATH_IMAGE008
为一划分状态下的切片划分组合，
Figure 488623DEST_PATH_IMAGE009
为划分后切片的总数，
Figure 91774DEST_PATH_IMAGE010
为自然常数，
Figure 455890DEST_PATH_IMAGE011
的作用为求取所有切片划分组合
Figure 927323DEST_PATH_IMAGE012
中使括号中目标函数取得最小值时的一组切片划分组合
Figure 60495DEST_PATH_IMAGE012
。
本发明还提出了一种基于负载均衡的全视场视频编码系统，包括：
特征提取单元，用于根据帧内图像编码要素提取帧内图像中存在的编码特征集；
特征筛选单元，用于通过主成分分析对各编码特征进行线性变换，并提取特征协方差矩阵最大的主要特征集；
模型训练单元，用于提取训练视频序列中的主要特征集并以此通过极端随机树进行负载均衡为目标的切片划分训练；
图像编码单元，用于通过训练好的极端随机树对目标视频的帧内图像进行切片划分并编码。
进一步地，所述特征提取单元中，编码特征集中，提取的特征具有正交性。
进一步地，所述编码特征集包括帧内图像中的：亮度均值、亮度标准差、第一方向上Sobel滤波亮度的平均值、第一方向上Sobel滤波亮度的偏差、第二方向上Sobel滤波亮度的平均值、第二方向上Sobel滤波亮度的偏差、Sobel滤波亮度在第一方向和第二方向上平方和的平方根熵、空间信息的偏差、空间信息的均方根、平均Sobel滤波亮度梯度向量的角度、编码单元中心点的纬度、对应纬度下的采集密度，其中第一方向与第二方向垂直。
进一步地，所述对应纬度下的采集密度表示为如下公式：
Figure 100127DEST_PATH_IMAGE013
式中，
Figure 951539DEST_PATH_IMAGE014
为纬度
Figure 961083DEST_PATH_IMAGE015
下对应的采集密度。
进一步地，所述模型训练单元中，训练极端随机树的目标函数为如下公式：
Figure 214341DEST_PATH_IMAGE016
式中，
Figure 893716DEST_PATH_IMAGE017
为使负载不均衡的平方和最小的一组切片划分组合，
Figure 91479DEST_PATH_IMAGE018
为被切片帧内图像的总复杂度，
Figure 780080DEST_PATH_IMAGE019
为划分后第j个切片的复杂度，
Figure 153424DEST_PATH_IMAGE020
为一划分状态下的切片划分组合，
Figure 393912DEST_PATH_IMAGE021
为划分后切片的总数，
Figure 954338DEST_PATH_IMAGE022
为自然常数，
Figure 446630DEST_PATH_IMAGE023
的作用为求取所有切片划分组合
Figure 408901DEST_PATH_IMAGE024
中使括号中目标函数取得最小值时的一组切片划分组合
Figure 85870DEST_PATH_IMAGE024
。
与现有技术相比，本发明至少含有以下有益效果：
（1）本发明所述的一种基于负载均衡的全视场视频编码方法与系统，通过帧内图像的数据级非均匀切片分割，进而在图像编码过程中使各处理器之间的负载均衡，在整体上减少了编码时间；
（2）通过主成分分析进行编码特征集的筛选，在筛选后不仅进一步保证了特征间的正交性，还降低了特征集的维数，进而在训练过程中避免特征间的相关性干扰，在保留了原关键性信息的同时，通过增强原关键信息，提高了后续图像的还原质量；
（3）通过选用极端随机树进行全视场视频帧内图像切片划分的训练，充分考虑全视场视频不同切片划分下的不同负载情况，实现决策树的分叉，避免了陷入局部最优，训练效果更加全面。
附图说明
图1为一种基于负载均衡的全视场视频编码方法的方法步骤图；
图2为一种基于负载均衡的全视场视频编码系统的系统结构图。
具体实施方式
以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
实施例一
本发明的目的在于提出一种适用于VVC编码标准下全视场视频的编码方法，由于VVC编码标准是以提高计算复杂度为代价实现编码效率的提高，因此如何在编码过程中减少由于计算带来的编码耗时本身就是VVC编码所需要解决的问题。同时，由于全视场视频在投影后的固有几何特征，中纬线附近的区域具有较高的复杂性，而较低的复杂性区域则聚集在极点附近，这就导致如果采用先前HEVC编码标准下，对高复杂度视频帧进行均匀分区，就会导致计算负载的显著不均衡。
基于上述问题，为了在VVC编码标准下以更高的效率处理全视场视频，并减少由于负载不均衡带来的耗时问题，如图1所示，本发明提出了一种基于负载均衡的全视场视频编码方法，包括步骤：
S1：基于帧内图像编码要素提取帧内图像中存在的编码特征集；
S2：通过主成分分析对各编码特征进行线性变换，并提取特征协方差矩阵最大的主要特征集；
S3：提取训练视频序列中的主要特征集并以此通过极端随机树进行负载均衡为目标的切片划分训练；
S4：通过训练好的极端随机树对目标视频的帧内图像进行切片划分并编码。
为了更好的估计编码单元CTU的复杂度，本发明结合VVC编码标准中惯用的编码计算要素，进行了编码特征集
Figure 133591DEST_PATH_IMAGE025
的选取，其中
Figure 163996DEST_PATH_IMAGE026
是亮度均值；
Figure 246352DEST_PATH_IMAGE027
是亮度标准偏差；
Figure 94222DEST_PATH_IMAGE028
是第一方向（也即是平面坐标系中的x）上Sobel滤波亮度的平均值；
Figure 629240DEST_PATH_IMAGE029
是Sobel滤波亮度在第一方向上的偏差；
Figure 463335DEST_PATH_IMAGE030
是第二方向（也即是平面坐标系中的y）上Sobel滤波亮度的平均值；
Figure 134619DEST_PATH_IMAGE031
是第二方向Sobel滤波亮度的偏差；
Figure 153391DEST_PATH_IMAGE032
是Sobel滤波亮度在第一方向和第二方向上平方和的平方根熵；
Figure 175704DEST_PATH_IMAGE033
是空间信息的偏差；
Figure 79069DEST_PATH_IMAGE034
是空间信息的均方根；
Figure 870439DEST_PATH_IMAGE035
是平均Sobel滤波亮度梯度向量的角度；
Figure 669899DEST_PATH_IMAGE036
是编码单元中心点的纬度；
Figure 304143DEST_PATH_IMAGE037
是对应纬度下的采集密度。它们是与编码复杂度相关的不同类型空间信息的指标，有一些被发现与建模编码决策过程有关，以加速编码器的状态。
其中，由于编码单元的空间信息中，亮度编码块相较于色度编码块更能体现编码单元划分的倾向性，因此本实施例的特征集中选取亮度相关的特征元素作为后续训练的数据输入。而
Figure 214461DEST_PATH_IMAGE035
表示为给定的编码单元选择的可能的内部编码模式。
考虑到等距形投影格式固有的几何特征，全视场视频（可以视作一个带有经纬度的球体）在极点附近比赤道附近呈现更多的冗余。也就是说，靠近两极的区域倾向于由频率含量较低的编码单元组成，而靠近赤道的编码单元则倾向于具有较高的空间频率分量。因此，在某种程度上，给定的编码单元的纬度包含了关于其复杂性的信息，因此编码特征集中需要通过
Figure 125916DEST_PATH_IMAGE036
记录该相关信息。
而编码特征
Figure 244349DEST_PATH_IMAGE037
则是围绕编码单元中心点纬度进行编码单元划分的切割线，其与采样密度的变化有关，而采样密度的变化导致了等距形投影内在空间的畸变。具体来说，假设全视场视频中一个像素点的球坐标为
Figure 241255DEST_PATH_IMAGE038
，进行等距形转换后的平面坐标为
Figure 220843DEST_PATH_IMAGE039
，其中，
Figure 721226DEST_PATH_IMAGE040
为纬度，
Figure 393647DEST_PATH_IMAGE041
为经度，他们之间的关系可用如下公式表示：
Figure 956477DEST_PATH_IMAGE042
结合三角函数，采样密度随纬度
Figure 5336DEST_PATH_IMAGE043
的变化规律如下：考虑到一个平面与球面在赤道处相交，这样的交点就是一个半径与球面的半径（
Figure 891383DEST_PATH_IMAGE044
）相同的圆，如果平行于赤道的这个平面向任何一极移动，交点所产生的圆的半径就会减小，可用如下公式表示：
Figure 672389DEST_PATH_IMAGE045
为了将图像从球面转换到平面域，需要对每个圆的周长进行采样。为了得到一个矩形，必须从每个周长中采样相同数量的像素。然而，根据半径变化公式，可以看出周长是随着纬度的减小而减小的，那么采样密度必然随着向极点移动而增大。采样密度的非线性增长是半径的反比函数，从而导致等距形投影的内在失真。以赤道的采样密度为参考，任意纬度的相对采样密度
Figure 643887DEST_PATH_IMAGE046
由如下公式给出。
Figure 965278DEST_PATH_IMAGE047
以上列举了训练所需的特征集并对部分特征集的选取进行了解释，由于特征集中特征数量多，变量且具有多样性，变量过多就会导致后续模型训练中需要花费更多的时间去处理变量间的相关性，以及该相关性对模型训练的影响。因此首先需要对具有相关性的多变量特征集进行前期分析。
具体地，在用统计分析方法研究多变量的课题时，变量个数太多就会增加课题的复杂性。人们自然希望变量个数较少而得到的信息较多。在很多情形，变量之间是有一定的相关关系的，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠。主成分分析（PCA）是对于原先提出的所有变量，将重复的变量（关系紧密的变量）删去多余，建立尽可能少的新变量，使得这些新变量是两两不相关的，而且这些新变量在反映课题的信息方面尽可能保持原有的信息。
本发明就是通过主成分分析对原特征空间进行降维（减少数量），同时最大化变换后的特征空间中特征之间的正交性，通过关键信息的增强，使后续图像的还原质量得以提高。通过主成分分析得到的主要特征集就是主成分，主成分是通过对原始特征进行线性变换计算得到的。这些主成分对应于特征协方差矩阵的最大特征值。然后，利用主成分约简集重构出方差最大的大部分原始数据，从而保留原始数据的大部分信息。分量间的正交性保证了变换后的特征空间中的去相关。在本发明中，所有12个特征集合使用主成分分析，将实际的特征集合的维数降为5个分量。
在对特征集进行筛选后，就需要选用合适的模型进行训练，在这里，考虑到VVC帧内编码计算复杂度中相关特征的数量，以及不同划分组合下具有不同负载的情况，选用机器学习中的极端随机树（ERT）作为训练用模型。相较于随机森林，极端随机树的优势来自于切割树节点时选择属性和切割点的方法。因为在随机森林中，是通过计算每个特征的局部最优切点来完成的，例如使用信息增益，这就容易导致模型训练陷入局部最优解。而在极端随机树中，是将每个特征随机生成一组切点，而后再从随机生成的集合中选择产生最佳精度的切点。此外，随机森林使用Bootstrap aggregate方法将训练数据集分割成更小的训练集来单独训练每棵决策树，而在极端随机树中，每棵决策树都是在整个训练数据集上进行训练的。因此极端随机树相较于随机森林能够充分考虑到不同切片划分状态下的负载情况。
而在训练过程中，本发明选用了三个UHD全视场视频中常用的训练视频序列（Skateboard，Harbor和KiteFlite，亦可用其它帧内编码视频序列作为训练视频序列）训练作为训练数据源，并通过如下公式进行以负载均衡为目标的编码单元切片划分训练，见编码单元划分为8个不同编码计算复杂度类型。需要注意的是，在机器学习中，损失函数后面会跟随惩罚项，是损失函数的补充调节，在本实施例中，将惩罚项设置为每个类别的相对频率的倒数。
通过不断的训练并更新模型参数，最终，使得通过模型进行切片划分后的帧内图像，在通过多处理器并行编码各切片（也即是划分后的编码单元）时能够具有更小的负载差值。
Figure 299307DEST_PATH_IMAGE048
式中，
Figure 47952DEST_PATH_IMAGE049
为使负载不均衡的平方和最小的一组切片划分组合，
Figure 241167DEST_PATH_IMAGE050
为被切片帧内图像的总复杂度，
Figure 225303DEST_PATH_IMAGE051
为划分后第j个切片的复杂度，
Figure 820364DEST_PATH_IMAGE052
为一划分状态下的切片划分组合，
Figure 739909DEST_PATH_IMAGE053
为划分后切片的总数，
Figure 279475DEST_PATH_IMAGE054
为自然常数，
Figure 942669DEST_PATH_IMAGE055
的作用为求取所有切片划分组合
Figure 392236DEST_PATH_IMAGE056
中使括号中目标函数取得最小值时的一组切片划分组合
Figure 482683DEST_PATH_IMAGE056
。
最后，通过训练好的极端随机树模型即可对目标视频进行帧内图像的切换划分，并基于划分结果进行负载均衡下的多线程同步帧内编码。
实施例二
为了更好的对本发明进行理解，本实施例通过系统结构的形式来对本发明进行阐述，如图2所示，一种基于负载均衡的全视场视频编码系统，包括：
特征提取单元，用于根据帧内图像编码要素提取帧内图像中存在的编码特征集；
特征筛选单元，用于通过主成分分析对各编码特征进行线性变换，并提取特征协方差矩阵最大的主要特征集；
模型训练单元，用于提取训练视频序列中的主要特征集并以此通过极端随机树进行负载均衡为目标的切片划分训练；
图像编码单元，用于通过训练好的极端随机树对目标视频的帧内图像进行切片划分并编码。
进一步地，特征提取单元中，编码特征集中，提取的特征具有正交性。
进一步地，编码特征集包括帧内图像中的：亮度均值、亮度标准差、第一方向上Sobel滤波亮度的平均值、第一方向上Sobel滤波亮度的偏差、第二方向上Sobel滤波亮度的平均值、第二方向上Sobel滤波亮度的偏差、Sobel滤波亮度在第一方向和第二方向上平方和的平方根熵、空间信息的偏差、空间信息的均方根、平均Sobel滤波亮度梯度向量的角度、编码单元中心点的纬度、对应纬度下的采集密度，其中第一方向与第二方向垂直。
进一步地，对应纬度下的采集密度表示为如下公式：
Figure 509544DEST_PATH_IMAGE057
式中，
Figure 976429DEST_PATH_IMAGE058
为纬度
Figure 280502DEST_PATH_IMAGE059
下对应的采集密度。
进一步地，模型训练单元中，训练极端随机树的目标函数为如下公式：
Figure 400905DEST_PATH_IMAGE060
式中，
Figure 321588DEST_PATH_IMAGE061
为使负载不均衡的平方和最小的一组切片划分组合，
Figure 61005DEST_PATH_IMAGE062
为被切片帧内图像的总复杂度，
Figure 219585DEST_PATH_IMAGE063
为划分后第j个切片的复杂度，
Figure 42047DEST_PATH_IMAGE064
为一划分状态下的切片划分组合，
Figure 653288DEST_PATH_IMAGE065
为划分后切片的总数，
Figure 461976DEST_PATH_IMAGE067
为自然常数，
Figure 599696DEST_PATH_IMAGE068
的作用为求取所有切片划分组合
Figure 468426DEST_PATH_IMAGE069
中使括号中目标函数取得最小值时的一组切片划分组合
Figure 566963DEST_PATH_IMAGE069
。
综上所述，本发明所述的一种基于负载均衡的全视场视频编码方法与系统，通过帧内图像的数据级非均匀切片分割，进而在图像编码过程中使各处理器之间的负载均衡，在整体上保证了编码速度。
通过主成分分析进行编码特征集的筛选，在筛选后不仅进一步保证了特征间的正交性，还降低了特征集的维数，进而在训练过程中避免特征间的相关性干扰，在保留了原关键性信息的同时，通过增强原关键信息，提高了后续图像的还原质量。
通过选用极端随机树进行全视场视频帧内图像切片划分的训练，充分考虑全视场视频不同切片划分下的不同负载情况，实现决策树的分叉，避免了陷入局部最优，训练效果更加全面。
实施例三
为了验证本发明所述方法的有效性，本实施例通过一组具体数据来对本发明的技术点进行验证。
综上所述，等距形投影的框架在垂直轴上的复杂性是呈聚集性的，复杂性较高的区域在赤道附近，复杂性较低的区域在极点附近。为了利用这一特性，本发明将每一帧水平地分割成复杂度大致相等的切片，以实现高效的并行编码。在双核和四核处理平台上评估该方法的效率，全视场视频的帧被分成了2片和4片。所有测试序列用参考软件VTM编码，使用All Intra配置，QP=22。编码时间由编码单元CTU逐个测量。使用了三个训练用视频序列（Skateboard， Harbor，KiteFlite）。
表1为计算中使用的所有序列中各帧的平均最大不平衡，对于任意的切片 j，通过使用如下公式计算不平衡度I：
Figure 155904DEST_PATH_IMAGE070
式中，
Figure 413710DEST_PATH_IMAGE071
为被切片帧内图像的总复杂度，
Figure 718920DEST_PATH_IMAGE072
为划分后第j个切片的复杂度，
Figure 304753DEST_PATH_IMAGE073
为划分后切片的总数。
这种不平衡由给定片与一帧划分为
Figure 720822DEST_PATH_IMAGE073
个片的理想计算复杂度的偏离程度来表示，偏差以百分比表示。在表1中，对于将全视场视频帧以2片或4片分割的情况，显示了本发明所提处的基于负载均衡切片划分方法（表1中的Proposed）和常规的均匀划分（表1中的VVC）情况下的负载状态。
表1：平均最大不平衡（%）
Figure 974080DEST_PATH_IMAGE074
表2为分别利用本发明提出的基于负载均衡切片划分方法（Proposed）和常规的均匀划分方法（VVC），模拟的处理时间增益
Figure 184613DEST_PATH_IMAGE075
（增益越低说明并行处理所需花费的时间越少）。该结果比较了在三个不同的模拟中，编码每个视频序列所花费的总时间，即所有帧所使用的编码时间的总和，三种模拟分别为：
1、将每一帧编码为单个线程（作为增益百分比的分母参考值）；
2、采用2片或4片均匀分布并行编码每帧；（对应于表2中的VVC）
3、按照所提出的方法，使用2个或4个不等大小的切片对每帧进行并行编码。（对应于表2中的Proposed）
表2所示的百分比根据如下公式计算得来，其中，
Figure 788901DEST_PATH_IMAGE076
表示由模拟1得到的时间，
Figure 743081DEST_PATH_IMAGE077
是以模拟2或模拟3的方法并行处理仿真得到的编码时间。如前所述，这些模拟中使用的所有处理时间都是通过给定序列的VVC编码器的实际运行获得的。
Figure 116425DEST_PATH_IMAGE078
从表2中可以看出，将全视场视频的帧分割成具有相同编码计算复杂度的切片，相较于简单的将帧内图像均匀分割可以获得更快的编码速度。
表2：全视场视频序列的VVC处理时间（%）
Figure 91334DEST_PATH_IMAGE079
需要说明，本发明实施例中所有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明中如涉及“第一”、“第二”、“一”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

Claims (10)

1.一种基于负载均衡的全视场视频编码方法，其特征在于，包括步骤：
S1：基于帧内图像编码要素提取帧内图像中存在的编码特征集；
S2：通过主成分分析对各编码特征进行线性变换，并提取特征协方差矩阵最大的主要特征集；
S3：提取训练视频序列中的主要特征集并以此通过极端随机树进行负载均衡为目标的切片划分训练；
S4：通过训练好的极端随机树对目标视频的帧内图像进行切片划分并编码。
2.如权利要求1所述的一种基于负载均衡的全视场视频编码方法，其特征在于，所述S1步骤中，编码特征集中，提取的特征具有正交性。
3.如权利要求2所述的一种基于负载均衡的全视场视频编码方法，其特征在于，所述编码特征集包括帧内图像中的：亮度均值、亮度标准差、第一方向上Sobel滤波亮度的平均值、第一方向上Sobel滤波亮度的偏差、第二方向上Sobel滤波亮度的平均值、第二方向上Sobel滤波亮度的偏差、Sobel滤波亮度在第一方向和第二方向上平方和的平方根熵、空间信息的偏差、空间信息的均方根、平均Sobel滤波亮度梯度向量的角度、编码单元中心点的纬度、对应纬度下的采集密度，其中第一方向与第二方向垂直。
4.如权利要求3所述的一种基于负载均衡的全视场视频编码方法，其特征在于，所述对应纬度下的采集密度表示为如下公式：
Figure DEST_PATH_IMAGE001
式中，
Figure 202309DEST_PATH_IMAGE002
为纬度
Figure DEST_PATH_IMAGE003
下对应的采集密度。
5.如权利要求1所述的一种基于负载均衡的全视场视频编码方法，其特征在于，所述S3步骤中，训练极端随机树的目标函数为如下公式：
Figure 785738DEST_PATH_IMAGE004
式中，
Figure DEST_PATH_IMAGE005
为使负载不均衡的平方和最小的一组切片划分组合，
Figure 238716DEST_PATH_IMAGE006
为被切片帧内图像的总复杂度，
Figure 223989DEST_PATH_IMAGE007
为划分后第j个切片的复杂度，
Figure 533748DEST_PATH_IMAGE008
为一划分状态下的切片划分组合，
Figure DEST_PATH_IMAGE009
为划分后切片的总数，
Figure 791423DEST_PATH_IMAGE010
为自然常数，
Figure DEST_PATH_IMAGE011
的作用为求取所有切片划分组合
Figure 844829DEST_PATH_IMAGE012
中使括号中目标函数取得最小值时的一组切片划分组合
Figure 684609DEST_PATH_IMAGE012
。
6.一种基于负载均衡的全视场视频编码系统，其特征在于，包括：
特征提取单元，用于根据帧内图像编码要素提取帧内图像中存在的编码特征集；
特征筛选单元，用于通过主成分分析对各编码特征进行线性变换，并提取特征协方差矩阵最大的主要特征集；
模型训练单元，用于提取训练视频序列中的主要特征集并以此通过极端随机树进行负载均衡为目标的切片划分训练；
图像编码单元，用于通过训练好的极端随机树对目标视频的帧内图像进行切片划分并编码。
7.如权利要求6所述的一种基于负载均衡的全视场视频编码系统，其特征在于，所述特征提取单元中，编码特征集中，提取的特征具有正交性。
8.如权利要求7所述的一种基于负载均衡的全视场视频编码系统，其特征在于，所述编码特征集包括帧内图像中的：亮度均值、亮度标准差、第一方向上Sobel滤波亮度的平均值、第一方向上Sobel滤波亮度的偏差、第二方向上Sobel滤波亮度的平均值、第二方向上Sobel滤波亮度的偏差、Sobel滤波亮度在第一方向和第二方向上平方和的平方根熵、空间信息的偏差、空间信息的均方根、平均Sobel滤波亮度梯度向量的角度、编码单元中心点的纬度、对应纬度下的采集密度，其中第一方向与第二方向垂直。
9.如权利要求8所述的一种基于负载均衡的全视场视频编码系统，其特征在于，所述对应纬度下的采集密度表示为如下公式：
Figure DEST_PATH_IMAGE013
式中，
Figure 837373DEST_PATH_IMAGE014
为纬度
Figure DEST_PATH_IMAGE015
下对应的采集密度。
10.如权利要求6所述的一种基于负载均衡的全视场视频编码系统，其特征在于，所述模型训练单元中，训练极端随机树的目标函数为如下公式：
Figure 129814DEST_PATH_IMAGE004
式中，
Figure 986912DEST_PATH_IMAGE016
为使负载不均衡的平方和最小的一组切片划分组合，
Figure DEST_PATH_IMAGE017
为被切片帧内图像的总复杂度，
Figure 638123DEST_PATH_IMAGE018
为划分后第j个切片的复杂度，
Figure DEST_PATH_IMAGE019
为一划分状态下的切片划分组合，
Figure 289684DEST_PATH_IMAGE020
为划分后切片的总数，
Figure 335000DEST_PATH_IMAGE021
为自然常数，
Figure 402313DEST_PATH_IMAGE022
的作用为求取所有切片划分组合
Figure 951106DEST_PATH_IMAGE023
中使括号中目标函数取得最小值时的一组切片划分组合
Figure 39148DEST_PATH_IMAGE023
。
CN202210574853.0A 2022-05-25 2022-05-25 一种基于负载均衡的全视场视频编码方法与系统 Pending CN114666590A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210574853.0A CN114666590A (zh) 2022-05-25 2022-05-25 一种基于负载均衡的全视场视频编码方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210574853.0A CN114666590A (zh) 2022-05-25 2022-05-25 一种基于负载均衡的全视场视频编码方法与系统

Publications (1)

Publication Number Publication Date
CN114666590A true CN114666590A (zh) 2022-06-24

Family

ID=82038329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210574853.0A Pending CN114666590A (zh) 2022-05-25 2022-05-25 一种基于负载均衡的全视场视频编码方法与系统

Country Status (1)

Country Link
CN (1) CN114666590A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115665415A (zh) * 2022-10-27 2023-01-31 华医数字(湖北)医疗技术股份有限公司 基于感知的帧间图像编码率失真优化方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104980764A (zh) * 2014-04-14 2015-10-14 深圳中兴力维技术有限公司 基于复杂度均衡的并行编解码方法、装置及系统
CN107292186A (zh) * 2016-03-31 2017-10-24 阿里巴巴集团控股有限公司 一种基于随机森林的模型训练方法和装置
CN111462261A (zh) * 2020-04-06 2020-07-28 郑州轻工业大学 针对h.266/vvc的快速cu分区和帧内决策方法
CN112437310A (zh) * 2020-12-18 2021-03-02 重庆邮电大学 一种基于随机森林的vvc帧内编码快速cu划分决策方法
US20210312336A1 (en) * 2020-04-03 2021-10-07 International Business Machines Corporation Federated learning of machine learning model features

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104980764A (zh) * 2014-04-14 2015-10-14 深圳中兴力维技术有限公司 基于复杂度均衡的并行编解码方法、装置及系统
CN107292186A (zh) * 2016-03-31 2017-10-24 阿里巴巴集团控股有限公司 一种基于随机森林的模型训练方法和装置
US20190034834A1 (en) * 2016-03-31 2019-01-31 Alibaba Group Holding Limited Method and apparatus for training model based on random forest
US20210312336A1 (en) * 2020-04-03 2021-10-07 International Business Machines Corporation Federated learning of machine learning model features
CN111462261A (zh) * 2020-04-06 2020-07-28 郑州轻工业大学 针对h.266/vvc的快速cu分区和帧内决策方法
CN112437310A (zh) * 2020-12-18 2021-03-02 重庆邮电大学 一种基于随机森林的vvc帧内编码快速cu划分决策方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JOSE N. FILIPE等: "Complexity Estimation for Load Balancing of 360-Degree Intra Versatile Video Coding", 《2020 IEEE WORKSHOP ON SIGNAL PROCESSING SYSTEMS (SIPS)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115665415A (zh) * 2022-10-27 2023-01-31 华医数字(湖北)医疗技术股份有限公司 基于感知的帧间图像编码率失真优化方法及系统
CN115665415B (zh) * 2022-10-27 2023-09-29 华医数字(湖北)医疗技术股份有限公司 基于感知的帧间图像编码率失真优化方法及系统

Similar Documents

Publication Publication Date Title
US9786066B2 (en) Image compression and decompression
CN110892719A (zh) 影像编码/解码方法及装置
CN113784124B (zh) 使用多种形状子块进行精细划分的块匹配编码和解码方法
CN103141094A (zh) 自适应环路滤波方法和装置
CN110087083B (zh) 帧内色度预测模式的选择方法、图像处理设备及存储设备
KR101946598B1 (ko) 이미지 코딩, 디코딩 방법 및 장치
DE112009004344T5 (de) Parallele Implementierung einer Rechenmaschine nach dem Pipelineverfahren auf einerintegrierten Schaltung
DE102010053087A1 (de) Auf bidirektionaler, lokaler und globaler Bewegungseinschätzung basierende Bildfrequenzumwandlung
US11323702B2 (en) Apparatus and a method for associating a video block partitioning pattern to a video coding block
CN111652818B (zh) 一种基于金字塔的图像滤波方法、装置及存储介质
CN111050168B (zh) 仿射预测方法及其相关装置
CN111988611A (zh) 量化偏移信息的确定方法、图像编码方法、装置及电子设备
CN114666590A (zh) 一种基于负载均衡的全视场视频编码方法与系统
Hu et al. An adaptive two-layer light field compression scheme using GNN-based reconstruction
CN110383837A (zh) 用于视频处理的方法和设备
CN108353193A (zh) 基于多个基于图的模型通过使用优化转换编码/解码视频信号的方法和设备
CN112399177B (zh) 一种视频编码方法、装置、计算机设备及存储介质
CN110971897B (zh) 色度分量的帧内预测模式的编码、解码方法、设备和系统
CN112584154A (zh) 视频编码块划分方法、装置、电子设备及存储介质
CN101345872A (zh) 视频编解码中实现双线性插值的方法
WO2021146933A1 (en) Next-generation loop filter implementations for adaptive resolution video coding
CN115769269A (zh) 点云属性压缩
CN114697650A (zh) 基于下采样的帧内划分方法、相关装置设备及介质
CN116711301A (zh) 虚拟视点生成、渲染、解码方法及装置、设备、存储介质
Saldanha et al. TITAN: Tile timing-aware balancing algorithm for speeding up the 3D-HEVC intra coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220624