CN111193931B - 一种视频数据的编码处理方法和计算机存储介质 - Google Patents
一种视频数据的编码处理方法和计算机存储介质 Download PDFInfo
- Publication number
- CN111193931B CN111193931B CN201811353976.1A CN201811353976A CN111193931B CN 111193931 B CN111193931 B CN 111193931B CN 201811353976 A CN201811353976 A CN 201811353976A CN 111193931 B CN111193931 B CN 111193931B
- Authority
- CN
- China
- Prior art keywords
- coding unit
- calculating
- coding
- information
- ith
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 6
- 238000000034 method Methods 0.000 claims abstract description 62
- 230000008447 perception Effects 0.000 claims abstract description 43
- 230000002123 temporal effect Effects 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 16
- 239000013598 vector Substances 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 description 22
- 238000005457 optimization Methods 0.000 description 16
- 230000000873 masking effect Effects 0.000 description 9
- 230000016776 visual perception Effects 0.000 description 6
- 238000013441 quality evaluation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000001303 quality assessment method Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种视频数据的编码处理方法和计算机存储介质。所述方法，包括：在执行对待编码对象进行编码前，获取待编码对象内的每个编码单元的空域感知信息ksi和时域感知信息kti，其中i为大于等于1的整数；根据每个编码单元的空域感知信息ksi和每个编码单元的时域感知信息kti，计算得到每个编码单元的时空域联合感知信息kpi；利用所述每个编码单元的时空域联合感知信息，计算每个编码单元对应的拉格朗日乘子的调整系数ηi；在对所述待编码对象执行编码操作过程中，根据所述调整系数ηi和拉格朗日乘子，对所述待编码对象中的每个编码单元进行编码。
Description
技术领域
本发明实施例涉及但不限于信号处理领域，提供一种视频数据的编码处理方法和计算机存储介质。
背景技术
HEVC(HighEfficiency Video Coding，高效视频编码)视频编码标准主要利用视频信号的统计相关性，基于帧内、帧间预测等编码技术来消除空间域、时间域冗余信息，但这些编码技术并没有考虑人眼主观视觉特性。此外，为了在给定码率下使得重建视频具有较高的编码质量，许多视频编码模块采用了率失真优化(Rate Distortion Optimization，RDO)技术来选择最优的编码模式。在率失真优化过程中需要失真函数能够较好地刻画视频信号的特性，而且易于计算。由于目前对人类视觉系统(Human Visual System，HVS)的认知水平有限，很难非常合适地精确量化视觉质量。因此，一般在率失真优化计算中，均方误差(Mean Square Error，MSE)或SSE(Sum of Square Error，和方差)经常被用作失真度量指标。众所周知，MSE或SSE没有考虑任何人眼视觉特性，使得编码视频的主观视觉质量效果并不理想。与此同时，作为视频图像信息的最终接收对象，人类视觉系统存在着大量的感知冗余。因此，随着对具有主观感知特性的视频质量评价(Video Quality Assessment，VQA)指标和人眼视觉特性的研究，可以将这些基于视觉感知的质量评价指标和人眼视觉特性结合起来应用到视频编码优化中，设计基于视觉感知的编码优化方案，消除视觉感知冗余，以提高解码视频的主观视觉效果。
在相关技术中，已经提出了一些通过研究人眼视觉特性来提高编码性能的方法。一类是提出了可以反映视觉感知失真的客观质量评估指标。例如比较常用的结构相似度指标(Structured Similarity，SSIM)，考虑了图像的结构信息以及亮度和对比度掩蔽等因素，因其具有较好的主观一致性，被广泛用作视频编码的质量评价指标。因而，提出了基于SSIM的率失真优化方法用于改进帧间编码中的模式决策过程，或建立SSIM相关的失真模型用于调整率失真方程的失真及拉格朗日乘子。另一类是利用视觉失真敏感度，如最小可觉差(Just Noticeable Difference，JND)等模型，来提高感知编码性能。提出了将JND用于自适应运动估计以减少像素域残差中的感知冗余，或是根据JND自适应调整DCT频域变换系数的量化过程。
鉴于上述方法，编码效率消耗的码率较高，因此如何有效降低编码的码率是亟待解决的问题。
发明内容
为了解决上述技术问题，本发明提供了一种视频数据的编码处理方法和计算机存储介质，能够有效降低编码消耗的码率。
为了达到上述发明目的，本发明提供一种视频数据的编码处理方法，包括：
在执行对待编码对象进行编码前，获取待编码对象内的每个编码单元的空域感知信息ksi和时域感知信息kti，其中i为大于等于1的整数；
根据每个编码单元的空域感知信息ksi和每个编码单元的时域感知信息kti，计算得到每个编码单元的时空域联合感知信息kpi；
利用所述每个编码单元的时空域联合感知信息，计算每个编码单元对应的拉格朗日乘子的调整系数ηi；
在对所述待编码对象执行编码操作过程中，根据所述调整系数ηi和拉格朗日乘子，对所述待编码对象中的每个编码单元进行编码。
在一个示例性实施例中，所述每个编码单元的空域感知信息ksi是根据每个编码单元的梯度幅值kgi和/或方差数值kσi来确定的。
在一个示例性实施例中，所述每个编码单元的梯度幅值kgi和/或方差数值
kσi计算需要用到每个像素值，对YUV序列来说，像素值包括亮度分量Y、色度分量U和色度分量V，取其一计算，或者，取三者加权平均进行计算。
在一个示例性实施例中，所述每个编码单元的空域感知信息ksi是通过如下计算表达式得到的：
ksi＝(1-τ)·kgi+τ·kσi；
其中，τ是一个常量加权系数，取值范围在[0，1]之间。
在一个示例性实施例中，所述每个编码单元的梯度幅值kgi是通过如下方式得到的，包括：
计算第i个编码单元中每个像素的水平方向和竖直方向的梯度幅值；
根据所述每个像素的水平方向和竖直方向的梯度幅值，计算得到第i个编码单元的平均梯度幅值；
在得到所述待编码对象的编码单元的平均梯度幅值后，计算第i个编码单元的归一化的梯度幅值kgi。
在一个示例性实施例中，所述第i个编码单元的归一化的梯度幅值kgi是通过如下计算表达式得到的：
其中，G(i)表示第i个编码单元的平均梯度幅值，Nblock表示所述待编码对象中的编码单元的总数，其中，j为大于等于1的整数。
在一个示例性实施例中，所述每个编码单元的方差数值kσi是通过如下方式得到的，包括：
获取第i个的编码单元的像素值与参考图像的参考编码单元的像素值之间的方差数值；
在得到所述待编码对象的编码单元的方差数值后，计算第i个编码单元的归一化的方差数值kσi。
在一个示例性实施例中，所述第i个编码单元的归一化的方差数值kσi是通过如下计算表达式得到的：
其中，
表示第i个编码单元的方差，Nblock表示所述待编码对象中的编码单元的总数，c2是常量系数，其中，j为大于等于1的整数。
在一个示例性实施例中，所述每个编码单元的时域感知信息kti是编码单元内的运动矢量以及运动补偿计算得到的，其中所述运动补偿为所述待编码对象与预设的参考帧之间的矢量距离。
在一个示例性实施例中，所述每个编码单元的时域感知信息kti计算需要用到的每个像素值，对YUV序列来说，像素值包括亮度分量Y、色度分量U和色度分量V，取其一计算，或者，取三者加权平均进行计算。
在一个示例性实施例中，所述每个编码单元的时域感知信息kti是通过如下计算表达式得到的：
其中，(vx，vy)表示编码单元内编码块的运动矢量，d(o，p)表示当前编码单元对应的帧到所述当前编码单元对应参考单元的帧的距离，同一帧中不同编码单元对应的参考单元的帧不同或者相同，o，p表示所述第i个编码单元的坐标信息，o和p均为实数。
在一个示例性实施例中，所述每个编码单元的时空域联合感知信息kp(i)是通过如下计算表达式得到的：
其中，c是一个常数，与kti具有相同的数量级，As为空域感知信息ksi的调整参数。
在一个示例性实施例中，所述空域感知信息ksi的调整参数As是通过计算空域感知信息ksi的均方误差MSE得到的；或者，通过计算空域感知信息ksi的绝对误差和SAD得到的；或者，通过计算空域感知信息ksi的hadamard变换算法SATD得到的。
在一个示例性实施例中，所述每个编码单元对应的调整系数ηi是通过如下方式计算表达式得到的：
其中，
是kpi的线性变换结果，Nblock表示所述待编码对象中的编码单元的总数，j为大于等于1的整数。
在一个示例性实施例中，所述每个编码单元对应的调整系数ηi的取值是按照如下方式计算的：
在一个示例性实施例中，所述
是通过如下计算表达式得到的：
其中，a和b均为常量参数，与kpi具有相同的数量级。
在一个示例性实施例中，所述根据所述调整系数ηi和拉格朗日乘子，对所述待编码对象中的每个编码单元进行编码，包括：
利用如下计算表达式，得到第i个编码单元的拉格朗日乘子
包括：
其中，
表示以和方差SSE作为失真指标的拉格朗日乘子；
利用所述第i个编码单元的拉格朗日乘子
对第i个编码单元进行编码处理。
为了达到上述发明目的，本发明提供一种计算机存储介质，用于存储计算机程序，其中所述计算机程序通过处理器执行以实现上文任一所述的方法。
与现有技术相比，本发明包括通过在执行对待编码对象进行编码前，获取待编码对象内的每个编码单元的空域感知信息ksi和时域感知信息kti，再根据每个编码单元的空域感知信息ksi和每个编码单元的时域感知信息kti，计算得到每个编码单元的时空域联合感知信息kpi，利用所述每个编码单元的时空域联合感知信息，计算每个编码单元对应的拉格朗日乘子的调整系数ηi，最后根据所述调整系数ηi和拉格朗日乘子，对所述待编码对象中的每个编码单元进行编码，用于自适应动态调整率失真优化过程中的拉格朗日乘子，从而在保持主观质量基本不变的情况下，有效降低编码消耗的码率。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本发明提供的视频数据的编码处理方法的流程图；
图2为本发明提供的基于时空域视觉掩蔽效应的率失真编码优化方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1为本发明提供的视频数据的编码处理方法的流程图。图1所示方法，包括：
步骤101、在执行对待编码对象进行编码前，获取待编码对象内的每个编码单元的空域感知信息ksi和时域感知信息kti，其中i为大于等于1的整数；
在本步骤中，所述待编码对象可以是某一视频帧，或者是视频帧中的某个区域；待编码对象包括一个或至少两个编码单元，计算每个编码单元的空域感知信息ksi和时域感知信息kti；
在一个示例性实施例中，每个编码单元的空域感知信息ksi是根据每个编码单元的梯度幅值kgi和/或方差数值kσi来确定的；
步骤102、根据每个编码单元的空域感知信息ksi和每个编码单元的时域感知信息kti，计算得到每个编码单元的时空域联合感知信息kpi；
在一个示例性实施例中，所述每个编码单元的时空域联合感知信息kp(i)是通过如下计算表达式得到的：
其中，c是一个常数，与kti具有相同的数量级，As为空域感知信息ksi的调整参数。
步骤103、利用所述每个编码单元的时空域联合感知信息，计算每个编码单元对应的拉格朗日乘子的调整系数ηi；
其中，所述每个编码单元对应的调整系数ηi是通过如下方式计算表达式得到的：
其中，
是kpi的线性变换结果，Nblock表示所述待编码对象中的编码单元的总数，j为大于等于1的整数。
步骤104、在对所述待编码对象执行编码操作过程中，根据所述调整系数ηi和拉格朗日乘子，对所述待编码对象中的每个编码单元进行编码。
在一个示例性的实施例中，利用如下计算表达式，得到第i个编码单元的拉格朗日乘子
包括：
其中，
表示以和方差SSE作为失真指标的拉格朗日乘子；
利用所述第i个编码单元的拉格朗日乘子
对第i个编码单元进行编码处理。
本发明提供的方法实施例，通过在执行对待编码对象进行编码前，获取待编码对象内的每个编码单元的空域感知信息ksi和时域感知信息kti，再根据每个编码单元的空域感知信息ksi和每个编码单元的时域感知信息kti，计算得到每个编码单元的时空域联合感知信息kpi，利用所述每个编码单元的时空域联合感知信息，计算每个编码单元对应的拉格朗日乘子的调整系数ηi，最后根据所述调整系数ηi和拉格朗日乘子，对所述待编码对象中的每个编码单元进行编码，用于自适应动态调整率失真优化过程中的拉格朗日乘子，从而在保持主观质量基本不变的情况下，有效降低编码消耗的码率。
下面对本发明提供的方法实施例作进一步说明：
在实现本发明过程中，发明人发现：采用客观质量评估指标进行编码的方法，由于视频帧之间存在大量的时域冗余信息，而SSIM只考虑了空间上的结构特性，因此在视频质量评估方面的表现并不像图像质量评估那样有效。如果采用利用视觉失真敏感度的编码处理方式，没有考虑时域和空域的内容和视觉感知特性，也存在编码码率效果过高的问题。
鉴于发明人分析得到的原因，本发明提出通过时空域联合感知信息，计算每一个编码单元的拉格朗日乘子调整系数，并在编码过程中对拉格朗日乘子进行自适应调整，再进行调整后的拉格朗日乘子进行编码。
在一个示例性实施例中，所述每个编码单元的梯度幅值kgi和/或方差数值kσi计算需要用到每个像素值，对YUV序列来说，像素值包括亮度分量Y、色度分量U和色度分量V，取其一计算，或者，取三者加权平均进行计算。
在本示例性实施例中，对YUV序列来说，像素值信息可以采用YUV三个数值的一个，或者，YUV三个数值中选择两个进行加权平均得到，或者，YUV三个数值求加权平均值得到。
在一个示例性的实施例中，所述每个编码单元的空域感知信息ksi是通过如下计算表达式得到的：
ksi＝(1-τ)·kgi+τ·kσi；
其中，τ是一个常量加权系数，取值范围在[0，1]之间。
在本示例性实施例中，可以选择编码单元的梯度幅值kgi和方差数值kσi共同来确定，以更加精确地确定编码单元的空域感知信息；在由两个数值共同确认时，可以通过为两个数值设置不同的权重完成对空域感知信息的计算。
在一个示例性实施例中，所述每个编码单元的梯度幅值kgi是通过如下方式得到的，包括：
计算第i个编码单元中每个像素的水平方向和竖直方向的梯度幅值；
根据所述每个像素的水平方向和竖直方向的梯度幅值，计算得到第i个编码单元的平均梯度幅值；
在得到所述待编码对象的编码单元的平均梯度幅值后，计算第i个编码单元的归一化的梯度幅值kgi。
在一个示例性实施例中，编码单元的平均梯度幅值可以通过如下计算表达式来获得，包括：
其中，Gh和Gv分别表示每个像素水平方向和竖直方向的梯度，Npixel表示当前编码单元的像素数，r和s为像素的坐标位置，其中，r和s为实数。
在一个示例性实施例中，所述第i个编码单元的归一化的梯度幅值kgi是通过如下计算表达式得到的：
其中，G(i)表示第i个编码单元的平均梯度幅值，Nblock表示所述待编码对象中的编码单元的总数，其中，j为大于等于1的整数。
在一个示例性实施例中，所述每个编码单元的方差数值kσi是通过如下方式得到的，包括：
获取第i个的编码单元的像素值与参考图像的参考编码单元的像素值之间的方差数值；
在得到所述待编码对象的编码单元的方差数值后，计算第i个编码单元的归一化的方差数值kσi。
在一个示例性实施例中，所述第i个编码单元的归一化的方差数值kσi是通过如下计算表达式得到的：
其中，
表示第i个编码单元的方差，Nblock表示所述待编码对象中的编码单元的总数，c2是常量系数，其中，j为大于等于1的整数。
在一个示例性实施例中，所述每个编码单元的时域感知信息kti是编码单元内的运动矢量计算得到的，其中所述运动矢量是运动搜索最小方差值得到的。
在一个示例性实施例中，所述每个编码单元的时域感知信息kti计算需要用到的每个像素值，对YUV序列来说，像素值包括亮度分量Y、色度分量U和色度分量V，取其一计算，或者，取三者加权平均进行计算。
在本示例性实施例中，对YUV序列来说，像素值信息可以采用YUV三个数值的一个，或者，YUV三个数值中选择两个进行加权平均得到，或者，YUV三个数值求加权平均值得到。
在一个示例性实施例中，所述每个编码单元的时域感知信息kti是通过如下计算表达式得到的：
其中，(vx，vy)表示编码单元内编码块的运动矢量，d(o，p)表示当前编码单元对应的帧到所述当前编码单元对应参考单元的帧的距离，同一帧中不同编码单元对应的参考单元的帧不同或者相同，o，p表示所述第i个编码单元的坐标信息，ｏ和p均为实数。
在一个示例性实施例中，所述空域感知信息ksi的调整参数As是通过计算空域感知信息ksi的均方误差MSE得到的；或者，通过计算空域感知信息ksi的绝对误差和SAD得到的；或者，通过计算空域感知信息ksi的hadamard变换算法SATD得到的。
在一个示例性实施例中，所述每个编码单元对应的调整系数ηi是通过如下方式计算表达式得到的：
其中，
是kpi的线性变换结果，Nblock表示所述待编码对象中的编码单元的总数，j为大于等于1的整数。
在，所述每个编码单元对应的调整系数ηi的取值是按照如下方式计算的：
在上述计算表达式中，对调整系数ηi的取值范围进行了限制，有效控制调整系数ηi数值过大或过小，造成拉格朗日乘子出现极端异常值，保证数据的正常计算。
在一个示例性实施例中，所述
是通过如下计算表达式得到的：
其中，a和b均为常量参数，与kpi具有相同的数量级。
时空域联合感知信息kpi同时考虑了空域质地复杂度和时域运动强度等视频内容特性。对于质地复杂和运动剧烈区域，空域感知信息ksi和时域感知信息kti会相对比较大，从而导致时空域联合感知信息kpi变小，通过对时空域联合感知信息kpi进行线性转换，可以消除上述变化，以更好地将其应用在率失真优化中。
本发明主要利用时空域视觉掩蔽效应这类人眼视觉特性，作为出发点进行视觉感知编码优化。具体地，对于空域掩蔽效应，质地复杂区域的失真相比平坦区域很难被人眼察觉到，也就是说人眼对质地复杂区域的失真并不敏感。因此，这些区域能够比平坦区域容纳或隐藏更多的视觉失真。类似地，对于时域掩蔽效应而言，运动剧烈区域物体的细节以及失真相比静止或运动缓慢区域难以被人眼察觉到。随着运动的加快，物体清晰度会进一步下降。因此，人眼对运动剧烈区域的失真并不敏感。所以，在引入同样的失真时，质地复杂或运动剧烈的区域能够比平坦或静止的区域产生较高的主观视觉质量。根据上述空域和时域掩蔽效应，在实施时首先计算每个编码单元的空域和时域感知因子，然后根据合成的时空域联合感知因子在编码时对率失真优化过程中的拉格朗日乘子进行自适应调整。
下面以本发明提供的实施例作进一步说明：
图2为本发明提供的基于时空域视觉掩蔽效应的率失真编码优化方法的流程图。图2所示方法包括：
步骤201、在编码一视频帧前，计算待编码对象内所有编码单元的梯度幅值，并根据当前帧的所有编码单元的梯度平均值，对每个编码单元的梯度值进行归一化，得到每个编码单元归一化的梯度幅值kg。
在本示例性实施例中，水平方向和竖直方向的梯度信息可以利用Sobel梯度算子进行计算。
在一个示例性的实施例中，编码单元的平均梯度幅值可以通过如下计算表达式来获得，包括：
其中，Gh和Gv分别表示每个像素水平方向和竖直方向的梯度，Npixel表示当前编码单元的像素数，r和s为像素的坐标位置，其中，r和s为实数。
在得到每个编码单元的梯度幅值后，再基于该帧图像平均梯度幅值计算每个编码单元归一化的梯度幅值kgi，如(2)式所示。
其中，G(i)表示根据(1)式计算得到的第i个编码单元的梯度幅值，Nblock表示待编码对象内编码单元的数目。
步骤202、在编码一帧前计算帧内所有编码单元的方差，并根据当前帧所有编码单元的方差平均值对每个编码单元的方差进行归一化。
每个编码单元归一化后的方差值如(3)式所示。
其中，
表示第i个编码单元的方差，Nblock表示当前帧编码单元的数目，c2是SSIM模型的一个常量系数用于保证数值稳定性。
步骤203、根据步骤201和步骤202的结果，将每个编码单元的梯度值和方差值进行加权，作为空域感知因子，得到每个编码单元的空域感知因子。
结合(2)和(3)式的结果，空域感知因子ksi可以通过kgi和kσi加权计算得到，如(4)式所示。其中，τ是一个常量加权系数，取值范围在[0，1]之间。
ksi＝(1-τ)·kgi+τ·kσi (4)
步骤204、在编码一视频帧前，以前一帧作为参考帧进行运动估计，计算当前帧内所有编码单元的运动矢量和残差，并根据当前帧所有编码单元的运动矢量强度平均值对每个编码单元的运动矢量强度进行归一化，作为时域感知因子kti。
首先，对当前编码单元所有16x16大小的编码块进行运动矢量估计，然后根据(5)式合成当前编码单元的运动强度。
其中，(vx，vy)表示当前编码单元内编码块的运动矢量，d(i，j)表示当前帧到其参考帧的距离，可以为当前帧到其参考帧的POC(picture order count，图像序列号)之差。
步骤205、基于质量预测模型MOSp将步骤203和步骤204得到的空域和时域感知因子合成为时空域联合感知因子。
MOSp是一种常见的视频质量预测模型如(6)式所示，其中k为预设的系数。
MOSp＝1-k·MSE (6)
基于(6)式中MOSp的数学模型，在通过步骤203和步骤204得到空域感知因子ksi和和时域感知因子kti后，每个编码单元的时空域联合感知因子kpi如(7)式所示。
其中，c是一个常数，与kt具有相同的数量级。
步骤206、计算每一个编码单元的拉格朗日乘子调整系数，并在编码过程中对拉格朗日乘子进行自适应动态调整。
根据MOSp改进而来的时空域联合感知因子kpi同时考虑了空域质地复杂度和时域运动强度等视频内容特性。对于质地复杂和运动剧烈区域，空域感知因子ksi和和时域感知因子kti会相对比较大，从而导致时空域联合感知因子kpi变小。为了更好地将其应用在率失真优化中，首先定义一个与MSE相关的新的失真指标Dp，如(8)式所示。
其中，
是kp的线性变换结果，如(9)式所示，a和b均为常量参数，与kp具有相同的数量级。根据(8)式，在引入相同失真条件下，质地复杂和运动剧烈图像区域的
因子较大，能够隐藏更多的视觉失真，这与空域和时域的视觉掩蔽效应相一致。
然后，将新定义的失真指标Dp替换掉原来率失真方程的失真D，可得到如下关系：
可以进一步简化得到：
从(11)式可以看出，对失真D的改变已经转移到了拉格朗日乘子上。此外，在通常情况下，编码单元消耗的码率rate与产生的失真distortion之间具有如下关系模型：
其中，r(d)表示该编码单元消耗的码率，d表示该编码单元的失真SSE，σ2表示该编码单元编码失真的方差，α是一个常量系数，Npixel表示当前编码单元的像素数。根据上述码率失真模型，可以得到在新的失真模型Dp下所对应的拉格朗日乘子，如(13)式所示，其中Nblock表示编码单元的数目，ηi为自适应调整系数。
根据上述分析，对于质地复杂和运动剧烈区域，计算得到的
会相对较大。而根据视觉掩蔽效应可知，这些区域可以隐藏更多的视觉失真，在率失真优化过程中应倾向于为这些区域分配较少的比特，等价于在编码过程中为这些区域选取较大的拉格朗日乘子。所以，在实际编码时第i个编码单元的拉格朗日乘子按(13)式进行自适应调整。此外，为了防止出现极端异常值，对自适应系数ηi的取值范围进行了限制，如(14)式所示。
本发明应用实例提供的方法，综合考虑了空域质地复杂度和时域运动强度等内容特性，并基于MOSp(perceptual Mean Opinion Score)的主观质量预测模型合成了时空域联合感知因子，用于自适应动态调整率失真优化过程中的拉格朗日乘子，从而在保持主观质量基本不变的情况下有效降低编码消耗的码率。
与现有技术相比，在保持视频序列主观质量基本不变的情况，能够有效降低编码码率。具体地，在主观感知质量基本不变的情况下，对于存在全局运动的标准测试序列(以HEVC CTC序列为例)，能够相比HEVC标准参考模型HM节省码率10％以，其中码率平均降低10.32％，SSIM平均降低0.00253。
本发明还提供一种计算机存储介质，用于存储计算机程序，其中所述计算机程序通过处理器执行以实现上文任一所述的方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
Claims (16)
1.一种视频数据的编码处理方法，包括：
在执行对待编码对象进行编码前，获取待编码对象内的每个编码单元的空域感知信息ksi和时域感知信息kti，其中i为大于等于1的整数；
根据每个编码单元的空域感知信息ksi和每个编码单元的时域感知信息kti，计算得到每个编码单元的时空域联合感知信息kpi；
利用所述每个编码单元的时空域联合感知信息，计算每个编码单元对应的拉格朗日乘子的调整系数ηi；
在对所述待编码对象执行编码操作过程中，根据所述调整系数ηi和拉格朗日乘子，对所述待编码对象中的每个编码单元进行编码；
其中，所述每个编码单元的空域感知信息ksi是根据每个编码单元的梯度幅值kgi和/或方差数值kσi来确定的；所述每个编码单元的时域感知信息kti是编码单元内的运动矢量以及运动补偿计算得到的，其中所述运动补偿为所述待编码对象与预设的参考帧之间的矢量距离。
2.根据权利要求1所述的方法，其特征在于，所述每个编码单元的梯度幅值kgi和/或方差数值kσi计算需要用到每个像素值，对YUV序列来说，像素值包括亮度分量Y、色度分量U和色度分量V，取其一计算，或者，取三者加权平均进行计算。
3.根据权利要求1所述的方法，其特征在于，所述每个编码单元的空域感知信息ksi是通过如下计算表达式得到的：
ksi＝(1-τ)·kgi+τ·kσi；
其中，τ是一个常量加权系数，取值范围在[0,1]之间。
4.根据权利要求1至3任一所述的方法，其特征在于，所述每个编码单元的梯度幅值kgi是通过如下方式得到的，包括：
计算第i个编码单元中每个像素的水平方向和竖直方向的梯度幅值；
根据所述每个像素的水平方向和竖直方向的梯度幅值，计算得到第i个编码单元的平均梯度幅值；
在得到所述待编码对象的编码单元的平均梯度幅值后，计算第i个编码单元的归一化的梯度幅值kgi。
5.根据权利要求4所述的方法，其特征在于，所述第i个编码单元的归一化的梯度幅值kgi是通过如下计算表达式得到的：
其中，G(i)表示第i个编码单元的平均梯度幅值，Nblock表示所述待编码对象中的编码单元的总数，其中，j为大于等于1的整数。
6.根据权利要求1或2所述的方法，其特征在于，所述每个编码单元的方差数值kσi是通过如下方式得到的，包括：
获取第i个的编码单元的像素值与参考图像的参考编码单元的像素值之间的方差数值；
在得到所述待编码对象的编码单元的方差数值后，计算第i个编码单元的归一化的方差数值kσi。
7.根据权利要求6所述的方法，其特征在于，所述第i个编码单元的归一化的方差数值kσi是通过如下计算表达式得到的：
其中，
表示第i个编码单元的方差，Nblock表示所述待编码对象中的编码单元的总数，c2是常量系数，其中，j为大于等于1的整数，
表示第j个编码单元的方差。
8.根据权利要求1所述的方法，其特征在于，所述每个编码单元的时域感知信息kti计算需要用到的每个像素值，对YUV序列来说，像素值包括亮度分量Y、色度分量U和色度分量V，取其一计算，或者，取三者加权平均进行计算。
9.根据权利要求1所述的方法，其特征在于，所述每个编码单元的时域感知信息kti是通过如下计算表达式得到的：
其中，(vx，vy)表示编码单元内编码块的运动矢量，d(o,p)表示当前编码单元对应的帧到所述当前编码单元对应参考单元的帧的距离，同一帧中不同编码单元对应的参考单元的帧不同或者相同，(o，p)表示第i个编码单元的坐标信息，o和p均为实数。
10.根据权利要求1所述的方法，其特征在于，所述每个编码单元的时空域联合感知信息kpi是通过如下计算表达式得到的：
其中，c是一个常数，与kti具有相同的数量级，As为空域感知信息ksi的调整参数。
11.根据权利要求10所述的方法，其特征在于，所述空域感知信息ksi的调整参数As是通过计算空域感知信息ksi的均方误差MSE得到的；或者，通过计算空域感知信息ksi的绝对误差和SAD得到的；或者，通过计算空域感知信息ksi的hadamard变换算法SATD得到的。
12.根据权利要求1或9或10所述的方法，其特征在于，所述每个编码单元对应的调整系数ηi是通过如下计算表达式得到的：
其中，
是kpi的线性变换结果，Nblock表示所述待编码对象中的编码单元的总数，j为大于等于1的整数，
是kpj的线性变换结果。
13.根据权利要求12所述的方法，其特征在于，所述每个编码单元对应的调整系数ηi的取值是按照如下方式计算的：
14.根据权利要求12所述的方法，其特征在于，所述
是通过如下计算表达式得到的：
其中，a和b均为常量参数，与kpi具有相同的数量级。
15.根据权利要求1所述的方法，其特征在于，所述根据所述调整系数ηi和拉格朗日乘子，对所述待编码对象中的每个编码单元进行编码，包括：
利用如下计算表达式，得到第i个编码单元的拉格朗日乘子
包括：
其中，
表示以和方差SSE作为失真指标的拉格朗日乘子；
利用所述第i个编码单元的拉格朗日乘子
对第i个编码单元进行编码处理。
16.一种计算机存储介质，用于存储计算机程序，其中所述计算机程序通过处理器执行以实现如权利要求1至15任一所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811353976.1A CN111193931B (zh) | 2018-11-14 | 2018-11-14 | 一种视频数据的编码处理方法和计算机存储介质 |
| PCT/CN2019/118526 WO2020098751A1 (zh) | 2018-11-14 | 2019-11-14 | 一种视频数据的编码处理方法和计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811353976.1A CN111193931B (zh) | 2018-11-14 | 2018-11-14 | 一种视频数据的编码处理方法和计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111193931A CN111193931A (zh) | 2020-05-22 |
| CN111193931B true CN111193931B (zh) | 2023-04-07 |
Family
ID=70710451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811353976.1A Active CN111193931B (zh) | 2018-11-14 | 2018-11-14 | 一种视频数据的编码处理方法和计算机存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111193931B (zh) |
| WO (1) | WO2020098751A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111970511B (zh) * | 2020-07-21 | 2023-05-19 | 上海交通大学 | 一种基于vmaf的感知视频率失真编码优化方法及装置 |
| US11895330B2 (en) | 2021-01-25 | 2024-02-06 | Lemon Inc. | Neural network-based video compression with bit allocation |
| CN113099226B (zh) * | 2021-04-09 | 2023-01-20 | 杭州电子科技大学 | 面向智慧法院场景的多层次感知视频编码算法优化方法 |
| CN114554219A (zh) * | 2022-02-21 | 2022-05-27 | 翱捷科技股份有限公司 | 一种基于运动检测的率失真优化方法及装置 |
| CN114915789B (zh) * | 2022-04-13 | 2023-03-14 | 中南大学 | 一种帧间的拉格朗日乘子优化方法、系统、设备及介质 |
| CN117651148B (zh) * | 2023-11-01 | 2024-07-19 | 广东联通通信建设有限公司 | 一种物联网终端管控方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101778275A (zh) * | 2009-01-09 | 2010-07-14 | 深圳市融创天下科技发展有限公司 | 一种自适应时间域和空间域分辨率框架的图像处理方法 |
| CN103096076A (zh) * | 2012-11-29 | 2013-05-08 | 中国科学院研究生院 | 视频编码方法 |
| CN103607590A (zh) * | 2013-11-28 | 2014-02-26 | 北京邮电大学 | 基于结构相似度的高效视频编码感知率失真优化方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4709074B2 (ja) * | 2006-06-09 | 2011-06-22 | 日本電信電話株式会社 | 動画像符号化方法，装置，そのプログラムおよびそのプログラムを記録した記録媒体 |
| JP4709179B2 (ja) * | 2007-05-14 | 2011-06-22 | 日本電信電話株式会社 | 符号化パラメータ選択方法，符号化パラメータ選択装置，符号化パラメータ選択プログラムおよびその記録媒体 |
| CN104301724B (zh) * | 2014-10-17 | 2017-12-01 | 华为技术有限公司 | 视频处理方法、编码设备和解码设备 |
| CN104539962B (zh) * | 2015-01-20 | 2017-12-01 | 北京工业大学 | 一种融合视觉感知特征的可分层视频编码方法 |
| CN106303547B (zh) * | 2015-06-08 | 2019-01-01 | 中国科学院深圳先进技术研究院 | 三维视频编码方法和装置 |
| CN107222742B (zh) * | 2017-07-05 | 2019-07-26 | 中南大学 | 基于时空域相关性的视频编码Merge模式快速选择方法及装置 |
-
2018
- 2018-11-14 CN CN201811353976.1A patent/CN111193931B/zh active Active
-
2019
- 2019-11-14 WO PCT/CN2019/118526 patent/WO2020098751A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101778275A (zh) * | 2009-01-09 | 2010-07-14 | 深圳市融创天下科技发展有限公司 | 一种自适应时间域和空间域分辨率框架的图像处理方法 |
| CN103096076A (zh) * | 2012-11-29 | 2013-05-08 | 中国科学院研究生院 | 视频编码方法 |
| CN103607590A (zh) * | 2013-11-28 | 2014-02-26 | 北京邮电大学 | 基于结构相似度的高效视频编码感知率失真优化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020098751A1 (zh) | 2020-05-22 |
| CN111193931A (zh) | 2020-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111193931B (zh) | 一种视频数据的编码处理方法和计算机存储介质 | |
| JP6698077B2 (ja) | モデルベースの映像符号化用の知覚的最適化 | |
| US10212456B2 (en) | Deblocking filter for high dynamic range (HDR) video | |
| CN104919796B (zh) | 使用至少评估后的视觉质量的视频编码方法和相关视频编码装置 | |
| US20140321552A1 (en) | Optimization of Deblocking Filter Parameters | |
| US20130028322A1 (en) | Moving image prediction encoder, moving image prediction decoder, moving image prediction encoding method, and moving image prediction decoding method | |
| CN104378636B (zh) | 一种视频图像编码方法及装置 | |
| CN111970511B (zh) | 一种基于vmaf的感知视频率失真编码优化方法及装置 | |
| US20200068200A1 (en) | Methods and apparatuses for encoding and decoding video based on perceptual metric classification | |
| JP4189358B2 (ja) | 画像符号化装置及び方法 | |
| CN108141598A (zh) | 用于视频编码和解码中的量化的方法和装置 | |
| US20180359486A1 (en) | Non-local adaptive loop filter processing | |
| WO2022021422A1 (zh) | 视频编码方法、编码器、系统以及计算机存储介质 | |
| CN113906762B (zh) | 用于视频压缩的预处理 | |
| US9635359B2 (en) | Method and apparatus for determining deblocking filter intensity | |
| CN112243129B (zh) | 视频数据处理方法、装置、计算机设备及存储介质 | |
| CN115567712A (zh) | 基于人眼恰可察觉失真的屏幕内容视频编码感知码率控制方法及装置 | |
| JP4824708B2 (ja) | 動画像符号化方法，装置，プログラムおよびコンピュータ読み取り可能な記録媒体 | |
| CN112738518B (zh) | 一种基于感知的ctu级视频编码的码率控制方法 | |
| US11102488B2 (en) | Multi-scale metric-based encoding | |
| CN115967806B (zh) | 一种数据帧编码控制方法、系统及电子设备 | |
| CN112154667B (zh) | 视频的编码和解码 | |
| EP2536144A1 (en) | Method and device of lossy compress-encoding an image | |
| Saeedi et al. | Content adaptive pre-filtering for video compression | |
| Yang et al. | Content adaptive spatial-temporal rescaling for video coding optimization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |