CN114710666B - 一种编码模式的选择方法、装置 - Google Patents
一种编码模式的选择方法、装置 Download PDFInfo
- Publication number
- CN114710666B CN114710666B CN202210614070.0A CN202210614070A CN114710666B CN 114710666 B CN114710666 B CN 114710666B CN 202210614070 A CN202210614070 A CN 202210614070A CN 114710666 B CN114710666 B CN 114710666B
- Authority
- CN
- China
- Prior art keywords
- cost
- coefficient
- motion
- chrominance
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 239000013598 vector Substances 0.000 claims description 123
- 241000023320 Luma <angiosperm> Species 0.000 claims description 65
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 65
- 238000001514 detection method Methods 0.000 claims description 16
- 230000002829 reductive effect Effects 0.000 claims description 10
- 230000003068 static effect Effects 0.000 claims description 10
- 238000010187 selection method Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 230000003247 decreasing effect Effects 0.000 claims description 5
- 238000009825 accumulation Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请公开了一种编码模式的选择方法，包括：确定待编码图像帧中编码单元的色度分量的色度代价、和亮度分量的亮度代价，检测编码单元的运动特性，根据运动特性，确定色度代价的色度系数和亮度代价的亮度系数，根据所确定的色度系数调整所述色度代价，根据所确定的亮度系数调整所述亮度代价；基于调整后的色度代价以及调整后的亮度代价，确定所述编码单元的图像代价；其中，色度系数和亮度系数用于使得：调整后的色度代价在图像代价中的第一代价贡献被增加；根据所述图像代价进行编码模式的选择。本申请通过增大图像代价中色度代价，以更小的亮度损失最大化提升色度。
Description
技术领域
本发明涉及视频编码领域，特别地，涉及一种编码模式的选择方法。
背景技术
在图像/视频的编码技术中，待编码图像帧中的每个编码单元的编码模式选择通常基于图像代价来匹配。
以视频编码为例。当前视频编码标准中，诸如H.264/H265/H.266等框架中包含亮度编码和色度编码。目前实际中，一方面标准中色度编码受到亮度编码的直接影响，如帧间预测所使用的运动矢量（mv，motion vector）直接来源于亮度的运动矢量。另一方面，用于每个编码单元(预测单元)的编码模式选择的图像代价RDOcost计算为：
RDOcost=RDOLumaCost+RDOChromaUCost+ RDOChromaVCost
其中，
RDOLumaCost为亮度代价，用于表征编码单元编码前后的亮度差异，RDOChromaUCost为色度分量U代价，用于表征编码单元编码前后的色度分量U的差异，RDOChromaVCost为色度分量V代价，用于表征编码单元编码前后的色度分量V的差异，RDOcost为图像代价，用于表征编码单元编码前后的亮度差异和色度差异。
尽管图像代价为亮度代价、色度代价之和，但色度代价对图像代价的影响有限。
例如，对于色度下采样的格式4:2:0，在每个编码单元(预测单元)，每个色度分量的像素数量只有亮度的1/4，因而每个色度代价大致只有亮度的1/4，因此在图像代价中，两个色度分量的代价RDOChromaUCost与RDOChromaVCost之和大致只有亮度代价的1/2，故而，从编码单元(预测单元)的图像代价的构成中，色度的代价很难影响亮度的编码模式选择。
又例如，在帧间运动估计中，由于色度运动矢量直接继承亮度运动矢量，因此整像素搜索时一般只考虑亮度的运动估计，而在图像代价中，色度代价又难以影响亮度的编码模式选择，这导致色度的编码质量取决于亮度编码模式的选择结果。
发明内容
本发明提供了一种编码模式的选择方法，以提升图像编码中色度分量的编码质量。
本发明提供的一种编码模式的选择方法，该方法包括：
确定待编码图像帧中编码单元的色度分量的色度代价、和亮度分量的亮度代价，
检测所述编码单元的运动特性，
根据所述运动特性，确定色度代价的色度系数和亮度代价的亮度系数，
根据所确定的色度系数调整所述色度代价，根据所确定的亮度系数调整所述亮度代价；
基于调整后的色度代价以及调整后的亮度真代价，确定所述编码单元的图像代价；
其中，
所述色度系数和亮度系数用于使得：调整后的色度代价在图像代价中的第一代价贡献被增加；
根据所述图像代价进行编码模式的选择。
较佳地，所述色度系数用于使得所述第一代价贡献被增加时，所述亮度系数用于使得亮度代价在图像代价中的第二代价贡献被减少或保持不变；
或者，
所述亮度系数用于使得所述第二代价贡献被减少时，所述色度系数用于使得所述第一代价贡献保持不变；
或者，
所述色度系数用于使得所述第一代价贡献被增加，所述亮度系数用于使得所述第二代价贡献被增加，并且，所述色度系数使得所述第一代价贡献被增加的程度大于所述亮度系数使得第二代价贡献被增加的程度。
较佳地，所述检测所述编码单元的运动特性，包括：
基于所述待编码图像帧其序列的时域相关性，对所述编码单元进行帧间运动估计，
根据帧间运动估计所检测到的运动向量，确定用于表征运动大小的运动特性，其中，运动大小随运动向量的增加而增加，
所述根据所述运动特性，确定色度代价的色度系数和亮度代价的亮度系数，包括：
随着所述运动大小的增加，减小所述色度系数和亮度系数。
较佳地，所述根据帧间运动估计所检测到的运动向量，确定用于表征运动大小的运动特性，包括：
如果运动向量大于设定的第一向量阈值，则所述运动特性为第一运动属性，
如果运动向量不大于第一向量阈值、且不小于第二向量阈值，则所述运动特性为第二运动属性，
……
以此类推，
如果运动向量大于第i向量阈值，则所述运动特性为第i运动属性，
如果运动向量不大于第i向量阈值、且不小于第i+1阈值，则所述运动特性为第i+1运动属性，
如果运动向量小于第i+1向量阈值，则所述运动特性为第i+2运动属性，
其中，
i为自然数，
第一向量阈值、第二向量阈值、……第i向量阈值、第i+1向量阈值递减，
第一运动属性的运动大小、第二运动属性的运动大小、……第i运动属性的运动大小、第i+1运动属性的运动大小、第i+2运动属性的运动大小递减；
所述根据运动特性，确定色度代价的系数和亮度代价的系数，包括：
根据运动属性，确定与该运动属性匹配的色度系数和亮度系数。
较佳地，所述根据运动属性，确定与该运动属性匹配的色度系数和亮度系数，包括：
如果运动特性为第一运动属性，则确定色度系数为第一色度系数，确定亮度系数为第一亮度系数，
如果运动特性为第二运动属性，则确定色度系数为第二色度系数，确定亮度系数为第二亮度系数，
……
以此类推，
如果运动特性为第i运动属性，则确定色度系数为第i色度系数，确定亮度系数为第i亮度系数，
其中，
第一色度系数、第二色度系数、……第i色度系数递增，
第一亮度系数、第二亮度系数、……第i亮度系数递增。
较佳地，该方法进一步包括：
确定所述待编码图像帧被采集的采集状态，其中，采集状态包括静态采集状态和动态采集状态；
根据所述采集状态，确定所述第一色度系数、第二色度系数、……第i色度系数递增的步长，以及确定所述第一亮度系数、第二亮度系数、……第i亮度系数递增的步长；
所述根据帧间运动估计检测所检测到的运动向量，确定用于表征运动大小的运动特性，进一步包括：
根据所述采集状态，确定所述向量阈值以及所述向量阈值的数量。
较佳地，所述色度代价为色度率失真代价，所述亮度代价为亮度率失真代价，
所述确定待编码图像帧中编码单元的色度分量的色度代价、和亮度分量的亮度代价，包括：
将拉格朗日因子与色度分量的编码比特数的乘积结果，与色度分量的失真值进行累加，得到色度分量的色度率失真代价，
将拉格朗日因子与亮度分量的编码比特数的乘积结果，与亮度分量的失真值进行累加，得到亮度分量的色度率失真代价；
所述基于调整后的色度率失真代价以及调整后的亮度率失真代价，确定所述编码单元的图像率失真代价，包括：
将所述色度系数与所述色度率失真代价的乘积结果，确定为调整后的色度率失真代价，
将所述亮度系数与所述亮度率失真代价的乘积结果，确定为调整后的亮度率失真代价，
将调整后的色度率失真代价与调整后的亮度率失真代价的累加结果，确定为所述图像率失真代价。
较佳地，所述色度分量包括Ｕ色度分量，以及Ｖ色度分量，
所述色度率失真代价包括Ｕ色度分量的色度率失真代价、以及Ｖ色度分量的色度率失真代价；
所述色度系数包括Ｕ色度分量的色度系数、以及V色度分量的色度系数，
该方法进一步包括：
根据所述图像率失真代价，选择所述编码单元的编码模式。
本发明还提供一种编码模式的选择装置，该装置包括：
第一模块，用于确定待编码图像帧中编码单元的色度代价和亮度代价，
检测模块，用于检测所述编码单元的运动特性，
第二模块，用于根据所述运动特性，确定色度代价的色度系数和亮度代价的亮度系数，
调整模块，用于根据所确定的色度系数调整所述色度代价，根据所确定的亮度系数调整所述亮度代价；基于调整后的色度代价以及调整后的亮度代价，确定所述编码单元的图像代价；
其中，
所述色度系数和亮度系数用于使得：调整后的色度代价在图像代价中的第一代价贡献被增加；
根据所述图像代价进行编码模式的选择。
本发明还提供一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现任一所述一种编码模式的选择方法的步骤。
本申请提供的编码模式的选择方法，通过增大图像代价中色度代价，以更小的亮度损失最大化提升色度，结合色度偏移，可进一步优化色度的编码参数选择，从而提高色度编码质量，结合运动特性来设置所增大色度代价的程度，使得色度代价的增幅精细化，提高了对图像序列特性的自适应性。
附图说明
图1是本申请实施例编码模式的选择方法的一种流程示意图。
图2为本申请实施例一图像率失真代价的选择方法的一种流程示意图。
图3 为本申请实施例二图像率失真代价的选择方法的一种流程示意图。
图4a~4d为本申请实施例色度编码质量的提升效果的一种示意图。
图5为本申请实施例编码模式的选择装置的一种示意图。
图6为本申请实施例编码模式的选择装置的一种示意图。
具体实施方式
为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。
本申请实施例根据待编码图像帧中编码单元的运动特性，对图像代价进行调整，使得色度分量的代价对图像代价的代价贡献得以提高，从而提高色度分量的编码质量。
参见图1所示，图1为本申请实施例编码模式的选择方法的一种流程示意图。该方法包括：
步骤101，确定待编码图像帧中编码单元的色度分量的色度代价、和亮度分量的亮度代价，
步骤102，检测所述编码单元的运动特性，
步骤103，根据所述运动特性，确定色度代价的色度系数和亮度代价的亮度系数，
步骤104，根据所确定的色度系数调整所述色度代价，根据所确定的亮度系数调整所述亮度代价；
步骤105，基于调整后的色度代价以及调整后的亮度代价，确定所述编码单元的图像代价；
其中，
所述色度系数和亮度系数用于使得：调整后的色度代价在图像代价中的第一代价贡献被增加；
根据所述图像代价进行编码模式的选择。
本实施例根据运动特性来匹配色度系数和亮度系数，通过色度系数和亮度系数来调整图像代价中亮度代价、和色度亮度代价的代价贡献，提高了色度对亮度的编码模式选择产生影响，有利于提高色度的编码质量。
为便于理解本申请实施例，以下以率失真代价为例予以具体说明，所应理解的是，本申请实施例不限于率失真代价，其它参数也可适用。
实施例一
在图像编码中，图像序列的特性对压缩性能影响很大，在编码过程中对编码模式选择差异也很大，对色度的编码质量影响也很大。图像序列的特性有多种，比如运动大小，纹理，颜色，形状等，本实施例采用图像序列的运动大小特性来自适应地匹配色度率失真代价的色度系数。
以下以运动特性对一个编码单元的色度率失真代价的色度系数的匹配为例来进行说明。
参见图2所示，图2为本申请实施例一图像率失真代价的选择方法的一种流程示意图。对于待编码图像帧中的任一编码单元，执行如下步骤：
步骤201，对编码单元进行运动特性检测，
作为一种示例，编码单元即为待编码图像帧中的基本编码单元，例如，在H.264为宏块(Macro Block)，在H.265为最大编码单元LCU(Largest Coding Unit)。通常，通过下采样获得下采样后的编码单元。
将待编码图像帧所关联的一帧以上图像作为待编码图像帧的序列，基于该序列的时域相关性，对编码单元进行帧间运动估计，例如，采用视频序列进行帧间运动估计；根据所检测的运动向量判断运动特性：
判断所检测的运动向量是否小于设定的第三向量阈值，如果是，则判定运动特性为第四运动属性，例如，静止，
否则，判断所检测的运动向量是否不小于第三向量阈值且不大于设定的第二向量阈值，如果是，则判定运动特性为第三运动属性，例如，小运动，其中，第三向量阈值小于第二向量阈值，
否则，判断所检测的运动向量是否不小于第二向量阈值且小于等于设定的第一向量阈值，即，运动向量是否在第二向量阈值和第一向量阈值之间，如果是，则判定运动特性为第二运动属性，例如，中运动，其中，第二阈值小于第一向量阈值，
否则，说明所检测的运动向量大于第一向量阈值，判定运动特性为第一运动属性，例如，大运动。
在该示例中，运动大小随运动向量的增加而增加，第一运动属性的运动大小、第二运动属性的运动大小、第三运动属性的运动大小、第四运动属性的运动大小递减。
所应理解的是，运动特性的检测可不限于上述四种属性，具体可结合图像帧序列的情况来设计运动特性的检测粒度。由此可以类推为：
如果运动向量大于第i向量阈值，则所述运动特性为第i运动属性，
如果运动向量不大于第i向量阈值、且不小于第i+1向量阈值，则所述运动特性为第i+1运动属性，
如果运动向量小于第i+1向量阈值，则所述运动特性为第i+2运动属性，
其中，
i为自然数，
第一向量阈值、第二向量阈值、……第i向量阈值、第i+1向量阈值递减，
第一运动属性的运动大小、第二运动属性的运动大小、……第i运动属性的运动大小、第i+1运动属性的运动大小、第i+2运动属性的运动大小递减；
步骤202，根据所检测的运动属性，确定与该运动属性匹配的色度系数和亮度系数。
当运动特性为第一运动属性时，则确定色度系数为第一色度系数，确定亮度系数为第一亮度系数，
当运动特性为第二运动属性时，则确定色度系数为第二色度系数，确定亮度系数为第二亮度系数，
当运动特性为第三运动属性时，则确定色度系数为第三色度系数，确定亮度系数为第三亮度系数，
当运动特性为第四运动属性时，则确定色度系数为第四色度系数，确定亮度系数为第四亮度系数，
其中，
第一色度系数、第二色度系数、第三色度系数、第四色度系数依次增加，
第一亮度系数、第二亮度系数、第三亮度系数、第四亮度系数依次增加。
也就是说，随着运动大小的增加，减小色度系数和亮度系数，即，运动大小越大，色度系数、亮度系数越小，反之，运动大小越小，色度系数、亮度系数越大。
由此类推，可以得到：
如果运动特性为第一运动属性，则确定色度系数为第一色度系数，确定亮度系数为第一亮度系数，
如果运动特性为第二运动属性，则确定色度系数为第二色度系数，确定亮度系数为第二亮度系数，
……
以此类推，
如果运动特性为第i运动属性，则确定色度系数为第i色度系数，确定亮度系数为第i亮度系数，
其中，
第一色度系数、第二色度系数、……第i色度系数递增，
第一亮度系数、第二亮度系数、……第i亮度系数递增。
步骤203，根据所确定的色度系数调整色度率失真代价，根据所确定的亮度系数调整亮度率失真代价。
作为一种示例，分别计算色度率失真代价和亮度率失真代价。其中，亮度率失真代价、色度率失真代价J准则均为：
J =D+lambda*bits；
其中，D为编码单元的失真值，lambda为拉格朗日因子，bits为编码单元的编码bit数，即码率。
例如，对于编码单元的亮度分量编码，其率失真代价为：拉格朗日因子与亮度分量的编码比特数的乘积结果，与亮度分量的失真值进行累加的结果，用数学式表达为：RDOLumaCost = D+lambda*bits，其中，D为亮度分量的失真值，bits为亮度分量编码的bit数。
在色度率失真代价和亮度率失真代价计算完成之后，将色度系数与色度率失真代价相乘，得到调整后的色度率失真代价。鉴于色度分量包括U色度分量和V色度分量，故而，色度系数包括U色度分量的色度系数和V色度分量的色度系数，则：
U色度分量的色度系数与U色度分量的色度率失真代价相乘，得到U色度分量调整后的色度率失真代价，
V色度分量的色度系数与V色度分量的色度率失真代价相乘，得到V色度分量调整后的色度率失真代价。
将亮度系数与亮度率失真代价相乘，得到调整后的亮度率失真代价。
步骤204，基于调整后的色度率失真代价以及调整后的亮度率失真代价，确定所述编码单元的图像率失真代价。
作为一种示例，将调整后的色度率失真代价与调整后的亮度率失真代价的累加结果，得到图像率失真代价。用数学式表达为：
RDOcost=α*RDOLumaCost+β*RDOChromaUCost+ γ*RDOChromaVCost
其中，RDOcos为图像率失真代价，RDOLumaCost为亮度率失真代价，RDOChromaUCost为U色度分量的色度率失真代价，RDOChromaVCost为V色度分量的色度率失真代价，α为亮度系数，β为U色度分量的色度系数，γ为V色度分量的色度系数，α*RDOLumaCost为调整后的亮度率失真代价，β*RDOChromaUCost为U色度分量调整后的色度率失真代价，γ*RDOChromaVCost为V色度分量调整后的色度率失真代价，β*RDOChromaUCost+γ*RDOChromaVCost为调整后的色度率失真代价。
为了提高色度率失真代价在图像率失真代价的第一代价贡献，也就是说，提高色度率失真代价在图像率失真代价的份额，亮度系数和色度系数可以按照如下策略来确定：
策略一，当色度系数使得调整后色度率失真代价增加时，通过亮度系数使得亮度率失真代价在图像率失真代价中的第二代价贡献被减少或保持不变，即，设置亮度系数，使得亮度率失真代价在图像率失真代价中的份额减少或保持不变；
策略二，当亮度系数使得第二代价贡献被减少时，通过色度系数使得第一贡献保持不变；
策略三，当色度系数使得第一代价贡献增加时，通过亮度系数使得第二代价贡献被增加，并且，色度系数使得第一代价贡献被增加的程度大于亮度系数使得第二代价贡献被增加的程度。
步骤205，根据图像率失真代价，选择编码模式。
本实施例通过图像率失真代价中色度率失真代价系数自适应选择，来提升色度下采样格式的图像源例如视频源的色度率失真代价，可以有效克服编码过程中色度的率失真难以影响亮度的模式，从而选择有利于色度的编码参数。
实施例二
参见图3所示，图3为本申请实施例二图像率失真代价的选择方法的一种流程示意图。对于待编码图像帧中的任一编码单元，执行如下步骤：
步骤301，确定待编码图像帧被采集的采集状态，其中，采集状态包括静态采集状态和动态采集状态，
作为一种示例，根据待编码图像帧的序列，检测待编码图像帧被采集的采集状态，例如，
根据待编码图像帧的序列，判断待编码图像帧有无全局运动，如果没有，则说明用于采集该图像帧的图像采集装置是固定的，即，当前图像帧属于静态采集状态，否则，则说明图像采集装置是不固定的，即，当前图像帧属于动态采集状态，
步骤302，对编码单元进行运动特性检测，
作为一种示例：
判断所检测的运动向量是否大于第四向量阈值，如果是，则判定运动特性为第五运动属性，例如，静态采集下的大运动，
否则，判断所检测的运动向量是否不大于第四向量阈值且不小于第五向量阈值，如果是，则判定运动特性为第六运动属性，例如，静态采集下的中运动；其中，第四向量阈值大于第五向量阈值；
否则，判断所检测的运动向量是否小于第五向量阈值且不小于第六向量阈值，如果是，判定运动特性为第七运动属性，例如，静态采集下的小运动；其中，第五向量阈值大于第六向量阈值；
否则，判定运动特性为第八运动属性，例如，静态采集下的静止。
作为一种示例，若待编码图像帧属于动态采集，则：
判断所检测的运动向量是否大于第一向量阈值，如果是，则判定运动特性为第一运动属性，例如，动态采集下的大运动，
否则，判断所检测的运动向量是否在第一向量阈值和第二向量阈值之间，如果是，则判定运动特性为第二运动属性，例如，动态采集下的中运动，其中，第一向量阈值大于第二向量阈值。
否则，判断所检测的运动向量是否在第二向量阈值和第三向量阈值之间，如果是，则判定运动特性为第三运动属性，例如，动态采集下的小运动，否则，判定运动特性为第四运动属性，例如，动态采集下的静止。
为提高运动检测的粒度，第四向量阈值可以与第一向量阈值不同。
所应理解的是，运动特性的检测可不限于上述运动属性，具体可结合图像序列、待编码图像帧的采集状态等情况来设计运动特性的检测粒度。作为一种示例，根据所述采集状态，确定向量阈值以及向量阈值的数量，这样，不同的采集状态，运动属性的评估标准不同，从而有利于结合图像序列特性来选择色度系数和亮度系数。例如，采集状态为静态状态时的向量阈值和向量阈值的个数，与采集状态为动态状态时的向量阈值和向量阈值的个数可以不相同。
步骤303，根据所检测的运动属性，确定与该运动属性匹配的色度系数和亮度系数。
当运动特性为第一运动属性时，则确定色度系数为第一色度系数，确定亮度系数为第一亮度系数，
当运动特性为第二运动属性时，则确定色度系数为第二色度系数，确定亮度系数为第二亮度系数，
当运动特性为第三运动属性时，则确定色度系数为第三色度系数，确定亮度系数为第三亮度系数，
当运动特性为第四运动属性时，则确定色度系数为第四色度系数，确定亮度系数为第四亮度系数，
当运动特性为第五运动属性时，则确定色度系数为第五色度系数，确定亮度系数为第五亮度系数，
当运动特性为第六运动属性时，则确定色度系数为第六色度系数，确定亮度系数为第六亮度系数，
当运动特性为第七运动属性时，则确定色度系数为第七色度系数，确定亮度系数为第七亮度系数，
当运动特性为第八运动属性时，则确定色度系数为第八色度系数，确定亮度系数为第八亮度系数。
其中，
第一色度系数、第二色度系数、第三色度系数、第四色度系数依次增加，
第五色度系数、第六色度系数、第七色度系数、第八色度系数依次增加；
第一亮度系数、第二亮度系数、第三亮度系数、第四色度系数依次增加，
第五亮度系数、第六亮度系数、第七亮度系数、第八亮度系数依次增加。
也就是说，随着运动大小的增加，减小色度系数和亮度系数，即，运动大小越大，色度系数、亮度系数越小，反之，运动大小越小，色度系数、亮度系数越大。
此外，还可根据采集状态，确定系数的递增的步长。例如，确定第一色度系数、第二色度系数、第三色度系数、第四色度系数递增的步长，与第五色度系数、第六色度系数、第七色度系数、第八色度系数的递增步长不同，以及确定所述第一亮度系数、第二亮度系数、第三亮度系数、第四亮度系数递增的步长，第五亮度系数、第六亮度系数、第七亮度系数、第八亮度系数的递增步长不同。以此类推，根据所述采集状态，确定所述第一色度系数、第二色度系数、……第i色度系数递增的步长，以及确定所述第一亮度系数、第二亮度系数、……第i亮度系数递增的步长；
步骤304~306，与步骤203~205相同。
本实施例结合待编码图像帧的采集状态来设计相应的运动特性检测，有利于提高检测的准确性，并从整体上提高了运动特性检测的效率，从而有利于提高图像率失真代价的确定效率。
参见图4a~4d所示，图4a~4d为本申请实施例色度编码质量的提升效果的一种示意图。其中，4a为1280×780视频图像帧的U色度分量不同码率下的峰值信噪比（PSNR，PeakSignal to Noise Ratio）的比较，4b为1280×780视频图像帧的V色度分量不同码率下的峰值信噪比的比较，4c为3840×2160视频图像帧的U色度分量不同码率下的峰值信噪比的比较，4d为3840×2160视频图像帧的V色度分量不同码率下的峰值信噪比的比较。从图中可见，本申请实施例提高了色度峰值信噪比，因此，提高了色度编码质量。
参见图5所示，图5为本申请实施例编码模式的选择装置的一种示意图。该装置包括：
第一模块，用于确定待编码图像帧中编码单元的色度率失真代价和亮度率失真代价，
运动特性检测模块，用于检测所述编码单元的运动特性，
第二模块，用于根据所述运动特性，确定色度率失真代价的色度系数和亮度率失真代价的亮度系数，
调整模块，用于根据所确定的色度系数调整所述色度率失真代价，根据所确定的亮度系数调整所述亮度率失真代价；基于调整后的色度率失真代价以及调整后的亮度率失真代价，确定所述编码单元的图像率失真代价；
其中，
所述色度系数和亮度系数用于使得：色度率失真代价在图像率失真代价中的第一代价贡献被增加；
根据所述图像代价进行编码模式的选择。
作为一种示例，所述运动特性检测模块被配置为：
基于与待编码图像帧关联的帧序列，进行帧间运动估计，
根据帧间运动估计所检测到的运动向量，确定用于表征运动大小的运动特性，其中，运动大小随位移量的增加而增加，
所述第二模块被配置为随着所述运动大小的增加，减小所述色度系数和亮度系数。
所述运动特性检测模块还被配置为：
如果运动向量大于设定的第一向量阈值，则确定所述运动特性为第一运动属性，
如果运动向量在第一向量阈值和第二向量阈值之间，则确定所述运动特性为第二运动属性，
如果运动向量在第二向量阈值和第三向量阈值之间，则确定所述运动特性为第三运动属性，
如果运动向量小于第三向量阈值，则确定所述运动特性为第四运动属性，
以此类推,
如果运动向量不大于第i向量阈值、且不小于第i+1向量阈值，则所述运动特性为第i+1运动属性，
如果运动向量小于第i+1向量阈值，则所述运动特性为第i+2运动属性。
所述第二模块被配置为根据运动属性，确定与该运动属性匹配的色度系数和亮度系数。
所述第二模块被配置为：
如果运动特性为第一运动属性，则确定色度系数为第一色度系数，确定亮度系数为第一亮度系数，
如果运动特性为第二运动属性，则确定色度系数为第二色度系数，确定亮度系数为第二亮度系数，
如果运动特性为第三运动属性，则确定色度系数为第三色度系数，确定亮度系数为第三亮度系数，
如果运动特性为第四运动属性，则确定色度系数为第四色度系数，确定亮度系数为第四亮度系数，
其中，
第一色度系数、第二色度系数、第三色度系数、第四色度系数递增，
第一亮度系数、第二亮度系数、第三亮度系数、第四亮度系数递增。
以此类推，
如果运动特性为第i运动属性，则确定色度系数为第i色度系数，确定亮度系数为第i亮度系数，
其中，
第一色度系数、第二色度系数、……第i色度系数递增，
第一亮度系数、第二亮度系数、……第i亮度系数递增。
作为一种示例，该装置还包括：
采集状态检测模块，用于根据待编码图像帧的序列，检测所述待编码图像帧被采集的采集状态，其中，采集状态包括静态采集状态和动态采集状态，
所述运动特性检测模块进一步用于根据采集状态，确定向量阈值以及向量阈值的数量；
所述第二模块被配置为：
根据所述采集状态，确定色度系数递增的步长，以及确定亮度系数递增的步长；
所述第一模块被配置为：
将拉格朗日因子与色度分量的编码比特数的乘积结果，与色度分量的失真值进行累加，得到色度分量的色度率失真代价，
将拉格朗日因子与亮度分量的编码比特数的乘积结果，与亮度分量的失真值进行累加，得到亮度分量的色度率失真代价；
所述调整模块被配置为：
将所述色度系数与所述色度率失真代价的乘积结果，确定为调整后的色度率失真代价，
将所述亮度系数与所述亮度率失真代价的乘积结果，确定为调整后的亮度率失真代价，
将调整后的色度率失真代价与调整后的亮度率失真代价的累加结果，确定为所述图像率失真代价。
该装置进一步包括：
编码模式选择模块，用于根据所述图像率失真代价，选择所述编码单元的编码模式。
参见图6所示，图6为本申请实施例编码模式的选择装置的一种示意图。该装置包括：存储器和处理器，所述存储器存储有计算机程序，所述处理器执行计算机程序实现本申请实施例图像率失真代价的选择方法的步骤。
存储器可以包括随机存取存储器（Random Access Memory，RAM），也可以包括非易失性存储器（Non-Volatile Memory，NVM），例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（Digital SignalProcessing，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现图像率失真代价的选择方法的步骤。
对于装置/网络侧设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (10)
1.一种编码模式的选择方法，其特征在于，该方法包括：
确定待编码图像帧中编码单元的色度分量的色度代价、和亮度分量的亮度代价，其中，色度代价用于表征编码单元编码前与编码后的色度差异，亮度代价用于表征编码单元编码前与编码后的亮度差异，
检测所述编码单元的运动特性，
根据所述运动特性，确定色度代价的色度系数和亮度代价的亮度系数，其中，所述色度系数和亮度系数随着所述运动特性的运动大小的增加而减小；
根据所确定的色度系数调整所述色度代价，根据所确定的亮度系数调整所述亮度代价；
基于调整后的色度代价以及调整后的亮度代价，确定所述编码单元的图像代价；所述图像代价用于表征编码单元编码前与编码后的色度差异以及亮度差异；
其中，
所述色度系数和亮度系数用于使得：调整后的色度代价在图像代价中的第一代价贡献被增加；
根据所述图像代价进行编码模式的选择。
2.如权利要求1所述的选择方法，其特征在于，所述色度系数用于使得所述第一代价贡献被增加时，所述亮度系数用于使得亮度代价在图像代价中的第二代价贡献被减少或保持不变；
或者，
所述亮度系数用于使得所述第二代价贡献被减少时，所述色度系数用于使得所述第一代价贡献保持不变；
或者，
所述色度系数用于使得所述第一代价贡献被增加，所述亮度系数用于使得所述第二代价贡献被增加，并且，所述色度系数使得所述第一代价贡献被增加的程度大于所述亮度系数使得第二代价贡献被增加的程度。
3.如权利要求1所述的选择方法，其特征在于，所述检测所述编码单元的运动特性，包括：
基于所述待编码图像帧其序列的时域相关性，对所述编码单元进行帧间运动估计，
根据帧间运动估计所检测到的运动向量，确定用于表征运动大小的运动特性，其中，运动大小随运动向量的增加而增加。
4.如权利要求3所述的选择方法，其特征在于，所述根据帧间运动估计所检测到的运动向量，确定用于表征运动大小的运动特性，包括：
如果运动向量大于设定的第一向量阈值，则所述运动特性为第一运动属性，
如果运动向量不大于第一向量阈值、且不小于第二向量阈值，则所述运动特性为第二运动属性，
……
以此类推，
如果运动向量大于第i向量阈值，则所述运动特性为第i运动属性，
如果运动向量不大于第i向量阈值、且不小于第i+1阈值，则所述运动特性为第i+1运动属性，
如果运动向量小于第i+1向量阈值，则所述运动特性为第i+2运动属性，
其中，
i为自然数，
第一向量阈值、第二向量阈值、……第i向量阈值、第i+1向量阈值递减，
第一运动属性的运动大小、第二运动属性的运动大小、……第i运动属性的运动大小、第i+1运动属性的运动大小、第i+2运动属性的运动大小递减；
所述根据运动特性，确定色度代价的系数和亮度代价的系数，包括：
根据运动属性，确定与该运动属性匹配的色度系数和亮度系数。
5.如权利要求4所述的选择方法，其特征在于，所述根据运动属性，确定与该运动属性匹配的色度系数和亮度系数，包括：
如果运动特性为第一运动属性，则确定色度系数为第一色度系数，确定亮度系数为第一亮度系数，
如果运动特性为第二运动属性，则确定色度系数为第二色度系数，确定亮度系数为第二亮度系数，
……
以此类推，
如果运动特性为第i运动属性，则确定色度系数为第i色度系数，确定亮度系数为第i亮度系数，
其中，
第一色度系数、第二色度系数、……第i色度系数递增，
第一亮度系数、第二亮度系数、……第i亮度系数递增。
6.如权利要求5所述的选择方法，其特征在于，该方法进一步包括：
确定所述待编码图像帧被采集的采集状态，其中，采集状态包括静态采集状态和动态采集状态；
根据所述采集状态，确定所述第一色度系数、第二色度系数、……第i色度系数递增的步长，以及确定所述第一亮度系数、第二亮度系数、……第i亮度系数递增的步长；
所述根据帧间运动估计检测所检测到的运动向量，确定用于表征运动大小的运动特性，进一步包括：
根据所述采集状态，确定向量阈值以及向量阈值的数量。
7.如权利要求1至6任一所述的选择方法，其特征在于，所述色度代价为色度率失真代价，所述亮度代价为亮度率失真代价，所述图像代价为图像率失真代价，
所述确定待编码图像帧中编码单元的色度分量的色度代价、和亮度分量的亮度代价，包括：
将拉格朗日因子与色度分量的编码比特数的乘积结果，与色度分量的失真值进行累加，得到色度分量的色度率失真代价，
将拉格朗日因子与亮度分量的编码比特数的乘积结果，与亮度分量的失真值进行累加，得到亮度分量的色度率失真代价；
所述基于调整后的色度率失真代价以及调整后的亮度率失真代价，确定所述编码单元的图像代价，包括：
将所述色度系数与所述色度率失真代价的乘积结果，确定为调整后的色度率失真代价，
将所述亮度系数与所述亮度率失真代价的乘积结果，确定为调整后的亮度率失真代价，
将调整后的色度率失真代价与调整后的亮度率失真代价的累加结果，确定为所述图像率失真代价。
8.如权利要求7所述的选择方法，其特征在于，所述色度分量包括U色度分量，以及V色度分量，
所述色度率失真代价包括U色度分量的色度率失真代价、以及V色度分量的色度率失真代价；
所述色度系数包括U色度分量的色度系数、以及V色度分量的色度系数，
该方法进一步包括：
根据所述图像率失真代价，选择所述编码单元的编码模式。
9.一种编码模式的选择装置，其特征在于，该装置包括：
第一模块，用于确定待编码图像帧中编码单元的色度代价和亮度代价，其中，色度代价用于表征编码单元编码前与编码后的色度差异，亮度代价用于表征编码单元编码前与编码后的亮度差异，
检测模块，用于检测所述编码单元的运动特性，
第二模块，用于根据所述运动特性，确定色度代价的色度系数和亮度代价的亮度系数，其中，所述色度系数和亮度系数随着所述运动特性的运动大小的增加而减小；
调整模块，用于根据所确定的色度系数调整所述色度代价，根据所确定的亮度系数调整所述亮度代价；基于调整后的色度代价以及调整后的亮度代价，确定所述编码单元的图像代价，所述图像代价用于表征编码单元编码前与编码后的色度差异以及亮度差异；
其中，
所述色度系数和亮度系数用于使得：调整后的色度代价在图像代价中的第一代价贡献被增加；
根据所述图像代价进行编码模式的选择。
10.一种计算机可读存储介质，其特征在于，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任一所述一种编码模式的选择方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210614070.0A CN114710666B (zh) | 2022-06-01 | 2022-06-01 | 一种编码模式的选择方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210614070.0A CN114710666B (zh) | 2022-06-01 | 2022-06-01 | 一种编码模式的选择方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114710666A CN114710666A (zh) | 2022-07-05 |
| CN114710666B true CN114710666B (zh) | 2022-09-02 |
Family
ID=82177261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210614070.0A Active CN114710666B (zh) | 2022-06-01 | 2022-06-01 | 一种编码模式的选择方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114710666B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116506631B (zh) * | 2023-06-20 | 2023-09-22 | 深圳比特微电子科技有限公司 | 一种视频编码方法、视频编码装置和可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5379757A (en) * | 1990-08-28 | 1995-01-10 | Olympus Optical Co. Ltd. | Method of compressing endoscope image data based on image characteristics |
| WO2008080158A2 (en) * | 2006-12-22 | 2008-07-03 | Qualcomm Incorporated | Coding mode selection using information of other coding modes |
| CN102223525A (zh) * | 2010-04-13 | 2011-10-19 | 富士通株式会社 | 视频解码方法和系统 |
| CN105430407A (zh) * | 2015-12-03 | 2016-03-23 | 同济大学 | 应用于h.264到hevc转码的快速帧间模式决策方法 |
| GB201909043D0 (en) * | 2019-06-24 | 2019-08-07 | Canon Kk | Residual signalling |
| CN112118444A (zh) * | 2019-06-20 | 2020-12-22 | 杭州海康威视数字技术股份有限公司 | 编码方法及装置 |
| WO2021112651A1 (ko) * | 2019-12-05 | 2021-06-10 | 한국전자통신연구원 | 팔레트 모드를 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7558320B2 (en) * | 2003-06-13 | 2009-07-07 | Microsoft Corporation | Quality control in frame interpolation with motion analysis |
| KR100807330B1 (ko) * | 2006-09-07 | 2008-02-28 | 엠엠비 주식회사 | Ｈ.264/ａｖｃ 인코더의 인트라 매크로블록 모드 스킵 방법 |
| CN110913215B (zh) * | 2019-12-03 | 2022-04-12 | 北京数码视讯软件技术发展有限公司 | 一种预测模式的选择方法及装置、可读存储介质 |
-
2022
- 2022-06-01 CN CN202210614070.0A patent/CN114710666B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5379757A (en) * | 1990-08-28 | 1995-01-10 | Olympus Optical Co. Ltd. | Method of compressing endoscope image data based on image characteristics |
| WO2008080158A2 (en) * | 2006-12-22 | 2008-07-03 | Qualcomm Incorporated | Coding mode selection using information of other coding modes |
| CN102223525A (zh) * | 2010-04-13 | 2011-10-19 | 富士通株式会社 | 视频解码方法和系统 |
| CN105430407A (zh) * | 2015-12-03 | 2016-03-23 | 同济大学 | 应用于h.264到hevc转码的快速帧间模式决策方法 |
| CN112118444A (zh) * | 2019-06-20 | 2020-12-22 | 杭州海康威视数字技术股份有限公司 | 编码方法及装置 |
| GB201909043D0 (en) * | 2019-06-24 | 2019-08-07 | Canon Kk | Residual signalling |
| WO2021112651A1 (ko) * | 2019-12-05 | 2021-06-10 | 한국전자통신연구원 | 팔레트 모드를 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체 |
Non-Patent Citations (2)
| Title |
|---|
| Fast Intra/Inter Mode Decision for H.264/AVC Using the Spatial-Temporal Prediction Scheme;Cheng-Chang Lien et al;《2009 Symposia and Workshops on Ubiquitous, Autonomic and Trusted Computing》;20091110;全文 * |
| H.264帧内预测模式快速选择算法研究;杨杰峰;《西安电子科技大学硕士论文》;20141115;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114710666A (zh) | 2022-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5555221B2 (ja) | 着目物の適応的な色モデル・パラメータ推定に係る方法および装置 | |
| JP5969389B2 (ja) | オブジェクト認識ビデオ符号化ストラテジ | |
| US9118932B2 (en) | Adaptive filtering mechanism to remove encoding artifacts in video data | |
| KR100564592B1 (ko) | 동영상 데이터 잡음제거방법 | |
| Eden | No-reference estimation of the coding PSNR for H. 264-coded sequences | |
| EP2327219B1 (en) | Reducing digital image noise | |
| JP5536112B2 (ja) | ブロックに基づいて圧縮された画像におけるぼやけの測定 | |
| US8588513B2 (en) | Method and system for motion compensation | |
| KR20000005110A (ko) | 지각 메트릭을 이용하는 이미지 코딩시스템에서 엔코딩 최적화및 자동 조정가능 이미지 압축을 위한 장치 및 방법 | |
| US20030123747A1 (en) | System for and method of sharpness enhancement using coding information and local spatial features | |
| JP2001517879A (ja) | マルチコンポーネント圧縮エンコーダのモーションサーチ方法及び装置 | |
| CN100370484C (zh) | 增强编码的数字视频的清晰度的系统和方法 | |
| CN114710666B (zh) | 一种编码模式的选择方法、装置 | |
| KR20050084266A (ko) | 디지털 비디오 처리용 통합 규준 | |
| Zeng et al. | 3D-SSIM for video quality assessment | |
| GB2459671A (en) | Scene Change Detection For Use With Bit-Rate Control Of A Video Compression System | |
| US10911785B2 (en) | Intelligent compression of grainy video content | |
| Wei et al. | Visual saliency based perceptual video coding in HEVC | |
| US20020141496A1 (en) | MPEG-2 decoder with an embedded contrast enhancement function and methods therefor | |
| JP2004518337A (ja) | ビデオエンハンスメントのために符号化情報に基づく有用メトリックを提供するための装置及び方法 | |
| JP2005518689A (ja) | ノイズレベルを推定する装置および方法、当該装置を含むノイズリダクションシステムおよび符号化システム | |
| CN114173131A (zh) | 一种基于帧间相关性的视频压缩方法及系统 | |
| Stankiewicz et al. | Estimation of temporally-consistent depth maps from video with reduced noise | |
| Sun et al. | Reduced-reference image quality assessment through SIFT intensity ratio | |
| JP4763241B2 (ja) | 動き予測情報検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |