CN114554219A - 一种基于运动检测的率失真优化方法及装置 - Google Patents
一种基于运动检测的率失真优化方法及装置 Download PDFInfo
- Publication number
- CN114554219A CN114554219A CN202210159000.0A CN202210159000A CN114554219A CN 114554219 A CN114554219 A CN 114554219A CN 202210159000 A CN202210159000 A CN 202210159000A CN 114554219 A CN114554219 A CN 114554219A
- Authority
- CN
- China
- Prior art keywords
- image block
- motion
- coded
- current image
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000005457 optimization Methods 0.000 title claims abstract description 55
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 230000003068 static effect Effects 0.000 claims abstract description 57
- 230000008569 process Effects 0.000 abstract description 13
- 238000012360 testing method Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000011410 subtraction method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/567—Motion estimation based on rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请公开了一种基于运动检测的率失真优化方法，包括如下步骤。步骤S10：采用运动检测技术识别当前待编码图像块的运动、静止特征。步骤S20：根据当前待编码图像块的运动、静止特征以及邻近已编码图像块的运动、静止特征，从多个预设的拉格朗日乘数中为当前待编码图像块选择合适的拉格朗日乘数。步骤S30：将所选择的拉格朗日乘数与当前待编码图像块的运动估计的拉格朗日常数相乘，然后将相乘结果取代运动估计的拉格朗日常数再进行当前待编码图像块的运动估计的率失真优化运算。本申请通过运动检测的方法改进率失真优化过程中使用的拉格朗日常数，从而提升视频编码效率。
Description
技术领域
本申请涉及一种高清数字视频编码技术，特别是涉及一种基于运动检测的、适合于硬件实现的、应用于运动估计环节的率失真优化方法及装置。
背景技术
视频编码是一种通过压缩视频图像中的冗余成分，并使用尽可能少的数据来表征视频信息的技术。目前常见的视频编码标准有HEVC(High Efficiency Video Coding，高效视频编码，又称H.265)和AVC(Advanced Video Coding，高级视频编码，又称H.264)等。由于视频编码算法的运算量很大，为了提高视频编码速度，使用专用集成电路(ASIC，Application Specific Integrated Circuit)对视频编码过程进行硬件加速成为业界的通用做法。
为了尽可能地提高视频压缩率，常见的视频编码算法往往采用有损压缩算法，造成编码重建后的视频与原始视频存在差别，即编码重建后的视频会产生失真。AVC和HEVC就属于有损压缩算法。对于有损压缩算法，其编码性能由编码比特率(Rate)和编码引入的失真(Distortion)来共同衡量。在视频编码过程中，编码比特率和编码失真是相互制约、相互矛盾的，比如降低编码比特率往往会增加编码失真，而减少编码失真又往往会导致增加编码比特率。因此，率失真优化(Rate Distortion Optimization，RDO)的目的就是在一定的编码比特率下尽可能地减少编码失真，或者在一定的编码失真下尽可能地减少编码比特率。目前在常见的视频编码算法例如AVC和HEVC中，都是采用基于拉格朗日常数λ的率失真优化方法。假设D为编码失真，R为编码比特率，J为编码率失真代价(Rate DistortionCost，RD Cost)，则基于拉格朗日常数λ的率失真优化方法可以表述为：min(J)，其中min是取最小值函数，J＝D+λ×R。在编码器中，每一种编码模式都有其对应的编码失真D和编码比特率R，这样就可以计算出每一种编码模式对应的编码率失真代价J。编码时，选择编码率失真代价J最小的编码模式来进行编码，可以获得最优的编码性能。
在基于拉格朗日常数λ的率失真优化方法中，拉格朗日常数λ一般由其他预设的视频编码参数计算得到。在HEVC中，运动估计过程中所使用的拉格朗日常数λpred计算方式如下。
运动估计是在已编码的视频帧(称为参考帧)中，为当前编码帧中的当前待编码图像块搜索最优匹配块，使得率失真代价最小。运动估计是视频编码算法的核心技术之一，其作用是消除视频信号的时域信息冗余，从而提高编码效率。请参阅图1，在运动估计时，是使用当前编码帧上的当前待编码图像块与参考帧搜索窗口(即运动估计的搜索范围)内的所有图像块逐一进行匹配，去寻找最优匹配块。参考帧中的最优匹配块与当前编码帧中的当前待编码图像块在参考帧中相同位置的图像块(称为同位图像块)的相对偏移即为当前待编码图像块的最优运动矢量。
请参阅图2，现有的运动估计模块80分为运动估计搜索模块81和运动估计率失真优化模块82。在运动估计搜索模块81中，当前编码帧上的当前待编码图像块与参考帧搜索窗口内的所有图像块逐一进行匹配，分别计算每一个匹配图像块对应的编码失真D和编码比特率R。在运动估计率失真优化模块82中，依据每一个匹配图像块对应的编码失真D和编码比特率R以及拉格朗日常数λpred计算出其对应的编码率失真代价J。在遍历参考帧搜索窗口内的每一个匹配图像块后，使得率失真代价J最小的匹配图像块即为当前图像块的最优匹配块，其对应的运动矢量即为当前待编码图像块的最优运动矢量。
发明内容
本申请所要解决的技术问题是如何在运动估计过程中改进基于拉格朗日常数λ的率失真优化方法，以提升视频编码器的编码性能。
现有的运动估计中，用于计算编码率失真代价所用到的拉格朗日常数λpred一般由视频编码过程使用的量化步长QP、参考帧结构、参考帧个数、编码帧类型等预设编码参数计算得到。这些预设编码参数仅仅和编码流程相关，与待编码的视频序列(即按照一定的帧率拍摄的由多个时间连续的图像帧组成的视频流)本身的内容特征无关。当这些预设编码参数确定时，拉格朗日常数λpred是一个固定值。即，在现有的视频编码器中，用于运动估计率失真优化的拉格朗日常数λpred是一个和预设编码参数有关，而与待编码视频序列本身的内容特征无关的常数。
现有的硬件视频编码器中，未发现通过检测图像块的运动、静止特征来优化图像块在运动估计的率失真优化过程中所使用的拉格朗日常数λpred的技术或方法。但是，专利申请人通过大量的实验发现，依据视频序列中每一个待编码图像块的运动、静止特征，将运动估计过程中使用的拉格朗日常数λpred乘以不同的特定乘数(称为拉格朗日乘数λmul)，然后再进行率失真优化运算，可以显著地提升视频编码效率。因此，有必要在运动估计之前，通过运动检测标记出当前待编码图像块的运动、静止特征，并据此选择特定的拉格朗日乘数参与率失真优化的运算，以提升视频编码器的编码性能。
为解决上述技术问题，本申请提出了一种基于运动检测的率失真优化方法，包括如下步骤。步骤S10：采用运动检测技术识别当前待编码图像块的运动、静止特征。步骤S20：根据当前待编码图像块的运动、静止特征以及邻近已编码图像块的运动、静止特征，从多个预设的拉格朗日乘数中为当前待编码图像块选择合适的拉格朗日乘数。步骤S30：将所选择的拉格朗日乘数与当前待编码图像块的运动估计的拉格朗日常数相乘，然后将相乘结果取代运动估计的拉格朗日常数再进行当前待编码图像块的运动估计的率失真优化运算。
所述步骤S10进一步包括如下步骤。步骤S11：判定当前待编码图像块中每一个像素点的运动、静止特征，即：将当前待编码图像块中每一个像素点标记为运动像素点或静止像素点。步骤S12：判定当前待编码图像块中每一个图像子块的运动、静止特征，即：将当前待编码图像块中每一个图像子块标记为运动图像子块或静止图像子块。步骤S13：判定当前待编码图像块的运动、静止特征，即：将当前待编码图像块标记为运动图像块或静止图像块。这是步骤S10的一种具体实现方式，采用的是帧间差分法的运动检测技术。
具体地，所述步骤S11中，先将当前待编码图像块与参考帧上的同位图像块做帧间差分，计算出图像块中每一个像素点的亮度差值；然后将每一个像素点的亮度差值与运动像素判定阈值作比较；若像素点的亮度差值大于运动像素判定阈值，则此像素点标记为运动像素点；否则，此像素点标记为静止像素点。
具体地，所述步骤S12中，将当前待编码图像块划分为多个大小相同的图像子块，每个图像子块包含数个像素点，统计每一个图像子块中的运动像素点的个数；若图像子块中运动像素点的个数大于运动图像子块的判定阈值，则将此图像子块标记为运动图像子块；否则，将此图像子块标记为静止图像子块。
具体地，所述步骤S13中，统计当前待编码图像块中的运动图像子块的个数；若当前待编码图像块中的运动图像子块的个数大于运动图像块的判定阈值，则将此图像块标记为运动图像块；否则，将此图像块标记为静止图像块。
所述步骤S20中，所述邻近已编码图像块是指当前待编码图像块的左相邻已编码图像块和上相邻已编码图像块，具体分为以下5种情形。(1)若当前待编码图像块为当前图像帧左上角第一个图像块，则其左相邻、上相邻图像块不存在。(2)若当前待编码图像块位于当前图像帧的第一行，但不是当前图像帧左上角第一个图像块，则其上相邻图像块不存在。(3)若当前待编码图像块位于当前图像帧的第一列，但不是当前图像帧左上角第一个图像块，则其左相邻图像块不存在。(4)若当前待编码图像块位于当前图像帧最右列，但不是当前图像帧右上角第一个图像块，则其上相邻图像块只有2个。(5)除以上4种情况以外的其他情况下，当前待编码图像块的上相邻已编码图像块有3个，左相邻已编码图像块仅有1个。
进一步地，所述步骤S20中，所述多个预设的拉格朗日乘数λmul是指三个，分别是运动图像块的拉格朗日乘数λmul-dynamic、静止图像块的拉格朗日乘数λmul-static、混合图像块的拉格朗日乘数λmul-mixed，并且λmul-dynamic<λmul-mixed<λmul-static。
进一步地，所述步骤S20中，所述选择合适的拉格朗日乘数是指：(1)若当前待编码图像块被标记为运动图像块，且其存在的左相邻和上相邻已编码图像块均被标记为运动图像块，则为其选择运动图像块的拉格朗日乘数λmul-dynamic。(2)若当前待编码图像块被标记为静止图像块，且其存在的左相邻和上相邻已编码图像块均被标记为静止图像块，则为其选择静止图像块的拉格朗日乘数λmul-static。(3)若当前待编码图像块被标记为运动图像块，但其存在的左相邻或者上相邻已编码图像块中存在静止图像块，则为其选择混合图像块的拉格朗日乘数λmul-mixed。(4)若当前待编码图像块被标记为静止图像块，但其存在的左相邻或者上相邻已编码图像块中存在运动图像块，则为其选择混合图像块的拉格朗日乘数λmul-mixed。(5)若当前待编码图像块被标记为运动图像块，且其左相邻、上相邻图像块均不存在，则为其选择运动图像块的拉格朗日乘数λmul-dynamic。(6)若当前待编码图像块被标记为静止图像块，且其左相邻、上相邻图像块均不存在，则为其选择静止图像块的拉格朗日乘数λmul-static。
本申请还提出了一种基于运动检测的率失真优化装置，包括运动检测模块和拉格朗日乘数选择模块。所述运动检测模块用于采用运动检测方法识别当前待编码图像块的运动、静止特征。所述拉格朗日乘数选择模块根据当前待编码图像块的运动、静止特征以及邻近已编码图像块的运动、静止特征，从多个预设的拉格朗日乘数中为当前待编码图像块选择合适的拉格朗日乘数。所选择的拉格朗日乘数与当前待编码图像块的运动估计的拉格朗日常数相乘，然后将相乘结果取代运动估计的拉格朗日常数再进行当前待编码图像块的运动估计的率失真优化运算。
本申请还提出了一种运动估计装置，包括所述基于运动检测的率失真优化装置，还包括运动估计搜索模块和运动估计率失真优化模块。所述运动估计搜索模块用于将当前编码帧上的当前待编码图像块与参考帧搜索窗口内的所有图像块逐一进行匹配，分别计算每一个匹配图像块对应的编码失真D和编码比特率R。所述运动估计率失真优化模块用于依据每一个匹配图像块对应的编码失真D和编码比特率R以及运动估计的拉格朗日常数λpred与所选择的拉格朗日乘数λmul的相乘结果，计算出其对应的改进后的编码率失真代价J’；J’＝D+λpred×λmul×R；取改进后的编码率失真代价J’的最小值。
本申请的技术原理是：对于具有不同运动特征的图像块，它们在进行运动估计的率失真代价计算的过程中，失真代价和编码比特率代价的重要性是不一样的。对于运动图像块，失真代价的重要性更高，因此设置较小的拉格朗日乘数λmul-dynamic可以获得更好的编码效率。对于静止图像块，编码比特率代价的重要性更高，因此设置较大的拉格朗日乘数λmul-static可以获得更好的编码效率。对于混合图像块，其拉格朗日乘数λmul-mixed的取值应在前两种情况之间，即需要满足λmul-dynamic<λmul-mixed<λmul-static。而在传统的运动估计的率失真优化方法中，并没有依据图像块的运动特征来调整率失真优化的计算，因而本申请与现有技术相比能够提升编码效率。
本申请在实验中首先发现，在运动估计的过程中，拉格朗日常数λpred不应该是一个与视频内容无关的量，而是应该依据图像块的运动、静止特征来进行放大和缩小，即需要乘以拉格朗日乘数λmul，且需要满足运动图像块使用的拉格朗日乘数λmul-dynamic＜混合图像块使用的拉格朗日乘数λmul-mixed＜静止图像块使用的拉格朗日乘数λmul-static的规律，这样可以取得更好的编码效率。具体的实现方式是通过运动检测判定图像块的运动特征后，选择一个合适的拉格朗日乘数λmul来对λpred相乘(即进行缩放)，而适配于不同运动特征的拉格朗日乘数λmul的具体取值则由大量实验预先进行测定。
本申请取得的技术效果是通过运动检测的方法改进率失真优化过程中使用的拉格朗日常数，从而提升视频编码效率。
附图说明
图1是运动估计的示意图。
图2是现有的运动估计模块的结构示意图。
图3是本申请提出的基于运动检测的率失真优化方法的流程示意图。
图4是本申请提出的基于运动检测的率失真优化装置的结构示意图。
图5是步骤S10的一种示例性的实现方式的流程示意图。
图6是上相邻图像块、左相邻图像块的示意图。
图中附图标记说明：80为现有的运动估计模块，81为运动估计搜索模块，82和82a为运动估计率失真优化模块，90为本申请提出的运动估计模块，91为运动检测模块，92为拉格朗日乘数选择模块。
具体实施方式
请参阅图3，本申请提出的一种基于运动检测的、适合于硬件实现的、应用于运动估计环节的率失真优化方法包括如下步骤。
步骤S10：采用运动检测技术识别当前待编码图像块的运动、静止特征。运动检测是一种在给定的视频图像序列中识别出运动物体是否存在的方法，目前常用的运动检测技术有帧间差分法(Frame Diff Method)、背景减除法(Background Subtraction Method)、光流法(Optical Flow Method)、混合高斯模型法(Gaussian Mixture Model，GMM)、基于机器学习(Machine Learning)的运动检测方法等等。
步骤S20：根据当前待编码图像块的运动、静止特征以及邻近已编码图像块的运动、静止特征，从多个预设的拉格朗日乘数λmul中为当前待编码图像块选择合适的拉格朗日乘数λmul。
步骤S30：将所选择的拉格朗日乘数λmul与当前待编码图像块的运动估计的拉格朗日常数λpred相乘，然后将相乘结果取代运动估计的拉格朗日常数λpred再进行当前待编码图像块的运动估计的率失真优化运算。
请参阅图4，本申请提出的一种基于运动检测的、适合于硬件实现的、应用于运动估计环节的率失真优化装置包括运动检测模块91和拉格朗日乘数选择模块92。这两个模块结合运动估计搜索模块81和运动估计率失真优化模块82a，就是本申请提出的运动估计模块90。
其中，所述运动检测模块91用于采用运动检测方法识别当前待编码图像块的运动、静止特征。拉格朗日乘数选择模块92根据当前待编码图像块的运动、静止特征以及邻近已编码图像块的运动、静止特征，从多个预设的拉格朗日乘数中为当前待编码图像块选择合适的拉格朗日乘数λmul。运动估计搜索模块81用于将当前编码帧上的当前待编码图像块与参考帧搜索窗口内的所有图像块逐一进行匹配，分别计算每一个匹配图像块对应的编码失真D和编码比特率R。运动估计率失真优化模块82a用于依据每一个匹配图像块对应的编码失真D和编码比特率R以及运动估计的拉格朗日常数λpred与所选择的拉格朗日乘数λmul的相乘结果，计算出其对应的改进后的编码率失真代价J’。本申请基于拉格朗日常数λ的改进后的率失真优化方法可以表述为：min(J’)，其中min是取最小值函数，J’＝D+λpred×λmul×R。
请参阅图5，所述步骤S10的一种示例性的实现方式进一步包括如下步骤。
步骤S11：判定当前待编码图像块中每一个像素点的运动、静止特征。具体是将当前待编码图像块与参考帧上的同位图像块做帧差(帧间差分)，计算出图像块中每一个像素点的亮度差值。然后将每一个像素点的亮度差值与运动像素判定阈值作比较。若像素点的亮度差值大于运动像素判定阈值，则此像素点标记为运动像素点；否则，此像素点标记为静止像素点。
步骤S12：判定当前待编码图像块中每一个图像子块的运动、静止特征。这是在标记出当前待编码图像块中每一个像素点的运动、静止特征后，进行基于图像子块的膨胀(Dilation)与腐蚀(Erosion)操作，以突出图像的运动特征并消除图像噪点，降低漏判和误判的影响。图像的膨胀和腐蚀是两种基本的形态学运算，主要用来寻找图像中的极大区域和极小区域。其中膨胀类似于“领域扩张”，即将图像的高亮区域或白色部分进行扩张，其运行结果图比原图的高亮区域更大；腐蚀类似“领域被蚕食”，即将图像中的高亮区域或白色部分进行缩减细化，其运行结果图比原图的高亮区域更小。这一步的具体做法是：将当前待编码图像块划分为多个大小相同的图像子块，每个图像子块包含数个像素点，统计每一个图像子块中的运动像素点的个数。若图像子块中运动像素点的个数大于运动图像子块的判定阈值，则将此图像子块标记为运动图像子块；否则，将此图像子块标记为静止图像子块。
步骤S13：判定当前待编码图像块的运动、静止特征。具体是在标记出当前待编码图像块中每一个图像子块的运动、静止特征后，统计当前待编码图像块中的运动图像子块的个数。若当前待编码图像块中的运动图像子块的个数大于运动图像块的判定阈值，则将此图像块标记为运动图像块；否则，将此图像块标记为静止图像块。当前待编码图像块的运动、静止特征就是指当前待编码图像块被标记为运动图像块或静止图像块。
需要说明的是，对图像块进行运动检测并判定其运动、静止特征的方法有很多，并不限于上面三段描述的方法。例如还可使用背景减除法、光流法、混合高斯模型法、基于机器学习的运动检测方法等进行判定。
在一个典型的视频场景中，一般包含运动的前景物体和静止的背景物体。比如在道路监控视频场景中，马路、路灯、建筑物等自身不会产生位移的物体可以判定为静止的背景物体，而行人、车辆等自身会产生位移的物体可以判定为运动的前景物体。当然，运动的前景物体和静止的背景物体之间也可能发生相互转换，比如在录制视频的过程中，一直停放在路边没有移动的车辆就可以判定为静止背景的一部分。例如，将从属于运动的前景物体的图像块简称为运动图像块，将从属于静止的背景物体的图像块简称为静止图像块，将既包含运动的前景物体、又包含静止的背景物体的图像块简称为混合图像块。专利申请人通过大量实验发现，在运动估计的率失真优化运算过程中，对于运动图像块、静止图像块、混合图像块分别设置不同的拉格朗日乘数λmul，然后将λmul与运动估计的拉格朗日常数λpred相乘以后再参与率失真优化运算，可以显著提升视频编码效率。因此，拉格朗日乘数选择模块中会分别预置适合于运动图像块的拉格朗日乘数λmul-dynamic、静止图像块的拉格朗日乘数λmul-static和混合图像块的拉格朗日乘数λmul-mixed，这些适配于不同运动、静止特征的图像块的拉格朗日乘数λmul各不相同，它们的具体取值由实验得出，但需要满足λmul-dynamic<λmul-mixed<λmul-static。
请参阅图6，所述步骤S20中，所述邻近已编码图像块是指当前待编码图像块的左相邻已编码图像块和上相邻已编码图像块，这些邻近已编码图像块的运动、静止特征在其编码时得到。对当前待编码图像块而言，上相邻已编码图像块最多有3个，左相邻已编码图像块最多有1个，具体分为以下5种情形。(1)若当前待编码图像块为当前图像帧左上角第一个图像块，则其左相邻、上相邻图像块不存在，此时就依据当前待编码图像块的运动、静止特征选取拉格朗日乘数λmul。(2)若当前待编码图像块位于当前图像帧的第一行(排除当前图像帧左上角第一个图像块)，则其上相邻图像块不存在，此时仅参考左相邻图像块选取拉格朗日乘数λmul。(3)若当前待编码图像块位于当前图像帧的第一列(排除当前图像帧左上角第一个图像块)，则其左相邻图像块不存在，此时仅参考上相邻图像块选取拉格朗日乘数λmul。(4)若当前待编码图像块位于当前图像帧最右列(排除当前图像帧右上角第一个图像块)，则其上相邻图像块只有2个。(5)除以上4种情况以外的其他情况下，当前待编码图像块的上相邻已编码图像块有3个，左相邻已编码图像块仅有1个。
所述步骤S20中，所述多个预设的拉格朗日乘数λmul是指三个，分别是运动图像块的拉格朗日乘数λmul-dynamic、静止图像块的拉格朗日乘数λmul-static、混合图像块的拉格朗日乘数λmul-mixed，并且λmul-dynamic<λmul-mixed<λmul-static。所述选择合适的拉格朗日乘数λmul是指：(1)若当前待编码图像块被标记为运动图像块，且其存在的左相邻和上相邻已编码图像块均被标记为运动图像块，则为其选择运动图像块的拉格朗日乘数λmul-dynamic。(2)若当前待编码图像块被标记为静止图像块，且其存在的左相邻和上相邻已编码图像块均被标记为静止图像块，则为其选择静止图像块的拉格朗日乘数λmul-static。(3)若当前待编码图像块被标记为运动图像块，但其存在的左相邻或者上相邻已编码图像块中存在静止图像块，则为其选择混合图像块的拉格朗日乘数λmul-mixed。(4)若当前待编码图像块被标记为静止图像块，但其存在的左相邻或者上相邻已编码图像块中存在运动图像块，则为其选择混合图像块的拉格朗日乘数λmul-mixed。(5)若当前待编码图像块被标记为运动图像块，且其左相邻、上相邻图像块均不存在，则为其选择运动图像块的拉格朗日乘数λmul-dynamic。(6)若当前待编码图像块被标记为静止图像块，且其左相邻、上相邻图像块均不存在，则为其选择静止图像块的拉格朗日乘数λmul-static。
采用本申请提出的运动估计的率失真优化方法，可以显著提升视频编码器的编码效果。为了验证本申请的有益效果，本发明选取了HEVC标准测试序列(test sequences)ClassA～F的20个YUV序列来进行测试。测试中，以不采用本申请提出的率失真优化方法为比较基准，测量出采用本申请提出的率失真优化方法后各个YUV序列的编码BD-rate变化情况。BD-rate即“
delta bit rate”，用来衡量编码器的编码效率。BD-rate越小，表示达到同样的视频质量时，编码使用的比特数越少，编码效率越高。实验结果如下表1所示。
表1：采用本申请提出的率失真优化方法后各个YUV序列的编码BD-rate变化情况
由表1可见，应用了本申请提出的率失真优化方法以后，Class A～F标准测试序列的编码BD-rate平均降低了0.70％，编码效率得到了有效提升；特别是对于Class E视频会议场景的测试序列，编码效率得到了显著提升。
以上仅为本申请的优选实施例，并不用于限定本申请。对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于运动检测的率失真优化方法，其特征是，包括如下步骤；
步骤S10：采用运动检测技术识别当前待编码图像块的运动、静止特征；
步骤S20：根据当前待编码图像块的运动、静止特征以及邻近已编码图像块的运动、静止特征，从多个预设的拉格朗日乘数中为当前待编码图像块选择合适的拉格朗日乘数；
步骤S30：将所选择的拉格朗日乘数与当前待编码图像块的运动估计的拉格朗日常数相乘，然后将相乘结果取代运动估计的拉格朗日常数再进行当前待编码图像块的运动估计的率失真优化运算。
2.根据权利要求1所述的基于运动检测的率失真优化方法，其特征是，所述步骤S10进一步包括如下步骤；
步骤S11：判定当前待编码图像块中每一个像素点的运动、静止特征，即：将当前待编码图像块中每一个像素点标记为运动像素点或静止像素点；
步骤S12：判定当前待编码图像块中每一个图像子块的运动、静止特征，即：将当前待编码图像块中每一个图像子块标记为运动图像子块或静止图像子块；
步骤S13：判定当前待编码图像块的运动、静止特征，即：将当前待编码图像块标记为运动图像块或静止图像块。
3.根据权利要求1所述的基于运动检测的率失真优化方法，其特征是，所述步骤S11中，先将当前待编码图像块与参考帧上的同位图像块做帧间差分，计算出图像块中每一个像素点的亮度差值；然后将每一个像素点的亮度差值与运动像素判定阈值作比较；若像素点的亮度差值大于运动像素判定阈值，则此像素点标记为运动像素点；否则，此像素点标记为静止像素点。
4.根据权利要求1所述的基于运动检测的率失真优化方法，其特征是，所述步骤S12中，将当前待编码图像块划分为多个大小相同的图像子块，每个图像子块包含数个像素点，统计每一个图像子块中的运动像素点的个数；若图像子块中运动像素点的个数大于运动图像子块的判定阈值，则将此图像子块标记为运动图像子块；否则，将此图像子块标记为静止图像子块。
5.根据权利要求1所述的基于运动检测的率失真优化方法，其特征是，所述步骤S13中，统计当前待编码图像块中的运动图像子块的个数；若当前待编码图像块中的运动图像子块的个数大于运动图像块的判定阈值，则将此图像块标记为运动图像块；否则，将此图像块标记为静止图像块。
6.根据权利要求1所述的基于运动检测的率失真优化方法，其特征是，所述步骤S20中，所述邻近已编码图像块是指当前待编码图像块的左相邻已编码图像块和上相邻已编码图像块，具体分为以下5种情形；
(1)若当前待编码图像块为当前图像帧左上角第一个图像块，则其左相邻、上相邻图像块不存在；
(2)若当前待编码图像块位于当前图像帧的第一行，但不是当前图像帧左上角第一个图像块，则其上相邻图像块不存在；
(3)若当前待编码图像块位于当前图像帧的第一列，但不是当前图像帧左上角第一个图像块，则其左相邻图像块不存在；
(4)若当前待编码图像块位于当前图像帧最右列，但不是当前图像帧右上角第一个图像块，则其上相邻图像块只有2个；
(5)除以上4种情况以外的其他情况下，当前待编码图像块的上相邻已编码图像块有3个，左相邻已编码图像块仅有1个。
7.根据权利要求1所述的基于运动检测的率失真优化方法，其特征是，所述步骤S20中，所述多个预设的拉格朗日乘数λmul是指三个，分别是运动图像块的拉格朗日乘数λmul-dynamic、静止图像块的拉格朗日乘数λmul-static、混合图像块的拉格朗日乘数λmul-mixed，并且λmul-dynamic<λmul-mixed<λmul-static。
8.根据权利要求6或7所述的基于运动检测的率失真优化方法，其特征是，所述步骤S20中，所述选择合适的拉格朗日乘数是指：
(1)若当前待编码图像块被标记为运动图像块，且其存在的左相邻和上相邻已编码图像块均被标记为运动图像块，则为其选择运动图像块的拉格朗日乘数λmul-dynamic；
(2)若当前待编码图像块被标记为静止图像块，且其存在的左相邻和上相邻已编码图像块均被标记为静止图像块，则为其选择静止图像块的拉格朗日乘数λmul-static；
(3)若当前待编码图像块被标记为运动图像块，但其存在的左相邻或者上相邻已编码图像块中存在静止图像块，则为其选择混合图像块的拉格朗日乘数λmul-mixed；
(4)若当前待编码图像块被标记为静止图像块，但其存在的左相邻或者上相邻已编码图像块中存在运动图像块，则为其选择混合图像块的拉格朗日乘数λmul-mixed；
(5)若当前待编码图像块被标记为运动图像块，且其左相邻、上相邻图像块均不存在，则为其选择运动图像块的拉格朗日乘数λmul-dynamic；
(6)若当前待编码图像块被标记为静止图像块，且其左相邻、上相邻图像块均不存在，则为其选择静止图像块的拉格朗日乘数λmul-static。
9.一种基于运动检测的率失真优化装置，其特征是，包括运动检测模块和拉格朗日乘数选择模块；
所述运动检测模块用于采用运动检测方法识别当前待编码图像块的运动、静止特征；
所述拉格朗日乘数选择模块根据当前待编码图像块的运动、静止特征以及邻近已编码图像块的运动、静止特征，从多个预设的拉格朗日乘数中为当前待编码图像块选择合适的拉格朗日乘数；
所选择的拉格朗日乘数与当前待编码图像块的运动估计的拉格朗日常数相乘，然后将相乘结果取代运动估计的拉格朗日常数再进行当前待编码图像块的运动估计的率失真优化运算。
10.一种运动估计装置，其特征是，包括权利要求9所述的基于运动检测的率失真优化装置，还包括运动估计搜索模块和运动估计率失真优化模块；
所述运动估计搜索模块用于将当前编码帧上的当前待编码图像块与参考帧搜索窗口内的所有图像块逐一进行匹配，分别计算每一个匹配图像块对应的编码失真D和编码比特率R；
所述运动估计率失真优化模块用于依据每一个匹配图像块对应的编码失真D和编码比特率R以及运动估计的拉格朗日常数λpred与所选择的拉格朗日乘数λmul的相乘结果，计算出其对应的改进后的编码率失真代价J’；J’＝D+λpred×λmul×R；取改进后的编码率失真代价J’的最小值。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210159000.0A CN114554219A (zh) | 2022-02-21 | 2022-02-21 | 一种基于运动检测的率失真优化方法及装置 |
| PCT/CN2022/123741 WO2023155445A1 (zh) | 2022-02-21 | 2022-10-08 | 一种基于运动检测的率失真优化方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210159000.0A CN114554219A (zh) | 2022-02-21 | 2022-02-21 | 一种基于运动检测的率失真优化方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114554219A true CN114554219A (zh) | 2022-05-27 |
Family
ID=81677319
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210159000.0A Pending CN114554219A (zh) | 2022-02-21 | 2022-02-21 | 一种基于运动检测的率失真优化方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114554219A (zh) |
| WO (1) | WO2023155445A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023155445A1 (zh) * | 2022-02-21 | 2023-08-24 | 翱捷科技股份有限公司 | 一种基于运动检测的率失真优化方法及装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006129153A (ja) * | 2004-10-29 | 2006-05-18 | Victor Co Of Japan Ltd | 動画像符号化装置及び動画像符号化プログラム |
| CN103124347B (zh) * | 2012-10-22 | 2016-04-27 | 上海大学 | 利用视觉感知特性指导多视点视频编码量化过程的方法 |
| CN104994382B (zh) * | 2015-04-30 | 2017-12-19 | 西安电子科技大学 | 一种感知率失真的优化方法 |
| CN111193931B (zh) * | 2018-11-14 | 2023-04-07 | 深圳市中兴微电子技术有限公司 | 一种视频数据的编码处理方法和计算机存储介质 |
| CN112970254B (zh) * | 2019-02-27 | 2023-06-02 | Oppo广东移动通信有限公司 | 率失真优化方法及装置、计算机可读存储介质 |
| CN111970511B (zh) * | 2020-07-21 | 2023-05-19 | 上海交通大学 | 一种基于vmaf的感知视频率失真编码优化方法及装置 |
| CN111918068B (zh) * | 2020-08-05 | 2022-03-08 | 电子科技大学 | 基于视频序列特征和QP-λ修正的时域率失真优化方法 |
| CN114554219A (zh) * | 2022-02-21 | 2022-05-27 | 翱捷科技股份有限公司 | 一种基于运动检测的率失真优化方法及装置 |
-
2022
- 2022-02-21 CN CN202210159000.0A patent/CN114554219A/zh active Pending
- 2022-10-08 WO PCT/CN2022/123741 patent/WO2023155445A1/zh unknown
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023155445A1 (zh) * | 2022-02-21 | 2023-08-24 | 翱捷科技股份有限公司 | 一种基于运动检测的率失真优化方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023155445A1 (zh) | 2023-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230345013A1 (en) | Hash-based encoder decisions for video coding | |
| CN101394565B (zh) | 一种帧内预测方法 | |
| RU2377737C2 (ru) | Способ и устройство для преобразования с повышением частоты кадров с помощью кодера (ea-fruc) для сжатия видеоизображения | |
| CN103997646B (zh) | 一种高清视频编码中快速帧内预测模式选择方法 | |
| KR100739790B1 (ko) | 인트라 예측 모드 결정 방법 및 장치 | |
| EP1021042B1 (en) | Methods of scene change detection and fade detection for indexing of video sequences | |
| KR100643819B1 (ko) | 페이딩 보정을 위한 파라미터화 | |
| CN107087200B (zh) | 针对高效率视频编码标准的跳过编码模式提前判决方法 | |
| EP1359765B1 (en) | Fading estimation/compensation in video encoding | |
| Zhang et al. | Fast CU partition decision method based on texture characteristics for H. 266/VVC | |
| KR101149522B1 (ko) | 장면 전환 검출 시스템 및 방법 | |
| CN114222145A (zh) | 一种低复杂度的快速vvc帧内编码方法 | |
| WO2022121787A1 (zh) | 视频预测编码的方法及装置 | |
| CN1758759A (zh) | 一种视频场景切换检测方法 | |
| WO2023155445A1 (zh) | 一种基于运动检测的率失真优化方法及装置 | |
| Zhang et al. | Fast CU partition decision method based on Bayes and improved de-blocking filter for H. 266/VVC | |
| CN106878754B (zh) | 一种3d视频深度图像帧内预测模式选择方法 | |
| KR100816013B1 (ko) | 압축영상의 장면전환 검출장치 및 방법 | |
| CN101141648A (zh) | 基于直方图的加权预测方法 | |
| JP2005348008A (ja) | 動画像符号化方法、動画像符号化装置、動画像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| CN109274970B (zh) | 一种快速场景切换检测方法和系统 | |
| CN106454341B (zh) | 一种基于场景切换的hevc预测模式快速选择方法 | |
| Huang | A fast CU depth decision algorithm based on moving object detection for high efficiency video coding | |
| CN114882390B (zh) | Vvc编码标准中基于ctu直方图的视频帧类型决策方法 | |
| JP4837909B2 (ja) | 画像処理システムの損失ブロック特性判断装置及びその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |