CN113965753A - 一种基于码率控制的帧间图像运动估计方法与系统 - Google Patents

一种基于码率控制的帧间图像运动估计方法与系统 Download PDF

Info

Publication number
CN113965753A
CN113965753A CN202111557738.4A CN202111557738A CN113965753A CN 113965753 A CN113965753 A CN 113965753A CN 202111557738 A CN202111557738 A CN 202111557738A CN 113965753 A CN113965753 A CN 113965753A
Authority
CN
China
Prior art keywords
motion
coding block
motion vector
current
rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111557738.4A
Other languages
English (en)
Other versions
CN113965753B (zh
Inventor
蒋先涛
陈剑明
谢英志
王辉
汪帅伊
陆炎
张纪庄
郭咏梅
郭咏阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kangda Intercontinental Medical Devices Co ltd
Original Assignee
Kangda Intercontinental Medical Devices Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kangda Intercontinental Medical Devices Co ltd filed Critical Kangda Intercontinental Medical Devices Co ltd
Priority to CN202111557738.4A priority Critical patent/CN113965753B/zh
Publication of CN113965753A publication Critical patent/CN113965753A/zh
Application granted granted Critical
Publication of CN113965753B publication Critical patent/CN113965753B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于码率控制的帧间图像运动估计方法，涉及图像处理技术领域，主要包括步骤：基于时空域上的运动相关性，获取当前编码块的运动矢量候选列表；基于率失真代价函数筛选运动矢量候选列表中代价最小的运动矢量候选作为预测运动矢量；以预测运动矢量为中心进行运动搜索，并计算运动搜索过程中所获得编码块的率失真代价；在当前运动搜索所获得编码块所对应的码率超过阈值后，筛选当前率失真代价最小的编码块进行运动矢量获取。本发明通过率失真函数的运用，进行最优运动搜索中心的判定，并基于运动中心进行第次向外的运动搜索，减少传统技术中无序搜索所带来的无效计算量，同时，避免以有限点进行区域搜索可能导致的局部最小值陷入。

Description

一种基于码率控制的帧间图像运动估计方法与系统
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于码率控制的帧间图像运动估计方法与系统。
背景技术
目前，高分辨率（4K×4K，8K×8K）的视频应用非常广泛，更重要的是，随着互联网的飞速发展，催生了各种不同的视频应用。而随着视频应用需求的提高，目前的视频编码技术面临着很大的挑战。联合视频编码组(Joint Collaborative Team on Video Coding，JCT-VC)在2013年发布了一种高效率视频压缩标准H.265/HEVC。H.265/HEVC采用混合编码技术，与H.264/AVC相比，它的编码块大小从16×16增加到64×64，平均编码压缩率也提高了55%-87%，但是其编码的复杂度也随之提高。在视频编码中，连续帧图像间的帧间预测主要目的在于去除图像之间的时间相关性。H.265/HEVC中帧间预测编码算法是通过将已编码的图像作为当前图像的参考图像，通过运动估计来获得当前图像的各个块在参考图像中的运动信息。那么在此基础上，如何在运动搜索的过程中更好更快的获取所要的运动信息，进而获取当前编码块的运动矢量，就是本发明所要解决的技术问题。
发明内容
为了更好的对帧间图像进行运动估计，提高效率的同时保证数据压缩还原后的完整度，本发明提出了一种基于码率控制的帧间图像运动估计方法，包括步骤：
S1：基于时空域上的运动相关性，获取当前编码块的运动矢量候选列表；
S2：基于率失真代价函数筛选运动矢量候选列表中代价最小的运动矢量候选作为预测运动矢量；
S3：以预测运动矢量为中心进行运动搜索，并计算运动搜索过程中所获得编码块的率失真代价；
S4：判断当前运动搜索所获得编码块所对应的码率是否超过阈值，若否，继续进行运动搜索，若是，筛选当前率失真代价最小的编码块进行运动矢量获取。
进一步地，所述时空域上的运动相关性，包括时域和空域上当前编码块的运动方向特性。
进一步地，所述运动矢量候选列表包括预设个数的运动矢量候选，当运动矢量候选不足预设个数时，以零矢量填充运动矢量候选列表。
进一步地，所述率失真代价函数可表示为如下公式：
Figure 644490DEST_PATH_IMAGE001
式中，D(SAD)为当前编码块与当前运动搜索所获得编码块之间的像素值残差，Ft(i，j)为t时刻当前编码块的像素值，Ft-1(i，j)为t时刻当前运动搜索所获得编码块的像素值，(i，j)为当前编码块的坐标，m*n为当前帧间图像的尺寸大小，
Figure 464810DEST_PATH_IMAGE002
为当前运动搜索所获得编码块的运动矢量，
Figure 478552DEST_PATH_IMAGE003
为预测运动矢量，
Figure 714624DEST_PATH_IMAGE004
为运动向量差值，Jcost为率失真代价，
Figure 491562DEST_PATH_IMAGE005
为
Figure 404155DEST_PATH_IMAGE004
的码率，λ为拉格朗日乘子。
进一步地，所述当前运动搜索所获得编码块所对应的码率是否超过阈值可表示为如下公式：
Figure 916912DEST_PATH_IMAGE006
式中，e为自然常数，β为阈值。
本发明还提出了一种基于码率控制的帧间图像运动估计系统，包括：
列表获取单元，用于基于时空域上的运动相关性，获取当前编码块的运动矢量候选列表；
中心获取单元，用于基于率失真代价函数筛选运动矢量候选列表中代价最小的运动矢量候选作为预测运动矢量；
中心搜索单元，用于以预测运动矢量为中心进行运动搜索，并计算运动搜索过程中所获得编码块的率失真代价；
矢量获取单元，用于当前运动搜索所获得编码块所对应的码率超过阈值时，筛选当前率失真代价最小的编码块进行运动矢量获取。
进一步地，所述时空域上的运动相关性，包括时域和空域上当前编码块的运动方向特性。
进一步地，所述运动矢量候选列表包括预设个数的运动矢量候选，当运动矢量候选不足预设个数时，以零矢量填充运动矢量候选列表。
进一步地，所述率失真代价函数可表示为如下公式：
Figure 550149DEST_PATH_IMAGE007
式中，D(SAD)为当前编码块与当前运动搜索所获得编码块之间的像素值残差，Ft(i，j)为t时刻当前编码块的像素值，Ft-1(i，j)为t时刻当前运动搜索所获得编码块的像素值，(i，j)为当前编码块的坐标，m*n为当前帧间图像的尺寸大小，
Figure 56961DEST_PATH_IMAGE002
为当前运动搜索所获得编码块的运动矢量，
Figure 176007DEST_PATH_IMAGE003
为预测运动矢量，
Figure 20467DEST_PATH_IMAGE004
为运动向量差值，Jcost为率失真代价，
Figure 923307DEST_PATH_IMAGE005
为
Figure 677768DEST_PATH_IMAGE004
的码率，λ为拉格朗日乘子。
进一步地，所述当前运动搜索所获得编码块所对应的码率是否超过阈值可表示为如下公式：
Figure 736423DEST_PATH_IMAGE006
式中，e为自然常数，β为阈值。
与现有四叔相比，本发明至少含有以下有益效果：
（1）本发明所述的一种基于码率控制的帧间图像运动估计方法与系统，其通过率失真函数的运用，进行最优运动搜索中心的判定，并基于运动中心进行第次向外的运动搜索，减少传统技术中无序搜索所带来的无效计算量，同时，避免以有限点进行区域搜索可能导致的局部最小值陷入；
（2）通过对搜索过程中获得编码块所对应的码率进行限制，在保证最优搜索效果的同时，避免无限制搜索带来的效率低下问题；
（3）基于阈值的设置与比较，减少对于复杂运动矢量的计算，提高编码效率。
附图说明
图1为一种基于码率控制的帧间图像运动估计方法的方法步骤图；
图2为一种基于码率控制的帧间图像运动估计系统的系统结构图；
图3为运动矢量候选示意图。
具体实施方式
以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
实施例一
运动估计就是在参考图像中找到当前编码块所对应匹配块的过程，实质上，就是搜索并确定当前编码块最佳位移量的过程。它的基本思想是将图像序列每一帧分成许多互不重叠的预测单元，并选定已编码的图像作为参考图像，从参考图像中寻找当前图像中当前编码块的最佳匹配参考块，并假设块内所有像素的位移量都相同。针对每个块根据一定的匹配准则到参考帧的某一特定搜索范围内找出与当前编码块最相似的匹配块，而匹配块与当前编码块的相对位移即为运动矢量(Motion vector, MV)。视频编码中得到运动矢量的过程就被称为运动估计。
而运动估计（Motion estimation，ME）一直被认为是视频压缩中最耗时的操作之一，在使用全搜索运动估计时占编码时间的40%到80%。现有技术中，许多不同的快速运动估计算法都是试图通过将整数运动估计（Integer motion estimation，IME）的搜索区域限制为尽可能少的点来降低编码成本，此策略虽然提高了编码的效率，但是容易使搜索变得次优，同时可能会陷入局部最小值。为了避免次优以及局部最小值陷入的风险，本发明提出了一种基于码率控制的帧间图像运动估计方法，如图1所示，包括步骤：
S1：基于时空域上的运动相关性，获取当前编码块的运动矢量候选列表；
S2：基于率失真代价函数筛选运动矢量候选列表中代价最小的运动矢量候选作为预测运动矢量；
S3：以预测运动矢量为中心进行运动搜索，并计算运动搜索过程中所获得编码块的率失真代价；
S4：判断当前运动搜索所获得编码块所对应的码率是否超过阈值，若否，继续进行运动搜索，若是，筛选当前率失真代价最小的编码块进行运动矢量获取。
首先，在H.265/HEVC帧内预测阶段，高级运动向量预测（Advance motion vectorprediction，AMVP）技术利用时空域上的运动矢量相关性，而由于率失真代价在实际应用中，能够为数据压缩的性能提供理论极限和比较标准，对具体编码方法的研究起方向指导作用。因此，基于当前编码块的在时域、空域上运动方向特性，从相邻编码块中筛选一定数量的运动矢量作为运动矢量候选列表后，可以通过在列表中筛选出率失真代价最小的运动矢量候选作为当前编码块的预测运动矢量
Figure 225435DEST_PATH_IMAGE008
。其中，候选列表可以包括两种类型的运动矢量候选，也即是空域候选和时域候选。
如图3所示，当前编码块的候选列表中的向量主要包括：空间域候选（A1，A2，B0，B1，B2）和时间域候选（C0，C1）。而最终的候选列表则需要从这7个运动矢量候选中挑选5个组成最终的运动矢量候选列表，通过计算量的减少，降低计算过程中的冗余量。同时，在一般情况下这5个运动矢量候选应当包含空域和时域两种类型，以表征完全当前编码块在时域和空域的上的双重特性。其中，考虑到空域的运动信息关联性比时域的运动信息关联性更强，在运动矢量候选列表中最多包含4个空域候选运动矢量，时域候选运动矢量最多为1个。但是，某些特殊情况下（如当前编码块不存在相邻编码块），使得运动矢量候选列表中候选运动矢量的数量无法达到5个时，则用零矢量（0，0）填充。还需要注意的是，在填充零矢量前，还需要合并运动矢量候选列表中相同的候选运动矢量，并在填充零矢量后，删除长度大于2的候选运动矢量，以降低计算的复杂度。
在获取预测运动矢量后，H.265/HEVC进入整数运动估计阶段，在该阶段，以预测运动矢量为中心进行由近向远的运动搜索，并计算运动搜索过程中所获得编码块的率失真代价，其中，率失真代价最小所对应的编码块即为所要求得的运动矢量（求得的编码块相对当前编码块的移动量）。
其中，设t时刻，当前编码块的像素值为Ft(i，j)，当前运动搜索所获得编码块的像素值为Ft-1(i，j)，则当前编码块与当前运动搜索所获得编码块之间的像素值残差为：
Figure 197546DEST_PATH_IMAGE009
式中，D(SAD)为当前编码块与当前运动搜索所获得编码块之间的像素值残差，(i，j)为当前编码块的坐标，m*n为当前帧间图像的尺寸大小。
记当前运动搜索所获得编码块的运动矢量为
Figure 72092DEST_PATH_IMAGE010
，则其与预测运动矢量
Figure 188734DEST_PATH_IMAGE011
之间的运动向量差值
Figure 349063DEST_PATH_IMAGE012
可表示为：
Figure 658953DEST_PATH_IMAGE013
基于上述，整数运动估计阶段中的率失真代价函数可表示为：
Figure 247060DEST_PATH_IMAGE014
式中，Jcost为率失真代价，
Figure 998852DEST_PATH_IMAGE015
为
Figure 456597DEST_PATH_IMAGE016
的码率，λ为拉格朗日乘子。
Figure 429232DEST_PATH_IMAGE017
其中，
Figure 481633DEST_PATH_IMAGE018
和
Figure 715910DEST_PATH_IMAGE019
表示分别对针整数
Figure 387850DEST_PATH_IMAGE020
进行有符号指数哥伦布编码后码字的长度，具体可通过查表计算。
通过上述对本发明所指搜索方法的说明，可以看出，本发明所述的运动估计方法能够有效减少传统技术中无序搜索所带来的无效计算量，同时，避免以有限点进行区域搜索可能导致的局部最小值陷入。然而，仅就上述所指出的搜索方法，还存在一个缺点，也即是搜索不存在限制，在没有限制的情况下，容易耗费更多的时间在搜索以及相应的计算上。
同时，需要说明的是，因为码率是数据传输时单位时间传送的数据位数，一般我们用的单位是kbps即千位每秒。通俗一点的理解就是取样率，单位时间内取样率越大，精度就越高，处理出来的文件就越接近原始文件。但是文件体积与取样率是成正比的，所以几乎所有的编码格式重视的都是如何用最低的码率达到最少的失真。但其也存在几点原则，其中两点为：
1）码率和质量成正比，但是文件体积也和码率成正比；
2）码率超过一定数值，对图像的质量就没有多大影响。
基于此，本发明在上述改进基础上，进一步提出了一个改进点。
由码率的几点原则可以看出，一般情况下，大部分最佳运动矢量
Figure 446067DEST_PATH_IMAGE021
都在预测运动矢量
Figure 743187DEST_PATH_IMAGE022
周围很小的区域内，所以，其对应的
Figure 374195DEST_PATH_IMAGE016
码率很小。因此，本发明提出，在整数运动搜索阶段，对所搜索到编码块所对应的码率（也即是搜索到的编码块与当前编码块之间的相对位移运动矢量MV，运动矢量MV与预测运动矢量PMV之间残差的码率）进行如下限制：
Figure 813659DEST_PATH_IMAGE023
式中，e为自然常数，β为阈值（人为设置的，通过大量数据分析获得）。通过该阈值的设置，减少无效的运动搜索，并可跳过计算复杂运动矢量候选项的代价来减少计算成本。
综上所述，本发明所述的一种基于码率控制的帧间图像运动估计方法与系统，其通过率失真代价函数的运用，进行最优运动搜索中心的判定，并基于运动中心进行第次向外的运动搜索，减少传统技术中无序搜索所带来的无效计算量，同时，避免以有限点进行区域搜索可能导致的局部最小值陷入。
通过对搜索过程中获得编码块所对应的码率进行限制，在保证最优搜索效果的同时，避免无限制搜索带来的效率低下问题。而基于阈值的设置与比较，更是减少了对于复杂运动矢量的计算，提高了编码效率。
实施例二
为了更好的对本发明的技术内容进行理解，本实施例通过系统结构的形式来对本发明的技术内容进行阐述，如图2所示，一种基于码率控制的帧间图像运动估计系统，包括：
列表获取单元，用于基于时空域上的运动相关性，获取当前编码块的运动矢量候选列表；
中心获取单元，用于基于率失真代价函数筛选运动矢量候选列表中代价最小的运动矢量候选作为预测运动矢量；
中心搜索单元，用于以预测运动矢量为中心进行运动搜索，并计算运动搜索过程中所获得编码块的率失真代价；
矢量获取单元，用于当前运动搜索所获得编码块所对应的码率超过阈值时，筛选当前率失真代价最小的编码块进行运动矢量获取。
进一步地，所述时空域上的运动相关性，包括时域和空域上当前编码块的运动方向特性。
进一步地，所述运动矢量候选列表包括预设个数的运动矢量候选，当运动矢量候选不足预设个数时，以零矢量填充运动矢量候选列表。
进一步地，率失真代价函数可表示为如下公式：
Figure 203795DEST_PATH_IMAGE007
式中，D(SAD)为当前编码块与当前运动搜索所获得编码块之间的像素值残差，Ft(i，j)为t时刻当前编码块的像素值，Ft-1(i，j)为t时刻当前运动搜索所获得编码块的像素值，(i，j)为当前编码块的坐标，m*n为当前帧间图像的尺寸大小，
Figure 496368DEST_PATH_IMAGE002
为当前运动搜索所获得编码块的运动矢量，
Figure 421248DEST_PATH_IMAGE003
为预测运动矢量，
Figure 923905DEST_PATH_IMAGE004
为运动向量差值，Jcost为率失真代价，
Figure 386241DEST_PATH_IMAGE005
为
Figure 671336DEST_PATH_IMAGE004
的码率，λ为拉格朗日乘子。
进一步地，当前运动搜索所获得编码块所对应的码率是否超过阈值可表示为如下公式：
Figure 92084DEST_PATH_IMAGE024
式中，e为自然常数，β为阈值。
实施例三
为了更好的对本发明的技术内容进行验证，在一优选实施例中，通过一仿真实验来对本发明的效果进行验证。在该优选实施例中，采用H.265/HEVC的标准参考模型HM，使用随机接入（Random access，RA）配置，4个量化参数（quantization parameters，QP）值分别为：22、27、32、37。通过对比本发明提出的运动估计方法与H.265/HEVC参考软件的在输入不同系列的视频序列下，其率失真（BD-Rate）和编码时间相对降低量ΔT来验证算法的性能提升百分比。其中ΔT通过如下公式计算：
Figure 869985DEST_PATH_IMAGE025
其中，Tvtm，Tpro分别为HM和本发明提出的运动估计方法的运动估计编码时间。
实验结果如表1所示，RA配置如下，当β=8时，BD-rate损失很小，运动估计的编码时间平均减少了37%。实验证明，本发明提出的运动估计方法能显著降低运动估计的计算复杂度。
表1：
Figure 11379DEST_PATH_IMAGE026
需要说明，本发明实施例中所有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明中如涉及“第一”、“第二”、“一”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

Claims (10)

1.一种基于码率控制的帧间图像运动估计方法，其特征在于，包括步骤：
S1：基于时空域上的运动相关性，获取当前编码块的运动矢量候选列表；
S2：基于率失真代价函数筛选运动矢量候选列表中代价最小的运动矢量候选作为预测运动矢量；
S3：以预测运动矢量为中心进行运动搜索，并计算运动搜索过程中所获得编码块的率失真代价；
S4：判断当前运动搜索所获得编码块所对应的码率是否超过阈值，若否，继续进行运动搜索，若是，筛选当前率失真代价最小的编码块进行运动矢量获取。
2.如权利要求1所述的一种基于码率控制的帧间图像运动估计方法，其特征在于，所述时空域上的运动相关性，包括时域和空域上当前编码块的运动方向特性。
3.如权利要求1所述的一种基于码率控制的帧间图像运动估计方法，其特征在于，所述运动矢量候选列表包括预设个数的运动矢量候选，当运动矢量候选不足预设个数时，以零矢量填充运动矢量候选列表。
4.如权利要求1所述的一种基于码率控制的帧间图像运动估计方法，其特征在于，所述率失真代价函数可表示为如下公式：
Figure 573788DEST_PATH_IMAGE001
式中，D(SAD)为当前编码块与当前运动搜索所获得编码块之间的像素值残差，Ft(i,j)为t时刻当前编码块的像素值，Ft-1(i,j)为t时刻当前运动搜索所获得编码块的像素值，(i,j)为当前编码块的坐标，m*n为当前帧间图像的尺寸大小，
Figure 287666DEST_PATH_IMAGE002
为当前运动搜索所获得编码块的运动矢量，
Figure 864141DEST_PATH_IMAGE003
为预测运动矢量，
Figure 541241DEST_PATH_IMAGE004
为运动向量差值，Jcost为率失真代价，
Figure 152351DEST_PATH_IMAGE005
为
Figure 771551DEST_PATH_IMAGE004
的码率，λ为拉格朗日乘子。
5.如权利要求4所述的一种基于码率控制的帧间图像运动估计方法，其特征在于，所述当前运动搜索所获得编码块所对应的码率是否超过阈值可表示为如下公式：
Figure 84590DEST_PATH_IMAGE006
式中，e为自然常数，β为阈值。
6.一种基于码率控制的帧间图像运动估计系统，其特征在于，包括：
列表获取单元，用于基于时空域上的运动相关性，获取当前编码块的运动矢量候选列表；
中心获取单元，用于基于率失真代价函数筛选运动矢量候选列表中代价最小的运动矢量候选作为预测运动矢量；
中心搜索单元，用于以预测运动矢量为中心进行运动搜索，并计算运动搜索过程中所获得编码块的率失真代价；
矢量获取单元，用于当前运动搜索所获得编码块所对应的码率超过阈值时，筛选当前率失真代价最小的编码块进行运动矢量获取。
7.如权利要求6所述的一种基于码率控制的帧间图像运动估计系统，其特征在于，所述时空域上的运动相关性，包括时域和空域上当前编码块的运动方向特性。
8.如权利要求6所述的一种基于码率控制的帧间图像运动估计系统，其特征在于，所述运动矢量候选列表包括预设个数的运动矢量候选，当运动矢量候选不足预设个数时，以零矢量填充运动矢量候选列表。
9.如权利要求6所述的一种基于码率控制的帧间图像运动估计系统，其特征在于，所述率失真代价函数可表示为如下公式：
Figure 814648DEST_PATH_IMAGE001
式中，D(SAD)为当前编码块与当前运动搜索所获得编码块之间的像素值残差，Ft(i,j)为t时刻当前编码块的像素值，Ft-1(i,j)为t时刻当前运动搜索所获得编码块的像素值，(i,j)为当前编码块的坐标，m*n为当前帧间图像的尺寸大小，
Figure 280265DEST_PATH_IMAGE002
为当前运动搜索所获得编码块的运动矢量，
Figure 821098DEST_PATH_IMAGE003
为预测运动矢量，
Figure 372166DEST_PATH_IMAGE004
为运动向量差值，Jcost为率失真代价，
Figure 640336DEST_PATH_IMAGE005
为
Figure 233164DEST_PATH_IMAGE004
的码率，λ为拉格朗日乘子。
10.如权利要求9所述的一种基于码率控制的帧间图像运动估计系统，其特征在于，所述当前运动搜索所获得编码块所对应的码率是否超过阈值可表示为如下公式：
Figure 459746DEST_PATH_IMAGE007
式中，e为自然常数，β为阈值。
CN202111557738.4A 2021-12-20 2021-12-20 一种基于码率控制的帧间图像运动估计方法与系统 Active CN113965753B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111557738.4A CN113965753B (zh) 2021-12-20 2021-12-20 一种基于码率控制的帧间图像运动估计方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111557738.4A CN113965753B (zh) 2021-12-20 2021-12-20 一种基于码率控制的帧间图像运动估计方法与系统

Publications (2)

Publication Number Publication Date
CN113965753A true CN113965753A (zh) 2022-01-21
CN113965753B CN113965753B (zh) 2022-05-17

Family

ID=79473235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111557738.4A Active CN113965753B (zh) 2021-12-20 2021-12-20 一种基于码率控制的帧间图像运动估计方法与系统

Country Status (1)

Country Link
CN (1) CN113965753B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114513661A (zh) * 2022-04-20 2022-05-17 宁波康达凯能医疗科技有限公司 一种基于方向检测的帧内图像模式决策方法与系统
CN116156174A (zh) * 2023-02-23 2023-05-23 格兰菲智能科技有限公司 数据编码处理方法、装置、计算机设备和存储介质
CN117640939A (zh) * 2024-01-25 2024-03-01 宁波康达凯能医疗科技有限公司 一种用于帧间图像的运动估计搜索方式判别方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101600108A (zh) * 2009-06-26 2009-12-09 北京工业大学 一种多视点视频编码中的运动和视差联合估计方法
KR20100088034A (ko) * 2009-01-29 2010-08-06 삼성전자주식회사 인트라 예측 모드 결정 방법 및 장치
CN103188496A (zh) * 2013-03-26 2013-07-03 北京工业大学 基于运动矢量分布预测的快速运动估计视频编码方法
CN104219525A (zh) * 2014-09-01 2014-12-17 国家广播电影电视总局广播科学研究院 基于显著性和最小可察觉失真的感知视频编码方法
CN105120261A (zh) * 2015-09-18 2015-12-02 北京百度网讯科技有限公司 用于生成多码率视频的方法和装置
CN109076216A (zh) * 2016-03-30 2018-12-21 韩国电子通信研究院 使用画面划分信息对视频进行编码和解码的方法和设备
CN110868589A (zh) * 2018-08-28 2020-03-06 华为技术有限公司 帧间预测方法、装置及其应用的编/解方法及装置
CN111107373A (zh) * 2018-10-29 2020-05-05 华为技术有限公司 基于仿射预测模式的帧间预测的方法及相关装置
CN111567045A (zh) * 2017-10-10 2020-08-21 韩国电子通信研究院 使用帧间预测信息的方法和装置
CN112135137A (zh) * 2019-06-25 2020-12-25 华为技术有限公司 视频编码器、视频解码器及相应方法
CN112261413A (zh) * 2020-10-22 2021-01-22 北京奇艺世纪科技有限公司 视频编码方法、编码装置、电子设备和存储介质
CN113453016A (zh) * 2021-08-30 2021-09-28 康达洲际医疗器械有限公司 一种用于图像流文件压缩的运动矢量自选择方法
CN113489987A (zh) * 2021-06-11 2021-10-08 翱捷科技股份有限公司 一种hevc子像素运动估计方法及装置
CN113573058A (zh) * 2021-09-23 2021-10-29 康达洲际医疗器械有限公司 一种基于时空显著性融合的帧间图像编码方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100088034A (ko) * 2009-01-29 2010-08-06 삼성전자주식회사 인트라 예측 모드 결정 방법 및 장치
CN101600108A (zh) * 2009-06-26 2009-12-09 北京工业大学 一种多视点视频编码中的运动和视差联合估计方法
CN103188496A (zh) * 2013-03-26 2013-07-03 北京工业大学 基于运动矢量分布预测的快速运动估计视频编码方法
CN104219525A (zh) * 2014-09-01 2014-12-17 国家广播电影电视总局广播科学研究院 基于显著性和最小可察觉失真的感知视频编码方法
CN105120261A (zh) * 2015-09-18 2015-12-02 北京百度网讯科技有限公司 用于生成多码率视频的方法和装置
CN109076216A (zh) * 2016-03-30 2018-12-21 韩国电子通信研究院 使用画面划分信息对视频进行编码和解码的方法和设备
CN111567045A (zh) * 2017-10-10 2020-08-21 韩国电子通信研究院 使用帧间预测信息的方法和装置
CN110868589A (zh) * 2018-08-28 2020-03-06 华为技术有限公司 帧间预测方法、装置及其应用的编/解方法及装置
CN111107373A (zh) * 2018-10-29 2020-05-05 华为技术有限公司 基于仿射预测模式的帧间预测的方法及相关装置
CN112135137A (zh) * 2019-06-25 2020-12-25 华为技术有限公司 视频编码器、视频解码器及相应方法
CN112261413A (zh) * 2020-10-22 2021-01-22 北京奇艺世纪科技有限公司 视频编码方法、编码装置、电子设备和存储介质
CN113489987A (zh) * 2021-06-11 2021-10-08 翱捷科技股份有限公司 一种hevc子像素运动估计方法及装置
CN113453016A (zh) * 2021-08-30 2021-09-28 康达洲际医疗器械有限公司 一种用于图像流文件压缩的运动矢量自选择方法
CN113573058A (zh) * 2021-09-23 2021-10-29 康达洲际医疗器械有限公司 一种基于时空显著性融合的帧间图像编码方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
G. LAROCHE: "A spatio-temporal competing scheme for the rate-distortion optimized selection and coding of motion vectors", 《2006 14TH EUROPEAN SIGNAL PROCESSING CONFERENCE》 *
宋利: "低延迟视频编码技术", 《北京航空航天大学学报》 *
王超等: "H.264帧间预测编码的块匹配模式的优化选择", 《网络安全技术与应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114513661A (zh) * 2022-04-20 2022-05-17 宁波康达凯能医疗科技有限公司 一种基于方向检测的帧内图像模式决策方法与系统
CN114513661B (zh) * 2022-04-20 2022-09-06 宁波康达凯能医疗科技有限公司 一种基于方向检测的帧内图像模式决策方法与系统
CN116156174A (zh) * 2023-02-23 2023-05-23 格兰菲智能科技有限公司 数据编码处理方法、装置、计算机设备和存储介质
CN116156174B (zh) * 2023-02-23 2024-02-13 格兰菲智能科技有限公司 数据编码处理方法、装置、计算机设备和存储介质
CN117640939A (zh) * 2024-01-25 2024-03-01 宁波康达凯能医疗科技有限公司 一种用于帧间图像的运动估计搜索方式判别方法

Also Published As

Publication number Publication date
CN113965753B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
CN110809887B (zh) 用于多参考预测的运动矢量修正的方法和装置
US11889072B2 (en) Video encoding and decoding
CN110572645B (zh) 非对称加权双向预测Merge
CN113965753B (zh) 一种基于码率控制的帧间图像运动估计方法与系统
US8705611B2 (en) Image prediction encoding device, image prediction encoding method, image prediction encoding program, image prediction decoding device, image prediction decoding method, and image prediction decoding program
JP5081305B2 (ja) フレーム間予測符号化の方法および装置
CN107734335B (zh) 图像预测方法及相关装置
US8559515B2 (en) Apparatus and method for encoding and decoding multi-view video
TW201904284A (zh) 用於視訊編解碼的子預測單元時間運動向量預測
JP2002532026A (ja) 動き推定とブロックマッチング・パターンの改良
CN110312130B (zh) 基于三角模式的帧间预测、视频编码方法及设备
JP7279154B2 (ja) アフィン動きモデルに基づく動きベクトル予測方法および装置
EP2664142A1 (en) Video encoding and decoding with improved error resilience
EP1927249A1 (en) Apparatus and method for encoding and decoding multi-view video
CN111818342B (zh) 帧间预测方法及预测装置
CN112004097B (zh) 帧间预测方法、图像处理装置以及计算机可读存储介质
US20050074064A1 (en) Method for hierarchical motion estimation
CN112004091B (zh) 帧间预测方法及其相关装置
CN112565768A (zh) 一种帧间预测方法、编解码系统及计算机可读存储介质
CN112449180A (zh) 一种编解码方法、装置及其设备
CN117615129B (zh) 帧间预测方法、装置、计算机设备及存储介质
CN110730344B (zh) 一种视频编码方法、装置以及计算机存储介质
CN114845105A (zh) 编码方法、装置、设备和存储介质
CN113242427A (zh) 一种基于vvc中自适应运动矢量精度的快速方法及装置
EP3939310A1 (en) Motion refinement and weighted prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant