CN112203091B - 基于二次多项式的运动矢量预测方法、系统及计算机介质 - Google Patents

基于二次多项式的运动矢量预测方法、系统及计算机介质 Download PDF

Info

Publication number
CN112203091B
CN112203091B CN202011397791.8A CN202011397791A CN112203091B CN 112203091 B CN112203091 B CN 112203091B CN 202011397791 A CN202011397791 A CN 202011397791A CN 112203091 B CN112203091 B CN 112203091B
Authority
CN
China
Prior art keywords
block
motion
quadratic polynomial
motion vector
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011397791.8A
Other languages
English (en)
Other versions
CN112203091A (zh
Inventor
罗伟节
杨光芒
刘星宇
滕波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Smart Video Security Innovation Center Co Ltd
Original Assignee
Zhejiang Smart Video Security Innovation Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Smart Video Security Innovation Center Co Ltd filed Critical Zhejiang Smart Video Security Innovation Center Co Ltd
Priority to CN202011397791.8A priority Critical patent/CN112203091B/zh
Publication of CN112203091A publication Critical patent/CN112203091A/zh
Application granted granted Critical
Publication of CN112203091B publication Critical patent/CN112203091B/zh
Priority to PCT/CN2021/109738 priority patent/WO2022116574A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请实施例中提供了一种基于二次多项式的运动矢量预测方法、系统及计算机介质，通过基于块的运动估计，按时间倒序，依次确定当前运动块、第一前向匹配块以及第二前向匹配块；构建二次多项式运动模型，根据当前运动块、第一前向匹配块以及第二前向匹配块中相同位置的像素点位置，确定二次多项式运动模型的模型参数；根据确定模型参数的二次多项式运动模型，确定当前编码块的预测参考块；根据预测参考块，得到运动矢量预测值。最后根据得到的运动矢量预测值进行视频编解码，实现了在面对编码块运动轨迹呈曲线变化时，提高了运动预测准确度以及编码效率。

Description

基于二次多项式的运动矢量预测方法、系统及计算机介质
技术领域
本申请属于视频编解码技术领域，具体地，涉及一种基于二次多项式的运动矢量预测方法、系统及计算机介质。
背景技术
基于运动估计的帧间预测是视频编码中的关键技术，被广泛应用到各种编解码标准中，包括H.263，H.264，H.265，VCC，MPEG4等编码标准。编码过程中，由于一个运动块的运动矢量与其时域上的若干前向匹配块存在一定的相关性和可预测性，因此为了提高压缩效率，通常还对帧间预测的运动矢量进行预测编码。
对于运动矢量进行预测得到的预测运动矢量（motion vector predictor，MVP），例如最新的H.266标准支持的Alternative temporal motion vector prediction(ATMVP)可选时域运动矢量预测。在可选时域运动矢量预测ATMVP中，允许每个编码单元CU从并置的参考图像的多个小于当前编码单元CU大小的块中，得到多个运动信息集合。
可选时域运动矢量预测ATMVP通过从比当前编码单元CU小的块中，获取多个运动信息的集合改善了时域运动矢量预测TMVP，其中，运动信息包括了运动矢量和参考索引。具体的，包括两个步骤：一、识别一个参考图像中的时域矢量对应块。参考图像被称为运动源图像：参考图像和对应块由当前CU的空间相邻块的运动信息确定。为了避免相邻块的重复扫描过程，使用当前CU的merge候选列表中的第一个候选。将第一个可用的运动矢量及其相关参考索引设置为运动源图像的时间向量和索引，例如子CU可以为NxN块(N默认为4)。二、将当前CU划分为子CU，获取每个子CU对应的MV以及参考索引：通过运动源图像中的时间向量，将当前CU的时间矢量添加到当前CU的坐标中的方式，来识别子CU的对应块。对于每个子CU，其对应块的运动信息（覆盖中心样本的最小运动网格）用于导出子CU的运动信息。在识别对应的NxN块的运动信息之后，将其转换成当前的子CU的运动矢量和参考索引。
由此可见，现有的编码技术只采用了对多个预测向量进行线性加权组合作为时域运动矢量的预测结果。当运动物体运动轨迹呈曲线变化时，运动预测准确度下降，运动矢量残差较大，编码效率较低。
发明内容
本发明提出了一种基于二次多项式的运动矢量预测方法、系统及计算机介质，旨在解决现有编码技术在帧间预测中，面对编码块运动轨迹呈曲线变化时，运动预测准确度以及编码效率低的问题。
根据本申请实施例的第一个方面，提供了一种基于二次多项式的运动矢量预测方法，根据得到的运动矢量预测值进行视频编解码，具体包括以下步骤：
通过基于块的运动估计，按时间顺序，依次确定当前运动块、第一前向匹配块以及第二前向匹配块；
构建二次多项式运动模型，根据当前运动块、第一前向匹配块以及第二前向匹配块中相同位置的像素点位置，确定二次多项式运动模型的模型参数；
根据确定模型参数的二次多项式运动模型，确定当前编码块的预测参考块；
根据预测参考块，得到运动矢量预测值；
根据运动矢量预测值进行视频编解码。
在本申请一些实施方式中，当前运动块、第一前向匹配块以及第二前向匹配块分别属于连续的三帧图像。
在本申请一些实施方式中，构建二次多项式运动模型，根据当前运动块、第一前向匹配块以及第二前向匹配块中相同位置的像素点位置，确定二次多项式运动模型的模型参数，具体包括：
确定当前运动块、第一前向匹配块以及第二前向匹配块中左上角第一个像素，分别为当前像素点、第一前向像素点以及第二前向像素点；
将当前像素点、第一前向像素点以及第二前向像素点代入二次多项式运动模型，通过计算求解，得到二次多项式运动模型的模型参数。
在本申请一些实施方式中，根据确定模型参数的二次多项式运动模型，确定当前编码块的预测参考块，具体包括：
设定当前编码块为预测参考块的前向运动块，当前编码块与预测参考块的横向距离为一固定值；
根据当前编码块的位置坐标、当前编码块与预测参考块的横向距离以及二次多项式运动模型，确定预测参考块的位置坐标。
在本申请一些实施方式中，根据确定模型参数的二次多项式运动模型，确定当前编码块的预测参考块，具体包括：
设定预测参考块为当前编码块的前向运动块，当前编码块与预测参考块的横向距离为一固定值；
根据当前编码块的位置坐标、当前编码块与预测参考块的横向距离以及二次多项式运动模型，确定预测参考块的位置坐标。
在本申请一些实施方式中，根据确定模型参数的二次多项式运动模型，确定当前编码块的预测参考块之后，还包括：
计算当前编码块与预测参考块之间的总差值；
当总差值在小于或等于阈值时，则确定预测参考块为最终的预测参考块。
在本申请一些实施方式中，根据确定模型参数的二次多项式运动模型，确定当前编码块的预测参考块之后，还包括：
计算当前编码块与预测参考块之间的总差值；
当总差值在大于阈值时，则根据确定模型参数的二次多项式运动模型，确定新的预测参考块。
根据本申请实施例的第二个方面，提供了一种基于二次多项式的运动矢量预测系统，具体包括：
运动估计单元：用于通过基于块的运动估计，按时间倒序，依次确定当前运动块、第一前向匹配块以及第二前向匹配块；
二次多项式运动模型单元：用于构建二次多项式运动模型，根据当前运动块、第一前向匹配块以及第二前向匹配块中相同位置的像素点位置，确定二次多项式运动模型的模型参数；
预测参考块单元：用于根据确定模型参数的二次多项式运动模型，确定当前编码块的预测参考块；
运动矢量预测单元：用于根据预测参考块，得到运动矢量预测值；
视频编解码单元：用于根据运动矢量预测值进行视频编解码。
根据本申请实施例的第三个方面，提供了一种基于二次多项式的运动矢量预测设备，包括：
存储器：用于存储可执行指令；以及
处理器:用于与存储器连接以执行可执行指令从而完成基于二次多项式的运动矢量预测方法。
根据本申请实施例的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以实现基于二次多项式的运动矢量预测方法。
采用本申请实施例中的基于二次多项式的运动矢量预测方法、系统及计算机介质，通过基于块的运动估计，按时间倒序，依次确定当前运动块、第一前向匹配块以及第二前向匹配块；构建二次多项式运动模型，根据当前运动块、第一前向匹配块以及第二前向匹配块中相同位置的像素点位置，确定二次多项式运动模型的模型参数；根据确定模型参数的二次多项式运动模型，确定当前编码块的预测参考块；根据预测参考块，得到运动矢量预测值。最后根据得到的运动矢量预测值进行视频编解码，实现了在面对编码块运动轨迹呈曲线变化时，提高了运动预测准确度以及编码效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1中示出了根据本申请实施例的基于二次多项式的运动矢量预测方法的步骤示意图；
图2中示出了根据本申请实施例的基于二次多项式的运动矢量预测方法中编码块的位置示意图；
图3中示出了根据本申请实施例的基于二次多项式的运动矢量预测方法中编码块的另一位置示意图；
图4中示出了根据本申请实施例的基于二次多项式的运动矢量预测系统的结构示意图；
图5中示出了根据本申请实施例的基于二次多项式的运动矢量预测设备的结构示意图。
具体实施方式
在实现本申请的过程中，发明人发现编码过程中，由于一个运动块的运动矢量与其时域上的若干前向匹配块存在一定的相关性和可预测性，因此为了提高压缩效率，通常还对帧间预测的运动矢量进行预测编码。
然而，现有编码技术只采用了对多个预测向量进行线性加权组合作为时域运动矢量的预测方法。但是，当运动物体运动轨迹呈曲线变化时，通过相同的运动预测方法，运动矢量残差较大，导致了预测准确度大幅下降，编码效率较低。
鉴于以上问题，本申请建立二次多项式作为运动模型，通过若干图像进行训练，得到二次多项式的参数，通过二次多项式运动模型进而确定后续图像帧中的匹配块位置。从而在面对编码块运动轨迹呈曲线变化时，提高了运动预测准确度以及编码效率。
具体的，本申请的基于二次多项式的运动矢量预测方法、系统及计算机介质，通过基于块的运动估计，按时间倒序，依次确定当前运动块、第一前向匹配块以及第二前向匹配块；构建二次多项式运动模型，根据当前运动块、第一前向匹配块以及第二前向匹配块中相同位置的像素点位置，确定二次多项式运动模型的模型参数；根据确定模型参数的二次多项式运动模型，确定当前编码块的预测参考块；根据预测参考块，得到运动矢量预测值。最后根据得到的运动矢量预测值进行视频编解码。
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例1
图1中示出了根据本申请实施例的基于二次多项式的运动矢量预测方法的步骤示意图。
如图1所示，本申请实施例的基于二次多项式的运动矢量预测方法，具体包括以下步骤：
S101：通过基于块的运动估计，按时间顺序，依次确定当前运动块、第一前向匹配块以及第二前向匹配块。
图2和图3中示出了根据本申请实施例的基于二次多项式的运动矢量预测方法中编码块的位置示意图。
目前，帧间预测主要通过基于块的运动估计来搜索匹配块，匹配块可能在之前出现的I或P帧中，也可以在之后出现的图像帧中搜索。
如图2所示，按时间顺序，则可以依次确定当前运动块、第一前向匹配块以及第二前向匹配块，即需要确定当前运动块的前向匹配块、以及前向匹配块的前向匹配块，分别标记为运动块1、运动块2和运动块3。
运动块1、2和3分属不同的三个图像帧中，该图像帧为重构图像。
在一种实施方式中，当前运动块、第一前向匹配块以及第二前向匹配块分别属于连续的三帧图像。最初的三个图像帧按H.264、H.265、H.266及后续标准规定的方式继续编码，并形成至少3帧图像留着缓存中，在一种实施例中，这三帧图像是连续的。
S102：构建二次多项式运动模型，根据当前运动块、第一前向匹配块以及第二前向匹配块中相同位置的像素点位置，确定二次多项式运动模型的模型参数。
S102具体包括：
首先，确定当前运动块、第一前向匹配块以及第二前向匹配块中左上角第一个像素，分别为当前像素点、第一前向像素点以及第二前向像素点；
然后，将当前像素点、第一前向像素点以及第二前向像素点代入二次多项式运动模型，通过计算求解，得到二次多项式运动模型的模型参数。
在具体实施过程中，假设当前运动块、第一前向匹配块以及第二前向匹配块左上角第一个像素的坐标分别为p0(x0,y0)、p1(x1,y1)和p3(x2,y2)，那么这三个点可以构成一条如图2所示的一条曲线。该曲线可以用一个二次多项式表示，即构建二次多项式运动模型公式（1）为：
y=a*x^2+b*x+c公式（1）
将三个像素点坐标位置p0(x0,y0)、p1(x1,y1)和p3(x2,y2)，代入公式（1），得到以下公式（2）：
y0=a*x0^2 + b*x0 + c；
y1=a*x1^2 + b*x1 + c；
y2=a*x2^2+ b*x2 + c；公式（2）
根据公式（2），进行方程式求解，可以分别求得二次多项式运动模型的模型参数a、b以及c。
再通过运动估计预测前向匹配块的过程中，若存在当前块不支持运动预测、或前向匹配块不支持前向预测的情况时，则按照其它现有常规方法处理得到第一前向匹配块以及第二前向匹配块。
S103：根据确定模型参数的二次多项式运动模型，确定当前编码块的预测参考块。
S103具体包括：
设定当前编码块与预测参考块的横向距离为一固定值；
根据当前编码块的位置坐标、当前编码块与预测参考块的横向距离以及二次多项式运动模型，确定预测参考块的位置坐标。
其中，当前编码块为预测参考块的前向运动块，或者设定预测参考块为当前编码块的前向运动块。
具体实施过程中，当前编码块为预测参考块的前向运动块时，将当前编码块位置代入二次多项式运动模型，来求解预测参考块的位置。
例如，如图2和3所示，由运动块3、2以及1对应P3、P1以及P0点，可以预测下一帧中与其最可能匹配的运动块4中P4（x3,y3）的位置。以运动块3确定预测参考块为例，运动块3与运动块4的横向距离为一固定值，即设定运动块4中P4的横坐标为x3=x2+1，那么将x3代入二次多项式运动模型y=a*x^2 + b*x + c中，得到运动块4中P4的竖坐标为y3=a*(x2+1)^2+ (x2+1)*x + c，进而通过横坐标和竖坐标(x3,y3)，确定预测参考块。
如图2和3所示，P4所在运动块即运动块3、2以及1可能匹配的运动块。反过来说，对于该运动块4，最佳前向匹配块是运动块3。
另一具体实施过程中，当前编码块为预测参考块的前向运动块时，同样将当前编码块位置代入二次多项式运动模型，来求解预测参考块的位置。
例如，如图2和3所示，由运动块4中点P4（x3,y3），可以预测运动块2中点P3（x2,y2）的位置及运动矢量预测。以运动块4确定预测参考块为例，运动块4与运动块3的横向距离为一固定值，即设定运动块3中P3的横坐标为x2=x3-1，那么将x2代入二次多项式运动模型y=a*x^2 + b*x + c中，得到运动块3中P3的竖坐标为y2=a*(x3-1)^2 + b*(x3-1) + c，进而通过横坐标和竖坐标(x2,y2)所在运动块，确定当前块的最佳匹配块，即确定预测参考块。
在通过S103找到最佳匹配块，即预测参考块后，比较运动块在两帧图像中的位置，得到运动矢量。
在本申请一些实施方式中，根据确定模型参数的二次多项式运动模型，确定当前编码块的预测参考块之后，还包括：
计算当前编码块与预测参考块之间的总差值，例如，可以是各像素值插值绝对值之和；
当总差值在小于或等于阈值时，则搜索中止，确定当前预测参考块为最终的预测参考块。当总差值在大于阈值时，则根据确定模型参数的二次多项式运动模型，确定新的预测参考块。继续搜索其它位置的候选参考块，直到找到满足条件的预测参考块为止。然后计算运动矢量预测值。通过这种方法中，实际上将通过二项式计算出来的候选匹配块作为匹配搜索的起点，有利于减少搜索工作量。
S104：根据预测参考块，得到运动矢量预测值。
S105：根据运动矢量预测值进行视频编解码。
在一种实施例中，在找到当前编码块的前向匹配块后，按照类似方法确定该前向匹配块的前向匹配块。如图3所示，若运动块4为当前编码块，则分别为块3和块2。然后将块3和块2的运动矢量做加权平均，作为当前编码块的运动矢量预测值。
编码端处理流程中，首先按照以上S101-S104，确定运动矢量预测值，之后，将实际运动矢量减去运动预测，形成运动矢量残差，然后再通过经过变换、量化、熵编码等过程转换为视频码流供解码端（器）解码播放。将运动矢量编码转换为视频码流的这一过程属于视频编码常规技术，本申请此处不再赘述。
解码端的处理流程中，首先按照以上S101-S104，确定运动矢量预测值，之后，从视频码率中，经过熵解码、反量化、反变换等处理流程，得到运动矢量残差。将运动矢量残差与预测参考块相加，即得到重建图像块。重构运动块这一过程属于视频解码常规技术，本申请此处不再赘述。
采用本申请实施例中的基于二次多项式的运动矢量预测方法，通过基于块的运动估计，按时间倒序，依次确定当前运动块、第一前向匹配块以及第二前向匹配块；构建二次多项式运动模型，根据当前运动块、第一前向匹配块以及第二前向匹配块中相同位置的像素点位置，确定二次多项式运动模型的模型参数；根据确定模型参数的二次多项式运动模型，确定当前编码块的预测参考块；根据预测参考块，得到运动矢量预测值。最后根据得到的运动矢量预测值进行视频编解码，实现了在面对编码块运动轨迹呈曲线变化时，提高了运动预测准确度以及编码效率。
实施例2
本实施例提供了一种基于二次多项式的运动矢量预测系统，对于本实施例的基于二次多项式的运动矢量预测系统中未披露的细节，请参照其它实施例中的基于二次多项式的运动矢量预测方法的具体实施内容。
图4中示出了根据本申请实施例的基于二次多项式的运动矢量预测系统的结构示意图。
如图4所示，本申请实施例的基于二次多项式的运动矢量预测系统，具体包括运动估计单元10、二次多项式运动模型单元20、预测参考块单元30、运动矢量预测单元40以及视频编解码单元50。
运动估计单元10：用于通过基于块的运动估计，按时间倒序，依次确定当前运动块、第一前向匹配块以及第二前向匹配块。
图2和图3中示出了根据本申请实施例的基于二次多项式的运动矢量预测方法中编码块的位置示意图。
目前，帧间预测主要通过基于块的运动估计来搜索匹配块，匹配块可能在之前出现的I或P帧中，也可以在之后出现的图像帧中搜索。
如图2所示，按时间顺序，则可以依次确定当前运动块、第一前向匹配块以及第二前向匹配块，即需要确定当前运动块的前向匹配块、以及前向匹配块的前向匹配块，分别标记为运动块1、运动块2和运动块3。
运动块1、2和3分属不同的三个图像帧中，该图像帧为重构图像。
在一种实施方式中，当前运动块、第一前向匹配块以及第二前向匹配块分别属于连续的三帧图像。最初的三个图像帧按H.264、H.265、H.266及后续标准规定的方式继续编码，并形成至少3帧图像留着缓存中，在一种实施例中，这三帧图像是连续的。
二次多项式运动模型单元20：用于构建二次多项式运动模型，根据当前运动块、第一前向匹配块以及第二前向匹配块中相同位置的像素点位置，确定二次多项式运动模型的模型参数。
具体包括：
首先，确定当前运动块、第一前向匹配块以及第二前向匹配块中左上角第一个像素，分别为当前像素点、第一前向像素点以及第二前向像素点；
然后，将当前像素点、第一前向像素点以及第二前向像素点代入二次多项式运动模型，通过计算求解，得到二次多项式运动模型的模型参数。
在具体实施过程中，假设当前运动块、第一前向匹配块以及第二前向匹配块左上角第一个像素的坐标分别为p0(x0,y0)、p1(x1,y1)和p3(x2,y2)，那么这三个点可以构成一条如图2所示的一条曲线。该曲线可以用一个二次多项式表示，即构建二次多项式运动模型公式（1）为：
y=a*x^2+b*x+ c，公式（1）
将三个像素点坐标位置p0(x0,y0)、p1(x1,y1)和p3(x2,y2)，代入公式（1），得到以下公式（2）：
y0=a*x0^2 + b*x0 + c；
y1=a*x1^2 + b*x1 + c；
y2=a*x2^2+ b*x2 + c；公式（2）
根据公式（2），进行方程式求解，可以分别求得二次多项式运动模型的模型参数a、b以及c。
再通过运动估计预测前向匹配块的过程中，若存在当前块不支持运动预测、或前向匹配块不支持前向预测的情况时，则按照其它现有常规方法处理得到第一前向匹配块以及第二前向匹配块。
预测参考块单元30：用于根据确定模型参数的二次多项式运动模型，确定当前编码块的预测参考块。
具体包括：
设定当前编码块与预测参考块的横向距离为一固定值；
根据当前编码块的位置坐标、当前编码块与预测参考块的横向距离以及二次多项式运动模型，确定预测参考块的位置坐标。
其中，当前编码块为预测参考块的前向运动块，或者设定预测参考块为当前编码块的前向运动块。
具体实施过程中，当前编码块为预测参考块的前向运动块时，将当前编码块位置代入二次多项式运动模型，来求解预测参考块的位置。
例如，如图2和3所示，由运动块3、2以及1对应P3、P1以及P0点，可以预测下一帧中与其最可能匹配的运动块4中P4（x3,y3）的位置。以运动块3确定预测参考块为例，运动块3与运动块4的横向距离为一固定值，即设定运动块4中P4的横坐标为x3=x2+1，那么将x3代入二次多项式运动模型y=a*x^2 + b*x + c中，得到运动块4中P4的竖坐标为y3=a*(x2+1)^2+ (x2+1)*x + c，进而通过横坐标和竖坐标(x3,y3)，确定预测参考块。
如图2和3所示，P4所在运动块即运动块3、2以及1可能匹配的运动块。反过来说，对于该运动块4，最佳前向匹配块是运动块3。
另一具体实施过程中，当前编码块为预测参考块的前向运动块时，同样将当前编码块位置代入二次多项式运动模型，来求解预测参考块的位置。
例如，如图2和3所示，由运动块4中点P4（x3,y3），可以预测运动块2中点P3（x2,y2）的位置及运动矢量预测。以运动块4确定预测参考块为例，运动块4与运动块3的横向距离为一固定值，即设定运动块3中P3的横坐标为x2=x3-1，那么将x2代入二次多项式运动模型y=a*x^2 + b*x + c中，得到运动块3中P3的竖坐标为y2=a*(x3-1)^2 + b*(x3-1) + c，进而通过横坐标和竖坐标(x2,y2)所在运动块，确定当前块的最佳匹配块，即确定预测参考块。
在找到最佳匹配块，即预测参考块后，比较运动块在两帧图像中的位置，得到运动矢量。
在本申请一些实施方式中，根据确定模型参数的二次多项式运动模型，确定当前编码块的预测参考块之后，还包括：
计算当前编码块与预测参考块之间的总差值，例如，可以是各像素值插值绝对值之和；
当总差值在小于或等于阈值时，则搜索中止，确定当前预测参考块为最终的预测参考块。当总差值在大于阈值时，则根据确定模型参数的二次多项式运动模型，确定新的预测参考块。继续搜索其它位置的候选参考块，直到找到满足条件的预测参考块为止。然后计算运动矢量预测值。通过这种方法中，实际上将通过二项式计算出来的候选匹配块作为匹配搜索的起点，有利于减少搜索工作量。
运动矢量预测单元40：用于根据预测参考块，得到运动矢量预测值。视频编解码单元50根据运动矢量预测值进行视频编解码。
在一种实施例中，在找到当前编码块的前向匹配块后，按照类似方法确定该前向匹配块的前向匹配块。如图3所示，若运动块4为当前编码块，则分别为块3和块2。然后将块3和块2的运动矢量做加权平均，作为当前编码块的运动矢量预测值。
编码端处理流程中，首先通过运动估计单元10、二次多项式运动模型单元20、预测参考块单元30以及运动矢量预测单元40，确定运动矢量预测值，之后，将实际运动矢量减去运动预测，形成运动矢量残差，然后再通过经过变换、量化、熵编码等过程转换为视频码流供解码端（器）解码播放。将运动矢量编码转换为视频码流的这一过程属于视频编码常规技术，本申请此处不再赘述。
解码端的处理流程中，首先通过运动估计单元10、二次多项式运动模型单元20、预测参考块单元30以及运动矢量预测单元40确定运动矢量预测值，之后，从视频码率中，经过熵解码、反量化、反变换等处理流程，得到运动矢量残差。将运动矢量残差与预测参考块相加，即得到重建图像块。重构运动块这一过程属于视频解码常规技术，本申请此处不再赘述。
采用本申请实施例中的基于二次多项式的运动矢量预测系统，运动估计单元10通过基于块的运动估计，按时间倒序，依次确定当前运动块、第一前向匹配块以及第二前向匹配块；二次多项式运动模型单元20构建二次多项式运动模型，根据当前运动块、第一前向匹配块以及第二前向匹配块中相同位置的像素点位置，确定二次多项式运动模型的模型参数；预测参考块单元30根据确定模型参数的二次多项式运动模型，确定当前编码块的预测参考块；运动矢量预测单元40根据预测参考块，得到运动矢量预测值。最后视频编解码单元50根据运动矢量预测值进行视频编解码。实现了在面对编码块运动轨迹呈曲线变化时，提高了运动预测准确度以及编码效率。
实施例3
本实施例提供了一种基于二次多项式的运动矢量预测设备，对于本实施例的基于二次多项式的运动矢量预测设备中未披露的细节，请参照其它实施例中的基于二次多项式的运动矢量预测方法或系统具体的实施内容。
图5中示出了根据本申请实施例的基于二次多项式的运动矢量预测设备400的结构示意图。
如图5所示，运动矢量预测设备400，包括：
存储器402：用于存储可执行指令；以及
处理器401:用于与存储器402连接以执行可执行指令从而完成运动矢量预测方法。
本领域技术人员可以理解，示意图5仅仅是运动矢量预测设备400的示例，并不构成对运动矢量预测设备400的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如运动矢量预测设备400还可以包括输入输出设备、网络接入设备、总线等。
所称处理器401(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器401也可以是任何常规的处理器等，处理器401是运动矢量预测设备400的控制中心，利用各种接口和线路连接整个运动矢量预测设备400的各个部分。
存储器402可用于存储计算机可读指令，处理器401通过运行或执行存储在存储器402内的计算机可读指令或模块，以及调用存储在存储器402内的数据，实现运动矢量预测设备400的各种功能。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据运动矢量预测设备400使用所创建的数据等。此外，存储器402可以包括硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card， SMC），安全数字（SecureDigital， SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）或其他非易失性/易失性存储器件。
运动矢量预测设备400集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机可读指令来指令相关的硬件来完成，的计算机可读指令可存储于一计算机可读存储介质中，该计算机可读指令在被处理器执行时，可实现上述各个方法实施例的步骤。
实施例4
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以实现其他实施例中的基于二次多项式的运动矢量预测方法。
采用本申请实施例中的基于二次多项式的运动矢量预测设备及计算机介质，通过基于块的运动估计，按时间倒序，依次确定当前运动块、第一前向匹配块以及第二前向匹配块；构建二次多项式运动模型，根据当前运动块、第一前向匹配块以及第二前向匹配块中相同位置的像素点位置，确定二次多项式运动模型的模型参数；根据确定模型参数的二次多项式运动模型，确定当前编码块的预测参考块；根据预测参考块，得到运动矢量预测值。最后根据得到的运动矢量预测值进行视频编解码，实现了在面对编码块运动轨迹呈曲线变化时，提高了运动预测准确度以及编码效率。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种基于二次多项式的运动矢量预测方法，其特征在于，具体包括以下步骤：
通过基于块的运动估计，按时间顺序，依次确定当前运动块、第一前向匹配块以及第二前向匹配块；
构建二元二次多项式运动模型，根据所述当前运动块、第一前向匹配块以及第二前向匹配块中相同位置的像素点位置，确定所述二元二次多项式运动模型的模型参数；
根据所述确定模型参数的二元二次多项式运动模型，确定当前编码块的预测参考块；
根据所述预测参考块，得到当前编码块的运动矢量预测值；
根据所述运动矢量预测值进行视频编解码。
2.根据权利要求1所述的基于二次多项式的运动矢量预测方法，其特征在于，所述当前运动块、第一前向匹配块以及第二前向匹配块属于连续的三帧图像。
3.根据权利要求1所述的基于二次多项式的运动矢量预测方法，其特征在于，所述构建二元二次多项式运动模型，根据所述当前运动块、第一前向匹配块以及第二前向匹配块中相同位置的像素点位置，确定所述二元二次多项式运动模型的模型参数，具体包括：
确定当前运动块、第一前向匹配块以及第二前向匹配块中左上角第一个像素，分别为当前像素点、第一前向像素点以及第二前向像素点；
将所述当前像素点、第一前向像素点以及第二前向像素点代入所述二元二次多项式运动模型，通过计算求解，得到所述二元二次多项式运动模型的模型参数。
4.根据权利要求1所述的基于二次多项式的运动矢量预测方法，其特征在于，所述根据所述确定模型参数的二元二次多项式运动模型，确定当前编码块的预测参考块，具体包括：
设定当前编码块为所述预测参考块的前向运动块，所述当前编码块与预测参考块的横向距离为一固定值；
根据所述当前编码块的位置坐标、当前编码块与预测参考块的横向距离以及二元二次多项式运动模型，确定所述预测参考块的位置坐标。
5.根据权利要求1所述的基于二次多项式的运动矢量预测方法，其特征在于，所述根据所述确定模型参数的二元二次多项式运动模型，确定当前编码块的预测参考块，具体包括：
设定预测参考块为所述当前编码块的前向运动块，所述当前编码块与预测参考块的横向距离为一固定值；
根据所述当前编码块的位置坐标、当前编码块与预测参考块的横向距离以及二元二次多项式运动模型，确定所述预测参考块的位置坐标。
6.根据权利要求1所述的基于二次多项式的运动矢量预测方法，其特征在于，所述根据所述确定模型参数的二元二次多项式运动模型，确定当前编码块的预测参考块之后，还包括：
计算所述当前编码块与预测参考块之间的总差值；
当总差值在小于或等于阈值时，则确定所述预测参考块为最终的预测参考块。
7.根据权利要求1所述的基于二次多项式的运动矢量预测方法，其特征在于，所述根据所述确定模型参数的二元二次多项式运动模型，确定当前编码块的预测参考块之后，还包括：
计算所述当前编码块与预测参考块之间的总差值；
当总差值在大于阈值时，则根据所述确定模型参数的二元二次多项式运动模型，确定新的预测参考块。
8.一种基于二次多项式的运动矢量预测系统，其特征在于，具体包括：
运动估计单元：用于通过基于块的运动估计，按时间倒序，依次确定当前运动块、第一前向匹配块以及第二前向匹配块；
二元二次多项式运动模型单元：用于构建二元二次多项式运动模型，根据所述当前运动块、第一前向匹配块以及第二前向匹配块中相同位置的像素点位置，确定所述二元二次多项式运动模型的模型参数；
预测参考块单元：用于根据所述确定模型参数的二元二次多项式运动模型，确定当前编码块的预测参考块；
运动矢量预测单元：用于根据所述预测参考块，得到运动矢量预测值；
视频编解码单元：用于根据所述运动矢量预测值进行视频编解码。
9.一种基于二次多项式的运动矢量预测设备，其特征在于，包括：
存储器：用于存储可执行指令；以及
处理器:用于与所述存储器连接以执行所述可执行指令从而完成权利要求1-7任一项所述的基于二次多项式的运动矢量预测方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序；计算机程序被处理器执行以实现如权利要求1-7任一项所述的基于二次多项式的运动矢量预测方法。
CN202011397791.8A 2020-12-04 2020-12-04 基于二次多项式的运动矢量预测方法、系统及计算机介质 Active CN112203091B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011397791.8A CN112203091B (zh) 2020-12-04 2020-12-04 基于二次多项式的运动矢量预测方法、系统及计算机介质
PCT/CN2021/109738 WO2022116574A1 (zh) 2020-12-04 2021-07-30 基于二次多项式的运动矢量预测方法、系统及计算机介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011397791.8A CN112203091B (zh) 2020-12-04 2020-12-04 基于二次多项式的运动矢量预测方法、系统及计算机介质

Publications (2)

Publication Number Publication Date
CN112203091A CN112203091A (zh) 2021-01-08
CN112203091B true CN112203091B (zh) 2021-05-04

Family

ID=74033812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011397791.8A Active CN112203091B (zh) 2020-12-04 2020-12-04 基于二次多项式的运动矢量预测方法、系统及计算机介质

Country Status (2)

Country Link
CN (1) CN112203091B (zh)
WO (1) WO2022116574A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112203091B (zh) * 2020-12-04 2021-05-04 浙江智慧视频安防创新中心有限公司 基于二次多项式的运动矢量预测方法、系统及计算机介质
CN113518225B (zh) * 2021-08-10 2023-06-16 辽宁师范大学 6次多项式拟合匹配误差曲面的快速缩放运动估计方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100389601C (zh) * 2005-10-09 2008-05-21 北京中星微电子有限公司 一种视频电子防抖的装置
US7916791B2 (en) * 2006-06-16 2011-03-29 International Business Machines Corporation Method and system for non-linear motion estimation
CN103647972B (zh) * 2008-12-03 2017-04-12 日立麦克赛尔株式会社 运动图像解码方法和运动图像编码方法
GB2469679B (en) * 2009-04-23 2012-05-02 Imagination Tech Ltd Object tracking using momentum and acceleration vectors in a motion estimation system
US20150208082A1 (en) * 2014-01-21 2015-07-23 Vixs Systems, Inc. Video encoder with reference picture prediction and methods for use therewith
US10271062B2 (en) * 2016-03-18 2019-04-23 Google Llc Motion vector prediction through scaling
WO2019089382A1 (en) * 2017-10-31 2019-05-09 Vid Scale, Inc. 360-degree video coding using face-based geometry padding
CN112203091B (zh) * 2020-12-04 2021-05-04 浙江智慧视频安防创新中心有限公司 基于二次多项式的运动矢量预测方法、系统及计算机介质

Also Published As

Publication number Publication date
WO2022116574A1 (zh) 2022-06-09
CN112203091A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
CN110169073B (zh) 编码方法、编码装置、解码方法及解码装置
CN110249628B (zh) 用于预测分区的视频编码器和解码器
CN102047665B (zh) 运动图像编码方法以及运动图像解码方法
CN103647972B (zh) 运动图像解码方法和运动图像编码方法
US10412409B2 (en) Encoding system using motion estimation and encoding method using motion estimation
CN116233463A (zh) 用于多参考预测的运动矢量修正
CN110870313A (zh) 用于候选列表修剪的方法和装置
US11849142B2 (en) Method and apparatus for encoding or decoding video data with sub-pixel motion vector refinement
CN112203091B (zh) 基于二次多项式的运动矢量预测方法、系统及计算机介质
CN107360433B (zh) 一种帧间预测编码方法和装置
US20120106638A1 (en) Decoder-Side Motion Derivation with Motion Vector Predictors
KR100490730B1 (ko) 비디오 영상 압축 시스템에서의 적응적 패턴을 이용한움직임 예측 장치 및 방법
CN114727114A (zh) 运动矢量的确定方法和装置
CN114422803B (zh) 一种视频处理方法、装置及设备
JP2019530299A (ja) 画像コーディング／デコーディング方法、装置及び画像処理機器
JPH10285603A (ja) 画像符号化方法
CN114365498A (zh) 帧间预测方法、编码器、解码器及存储介质
CN110944209A (zh) 运动矢量的确定方法和装置
JP2005244542A (ja) 動画像符号化装置、動画像符号化方法
GB2595195A (en) Method and apparatus for encoding or decoding video data with sub-pixel motion vector refinement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210108

Assignee: Institute of Information Technology, Zhejiang Peking University

Assignor: Zhejiang smart video security Innovation Center Co.,Ltd.

Contract record no.: X2021330000326

Denomination of invention: Motion vector prediction method, system and computer medium based on quadratic polynomial

Granted publication date: 20210504

License type: Common License

Record date: 20210927

EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210108

Assignee: Hangzhou Weiming Information Technology Co.,Ltd.

Assignor: Zhejiang smart video security Innovation Center Co.,Ltd.

Contract record no.: X2021330000536

Denomination of invention: Motion vector prediction method, system and computer medium based on quadratic polynomial

Granted publication date: 20210504

License type: Common License

Record date: 20211021

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210108

Assignee: Zhejiang Fenghuang Yunrui Technology Co.,Ltd.

Assignor: Zhejiang smart video security Innovation Center Co.,Ltd.

Contract record no.: X2022330000060

Denomination of invention: Motion vector prediction method, system and computer medium based on quadratic polynomial

Granted publication date: 20210504

License type: Common License

Record date: 20220325

EC01 Cancellation of recordation of patent licensing contract
EC01 Cancellation of recordation of patent licensing contract

Assignee: Zhejiang Fenghuang Yunrui Technology Co.,Ltd.

Assignor: Zhejiang smart video security Innovation Center Co.,Ltd.

Contract record no.: X2022330000060

Date of cancellation: 20220706

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210108

Assignee: Zhejiang Fenghuang Yunrui Technology Co.,Ltd.

Assignor: Zhejiang smart video security Innovation Center Co.,Ltd.

Contract record no.: X2022330000279

Denomination of invention: Motion vector prediction method, system and computer medium based on quadratic polynomial

Granted publication date: 20210504

License type: Common License

Record date: 20220707

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210108

Assignee: Hangzhou Lezhi Weiming Technology Co.,Ltd.

Assignor: Zhejiang smart video security Innovation Center Co.,Ltd.

Contract record no.: X2022330000334

Denomination of invention: Motion vector prediction method, system and computer medium based on quadratic polynomial

Granted publication date: 20210504

License type: Common License

Record date: 20220726