CN102387360A - 视频编解码帧间图像预测方法及视频编解码器 - Google Patents
视频编解码帧间图像预测方法及视频编解码器 Download PDFInfo
- Publication number
- CN102387360A CN102387360A CN2010105523055A CN201010552305A CN102387360A CN 102387360 A CN102387360 A CN 102387360A CN 2010105523055 A CN2010105523055 A CN 2010105523055A CN 201010552305 A CN201010552305 A CN 201010552305A CN 102387360 A CN102387360 A CN 102387360A
- Authority
- CN
- China
- Prior art keywords
- pixel
- frame
- motion vector
- filtering
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/567—Motion estimation based on rate distortion criteria
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种视频编解码帧间图像预测方法及视频编解码器,其中视频编码帧间图像预测方法包括:在参考帧的整像素位置进行运动估计,确定当前帧中当前编码块的最优运动矢量;利用所述最优运动矢量在参考帧中所指向的整像素位置信息、以及当前帧中当前编码块的空间相邻像素信息,进行插值滤波处理。视频解码帧间图像预测方法包括:解码获得当前帧中当前解码块的运动矢量;利用所述运动矢量在参考帧中所指向的参考像素位置信息、以及当前帧中当前解码块的空间相邻像素信息,进行插值滤波处理。本发明可以提高视频编解码效率,降低提供相同视频质量所需要的比特率,还可以减少非零预测残差信号,有利于减少方块效应。
Description
技术领域
本发明涉及运动图像预测编码和插值滤波技术领域,尤其涉及视频编解码帧间图像预测方法及视频编解码器。
背景技术
运动图像压缩编解码总体上分为帧间图像编解码和帧内图像编解码两种预测编解码技术。帧内图像编/解码利用来自当前帧已经编/解码图像块的信息对当前编/解码图像块进行预测编/解码。帧间图像编/解码利用已经完成编/解码的图像帧信息对当前编/解码图像进行预测编/解码。
帧间图像编/解码通过对参考帧进行插值滤波,为当前帧提供残差信号尽可能小的帧间图像预测。现有的参考帧插值滤波所使用的所有插值像素均来自参考帧。然而,插值后的图像信号是用来对当前帧进行预测,现有的插值算法中未能将当前帧的图像信息加以利用。
在近两年国际视频压缩编码标准提案中,帧间图像编解码预测信息改进的算法中,有利用当前帧中当前编/解码块的空间相邻信息对帧间图像预测信息进行二阶预测的算法,然而,发明人在实现本发明的过程中,发现所有这些算法都是对帧间预测信息的改动,视频编解码的效率并不高。
发明内容
本发明实施例提供一种视频编码帧间图像预测方法,用以提高视频编码效率,该方法包括:
在参考帧的整像素位置进行运动估计,确定当前帧中当前编码块的最优运动矢量;
利用所述最优运动矢量在参考帧中所指向的整像素位置信息、以及当前帧中当前编码块的空间相邻像素信息,进行插值滤波处理。
本发明实施例还提供一种视频解码帧间图像预测方法,用以提高视频解码效率,该方法包括:
解码获得当前帧中当前解码块的运动矢量;
利用所述运动矢量在参考帧中所指向的参考像素位置信息、以及当前帧中当前解码块的空间相邻像素信息,进行插值滤波处理。
本发明实施例还提供一种视频编码器,用以提高视频编码效率,包括:
运动估计模块,用于在参考帧的整像素位置进行运动估计,确定当前帧中当前编码块的最优运动矢量;
插值滤波模块,用于利用所述最优运动矢量在参考帧中所指向的整像素位置信息、以及当前帧中当前编码块的空间相邻像素信息,进行插值滤波处理。
本发明实施例还提供一种视频解码器,用以提高视频解码效率,包括:
运动矢量获得模块,用于解码获得当前帧中当前解码块的运动矢量;
插值滤波模块,用于利用所述运动矢量在参考帧中所指向的参考像素位置信息、以及当前帧中当前解码块的空间相邻像素信息,进行插值滤波处理。
本发明实施例中,在参考帧的整像素位置进行运动估计,确定当前帧中当前编码块的最优运动矢量;利用所述最优运动矢量在参考帧中所指向的整像素位置信息、以及当前帧中当前编码块的空间相邻像素信息,进行插值滤波处理,不但同时利用了参考帧和当前帧的信息进行帧间图像预测,而且通过利用当前帧中当前编码块的空间相邻像素信息从运动估计阶段对帧间图像预测进行了改进,从而提高视频编码效率,降低提供相同视频质量所需要的比特率,还可以减少非零预测残差信号,有利于减少方块效应。
本发明实施例中,解码获得当前帧中当前解码块的运动矢量;利用所述运动矢量在参考帧中所指向的参考像素位置信息、以及当前帧中当前解码块的空间相邻像素信息,进行插值滤波处理,不但同时利用了参考帧和当前帧的信息进行帧间图像预测,而且还对应处理在编码端通过利用当前帧中当前编码块的空间相邻像素信息从运动估计阶段对帧间图像预测进行的改进,从而提高视频解码效率,降低提供相同视频质量所需要的比特率,还可以减少非零预测残差信号,有利于减少方块效应。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本发明实施例中视频编码帧间图像预测方法的处理流程图;
图2为本发明实施例中视频解码帧间图像预测方法的处理流程图;
图3为本发明实施例中传统视频编/解码帧间图像预测的方法示意图;
图4为本发明实施例中视频编/解码帧间图像预测方法示意图;
图5为本发明实施例中插值滤波算法示意图;
图6为本发明实施例中视频编码帧间图像预测方法的一个具体实例的处理流程图;
图7为本发明实施例中视频编码器的结构示意图;
图8为本发明实施例中视频编码器中插值滤波模块的结构示意图;
图9为本发明实施例中图7所示视频编码器的具体实例的结构示意图;
图10为本发明实施例中视频编码器中预测输出模块的结构示意图;
图11为本发明实施例中图7所示视频编码器的具体实例的结构示意图;
图12为本发明实施例中视频解码器的结构示意图;
图13为本发明实施例中视频解码器中插值滤波模块的结构示意图;
图14为本发明实施例中图12所示视频解码器的具体实例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
如图1所示,本发明实施例中,视频编码帧间图像预测方法的处理流程可以包括:
步骤101、在参考帧的整像素位置进行运动估计,确定当前帧中当前编码块的最优运动矢量(Motion Vector,MV);这里确定的最优运动矢量是当前帧中当前编码块的整像素位置最优运动矢量;
步骤102、利用所述最优运动矢量在参考帧中所指向的整像素位置信息、以及当前帧中当前编码块的空间相邻像素信息,进行插值滤波处理。
由图1所示流程可以得知,本发明实施例中,在参考帧的整像素位置进行运动估计,确定当前帧中当前编码块的最优运动矢量;利用所述最优运动矢量在参考帧中所指向的整像素位置信息、以及当前帧中当前编码块的空间相邻像素信息,进行插值滤波处理,不但同时利用了参考帧和当前帧的信息进行帧间图像预测,而且通过利用当前帧中当前编码块的空间相邻像素信息从运动估计阶段对帧间图像预测进行了改进,从而提高视频编码效率,降低提供相同视频质量所需要的比特率,还可以减少非零预测残差信号,有利于减少方块效应。
如图2所示,本发明实施例中,视频解码帧间图像预测方法的处理流程可以包括:
步骤201、解码获得当前帧中当前解码块的运动矢量;
步骤202、利用所述运动矢量在参考帧中所指向的参考像素位置信息、以及当前帧中当前解码块的空间相邻像素信息,进行插值滤波处理。
由图2所示流程可以得知,本发明实施例中,解码获得当前帧中当前解码块的运动矢量;利用所述运动矢量在参考帧中所指向的参考像素位置信息、以及当前帧中当前解码块的空间相邻像素信息,进行插值滤波处理,不但同时利用了参考帧和当前帧的信息进行帧间图像预测,而且还对应处理在编码端通过利用当前帧中当前编码块的空间相邻像素信息从运动估计阶段对帧间图像预测进行的改进,从而提高视频解码效率,降低提供相同视频质量所需要的比特率,还可以减少非零预测残差信号,有利于减少方块效应。
下面举具体实例详细说明本发明实施例的视频编/解码帧间图像预测方法。本发明实施例打破了传统的视频编/解码帧间图像预测方案中所有插值信息均来自参考帧的限制,提出了利用参考帧和当前帧中已经编码的可解码像素信息进行预测图像插值的算法。
图3简单示出了传统视频编/解码帧间图像预测的方法。传统方法用编解码顺序中位于当前编/解码帧之前的图像帧作为参考帧,通过对参考帧进行插值滤波提供对当前帧的预测编/解码信息;图3中用于生成预测图像的参考图像均来自参考帧,即第k-1帧。
图4示例性说明了本发明实施例提出的视频编/解码帧间图像预测方法。与图3对比可以看出,本发明实施例与传统的视频编/解码帧间图像预测方法相比,不仅应用了参考帧的图像数据信息,还应用了当前帧的图像数据信息。在图4中,第k帧斜线部分标出了当前帧(第k帧)中用于计算预测图像的像素位置;图4中用于生成预测图像的参考图像来自参考帧(第k-1帧)和当前帧(第k帧)。
在近两年国际视频压缩编解码标准提案中,帧间图像编码预测信息改进的算法中,有利用当前帧当前编/解码块空间相邻信息对帧间图像预测信息进行二阶预测的算法。但是,所有这些都是对帧间预测信息的改动,而不涉及到对运动矢量的最优化选择。
本发明实施例提出的视频编/解码帧间图像预测方法,在编码端是利用当前帧中当前编码块的空间相邻像素信息对预测信息从运动估计(Motion Estimation)阶段进行改进。首先在参考帧的整像素位置进行运动估计,在确定了当前帧中当前编码块的最优运动矢量后,利用该最优运动矢量在参考帧中所指向的整像素位置信息、以及当前帧中当前编码块的空间相邻像素信息进行插值滤波。在解码端是先通过解码获得当前帧中当前解码块的运动矢量;再利用所述运动矢量在参考帧中所指向的参考像素位置信息、以及当前帧中当前解码块的空间相邻像素信息,进行插值滤波处理。
其中,编码端和解码端的插值滤波算法可以如图5所示,按如下公式进行插值滤波处理:
以亮度为例,其中γi,j是当前帧中当前编/解码块参与滤波的当前像素的空间相邻像素亮度值,pi,j是插值滤波处理得到的预测像素的亮度值,αm,n是滤波系数,(i,j)是所述当前像素的位置,(m,n)是所述预测像素的位置;
当(i-m)<0并且(j-n)<3,或者(j-n)<0时,γi-m,j-n是所述当前像素的亮度值,如图5中1-4部分所示;否则,γi-m,j-n是参考帧中参与滤波的像素的亮度值,如图5中5-8部分所示。
若以色度为例,则上述公式中,γi,j是当前帧中当前编码块参与滤波的当前像素的空间相邻像素色度值,pi,j是插值滤波处理得到的预测像素的色度值,αm,n是滤波系数,(i,j)是所述当前像素的位置,(m,n)是所述预测像素的位置;当(i-m)<0并且(j-n)<3,或者(j-n)<0时,γi-m,j-n是所述当前像素的色度值,否则,γi-m,j-n是参考帧中参与滤波的像素的色度值。
本发明实施例提出的视频编/解码帧间图像预测方法包含了所有以本发明实施例方式生成预测图像的方法,涵盖了各种生成αm,n滤波系数的方法。
具体实施时,编码端在进行上述插值滤波处理后,还可以包括:对所述插值滤波处理后获得的预测编码信息中间值进行运动估计;根据运动估计结果,选择最优运动矢量作为当前帧的预测编码信息。
举例来说,对所述插值滤波处理后获得的预测编码信息中间值进行运动估计,可以包括:对所述预测编码信息中间值进行用于确定非整(fractional)像素位置的运动估计。这里的非整像素位置可以是1/2、1/4像素位置,当然,1/2、1/4像素位置仅为一例,实施时还可以是其它的像素位置,例如1/8、1/16像素位置。如图6所示,具体实施时,可以在图1所示流程中,在执行完步骤102后执行步骤103:在参考帧的非整像素位置进行运动估计,确定当前帧中当前编码块的位置最优运动矢量。
举例来说,根据运动估计结果,选择最优运动矢量作为当前帧的预测编码信息,可以包括:根据运动估计结果,选择最小率失真代价(RDcost)对应的运动矢量为最优运动矢量,作为当前帧的预测编码信息。这里选择最小率失真代价对应的运动矢量为最优运动矢量也仅为一例,实施时还可以依据其它参数选择出最优运动矢量。
由上述实施例可知,本发明实施例在进行视频编/解码帧间图像预测时应用了当前帧中当前编码块的空间相邻像素信息进行图像插值,从而使预测图像与当前图像更为相似,本发明实施例可以提供有效的帧间图像预测信息,从而提高视频压缩编解码效率。
具体实施时,本发明实施例的用于插值生成预测当前图像块的参考图像是可选择的。参考图像可以是参考帧图像块,也可以是当前帧图像块和参考帧图像块,对应于产生最小预测误差预测图像的方法作为最优方法来引用。即可以根据适应性二元算术编码(Context-adaptive binary arithmetic coding,CABAC)所得编码值,选择执行前述视频编/解码帧间图像预测方法。具体的,应用该适应性二元算术编码方式时,可以假设预测方法0表示应用传统方法,所有参考图像均来自在当前图像帧之前的图像帧,按照编解码顺序;预测方法1表示应用本发明实施例提出的算法,即图1和图2所示流程涉及的方法,例如利用当前帧中当前图像块上方和左方的图像参与生成预测图像。这样,根据适应性二元算术编码所得编码值产生最优预测图像的方式,可以节省由于编解码预测方式而带来的比特开销(overhead)。
基于同一发明构思,本发明实施例中还提供了一种视频编码器和视频解码器,如下面的实施例所述。由于该视频编码器/视频解码器解决问题的原理与视频编/解码帧间图像预测方法相似,因此该视频编码器/视频解码器的实施可以参见视频编/解码帧间图像预测方法的实施,重复之处不再赘述。
如图7所示,本发明实施例中,视频编码器可以包括:
运动估计模块701,用于在参考帧的整像素位置进行运动估计,确定当前帧中当前编码块的最优运动矢量;
插值滤波模块702,用于利用所述最优运动矢量在参考帧中所指向的整像素位置信息、以及当前帧中当前编码块的空间相邻像素信息,进行插值滤波处理。
如图8所示,一个实施例中,插值滤波模块702可以包括:
获得单元801,用于获得所述最优运动矢量在参考帧中所指向的整像素位置信息、以及当前帧中当前编码块的空间相邻像素信息;
处理单元802,用于按如下公式进行插值滤波处理:
以亮度为例,其中γi,j是当前帧中当前编码块参与滤波的当前像素的空间相邻像素亮度值,pi,j是插值滤波处理得到的预测像素的亮度值,αm,n是滤波系数,(i,j)是所述当前像素的位置,(m,n)是所述预测像素的位置;
当(i-m)<0并且(j-n)<3,或者(j-n)<0时,γi-m,j-n是所述当前像素的亮度值,否则,γi-m,j-n是参考帧中参与滤波的像素的亮度值;
若以色度为例,则上述公式中,γi,j是当前帧中当前编码块参与滤波的当前像素的空间相邻像素色度值,pi,j是插值滤波处理得到的预测像素的色度值,αm,n是滤波系数,(i,j)是所述当前像素的位置,(m,n)是所述预测像素的位置;当(i-m)<0并且(j-n)<3,或者(j-n)<0时,γi-m,j-n是所述当前像素的色度值,否则,γi-m,j-n是参考帧中参与滤波的像素的色度值。
如图9所示,一个实施例中,图7所示的视频编码器还可以包括:
中间值处理模块901,用于对所述插值滤波处理后获得的预测编码信息中间值进行运动估计;
预测输出模块902,用于根据运动估计结果,选择最优运动矢量作为当前帧的预测编码信息。
一个实施例中,中间值处理模块901具体可以用于:
对所述预测编码信息中间值进行用于确定非整像素位置的运动估计。
如图10所示,一个实施例中,预测输出模块902可以包括:
选择单元1001,用于根据运动估计结果,选择最小率失真代价对应的运动矢量;
预测单元1002,用于确定选择的运动矢量为最优运动矢量,作为当前帧的预测编码信息。
如图11所示,一个实施例中,图7所示的视频编码器还可以包括:
选择执行模块1101,用于根据适应性二元算术编码CABAC所得编码值,选择启动图7所示的视频编码器执行。当然图9所示的视频编码器也可以包括选择执行模块1101。
如图12所示,本发明实施例中,视频解码器可以包括:
运动矢量获得模块1201,用于解码获得当前帧中当前解码块的运动矢量;
插值滤波模块1202,用于利用所述运动矢量在参考帧中所指向的参考像素位置信息、以及当前帧中当前解码块的空间相邻像素信息,进行插值滤波处理。
如图13所示,一个实施例中,插值滤波模块1202可以包括:
获得单元1301,用于获得所述运动矢量在参考帧中所指向的参考像素位置信息、以及当前帧中当前解码块的空间相邻像素信息;
处理单元1302,用于按如下公式进行插值滤波处理:
以亮度为例,其中γi,j是当前帧中当前解码块参与滤波的当前像素的空间相邻像素亮度值,pi,j是插值滤波处理得到的预测像素的亮度值,αm,n是滤波系数,(i,j)是所述当前像素的位置,(m,n)是所述预测像素的位置;
当(i-m)<0并且(j-n)<3,或者(j-n)<0时,γi-m,j-n是所述当前像素的亮度值,否则,γi-m,j-n是参考帧中参与滤波的像素的亮度值;
若以色度为例,则上述公式中,γi,j是当前帧中当前编码块参与滤波的当前像素的空间相邻像素色度值,pi,j是插值滤波处理得到的预测像素的色度值,αm,n是滤波系数,(i,j)是所述当前像素的位置,(m,n)是所述预测像素的位置;当(i-m)<0并且(j-n)<3,或者(j-n)<0时,γi-m,j-n是所述当前像素的色度值,否则,γi-m,j-n是参考帧中参与滤波的像素的色度值。
如图14所示,一个实施例中,图12所示的视频解码器还可以包括:
选择执行模块1401,用于根据CABAC所得编码值,选择启动图12所示的视频解码器执行。
综上所述,本发明实施例中,在参考帧的整像素位置进行运动估计,确定当前帧中当前编码块的最优运动矢量;利用所述最优运动矢量在参考帧中所指向的整像素位置信息、以及当前帧中当前编码块的空间相邻像素信息,进行插值滤波处理,不但同时利用了参考帧和当前帧的信息进行帧间图像预测,而且通过利用当前帧中当前编码块的空间相邻像素信息从运动估计阶段对帧间图像预测进行了改进,从而提高视频编码效率,降低提供相同视频质量所需要的比特率,还可以减少非零预测残差信号,有利于减少方块效应。
本发明实施例中,解码获得当前帧中当前解码块的运动矢量;利用所述运动矢量在参考帧中所指向的参考像素位置信息、以及当前帧中当前解码块的空间相邻像素信息,进行插值滤波处理,不但同时利用了参考帧和当前帧的信息进行帧间图像预测,而且还对应处理在编码端通过利用当前帧中当前编码块的空间相邻像素信息从运动估计阶段对帧间图像预测进行的改进,从而提高视频解码效率,降低提供相同视频质量所需要的比特率,还可以减少非零预测残差信号,有利于减少方块效应。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (22)
1.一种视频编码帧间图像预测方法,其特征在于,该方法包括:
在参考帧的整像素位置进行运动估计,确定当前帧中当前编码块的最优运动矢量;
利用所述最优运动矢量在参考帧中所指向的整像素位置信息、以及当前帧中当前编码块的空间相邻像素信息,进行插值滤波处理。
2.如权利要求1所述的方法,其特征在于,利用所述最优运动矢量在参考帧中所指向的整像素位置信息、以及当前帧中当前编码块的空间相邻像素信息,进行插值滤波处理,包括:
按如下公式进行插值滤波处理:
其中γi,j是当前帧中当前编码块参与滤波的当前像素的空间相邻像素亮度值,pi,j是插值滤波处理得到的预测像素的亮度值,αm,n是滤波系数,(i,j)是所述当前像素的位置,(m,n)是所述预测像素的位置;
当(i-m)<0并且(j-n)<3,或者(j-n)<0时,γi-m,j-n是所述当前像素的亮度值,否则,γi-m,j-n是参考帧中参与滤波的像素的亮度值。
3.如权利要求1所述的方法,其特征在于,利用所述最优运动矢量在参考帧中所指向的整像素位置信息、以及当前帧中当前编码块的空间相邻像素信息,进行插值滤波处理,包括:
按如下公式进行插值滤波处理:
其中γi,j是当前帧中当前编码块参与滤波的当前像素的空间相邻像素色度值,pi,j是插值滤波处理得到的预测像素的色度值,αm,n是滤波系数,(i,j)是所述当前像素的位置,(m,n)是所述预测像素的位置;
当(i-m)<0并且(j-n)<3,或者(j-n)<0时,γi-m,j-n是所述当前像素的色度值,否则,γi-m,j-n是参考帧中参与滤波的像素的色度值。
4.如权利要求1所述的方法,其特征在于,还包括:
对所述插值滤波处理后获得的预测编码信息中间值进行运动估计;
根据运动估计结果,选择最优运动矢量作为当前帧的预测编码信息。
5.如权利要求4所述的方法,其特征在于,对所述插值滤波处理后获得的预测编码信息中间值进行运动估计,包括:
对所述预测编码信息中间值进行用于确定非整像素位置的运动估计。
6.如权利要求4所述的方法,其特征在于,根据运动估计结果,选择最优运动矢量作为当前帧的预测编码信息,包括:
根据运动估计结果,选择最小率失真代价对应的运动矢量为最优运动矢量,作为当前帧的预测编码信息。
7.如权利要求1至6任一项所述的方法,其特征在于,还包括:
根据适应性二元算术编码CABAC所得编码值,选择执行所述视频编码帧间图像预测方法。
8.一种视频解码帧间图像预测方法,其特征在于,该方法包括:
解码获得当前帧中当前解码块的运动矢量;
利用所述运动矢量在参考帧中所指向的参考像素位置信息、以及当前帧中当前解码块的空间相邻像素信息,进行插值滤波处理。
9.如权利要求8所述的方法,其特征在于,利用所述运动矢量在参考帧中所指向的参考像素位置信息、以及当前帧中当前解码块的空间相邻像素信息,进行插值滤波处理,包括:
按如下公式进行插值滤波处理:
其中γi,j是当前帧中当前解码块参与滤波的当前像素的空间相邻像素亮度值,pi,j是插值滤波处理得到的预测像素的亮度值,αm,n是滤波系数,(i,j)是所述当前像素的位置,(m,n)是所述预测像素的位置;
当(i-m)<0并且(j-n)<3,或者(j-n)<0时,γi-m,j-n是所述当前像素的亮度值,否则,γi-m,j-n是参考帧中参与滤波的像素的亮度值。
10.如权利要求8所述的方法,其特征在于,利用所述运动矢量在参考帧中所指向的参考像素位置信息、以及当前帧中当前解码块的空间相邻像素信息,进行插值滤波处理,包括:
按如下公式进行插值滤波处理:
其中γi,j是当前帧中当前解码块参与滤波的当前像素的空间相邻像素色度值,pi,j是插值滤波处理得到的预测像素的色度值,αm,n是滤波系数,(i,j)是所述当前像素的位置,(m,n)是所述预测像素的位置;
当(i-m)<0并且(j-n)<3,或者(j-n)<0时,γi-m,j-n是所述当前像素的色度值,否则,γi-m,j-n是参考帧中参与滤波的像素的色度值。
11.如权利要求8、9或10所述的方法,其特征在于,还包括:
根据CABAC所得编码值,选择执行所述视频解码帧间图像预测方法。
12.一种视频编码器,其特征在于,包括:
运动估计模块,用于在参考帧的整像素位置进行运动估计,确定当前帧中当前编码块的最优运动矢量;
插值滤波模块,用于利用所述最优运动矢量在参考帧中所指向的整像素位置信息、以及当前帧中当前编码块的空间相邻像素信息,进行插值滤波处理。
13.如权利要求12所述的视频编码器,其特征在于,所述插值滤波模块包括:
获得单元,用于获得所述最优运动矢量在参考帧中所指向的整像素位置信息、以及当前帧中当前编码块的空间相邻像素信息;
处理单元,用于按如下公式进行插值滤波处理:
其中γi,j是当前帧中当前编码块参与滤波的当前像素的空间相邻像素亮度值,pi,j是插值滤波处理得到的预测像素的亮度值,αm,n是滤波系数,(i,j)是所述当前像素的位置,(m,n)是所述预测像素的位置;
当(i-m)<0并且(j-n)<3,或者(j-n)<0时,γi-m,j-n是所述当前像素的亮度值,否则,γi-m,j-n是参考帧中参与滤波的像素的亮度值。
14.如权利要求12所述的视频编码器,其特征在于,所述插值滤波模块包括:
获得单元,用于获得所述最优运动矢量在参考帧中所指向的整像素位置信息、以及当前帧中当前编码块的空间相邻像素信息;
处理单元,用于按如下公式进行插值滤波处理:
其中γi,j是当前帧中当前编码块参与滤波的当前像素的空间相邻像素色度值,pi,j是插值滤波处理得到的预测像素的色度值,αm,n是滤波系数,(i,j)是所述当前像素的位置,(m,n)是所述预测像素的位置;
当(i-m)<0并且(j-n)<3,或者(j-n)<0时,γi-m,j-n是所述当前像素的色度值,否则,γi-m,j-n是参考帧中参与滤波的像素的色度值。
15.如权利要求12所述的视频编码器,其特征在于,还包括:
中间值处理模块,用于对所述插值滤波处理后获得的预测编码信息中间值进行运动估计;
预测输出模块,用于根据运动估计结果,选择最优运动矢量作为当前帧的预测编码信息。
16.如权利要求15所述的视频编码器,其特征在于,所述中间值处理模块具体用于:
对所述预测编码信息中间值进行用于确定非整像素位置的运动估计。
17.如权利要求15所述的视频编码器,其特征在于,所述预测输出模块包括:
选择单元,用于根据运动估计结果,选择最小率失真代价对应的运动矢量;
预测单元,用于确定选择的运动矢量为最优运动矢量,作为当前帧的预测编码信息。
18.如权利要求12至17任一项所述的视频编码器,其特征在于,还包括:
选择执行模块,用于根据CABAC所得编码值,选择启动所述视频编码器执行。
19.一种视频解码器,其特征在于,包括:
运动矢量获得模块,用于解码获得当前帧中当前解码块的运动矢量;
插值滤波模块,用于利用所述运动矢量在参考帧中所指向的参考像素位置信息、以及当前帧中当前解码块的空间相邻像素信息,进行插值滤波处理。
20.如权利要求19所述的视频解码器,其特征在于,所述插值滤波模块包括:
获得单元,用于获得所述运动矢量在参考帧中所指向的参考像素位置信息、以及当前帧中当前解码块的空间相邻像素信息;
处理单元,用于按如下公式进行插值滤波处理:
其中γi,j是当前帧中当前解码块参与滤波的当前像素的空间相邻像素亮度值,pi,j是插值滤波处理得到的预测像素的亮度值,αm,n是滤波系数,(i,j)是所述当前像素的位置,(m,n)是所述预测像素的位置;
当(i-m)<0并且(j-n)<3,或者(j-n)<0时,γi-m,j-n是所述当前像素的亮度值,否则,γi-m,j-n是参考帧中参与滤波的像素的亮度值。
21.如权利要求19所述的视频解码器,其特征在于,所述插值滤波模块包括:
获得单元,用于获得所述运动矢量在参考帧中所指向的参考像素位置信息、以及当前帧中当前解码块的空间相邻像素信息;
处理单元,用于按如下公式进行插值滤波处理:
其中γi,j是当前帧中当前解码块参与滤波的当前像素的空间相邻像素色度值,pi,j是插值滤波处理得到的预测像素的色度值,αm,n是滤波系数,(i,j)是所述当前像素的位置,(m,n)是所述预测像素的位置;
当(i-m)<0并且(j-n)<3,或者(j-n)<0时,γi-m,j-n是所述当前像素的色度值,否则,γi-m,j-n是参考帧中参与滤波的像素的色度值。
22.如权利要求19、20或21所述的视频解码器,其特征在于,还包括:
选择执行模块,用于根据CABAC所得编码值,选择启动所述视频解码器执行。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010552305.5A CN102387360B (zh) | 2010-09-02 | 2010-11-19 | 视频编解码帧间图像预测方法及视频编解码器 |
US13/819,694 US9294767B2 (en) | 2010-09-02 | 2011-08-31 | Inter picture prediction method for video coding and decoding and codec |
PCT/CN2011/079200 WO2012028102A1 (en) | 2010-09-02 | 2011-08-31 | Inter picture prediction method for video coding and decoding and codec |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010102723312 | 2010-09-02 | ||
CN201010272331.2 | 2010-09-02 | ||
CN201010272331 | 2010-09-02 | ||
CN201010552305.5A CN102387360B (zh) | 2010-09-02 | 2010-11-19 | 视频编解码帧间图像预测方法及视频编解码器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102387360A true CN102387360A (zh) | 2012-03-21 |
CN102387360B CN102387360B (zh) | 2016-05-11 |
Family
ID=45772171
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201010552305.5A Expired - Fee Related CN102387360B (zh) | 2010-09-02 | 2010-11-19 | 视频编解码帧间图像预测方法及视频编解码器 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9294767B2 (zh) |
CN (1) | CN102387360B (zh) |
WO (1) | WO2012028102A1 (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103237220A (zh) * | 2013-04-29 | 2013-08-07 | 清华大学 | 视频编码中基于非均匀像素截断的运动估计方法 |
CN104811728A (zh) * | 2015-04-23 | 2015-07-29 | 湖南大目信息科技有限公司 | 一种视频内容自适应的运动搜索方法 |
CN106604030A (zh) * | 2015-10-16 | 2017-04-26 | 中兴通讯股份有限公司 | 参考图像的处理方法及装置、编码器以及解码器 |
CN109587479A (zh) * | 2017-09-29 | 2019-04-05 | 华为技术有限公司 | 视频图像的帧间预测方法、装置及编解码器 |
CN109672886A (zh) * | 2019-01-11 | 2019-04-23 | 京东方科技集团股份有限公司 | 一种图像帧预测方法、装置及头显设备 |
CN109756739A (zh) * | 2017-11-07 | 2019-05-14 | 华为技术有限公司 | 图像预测方法和装置 |
WO2019183989A1 (zh) * | 2018-03-29 | 2019-10-03 | 华为技术有限公司 | 帧间预测的方法和装置 |
CN110839155A (zh) * | 2018-08-17 | 2020-02-25 | 北京金山云网络技术有限公司 | 运动估计的方法、装置、电子设备及计算机可读存储介质 |
CN111713109A (zh) * | 2019-06-25 | 2020-09-25 | 深圳市大疆创新科技有限公司 | 视频处理方法、装置和设备 |
CN111758258A (zh) * | 2018-03-26 | 2020-10-09 | 华为技术有限公司 | 用于视频编码的帧间预测装置和方法 |
CN112135145A (zh) * | 2019-11-14 | 2020-12-25 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
CN112135127A (zh) * | 2019-11-05 | 2020-12-25 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
CN112154666A (zh) * | 2019-09-24 | 2020-12-29 | 深圳市大疆创新科技有限公司 | 视频编解码方法和装置 |
CN112702602A (zh) * | 2020-12-04 | 2021-04-23 | 浙江智慧视频安防创新中心有限公司 | 一种视频编解码的方法及存储介质 |
CN113709474A (zh) * | 2019-03-11 | 2021-11-26 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
WO2023087159A1 (zh) * | 2021-11-16 | 2023-05-25 | 广东博华超高清创新中心有限公司 | 一种基于avs运动估计编码的dvs数据生成方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101956284B1 (ko) | 2011-06-30 | 2019-03-08 | 엘지전자 주식회사 | 보간 방법 및 이를 이용한 예측 방법 |
CN106385585B (zh) * | 2016-09-14 | 2019-10-11 | 西安万像电子科技有限公司 | 帧编解码的方法、装置、系统、存储介质 |
CN110636290B (zh) * | 2019-08-30 | 2021-12-03 | 北京大学 | 视频图像的运动矢量编解码方法以及编/解码器 |
WO2021061322A1 (en) | 2019-09-24 | 2021-04-01 | Alibaba Group Holding Limited | Motion compensation methods for video coding |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030059089A1 (en) * | 2001-09-25 | 2003-03-27 | Quinlan James E. | Block matching at the fractional pixel level for motion estimation |
CN101212672A (zh) * | 2006-12-30 | 2008-07-02 | 安凯(广州)软件技术有限公司 | 视频内容自适应的亚像素插值方法和装置 |
CN101641960A (zh) * | 2007-01-22 | 2010-02-03 | 三星电子株式会社 | 使用自适应内插滤波器对图像编码与解码的方法和设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8705622B2 (en) * | 2008-04-10 | 2014-04-22 | Qualcomm Incorporated | Interpolation filter support for sub-pixel resolution in video coding |
US8462842B2 (en) * | 2008-04-10 | 2013-06-11 | Qualcomm, Incorporated | Symmetry for interpolation filtering of sub-pixel positions in video coding |
-
2010
- 2010-11-19 CN CN201010552305.5A patent/CN102387360B/zh not_active Expired - Fee Related
-
2011
- 2011-08-31 US US13/819,694 patent/US9294767B2/en not_active Expired - Fee Related
- 2011-08-31 WO PCT/CN2011/079200 patent/WO2012028102A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030059089A1 (en) * | 2001-09-25 | 2003-03-27 | Quinlan James E. | Block matching at the fractional pixel level for motion estimation |
CN101212672A (zh) * | 2006-12-30 | 2008-07-02 | 安凯(广州)软件技术有限公司 | 视频内容自适应的亚像素插值方法和装置 |
CN101641960A (zh) * | 2007-01-22 | 2010-02-03 | 三星电子株式会社 | 使用自适应内插滤波器对图像编码与解码的方法和设备 |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103237220B (zh) * | 2013-04-29 | 2015-12-23 | 清华大学 | 视频编码中基于非均匀像素截断的运动估计方法 |
CN103237220A (zh) * | 2013-04-29 | 2013-08-07 | 清华大学 | 视频编码中基于非均匀像素截断的运动估计方法 |
CN104811728B (zh) * | 2015-04-23 | 2018-03-02 | 湖南大目信息科技有限公司 | 一种视频内容自适应的运动搜索方法 |
CN104811728A (zh) * | 2015-04-23 | 2015-07-29 | 湖南大目信息科技有限公司 | 一种视频内容自适应的运动搜索方法 |
CN106604030A (zh) * | 2015-10-16 | 2017-04-26 | 中兴通讯股份有限公司 | 参考图像的处理方法及装置、编码器以及解码器 |
CN109587479A (zh) * | 2017-09-29 | 2019-04-05 | 华为技术有限公司 | 视频图像的帧间预测方法、装置及编解码器 |
CN109587479B (zh) * | 2017-09-29 | 2023-11-10 | 华为技术有限公司 | 视频图像的帧间预测方法、装置及编解码器 |
CN109756739A (zh) * | 2017-11-07 | 2019-05-14 | 华为技术有限公司 | 图像预测方法和装置 |
CN109756739B (zh) * | 2017-11-07 | 2022-09-02 | 华为技术有限公司 | 图像预测方法和装置 |
CN111758258A (zh) * | 2018-03-26 | 2020-10-09 | 华为技术有限公司 | 用于视频编码的帧间预测装置和方法 |
WO2019183989A1 (zh) * | 2018-03-29 | 2019-10-03 | 华为技术有限公司 | 帧间预测的方法和装置 |
US11412210B2 (en) | 2018-03-29 | 2022-08-09 | Huawei Technologies Co., Ltd. | Inter prediction method and apparatus for video coding |
CN110839155B (zh) * | 2018-08-17 | 2021-12-03 | 北京金山云网络技术有限公司 | 运动估计的方法、装置、电子设备及计算机可读存储介质 |
CN110839155A (zh) * | 2018-08-17 | 2020-02-25 | 北京金山云网络技术有限公司 | 运动估计的方法、装置、电子设备及计算机可读存储介质 |
CN109672886A (zh) * | 2019-01-11 | 2019-04-23 | 京东方科技集团股份有限公司 | 一种图像帧预测方法、装置及头显设备 |
CN113709474A (zh) * | 2019-03-11 | 2021-11-26 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
CN113709474B (zh) * | 2019-03-11 | 2022-11-01 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
US11902563B2 (en) | 2019-03-11 | 2024-02-13 | Hangzhou Hikvision Digital Technology Co., Ltd. | Encoding and decoding method and device, encoder side apparatus and decoder side apparatus |
CN111713109A (zh) * | 2019-06-25 | 2020-09-25 | 深圳市大疆创新科技有限公司 | 视频处理方法、装置和设备 |
CN112154666A (zh) * | 2019-09-24 | 2020-12-29 | 深圳市大疆创新科技有限公司 | 视频编解码方法和装置 |
CN112135127A (zh) * | 2019-11-05 | 2020-12-25 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
US12114005B2 (en) | 2019-11-05 | 2024-10-08 | Hangzhou Hikvision Digital Technology Co., Ltd. | Encoding and decoding method and apparatus, and devices |
CN112135145A (zh) * | 2019-11-14 | 2020-12-25 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
CN112702602A (zh) * | 2020-12-04 | 2021-04-23 | 浙江智慧视频安防创新中心有限公司 | 一种视频编解码的方法及存储介质 |
WO2023087159A1 (zh) * | 2021-11-16 | 2023-05-25 | 广东博华超高清创新中心有限公司 | 一种基于avs运动估计编码的dvs数据生成方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2012028102A1 (en) | 2012-03-08 |
CN102387360B (zh) | 2016-05-11 |
US9294767B2 (en) | 2016-03-22 |
US20140003524A1 (en) | 2014-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102387360A (zh) | 视频编解码帧间图像预测方法及视频编解码器 | |
US9479793B2 (en) | Method and apparatus for encoding/decoding a motion vector by selecting a set of predicted candidate motion vectors, and method and apparatus for image encoding/decoding using the same | |
US10003792B2 (en) | Video encoder for images | |
RU2577207C2 (ru) | Способ и устройство для видеокодирования | |
CN103283237A (zh) | 帧内预测方法和使用该方法的设备 | |
US20160044329A1 (en) | Image Predictive Coding Method and Image Encoder | |
CN103338372A (zh) | 一种视频处理方法及装置 | |
CN104718758A (zh) | 变换域帧内预测 | |
US10652541B2 (en) | Method and device for encoding video data | |
WO2014087861A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US10085018B2 (en) | Image encoding method, image encoding apparatus, and image encoding program | |
RU2553062C2 (ru) | Способ и устройство кодирования и декодирования информации изображений | |
CN102883161A (zh) | 视频编码和解码的处理方法和装置 | |
JP2023071920A (ja) | 画像をエンコーディング及びデコーディングする方法、エンコーディング及びデコーディング装置、並びに、対応するコンピュータプログラム | |
CN102685506B (zh) | 帧内预测的方法和预测装置 | |
CN102377992B (zh) | 运动矢量的预测值的获取方法和装置 | |
CN102843554A (zh) | 帧间图像预测编解码方法及视频编解码器 | |
CN105453567A (zh) | 用于非变换编码的扫描次序 | |
JPWO2008136164A1 (ja) | 復号化回路、復号化方法及び画像再生装置 | |
CN105323636A (zh) | 一种视频处理方法及装置 | |
CN102387361A (zh) | 视频编解码的参考帧处理方法及视频编解码器 | |
JP6875800B2 (ja) | 超解像フレーム選択装置、超解像装置、及びプログラム | |
JP2012147291A (ja) | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム | |
CN102131093A (zh) | 一种图像处理方法及装置 | |
CN103248885A (zh) | 帧内图像预测编解码方法及视频编解码器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160511 Termination date: 20211119 |
|
CF01 | Termination of patent right due to non-payment of annual fee |