CN110740322A - 视频编码方法及装置、存储介质、视频编码设备 - Google Patents

视频编码方法及装置、存储介质、视频编码设备 Download PDF

Info

Publication number
CN110740322A
CN110740322A CN201911010038.6A CN201911010038A CN110740322A CN 110740322 A CN110740322 A CN 110740322A CN 201911010038 A CN201911010038 A CN 201911010038A CN 110740322 A CN110740322 A CN 110740322A
Authority
CN
China
Prior art keywords
pixel
point
sub
searching
optimal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911010038.6A
Other languages
English (en)
Inventor
李思恒
李忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201911010038.6A priority Critical patent/CN110740322A/zh
Publication of CN110740322A publication Critical patent/CN110740322A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种视频编码方法及装置、存储介质、视频编码设备，本视频编码方法包括：接收视频帧序列，对所述视频帧进行宏块级和子宏块级分割，以得到视频帧分割后的像素块；根据所述像素块的第一像素分量进行亚像素精度插值，并根据第一像素分量的不同亚像素位置采用相应抽头系数的滤波器进行滤波；根据运动向量分布特性，构建运动搜索的星型对称搜索模式；根据所述星型对称捜索模式，将原点作为星型对称搜索的起始点，可通过计算所有点的块匹配准则函数，以得到所述块匹配准则函数最优解的点所在的位置；并通过判断所述位置所属类型，制定不同的搜索策略，以确立最佳的搜索路径，从而获得最终的运动向量。

Description

视频编码方法及装置、存储介质、视频编码设备
技术领域
本发明涉及视频技术领域，具体涉及一种基于帧间预测的视频编码方法及装置。
背景技术
帧间预测是利用当前编码块周边已编码重建的其他编码块确定参考帧，通过运动估计(motion Estimation)，利用参考帧对当前编码块进行预测编码，以消除视频的时间冗余信息的一种手段；帧间预测是视频编码的一个重要环节，尤其在H.264/AVC、H.265/HEVC、AVS等混合编码框架的视频编码中经常应用。
帧间预测中运动估计是最影响编码质量的模块，也是最复杂最耗时的模块。匹配准则和搜索策略又直接影响运动估计的效率和精度。
因此如何降低运动估计的处理复杂度，使得视频编码的复杂度降低，提高视频编码的效率，一直是本领域技术人员研究的问题。
发明内容
本发明的目的是提供一种基于帧间预测的视频编码方法及装置，以降低运动估计的处理复杂度，使得视频编码的复杂度降低，提高视频编码的效率。
为实现上述目的，本发明实施例提供如下技术方案：
一种基于帧间预测的视频编码方法，包括：
接收视频帧序列；
对所述视频帧进行宏块级和子宏块级分割，以得到视频帧分割后的像素块；
根据所述像素块的第一像素分量进行亚像素精度插值，并根据第一像素分量的不同亚像素位置采用相应抽头系数的滤波器进行滤波；
根据运动向量分布特性，构建运动搜索的星型对称搜索模式；
根据所述星型对称搜索模式，将原点作为星型对称搜索的起始点，可通过计算所有点的块匹配准则函数，以得到所述块匹配准则函数最优解的点所在的位置；并通过判断所述位置所属类型，制定不同的搜索策略，以确立最佳的搜索路径，从而获得最终的运动向量。
本发明实施例还提供一种基于帧间预测的视频编码装置，包括：
接收模块，用于接收视频帧序列；
分割模块，用于对所述视频帧进行宏块级和子宏块级分割，以得到视频帧分割后的像素块；
插值模块，用于根据所述像素块的第一像素分量进行亚像素精度插值，并根据第一像素分量的不同亚像素位置采用相应的抽头系数的滤波器进行滤波；
模式创建模块，用于根据运动向量分布特性，构建运动搜索的星型对称搜索模式；
运动搜索模块，用于根据所述星型对称搜索模式，将原点作为星型对称搜索的起始点，可通过计算所有点的块匹配准则函数，以得到所述块匹配准则函数最优解的点所在的位置；并通过判断所述位置所属类型，制定不同的搜索策略，以确立最佳的搜索路径，从而获得最终的运动向量。
本发明实施例还提供一种基于帧间预测的视频编码设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如所述实施例的基于帧间预测的视频编码方法。
本发明实施例还提供一种计算机可读存储介质，所述存储介质中存储有可适于处理器执行的至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述实施例所述的基于帧间预测的视频编码方法。
本申请实施例提供的技术方案带来的有益效果是：
由于本发明实施例根据所述像素块的第一像素分量进行亚像素精度插值，并根据第一像素分量的不同亚像素位置采用相应的抽头系数的滤波器进行滤波；根据运动向量分布特性，构建运动搜索的星型对称搜索模式；根据所述星型对称搜索模式，将原点作为星型对称搜索的起始点，可通过计算所有点的块匹配准则函数，以得到所述块匹配准则函数最优解的点所在的位置；并通过判断所述位置所属类型，制定不同的搜索策略，以确立最佳的搜索路径，从而获得最终的运动向量。本发明实施例不仅增强了插值精度，还有效地提高视频编码的效率。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为本发明实施例提供的基于帧间预测的视频编码方法的流程图；
图2为本发明实施例提供的帧间预测块匹配示意图；
图3为本发明实施例提供的第一像素分量插值示意图；
图4为本发明实施例提供的星型对称搜索模式示意图；
图5(a)为本发明实施例提供的水平六边形模式示意图；
图5(b)为本发明实施例提供的竖直六边形模式示意图；
图6为本发明实施例提供的竖直六边形模式的搜索过程示意图；
图7为本发明实施例提供的基于帧间预测的视频编码装置的结构示意图；
图8为本发明实施例提供的基于帧间预测的视频编码设备的硬件结构示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
图1为本发明实施例提供的基于帧间预测的视频编码方法的流程图，该方法可应用于视频编码设备，视频编码设备可以是具有视频编码能力的CPU(中央处理器)或GPU(图形处理器)；可选的，视频编码设备可选用手机、笔记本电脑等终端实现，也可选用服务器实现。
参照图1，本发明实施例提供的基于帧间预测的视频编码方法可以包括：
步骤S100、接收视频帧序列。
通常，在连续多个视频帧序列中，每一帧所包含的物体对象与前后帧之间存在运动关系，这种物体的运动关系即构成帧与帧之间的时间冗余。帧间预测是指当前图像中待编码块从邻近已编码图像中预测得到参考块的过程，目的是去除视频帧序列中的时间冗余。
根据帧间预测，H.264定义了4种宏块级分割和4种子宏块级分割方式：
宏块级分割：16x16、16x8、8x16、8x8；
子宏块分割：8x8、8x4、4x8、4x4。
步骤S110、对所述视频帧进行宏块级和子宏块级分割，以得到视频帧分割后的像素块。
运动估计，有时也称作运动搜索，即在相应参考帧中搜索当前像素块的对应参考像素块，使最终的编码代价最小。在一个帧间编码宏块中，每一个分割后的子块都会进行相应的运动搜索，在参考帧中查找对应的相同尺寸的像素块作为参考。当前像素块在当前帧中的位置同参考块在参考帧总的位置之间的相对位置代表了像素块中的物体在两帧之间的运动轨迹。这个相对位置以两个坐标值组成的向量标识，称为运动向量，一个宏块最多可能包括16个运动向量。
帧间预测如图2所示，其示出了本发明实施例提供的帧间预测块匹配示意图，当前帧中待编码块在参考帧中根据块匹配准则搜索得到最佳匹配块。
视频编码中常用的块匹配准则函数有最小均方误差(Mean Square Error，MSE)和绝对误差和(Sum of Absolute Difference，SAD)、归一化互相关函数NCCF(NonnalizedCross Correlation Function))等匹配准则函数；
预测块利用运动向量在相应的参考帧中获得预测像素值，实际情况下，物体并不总是在整像素位置上移动，即运动向量不一定都是整像素值。因此，对非整像素运动情况，需要进行亚像素精度插值，以提高帧间预测精度。
步骤S120、根据所述像素块的第一像素分量进行亚像素精度插值，并根据第一像素分量的不同亚像素位置采用相应抽头系数的滤波器进行滤波；
HEVC支持亚像素精度运动估计，可对第一像素分量进行亚像素精度插值。
可选地，第一像素分量可以是亮度分量，也可以是色度分量。
亚像素精度插值是根据不同亚像素位置可选用对应的抽头系数的滤波器进行滤波。当第一像素分量采用1/8像素精度运动估计时，亚像素精度插值对于1/4、1/2、3/4像素位置可采用多种不同抽头系数的滤波器，抽头系数如下表1所示，其中1/2像素位置为8抽头滤波器。
如表1所示，第一像素分量的亚像素位置上对应的抽头系数，在1/4像素位置采用的是一个7抽头滤波器，而在1/2像素位置采用的是一个8抽头滤波器。
表1第一像素分量的亚像素位置上对应的抽头系数
图3为本发明实施例提供的星型对称搜索模式示意图；其中，图3中整像素Ai，j表示第一像素分量整像素点位置，ai，j表示第一像素分量亚像素点位置，其中i、j为任意整数。
配置抽头滤波器参数，对整像素Ai，j相应行、列亚像素进行插值。
图3中的亚像素点a0，0和b0，0和c0，0利用水平方向整像素点插值得到，d0，0、h0，0和n0，0利用竖直方向整像素点插值得到。以水平方向1/2像素点b0，0和竖直方向1/4像素点d0，0为例进行插值，可如下计算式子得到：
b0，0＝-A-3，0+4A-2，0-11A-1，0+40A0，0+40A1，0-11A2，0+4A3，0-A4，0 (1)
d0，0＝-A0，-3+4A0，-2-10A0，-1+58A0，0+17A0，1-5A0，2+A0，3 (2)
另外四个亚像素点a0，0、c0，0、h0，0和n0，0可相应求得。
对非整像素行、列亚像素进行竖直方向插值。
对所得到整像素Ai，j相应行、列亚像素插值，如图3所示，亚像素点e0，0和i0，0和p0，0的插值样本在竖直方向上的a位置，f0，0和j0，0和q0，0的插值样本在竖直方向上的b位置，g0，0和k0，0和r0，0的插值样本在竖直方向上的c位置，以亚像素点p0，0和j0，0和g0，0为例进行插值，插值计算公式如下：
p0，0＝(a0，-2-5a0，-1+17a0，0+58a0，1-10a0，2+4a0，3-a0，4)＞＞6 (3)
j0，0＝(-b0，-3+4b0，-2-11b0，-1+40b0，0+40b0，1-11b0，2+4b0，3-b0，4)＞＞6 (4)
g0，0＝(-c0，-3+4c0，-2-10c0，-1+58c0，0+17c0，1-5c0，2+c0，3)＞＞6 (5)
两外6个亚像素点e0，0、f0，0、i0，0、k0，0、q0，0和r0，0可相应求得。
经插值后的亚像素值进行了多倍放大，这样做可提高插值精度。
步骤S130、根据运动向量分布特性，构建运动搜索的星型对称搜索模式；
所述运动向量分布特性，其包括：
(1)运动向量具有趋中性。经过多次实验测试发现，对具有不同特征序列的运动向量采用全搜索统计进行概率分析，原点处为最优点的概率最大，大约为67％，最优点处于1x1区域的概率大约为12％，最优点处于2X2，区域中的概率大约为5％；最优运动向量所处于原点、1x1区域、2x2区域运动矢量分布概率比为67∶12∶5，由此可见，运动向量趋向中心偏移。运动向量出现在水平方向和竖直方向的概率高于其他方向。还有视频序列具有时空域相关性，同一帧和相邻帧的相邻块之间的运动向量也具有相似性。
(2)运动向量呈现多谷分布。匹配误差函数曲面呈现梯度下降，并出现多谷点。即误差曲面存在一个或者多个局部趋向中心位置的极小点，以呈现多谷分布特性。
由于图像序列在原点、竖直和水平方向、其余方向的运动剧烈程度不一样，呈现依次降低的分布特点，采用由17点组成的星型对称搜索模式。
步骤S140、根据所述星型对称搜索模式，将原点作为星型对称搜索的起始点，可通过计算所有点的块匹配准则函数，以得到所述块匹配准则函数最优解的点所在的位置；并通过判断所述位置所属类型，制定不同的搜索策略，以确立最佳的搜索路径，从而获得最终的运动向量。
可选地，块匹配准则函数可以是绝对误差和SAD、最小均方误差MSE或归一化互相关函数NCCF。
首先，将原点作为星型对称搜索的起始点，可通过计算所有点的块匹配准则函数，以得到所述块匹配准则函数最优解的点所在的位置；
本实施用例，以块匹配准则函数为MSE为例，阐述如下：
由星型对称搜索模式所得到的最优MSE值的位置，制定不同的搜索策略。根据MSE值最优解的点，以确定所处位置的类型。若最优解的点位于原点，则结束整个搜索过程。取原点为最佳点的位置；若最优解的点为实心类，则当该点处于原点水平方向时，则采用水平六边形模式进一步搜索，从而将搜索中心更新为当前最佳匹配点，直到最佳匹配点位于中心时，再利用步长为1的方形进行精确搜索，确定最终的最佳匹配点；当该点处于原点竖直方向时，则采用水平六边形模式进一步搜索，从而将搜索中心更新为当前最佳匹配点，直到最佳匹配点位于中心时，再利用步长为1的方形进行精确搜索，确定最终的最佳匹配点。如果最佳匹配点为点状类，选用菱形对称搜索模式，不断更新搜索中心的位置，直到最佳匹配点不变，再选用步长为1的小菱形对称作进一步搜索，以确立最佳的搜索点位置，从而确定最终的运动向量。基于所述的星型对称搜索模式所得到的计算结果，进一步由7点组成的六边形对称搜索模式进行搜索，其中六边形模式可包含水平和竖直六边形模式。图5(a)为本发明实施例提供的水平六边形模式示意图；图5(b)为本发明实施例提供的竖直六边形模式示意图。
图6为本发明实施例提供的竖直六边形模式的搜索过程示意图，以(0，0)为原点，采用一次竖直六边形模式搜索，最优点为(2，1)，将该点作为新的搜索中心，执行第二次竖直六边形搜索，本次只需要搜索三个点，最优点落在(2，3)处。采用同样的搜索流程，在第3次第4次搜索之后最优点落在(2，5)，这表明搜索已经趋于稳定。执行一次步长为1的方形搜索，找到全局最优点(2，6)，从而确定最终的运动向量。
图7是本发明实施例提供的基于帧间预测的视频编码装置的结构示意图。
参见图7，该装置包括：
接收模块200，用于接收视频帧序列；
通常，在连续多个视频帧序列中，每一帧所包含的物体对象与前后帧之间存在运动关系，这种物体的运动关系即构成帧与帧之间的时间冗余。帧间预测是指当前图像中待编码块从邻近已编码图像中预测得到参考块的过程，目的是去除视频帧序列中的时间冗余。
根据帧间预测，H.264定义了4种宏块级分割和4种子宏块级分割方式：
宏块级分割：16x16、16x8、8x16、8x8；
子宏块分割：8x8、8x4、4x8、4x4。
分割模块210，用于对所述视频帧进行宏块级和子宏块级分割，以得到视频帧分割后的像素块；
运动估计，有时也称作运动搜索，即在相应参考帧中搜索当前像素块的对应参考像素块，使最终的编码代价最小。在一个帧间编码宏块中，每一个分割后的子块都会进行相应的运动搜索，在参考帧中查找对应的相同尺寸的像素块作为参考。当前像素块在当前帧中的位置同参考块在参考帧总的位置之间的相对位置代表了像素块中的物体在两帧之间的运动轨迹。这个相对位置以两个坐标值组成的向量标识，称为运动向量，一个宏块最多可能包括16个运动向量。
帧间预测如图2所示，其示出了本发明实施例提供的帧间预测块匹配示意图，当前帧中待编码块在参考帧中根据块匹配准则搜索得到最佳匹配块。
视频编码中常用的块匹配准则函数有最小均方误差(MeanSquareError，MSE)和绝对误差和(Sum of Absolute Difference，SAD)、归一化互相关函数NCCF(NonnalizedCross Correlation Function))等匹配准则函数；
预测块利用运动向量在相应的参考帧中获得预测像素值，实际情况下，物体并不总是在整像素位置上移动，即运动向量不一定都是整像素值。因此，对非整像素运动情况，需要进行亚像素精度插值，以提高帧间预测精度。
插值模块220，用于根据所述像素块的第一像素分量进行亚像素精度插值，并根据第一像素分量的不同亚像素位置采用相应的抽头系数的滤波器进行滤波；
HEVC支持亚像素精度运动估计，可对第一像素分量进行亚像素精度插值。
可选地，第一像素分量可以是亮度分量，也可以是色度分量。
亚像素精度插值是根据不同亚像素位置可选用对应的抽头系数的滤波器进行滤波。当第一像素分量采用1/8像素精度运动估计时，亚像素精度插值对于1/4、1/2、3/4像素位置可采用多种不同抽头系数的滤波器，抽头系数如下表1所示，其中1/2像素位置为8抽头滤波器。
模式创建模块230，用于根据运动向量分布特性，构建运动搜索的星型对称搜索模式；
图3为本发明实施例提供的星型对称搜索模式示意图；其中，图3中整像素Ai，j表示第一像素分量整像素点位置，ai，j表示第一像素分量亚像素点位置，其中i、j为任意整数。
配置抽头滤波器参数，对整像素Ai，j相应行、列亚像素进行插值。
图3中的亚像素点a0，0和b0，0和c0，0利用水平方向整像素点插值得到，d0，0、h0，0和n0，0利用竖直方向整像素点插值得到。以水平方向1/2像素点b0，0和竖直方向1/4像素点d0，0为例进行插值，可如下计算式子得到：
b0，0＝-A-3，0+4A-2，0-11A-1，0+40A0，0+40A1，0-11A2，0+4A3，0-A4，0 (1)
d0，0＝-A0，-3+4A0，-2-10A0，-1+58A0，0+17A0，1-5A0，2+A0，3 (2)
另外四个亚像素点a0，0、c0，0、h0，0和n0，0可相应求得。
对非整像素行、列亚像素进行竖直方向插值。
对所得到整像素Ai，j相应行、列亚像素插值，如图3所示，亚像素点e0，0和i0，0和p0，0的插值样本在竖直方向上的a位置，f0，0和j0，0和q0，0的插值样本在竖直方向上的b位置，g0，0和k0，0和r0，0的插值样本在竖直方向上的c位置，以亚像素点p0，0和j0，0和g0，0为例进行插值，插值计算公式如下：
p0，0＝(a0，-2-5a0，-1+17a0，0+58a0，1-10a0，2+4a0，3-a0，4)＞＞6 (3)
j0，0＝(-b0，-3+4b0，-2-11b0，-1+40b0，0+40b0，1-11b0，2+4b0，3-b0，4)＞＞6 (4)
g0，0＝(-c0，-3+4c0，-2-10c0，-1+58c0，0+17c0，1-5c0，2+c0，3)＞＞6 (5)
两外6个亚像素点e0，0、f0，0、i0，0、k0，0、q0，0和r0，0可相应求得。
经插值后的亚像素值进行了多倍放大，这样做可提高插值精度。
步骤S130、根据运动向量分布特性，构建运动搜索的星型对称搜索模式；
所述运动向量分布特性，其包括：
(1)运动向量具有趋中性。经过多次实验测试发现，对具有不同特征序列的运动向量采用全搜索统计进行概率分析，原点处为最优点的概率最大，大约为67％，最优点处于1x1区域的概率大约为12％，最优点处于2X2，区域中的概率大约为5％；最优运动向量所处于原点、1x1区域、2x2区域运动矢量分布概率比为67∶12∶5，由此可见，运动向量趋向中心偏移。运动向量出现在水平方向和竖直方向的概率高于其他方向。还有视频序列具有时空域相关性，同一帧和相邻帧的相邻块之间的运动向量也具有相似性。
(2)运动向量呈现多谷分布。匹配误差函数曲面呈现梯度下降，并出现多谷点。即误差曲面存在一个或者多个局部趋向中心位置的极小点，以呈现多谷分布特性。
由于图像序列在原点、竖直和水平方向、其余方向的运动剧烈程度不一样，呈现依次降低的分布特点，采用由17点组成的星型对称搜索模式。
运动搜索模块240，用于根据所述星型对称搜索模式，将原点作为星型对称搜索的起始点，可通过计算所有点的块匹配准则函数，以得到所述块匹配准则函数最优解的点所在的位置；并通过判断所述位置所属类型，制定不同的搜索策略，以确立最佳的搜索路径，从而获得最终的运动向量。
可选地，块匹配准则函数可以是绝对误差和SAD、最小均方误差MSE或归一化互相关函数NCCF。
首先，将原点作为星型对称搜索的起始点，可通过计算所有点的块匹配准则函数，以得到所述块匹配准则函数最优解的点所在的位置；
本实施用例，以块匹配准则函数为MSE为例，阐述如下：
由星型对称搜索模式所得到的最优MSE值的位置，制定不同的搜索策略。根据MSE值最优解的点，以确定所处位置的类型。若最优解的点位于原点，则结束整个搜索过程，取原点为最佳点的位置；若最优解的点为实心类，则当该点处于原点水平方向时，则采用水平六边形模式进一步搜索，从而将搜索中心更新为当前最佳匹配点，直到最佳匹配点位于中心时，再利用步长为1的方形进行精确搜索，确定最终的最佳匹配点；当该点处于原点竖直方向时，则采用水平六边形模式进一步搜索，从而将搜索中心更新为当前最佳匹配点，直到最佳匹配点位于中心时，再利用步长为1的方形进行精确搜索，确定最终的最佳匹配点。如果最佳匹配点为点状类，选用菱形对称搜索模式，不断更新搜索中心的位置，直到最佳匹配点不变，再选用步长为1的小菱形对称作进一步搜索，以确立最佳的搜索点位置，从而确定最终的运动向量。基于所述的星型对称搜索模式所得到的计算结果，进一步由7点组成的六边形对称搜索模式进行搜索，其中六边形模式可包含水平和竖直六边形模式。图5(a)为本发明实施例提供的水平六边形模式示意图；图5(b)为本发明实施例提供的竖直六边形模式示意图。
图6为本发明实施例提供的竖直六边形模式的搜索过程示意图，图6所示的竖直六边形搜索路径，原点为(0，0)，采用一次竖直六边形模式搜索，最优点为(2，1)，将该点作为新的搜索中心，执行第二次竖直六边形搜索，本次只需要搜索三个点，最优点落在(2，3)处。采用同样的搜索流程，在第3次第4次搜索之后最优点落在(2，5)，这表明搜索已经趋于稳定。执行一次步长为1的方形搜索，找到全局最优点(2，6)，从而确定最终的运动向量。
上文描述的基于帧间预测的视频编码装置可以程序模块的形式装载于视频编码设备中，可选的，图8示出了基于帧间预测的视频编码设备的硬件结构框图，参照图8，该视频编码设备可以包括：至少一个中央处理器1，至少一个通信接口2，至少一个存储器3，至少一个通信总线4和至少一个图形处理器5；
在本发明实施例中，中央处理器1、通信接口2、存储器3、通信总线4、图形处理器5的数量为至少一个，且中央处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；
其中，存储器存储有可适于处理器执行的至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述实施例所述的基于帧间预测的视频编码方法。
可选的，所述程序的细化功能和扩展功能可参照上文相应部分描述。
进一步，本发明实施例还提供一种计算机可读存储介质，该存储介质存储有可适于处理器执行的至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述实施例所述的基于帧间预测的视频编码方法：
可选的，所述程序的细化功能和扩展功能可参照上文相应部分描述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (10)

1.一种基于帧间预测的视频编码方法，其特征在于，包括：
接收视频帧序列；
对所述视频帧进行宏块级和子宏块级分割，以得到视频帧分割后的像素块；
根据所述像素块的第一像素分量进行亚像素精度插值，并根据第一像素分量的不同亚像素位置采用相应抽头系数的滤波器进行滤波；
根据运动向量分布特性，构建运动搜索的星型对称搜索模式；
根据所述星型对称捜索模式，将原点作为星型对称搜索的起始点，可通过计算所有点的；
块匹配准则函数，以得到所述块匹配准则函数最优解的点所在的位置；并通过判断所述位置所属类型，制定不同的搜索策略，以确立最佳的搜索路径，从而获得最终的运动向量。
2.根据权利要求1所述的视频编码方法，其特征在于，
整像素Ai，j表示第一像素分量整像素点位置，ai，j表示第一像素分量亚像素点位置，其中i、j为任意整数，配置抽头滤波器参数，对整像素Ai，j相应行、列亚像素进行插值，亚像素点a0，0和b0，0和c0，0利用水平方向整像素点插值得到，d0，0、h0，0和n0，0利用竖直方向整像素点插值得到，以水平方向1/2像素点b0，0和竖直方向1/4像素点d0，0为例进行插值，可如下计算式子得到：
b0，0＝-A-3，0+4A-2，0-11A-1，0+40A0，0+40A1，0-11A2，0+4A3，0-A4，0 (1)
d0，0＝-A0，-3+4A0，-2-10A0，-1+58A0，0+17A0，1-5A0，2+A0，3 (2)
另外四个亚像素点a0，0、c0，0、h0，0和n0，0可相应求得；
对非整像素行、列亚像素进行竖直方向插值；
亚像素点e0，0和i0，0和p0，0的插值样本在竖直方向上的a位置，f0，0和j0，0和q0，0的插值样本在竖直方向上的b位置，g0，0和k0，0和r0，0的插值样本在竖直方向上的c位置，以亚像素点p0，0和j0，0和g0，0为例进行插值，插值计算公式如下：
p0，0＝(a0，-2-5a0，-1+17a0，0+58a0，1-10a0，2+4a0，3-a0，4)＞＞6 (3)
j0，0＝(-b0，-3+4b0，-2-11b0，-1+40b0，0+40b0，1-11b0，2+4b0，3-b0，4)＞＞6 (4)
g0，0＝(-c0，-3+4c0，-2-10c0，-1+58c0，0+17c0，1-5c0，2+c0，3)＞＞6 (5)
两外6个亚像素点e0，0、f0，0、i0，0、k0，0、q0，0和r0，0可相应求得。
3.根据权利要求1所述的视频编码方法，其特征在于，
所述运动向量分布特性包括：
运动向量具有趋中性，运动向量出现在水平方向和竖直方向的概率高于其他方向，还有视频序列具有时空域相关性，同一帧和相邻帧的相邻块之间的运动向量也具有相似性；
运动向量呈现多谷分布，匹配误差函数曲面呈现梯度下降，并出现多谷点，即误差曲面存在一个或者多个局部趋向中心位置的极小点，以呈现多谷分布特性。
4.根据权利要求1所述的视频编码方法，其特征在于，
若最优解的点位于原点，则结束整个捜索过程；取原点为最佳点的位置；若最优解的点为实心类，则当该点处于原点水平方向时，则采用水平六边形模式进一步搜索，从而将搜索中心更新为当前最佳匹配点，直到最佳匹配点位于中心时，再利用步长为1的方形进行精确搜索，确定最终的最佳匹配点；当该点处于原点竖直方向时，则采用水平六边形模式进一步搜索，从而将搜索中心更新为当前最佳匹配点，直到最佳匹配点位于中心时，再利用步长为1的方形进行精确搜索，确定最终的最佳匹配点；如果最佳匹配点为点状类，选用菱形对称搜索模式，不断更新搜索中心的位置，直到最佳匹配点不变，再选用步长为1的小菱形对称作进一步搜索，以确立最佳的搜索点位置，从而确定最终的运动向量。
5.一种基于帧间预测的视频编码装置，其特征在于，包括：
接收模块，用于接收视频帧序列；
分割模块，用于对所述视频帧进行宏块级和子宏块级分割，以得到视频帧分割后的像素块；
插值模块，用于根据所述像素块的第一像素分量进行亚像素精度插值，并根据第一像素分量的不同亚像素位置采用相应的抽头系数的滤波器进行滤波；
模式创建模块，用于根据运动向量分布特性，构建运动搜索的星型对称搜索模式；
运动搜索模块，用于根据所述星型对称捜索模式，将原点作为星型对称搜索的起始点，可通过计算所有点的块匹配准则函数，以得到所述块匹配准则函数最优解的点所在的位置；并通过判断所述位置所属类型，制定不同的搜索策略，以确立最佳的搜索路径，从而获得最终的运动向量。
6.根据权利要求5所述的视频编码装置，其特征在于，所述视频编码装置还包括：
整像素Ai，j表示第一像素分量整像素点位置，ai，j表示第一像素分量亚像素点位置，其中i、j为任意整数，配置抽头滤波器参数，对整像素Ai，j相应行、列亚像素进行插值，亚像素点a0，0和b0，0和c0，0利用水平方向整像素点插值得到，d0，0、h0，0和n0，0利用竖直方向整像素点插值得到，以水平方向1/2像素点b0，0和竖直方向1/4像素点d0，0为例进行插值，可如下计算式子得到：
b0，0＝-A-3，0+4A-2，0-11A-1，0+40A0，0+40A1，0-11A2，0+4A3，0-A4，0 (1)
d0，0＝-A0，-3+4A0，-2-10A0，-1+58A0，0+17A0，1-5A0，2+A0，3 (2)
另外四个亚像素点a0，0、c0，0、h0，0和n0，0可相应求得；
对非整像素行、列亚像素进行竖直方向插值；
亚像素点e0，0和i0，0和p0，0的插值样本在竖直方向上的a位置，f0，0和j0，0和q0，0的插值样本在竖直方向上的b位置，g0，0和k0，0和r0，0的插值样本在竖直方向上的c位置，以亚像素点p0，0和j0，0和g0，0为例进行插值，插值计算公式如下：
p0，0＝(a0，-2-5a0，-1+17a0，0+58a0，1-10a0，2+4a0，3-a0，4)＞＞6 (3)
j0，0＝(-b0，-3+4b0，-2-11b0，-1+40b0，0+40b0，1-11b0，2+4b0，3-b0，4)＞＞6 (4)
g0，0＝(-c0，-3+4c0，-2-10c0，-1+58c0，0+17c0，1-5c0，2+c0，3)＞＞6 (5)
两外6个亚像素点e0，0、f0，0、i0，0、k0，0、q0，0和r0，0可相应求得。
7.根据权利要求6所述的视频编码装置，其特征在于：
所述运动向量分布特性，其包括：
运动向量具有趋中性，运动向量出现在水平方向和竖直方向的概率高于其他方向，还有视频序列具有时空域相关性，同一帧和相邻帧的相邻块之间的运动向量也具有相似性；
运动向量呈现多谷分布，匹配误差函数曲面呈现梯度下降，并出现多谷点，即误差曲面存在一个或者多个局部趋向中心位置的极小点，以呈现多谷分布特性。
8.根据权利要求7所述的视频编码装置，其特征在于，还包括：
若最优解的点位于原点，则结束整个捜索过程，取原点为最佳点的位置；若最优解的点为实心类，则当该点处于原点水平方向时，则采用水平六边形模式进一步搜索，从而将搜索中心更新为当前最佳匹配点，直到最佳匹配点位于中心时，再利用步长为1的方形进行精确搜索，确定最终的最佳匹配点；当该点处于原点竖直方向时，则采用水平六边形模式进一步搜索，从而将搜索中心更新为当前最佳匹配点，直到最佳匹配点位于中心时，再利用步长为1的方形进行精确搜索，确定最终的最佳匹配点；如果最佳匹配点为点状类，选用菱形对称搜索模式，不断更新搜索中心的位置，直到最佳匹配点不变，再选用步长为1的小菱形对称作进一步搜索，以确立最佳的搜索点位置，从而确定最终的运动向量。
9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至6中任一权利要求所述的基于帧间预测的视频编码方法。
10.一种基于帧间预测的视频编码设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至6中任一权利要求所述的基于帧间预测的视频编码方法。
CN201911010038.6A 2019-10-23 2019-10-23 视频编码方法及装置、存储介质、视频编码设备 Pending CN110740322A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911010038.6A CN110740322A (zh) 2019-10-23 2019-10-23 视频编码方法及装置、存储介质、视频编码设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911010038.6A CN110740322A (zh) 2019-10-23 2019-10-23 视频编码方法及装置、存储介质、视频编码设备

Publications (1)

Publication Number Publication Date
CN110740322A true CN110740322A (zh) 2020-01-31

Family

ID=69270953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911010038.6A Pending CN110740322A (zh) 2019-10-23 2019-10-23 视频编码方法及装置、存储介质、视频编码设备

Country Status (1)

Country Link
CN (1) CN110740322A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1543221A (zh) * 2003-11-04 2004-11-03 浙江大学 1/4像素精度插值的方法和装置
CN101815218A (zh) * 2010-04-02 2010-08-25 北京工业大学 基于宏块特征的快速运动估计视频编码方法
CN102263954A (zh) * 2011-07-06 2011-11-30 北京航空航天大学 一种基于对象的快速分形视频压缩与解压缩方法
CN103188496A (zh) * 2013-03-26 2013-07-03 北京工业大学 基于运动矢量分布预测的快速运动估计视频编码方法
US20190238883A1 (en) * 2018-01-26 2019-08-01 Mediatek Inc. Hardware Friendly Constrained Motion Vector Refinement

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1543221A (zh) * 2003-11-04 2004-11-03 浙江大学 1/4像素精度插值的方法和装置
CN101815218A (zh) * 2010-04-02 2010-08-25 北京工业大学 基于宏块特征的快速运动估计视频编码方法
CN102263954A (zh) * 2011-07-06 2011-11-30 北京航空航天大学 一种基于对象的快速分形视频压缩与解压缩方法
CN103188496A (zh) * 2013-03-26 2013-07-03 北京工业大学 基于运动矢量分布预测的快速运动估计视频编码方法
US20190238883A1 (en) * 2018-01-26 2019-08-01 Mediatek Inc. Hardware Friendly Constrained Motion Vector Refinement

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
万帅等编著: "《新一代高效视频编码H.265/HEVC原理、标准与实现》", 31 December 2014, 电子工业出版社 *
唐浩漾等: ""HEVC的异构钻石模板快速搜索算法"", 《计算机工程与应用》 *

Similar Documents

Publication Publication Date Title
CN110087087B (zh) Vvc帧间编码单元预测模式提前决策及块划分提前终止方法
JP5836625B2 (ja) 画像の符号化および復号化
JP2022044612A (ja) 画像予測方法および関連装置
CN101573984B (zh) 用于使用多个运动矢量预测因子来估计运动矢量的方法和设备，编码器、解码器和解码方法
CN104125466B (zh) 一种基于gpu的hevc并行解码方法
US20060203912A1 (en) Motion vector detection method, motion vector detection apparatus, computer program for executing motion vector detection process on computer
KR20130105904A (ko) 적응적 탭 사이즈를 갖는 저 복잡도 보간 필터링
CN111050168B (zh) 仿射预测方法及其相关装置
WO2018052552A1 (en) Dual filter type for motion compensated prediction in video coding
US10621731B1 (en) Apparatus and method for efficient motion estimation for different block sizes
CN102291581B (zh) 支持帧场自适应运动估计的实现方法
CN112055203B (zh) 帧间预测方法、视频编码方法及其相关装置
CN109587491A (zh) 一种帧内预测方法、装置及存储介质
CN101765011A (zh) 缩放运动估计的方法和装置
WO2020263472A1 (en) Method and apparatus for motion vector refinement
WO2019085636A1 (zh) 一种视频图像的处理方法和装置
CN100542299C (zh) 视讯图像错误的掩盖方法
CN101822058A (zh) 使用像素抽取的视频编码
CN101931739A (zh) 绝对误差总和值估算系统及方法
CN110740322A (zh) 视频编码方法及装置、存储介质、视频编码设备
CN110971897B (zh) 色度分量的帧内预测模式的编码、解码方法、设备和系统
CN116723328A (zh) 一种视频编码方法、装置、设备及存储介质
WO2021031225A1 (zh) 一种运动矢量导出方法、装置及电子设备
JP6390275B2 (ja) 符号化回路、符号化方法
CN111510727B (zh) 一种运动估计方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200131

RJ01 Rejection of invention patent application after publication