CN108419081B - 一种基于特征的帧间编码方法 - Google Patents

一种基于特征的帧间编码方法 Download PDF

Info

Publication number
CN108419081B
CN108419081B CN201810265603.2A CN201810265603A CN108419081B CN 108419081 B CN108419081 B CN 108419081B CN 201810265603 A CN201810265603 A CN 201810265603A CN 108419081 B CN108419081 B CN 108419081B
Authority
CN
China
Prior art keywords
region
coding unit
frame
key points
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810265603.2A
Other languages
English (en)
Other versions
CN108419081A (zh
Inventor
杨青
王军
姜楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Joint Research Institute
Sun Yat Sen University
SYSU CMU Shunde International Joint Research Institute
Original Assignee
Joint Research Institute
Sun Yat Sen University
SYSU CMU Shunde International Joint Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Joint Research Institute, Sun Yat Sen University, SYSU CMU Shunde International Joint Research Institute filed Critical Joint Research Institute
Priority to CN201810265603.2A priority Critical patent/CN108419081B/zh
Publication of CN108419081A publication Critical patent/CN108419081A/zh
Application granted granted Critical
Publication of CN108419081B publication Critical patent/CN108419081B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于特征的帧间编码方法，首先提取视频图像中每一帧的关键点以及关键点的特征向量，然后对关键点以及特征向量进行计算得到感兴趣区域以及运动特性，并以此对编码单元进行编码深度划分，最后当需要参考前一帧对应的最大编码单元划分形式时，遍历所有编码单元所有深度下的预测单元预测模式，得到视频编码的帧间模式，从而减少预测编码的遍历深度以及冗余的率失真代价值递归计算，可以在保证编码性能不变的前提下，实现编码前后的特征信息尽量不丢失，提高视频压缩低码率编码中的主观质量，缩短编码时间，降低帧间预测编码过程中预算复杂度。

Description

一种基于特征的帧间编码方法
技术领域
本发明涉及图像视频编码领域，特别是一种基于特征的帧间编码方法。
背景技术
HEVC(High Efficiency Video Coding，高清视频编码标准)作为最新一代的视频编码标准，相比上一代H.264编码标准，在相同编码质量的情况下，压缩效率可以提升一倍，但是HEVC的编码复杂度会大于H.264的150％，HEVC是基于视频图像质量的编码方法，即在相同的图像质量下，尽可能的压缩视频编码码率，或者反过来说，在相同的压缩码率下，尽可能的提高图像质量，在机器视觉应用中(比如物体识别、匹配、检索、分类等等)，HEVC等传统的视频压缩方法显得无能为力，一方面，基于图像质量的视频编码没有考虑到未来压缩后的视频会用于机器视觉，仅仅考虑到人对视频质量的愉悦感，对于机器来说，绚丽愉悦的视频质量并没有什么帮助，机器视觉需要的是视频中尽可能的保留更多的视频内容特征的信息；另一方面，现有的视频压缩技术都是有损压缩，因而难免会丢失信息，这些丢失的信息中就很有可能包含视频重要的内容特征，再者，由于HEVC的广泛使用，导致视频编码的复杂度明显上升和编码时间增加。
基于以上几个要求，需要提出一种针对机器学习的尽可能保留足够多的可供识别的特征信息的视频编码方式，同时要求降低码率和编码时间。
发明内容
为解决上述问题，本发明的目的在于提供一种基于特征的帧间编码方法，可以在保证编码性能不变的前提下，实现编码前后的特征信息尽量不丢失，提高视频压缩低码率编码中的主观质量，缩短编码时间，降低帧间预测编码过程中预算复杂度。
本发明解决其问题所采用的技术方案是：
一种基于特征的帧间编码方法，其特征在于：包括以下步骤：
A、利用基于视觉领域的特征提取方法定位视频中的每一帧的关键点，并提取出关键点的特征向量；
B、对关键点进行计算得到感兴趣区域，采用帧差法将当前帧图像与前一帧图像的感兴趣区域的关键点的特征向量进行比较，得到当前帧的运动特性，并对编码单元进行编码深度划分；
C、当需要参考前一帧对应的最大编码单元划分形式时，遍历编码单元所有深度下的预测单元预测模式，得到视频编码的帧间模式。
进一步，所述步骤A中利用基于视觉领域的特征提取方法定位视频中的每一帧的关键点，所述特征提取方法为FGSIFT算法。
进一步，所述步骤A利用基于视觉领域的特征提取方法定位视频中的每一帧的关键点，并提取出关键点的特征向量，包括以下步骤：
A1、对视频中的每一帧进行尺度空间极值检测，得到极值点；
A2、采用DoG函数定位关键点的位置；
A3、提取关键点的特征向量。
进一步，所述步骤B对关键点进行计算得到感兴趣区域，采用帧差法将当前帧图像与前一帧图像的感兴趣区域的关键点的特征向量进行比较，得到当前帧的运动特性，并对编码单元进行编码深度划分，包括以下步骤：
B1、判断当前帧是否为第一帧，若是，转步骤B8，若否，转步骤B2；
B2、判断当前最大编码单元是否为第一个最大编码单元，若是，转步骤B4，若否，转步骤B3；
B3、判断当前最大编码单元是否在边界上，若是，转步骤B8，若否，以最大编码单元为单位，遍历每个最大编码单元，转步骤B4；
B4、采用特征映射函数将分布在当前最大编码单元上的关键点数量进行感兴趣区域参数的计算，根据设定的感兴趣区域阈值判断当前最大编码单元是否处于感兴趣区域，若为非感兴趣区域，转步骤B5，若为感兴趣区域，转步骤B6；
B5、判断非感兴趣区域是否为近似平滑区域，若是近似平滑区域，则当前最大编码单元中的所有编码单元划分深度为0，且预测单元模式设为PART_2Nx2N，若为非近似平滑区域，转步骤B9；
B6、将当前帧图像与前一帧图像的感兴趣区域的特征向量进行比较，统计图像中位置和方向都发生变动的关键点个数，并计算变动比
Figure GDA0002437996310000041
其中Numc为变动的关键点个数，Numt为当前最大编码单元中总的关键点个数；
B7、根据设定的变动关键点阈值判定当前最大编码单元是否为运动剧烈区域，若为运动剧烈区域，转步骤B8，若为非运动剧烈区域，转步骤B9；
B8、采用xCompressCU函数对编码单元进行HM标准的四叉树递归划分；
B9、参考前一帧图像的对应位置最大编码单元的划分情况，对当前编码的最大编码单元按设定的深度进行划分。
进一步，所述步骤B4中采用特征映射函数将分布在当前最大编码单元上的关键点数量进行感兴趣区域参数的计算，其中特征映射函数的计算式为：
Figure GDA0002437996310000042
其中i表示视频帧中子块的编号，Numkey[i]表示第i个子块中关键点的数量，
Figure GDA0002437996310000043
表示视频帧中非零的Numkey[i]的期望值，t和T分别表示上限和下限。
进一步，所述步骤B4中根据设定的感兴趣区域阈值判断当前最大编码单元是否处于感兴趣区域，设定的感兴趣区域阈值为λThr＝0.5，若计算得到的感兴趣区域参数大于0.5，即当前最大编码单元处于感兴趣区域，否则处于非感兴趣区域。
进一步，所述步骤B5中判断非感兴趣区域是否为近似平滑区域，通过与设定的近似平滑区域阈值进行对比，当该区域的关键点个数低于近似平滑区域阈值时即为近似平滑区域，否则为非近似平滑区域，其中近似平滑区域阈值为NumThr＝32。
进一步，所述步骤B6中根据设定的变动关键点阈值判定当前最大编码单元是否为运动剧烈区域，其中设定的变动关键点阈值为RThr＝0.5，当关键点的变动比大于0.5时，即为运动剧烈区域，否则为非运动剧烈区域。
进一步，所述步骤C中遍历编码单元所有深度下的预测单元预测模式，采用HEVC规定遍历编码单元所有深度下的预测单元预测模式。
进一步，所述步骤C中得到视频编码的帧间模式的具体步骤为：通过HM的率失真计算，选取率失真代价最小的编码单元划分方式和预测单元预测模式，作为该帧的帧间编码模式。
本发明的有益效果是：本发明采用的一种基于特征的帧间编码方法，利用相邻帧的特征信息相关性，根据前后两帧中相同位置的关键点的特征向量来确定两帧的相似程度，并根据相似程度来快速确定编码单元的划分模式，从而减少预测编码的遍历深度以及冗余的率失真代价值递归计算，可以在保证编码性能不变的前提下，实现编码前后的特征信息尽量不丢失，提高视频压缩低码率编码中的主观质量，缩短编码时间，降低帧间预测编码过程中预算复杂度。
附图说明
下面结合附图和实例对本发明作进一步说明。
图1是本发明一种基于特征的帧间编码方法的流程框图；
图2是本发明一种基于特征的帧间编码方法的流程图。
具体实施方式
参照图1，本发明的一种基于特征的帧间编码方法，其特征在于：包括以下步骤：A、利用基于视觉领域的特征提取方法定位视频中的每一帧的关键点，并提取出关键点的特征向量；B、对关键点进行计算得到感兴趣区域，采用帧差法将当前帧图像与前一帧图像的感兴趣区域的关键点的特征向量进行比较，得到当前帧的运动特性，并对编码单元(编码单元)进行编码深度划分；C、当需要参考前一帧对应的最大编码单元划分形式时，遍历编码单元所有深度下的预测单元(预测单元)预测模式，得到视频编码的帧间模式。
通过本发明的方法，可以在保证编码性能不变的前提下，实现编码前后的特征信息尽量不丢失，提高视频压缩低码率编码中的主观质量，缩短编码时间，降低帧间预测编码过程中预算复杂度
具体地，步骤A采用的是FGSIFT算法作为特征提取算法进行关键点的定位以及特征向量的提取，具体过程为：
A1、对视频中的每一帧进行尺度空间极值检测，得到极值点；
A2、采用DoG函数精确定位关键点的位置，首先，根据下列计算式计算DoG函数中的x方向上的高斯差分DOG_X：
DOG_X＝G_X(x,y,kσ)-G_X(x,y,σ)
＝G(x,kσ)*I(x,y)-G(x,σ)*I(x,y)；
＝(G(x,kσ)-G(x,σ))*I(x,y)
其中，
Figure GDA0002437996310000071
DOG_X是两个附近尺度的G_X的差值，其中G_X(x，y，σ)是输入图像I(x，y)和图像I(x，y)在x维的1-D高斯核G(x，σ)(1×n矢量)的卷积，上式可以直接从两个高斯内核与输入图像的差的卷积产生DOG_X，它可以在从W×H到n的过程中减少一次图像卷积计算和减法运算的次数(W和H是图像的宽度和高度)，接下来，用DOG_X与y方向上的高斯差分的卷积计算出DoG_xy(x，y，kσ)，y方向上的高斯差分为y维的两个附近尺度的1-D高斯核G_(x，σ)(1×n矢量)的差值，根据下式计算得到DoG_xy(x，y，kσ)：
DoG_xy(x,y,kσ)＝(G(y,kσ)-G(y,σ))*DoG_x(x,y,kσ)；
这个算法选择DoG_xy(x，y，kσ)的局部峰值作为候选关键点时，单层使用3x3点窗口来检测极值点，因为分两个方向来求差值再卷积，实际上滤除了多余的点。
然后，FGSIFT算法要去除其中低对比度的点和边缘极值点，同时也去除一些噪声。
A3、提取关键点的特征向量。
具体地，本发明在特征点检测算法方面可以选取其他算法，例如SIFT、KAZE、SURF等算法。
具体地，步骤B包括以下步骤：
B1、判断当前帧是否为第一帧，若是，转步骤B8，若否，转步骤B2；
B2、判断当前最大编码单元是否为第一个最大编码单元，若是，转步骤B4，若否，转步骤B3；
B3、判断当前最大编码单元是否在边界上，若是，转步骤B8，若否，以最大编码单元为单位，遍历每个最大编码单元，转步骤B4；
B4、采用特征映射函数将分布在当前最大编码单元上的关键点数量进行感兴趣区域参数的计算，根据设定的感兴趣区域阈值判断当前最大编码单元是否处于感兴趣区域，若为非感兴趣区域，转步骤B5，若为感兴趣区域，转步骤B6；
B5、判断非感兴趣区域是否为近似平滑区域，若是近似平滑区域，则当前最大编码单元中的所有编码单元划分深度为0，且预测单元模式设为PART_2Nx2N，若为非近似平滑区域，转步骤B9；
B6、将当前帧图像与前一帧图像的感兴趣区域的特征向量进行比较，统计图像中位置和方向都发生变动的关键点个数，并计算变动比
Figure GDA0002437996310000081
其中Numc为变动的关键点个数，Numt为当前最大编码单元中总的关键点个数；
B7、根据设定的变动关键点阈值判定当前最大编码单元是否为运动剧烈区域，若为运动剧烈区域，转步骤B8，若为非运动剧烈区域，转步骤B9；
B8、采用xCompressCU函数对编码单元进行HM标准的四叉树递归划分；
B9、参考前一帧图像的对应位置最大编码单元的划分情况，对当前编码的最大编码单元按设定的深度进行划分。
具体地，步骤B4中采用特征映射函数将分布在当前最大编码单元上的关键点数量进行感兴趣区域参数的计算，其中特征映射函数的计算式为：
Figure GDA0002437996310000091
其中i表示视频帧中子块的编号，Numkey[i]表示第i个子块中关键点的数量，
Figure GDA0002437996310000092
表示视频帧中非零的Numkey[i]的期望值，t和T分别表示上限和下限。
在计算得到当前最大编码单元上的关键点数量的感兴趣区域参数后，将其与预先设定好的感兴趣区域阈值λThr进行对比，本发明设定的感兴趣区域阈值λThr＝0.5，若计算得到的感兴趣区域参数大于0.5即表示当前最大编码单元处于感兴趣区域，否则处于非感兴趣区域。
具体地，步骤B5中判断非感兴趣区域是否为近似平滑区域，通过与设定的近似平滑区域阈值进行对比，当该区域的关键点个数低于近似平滑区域阈值时即为近似平滑区域，否则为非近似平滑区域，其中近似平滑区域阈值为NumThr＝32。
在步骤B5中的PART_2Nx2N为帧间编码预测单元的的8种分割模式中的一种，代表最平滑的预测单元预测模式，当判断非感兴趣区域为近似平滑区域时，即采用模式PART_2Nx2N作为最终的预测单元预测模式。
具体地，步骤B6中根据设定的变动关键点阈值判定当前最大编码单元是否为运动剧烈区域，其中设定的变动关键点阈值为RThr＝0.5，当关键点的变动比大于0.5时，即为运动剧烈区域，否则为非运动剧烈区域。
具体地，本发明所设定的感兴趣区域阈值λThr、ASR阈值NumThr、变动关键点阈值RThr的大小可以根据实际情况进行设定。
具体地，步骤C中遍历编码单元所有深度下的预测单元预测模式，采用HEVC规定遍历编码单元所有深度下的预测单元预测模式。
具体地，步骤C中得到视频编码的帧间模式的具体步骤为：通过HM的率失真计算，选取率失真代价最小的编码单元划分方式和预测单元预测模式，作为该帧的帧间编码模式。
参照图2所示，本发明的一种基于特征的帧间编码方法的流程图，其中LCU为最大编码单元，ASR为近似平滑区域，CU为编码单元，PU为预测单元，具体步骤为：
S1、对每一帧图像进行特征检测，转步骤S2；
S2、当前帧是否为第一帧,否转步骤S3，是转步骤S12；
S3、当前LCU是否为第一个LCU,否转步骤S4，是转步骤S5；
S4、当前LCU是否处于边界,否转步骤S5，是转步骤S12；
S5、进入特征映射函数，转步骤S6；
S6、当前LCU是否处于感兴趣区域,是转步骤S7，否转步骤S9；
S7、采用帧差法进行计算，转步骤S8；
S8、当前LCU是否为运动剧烈区域,否转步骤S10，是转步骤S12；
S9、是否为ASR区域,是转步骤S13，否转步骤S10；
S10、参考前一帧对应的LCU划分形式，转步骤S11；
S11、按照HEVC规定遍历所有CU深度下的所有PU模式，转步骤S14；
S12、对CU进行HM标准的四叉树递归划分，转步骤S14；
S13、当前LCU中所有CU划分深度为0，且PU模式为PART_2Nx2N，转步骤S14；
S14、结束。
本发明将与HEVC视频编码标准的参考软件HM16.5的方法进行比较，并对其中三种视频编码性能进行比较分析：峰值信噪比PSNR(主要体现视频的客观视频质量)、比特率(体现占用资源大小)、编码时间(体现编码的计算复杂度)，引入如下三个衡量指标进行评价：
ΔPSNR＝PSNRours-PSNRHM；
Figure GDA0002437996310000111
Figure GDA0002437996310000121
其中ΔPSNR表示本发明方法与HM16.5标准方法峰值信噪比的差值，ΔBR为本发明方法与HM16.5标准方法比特率的差值占比，ΔT为本发明方法与HM16.5标准方法编码时间的差值占比。
表1(本发明与HM16.5标准方法各个参数之间的比较)
Figure GDA0002437996310000122
Figure GDA0002437996310000131
表1为本发明提供的方法和HM16.5之间的PSNR、比特率和编码时间的比较，如表1所示，与HM16.5相比，使用本发明的方法在视频质量和比特率损失很小的情况下，节省了33.14％～56.53％的编码时间。
另外，针对本发明保留特征的特点，为了保证视频帧的特征被保留，所以需引入匹配对和匹配度这两个评估标准来对本发明方法输出的视频序列与HM16.5自身编码方式输出的视频序列，与未编码的视频序列进行匹配，结果如表2所示。
匹配步骤如下：将本发明方法输出的视频序列与未编码的视频序列用FG-SIFT算法找出关键点，生成描述子，然后进行匹配，然后统计两者的匹配线的数目，即为匹配对，HM16.5自身编码方式输出的视频序列也是如此。
因为本发明中视频帧的特征信息用关键点的形式表现出来，所以可以用关键点的匹配来证明本发明方法能够将视频帧中的特征信息保留下来，并通过用匹配度来进行直观的评判，匹配度的定义为：
Figure GDA0002437996310000141
如表2所示，本发明提供的方法的匹配度最高可达到91.90％，平均可达到84.27％，匹配度越高，表示保留特征性能越好，所以本发明提供的方法基本上保留了视频帧中的特征信息。
表2(本发明提供的方法与HM16.5之间的匹配度)
序列/匹配度 分辨率 QP＝22 QP＝27 QP＝32 QP＝37
Cactus 1080P 82.87％ 84.74％ 87.43％ 84.48％
BasketballDrive 1080P 82.03％ 81.70％ 81.35％ 91.90％
BasketballDrill WVGA 81.75％ 85.66％ 82.45％ 79.22％
BQMall WVGA 84.36％ 86.64％ 88.24％ 82.58％
BlowingBubbles WQVGA 84.36％ 85.44％ 78.87％ 90.64％
BQSquare WQVGA 77.23％ 86.23％ 85.51％ 86.73％
综上所述，本发明方法可以实现在保证编码性能不变的前提下，实现编码前后的特征信息尽量不丢失，提高视频压缩低码率编码中的主观质量，缩短编码时间，降低帧间预测编码过程中预算复杂度等目标。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。

Claims (6)

1.一种基于特征的帧间编码方法，其特征在于：包括以下步骤：
A、利用基于视觉领域的特征提取方法定位视频中的每一帧的关键点，并提取出关键点的特征向量；
B、对关键点进行计算得到感兴趣区域，采用帧差法将当前帧图像与前一帧图像的感兴趣区域的关键点的特征向量进行比较，得到当前帧的运动特性，并对编码单元进行编码深度划分；
其中，所述步骤B对关键点进行计算得到感兴趣区域，采用帧差法将当前帧图像与前一帧图像的感兴趣区域的关键点的特征向量进行比较，得到当前帧的运动特性，并对编码单元进行编码深度划分，包括以下步骤：
B1、判断当前帧是否为第一帧，若是，转步骤B8，若否，转步骤B2；
B2、判断当前最大编码单元是否为第一个最大编码单元，若是，转步骤B4，若否，转步骤B3；
B3、判断当前最大编码单元是否在边界上，若是，转步骤B8，若否，以最大编码单元为单位，遍历每个最大编码单元，转步骤B4；
B4、采用特征映射函数将分布在当前最大编码单元上的关键点数量进行感兴趣区域参数的计算，根据设定的感兴趣区域阈值判断当前最大编码单元是否处于感兴趣区域，若为非感兴趣区域，转步骤B5，若为感兴趣区域，转步骤B6；
B5、判断非感兴趣区域是否为近似平滑区域，若是近似平滑区域，则当前最大编码单元中的所有编码单元划分深度为0，且预测单元模式设为PART_2Nx2N，若为非近似平滑区域，转步骤B9；
B6、将当前帧图像与前一帧图像的感兴趣区域的特征向量进行比较，统计图像中位置和方向都发生变动的关键点个数，并计算变动比
Figure FDA0002437996300000021
其中Numc为变动的关键点个数，Numt为当前最大编码单元中总的关键点个数；
B7、根据设定的变动关键点阈值判定当前最大编码单元是否为运动剧烈区域，若为运动剧烈区域，转步骤B8，若为非运动剧烈区域，转步骤B9；
B8、采用xCompressCU函数对编码单元进行HM标准的四叉树递归划分；
B9、参考前一帧图像的对应位置最大编码单元的划分情况，对当前编码的最大编码单元按设定的深度进行划分；
其中，所述步骤B5中判断非感兴趣区域是否为近似平滑区域，通过与设定的近似平滑区域阈值进行对比，当该区域的关键点个数低于近似平滑区域阈值时即为近似平滑区域，否则为非近似平滑区域，其中近似平滑区域阈值为NumThr＝32；
其中，所述步骤B4中采用特征映射函数将分布在当前最大编码单元上的关键点数量进行感兴趣区域参数的计算，其中特征映射函数的计算式为：
Figure FDA0002437996300000031
其中i表示视频帧中子块的编号，Numkey[i]表示第i个子块中关键点的数量，
Figure FDA0002437996300000032
表示视频帧中非零的Numkey[i]的期望值，t和T分别表示上限和下限；
其中，所述步骤B4中根据设定的感兴趣区域阈值判断当前最大编码单元是否处于感兴趣区域，设定的感兴趣区域阈值λThr＝0.5，若计算得到的感兴趣区域参数大于0.5，即当前最大编码单元处于感兴趣区域，否则处于非感兴趣区域；
C、当需要参考前一帧对应的最大编码单元划分形式时，遍历编码单元所有深度下的预测单元预测模式，得到视频编码的帧间模式。
2.根据权利要求1所述的一种基于特征的帧间编码方法，其特征在于：所述步骤A中利用基于视觉领域的特征提取方法定位视频中的每一帧的关键点，所述特征提取方法为FGSIFT算法。
3.根据权利要求1所述的一种基于特征的帧间编码方法，其特征在于：所述步骤A利用基于视觉领域的特征提取方法定位视频中的每一帧的关键点，并提取出关键点的特征向量，包括以下步骤：
A1、对视频中的每一帧进行尺度空间极值检测，得到极值点；
A2、采用DoG函数定位关键点的位置；
A3、提取关键点的特征向量。
4.根据权利要求1所述的一种基于特征的帧间编码方法，其特征在于：所述步骤B6中根据设定的变动关键点阈值判定当前最大编码单元是否为运动剧烈区域，其中设定的变动关键点阈值为RThr＝0.5，当关键点的变动比大于0.5时，即为运动剧烈区域，否则为非运动剧烈区域。
5.根据权利要求1所述的一种基于特征的帧间编码方法，其特征在于：所述步骤C中遍历编码单元所有深度下的预测单元预测模式，采用HEVC规定遍历编码单元所有深度下的预测单元预测模式。
6.根据权利要求1所述的一种基于特征的帧间编码方法，其特征在于：所述步骤C中得到视频编码的帧间模式的具体步骤为：通过HM的率失真计算，选取率失真代价最小的编码单元划分方式和预测单元预测模式，作为该帧的帧间编码模式。
CN201810265603.2A 2018-03-28 2018-03-28 一种基于特征的帧间编码方法 Active CN108419081B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810265603.2A CN108419081B (zh) 2018-03-28 2018-03-28 一种基于特征的帧间编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810265603.2A CN108419081B (zh) 2018-03-28 2018-03-28 一种基于特征的帧间编码方法

Publications (2)

Publication Number Publication Date
CN108419081A CN108419081A (zh) 2018-08-17
CN108419081B true CN108419081B (zh) 2020-06-05

Family

ID=63132559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810265603.2A Active CN108419081B (zh) 2018-03-28 2018-03-28 一种基于特征的帧间编码方法

Country Status (1)

Country Link
CN (1) CN108419081B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113099216B (zh) * 2021-03-26 2023-03-24 北京百度网讯科技有限公司 编码复杂度评估方法、装置、设备以及存储介质
CN114782676B (zh) * 2022-04-02 2023-01-06 北京广播电视台 一种视频感兴趣区域的提取方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101945275A (zh) * 2010-08-18 2011-01-12 镇江唐桥微电子有限公司 一种基于感兴趣区域的视频编码方法
CN104113754A (zh) * 2014-07-17 2014-10-22 四川大学 基于时域相关性的高性能视频帧间编码方法及其转码器
CN105141967A (zh) * 2015-07-08 2015-12-09 上海大学 基于恰可觉察失真模型的快速自适应环路滤波算法
CN107592547A (zh) * 2017-08-31 2018-01-16 浙江工业大学 一种基于hevc压缩域的运动感知图提取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102088801B1 (ko) * 2013-03-07 2020-03-13 삼성전자주식회사 가변블록 사이즈 코딩 정보를 이용한 관심영역 코딩 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101945275A (zh) * 2010-08-18 2011-01-12 镇江唐桥微电子有限公司 一种基于感兴趣区域的视频编码方法
CN104113754A (zh) * 2014-07-17 2014-10-22 四川大学 基于时域相关性的高性能视频帧间编码方法及其转码器
CN105141967A (zh) * 2015-07-08 2015-12-09 上海大学 基于恰可觉察失真模型的快速自适应环路滤波算法
CN107592547A (zh) * 2017-08-31 2018-01-16 浙江工业大学 一种基于hevc压缩域的运动感知图提取方法

Also Published As

Publication number Publication date
CN108419081A (zh) 2018-08-17

Similar Documents

Publication Publication Date Title
CN110087087B (zh) Vvc帧间编码单元预测模式提前决策及块划分提前终止方法
CN107454413B (zh) 一种保留特征的视频编码方法
JP5270573B2 (ja) ブロックアーチファクトを検出する方法及び装置
JP5479679B2 (ja) 高速なビデオ・フレーム／フィールド符号化を行う方法および装置
CN109068142B (zh) 360度视频帧内预测快速决策方法、装置、编解码器和介质
CN108712648B (zh) 一种深度视频快速帧内编码方法
JP2006246431A (ja) 画像符号化装置および画像符号化方法
CN109446967B (zh) 一种基于压缩信息的人脸检测方法和系统
CN108174208B (zh) 一种基于特征分类的高效视频编码方法
CN108419081B (zh) 一种基于特征的帧间编码方法
CN111429497B (zh) 基于深度学习和多特征融合的自适应cu拆分决策方法
CN110324617B (zh) 图像处理方法及装置
CN111492655A (zh) 用于视频压缩的基于纹理的分区决定
JP4748603B2 (ja) 動画像符号化装置
CN106664404A (zh) 视频编码中的块分割方式处理方法和相关装置
CN115118977A (zh) 针对360度视频的帧内预测编码方法、系统及介质
CN109565592B (zh) 一种使用基于分割的视频编码块划分的视频编码设备和方法
CN108833928B (zh) 交通监控视频编码方法
KR20060111528A (ko) 비디오 신호에서 국부적인 시각적 공간-시간 상세의 검출
CN112087624A (zh) 基于高效率视频编码的编码管理方法
CN113422959A (zh) 视频编解码的方法、装置、电子设备及存储介质
CN114584771B (zh) 一种基于内容自适应的帧内图像编码单元划分方法与系统
EP2153659A1 (en) Post processing of motion vectors using sad for low bit rate video compression
CN111988605A (zh) 模式选择方法、装置、计算机可读存储介质及电子设备
CN113613005B (zh) 一种基于时域滤波的视频降噪的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant