CN108419081A - 一种基于特征的帧间编码方法 - Google Patents

一种基于特征的帧间编码方法 Download PDF

Info

Publication number
CN108419081A
CN108419081A CN201810265603.2A CN201810265603A CN108419081A CN 108419081 A CN108419081 A CN 108419081A CN 201810265603 A CN201810265603 A CN 201810265603A CN 108419081 A CN108419081 A CN 108419081A
Authority
CN
China
Prior art keywords
frame
key point
interest
coding unit
inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810265603.2A
Other languages
English (en)
Other versions
CN108419081B (zh
Inventor
杨青
王军
姜楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
SYSU CMU Shunde International Joint Research Institute
Research Institute of Zhongshan University Shunde District Foshan
National Sun Yat Sen University
Original Assignee
SYSU CMU Shunde International Joint Research Institute
Research Institute of Zhongshan University Shunde District Foshan
National Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SYSU CMU Shunde International Joint Research Institute, Research Institute of Zhongshan University Shunde District Foshan, National Sun Yat Sen University filed Critical SYSU CMU Shunde International Joint Research Institute
Priority to CN201810265603.2A priority Critical patent/CN108419081B/zh
Publication of CN108419081A publication Critical patent/CN108419081A/zh
Application granted granted Critical
Publication of CN108419081B publication Critical patent/CN108419081B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于特征的帧间编码方法，首先提取视频图像中每一帧的关键点以及关键点的特征向量，然后对关键点以及特征向量进行计算得到感兴趣区域以及运动特性，并以此对编码单元进行编码深度划分，最后遍历所有编码单元所有深度下的预测单元预测模式，得到视频编码的帧间模式，从而减少预测编码的遍历深度以及冗余的率失真代价值递归计算，可以在保证编码性能不变的前提下，实现编码前后的特征信息尽量不丢失，提高视频压缩低码率编码中的主观质量，缩短编码时间，降低帧间预测编码过程中预算复杂度。

Description

一种基于特征的帧间编码方法
技术领域
本发明涉及图像视频编码领域，特别是一种基于特征的帧间编码方法。
背景技术
HEVC(High Efficiency Video Coding，高清视频编码标准) 作为最新一代的视频编码标准，相比上一代H.264编码标准，在相同编码质量的情况下，压缩效率可以提升一倍，但是HEVC的编码复杂度会大于H.264的150％，HEVC是基于视频图像质量的编码方法，即在相同的图像质量下，尽可能的压缩视频编码码率，或者反过来说，在相同的压缩码率下，尽可能的提高图像质量，在机器视觉应用中(比如物体识别、匹配、检索、分类等等)，HEVC等传统的视频压缩方法显得无能为力，一方面，基于图像质量的视频编码没有考虑到未来压缩后的视频会用于机器视觉，仅仅考虑到人对视频质量的愉悦感，对于机器来说，绚丽愉悦的视频质量并没有什么帮助，机器视觉需要的是视频中尽可能的保留更多的视频内容特征的信息；另一方面，现有的视频压缩技术都是有损压缩，因而难免会丢失信息，这些丢失的信息中就很有可能包含视频重要的内容特征，再者，由于HEVC的广泛使用，导致视频编码的复杂度明显上升和编码时间增加。
基于以上几个要求，需要提出一种针对机器学习的尽可能保留足够多的可供识别的特征信息的视频编码方式，同时要求降低码率和编码时间。
发明内容
为解决上述问题，本发明的目的在于提供一种基于特征的帧间编码方法，可以在保证编码性能不变的前提下，实现编码前后的特征信息尽量不丢失，提高视频压缩低码率编码中的主观质量，缩短编码时间，降低帧间预测编码过程中预算复杂度。
本发明解决其问题所采用的技术方案是：
一种基于特征的帧间编码方法，其特征在于：包括以下步骤：
A、利用基于视觉领域的特征提取方法定位视频中的每一帧的关键点，并提取出关键点的特征向量；
B、对关键点进行计算得到感兴趣区域，采用帧差法将当前帧图像与前一帧图像的感兴趣区域的关键点的特征向量进行比较，得到当前帧的运动特性，并对编码单元进行编码深度划分；
C、遍历编码单元所有深度下的预测单元预测模式，得到视频编码的帧间模式。
进一步，所述步骤A中利用基于视觉领域的特征提取方法定位视频中的每一帧的关键点，所述特征提取方法为FGSIFT算法。
进一步，所述步骤A利用基于视觉领域的特征提取方法定位视频中的每一帧的关键点，并提取出关键点的特征向量，包括以下步骤：
A1、对视频中的每一帧进行尺度空间极值检测，得到极值点；
A2、采用DoG函数定位关键点的位置；
A3、提取关键点的特征向量。
进一步，所述步骤B对关键点进行计算得到感兴趣区域，采用帧差法将当前帧图像与前一帧图像的感兴趣区域的关键点的特征向量进行比较，得到当前帧的运动特性，并对编码单元进行编码深度划分，包括以下步骤：
B1、判断当前帧是否为第一帧，若是，转步骤B8，若否，转步骤B2；
B2、判断当前最大编码单元是否为第一个最大编码单元，若是，转步骤B4，若否，转步骤B3；
B3、判断当前最大编码单元是否在边界上，若是，转步骤B8，若否，以最大编码单元为单位，遍历每个最大编码单元，转步骤B4；
B4、采用特征映射函数将分布在当前最大编码单元上的关键点数量进行感兴趣区域参数的计算，根据设定的感兴趣区域阈值判断当前最大编码单元是否处于感兴趣区域，若为非感兴趣区域，转步骤B5，若为感兴趣区域，转步骤B6；
B5、判断非感兴趣区域是否为近似平滑区域，若是近似平滑区域，则当前最大编码单元中的所有编码单元划分深度为0，且预测单元模式设为PART_2Nx2N，若为非近似平滑区域，转步骤B9；
B6、将当前帧图像与前一帧图像的感兴趣区域的特征向量进行比较，统计图像中位置和方向都发生变动的关键点个数，并计算变动比其中Numc为变动的关键点个数，Numt为当前最大编码单元中总的关键点个数；
B7、根据设定的变动关键点阈值判定当前最大编码单元是否为运动剧烈区域，若为运动剧烈区域，转步骤B8，若为非运动剧烈区域，转步骤B9；
B8、采用xCompressCU函数对编码单元进行HM标准的四叉树递归划分；
B9、参考前一帧图像的对应位置最大编码单元的划分情况，对当前编码的最大编码单元按设定的深度进行划分。
进一步，所述步骤B4中采用特征映射函数将分布在当前最大编码单元上的关键点数量进行感兴趣区域参数的计算，其中特征映射函数的计算式为：
其中i表示视频帧中子块的编号，Numkey[i]表示第个子块中关键点的数量，表示视频帧中非零的Numkey[i]的期望值，t 和T分别表示上限和下限。
进一步，所述步骤B4中根据设定的感兴趣区域阈值判断当前最大编码单元是否处于感兴趣区域，设定的感兴趣区域阈值为λThr＝0.5，若计算得到的感兴趣区域参数大于0.5，即当前最大编码单元处于感兴趣区域，否则处于非感兴趣区域。
进一步，所述步骤B5中判断非感兴趣区域是否为近似平滑区域，通过与设定的近似平滑区域阈值进行对比，当该区域的关键点个数低于近似平滑区域阈值时即为近似平滑区域，否则为非近似平滑区域，其中近似平滑区域阈值为NumThr＝32。
进一步，所述步骤B6中根据设定的变动关键点阈值判定当前最大编码单元是否为运动剧烈区域，其中设定的变动关键点阈值为 RThr＝0.5，当关键点的变动比大于0.5时，即为运动剧烈区域，否则为非运动剧烈区域。
进一步，所述步骤C中遍历编码单元所有深度下的预测单元预测模式，采用HEVC规定遍历编码单元所有深度下的预测单元预测模式。
进一步，所述步骤C中得到视频编码的帧间模式的具体步骤为：通过HM的率失真计算，选取率失真代价最小的编码单元划分方式和预测单元预测模式，作为该帧的帧间编码模式。
本发明的有益效果是：本发明采用的一种基于特征的帧间编码方法，利用相邻帧的特征信息相关性，根据前后两帧中相同位置的关键点的特征向量来确定两帧的相似程度，并根据相似程度来快速确定编码单元的划分模式，从而减少预测编码的遍历深度以及冗余的率失真代价值递归计算，可以在保证编码性能不变的前提下，实现编码前后的特征信息尽量不丢失，提高视频压缩低码率编码中的主观质量，缩短编码时间，降低帧间预测编码过程中预算复杂度。
附图说明
下面结合附图和实例对本发明作进一步说明。
图1是本发明一种基于特征的帧间编码方法的流程框图；
图2是本发明一种基于特征的帧间编码方法的流程图。
具体实施方式
参照图1，本发明的一种基于特征的帧间编码方法，其特征在于：包括以下步骤：A、利用基于视觉领域的特征提取方法定位视频中的每一帧的关键点，并提取出关键点的特征向量；B、对关键点进行计算得到感兴趣区域，采用帧差法将当前帧图像与前一帧图像的感兴趣区域的关键点的特征向量进行比较，得到当前帧的运动特性，并对编码单元(编码单元)进行编码深度划分；C、遍历编码单元所有深度下的预测单元(预测单元)预测模式，得到视频编码的帧间模式。
通过本发明的方法，可以在保证编码性能不变的前提下，实现编码前后的特征信息尽量不丢失，提高视频压缩低码率编码中的主观质量，缩短编码时间，降低帧间预测编码过程中预算复杂度
具体地，步骤A采用的是FGSIFT算法作为特征提取算法进行关键点的定位以及特征向量的提取，具体过程为：
A1、对视频中的每一帧进行尺度空间极值检测，得到极值点；
A2、采用DoG函数精确定位关键点的位置，首先，根据下列计算式计算DoG函数中的x方向上的高斯差分DOG_X：
DOG_X＝G_X(x,y,kσ)-G_X(x,y,σ)
＝G(x,kσ)*I(x,y)-G(x,σ)*I(x,y)；
＝(G(x,kσ)-G(x,σ))*I(x,y)
其中，DOG_X是两个附近尺度的G_X的差值，其中G_X(x，y，σ)是输入图像I(x，y)和图像I(x，y)在 x维的1-D高斯核G(x，σ)(1×n矢量)的卷积，上式可以直接从两个高斯内核与输入图像的差的卷积产生DOG_X，它可以在从W×H到 n的过程中减少一次图像卷积计算和减法运算的次数(W和H是图像的宽度和高度)，接下来，用DOG_X与y方向上的高斯差分的卷积计算出DoG_xy(x，y，kσ)，y方向上的高斯差分为y维的两个附近尺度的1-D高斯核G_(x，σ)(1×n矢量)的差值，根据下式计算得到DoG_xy(x，y，kσ)：
DoG_xy(x,y,kσ)＝(G(y,kσ)-G(y,σ))*DoG_x(x,y,kσ)；
这个算法选择DoG_xy(x，y，kσ)的局部峰值作为候选关键点时，单层使用3x3点窗口来检测极值点，因为分两个方向来求差值再卷积，实际上滤除了多余的点。
然后，FGSIFT算法要去除其中低对比度的点和边缘极值点，同时也去除一些噪声。
A3、提取关键点的特征向量。
具体地，本发明在特征点检测算法方面可以选取其他算法，例如 SIFT、KAZE、SURF等算法。
具体地，步骤B包括以下步骤：
B1、判断当前帧是否为第一帧，若是，转步骤B8，若否，转步骤B2；
B2、判断当前最大编码单元是否为第一个最大编码单元，若是，转步骤B4，若否，转步骤B3；
B3、判断当前最大编码单元是否在边界上，若是，转步骤B8，若否，以最大编码单元为单位，遍历每个最大编码单元，转步骤B4；
B4、采用特征映射函数将分布在当前最大编码单元上的关键点数量进行感兴趣区域参数的计算，根据设定的感兴趣区域阈值判断当前最大编码单元是否处于感兴趣区域，若为非感兴趣区域，转步骤B5，若为感兴趣区域，转步骤B6；
B5、判断非感兴趣区域是否为近似平滑区域，若是近似平滑区域，则当前最大编码单元中的所有编码单元划分深度为0，且预测单元模式设为PART_2Nx2N，若为非近似平滑区域，转步骤B9；
B6、将当前帧图像与前一帧图像的感兴趣区域的特征向量进行比较，统计图像中位置和方向都发生变动的关键点个数，并计算变动比其中Numc为变动的关键点个数，Numt为当前最大编码单元中总的关键点个数；
B7、根据设定的变动关键点阈值判定当前最大编码单元是否为运动剧烈区域，若为运动剧烈区域，转步骤B8，若为非运动剧烈区域，转步骤B9；
B8、采用xCompressCU函数对编码单元进行HM标准的四叉树递归划分；
B9、参考前一帧图像的对应位置最大编码单元的划分情况，对当前编码的最大编码单元按设定的深度进行划分。
具体地，步骤B4中采用特征映射函数将分布在当前最大编码单元上的关键点数量进行感兴趣区域参数的计算，其中特征映射函数的计算式为：
其中i表示视频帧中子块的编号，Numkey[i]表示第个子块中关键点的数量，表示视频帧中非零的Numkey[i]的期望值，t 和T分别表示上限和下限。
在计算得到当前最大编码单元上的关键点数量的感兴趣区域参数后，将其与预先设定好的感兴趣区域阈值λThr进行对比，本发明设定的感兴趣区域阈值λThr＝0.5，若计算得到的感兴趣区域参数大于 0.5即表示当前最大编码单元处于感兴趣区域，否则处于非感兴趣区域。
具体地，步骤B5中判断非感兴趣区域是否为近似平滑区域，通过与设定的近似平滑区域阈值进行对比，当该区域的关键点个数低于近似平滑区域阈值时即为近似平滑区域，否则为非近似平滑区域，其中近似平滑区域阈值为NumThr＝32。
在步骤B5中的PART_2Nx2N为帧间编码预测单元的的8种分割模式中的一种，代表最平滑的预测单元预测模式，当判断非感兴趣区域为近似平滑区域时，即采用模式PART_2Nx2N作为最终的预测单元预测模式。
具体地，步骤B6中根据设定的变动关键点阈值判定当前最大编码单元是否为运动剧烈区域，其中设定的变动关键点阈值为
RThr＝0.5，当关键点的变动比大于0.5时，即为运动剧烈区域，否则为非运动剧烈区域。
具体地，本发明所设定的感兴趣区域阈值λThr、ASR阈值NumThr、变动关键点阈值RThr的大小可以根据实际情况进行设定。
具体地，步骤C中遍历编码单元所有深度下的预测单元预测模式，采用HEVC规定遍历编码单元所有深度下的预测单元预测模式。
具体地，步骤C中得到视频编码的帧间模式的具体步骤为：通过 HM的率失真计算，选取率失真代价最小的编码单元划分方式和预测单元预测模式，作为该帧的帧间编码模式。
参照图2所示，本发明的一种基于特征的帧间编码方法的流程图，其中LCU为最大编码单元，ASR为近似平滑区域，CU为编码单元，PU 为预测单元，具体步骤为：
S1、对每一帧图像进行特征检测，转步骤S2；
S2、当前帧是否为第一帧,否转步骤S3，是转步骤S12；
S3、当前LCU是否为第一个LCU,否转步骤S4，是转步骤S5；
S4、当前LCU是否处于边界,否转步骤S5，是转步骤S12；
S5、进入特征映射函数，转步骤S6；
S6、当前LCU是否处于感兴趣区域,是转步骤S7，否转步骤S9；
S7、采用帧差法进行计算，转步骤S8；
S8、当前LCU是否为运动剧烈区域,否转步骤S10，是转步骤S12；
S9、是否为ASR区域,是转步骤S13，否转步骤S10；
S10、参考前一帧对应的LCU划分形式，转步骤S11；
S11、按照HEVC规定遍历所有CU深度下的所有PU模式，转步骤 S14；
S12、对CU进行HM标准的四叉树递归划分，转步骤S14；
S13、当前LCU中所有CU划分深度为0，且PU模式为PART_2Nx2N，转步骤S14；
S14、结束。
本发明将与HEVC视频编码标准的参考软件HM16.5的方法进行比较，并对其中三种视频编码性能进行比较分析：峰值信噪比PSNR(主要体现视频的客观视频质量)、比特率(体现占用资源大小)、编码时间(体现编码的计算复杂度)，引入如下三个衡量指标进行评价：
ΔPSNR＝PSNRours-PSNRHM；
其中ΔPSNR表示本发明方法与HM16.5标准方法峰值信噪比的差值，ΔBR为本发明方法与HM16.5标准方法比特率的差值占比，ΔT 为本发明方法与HM16.5标准方法编码时间的差值占比。
表1(本发明与HM16.5标准方法各个参数之间的比较)
表1为本发明提供的方法和HM16.5之间的PSNR、比特率和编码时间的比较，如表1所示，与HM16.5相比，使用本发明的方法在视频质量和比特率损失很小的情况下，节省了33.14％～56.53％的编码时间。
另外，针对本发明保留特征的特点，为了保证视频帧的特征被保留，所以需引入匹配对和匹配度这两个评估标准来对本发明方法输出的视频序列与HM16.5自身编码方式输出的视频序列，与未编码的视频序列进行匹配，结果如表2所示。
匹配步骤如下：将本发明方法输出的视频序列与未编码的视频序列用FG-SIFT算法找出关键点，生成描述子，然后进行匹配，然后统计两者的匹配线的数目，即为匹配对，HM16.5自身编码方式输出的视频序列也是如此。
因为本发明中视频帧的特征信息用关键点的形式表现出来，所以可以用关键点的匹配来证明本发明方法能够将视频帧中的特征信息保留下来，并通过用匹配度来进行直观的评判，匹配度的定义为：
如表2所示，本发明提供的方法的匹配度最高可达到91.90％，平均可达到84.27％，匹配度越高，表示保留特征性能越好，所以本发明提供的方法基本上保留了视频帧中的特征信息。
表2(本发明提供的方法与HM16.5之间的匹配度)
综上所述，本发明方法可以实现在保证编码性能不变的前提下，实现编码前后的特征信息尽量不丢失，提高视频压缩低码率编码中的主观质量，缩短编码时间，降低帧间预测编码过程中预算复杂度等目标。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。

Claims (10)

1.一种基于特征的帧间编码方法，其特征在于：包括以下步骤：
A、利用基于视觉领域的特征提取方法定位视频中的每一帧的关键点，并提取出关键点的特征向量；
B、对关键点进行计算得到感兴趣区域，采用帧差法将当前帧图像与前一帧图像的感兴趣区域的关键点的特征向量进行比较，得到当前帧的运动特性，并对编码单元进行编码深度划分；
C、遍历编码单元所有深度下的预测单元预测模式，得到视频编码的帧间模式。
2.根据权利要求1所述的一种基于特征的帧间编码方法，其特征在于：所述步骤A中利用基于视觉领域的特征提取方法定位视频中的每一帧的关键点，所述特征提取方法为FGSI FT算法。
3.根据权利要求1所述的一种基于特征的帧间编码方法，其特征在于：所述步骤A利用基于视觉领域的特征提取方法定位视频中的每一帧的关键点，并提取出关键点的特征向量，包括以下步骤：
A1、对视频中的每一帧进行尺度空间极值检测，得到极值点；
A2、采用DoG函数定位关键点的位置；
A3、提取关键点的特征向量。
4.根据权利要求1所述的一种基于特征的帧间编码方法，其特征在于：所述步骤B对关键点进行计算得到感兴趣区域，采用帧差法将当前帧图像与前一帧图像的感兴趣区域的关键点的特征向量进行比较，得到当前帧的运动特性，并对编码单元进行编码深度划分，包括以下步骤：
B1、判断当前帧是否为第一帧，若是，转步骤B8，若否，转步骤B2；
B2、判断当前最大编码单元是否为第一个最大编码单元，若是，转步骤B4，若否，转步骤B3；
B3、判断当前最大编码单元是否在边界上，若是，转步骤B8，若否，以最大编码单元为单位，遍历每个最大编码单元，转步骤B4；
B4、采用特征映射函数将分布在当前最大编码单元上的关键点数量进行感兴趣区域参数的计算，根据设定的感兴趣区域阈值判断当前最大编码单元是否处于感兴趣区域，若为非感兴趣区域，转步骤B5，若为感兴趣区域，转步骤B6；
B5、判断非感兴趣区域是否为近似平滑区域，若是近似平滑区域，则当前最大编码单元中的所有编码单元划分深度为0，且预测单元模式设为PART_2Nx2N，若为非近似平滑区域，转步骤B9；
B6、将当前帧图像与前一帧图像的感兴趣区域的特征向量进行比较，统计图像中位置和方向都发生变动的关键点个数，并计算变动比其中Numc为变动的关键点个数，Numt为当前最大编码单元中总的关键点个数；
B7、根据设定的变动关键点阈值判定当前最大编码单元是否为运动剧烈区域，若为运动剧烈区域，转步骤B8，若为非运动剧烈区域，转步骤B9；
B8、采用xCompressCU函数对编码单元进行HM标准的四叉树递归划分；
B9、参考前一帧图像的对应位置最大编码单元的划分情况，对当前编码的最大编码单元按设定的深度进行划分。
5.根据权利要求4所述的一种基于特征的帧间编码方法，其特征在于：所述步骤B4中采用特征映射函数将分布在当前最大编码单元上的关键点数量进行感兴趣区域参数的计算，其中特征映射函数的计算式为：
其中i表示视频帧中子块的编号，Numkey[i]表示第个子块中关键点的数量，表示视频帧中非零的Numkey[i]的期望值，t和T分别表示上限和下限。
6.根据权利要求4所述的一种基于特征的帧间编码方法，其特征在于：所述步骤B4中根据设定的感兴趣区域阈值判断当前最大编码单元是否处于感兴趣区域，设定的感兴趣区域阈值λThr＝0.5，若计算得到的感兴趣区域参数大于0.5，即当前最大编码单元处于感兴趣区域，否则处于非感兴趣区域。
7.根据权利要求4所述的一种基于特征的帧间编码方法，其特征在于：所述步骤B5中判断非感兴趣区域是否为近似平滑区域，通过与设定的近似平滑区域阈值进行对比，当该区域的关键点个数低于近似平滑区域阈值时即为近似平滑区域，否则为非近似平滑区域，其中近似平滑区域阈值为NumThr＝32。
8.根据权利要求4所述的一种基于特征的帧间编码方法，其特征在于：所述步骤B6中根据设定的变动关键点阈值判定当前最大编码单元是否为运动剧烈区域，其中设定的变动关键点阈值为RThr＝0.5，当关键点的变动比大于0.5时，即为运动剧烈区域，否则为非运动剧烈区域。
9.根据权利要求1所述的一种基于特征的帧间编码方法，其特征在于：所述步骤C中遍历编码单元所有深度下的预测单元预测模式，采用HEVC规定遍历编码单元所有深度下的预测单元预测模式。
10.根据权利要求1所述的一种基于特征的帧间编码方法，其特征在于：所述步骤C中得到视频编码的帧间模式的具体步骤为：通过HM的率失真计算，选取率失真代价最小的编码单元划分方式和预测单元预测模式，作为该帧的帧间编码模式。
CN201810265603.2A 2018-03-28 2018-03-28 一种基于特征的帧间编码方法 Active CN108419081B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810265603.2A CN108419081B (zh) 2018-03-28 2018-03-28 一种基于特征的帧间编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810265603.2A CN108419081B (zh) 2018-03-28 2018-03-28 一种基于特征的帧间编码方法

Publications (2)

Publication Number Publication Date
CN108419081A true CN108419081A (zh) 2018-08-17
CN108419081B CN108419081B (zh) 2020-06-05

Family

ID=63132559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810265603.2A Active CN108419081B (zh) 2018-03-28 2018-03-28 一种基于特征的帧间编码方法

Country Status (1)

Country Link
CN (1) CN108419081B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113099216A (zh) * 2021-03-26 2021-07-09 北京百度网讯科技有限公司 编码复杂度评估方法、装置、设备以及存储介质
CN114782676A (zh) * 2022-04-02 2022-07-22 北京广播电视台 一种视频感兴趣区域的提取方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101945275A (zh) * 2010-08-18 2011-01-12 镇江唐桥微电子有限公司 一种基于感兴趣区域的视频编码方法
US20140254670A1 (en) * 2013-03-07 2014-09-11 Samsung Electronics Co., Ltd. Method and apparatus for roi coding using variable block size coding information
CN104113754A (zh) * 2014-07-17 2014-10-22 四川大学 基于时域相关性的高性能视频帧间编码方法及其转码器
CN105141967A (zh) * 2015-07-08 2015-12-09 上海大学 基于恰可觉察失真模型的快速自适应环路滤波算法
CN107592547A (zh) * 2017-08-31 2018-01-16 浙江工业大学 一种基于hevc压缩域的运动感知图提取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101945275A (zh) * 2010-08-18 2011-01-12 镇江唐桥微电子有限公司 一种基于感兴趣区域的视频编码方法
US20140254670A1 (en) * 2013-03-07 2014-09-11 Samsung Electronics Co., Ltd. Method and apparatus for roi coding using variable block size coding information
CN104113754A (zh) * 2014-07-17 2014-10-22 四川大学 基于时域相关性的高性能视频帧间编码方法及其转码器
CN105141967A (zh) * 2015-07-08 2015-12-09 上海大学 基于恰可觉察失真模型的快速自适应环路滤波算法
CN107592547A (zh) * 2017-08-31 2018-01-16 浙江工业大学 一种基于hevc压缩域的运动感知图提取方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113099216A (zh) * 2021-03-26 2021-07-09 北京百度网讯科技有限公司 编码复杂度评估方法、装置、设备以及存储介质
CN113099216B (zh) * 2021-03-26 2023-03-24 北京百度网讯科技有限公司 编码复杂度评估方法、装置、设备以及存储介质
CN114782676A (zh) * 2022-04-02 2022-07-22 北京广播电视台 一种视频感兴趣区域的提取方法和系统
CN114782676B (zh) * 2022-04-02 2023-01-06 北京广播电视台 一种视频感兴趣区域的提取方法和系统

Also Published As

Publication number Publication date
CN108419081B (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
KR101528895B1 (ko) 관심 특성 색 모델 변수의 적응성 추정을 위한 방법 및 장치
CN105933711B (zh) 基于分割的邻域最优概率视频隐写分析方法及系统
CN111462261B (zh) 针对h.266/vvc的快速cu分区和帧内决策方法
CN108337515B (zh) 一种视频编码方法及装置
CN111353395A (zh) 一种基于长短期记忆网络的换脸视频检测方法
CN106664417A (zh) 用于视频编码的内容自适应背景前景分割
KR101822687B1 (ko) 이미지의 현재 블록을 재구성하는 방법과 대응 인코딩 방법, 대응 디바이스 및 비트 스트림으로 인코딩된 이미지들을 저장하는 저장 매체
CN107454413B (zh) 一种保留特征的视频编码方法
TWI539407B (zh) 移動物體偵測方法及移動物體偵測裝置
CN104581170B (zh) 基于hevc降视频分辨率的快速帧间转码的方法
Chao et al. On the design of a novel JPEG quantization table for improved feature detection performance
CN108419081A (zh) 一种基于特征的帧间编码方法
CN107079165A (zh) 使用预测残差的视频编码方法及装置
CN112437310B (zh) 一种基于随机森林的vvc帧内编码快速cu划分决策方法
CN111263157A (zh) 一种基于运动矢量一致性的视频多域隐写分析方法
TWI512685B (zh) 移動物體偵測方法及其裝置
CN110246093B (zh) 一种解码图像增强方法
KR20200119372A (ko) 인공신경망 기반 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램
CN106803962B (zh) 基于贝叶斯准则的3d视频深度图帧内预测模式选择方法
Ma et al. Variable rate roi image compression optimized for visual quality
CN104853215A (zh) 基于运动向量局部最优性保持的视频隐写方法
CN106131553B (zh) 一种基于运动矢量残差相关性的视频隐写分析方法
CN105915916B (zh) 基于运动向量率失真性能估计的视频隐写分析方法
KR101858202B1 (ko) 지역 하이브리드 패턴의 부호화 방법과 이를 이용한 하이브리드 배경 모델링 방법 및 장치
CN108833928B (zh) 交通监控视频编码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant