CN106941609A - 基于自适应分块压缩感知的视频压缩方法 - Google Patents

基于自适应分块压缩感知的视频压缩方法 Download PDF

Info

Publication number
CN106941609A
CN106941609A CN201710080951.8A CN201710080951A CN106941609A CN 106941609 A CN106941609 A CN 106941609A CN 201710080951 A CN201710080951 A CN 201710080951A CN 106941609 A CN106941609 A CN 106941609A
Authority
CN
China
Prior art keywords
video
block
piecemeal
sample rate
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710080951.8A
Other languages
English (en)
Other versions
CN106941609B (zh
Inventor
李如春
李林
施朝霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201710080951.8A priority Critical patent/CN106941609B/zh
Publication of CN106941609A publication Critical patent/CN106941609A/zh
Application granted granted Critical
Publication of CN106941609B publication Critical patent/CN106941609B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

基于自适应分块压缩感知的视频压缩方法，包含视频图像自适应分块方法和各种图像块分类并分配采样率方法两个部分。视频图像自适应分块方法，以参考帧图像相邻像素间的灰度差值作为块大小分割的依据，设定分块阈值T，通过当前区域块相邻像素灰度平均差值与阈值的比较，利用四叉树算法进行视频图像自适应块大小的划分，有效分离平坦区域和细节、边缘区域。在自适应分块的基础上，把视频像素DCT系数的帧间差值作为块分类的依据，将大小不一的各种图像块分成快速变化块、过渡块和缓慢变化块3种类型，并对不同类型的图像块分配合适的采样率。本发明视频重构质量好，重构时间短，在相同条件下两者均优于视频均匀分块压缩感知处理的方法。

Description

基于自适应分块压缩感知的视频压缩方法
技术领域
本发明属于视频处理领域，将压缩感知理论用于视频压缩处理，使信号采样 与压缩合并进行，有效地解决奈奎斯特采样定理对数据采集数量的限制，以及常 规视频压缩时“先采样后压缩”带来的数据资源浪费等问题。
背景技术
视频序列的每帧图像内相邻像素之间、帧间图像的相对应像素之间都具有较 高的冗余度，视频压缩编码标准采用对图像数据进行高速采样，将其通过预测、 变换、编码等处理，舍弃多数冗余数据，以达到压缩的目的。压缩感知处理方法 将采样与压缩合并进行，并使测量数量突破奈奎斯特采样定理的限制，只要信号 在某个变换域是稀疏的，用一个与该稀疏基不相关的测量矩阵对信号进行投影， 就可以从投影得到的少量测量值中，通过优化求解算法重构原信号。因此，采用 压缩感知理论对视频进行压缩处理，可以克服常规视频压缩时先大规模采样后高 比例压缩所造成的数据资源浪费等问题。
对视频基于压缩感知的方法进行整帧处理时，需要较大的存储空间和较复杂 的重构运算，为此，2007年Lu Gan提出分块压缩感知的处理方法。在通常的分块 压缩感知处理中，视频的每帧图像被分成许多大小相同的不重叠小块，测量和重 构时单独对每个图像块进行操作。但均匀分块无法体现不同视频内容的特点，存 在平坦区域分块过小，而细节、边缘区域分块过大的问题，从而影响视频重构质 量和重构所需时间。
发明内容
本发明要克服现有技术的上述缺点，提供一种基于自适应分块压缩感知的视 频压缩方法。
本发明提出根据视频图像相邻像素的灰度差值，自适应地对视频帧进行块大 小划分；在此基础上，根据视频帧间相关性对不同图像块进行自适应分类并分配 不同的采样率。
基于自适应分块压缩感知的视频压缩方法，包括以下步骤：
步骤1.所述视频图像自适应分块；
(1.1)对视频序列进行分组，每组取第一帧作为参考帧，视频组中其余帧 按照参考帧的自适应分块情况进行相同分块；
(1.2)以图像帧相邻像素间的灰度差值作为块大小分割的依据，设定分块阈 值T；分块阈值的计算包含以下步骤：
(1.2.1)对于大小为n×m个像素的视频图像x，(i,j)位置的像素灰度表示为 Gi,j，则第i行和第j列相邻像素之间灰度差的平均值通过公式 和进行求解；
(1.2.2)分块阈值T取决于整帧图像相邻像素灰度的行差、列差平均值，即 通过公式进行计算；
(1.3)将参考帧分成大小相等且不重叠的4个子区域块，对于每一个区域块， 当区域块相邻像素灰度平均差值大于T时，按四叉树算法进行进一步分块；当区 域块相邻像素灰度平均差值小于T时，停止继续分块；当图像块大小分割至4×4 时，即停止进一步分块；
步骤2.对视频图像块进行分类，包括：
(2.1)求解每一组视频中所有块的像素DCT(Discrete Cosine Transform， DCT)系数帧间残差平均值设定分类阈值
(2.2)计算视频组中空间同一位置对应块的DCT系数帧间残差平均值
(2.3)如果此类块定义为缓慢变化块，分配较高的采样率r1；如 果此类块定义为快速变化块，分配较低的采样率r3；如果此类块定义为过渡块，采样率r2的选取介于前面两者之间；
步骤3.对各类图像块分配合适的采样率，包括：
(3.1)对快速变化块、过渡块和缓慢变化块3种类型图像块进行采样率分 配时，可以设定采样率r1＝R，
(3.2)上述R是视频参考帧自适应分块时的预采样率，其大小的选取可根 据实际需求决定，如果对视频图像重构质量要求较高，可选取较大的R值；若 要重构时间少，则选取较小的R值。
本发明的优点为：基于压缩感知的视频分块处理方法中，对于均匀分块，分 块越小，重构速度越快，但由于图像块边缘的块效应，会导致重构质量变差。本 发明提出的基于自适应分块压缩感知的视频压缩方法，视频重构质量好，重构时 间短，两者在相同条件下均优于视频均匀分块处理的方法。
附图说明
图1是本发明的视频自适应分块的方法流程图
图2是本发明的视频测试序列自适应分块的结果图
图3自适应分块与均匀分块视频重构质量PSNR(dB)和重构时间(S)的对 比图
具体实施方式
下面结合附图对本发明作进一步描述。
图1是基于自适应分块压缩感知的视频压缩方法流程图，具体包括：
步骤1.所述视频图像自适应分块；
(1.1)对视频序列进行分组，每组取第一帧作为参考帧，视频组中其余帧 按照参考帧的自适应分块情况进行相同分块；
(1.2)以图像帧相邻像素间的灰度差值作为块大小分割的依据，设定分块阈 值T；分块阈值的计算包含以下步骤：
(1.2.1)对于大小为n×m个像素的视频图像x，(i,j)位置的像素灰度表示为 Gi,j，则第i行和第j列相邻像素之间灰度差的平均值通过公式 和进行求解；
(1.2.2)分块阈值T取决于整帧图像相邻像素灰度的行差、列差平均值，即 通过公式进行计算；
(1.3)将参考帧分成大小相等且不重叠的4个子区域块，对于每一个区域块， 当区域块相邻像素灰度平均差值大于T时，按四叉树算法进行进一步分块；当区 域块相邻像素灰度平均差值小于T时，停止继续分块；当图像块大小分割至4×4 时，即停止进一步分块；
步骤2.对视频图像块进行分类，包括：
(2.1)求解每一组视频中所有块的像素DCT(Discrete Cosine Transform， DCT)系数帧间残差平均值设定分类阈值
(2.2)计算视频组中空间同一位置对应块的DCT系数帧间残差平均值
(2.3)如果此类块定义为缓慢变化块，分配较高的采样率r1；如 果此类块定义为快速变化块，分配较低的采样率r3；如果此类块定义为过渡块，采样率r2的选取介于前面两者之间；
步骤3.对各类图像块分配合适的采样率，包括：
(3.1)对快速变化块、过渡块和缓慢变化块3种类型图像块进行采样率分 配时，可以设定采样率r1＝R，
(3.2)R是视频参考帧自适应分块时的预采样率，其大小的选取可根据实 际需求决定，如果对视频图像重构质量要求较高，可选取较大的R值；若要重 构时间少，则选取较小的R值。
选取50帧测试视频序列flower,其分辨率为352×288，视频具有图像细节丰 富、场景切换较快等特点，基于MATLAB软件平台，按照图1所述自适应分块方 法，测试视频序列10帧为一组，得到仿真结果如图2所示。可以看到，图像的右 下部位细节较多，块较小，左上部位细节少、较平坦，块较大，说明本发明所提 的方法可以实现根据视频内容有效进行自适应块大小的划分。
选取8个视频测试序列，根据本发明所述视频图像自适应分块方法和各种图 像块分类并分配采样率方法，选择采样率R＝10％，即自适应块分类所得到的缓 慢变化块、过渡块和快速变化块3种类型的采样率分别为r1＝40％、r2＝20％、 r3＝10％；均匀分块处理方法的块大小分别取8×8、16×16、32×32，采样率与快 速变化块一致，即取40％，采用DCT作为稀疏基，测量矩阵选择服从(0,1/N)的 高斯随机矩阵，重构算法采用全变差TV(TotalVariation)算法，视频重构质量利 用峰值信噪比PSNR(Peak Signal to Noise Ratio)表征，基于MATLAB软件平台， 仿真对比两种方法的图像重构质量和重构时间，得到图3所示的结果。由图中可 知，尽管均匀分块方法的采样率较高，但自适应分块方法的视频重构质量和重构 时间均优于任何一种块大小的均匀分块方法。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的 保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及 于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.基于自适应分块压缩感知的视频压缩方法，包括以下步骤：
步骤1.所述视频图像自适应分块；
(1.1)对视频序列进行分组，每组取第一帧作为参考帧，视频组中其余帧按照参考帧的自适应分块情况进行相同分块；
(1.2)以图像帧相邻像素间的灰度差值作为块大小分割的依据，设定分块阈值T；分块阈值的计算包含以下步骤：
(1.2.1)对于大小为n×m个像素的视频图像x，(i,j)位置的像素灰度表示为Gi,j，则第i行和第j列相邻像素之间灰度差的平均值通过公式和进行求解；
(1.2.2)分块阈值T取决于整帧图像相邻像素灰度的行差、列差平均值，即通过公式进行计算；
(1.3)将参考帧分成大小相等且不重叠的4个子区域块，对于每一个区域块，当区域块相邻像素灰度平均差值大于T时，按四叉树算法进行进一步分块；当区域块相邻像素灰度平均差值小于T时，停止继续分块；当图像块大小分割至4×4时，即停止进一步分块；
步骤2.图像块分类并分配采样率，包括：
(2.1)求解每一组视频中所有块的像素DCT(Discrete Cosine Transform，DCT)系数帧间残差平均值设定分类阈值
(2.2)计算视频组中空间同一位置对应块的DCT系数帧间残差平均值
(2.3)如果此类块定义为缓慢变化块，分配较高的采样率r1；如果此类块定义为快速变化块，分配较低的采样率r3；如果此类块定义为过渡块，采样率r2的选取介于前面两者之间；
步骤3.对各类图像块分配合适的采样率，包括：
(3.1)对快速变化块、过渡块和缓慢变化块3种类型图像块进行采样率分配时，可以设定采样率r1＝R，
(3.2)R是视频参考帧自适应分块时的预采样率，其大小的选取可根据实际需求决定，如果对视频图像重构质量要求较高，可选取较大的R值；若要重构时间少，则选取较小的R值。
CN201710080951.8A 2017-02-15 2017-02-15 基于自适应分块压缩感知的视频压缩方法 Active CN106941609B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710080951.8A CN106941609B (zh) 2017-02-15 2017-02-15 基于自适应分块压缩感知的视频压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710080951.8A CN106941609B (zh) 2017-02-15 2017-02-15 基于自适应分块压缩感知的视频压缩方法

Publications (2)

Publication Number Publication Date
CN106941609A true CN106941609A (zh) 2017-07-11
CN106941609B CN106941609B (zh) 2019-10-29

Family

ID=59469657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710080951.8A Active CN106941609B (zh) 2017-02-15 2017-02-15 基于自适应分块压缩感知的视频压缩方法

Country Status (1)

Country Link
CN (1) CN106941609B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107566846A (zh) * 2017-09-20 2018-01-09 北京维境视讯信息技术有限公司 视频编码跳过模式决策方法、装置、设备及存储介质
CN107592537A (zh) * 2017-10-20 2018-01-16 东华大学 一种面向航拍图像集的自适应压缩采样分配方法
CN107690070A (zh) * 2017-08-23 2018-02-13 南通河海大学海洋与近海工程研究院 基于无反馈码率控制的分布式视频压缩感知系统及方法
CN110418137A (zh) * 2019-07-31 2019-11-05 东华大学 一种交叉子集导引的剩余块集测量率调控方法
CN111010574A (zh) * 2019-12-13 2020-04-14 芯颖科技有限公司 图像压缩方法、装置和电子设备
CN111986280A (zh) * 2020-07-22 2020-11-24 广西交通设计集团有限公司 基于最大类间方差的分块压缩感知的图像压缩方法
CN113545043A (zh) * 2019-03-11 2021-10-22 Kddi 株式会社 图像解码装置、图像解码方法和程序

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104243987A (zh) * 2014-09-29 2014-12-24 刘鹏 基于自适应采样率的图像采样方法
US20160050440A1 (en) * 2014-08-15 2016-02-18 Ying Liu Low-complexity depth map encoder with quad-tree partitioned compressed sensing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160050440A1 (en) * 2014-08-15 2016-02-18 Ying Liu Low-complexity depth map encoder with quad-tree partitioned compressed sensing
CN104243987A (zh) * 2014-09-29 2014-12-24 刘鹏 基于自适应采样率的图像采样方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZHAORUI LIU等: "BLOCK-BASED ADAPTIVE COMPRESSED SENSING FOR VIDEO", 《PROCEEDINGS OF 2010 17TH INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *
曹玉强 等: "图像自适应分块的压缩感知采样算法", 《中国图象图形学报》 *
李如春 等: "基于变采样率压缩感知的视频压缩研究", 《电子技术应用》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107690070A (zh) * 2017-08-23 2018-02-13 南通河海大学海洋与近海工程研究院 基于无反馈码率控制的分布式视频压缩感知系统及方法
CN107690070B (zh) * 2017-08-23 2019-11-26 南通河海大学海洋与近海工程研究院 基于无反馈码率控制的分布式视频压缩感知系统及方法
CN107566846A (zh) * 2017-09-20 2018-01-09 北京维境视讯信息技术有限公司 视频编码跳过模式决策方法、装置、设备及存储介质
CN107566846B (zh) * 2017-09-20 2020-04-14 北京字节跳动网络技术有限公司 视频编码跳过模式决策方法、装置、设备及存储介质
CN107592537A (zh) * 2017-10-20 2018-01-16 东华大学 一种面向航拍图像集的自适应压缩采样分配方法
CN107592537B (zh) * 2017-10-20 2019-11-08 东华大学 一种面向航拍图像集的自适应压缩采样分配方法
CN113545043A (zh) * 2019-03-11 2021-10-22 Kddi 株式会社 图像解码装置、图像解码方法和程序
CN110418137A (zh) * 2019-07-31 2019-11-05 东华大学 一种交叉子集导引的剩余块集测量率调控方法
CN111010574A (zh) * 2019-12-13 2020-04-14 芯颖科技有限公司 图像压缩方法、装置和电子设备
CN111986280A (zh) * 2020-07-22 2020-11-24 广西交通设计集团有限公司 基于最大类间方差的分块压缩感知的图像压缩方法
CN111986280B (zh) * 2020-07-22 2021-06-01 广西交通设计集团有限公司 基于最大类间方差的分块压缩感知的图像压缩方法

Also Published As

Publication number Publication date
CN106941609B (zh) 2019-10-29

Similar Documents

Publication Publication Date Title
CN106941609A (zh) 基于自适应分块压缩感知的视频压缩方法
CN101710993B (zh) 基于块的自适应超分辨率视频处理方法及系统
CN103124347B (zh) 利用视觉感知特性指导多视点视频编码量化过程的方法
CN103179405B (zh) 一种基于多级感兴趣区域的多视点视频编码方法
CN107197260A (zh) 基于卷积神经网络的视频编码后置滤波方法
CN106534862B (zh) 一种视频编码方法
CN106960416A (zh) 一种内容复杂性自适应的视频卫星压缩图像超分辨率方法
CN102420988B (zh) 一种利用视觉特性的多视点视频编码系统
CN101911716A (zh) 评估感知质量的方法
CN1767655A (zh) 一种多视点视频图像视差估计的方法
CN103988500A (zh) 视频质量测量
CN111434115B (zh) 用于对包括像素点的视频图像进行编解码的方法和相关装置
CN102970540A (zh) 基于关键帧码率-量化模型的多视点视频码率控制方法
CN108347612A (zh) 一种基于视觉注意机制的监控视频压缩与重构方法
CN101056408B (zh) 用于确定视频编码中跳跃模式的阈值的方法和装置
CN106937116A (zh) 基于随机训练集自适应学习的低复杂度视频编码方法
CN107155112A (zh) 一种多假设预测的压缩感知视频处理方法
CN103596006A (zh) 基于视觉冗余度量的图像压缩方法
CN106056638A (zh) 一种自适应纹理对比度的低复杂度压缩感知图像编码方法
CN105915916B (zh) 基于运动向量率失真性能估计的视频隐写分析方法
JP2004023288A (ja) 動画像符号化のための前処理方式
Sandić-Stanković et al. Free viewpoint video quality assessment based on morphological multiscale metrics
JP4243218B2 (ja) 量子化制御装置、その方法及びそのプログラム、並びに、適応量子化符号化装置
CN106331707A (zh) 基于恰可觉察失真模型的非对称感知视频编码系统及方法
Korhonen Learning-based prediction of packet loss artifact visibility in networked video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant