CN108521573A - 一种分布式视频压缩感知编解码方法 - Google Patents

一种分布式视频压缩感知编解码方法 Download PDF

Info

Publication number
CN108521573A
CN108521573A CN201810339482.1A CN201810339482A CN108521573A CN 108521573 A CN108521573 A CN 108521573A CN 201810339482 A CN201810339482 A CN 201810339482A CN 108521573 A CN108521573 A CN 108521573A
Authority
CN
China
Prior art keywords
block
video
current block
measurement
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810339482.1A
Other languages
English (en)
Inventor
才争野
赵慧民
吕巨建
徐小平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Polytechnic Normal University
Original Assignee
Guangdong Polytechnic Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Polytechnic Normal University filed Critical Guangdong Polytechnic Normal University
Priority to CN201810339482.1A priority Critical patent/CN108521573A/zh
Publication of CN108521573A publication Critical patent/CN108521573A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/395Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving distributed video coding [DVC], e.g. Wyner-Ziv video coding or Slepian-Wolf video coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种分布式视频压缩感知编解码方法,主要针对编码资源受限、视频内容平滑区域较多且运动缓慢场景下的压缩感知视频编解码系统。可使系统在低测量率情况下便可获得高质量的视频重构图像,同时还具备在模拟域直接进行视频压缩数据采集的特点。其技术方案主要包括两部分:一是在编码端,将视频序列分为关键帧(Key帧)与非关键帧(CS帧)两部分。为了节约编码成本,使其适应编码资源受限的场景,该方法对Key帧以及CS帧直接利用压缩感知进行分块测量,不进行其他复杂操作。二是在解码端,增加了相似判别、测量值补充以及平滑判别三种机制对非关键帧块进行细化分类,然后根据不同的分类结果判断是采用最佳线性估计方法还是多假设预测方法进行重构。

Description

一种分布式视频压缩感知编解码方法
技术领域
本发明涉及计算机软件的技术领域。
背景技术
通信技术的不断进步推动了多媒体技术的迅速发展,无线视频监控系统、移动可视电话和无线多媒体传感器网络等视频应用得到了广泛的应用。这些应用都具有着共同的特点,即编码端计算和存储能力有限,但解码端计算资源丰富,而传统的视频编解码标准(H.26X/AVC)下的编码端对计算复杂度的要求较高,这使得传统的视频编码标准已经不再适合此类应用。
为了适应视频应用由编码复杂向编码简单模式的转变,同时增强对信息鲁棒传输的支持,相关研究者们近年来提出了一种分布式视频压缩感知(Distributed VideoCompressed Sensing,DVCS)框架,该框架将传统视频编码标准中大量的复杂编码模式转移到了解码端,使得低复杂度编码端的存在成为了可能。DVCS为压缩感知(CompressedSensing,CS)与分布式视频编码(Distributed Video Coding,DVC)的结合,具备了CS的欠奈奎斯特采样率信息获取以及DVC的“独立编码,联合解码”的特点,具有较低的编码复杂度。因此非常适合编码端资源受限场合下的视频应用。目前现有的一些DVCS编解码方案为了使编码效率最大化,均在编码端进行了较复杂的处理,并不适用于那些编码端资源受限场景下的视频应用。同时,现有方案在低采样率的情况下,均存在视频重构质量不理想的问题。
为此,本发明基于DVCS框架,在编码端不进行复杂操作情况下,在解码端进行了一种细化分类重构处理,保证了视频图像在低采样率下仍然能够获得较高质量的重构效果。
发明内容
本发明在DVCS框架下,提出了一种新的分布式视频编解码方法,较好地解决了由于编码端的低采样率导致解码端视频重构效果不理想的问题。
本发明的技术方案包括:分块压缩感知、相似判别、测量值补充、最佳线性估计和多假设预测的编解码方法。
一、分块压缩感知:CS理论自从提出以来就一直受着广泛的关注和研究。其是以一维形式的向量作为研究目标,而当把CS应用到多维度的视频中时,由于视频具有非常大的数据量,直接利用CS对视频的每一整帧进行投影时,势必需要庞大的计算量和存储空间,使得现实中较难实现。针对上述难题,研究者们提出了分块压缩感知(Block-BasedCompressed Sensing,BCS)方法,其基本思想是利用同一观测矩阵ΦB对每个尺寸大小相同的图像块进行测量与重构,即yi=ΦBxi,其中yi表示当前块xi的观测值。BCS具有低存储、低计算复杂度以及硬件易实现的特点,因此在视频图像处理中被广泛的应用。本发明就是利用BCS来实现对Key帧以及CS帧的压缩采样。
二、相似判别:相似判别主要是通过对当前块与参考帧(Key帧)中对应位置搜索框内同样大小的假设块进行欧几里得距离计算,如果距离d≤T(T为阈值),则判定该假设块与当前块是相似块。然而,编码端传输给解码端的均是在测量域下的观测值,所以本发明中的相似判别是在测量域中进行的。计算公式为:||yi-yRefer||2其中,||g||2表示欧几里得范数,yRefer表示参考帧中假设块的测量值。本发明在DVCS框架下,加入了相似判别模块,有助于系统对时间相关性的利用。
三、测量值补充:测量值补充是一个利用相似块的测量值对当前块的测量值进行补充的过程。其主要是将参考帧中相似块测量值的一部分复制到当前块测量值中进行补充。高测量率可以带来更好质量的重构效果,因此本发明在DVCS框架下,加入了测量值补充方法,提高了视频恢复的效果。
四、最佳线性估计:最佳线性估计(Optional Linear Estimation,OLE)是一种以线性方式对信号进行快速重构的方法,相较于传统DVCS重建过程中的非线性最优化迭代过程,具有较低的计算复杂度。其进行线性重构的公式为:其中为线性估计器,Rxx为自相关函数矩阵。OLE具有对平滑块高质量重构的特性,因此本发明在DVCS框架下,采用OLE算法对视频帧中的平滑块进行线性快速重构,充分的利用了图像中的局部特性。
五、多假设预测:多假设预测(Multiple Hypotheses,MH)重构方法在DVCS中扮演者重要的角色,其对视频序列间时空相关性的合理挖掘,使得其广泛的应用在DVCS重构算法中。MH预测示意图如图1所示,其基本思想是利用参考帧中搜索空间内的所有假设块的最佳线性组合来近似当前块,可以描述为如下最优化问题:其中,表示对当前块的最佳近似,Hi是参考帧中对应于当前块xi位置搜索空间内B2×K维假设块矩阵,B为宏块尺寸大小,K为搜索空间中总共的假设块数量;本发明在DVCS框架下,加入了多假设预测重构方法,充分的利用了当前帧与参考帧间的时间相关性,在快速重构的同时,提高了视频的重构质量。
附图说明
图1为空域多假设预测示意图;
图2为OLE-MH重构算法系统框架,包括图2a和图2b;
图3为测量值补充机制。
具体实施方式
本发明的实施框架示意图如图2所示。
Step1:在图2-(a)的编码端,首先将视频序列以图像组(GOP)为单元进行拆分,每个GOP分别包含一个为Key帧与一个CS帧,每帧均进行互不重叠的B×B分块处理。对Key帧块采用较高测量率的测量矩阵进行测量,对CS帧块则用较低测量率的进行测量,即其中,表示t-1时刻关键帧中第j个宏块的列向量形式,表示t时刻非关键帧中第i个宏块的列向量形式。然后,将获得的Key帧与CS帧的观测值发送到解码端。这里,整个观测过程非常简单,而且该观测过程可以利用CI器件在光域中直接进行CS测量大大的降低了编码端的复杂度。
Step2:在图2-(b)的解码端,首先对与当前CS帧相邻的Key帧采用BCS-SPL-DDWT算法进行重构,然后在相邻关键帧中对应于CS帧当前块xi位置的搜索窗内以同样B×B的块大小采用全搜索方式生成假设块矩阵Hi,Hi中的每列均为假设块的列向量形式。生成Hi后利用测量矩阵对其进行测量,得到测量值矩阵计算公式如下:
这里,测量矩阵的前K(K为的行数)行设置成与相同,这样做有助于后面的相似判别与测量值补充。
Step3:得到后将其前K行进行截取,得到的矩阵记为计算当前块测量值与矩阵中每列的欧氏距离,得到距离向量Di。设置一个阈值T1(一般设置在1~2之间)来衡量当前块与假设块是否相似当距离向量Di中的最小值表示此搜索窗中没有与当前块相似的块,对该种情况,采用多假设预测(Multi-Hypothesis,MH)方法对当前块进行重构。当距离向量Di中的最小值则表示此最小值所对应的假设块与当前块最为相似。
Step4:找到相似块后,判断此相似块在关键帧中是否与当前块处于同样的位置,如果在同样的位置,则直接利用关键帧中此块的测量值进行测量值补充,如果不在同样的位置,则利用此相似块的测量值对进行测量值补充,进行测量值补充可以获得更好的重构效果,其示意图如图3所示,从图中可以看出,测量值补充是把关键帧中相似块的一部分测量值补充到非关键帧当前块的测量值中。
Step5:测量值补充后,利用当前块与相似块具有相似的块特征的特性,通过计算相似假设块的均方差σ来判定当前块是否平滑,计算公式如下:
其中,N=B2为Hi中与当前块最相似的假设块的列向量形式;为其平均值。如果σ≤T2(阈值T2一般设置在30~35之间)则判定当前块为平滑块,针对平滑块采用最佳线性估计方法进行重构。如果σ>T2则判定当前块为非平滑块,对其采用MH进行重构。所有图像块均重构完成后,对它们进行重组,形成对当前非关键帧的重构帧

Claims (6)

1.一种分布式视频压缩感知编解码方法,包括:分块压缩感知、相似判别、测量值补充、最佳线性估计和多假设预测的编解码方法,其特征是分块压缩感知方法,CS理论自从提出以来就一直受着广泛的关注和研究,其是以一维形式的向量作为研究目标,而当把CS应用到多维度的视频中时,由于视频具有非常大的数据量,直接利用CS对视频的每一整帧进行投影时,势必需要庞大的计算量和存储空间,使得现实中较难实现,针对上述难题,研究者们提出了分块压缩感知方法,其基本思想是利用同一观测矩阵ΦB对每个尺寸大小相同的图像块进行测量与重构,即yi=ΦBxi,其中yi表示当前块xi的观测值,BCS具有低存储、低计算复杂度以及硬件易实现的特点,因此在视频图像处理中被广泛的应用,本发明就是利用BCS来实现对Key帧以及CS帧的压缩采样。
2.根据权利要求1所述的分布式视频压缩感知编解码方法,其特征是相似判别方法,相似判别主要是通过对当前块与参考帧(Key帧)中对应位置搜索框内同样大小的假设块进行欧几里得距离计算,如果距离d≤T(T为阈值),则判定该假设块与当前块是相似块,然而,编码端传输给解码端的均是在测量域下的观测值,所以本发明中的相似判别是在测量域中进行的。计算公式为:||yi-yRefer||2其中,||g||2表示欧几里得范数,yRefer表示参考帧中假设块的测量值。本发明在DVCS框架下,加入了相似判别模块,有助于系统对时间相关性的利用。
3.根据权利要求1所述的分布式视频压缩感知编解码方法,其特征是测量值补充方法,测量值补充是一个利用相似块的测量值对当前块的测量值进行补充的过程,其主要是将参考帧中相似块测量值的一部分复制到当前块测量值中进行补充,高测量率可以带来更好质量的重构效果,因此本发明在DVCS框架下,加入了测量值补充方法,提高了视频恢复的效果。
4.根据权利要求1所述的分布式视频压缩感知编解码方法,其特征是最佳线性估计方法,最佳线性估计是一种以线性方式对信号进行快速重构的方法,相较于传统DVCS重建过程中的非线性最优化迭代过程,具有较低的计算复杂度,其进行线性重构的公式为:其中为线性估计器,Rxx为自相关函数矩阵,OLE具有对平滑块高质量重构的特性,因此本发明在DVCS框架下,采用OLE算法对视频帧中的平滑块进行线性快速重构,充分的利用了图像中的局部特性。
5.根据权利要求1所述的分布式视频压缩感知编解码方法,其特征是多假设预测方法,多假设预测重构方法在DVCS中扮演者重要的角色,其对视频序列间时空相关性的合理挖掘,使得其广泛的应用在DVCS重构算法中,MH预测示意图如图1所示,其基本思想是利用参考帧中搜索空间内的所有假设块的最佳线性组合来近似当前块,可以描述为如下最优化问题: 其中,表示对当前块的最佳近似,Hi是参考帧中对应于当前块xi位置搜索空间内B2×K维假设块矩阵,B为宏块尺寸大小,K为搜索空间中总共的假设块数量;本发明在DVCS框架下,加入了多假设预测重构方法,充分的利用了当前帧与参考帧间的时间相关性,在快速重构的同时,提高了视频的重构质量。
6.根据权利要求1至5任一项所述的分布式视频压缩感知编解码方法,其特征是:
Step1:在编码端,首先将视频序列以图像组为单元进行拆分,每个GOP分别包含一个为Key帧与一个CS帧,每帧均进行互不重叠的B×B分块处理。对Key帧块采用较高测量率的测量矩阵进行测量,对CS帧块则用较低测量率的进行测量,即其中,表示t-1时刻关键帧中第j个宏块的列向量形式,表示t时刻非关键帧中第i个宏块的列向量形式,然后,将获得的Key帧与CS帧的观测值发送到解码端。这里,整个观测过程非常简单,而且该观测过程可以利用CI器件在光域中直接进行CS测量大大的降低了编码端的复杂度;
Step2:在解码端,首先对与当前CS帧相邻的Key帧采用BCS-SPL-DDWT算法进行重构,然后在相邻关键帧中对应于CS帧当前块xi位置的搜索窗内以同样B×B的块大小采用全搜索方式生成假设块矩阵Hi,Hi中的每列均为假设块的列向量形式,生成Hi后利用测量矩阵对其进行测量,得到测量值矩阵计算公式如下:
这里,测量矩阵的前K(K为的行数)行设置成与相同,这样做有助于后面的相似判别与测量值补充;
Step3:得到后将其前K行进行截取,得到的矩阵记为计算当前块测量值与矩阵中每列的欧氏距离,得到距离向量Di,设置一个阈值T1来衡量当前块与假设块是否相似当距离向量Di中的最小值表示此搜索窗中没有与当前块相似的块,对该种情况,采用多假设预测(Multi-Hypothesis,MH)方法对当前块进行重构,当距离向量Di中的最小值则表示此最小值所对应的假设块与当前块最为相似;
Step4:找到相似块后,判断此相似块在关键帧中是否与当前块处于同样的位置,如果在同样的位置,则直接利用关键帧中此块的测量值进行测量值补充,如果不在同样的位置,则利用此相似块的测量值对进行测量值补充,进行测量值补充可以获得更好的重构效果,其示意图如图3所示,从图中可以看出,测量值补充是把关键帧中相似块的一部分测量值补充到非关键帧当前块的测量值中;
Step5:测量值补充后,利用当前块与相似块具有相似的块特征的特性,通过计算相似假设块的均方差σ来判定当前块是否平滑,计算公式如下:
其中,N=B2为Hi中与当前块最相似的假设块的列向量形式;为其平均值,如果σ≤T2(阈值T2一般设置在30~35之间)则判定当前块为平滑块,针对平滑块采用最佳线性估计方法进行重构,如果σ>T2则判定当前块为非平滑块,对其采用MH进行重构。所有图像块均重构完成后,对它们进行重组,形成对当前非关键帧的重构帧
CN201810339482.1A 2018-04-16 2018-04-16 一种分布式视频压缩感知编解码方法 Pending CN108521573A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810339482.1A CN108521573A (zh) 2018-04-16 2018-04-16 一种分布式视频压缩感知编解码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810339482.1A CN108521573A (zh) 2018-04-16 2018-04-16 一种分布式视频压缩感知编解码方法

Publications (1)

Publication Number Publication Date
CN108521573A true CN108521573A (zh) 2018-09-11

Family

ID=63429494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810339482.1A Pending CN108521573A (zh) 2018-04-16 2018-04-16 一种分布式视频压缩感知编解码方法

Country Status (1)

Country Link
CN (1) CN108521573A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112954357A (zh) * 2021-01-26 2021-06-11 四川天翼网络服务有限公司 一种动态高效自适应视频流智能编解码方法及系统
CN113362252A (zh) * 2021-06-30 2021-09-07 深圳市斯博科技有限公司 智能画幅重构方法、装置、计算机设备及存储介质
CN115393777A (zh) * 2022-10-28 2022-11-25 国网山东省电力公司青岛供电公司 基于压缩感知的电力视频监控图像边缘计算方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000125215A (ja) * 1998-10-15 2000-04-28 Matsushita Electric Ind Co Ltd 受信装置
US20090034941A1 (en) * 2007-07-30 2009-02-05 Masahiro Kageyama Video signal recording/reproducing apparatus
CN103247028A (zh) * 2013-03-19 2013-08-14 广东技术师范学院 一种多假设预测的分块压缩感知图像处理方法
CN104301730A (zh) * 2014-10-14 2015-01-21 河海大学常州校区 基于视频移动设备的双向视频编解码系统及其方法
CN104333757A (zh) * 2014-10-17 2015-02-04 河海大学常州校区 基于cs测量值多描述的视频编解码方法
CN107820083A (zh) * 2017-10-20 2018-03-20 大连大学 基于角点检测和非局部相似性的视频压缩感知重构算法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000125215A (ja) * 1998-10-15 2000-04-28 Matsushita Electric Ind Co Ltd 受信装置
US20090034941A1 (en) * 2007-07-30 2009-02-05 Masahiro Kageyama Video signal recording/reproducing apparatus
CN103247028A (zh) * 2013-03-19 2013-08-14 广东技术师范学院 一种多假设预测的分块压缩感知图像处理方法
CN104301730A (zh) * 2014-10-14 2015-01-21 河海大学常州校区 基于视频移动设备的双向视频编解码系统及其方法
CN104333757A (zh) * 2014-10-17 2015-02-04 河海大学常州校区 基于cs测量值多描述的视频编解码方法
CN107820083A (zh) * 2017-10-20 2018-03-20 大连大学 基于角点检测和非局部相似性的视频压缩感知重构算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孟雨: "基于时空相关性的分布式压缩感知多假设预测重构算法", 《计算机应用研究》 *
李然: "图像与视频压缩感知研究", 《中国博士学位论文全文数据库》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112954357A (zh) * 2021-01-26 2021-06-11 四川天翼网络服务有限公司 一种动态高效自适应视频流智能编解码方法及系统
CN113362252A (zh) * 2021-06-30 2021-09-07 深圳市斯博科技有限公司 智能画幅重构方法、装置、计算机设备及存储介质
CN113362252B (zh) * 2021-06-30 2024-02-02 深圳万兴软件有限公司 智能画幅重构方法、装置、计算机设备及存储介质
CN115393777A (zh) * 2022-10-28 2022-11-25 国网山东省电力公司青岛供电公司 基于压缩感知的电力视频监控图像边缘计算方法及系统

Similar Documents

Publication Publication Date Title
US8571106B2 (en) Digital video compression acceleration based on motion vectors produced by cameras
US6671319B1 (en) Methods and apparatus for motion estimation using neighboring macroblocks
KR100287211B1 (ko) 양방향 움직임 추정방법 및 장치
US6625216B1 (en) Motion estimation using orthogonal transform-domain block matching
US6483876B1 (en) Methods and apparatus for reduction of prediction modes in motion estimation
CN108259916B (zh) 一种分布式视频压缩感知中帧内最佳匹配插值重构方法
CN104067619A (zh) 视频解码器、视频编码器、视频解码方法以及视频编码方法
CN1906948A (zh) 利用旋转匹配预测运动的图像编码设备和方法
JPH09179987A (ja) 動きベクトル検出方法及び動きベクトル検出装置
WO2017031671A1 (zh) 运动矢量场编码方法和解码方法、编码和解码装置
CN108521573A (zh) 一种分布式视频压缩感知编解码方法
US6690728B1 (en) Methods and apparatus for motion estimation in compressed domain
CN101945284A (zh) 一种运动估计的装置和方法
CN110392258B (zh) 一种联合时空边信息的分布式多视点视频压缩采样重建方法
CN101986716A (zh) 一种快速深度视频编码方法
CN103475879A (zh) 一种分布式视频编码中边信息生成方法
CN106791869B (zh) 基于光场子孔径图像相对位置关系的快速运动搜索方法
El‐Shafai et al. Proposed adaptive joint error‐resilience concealment algorithms for efficient colour‐plus‐depth 3D video transmission
Kaushik Comparative analysis of exhaustive search algorithm with ARPS algorithm for motion estimation
Cen et al. Joint decoding of independently encoded compressive multi-view video streams
WO2010070128A1 (en) Method for multi-resolution motion estimation
CN107509074A (zh) 基于压缩感知的自适应3d视频编解码方法
CN104902256B (zh) 一种基于运动补偿的双目立体图像编解码方法
CN103702123A (zh) 一种视频编码和处理的方法以及设备
CN113556546A (zh) 一种两阶段多假设预测视频压缩感知重构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180911

WD01 Invention patent application deemed withdrawn after publication