CN106385584B - 基于空域相关性的分布式视频压缩感知自适应采样编码方法 - Google Patents

基于空域相关性的分布式视频压缩感知自适应采样编码方法 Download PDF

Info

Publication number
CN106385584B
CN106385584B CN201610855778.XA CN201610855778A CN106385584B CN 106385584 B CN106385584 B CN 106385584B CN 201610855778 A CN201610855778 A CN 201610855778A CN 106385584 B CN106385584 B CN 106385584B
Authority
CN
China
Prior art keywords
block
key
reconstruction
sampling rate
spatial correlation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610855778.XA
Other languages
English (en)
Other versions
CN106385584A (zh
Inventor
张登银
陈灿
王振洪
陈小星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JIANGSU YITONG HIGH-TECH Co Ltd
Nanjing Post and Telecommunication University
Original Assignee
JIANGSU YITONG HIGH-TECH Co Ltd
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JIANGSU YITONG HIGH-TECH Co Ltd, Nanjing Post and Telecommunication University filed Critical JIANGSU YITONG HIGH-TECH Co Ltd
Priority to CN201610855778.XA priority Critical patent/CN106385584B/zh
Publication of CN106385584A publication Critical patent/CN106385584A/zh
Application granted granted Critical
Publication of CN106385584B publication Critical patent/CN106385584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于空域相关性的分布式视频压缩感知自适应采样编码方法,充分利用key帧的空域相关性,自适应采样编码。将key帧图像块按帧内空域相关性大小划分为non‑key块与key块。non‑key块利用相邻key块的重构块生成边信息,采用低采样率压缩重构;key块采用自适应高采样率的压缩重构。在相同总采样率情况下,能够提升重构图像帧质量;该方法解决了传统分布式视频压缩感知系统中key帧图像块采样率非自适应的问题。

Description

基于空域相关性的分布式视频压缩感知自适应采样编码方法
技术领域
本发明涉及一种基于空域相关性的分布式视频压缩感知自适应采样编码方法,属于视频图像处理技术领域。
背景技术
目前,信息社会正朝着数字化、网络化和智能化方向快速发展,采用视频传感构建的无线传感器网络来实现现场实时视频感知的应用需求日益增加。由于视频信号复杂,信号传输过程流量大,并且通信资源有限,所以使得视频图像通信面临较大的挑战。当下,引起较多关注的是分布式视频压缩感知(Distributed Compressive Video Sensing,DCVS)编码方式,它结合了分布式视频编码(Distributed Video Coding,DVC)与压缩感知(Compressive Sensing,CS),充分利用了两者的优点,非常适用于资源受限制的通信传输场合。
在分布式视频压缩感知系统中,连续的视频序列帧被分成两种类型:key帧和non-key帧(CS帧),常常分别对应成视频中的奇帧和偶帧。两者在编码端进行独立编码,在解码端联合解码。为了解决存储量过大的问题,提高实用性,随后又出现了基于分块的DCVS框架。由于对视频图像单帧内所有图像块采用相同的采样率不合理,自适应采样的CVS方法逐渐受到了研究人员的重视。目前DCVS自适应采样方法的研究均集中在non-key帧,以key帧作为参考帧进行自适应采样编码,而key帧则以固定高采样率压缩重构,以确保参考帧的质量。key帧图像块的采样率是非自适应的,仅仅采用了固定高采样率,并没有充分利用帧内的空域相关性。
发明内容
本发明目的在于提出了一种基于空域相关性的分布式视频压缩感知自适应采样编码方法,该方法解决了传统分布式视频压缩感知系统中key帧图像块采样率非自适应的问题。本发明充分利用key帧的空域相关性,自适应分配图像块采样率压缩重构,在总采样率不变的前提下,提高了视频序列帧的重构质量,为分布式视频压缩进一步提高压缩率、降低能耗提供了可能。
本发明解决其技术问题所采取的技术方法是:
一种基于空域相关性的分布式视频压缩感知自适应采样编码方法,该方法具体步骤如下:
输入:key帧I,大小为n=K×K,总采样率为R;
参数设定:non-key块采样率R1,分块大小B×B,例如,B=32;
(1)对key帧图像进行非重叠分块,分块大小为B×B;
(2)先横向再纵向或先纵向再横向进行自适应块划分,根据子块判决划分方法将子块划分为key块和non-key块:
2a)图像块排序;
2b)计算当前编码像素块残差
假设当前编码像素块记为前后相邻编码像素块分别记为则当前编码像素块残差
2c)采用下式计算当前编码像素块残差的方差:
其中,
2d)子块划分判决
判决准则为:
其中,Ω为阈值;
(3)统计non-key块总数N1,若N1>0,则执行步骤(4),否则执行步骤(8);
(4)子块采样率分配
在总采样率R不变的情况下,假设non-key块总个数为N1,采样率定为R1,key块的自适应采样率R2为:
其中,N为子块总数;
转向步骤(5);
(5)key块以采样率R2进行压缩重构,得到重构key块,转向步骤(6);
(6)横向non-key块以横向相邻重构key块进行线性插值法生成该块的边信息,各块均采用局部哈达玛矩阵作为测量矩阵,GPSR算法作为重构算法,以采样率R1进行压缩重构,转向步骤(7);
(7)纵向non-key块以纵向相邻重构key块进行线性插值法生成该块的边信息,各块均采用局部哈达玛矩阵作为测量矩阵,GPSR算法作为重构算法,以采样率R1进行压缩重构,转向步骤(9);
(8)所有块均以采样率R进行压缩重构,转向步骤(9);
(9)将重构的各个子块按照从上到下、从左到右的顺序组合为一帧,得到重构key帧I’;输出重构key帧I’。
根据权利要求1所述的一种基于空域相关性的分布式视频压缩感知自适应采样编码方法,其特征在于:步骤(2)所述的自适应块划分中,若当前编码像素块的前一块为non-key块,则该块直接划分为key块。
所述的一种基于空域相关性的分布式视频压缩感知自适应采样编码方法,阈值Ω=20。
所述的一种基于空域相关性的分布式视频压缩感知自适应采样编码方法,non-key块采样率R1=0.2。
所述的一种基于空域相关性的分布式视频压缩感知自适应采样编码方法,步骤(5)、步骤(6)、步骤(7)和步骤(8)所述的压缩重构对各块采用相同操作,皆采用相同的测量矩阵,并且采用相同的重构算法进行重构。
所述的一种基于空域相关性的分布式视频压缩感知自适应采样编码方法,步骤(6)和步骤(7)所述的non-key块重构结合边信息进行帧内联合重构,边信息由帧内相邻重构key块生成。
所述的一种基于空域相关性的分布式视频压缩感知自适应采样编码方法,所述方法为无反馈分布式视频压缩感知系统。
所述的一种基于空域相关性的分布式视频压缩感知自适应采样编码方法,所述方法中的图像块仅进行一次采样压缩重构,无需迭代进行多次采样压缩重构。
本发明所述方法用于分布式视频压缩感知自适应采样编码。
与现有技术相比,本发明具有如下优点:
第一,本发明充分利用key帧的空域相关性,自适应采样编码。将key帧图像块按帧内空域相关性大小划分为non-key块与key块。non-key块利用相邻key块的重构块生成边信息,采用低采样率压缩重构;key块采用自适应高采样率的压缩重构。在相同总采样率情况下,能够提升重构图像帧质量。
第二,本发明仅在编码端增加了少量计算,进行单次压缩重构,并未采用反馈信道进行迭代多次压缩重构。算法复杂度低,耗时较短,能够满足视频实时的要求。
附图说明
图1为本发明一种基于空域相关性的分布式视频压缩感知自适应采样编码方法的框架图。
图2为本发明方法与现有技术关键帧的重构性能对比图(container序列前100帧key帧);(a)是各帧key块采样率R2分布情况,(b)是各重构key帧PSNR值分布情况。
图3为本发明方法与现有技术关键帧的重构性能对比图(foreman序列前100帧key帧);(a)是各帧中key块采样率R2分布情况,(b)是各重构key帧PSNR值分布情况。
具体实施方式
以下结合具体实施例,对本发明进行详细说明。
如图1所示,本发明提供了一种基于空域相关性的分布式视频压缩感知自适应采样编码方法,该方法具体步骤如下:
输入:key帧I(大小为n=K×K),R(总采样率)。
参数设定:R1=0.2(non-key块采样率),Ω=20(阈值),B=32(分块大小)。
(1)对key帧图像进行非重叠分块,分块大小为B×B;
(2)先横向再纵向或先纵向再横向进行自适应块划分,根据子块判决划分方法将子块划分为key块和non-key块:
2a)图像块排序;
2b)计算当前编码像素块残差
假设当前编码像素块记为前后相邻编码像素块分别记为则当前编码像素块残差
2c)采用下式计算当前编码像素块残差的方差:
其中,
2d)子块划分判决
判决准则为:
其中,Ω为阈值;
(3)统计non-key块总数N1,若N1>0,则执行步骤(4),否则执行步骤(8);
(4)子块采样率分配
在总采样率R不变的情况下,假设non-key块总个数为N1,采样率定为R1,则key块的自适应采样率R2为:
其中,N为子块总数;
转向步骤(5);
(5)key块以采样率R2进行压缩重构,得到重构key块,转向步骤(6);
(6)横向non-key块以横向相邻重构key块进行线性插值法生成该块的边信息,各块均采用局部哈达玛矩阵作为测量矩阵,GPSR算法作为重构算法,以采样率R1进行压缩重构,转向步骤(7);
(7)纵向non-key块以纵向相邻重构key块进行线性插值法生成该块的边信息,各块均采用局部哈达玛矩阵作为测量矩阵,GPSR算法作为重构算法,以采样率R1进行压缩重构,转向步骤(9);
(8)所有块均以采样率R进行压缩重构,转向步骤(9);
(9)将重构的各个子块按照从上到下、从左到右的顺序组合为一帧,得到重构key帧I’。输出:重构key帧I’。
下面结合附图对本发明方法的效果做进一步说明:
以container序列和foreman序列的前200帧作为测试序列帧,以奇数帧为key帧,其中container序列帧内空域相关性较大,foreman序列帧内空域相关性较小。图像格式为cif格式(288×352),分块大小为B=32,总采样率为R=0.8,稀疏变换采用小波变换,测量矩阵采用局部哈达玛矩阵,重构采用GPSR算法。对比方法为以固定高采样率对所有块进行相同操作的方法。
图2是container序列仿真的具体情况,图2(a)是各帧key块采样率R2分布情况,图2(b)是各重构key帧PSNR值分布情况。可以看出由于container序列帧内空域相关性较大,基本上每一帧,本发明方法的重构质量都有明显的提高,平均下来本发明方法比对比方法的重构质量有着1.1dB的提高。改进的效果在第63帧key帧上体现的最为明显,对比方法重构PSNR值为34.6059dB,本发明方法重构PSNR值为36.1001dB,提升了1.5dB。
图3是foreman序列仿真的具体情况,图3(a)是各帧中key块采样率R2分布情况,图3(b)是各重构key帧PSNR值分布情况。可以看出由于foreman序列图像帧内空域相关性较小,基本上每一帧本发明方法与对比方法都比较接近,平均下来本发明方法比对比方法的重构质量有着0.2dB的提高。改进的效果在第100帧key帧上体现的最明显,对比方法重构PSNR值为40.6224dB,本发明方法重构PSNR值为42.3002dB,提升了1.7dB。
本发明方法通过自适应的采样率分配,使得采样率分配更加合理。在总采样数不变的情况下,纹理规律、空域相关性大的部分通过使用边信息获得低采样率的分配,使得纹理复杂不规律、空域相关性小的部分获得高采样率的分配,提高了整体重构质量。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种基于空域相关性的分布式视频压缩感知自适应采样编码方法,其特征在于,该方法具体步骤如下:
输入:key帧I,大小为,总采样率为R;
参数设定:non-key块采样率,分块大小
(1)对key帧图像进行非重叠分块,分块大小为
(2)先横向再纵向或先纵向再横向进行自适应块划分,根据子块判决划分方法将子块划分为key块和non-key块:
2a)图像块排序;
2b)计算当前编码像素块残差
假设当前编码像素块记为=,前后相邻编码像素块分别记为==,则当前编码像素块残差=
2c)采用下式计算当前编码像素块残差的方差:
其中,
2d)子块划分判决
判决准则为:
其中,Ω为阈值;
(3)统计non-key块总数,若>0,则执行步骤(4),否则执行步骤(8);
(4)子块采样率分配
在总采样率R不变的情况下,假设non-key块总个数为,采样率定为,key块的自适应采样率为:
其中,N为子块总数;
转向步骤(5);
(5)key块以采样率进行压缩重构,得到重构key块,转向步骤(6);
(6)横向non-key块以横向相邻重构key块进行线性插值法生成该块的边信息,各块均采用局部哈达玛矩阵作为测量矩阵,GPSR算法作为重构算法,以采样率进行压缩重构,转向步骤(7);
(7)纵向non-key块以纵向相邻重构key块进行线性插值法生成该块的边信息,各块均采用局部哈达玛矩阵作为测量矩阵,GPSR算法作为重构算法,以采样率进行压缩重构,转向步骤(9);
(8)所有块均以采样率R进行压缩重构,转向步骤(9);
(9)将重构的各个子块按照从上到下、从左到右的顺序组合为一帧,得到重构key帧I’;输出重构key帧I’。
2.根据权利要求1所述的一种基于空域相关性的分布式视频压缩感知自适应采样编码方法,其特征在于:步骤(2)所述的自适应块划分中,若当前编码像素块的前一块为non-key块,则该块直接划分为key块。
3.根据权利要求1所述的一种基于空域相关性的分布式视频压缩感知自适应采样编码方法,其特征在于:阈值Ω=20。
4.根据权利要求1所述的一种基于空域相关性的分布式视频压缩感知自适应采样编码方法,其特征在于:non-key块采样率=0.2。
5.根据权利要求1所述的一种基于空域相关性的分布式视频压缩感知自适应采样编码方法,其特征在于:B=32。
6.根据权利要求1所述的一种基于空域相关性的分布式视频压缩感知自适应采样编码方法,其特征在于:步骤(5)、步骤(6)、步骤(7)和步骤(8)所述的压缩重构对各块采用相同操作,皆采用相同的测量矩阵,并且采用相同的重构算法进行重构。
7.根据权利要求1所述的一种基于空域相关性的分布式视频压缩感知自适应采样编码方法,其特征在于:步骤(6)和步骤(7)所述的non-key块重构结合边信息进行帧内联合重构,边信息由帧内相邻重构key块生成。
8.根据权利要求1所述的一种基于空域相关性的分布式视频压缩感知自适应采样编码方法,其特征在于:所述方法中的图像块仅进行一次采样压缩重构,无需迭代进行多次采样压缩重构。
CN201610855778.XA 2016-09-28 2016-09-28 基于空域相关性的分布式视频压缩感知自适应采样编码方法 Active CN106385584B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610855778.XA CN106385584B (zh) 2016-09-28 2016-09-28 基于空域相关性的分布式视频压缩感知自适应采样编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610855778.XA CN106385584B (zh) 2016-09-28 2016-09-28 基于空域相关性的分布式视频压缩感知自适应采样编码方法

Publications (2)

Publication Number Publication Date
CN106385584A CN106385584A (zh) 2017-02-08
CN106385584B true CN106385584B (zh) 2019-03-01

Family

ID=57936807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610855778.XA Active CN106385584B (zh) 2016-09-28 2016-09-28 基于空域相关性的分布式视频压缩感知自适应采样编码方法

Country Status (1)

Country Link
CN (1) CN106385584B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277537B (zh) * 2017-07-20 2019-10-18 南京邮电大学 一种基于时间相关性的分布式视频压缩感知采样方法
CN107707917B (zh) * 2017-08-09 2019-10-29 南京邮电大学 一种基于信息熵的视频自适应采样率设定方法
CN107592537B (zh) * 2017-10-20 2019-11-08 东华大学 一种面向航拍图像集的自适应压缩采样分配方法
CN107820083B (zh) * 2017-10-20 2019-11-15 大连大学 基于角点检测和非局部相似性的视频压缩感知重构方法
CN108200440B (zh) * 2017-12-31 2019-08-23 南京邮电大学 一种基于时间相关性的分布式视频压缩感知重构方法
CN108712653B (zh) * 2018-05-25 2019-12-10 西安电子科技大学 基于迭代相关性噪声细化的单向分布式视频解码方法
CN111246213B (zh) * 2020-01-21 2022-05-13 东华大学 一种视频压缩感知采样率自适应的分层次块匹配重构方法
CN112508089B (zh) * 2020-12-03 2023-10-31 国网山西省电力公司晋城供电公司 一种用于局部放电信号压缩传输的自适应压缩感知方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103297782A (zh) * 2013-06-08 2013-09-11 河海大学常州校区 分布式视频压缩感知系统中基于区域划分的重构方法
CN104125459A (zh) * 2014-07-28 2014-10-29 西安电子科技大学 基于支撑集和信号值检测的视频压缩感知重构方法
CN104333757A (zh) * 2014-10-17 2015-02-04 河海大学常州校区 基于cs测量值多描述的视频编解码方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012072637A1 (en) * 2010-12-01 2012-06-07 Ibbt Method and device for correlation channel estimation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103297782A (zh) * 2013-06-08 2013-09-11 河海大学常州校区 分布式视频压缩感知系统中基于区域划分的重构方法
CN104125459A (zh) * 2014-07-28 2014-10-29 西安电子科技大学 基于支撑集和信号值检测的视频压缩感知重构方法
CN104333757A (zh) * 2014-10-17 2015-02-04 河海大学常州校区 基于cs测量值多描述的视频编解码方法

Also Published As

Publication number Publication date
CN106385584A (zh) 2017-02-08

Similar Documents

Publication Publication Date Title
CN106385584B (zh) 基于空域相关性的分布式视频压缩感知自适应采样编码方法
CN107197260B (zh) 基于卷积神经网络的视频编码后置滤波方法
CN101420614B (zh) 一种混合编码与字典编码整合的图像压缩方法及装置
CN109644268A (zh) 包括基于cnn的环路滤波器的编码方法与装置及解码方法与装置
CN103002280B (zh) 基于hvs&roi的分布式编解码方法及系统
CN110677654B (zh) 高效视频编码标准低时延编码结构的量化参数级联方法
CN104065976B (zh) 一种基于视频的图像压缩及保密传输方法
CN105825530B (zh) 基于感兴趣区域的海岸带高光谱图像分布式有损编码和解码方法
CN111669588B (zh) 一种超低时延的超高清视频压缩编解码方法
Unde et al. Rate–distortion analysis of structured sensing matrices for block compressive sensing of images
CN102333223A (zh) 视频数据编码方法、解码方法、编码系统和解码系统
CN111726635B (zh) 一种基于滑窗bats码的低时延图像渐进传输方法
CN107027028B (zh) 基于jnd的随机偏移量化多描述编码、解码的方法及系统
CN106961607B (zh) 基于jnd的时间域重叠变换多描述编码、解码的方法及系统
CN104581173A (zh) 软解码验证模型平台
Zhao et al. Compressive-sensed image coding via stripe-based DPCM
CN106559668B (zh) 一种基于智能量化技术的低码率图像压缩方法
CN112001854A (zh) 一种编码图像的修复方法及相关系统和装置
CN103533351B (zh) 一种多量化表的图像压缩方法
CN103313064B (zh) 基于帧间模式和运动修补的时域错误隐藏方法
CN102790881B (zh) 基于帧级编码端速率控制的变换域分布式视频编解码器
CN108600751A (zh) 基于jnd的多边信息分布式视频编码、解码的方法及系统
Yang et al. Graph-convolution network for image compression
Jacob et al. Deep Learning Approach to Video Compression
CN102811349A (zh) 可自动调节冗余的无反馈多描述分布式视频编解码器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant