CN103297782A - 分布式视频压缩感知系统中基于区域划分的重构方法 - Google Patents

分布式视频压缩感知系统中基于区域划分的重构方法 Download PDF

Info

Publication number
CN103297782A
CN103297782A CN201310228285XA CN201310228285A CN103297782A CN 103297782 A CN103297782 A CN 103297782A CN 201310228285X A CN201310228285X A CN 201310228285XA CN 201310228285 A CN201310228285 A CN 201310228285A CN 103297782 A CN103297782 A CN 103297782A
Authority
CN
China
Prior art keywords
frame
piece
block
dictionary
measured value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310228285XA
Other languages
English (en)
Other versions
CN103297782B (zh
Inventor
朱金秀
孟雨
张瑶
朱顺五
孟祯琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN201310228285.XA priority Critical patent/CN103297782B/zh
Publication of CN103297782A publication Critical patent/CN103297782A/zh
Application granted granted Critical
Publication of CN103297782B publication Critical patent/CN103297782B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种分布式视频压缩感知系统中基于区域划分的自适应重构方法,包括下列步骤:1)视频序列分割与压缩测量;2)关键帧初始重构与区域划分;3)关键帧的重构;4)CS帧初始重构与块模式判决;5)CS帧的重构;6)视频序列输出。本发明在重构中采用区域内/区域外与帧内/帧间模式相结合的方法,利用了视频帧中图像块的时空相关性和边缘结构信息,使得视频帧在测量域的信号更加稀疏,在保证压缩效率的前提下,提高了视频图像重构的质量。

Description

分布式视频压缩感知系统中基于区域划分的重构方法
技术领域
本发明涉及一种分布式视频压缩感知系统中基于区域划分的自适应重构方法,属于通信技术领域。
背景技术
分布式视频压缩感知系统的实现框架按照编码端是否获得原始视频数据分为两大类:第一类是编码端能够获得原始视频数据,对关键帧进行传统的帧内编解码方式,对非关键帧,即压缩感知(CS)帧进行压缩感知测量和重构的编解码方式;第二类是编码端直接对视频数据进行压缩感知测量,只能得到数据的测量值,对关键帧和CS帧都采用压缩感知测量和重构的编解码方式,由关键帧生成的边信息帧联合CS帧测量值进行CS帧的重构。
经过对现有技术的文献检索发现,目前分布式视频压缩感知系统中主要存在的压缩感知重构方法为:利用已解码关键帧通过帧间内插得到边信息,选取边信息帧中与当前块相邻位置的列向量化的图像块测量值作为字典列向量,联合边信息压缩编码数据和非关键帧压缩编码数据进行迭代残差重构得到重构CS帧的方法;利用视频序列中视频帧本身的特征进行字典训练和更新,得到视频帧最佳稀疏表示的冗余字典及重构图像在该字典下的稀疏系数,最终得到重构的非关键帧图像块。
发明内容
本发明的目的在于克服已有技术的不足,提出了一种分布式视频压缩感知系统中基于区域划分的自适应重构方法,本发明对关键帧的初始重构帧利用Roberts算子进行边缘提取,根据边缘结构信息进行区域划分,将空间相关性强的像素点划分到同一个区域,根据划分的结果把块分成帧内区域内多假设块和帧内区域外多假设块,然后对帧内区域内多假设块通过以当前块为中心利用边缘结构信息确定帧内搜索窗的大小,使搜索窗口最大且不包含边缘像素点,对帧内区域外多假设块比较当前块与其周围四个方向的参考块之间相关性,以此来确定搜索窗的位置和形状,使窗口位于相关性最大的那个参考块的方向,然后再利用搜索窗口内的参考块列向量化构成字典;对CS帧在解码端根据帧间相关性进行测量域的块模式决策,判决为帧内块和帧间块,同时对CS帧的初始重构帧采用与关键帧相同的原理进行区域划分,即把CS块分为四种类型:帧内区域内多假设块、帧内区域外多假设块、帧间区域内多假设块和帧间区域外多假设块,其中帧内区域内多假设块、帧内区域外多假设块和关键帧的自适应字典构造方法类似,对帧间区域内多假设块,在当前CS帧的前后相邻两个已解码关键帧中以与当前块同位置的块为中心利用边缘结构信息确定搜索窗的大小,使搜索窗口最大且不包含边缘像素点,对于帧间区域外多假设块,在当前CS帧的前后两个已解码关键帧中分别比较与当前块同位置的块和其周围四个方向的参考块之间相关性,以此来确定搜索窗的位置和形状,使窗口位于相关性最大的那个参考块的方向,然后再利用搜索窗口内的参考块列向量化构成字典。这样在考虑视频序列本身特性的同时,也利用了视频帧中图像块的时空相关性和边缘结构信息,使得视频帧在测量域的信号更加稀疏,边缘的重构质量也得到了提高,在保证压缩效率的前提下,提高了视频图像重构的质量。
实现本发明目的的技术方案是:分布式视频压缩感知系统中基于区域划分的自适应重构方法,其特征是包括以下步骤:
1)视频序列分割与压缩测量
1a)将视频帧分为关键帧和CS帧;
1b)关键帧和CS帧同时进行基于块的压缩测量,得到基于块的测量值,并传输到解码端;
2)关键帧的重构
2a)在解码端先对关键帧的每个块进行初始块重构,然后将重构块按照块顺序组合得到初始重构的关键帧;
2b)对初始重构的关键帧利用Roberts算子进行区域提取,通过边缘检测划分区域,即将初始重构的关键帧分为帧内区域内多假设块KC1和帧内区域外多假设块KC2
2c)对于帧内区域内多假设块KC1和帧内区域外多假设块KC2分别进行自适应字典构造;
2d)利用字典和当前块的信息在测量域通过求解最优化方法得到边信息块,然后将所有边信息块按照块顺序进行组合,得到边信息帧;
2e)利用测量矩阵计算边信息帧的测量值,然后联合边信息帧的测量值和关键帧的测量值进行残差稀疏重构,生成残差帧;
2f)将残差帧与边信息帧进行相加,得到重构的关键帧;
3)CS帧的重构
3a)在测量域计算当前帧与前一关键帧同位置块的相关性
Figure BDA00003322552800022
计算公式如下:
r ( y B cs , y B K ) = Σ i = 1 N [ y B cs ( i ) - y B cs ‾ ] · [ y B K ( i ) - y B K ‾ ] Σ i = 1 N [ y B cs ( i ) - y B cs ‾ ] 2 Σ i = 1 N [ y B K ( i ) - y B K ‾ ] 2 - - - ( 1 )
其中
Figure BDA00003322552800032
表示当前CS块的测量值矢量,
Figure BDA00003322552800033
表示前一关键帧相同位置块的测量值矢量;
3b)根据相关性大小对当前帧中的所有块进行块模式决策,分为两种块类型:INTRA块和INTER块,
B _ mode = INTRA r ( y B cs , y B K ) < T 1 INTER r ( y B cs , y B K ) &GreaterEqual; T 1 - - - ( 2 )
其中T1取为0.995,是通过实验预先设定的门限值;
3c)利用基于块的投影光滑Landweber算法对所有CS块进行初始块重构,然后将重构块按照块顺序组合得到初始重构的CS帧;
3d)对初始重构的CS帧利用Roberts算子进行区域提取,通过边缘检测划分区域,即将初始重构的CS帧分为帧内区域内多假设块
Figure BDA00003322552800034
帧内区域外多假设块
Figure BDA00003322552800035
帧间区域内多假设块
Figure BDA00003322552800036
和帧间区域外多假设块
Figure BDA00003322552800037
3e)对于帧内区域内多假设块帧内区域外多假设块
Figure BDA00003322552800039
帧内区域内自适应字典构造法和帧内区域外自适应字典构造法与关键帧的方法相同,只是参考帧由初始重构的关键帧换成了初始重构的CS帧;
3f)对于帧间区域内多假设块
Figure BDA000033225528000310
和帧间区域外多假设块
Figure BDA000033225528000311
也分别进行自适应字典构造;
3g)利用字典和当前块的信息在测量域通过求解最优化方法得到边信息块,然后按照块顺序进行组合生成边信息帧;
3h)利用测量矩阵计算边信息帧的测量值,联合边信息帧和当前CS帧在测量域进行残差稀疏重构,生成残差帧;
3i)将残差帧与边信息帧进行相加,得到重构的CS帧;
4)视频序列输出
4a)将重构的关键帧和CS帧按照块顺序进行帧组合,最后输出视频序列。
前述的分布式视频压缩感知系统中基于区域划分的自适应重构方法,其特征在于:步骤1b)中所述基于块的压缩测量步骤如下:
第1步,将拟采样的视频帧分成大小相同、互不重叠的方形图像块;
第2步,用随机测量矩阵对图像块其进行压缩采样,得到每个图像块的测量值向量。
前述的分布式视频压缩感知系统中基于区域划分的自适应重构方法,其特征在于:步骤1b)中所述基于块的压缩测量中关键帧的测量率大于CS帧的测量率。
前述的分布式视频压缩感知系统中基于区域划分的自适应重构方法,其特征在于:步骤2c)中所述的帧内区域内多假设块KC1和帧内区域外多假设块KC2分别进行自适应构造字典的过程如下:
帧内区域内多假设块KC1构造字典时,在KC1块周围利用边缘结构信息在当前帧中确定搜索窗的位置和大小,使搜索窗口最大且不包含边缘像素点,且窗口大小w小于等于8,将搜索窗口中的所有参考块列向量化之后组成字典;
帧内区域外多假设块KC2构造字典时,在当前帧中对KC2块通过与周围四个方向的参考块比较相关性大小来确定搜索窗的位置和形状,使窗口位于相关性最大的参考块的方向,如果与四个参考块相关性的差值小于阈值0.001,则以当前块为中心,窗口大小设置为6,将搜索窗口中的所有参考块列向量化之后组成字典。
前述的分布式视频压缩感知系统中基于区域划分的自适应重构方法,其特征在于:步骤2d)和3g)中的求解最优化方法为先求解稀疏系数然后由
Figure BDA00003322552800042
得到当前块的最佳预测块即边信息块其中Dt,i为字典,t表示帧序号,i表示块序号,ΦB为块测量矩阵,yt,i为当前待解码块的测量值向量。
前述的分布式视频压缩感知系统中基于区域划分的自适应重构方法,其特征在于:步骤2e)中,所述残差稀疏重构是指首先计算边信息帧的测量值
Figure BDA00003322552800044
和关键帧的测量值yK之间的残差测量值
Figure BDA00003322552800045
然后对残差利用基于块的投影光滑Landweber算法进行稀疏重构得到残差帧ZK
前述的分布式视频压缩感知系统中基于区域划分的自适应重构方法,其特征在于:步骤3h)中,所述残差稀疏重构是指首先计算边信息的测量值和CS帧的测量值yCS之间的残差测量值然后对残差利用基于块的投影光滑Landweber算法进行稀疏重构得到残差帧ZCS
前述的分布式视频压缩感知系统中基于区域划分的自适应重构方法,其特征在于:步骤3f)中帧间区域内多假设块
Figure BDA00003322552800048
和帧间区域外多假设块的自适应字典构造方法具体过程如下:
对于区域内的非边缘部分,对
Figure BDA00003322552800051
块在前后两个已解码关键帧中同位置的块利用边缘结构信息确定搜索窗的位置和大小,使搜索窗口最大且不包含边缘像素点,且窗口大小w小于等于8,将搜索窗口中的所有参考块列向量化之后组成字典;
对于区域外的边缘部分,在前后两个已解码关键帧中对与当前
Figure BDA00003322552800052
块同位置的块通过与周围四个方向的参考块比较相关性来确定搜索窗的位置和形状使窗口位于相关性最大的参考块的方向,如果与四个参考块相关性的差值小于某个阈值,则以当前块为中心,窗口大小设置为6,将搜索窗口中的所有参考块列向量化之后组成字典。
与现有技术相比,本发明具有如下优点:
1.本发明对关键帧的重构过程中采用帧内区域划分的方法,克服了现有技术中关键帧重构简单按块进行划分、没有考虑图像像素空间相关性的缺点,把初始重构的关键帧分为帧内区域内多假设块和帧内区域外多假设块,根据块类型采用不同的构造字典方法,使字典跟原始关键帧信息的相关性更大,进而使稀疏系数的稀疏性更强,使得本发明中关键帧的重构效果优于按块划分的重构效果;
2.本发明对CS帧的重构采用帧间相关性和区域划分相结合的方法,克服了现有技术中CS帧重构简单按块进行划分,没有考虑视频图像时空相关性的缺点,通过与前一关键帧的相关性程度把CS块分为帧间和帧内模式,同时对其进行区域划分,把CS块分为非边缘块和边缘块,最终把CS块分为帧内区域内多假设块、帧内区域外多假设块、帧间区域内多假设块和帧间区域外多假设块,根据块类型采用不同的构造字典方法,这样就同时利用了视频序列的时空相关性和序列本身的边缘结构特性,使字典跟原始关键帧信息的相关性更大,进而使稀疏系数的稀疏性更强,使得本发明中CS帧的重构效果优于按块划分的重构效果;
图1是本发明基于区域划分的自适应重构方法的系统框图;
图2是本发明的关键帧帧内自适应搜索窗口示意图;
图3是本发明的关键帧帧内区域内多假设块自适应字典构造示意图;
图4是本发明的关键帧帧内区域外多假设块自适应字典构造示意图;
图5是本发明的CS帧帧间自适应搜索窗口示意图;
图6是本发明的CS帧帧间区域内多假设块自适应字典构造示意图;
图7是本发明的CS帧帧间区域外多假设块自适应字典构造示意图;
图8是本发明与传统的分布式压缩感知多假设预测重构算法对Forman、Salesman、Mother-daughter和Football四个标准视频序列的前50帧进行重构得到的关键帧重构性能对比图;
图9是本发明与传统的分布式压缩感知多假设预测重构算法对Forman、Salesman、Mother-daughter和Football四个标准视频序列的前50帧进行重构得到的非关键帧重构性能对比图。
具体实施方式
下面结合附图对本发明作进一步的详细描述:
步骤一:视频序列分割与压缩测量模块101(图1)
1)将视频序列分为关键帧和非关键帧(CS帧),每个图像组(GOP)由一个关键帧和一个非关键帧组成,即偶数帧为CS帧,奇数帧为关键帧。
2)对关键帧和CS帧同时进行基于块的压缩测量。对于QCIF格式的视频,先将拟采样的帧分成99个大小为16×16、互不重叠的方形图像块,然后根据采样率S的要求,采用行数为S×256、列数为256的随机测量矩阵Φ对其进行压缩采样,得到每个方形图像块的测量值向量,并传输到解码端。其中关键帧测量率SK为0.7,非关键帧的测量率SCS为0.3。
步骤二:关键帧的重构模块102(图1)
1)块初始重构:在解码端利用基于块的投影光滑Landweber(BCS-SPL)算法对关键帧的每个块先进行初始块重构,得到所有重构块后,进行组合得到初始重构的关键帧。
2)然后对初始重构的关键帧进行区域提取,采用Roberts算子进行边缘检测,将非边缘部分提取出来,非边缘块划分到区域内,边缘块则属于区域外部分,即将初始重构的关键帧分为帧内区域内多假设块KC1和帧内区域外多假设块KC2
3)下面结合图2、图3和图4对关键帧中KC1块和KC2块的帧内自适应字典构造方法进行详细描述:
对于当前第m个类型为KC1的图像块,在初始解码关键帧中,以KC1块为中心设置w为1的搜索窗口,然后逐渐向四周扩大窗口,利用边缘结构信息确定最终窗口的大小,使搜索窗口最大且不包含边缘像素点,如图2(1)所示,如果窗口增大到w大于8且窗口内仍然不包含边缘像素点,则取窗口大小为8;
对于当前第m个类型为KC2的图像块,在当前初始解码关键帧中,计算KC2块与周围四个不同方向参考块之间的相关系数,如图2(2)所示,记录最大值dmax和最小值dmin,并记录最大值的位置,然后通过相关性比较来确定搜索窗的位置和形状:如果dmax和dmin的差小于0.001,则搜索窗口以KC2块为中心,窗口大小w为6;如果dmax和dmin的差大于或等于0.001,则取与KC2块相关性最强的参考块即dmax参考块的方向设置搜索窗口。
当前待解码块的搜索窗口确定之后,把搜索窗口中按16×16大小取到的所有块作为参考块,将参考块列向量化之后组成字典Dt,i,如图3和图4所示,其中t表示帧序号,i表示块序号,ΦB表示块测量矩阵。然后结合当前待解码块的测量值向量yt,i利用最优化方法求解
Figure BDA00003322552800071
得到稀疏系数
Figure BDA00003322552800072
后由得到当前块的最佳预测块即边信息块
Figure BDA00003322552800074
4)对剩余的块重复(3)的步骤,当所有的块利用相应的搜索窗口进行帧内自适应字典构造,然后根据字典生成预测块之后,将所有边信息块按顺序进行组合,生成边信息帧SIK
5)利用测量矩阵求得边信息帧
Figure BDA00003322552800075
的测量值
Figure BDA00003322552800076
然后计算边信息帧的测量值
Figure BDA00003322552800077
和关键帧的测量值yK之间的残差测量值
Figure BDA00003322552800078
对残差利用基于块的投影光滑Landweber(BCS-SPL)算法进行稀疏重构得到残差帧ZK
6)将残差帧与边信息帧相加得到当前关键帧最终的重构帧K=SIK+ZK
步骤三:CS帧的重构模块103(图1)
1)在解码端对CS帧的所有块进行块模式决策。在测量域计算当前CS帧中的每个块与前一关键帧同位置块之间的相关性r,相关性计算公式如下:
r ( y B cs , y B K ) = &Sigma; i = 1 N [ y B cs ( i ) - y B cs &OverBar; ] &CenterDot; [ y B K ( i ) - y B K &OverBar; ] &Sigma; i = 1 N [ y B cs ( i ) - y B cs &OverBar; ] 2 &Sigma; i = 1 N [ y B K ( i ) - y B K &OverBar; ] 2 - - - ( 1 )
其中
Figure BDA000033225528000710
表示当前CS块的测量值矢量,
Figure BDA000033225528000711
表示前一关键帧中与当前块位置对应的块的测量值矢量。然后根据相关性大小对当前CS帧中的所有块进行块模式决策(见公式2),将CS帧的块分为两种块类型:INTRA块和INTER块,公式2中T1取为0.995,是通过实验预先设定的阈值:
B _ mode = INTRA r ( y B cs , y B K ) < T 1 INTER r ( y B cs , y B K ) &GreaterEqual; T 1 - - - ( 2 )
2)利用基于块的投影光滑Landweber(BCS-SPL)算法对所有CS块进行初始块重构,得到所有重构块后,进行组合得到初始重构的CS帧。
3)对初始重构的CS帧进行区域提取,采用Roberts算子进行边缘检测,将非边缘部分提取出来,非边缘块划分到区域内,边缘块则属于区域外部分,即利用边缘结构信息将初始重构的CS帧划分为帧内区域内多假设块
Figure BDA00003322552800082
帧内区域外多假设块
Figure BDA00003322552800083
帧间区域内多假设块
Figure BDA00003322552800084
和帧间区域外多假设块
Figure BDA00003322552800085
4)对于
Figure BDA00003322552800086
块和
Figure BDA00003322552800087
块,帧内自适应字典构造的方法和关键帧的块
Figure BDA00003322552800088
Figure BDA00003322552800089
类似,只是将步骤(3)中的初始重构关键帧换成初始重构CS帧,
5)下面结合图5、图6和图7对CS帧中
Figure BDA000033225528000810
块和
Figure BDA000033225528000811
块的帧间自适应字典构造部分进行详细描述:
对于区域内的非边缘部分,即块,取当前CS帧前后相邻的两个已解码关键帧为参考帧,分别以与
Figure BDA000033225528000813
块位置对应的块为中心,利用边缘结构信息确定两个参考帧中搜索窗的大小,使搜索窗口最大且不包含边缘像素点,如图5(1)所示,如果窗口增大到w大于8且窗口内还不包含边缘像素点,则取窗口大小为8;
对于区域外的边缘部分,即
Figure BDA000033225528000814
块,在当前CS帧前后相邻的两个已解码关键帧中,分别计算与
Figure BDA000033225528000815
块位置对应的块和周围四个不同方向参考块之间的相关系数,如图5(2)所示,记录最大值dmax和最小值dmin,并记录最大值的位置,然后通过相关性比较来确定搜索窗的位置和形状:如果dmax和dmin的差小于0.001,则搜索窗口以当前块为中心,窗口大小w为6;如果dmax和dmin的差大于或等于0.001,则取与当前块相关性最强的参考块即damx参考块的方向设置搜索窗口;
当待解码块在前后两个已解码关键帧中的搜索窗口确定之后,把从两个搜索窗口中按16×16大小取到的所有块作为参考块,将参考块列向量化之后组成字典Dt,i,如图6和图7所示,然后利用字典Dt,i和当前块的测量值向量yt,i利用最优化方法求解
Figure BDA000033225528000816
得到稀疏系数
Figure BDA000033225528000817
后由
Figure BDA000033225528000818
得到当前块的最佳预测块即边信息块,其中t、i和ΦB的含义与图3、图4相同。
6)对剩余的块重复(4)~(5)的步骤,当所有的块进行自适应字典构造,然后根据字典生成边信息块之后,将所有边信息块按顺序进行组合,生成边信息帧SICS
7)利用测量矩阵求得边信息帧SICS的测量值
Figure BDA00003322552800091
然后计算边信息帧的测量值
Figure BDA00003322552800092
和CS帧的测量值yCS之间的测量值残差
Figure BDA00003322552800093
对残差利用BCS-SPL重构算法进行稀疏重构得到残差帧ZCS
8)将残差帧与边信息帧相加,最终得到重构的关键帧C=SICS+ZCS
步骤四:输出视频序列模块104(图1)
1)将重构的关键帧和CS帧按帧序号的顺序进行帧组合;
2)将帧组合得到的视频序列输出。
本发明对提出的基于区域划分自适应重构方法的分布式视频压缩感知系统做了初步测试实验,采用标准测试序列:Forman、Salesman、Mother-daughter和Football序列做输入视频,以QCIF分辨率进行测试。将实验结果与传统的分布式压缩感知多假设预测重构算法(MH-BCS-SPL)作比较,测试结果比较如图8和图9所示。可以看出,与传统的MH-BCS-SPL相比较,本发明在对四个标准视频序列的实验中可获得1~6dB的改善。本发明在编码过程中利用了序列的时空相关性和序列本身的结构特性,由于Football序列的时间相关性比较弱,且序列运动比较剧烈,所以改善效果没有其他序列明显。

Claims (8)

1.分布式视频压缩感知系统中基于区域划分的自适应重构方法,其特征是包括以下步骤:
1)视频序列分割与压缩测量
1a)将视频帧分为关键帧和CS帧;
1b)关键帧和CS帧同时进行基于块的压缩测量,得到基于块的测量值,并传输到解码端;
2)关键帧的重构
2a)在解码端先对关键帧的每个块进行初始块重构,然后将重构块按照块顺序组合得到初始重构的关键帧;
2b)对初始重构的关键帧利用Roberts算子进行区域提取,通过边缘检测划分区域,即将初始重构的关键帧分为帧内区域内多假设块KC1和帧内区域外多假设块KC2
2c)对于帧内区域内多假设块KC1和帧内区域外多假设块KC2分别进行自适应字典构造;
2d)利用字典和当前块的信息在测量域通过求解最优化方法得到边信息块,然后将所有边信息块按照块顺序进行组合,得到边信息帧;
2e)利用测量矩阵计算边信息帧的测量值,然后联合边信息帧的测量值和关键帧的测量值进行残差稀疏重构,生成残差帧;
2f)将残差帧与边信息帧进行相加,得到重构的关键帧;
3)CS帧的重构
3a)在测量域计算当前帧与前一关键帧同位置块的相关性
Figure FDA00003322552700011
计算公式如下:
r ( y B cs , y B K ) = &Sigma; i = 1 N [ y B cs ( i ) - y B cs &OverBar; ] &CenterDot; [ y B K ( i ) - y B K &OverBar; ] &Sigma; i = 1 N [ y B cs ( i ) - y B cs &OverBar; ] 2 &Sigma; i = 1 N [ y B K ( i ) - y B K &OverBar; ] 2 - - - ( 1 )
其中
Figure FDA00003322552700013
表示当前CS块的测量值矢量,
Figure FDA00003322552700014
表示前一关键帧相同位置块的测量值矢量;
3b)根据相关性大小对当前帧中的所有块进行块模式决策,分为两种块类型:INTRA块和INTER块,
B _ mode = INTRA r ( y B cs , y B K ) < T 1 INTER r ( y B cs , y B K ) &GreaterEqual; T 1 - - - ( 2 )
其中T1取为0.995,是通过实验预先设定的门限值;
3c)利用基于块的投影光滑Landweber算法对所有CS块进行初始块重构,然后将重构块按照块顺序组合得到初始重构的CS帧;
3d)对初始重构的CS帧利用Roberts算子进行区域提取,通过边缘检测划分区域,即将初始重构的CS帧分为帧内区域内多假设块
Figure FDA00003322552700021
帧内区域外多假设块
Figure FDA00003322552700022
帧间区域内多假设块
Figure FDA00003322552700023
和帧间区域外多假设块
Figure FDA00003322552700024
3e)对于帧内区域内多假设块
Figure FDA00003322552700025
帧内区域外多假设块
Figure FDA00003322552700026
帧内区域内自适应字典构造法和帧内区域外自适应字典构造法与关键帧的方法相同,只是参考帧由初始重构的关键帧换成了初始重构的CS帧;
3f)对于帧间区域内多假设块
Figure FDA00003322552700027
和帧间区域外多假设块
Figure FDA00003322552700028
也分别进行自适应字典构造;
3g)利用字典和当前块的信息在测量域通过求解最优化方法得到边信息块,然后按照块顺序进行组合生成边信息帧;
3h)利用测量矩阵计算边信息帧的测量值,联合边信息帧和当前CS帧在测量域进行残差稀疏重构,生成残差帧;
3i)将残差帧与边信息帧进行相加,得到重构的CS帧;
4)视频序列输出
4a)将重构的关键帧和CS帧按照块顺序进行帧组合,最后输出视频序列。
2.根据权利要求1所述的分布式视频压缩感知系统中基于区域划分的自适应重构方法,其特征在于:步骤1b)中所述基于块的压缩测量步骤如下:
第1步,将拟采样的视频帧分成大小相同、互不重叠的方形图像块;
第2步,用随机测量矩阵对图像块其进行压缩采样,得到每个图像块的测量值向量。
3.根据权利要求1所述的分布式视频压缩感知系统中基于区域划分的自适应重构方法,其特征在于:步骤1b)中所述基于块的压缩测量中关键帧的测量率大于CS帧的测量率。
4.根据权利要求1所述的分布式视频压缩感知系统中基于区域划分的自适应重构方法,其特征在于:步骤2c)中所述的帧内区域内多假设块KC1和帧内区域外多假设块KC2分别进行自适应构造字典的过程如下:
帧内区域内多假设块KC1构造字典时,在KC1块周围利用边缘结构信息在当前帧中确定搜索窗的位置和大小,使搜索窗口最大且不包含边缘像素点,且窗口大小w小于等于8,将搜索窗口中的所有参考块列向量化之后组成字典;
帧内区域外多假设块KC2构造字典时,在当前帧中对KC2块通过与周围四个方向的参考块比较相关性大小来确定搜索窗的位置和形状,使窗口位于相关性最大的参考块的方向,如果与四个参考块相关性的差值小于阈值0.001,则以当前块为中心,窗口大小设置为6,将搜索窗口中的所有参考块列向量化之后组成字典。
5.根据权利要求1所述的分布式视频压缩感知系统中基于区域划分的自适应重构方法,其特征在于:步骤2d)和3g)中的求解最优化方法为先求解稀疏系数
Figure FDA00003322552700031
然后由
Figure FDA00003322552700032
得到当前块的最佳预测块即边信息块
Figure FDA00003322552700033
其中Dt,i为字典,t表示帧序号,i表示块序号,ΦB为块测量矩阵,yt,i为当前待解码块的测量值向量。
6.根据权利要求1所述的分布式视频压缩感知系统中基于区域划分的自适应重构方法,其特征在于:步骤2e)中,所述残差稀疏重构是指首先计算边信息帧的测量值
Figure FDA000033225527000311
和关键帧的测量值yK之间的残差测量值
Figure FDA00003322552700034
然后对残差利用基于块的投影光滑Landweber算法进行稀疏重构得到残差帧ZK
7.根据权利要求1所述的分布式视频压缩感知系统中基于区域划分的自适应重构方法,其特征在于:步骤3h)中,所述残差稀疏重构是指首先计算边信息的测量值
Figure FDA00003322552700035
和CS帧的测量值yCS之间的残差测量值
Figure FDA00003322552700036
然后对残差利用基于块的投影光滑Landweber算法进行稀疏重构得到残差帧ZCS
8.根据权利要求1所述的分布式视频压缩感知系统中基于区域划分的自适应重构方法,其特征在于:步骤3f)中帧间区域内多假设
Figure FDA00003322552700037
和帧间区域外多假设块
Figure FDA00003322552700038
的自适应字典构造方法具体过程如下:
对于区域内的非边缘部分,对
Figure FDA00003322552700039
块在前后两个已解码关键帧中同位置的块利用边缘结构信息确定搜索窗的位置和大小,使搜索窗口最大且不包含边缘像素点,且窗口大小w小于等于8,将搜索窗口中的所有参考块列向量化之后组成字典;
对于区域外的边缘部分,在前后两个已解码关键帧中对与当前
Figure FDA000033225527000310
块同位置的块通过与周围四个方向的参考块比较相关性来确定搜索窗的位置和形状使窗口位于相关性最大的参考块的方向,如果与四个参考块相关性的差值小于某个阈值,则以当前块为中心,窗口大小设置为6,将搜索窗口中的所有参考块列向量化之后组成字典。
CN201310228285.XA 2013-06-08 2013-06-08 分布式视频压缩感知系统中基于区域划分的重构方法 Expired - Fee Related CN103297782B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310228285.XA CN103297782B (zh) 2013-06-08 2013-06-08 分布式视频压缩感知系统中基于区域划分的重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310228285.XA CN103297782B (zh) 2013-06-08 2013-06-08 分布式视频压缩感知系统中基于区域划分的重构方法

Publications (2)

Publication Number Publication Date
CN103297782A true CN103297782A (zh) 2013-09-11
CN103297782B CN103297782B (zh) 2016-04-27

Family

ID=49098014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310228285.XA Expired - Fee Related CN103297782B (zh) 2013-06-08 2013-06-08 分布式视频压缩感知系统中基于区域划分的重构方法

Country Status (1)

Country Link
CN (1) CN103297782B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104125459A (zh) * 2014-07-28 2014-10-29 西安电子科技大学 基于支撑集和信号值检测的视频压缩感知重构方法
CN105007498A (zh) * 2015-07-21 2015-10-28 华东交通大学 面向wmsn的多模式压缩视频感知编解码方法
CN105657541A (zh) * 2015-12-29 2016-06-08 华为技术有限公司 一种帧处理方法及装置
CN105681798A (zh) * 2014-11-21 2016-06-15 Tcl集团股份有限公司 一种视频压缩方法、解压缩方法及压缩装置、解压缩装置
CN105992009A (zh) * 2015-02-05 2016-10-05 袁琳琳 基于运动补偿和分块的视频压缩感知的处理方法
CN106385584A (zh) * 2016-09-28 2017-02-08 江苏亿通高科技股份有限公司 基于空域相关性的分布式视频压缩感知自适应采样编码方法
CN107682701A (zh) * 2017-08-28 2018-02-09 南京邮电大学 基于感知哈希算法的分布式视频压缩感知自适应分组方法
CN104901704B (zh) * 2015-06-04 2018-07-03 中国科学院苏州生物医学工程技术研究所 具备时空相关特征的躯体传感网信号重构方法
CN108259916A (zh) * 2018-01-22 2018-07-06 南京邮电大学 一种分布式视频压缩感知中帧内最佳匹配插值重构方法
CN112616052A (zh) * 2020-12-11 2021-04-06 上海集成电路装备材料产业创新中心有限公司 一种视频压缩信号的重建方法
WO2022037146A1 (zh) * 2020-08-21 2022-02-24 Oppo广东移动通信有限公司 图像处理方法、装置、设备、计算机存储介质和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100080473A1 (en) * 2008-09-26 2010-04-01 Futurewei Technologies, Inc. System and Method for Compressing and Decompressing Images and Video
US20100246920A1 (en) * 2009-03-31 2010-09-30 Iowa State University Research Foundation, Inc. Recursive sparse reconstruction
CN102427527A (zh) * 2011-09-27 2012-04-25 西安电子科技大学 基于分布式视频压缩感知系统非关键帧的重构方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100080473A1 (en) * 2008-09-26 2010-04-01 Futurewei Technologies, Inc. System and Method for Compressing and Decompressing Images and Video
US20100246920A1 (en) * 2009-03-31 2010-09-30 Iowa State University Research Foundation, Inc. Recursive sparse reconstruction
CN102427527A (zh) * 2011-09-27 2012-04-25 西安电子科技大学 基于分布式视频压缩感知系统非关键帧的重构方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
VLADIMIR STANKOVIC,LINA STANKOVIC,SAMUEL CHENG: "COMPRESSIVE IMAGE SAMPLING WITH SIDE INFORMATION", 《2009 16TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING(ICIP)》, 10 November 2009 (2009-11-10), pages 3037 - 3040, XP031629072 *
李莉,朱金秀: "基于视频序列运动特性的边信息生成算法研究", 《计算机工程与设计》, vol. 33, no. 11, 30 November 2012 (2012-11-30), pages 4250 - 4254 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104125459A (zh) * 2014-07-28 2014-10-29 西安电子科技大学 基于支撑集和信号值检测的视频压缩感知重构方法
CN104125459B (zh) * 2014-07-28 2017-02-15 西安电子科技大学 基于支撑集和信号值检测的视频压缩感知重构方法
CN105681798A (zh) * 2014-11-21 2016-06-15 Tcl集团股份有限公司 一种视频压缩方法、解压缩方法及压缩装置、解压缩装置
CN105992009A (zh) * 2015-02-05 2016-10-05 袁琳琳 基于运动补偿和分块的视频压缩感知的处理方法
CN104901704B (zh) * 2015-06-04 2018-07-03 中国科学院苏州生物医学工程技术研究所 具备时空相关特征的躯体传感网信号重构方法
CN105007498A (zh) * 2015-07-21 2015-10-28 华东交通大学 面向wmsn的多模式压缩视频感知编解码方法
CN105657541A (zh) * 2015-12-29 2016-06-08 华为技术有限公司 一种帧处理方法及装置
CN106385584A (zh) * 2016-09-28 2017-02-08 江苏亿通高科技股份有限公司 基于空域相关性的分布式视频压缩感知自适应采样编码方法
CN106385584B (zh) * 2016-09-28 2019-03-01 江苏亿通高科技股份有限公司 基于空域相关性的分布式视频压缩感知自适应采样编码方法
CN107682701A (zh) * 2017-08-28 2018-02-09 南京邮电大学 基于感知哈希算法的分布式视频压缩感知自适应分组方法
CN108259916A (zh) * 2018-01-22 2018-07-06 南京邮电大学 一种分布式视频压缩感知中帧内最佳匹配插值重构方法
CN108259916B (zh) * 2018-01-22 2019-08-16 南京邮电大学 一种分布式视频压缩感知中帧内最佳匹配插值重构方法
WO2022037146A1 (zh) * 2020-08-21 2022-02-24 Oppo广东移动通信有限公司 图像处理方法、装置、设备、计算机存储介质和系统
CN112616052A (zh) * 2020-12-11 2021-04-06 上海集成电路装备材料产业创新中心有限公司 一种视频压缩信号的重建方法

Also Published As

Publication number Publication date
CN103297782B (zh) 2016-04-27

Similar Documents

Publication Publication Date Title
CN103297782A (zh) 分布式视频压缩感知系统中基于区域划分的重构方法
CN103873861B (zh) 一种用于hevc的编码模式选择方法
WO2021093393A1 (zh) 基于深度神经网络的视频压缩感知与重构方法和装置
CN102137263B (zh) 基于cnm关键帧分类的分布式视频编码及解码方法
CN101980537B (zh) 一种基于对象和分形的双目立体视频压缩编解码方法
CN100463527C (zh) 一种多视点视频图像视差估计的方法
CN103618907B (zh) 基于压缩感知多视点分布式视频编码及帧排列装置及方法
CN108259916B (zh) 一种分布式视频压缩感知中帧内最佳匹配插值重构方法
CN105939475A (zh) 一种高质量边信息生成方法
CN102611893B (zh) 基于直方图匹配和sad判决的dmvc边信息融合方法
CN101980538B (zh) 一种基于分形的双目立体视频压缩编解码方法
CN102263951B (zh) 一种快速的分形视频压缩与解压缩方法
CN101198061A (zh) 基于视点图像映射的立体视频流编码方法
WO2022042538A1 (zh) 一种基于块的点云几何帧间预测方法和解码方法
CN103475879B (zh) 一种分布式视频编码中边信息生成方法
CN106888024A (zh) 一种基于双向最佳匹配的分布式视频压缩感知重构方法
CN102970529A (zh) 一种基于对象的多视点视频分形编码压缩与解压缩方法
CN110290386B (zh) 一种基于生成对抗网络的低码率人体运动视频编码系统及方法
CN104602028A (zh) 一种立体视频b帧整帧丢失错误隐藏方法
CN102316323B (zh) 一种快速的双目立体视频分形压缩与解压缩方法
CN110557646A (zh) 一种智能视点间的编码方法
CN102438167A (zh) 一种基于深度图像绘制的立体视频编码方法
CN113068041B (zh) 一种智能仿射运动补偿编码方法
CN108200440B (zh) 一种基于时间相关性的分布式视频压缩感知重构方法
CN101389032A (zh) 一种基于图像插值的帧内预测编码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160427

CF01 Termination of patent right due to non-payment of annual fee