CN103618903B - 高速低功耗无线传感网络视频压缩采样方法 - Google Patents
高速低功耗无线传感网络视频压缩采样方法 Download PDFInfo
- Publication number
- CN103618903B CN103618903B CN201310669176.1A CN201310669176A CN103618903B CN 103618903 B CN103618903 B CN 103618903B CN 201310669176 A CN201310669176 A CN 201310669176A CN 103618903 B CN103618903 B CN 103618903B
- Authority
- CN
- China
- Prior art keywords
- video
- frame
- signal
- key frame
- compressed sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明属于无线传感网络视频压缩采样技术领域,为提供低复杂度、低功耗的编码端以保证长期稳定工作,而接收端可以进行大量的数据存储和复杂的解码计算,提出新的视频压缩采样框架以及基于压缩感知的编解码策略。为此,本发明采用的技术方案是,高速低功耗无线传感网络视频压缩采样方法,包括如下步骤:根据接收到采样视频信号的时间以及比特误码率要求控制视频信号的压缩采样率以及帧率,进行基于压缩感知的视频差分编码,完成对视频信号的压缩编码;在视频解码端,采用对应于基于压缩感知的视频差分编码的解码策略,恢复出视频图像帧,并远程控制对采样视频信号的时间以及比特误码率的要求。本发明主要应用于无线传感网络视频传输处理。
Description
技术领域
本发明属于无线传感网络视频压缩采样技术领域,尤其涉及基于压缩感知的视频编解码技术,具体讲,涉及高速低功耗无线传感网络视频压缩采样策略。
背景技术
传统的视频编码方式,无论是H.26X系列还是MPEG系列的传统视频编码技术,均采用编码端复杂、解码端简单的系统结构,即编码端通过帧间预测、帧内预测和DCT变换来去除时间和空间冗余,以获得高压缩效率,这使得整个系统对编码器的计算能力和内存容量的要求非常高,远高于解码器。
目前基于压缩感知(CS)的视频编码方式也被广泛熟知与应用,压缩感知(CS)是近年来信号处理领域诞生的一种新兴的理论。该理论在信号获得的同时对数据进行压缩,其频率远低于奈奎斯特采样频率,这样一来可减少采样的信息数据,节省存储空间的同时又包含有足够的信息。在需要恢复原始信号时,采用合适的重构算法进行还原,从而恢复出足量数据。压缩感知理论将传统的数据采集和压缩合二为一,不需要复杂的数据编码计算,非常适合采用于编码端资源受限的场合。
但是现有的基于压缩感知(CS)的视频编码方式缺少反馈控制,稳定性以及鲁棒性较差,要实现进一步的视频信号压缩对重构算法的复杂度以及视频信号自身的稀疏度要求会成倍的提高。改进型的如基于分布式的压缩感知视频编码(DVCS)、基于联合稀疏的压缩感知视频编码(JSMCS)、基于联合稀疏的分布式压缩感知视频编码(JSM-DVCS)等虽然在很大程度成提高了视频的压缩率、稳定性以及鲁棒性,但是对于资源受限的嵌入式无线传感器网络难以满足这些该进编码方式的计算复杂度要求。
发明内容
本发明旨在解决克服现有技术的不足,主要针对一些编码端资源受限的视频应用领域,如视频监控、无线视频传感网络等。因其使用的设备和环境的局限性,此应用领域要求低复杂度、低功耗的编码端以保证长期稳定工作,而接收端可以进行大量的数据存储和复杂的解码计算。为了达到上述技术要求,提出了新的视频压缩采样框架以及基于压缩感知的编解码策略。为此,本发明采用的技术方案是,高速低功耗无线传感网络视频压缩采样方法,包括如下步骤:根据接收到采样视频信号的时间以及比特误码率要求控制视频信号的压缩采样率以及帧率,进行基于压缩感知的视频差分编码,完成对视频信号的压缩编码;在视频解码端,采用对应于基于压缩感知的视频差分编码的解码策略,恢复出视频图像帧,并远程控制对采样视频信号的时间以及比特误码率的要求。
基于压缩感知的视频差分编码是,先对采集到的每一帧图像进行CS压缩采样,前一帧的采样信号作为关键帧输出,后一帧的采样信号与前一帧做差值,差分信号作为非关键帧输出;其中帧率控制图像组(GOP)的大小及分布,采样率控制视频的整体压缩率,两者结合 控制恢复视频的时间以及质量。
视频解码的详细步骤是:先将采集到的编码信号按照帧率的输入标记为关键帧与非关键帧,将关键帧的信号直接通过压缩感知(CS)重构算法恢复出关键帧图像输出,并存储到缓存单元;再将下一帧的非关键帧信号通过压缩感知(CS)重构算法恢复出差分图像,再与前一帧留在缓存单元中的图像信号进行叠加,恢复出非关键帧图像输出,并存储到缓存单元;其中帧率控制接收信号分离关键帧与非关键帧。
将关键帧的信号直接通过压缩感知(CS)重构算法恢复出关键帧图像输出具体是,直接利用改进型的修正牛顿法(NSL0)算法恢复出关键帧图像输出。
高速低功耗无线传感网络视频压缩采样装置,包括:摄像头模块、DSP压缩采样模块、无线收发模块、PC机视频解码器以及视频输出接口;其中摄像头模块负责采集视频信号,DSP压缩采样模块负责根据对接收到的时间以及比特误码率要求控制对视频信号的压缩采样率以及帧率,完成对视频信号的压缩编码,无线收发模块负责传输控制变量以及压缩编码的视频数据,PC机视频解码器负责对接收到的压缩编码视频数据进行解码重构,恢复出原始视频信号并远程控制对采样视频信号的时间以及比特误码率的要求,视频输出接口负责为解码的视频信号提供输出显示接口。
本发明的技术特点及效果:
视频序列经过压缩感知编码处理后,形成的是一些无结构的数据,并且这些数据之间不存在相关性特点。在无线信道上进行信息的传递存在着随机性的误码特点,会遇到偶然性的比特反转,也有可能会碰到一串联的联系比特错误。对于视频数据的传输,如果采用现有的MPEG与H26X系列的编码方案,由于编码出来的数据有运动信息和纹理信息,而纹理信息里面又分低频和高频的部分,对于这些不同类型的数据而言,它们对于视频解码端的重要性的贡献是不一样的,这样不同重要性的数据在无线的随机信道上传输产生的误码后产生的效果是不可预知的。当采用压缩感知的方法进行视频的压缩以后,对于纹理信息来说得到的是一组无结构无相应物理对应关系的数据,收到一帧图像解码后的质量仅仅取决于收到数据量的多少。也就是说,数据之间的重要性是完全平等的。任意相同数量的数据的丢失对于整个一帧视频来说是平均的分担到整个一帧视频上去的。
同时本发明的基于压缩感知的视频编解码策略在传统的压缩感知视频编码的基础上引入了根据解码时间以及比特误码率要求设定的反馈控制信号:图像压缩采样率以及图像关键帧非关键帧的帧率,能很好的适应不同的需求场合。同时设计了基于压缩感知的视频差分编解码策略,在提高视频压缩率的同时能够加快信号的解码速度并且并不会增加编码端的计算复杂度。
附图说明
图1是本发明的系统的整体结构拓扑图。
图2是本发明的视频压缩编码框架结构图。
图3是传统的的基于压缩感知的视频差分编码原理结构图。
图4是本发明的基于压缩感知的视频差分编码原理结构图。
图5是本发明的基于压缩感知的视频解码原理结构图。
具体实施方式
针对编码端资源受限的嵌入式无线传感器网络,视频压缩编码端在传统基于压缩感知的视频压缩编码器上加入反馈控制器来提高编码的稳定性以及鲁棒性。反馈控制信号主要是压缩感知的压缩采样率和视频序列关键帧非关键帧的帧率。反馈控制信号由解码端恢复视频图像序列后计算重构时间以及比特误码率,由系统对重构时间以及比特误码率的要求控制。
同时为了进一步提高视频压缩率以及加快视频解码速度以满足实时解码要求,本发明引入基于压缩感知的视频差分编码策略,思想类似于分布式视频编码中的外推法。可以提高视频压缩率以及加快视频解码的速度,同时相比于分布式视频编码中的外推法,基于压缩感知的视频差分编码策略的算法复杂度要更低并且使得整个视频编解码过程没有时延,为视频的高效实时解码创造了良好的条件。
在视频解码端,为了满足视频解码实时性的要求,采用对应于基于压缩感知的视频差分编码的解码策略,根据视频序列关键帧非关键帧的帧率分离出关键帧与非关键帧,再分别用不同的策略恢复出视频图像帧。由于非关键帧的信息量少所以重构时间会少于关键帧,所以相比于传统的基于压缩感知的视频解码,本发明的解码策略能提高解码速率,为视频的高效实时解码提供了保证。同时在解码算法上采用重构效率高的改进型的修正牛顿法(NSL0),在高重构效果的同时算法的时间复杂度也很低,能够满足中低要求的实时视频解码。
如图1所示是本发明的系统整体结构拓扑图,系统主要由五个部分组成,分别是摄像头模块、DSP压缩采样模块、无线收发模块、PC机视频解码器以及视频输出接口。其中摄像头模块负责采集视频信号,DSP压缩采样模块负责根据对接收到的时间以及比特误码率要求控制对视频信号的压缩采样率以及帧率,完成对视频信号的压缩编码,无线收发模块负责传输控制变量以及压缩编码的视频数据,PC机视频解码器负责对接收到的压缩编码视频数据进行解码重构,恢复出原始视频信号并远程控制对采样视频信号的时间以及比特误码率的要求,视频输出接口负责为解码的视频信号提供输出显示接口。
与传统的视频或者基于压缩感知(CS)的视频编码不同:传统的视频编码如MPEG2、MPEG4、H.264等都是基于相邻帧之间的时间相关性估算运动矢量来压缩信号;传统的基于压缩感知(CS)的视频编码则是利用压缩感知图像压缩原理对视频帧进行压缩,然而较新的基于分布式的压缩感知视频编码则是把分布式视频编码与传统的基于压缩感知(CS)的视频编码相结合。优点是可以提高视频压缩率,减少信道传输数据量。但是缺点是提高了编码端的复杂度,并不适合资源受限的嵌入式无线传感器网络。本发明提出的视频编码策略针对资源受限的嵌入式无线传感器网络,采用低复杂度高效的压缩感知(CS)视频编码策略,同时通过远程控制引入联合采样率控制以及帧率控制来满足用户对视频信号质量的要求。如图2所示是本发明的视频压缩编码框架结构图。
如图3所示是传统的的基于压缩感知的视频差分编码原理结构图,先以图像组(GOP)等于2为例,传统的基于压缩感知的视频差分编码是先对采集到的前一帧图像进行CS压缩 采样作为关键帧输出,采集的后一帧图像与前一帧做差值,再将差分后的图像进行CS压缩采样输出作为非关键帧输出。其中帧率控制图像组(GOP)的大小及分布,采样率控制视频的整体压缩率。两者结合可以控制恢复视频的时间以及质量。
如图4所示是本发明的基于压缩感知的视频差分编码原理结构图,先以图像组(GOP)等于2为例,本发明的基于压缩感知的视频差分编码是先对采集到的每一帧图像进行CS压缩采样,前一帧的采样信号作为关键帧输出,后一帧的采样信号与前一帧做差值,差分信号作为非关键帧输出。其中帧率控制图像组(GOP)的大小及分布,采样率控制视频的整体压缩率。两者结合可以控制恢复视频的时间以及质量。与传统的基于压缩感知的视频差分编码相比本发明提出的基于压缩感知的视频差分编码编码效率更高,耗时更少,同时根据实验结果证明在相同的条件下利用本发明提出的基于压缩感知的视频差分编码策略编码视频传输后解码的恢复结果优于利用传统的基于压缩感知的视频差分编码策略编码视频传输后解码的恢复结果。
如图5所示是本发明的基于压缩感知的视频解码原理结构图,先将采集到的编码信号按照帧率的输入标记为关键帧与非关键帧,以图像组(GOP)等于2为例,将关键帧的信号直接利用压缩感知(CS)重构算法(NSL0算法)恢复出关键帧图像输出,并存储到缓存单元。再将下一帧的非关键帧信号利用压缩感知(CS)重构算法(NSL0算法)恢复出差分图像,再与前一帧留在缓存单元中的图像信号进行叠加,恢复出非关键帧图像输出,并存储到缓存单元。其中帧率控制接收信号分离关键帧与非关键帧。
本系统设计的基于压缩感知的视频压缩采样方法是将无线摄像头采集到的视频信息按照远程设定的视频质量、恢复时间以及比特误码率来控制视频编码控制器(DSP)动态控制压缩感知采样率以及信号关键帧与非关键帧的帧率,达到压缩编码视频信号的目的。其中非关键帧信号只采集当前帧信号压缩采样后与前一帧信号压缩采样数据的差分信号。信号经过信道编码后进行无线传输。在无线视频信号采集解码端,接收的视频信号经过信道解码恢复出压缩视频信号,结合关键帧与非关键帧的帧率,解码器将关键帧的信号直接利用改进型的修正牛顿法(NSL0)算法恢复出关键帧图像输出,并存储到缓存单元。再将非关键帧信号利用改进型的修正牛顿法(NSL0)恢复出差分图像,再与留在缓存单元中的前一帧图像信号进行叠加,恢复出非关键帧图像输出,并再次存储到缓存单元,进而恢复出整个视频信号。
Claims (2)
1.一种高速低功耗无线传感网络视频压缩采样方法,其特征是,包括如下步骤:根据接收到采样视频信号的时间以及比特误码率要求控制视频信号的压缩采样率以及帧率,进行基于压缩感知的视频差分编码,完成对视频信号的压缩编码;在视频解码端,采用对应于基于压缩感知的视频差分编码的解码策略,恢复出视频图像帧,并远程控制对采样视频信号的时间以及比特误码率的要求;其中,基于压缩感知的视频差分编码是,先对采集到的每一帧图像进行CS压缩采样,前一帧的采样信号作为关键帧输出,后一帧的采样信号与前一帧做差值,差分信号作为非关键帧输出;其中帧率控制图像组(GOP)的大小及分布,采样率控制视频的整体压缩率,两者结合控制恢复视频的时间以及质量;视频解码的详细步骤是:先将采集到的编码信号按照帧率的输入标记为关键帧与非关键帧,将关键帧的信号直接通过压缩感知(CS)重构算法恢复出关键帧图像输出,并存储到缓存单元;再将下一帧的非关键帧信号通过压缩感知(CS)重构算法恢复出差分图像,再与前一帧留在缓存单元中的图像信号进行叠加,恢复出非关键帧图像输出,并存储到缓存单元;其中帧率控制接收信号分离关键帧与非关键帧。
2.如权利要求1所述的高速低功耗无线传感网络视频压缩采样方法,其特征是,将关键帧的信号直接通过压缩感知(CS)重构算法恢复出关键帧图像输出具体是,直接利用改进型的修正牛顿法(NSL0)算法恢复出关键帧图像输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310669176.1A CN103618903B (zh) | 2013-12-10 | 2013-12-10 | 高速低功耗无线传感网络视频压缩采样方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310669176.1A CN103618903B (zh) | 2013-12-10 | 2013-12-10 | 高速低功耗无线传感网络视频压缩采样方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103618903A CN103618903A (zh) | 2014-03-05 |
CN103618903B true CN103618903B (zh) | 2017-01-04 |
Family
ID=50169607
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310669176.1A Expired - Fee Related CN103618903B (zh) | 2013-12-10 | 2013-12-10 | 高速低功耗无线传感网络视频压缩采样方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103618903B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103914998A (zh) * | 2014-04-21 | 2014-07-09 | 中国科学院苏州生物医学工程技术研究所 | 一种集成了医学图像处理功能的远程医疗会诊培训系统 |
CN105988762B (zh) * | 2015-02-10 | 2019-07-05 | 腾讯科技(深圳)有限公司 | 动画帧的显示方法、隐藏方法及装置 |
CN106304191B (zh) * | 2016-08-23 | 2019-08-13 | 北京邮电大学 | 一种基于分簇结构无线传感器网络的数据接收方法及装置 |
CN107277537B (zh) * | 2017-07-20 | 2019-10-18 | 南京邮电大学 | 一种基于时间相关性的分布式视频压缩感知采样方法 |
CN107707917B (zh) * | 2017-08-09 | 2019-10-29 | 南京邮电大学 | 一种基于信息熵的视频自适应采样率设定方法 |
CN107749815B (zh) * | 2017-09-21 | 2020-02-18 | 京信通信系统(中国)有限公司 | 一种数据传输方法、处理方法及装置 |
CN107968947A (zh) * | 2017-12-12 | 2018-04-27 | 西安文理学院 | 一种基于dsp的视频压缩感知系统及数据处理方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011108146A1 (ja) * | 2010-03-03 | 2011-09-09 | 株式会社メガチップス | 画像符号化装置、画像符号化復号化システム、画像符号化方法、画像表示方法 |
CN102223536A (zh) * | 2011-06-10 | 2011-10-19 | 清华大学 | 基于压缩感知的分布式视频编解码系统及其方法 |
CN102630011A (zh) * | 2012-03-31 | 2012-08-08 | 浙江师范大学 | 一种视频传感器网络中的压缩感知编解码方法及系统 |
CN102905132A (zh) * | 2012-10-16 | 2013-01-30 | 上海大学 | 无线视频传输的压缩和解压缩方法及其装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4825644B2 (ja) * | 2006-11-14 | 2011-11-30 | ルネサスエレクトロニクス株式会社 | 画像復号装置、画像符号化装置、およびシステムlsi |
-
2013
- 2013-12-10 CN CN201310669176.1A patent/CN103618903B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011108146A1 (ja) * | 2010-03-03 | 2011-09-09 | 株式会社メガチップス | 画像符号化装置、画像符号化復号化システム、画像符号化方法、画像表示方法 |
CN102223536A (zh) * | 2011-06-10 | 2011-10-19 | 清华大学 | 基于压缩感知的分布式视频编解码系统及其方法 |
CN102630011A (zh) * | 2012-03-31 | 2012-08-08 | 浙江师范大学 | 一种视频传感器网络中的压缩感知编解码方法及系统 |
CN102905132A (zh) * | 2012-10-16 | 2013-01-30 | 上海大学 | 无线视频传输的压缩和解压缩方法及其装置 |
Also Published As
Publication number | Publication date |
---|---|
CN103618903A (zh) | 2014-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103618903B (zh) | 高速低功耗无线传感网络视频压缩采样方法 | |
CN103957389A (zh) | 基于压缩感知的3g视频传输方法及系统 | |
CN103141092B (zh) | 针对视频压缩使用运动补偿的基于示例的超分辨率来编码视频信号的方法和设备 | |
CN106385584B (zh) | 基于空域相关性的分布式视频压缩感知自适应采样编码方法 | |
CN103618907B (zh) | 基于压缩感知多视点分布式视频编码及帧排列装置及方法 | |
CN103442228B (zh) | 从h.264/avc标准到hevc标准的快速帧内转码方法及其转码器 | |
CN103596010B (zh) | 基于字典学习的压缩感知视频编解码系统 | |
CN103002280A (zh) | 基于hvs&roi的分布式编解码方法及系统 | |
CN104301730A (zh) | 基于视频移动设备的双向视频编解码系统及其方法 | |
CN101883284B (zh) | 基于背景建模和可选差分模式的视频编/解码方法及系统 | |
CN102572428B (zh) | 面向多媒体传感网分布式编解码的边信息估计方法 | |
CN101005621A (zh) | 基于自适应哈什和格型矢量量化的分布式视频编码方法 | |
CN107277537B (zh) | 一种基于时间相关性的分布式视频压缩感知采样方法 | |
CN102595132A (zh) | 一种应用于无线传感器网络的分布式视频编解码方法 | |
CN101014129A (zh) | 一种视频数据压缩方法 | |
CN102857760B (zh) | 一种无反馈的优化码率的分布式视频编解码方法及其系统 | |
CN102833536A (zh) | 一种面向无线传感器网络的分布式视频编解码方法 | |
CN104333757A (zh) | 基于cs测量值多描述的视频编解码方法 | |
CN102223537B (zh) | 基于压缩感知的多视角分布式视频编解码系统及其方法 | |
CN102572440B (zh) | 一种基于深度图和分布式视频编码的多视点视频传输方法 | |
CN103533351B (zh) | 一种多量化表的图像压缩方法 | |
CN105306941B (zh) | 一种视频编码方法 | |
CN105049870B (zh) | 一种基于稀疏度估计的分布式视频压缩感知快速重建方法 | |
CN108632613B (zh) | 基于discover框架的分级分布式视频编码方法及系统 | |
CN104050968A (zh) | 一种嵌入式音频采集端aac音频编码方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170104 Termination date: 20201210 |