CN102223537A - 基于压缩感知的多视角分布式视频编解码系统及其方法 - Google Patents

基于压缩感知的多视角分布式视频编解码系统及其方法 Download PDF

Info

Publication number
CN102223537A
CN102223537A CN 201110155451 CN201110155451A CN102223537A CN 102223537 A CN102223537 A CN 102223537A CN 201110155451 CN201110155451 CN 201110155451 CN 201110155451 A CN201110155451 A CN 201110155451A CN 102223537 A CN102223537 A CN 102223537A
Authority
CN
China
Prior art keywords
compressed sensing
decoder
encoder
side information
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201110155451
Other languages
English (en)
Other versions
CN102223537B (zh
Inventor
罗雷刚
金坚
谷源涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN 201110155451 priority Critical patent/CN102223537B/zh
Publication of CN102223537A publication Critical patent/CN102223537A/zh
Application granted granted Critical
Publication of CN102223537B publication Critical patent/CN102223537B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

一种基于压缩感知的多视角分布式视频编解码系统及其方法，将压缩感知解码器和压缩感知编码器融合入多视角分布式视频编解码系统，相比于以信道编码实现的多视角分布式视频编解码系统，本系统可实现对任意域稀疏的信源进行有效压缩的目的，在相同的重建视频质量前提下，压缩效率高于以信道编码实现的多视角分布式视频编解码系统，编码端的运算复杂度降低；避免了传统的视频编码标准对编码器和解码器的复杂度分配情况与系统的资源分配情况不一致，不适用于这些新应用场景的缺点，实现了不仅降低了编码端的复杂度，同时提高了压缩效率和重建视频质量的目的。

Description

基于压缩感知的多视角分布式视频编解码系统及其方法
技术领域
本发明属于压缩感知和多视角分布式视频编码技术领域，具体涉及一种基于压缩感知的多视角分布式视频编解码系统及其方法。
背景技术
传统的视频编码标准，无论是H.26x系列还是MPEG系列，编码端通过帧间预测和DCT变换来去除时间冗余和空间冗余，以获取高压缩效率，这就使得编码器对计算能力和内存容量的要求远远高于解码器。
在大多数视频应用中，如广播、视频流的点播等服务，视频序列只需要编码一次，而可能在多个终端上进行多次解码，因此，复杂的编码器和简单的解码器正好可以获得系统整体性能的最优。然而，随着多媒体技术的发展，新的应用场景不断涌现，如CCD摄像机阵列、视频传感器网络、无线视频监控系统等。在这些应用中，往往存在多个视角的视频采集设备，相比非多视角的情况，针对同一场景获得的视频数据量要大很多，这就需要更大的存储空间和无线传输速率将数据保存和发送到服务器。为了利用不同视角以及不同时间上视频的冗余信息而压缩需要传输的数据量，传统的多视角视频编码标准在编码端进行联合编码，在解码端进行联合解码。这种方法的缺点如下：编码端需要互相通信或者将信息发送到某个编码节点进行联合编码，某些时刻不同视角之间通信的需要无法被满足；另一方面，对于视频传感器网络等场景，视频采集装置在运算能力、内存和能量上都有一定的限制，无法承担传统视频编码标准中复杂的编码操作，而解码端的设备往往拥有大量的资源，可以进行复杂的运算。传统的视频编码标准对编码器和解码器的复杂度分配情况与系统的资源分配情况不一致，因而，不适用于这些新应用场景。
发明内容
为了克服上述现有技术存在的不足，本发明的目的在于提供一种基于压缩感知的多视角分布式视频编解码系统及其方法，避免了传统的视频编码标准对编码器和解码器的复杂度分配情况与系统的资源分配情况不一致，不适用于这些新应用场景的缺点，实现了不仅降低了编码端的复杂度，同时提高了压缩效率和重建视频质量的目的。
为了达到上述目的，本发明所采用的技术方案是：
一种基于压缩感知的多视角分布式视频编解码系统，包括n个摄像机，每个摄像机和一个与之相适配的CS-DVC编码器相通信连接，所有的CS-DVC编码器同联合解码器相通信连接，联合解码器也同n个显示器相通信连接，n为大于等于1的自然数。
所述的每个CS-DVC编码器包括视频帧分割器，该视频帧分割器同对应的一个摄像机、CS-DVC编码器内的帧内编码器和预处理器相通信连接，预处理器也与CS-DVC编码器内的第一压缩感知编码器相通信连接。
所述的联合解码器由n个同显示器和CS-DVC编码器一一对应相通信连接的并行解码器构成，每个并行解码器包括第一减法器，该第一减法器同第一压缩感知编码器、预处理器、并行解码器内的第二压缩感知编码器和压缩感知解码器相通信连接，第二压缩感知编码器同压缩感知解码器和并行解码器内的第二减法器同并行解码器内的边信息生成器相通信连接，相邻的边信息生成器相互通信连接，第二减法器和边信息生成器和通信连接，第二减法器和边信息生成器分别同后处理器和帧内解码器相通信连接，后处理器和帧内解码器同视频帧合成器相通信连接，帧内解码器和视频帧合成器分别同对应的CS-DVC编码器的帧内编码器和显示器相通信连接，n为大于等于1的自然数。
所述的帧内编码器和帧内解码器采用H.26x系列或MPEG系列中的帧内编码器和解码器。
所述的第一压缩感知编码器和第二压缩感知编码器采用相同的测量矩阵。
所述的基于压缩感知的多视角分布式视频编解码系统的方法为：通过n个摄像机获取的原始视频数据直接发送到各自对应的CS-DVC编码器的视频帧分割器，通过视频帧分割器将该原始视频数据分为关键帧和非关键帧，关键帧发送到对应的帧内编码器进行编码，编码后所得的编码关键帧发送到对应的并行解码器的帧内解码器，而非关键帧发送到对应的预处理器通过预处理后得预处理非关键帧，将该预处理非关键帧发送到对应的第一压缩感知编码器进行压缩感知编码，得到压缩感知编码非关键帧并发送到并行解码器的第一减法器，这样编码关键帧在帧内解码器中进行帧内解码，得到帧内解码关键帧，然后将帧内解码关键帧分别送到视频帧合成器和边信息生成器，边信息生成器运用运动估计和场景预测算法生成边信息，将该边信息分别输入到第二减法器和第二压缩感知编码器，得到编码边信息并发送到第一减法器，编码边信息通过第一减法器减去压缩感知编码非关键帧得到其编码边信息差值，将该编码边信息差值发送到压缩感知解码器进行解码，得到解码差值并发送到第二减法器，再用边信息通过第二减法器减去解码差值得到边信息差值，将该边信息差值分别发送到后处理器进行后处理和边信息生成器更新边信息，最后视频帧合成器将帧内解码关键帧和边信息差值进行视频合成后发送到对应的显示器中，n为大于等于1的自然数。
所述的视频帧分割器将原始视频数据分为关键帧和非关键帧的策略是相邻的摄像机之间关键帧和非关键帧互补。
本发明是将压缩感知解码器和压缩感知编码器融合入多视角分布式视频编解码系统，相比于以信道编码实现的多视角分布式视频编解码系统，本系统可实现对任意域稀疏的信源进行有效压缩的目的，在相同的重建视频质量前提下，压缩效率高于以信道编码实现的多视角分布式视频编解码系统，编码端的运算复杂度降低。
附图说明
图1是本发明的基于压缩感知的多视角分布式视频编解码系统的总体工作原理结构示意图。
图2是本发明的基于压缩感知的多视角分布式视频编解码系统的组件工作原理结构示意图。
具体实施方式
下面结合附图对本发明作更详细的说明。
如图1所示，基于压缩感知的多视角分布式视频编解码系统，包括n个摄像机，每个摄像机和一个与之相适配的CS-DVC编码器相通信连接，所有的CS-DVC编码器同联合解码器相通信连接，联合解码器也同n个显示器相通信连接，n为大于等于1的自然数。如图2所示，所述的每个CS-DVC编码器包括视频帧分割器，该视频帧分割器同对应的一个摄像机、CS-DVC编码器内的帧内编码器和预处理器相通信连接，预处理器也与CS-DVC编码器内的第一压缩感知编码器相通信连接。所述的联合解码器由n个同显示器和CS-DVC编码器一一对应相通信连接的并行解码器构成，每个并行解码器包括第一减法器，该第一减法器同第一压缩感知编码器、预处理器、并行解码器内的第二压缩感知编码器和压缩感知解码器相通信连接，第二压缩感知编码器同压缩感知解码器和并行解码器内的第二减法器同并行解码器内的边信息生成器相通信连接，相邻的边信息生成器相互通信连接，第二减法器和边信息生成器和通信连接，第二减法器和边信息生成器分别同后处理器和帧内解码器相通信连接，后处理器和帧内解码器同视频帧合成器相通信连接，帧内解码器和视频帧合成器分别同对应的CS-DVC编码器的帧内编码器和显示器相通信连接，n为大于等于1的自然数。所述的帧内编码器和帧内解码器采用H.26x系列或MPEG系列中的帧内编码器和解码器。所述的第一压缩感知编码器和第二压缩感知编码器采用相同的测量矩阵。
所述的基于压缩感知的多视角分布式视频编解码系统的方法为：通过n个摄像机获取的原始视频数据直接发送到各自对应的CS-DVC编码器的视频帧分割器，通过视频帧分割器将该原始视频数据分为关键帧和非关键帧，关键帧发送到对应的帧内编码器进行编码，编码后所得的编码关键帧发送到对应的并行解码器的帧内解码器，而非关键帧发送到对应的预处理器通过预处理后得预处理非关键帧，将该预处理非关键帧发送到对应的第一压缩感知编码器进行压缩感知编码，得到压缩感知编码非关键帧并发送到并行解码器的第一减法器，这样编码关键帧在帧内解码器中进行帧内解码，得到帧内解码关键帧，然后将帧内解码关键帧分别送到视频帧合成器和边信息生成器，边信息生成器运用运动估计和场景预测算法生成边信息，将该边信息分别输入到第二减法器和第二压缩感知编码器，得到编码边信息并发送到第一减法器，编码边信息通过第一减法器减去压缩感知编码非关键帧得到其编码边信息差值，将该编码边信息差值发送到压缩感知解码器进行解码，得到解码差值并发送到第二减法器，再用边信息通过第二减法器减去解码差值得到边信息差值，将该边信息差值分别发送到后处理器进行后处理和边信息生成器更新边信息，最后视频帧合成器将帧内解码关键帧和边信息差值进行视频合成后发送到对应的显示器中，n为大于等于1的自然数。所述的视频帧分割器将原始视频数据分为关键帧和非关键帧的策略是相邻的摄像机之间关键帧和非关键帧互补。

Claims (7)

1.一种基于压缩感知的多视角分布式视频编解码系统，包括n个摄像机，其特征在于：每个摄像机和一个与之相适配的CS-DVC编码器相通信连接，所有的CS-DVC编码器同联合解码器相通信连接，联合解码器也同n个显示器相通信连接，n为大于等于1的自然数。
2.根据权利要求1所述的基于压缩感知的多视角分布式视频编解码系统，其特征在于：所述的每个CS-DVC编码器包括视频帧分割器，该视频帧分割器同对应的一个摄像机、CS-DVC编码器内的帧内编码器和预处理器相通信连接，预处理器也与CS-DVC编码器内的第一压缩感知编码器相通信连接。
3.根据权利要求2所述的基于压缩感知的多视角分布式视频编解码系统，其特征在于：所述的联合解码器由n个同显示器和CS-DVC编码器一一对应相通信连接的并行解码器构成，每个并行解码器包括第一减法器，该第一减法器同第一压缩感知编码器、预处理器、并行解码器内的第二压缩感知编码器和压缩感知解码器相通信连接，第二压缩感知编码器同压缩感知解码器和并行解码器内的第二减法器同并行解码器内的边信息生成器相通信连接，相邻的边信息生成器相互通信连接，第二减法器和边信息生成器和通信连接，第二减法器和边信息生成器分别同后处理器和帧内解码器相通信连接，后处理器和帧内解码器同视频帧合成器相通信连接，帧内解码器和视频帧合成器分别同对应的CS-DVC编码器的帧内编码器和显示器相通信连接，n为大于等于1的自然数。
4.根据权利要求1或权利要求2所述的基于压缩感知的多视角分布式视频编解码系统，其特征在于：所述的帧内编码器和帧内解码器采用H.26x系列或MPEG系列中的帧内编码器和解码器。
5.根据权利要求1或权利要求2所述的基于压缩感知的多视角分布式视频编解码系统，其特征在于：所述的第一压缩感知编码器和第二压缩感知编码器采用相同的测量矩阵。
6.根据权利要求3所述的基于压缩感知的多视角分布式视频编解码系统的方法，其特征为：通过n个摄像机获取的原始视频数据直接发送到各自对应的CS-DVC编码器的视频帧分割器，通过视频帧分割器将该原始视频数据分为关键帧和非关键帧，关键帧发送到对应的帧内编码器进行编码，编码后所得的编码关键帧发送到对应的并行解码器的帧内解码器，而非关键帧发送到对应的预处理器通过预处理后得预处理非关键帧，将该预处理非关键帧发送到对应的第一压缩感知编码器进行压缩感知编码，得到压缩感知编码非关键帧并发送到并行解码器的第一减法器，这样编码关键帧在帧内解码器中进行帧内解码，得到帧内解码关键帧，然后将帧内解码关键帧分别送到视频帧合成器和边信息生成器，边信息生成器运用运动估计和场景预测算法生成边信息，将该边信息分别输入到第二减法器和第二压缩感知编码器，得到编码边信息并发送到第一减法器，编码边信息通过第一减法器减去压缩感知编码非关键帧得到其编码边信息差值，将该编码边信息差值发送到压缩感知解码器进行解码，得到解码差值并发送到第二减法器，再用边信息通过第二减法器减去解码差值得到边信息差值，将该边信息差值分别发送到后处理器进行后处理和边信息生成器更新边信息，最后视频帧合成器将帧内解码关键帧和边信息差值进行视频合成后发送到对应的显示器中，n为大于等于1的自然数。
7.根据权利要求6所述的基于压缩感知的多视角分布式视频编解码系统的方法，其特征为：所述的视频帧分割器将原始视频数据分为关键帧和非关键帧的策略是相邻的摄像机之间关键帧和非关键帧互补。
CN 201110155451 2011-06-10 2011-06-10 基于压缩感知的多视角分布式视频编解码系统及其方法 Expired - Fee Related CN102223537B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110155451 CN102223537B (zh) 2011-06-10 2011-06-10 基于压缩感知的多视角分布式视频编解码系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110155451 CN102223537B (zh) 2011-06-10 2011-06-10 基于压缩感知的多视角分布式视频编解码系统及其方法

Publications (2)

Publication Number Publication Date
CN102223537A true CN102223537A (zh) 2011-10-19
CN102223537B CN102223537B (zh) 2012-10-24

Family

ID=44779944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110155451 Expired - Fee Related CN102223537B (zh) 2011-06-10 2011-06-10 基于压缩感知的多视角分布式视频编解码系统及其方法

Country Status (1)

Country Link
CN (1) CN102223537B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103002283A (zh) * 2012-11-20 2013-03-27 南京邮电大学 多视角分布式视频压缩的边信息生成方法
CN103618907A (zh) * 2013-11-08 2014-03-05 天津大学 基于压缩感知多视点分布式视频编码及帧排列装置及方法
CN103905824A (zh) * 2014-03-26 2014-07-02 深圳先进技术研究院 视频语义检索与压缩同步的摄像系统与方法
CN105338357A (zh) * 2015-09-29 2016-02-17 湖北工业大学 一种分布式视频压缩感知编码技术方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090180533A1 (en) * 2008-01-11 2009-07-16 Apple Inc. control of video decoder for reverse playback operation
CN101742313A (zh) * 2009-12-10 2010-06-16 北京邮电大学 基于压缩感知技术的分布式信源编码的方法
US20100208797A1 (en) * 2009-02-17 2010-08-19 Electronics And Telecommunications Research Institute Distributed video encoder and decoder, and distributed video encoding and decoding method
CN101860748A (zh) * 2010-04-02 2010-10-13 西安电子科技大学 基于分布式视频编码的边信息生成系统及方法
JP2011077879A (ja) * 2009-09-30 2011-04-14 Oki Electric Industry Co Ltd 動画像符号化装置及びプログラム、動画像復号装置及びプログラム、並びに、動画像配信システム
CN102026000A (zh) * 2011-01-06 2011-04-20 西安电子科技大学 像素域-变换域联合的分布式视频编码系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090180533A1 (en) * 2008-01-11 2009-07-16 Apple Inc. control of video decoder for reverse playback operation
US20100208797A1 (en) * 2009-02-17 2010-08-19 Electronics And Telecommunications Research Institute Distributed video encoder and decoder, and distributed video encoding and decoding method
JP2011077879A (ja) * 2009-09-30 2011-04-14 Oki Electric Industry Co Ltd 動画像符号化装置及びプログラム、動画像復号装置及びプログラム、並びに、動画像配信システム
CN101742313A (zh) * 2009-12-10 2010-06-16 北京邮电大学 基于压缩感知技术的分布式信源编码的方法
CN101860748A (zh) * 2010-04-02 2010-10-13 西安电子科技大学 基于分布式视频编码的边信息生成系统及方法
CN102026000A (zh) * 2011-01-06 2011-04-20 西安电子科技大学 像素域-变换域联合的分布式视频编码系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103002283A (zh) * 2012-11-20 2013-03-27 南京邮电大学 多视角分布式视频压缩的边信息生成方法
CN103618907A (zh) * 2013-11-08 2014-03-05 天津大学 基于压缩感知多视点分布式视频编码及帧排列装置及方法
CN103618907B (zh) * 2013-11-08 2017-01-04 天津大学 基于压缩感知多视点分布式视频编码及帧排列装置及方法
CN103905824A (zh) * 2014-03-26 2014-07-02 深圳先进技术研究院 视频语义检索与压缩同步的摄像系统与方法
CN105338357A (zh) * 2015-09-29 2016-02-17 湖北工业大学 一种分布式视频压缩感知编码技术方法
CN105338357B (zh) * 2015-09-29 2018-08-24 湖北工业大学 一种分布式视频压缩感知编解码方法

Also Published As

Publication number Publication date
CN102223537B (zh) 2012-10-24

Similar Documents

Publication Publication Date Title
CN107105278B (zh) 运动矢量自动生成的视频编解码系统
CN102572435B (zh) 基于压缩采样的视频编解码系统及其方法
CN103618907B (zh) 基于压缩感知多视点分布式视频编码及帧排列装置及方法
CN102857746B (zh) 环路滤波编解码方法及装置
CN102223536B (zh) 基于压缩感知的分布式视频编解码系统及其方法
CN103957389A (zh) 基于压缩感知的3g视频传输方法及系统
US20140119456A1 (en) Encoding video into lower resolution streams
CN110324623B (zh) 一种双向帧间预测方法及装置
US9967559B1 (en) Motion vector dependent spatial transformation in video coding
CN103442228B (zh) 从h.264/avc标准到hevc标准的快速帧内转码方法及其转码器
CN104301730A (zh) 基于视频移动设备的双向视频编解码系统及其方法
CN102223537B (zh) 基于压缩感知的多视角分布式视频编解码系统及其方法
CN103002283A (zh) 多视角分布式视频压缩的边信息生成方法
WO2018136128A1 (en) Dc coefficient sign coding scheme
Fang et al. 3dac: Learning attribute compression for point clouds
CN111741302A (zh) 数据处理方法、装置、计算机可读介质及电子设备
Dissanayake et al. Performance comparison of HEVC and H. 264/AVC standards in broadcasting environments
CN102595132A (zh) 一种应用于无线传感器网络的分布式视频编解码方法
Chien et al. Power consumption analysis for distributed video sensors in machine-to-machine networks
CN101980536B (zh) 一种基于对象和分形的多目立体视频压缩编解码方法
CN102572440B (zh) 一种基于深度图和分布式视频编码的多视点视频传输方法
CN102630008B (zh) 无线视频传输方法及终端
CN102088612B (zh) 具有鲁棒性的无反馈Wyner-Ziv视频解码器
US20140118460A1 (en) Video Coding
Toffetti et al. Image compression in a multi-camera system based on a distributed source coding approach

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121024

Termination date: 20170610

CF01 Termination of patent right due to non-payment of annual fee