CN107509074A - 基于压缩感知的自适应3d视频编解码方法 - Google Patents

基于压缩感知的自适应3d视频编解码方法 Download PDF

Info

Publication number
CN107509074A
CN107509074A CN201710555070.7A CN201710555070A CN107509074A CN 107509074 A CN107509074 A CN 107509074A CN 201710555070 A CN201710555070 A CN 201710555070A CN 107509074 A CN107509074 A CN 107509074A
Authority
CN
China
Prior art keywords
key
frames
video sequence
frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710555070.7A
Other languages
English (en)
Other versions
CN107509074B (zh
Inventor
王永芳
吴健
朱芸
帅源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201710555070.7A priority Critical patent/CN107509074B/zh
Publication of CN107509074A publication Critical patent/CN107509074A/zh
Application granted granted Critical
Publication of CN107509074B publication Critical patent/CN107509074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于压缩感知的自适应3D视频编解码方法。首先将多视点视频划分为关键视点和非关键视点，对于关键视点又分为关键帧和非关键帧；对于关键帧采用较高的采样率；对于非关键帧按照当前帧与关键帧的残差进行图像块的分类（SKIP、INTER和COMBINED模式），不同模式采用不同的采样率；对于非关键视点也采用类似的办法。对于解码端先对关键视点的关键帧进行恢复；再利用关键帧信息对非关键帧进行恢复；对于非关键视点利用关键视点的信息进行恢复。本发明方法能有效地降低编码端的计算复杂度，能够适用于编码端计算能力弱而同时解码端拥有强大计算能力的场景，能显著提高3D视频压缩效率。

Description

基于压缩感知的自适应3D视频编解码方法
技术领域
本发明涉及一种视频编解码方法，特别是涉及一种基于压缩感知的自适应3D视频压缩方法。
背景技术
3D视频指的是通过多台摄像机从不同角度对同一场景进行采集而得到的视频序列。由于其能提供更加真实和自然的视觉体验，正得到人们越来越多的关注。它利用多个具有一定视差的视频使人产生立体感，这种形式的视频能更好地将真实场景呈现在人们眼前，从而让人产生身临其境的感觉。3D视频一方面使人们的观看体验得以提升，但另一方面对带宽和压缩算法也提出了更高的要求。
目前，随着显示技术和通信技术的不断发展，3D视频的应用正在广泛兴起，尤其是面向高清/超高清3D视频的实时应用对高效的3D视频编解码与处理技术的研究提出了新的问题与挑战。作为专门针对3D视频进行设计的视频编解码标准3D-HEVC，它通过充分探索视频帧内、帧间以及视点间的相关性获得了非常高的压缩效率。但是传统的压缩方案由于需要在编码端进行复杂的运算，这就对计算机的性能提出了较高的要求，因此并不适用于一些低功耗场景：比如手机、无线视频监控等。
压缩感知是由Donoho等人在2006年首次提出来的，作为一种新的信号处理理论，它可以用远低于奈奎斯特定理所要求的采样率对信号进行随机观测，研究表明只要信号满足稀疏的特性，压缩感知技术就能表现出很好的性能。而且由于压缩感知的测量过程非常简单，只需要利用预先设计好的随机矩阵与信号相乘即可得到压缩后的数据，这与传统方法相比计算量小得多，因此在一些低功耗的图像和视频压缩应用领域中具有很大的潜力，这也使得学术界和工业界都对其产生了很大的兴趣。将压缩感知技术应用于视频压缩可以降低编码的计算复杂度，当然其代价就是必须得在解码端进行复杂的运算，从而才能恢复出原始的信号。目前一些基于压缩感知的3D视频编解码方法并没有考虑到视频的非平稳特性，即对所有图像块都采用相同的采样率，这在一定程度上并不合理，因此，仍然存在进一步改进的空间。
发明内容
本发明的目的在于克服已有技术存在的不足，提出一种基于压缩感知的自适应3D视频编解码方法。该发明充分探索了3D视频中的各种相关性：在同一帧图像内相邻像素之间具有很强的相似性；同一视点内相邻帧之间存在很强的时域相关性；同一时刻相邻视点的各帧之间又存在视点间的相关性。该方案首次在编码端和解码端同时引入模式选择，有效地提升了编码效率，又在一定程度上降低了解码端的复杂度，最终我们的方案取得了不错的压缩效率。本发明方法能有效地降低了编码端的计算复杂度，能够适用于编码端计算能力弱而同时解码端拥有强大计算能力的情景。
为达到上述发明创造目的，本发明的构思是：
压缩感知对信号的处理一般是没有针对性的，即对于所有信号都采用一样的处理方式(采用相同的采样率)。但是图像和视频信号是典型的非平稳信号，如果对不同时刻不同区域的内容采用相同的采样方法显然有些不太合理。图像中有些区域稀疏程度较低，这时较低的采样率并不能对原始信号进行有效恢复；而有些区域稀疏度高，此时过高的采样率就是一种浪费。因此，本技术方案在借鉴了传统编解码算法中模式选择的基础上，提出了基于压缩感知的自适应3D视频编解码方案。
根据上述的构思，本发明采用下述技术方案：
一种基于压缩感知的自适应3D视频编解码方法，其特征在于该方法的具体步骤为：
1.1编码端：
1.1-1视频分组：先将3D视频序列划分成图像组GOP，每个GOP包含多个视点视频序列的多帧视频图像，并且将这些视点区分为关键视点和非关键视点；
1.1-2对关键视点视频序列中的关键帧测量：将关键视点视频序列划分成关键帧与非关键帧，对其进行基于图像分块的随机测量，其中关键帧的采样率为Rkey；
1.1-3对关键视点视频序列中的非关键帧测量：先按照当前帧与关键帧的残差进行图像块的分类，分为SKIP、INTER和COMBINED三种模式，不同模式采用不同的采样率，分别为0，Rcs与Rkey；
1.1-4对非关键视点视频序列中的所有帧测量：对所有图像块进行随机测量，采样率为Rcs，至此编码过程结束；
1.2解码端：
1.2-1对关键视点视频序列中的关键帧进行恢复；
1.2-2对关键视点视频序列中的非关键帧进行恢复：以关键视点视频序列重建后的关键帧作为参考帧，对采用不同编码模式的图像块分别进行恢复；
1.2-3对非关键视点视频序列中的关键帧进行恢复：先用INTRA进行图像的初步恢复，然后将当前解码帧与关键视点视频序列中的关键帧进行视差估计，找到相似块，并以相似块为中心确定一定范围得到字典Ψ，最后通过求解min||Ψx||1,s.t.y＝Φx恢复出原始图像 x；其中y表示测量值，Φ为测量矩阵，||·||l表示向量的l1范数；其中的圆点代表的是任意向量，该式子计算的是任意向量的1-范数；
1.2-4对非关键视点视频序列中的非关键帧进行恢复：将非关键视点视频序列中的关键帧作为参考帧，对非关键视点视频序列中的其余各帧进行恢复；过程与步骤(b) 相同。
上述的编码端步骤1.1-1的具体步骤为：对于多视点视频，将输入的多个视点的视频序列命名为V1、V2、V3……Vn，n为视点个数，在各视点中选取相同数量的若干帧图像作为一个图像组GOP；然后设置第一个和最后一个视点为关键视点，其余中间视点均为非关键视点。
上述编码端步骤1.1-2的具体步骤为：对编码端步骤1.1-1所得关键视点视频序列中的关键帧先进行图像分块，然后对各个图像块采用相同的采样率Rkey，利用随机矩阵与图像分块进行相乘的运算进行基于图像分块的随机测量。
上述编码端步骤1.1-3的具体步骤为：先将非关键帧进行图像分块；然后将当前需要编码的非关键帧与关键帧相减得到残差；最后将图像块根据参数threshold1和threshold2分为三类，分别对应SKIP、INTER和COMBINED三种编码模式；该过程可以用式(1)表示
式(1)中的difference表示当前编码的图像块与参考帧对应图像块之间的差异程度，包括范数、马氏距离、PSNR、SNR。
上述编码端步骤1.1-4中对非关键视点视频序列中的所有帧进行测量，是指对非关键视点视频序列中的各帧图像先进行分块，对所有图像块进行随机测量，采样率为Rcs。
上述解码端步骤1.2-1中对关键视点视频序列中的关键帧进行恢复，是指对关键视点视频序列中的关键帧进行恢复。
上述解码端步骤1.2-2中对关键视点视频序列中的非关键帧进行恢复，是指对关键视点视频序列中的非关键帧进行恢复，以关键视点视频序列重建后的关键帧作为参考帧，对采用不同编码模式的图像块分别进行恢复。
上述的对采用不同编码模式的图像块进行回复的方案为：
8.1.SKIP模式的恢复过程如下：
a.通过直接复制关键帧的对应图像块作为最终的恢复块。
8.2.INTER模式的恢复过程如下：
a.找到参考帧中与当前块所对应的图像块；
b.确定对应图像块周边一定的搜索范围，逐像素取得图像块作为字典Ψ；
c.通过求解min||Ψx||1,s.t.y＝Φx，得到恢复图像；
8.3.COMBINED模式的恢复过程如下：
a.对采用该模式的块用INTRA和INTER方式进行解码；
b.通过判断恢复信号与原始信号(x)测量值的残差来确定最终选择哪种模式，信号的残差与测量值的残差呈正相关，如式(2)所示，当通过INTER模式恢复的图像块与原始图像块测量值之间的残差较小时，就选择INTER模式，反之则选择INTRA模式：
上述解码端步骤1.2-3中对非关键视点视频序列中的关键帧进行恢复，先用INTRA进行图像的初步恢复，然后将当前帧与关键视点视频序列中的关键帧进行视差估计，找到相似图像块，即先找到在参考帧中与当前图像块对应的图像块，然后在其周边确定一定的搜索范围，逐像素在水平方向搜索，最后根据残差得到能使残差最小的最佳匹配块即为相似块；并以相似块为中心确定范围得到字典Ψ，最后通过求解min||Ψx||1,s.t.y＝Φx恢复出原始图像 x，其中y表示测量值，Φ为测量矩阵，||ΨX||l表示向量的l1范数。
上述解码端步骤1.2-4中对非关键视点视频序列中的非关键帧进行恢复，是指对非关键视点视频序列中的非关键帧进行恢复，利用非关键视点视频序列中的关键帧作为参考帧，对非关键视点视频序列中的其余各帧进行恢复，过程与解码端步骤1.2-2相同。
采样率对应的是视频的压缩比，即采样率越低，压缩能力就越强。所以采样率根据可以根据需要进行调整；
threshold1和threshold2的确定：这两个参数是通过实验获得的，优选取值为threshold1＝ 1*BS*BS，threshold2＝8*BS*BS(其中BS代表分块大小，本发明优选为32)
对于采样率Rcs和Rkey：发明中涉及到两个采样率，可以根据需要自行设定，只要求 Rkey>Rcs。
对于8.3中的b：较小指的是相对的小，这里采用了两种解码方案INTER和INTRA，两种方案会得到两个恢复结果，这两个结果都是对原始信号的预测。较小指的是这两个结果分别与原始信号的接近程度，其中一个结果与原始信号残差小表示这两个信号越接近。
本发明方法主要考虑到了视频信号的非平稳性，因此借鉴了传统编码框架中模式选择的思想，在编码端将图像块划分为SKIP、INTER和COMBINED模式，在解码端又通过比较图像的恢复情况选择INTER或INTRA解码模式。该过程在编码端的复杂度极低，且有效地探索了3D视频的帧内、帧间以及视点间的相关性，最终提升了压缩效率。
本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：
(1)本发明方法可以有效地降低编码端的复杂度，能够适用于编码端对功耗有较高限制，计算能力较弱而同时解码端具有较强计算能力的情景；
(2)本发明利用自适应测量的方法，对不同的图像块采用不同的测量率，在编码端和解码端都引入了模式选择，充分利用了3D视频的帧内相关性、帧间相关性和视点间的相关性，显著地提升了视频的压缩效率。
附图说明
图1为本发明优选实施例3D视频分组(GOP)结构。一共包含三个视点，其中每个视点八帧图像。图中V1、V3为关键视点，V2为非关键视点，K表示关键帧，CS表示非关键帧。
图2为本发明优选实施例系统流程图，纵向虚线左侧为编码端，右侧为解码端。
图3为本发明优选实施例各编码模式的解码过程，这是图2中模式选择部分的具体化。
图4为本发明优选实施例算法中冗余字典的选取方法。
图5为本发明优选实施例算法中视差估计方法。
图6为对比算法(MH-BCS-SPL)在平均采样率为0.05时newpaper其中三个视点的恢复图像。
图7为对比算法(DISCOS)在平均采样率为0.05时newpaper其中三个视点的恢复图像。
图8为本发明优选实施例算法在平均采样率为0.0496时newpaper其中三个视点的恢复图像。
具体实施方式
以下结合附图表对本发明的实施例作详细说明。本实施例以本发明的技术方案为前提进行实施，但本发明的保护范围不限于下述的实施例。
本实施例利用压缩感知技术，结合模式选择方法实现了基于压缩感知的自适应3D视频编解码，在MATLAB2014a平台上编程实现本发明方法，步骤如图2流程图所示。在本实施例中，参见图1～6，一种基于压缩感知的自适应3D视频编码，包括如下步骤：
编码端：
(1)视频分组(GOP)：假设要对具有三个视点的多视点视频进行编码，首先将输入的三个序列命名为V1、V2、V3，选取第一个和最后一个视点为关键视点，即选取V1和 V3为关键视点，V2为非关键视点(在这里，关键视点指的是将其作为参考视点，用于对其他视点进行预测)。每个视点又包括八帧图像(本发明优选为八帧，也可以设置为其他数目)，即整个GOP总共包含24帧图像(本发明优选为24帧)；
(2)对关键视点中的关键帧进行测量：将关键视点(V1、V3)再分成关键帧(K)与非关键帧(CS)，本发明优选第一帧和第八帧为关键帧，其余为非关键帧。其中关键帧采用较高的采样率(本发明优选Rkey＝0.6)，对其进行基于图像分块(本发明优选分块大小为32*32)的随机测量(其中测量矩阵Φ优选为高斯随机矩阵，此时矩阵的大小为614*1024)，测量过程可以表示为y＝Φx(其中x为图像分块，y为测量值)；
(3)对关键视点中的非关键帧测量：对关键视点中的非关键帧，根据图像块的残差，对其进行自适应地采样率分配。先按照当前帧与关键帧的残差将图像块分为三类：SKIP、 INTER和COMBINED。不同模式采用不同的采样率，分别为0，Rcs与Rkey(本发明优选Rcs＝0.05，Rkey＝0.6)。当残差很小时，意味着该图像块与参考帧对应块几乎是相同的，此时我们只需要传输一个标志位来代表这种模式(SKIP)而不需要任何测量值，因此采样率为零。如果当前块与参考图像块的残差很大时，我们将其认定为 COMBINED模式。这种模式需要较高的采样率(Rkey＝0.6)，而且在解码端需要同时用到INTER和INTRA两种解码方式。剩下的块就被分成了INTER模式，这种模式需要较低的采样率(Rcs＝0.05)在解码端也用对应的INTER解码器进行解码。在图4中，图像块被分成了三类并分别用不同的颜色表示。深红色表示COMBINED模式，浅红色表示INTER模式，其余偏蓝的表示该图像块选择SKIP模式。以上的过程可以用下面的式子来描述：
本发明优选difference是信号残差的l1范数，本发明优选threshold1＝1*BS*BS，threshold2＝8*BS*BS(其中BS代表分块大小，本发明优选为32)；
(4)对非关键视点中的所有帧测量：采用较低的采样率(本发明优选Rcs＝0.05)对所有图像进行基于图像块的随机测量。
至此编码过程结束。
解码端
(1)对关键视点中的关键帧进行恢复：可以采用GSR、BCS-SPL或者MH-BCS-SPL等算法，由于这些算法不需要利用帧间的相关性，可以进行独立解码，在下文中统一用 INTRA代替。考虑到恢复算法的计算复杂度和最终的恢复质量，本发明优选 MH-BCS-SPL对关视点中的关键帧进行恢复；
(2)对关键视点中的非关键帧进行恢复；以关键视点重建后的关键帧作为参考帧，对采用不同编码模式的图像块分别进行恢复；
这里的编码模式指的是编码端中步骤(3)中的SKIP、INTER和COMBINED模式，具体解码方法为：
SKIP模式的恢复过程如下：
a.如果当前图像块采用了SKIP模式，可以通过直接复制关键帧的对应图像块作为最终的恢复块。采用SKIP模式，表示当前块与参考块几乎是一致的，而视频中一般会存在很多这样的区域。因此该模式可以有效地提升编码效率，也降低了解码的复杂度。
INTER模式的恢复过程如下：
a.找到参考帧中与当前块所对应的图像块。图5右侧子图中斜线块为当前编码块，左侧图中斜线块表示其所对应的图像块；
b.确定其周边一定的搜索范围(本发明优选搜索范围为64*64)，逐像素取得图像块作为字典Ψ，如图5所示。左侧虚线框为对应冗余字典的搜索范围，彩色块为对应的字典原子；
c.通过求解min||Ψx||1,s.t.y＝Φx，得到恢复图像。
COMBINED模式的恢复过程如下：
a.对采用该模式的块用INTRA和INTER方式进行解码，
b.通过判断恢复信号与原始信号(x)测量值的残差来确定最终选择哪种模式(因为信号的残差与测量值的残差呈正相关，如式(4)所示)。当通过INTER模式恢复的图像块与原始图像块测量值之间的残差较小时，就选择INTER模式，反之则选择INTRA模式。
(3)对非关键视点中的关键帧先用INTRA(本发明优选MH-BCS-SPL)进行图像初步恢复，然后将当前帧与关键视点中的关键帧进行视差估计，并以相似块为中心确定范围得到字典Ψ，最后通过求解min||Ψx||1,s.t.y＝Φx恢复出原始图像x(其中Φ为测量矩阵)；
这里提及的视察估计指的是如图6所示，先找到在参考帧中与当前图像块对应的图像块(图6左侧中的空白图像块)，然后在其周边确定一定的搜索范围(本发明优选搜索范围为水平方向±64)，逐像素搜索最佳匹配块。
(4)利用非关键视点中的关键帧作为参考帧，对非关键视点中的其余各帧进行恢复；过程与第(2)步相同；
实验测试分析：
在不同算法下多视点视频序列Newspaper的恢复质量比较(dB)，参见表1-表3。不同算法下Newspaper的恢复质量比较，参见图7-图8，其中图7为MH-BCS-SPL恢复的图像，图8为DISCOS恢复的图像。
表1Newspaper前八帧的恢复情况(MH-BCS-SPL，0.05)
dB 第一帧 第二帧 第三帧 第四帧 第五帧 第六帧 第七帧 第八帧
视点2 29.83 29.76 29.70 29.75 29.78 29.75 29.79 29.75
视点4 29.32 29.40 29.43 29.36 29.39 29.41 29.38 29.33
视点6 28.42 28.23 28.46 28.41 28.45 28.37 28.42 28.44
表2Newspaper前八帧的恢复情况(DISCOS，0.05)
dB 第一帧 第二帧 第三帧 第四帧 第五帧 第六帧 第七帧 第八帧
视点2 29.83 29.75 29.71 29.67 29.70 29.72 29.76 29.75
视点4 29.32 29.24 29.17 29.29 29.27 29.29 29.33 29.33
视点6 28.42 28.37 28.30 28.31 28.29 28.35 28.39 28.44
表3Newspaper前八帧的恢复情况(Proposed，0.0496)
dB 第一帧 第二帧 第三帧 第四帧 第五帧 第六帧 第七帧 第八帧
视点2 42.49 40.08 39.31 38.91 38.96 39.26 39.73 42.47
视点4 34.21 33.91 33.78 33.68 33.58 33.32 33.41 33.66
视点6 40.96 38.72 37.65 37.76 37.44 37.99 38.42 40.92
从图7-图8明显可以看出本方法具有很好的主观质量，具体的实验数据可以参考表1- 表3.从表中也可以看出本实施例能取得比其他方法更好的实验结果。
本实施例提出了一种基于压缩感知的自适应3D视频编解码方案。由于MH-BCS-SPL算法只用到了视频的帧内相关性，DISCOS只用到了视频的时域相关性。而该方案在编码端和解码端同时加入了模式选择，本实施例这样做的目的是为了充分利用视频的帧内、帧间和视点间的相关性，从而使压缩感知技术在这里能取得更好的效果，也提高了压缩的效率。本实施例方法在降低编码端复杂度的同时具有一定的抗数据丢失的能力，能够适用于编码端计算能力差而同时拥有强大的解码端的场合。
上面结合附图对本发明实施例进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背离本发明基于感知及随机置换的图像压缩感知方法的技术原理和发明构思，都属于本发明的保护范围。

Claims (10)

1.一种基于压缩感知的自适应3D视频编解码方法，其特征在于该方法的具体步骤为：
1.1编码端：
1.1-1视频分组：先将3D视频序列划分成图像组GOP，每个GOP包含多个视点视频序列的多帧视频图像，并且将这些视点区分为关键视点和非关键视点；
1.1-2对关键视点视频序列中的关键帧测量：将关键视点视频序列划分成关键帧与非关键帧，对其进行基于图像分块的随机测量，其中关键帧的采样率为Rkey；
1.1-3对关键视点视频序列中的非关键帧测量：先按照当前帧与关键帧的残差进行图像块的分类，分为SKIP、INTER和COMBINED三种模式，不同模式采用不同的采样率，分别为0，Rcs与Rkey；
1.1-4对非关键视点视频序列中的所有帧测量：对所有图像块进行随机测量，采样率为Rcs，至此编码过程结束；
1.2解码端：
1.2-1对关键视点视频序列中的关键帧进行恢复；
1.2-2对关键视点视频序列中的非关键帧进行恢复：以关键视点视频序列重建后的关键帧作为参考帧，对采用不同编码模式的图像块分别进行恢复；
1.2-3对非关键视点视频序列中的关键帧进行恢复：先用INTRA进行图像的初步恢复，然后将当前解码帧与关键视点视频序列中的关键帧进行视差估计，找到相似块，并以相似块为中心确定一定范围得到字典Ψ，最后通过求解min||Ψx||1,s.t.y＝Φx恢复出原始图像x；其中y表示测量值，Φ为测量矩阵，||ΨX||l表示向量的l1范数；
1.2-4对非关键视点视频序列中的非关键帧进行恢复：将非关键视点视频序列中的关键帧作为参考帧，对非关键视点视频序列中的其余各帧进行恢复；过程与步骤(b)相同。
2.根据权利要求1所述的基于压缩感知的自适应3D视频编解码方法，其特征在于所述的编码端步骤1.1-1的具体步骤为：对于多视点视频，将输入的多个视点的视频序列命名为V1、V2、V3……Vn，n为视点个数，在各视点中选取相同数量的若干帧图像作为一个图像组GOP；然后设置第一个和最后一个视点为关键视点，其余中间视点均为非关键视点。
3.根据权利要求1所述的基于压缩感知的自适应3D视频编解码方法，其特征在于所述编码端步骤1.1-2的具体步骤为：对编码端步骤1.1-1所得关键视点视频序列中的关键帧先进行图像分块，然后对各个图像块采用相同的采样率Rkey，利用随机矩阵与图像分块进行相乘的运算进行基于图像分块的随机测量。
4.根据权利要求1所述的基于压缩感知的自适应3D视频编解码方法，其特征在于所述编码端步骤1.1-3的具体步骤为：先将非关键帧进行图像分块；然后将当前需要编码的非关键帧与关键帧相减得到残差；最后将图像块根据参数threshold1和threshold2分为三类，分别对应SKIP、INTER和COMBINED三种编码模式；该过程可以用式(1)表示
<mrow> <mi>M</mi> <mi>O</mi> <mi>D</mi> <mi>E</mi> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>S</mi> <mi>K</mi> <mi>I</mi> <mi>P</mi> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>d</mi> <mi>i</mi> <mi>f</mi> <mi>f</mi> <mi>e</mi> <mi>r</mi> <mi>e</mi> <mi>n</mi> <mi>c</mi> <mi>e</mi> <mo>&lt;</mo> <mi>t</mi> <mi>h</mi> <mi>r</mi> <mi>e</mi> <mi>s</mi> <mi>h</mi> <mi>o</mi> <mi>l</mi> <mi>d</mi> <mn>1</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>C</mi> <mi>O</mi> <mi>M</mi> <mi>B</mi> <mi>I</mi> <mi>N</mi> <mi>E</mi> <mi>D</mi> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>t</mi> <mi>h</mi> <mi>r</mi> <mi>e</mi> <mi>s</mi> <mi>h</mi> <mi>o</mi> <mi>l</mi> <mi>d</mi> <mn>1</mn> <mo>&lt;</mo> <mi>d</mi> <mi>i</mi> <mi>f</mi> <mi>f</mi> <mi>e</mi> <mi>r</mi> <mi>e</mi> <mi>n</mi> <mi>c</mi> <mi>e</mi> <mo>&lt;</mo> <mi>t</mi> <mi>h</mi> <mi>r</mi> <mi>e</mi> <mi>s</mi> <mi>h</mi> <mi>o</mi> <mi>l</mi> <mi>d</mi> <mn>2</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>I</mi> <mi>N</mi> <mi>T</mi> <mi>E</mi> <mi>R</mi> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>d</mi> <mi>i</mi> <mi>f</mi> <mi>f</mi> <mi>e</mi> <mi>r</mi> <mi>e</mi> <mi>n</mi> <mi>c</mi> <mi>e</mi> <mo>&gt;</mo> <mi>t</mi> <mi>h</mi> <mi>r</mi> <mi>e</mi> <mi>s</mi> <mi>h</mi> <mi>o</mi> <mi>l</mi> <mi>d</mi> <mn>2</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
式(1)中的difference表示当前编码的图像块与参考帧对应图像块之间的差异程度，包括范数、马氏距离、PSNR、SNR。
5.根据权利要求1所述基于压缩感知的自适应3D视频编解码方法，其特征在于所述编码端步骤1.1-4中对非关键视点视频序列中的所有帧进行测量，是指对非关键视点视频序列中的各帧图像先进行分块，对所有图像块进行随机测量，采样率为Rcs。
6.根据权利要求1所述基于压缩感知的自适应3D视频编解码方法，其特征在于所述解码端步骤1.2-1中对关键视点视频序列中的关键帧进行恢复，是指对关键视点视频序列中的关键帧进行恢复。
7.根据权利要求1所述基于压缩感知的自适应3D视频编解码方法，其特征在于所述解码端步骤1.2-2中对关键视点视频序列中的非关键帧进行恢复，是指对关键视点视频序列中的非关键帧进行恢复，以关键视点视频序列重建后的关键帧作为参考帧，对采用不同编码模式的图像块分别进行恢复。
8.根据权利要求7所述对采用不同编码模式图像块分别进行恢复，其特征在于所述的对采用不同编码模式的图像块进行回复的方案为：
8.1.SKIP模式的恢复过程如下：
a.通过直接复制关键帧的对应图像块作为最终的恢复块；
8.2.INTER模式的恢复过程如下：
a.找到参考帧中与当前块所对应的图像块；
b.确定对应图像块周边一定的搜索范围，逐像素取得图像块作为字典Ψ；
c.通过求解min||Ψx||1,s.t.y＝Φx，得到恢复图像；
8.3.COMBINED模式的恢复过程如下：
a.对采用该模式的块用INTRA和INTER方式进行解码；
b.通过判断恢复信号与原始信号(x)测量值的残差来确定最终选择哪种模式，信号的残差与测量值的残差呈正相关，如式(2)所示，当通过INTER模式恢复的图像块与原始图像块测量值之间的残差较小时，就选择INTER模式，反之则选择INTRA模式：
<mrow> <mi>y</mi> <mo>-</mo> <mover> <mi>y</mi> <mo>^</mo> </mover> <mo>&amp;Proportional;</mo> <mi>&amp;Phi;</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>-</mo> <mover> <mi>x</mi> <mo>^</mo> </mover> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> <mo>.</mo> </mrow>
9.根据权利要求1所述基于压缩感知的自适应3D视频编解码方法，其特征在于所述解码端步骤1.2-3中对非关键视点视频序列中的关键帧进行恢复，先用INTRA进行图像的初步恢复，然后将当前帧与关键视点视频序列中的关键帧进行视差估计，找到相似图像块，即先找到在参考帧中与当前图像块对应的图像块，然后在其周边确定一定的搜索范围，逐像素在水平方向搜索，最后根据残差得到能使残差最小的最佳匹配块即为相似块；并以相似块为中心确定范围得到字典Ψ，最后通过求解min||Ψx||1,s.t.y＝Φx恢复出原始图像x，其中y表示测量值，Φ为测量矩阵，||ΨX||l表示向量的l1范数。
10.根据权利要求1所述基于压缩感知的自适应3D视频编解码方法，其特征在于所述解码端步骤1.2-4中对非关键视点视频序列中的非关键帧进行恢复，是指对非关键视点视频序列中的非关键帧进行恢复，利用非关键视点视频序列中的关键帧作为参考帧，对非关键视点视频序列中的其余各帧进行恢复，过程与解码端步骤1.2-2相同。
CN201710555070.7A 2017-07-10 2017-07-10 基于压缩感知的自适应3d视频压缩编解码方法 Active CN107509074B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710555070.7A CN107509074B (zh) 2017-07-10 2017-07-10 基于压缩感知的自适应3d视频压缩编解码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710555070.7A CN107509074B (zh) 2017-07-10 2017-07-10 基于压缩感知的自适应3d视频压缩编解码方法

Publications (2)

Publication Number Publication Date
CN107509074A true CN107509074A (zh) 2017-12-22
CN107509074B CN107509074B (zh) 2021-04-09

Family

ID=60678855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710555070.7A Active CN107509074B (zh) 2017-07-10 2017-07-10 基于压缩感知的自适应3d视频压缩编解码方法

Country Status (1)

Country Link
CN (1) CN107509074B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111669589A (zh) * 2020-06-23 2020-09-15 腾讯科技（深圳）有限公司 图像编码方法、装置、计算机设备以及存储介质
CN111726598A (zh) * 2019-03-19 2020-09-29 华为技术有限公司 图像处理方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120092009A1 (en) * 2010-10-19 2012-04-19 The Board Of Trustees Of The Leland Stanford Junior University Autocalibrating parallel imaging reconstruction method from arbitrary k-space sampling with reduced noise
CN102572435A (zh) * 2012-01-16 2012-07-11 中南民族大学 基于压缩采样的视频编解码系统及其方法
US20130093957A1 (en) * 2010-06-18 2013-04-18 Richard G. Baraniuk Method and apparatus for compressive acquisition and recovery of dynamic imagery
CN103618907A (zh) * 2013-11-08 2014-03-05 天津大学 基于压缩感知多视点分布式视频编码及帧排列装置及方法
CN104333757A (zh) * 2014-10-17 2015-02-04 河海大学常州校区 基于cs测量值多描述的视频编解码方法
CN104539961A (zh) * 2014-12-12 2015-04-22 上海交通大学 基于分层结构渐进式字典学习的可分级视频编码系统
CN104822063A (zh) * 2015-04-16 2015-08-05 长沙理工大学 一种基于字典学习残差重建的压缩感知视频重建方法
CN105141940A (zh) * 2015-08-18 2015-12-09 太原科技大学 一种分区域的3d视频编码方法
US20160360141A1 (en) * 2015-06-03 2016-12-08 Mitsubishi Electric Research Laboratories, Inc. System and Method for Hybrid Wireless Video Transmission
CN106888024A (zh) * 2017-01-06 2017-06-23 南京邮电大学 一种基于双向最佳匹配的分布式视频压缩感知重构方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130093957A1 (en) * 2010-06-18 2013-04-18 Richard G. Baraniuk Method and apparatus for compressive acquisition and recovery of dynamic imagery
US20120092009A1 (en) * 2010-10-19 2012-04-19 The Board Of Trustees Of The Leland Stanford Junior University Autocalibrating parallel imaging reconstruction method from arbitrary k-space sampling with reduced noise
CN102572435A (zh) * 2012-01-16 2012-07-11 中南民族大学 基于压缩采样的视频编解码系统及其方法
CN103618907A (zh) * 2013-11-08 2014-03-05 天津大学 基于压缩感知多视点分布式视频编码及帧排列装置及方法
CN104333757A (zh) * 2014-10-17 2015-02-04 河海大学常州校区 基于cs测量值多描述的视频编解码方法
CN104539961A (zh) * 2014-12-12 2015-04-22 上海交通大学 基于分层结构渐进式字典学习的可分级视频编码系统
CN104822063A (zh) * 2015-04-16 2015-08-05 长沙理工大学 一种基于字典学习残差重建的压缩感知视频重建方法
US20160360141A1 (en) * 2015-06-03 2016-12-08 Mitsubishi Electric Research Laboratories, Inc. System and Method for Hybrid Wireless Video Transmission
CN105141940A (zh) * 2015-08-18 2015-12-09 太原科技大学 一种分区域的3d视频编码方法
CN106888024A (zh) * 2017-01-06 2017-06-23 南京邮电大学 一种基于双向最佳匹配的分布式视频压缩感知重构方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
QIANG YAO,KEITA TAKAHASHI: "Overcomplete Compressed Sensing of Ray Space for Generating Free Viewpoint Images", 《IEEE》 *
武明虎: "自适应采样率分配的分布式压缩感知视频编码", 《南京邮电大学学报》 *
王好谦，杜成立，惠征: "一种新的多视点分布式视频编码算法", 《吉林大学学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111726598A (zh) * 2019-03-19 2020-09-29 华为技术有限公司 图像处理方法和装置
CN111726598B (zh) * 2019-03-19 2022-09-16 浙江大学 图像处理方法和装置
CN111669589A (zh) * 2020-06-23 2020-09-15 腾讯科技（深圳）有限公司 图像编码方法、装置、计算机设备以及存储介质

Also Published As

Publication number Publication date
CN107509074B (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
WO2016050051A1 (zh) 图像预测方法及相关装置
CN101980537B (zh) 一种基于对象和分形的双目立体视频压缩编解码方法
KR101636539B1 (ko) 입체영상 압축 처리 방법 및 장치
CN102970529B (zh) 一种基于对象的多视点视频分形编码压缩与解压缩方法
US20200302652A1 (en) A method and apparatus for encoding/decoding a colored point cloud representing the geometry and colors of a 3d object
WO2016155070A1 (zh) 一种面向多纹理多深度视频的相邻视差矢量获取方法
CN107509074B (zh) 基于压缩感知的自适应3d视频压缩编解码方法
Yuan et al. Object shape approximation and contour adaptive depth image coding for virtual view synthesis
CN114651270A (zh) 通过时间可变形卷积进行深度环路滤波
CN115442609A (zh) 特征数据编解码方法和装置
CN108573509B (zh) 基于测量域显著检测模型的自适应压缩感知图像编码方法
Xia et al. Visual sensitivity-based low-bit-rate image compression algorithm
CN106878754A (zh) 一种3d视频深度图像帧内预测模式选择方法
CN113810692B (zh) 对变化和移动进行分帧的方法、图像处理装置及程序产品
CN102263953B (zh) 一种基于对象的快速多目立体视频分形压缩与解压缩方法
CN102263952B (zh) 一种基于对象的快速双目立体视频分形压缩与解压缩方法
Xiang et al. Auto-regressive model based error concealment scheme for stereoscopic video coding
CN104902256B (zh) 一种基于运动补偿的双目立体图像编解码方法
CN104581185B (zh) 一种应用于立体视频切换帧的自适应错误隐藏方法
Ali et al. Depth image-based spatial error concealment for 3-D video transmission
WO2016154888A1 (zh) 一种图像编码的方法及编码装置
Xie et al. Just noticeable visual redundancy forecasting: a deep multimodal-driven approach
CN105704497A (zh) 面向3d-hevc的编码单元尺寸快速选择算法
Ning et al. Video Reversible Data Hiding Based on Motion Vector
CN114554213B (zh) 一种运动自适应和关注细节的压缩视频质量增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant