CN107690070A - 基于无反馈码率控制的分布式视频压缩感知系统及方法 - Google Patents

基于无反馈码率控制的分布式视频压缩感知系统及方法 Download PDF

Info

Publication number
CN107690070A
CN107690070A CN201710727562.XA CN201710727562A CN107690070A CN 107690070 A CN107690070 A CN 107690070A CN 201710727562 A CN201710727562 A CN 201710727562A CN 107690070 A CN107690070 A CN 107690070A
Authority
CN
China
Prior art keywords
block
rate
measurement
frame
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710727562.XA
Other languages
English (en)
Other versions
CN107690070B (zh
Inventor
朱金秀
杨语晨
吴文霞
裴颖
倪建军
晋银峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MARINE AND OFFSHORE ENGINEERING INSTITUTE OF HOHAI UNIVERSITY NANTONG
Changzhou Campus of Hohai University
Original Assignee
MARINE AND OFFSHORE ENGINEERING INSTITUTE OF HOHAI UNIVERSITY NANTONG
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MARINE AND OFFSHORE ENGINEERING INSTITUTE OF HOHAI UNIVERSITY NANTONG, Changzhou Campus of Hohai University filed Critical MARINE AND OFFSHORE ENGINEERING INSTITUTE OF HOHAI UNIVERSITY NANTONG
Priority to CN201710727562.XA priority Critical patent/CN107690070B/zh
Publication of CN107690070A publication Critical patent/CN107690070A/zh
Application granted granted Critical
Publication of CN107690070B publication Critical patent/CN107690070B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明的基于无反馈码率控制的分布式视频压缩感知系统及方法，该系统由编码器、无反馈码率控制器和解码器三部分组成。编码器中的压缩感知帧向无反馈码率控制器提供块测量值残差信息；无反馈码率控制器根据块测量值残差信息和目标码率，对于首个压缩感知帧(CS帧)结合测量率—量化参数失真模型进行块码率分配，给出当前编码块的测量率和量化参数，并利用分配结果训练2×3×2结构BP神经网络，然后CS帧采用训练后的BP神经网络预测图像块CS测量率和量化参数；解码器对接收到的码流首先解码出测量率和量化参数，然后联合解码。本发明克服了现有技术中压缩感知帧编码仅对测量率进行分配的不足，使得本发明中压缩感知帧重构效果好。

Description

基于无反馈码率控制的分布式视频压缩感知系统及方法
技术领域
本发明涉及基于无反馈码率控制的分布式视频压缩感知系统及方法，属于视频编码技术领域。
背景技术
无线视频通信中，需要考虑低复杂度、高率失真性的视频编码系统。压缩感知技术在对视频信号的采集通过连续使用单像素照相机实现，在采样中完成信号的压缩，大大降低采集端存储空间和编码端算法复杂度，很适合无线环境的要求。分布式视频压缩感知是一种新颖的视频编码方案，该技术结合压缩感知和分布式视频编码的特点，将视频编码端的大量计算转移到解码端，降低了视频采集终端的能耗，提高了视频压缩效率。
分布式视频压缩感知中，如果传输过多的编码比特会造成资源浪费，降低系统的率失真性能；而如果传输的编码比特数不够，则解码器无法正确解码非关键帧，因此编码速率控制算法在一定程度上决定了分布式视频编码系统的编码效率。根据是否设立反馈信道，分布式视频压缩感知系统分为有反馈信道和无反馈信道两种结构。对于分布式视频压缩感知系统，码率估计研究比较少，现有的码率控制方法主要集中在根据视频序列中图像块时间相关性和纹理复杂度如何合理分配图像块测量值个数的研究，综合考虑量化参数来进行无反馈码率控制的文献鲜见报道。
发明内容
本发明的目的在于克服已有技术的不足，提出了基于无反馈码率控制的分布式视频压缩感知系统及方法，克服了现有技术中压缩感知帧编码仅对测量率进行分配的不足，使得本发明中压缩感知帧重构效果好。
本发明针对分布式视频压缩感知系统中影响码率的两个重要因素，即压缩感知测量率SR和量化参数QP，联合考虑量化参数和测量率不同引起的视频重构失真，提出测量率—量化参数失真模型，对视频序列首个压缩感知帧(CS帧)，根据块测量值残差能量和CS帧目标码率进行图像块CS分类和码率初步分配，然后根据测量率—量化参数失真模型计算不同测量率和量化参数情况下的预测率失真，根据块类型选择最小率失真下的测量率和量化参数进行编码，利用当前视频序列首个CS帧分配的结果建立3个数据库作为样本数据库，按块类型在线训练BP神经网络的权和阈值，对接下来的CS帧直接利用训练后的BP神经网络，根据块类型，以块初步码率和测量值残差为输入层，预测率失真最小测量率和量化参数，快速分配测量率和量化参数。
本发明的基于无反馈码率控制的分布式视频压缩感知系统，包括编码器、
无反馈码率控制器和解码器，所述无反馈码率控制器，包括：
初步块码率分配单元：根据目标码率和测量值残差能量对当前编码压缩感知帧中图像块CS进行初步码率分配，得到图像块CS量化前的测量率；
率失真模型单元：根据当前编码图像块CS量化前的测量率和块的类型，计算不同测量率和量化参数情况下的预测率失真，用于分配首个CS帧中图像块CS的率失真最小的测量率SRmin和量化参数QPmin；
BP神经网络单元：利用样本数据库中已编码图像块CS的信息，进行BP神经网络训练，其中输入层为块初步码率BR和测量域残差E，输出层为率失真最小的测量率SRmin和量化参数QPmin，训练出BP神经网络的权和阈值，根据训练后的BP神经网络，对CS帧中图像块CS预测测量率SRmin和量化参数QPmin。
上述编码器对CS帧采用基于块的联合量化参数和测量率码率分配的压缩感知编码方式。
上述解码器对CS帧的测量值重组，根据同位置关键帧图像块测量值来构造图像块CS重构测量值矢量，使两者块测量值矢量长度相等。
本发明的基于无反馈码率控制的分布式视频压缩感知方法，包括以下几个步骤：
401)将视频序列根据帧组GOP分为关键帧和压缩感知帧CS；
402)每个帧组GOP的第一帧作为关键帧进行16*16块划分，进行基于块的固定高采样率压缩测量(现有方法此处不再赘述)，得到关键帧中图像块K的测量值矢量yK，并传输到解码端；
403)对压缩感知帧进行16*16块划分，进行基于块的固定低采样率压缩预测量(现有方法此处不再赘述)，得到压缩感知帧中图像块CS的测量值矢量yCS；
404)对于视频序列中首个压缩感知帧中的第i块即CSi块，联合量化参数和测量率进行无反馈码率控制；
405)重复步骤404)，完成首个压缩感知帧所有图像块CS的测量率和量化参数分配，并把每块的分配结果，即块类型、块初步码率、残差能量、率失真最小的测量率和量化参数存入存储器，按块类型建立3个数据库作为样本数据库；
406)采用结构为2×3×2，神经元数为11个、隐含层数为3个的BP神经网络进行训练，其中，输入层为块初步码率BR和残差E，输出层为率失真最小的测量率SRmin和量化参数QPmin，利用样本数据库训练出不同块类型BP神经网络的权和阈值；
407)对于视频序列剩余的压缩感知帧，对每个图像块CS根据残差能量、块初步码率、块类型；根据块类型，利用训练后的BP神经网络，以块初步码率和残差能量为输入层，预测率失真最小的测量率SR'min和量化参数QP'min，对图像块CS进行测量率为SR'min的压缩测量，以及对测量值进行量化参数为QP'min的量化，得到基于块的测量值量化值，并传输到解码端,同时把测量率SR'min和量化参数QP'min传输到解码端；
408)对帧模式码流解码，分为关键帧和压缩感知帧，对关键帧读出块位置信息和测量值，采用基于块的投影光滑BCS-SPL算法进行整帧重构得到重构关键帧；
409)对压缩感知帧，读出图像块CS测量值的量化值、位置信息、量化参数和测量率，利用量化参数对测量值的量化值进行反量化，得到图像块CS测量值y'CS；根据同位置图像块K测量值来构造图像块CS，重构测量值矢量使长度与图像块K测量值矢量相等，即前部分由图像块CS测量值y'CS组成，其余测量值由同位置图像块K测量值组成；对基于块的投影光滑BCS-SPL算法进行整帧重构，得到重构压缩感知帧。
步骤404)中，联合量化参数和测量率进行无反馈码率控制，具体的方法如下：
501)：计算CSi块与关键帧中同位置图像块测量值域的残差能量Ei，计算如下：
其中，为CSi块的测量值矢量，为关键帧第i块中取与相同长度的测量值矢量，为l2范数；
502)：设定压缩感知帧目标码率FR，根据测量值残差Ei对当前CSi块码率进行初步分配：
其中，NB为当前编码帧的总块数，Ej为第j个图像块CS的残差能量；根据块初步分配的码率计算CSi块在不量化情况下的块测量率
其中，Na为块数据总量；
503)：根据Ei把CSi块分成三种类型：静止块BS、小变化块BM和大变化块BL；(小变化块、大变化块为本领域专业术语，此处不再赘述)
其中，T1和T2为阈值，根据块类型B_mode和由步骤502)得到的块测量率进行流程选择：对于静止块，若直接设置CSi块测量值的量化参数QPi＝1和测量率结束码率控制流程，否则转入步骤504)；对于小变化块，若直接设置CSi块测量值的量化参数QPi＝1和测量率结束码率控制流程，否则转入步骤504)；对于大变化块，直接转入步骤504)；
504)：根据步骤503)得到的块类型B_mode对CSi块测量率SRi范围进行设置：对于静止块，选择测量率SRi的范围为步长0.01；对于小变化块，选择SRi的范围为步长0.03；对于大变化块，选择SRi的范围为步长0.1；
固定SRi，根据式(5)计算出相应的比特面位数Bi，如下所示：
其中，round表示四舍五入取整，N为视频精度位数,然后根据式(6)计算出CSi块测量值的量化参数:
505)：由量化参数QPi和测量率SRi，根据测量率—量化参数失真模型即式(7)对CSi块计算出相应的失真Di：
其中，Ei表示当前图像块CS与参考帧测量值残差能量，SRi为CSi块测量率，QPi为测量值的量化参数，C1，C2和C3为常数；
506)：按步骤504)所述步长选择不同的SRi，重复步骤504)～505)得到不同的失真Di，由此建立SRi-QPi-Di关系表；
507)：从所述SRi-QPi-Di关系表中选择最小的失真从而确定出相应的测量率和量化参数同时把当前编码图像块CS的块类型、块初步码率最小失真残差能量Ei、测量率和量化参数存入存储器；
508)：根据步骤507)得到的和对当前图像块CS进行测量率为的压缩测量，并对测量值进行量化参数为的量化，得到基于块的测量值量化值，并传输到解码端,同时把测量率和量化参数传输到解码端。
步骤406)中，所述BP神经网络采用2个分量，即块码率BR和残差E作为BP神经网络的输入层，采用2个分量，即测量率SR和量化参数QP作为输出层，离线训练BP神经网络结构作为参考结构；根据训练结果,当神经模型的神经元数为11个、隐含层数为3个时，BP神经网络结构的均方根误差最小，同时训练时间也最小。
步骤408)中BCS-SPL算法(是经典的算法)，具体步骤如下：
输入参数：关键帧的第i块测量值列向量硬阈值门限参数λ，终止条件参数ε；初始化：使用最小线性均方误差准则得到第i个K块的初始重构值
其中ΦB为块测量矩阵,NB为关键帧总块数，Rxx为式(21)
其中，ρ取值为0.9～1，凭经验ρ取0.95，SB为块尺寸；同样的方法得到关键帧所有块的初始重构值
主迭代过程：
fork＝0；k++
①对于第i个K块，使用3×3滑动窗口进行维纳滤波，即然后对每一个图像块进行凸集投影，即
②同样的方法得到关键帧所有块的凸集投影并对进行稀疏变换即：
Ψ如下式所示：
其中，ΨB为图像块小波变换阵。
③对进行硬阈值收敛，
其中，λ为硬阈值门限参数，为下式：
其中，median指取中值；
④对进行稀疏反变换即：
⑤对于第i个K块，对收敛后的图像块再次进行凸集投影，即
同样的方法得到关键帧所有块的重构值
⑥判断是否满足终止条件，若满足ε为终止条件参数；
则输出重构关键帧结束重构；否则，k++转到步骤①。
步骤409)，具体步骤如下：
为了充分利用图像块之间的相关性，消除块效应，对整幅图像进行重构；不同类型块的测量值长度不同，对其采用不同的构造方法使得CS块测量值长度一致；对于静止块C1,采用前M0个测量值由当前块M0个测量值组成，其余M-M0个测量值由前一参考帧相同位置块测量值构成的测量值矢量如式(28)所示：
对于小变化块C2，采用前M1个测量值由当前块M1个测量值组成，其余M-M1个测量值由前一参考帧相同位置块测量值构成的测量值矢量如式(29)所示：
对于大变化块C3，直接由当前块M个观测值构成测量值矢量；因此，三种类型块的测量值矢量长度一致，把所有的块测量值矢量按图像块位置顺序组合在一起，构成整帧的测量值矩阵 的每一列为图像块测量值列向量化的矢量，列的个数为CS帧中图像块的个数，对进行基于块的整体BCS-SPL重构，得到CS帧的初步重构帧。
与现有技术相比，本发明具有如下优点：
1)本发明提出一种联合测量率和量化参数的分配方法，对首个压缩感知帧根据图像块CS测量值残差信息和压缩感知帧目标码率进行图像块CS码率初步分配，然后根据本发明提出的测量率—量化参数失真模型计算不同测量率和量化参数情况下的预测率失真，选择最小率失真下的测量率和量化参数进行编码，克服了现有技术中压缩感知帧编码仅对测量率进行分配的不足，使得本发明中压缩感知帧重构效果好；
2)本发明采用离线对大量视频图像块CS测量率和量化参数分配结果进行BP神经网络结构学习的结果，并结合当前视频序列首个压缩感知帧测量率和量化参数分配的结果建立3个样本数据库作为样本数据库，在线训练3个块类BP神经网络的权和阈值，对接下来的压缩感知帧直接利用训练后的BP神经网络，根据块类型，以块初步码率和测量值残差为输入层，预测率失真最小的测量率和量化参数，使得测量率和量化参数快速分配。
附图说明
图1是本发明基于无反馈码率控制的分布式视频压缩感知系统框图；
图2(a)是本发明对Mother-daughter(QCIF)序列仿真的率失真模型与实际率失真曲线的对比图(第2帧)；
图2(b)是本发明对Mother-daughter(QCIF)序列仿真的率失真模型与实际率失真曲线的对比图(第4帧)；
图2(c)是本发明对Mother-daughter(QCIF)序列仿真的率失真模型与实际率失真曲线的对比图(第6帧)；
图2(d)是本发明对Mother-daughter(QCIF)序列仿真的率失真模型与实际率失真曲线的对比图(第8帧)；
图3(a)是本发明对Mother-daughter(CIF)序列仿真的率失真模型与实际率失真曲线的对比图(第2帧)；
图3(b)是本发明对Mother-daughter(CIF)序列仿真的率失真模型与实际率失真曲线的对比图(第4帧)；
图3(c)是本发明对Mother-daughter(CIF)序列仿真的率失真模型与实际率失真曲线的对比图(第6帧)；
图3(d)是本发明对Mother-daughter(CIF)序列仿真的率失真模型与实际率失真曲线的对比图(第8帧)；
图4(a)是本发明对Foreman(QCIF)序列仿真的率失真模型与实际率失真曲线的对比图(第2帧)；
图4(b)是本发明对Foreman(QCIF)序列仿真的率失真模型与实际率失真曲线的对比图(第4帧)；
图4(c)是本发明对Foreman(QCIF)序列仿真的率失真模型与实际率失真曲线的对比图(第6帧)；
图4(d)是本发明对Foreman(QCIF)序列仿真的率失真模型与实际率失真曲线的对比图(第8帧)；
图5(a)是本发明对Foreman(CIF)序列仿真的率失真模型与实际率失真曲线的对比图(第2帧)；
图5(b)是本发明对Foreman(CIF)序列仿真的率失真模型与实际率失真曲线的对比图(第4帧)；
图5(c)是本发明对Foreman(CIF)序列仿真的率失真模型与实际率失真曲线的对比图(第6帧)；
图5(d)是本发明对Foreman(CIF)序列仿真的率失真模型与实际率失真曲线的对比图(第8帧)；
图6(a)是本发明对Football(QCIF)序列仿真的率失真模型与实际率失真曲线的对比图(第2帧)；
图6(b)是本发明对Football(QCIF)序列仿真的率失真模型与实际率失真曲线的对比图(第4帧)；
图6(c)是本发明对Football(QCIF)序列仿真的率失真模型与实际率失真曲线的对比图(第6帧)；
图6(d)是本发明对Football(QCIF)序列仿真的率失真模型与实际率失真曲线的对比图(第8帧)；
图7(a)是本发明对Football(CIF)序列仿真的率失真模型与实际率失真曲线的对比图(第2帧)；
图7(b)是本发明对Football(CIF)序列仿真的率失真模型与实际率失真曲线的对比图(第4帧)；
图7(c)是本发明对Football(CIF)序列仿真的率失真模型与实际率失真曲线的对比图(第6帧)；
图7(d)是本发明对Football(CIF)序列仿真的率失真模型与实际率失真曲线的对比图(第8帧)；
图8(a)是本发明的BP神经网络隐层神经元数目选择图(Mother-daughter序列)；
图8(b)是本发明的BP神经网络隐层神经元数目选择图(Foreman序列)；
图8(c)是本发明的BP神经网络隐层神经元数目选择图(Football序列)；
图9是本发明与传统的分布式视频编码对Forman标准视频序列第二帧结果的比较图。
具体实施方式
本发明主要特征在于分布式视频压缩感知系统中联合量化参数和测量率进行无反馈码率控制。该系统由编码器、无反馈码率控制器和解码器三部分组成。编码器中的压缩感知帧向无反馈码率控制器提供块测量值残差信息；无反馈码率控制器根据块测量值残差信息和目标码率，对于首个压缩感知帧(CS帧)结合测量率—量化参数失真模型进行块码率分配，给出当前编码块的测量率和量化参数，并利用分配结果训练2×3×2结构BP神经网络，接下来CS帧采用训练后的BP神经网络预测图像块CS测量率和量化参数；解码器对接收到的码流首先解码出测量率和量化参数，然后联合解码。本发明联合量化参数和测量率进行无反馈码率控制，具有图像重构质量高，延时低的特点。
参照图1，本发明提出一种分布式视频压缩感知中联合量化参数和测量率码率分配系统，由编码器、无反馈码率分配器和解码器三部分组成。其中：
编码器将视频序列根据帧组(GOP)分为关键帧和压缩感知帧(简称CS帧)，并分别对关键帧和CS帧进行固定块码率和变块码率压缩感知编码；无反馈码率分配器根据目标帧码率，利用测量率—量化参数失真模型和BP神经网络对CS块进行量化参数和测量率分配；解码器对关键帧采用基于块的投影光滑Landweber(BCS-SPL)算法进行整帧重构解码；对CS帧，在测量域结合关键帧测量值采用基于块的投影光滑Landweber(BCS-SPL)算法进行整帧重构解码。
由于压缩感知系统中视频帧的像素值未知，CS块与图像块的相关性由测量域残差能量E衡量，如式(1)所示：
其中yCS为CS块的测量值矢量，yK为与CS块同位置的图像块取与yCS相同长度的测量值矢量，为l2范数。
本专利提出测量率—量化参数失真模型如式(7)所示：
其中E为块测量值残差能量，SR为CS块测量率，QP为测量值的量化参数，C1，C2和C3为常数，通过对大量视频数据训练得出C1＝0.7506,C2＝-0.0044,C3＝0.3322；式(9)第一项是由量化引起的失真，第二项是由压缩感知重构引起的失真。
进一步，量化参数QP和比特面位数B的关系为：
QP＝2N-B (6)
其中N为视频精度位数。例如精度视频为8，则N＝8。视频编码的码率R与图像块测量率SR和比特面位数B的关系为：
R＝SR·Na·B/N (11)
其中Na为数据总量，例如16*16块8位精度的图像，Na＝16×16×8。
参照图2(a)～2(d)，本发明中联合测量率和量化参数码率控制的压缩感知编码步骤如下：
(1)每个GOP的第一帧作为关键帧进行16*16块划分，进行基于块的固定高采样率(设为0.8)压缩测量yK＝ΦBxk，其中ΦB为块测量矩阵(采用随机置乱矩阵)，得到关键帧中图像块(简称K块)的测量值矢量yK，并传输到解码端；
(2)对CS帧进行16*16块划分，进行基于块的固定低采样率压缩预测量，得到CS帧中图像块(简称CS块)的测量值矢量yCS；
(3)对于视频序列中首个CS帧中的第i块(CSi块)，联合量化参数和测量率进行无反馈码率控制。步骤如下：
301)：计算CSi块与关键帧中同位置图像块K测量值残差能量，CSi块残差能量Ei的计算如下：
其中为CSi块的测量值矢量，为关键帧第i块中取与相同长度的测量值矢量，为l2范数。
302)：给定CS帧目标码率FR，根据测量值残差Ei对当前块码率进行初步分配
其中NB为当前编码帧的总块数，Ej为第j个CS块的残差能量。根据块码率计算CSi块在不量化情况下的块测量率
其中Na为块数据总量。
303)：根据Ei把CSi块分成三种类型：静止块BS、小变化块BM和大变化块BL；
其中T1和T2为阈值，根据实验测试选取。根据块类型B_mode和由步骤302)得到的不量化块测量率进行流程选择：对于静止块，若直接设置CSi块测量值的量化参数QPi＝1和测量率结束码率控制流程，否则转入步骤304)；对于小变化块，若直接设置CSi块测量值的量化参数QPi＝1和测量率结束码率控制流程，否则转入步骤304)；对于大变化块，直接转入步骤304)。
304)：根据步骤303)得到的块类型B_mode根据式(16)对CSi块测量率SRi范围进行设置：对于静止块，选择SRi的范围为步长0.01；对于小变化块，选择SRi的范围为步长0.03；对于大变化块，选择SRi的范围为步长0.1。
首先固定SRi，根据式(17)计算出相应的比特面位数Bi，如下所示：
其中round指四舍五入取整，然后根据式(18)计算出CSi块测量值的量化参数：
其中N为视频精度位数。例如8位精度视频，则N＝8。
305)：由QPi和SRi根据式(19)对CSi块计算出相应的失真Di：
其中Ei表示CSi块测量值残差能量，SRi为CSi块测量率，QPi为测量值的量化参数，C1，C2和C3为和式(9)相同的常数。
306)：按步骤304)所述步长选择不同的SRi，重复步骤304)～305)得到不同的Di，由此建立SRi-QPi-Di关系表。
307)：从SRi-QPi-Di关系表中选择最小的失真从而确定出相应的和同时把当前编码CS块的块类型、块初步码率最小失真残差能量Ei、测量率和量化参数存入存储器。
308)：根据步骤307)得到的和对当前CS块进行测量率为的压缩测量，并对测量值进行量化参数为进行量化，得到基于块的测量值量化值，并传输到解码端,同时把和传输到解码端。
(4)重复(3)中步骤301)到步骤308)，完成首个CS帧所有CS块的量化参数和测量率分配，并把每块的分配结果，即块类型、块初步码率、残差能量、率失真最小的测量率和量化参数存入存储器，按块类型建立3个数据库作为样本数据库。
(5)采用结构为2×3×2，神经元数为11个、隐含层数为3个的BP神经网络进行训练，其中输入层为块初步码率BR和残差E，输出层为率失真最小的SRmin和QPmin，利用样本数据库训练出不同块类型BP神经网络的权和阈值。
(6)对于视频序列接下来的CS帧，对每个CS块根据式(12)计算测量值残差能量、根据式(13)计算块初步码率，根据式(15)计算块类型。根据块类型，利用训练后的BP神经网络，以块初步码率和残差为输入层，预测率失真最小的SR'min和QP'min，并对CS块进行测量率为SR'min的压缩测量，并对测量值进行量化参数为QP'min进行量化，得到基于块的测量值量化值，并传输到解码端,同时把SR'min和QP'min传输到解码端。
2、解码端，主要包括以下步骤：
(1)对帧模式码流解码，分为关键帧和CS帧，对关键帧读出块位置信息和测量值，采用基于块的投影光滑Landweber(BCS-SPL)算法进行整帧重构得到重构关键帧。步骤如下：
101)硬阈值门限参数λ，终止条件参数ε；
输入参数：关键帧的第i块测量值列向量
初始化：使用最小线性均方误差准则(MMSE)得到第i个K块的初始重构值
其中ΦB为块测量矩阵,NB为关键帧总块数，Rxx为式(21)
其中，ρ取值为0.9～1，凭经验ρ取0.95，SB为块尺寸，取16。
主迭代过程：
fork＝1；k++
①使用3×3滑动窗口进行维纳滤波，即然后对每一个图像块进行凸集投影，即
②对进行稀疏变换即：
Ψ如下式所示：
其中ΨB为图像块小波变换阵。
③进行硬阈值收敛
④对进行稀疏变换即：
⑤对收敛后的图像块再次进行凸集投影，即
⑥判断是否满足终止条件，若不满足|D(k+1)-D(k)|<ε，则转到步骤①，否则输出重构关键帧
(2)对CS帧，读出CS块的测量值量化值、位置信息、量化参数和测量率，利用量化参数对测量值量化值进行反量化，得到CS块测量值y'CS。为了充分利用图像块之间的相关性，消除块效应，需要对整幅图像进行重构。而不同类型块的测量值长度不同，需要对其采用不同的构造方法使得CS块测量值长度一致。对于静止块(标记为C1),采用前M0个测量值由当前块M0个测量值组成，其余M-M0个测量值由前一参考帧相同位置块测量值构成的测量值矢量如式(28)所示：
对于小变化块(标记为C2)，采用前M1个测量值由当前块M1个测量值组成，其余M-M1个测量值由前一参考帧相同位置块测量值构成的测量值矢量如式(29)所示：
对于大变化块(标记为C3)，直接由当前块M个观测值构成测量值矢量。因此，三种类型块的测量值矢量长度一致，把所有的块测量值矢量按图像块位置顺序组合在一起，就构成整帧的测量值矩阵 的每一列为图像块测量值列向量化的矢量，列的个数为CS帧中图像块的个数，对进行基于块的整体BCS-SPL重构(算法与K帧相同)，得到CS帧的初步重构帧。
参照图2(a)-7(d)，本发明对提出的测量率—量化参数失真模型，采用三种不同的序列Mother-daughter，Foreman，Football的前4帧，以CIF和QCIF格式进行了测试。实验结果表明变化缓慢的序列模型拟合程度更高，并且同一视频序列，CIF比QCIF格式拟合程度好。
参照图8(a)～8(c)，本专利采用2个分量，即块码率BR和残差E作为BP神经网络的输入层，采用2个分量，即SR和QP作为输出层，离线训练BP神经网络结构作为参考结构。根据训练结果,当神经模型的神经元数为11个、隐含层数为3个时，BP神经网络结构的均方根误差最小，同时训练时间也最小，因此采用BP神经网络结构为2×3×2。
参照图9，其中最左面图是Foreman原图，中间图是采用传统分布式视频框架的结果图，其中QP＝1，SR＝0.2，最终编码端传输611712比特，恢复图像信噪比为34.3779dB，最右面的图是本发明处理的结果图，平均QP＝4，SR＝0.275，最终编码端传输607888bits，信噪比为35.2008dB。实验结果表明本发明提出的方法能够在降低传输码率的同时提高图像的信噪比，即该发明有效的控制编码码率，且与传统的分布式视频框架相比，率失真性能有很大的提高。
表1是本发明在不同目标码率下，对三种标准视频序列进行编码的实际码率与目标码率的比较。从表中可以看出，两者值非常接近，表明本发明联合量化参数和测量率码率分配方法能有效的控制编码码率，满足目标码率需求。
表1
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.基于无反馈码率控制的分布式视频压缩感知系统，包括编码器、无反馈码率控制器和解码器，其特征在于，所述无反馈码率控制器，包括：
初步块码率分配单元：根据目标码率和测量值残差能量对当前编码压缩感知帧中图像块CS进行初步码率分配，得到图像块CS量化前的测量率；
率失真模型单元：根据当前编码图像块CS量化前的测量率和块的类型，计算不同测量率和量化参数情况下的预测率失真，用于分配首个CS帧中图像块CS的率失真最小的测量率SRmin和量化参数QPmin；
BP神经网络单元：利用样本数据库中已编码图像块CS的信息，进行BP神经网络训练，其中输入层为块初步码率BR和测量域残差E，输出层为率失真最小的测量率SRmin和量化参数QPmin，训练出BP神经网络的权和阈值，根据训练后的BP神经网络，对CS帧中图像块CS预测测量率SRmin和量化参数QPmin。
2.根据权利要求1所述的基于无反馈码率控制的分布式视频压缩感知系统，所述编码器对CS帧采用基于块的联合量化参数和测量率码率分配的压缩感知编码方式。
3.根据权利要求1所述的基于无反馈码率控制的分布式视频压缩感知系统，所述解码器对CS帧的测量值重组，根据同位置关键帧图像块测量值来构造图像块CS重构测量值矢量，使两者块测量值矢量长度相等。
4.基于无反馈码率控制的分布式视频压缩感知方法，其特征在于，包括以下几个步骤：
401)将视频序列根据帧组GOP分为关键帧和压缩感知帧CS；
402)每个帧组GOP的第一帧作为关键帧进行16*16块划分，进行基于块的固定高采样率压缩测量，得到关键帧中图像块K的测量值矢量yK，并传输到解码端；
403)对压缩感知帧进行16*16块划分，进行基于块的固定低采样率压缩预测量，得到压缩感知帧中图像块CS的测量值矢量yCS；
404)对于视频序列中首个压缩感知帧中的第i块即CSi块，联合量化参数和测量率进行无反馈码率控制；
405)重复步骤404)，完成首个压缩感知帧所有图像块CS的测量率和量化参数分配，并把每块的分配结果，即块类型、块初步码率、残差能量、率失真最小的测量率和量化参数存入存储器，按块类型建立3个数据库作为样本数据库；
406)采用结构为2×3×2，神经元数为11个、隐含层数为3个的BP神经网络进行训练，其中，输入层为块初步码率BR和残差E，输出层为率失真最小的测量率SRmin和量化参数QPmin，利用样本数据库训练出不同块类型BP神经网络的权和阈值；
407)对于视频序列剩余的压缩感知帧，对每个图像块CS根据残差能量、块初步码率、块类型；根据块类型，利用训练后的BP神经网络，以块初步码率和残差能量为输入层，预测率失真最小的测量率SR'min和量化参数QP′min，对图像块CS进行测量率为SR'min的压缩测量，以及对测量值进行量化参数为QP′min的量化，得到基于块的测量值量化值，并传输到解码端,同时把测量率SR'min和量化参数QP′min传输到解码端；
408)对帧模式码流解码，分为关键帧和压缩感知帧，对关键帧读出块位置信息和测量值，采用基于块的投影光滑BCS-SPL算法进行整帧重构得到重构关键帧；
409)对压缩感知帧，读出图像块CS测量值的量化值、位置信息、量化参数和测量率，利用量化参数对测量值的量化值进行反量化，得到图像块CS测量值y'CS；根据同位置图像块K测量值来构造图像块CS，重构测量值矢量使长度与图像块K测量值矢量相等，即前部分由图像块CS测量值y'CS组成，其余测量值由同位置图像块K测量值组成；对基于块的投影光滑BCS-SPL算法进行整帧重构，得到重构压缩感知帧。
5.根据权利要求4所述的基于无反馈码率控制的分布式视频压缩感知方法，其特征在于，步骤404)中，联合量化参数和测量率进行无反馈码率控制，具体的方法如下：
501)：计算CSi块与关键帧中同位置图像块测量值域的残差能量Ei，计算如下：
<mrow> <msup> <mi>E</mi> <mi>i</mi> </msup> <mo>=</mo> <mo>|</mo> <mo>|</mo> <msubsup> <mi>y</mi> <mrow> <mi>C</mi> <mi>S</mi> </mrow> <mi>i</mi> </msubsup> <mo>-</mo> <msubsup> <mi>y</mi> <mi>K</mi> <mi>i</mi> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
其中，为CSi块的测量值矢量，为关键帧第i块中取与相同长度的测量值矢量，为l2范数；
502)：设定压缩感知帧目标码率FR，根据测量值残差Ei对当前CSi块码率进行初步分配：
<mrow> <msubsup> <mi>B</mi> <mi>R</mi> <mi>i</mi> </msubsup> <mo>=</mo> <msub> <mi>F</mi> <mi>R</mi> </msub> <mfrac> <msup> <mi>E</mi> <mi>i</mi> </msup> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>N</mi> <mi>B</mi> </msub> </munderover> <msup> <mi>E</mi> <mi>j</mi> </msup> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
其中，NB为当前编码帧的总块数，Ej为第j个图像块CS的残差能量；根据块初步分配的码率计算CSi块在不量化情况下的块测量率
<mrow> <msubsup> <mi>SR</mi> <mrow> <mi>n</mi> <mi>q</mi> </mrow> <mi>i</mi> </msubsup> <mo>=</mo> <mfrac> <msubsup> <mi>B</mi> <mi>R</mi> <mi>i</mi> </msubsup> <msub> <mi>N</mi> <mi>a</mi> </msub> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
其中，Na为块数据总量；
503)：根据Ei把CSi块分成三种类型：静止块BS、小变化块BM和大变化块BL；
<mrow> <mi>B</mi> <mo>_</mo> <mi>mod</mi> <mi> </mi> <mi>e</mi> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <msub> <mi>B</mi> <mi>S</mi> </msub> </mtd> <mtd> <mrow> <msup> <mi>E</mi> <mi>i</mi> </msup> <mo>&amp;le;</mo> <msub> <mi>T</mi> <mn>1</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <msub> <mi>B</mi> <mi>M</mi> </msub> </mtd> <mtd> <mrow> <msub> <mi>T</mi> <mn>1</mn> </msub> <mo>&lt;</mo> <msup> <mi>E</mi> <mi>i</mi> </msup> <mo>&lt;</mo> <msub> <mi>T</mi> <mn>2</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <msub> <mi>B</mi> <mi>L</mi> </msub> </mtd> <mtd> <mrow> <msup> <mi>E</mi> <mi>i</mi> </msup> <mo>&amp;GreaterEqual;</mo> <msub> <mi>T</mi> <mn>2</mn> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
其中，T1和T2为阈值，根据块类型B_mode和由步骤502)得到的块测量率进行流程选择：对于静止块，若直接设置CSi块测量值的量化参数QPi＝1和测量率结束码率控制流程，否则转入步骤504)；对于小变化块，若直接设置CSi块测量值的量化参数QPi＝1和测量率结束码率控制流程，否则转入步骤504)；对于大变化块，直接转入步骤504)；
504)：根据步骤503)得到的块类型B_mode对CSi块测量率SRi范围进行设置：对于静止块，选择测量率SRi的范围为步长0.01；对于小变化块，选择SRi的范围为步长0.03；对于大变化块，选择SRi的范围为步长0.1；
固定SRi，根据式(5)计算出相应的比特面位数Bi，如下所示：
<mrow> <msup> <mi>B</mi> <mi>i</mi> </msup> <mo>=</mo> <mi>r</mi> <mi>o</mi> <mi>u</mi> <mi>n</mi> <mi>d</mi> <mrow> <mo>(</mo> <mfrac> <msubsup> <mi>B</mi> <mi>R</mi> <mi>i</mi> </msubsup> <mrow> <msup> <mi>SR</mi> <mi>i</mi> </msup> <mo>&amp;CenterDot;</mo> <mi>N</mi> </mrow> </mfrac> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
其中，round表示四舍五入取整，N为视频精度位数,然后根据式(6)计算出CSi块测量值的量化参数:
<mrow> <msup> <mi>QP</mi> <mi>i</mi> </msup> <mo>=</mo> <msup> <mn>2</mn> <mrow> <mi>N</mi> <mo>-</mo> <msup> <mi>B</mi> <mi>i</mi> </msup> </mrow> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
505)：由量化参数QPi和测量率SRi，根据测量率—量化参数失真模型即式(7)对CSi块计算出相应的失真Di：
<mrow> <msup> <mi>D</mi> <mi>i</mi> </msup> <mo>=</mo> <msub> <mi>C</mi> <mn>1</mn> </msub> <mo>&amp;CenterDot;</mo> <msqrt> <mrow> <msup> <mi>SR</mi> <mi>i</mi> </msup> </mrow> </msqrt> <mo>&amp;CenterDot;</mo> <msup> <mi>QP</mi> <mi>i</mi> </msup> <mo>+</mo> <msup> <mi>E</mi> <mi>i</mi> </msup> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msub> <mi>C</mi> <mn>2</mn> </msub> <mo>.</mo> <msup> <mi>SR</mi> <mi>i</mi> </msup> <mo>+</mo> <msub> <mi>C</mi> <mn>3</mn> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>
其中，Ei表示当前图像块CS与参考帧测量值残差能量，SRi为CSi块测量率，QPi为测量值的量化参数，C1，C2和C3为常数；
506)：按步骤504)所述步长选择不同的SRi，重复步骤504)～505)得到不同的失真Di，由此建立SRi-QPi-Di关系表；
507)：从所述SRi-QPi-Di关系表中选择最小的失真从而确定出相应的测量率和量化参数同时把当前编码图像块CS的块类型、块初步码率最小失真残差能量Ei、测量率和量化参数存入存储器；
508)：根据步骤507)得到的和对当前图像块CS进行测量率为的压缩测量，并对测量值进行量化参数为的量化，得到基于块的测量值量化值，并传输到解码端,同时把测量率和量化参数传输到解码端。
6.根据权利要求4所述的基于无反馈码率控制的分布式视频压缩感知方法，其特征在于，步骤406)中，所述BP神经网络采用2个分量，即块码率BR和残差E作为BP神经网络的输入层，采用2个分量，即测量率SR和量化参数QP作为输出层，离线训练BP神经网络结构作为参考结构；根据训练结果,当神经模型的神经元数为11个、隐含层数为3个时，BP神经网络结构的均方根误差最小，同时训练时间也最小。
7.根据权利要求4所述的基于无反馈码率控制的分布式视频压缩感知方法，其特征在于，步骤408)中BCS-SPL算法，具体步骤如下：
输入参数：关键帧的第i块测量值列向量硬阈值门限参数λ，终止条件参数ε；初始化：使用最小线性均方误差准则得到第i个K块的初始重构值
其中ΦB为块测量矩阵,NB为关键帧总块数，Rxx为式(21)
其中，ρ取值为0.9～1，凭经验ρ取0.95，SB为块尺寸；同样的方法得到关键帧所有块的初始重构值
主迭代过程：
for k＝0；k++
①对于第i个K块，使用3×3滑动窗口进行维纳滤波，即然后对每一个图像块进行凸集投影，即
②同样的方法得到关键帧所有块的凸集投影并对进行稀疏变换即：
<mrow> <msubsup> <mover> <mi>y</mi> <mo>&amp;OverBar;</mo> </mover> <mi>K</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </msubsup> <mo>=</mo> <mi>&amp;Psi;</mi> <msubsup> <mover> <mi>x</mi> <mo>&amp;OverBar;</mo> </mover> <mi>K</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>23</mn> <mo>)</mo> </mrow> </mrow>
Ψ如下式所示：
其中，ΨB为图像块小波变换阵；
③对进行硬阈值收敛，
<mrow> <msubsup> <mover> <mi>y</mi> <mo>~</mo> </mover> <mi>K</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </msubsup> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <msubsup> <mover> <mi>y</mi> <mo>&amp;OverBar;</mo> </mover> <mi>K</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </msubsup> </mtd> <mtd> <mrow> <mo>|</mo> <msubsup> <mover> <mi>y</mi> <mo>&amp;OverBar;</mo> </mover> <mi>K</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <mo>&gt;</mo> <msubsup> <mi>&amp;lambda;&amp;sigma;</mi> <mi>K</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </msubsup> <msqrt> <mrow> <mn>2</mn> <mi>log</mi> <mi> </mi> <msub> <mi>N</mi> <mi>B</mi> </msub> </mrow> </msqrt> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mo>|</mo> <msubsup> <mover> <mi>y</mi> <mo>&amp;OverBar;</mo> </mover> <mi>K</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <mo>&amp;le;</mo> <msubsup> <mi>&amp;lambda;&amp;sigma;</mi> <mi>K</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </msubsup> <msqrt> <mrow> <mn>2</mn> <mi>log</mi> <mi> </mi> <msub> <mi>N</mi> <mi>B</mi> </msub> </mrow> </msqrt> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>24</mn> <mo>)</mo> </mrow> </mrow>
其中，λ为硬阈值门限参数，为下式：
<mrow> <msubsup> <mi>&amp;sigma;</mi> <mi>K</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </msubsup> <mo>=</mo> <mfrac> <mrow> <mi>m</mi> <mi>e</mi> <mi>d</mi> <mi>i</mi> <mi>a</mi> <mi>n</mi> <mrow> <mo>(</mo> <mo>|</mo> <msubsup> <mover> <mi>y</mi> <mo>&amp;OverBar;</mo> </mover> <mi>K</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <mo>)</mo> </mrow> </mrow> <mn>0.6745</mn> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>25</mn> <mo>)</mo> </mrow> </mrow>
其中，median指取中值；
④对进行稀疏反变换即：
<mrow> <msubsup> <mover> <mi>x</mi> <mo>^</mo> </mover> <mi>K</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </msubsup> <mo>=</mo> <msup> <mi>&amp;Psi;</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <msubsup> <mover> <mi>y</mi> <mo>~</mo> </mover> <mi>K</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>26</mn> <mo>)</mo> </mrow> </mrow>
⑤对于第i个K块，对收敛后的图像块再次进行凸集投影，即
同样的方法得到关键帧所有块的重构值
⑥判断是否满足终止条件，若满足ε为终止条件参数；
则输出重构关键帧结束重构；否则，k++转到步骤①。
8.根据权利要求4所述的基于无反馈码率控制的分布式视频压缩感知方法，其特征在于，步骤409)，具体步骤如下：
为了充分利用图像块之间的相关性，消除块效应，对整幅图像进行重构；不同类型块的测量值长度不同，对其采用不同的构造方法使得CS块测量值长度一致；对于静止块C1,采用前M0个测量值由当前块M0个测量值组成，其余M-M0个测量值由前一参考帧相同位置块测量值构成的测量值矢量如式(28)所示：
<mrow> <msubsup> <mi>y</mi> <mrow> <mi>C</mi> <mi>S</mi> </mrow> <mrow> <mi>C</mi> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <mo>&amp;lsqb;</mo> <msubsup> <mi>y</mi> <mrow> <mi>c</mi> <mi>s</mi> <mrow> <mo>(</mo> <msub> <mi>M</mi> <mn>0</mn> </msub> <mo>,</mo> <mi>t</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&amp;prime;</mo> <mrow> <mo>(</mo> <mi>C</mi> <mn>1</mn> <mo>)</mo> </mrow> </mrow> </msubsup> <mo>;</mo> <msubsup> <mi>y</mi> <mrow> <mi>c</mi> <mi>s</mi> <mrow> <mo>(</mo> <mi>M</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&amp;prime;</mo> <mrow> <mo>(</mo> <mi>C</mi> <mn>1</mn> <mo>)</mo> </mrow> </mrow> </msubsup> <mrow> <mo>(</mo> <msub> <mi>M</mi> <mn>0</mn> </msub> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>;</mo> <mo>...</mo> <msubsup> <mi>y</mi> <mrow> <mi>c</mi> <mi>s</mi> <mrow> <mo>(</mo> <mi>M</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&amp;prime;</mo> <mrow> <mo>(</mo> <mi>C</mi> <mn>1</mn> <mo>)</mo> </mrow> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>M</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>28</mn> <mo>)</mo> </mrow> </mrow>
对于小变化块C2，采用前M1个测量值由当前块M1个测量值组成，其余M-M1个测量值由前一参考帧相同位置块测量值构成的测量值矢量如式(29)所示：
<mrow> <msubsup> <mi>y</mi> <mrow> <mi>C</mi> <mi>S</mi> </mrow> <mrow> <mi>C</mi> <mn>2</mn> </mrow> </msubsup> <mo>=</mo> <mo>&amp;lsqb;</mo> <msubsup> <mi>y</mi> <mrow> <mi>c</mi> <mi>s</mi> <mrow> <mo>(</mo> <msub> <mi>M</mi> <mn>1</mn> </msub> <mo>,</mo> <mi>t</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&amp;prime;</mo> <mrow> <mo>(</mo> <mi>C</mi> <mn>2</mn> <mo>)</mo> </mrow> </mrow> </msubsup> <mo>;</mo> <msubsup> <mi>y</mi> <mrow> <mi>c</mi> <mi>s</mi> <mrow> <mo>(</mo> <mi>M</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&amp;prime;</mo> <mrow> <mo>(</mo> <mi>C</mi> <mn>2</mn> <mo>)</mo> </mrow> </mrow> </msubsup> <mrow> <mo>(</mo> <msub> <mi>M</mi> <mn>1</mn> </msub> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>;</mo> <mo>...</mo> <msubsup> <mi>y</mi> <mrow> <mi>c</mi> <mi>s</mi> <mrow> <mo>(</mo> <mi>M</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&amp;prime;</mo> <mrow> <mo>(</mo> <mi>C</mi> <mn>2</mn> <mo>)</mo> </mrow> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>M</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>29</mn> <mo>)</mo> </mrow> </mrow>
对于大变化块C3，直接由当前块M个观测值构成测量值矢量；因此，三种类型块的测量值矢量长度一致，把所有的块测量值矢量按图像块位置顺序组合在一起，构成整帧的测量值矩阵 的每一列为图像块测量值列向量化的矢量，列的个数为CS帧中图像块的个数，对进行基于块的整体BCS-SPL重构，得到CS帧的初步重构帧。
CN201710727562.XA 2017-08-23 2017-08-23 基于无反馈码率控制的分布式视频压缩感知系统及方法 Expired - Fee Related CN107690070B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710727562.XA CN107690070B (zh) 2017-08-23 2017-08-23 基于无反馈码率控制的分布式视频压缩感知系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710727562.XA CN107690070B (zh) 2017-08-23 2017-08-23 基于无反馈码率控制的分布式视频压缩感知系统及方法

Publications (2)

Publication Number Publication Date
CN107690070A true CN107690070A (zh) 2018-02-13
CN107690070B CN107690070B (zh) 2019-11-26

Family

ID=61152512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710727562.XA Expired - Fee Related CN107690070B (zh) 2017-08-23 2017-08-23 基于无反馈码率控制的分布式视频压缩感知系统及方法

Country Status (1)

Country Link
CN (1) CN107690070B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108347608A (zh) * 2018-03-07 2018-07-31 中国科学技术大学 一种基于压缩感知的无线图像传输方法
CN109325985A (zh) * 2018-09-18 2019-02-12 上海联影智能医疗科技有限公司 磁共振图像重建方法、装置和计算机可读存储介质
CN110087078A (zh) * 2019-05-10 2019-08-02 东华大学 一种面向图像组分块压缩感知的测量端观测效能调控方法
CN110248191A (zh) * 2019-07-15 2019-09-17 山东浪潮人工智能研究院有限公司 一种基于深层卷积神经网络的视频压缩方法
CN111669591A (zh) * 2020-05-09 2020-09-15 东华大学 面向压缩感知视频流的帧组采样率分配系统
CN111757107A (zh) * 2020-06-29 2020-10-09 北京百度网讯科技有限公司 一种视频编码方法、装置、设备及介质
CN111901597A (zh) * 2020-08-05 2020-11-06 杭州当虹科技股份有限公司 一种基于视频复杂度的cu级qp分配算法
CN113132732A (zh) * 2019-12-31 2021-07-16 北京大学 一种人机协同的视频编码方法及视频编码系统
CN113132727A (zh) * 2019-12-30 2021-07-16 北京大学 一种基于图像生成的可伸缩机器视觉编码方法
CN113767400A (zh) * 2019-03-21 2021-12-07 谷歌有限责任公司 使用率失真成本作为深度学习的损失函数
CN115136520A (zh) * 2020-02-24 2022-09-30 高通股份有限公司 使用编码器神经网络的经压缩的测量反馈
US11776171B2 (en) 2018-09-18 2023-10-03 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for magnetic resonance image reconstruction

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186077A (zh) * 2011-05-04 2011-09-14 西安电子科技大学 基于Wyner-Ziv视频编码的Wyner-Ziv帧码率控制系统和方法
CN104244009A (zh) * 2014-08-26 2014-12-24 南京邮电大学 一种分布式视频编码中码率控制方法
CN104301729A (zh) * 2014-09-07 2015-01-21 南京邮电大学 一种无反馈分布式视频编码的码率控制方法
CN105306936A (zh) * 2015-07-17 2016-02-03 福州大学 一种基于块压缩感知的图像编码方法
CN106559670A (zh) * 2016-11-07 2017-04-05 湖南源信光电科技有限公司 一种改进的分块视频压缩感知算法
CN106941609A (zh) * 2017-02-15 2017-07-11 浙江工业大学 基于自适应分块压缩感知的视频压缩方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186077A (zh) * 2011-05-04 2011-09-14 西安电子科技大学 基于Wyner-Ziv视频编码的Wyner-Ziv帧码率控制系统和方法
CN104244009A (zh) * 2014-08-26 2014-12-24 南京邮电大学 一种分布式视频编码中码率控制方法
CN104301729A (zh) * 2014-09-07 2015-01-21 南京邮电大学 一种无反馈分布式视频编码的码率控制方法
CN105306936A (zh) * 2015-07-17 2016-02-03 福州大学 一种基于块压缩感知的图像编码方法
CN106559670A (zh) * 2016-11-07 2017-04-05 湖南源信光电科技有限公司 一种改进的分块视频压缩感知算法
CN106941609A (zh) * 2017-02-15 2017-07-11 浙江工业大学 基于自适应分块压缩感知的视频压缩方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JINXIU ZHU等: "《Block-based Adaptive Compressed Sensing with feedback for DCVS》", 《2014 9TH INTERNATIONAL CONFERENCE ON COMMUNICATIONS AND NETWORKING IN CHINA(CHINACOM)》 *
刘海啸: "《基于压缩感知的视频重构方法研究》", 《中国博士学位论文全文数据库（电子期刊）》 *
孟雨等: "《基于时空相关性的分布式压缩感知多假设预测重构算法》", 《计算机应用研究》 *
李然: "《图像与视频压缩感知研究》", 《中国博士学位论文全文数据库（电子期刊）》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108347608A (zh) * 2018-03-07 2018-07-31 中国科学技术大学 一种基于压缩感知的无线图像传输方法
CN108347608B (zh) * 2018-03-07 2020-12-25 中国科学技术大学 一种基于压缩感知的无线图像传输方法
CN109325985A (zh) * 2018-09-18 2019-02-12 上海联影智能医疗科技有限公司 磁共振图像重建方法、装置和计算机可读存储介质
US11776171B2 (en) 2018-09-18 2023-10-03 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for magnetic resonance image reconstruction
US10902651B2 (en) 2018-09-18 2021-01-26 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for magnetic resonance image reconstruction
CN113767400A (zh) * 2019-03-21 2021-12-07 谷歌有限责任公司 使用率失真成本作为深度学习的损失函数
CN110087078A (zh) * 2019-05-10 2019-08-02 东华大学 一种面向图像组分块压缩感知的测量端观测效能调控方法
CN110087078B (zh) * 2019-05-10 2023-06-02 东华大学 一种面向图像组分块压缩感知的测量端观测效能调控方法
CN110248191A (zh) * 2019-07-15 2019-09-17 山东浪潮人工智能研究院有限公司 一种基于深层卷积神经网络的视频压缩方法
CN113132727B (zh) * 2019-12-30 2022-07-22 北京大学 可伸缩机器视觉编码方法和运动引导图像生成网络的训练方法
CN113132727A (zh) * 2019-12-30 2021-07-16 北京大学 一种基于图像生成的可伸缩机器视觉编码方法
CN113132732A (zh) * 2019-12-31 2021-07-16 北京大学 一种人机协同的视频编码方法及视频编码系统
CN113132732B (zh) * 2019-12-31 2022-07-29 北京大学 一种人机协同的视频编码方法及视频编码系统
CN115136520A (zh) * 2020-02-24 2022-09-30 高通股份有限公司 使用编码器神经网络的经压缩的测量反馈
CN111669591A (zh) * 2020-05-09 2020-09-15 东华大学 面向压缩感知视频流的帧组采样率分配系统
CN111757107A (zh) * 2020-06-29 2020-10-09 北京百度网讯科技有限公司 一种视频编码方法、装置、设备及介质
CN111901597A (zh) * 2020-08-05 2020-11-06 杭州当虹科技股份有限公司 一种基于视频复杂度的cu级qp分配算法

Also Published As

Publication number Publication date
CN107690070B (zh) 2019-11-26

Similar Documents

Publication Publication Date Title
CN107690070A (zh) 基于无反馈码率控制的分布式视频压缩感知系统及方法
CN110139109B (zh) 图像的编码方法及相应终端
US11310509B2 (en) Method and apparatus for applying deep learning techniques in video coding, restoration and video quality analysis (VQA)
Djelouah et al. Neural inter-frame compression for video coding
Mentzer et al. Vct: A video compression transformer
CN106888024B (zh) 一种基于双向最佳匹配的分布式视频压缩感知重构方法
JP2007503784A (ja) ハイブリッドビデオ圧縮法
Keimel et al. No-reference video quality metric for HDTV based on H. 264/AVC bitstream features
CN111464815B (zh) 一种基于神经网络的视频编码方法及系统
CN107454409A (zh) 有损压缩编码数据方法和设备及相应重构数据方法和设备
JP2014502113A (ja) パケット損失可視性の連続的な推定値に基づく客観的映像品質評価のための方法および装置
US20210067808A1 (en) Systems and methods for generating a latent space residual
Valenzise et al. Quality assessment of deep-learning-based image compression
TW201301900A (zh) 視訊解碼器之編碼成位元串之解碼方法
US20160360237A1 (en) Method and apparatus for encoding, decoding a video signal using additional control of quantizaton error
Huang et al. No-reference pixel based video quality assessment for HEVC decoded video
CN107920250B (zh) 一种压缩感知图像编码传输方法
Keimel et al. Design of no-reference video quality metrics with multiway partial least squares regression
CN110290389B (zh) 基于长短期参考帧挑选假设匹配块视频压缩感知重构方法
Gershikov et al. Correlation-based approach to color image compression
Ivrlač et al. Models and analysis of streaming video transmission over wireless fading channels
CN114143537B (zh) 一种基于可能性大小的全零块预测方法
CN109743571B (zh) 一种基于并行压缩感知多层残差系数的图像编码方法
Cen et al. Joint decoding of independently encoded compressive multi-view video streams
Huang No-reference video quality assessment by HEVC codec analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191126