CN110933429A - 基于深度神经网络的视频压缩感知与重构方法和装置 - Google Patents

基于深度神经网络的视频压缩感知与重构方法和装置 Download PDF

Info

Publication number
CN110933429A
CN110933429A CN201911104216.1A CN201911104216A CN110933429A CN 110933429 A CN110933429 A CN 110933429A CN 201911104216 A CN201911104216 A CN 201911104216A CN 110933429 A CN110933429 A CN 110933429A
Authority
CN
China
Prior art keywords
module
key frame
reconstruction
block
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911104216.1A
Other languages
English (en)
Other versions
CN110933429B (zh
Inventor
张登银
周超
陈灿
李俊江
刘子捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN201911104216.1A priority Critical patent/CN110933429B/zh
Publication of CN110933429A publication Critical patent/CN110933429A/zh
Priority to PCT/CN2020/109432 priority patent/WO2021093393A1/zh
Priority to US17/262,830 priority patent/US11490128B2/en
Application granted granted Critical
Publication of CN110933429B publication Critical patent/CN110933429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于深度神经网络的视频压缩感知与重构方法和装置。此方法将视频信号划分为关键帧与非关键帧。对于关键帧，采用已有的图像重构方法进行重构。对于非关键帧，此方法创新性的提出了一种特殊的深度神经网络来完成重构。此神经网络由自适应采样模块，多假设预测模块，残差重构模块组成，充分利用了视频信号的时空相关性来完成视频信号的采样与重构，在提高重构质量的同时，保证了算法的低时间复杂度。因此，本发明方法适用于采样端资源受限、对重构质量要求高、对实时性要求高的视频传感系统。

Description

基于深度神经网络的视频压缩感知与重构方法和装置
技术领域
本发明涉及一种基于深度神经网络的视频压缩感知与重构方法和装置，属于视频图像处理技术领域。
背景技术
目前，信息社会不断发展，对图像、视频等高维信号的采集与处理的需求日益增加。在传统的视频采集系统中，视频传感器往往会先根据奈奎斯特采样定律(Nyquist–Shannon sampling theorem)采集大量的、冗余的视频信号，然后利用视频压缩技术在编码端对信号进行压缩，以减少传输带宽和存储的压力。该做法造成了巨大的采样资源的浪费，并且，在一些编码端资源受限的应用中，如无线视频传感网(Wireless Video SensingNetworks,WVSNs)，高复杂度的压缩编码往往难以在编码端应用。近年来，视频压缩感知(Compressive Video Sensing，CVS)技术被广泛应用于无线视频传感网当中。它在编码端利用单像素相机(single pixel camera)等设备，将采样与压缩融合为一个低复杂度的线性投影，得到采样值；在解码端，利用适当的重构算法对采样值进行重构，得到完整的视频信号。
在已有的视频压缩感知系统中，视频信号的恢复往往通过一个优化算法来求解。具体的，此类优化算法一般利用视频信号的先验信息(例如：稀疏性，模型稀疏性，低秩性，非局部相似性)来设计一个凸优化问题。但是凸优化问题的求解往往是迭代的，高复杂度的，因而导致重构时间较长。一般的，利用此方法恢复一个分辨率为352*288 的视频帧需要几秒甚至几分钟，此重构时间难以实现在解码端实时播放视频，因而无法满足无线传感网中实时监控的需求。另一方面，在此类优化方法当中使用的先验信息是人为设计的，只能大致描述信号的特征。自然中的视频信号通常更为复杂，因此基于优化的重构方法在重构质量仍有不足，往往导致重构视频模糊，重影，用户体验较差。
发明内容
本发明目的在于解决目前视频重构方法存在的延迟较大，重构视频质量有待提高的问题，提出了一种基于深度神经网络(Deep Neural Networks,DNNs)的视频压缩感知与重构方法和装置，主要应用于编码端受限的无线视频传感网。
为实现上述方案，本发明采用以下技术方案：
一方面，本发明提供一种基于深度神经网络的视频压缩感知与重构方法，其特征在于，该方法具体步骤如下：
构建用于对视频非关键帧进行重构的深度神经网络模块，包含构建自适应采样模块、多假设预测模块和残差重构模块构成的端到端的深度神经网络，具体方法包括：输入用于网络训练的视频序列；将视频信号序列分为多个图片组，确定每一个图片组的关键帧和非关键帧；对关键帧进行重构得到重构后的关键帧；将非关键帧分为多个互不重叠的图像块；
构建自适应采样模块：对非关键帧中每个图像块进行自适应采样得到图像块采样值；
构建多假设预测模块：确定每个图像块对应的假设块；对非关键帧中的每个图像块利用对应的假设块进行自适应采样得到假设块的采样值，根据假设块采样值和图像块采样值，计算每个图像块的预测值，得到多假设预测图像；
构建残差重构模块：对多假设预测图像进行自适应采样，构建多假设预测图像采样值与非关键帧采样值的残差值，根据残差值利用残差重构方法得到非关键帧重构；
将构建的自适应采样模块与多假设预测模块进行级联构建子网络，对子网络进行训练，将子网络预训练得到的参数作为初始值，对整个深度神经网络进行训练，得到训练完成的深度神经网络；
输入视频序列，将视频序列分为多个图片组，确定每一个图片组的关键帧和非关键帧；对关键帧进行重构得到重构后的关键帧；
利用所训练完成的深度神经网络对视频序列的非关键帧进行重构；
将重构的关键帧和深度神经网络输出的重构的非关键帧按顺序排列即为所得重构视频信号。
进一步地，确定每个图像块对应的假设块的具体方法为：
对于非关键帧中每一个b·b图像块，以其位置为中心，在关键帧中框定一个大小为W×W的矩形搜索窗，将搜索窗中所有的重叠的图像块提取作为当前图像块的假设块。将非关键帧中每一个图像块的所有假设块整合在一起，可得一个h×w×(b·b)×n的假设块张量，其中，n代表了每一个图像块对应的假设块的个数，h×w代表待预测的图像块的个数，b·b为假设块的维度。
进一步地，计算每个图像块的预测值的计算公式如下：
Figure RE-GDA0002369161150000041
其中，Pi为当前非关键帧中第i个图像块块的预测结果，hi，j为第i个图像块中第j个假设块，ωi，j为此假设块的权重，qi，j为利用自适应采样对假设块进行采样的结果，yi为第i个图像块的自适应采样值，p(·)为一个非线性映射函数，用于将采样值从低维转换成高维。
进一步地，公式(1)具体实现方法为：
对假设块张量进行自适应采样，得到一个包含所有图像块的各个假设块采样值qi，j的张量，其维度大小为h×w×(SR·b·b)×n，其中SR·b·b为假设块采样值qi，j的维度；
利用三个卷积层来实现p(·)函数，三个卷积层的具体参数为：卷积核大小：都为1×1，输入信道数：第一个卷积层为SR·b·b，其余为b·b，输出信道数：都为b·b。
利用p(·)函数，将所得到的假设块的采样值张量转换成一个 h×w×(b·b)×n的假设块特征图。
利用p(·)函数，将得到的非关键帧采样值张量(大小为h×w×(SR·b·b))进行卷积，得到一个h×w×(b·b)大小的非关键帧特征图。
将得到的假设块特征图与得到的非关键帧特征图进行矩阵乘法，实现公式(1)中p(qi，j)Tp(yi)，得到一个h×w×n大小的张量；利用softmax函数对所得张量的最后一维进行归一化实现公式(1) 的
Figure RE-GDA0002369161150000051
得到大小为h×w×n的系数张量；
将所得的系数张量与所得的假设块张量进行矩阵乘法，得到大小为h×w×(b·b)的预测值张量；
将所得的预测值张量进行变形，得到一个大小为(h·b)×(w·b) 的当前非关键帧的多假设预测图像。
进一步地，各个假设块的权重由嵌入高斯函数决定，具体如下：
Figure RE-GDA0002369161150000052
进一步地，构建残差重构模块的具体方法为：
多假设预测图像进行自适应采样，得到多假设预测图像的采样值，维度大小为h×w×(SR·b·b)；
将多假设采样值与基于图像块采样值得非关键帧采样值相减，得到残差采样值；
将残差采样值通过一个卷积层，转换成一个大小为h×w× (b·b)的特征图。此卷积层的卷积核大小为1×1，输入信道数为 SR·b·b，输出信道数为b·b。
将输出特征图进行变形，得到一个(h·b)×(w·b)大小的特征图；
利用卷积层对得到的特征图进行卷积，得到残差图像的重构结果；
得到的残差重构结果与多假设预测图像相加，输出最后的非关键帧重构值。
在以上技术方案基础上优选地，为了使重构速度更快、图像质量更高，优选地，利用8个卷积层对得到的特征图进行卷积，得到残差图像的重构结果；8个卷积层的具体参数如下：卷积核大小：都为3×3，输入信道数：第一个卷积层为1，其余为64，输出信道数：最后一个卷积层为1，其余都为64。
作为以上技术方案的优选方案，自适应采样方法如下：对信号的采集如下式所示：
y＝Φx (3)，
其中，y为采样值，Φ为采样矩阵，x为原始信号，式(3)由一个卷积层来实现，此卷积层的卷积核大小为b×b，输入信道数为1，输出信道数为SR·b·b，其中，SR为非关键帧的采样率，此卷积层等同于对图像中每一个b×b大小的图像块进行压缩感知采样，输出为一个h×w×(SR·b·b)的张量，其中，h和w代表输入图像的高和宽两个维度上的块的数量，卷积层的权重为对应的采样矩阵。
作为以上技术方案的优选方案，利用DNN的图像压缩感知重构方法对关键帧进行重构。
另一方面，本发明提供一种基于深度神经网络的视频压缩感知与重构装置，其特征在于，包括：
视频序列输入模块、深度神经网络模块、非关键划分模块、关键帧重构模块和视频信号重构输出模块；
所述视频序列输入模块，用于输入视频序列；
所述非关键划分模块，用于将视频序列输入模块输入的视频信号序列分为多个图片组，确定每一个图片组的关键帧和非关键帧；
所述深度神经网络模块，用于对非关键划分模块划分的非关键帧进行重构得到重构的非关键帧；
所述关键帧重构模块，用于对非关键划分模块划分得到的关键帧利用图像压缩感知重构方法进行重构得到重构后的关键帧；
所述视频信号重构输出模块：将关键帧重构模块重构的关键帧和深度神经网络输出的重构的非关键帧按顺序排列即为所得重构视频信号；
所述深度神经网络模块包括图像块划分模块、自适应采样模块、多假设预测模块、残差重构模块、子网络训练模块和深度神经网络训练模块，其中自适应采样模块、多假设预测模块和残差重构模块构成的端到端的深度神经网络；
所述视频序列输入模块，用于输入用于训练的视频序列；
所述非关键划分模块，用于将视频序列输入模块输入的训练视频序列分为多个图片组，确定每一个图片组的关键帧和非关键帧；
所述图像块划分模块，用于将非关键划分模块得到的训练视频序列非关键帧分为多个互不重叠的图像块；
所述自适应采样模块，用于对非关键帧中每个图像块进行自适应采样得到图像块采样值；
所述多假设预测模块，用于确定每个图像块对应的假设块；对非关键帧中的每个图像块利用对应的假设块进行自适应采样得到假设块的采样值，根据假设块采样值和图像块采样值，得到多假设预测图像；
所述残差重构模块，用于对多假设预测图像进行自适应采样，构建多假设预测图像采样值与非关键帧采样值的残差值，根据残差值利用残差重构方法得到非关键帧重构；
所述子网络训练模块，用于将构建的自适应采样模块与多假设预测模块进行级联构建子网络，对子网络进行训练；
所述深度神经网络训练模块，用于将子网络预训练得到的参数作为初始值，对整个深度神经网络进行训练，得到训练完成的深度神经网络；
与现有技术相比，本发明具有如下有益技术效果：
本发明设计了一种特殊的深度神经网络，主要包含三部分：自适应采样模块，多假设预测模块，以及残差重构模块。由于深度神经网络的特性，此方法大大减少了视频信号的重构时间，使其达到实时性的要求。同时，此网络从训练数据中学习如何使用视频信号的时间相关性和空间相关性，以提高视频信号的重构质量；提出的深度神经网络，输入为已重构的关键帧和当前的非关键帧；输出为非关键帧的重构信号。对此网络的参数进行适当的训练之后，将网络的自适应采样模块应用于无线传感网的编码节点，将多假设预测模块和残差重构模块应用于无线传感网的解码端，即可对视频信号进行低延迟，高质量的恢复；
本发明采用一种自适应的块采样方法，提高采样过程中对有效信息的保留和对冗余信息的删减。同时，由于采样对象是块而非图像，因而减少对视频编码端的存储和运算的负担，得到的残差因为信号能量低，更易于重构；
本发明充分利用深度神经网络来实现视频帧的多假设预测，其中各个假设的权重通过学习训练数据得到，使得预测结果准确率更高。
本发明充分利用深度神经网络来实现残差重构，通过可学习的卷积层对整个残差图像卷积，减少了块效应，增加了可视野，从而提高了重构质量。
本发明通过一个端到端的神经网络，实现了自适应采样，多假设预测和残差重构。由于深度神经网络低时间复杂度的特性，本发明提出的方法算法复杂度低，耗时短，能够满足实时性要求。
附图说明
图1为本发明具体实施例一种基于深度神经网络的视频压缩感知与重构方法的框架图；
图2为本发明具体实施例自适应采样模块的示意图；
图3为本发明具体实施例多假设预测模块的流程图；
图4为本发明具体实施例残差重构模块的流程图。
具体实施方式
以下结合具体实施例，对本发明进行详细说明。
如图1所示，该实施例提供了一种基于深度神经网络的视频压缩感知与重构方法，该方法具体步骤如下：
参数设定：非关键帧采样率SR为0.01，0.04或者0.10；块的尺寸b为33；搜索窗大小W为45×45
(1)收集用于网络训练的高质量视频序列。
(2)将用于训练的视频信号序列分为多个图片组(Group of Pictures,GOP)。每一个GOP的第一帧为关键帧，拥有较高采样率；其余为非关键帧，采样率低于关键帧。由于较高的采样率，关键帧拥有较好的重构质量，被用于指导非关键帧的重构。
(3)对关键帧利用已有的图像压缩感知重构方法进行重构，具体实现方法是本领域的公知常识，不过多介绍。优选地，为了避免构整个视频的时候重构时间很长，使本发明重构更快，优选地，采用一种基于DNN的图像压缩感知重构方法进行重构，如DR2-Net或ReconNet和DR2-Net，其实现方法也是本领域的公知常识。
(4)构建视频压缩感知网络的自适应采样模块,如图2所示。在压缩感知中，对信号的采集如下式所示：
y＝Φx (3)，
其中，y为采样值，Φ为采样矩阵，x为原始信号。在此网络中，式(3)由一个卷积层来实现，并应用于非关键帧的采样。具体的，此卷积层的卷积核大小为b×b，输入信道数为1，输出信道数为 SR·b·b。其中，SR为非关键帧的采样率。
此卷积层等同于对图像中每一个b×b大小的图像块进行压缩感知采样，输出为一个h×w×(SR·b·b)的张量，其中，h和w代表非关键帧高和宽两个维度上的块的数量(即用非关键帧的宽和高分别除以b)。卷积层的权重即为对应的采样矩阵，由于卷积层的参数是可训练的，因此在此网络中的采样是自适应的。
(5)构建视频压缩感知网络的多假设预测模块，如图3所示。此模块将非关键帧分为多个互相不重叠的图像块，大小为b×b，对每一个图像块利用其对应假设块的线性组合来进行预测。具体的，每一个图像块的预测值由下式计算得到：
Figure RE-GDA0002369161150000111
其中，Pi为当前非关键帧中第i个图像块块的预测结果，hi，j为第i个图像块中第j个假设块，ωi，j为此假设块的权重，是一个关于图像块和假设块的采样值的函数，qi，j为利用步骤(4)的采样方式对假设块进行采样的结果，yi为第i个图象块的采样值，p(·)为一个非线性映射。
具体实施例中假设块的权重ωi，j可采用以下函数实现：
Figure RE-GDA0002369161150000112
其中，f(qi，j，yi)是关于qi，j和yi的函数。
以上函数有多种实施方式，优选地在具体实施例中，各个假设块的权重ωi，j由嵌入高斯函数决定，具体如下式：
Figure RE-GDA0002369161150000121
在网络中，公式(1)具体实现方法为：
(a)从步骤(3)中已重构关键帧中提取假设块。具体方法为，对于非关键帧中每一个图像块，以其位置为中心，在关键帧中框定一个大小为W×W的矩形搜索窗，将搜索窗中所有的重叠的图像块提取作为当前图像块的假设块。将非关键帧中每一个图像块的所有假设块整合在一起，可得一个h×w×(b·b)×n的假设块张量，其中，n 代表了每一个图像块对应的假设块的个数，h×w代表待预测的图像块的个数，b·b为假设块的维度。
(b)利用步骤(4)中的自适应采样方法对步骤(a)得到的假设块张量进行采样，得到一个包含所有图像块的各个假设块采样值的张量，其维度大小为；h×w×(SR·b·b)×n，其中SR·b· b为假设块采样值q(i，j)的维度。。
(c)利用三个卷积层来实现p(·)函数，三个卷积层的具体参数为：卷积核大小：都为1×1，输入信道数：第一个卷积层为 SR·b·b，其余为b·b，输出信道数：都为b·b。
(d)利用p(·)函数，将步骤(b)所得到的假设块的采样值张
量转换成一个h×w×(b·b)×n的特征图。
(e)利用p(·)函数，对步骤(4)得到的非关键帧采样值张量(大小为h×w×(SR·b·b)进行卷积，得到一个h×w×(b·b)大小的特征图。
(f)将步骤(d)得到的特征图与步骤(e)得到的特征图进行矩阵乘法，即可实现公式(1)中p(qi，j)Tp(yi)，得到一个h×w×n大小的张量。
(g)对步骤(e)所得张量的最后一维利用softmax函数进行归一化，即可实现公式(1)中的
Figure RE-GDA0002369161150000131
得到大小为h×w×n的系数张量。
(h)将步骤(g)所得的系数张量与步骤(a)所得的假设块张量进行矩阵乘法，得到大小为h×w×(b·b)的预测值张量。
(i)将步骤(h)所得的预测值张量进行变形，即可得到一个大小为(h·b)×(w·b)的当前非关键帧的多假设预测图像。
(6)构建视频压缩感知网络的残差重构模块，如图4所示。此模块用于重构出原始非关键帧与步骤(5)得到的多假设预测图像的残差值。由于残差信号相比于图像信号能量更低，所以残差信号的重构更为容易。此残差重构模块的具体的实现方法为：
(a)对步骤(5)得到的多假设预测图像采用步骤(4)的方法进行采样，得到多假设预测图像的采样值，维度大小为h×w× (SR·b·b)。
(b)将步骤(a)的多假设采样值与步骤(4)得到的非关键帧的采样值相减，得到残差采样值。
(c)将残差采样值通过一个卷积层，转换成一个大小为h×w×(b·b)的特征图。此卷积层的卷积核大小为1×1，输入信道数为SR·b·b，输出信道数为b·b。
(d)将步骤(c)的输出特征图进行变形，得到一个(h·b)×(w·b) 大小的特征图。
(e)优选地，利用8个卷积层对步骤(d)得到的特征图进行卷积，得到残差图像的重构结果。8个卷积层的具体参数如下：卷积核大小：都为3×3，输入信道数：第一个卷积层为1，其余为64，输出信道数：最后一个卷积层为1，其余都为64。
(f)将步骤(e)得到的残差重构结果与步骤(5)的多假设预测结果相加，输出最后的非关键帧重构值。
(7)将步骤(4)中的自适应采样模块与步骤(5)的多假设预测模块级联，组成一个子网络，此子网络输入为原始非关键帧以及步骤(3)重构的关键帧，输出为多假设预测图像。将此子网络各层的初始参数设定为随机值，进行预训练。训练中，损失函数为均方误差，标签为真实的视频帧的图像。
(8)将步骤(7)预训练得到的参数作为初始值，对整个网络进行训练，设计损失函数，使其在不断的训练过程中，降低损失值，从而得到训练好的网络参数。训练中，损失函数为均方误差。
(9)将步骤(8)训练得到的网络带入实际无线视频传感网系统中，对视频信号进行重构，具体实现方法为：
(a)利用步骤(2)相同的方法对视频序列的关键帧进行独立重构。
(b)利用步骤(8)训练得到的网络对视频序列的非关键帧进行重构。
(c)将步骤(a)重构的关键帧和步骤(b)重构的非关键帧按顺序排列即为所得重构视频信号。
下面结对本发明方法的效果做进一步说明。
表1本发明实施例结果与现有技术的非关键帧重构质量对比表
Figure RE-GDA0002369161150000151
衡量标准：(峰值信噪比)PSNR，测试对象：100个GOP大小为7的视频序列，非关键帧采样率：0.01、0.04和0.10。
由表1可以看出，本发明方法相比于已有方法都有着明显的效果提升。对比于已有最好方法(MH-BCS-SPL)，本发明PSNR在0.01采样率时提升了4dB,在0.04采样率时提升了4.22dB，在0.10采样率时提升了4.78dB。
表2本发明实施例与现有技术的非关键帧单帧平均重构时间对比表
Figure RE-GDA0002369161150000161
时间单位：秒(s)，测试对象：100个GOP大小为7的视频序列，非关键帧采样率：0.01、0.04和0.10。
由表2可以看出，本发明方法与同是基于深度神经网络的 ReconNet方法和DR2-Net方法重构时间在同一数量级，比MH-BCS-SPL 方法快两个数量级，比D-AMP快三个数量级。因此，本发明方法拥有着目前领先的重构速度，适用于实时的视频传感系统。
本发明方法将视频信号划分为关键帧与非关键帧；对于关键帧，采用已有的图像重构方法进行重构。对于非关键帧，此方法创新性的提出了一种特殊的深度神经网络来完成重构。此神经网络由自适应采样模块，多假设预测模块，残差重构模块组成，充分利用了视频信号的时空相关性来完成视频信号的采样与重构，在提高重构质量的同时，保证了算法的低时间复杂度。因此，本发明方法适用于采样端资源受限、对重构质量要求高、对实时性要求高的视频传感系统。
实施例：一种基于深度神经网络的视频压缩感知与重构装置，包括：
视频序列输入模块、深度神经网络模块、非关键划分模块、关键帧重构模块和视频信号重构输出模块；
所述视频序列输入模块，用于输入视频序列；
所述非关键划分模块，用于将视频序列输入模块输入的视频信号序列分为多个图片组，确定每一个图片组的关键帧和非关键帧；
所述深度神经网络模块，用于对非关键划分模块划分的非关键帧进行重构得到重构的非关键帧；
所述关键帧重构模块，用于对非关键划分模块划分得到的关键帧利用图像压缩感知重构方法进行重构得到重构后的关键帧；
所述视频信号重构输出模块：将关键帧重构模块重构的关键帧和深度神经网络输出的重构的非关键帧按顺序排列即为所得重构视频信号；
所述深度神经网络模块包括图像块划分模块、自适应采样模块、多假设预测模块、残差重构模块、子网络训练模块和深度神经网络训练模块，其中自适应采样模块、多假设预测模块和残差重构模块构成的端到端的深度神经网络；
所述视频序列输入模块，用于输入用于训练的视频序列；
所述非关键划分模块，用于将视频序列输入模块输入的训练视频序列分为多个图片组，确定每一个图片组的关键帧和非关键帧；
所述图像块划分模块，用于将非关键划分模块得到的训练视频序列非关键帧分为多个互不重叠的图像块；
所述自适应采样模块，用于对非关键帧中每个图像块进行自适应采样得到图像块采样值；
所述多假设预测模块，用于确定每个图像块对应的假设块；对非关键帧中的每个图像块利用对应的假设块进行自适应采样得到假设块的采样值，根据假设块采样值和图像块采样值，得到多假设预测图像；
所述残差重构模块，用于对多假设预测图像进行自适应采样，构建多假设预测图像采样值与非关键帧采样值的残差值，根据残差值利用残差重构方法得到非关键帧重构；
所述子网络训练模块，用于将构建的自适应采样模块与多假设预测模块进行级联构建子网络，对子网络进行训练；
所述深度神经网络训练模块，用于将子网络预训练得到的参数作为初始值，对整个深度神经网络进行训练，得到训练完成的深度神经网络。
该实施例中每个模块的具体实现方式如上述一种基于深度神经网络的视频压缩感知与重构方法的技术方案中描述，不再赘述。
本发明方法基于深度神经网络设计了自适应采样模块，多假设预测模块，残差重构模块。此三个模块充分利用了视频信号的时空相关性来完成非关键帧的采样与重构，并保证了算法的低时间复杂度。因此，本发明方法适用于采样端资源受限，对重构质量要求高，对实时性要求高的视频传感系统。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
在本实用新型的描述中，需要理解的是，术语“内侧”、“外侧”、“上层”、“顶”、“下层”、“左”、“右”、“垂直”、“水平”、“平行”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本实用新型和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本实用新型保护范围的限制。

Claims (10)

1.一种基于深度神经网络的视频压缩感知与重构方法，其特征在于，该方法具体步骤如下：
构建用于对视频非关键帧进行重构的深度神经网络模块，包含构建自适应采样模块、多假设预测模块和残差重构模块构成的端到端的深度神经网络，具体方法包括：输入用于网络训练的视频序列；将视频信号序列分为多个图片组，确定每一个图片组的关键帧和非关键帧；利用图像压缩感知重构方法对关键帧进行重构得到重构后的关键帧；将非关键帧分为多个互不重叠的图像块；
构建自适应采样模块：对非关键帧中每个图像块进行自适应采样得到图像块采样值；
构建多假设预测模块：确定每个图像块对应的假设块；对非关键帧中的每个图像块利用对应的假设块进行自适应采样得到假设块的采样值，根据假设块采样值和图像块采样值，计算每个图像块的预测值，得到多假设预测图像；
构建残差重构模块：对多假设预测图像进行自适应采样，构建多假设预测图像采样值与非关键帧采样值的残差值，根据残差值利用残差重构方法得到非关键帧重构；
将构建的自适应采样模块与多假设预测模块进行级联构建子网络，对子网络进行训练，将子网络预训练得到的参数作为初始值，对整个深度神经网络进行训练，得到训练完成的深度神经网络；
输入视频序列，将视频序列分为多个图片组，确定每一个图片组的关键帧和非关键帧；对关键帧进行重构得到重构后的关键帧；
利用所训练完成的深度神经网络对视频序列的非关键帧进行重构；
将重构的关键帧和深度神经网络输出的重构的非关键帧按顺序排列即为所得重构视频信号。
2.根据权利要求1所述的一种基于深度神经网络的视频压缩感知与重构方法，其特征在于，确定每个图像块对应的假设块的具体方法为：
对于非关键帧中每一个b·b图像块，以其位置为中心，在关键帧中框定一个大小为W×W的矩形搜索窗，将搜索窗中所有的重叠的图像块提取作为当前图像块的假设块；将非关键帧中每一个图像块的所有假设块整合在一起，可得一个h×w×(b·b)×n的假设块张量，其中，n代表了每一个图像块对应的假设块的个数，h×w代表待预测的图像块的个数，b·b为假设块的维度。
3.根据权利要求1所述的一种基于深度神经网络的视频压缩感知与重构方法，其特征在于，计算每个图像块预测值的计算公式如下：
Figure RE-FDA0002369161140000021
其中，Pi为当前非关键帧中第i个图像块块的预测结果，hi，j为第i个图像块中第j个假设块，ωi，j为此假设块的权重，qi，j为利用自适应采样对假设块进行采样的结果，yi为第i个图像块的自适应采样值，p(·)为一个非线性映射函数，用于将采样值从低维转换成高维。
4.根据权利要求3所述的一种基于深度神经网络的视频压缩感知与重构方法，其特征在于，公式(1)具体实现方法为：
对假设块张量进行自适应采样，得到一个包含所有图像块的各个假设块采样值qi，j的张量，其维度大小为h×w×(SR·b·b)×n，其中SR·b·b为假设块采样值qi，j的维度；
利用三个卷积层来实现p(·)函数，三个卷积层的具体参数为：卷积核大小：都为1×1，输入信道数：第一个卷积层为SR·b·b，其余为b·b，输出信道数：都为b·b；
利用p(·)函数，将所得到的假设块的采样值张量转换成一个h×w×(b·b)×n的假设块特征图；
利用p(·)函数，将得到的非关键帧采样值张量进行卷积，非关键帧采样值张量大小为h×w×(SR·b·b)得到一个h×w×(b·b)大小的非关键帧特征图；
将得到的假设块特征图与得到的非关键帧特征图进行矩阵乘法，实现公式(1)中p(qi，j)Tp(yi)，得到一个h×w×n大小的张量；利用softmax函数对所得张量的最后一维进行归一化实现公式(1)的
Figure RE-FDA0002369161140000031
得到大小为h×w×n的系数张量；
将所得的系数张量与所得的假设块张量进行矩阵乘法，得到大小为h×w×(b·b)的预测值张量；
将所得的预测值张量进行变形，得到一个大小为(h·b)×(w·b)的当前非关键帧的多假设预测图像。
5.根据权利要求3所述的一种基于深度神经网络的视频压缩感知与重构方法，其特征在于，各个假设块的权重由嵌入高斯函数决定，具体如下式：
Figure RE-FDA0002369161140000041
6.根据权力要求1所述的一种基于深度神经网络的视频压缩感知与重构方法，其特征在于：构建残差重构模块的具体方法为：
多假设预测图像进行自适应采样，得到多假设预测图像的采样值，维度大小为h×w×(SR·b·b)；
将多假设采样值与基于图像块采样值得非关键帧采样值相减，得到残差采样值；
将残差采样值通过一个卷积层，转换成一个大小为h×w×(b·b)的特征图；此卷积层的卷积核大小为1×1，输入信道数为SR·b·b，输出信道数为b·b；
将输出特征图进行变形，得到一个(h·b)×(w·b)大小的特征图；
利用卷积层对得到的特征图进行卷积，得到残差图像的重构结果；
得到的残差重构结果与多假设预测图像相加，输出最后的非关键帧重构值。
7.根据权力要求6所述的一种基于深度神经网络的视频压缩感知与重构方法，其特征在于：
利用8个卷积层对得到的特征图进行卷积，得到残差图像的重构结果；8个卷积层的具体参数如下：卷积核大小：都为3×3，输入信道数：第一个卷积层为1，其余为64，输出信道数：最后一个卷积层为1，其余都为64。
8.根据权利要求1～7任意一条权利要求所述的一种基于深度神经网络的视频压缩感知与重构方法，其特征在于，自适应采样方法如下：对信号的采集如下式所示：
y＝Φx (3)，
其中，y为采样值，Φ为采样矩阵，x为原始信号，式(3)由一个卷积层来实现，此卷积层的卷积核大小为b×b，输入信道数为1，输出信道数为SR·b·b，其中，SR为非关键帧的采样率，此卷积层等同于对图像中每一个b×b大小的图像块进行压缩感知采样，输出为一个h×w×(SR·b·b)的张量，其中，h和w代表输入图像的高和宽两个维度上的块的数量，卷积层的权重为对应的采样矩阵。
9.根据权利要求1～7任意一条权利要求所述的一种基于深度神经网络的视频压缩感知与重构方法，其特征在于，利用DNN的图像压缩感知重构方法对关键帧进行重构。
10.一种基于深度神经网络的视频压缩感知与重构装置，其特征在于，包括：
视频序列输入模块、深度神经网络模块、非关键划分模块、关键帧重构模块和视频信号重构输出模块；
所述视频序列输入模块，用于输入视频序列；
所述非关键划分模块，用于将视频序列输入模块输入的视频信号序列分为多个图片组，确定每一个图片组的关键帧和非关键帧；
所述深度神经网络模块，用于对非关键划分模块划分的非关键帧进行重构得到重构的非关键帧；
所述关键帧重构模块，用于利用图像压缩感知重构方法对非关键划分模块划分得到的关键帧进行重构得到重构后的关键帧；
所述视频信号重构输出模块：将关键帧重构模块重构的关键帧和深度神经网络输出的重构的非关键帧按顺序排列即为所得重构视频信号；
所述深度神经网络模块包括图像块划分模块、自适应采样模块、多假设预测模块、残差重构模块、子网络训练模块和深度神经网络训练模块，其中自适应采样模块、多假设预测模块和残差重构模块构成的端到端的深度神经网络；
所述视频序列输入模块，用于输入用于训练的视频序列；
所述非关键划分模块，用于将视频序列输入模块输入的训练视频序列分为多个图片组，确定每一个图片组的关键帧和非关键帧；
所述图像块划分模块，用于将非关键划分模块得到的训练视频序列非关键帧分为多个互不重叠的图像块；
所述自适应采样模块，用于对非关键帧中每个图像块进行自适应采样得到图像块采样值；
所述多假设预测模块，用于确定每个图像块对应的假设块；对非关键帧中的每个图像块利用对应的假设块进行自适应采样得到假设块的采样值，根据假设块采样值和图像块采样值，得到多假设预测图像；
所述残差重构模块，用于对多假设预测图像进行自适应采样，构建多假设预测图像采样值与非关键帧采样值的残差值，根据残差值利用残差重构方法得到非关键帧重构；
所述子网络训练模块，用于将构建的自适应采样模块与多假设预测模块进行级联构建子网络，对子网络进行训练；
所述深度神经网络训练模块，用于将子网络预训练得到的参数作为初始值，对整个深度神经网络进行训练，得到训练完成的深度神经网络。
CN201911104216.1A 2019-11-13 2019-11-13 基于深度神经网络的视频压缩感知与重构方法和装置 Active CN110933429B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911104216.1A CN110933429B (zh) 2019-11-13 2019-11-13 基于深度神经网络的视频压缩感知与重构方法和装置
PCT/CN2020/109432 WO2021093393A1 (zh) 2019-11-13 2020-08-17 基于深度神经网络的视频压缩感知与重构方法和装置
US17/262,830 US11490128B2 (en) 2019-11-13 2020-08-17 Deep neural network (DNN)-based reconstruction method and apparatus for compressive video sensing (CVS)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911104216.1A CN110933429B (zh) 2019-11-13 2019-11-13 基于深度神经网络的视频压缩感知与重构方法和装置

Publications (2)

Publication Number Publication Date
CN110933429A true CN110933429A (zh) 2020-03-27
CN110933429B CN110933429B (zh) 2021-11-12

Family

ID=69852732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911104216.1A Active CN110933429B (zh) 2019-11-13 2019-11-13 基于深度神经网络的视频压缩感知与重构方法和装置

Country Status (3)

Country Link
US (1) US11490128B2 (zh)
CN (1) CN110933429B (zh)
WO (1) WO2021093393A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111586358A (zh) * 2020-05-09 2020-08-25 东华大学 基于5g传输和改进残差神经网络的海面视频压缩感知方法
CN111865845A (zh) * 2020-06-04 2020-10-30 国网江西省电力有限公司供电服务管理中心 一种mimo用户检测与信道估计装置及方法
CN112543339A (zh) * 2020-12-09 2021-03-23 广州杰赛科技股份有限公司 一种基于残差重构的视频仿真方法及装置
CN112616052A (zh) * 2020-12-11 2021-04-06 上海集成电路装备材料产业创新中心有限公司 一种视频压缩信号的重建方法
CN112637599A (zh) * 2020-12-02 2021-04-09 哈尔滨工业大学（深圳） 一种基于分布式压缩视频感知系统的新型重构方法
WO2021093393A1 (zh) * 2019-11-13 2021-05-20 南京邮电大学 基于深度神经网络的视频压缩感知与重构方法和装置
CN112929664A (zh) * 2021-01-21 2021-06-08 复旦大学 一种可解释的视频压缩感知重建方法
WO2022037146A1 (zh) * 2020-08-21 2022-02-24 Oppo广东移动通信有限公司 图像处理方法、装置、设备、计算机存储介质和系统
CN114897691A (zh) * 2022-04-30 2022-08-12 南京邮电大学 一种基于标准化流的图像压缩感知重构方法和系统
NL2027731B1 (en) * 2021-03-10 2022-09-27 Univ Nanjing Posts & Telecommunications Deep neural network (dnn)-based reconstruction method and apparatus for compressive video sensing (cvs)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115284A (zh) * 2023-08-23 2023-11-24 郑州大学 一种基于自编码器的超声图像重建方法及系统
CN118118620B (zh) * 2024-04-30 2024-07-12 深圳云天畅想信息科技有限公司 视频会议异常重构方法、计算机装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106911930A (zh) * 2017-03-03 2017-06-30 深圳市唯特视科技有限公司 一种基于递归卷积神经网络进行压缩感知视频重建的方法
CN106937125A (zh) * 2017-03-28 2017-07-07 西安电子科技大学 一种动态改变搜索窗大小的多假设预测方法
CN107155112A (zh) * 2017-05-24 2017-09-12 湖北工业大学 一种多假设预测的压缩感知视频处理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133919A (zh) * 2017-05-16 2017-09-05 西安电子科技大学 基于深度学习的时间维视频超分辨率方法
CN107360426B (zh) * 2017-07-13 2020-04-10 福州大学 一种基于压缩感知的视频序列重构方法
US10924755B2 (en) * 2017-10-19 2021-02-16 Arizona Board Of Regents On Behalf Of Arizona State University Real time end-to-end learning system for a high frame rate video compressive sensing network
CN111295884B (zh) * 2017-11-08 2022-08-16 松下电器（美国）知识产权公司 图像处理装置及图像处理方法
CN108229336B (zh) * 2017-12-13 2021-06-04 北京市商汤科技开发有限公司 视频识别及训练方法和装置、电子设备、程序和介质
US10841577B2 (en) * 2018-02-08 2020-11-17 Electronics And Telecommunications Research Institute Method and apparatus for video encoding and video decoding based on neural network
CN108769675B (zh) * 2018-06-04 2021-12-17 南京邮电大学 基于两阶多假设预测的分布式视频自适应重构方法
CN110087092B (zh) * 2019-03-11 2020-06-05 西安电子科技大学 基于图像重构卷积神经网络的低码率视频编解码方法
CN110234011B (zh) * 2019-04-19 2021-09-24 网宿科技股份有限公司 一种视频压缩方法及系统
CN110933429B (zh) * 2019-11-13 2021-11-12 南京邮电大学 基于深度神经网络的视频压缩感知与重构方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106911930A (zh) * 2017-03-03 2017-06-30 深圳市唯特视科技有限公司 一种基于递归卷积神经网络进行压缩感知视频重建的方法
CN106937125A (zh) * 2017-03-28 2017-07-07 西安电子科技大学 一种动态改变搜索窗大小的多假设预测方法
CN107155112A (zh) * 2017-05-24 2017-09-12 湖北工业大学 一种多假设预测的压缩感知视频处理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A. MOUSAVI,ET AL.: "DeepCodec: Adaptive sensing and recovery via deep convolutional neural networks", 《PROC. 55TH ANNU. ALLERTON CONF. COMMUN., CONTROL, COMPUT. (ALLERTON)》 *
ERIC W. TRAMEL, ET AL.: "Video compressed sensing with multihypothesis", 《VIDEO COMPRESSED SENSING WITH MULTIHYPOTHESIS》 *
万文韬: "基于深度学习的图像压缩感知重建技术研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021093393A1 (zh) * 2019-11-13 2021-05-20 南京邮电大学 基于深度神经网络的视频压缩感知与重构方法和装置
CN111586358A (zh) * 2020-05-09 2020-08-25 东华大学 基于5g传输和改进残差神经网络的海面视频压缩感知方法
CN111865845A (zh) * 2020-06-04 2020-10-30 国网江西省电力有限公司供电服务管理中心 一种mimo用户检测与信道估计装置及方法
WO2022037146A1 (zh) * 2020-08-21 2022-02-24 Oppo广东移动通信有限公司 图像处理方法、装置、设备、计算机存储介质和系统
CN112637599A (zh) * 2020-12-02 2021-04-09 哈尔滨工业大学（深圳） 一种基于分布式压缩视频感知系统的新型重构方法
CN112543339A (zh) * 2020-12-09 2021-03-23 广州杰赛科技股份有限公司 一种基于残差重构的视频仿真方法及装置
CN112543339B (zh) * 2020-12-09 2022-08-02 广州杰赛科技股份有限公司 一种基于残差重构的视频仿真方法及装置
CN112616052A (zh) * 2020-12-11 2021-04-06 上海集成电路装备材料产业创新中心有限公司 一种视频压缩信号的重建方法
CN112929664A (zh) * 2021-01-21 2021-06-08 复旦大学 一种可解释的视频压缩感知重建方法
NL2027731B1 (en) * 2021-03-10 2022-09-27 Univ Nanjing Posts & Telecommunications Deep neural network (dnn)-based reconstruction method and apparatus for compressive video sensing (cvs)
CN114897691A (zh) * 2022-04-30 2022-08-12 南京邮电大学 一种基于标准化流的图像压缩感知重构方法和系统

Also Published As

Publication number Publication date
WO2021093393A1 (zh) 2021-05-20
US11490128B2 (en) 2022-11-01
CN110933429B (zh) 2021-11-12
US20220030281A1 (en) 2022-01-27

Similar Documents

Publication Publication Date Title
CN110933429B (zh) 基于深度神经网络的视频压缩感知与重构方法和装置
Shi et al. Image compressed sensing using convolutional neural network
CN110798690B (zh) 视频解码方法、环路滤波模型的训练方法、装置和设备
JP2020508010A (ja) 画像処理およびビデオ圧縮方法
US10965948B1 (en) Hierarchical auto-regressive image compression system
CN113034380A (zh) 一种基于改进可变形卷积校正的视频时空超分辨率方法和装置
CN114973049B (zh) 一种统一卷积与自注意力的轻量视频分类方法
Xia et al. An emerging coding paradigm VCM: A scalable coding approach beyond feature and signal
CN116205962B (zh) 基于完整上下文信息的单目深度估计方法及系统
CN116579966B (zh) 一种图像重建方法、装置、电子设备及存储介质
CN112200732B (zh) 一种清晰特征融合的视频去模糊方法
CN113313683B (zh) 基于元迁移学习的无参考视频质量评价方法
CN114651270A (zh) 通过时间可变形卷积进行深度环路滤波
CN113542780B (zh) 一种网络直播视频的压缩伪影去除方法及装置
Liang et al. Action recognition based on discrete cosine transform by optical pixel-wise encoding
CN115131673A (zh) 一种面向任务的遥感影像压缩方法及系统
CN114501031B (zh) 一种压缩编码、解压缩方法以及装置
CN115131254A (zh) 一种基于双域学习的恒定码率压缩视频质量增强方法
NL2027731B1 (en) Deep neural network (dnn)-based reconstruction method and apparatus for compressive video sensing (cvs)
CN116684636B (zh) 一种语义通信人脸重建优化方法、系统
CN114140363B (zh) 视频去模糊方法及装置、视频去模糊模型训练方法及装置
CN118115392B (zh) 图像去雾方法、装置、电子设备及存储介质
Sigger et al. Spatial-temporal autoencoder with attention network for video compression
CN117425013B (zh) 一种基于可逆架构的视频传输方法和系统
Ahmed et al. Human motion Prediction Using Wavelet Transform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant