CN112637599A - 一种基于分布式压缩视频感知系统的新型重构方法 - Google Patents

一种基于分布式压缩视频感知系统的新型重构方法 Download PDF

Info

Publication number
CN112637599A
CN112637599A CN202011401058.9A CN202011401058A CN112637599A CN 112637599 A CN112637599 A CN 112637599A CN 202011401058 A CN202011401058 A CN 202011401058A CN 112637599 A CN112637599 A CN 112637599A
Authority
CN
China
Prior art keywords
reconstructed
reconstruction
coding unit
key frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011401058.9A
Other languages
English (en)
Other versions
CN112637599B (zh
Inventor
吴绍华
张锐峰
李冬青
焦健
张钦宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN202011401058.9A priority Critical patent/CN112637599B/zh
Publication of CN112637599A publication Critical patent/CN112637599A/zh
Application granted granted Critical
Publication of CN112637599B publication Critical patent/CN112637599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种基于分布式压缩视频感知系统的新型重构方法，具体为：在非关键帧译码过程中，根据边信息补偿生成算法获得边信息，包括：编码单元最佳划分确立、最优匹配块搜索、运动矢量获取及补偿；在关键帧重构过程中，利用残差卷积网络，通过BM3D去噪器对关键帧图像进行预处理，对预重构的低分辨率关键帧图像进行全局块匹配；在非关键帧重构过程中，采用残差卷积网络预重构、最小化重构、卷积神经网络映射的重构流程完成非关键帧重构。本发明通过所述基于分布式压缩视频感知系统的新型重构方法实现了关键帧和非关键帧的重构质量和效率的提升。

Description

一种基于分布式压缩视频感知系统的新型重构方法
技术领域
本发明属于通信技术领域，具体涉及一种基于分布式压缩视频感知系统的新型重构方法。
背景技术
目前主流视频编码器有VPx、H.26x和AVS等众多系列，视频编码器通过帧内和帧间预测编码、频域变换编码、熵量化编码、亚像素运动估计等一系列流程，实现了信号的可靠性高效传输。此类视频编码器的核心思想在于去除视频的时间和空间等冗余，利用大量相似块之间的关联性进行编码。以国际通用标准H.26x的帧间编码为例，待编码图像首先按照自身特性被灵活的划分为若干个不同大小的单元，每个单元进行编码时在当前已经编好的块中寻找一个最相似的作为最优匹配进行压缩，该单元所在图像称为参考帧，两个编码块在图像中发生的相对位移称为运动矢量(Motion Vector，MV)，传输信息时仅需包含帧距及编码单元对应MV即可。这种非线性压缩过程的计算复杂度骤然提升，高速移动设备、空中及远海节点等处理计算能力受限的采样端显然无法满足需求，编解码标准通用性受到了很大限制。
分布式压缩视频感知系统(Distributed Compressive Video Sensing，DCVS)的提出为编码计算能力受限的节点高质量编码提供了可能性。DCVS系统在压缩感知理论的基础上进一步将传统编码端的计算量转移到解码端，实现了编解码计算负载的更优分配。该系统将每一帧作独立采样，尽可能的简化编码过程，将核心工作放在计算能力充足的解码端进行。DCVS编码在宏观上可理解为将关键帧视为重要信息，进行大量采样以保证直接重构质量，而非关键帧被当作次要信息，仅进行少量采样以极度压缩。关键帧自身压缩信息较多，在解码端经由压缩感知算法直接重构，而非关键帧由于自身压缩信息少，无法利用自身高质量重构，译码器通常利用时域相近图像在结构上的相似性，通过已重构关键帧生成相对准确的边信息辅助联合译码。
DCVS系统尽可能的解放了编码端计算压力，省去了相邻帧残差获取、运动矢量获取等富有计算量的编码流程，但其以一定的编码质量下降为代价，视频帧冗余性并未得到有效利用，给解码端的重构增加了难度。当前存在的技术问题如下：
(1)边信息重构质量不高。DCVS系统非关键帧采用极低压缩率，其重构质量很大程度上取决于生成边信息，但系统编码过程中针对每一帧独立压缩，丢失了帧间的运动信息，使得边信息的生成信息受限。
(2)图像的重构算法耗时过长。目前通用的压缩感知重构算法计算复杂度相对较高，通常都需要大量地迭代，在实时通信等场景下无法满足时效性要求，限制了视频信息的进一步发展应用。
发明内容
本发明针对上述问题，提出了一种基于分布式压缩视频感知系统的新型重构方法，本发明针对DCVS系统边信息重构质量不高、图像的重构算法耗时过长的问题，提出了运动估计的边信息补偿生成算法，以及利用数据先验，对信息深度有效挖掘，获取了解码信息之间的关联并进行合理运用，有效降低解码的重构时间。
本发明提出的一种基于分布式压缩视频感知系统的新型重构方法包括：
(1)在非关键帧译码过程中，根据边信息补偿生成算法获得边信息，包括：
1.1)编码单元最佳划分确立：采用四叉树划分方式将非关键帧划分为互不重叠的若干待重构编码单元，遍历每个待重构编码单元并通过率失真函数确立编码单元最佳划分；
1.2)最优匹配块搜索：对划分好的待重构编码单元进行运动估计，以率失真函数作为判决依据，对待重构编码单元前后距离最近的两帧已重构关键帧相同位置的编码块进行搜索得到最优匹配块，然后建立待重构编码单元与最优匹配块之间的对应关系，将所述对应关系作为运动估计的结果，根据所述运动估计的结果计算相对运动矢量，利用所述相对运动矢量获得当前待重构编码单元的边信息；
1.3)运动矢量获取及补偿：采用空域及时域双重补偿的搜索范围，利用已确立的编码单元最优划分方式，对同图像帧相邻编码单元或时域相邻图像帧相同位置的编码单元进行补偿，获得相对运动矢量候选列表，得到更准确的最优匹配单元搜索区间；
(2)在关键帧重构过程中，利用残差卷积网络，首先通过BM3D去噪器对关键帧图像进行预处理，对预重构的低分辨率关键帧图像进行全局块匹配，将包含局部自相似信息的补丁块聚合为三维数组，作为残差卷积网络的输入，残差卷积网络采用多滤波器结构，数量大小与输入三维数组的第三维度保持相同，完成对当前输入图像补丁的所有特征面进行提取；
(3)在非关键帧重构过程中，采用残差卷积网络预重构、l1-l1最小化重构、卷积神经网络映射的重构流程完成非关键帧重构，首先利用残差卷积网络对压缩信号、边信息的残差做滤波处理，得到初步预重构结果；将所述初步预重构结果作为l1-l1最小化重构的初始迭代值，然后利用少量压缩值及边信息进行一百次修正迭代，对图像质量补强；最后代入8层的卷积神经网络映射，获得最终图像。
本发明的进一步技术方案是：所述率失真函数为最小变换域绝对误差和(SATD)，其表达式为：
Figure BDA0002812347200000031
其中，orgval表示当前图像像素点(x，y)的原始信号值，perdval表示当前图像像素点(x，y)的参考帧预测信号值，M和N均表示编码单元的大小，函数T表示对其中变量进行哈德曼矩阵变换并对绝对值之差求和。
本发明的进一步技术方案是：所述绝对误差和(SATD)的大小反映当前待重构编码单元的匹配程度，所述匹配程度与绝对误差和(SATD)的大小呈负相关关系。
本发明的进一步技术方案是：所述编码单元最佳划分确立具体方式为：
1.1.1)将待重构非关键帧距离最近的已重构关键帧作为补偿帧，划分为128*128大小的大编码单元(Large Coding Units，LCU)，以率失真函数为搜索判据，对待重构非关键帧的编码单元在参考帧进行全匹配搜索，选取绝对误差和(SATD)最小值的编码单元作为最佳匹配单元，并存储当前编码单元划分方式下的绝对误差和(SATD)以及相对运动矢量；
1.1.2)将LCU按四叉树划分方式拆分为4个大小为64×64的子块，每一个编码单元进行最优匹配获取，第一个子块在全局范围搜索，其余子块经由空域和时域双重补偿获取搜索范围，同样以率失真函数绝对误差和(SATD)为判决依据进行最佳匹配，存储每个编码单元最佳匹配下的绝对误差和(SATD)以及相对运动矢量；
1.1.3)将1.1.2)所得的4个64×64编码单元的最佳匹配绝对误差和(SATD)求和，与1.1.1)所得的最佳匹配误差进行比较，若1.1.2)的最佳匹配绝对误差和(SATD)求和值更小，则判定大编码单元采取1.1.2)中的划分方式，存储子块数据并进行后续判定，转入步骤1.1.4)，若1.1.2)的最佳匹配绝对误差和(SATD)求和值更大，则保持当前大编码单元的划分方式，不再进行其他划分判断；
1.1.4)重复步骤(1.1.2)、(1.1.3)的四叉树判定，依次判断编码单元大小是否进一步裂化为32×32、16×16；
1.1.5)对于16×16及更小的编码块，编码单元划分判断与步骤具体过程与步骤1.1.3)一致，确定划分的编码单元同时存储绝对误差和(SATD)以及相对运动矢量；
1.1.6)持续判断划分情况，直到编码单元达到最小值无法划分或各编码单元判定均无需继续划分，即获得当前待重构帧的编码单元最佳划分方式及对应的相对运动矢量。
本发明的进一步技术方案是：通过最优匹配单元搜索获得当前待重构编码单元的边信息的具体步骤为：
1.2.1)当GOP(group of pictures，画面组，)为N时，在已重构关键帧内找出待重构编码单元Nt相同位置编码块Kt-2、Kt+2；
1.2.2)在第N+1帧中对编码块Kt-2进行最优匹配块获取，得到最优匹配块Kt+2'，记录此时的相对运动矢量(i，j)；
1.2.3)编码单元Nt在后向重构关键帧的相对运动矢量是(i/2，j/2)，以此获得后向匹配块Nt'；
1.2.4)同样，在第1帧中寻找第N+1帧相同位置编码块Kt+2的最优匹配块Kt-2'，记录此时的相对运动矢量(i'，j')，编码单元Nt在前向重构关键帧的相对运动矢量是(i'/2，j'/2)，得到Nt在前向关键帧的匹配块Nt”；
1.2.5)将两次相对运动矢量对应编码块Nt'、Nt”求均值，即获得当前待重构单元的边信息。
本发明的进一步技术方案是：所述残差卷积网络具有22层卷积层，总体深度为46层，由第一层、中间层和最终层三大类构成，第一层有图像输入层、卷积层和线性整流单元层，其中图像输入层对输入图像补丁进行操作，图像输入层后接卷积层，包含64个大小为3×3的滤波器，用于生成64个低水平映射，卷积层后接线性整流单元层；中间层包含20层相互交替的卷积层和线性整流单元层，每层均由64个大小为3×3×64的滤波器组成，每个滤波器在64个通道的3×3空间区域上运行，逐步拟合目标；最终层由卷积层、Dropout层和回归层组成，卷积层带有单个3×3×64大小的滤波器，用于重构图像，Dropout层用于防止训练数据过拟合，最后一层为回归层，用于计算残差图像真实值和网络预测值之间的均方误差。本发明的进一步技术方案是：融入生成的边信息，所述l1-l1最小化重构具体初始迭代形式如下式：
Figure BDA0002812347200000041
其中，k为当前迭代次数，μ为正则化参数，s为稀疏后的原始信号，sk表示当前第k次迭代的重构值，L为
Figure BDA0002812347200000042
的Lipschitz系数上界，
Figure BDA0002812347200000043
表述对函数f求微分，函数f为：
Figure BDA0002812347200000044
其中，A为传感矩阵，y为压缩信号，prox为近端判决门限算子，定义为：
Figure BDA0002812347200000051
其中，g为连续凸函数g(v)＝||v||1+λ||v-w||1，λ为描述边信息与自身压缩值相对准确性的动态倚重系数，描述了信号自身压缩值与边信息的相对准确度，边信息质量越高则λ越大，解码算法更多的倚重于边信息；非关键帧自身压缩值越大则λ越小，解码算法更多倚重于自身压缩信息，v为信号s中的单个元素，
Figure BDA0002812347200000052
w为生成的边信息，||v||1表示信号的稀疏化，||v-w||1表示重构信号s和边信号的相似程度，将(3)式带入(2)式中，得到：
Figure BDA0002812347200000053
其中，
Figure BDA0002812347200000054
I为单位矩阵；
同样，将g(v)带入(4)式中，得到：
Figure BDA0002812347200000055
其中，
Figure BDA0002812347200000056
对(6)式求偏导，获得取值情况如下：
当wi＞0时，
Figure BDA0002812347200000057
当wi＜0时，
Figure BDA0002812347200000058
将公式(5)展开为递归神经网络形式，以(4)式近端判决门限算子作为非线性激活函数，实现在边信息w的辅助下输入向量y与重构信号
Figure BDA0002812347200000059
的快速稀疏逼近，所述重构信号
Figure BDA00028123472000000510
为稀疏后的原始信号s的凸优化重构，为：
Figure BDA00028123472000000511
本发明提出的一种基于分布式压缩视频感知系统的新型重构方法，其有益效果是：
(1)在接收端进行高质量译码，以保证重构视频的可靠性，为降低系统的传输压力，视频压缩过程采用尽可能小的压缩率，在解码重构时，尤其是非关键帧解码过程中，图像译码的可用信息不足，利用当前信号自身压缩值直接重构的方法遇到了瓶颈，边信息作为非关键帧解码的重要补偿信息，其生成质量直接决定了解码的质量，本发明以最新编码标准H.266/VVC为指导思想，提出了在解码端进行运动估计的边信息补偿生成算法，为后续非关键帧和整个系统重构质量的提升提供了可能性。
(2)在解码端进行高时效解码，以保证重构视频的有效性，由于解码信息不足，解码端通常需要大量迭代进行重构，该类方法在面对大数据量视频，尤其是高分辨率视频时时间消耗巨大，本发明有效利用数据先验，对信息深度有效挖掘，获取了解码信息之间的关联并进行合理运用，利用卷积网络深度挖掘训练集的先验，在解码质量和重构时间中实现了折中平衡，在非关键帧中采用BMRCNN预重构、迭代提升质量、CNN网络最终映射的共同重构流程，综合了不同重构模式的自身优势，有效降低解码的重构时间，满足了系统的实际应用需求。
附图说明
图1为本发明实施例中VCC编码单元划分示意图；
图2为本发明实施例中空域搜索起点补偿过程示意图；
图3为本发明实施例中时域搜索起点补偿示意图；
图4为本发明实施例中运动估计生成边信息示意图；
图5为本发明实施例中关键帧重构网络示意图；
图6为本发明实施例中非关键帧组合重构网络示意图；
图7为本发明实施例中DCVS系统的递归网络展开模型示意图。
具体实施方式
为进一步对本发明的技术方案作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的步骤。
本发明的具体实施方式是：提供一种基于分布式压缩视频感知系统的新型重构方法，包括如下步骤：
(1)在非关键帧译码过程中，根据边信息补偿生成算法获得边信息，包括：
1.1)编码单元最佳划分确立：采用四叉树划分方式将非关键帧划分为互不重叠的若干待重构编码单元，遍历每个待重构编码单元并通过率失真函数确立编码单元最佳划分；
具体实施过程如下：在边信息生成过程中，非关键帧首先被划分为互不重叠的若干编码单元，编码单元作为图像处理的最基本操作对象，合理的划分方式是生成高质量边信息的最基本前提，2020年正式提出的H.266/VVC沿用了以块结构划分为核心的混合结构，突破性的提出嵌套多型树结构的四叉树划分结构(Quadtree With Nested Multi-typeTree，QTMT)。VVC视频编码标准相较以往确立了更灵活的编码方式，编码单元可以从最大128×128到最小的4×8或8×4不等，其中较小编码单元(Coding Units，CU)用于图像内变化程度较大的细节区域或边界预测，较大CU用于变化程度较小的整体预测，相比较以往编解码标准实现了大的更大、小的更小，使解码单元更符合图像特征，本发明参考VVC视频标准在帧间预测部分的先进思想，视频帧的运动估计编码单元采用QTMT划分方式，遍历各大小编码单元并通过率失真函数选择最优方案，如图1所示为编码单元划分的示意图。
1.2)最优匹配块搜索：对划分好的待重构编码单元进行运动估计，以率失真函数作为判决依据，对待重构编码单元前后距离最近的两帧已重构关键帧相同位置的编码块进行搜索得到最优匹配块，然后建立待重构编码单元与最优匹配块之间的对应关系，将所述对应关系作为运动估计的结果，根据所述运动估计的结果计算相对运动矢量，利用所述相对运动矢量获得当前待重构编码单元的边信息；
具体实施过程如下：最优匹配块搜索将不同图像中独立的编码单元建立对应关系，并以此作为运动估计的结果计算相对运动矢量，其准确性直接决定了边信息的生成质量。本发明实施例采用最小变换域绝对误差和(SATD)做率失真函数，直接计算了参考帧预测块与当前编码块经哈德曼矩阵变换后的残差绝对值之和，以反映编码块的相似程度。编码块相似程度与匹配误差呈负相关关系，计算公式如下：
Figure BDA0002812347200000071
其中，orgval表示当前图像像素点(x，y)的原始信号值，perdval表示当前图像像素点(x，y)的参考帧预测信号值，M和N均表示编码单元的大小，函数T表示对其中变量进行哈德曼矩阵变换并对绝对值之差求和。
1.3)运动矢量获取及补偿：采用空域及时域双重补偿的搜索范围，利用已确立的编码单元最优划分方式，对同图像帧相邻编码单元或时域相邻图像帧相同位置的编码单元进行补偿，获得相对运动矢量候选列表，得到更准确的最优匹配单元搜索区间；
具体实施过程如下：搜索范围的大小决定当前待重构编码单元的最优匹配获取时间，决定了边信息的生成效率，本发明采用空域及时域双重补偿的搜索范围，利用已获得最优划分方式的同帧相邻编码块或时域相邻图像相同位置的编码单元进行补偿，获得MV候选列表并补偿出更准确的搜索区间，提升了编码效率。
如图2所示，为图像内相邻编码单元的空域搜索起点补偿示意图，其中CUn为当前待重构编码单元，其左侧、上方、右上方四个编码单元已获得最优匹配结果，成为当前单元的候选列表，左图为经由补偿生成和自身位置对应的五个搜索区域(Search Region，SR)。
同位置编码单元的时域搜索起点补偿如图3所示，其中CUn为当前待重构单元，CUn+1为时域相近补偿帧的同位置编码单元，CU′n+1为在CUn+1其对应参考帧下的最优匹配块，记录CU′n+1及CUn+1的相对运动矢量(i,j)，并按时域距离放缩获得CUn补偿MV。计算公式为
Figure BDA0002812347200000081
其中Tr、Tc为两类图像与其参考帧在时域中的距离。
本发明的优选实施方式是：在编码单元划分方式的确定方案中，为保证整个流程的计算量可控性，我们对大编码单元沿用了四叉树划分方式，直至16×16大小的单元才引入多类型树结构进行判断，在计算工作量和划分质量中实现尽可能的平衡，其具体流程如下所述：
(1)首先，将待重构非关键帧距离最近的已重构关键帧作为补偿帧，划分为大小的大编码单元(Large Coding Units，LCU)一个编码单元在参考帧进行全匹配搜索，以率失真函数SATD为搜索判据，选取全局最小值作为最佳匹配，并存储当前CU划分方式下的匹配残差和相对运动矢量。
(2)将LCU按四叉树划分方式拆分为4个大小为64×64的子块，每一个CU进行最优匹配获取，第一个子块在全局范围搜索，其余子块经由空域和时域双重补偿获取搜索范围，同样以SATD函数为判决依据进行最优匹配，存储各个CU自身最优匹配误差和MV。
(3)将四个64×64的CU所得匹配误差求和，与LCU方式下的误差进行比较。若裂化方式所得总和更小，则判决LCU采取向下划分的方式，存储子块数据并进行后续判决；反之则保持当前LCU划分方式，不再进行其他划分判断。
(4)针对划分子块，重复步骤(2)、(3)的四叉树判决，依次判断单元是否裂化为32×32、16×16。
(5)对于16×16及更小的编码块，采用多类型树判决，首先判断单元是否划分，若划分则依次判断划分方向和分支数量，具体过程与第3步保持一致，确定划分的单元同样存储匹配误差及MV。
(6)持续判断划分情况，直至单元达到最小值无法划分或各单元判定均无需继续划分，此时即已获得当前待重构帧的CU划分方式及对应MV。
本发明的优选实施方式是：对每个划分好的编码单元进行双向运动估计，对前后距离最近的两帧关键帧相同位置块做最优匹配搜索，其中平均绝对误差和作为匹配块的判决依据，求取均值生成边信息，具体过程如下图所示：
如图4所示，本发明实施例以GOP(画面组，group of pictures)为4，在已重构关键帧内找出待重构编码单元Nt相同位置编码块Kt-2、Kt+2；在第5帧中对编码块Kt-2进行最优匹配块获取，得到最优匹配块Kt+2'，记录此时的相对运动矢量(i，j)；编码单元Nt在后向重构关键帧的相对运动矢量是(i/2，j/2)，以此获得后向匹配块Nt'；同样，在第1帧中寻找第5帧相同位置编码块Kt+2的最优匹配块Kt-2'，记录此时的相对运动矢量(i'，j')，编码单元Nt在前向重构关键帧的相对运动矢量是(i'/2，j'/2)，得到Nt在前向关键帧的匹配块Nt”；将两次相对运动矢量对应编码块Nt'、Nt”求均值，即获得当前待重构单元的边信息。边信息一定程度上可以看作是含噪声的初步重构非关键帧，在原图像基础上添加少量的噪点和平移，利用少量真实信号压缩值对其修正可实现联合高质量重构。
本发明具体实施方式是：在关键帧重构过程中，利用残差卷积网络，首先通过BM3D去噪器对关键帧图像进行预处理，对预重构的低分辨率关键帧图像进行全局块匹配，将包含局部自相似信息的补丁块聚合为三维数组，作为残差卷积网络的输入，残差卷积网络采用多滤波器结构，数量大小与输入三维数组的第三维度保持相同，完成对当前输入图像补丁的所有特征面进行提取；
具体实施过程如下：以近年来在图像领域获得广泛应用的神经网络进行解码算法的时效性提升，将庞大的计算负担转移到学习阶段，以误差为驱动不断修正模型，提出多种混合人工设计与数据驱动的图像生成算法。
压缩感知的本质为压缩过程y＝As＝ΦΨs的逆问题求解，其中xN×1为待编码信号，经由稀疏矩阵ΨN×N变换得到同维度稀疏信号sN×1，ΦM×N为随机亚采样的测量矩阵，将高维度的稀疏信号映射为低维度的压缩信号yM×1，AM×N＝ΦΨ为所用传感矩阵。通常情况下，压缩感知稀疏表示的重构过程可以表示为：
min||As-y||2+u|s|1 (2)
其中u为正则化参数。关键帧，在编码中作为关键信息采用高压缩率压缩，在解码端是整个系统重构质量的最重要取决因素，提升关键帧的解码时间和质量具有重大意义。本发明提出残差卷积网络BMRCNN，首先通过性能出色的BM3D去噪器对图像进行预处理，对预重构的低分辨率图像进行全局块匹配，将包含局部自相似信息的补丁块聚合为三维数组，作为神经网络的输入。残差卷积网络则采用多滤波器结构，数量大小与输入数组的第三维度保持相同，以保证网络能够覆盖当前输入补丁的所有特征面进行提取。本发明方案利用卷积网络深度挖掘训练集的先验，在解码质量和重构时间中实现了折中平衡。
具体实施例中，设计的网络共具有二十二层卷积层，总体深度为46层，由第一层、中间层和最终层三大类构成，第一层图像输入层对图像补丁进行操作，批量大小设置为64，即每次输入64个补丁，其尺寸大小基于网络接收域进行设置，以便看到图像中所有高级特征。我们所设计网络中含有22层卷积层，故图像补丁块大小均设置为45×45。输入层后接二维卷积层Conv，其中包含64个大小为3×3的滤波器，滤波器数量需与批量大小设置相同，用于生成64个低水平映射，且卷积层后接线性整流单元ReLU层。中间层包含20层相互交替的卷积层和线性整流单元，每层均由64个大小为3×3×64的滤波器组成，每个滤波器在64个通道的3×3空间区域上运行，逐步拟合目标。最终层由卷积层、Dropout和回归层组成，卷积层带有单个3×3×64大小的滤波器，用于重构图像，Dropout层用于防止训练数据过拟合，经由多次尝试设置为0.2，最后一层为回归层Regression，用于计算残差图像真实值和网络预测值之间的均方误差，网络整体结构图如图5所示。
本发明具体实施方式是：在非关键帧重构过程中，采用残差卷积网络预重构、l1-l1最小化重构、卷积神经网络映射的重构流程完成非关键帧重构，首先利用残差卷积网络对压缩信号、边信息的残差做滤波处理，得到初步预重构结果；将所述初步预重构结果作为l1-l1最小化重构的初始迭代值，然后利用少量压缩值及边信息进行一百次修正迭代，对图像质量补强；最后代入8层的卷积神经网络映射，获得最终图像。
具体实施过程如下：非关键帧作为视频的主体构成，其重构质量和时间极大程度上影响了系统整体的性能指标。近些年出现的l1-l1最小化重构算法显著提升了非关键帧重构质量，其在公式(2)所示的l1压缩感知最小化重构的基础上引入边信息做联合译码，重构流程如下所示：
Figure BDA0002812347200000101
其中w为生成的边信息，s为稀疏后的原始信号，||s||1用于保证信号的稀疏化表示，||s-w||1用于反映二者的相似程度，y为压缩信号，u为正则化参数，λ为描述边信息与自身压缩值相对准确性的动态倚重系数，λ为描述边信息与自身压缩值相对准确性的动态倚重系数，描述了信号自身压缩值与边信息的相对准确度，边信息质量越高则λ越大，解码算法更多的倚重于边信息；非关键帧自身压缩值越大则λ越小，解码算法更多倚重于自身压缩信息，A为传感矩阵，依据压缩信息与边信息的相对准确度动态调整。信号的凸优化重构可表示为：
Figure BDA0002812347200000111
对(3)式进行恒等变换得到凸可微函数：
Figure BDA0002812347200000112
连续凸函数g(v)＝||v||1+λ||v-w||1，上式的具体实现中，通常将全局大问题裂化为多个局部子问题相互迭代求解，需要消耗较长的时间，与DCVS系统解放编码端以提高整体响应速度的出发点存在冲突。本发明针对非关键帧译码算法时效性不足问题，同样的引入神经网络进行提速，分别提出提升初始迭代质量的增强CCNN网络和最小化重构模型展开网络，进一步实现了系统的整体高效重构。
非关键帧重构慢很大程度上是因为用于迭代的初始信息质量不足，提升用于重构的初始信息即可降低迭代次数，从而提升时效。具体来说，首先利用BMRCNN网络对压缩信号及其与边信息的残差做滤波处理，得到初步预重构结果，并作为最小化重构的初始迭代值；此后利用少量压缩值及边信息进行一百次修正迭代，对图像质量补强；最后代入8层的CNN映射网络，获得最终图像。该类算法组合的方案较好的实现了重构质量和重构速度之间的平衡，非关键帧采用BMRCNN预重构、迭代提升质量、CNN网络最终映射的共同重构流程，综合了不同重构模式的自身优势。此外这类组合重构的方式降低了每一层模型的重构难度，也更容易实现，上述组合卷积神经网络(Combinatorial Convolutional Neural Network，CCNN)的整体流程如图6所示。
具体实施例中，以GOP＝2，此时偶数帧x2n均设置为低压缩率非关键帧，奇数帧x2n-1为高压缩率关键帧，yk表示各类图像的压缩矢量，
Figure BDA0002812347200000113
表示第k帧在不同阶段的重构图像，系统将依据不同图像的自身特性进行两类译码，关键帧直接经由上述所提出的BMRCNN网络重构，非关键帧由CCNN组合重构。
此外，将最小化重构问题的近端梯度展开模型，将边信息引入稀疏信号的迭代逼近过程，实现了低维的测量数据与高维的重构视频之间的直接映射。软阈值迭代收缩算法将其展开为下式的近似迭代形式进行求解：
Figure BDA0002812347200000114
其中，k为当前迭代次数，s为稀疏后的原始信号，sk表示当前第k次迭代的重构值，λ为描述边信息与自身压缩值相对准确性的倚重系数，L为
Figure BDA0002812347200000115
的Lipschitz系数上界，
Figure BDA0002812347200000116
表述对函数f求微分，prox为近端判决门限算子，定义为：
Figure BDA0002812347200000121
g为上所述的连续凸函数g(v)＝||v||1+λ||v-w||1。将(5)式带入(6)式，得到：
Figure BDA0002812347200000122
其中，
Figure BDA0002812347200000123
I为单位矩阵；
同样，将g(v)带入(7)式中，得到：
Figure BDA0002812347200000124
其中，
Figure BDA0002812347200000125
对(8)式求偏导，获得取值情况如下：
当wi＞0时，
Figure BDA0002812347200000126
当wi＜0时，
Figure BDA0002812347200000127
将公式(4)展开为递归神经网络形式，以(3)式近端判决门限算子作为非线性激活函数，实现在边信息w的辅助下输入向量y与重构稀疏信号
Figure BDA0002812347200000128
的快速稀疏逼近。在DCVS系统下，递归神经网络网络的展开模型如图7所示.
本发明首先从生成更高质量的边信息角度出发，为非关键帧重构质量的提升提供了可能性。边信息生成算法以VVC/H.266为指导思想，在解码过程中借鉴了目前最新编码标准中的先进技术，采用了灵活准确的编码单元划分方式，并在编码块最优匹配过程中融入运动矢量预测算法，生成质量明显提升。
此外，本发明还提出了改进的高效DCVS重构系统。针对关键帧提出了神经网络提速的解码模型，将经由BM3D去噪器预处理的图像块输入BMRCNN残差映射网络，并结合AMP算法展开，实现了人工设计与数据驱动混合高效重构。非关键帧则在高质量边信息基础上，分别提出提升初始迭代准确度的增强最小化重构算法及网络迭代展开算法。通过神经网络深度挖掘两类不同的图像帧，提出了更合理的图像译码方案。
在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的步骤、方法、装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种步骤、方法、装置所固有的要素。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (7)

1.一种基于分布式压缩视频感知系统的新型重构方法，其特征在于，所述方法包括以下步骤：
(1)在非关键帧译码过程中，根据边信息补偿生成算法获得边信息，包括：
1.1)编码单元最佳划分确立：采用四叉树划分方式将非关键帧划分为互不重叠的若干待重构编码单元，遍历每个待重构编码单元并通过率失真函数确立编码单元最佳划分；
1.2)最优匹配块搜索：对划分好的待重构编码单元进行运动估计，以率失真函数作为判决依据，对待重构编码单元前后距离最近的两帧已重构关键帧相同位置的编码块进行搜索得到最优匹配块，然后建立待重构编码单元与最优匹配块之间的对应关系，将所述对应关系作为运动估计的结果，根据所述运动估计的结果计算相对运动矢量，利用所述相对运动矢量获得当前待重构编码单元的边信息；
1.3)运动矢量获取及补偿：采用空域及时域双重补偿的搜索范围，利用已确立的编码单元最佳划分方式，对同图像帧相邻编码单元或时域相邻图像帧相同位置的编码单元进行补偿，获得相对运动矢量候选列表，得到更准确的最优匹配单元搜索区间；
(2)在关键帧重构过程中，利用残差卷积网络，首先通过BM3D去噪器对关键帧图像进行预处理，对预重构的低分辨率关键帧图像进行全局块匹配，将包含局部自相似信息的补丁块聚合为三维数组，作为残差卷积网络的输入，残差卷积网络采用多滤波器结构；
(3)在非关键帧重构过程中，采用残差卷积网络预重构、l1-l1最小化重构、卷积神经网络映射的重构流程完成非关键帧重构，首先利用残差卷积网络对压缩信号、边信息的残差做滤波处理，得到初步预重构结果；将所述初步预重构结果作为l1-l1最小化重构的初始迭代值，然后利用少量压缩值及边信息进行一百次修正迭代，对图像质量补强；最后代入8层的卷积神经网络映射，获得最终图像。
2.根据权利要求1所述的基于分布式压缩视频感知系统的新型重构方法，其特征在于，所述率失真函数为最小变换域绝对误差和(SATD)，其表达式为：
Figure FDA0002812347190000011
其中，orgval表示当前图像像素点(x，y)的原始信号值，perdval表示当前图像像素点(x，y)的参考帧预测信号值，M和N均表示编码单元的大小，函数T表示对其中变量进行哈德曼矩阵变换并对绝对值之差求和。
3.根据权利要求2所述的基于分布式压缩视频感知系统的新型重构方法，其特征在于，所述绝对误差和(SATD)的大小反映当前待重构编码单元的匹配程度，所述匹配程度与绝对误差和(SATD)的大小呈负相关关系。
4.根据权利要求2所述的基于分布式压缩视频感知系统的新型重构方法，其特征在于，所述编码单元最佳划分确立具体为：
1.1.1)将待重构非关键帧距离最近的已重构关键帧作为补偿帧，划分为128*128大小的大编码单元(Large Coding Units，LCU)，以率失真函数为搜索判据，对待重构非关键帧的编码单元在参考帧进行全匹配搜索，选取绝对误差和(SATD)最小值的编码单元作为最佳匹配单元，并存储当前编码单元划分方式下的绝对误差和(SATD)以及相对运动矢量；
1.1.2)将LCU按四叉树划分方式拆分为4个大小为64×64的子块，每一个编码单元进行最优匹配获取，第一个子块在全局范围搜索，其余子块经由空域和时域双重补偿获取搜索范围，同样以率失真函数绝对误差和(SATD)为判决依据进行最佳匹配，存储每个编码单元最佳匹配下的绝对误差和(SATD)以及相对运动矢量；
1.1.3)将1.1.2)所得的4个64×64编码单元的最佳匹配绝对误差和(SATD)求和，与1.1.1)所得的最佳匹配误差进行比较，若1.1.2)的最佳匹配绝对误差和(SATD)求和值更小，则判定大编码单元采取1.1.2)中的划分方式，存储子块数据并进行后续判定，转入步骤1.1.4)，若1.1.2)的最佳匹配绝对误差和(SATD)求和值更大，则保持当前大编码单元的划分方式，不再进行其他划分判断；
1.1.4)重复步骤(1.1.2)、(1.1.3)的四叉树判定，依次判断编码单元大小是否进一步裂化为32×32、16×16；
1.1.5)对于16×16及更小的编码块，编码单元划分判断与步骤具体过程与步骤1.1.3)一致，确定划分的编码单元同时存储绝对误差和(SATD)以及相对运动矢量；
1.1.6)持续判断划分情况，直到编码单元达到最小值无法划分或各编码单元判定均无需继续划分，即获得当前待重构帧的编码单元最佳划分方式及对应的相对运动矢量。
5.根据权利要求1所述的基于分布式压缩视频感知系统的新型重构方法，其特征在于，通过最优匹配块搜索获得当前待重构编码单元的边信息的具体步骤为：
1.2.1)当GOP(group of pictures，画面组)为N时，在已重构关键帧内找出待重构编码单元Nt相同位置编码块Kt-2、Kt+2；
1.2.2)在第N+1帧中对编码块Kt-2进行最优匹配块获取，得到最优匹配块Kt+2'，记录此时的相对运动矢量(i，j)；
1.2.3)编码单元Nt在后向重构关键帧的相对运动矢量是(i/2，j/2)，以此获得后向匹配块Nt'；
1.2.4)同样，在第1帧中寻找第N+1帧相同位置编码块Kt+2的最优匹配块Kt-2'，记录此时的相对运动矢量(i'，j')，编码单元Nt在前向重构关键帧的相对运动矢量是(i'/2，j'/2)，得到Nt在前向关键帧的匹配块Nt”；
1.2.5)将两次相对运动矢量对应编码块Nt'、Nt”求均值，即获得当前待重构单元的边信息。
6.根据权利要求1所述的基于分布式压缩视频感知系统的新型重构方法，其特征在于，所述残差卷积网络具有22层卷积层，总体深度为46层，由第一层、中间层和最终层三大类构成，第一层有图像输入层、卷积层和线性整流单元层，其中图像输入层对输入图像补丁进行操作，图像输入层后接卷积层，包含64个大小为3×3的滤波器，用于生成64个低水平映射，卷积层后接线性整流单元层；中间层包含20层相互交替的卷积层和线性整流单元层，每层均由64个大小为3×3×64的滤波器组成，每个滤波器在64个通道的3×3空间区域上运行，逐步拟合目标；最终层由卷积层、Dropout层和回归层组成，卷积层带有单个3×3×64大小的滤波器，用于重构图像，Dropout层用于防止训练数据过拟合，最后一层为回归层，用于计算残差图像真实值和网络预测值之间的均方误差。
7.根据权利要求1所述的基于分布式压缩视频感知系统的新型重构方法，其特征在于，融入生成的边信息，所述l1-l1最小化重构初始迭代具体形式如下式：
Figure FDA0002812347190000031
其中，k为当前迭代次数，s为稀疏后的原始信号，sk表示当前第k次迭代的重构值，μ为正则化参数，L为
Figure FDA0002812347190000032
的Lipschitz系数上界，
Figure FDA0002812347190000033
表述对函数f求微分，函数f为：
Figure FDA0002812347190000034
其中，A为传感矩阵，y为压缩信号，prox为近端判决门限算子，定义为：
Figure FDA0002812347190000035
其中，g为连续凸函数g(v)＝||v||1+λ||v-w||1，λ为动态倚重系数，A为传感矩阵，v为信号s中的单个元素，
Figure FDA0002812347190000036
w为生成的边信息，||v||1表示信号的稀疏化，||v-w||1表示重构信号s和边信号的相似程度，将(3)式带入(2)式中，得到：
Figure FDA0002812347190000041
其中，
Figure FDA0002812347190000042
I为单位矩阵；
同样，将g(v)带入(4)式中，得到：
Figure FDA0002812347190000043
其中，
Figure FDA0002812347190000044
此时u随之变化为u＝Wsk+Vy，对(6)式求偏导，获得取值情况如下：
当wi＞0时，
Figure FDA0002812347190000045
当wi＜0时，
Figure FDA0002812347190000046
将公式(5)展开为递归神经网络形式，以(4)式近端判决门限算子作为非线性激活函数，实现在边信息w的辅助下输入向量y与重构信号
Figure FDA0002812347190000047
的快速稀疏逼近，所述重构信号
Figure FDA0002812347190000048
为稀疏后的原始信号s的凸优化重构，为：
Figure FDA0002812347190000049
CN202011401058.9A 2020-12-02 2020-12-02 一种基于分布式压缩视频感知系统的新型重构方法 Active CN112637599B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011401058.9A CN112637599B (zh) 2020-12-02 2020-12-02 一种基于分布式压缩视频感知系统的新型重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011401058.9A CN112637599B (zh) 2020-12-02 2020-12-02 一种基于分布式压缩视频感知系统的新型重构方法

Publications (2)

Publication Number Publication Date
CN112637599A true CN112637599A (zh) 2021-04-09
CN112637599B CN112637599B (zh) 2022-09-06

Family

ID=75307782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011401058.9A Active CN112637599B (zh) 2020-12-02 2020-12-02 一种基于分布式压缩视频感知系统的新型重构方法

Country Status (1)

Country Link
CN (1) CN112637599B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222835A (zh) * 2021-04-22 2021-08-06 海南大学 基于残差网络的遥感全色和多光谱图像分布式融合方法
CN117750021A (zh) * 2024-02-19 2024-03-22 北京铁力山科技股份有限公司 一种视频压缩方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104159112A (zh) * 2014-08-08 2014-11-19 哈尔滨工业大学深圳研究生院 基于双重稀疏模型解码的压缩感知视频传输方法及系统
CN104822063A (zh) * 2015-04-16 2015-08-05 长沙理工大学 一种基于字典学习残差重建的压缩感知视频重建方法
US20150288979A1 (en) * 2012-12-18 2015-10-08 Liu Yang Video frame reconstruction
CN108259916A (zh) * 2018-01-22 2018-07-06 南京邮电大学 一种分布式视频压缩感知中帧内最佳匹配插值重构方法
CN110933429A (zh) * 2019-11-13 2020-03-27 南京邮电大学 基于深度神经网络的视频压缩感知与重构方法和装置
US20200280717A1 (en) * 2019-02-28 2020-09-03 Google Llc Receptive-field-conforming convolution models for video coding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150288979A1 (en) * 2012-12-18 2015-10-08 Liu Yang Video frame reconstruction
CN104159112A (zh) * 2014-08-08 2014-11-19 哈尔滨工业大学深圳研究生院 基于双重稀疏模型解码的压缩感知视频传输方法及系统
CN104822063A (zh) * 2015-04-16 2015-08-05 长沙理工大学 一种基于字典学习残差重建的压缩感知视频重建方法
CN108259916A (zh) * 2018-01-22 2018-07-06 南京邮电大学 一种分布式视频压缩感知中帧内最佳匹配插值重构方法
US20200280717A1 (en) * 2019-02-28 2020-09-03 Google Llc Receptive-field-conforming convolution models for video coding
CN110933429A (zh) * 2019-11-13 2020-03-27 南京邮电大学 基于深度神经网络的视频压缩感知与重构方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
R. ZHANG ET AL.: "High-Performance Distributed Compressive Video Sensing: Jointly Exploiting the HEVC Motion Estimation and the ℓ1–ℓ1 Reconstruction", 《IEEE ACCESS》 *
赵睿思 等: "DCVS系统中基于双稀疏冗余字典的高性能解码方法", 《系统工程与电子技术》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222835A (zh) * 2021-04-22 2021-08-06 海南大学 基于残差网络的遥感全色和多光谱图像分布式融合方法
CN113222835B (zh) * 2021-04-22 2023-04-14 海南大学 基于残差网络的遥感全色和多光谱图像分布式融合方法
CN117750021A (zh) * 2024-02-19 2024-03-22 北京铁力山科技股份有限公司 一种视频压缩方法、装置、计算机设备及存储介质
CN117750021B (zh) * 2024-02-19 2024-04-30 北京铁力山科技股份有限公司 一种视频压缩方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN112637599B (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
WO2019213986A1 (zh) 一种基于多角度自适应帧内预测的点云属性压缩方法
US7643690B2 (en) Image decoding and encoding apparatus, method and computer readable storage medium
CN101540926B (zh) 基于h.264的立体视频编解码方法
CN108259916B (zh) 一种分布式视频压缩感知中帧内最佳匹配插值重构方法
CN112637599B (zh) 一种基于分布式压缩视频感知系统的新型重构方法
CN107027025B (zh) 一种基于宏像素块自适应预测的光场图像压缩方法
CN104539961B (zh) 基于分层结构渐进式字典学习的可分级视频编码系统
CN101980538B (zh) 一种基于分形的双目立体视频压缩编解码方法
CN112734867B (zh) 一种基于空谱特征分离提取的多光谱图像压缩方法及系统
CN111681293B (zh) 一种基于卷积神经网络的sar图像压缩方法
CN113163203B (zh) 深度学习特征压缩和解压缩方法、系统及终端
WO1993021734A1 (en) A coding technique for high definition television signals
CN110392258B (zh) 一种联合时空边信息的分布式多视点视频压缩采样重建方法
CN114449276B (zh) 一种基于学习的超先验边信息补偿图像压缩方法
CN115131675A (zh) 一种基于参考影像纹理迁移的遥感影像压缩方法及系统
CN102316323B (zh) 一种快速的双目立体视频分形压缩与解压缩方法
Kim et al. Efficient deep learning-based lossy image compression via asymmetric autoencoder and pruning
CN110677644B (zh) 一种视频编码、解码方法及视频编码帧内预测器
CN113068041A (zh) 一种智能仿射运动补偿编码方法
CN112601095A (zh) 一种视频亮度和色度分数插值模型的创建方法及系统
Zhao et al. Learned image compression using adaptive block-wise encoding and reconstruction network
CN101389032A (zh) 一种基于图像插值的帧内预测编码方法
CN110392264B (zh) 一种基于神经网络的对齐外插帧方法
CN105704497A (zh) 面向3d-hevc的编码单元尺寸快速选择算法
Wang et al. Uplink-Assist Downlink Remote Sensing Image Compression via Historical Referecing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant