CN111464814B - 一种基于视差引导融合的虚拟参考帧生成方法 - Google Patents

一种基于视差引导融合的虚拟参考帧生成方法 Download PDF

Info

Publication number
CN111464814B
CN111464814B CN202010169654.2A CN202010169654A CN111464814B CN 111464814 B CN111464814 B CN 111464814B CN 202010169654 A CN202010169654 A CN 202010169654A CN 111464814 B CN111464814 B CN 111464814B
Authority
CN
China
Prior art keywords
parallax
reference frame
virtual reference
frame
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010169654.2A
Other languages
English (en)
Other versions
CN111464814A (zh
Inventor
雷建军
张宗千
郑泽勋
石雅南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202010169654.2A priority Critical patent/CN111464814B/zh
Publication of CN111464814A publication Critical patent/CN111464814A/zh
Application granted granted Critical
Publication of CN111464814B publication Critical patent/CN111464814B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于视差引导融合的虚拟参考帧生成方法，所述方法包括以下步骤：构建多级感受野扩张模块提取多尺度深层特征；构建视差注意力融合模块转换多尺度特征之间的视差关系并进行融合；将多级感受野扩张模块与视差注意力融合模块整合进网络框架，搭建出视差引导的生成网络；将视差引导的生成网络嵌入编码框架，生成虚拟参考帧。本发明为当前编码帧提供高质量的参考，从而提高预测的准确度，进而提升编码效率。

Description

一种基于视差引导融合的虚拟参考帧生成方法
技术领域
本发明涉及虚拟参考帧生成领域，尤其涉及一种基于视差引导融合的虚拟参考帧生成方法。
背景技术
多视点视频是一种典型的三维视频表示方法，它通过对同一场景记录多个视点的信息，为用户提供身临其境的体验。但是多视点视频数据量远远大于传统彩色视频，这给多视点视频的存储和传输带来了严峻的挑战。为此，3D-HEVC编码标准引入了很多适用于多视点视频和深度视频的编码工具。
对于多视点视频编码，除了传统的时域帧间预测技术以外，3D-HEVC还采纳了视点间预测技术。在进行预测编码过程中，将来自相邻视点的重建帧添加到当前编码图片的参考图片列表中。在编码当前块时，编码器会搜索参考图片列表中的每一张参考图片，利用率失真优化算法找出最佳匹配块。因此，参考图片列表中图片的质量会直接影响编码效率，提高参考图片的质量是一个值得探索的方向。直接将视点间参考图片添加到参考图片列表中能够有效的提高多视点视频的编码效率。然而，由于相邻视点间的视差关系却没有被充分利用，这使得预测结果仍不够准确。为了进一步提高编码效率，Chen等[1]使用缩放的参考层偏移量来修正视点间参考图片，从而提高预测的准确度，进而提高编码效率；Wong等[2]采用亚采样块匹配技术以较低的复杂度实现了基于水平缩放和裁剪的视差补偿预测，有效的提高了编码效率。
近年来，深度学习技术在计算机视觉和图像处理领域取得了广泛的研究，并取得了显著的成果。受此启发，研究学者也开始将深度学习技术引进到2D视频编码领域，并在帧内预测、帧间预测、环路滤波等方面取得了较高的编码效益。对于帧间预测，Yan等[3]提出一种基于卷积神经网络的分数像素运动补偿方法，利用卷积神经网络实现分数像素插值，有效的提高了编码效率；Zhao等[4]提出一种深度虚拟参考帧生成方法，首先找到与当前编码帧最邻近的两个重建帧，然后通过可分离卷积网络生成一个虚拟参考帧，并以此作为一个额外参考，提高了预测的准确度。
发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：
现有多视点视频编码方法没有充分利用相邻视点之间的视差关系，使得预测编码过程不够准确；现有人工修正视点间参考图片的算法，适用性较差，且容易引入人工伪影，编码性能有待进一步提高；目前利用深度学习技术提升多视点视频编码效率的算法较少，且缺乏一种能够利用视差关系生成虚拟参考帧的深度学习算法。
参考文献
[1]L.Chen,M.M.Hannuksela,and H.Li,“DisparityCompensated Inter-LayerMotion Prediction Using Standardized HEVC Extensions,”in IEEE InternationalSymposium on Circuits and Systems.,pp.2776-2779,2015.
[2]K.M.Wong,L.M.Po,K.W.Cheung,C.W.Ting,K.H.Ng,and X.Xu,“HorizontalScaling and ShearingBased Disparity-Compensated Prediction for Stereo VideoCoding,”IEEE Trans.Circuits Syst.Video Technol.,vol.22,no.12,pp.1457-1470,June.2012.
[3]N.Yan,D.Liu,H.Li,B.Li,L.Li and F.Wu,“Convolutional Neural Network-Based Fractional-Pixel Motion Compensation,”IEEE Trans.Circuits Syst.VideoTechnol.,vol.29,no.3,pp.840-853,March 2019.
[4]L.Zhao,S.Wang,X.Zhang,S.Wang,S.Ma and W.Gao,“Enhanced Motion-Compensated Video Coding with Deep Virtual Reference Frame Generation,”IEEETrans.Image Process.,vol.28,no.10,pp.4832-4844,Oct.2019.
发明内容
本发明提供了一种基于视差引导融合的虚拟参考帧生成方法，本发明通过充分利用相邻视点之间的视差关系，设计一种视差引导的智能生成模型来学习和转换视差，并生成一个高质量的虚拟参考帧，为当前编码帧提供高质量的参考，从而提高预测的准确度，进而提升编码效率，详见下文描述：
一种基于视差引导融合的虚拟参考帧生成方法，所述方法包括以下步骤：
构建多级感受野扩张模块提取多尺度深层特征；
构建视差注意力融合模块转换多尺度特征之间的视差关系并进行融合；
将多级感受野扩张模块与视差注意力融合模块整合进网络框架，搭建出视差引导的生成网络；
将视差引导的生成网络嵌入编码框架，生成虚拟参考帧。
其中，所述多级感受野扩张模块具体为：
多级感受野扩张模块是一个多分支的结构，在每一分支中，将普通的卷积核与相应扩张率的空洞卷积相结合以模拟人类的视觉系统；
使用四种不同尺度的卷积核和四种对应扩张率的空洞卷积，将模块的输入特征与各分支得到的特征进行级联，之后再通过一个卷积层进行降维得到输出特征。
进一步地，所述视差注意力融合模块具体为：
利用视差注意力机制计算两个输入图像中每个像素之间的对应关系，形成一个视差注意力图，再利用视差注意力图对视点间参考帧的特征进行视差偏移；
利用两个残差单元进行特征融合，每个残差单元由两个卷积层、一个非线性激活层以及一个跳步连接组成；
所述将多级感受野扩张模块与视差注意力融合模块整合进网络框架，搭建出视差引导的生成网络具体为：
将时域虚拟参考帧和视点间参考帧送入网络的特征提取部分分别提取特征，生成网络的特征提取部分包含两个相同的分支，以参数共享的方式提取特征；
在每一分支中，利用两个卷积层来提取浅层特征，通过两个多级感受野扩张模块来提取多尺度深层特征，并通过一个跳步连接将浅层特征与深层特征融合；
利用视差注意力融合模块来转换特征之间的视差关系并进行特征融合。
将时域虚拟参考帧的浅层特征加到视差注意力融合模块的输出上，再通过两个卷积层从融合特征重建出高质量虚拟参考帧。
其中，所述方法使用均方误差函数最小化重建帧与原始帧之间的差异；使用光度损失、平滑损失和循环一致损失约束网络中间部分模块，获取最终的损失函数。
所述将视差引导的生成网络嵌入编码框架，生成虚拟参考帧具体为：
找到当前编码帧的时域最邻近两帧并将其送入可分离卷积网络生成时域虚拟参考帧，然后将该时域虚拟参考帧和视点间参考帧送入视差引导的生成网络，生成一个最新的虚拟参考帧，将最新的虚拟参考帧插入到参考图片列表0和参考图片列表1的末端，作为参考。
本发明提供的技术方案的有益效果是：
1、本发明生成了一个较高质量的参考帧，相比于其他方法，本发明生成的参考帧有更清晰的纹理和边缘；
2、本发明有效的提高了视点间预测编码的准确度，减少了编码比特，更加有利于多视点视频的存储和传输；
3、本发明能够有效减少视频的压缩失真，提高压缩视频的质量。
附图说明
图1为一种基于视差引导融合的虚拟参考帧生成方法的流程图；
图2为不同方法的可视化结果示意图；
图3为视差引导的生成网络流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
实施例1
本发明提出了一种基于视差引导融合的虚拟参考帧生成方法，搭建了一个视差引导的生成网络，利用卷积神经网络的学习特性，学习和转换相邻视点间的视差关系并生成一个高质量的虚拟参考帧，为当前编码帧提供一个高质量参考，提高了预测的准确度，进而提升了编码效率。整个流程分为四步：1)多级感受野扩张；2)视差注意力融合；3)视差引导的生成网络框架整合；4)嵌入编码框架。具体实现步骤如下：
一、多级感受野扩张
具有丰富信息的特征表达对于图像重建任务至关重要。考虑到多尺度特征学习和多级感受野扩张都有助于获得有效的特征表达，本发明设计了一个多级感受野扩张模块来扩大感受野并提取多尺度深层特征。
多级感受野扩张模块是一个多分支的结构。在每一分支中，将普通的卷积核与相应扩张率的空洞卷积相结合以模拟人类的视觉系统。本发明使用了四种不同尺度的卷积核，分别为1×1、3×3、5×5、7×7。所对应的空洞卷积的扩张率分别为1、3、5、7，空洞卷积的卷积核大小固定为3×3。此外，为了更好的保留特征的低频信息，将该模块的输入特征与各分支得到的特征进行级联，之后再通过一个卷积层进行降维得到输出特征。
二、视差注意力融合
时域虚拟参考帧和视点间参考帧之间存在着明确的视差关系，如果忽略这种视差关系并直接将两图像的特征进行融合，会导致这两种特征不能很好的匹配，也就不能有效的实现信息互补。因此，本发明设计了一个视差注意力融合模块来转换视差关系并融合两特征重建出高质量虚拟参考帧。
首先，本发明使用了一个PAM(视差注意力模块)来学习和转换视差关系。该模块利用视差注意力机制来计算两个输入图像中每个像素之间的对应关系，从而形成一个视差注意力图，再利用该视差注意力图对视点间参考帧的特征进行视差偏移。通过这种方式，视点间参考帧能够提供与时域虚拟参考帧相匹配的更加准确的信息。然后，利用两个残差单元进行特征融合。每个残差单元由两个卷积层、一个非线性激活层以及一个跳步连接组成。
三、视差引导的生成网络框架整合
本发明考虑到相邻视点之间的图像具有高度相似性，视点间参考帧能够为时域虚拟参考帧提供更多有价值的信息以增强其质量，提出了一个视差引导的生成网络来获得高质量的虚拟参考帧。
图3给出了视差引导的生成网络流程图。该网络共有两个输入，分别为时域虚拟参考帧和视点间参考帧，它们都包含一定程度的压缩失真。将这两个参考帧送入网络的特征提取部分分别提取特征。视差引导的生成网络的特征提取部分包含两个相同的分支，以参数共享的方式提取特征。在每一分支中，首先利用两个卷积层来提取浅层特征，然后通过两个多级感受野扩张模块来提取多尺度深层特征，并通过一个跳步连接将浅层特征与深层特征融合。在得到两分支的特征之后，利用一个视差注意力融合模块来转换特征之间的视差关系并进行特征融合。
此外，为了使网络更加关注时域虚拟参考帧，时域虚拟参考帧的浅层特征也被加到了视差注意力融合模块的输出上。最后，通过两个卷积层利用融合特征重建出高质量虚拟参考帧。本发明使用均方误差函数来最小化重建帧与原始帧之间的差异。损失函数可表示为：
Figure BDA0002408742320000051
其中，Lrec表示网络的重建损失函数，i表示像素点的索引，N表示图像中像素点的总个数，Fori(i)和Frec(i)分别表示原始图像和重建图像中第i个像素点的像素值。
另外，本发明还使用三个额外的损失函数来约束PAM，分别为光度损失、平滑损失和循环一致损失，在此将其整合表示为Lpam，网络最终的损失函数可表示为：
L＝Lrec+λLpam (2)
其中，λ表示不同损失函数之间的权重参数，此处设置为0.005。
其中，光度损失、平滑损失和循环一致损失均为本领域技术人员所公知的技术术语，本发明实施例对此不做赘述。
四、嵌入编码框架
本发明使用3D-HEVC参考软件HTM16.2，将网络模型与编码框架相整合。3D-HEVC采用多参考帧的管理策略来提高预测的准确度，在进行帧间预测编码过程中，多个已编码重建帧(不仅包括时域参考帧还包括视点间参考帧)会被存入参考图片列表。
在编码过程中，首先找到当前编码帧的时域最邻近两帧并将其送入可分离卷积网络生成时域虚拟参考帧，然后将该时域虚拟参考帧和视点间参考帧送入视差引导的生成网络，生成一个最新的虚拟参考帧(该虚拟参考帧的生成质量相对较高)。最后将最新的虚拟参考帧插入到参考图片列表0和参考图片列表1的末端，作为一个额外的参考。
本发明基于分层B帧的编码结构，所设计的模型能够适用于所有具有时域前向参考帧和后向参考帧的B帧。另外，由于本发明旨在提升视点间预测编码的效率，因此所设计的基于视差引导的生成网络只适用于非基础视点。
其中，上述参考图片列表0、参考图片列表1、前向参考帧、后向参考帧、B帧以及非基础视点均为本领域的公知技术术语，本发明实施例对此不做赘述。
实施例2
下面结合具体的实验对本发明实施例提供的方法进行可行性验证，详见下文描述：
本发明将Zhao等人在2D视频编码领域使用可分离卷积网络生成虚拟参考帧的方法移植到了HTM16.2平台，并与本发明所提方法进行了对比。相比于3D-HEVC基线，本发明能够实现平均5.31％的比特节省，Zhao的方法能够实现平均3.77％的比特节省。相比于Zhao的方法，本发明能够实现额外的1.54％的比特节省，说明本发明所提方法能够很好的适用于多视点视频编码。为了更直观了验证本发明所提方法的有效性，图2给出了不同方法生成虚拟参考帧的可视化结果。从图2中可以看出，相比于Zhao的方法，本发明所提方法生成的虚拟参考帧具有更清晰的纹理和边缘，生成质量较高。
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于视差引导融合的虚拟参考帧生成方法，其特征在于，所述方法包括以下步骤：
构建多级感受野扩张模块提取多尺度深层特征；
构建视差注意力融合模块转换多尺度特征之间的视差关系并进行融合；
将多级感受野扩张模块与视差注意力融合模块整合进网络框架，搭建出视差引导的生成网络；
将视差引导的生成网络嵌入3D编码框架，生成虚拟参考帧；
其中，所述多级感受野扩张模块具体为：
多级感受野扩张模块是一个多分支的结构，在每一分支中，将普通的卷积核与相应扩张率的空洞卷积相结合以模拟人类的视觉系统；
使用四种不同尺度的卷积核1×1、3×3、5×5、7×7和四种对应扩张率1、3、5、7的空洞卷积，空洞卷积的卷积核大小固定为3×3，将模块的输入特征与各分支得到的特征进行级联，之后再通过一个卷积层进行降维得到输出特征；
所述将多级感受野扩张模块与视差注意力融合模块整合进网络框架，搭建出视差引导的生成网络具体为：
将时域虚拟参考帧和视点间参考帧送入网络的特征提取部分分别提取特征，生成网络的特征提取部分包含两个相同的分支，以参数共享的方式提取特征；
在每一分支中，利用两个卷积层来提取浅层特征，通过两个多级感受野扩张模块来提取多尺度深层特征，并通过一个跳步连接将浅层特征与深层特征融合；
利用视差注意力融合模块来转换特征之间的视差关系并进行特征融合；
将时域虚拟参考帧的浅层特征加到视差注意力融合模块的输出上，再通过两个卷积层从融合特征重建出高质量虚拟参考帧；
所述将视差引导的生成网络嵌入3D编码框架，生成虚拟参考帧，具体为：
找到当前编码帧的时域最邻近两帧并将其送入可分离卷积网络生成时域虚拟参考帧，然后将该时域虚拟参考帧和视点间参考帧送入视差引导的生成网络，生成一个最新的虚拟参考帧，将最新的虚拟参考帧插入到参考图片列表0和参考图片列表1的末端，作为参考。
2.根据权利要求1所述的一种基于视差引导融合的虚拟参考帧生成方法，其特征在于，所述视差注意力融合模块具体为：
利用视差注意力机制计算两个输入图像中每个像素之间的对应关系，形成一个视差注意力图，再利用视差注意力图对视点间参考帧的特征进行视差偏移；
利用两个残差单元进行特征融合，每个残差单元由两个卷积层、一个非线性激活层以及一个跳步连接组成。
3.根据权利要求1所述的一种基于视差引导融合的虚拟参考帧生成方法，其特征在于，所述方法使用均方误差函数最小化重建帧与原始帧之间的差异；
使用光度损失、平滑损失和循环一致损失约束网络中间部分模块，获取最终的损失函数。
CN202010169654.2A 2020-03-12 2020-03-12 一种基于视差引导融合的虚拟参考帧生成方法 Active CN111464814B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010169654.2A CN111464814B (zh) 2020-03-12 2020-03-12 一种基于视差引导融合的虚拟参考帧生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010169654.2A CN111464814B (zh) 2020-03-12 2020-03-12 一种基于视差引导融合的虚拟参考帧生成方法

Publications (2)

Publication Number Publication Date
CN111464814A CN111464814A (zh) 2020-07-28
CN111464814B true CN111464814B (zh) 2022-01-04

Family

ID=71682840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010169654.2A Active CN111464814B (zh) 2020-03-12 2020-03-12 一种基于视差引导融合的虚拟参考帧生成方法

Country Status (1)

Country Link
CN (1) CN111464814B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112468826B (zh) * 2020-10-15 2021-09-24 山东大学 一种基于多层gan的vvc环路滤波方法及系统
CN112929629B (zh) * 2021-02-03 2021-12-07 天津大学 一种智能虚拟参考帧生成方法
CN112949453B (zh) * 2021-02-26 2023-12-26 南京恩博科技有限公司 烟火检测模型的训练方法、烟火检测方法及设备
CN113891027B (zh) * 2021-12-06 2022-03-15 深圳思谋信息科技有限公司 视频插帧模型训练方法、装置、计算机设备和存储介质
CN115689965B (zh) * 2022-12-30 2023-03-21 武汉大学 面向整景卫星影像深度学习密集匹配的多级视差融合方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537837A (zh) * 2018-04-04 2018-09-14 腾讯科技（深圳）有限公司 一种深度信息确定的方法及相关装置
CN109903228A (zh) * 2019-02-28 2019-06-18 合肥工业大学 一种基于卷积神经网络的图像超分辨率重建方法
CN109919838A (zh) * 2019-01-17 2019-06-21 华南理工大学 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法
CN110020606A (zh) * 2019-03-13 2019-07-16 北京工业大学 一种基于多尺度卷积神经网络的人群密度估计方法
CN110070489A (zh) * 2019-04-30 2019-07-30 中国人民解放军国防科技大学 一种基于视差注意力机制的双目图像超分辨方法
CN110557646A (zh) * 2019-08-21 2019-12-10 天津大学 一种智能视点间的编码方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4250638B2 (ja) * 2006-06-30 2009-04-08 株式会社東芝 動画像符号化装置及びその方法
US10841577B2 (en) * 2018-02-08 2020-11-17 Electronics And Telecommunications Research Institute Method and apparatus for video encoding and video decoding based on neural network

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537837A (zh) * 2018-04-04 2018-09-14 腾讯科技（深圳）有限公司 一种深度信息确定的方法及相关装置
CN109919838A (zh) * 2019-01-17 2019-06-21 华南理工大学 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法
CN109903228A (zh) * 2019-02-28 2019-06-18 合肥工业大学 一种基于卷积神经网络的图像超分辨率重建方法
CN110020606A (zh) * 2019-03-13 2019-07-16 北京工业大学 一种基于多尺度卷积神经网络的人群密度估计方法
CN110070489A (zh) * 2019-04-30 2019-07-30 中国人民解放军国防科技大学 一种基于视差注意力机制的双目图像超分辨方法
CN110557646A (zh) * 2019-08-21 2019-12-10 天津大学 一种智能视点间的编码方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Enhanced Motion-Compensated Video Coding With Deep Virtual Reference Frame Generation;Lei Zhao等;《IEEE Transactions on Image Processing》;20191031;第28卷(第10期);第4832-4844页 *

Also Published As

Publication number Publication date
CN111464814A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN111464814B (zh) 一种基于视差引导融合的虚拟参考帧生成方法
CN107396124B (zh) 基于深度神经网络的视频压缩方法
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
CN100563340C (zh) 基于深度图像渲染的多通道视频流编码器和解码器
CN108259916B (zh) 一种分布式视频压缩感知中帧内最佳匹配插值重构方法
CN102970529B (zh) 一种基于对象的多视点视频分形编码压缩与解压缩方法
CN102291579B (zh) 一种快速的多目立体视频分形压缩与解压缩方法
CN112767253B (zh) 一种多尺度特征融合的双目图像超分辨率重建方法
CN110557646B (zh) 一种智能视点间的编码方法
CN104202612B (zh) 基于四叉树约束的编码单元的划分方法及视频编码方法
CN102685532A (zh) 自由视点四维空间视频编码系统的编码方法
CN113068031B (zh) 一种基于深度学习的环路滤波方法
Gu et al. Fast bi-partition mode selection for 3D HEVC depth intra coding
CN102801997A (zh) 基于感兴趣深度的立体图像压缩方法
CN101557534B (zh) 一种从视频相近帧中生成视差图的方法
CN103873867B (zh) 自由视点视频深度图失真预测方法和编码方法
CN112929629B (zh) 一种智能虚拟参考帧生成方法
CN101980536B (zh) 一种基于对象和分形的多目立体视频压缩编解码方法
Saldanha et al. Solutions for DMM-1 complexity reduction in 3D-HEVC based on gradient calculation
CN111669601B (zh) 一种3d视频智能多域联合预测编码方法及装置
CN113068041A (zh) 一种智能仿射运动补偿编码方法
Sanchez et al. A real-time 5-views HD 1080p architecture for 3D-HEVC depth modeling mode 4
CN101980539A (zh) 一种基于分形的多目立体视频压缩编解码方法
CN102263953B (zh) 一种基于对象的快速多目立体视频分形压缩与解压缩方法
WO2022126331A1 (zh) 一种解码方法、视点间预测方法、解码器和编码器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant