CN112929629A - 一种智能虚拟参考帧生成方法 - Google Patents

一种智能虚拟参考帧生成方法 Download PDF

Info

Publication number
CN112929629A
CN112929629A CN202110152090.6A CN202110152090A CN112929629A CN 112929629 A CN112929629 A CN 112929629A CN 202110152090 A CN202110152090 A CN 202110152090A CN 112929629 A CN112929629 A CN 112929629A
Authority
CN
China
Prior art keywords
reference frame
virtual reference
inter
viewpoint
time domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110152090.6A
Other languages
English (en)
Other versions
CN112929629B (zh
Inventor
雷建军
刘祥瑞
张宗千
潘兆庆
彭勃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202110152090.6A priority Critical patent/CN112929629B/zh
Publication of CN112929629A publication Critical patent/CN112929629A/zh
Application granted granted Critical
Publication of CN112929629B publication Critical patent/CN112929629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种智能虚拟参考帧生成方法，所述方法包括以下步骤：对时域虚拟参考帧和视点间参考帧的特征，利用基于视点合成的对齐步骤学习视差关系，根据视差关系将视点间参考帧与时域虚拟参考帧对齐，生成偏移后的视点间参考帧；对时域虚拟参考帧和偏移后的视点间参考帧，融合两者之间的互补信息生成一个高质量的虚拟参考帧；构建基于视点合成的虚拟参考帧生成网络，采用两个MSE损失函数来约束生成网络的训练。本发明为当前编码帧提供高质量的参考，从而提高预测的准确度，进而了提升编码效率。

Description

一种智能虚拟参考帧生成方法
技术领域
本发明涉及3D视频编码、深度学习领域，尤其涉及一种智能虚拟参考帧生成方法。
背景技术
多视点视频是一种典型的三维视频表示形式，能够为观众提供身临其境的立体感。为了提高多视点视频的压缩效率，国际标准组织JCT-VC推出了多视点加深度视频编码标准3D-HEVC。对于多视点视频编码，3D-HEVC不仅沿用了HEVC(高效视频编码)的编码技术来消除同一视点内的时域冗余和空域冗余，还引入了多种视点间编码技术来消除视点间冗余，有效地提升了整体的编码效率。
多视点视频的数据量远远大于2D视频，这给存储和传输带来了巨大的挑战。为此，国内外研究学者致力于对多视点视频编码的研究。Lukacs等人较早提出了视差补偿的观点，通过建立不同视点图像中相应区域的对应关系，利用已编码的独立视点预测非独立视点。Zhang等人提出一种从当前编码块的空时域相邻块来获取当前编码块视差矢量的方法。此外，一些研究学者也从生成参考帧的角度开展了研究。Yamamoto等人提出一种利用视点插值获取视点间预测参考的方法。Chen等人提出了一种基于缩放参考层偏移的视差补偿预测方法。
近年来，深度学习技术成为一个新的研究热点，国内外研究学者也开始将深度学习技术引入到视频编码领域，在帧内预测、帧间预测、环路滤波等方面都取得了较高的编码增益。Li等人设计了一个基于全连接网络的帧内预测模型，以端到端学习的方式生成预测块。Yan等人将分数像素运动补偿过程视为帧间回归问题，并提出了一个分数像素参考生成网络，有效地提高了编码效率。Zhao等人使用自适应可分离卷积，根据当前待编码帧的参考帧生成一个虚拟中间帧，并以此作为一个额外参考，提高了预测的准确度。Zhang等人提出了一个深层残差高速卷积神经网络(RHCNN)，不仅提高了重建帧的峰值信噪比，而且显著降低了码率。
发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：
与深度学习在2D视频编码领域的成功应用相比，目前仍缺乏基于深度学习技术的多视点视频编码方法；3D-HEVC现有的视点间预测编码工具未充分利用相邻视点间的视差关系，编码效率仍有待进一步提高。
发明内容
本发明提供了一种智能虚拟参考帧生成方法，本发明充分利用相邻视点间的视差关系，设计一种基于视点合成的智能生成模型来学习和生成视差图，并利用视差图对视点间参考帧进行时域对齐并与时域虚拟参考帧融合，最终生成一个高质量的虚拟参考帧，为当前编码帧提供高质量的参考，从而提高预测的准确度，进而提升编码效率，详见下文描述：
一种智能虚拟参考帧生成方法，所述方法包括以下步骤：
1)对时域虚拟参考帧和视点间参考帧的特征，利用基于视点合成的对齐步骤学习视差关系，根据视差关系将视点间参考帧与时域虚拟参考帧对齐，生成偏移后的视点间参考帧；
2)对时域虚拟参考帧和偏移后的视点间参考帧，融合两者之间的互补信息生成一个高质量的虚拟参考帧；
3)构建基于视点合成的虚拟参考帧生成网络，采用两个MSE损失函数来约束生成网络的训练。
其中，所述步骤1)具体为：
将时域虚拟参考帧Ft的特征与其对应的视点间参考帧Fiv的特征fiv在每个视差级上进行级联，形成一个4维的代价体积，构造3D卷积神经网络沿着空间维度和视差维度聚合代价体积，并估计出视差图d；
根据视差图将视点间参考帧Fiv中的像素点映射到与时域虚拟参考帧Ft中的像素点对齐的位置，生成一个偏移后的视点间参考帧F′iv：
F′iv＝w(Fiv,d)
其中，w(·)表示映射操作。
其中，所述步骤2)具体为：
使用自编码器结构，将特征图分别下采样和上采样学习不同尺度的信息表达，融合重建，将同一尺度下的浅层特征与深层特征相加。
其中，所述步骤3)具体为：
合成损失Lsyn用于约束视差对齐使偏移后的视点间参考帧F′iv中的像素与原始帧Fori中的像素对齐；
重建损失Lrec用于约束虚拟参考帧生成网络的输出，使生成的虚拟参考帧Fvrf更接近于原始帧Fori。
进一步地，所述合成损失Lsyn为：
Figure BDA0002931914280000031
其中，N是一幅图像中像素点总数，Fori(j)和Fiv(j)分别表示原始帧中第j个像素值和偏移后的视点间参考帧中第j个像素值。
进一步地，所述重建损失Lrec为：
Figure BDA0002931914280000032
其中，Fvrf(j)表示虚拟参考帧中第j个像素值。
本发明提供的技术方案的有益效果是：
1、本发明生成了一个较高质量的参考帧，通过学习时域虚拟参考帧与视点间参考帧之间的视差关系，并将其转换成视差图，再根据视差图对视点间参考帧进行视差偏移，使其与时域虚拟参考帧对齐，进而重建出一个高质量虚拟参考帧，为预测编码过程提供参考；
2、本发明有效的提高了视点间预测编码的准确度，减少了编码比特，更加有利于多视点视频的存储和传输；
3、本发明能够有效减少视频的压缩失真，提高压缩视频的质量。
附图说明
图1为一种智能虚拟参考帧生成方法的流程图；
图2为参考帧特征提取过程的流程图；
图3为融合重建虚拟参考帧过程的流程图；
图4为基于视点合成的虚拟参考帧生成网络的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
本发明实施例提供了一种智能虚拟参考帧生成方法，搭建了一个基于视点合成的虚拟参考帧生成网络，生成一个高质量的虚拟参考帧并为当前编码帧提供一个高质量参考，提高了预测的准确度，进而提升了编码效率。方法流程参见图1，该方法包括以下步骤：
一、特征提取
将时域虚拟参考帧Ft和视点间参考帧Fiv作为虚拟参考帧生成网络的输入，使用两个参数共享的相同支路分别提取它们的特征ft,fiv，提取过程参见图2。在每一支路中，首先使用两个普通卷积层提取输入图像的浅层特征，然后使用两个级联的多级感受野模块扩大感受野并提取多尺度的深层特征，最后利用跳步连接将浅层特征与深层特征融合。
其中，多级感受野模块是一个多分支的结构，在每一分支中，将普通的卷积核与相应扩张率的空洞卷积相结合。本发明实施例使用了四种不同尺度的卷积核，分别为1×1、3×3、5×5、7×7。所对应的空洞卷积的扩张率分别为1、3、5、7，空洞卷积的卷积核大小固定为3×3。
二、基于视点合成的对齐
对于时域虚拟参考帧Ft和视点间参考帧Fiv的特征，利用基于视点合成的对齐步骤学习视差关系，并根据视差关系将视点间参考帧Fiv与时域虚拟参考帧Ft对齐。
首先，将时域虚拟参考帧Ft的特征与其对应的视点间参考帧Fiv的特征fiv在每个视差级上进行级联，形成一个4维(长×宽×高×视差)的代价体积(Cost Volume)。然后，利用3D卷积构造3D CNN(3D卷积神经网络)沿着空间维度和视差维度聚合代价体积，并估计出视差图d。
最后，利用视点合成思想，根据视差图将视点间参考帧Fiv中的像素点映射到与时域虚拟参考帧Ft中的像素点对齐的位置，从而生成一个偏移后的视点间参考帧F′iv。该映射过程可以表示为：
F′iv＝w(Fiv,d) (1)
其中，w(·)表示映射操作。
三、融合重建虚拟参考帧
对于时域虚拟参考帧Ft和偏移后的视点间参考帧F′iv，融合两者之间的互补信息并生成一个高质量的虚拟参考帧Fvrf。融合重建步骤使用自编码器结构，将特征图分别下采样和上采样三次以学习不同尺度的信息表达，融合重建过程参加图3。此处的下采样操作采用平均池化的方式实现，上采样操作采用双线性插值的方式实现。
此外，为了尽可能多的提取输入图像的低频和高频信息，该模块将同一尺度下的浅层特征与深层特征相加。融合重建模块中的所有卷积层均采用3×3大小的卷积核。
四、生成网络整合并嵌入编码框架
本发明实施例考虑到视频序列的时域相关性和视点域相关性，提出了一个基于视点合成的生成网络来获得高质量的虚拟参考帧，为帧间预测提供更高质量的参考。
图4给出了基于视点合成的虚拟参考帧生成网络流程图。该生成网络共有两个输入，分别为时域虚拟参考帧Ft和视点间参考帧Fiv，将这两个参考帧送入生成网络的特征提取部分分别提取特征，然后使用一个基于视点合成的对齐操作计算视差关系并进行特征融合，最后使用自编码器结构(为深度学习领域中惯用的网络结构)根据融合特征重建出高质量的虚拟参考帧。
与原始帧较为相似的高质量虚拟参考帧能够提高预测编码的准确度，进而提高编码效率，为了保证虚拟参考帧的重建质量，本发明实施例将MSE(均方误差)损失作为虚拟参考帧生成网络的损失函数的主要形式，采用两个MSE损失函数来约束生成网络的训练，分别为合成损失Lsyn和重建损失Lrec。
其中，Lsyn用来约束视差对齐使偏移后的视点间参考帧F′iv中的像素与原始帧Fori中的像素对齐，Lsyn可表示为：
Figure BDA0002931914280000051
其中，N是一幅图像中像素点总数，Fori(j)和Fiv(j)分别表示原始帧中第j个像素值和偏移后的视点间参考帧中第j个像素值。
其中，Lrec用来约束虚拟参考帧生成网络的输出，使生成的虚拟参考帧Fvrf更加接近于原始帧Fori。Lrec可表示为：
Figure BDA0002931914280000052
其中，Fvrf(j)表示虚拟参考帧中第j个像素值。
总的损失函数可表示为：L＝Lrec+βLsyn (4)
其中，β表示控制不同损失之间权重的超参数。
本发明实施例使用该损失函数训练完成的网络模型嵌入到3D-HEVC参考软件HTM16.2编码平台中。
在编码过程中，首先根据编码平台提供的时域参考帧，利用可分离卷积网络生成时域虚拟参考帧，然后将时域虚拟参考帧和视点间参考帧送入基于视点合成的虚拟参考帧生成网络，生成一个高质量的虚拟参考帧，最后将该虚拟参考帧送入编码平台作为一个额外的参考。
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种智能虚拟参考帧生成方法，其特征在于，所述方法包括以下步骤：
1)对时域虚拟参考帧和视点间参考帧的特征，利用基于视点合成的对齐步骤学习视差关系，根据视差关系将视点间参考帧与时域虚拟参考帧对齐，生成偏移后的视点间参考帧；
2)对时域虚拟参考帧和偏移后的视点间参考帧，融合两者之间的互补信息生成一个高质量的虚拟参考帧；
3)构建基于视点合成的虚拟参考帧生成网络，采用两个MSE损失函数来约束生成网络的训练。
2.根据权利要求1所述的一种智能虚拟参考帧生成方法，其特征在于，所述步骤1)具体为：
将时域虚拟参考帧Ft的特征与其对应的视点间参考帧Fiv的特征fiv在每个视差级上进行级联，形成一个4维的代价体积，构造3D卷积神经网络沿着空间维度和视差维度聚合代价体积，并估计出视差图d；
根据视差图将视点间参考帧Fiv中的像素点映射到与时域虚拟参考帧Ft中的像素点对齐的位置，生成一个偏移后的视点间参考帧F'iv：
F'iv＝w(Fiv,d)
其中，w(·)表示映射操作。
3.根据权利要求1所述的一种智能虚拟参考帧生成方法，其特征在于，所述步骤2)具体为：
使用自编码器结构，将特征图分别下采样和上采样学习不同尺度的信息表达，融合重建，将同一尺度下的浅层特征与深层特征相加。
4.根据权利要求1所述的一种智能虚拟参考帧生成方法，其特征在于，所述步骤3)具体为：
合成损失Lsyn用于约束视差对齐使偏移后的视点间参考帧F'iv中的像素与原始帧Fori中的像素对齐；
重建损失Lrec用于约束虚拟参考帧生成网络的输出，使生成的虚拟参考帧Fvrf更接近于原始帧Fori。
5.根据权利要求4所述的一种智能虚拟参考帧生成方法，其特征在于，所述合成损失Lsyn为：
Figure FDA0002931914270000021
其中，N是一幅图像中像素点总数，Fori(j)和Fiv(j)分别表示原始帧中第j个像素值和偏移后的视点间参考帧中第j个像素值。
6.根据权利要求5所述的一种智能虚拟参考帧生成方法，其特征在于，所述重建损失Lrec为：
Figure FDA0002931914270000022
其中，Fvrf(j)表示虚拟参考帧中第j个像素值。
CN202110152090.6A 2021-02-03 2021-02-03 一种智能虚拟参考帧生成方法 Active CN112929629B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110152090.6A CN112929629B (zh) 2021-02-03 2021-02-03 一种智能虚拟参考帧生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110152090.6A CN112929629B (zh) 2021-02-03 2021-02-03 一种智能虚拟参考帧生成方法

Publications (2)

Publication Number Publication Date
CN112929629A true CN112929629A (zh) 2021-06-08
CN112929629B CN112929629B (zh) 2021-12-07

Family

ID=76170160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110152090.6A Active CN112929629B (zh) 2021-02-03 2021-02-03 一种智能虚拟参考帧生成方法

Country Status (1)

Country Link
CN (1) CN112929629B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359784A (zh) * 2021-12-03 2022-04-15 湖南财政经济学院 一种面向视频压缩的人眼恰可察觉失真的预测方法及系统
CN114697632A (zh) * 2022-03-28 2022-07-01 天津大学 一种基于双向条件编码的端到端立体图像压缩方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102790895A (zh) * 2012-07-30 2012-11-21 武汉大学 一种基于最小二乘的多视点视频编码视点合成预测方法
CN103297778A (zh) * 2013-05-27 2013-09-11 华为技术有限公司 一种对图像进行编、解码的方法及设备
KR20160087207A (ko) * 2015-01-13 2016-07-21 인텔렉추얼디스커버리 주식회사 다시점 영상의 부호화/복호화 방법 및 장치
WO2017212720A1 (ja) * 2016-06-08 2017-12-14 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
CN111464814A (zh) * 2020-03-12 2020-07-28 天津大学 一种基于视差引导融合的虚拟参考帧生成方法
CN111967310A (zh) * 2020-07-03 2020-11-20 上海交通大学 一种联合注意力机制的时空特征聚合方法及系统、终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102790895A (zh) * 2012-07-30 2012-11-21 武汉大学 一种基于最小二乘的多视点视频编码视点合成预测方法
CN103297778A (zh) * 2013-05-27 2013-09-11 华为技术有限公司 一种对图像进行编、解码的方法及设备
KR20160087207A (ko) * 2015-01-13 2016-07-21 인텔렉추얼디스커버리 주식회사 다시점 영상의 부호화/복호화 방법 및 장치
WO2017212720A1 (ja) * 2016-06-08 2017-12-14 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
CN111464814A (zh) * 2020-03-12 2020-07-28 天津大学 一种基于视差引导融合的虚拟参考帧生成方法
CN111967310A (zh) * 2020-07-03 2020-11-20 上海交通大学 一种联合注意力机制的时空特征聚合方法及系统、终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LEI ZHAO: "Enhanced Motion-Compensated Video Coding With Deep Virtual Reference Frame Generation", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
丁丹丹: "联合时域虚拟帧的多帧视频质量增强方法", 《计算机辅助设计与图形学学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359784A (zh) * 2021-12-03 2022-04-15 湖南财政经济学院 一种面向视频压缩的人眼恰可察觉失真的预测方法及系统
CN114697632A (zh) * 2022-03-28 2022-07-01 天津大学 一种基于双向条件编码的端到端立体图像压缩方法及装置
CN114697632B (zh) * 2022-03-28 2023-12-26 天津大学 一种基于双向条件编码的端到端立体图像压缩方法及装置

Also Published As

Publication number Publication date
CN112929629B (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN111464814B (zh) 一种基于视差引导融合的虚拟参考帧生成方法
CN101668205B (zh) 基于残差宏块自适应下采样立体视频压缩编码方法
CN112929629B (zh) 一种智能虚拟参考帧生成方法
CN101729892B (zh) 一种非对称立体视频编码方法
CN102970529B (zh) 一种基于对象的多视点视频分形编码压缩与解压缩方法
CN102905150B (zh) 一种新的多视点视频分形编码压缩与解压缩方法
CN101867813B (zh) 面向交互式应用的多视点视频编码方法
CN110557646B (zh) 一种智能视点间的编码方法
CN102291579B (zh) 一种快速的多目立体视频分形压缩与解压缩方法
CN113068031B (zh) 一种基于深度学习的环路滤波方法
CN104202612B (zh) 基于四叉树约束的编码单元的划分方法及视频编码方法
CN109756719B (zh) 基于cu划分贝叶斯决策的3d-hevc帧间快速方法
CN101632313A (zh) 产生立体图像的头部信息的方法和装置
CN104754359A (zh) 一种二维自由视点视频的深度图编码失真预测方法
CN101404766A (zh) 一种多视点视频信号的编码方法
CN114363617A (zh) 一种网络轻量级视频流传输方法、系统及设备
CN103533330B (zh) 一种基于数据重用的多视点多描述视频编码方法
CN102790895B (zh) 一种基于最小二乘的多视点视频编码视点合成预测方法
CN111669601A (zh) 一种3d视频智能多域联合预测编码方法及装置
CN101568038B (zh) 基于视差/运动联合估计的多视点容错编码框架
CN113068041B (zh) 一种智能仿射运动补偿编码方法
CN110519606B (zh) 一种深度视频帧内智能编码方法
CN101980539B (zh) 一种基于分形的多目立体视频压缩编解码方法
Lei et al. Deep virtual reference frame generation for multiview video coding
CN111726636A (zh) 一种基于时域下采样与帧率上转换的hevc编码优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant