CN106973293A - 基于视差预测的光场图像编码方法 - Google Patents

基于视差预测的光场图像编码方法 Download PDF

Info

Publication number
CN106973293A
CN106973293A CN201710267438.XA CN201710267438A CN106973293A CN 106973293 A CN106973293 A CN 106973293A CN 201710267438 A CN201710267438 A CN 201710267438A CN 106973293 A CN106973293 A CN 106973293A
Authority
CN
China
Prior art keywords
light field
field image
layer
converted
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710267438.XA
Other languages
English (en)
Other versions
CN106973293B (zh
Inventor
陈志波
赵盛洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201710267438.XA priority Critical patent/CN106973293B/zh
Publication of CN106973293A publication Critical patent/CN106973293A/zh
Application granted granted Critical
Publication of CN106973293B publication Critical patent/CN106973293B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于视差预测的光场图像编码方法，包括：将光场图像转换为伪视频序列；在编码端，利用深度神经网络预测伪视频序列中已编码帧和当前帧之间的光流信息，并将其转换为视差信息，然后进行运动补偿，并计算残差；最后，将残差量化编码写入码流；在解码端，采用与编码端一致的方法，利用深度神经网络预测已解码帧和当前帧之间的光流信息，并将其转换为对应解码块的运动矢量，通过运动补偿得到当前解码块的预测块，最后利用码流中的残差信息构建重建块。该方法可以节省运动估计的时间，降低编码运动矢量的比特数，提高光场图像的压缩性能，且不需要再将运动信息写入码流，能够极大地降低传输码流信息所需要的带宽。

Description

基于视差预测的光场图像编码方法
技术领域
本发明涉及视频编码技术领域，尤其涉及一种基于视差预测的光场图像编码方法。
背景技术
光场相机不但可以记录空间场景中的光线强度，而且还能记录其方向信息，随着Lytro光场相机的推出，光场图像在立体显示、虚拟现实、深度计算等领域有着巨大的应用前景。对于光场图像，我们可以将其转换为一组子孔径图像(subaperture image)，各个子孔径图像存在微小的视差，因此它们的信息冗余度非常大。如何利用子孔径图像间的视差对其进行高效地压缩，是光场技术应用过程中亟待解决的问题。
目前，如下两种方案：1)将视差补偿结合到小波变换中，但是该方法不能和现有的基于块结构的混合编码框架进行有效结合，并且该方法无法支持实时操作；2)则利用投影映射对子孔径图像间的视角变换进行建模，但是由于特征点检测精度的问题，导致其压缩性能不高。
另一方面，虽然光场中的视差信息可以通过计算运动矢量的方法得到，但是目前的计算过程涉及到运动估计，其时间复杂度较高，而且编码这些运动矢量要花费大量的比特。
发明内容
本发明的目的是提供一种基于视差预测的光场图像编码方法，可以节省运动估计的时间，降低编码运动矢量的比特数，提高光场图像的压缩性能。
本发明的目的是通过以下技术方案实现的：
一种基于视差预测的光场图像编码方法，包括：
将光场图像转换为伪视频序列；
在编码端，利用深度神经网络预测伪视频序列中已编码帧和当前帧之间的光流信息，并将其转换为视差信息，即对应编码块的运动矢量，然后进行运动补偿，并计算残差；最后，将残差量化编码写入码流；
在解码端，采用与编码端一致的方法，利用深度神经网络预测已解码帧和当前帧之间的光流信息，并将其转换为对应解码块的运动矢量，通过运动补偿得到当前解码块的预测块，最后利用码流中的残差信息构建重建块。
所述将光场图像转换为伪视频序列包括：
将光场图像转换为子孔径图像阵列，每幅子孔径图像反映了不同视角的场景信息；
将子孔径图像阵列按照一定的顺序将其转换为伪视频序列。
构建所述深度神经网络的过程如下：
计算伪视频序列相邻帧之间的光流信息，作为训练样本标签；
构建神经网络结构，以视频帧作为网络输入进行前向传播预测光流，并根据训练样本标签计算损失值，再根据损失值反向传播更新参数，如此反复迭代多次作为网络训练过程，训练完成的网络作为深度神经网络。
所构建的神经网络结构为：依次设置的卷积层、局部响应正则化层、池化层、卷积层、局部响应正则化层、池化层、三个卷积层、池化层、两个全连接层以及空间多元逻辑斯蒂克回归层；或者，依次设置的五个交替设置的卷积层与池化层、三个卷积层、逆卷积层、剪裁层以及多元逻辑斯蒂克回归层。
由上述本发明提供的技术方案可以看出，通过深度学习预测光场子孔径图像间的光流信息，并将其转换为其视差，从而节省运动估计的时间，降低编码运动矢量的比特数，提高光场图像的压缩性能，此外，不需要再将运动信息写入码流，能够极大地降低传输码流信息所需要的带宽。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的光场图像转换为伪视频序列的示意图；
图2为本发明实施例提供的传统混合编码框架；
图3为本发明实施例提供的传统混合解码框架；
图4为本发明实施例提供的光场伪视频序列编码框架；
图5为本发明实施例提供的解码框架；
图6为本发明实施例提供的一种神经网络结构示意图；
图7为本发明实施例提供的另一种神经网络结构示意图；
图8为本发明实施例提供的编码块运动矢量生成过程示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例提供一种基于视差预测的光场图像编码方法，包括：
将光场图像转换为伪视频序列；
在编码端，利用深度神经网络预测伪视频序列中已编码帧和当前帧之间的光流信息，并将其转换为视差信息，即对应编码块的运动矢量，然后进行运动补偿，并计算残差；最后，将残差量化编码写入码流；
在解码端，采用与编码端一致的方法，利用深度神经网络预测已解码帧和当前帧之间的光流信息，并将其转换为对应解码块的运动矢量，通过运动补偿得到当前解码块的预测块，最后利用码流中的残差信息构建重建块。
如图1所示，所述将光场图像转换为伪视频序列包括：
将光场图像转换为子孔径图像阵列，每幅子孔径图像反映了不同视角的场景信息；
将子孔径图像阵列按照一定的顺序将其转换为伪视频序列。
图2-图3，分别为传统混合编码框架与传统混合解码框架；相对应的，图4-图5，分别为本发明实施例提供的光场伪视频序列编码框架与解码框架。
从图2和图4中可以看出：本发明实施例中可以通过运动矢量生成模块(Block MVGeneration)生成每个编码块的帧间运动矢量(Block MV)，并且不需要将其写入码流传输到解码端，因此能够大幅度减少需要传输的比特。
从图3和图5中可以看出：本发明实施例中的解码器不再需要码流中的运动矢量，而是在解码端直接通过Block MV Generation模块中的深度神经网络预测并转换得到。
本发明实施例中，深度神经网络的构建过程如下：
首先，计算伪视频序列相邻帧之间的光流信息，作为训练样本标签；
然后，构建神经网络结构，如图6和图7所示，以视频帧作为网络输入进行前向传播预测光流，并根据训练样本标签计算损失值，再根据损失值反向传播更新参数，如此反复迭代多次作为网络训练过程，训练完成的网络作为深度神经网络(DNN网络)。
图6中所构建的神经网络结构为：依次设置的卷积层(Conv Layer)、局部响应正则化层(LRN Layer)、池化层(P Layer)、卷积层、局部响应正则化层、池化层、三个卷积层、池化层、两个全连接层(FC Layer)以及空间多元逻辑斯蒂克回归层(SS Layer)；
图7中所构建的神经网络结构为：依次设置的五个交替设置的卷积层与池化层(C&P Layer)、三个卷积层、逆卷积层(Deconv Layer)、剪裁层(Crop Layer)以及多元逻辑斯蒂克回归层(S Layer)。
图6-图7中，Forward Propagation表示前向传播，Backward Propagation表示后向传播。
其中，图6所示的网络结构并由空间多元逻辑斯蒂克回归层(Spatial SoftmaxLayer)代替多元逻辑斯蒂克回归层(Softmax Layer)，以生成与空间相关的运动矢量；图7所示的结构由全卷积网络组成，该结构能够有效的保留图片、视频中的局部信息。
本发明实施例中的神经网络结构已经预先构建完成并可直接使用，在实际操作中，可以直接执行编、解码操作。在编码端，将当前帧的上一帧图像(即已编码的图像帧)作为网络输入，前向传播后得到预测的光流信息；然后，将光流信息转换为编码块的运动矢量信息；接着，进行运动补偿，并计算残差；最后，将残差量化编码写入码流，具体如图8所示，运动矢量转换模块(Transform to Block MV)部分可以采用求取块内所有光流信息的均值等方法将光流转换为前编码块的运动矢量。在解码端，将已经解码的视频作为网络输入，预测得到光流信息，然后将其转换为编码块的运动矢量，最后利用码流中的残差信息重建出视频帧。图8中，Decoded Frame Buffer为解码帧缓存，DNN为深度神经网络，Block MV为块运动矢量。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (4)

1.一种基于视差预测的光场图像编码方法，其特征在于，包括：
将光场图像转换为伪视频序列；
在编码端，利用深度神经网络预测伪视频序列中已编码帧和当前帧之间的光流信息，并将其转换为视差信息，即对应编码块的运动矢量，然后进行运动补偿，并计算残差；最后，将残差量化编码写入码流；
在解码端，采用与编码端一致的方法，利用深度神经网络预测已解码帧和当前帧之间的光流信息，并将其转换为对应解码块的运动矢量，通过运动补偿得到当前解码块的预测块，最后利用码流中的残差信息构建重建块。
2.根据权利要求1所述的一种基于视差预测的光场图像编码方法，其特征在于，所述将光场图像转换为伪视频序列包括：
将光场图像转换为子孔径图像阵列，每幅子孔径图像反映了不同视角的场景信息；
将子孔径图像阵列按照一定的顺序将其转换为伪视频序列。
3.根据权利要求1所述的一种基于视差预测的光场图像编码方法，其特征在于，构建所述深度神经网络的过程如下：
计算伪视频序列相邻帧之间的光流信息，作为训练样本标签；
构建神经网络结构，以视频帧作为网络输入进行前向传播预测光流，并根据训练样本标签计算损失值，再根据损失值反向传播更新参数，如此反复迭代多次作为网络训练过程，训练完成的网络作为深度神经网络。
4.根据权利要求1所述的一种基于视差预测的光场图像编码方法，其特征在于，所构建的神经网络结构为：依次设置的卷积层、局部响应正则化层、池化层、卷积层、局部响应正则化层、池化层、三个卷积层、池化层、两个全连接层以及空间多元逻辑斯蒂克回归层；或者，依次设置的五个交替设置的卷积层与池化层、三个卷积层、逆卷积层、剪裁层以及多元逻辑斯蒂克回归层。
CN201710267438.XA 2017-04-21 2017-04-21 基于视差预测的光场图像编码方法 Active CN106973293B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710267438.XA CN106973293B (zh) 2017-04-21 2017-04-21 基于视差预测的光场图像编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710267438.XA CN106973293B (zh) 2017-04-21 2017-04-21 基于视差预测的光场图像编码方法

Publications (2)

Publication Number Publication Date
CN106973293A true CN106973293A (zh) 2017-07-21
CN106973293B CN106973293B (zh) 2020-10-27

Family

ID=59333995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710267438.XA Active CN106973293B (zh) 2017-04-21 2017-04-21 基于视差预测的光场图像编码方法

Country Status (1)

Country Link
CN (1) CN106973293B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107295264A (zh) * 2017-08-01 2017-10-24 清华大学深圳研究生院 一种基于单应性变换光场数据压缩方法
CN107396124A (zh) * 2017-08-29 2017-11-24 南京大学 基于深度神经网络的视频压缩方法
CN108184064A (zh) * 2018-01-04 2018-06-19 中国科学技术大学 一种视角图阵列划分方法
CN108289224A (zh) * 2017-12-12 2018-07-17 北京大学 一种视频帧预测方法、装置及自动补偿神经网络
CN108491763A (zh) * 2018-03-01 2018-09-04 北京市商汤科技开发有限公司 三维场景识别网络的无监督训练方法、装置及存储介质
CN108600762A (zh) * 2018-04-23 2018-09-28 中国科学技术大学 结合运动补偿和神经网络算法的递进式视频帧生成方法
CN109688406A (zh) * 2017-10-19 2019-04-26 三星电子株式会社 使用机器学习的图像编码器及图像编码器的数据处理方法
CN109816611A (zh) * 2019-01-31 2019-05-28 北京市商汤科技开发有限公司 视频修复方法及装置、电子设备和存储介质
CN110191359A (zh) * 2019-05-16 2019-08-30 华侨大学 一种基于关键子孔径图像选取的光场图像压缩方法
CN110677651A (zh) * 2019-09-02 2020-01-10 合肥图鸭信息科技有限公司 一种视频压缩方法
CN110753225A (zh) * 2019-11-01 2020-02-04 合肥图鸭信息科技有限公司 一种视频压缩方法、装置及终端设备
CN110830806A (zh) * 2019-11-29 2020-02-21 合肥图鸭信息科技有限公司 一种视频帧预测方法、装置及终端设备
CN110913230A (zh) * 2019-11-29 2020-03-24 合肥图鸭信息科技有限公司 一种视频帧预测方法、装置及终端设备
CN110913219A (zh) * 2019-11-29 2020-03-24 合肥图鸭信息科技有限公司 一种视频帧预测方法、装置及终端设备
CN110913218A (zh) * 2019-11-29 2020-03-24 合肥图鸭信息科技有限公司 一种视频帧预测方法、装置及终端设备
CN111083478A (zh) * 2019-12-31 2020-04-28 合肥图鸭信息科技有限公司 一种视频帧重构方法、装置及终端设备
CN111083479A (zh) * 2019-12-31 2020-04-28 合肥图鸭信息科技有限公司 一种视频帧预测方法、装置及终端设备
CN111083499A (zh) * 2019-12-31 2020-04-28 合肥图鸭信息科技有限公司 一种视频帧重构方法、装置及终端设备
CN111464815A (zh) * 2020-04-17 2020-07-28 中国科学技术大学 一种基于神经网络的视频编码方法及系统
CN111757125A (zh) * 2019-03-29 2020-10-09 曜科智能科技（上海）有限公司 基于光场多视角视频压缩方法及其装置、设备和介质
CN112184842A (zh) * 2020-10-07 2021-01-05 北京工业大学 一种光场图像压缩方法
CN113965757A (zh) * 2021-10-21 2022-01-21 上海师范大学 基于epi内在相似性的光场图像编码方法、设备及存储介质
CN116486107A (zh) * 2023-06-21 2023-07-25 南昌航空大学 一种光流计算方法、系统、设备及介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101347000A (zh) * 2005-12-21 2009-01-14 意大利电信股份公司 用于确定立体视觉中密集差异区的方法
US20100246680A1 (en) * 2009-03-26 2010-09-30 Dihong Tian Reference picture prediction for video coding
CN103002277A (zh) * 2011-09-13 2013-03-27 奥迪股份公司 对机动车拍摄的图像数据进行处理的方法和机动车
WO2014148902A1 (en) * 2013-03-20 2014-09-25 Effect Photonics B.V. Integrated photonic component and method
US20140375856A1 (en) * 2013-06-25 2014-12-25 Canon Kabushiki Kaisha Image processing apparatus, image processing method and program, and imaging apparatus
CN104469372A (zh) * 2014-11-06 2015-03-25 中国科学院计算技术研究所 用于压缩微透镜阵列采集的光场图像的方法和系统
CN104683684A (zh) * 2013-11-29 2015-06-03 华为技术有限公司 光场图像处理方法和装置以及光场相机
CN104952073A (zh) * 2015-06-15 2015-09-30 上海交通大学 基于深度学习的镜头边缘检测方法
CN106068645A (zh) * 2014-01-10 2016-11-02 奥斯坦多科技公司 用于全视差压缩光场3d成像系统的方法
CN106375766A (zh) * 2016-09-08 2017-02-01 电子科技大学 一种光场图像压缩方法
CN106445985A (zh) * 2016-04-29 2017-02-22 上海交通大学 基于手绘运动轮廓的视频检索方法及系统
CN106534853A (zh) * 2016-12-21 2017-03-22 中国科学技术大学 基于混合扫描顺序的光场图像压缩方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101347000A (zh) * 2005-12-21 2009-01-14 意大利电信股份公司 用于确定立体视觉中密集差异区的方法
US20100246680A1 (en) * 2009-03-26 2010-09-30 Dihong Tian Reference picture prediction for video coding
CN103002277A (zh) * 2011-09-13 2013-03-27 奥迪股份公司 对机动车拍摄的图像数据进行处理的方法和机动车
WO2014148902A1 (en) * 2013-03-20 2014-09-25 Effect Photonics B.V. Integrated photonic component and method
US20140375856A1 (en) * 2013-06-25 2014-12-25 Canon Kabushiki Kaisha Image processing apparatus, image processing method and program, and imaging apparatus
CN104683684A (zh) * 2013-11-29 2015-06-03 华为技术有限公司 光场图像处理方法和装置以及光场相机
CN106068645A (zh) * 2014-01-10 2016-11-02 奥斯坦多科技公司 用于全视差压缩光场3d成像系统的方法
CN104469372A (zh) * 2014-11-06 2015-03-25 中国科学院计算技术研究所 用于压缩微透镜阵列采集的光场图像的方法和系统
CN104952073A (zh) * 2015-06-15 2015-09-30 上海交通大学 基于深度学习的镜头边缘检测方法
CN106445985A (zh) * 2016-04-29 2017-02-22 上海交通大学 基于手绘运动轮廓的视频检索方法及系统
CN106375766A (zh) * 2016-09-08 2017-02-01 电子科技大学 一种光场图像压缩方法
CN106534853A (zh) * 2016-12-21 2017-03-22 中国科学技术大学 基于混合扫描顺序的光场图像压缩方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHANG C L，ZHU X Q，ＲAMANATHAN P，ET AL: "Light field compression using disparity-compensated lifting and shape adaptation", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
PHILIPP FISCHER等: "FlowNet：Learning Optical Flow with Convolutional Networks", 《IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), 2015》 *
蒋妍: "光场图像压缩算法研究", 《中国优秀硕士学位论文全文数据库（信息科技辑）》 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107295264A (zh) * 2017-08-01 2017-10-24 清华大学深圳研究生院 一种基于单应性变换光场数据压缩方法
CN107295264B (zh) * 2017-08-01 2019-09-06 清华大学深圳研究生院 一种基于单应性变换光场数据压缩方法
CN107396124B (zh) * 2017-08-29 2019-09-20 南京大学 基于深度神经网络的视频压缩方法
CN107396124A (zh) * 2017-08-29 2017-11-24 南京大学 基于深度神经网络的视频压缩方法
US11694125B2 (en) 2017-10-19 2023-07-04 Samsung Electronics Co., Ltd. Image encoder using machine learning and data processing method of the image encoder
CN109688406A (zh) * 2017-10-19 2019-04-26 三星电子株式会社 使用机器学习的图像编码器及图像编码器的数据处理方法
CN108289224A (zh) * 2017-12-12 2018-07-17 北京大学 一种视频帧预测方法、装置及自动补偿神经网络
CN108289224B (zh) * 2017-12-12 2019-10-29 北京大学 一种视频帧预测方法、装置及自动补偿神经网络
CN108184064A (zh) * 2018-01-04 2018-06-19 中国科学技术大学 一种视角图阵列划分方法
CN108491763A (zh) * 2018-03-01 2018-09-04 北京市商汤科技开发有限公司 三维场景识别网络的无监督训练方法、装置及存储介质
CN108600762B (zh) * 2018-04-23 2020-05-15 中国科学技术大学 结合运动补偿和神经网络算法的递进式视频帧生成方法
CN108600762A (zh) * 2018-04-23 2018-09-28 中国科学技术大学 结合运动补偿和神经网络算法的递进式视频帧生成方法
CN109816611A (zh) * 2019-01-31 2019-05-28 北京市商汤科技开发有限公司 视频修复方法及装置、电子设备和存储介质
US11544820B2 (en) 2019-01-31 2023-01-03 Beijing Sensetime Technology Development Co., Ltd. Video repair method and apparatus, and storage medium
CN111757125A (zh) * 2019-03-29 2020-10-09 曜科智能科技（上海）有限公司 基于光场多视角视频压缩方法及其装置、设备和介质
CN111757125B (zh) * 2019-03-29 2024-02-27 曜科智能科技（上海）有限公司 基于光场多视角视频压缩方法及其装置、设备和介质
CN110191359A (zh) * 2019-05-16 2019-08-30 华侨大学 一种基于关键子孔径图像选取的光场图像压缩方法
CN110677651A (zh) * 2019-09-02 2020-01-10 合肥图鸭信息科技有限公司 一种视频压缩方法
CN110753225A (zh) * 2019-11-01 2020-02-04 合肥图鸭信息科技有限公司 一种视频压缩方法、装置及终端设备
CN110913219A (zh) * 2019-11-29 2020-03-24 合肥图鸭信息科技有限公司 一种视频帧预测方法、装置及终端设备
CN110913218A (zh) * 2019-11-29 2020-03-24 合肥图鸭信息科技有限公司 一种视频帧预测方法、装置及终端设备
CN110913230A (zh) * 2019-11-29 2020-03-24 合肥图鸭信息科技有限公司 一种视频帧预测方法、装置及终端设备
CN110830806A (zh) * 2019-11-29 2020-02-21 合肥图鸭信息科技有限公司 一种视频帧预测方法、装置及终端设备
CN111083479A (zh) * 2019-12-31 2020-04-28 合肥图鸭信息科技有限公司 一种视频帧预测方法、装置及终端设备
CN111083478A (zh) * 2019-12-31 2020-04-28 合肥图鸭信息科技有限公司 一种视频帧重构方法、装置及终端设备
CN111083499A (zh) * 2019-12-31 2020-04-28 合肥图鸭信息科技有限公司 一种视频帧重构方法、装置及终端设备
CN111464815A (zh) * 2020-04-17 2020-07-28 中国科学技术大学 一种基于神经网络的视频编码方法及系统
CN111464815B (zh) * 2020-04-17 2021-04-23 中国科学技术大学 一种基于神经网络的视频编码方法及系统
CN112184842B (zh) * 2020-10-07 2024-01-05 北京工业大学 一种光场图像压缩方法
CN112184842A (zh) * 2020-10-07 2021-01-05 北京工业大学 一种光场图像压缩方法
CN113965757A (zh) * 2021-10-21 2022-01-21 上海师范大学 基于epi内在相似性的光场图像编码方法、设备及存储介质
CN116486107B (zh) * 2023-06-21 2023-09-05 南昌航空大学 一种光流计算方法、系统、设备及介质
CN116486107A (zh) * 2023-06-21 2023-07-25 南昌航空大学 一种光流计算方法、系统、设备及介质

Also Published As

Publication number Publication date
CN106973293B (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN106973293A (zh) 基于视差预测的光场图像编码方法
Liu et al. A unified end-to-end framework for efficient deep image compression
WO2021164176A1 (zh) 基于深度学习的端到端视频压缩方法、系统及存储介质
Sheng et al. Temporal context mining for learned video compression
CN107105278B (zh) 运动矢量自动生成的视频编解码系统
CN112203093B (zh) 一种基于深度神经网络的信号处理方法
Liu et al. Learned video compression via joint spatial-temporal correlation exploration
CN101511017B (zh) 基于网格的立体视频空间可分级编码器及其编码方法
Li et al. Compressing volumetric radiance fields to 1 mb
CN101895751A (zh) 帧内预测的方法及装置、基于帧内预测的编/解码方法及系统
CN111294604B (zh) 一种基于深度学习的视频压缩方法
CN113132727B (zh) 可伸缩机器视觉编码方法和运动引导图像生成网络的训练方法
CN102316323B (zh) 一种快速的双目立体视频分形压缩与解压缩方法
Feng et al. Versatile learned video compression
CN113068041B (zh) 一种智能仿射运动补偿编码方法
Ravishankar et al. A novel compression scheme based on hybrid tucker-vector quantization via tensor sketching for dynamic light fields acquired through coded aperture camera
CN114363617A (zh) 一种网络轻量级视频流传输方法、系统及设备
CN104918047A (zh) 一种双向运动估计的排除方法和装置
CN115604485A (zh) 视频图像的解码方法及装置
US20230281881A1 (en) Video Frame Compression Method, Video Frame Decompression Method, and Apparatus
CN115499666B (zh) 视频的压缩方法、解压缩方法、装置、设备和存储介质
CN111080729A (zh) 基于Attention机制的训练图片压缩网络的构建方法及系统
CN113938687A (zh) 多参考帧间预测方法、系统、设备及存储介质
CN104601991A (zh) 一种时域预测参数的搜索方法和装置
Ravishankar et al. A hybrid tucker-vq tensor sketch decomposition model for coding and streaming real world light fields using stack of differently focused images

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant