CN108141610A - 用于编码和解码基于光场的图像的方法和设备，以及相应的计算机程序产品 - Google Patents

用于编码和解码基于光场的图像的方法和设备，以及相应的计算机程序产品 Download PDF

Info

Publication number
CN108141610A
CN108141610A CN201680061252.2A CN201680061252A CN108141610A CN 108141610 A CN108141610 A CN 108141610A CN 201680061252 A CN201680061252 A CN 201680061252A CN 108141610 A CN108141610 A CN 108141610A
Authority
CN
China
Prior art keywords
image
storehouse
focus storehouse
current focus
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680061252.2A
Other languages
English (en)
Other versions
CN108141610B (zh
Inventor
P.圭洛特尔
D.索罗
B.范达姆
P.洛佩兹
G.布瓦松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN108141610A publication Critical patent/CN108141610A/zh
Application granted granted Critical
Publication of CN108141610B publication Critical patent/CN108141610B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种用于编码当前焦点堆栈的方法，该当前焦点堆栈包括在从一个图像到另一个图像在不同聚焦距离处聚焦的一组图像。根据本公开，该方法包括：对表示当前焦点堆栈的图像的信息进行编码(31)，所述图像根据图像锐度标准在所述当前焦点堆栈中被选择，并且将该图像重构为重构图像；通过从至少重构图像进行预测来编码(32)当前焦点堆栈的至少另一图像。

Description

用于编码和解码基于光场的图像的方法和设备，以及相应的 计算机程序产品
1.技术领域
本公开涉及光场成像，并且涉及用于获取和处理光场数据的技术。更确切地说，本公开总体上涉及用于对基于光场的图像进行编码和解码的方法和装置，以及在图像或视频编码/解码(即，图像或视频压缩/解压缩)的领域中找到应用。
2.背景技术
本部分旨在向读者介绍所属领域的各个方面，这些方面可涉及下面所描述的和/或请求保护的本公开的各个方面。相信这一讨论有助于为读者提供背景信息，以便于更好地理解本公开的各个方面。因此，应该理解的是，这些声明是以这种方式阅读的，而不是作为对现有技术的承认。
常规的图像捕捉设备将三维场景渲染到二维传感器上。在操作期间，常规的捕捉设备捕捉表示到达设备内的光电传感器(或光电检测器)的光量的二维(2-D)图像。但是，该2-D图像不包含关于到达光电传感器(可以被称为光场)的光线的方向分布的信息。例如，深度在获取期间中会丢失。因此，常规的捕捉设备不存储大部分关于来自场景的光分布的信息。
光场捕捉设备(也被称为也备不存储大部设备为也备不存储大部分捕捉来自该场景的不同视点的光来测量场景的四维(4D)光场。因此，通过测量沿着与光电传感器相交的每个光束传播的光量，这些设备可以捕捉额外的光学信息(关于光线束的方向分布的信息)，以便通过后处理提供新的成像应用。由光场捕捉设备获取/获得的信息被称为光场数据。光场捕捉设备在本文中被定义为能够捕捉光场数据的任何设备。有几种类型的光场捕捉设备，其中：
-全光设备，其使用放置在图像传感器和主透镜之间的微透镜阵列，如在文献US2013/0222633中所描述的；
-照相机阵列，其中每个照相机图像在它自身的图像传感器上。
也可以用计算机生成图像(CGI)从场景的一系列2-D图像(当以不同的观看点捕捉表示同一场景的两个不同图像时所称的视图)模拟光场数据，其中每个2-D图像是通过使用常规的手持照相机从不同视点拍摄的。
光场数据处理尤其包括但不限于生成场景的重新聚焦的图像、生成场景的透视图、生成场景的深度图、生成扩展景深(EDOF)图像、生成立体图像和/或这些的任何组合。
本公开更确切地着重于如由R.Ng等人在斯坦福大学计算机科学技术报告CSTR2005-02,no.11(April 2005)的“Light field photography with a hand-heldplenoptic camera”中公开的图1所示的由全光设备捕捉的基于光场的图像。
这种全光设备由主透镜(11)、微透镜阵列(12)和光传感器(13)组成。更确切地说，主透镜将物体聚焦到微透镜阵列上(或附近)。微透镜阵列(12)将会聚光线分离成在其后面的光传感器(13)上的图像。
与全光设备相反，照相机阵列设备(例如Pelican 照相机)直接传递视图矩阵(即，不需要去模糊)。
一般而言，通过使用焦点堆栈处理四维(4D)光场，该焦点堆栈包括每个被聚焦在不同聚焦距离处的图像集合。这种焦点堆栈允许用户通过后处理来改变图像的焦点。
光场图像或视频的数据集(无论是通过全光照相机、照相机阵列还是用计算机生成图像(CGI)模拟的)被重新组织以在前透镜的焦平面附近形成光数据体，类似于在其焦平面附近由透镜生成的光场。在图2中示意性地示出了这种焦点堆栈100。
通过选择在焦点堆栈100内的图像101、102、103中的一个来模拟用照相机进行的常规聚焦，其对应于垂直于照相机的主光轴z移动焦平面。
在这些更丰富的数据源提供的许多新的光场成像功能中，有能力在内容被捕捉后对其进行操作处理；这些操作处理可具有不同的目的，特别是艺术性的、基于任务的和法医的目的。例如，用户可以实时改变焦点、深度和立体基线的领域以及观看者的透视视图。这种媒体交互和体验对于通过使用常规标准图像或视频编解码器对基于光场的图像进行编码/解码而获得的常规成像格式是不可用的。
此外，可以通过焦点融合生成AIF(全聚焦)图像：在每个焦点堆栈图像中检测对焦区域，然后将所有这些对焦区域融合以形成AIF图像。
用于编码这种基于光场的图像的现有技术方法在于使用标准图像或视频编解码器(比如JPEG、JPEG-2000、MPEG4 Part 10 AVC、HEVC)。然而，这种标准编解码器不能考虑到光场成像(又名全光数据)的特异性(specificities)，该特异性记录了在每个方向上空间中每个点处的光量(“辐射”)。
事实上，应用常规的标准图像或视频编解码器(比如JPEG、JPEG-2000、MPEG4 Part10 AVC、HEVC)可以传送常规的成像格式。
具体地，使用传统的帧间编码方案导致全光视图使用(来自视图的同一点的)来自过去的、将来的或时间上相邻的图像的信息而被编码，而不考虑其他视图提供的知识(从视图的其他点取得)。
作为替代，使用多视图编码方法(例如MPEG MVC)在于获得从一个视图到另一个视图的预测，但不适合对由4D光场提供的深度进行编码。
因此，在用传统的标准图像或视频编解码器编码的4D光场数据的解码之后，全光图像的重构可能不准确。因此从这些数据获得AIF图像是不可能的。
因此希望提供一种用于对基于光场的图像进行编码/解码的技术，该技术将避免现有技术的至少一个缺点。
3.发明内容
以下呈现本公开的简化概述，以便提供对本公开的某些方面的基本理解。该概述不是本公开的广泛概述。它并不旨在标识本公开的关键或重要元件。以下概述作为以下提供的更详细描述的序言仅以简化的形式呈现本公开的某些方面。
本公开通过一种用于编码当前焦点堆栈的方法来解决现有技术的至少一个缺点，该当前焦点堆栈包括在从一个图像到另一个图像在不同聚焦距离处聚焦的一组图像。
这种方法包括：
-对表示当前焦点堆栈的图像的信息进行编码，所述图像包括最高数量的聚焦像素，以及将所述图像重构为重构图像；
-通过从至少重构图像进行预测对当前焦点堆栈的至少另一图像进行编码。
在本公开的一个实施例中，当焦点堆栈所包括的多个图像中聚焦像素的数量彼此接近并且超出(或大于)阈值时，可以出于编码的目的使用这些图像中的一个图像，而不是使用具有最高数量的聚焦像素的图像。
还应该注意的是，聚焦像素的数量与图像锐度标准有关。事实上，当图像的元素/部分聚焦时，它们看起来很尖锐(即不模糊)。因此，为了确定聚焦像素的数量，本领域技术人员可以使用由J.Kumar等人所著的文章“Sharpness Estimation for Document andScene Images”、或者由K.De和Masilamani V.所著的文章“A new No-Reference Imagequality Measure for Blurred Images in Spatial Domain”，或者由D.Shaked和I.Tast所著的文章“Sharpness Measure：Towards Automatic Image Enhancement”，或者由P.V.Vu和D.M.Chandler所著的文章“A Fast Wavelet-Based Algorithm for Global andLocal Image Sharpness Estimation”中描述的技术中的一种技术。这些技术基于频率内容分析，或是基于其他标准中的边缘宽度。因此，在本公开的一个实施例中，不需要明确确定聚焦像素的数量。事实上，锐度估计器可被用于根据它的值与其他与图像相关联的值进行比较来选择焦点堆栈中的图像。例如，对于焦点堆栈中的图像中的每个图像，可以确定锐度指数(正如例如在前面所提到的文章“A Fast Wavelet-Based Algorithm for Globaland Local Image Sharpness Estimation”)。在本公开的一个实施例中，选择具有最高锐度指数值的图像以便作为用于预测目的的基本图像。在本公开的另一个实施例中，当多个锐度指数值大于阈值且彼此接近时，则这些图像中的每一个都可以被用作用于预测目的的基本图像。
因此，本领域技术人员可以使用锐度标准以便选择焦点堆栈中的图像。在下文中，描述仅着重于使用聚焦像素的数量作为用于选择焦点堆栈中的参考图像的标准。但是，如前所述，这种选择可以根据图像锐度标准来完成。因此，当最高数量的聚焦像素被用作选择标准时，它可以被另一个图像锐度标准取代。而且，如前所述，其最高值并不总是被使用：具有大于阈值的、聚焦像素的数量的图像可被用作参考图像。
本公开因此依赖于一种新颖且创造性的方式，该方式用于对包括同一场景的一组图像的当前焦点堆栈进行编码，所述一组图像以同一观看点而被捕捉，并且在从一个图像到另一个图像在不同聚焦距离处聚焦，从与场景相关联的光场数据中获得所述焦点堆栈。
实际上，本公开得益于焦点堆栈的具体属性，与光场原始图像的矩阵相比，其主要优点是容易改变焦点。
更确切地说，根据本公开，首先对表示在所考虑的焦点堆栈中的、包括最高数量的聚焦像素的图像的信息进行编码。
这种信息例如对应于包括最高数量的聚焦像素的这种图像的帧内编码。在这种情况下，通过解码对应于帧内编码的所述信息来获得重构图像。
这种信息也可以是允许接收器(即解码器)重构包括最高数量的聚焦像素的这种图像的信令信息。在这种情况下，重构图像对应于将由解码器重构的图像。
然后，对于另一图像的至少一个像素，预测在于从至少重构图像中并置的对应像素的值来获得值。
例如，在焦点堆栈内，另一图像将通过使用另一图像的像素的真实亮度值与重构图像中并置的对应像素的亮度值之间的亮度差值而被编码。
换句话说，焦点堆栈的结构被用于通过使用包括最高数量的聚焦像素的图像作为用于预测的参考图像来确定属于焦点堆栈的图像之间的预测相关性。因此，根据本公开，从与场景相关联的光场数据获得的焦点堆栈被用作新的用于图像编码的图片组(GOP)。
必须注意的是，在下文中，词语“重构”和“解码”可以互换使用。通常，编码器侧使用“重构”，而解码器侧使用“解码”。
根据特定方面，在当前焦点堆栈中的、包括最高数量的聚焦像素的图像是全聚焦图像。
全聚焦图像(AIF图像)对应于其中所有像素都聚焦的重构图像。
必须注意的是，可以从外部提供设备接收全聚焦图像，或者在根据本公开的方法的先前步骤期间获得全聚焦图像。
根据本公开的特定实施例，通过从至少重构图像的预测对当前焦点堆栈的至少一个其他图像进行编码包括对于另一图像的至少一个像素，对从至少在重构图像中并置的对应像素的值以及从依赖于与要编码的所述另一图像相关联的焦点堆栈中的位置的模糊函数的值进行编码。
采用这种模糊模型可以提高编码效率。如下面所描述的，模糊函数的典型示例是由下式给出的高斯函数：
其中，σ为高斯分布的标准差，其依赖于像素到焦平面的距离(深度)。理想情况下，σ应该根据焦点堆栈中的每个像素和每个图像而计算。
原始(全聚焦图像)灰度像素具有标准差σx，并且当前像素(当前图像平面)具有减小的标准差σy，则σ近似为下式：
为了在解码器上应用相同的处理，则必须发送σ，为了降低比特率，可以按照编码单元或块(在单元的头部中或者作为元数据或SEI消息(SEI意为补充增强信息))来发送该信息。。
根据本公开的特定实施例，当前焦点堆栈是以不同观看角度捕捉的焦点堆栈组的一部分，焦点堆栈组的焦点堆栈根据它们的观看角度的取向顺序而被排序，并且方法还包括：
-根据当前焦点堆栈的取向顺序和观看角度确定堆栈间图像编码顺序，所述观看角度被称为参考观看角度，
-对根据从当前焦点堆栈的重构图像的堆栈间图像编码顺序处理的焦点堆栈组的至少另一焦点堆栈的图像的至少一个像素进行编码，所述至少另一焦点堆栈的图像是具有最高数量的聚焦像素的图像，且被称为参考图像。
换句话说，考虑以不同观看角度捕捉的焦点堆栈组的特定结构，焦点堆栈组的焦点堆栈根据它们的观看角度的取向顺序而被排序，对于属于焦点堆栈组的每个焦点堆栈，对应于具有最高数量的聚焦像素的图像的参考图像从以参考观看角度捕捉的当前焦点堆栈的重构图像被编码。
因此，从以(例如，由对应于其帧内编码的信息或由允许解码器重构它的信令信息表示的)参考观看角度捕捉的当前焦点堆栈的单个图像开始，可以对属于该焦点堆栈组的每个其他焦点堆栈的每个参考图像进行编码，以及然后如之前针对当前焦点堆栈所描述的，以不同于参考观看角度的观看角度捕捉的给定焦点堆栈的参考图像被用于编码给定焦点堆栈的所有其他图像。
考虑特定情况，其中以不同于参考观看角度的观看角度捕捉的给定焦点堆栈的每个参考图像是全聚焦图像，该实施例对应于根据之前确定的堆栈间图像编码顺序从其相邻的全聚焦图像预测每个全聚焦图像。
例如，当考虑实现双重预测的情况时，堆栈间图像编码顺序在于考虑了：
-对应于当前焦点堆栈中的、包括最高数量的聚焦像素的图像的重构图像为“I帧”(即，独立于焦点堆栈组的所有其他图像而被编码的图像)，
-呈现与当前焦点堆栈的重构图像相关联的参考观看角度的最大观看角度差值的两个其它焦点堆栈的两个参考图像可以被认为是“P帧”，以及然后
-以当前焦点堆栈的“I重构图像”与“P参考图像”之间的中间观看角度捕捉的其他参考图像被认为是“B帧”。
根据该实施例的第一变型，参考图像的像素从以观看角度的参考值捕捉的当前焦点堆栈的重构图像，以及从表示当前焦点堆栈的参考图像和重构图像之间的差异的信息而被编码。
事实上，假设视图之间的差异，对应于表示同一场景但是以不同观看点捕捉的两个不同图像的两个视图是已知的且可用(可被计算或与焦点堆栈组的图像一起被提供以编码)，使用该差异可以作为替代方案而被执行，该替代方案在于搜索对于焦点堆栈组的至少另一焦点堆栈的图像的一个像素，以参考观看角度捕捉的当前焦点堆栈的重构图像中的最佳匹配。
根据该实施例的第二变型，以与观看角度的参考值不同的观看角度捕捉的参考图像的每个像素的值从以观看角度的参考值捕捉的当前焦点堆叠的重构图像，以及从与焦点堆栈组相关联的场景的分层深度图像而被编码。
换句话说，根据该第二变型，使用分层深度图像编码方案而不是搜索对于焦点堆栈组的至少另一焦点堆栈的图像的一个像素，以参考观看角度捕捉的当前焦点堆栈的重构图像中的最佳匹配。
更确切地说，由Shade等人在1998年SIGGRAPH会议中的“Layered Depth Images”中提出的分层深度图像(LDI)编码方案，以在单个投影中心下合并多个参考图像。这种编码方案通过保持每个像素位置的多个深度像素、同时仍保持单个参考图像变形的简单性来解决遮挡问题。因此，LDI方案在于编码图像、深度/差异和遮挡区域，以重构在一个视图中遮挡的区域，而所述区域不能通过仅使用差异来重构。
根据另一实施例，焦点堆栈组在参考时刻t0被捕捉，并且是序列的一部分，所述序列还包括在时刻t捕捉的至少一个其他焦点堆栈组，所述方法还包括：通过使用从在参考时刻t0捕捉的当前焦点堆栈的重构图像执行的时间预测，对焦点堆栈组的序列中的、在时刻t捕捉的、至少一个其他焦点堆栈组中的、以观看角度的参考值捕捉的焦点堆栈的参考图像的至少一个像素进行编码。
换句话说，根据本公开的该实施例，从对应于在参考时刻t0以参考观看角度捕捉的当前焦点堆栈中的、包括最高数量的聚焦像素的图像的单个图像开始，可以对包括在不同时刻捕捉的多个焦点堆栈组的整个序列进行编码。
这种对整个序列的编码实现了三个级别的编码，以考虑对应于聚焦距离、观看角度和捕捉时刻的焦点堆栈组的序列的三个参数：
-允许对在给定捕捉时刻和以给定观看角度捕捉的焦点堆栈的聚焦距离维度进行编码的“堆栈内编码”，以不同的聚焦距离捕捉属于该焦点堆栈的每个图像，以及，
-允许对在给定时刻捕捉的焦点堆栈组的观看角度维度进行编码的“堆栈间编码”，以不同的观看角度捕捉属于该焦点堆栈组的每个焦点堆栈，以及
-允许对焦点堆栈组的序列的时间维度进行编码的“间编码”，在不同时刻捕捉属于该序列的每个焦点堆栈组。
必须注意的是，根据本公开可以实现这三个级别的编码的任何组合，以成功对整个序列进行编码。
例如，从在参考时刻t0以参考观看角度捕捉的当前焦点堆栈中的、包括最高数量的聚焦像素的图像开始，可以首先应用“间编码”，然后应用“堆栈内编码”以及最后应用“堆栈间编码”，根据另一示例，也可以从“堆栈间编码”开始，然后“间编码”以及最后“堆栈内编码”。
根据本公开的另一特定方面，该方法还包括将用于重构当前焦点堆栈的全聚焦图像的映射插入表示当前焦点堆栈的信号中。
更确切地说，这种映射指示对于每个像素，应该使用当前焦点堆栈中的哪个图像(例如，所考虑的像素在哪里聚焦)。
本公开的另一方面关于一种表示至少当前焦点堆栈的信号，所述焦点堆栈包括在从一个图像到另一个图像在不同聚焦距离处聚焦的一组图像，所述信号至少包括：
-表示当前焦点堆栈的图像的信息，所述图像包括最高数量的聚焦像素；
-至少与当前焦点堆栈的另一图像相关联的信息，并且所述信息通过从至少包括最高数量的聚焦像素的图像的重构图像进行预测而被获得。
本公开的另一方面涉及承载如上文所描述的信号的记录介质。
本公开的另一方面关于一种用于解码至少当前焦点堆栈的方法，所述焦点堆栈包括在从一个图像到另一个图像在不同聚焦距离处聚焦的一组图像。这种方法包括：
-对表示当前焦点堆栈的图像的信息进行解码，所述图像包括最高数量的聚焦像素，
-通过从至少已解码的图像进行预测来重构当前焦点堆栈的至少另一图像。
这种解码方法尤其适合于解码根据上文所描述的编码方法编码的信号。
通过这样，执行与编码时执行的上述预测步骤相同的预测步骤以重建给定像素，并且通过可选地将预测残差(在信号中发送)增加到预测中来执行所述相同的预测步骤。
这种解码方法的特性和优点与上述编码方法相同。因此，将不再更详细地描述它们。
本公开的另一方面关于一种用于编码当前焦点堆栈的设备，该当前焦点堆栈包括在从一个图像到另一个图像在不同聚焦距离处聚焦的一组图像，其中该设备包括：
-用于对表示当前焦点堆栈的图像的信息进行编码，所述图像包括最高数量的聚焦像素，以及将所述图像重构为重构图像的部件；
-用于通过从至少重构图像进行预测来对当前焦点堆栈的至少另一图像进行编码的部件。
在本公开的另一实施例中，用于编码的设备包括存储器；以及被耦合到存储器的至少一个处理器，所述至少一个处理器被配置为执行与编码处理有关的前述的步骤。
这种编码设备尤其适用于实现如本公开上文所描述的用于编码的方法。
本公开的另一方面关于一种用于解码至少当前焦点堆栈的设备，该当前焦点堆栈包括在从一个图像到另一个图像在不同聚焦距离处聚焦的一组图像，其中该设备包括：
-用于对表示当前焦点堆栈的图像的信息进行解码的部件，所述图像包括最高数量的聚焦像素，
-用于通过从至少已解码的图像进行预测来重构当前焦点堆栈的至少另一图像的部件。
在本公开的另一实施例中，用于解码的设备包括存储器；以及被耦合到存储器的至少一个处理器，所述至少一个处理器被配置为执行与解码处理有关的前述步骤。
这样的解码设备尤其适合于实现如本公开上文所描述的用于解码的方法。
因此，本公开涉及包括被配置为实现上述方法的处理器的设备。
本公开还涉及从通信网络可下载的和/或被记录在由计算机可读的和/或由处理器可执行的介质上的计算机程序产品，包括用于实现如上文所描述的用于编码和/或解码焦点堆栈的方法的程序代码指令。
本公开还涉及一种包括在其上记录的计算机程序产品的非瞬时计算机可读介质，该计算机程序产品可由处理器运行，该计算机程序产品包括用于实现如上文所描述的用于编码和/或解码焦点堆栈的方法的程序代码指令。
这种计算机程序可以被存储在计算机可读存储介质上。本公开所使用的计算机可读存储介质被认为是非瞬时存储介质，其具有存储其中的信息的固有能力以及从中提供信息检索的固有能力。计算机可读存储介质可以是但不限于：例如，电子的、磁的、光学的、电磁的、红外的或半导体的系统、装置或设备，或前述的任何合适的组合。应该理解的是，以下内容虽然提供了可应用本原理的计算机可读存储介质的更具体示例，但是正如本领域普通技术人员容易理解的，仅仅是说明性的而非穷尽列举：便携式电脑软盘；硬盘；只读存储器(ROM)；可擦除可编程只读存储器(EPROM或闪存)；便携式光盘只读存储器(CD-ROM)；光存储装置；磁存储装置；或前述的任何合适的组合。
应该理解的是，前面的一般描述和下面的详细描述都是示例性的和解释性的，并且不限制所要求保护的本发明。
还必须理解的是，说明书中对“一个实施例”或“实施例”的引用指示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可以不一定包括该特定特征、结构或特性。
此外，这样的短语不一定是指相同的实施例。此外，当结合实施例描述特定特征、结构或特性时，所提交的是，不管是否被明确描述，它在本领域技术人员的知识中影响与其他实施例有关的这种特征、结构或特性。
本公开的具体性质以及本公开的其他目的、优点、特征和用途将从与附图一起实施的实施例的以下描述中变得显而易见。
4.附图说明
参考下面的以示例的方式给出且不限制保护范围的描述和附图，可以更好地理解本发明的实施例，并且其中：
已经呈现与现有技术有关的图1示出了全光照相机的概念示意图；
已经呈现与现有技术有关的图2是说明图像的焦点堆栈的示例的图；
图3示意性地示出了根据本公开的用于编码的方法的主要步骤的图；
图4示意性地图示了对于当前焦点堆栈的“堆栈内编码”而实施的编码顺序的示例；
图5是图示了焦点堆栈组的示例的图；
图6图示了焦点堆栈组的“堆栈间编码的的示例；
图7示意性地图示了焦点堆栈组的时间序列的的的主要步骤的图；
图8示意性地图示了包括根据本公开编码的焦点堆栈组的序列的信号的结构；
图9示意性地示出了根据本公开的用于解码的方法的步骤的图；
图10示出了根据本公开的实施例的设备的架构的示例。
用相同的参考标记表示类似或相同的元件。附图中的组件不一定按比例绘制，而是将重点放在说明本发明的原理上。
5.具体实施方式
5.1一般原理
本公开的一般原理在于通过确定与焦点堆栈相对应的新图片组(GOP)结构内的预测依赖性，对光场环境中的焦点堆栈进行编码的新方式。
现在将给出在本公开的实施例中的用于编码/解码图像的焦点堆栈的编码和解码方法、相对应的设备和计算机可读存储介质的描述。
然而，本公开可以以许多替代形式来体现，并且不应该被解释为限于在此阐述的实施例。因此，虽然本公开容易有各种修改和替代形式，但是其具体实施例在附图中以示例的方式示出，并且将在此详细描述。然而，应该理解的是，没有旨在将本公开限制为所公开的特定形式，而相反，本公开将覆盖落入如权利要求所限定的本公开的精神和范围内的所有修改、等效方案和替代方案。
本公开所使用的术语仅用于描述特定实施例的目的，而不旨在限制本公开。如本文所使用的，除非上下文另外清楚地指出，否则单数形式“一”、“一个”和“该”旨在也包括复数形式。将进一步理解的是，当在本说明书中使用时，术语“包括”、“包括了”、“包含”和/或“包含了”指明存在所陈述的特征、整数、步骤、操作、元件和/或组件，但并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或其组合。
此外，当元件被称为“响应”或“被连接”到另一元件时，其可以直接响应或被连接到另一元件，或者可以存在中间元件。相反，当元件被称为“直接响应”或“被直接连接”到其他元件时，不存在中间元件。如本文所使用的术语“和/或”包括一个或多个相关联的所列术语的任何和所有组合，并且可以被缩写为“/”。
应该理解，尽管本公开可以使用术语第一、第二等来描述各种元件，但是这些元件不应该被这些术语限制。这些术语仅被用于区分一个元件和另一个元件。例如，在不背离本公开的教导的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。
尽管一些图表包括通信路径上的箭头以示出通信的主要方向，但是应该理解，通信可以以与所描绘的箭头相反的方向发生。
关于方框图和操作流程图描述了一些实施例，其中每个方框表示包括用于实现指定的逻辑功能的一个或多个可执行指令的电路元件、模块或代码部分。还应该注意的是，在其他实现中，在方框中注释的功能可不按照注释的顺序发生。例如，取决于所涉及的功能，连续示出的两个方框实际上可以基本上同时执行，或者方框有时可以以相反的顺序执行。
本公开对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构或特性可以被包括在本公开的至少一个实施方式中。说明书中各处出现的短语“在一个实施例中”或“根据实施例”不一定都指同一实施例，也不是不一定与其他实施例相互排斥的单独或替代实施例。
在权利要求中出现的附图标记仅仅是为了说明并且对权利要求的范围没有限制作用。
虽然没有明确描述，但是可以以任何组合或子组合来使用本实施例和变型。
描述了本公开以便对焦点堆栈的视图的像素进行编码/解码，但是本公开扩展到对焦点堆栈组(全光视频)的序列进行编码/解码，因为如下面所描述的属于该序列的每个视图被顺序地编码/解码。
5.2焦点堆栈
如图2所示，焦点堆栈100是聚焦在不同焦平面处(即，在不同聚焦距离处)的S个图像Is(s∈[1，S])的集合，其定义了图像(101、102、103…)的立方体，其中S是用户选择的图像数量或设备(例如编码器/解码器)所需的限制。因此，在焦点堆栈100中的两个连续图像之间的(在z轴上的)距离或距离间隔对应于链接到这两个连续图像的两个焦平面之间的距离。
所描述的焦点堆栈的计算可以基于以下假设：4D光场由具有透镜阵列和可选的主透镜的单个图像传感器记录。然而，焦点堆栈的计算不限于由这种类型的光场照相机记录的4D光场，因此应该注意的是可以基于由任何类型的光场照相机记录的4D光场来计算重新聚焦的图像的焦点堆栈。
5.3编码方法
图3示意性地示出了根据本公开的用于对至少当前焦点堆栈进行编码的方法(30)的主要步骤的图。该方法可以由编码设备执行。如图3所表示的，该至少当前焦点堆栈包括在从一个图像到另一个图像在不同聚焦距离处聚焦的一组S个图像
根据具体且非限制性的实施例，用于对至少当前焦点堆栈进行编码的方法(30)包括：首先，当前焦点堆栈的图像编码(31)为内部图像，所述图像包括最高数量的聚焦像素的，以及其次，将该图像重构(31)为重构图像
在该特定情况下，表示在所考虑的焦点堆栈中的、包括最高数量的聚焦像素的图像的信息对应于包括最高数量的聚焦像素的这类图像的内部编码。
可选地，如用虚线表示的，焦点堆栈中的、包括最高数量的聚焦像素的图像是全聚焦图像(AIF)。
可以从外部提供设备接收AIF图像，或者可以计算AIF图像(步骤3000)。
另外，当当前焦点堆栈中的、包括最高数量的聚焦像素的图像是全聚焦图像(AIF)时，可以将被编码为内部图像的AIF图像发送到接收器，该接收器将解码所发送的已编码的当前焦点堆栈
在另一个变型中，可以将映射插入(3001)到表示已编码的当前焦点堆栈的信号中，该映射使得有可能重构AIF图像。这种插入(3001)避免了对被编码为内部图像的AIF图像进行发送。实际上，当接收到这样的映射时，接收器在解码焦点堆栈的其他图像之前重构AIF。
因此，在这种特定情况下，表示AIF(即当前焦点堆栈中的、包括最高数量的聚焦像素的图像)的信息可以直接对应于所述映射，或者可以是帮助接收器来理解映射必须被用于解码的另一信令信息，该信令信息就像信息比特，该信令信息必须被编码(31)。
这样的映射指示，对于每个像素，应该使用当前焦点堆栈中的哪个图像(例如，所考虑的像素在哪里聚焦)。
一旦获得(31)重构图像通过从至少该重构图像的预测(320)，对当前焦点堆栈中的至少另一图像进行编码(32)。换句话说，对于另一图像的至少一个像素，预测(320)包括从至少在重构图像中并置的对应像素的值来获得值。
例如，在当前焦点堆栈内，通过使用另一图像的像素的真实亮度值和在重构图像中并置的对应像素的亮度值之间的亮度差值(也被称为残差或残差信号)，将对另一图像进行编码。
除了与包括最高数量的聚焦像素的图像相关联的重构图像当前焦点堆栈的所有S个图像的这种编码(32)可以被称为“堆栈内编码”，并且，由于从至少重构图像预测所有图像，该重构图像例如之前被编码为内部图像，因此所述这种编码在于利用当前焦点堆栈的所有S个图像之间的依赖性。
可选地，为了提高编码效率，可以增加模糊(321)的模型，该模型依赖在当前焦点堆栈中的每个图像的位置。
模糊处理(321)可以由以下公式定义：
g(x,y)＝h(x,y)*f(x,y)+n(x,y)，对于大小[mxn](即，m个像素×n个像素)的所考虑的图像的每个像素(其坐标为(x,y))，其中：
-f(x,y)对应于当前焦点堆栈的重构图像的坐标(x,y)的并置像素的值，
-h(x,y)对应于模糊函数，该模糊函数表示当前焦点堆栈的另一图像和重构图像之间的模糊，
-n(x,y)是加性噪声；
-g(x,y)对应于所考虑的图像的模糊像素，以对当前焦点堆栈的进行编码，该模糊值从被用作原图像的重构图像获得。
必须注意的是，当忽略噪声n(x,y)时，模糊函数的卷积由下式给出：
其中，
模糊函数的典型示例是由下式给出的高斯函数：
其中σ是高斯分布的标准差，其依赖于像素到焦平面的距离(深度)。理想情况下，应该根据焦点堆栈中的每个像素和每个图像来计算σ。例如，它可以通过以下方式估算：
如果原始(全聚焦图像)灰度像素值具有标准差σx，并且如果当前像素(当前图像平面)减小的标准差为σy，则σ可近似为：
为了在解码器上应用相同的处理，则必须发送σ。为了降低比特率，可以根据编码单元或块(在单元或作为元数据或SEI消息(SEI意为补充增强信息)的头部)来发送该信息。
可以使用另一个模糊模型，例如T.J Kosloff等人在2007年的计算科学及其应用国际会议的“An Algorithm for Rendering Generalized Depth of Field EffectsBased on Simulated Heat Diffusion”中公开的模型。
一旦获得了值g(x,y)，就将其与在另一图像中的坐标为(x，y)的像素的真实值进行比较，以对编码。这两个值之间的差异(也称为残差)然后被用于对另一图像的像素编码以以编码
相反地，在解码处，从通过解码表示包括当前焦点堆栈的最高数量的聚焦像素的图像的信息而获得的重构图像中的并置像素的值开始，通过将残差增加到在重构图像中的并置像素的模糊结果获得了另一图像的坐标为(x,y)的像素以解码焦点堆栈
图4示意性地示出了在时刻t0用观看v0捕捉的当前焦点堆栈的“堆栈内编码”的示例。当前焦点堆栈的图像例如根据递增顺序O_f_d而被排序，所述递增顺序依赖第一图像(41)的焦平面与每个后面的图像(42、43、44、45、46)的焦平面之间的距离。根据这样的示例，并且考虑到预测(320)是双重预测，重构图像(40)被认为是“I帧”并且例如对应于位于焦点堆栈的中间的图像。
使用重构图像(40)作为“I帧”，焦点堆栈的两个极端图像(即，第一图像(41)和最后图像(46))被预测编码为“P帧”。它们被重构并且可能稍后被用于将中间图像预测编码为“B帧”。“B帧”位于对应于重构图像的“I帧”(40)与“P帧”(41和46)之一之间。更确切地说，使用和重构的“P帧”二者作为参考图像来预测“B帧”。
因此，可以注意到，在根据本公开所提出的“堆栈内”编码期间，根据这个示例实现的编码顺序不同于堆栈顺序O_f_d，因为具有最高数量的聚焦像素的“I帧”(40)(例如，被首先编码为内部图像)，以及然后为对应于焦点堆栈的第一和最后图像的“P帧”(41和46)，以及最后为对应于位于“I帧”(40)和“P帧”(41和46)之一之间的中间图像的“B帧”(42、43、44和45)。
依赖于应用，当前焦点堆栈是在和当前焦点堆栈相同的时刻t0但具有与当前焦点堆栈的观看角度v0不同的观看角度捕捉的焦点堆栈组Gto的一部分是可能的。
例如，图5示出了从同一场景(50)捕捉的焦点叠堆的组Gto的示例，其中两个焦平面(即S＝2)分别对应于：
-第一焦平面，其中图像500、501和502已经被捕捉，以及
-第二焦平面，其中图像5000、5001和5002已经被捕捉，以及三个不同的观看角度(即V＝3)分别对应于：
-用于捕捉两图像500和5000的第一观看角度，其中主角被轻微地向左转，
-用于捕捉两图像501和5001的第二观看角度，其中捕捉主角前视图，
-用于捕捉两图像502和5002的第三观看角度，其中主角被轻微地朝右转。
在该可选情况下(如图3中左侧的虚线所表示的)，执行“堆栈间编码”3400以对属于焦点堆栈组Gto的所有图像进行编码。
更确切地说，焦点堆栈组的焦点堆栈根据其观看角度的取向顺序而被排序，例如如图5或6所示。
在这种特定情况下，“堆栈间编码”包括：
-从当前焦点堆栈的取向顺序和观看角度v0确定(33)堆栈间图像编码顺序，该观看角度v0被称为参考观看角度v0，
-对焦点堆栈组Gto的至少另一焦点堆栈的图像的至少一个像素进行编码，其中，该焦点堆栈组Gto是根据从当前焦点堆栈的重构图像的堆栈间图像编码顺序进行处理的，该至少另一焦点堆栈的图像是具有最高数量的聚焦像素的图像，被称为参考图像。
关于图5，取向顺序在于按照下面的相对主角从左到右的捕捉设备的位置排列图像。考虑到在“堆栈间编码”预测(320)中实现的编码(34)是双重预测，重构图像被认为是“I帧”，并且例如对应于图像5001，其中以观看角度v0正面捕捉主角。
图6示出了从同一场景捕捉的焦点堆栈组Gto的另一示例，其中除了重构图像(60)的焦平面之外的六个焦平面(即S＝6)与除了当前焦点堆栈的观看角度v0之外的四个不同观看角度(即V＝4)被使用。
根据取向顺序O_O排序观看角度v1、v2、v0、v3和v4。
“堆栈间编码”(3400)包括对至少来自被认为是“I帧”的重构图像(60)所有的参考图像(61、62、63)进行编码。
当考虑对应于图像(61)和(64)的焦点堆栈组Gto的取向顺序时，两个极端的参考图像从被预测编码为“P帧”以及被重构。重构的“P帧”稍后可被用于将中间图像预测编码为“B帧”(62和63)，该“B帧”(62和63)位于对应于重构图像(60)的“I帧”与“P帧”(61和64)之一之间。
因此，可以注意到，在根据本公开所提出的“堆栈间”编码期间，根据这个示例实现的编码顺序不同于取向顺序O_O，因为位于焦点堆栈组的中间的“I帧”(60)例如被首先编码为内部图像，以及然后为“P帧”(61和64)，以及最后为对应于位于“I帧”(60)和“P帧”(61和64)之一之间的中间图像的“B帧”(62和63)。
根据第一变型，一旦一个参考图像(61、62、63或64)已经被编码用于包括焦点堆栈的焦点堆栈组的一个焦点堆栈(其中v∈[1；4])，则在所考虑的焦点堆栈内，例如如上面所描述的，使用“堆栈内编码”3200对六个其他焦平面的其他图像进编码。
根据第二变型，可以从重构图像(60)编码所有的参考图像(61、62、63或64)，以及然后对于中的每个焦点堆栈，执行“堆栈内编码”3200。
根据“堆栈间编码”的特定特征，假设焦点堆栈组Gto的图像之间的差异(341)是已知的且是可用的(或者被计算出或者可用或者与该些图像一起发送)，这样的差异(341)被用于改善来自重构图像(60)的一个参考图像(61、62、63或64)的预测。
考虑到这种差异是可以在预测期间实现的、关于用于最佳匹配的经典搜索的替代方案。
例如，对于对应于“P帧”(61)的参考图像的坐标(x，y)的一个像素，像素Pv(x,y)的值是这样的：
Pv(x,y)＝Iv(x+dx,y+dy)，其中dx和dy分别是在水平方向和垂直方向的差异。
根据“堆栈间编码”的另一特定特征，可使用(342)分层深度图像(LDI)编码方案作为对这些视图进行编码的另一替代方案。LDI方案在于编码图像、深度/差异和遮挡区域以重构不能通过差异被重构的、在一个视图(即图像)中被遮挡的区域。
依赖于应用，如图7所示，在和当前焦点堆栈相同的时刻t0捕捉的焦点堆栈组Gto也属于序列Seq是可能的，该序列Seq还包括在不同于t0的时刻t捕捉的至少另一焦点堆栈组Gt。
在这种情况下，根据本公开的方法包括通过使用从在参考时刻t0捕捉的焦点堆栈组Gto的当前焦点堆栈的重构图像(70)执行的时间预测(35)对焦点堆栈组的序列Seq的至少另一焦点堆栈组Gt的焦点堆栈的参考图像(71)的至少一个像素进行“间编码”(3500)，其中所述焦点堆栈通过观看角度v0的参考值被捕捉，所述至少另一焦点堆栈组Gt在时刻t被捕捉。
可以看出，如图7所表示的焦点堆栈组的序列仅分别包括两个焦点堆栈组Gto和Gt(即T＝2，其中T是一个序列Seq的焦点堆栈组的数量)。因此，焦点堆栈组Gt可以被认为是关于在参考时刻t0捕捉的组Gto的“P组”，而组Gto被认为是“I组”。事实上，“P组”Gt是从“I组”Gto被编码的。否则，“I组”Gto包括例如被编码为内部图像的图像，该图像在被重构(70)之后然后被直接或间接地用于对序列的所有其他图像进行编码。如果超过两组存在(T>2)，则相同的概念对于从“I组”(或“P组”)和另外一个“P组”来编码“B组”是有效的。
可以注意到，当必须对这样的序列进行编码时，首先对从重构图像(70)以另一个焦点堆栈组Gt的参考观看角度v0捕捉的参考图像(71)进行编码(3500)是可能的，然后在每个组Gto和Gt内使用如上面所描述的“堆栈内编码”(3200)和“堆栈间编码”(3400)对所有其他剩余图像进行编码。
然而，首先使用如上面所描述的“堆栈内编码”(3200)和“堆栈间编码”(3400)对组Gto的所用图像进行编码，以及然后使用“间编码”(3500)对组Gt的参考图像71进行编码，以及然后使用如上面所描述的“堆栈内编码”(3200)和“堆栈间编码”(3400)对组Gt的所有其他图像进行编码也是可能的。
为了改进，“间编码”(3500)运动补偿模型可以被用来提高预测精度。
图8示出了包括这种已编码序列的信号(例如，比特流)的结构，该已编码序列包括T个焦点堆栈组。
组的数量为(T+1)，其对应于捕捉的T个时刻加上参考时刻t0。在一个焦点堆栈组Gto内，(V+1)个不同的观看角度被用来捕捉V个不同的焦点堆栈，以及在时刻t0以参考观看角度v0捕捉的焦点堆栈焦点堆栈包括(S+1)个图像，图像Is0例如被编码为内部图像，以及在从一个图像到另一个图像在不同聚焦距离处聚焦的S个其他图像。
如图8所表示的这种信号因此被分级地组织，每个层次级别：序列级别、组级别和堆栈级别包括在其内指定编码参数的头部。
例如，序列头部包括每个焦点堆栈的图像的数量S、每个焦点堆栈组的观看角度的数量V以及每个序列的捕捉时刻的数量T，还包括图像格式、帧速率等。
还可以看出，当实施双重预测时，编码顺序(I，P，B)也在该信号中被指定。
5.4解码方法
现在参考图9，呈现了在解码器中实现的解码的主要步骤，该解码器适合于对表示至少当前焦点堆栈的信号进行解码，该焦点堆栈包括在从一个图像到另一个图像在不同聚焦距离处聚焦的一组图像。
假设解码器接收表示例如根据上面所描述的编码方法编码的至少当前焦点堆栈的信号。
因此，在该实施例中，根据本发明的解码方法包括：
-对表示当前焦点堆栈的图像的信息进行解码(91)，该图像包括最高数量的聚焦像素，
-通过从至少已解码的图像预测，重构(92)当前焦点堆栈的至少另一图像。
与上面所描述的编码相反，根据本公开的解码方法从对应于包括最高数量的聚焦像素的、图像的重构图像开始对当前焦点堆栈的每个图像进行解码。
可选地，并且与编码相反地，焦点堆栈中的、包括最高数量的聚焦像素的所述图像是全聚焦图像(AIF)。
在该特定情况下，解码器例如从表示根据上文所描述的编码方法编码的至少当前焦点堆栈的所述信号提取允许重构所述AIF图像的映射。
这样的映射指示对于每个像素，应该使用当前焦点堆栈中的哪个图像(例如，所考虑的像素在哪里聚焦)。
一旦通过使用被插入在所接收的信号中的映射，包括最高数量的聚焦像素的图像被解码(91)为内部图像或被重构为AIF，则通过从至少包括最高数量的聚焦像素的所述图像的预测，解码(92)当前焦点堆栈的至少另一图像。
换句话说，至少对于另一图像的像素，预测包括从至少在图像中并置的对应像素的值来获得值，该图像对应于当前焦点堆栈中的、包括最高数量的聚焦像素的图像。
除了与包括与最高数量的聚焦像素的图像相关联的解码图像，当前焦点堆栈的所有图像的这种解码(92)可以被称为“堆栈内解码”，并且，由于所有图像是从至少重构图像预测的，因此在于利用当前焦点堆栈的所有图像之间的依赖性。
与“堆栈内编码”相反地，所述“堆栈内解码”也可以考虑模糊的模型。
另外，依赖于应用，如上面已经描述的如图5所表示的，当前焦点堆栈在和当前焦点堆栈相同的时刻但具有与当前焦点堆栈的观看角度不同的观看角度捕捉的焦点堆栈组的一部分是可能的。
在该可选情况下，执行“堆栈间解码”(未被表示出)以对属于焦点堆栈组的所有图像进行解码。
更确切地说，焦点堆栈组的焦点堆栈根据其观看角度的取向顺序而被排序，例如如图5所示。
在这种特定情况下，“堆栈间解码”包括：
-从当前焦点堆栈的取向顺序和观看角度v0确定堆栈间图像解码顺序，观看角度v0被称为参考观看角度v0，
-对焦点堆栈组的至少另一焦点堆栈的图像的至少一个像素进行解码，其中，该焦点堆栈组是根据从当前焦点堆栈的重构图像的堆栈间图像解码顺序进行处理的，该至少另一焦点堆栈的图像是具有最高数量的聚焦像素的图像，被称为参考图像。
根据第一变型，一旦一个参考图像已经被解码用于包括焦点堆栈的焦点堆栈组的一个焦点堆栈，则在所考虑的焦点堆栈内，使用上面所描述的“堆栈内解码”对其他焦平面的其他图像进解码。
根据第二变型，可以从重构图像解码所有的参考图像，以及然后对于焦点堆栈中的每个焦点堆栈，执行“堆栈内编码”。
根据“堆栈间解码”的特定特征，假设焦点堆栈组的图像之间的差异是已知的且可用的(或者被计算出或者可用或者由编码器在信号内发送以进行解码)，这样的差异被用于改善重构图像的一个参考图像的预测。
考虑到这种差异是可以在预测期间实现的、关于用于最佳匹配的经典搜索的替代方案。
根据“堆栈间解码”的另一特定特征，可使用分层深度图像(LDI)解码方案作为对这些视图进行解码的另一替代方案。LDI方案在于解码图像、深度/差异和遮挡区域以重构不能通过差异被重构的、在一个视图(即图像)中被遮挡的区域。
依赖于应用，如图7所示，在和当前焦点堆栈相同的时刻捕捉的焦点堆栈组也属于序列Seq是可能的，该序列Seq还包括在不同时刻捕捉的至少另一焦点堆栈组。
在这种情况下，根据本公开的方法包括通过使用从在参考时刻捕捉的焦点堆栈组的当前焦点堆栈的重构图像执行的时间预测，对焦点堆栈组的序列Seq的至少另一焦点堆栈组的焦点堆栈的参考图像的至少一个像素进行“间解码”，其中所述焦点堆栈通过观看角度v0的参考值而被捕捉，所述至少另一焦点堆栈组在时刻t被捕捉。
可以注意到，当必须对这样的序列进行解码时，可能首先对从重构图像用另一个焦点堆栈组的参考观看角度v0捕捉的参考图像进行解码，然后在每个组Gto和Gt内使用如上面所描述的“堆栈内解码”和“堆栈间解码”对所有其他剩余图像进行解码。
然而，也可能首先使用如上面所描述的“堆栈内解码”和“堆栈间解码”对组Gto的所用图像进行编码，以及然后使用“间解码”对组Gt的参考图像进行解码，以及然后使用如上面所描述的“堆栈内解码”和“堆栈间解码”对组Gt的所有其他图像进行解码。
为了改进，“间解码”运动补偿模型可以被用来提高预测精度。
5.5编码器和解码器的结构
在图3和图9中，模块是功能单元，其可与或可不与可区分的物理单元有关。例如，这些模块或这些模块中的某些模块可以被集中在专门的组件或电路中，或者对软件的功能有贡献。相反，某些模块可能由单独的物理实体组成。使用纯硬件来实现与本公开相兼容的装置，例如使用专用硬件比如ASIC或FPGA或VLSI，分别为“专用集成电路”、“现场可编程门阵列”、“超大规模集成”，或者从嵌入在设备中的多个集成电子组件或者从硬件和软件组件的混合来实现与本公开相兼容的装置。
图10表示可被配置为实现结合图3-7描述的编码方法或结合图9的解码方法的设备900的示例性架构。
设备900包括以下通过数据和地址总线901链接在一起的元件：
-微处理器903(或CPU)，其例如是DSP(或数字信号处理器)；
-ROM(或只读存储器)902；
-RAM(或随机存取存储器)904；
-用于从应用发送和/或接收数据的I/O接口905；以及
-电池906。
根据一个变型，电池906在设备外部。图10的这些元件中的每一个都是本领域技术人员所熟知的，并且将不会被进一步公开。在每个提到的存储器中，说明书中所使用的“寄存器”一词可以对应于小容量区域(某些比特)或非常大的区域(例如整个程序或大量的接收或解码数据)。ROM 902至少包括程序和参数。根据本公开的方法的算法被存储在ROM 902中。当打开时，CPU 903将程序上载到RAM中并执行相对应的指令。
RAM 904包括在寄存器中由CPU 903执行且在设备900被打开之后上载的程序、在寄存器中的输入数据、在寄存器中的方法的不同状态中的中间数据以及在寄存器中被用于执行方法的其他变量。
本公开所描述的实施方式可以例如方法或处理、装置、软件程序、数据流或信号来实现。即使仅在实施方式的单一形式的上下文中讨论(例如，仅作为方法或设备讨论)，所讨论的特征的实施方式也可以以其他形式(例如程序)来实现。装置可以例如以适当的硬件、软件和固件来实现。这些方法可以在例如诸如处理器的装置中实现，该装置通常指包括例如计算机、微处理器、集成电路或可编程逻辑设备的处理设备。处理器还包括通信设备，诸如例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)以及便于终端用户之间信息通信的其它设备。
根据编码或编码器的具体实施例，从源获得焦点堆栈。例如，该源属于包括以下组件的集合：
-本地存储器(902或904)，例如，视频存储器或RAM(或随机存取存储器)、闪存、ROM(或只读存储器)、硬盘；
-存储接口，例如与大容量存储器、RAM、闪存、ROM、光盘或磁性支架的接口；
-通信接口(905)，例如有线接口(例如总线接口、广域网接口、局域网接口)或无线接口(诸如IEEE 802.11接口或接口)；以及
-图像捕捉电路(例如，诸如例如CCD(或电荷耦合器件)或CMOS(或互补金属氧化物半导体)的传感器))。
根据编码或编码器的不同实施例，由编码器传送的信号被发送到目的设备。作为例子，信号被存储在本地或远程存储器中，例如，视频存储器(904)或RAM(904)、硬盘(902)。在一个变型中，信号被发送到存储接口，例如，与大容量存储器、闪速存储器、ROM、光盘或磁性支持的接口和/或通过通信接口(905)发送的接口，例如，点到点链路的接口、通信总线、点到多点链路或广播网络。
根据解码或解码器的不同实施例，已解码的焦点堆栈被发送到目的设备；具体地，该目的设备属于包括以下组件的集合：
-本地存储器(902或904)，例如，视频存储器或RAM(或随机存取存储器)、闪存、ROM(或只读存储器)、硬盘；
-存储接口，例如与大容量存储器、RAM、闪存、ROM、光盘或磁性支架的接口；
-通信接口(905)，例如有线接口(例如总线接口、广域网接口、局域网接口)或无线接口(诸如IEEE 802.11接口或接口)；以及
-显示器。
根据解码或解码器的不同实施例，从源获得信号。示例性地，，信号从本地存储器中读取，例如该本次存储器是视频存储器(904)或RAM(904)、POM(902)、闪存(902)或者硬盘(902)。在一个变型中，从存储接口接收信号，该存储接口例如与大容量存储器、闪速存储器、ROM、光盘或磁性支持的接口和/或通过通信接口(905)发送的接口，例如，点到点链路的接口、总线、点到多点链路或广播网络。
本公开所描述的各种处理和特征的实施方式可以被体现在各种不同的装置或应用中。这种装置的示例包括编码器、解码器、处理从解码器的输出的后处理器、向编码器提供输入的预处理器、视频编码器、视频解码器、视频编解码器、网页服务器、机顶盒、膝上型电脑、个人电脑、手机、PDA以及用于处理图片或视频的任何其他设备或其他通信设备。应该清楚，该装置可以是移动的，甚至可以被安装在移动车辆中。
另外，方法可以通过由处理器运行的指令来实现，并且这样的指令(和/或由实现产生的数据值)可以被存储在计算机可读存储介质上。计算机可读存储介质可以采取体现在一个或多个计算机可读介质中并且在其上具有可由计算机执行的计算机可读程序代码的计算机可读程序产品的形式。本公开使用的计算机可读存储介质被认为是非暂时存储介质，其具有存储其中的信息的固有能力以及从中提供信息检索的固有能力。计算机可读存储介质可以是例如但不限于电子的、磁的、光学的、电磁的、红外的或半导体的系统、装置或设备，或前述的任何合适的组合。应该理解的是，以下内容虽然提供了可应用本原理的计算机可读存储介质的更具体示例，但是正如本领域普通技术人员容易理解的，仅仅是说明性的而非详尽的列表：便携式电脑软盘；硬盘；只读存储器(ROM)；可擦除可编程只读存储器(EPROM或闪存)；便携式光盘只读存储器(CD-ROM)；光存储装置；磁存储装置；或前述的任何合适的组合。
指令可以形成被有形地体现在处理器可读介质上的应用程序。
例如，指令可以是硬件、固件、驻留软件、微代码等等，或者组合软件和硬件方面的实施例，这些方面在本文中通常可以被称为“电路”、“模块”或“系统”。
当本原理由一个或多个硬件组件实现时，可以注意到，硬件组件包括处理器，该处理器是诸如中央处理单元和/或微处理器、和/或专用集成电路(ASIC)和/或应用专用指令集处理器(ASIP)和/或图形处理单元(GPU)和/或物理处理单元(PPU)和/或数字信号处理器(DSP)和/或图像处理器、和/或协处理器、和/或浮点单元、和/或网络处理器、和/或音频处理器、和/或多核处理器的的集成电路。此外，硬件组件还可以包括接收或发送无线信号的基带处理器(包括例如存储器单元和固件)和/或无线电电路(可以包括天线)。在一个实施例中，硬件组件符合诸如ISO/IEC 18092/ECMA-340、ISO/IEC 21481/ECMA-352、GSMA、StoLPaN、ETSI/SCP(智能卡平台)、GlobalPlatform(即安全元件)的一个或多个标准。在变型中，硬件组件是射频识别(RFID)标签。在一个实施例中，硬件组件包括使能蓝牙通信、和/或Wi-Fi通信和/或Zigbee通信、和/或USB通信和/或火线通信和/或(用于近场的)NFC通信的电路。
此外，本原理的各方面可以采取计算机可读存储介质的形式。可以利用一个或多个计算机可读存储介质的任何组合。
因此，例如，本领域技术人员将认识到，本公开呈现的方框图表示体现本发明原理的说明性系统组件和/或电路的概念图。类似地，可以理解的是，不管是否明确示出这样的计算机或处理器，任何流程图、流程图表、状态转换图、伪代码等表示可以基本上在计算机可读存储介质中被表示并由计算机或处理器执行的各种处理。
对于本领域技术人员而言显而易见的是，实施方式可以产生格式化为承载可以例如被存储或被发送的信息的各种信号。该信息可以包括例如用于执行方法的指令或者由所描述的实施方式中的一个实施方式所产生的数据。例如，信号可以被格式化以将用于写入或读取所描述的实施例的语法的规则作为数据携带，或者将由所描述的实施例写入的实际语法值作为数据携带。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或者为基带信号。格式化可以包括例如编码数据流和用已编码的数据流调制载波。信号携带的信息可以是例如模拟或数字信息。众所周知，信号可以通过各种不同的有线或无线链路传输。信号可以被存储在处理器可读介质上。
已经描述了许多实施方式。然而，可以理解的是，可以进行各种修改。例如，不同实施方式的元件可以被组合、补充、修改或移除以生成其他实施方式。另外，普通技术人员将理解，其他结构和过程可以替代所公开的这些结构和过程，并且所得到的实施方式将以至少基本上以相同的方式执行至少基本上相同的功能，以取得与所公开的实施方式至少基本上相同的结果。相应地，这些和其他实施方式是由本申请构思的。

Claims (16)

1.一种用于编码(30)当前焦点堆栈(300)的方法，所述当前焦点堆栈(300)包括在从一个图像到另一个图像在不同聚焦距离处聚焦的一组图像，其中所述方法包括：
对表示所述当前焦点堆栈的图像的信息进行编码(31)，所述图像根据图像锐度标准在所述当前焦点堆栈中被选择，并且将所述图像重构为重构图像；
通过从至少所述重构图像进行预测(320)来编码(32)所述当前焦点堆栈的至少另一图像。
2.根据权利要求1所述的用于编码的方法，其中，所述图像锐度标准对应于图像中聚焦像素的数量。
3.根据权利要求2所述的用于编码的方法，其中，在所述当前焦点堆栈中的所选择的图像是具有最高数量的聚焦像素的图像。
4.根据权利要求3所述的用于编码的方法，其中，在所述当前焦点堆栈中，包括最高数量的聚焦像素的图像是全聚焦图像(3000)。
5.根据权利要求1所述的用于编码的方法，其中通过从至少所述重构图像进行预测来编码所述当前焦点堆栈的至少另一图像包括：对于所述另一图像的至少一个像素，对根据至少在所述重构图像中并置的对应像素的值以及根据模糊函数(321)的值进行编码，所述模糊函数依赖于与要编码的所述另一图像相关联的深度位置。
6.根据上述权利要求中任一项所述的用于编码的方法，其中所述当前焦点堆栈是以不同观看角度捕捉的焦点堆栈组的一部分，所述焦点堆栈组的所述焦点堆栈根据它们的观看角度的取向顺序而被排序，以及其中所述方法还包括：
根据所述当前焦点堆栈的所述取向顺序和观看角度确定(33)堆栈间图像编码顺序，所述观看角度被称为参考观看角度，
对根据从所述当前焦点堆栈的重构图像确定的所述堆栈间图像编码顺序处理的所述焦点堆栈组的至少另一焦点堆栈的图像的至少一个像素进行编码(34)，所述至少另一焦点堆栈的所述图像是根据图像锐度标准被选择的图像并且被称为参考图像。
7.根据权利要求6所述的用于编码的方法，其中，所述参考图像的所述像素根据以所述观看角度的参考值捕捉的当前焦点堆栈的所述重构图像，以及根据表示当前焦点堆栈的所述参考图像和所述重构图像之间的差异(341)的信息被编码。
8.根据权利要求6所述的用于编码的方法，其中，以与所述观看角度的参考值不同的观看角度捕捉的、所述参考图像的每个像素的所述值根据以所述观看角度的参考值捕捉的当前焦点堆栈的所述重构图像，以及根据与所述焦点堆组相关联的场景的分层深度图像(342)被编码。
9.根据权利要求6至8中任一项所述的用于编码的方法，其中，所述焦点堆栈组在参考时刻t0被捕捉，并且所述焦点堆栈组是还包括在时刻t捕捉的至少一个其他焦点堆栈组的序列的一部分，所述方法还包括：
通过使用从在所述参考时刻t0捕捉的所述当前焦点堆栈的重构图像执行的时间预测(350)，对所述焦点堆栈组的序列中的、在时刻t捕捉的所述至少一个其他焦点堆栈组的、以所述观看角度的参考值捕捉的焦点堆栈的参考图像的至少一个像素进行编码(35)。
10.根据权利要求4所述的用于编码的方法，其中所述方法还包括：将用于重构所述当前焦点堆栈的所述全聚焦图像的映射插入(3001)表示所述当前焦点堆栈的信号中。
11.表示至少当前焦点堆栈的信号，所述焦点堆栈包括在从一个图像到另一个图像在不同聚焦距离处聚焦的一组图像，所述信号至少包括：
表示当前焦点堆栈的图像的信息，所述图像根据图像锐度标准在所述当前焦点堆栈中被选择；
至少与当前焦点堆栈的另一图像相关联的信息，并且所述信息通过从至少所述所选择的图像的重构图像进行预测而被获得。
12.一种用于解码当前焦点堆栈的方法，所述当前焦点堆栈包括在从一个图像到另一个图像在不同聚焦距离处聚焦的一组图像，其中所述方法包括：
对表示所述当前焦点堆栈的图像的信息进行解码，所述图像符合图像锐度标准；
通过从至少所述已解码的图像进行预测来重构所述当前焦点堆栈的至少另一图像。
13.一种用于编码当前焦点堆栈的设备，所述当前焦点堆栈包括在从一个图像到另一个图像在不同聚焦距离处聚焦的一组图像，其中所述设备包括：存储器；以及被耦合到所述存储器的至少一个处理器，所述至少一个处理器被配置为：
对表示所述当前焦点堆栈的图像的信息进行编码，所述图像根据图像锐度标准在所述当前焦点堆栈中被选择，并且将所述图像重构为重构图像；
通过从至少所述重构图像进行预测来编码所述当前焦点堆栈的至少另一图像。
14.一种用于解码当前焦点堆栈的设备，所述当前焦点堆栈包括在从一个图像到另一个图像在不同聚焦距离处聚焦的一组图像，其中所述设备包括：存储器；以及被耦合到所述存储器的至少一个处理器，所述至少一个处理器被配置为：
对表示所述当前焦点堆栈的图像的信息进行解码，所述图像符合图像锐度标准；
通过从至少所述已解码的图像进行预测来重构所述当前焦点堆栈的至少另一图像。
15.一种从通信网络可下载的和/或被记录在由计算机可读的和/或由处理器可执行的介质上的计算机程序产品，所述计算机程序产品包括用于实现根据权利要求1至10、或12任一项所述的方法的程序代码指令。
16.一种包括在其上记录的计算机程序产品的非瞬时计算机可读介质，所述计算机程序产品可由处理器运行，所述计算机程序产品包括用于实现根据权利要求1至10、或12任一项所述的方法的程序代码指令。
CN201680061252.2A 2015-09-07 2016-09-05 用于编码和解码基于光场的图像的方法和设备 Active CN108141610B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15306363.1A EP3139614A1 (en) 2015-09-07 2015-09-07 Method and device for encoding and decoding a light field based image, and corresponding computer program product
EP15306363.1 2015-09-07
PCT/EP2016/070886 WO2017042133A1 (en) 2015-09-07 2016-09-05 Method and device for encoding and decoding a light field based image, and corresponding computer program product

Publications (2)

Publication Number Publication Date
CN108141610A true CN108141610A (zh) 2018-06-08
CN108141610B CN108141610B (zh) 2023-10-13

Family

ID=54249408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680061252.2A Active CN108141610B (zh) 2015-09-07 2016-09-05 用于编码和解码基于光场的图像的方法和设备

Country Status (6)

Country Link
US (2) US10536718B2 (zh)
EP (2) EP3139614A1 (zh)
JP (1) JP6901468B2 (zh)
KR (1) KR20180049028A (zh)
CN (1) CN108141610B (zh)
WO (1) WO2017042133A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490924A (zh) * 2019-07-16 2019-11-22 西安理工大学 一种基于多尺度Harris的光场图像特征点检测方法
CN111427166A (zh) * 2020-03-31 2020-07-17 京东方科技集团股份有限公司 一种光场显示方法及系统、存储介质和显示面板
CN112019862A (zh) * 2020-09-08 2020-12-01 华中科技大学 图像处理方法、装置及设备
CN112470470A (zh) * 2018-07-30 2021-03-09 华为技术有限公司 多焦点显示设备和方法
WO2023019567A1 (zh) * 2021-08-20 2023-02-23 深圳传音控股股份有限公司 图像处理方法、移动终端及存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3151534A1 (en) * 2015-09-29 2017-04-05 Thomson Licensing Method of refocusing images captured by a plenoptic camera and audio based refocusing image system
US10432944B2 (en) * 2017-08-23 2019-10-01 Avalon Holographics Inc. Layered scene decomposition CODEC system and methods
JP6936990B2 (ja) * 2018-07-26 2021-09-22 日本電信電話株式会社 符号化装置及びプログラム
CN111416977B (zh) * 2019-01-07 2024-02-09 浙江大学 视频编码器、视频解码器及相应方法
CN111182312B (zh) * 2020-01-03 2021-10-29 杭州电子科技大学 一种分级残差光场视频编码方法
CN111416983B (zh) * 2020-04-07 2022-03-15 清华大学深圳国际研究生院 基于成像相关的多焦距光场视频帧内预测方法和装置
US20220084223A1 (en) * 2020-09-14 2022-03-17 The Regents Of The University Of Michigan Focal Stack Camera As Secure Imaging Device And Image Manipulation Detection Method
KR102545741B1 (ko) * 2022-11-08 2023-06-21 주식회사 하나씨엔에스 Cctv 회전형 카메라 제어 단말기

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050030315A1 (en) * 2003-08-04 2005-02-10 Michael Cohen System and method for image editing using an image stack
CN103581686A (zh) * 2012-07-19 2014-02-12 索尼公司 压缩z-堆叠显微镜图像的方法和装置
WO2014083574A2 (en) * 2012-11-30 2014-06-05 Larsen & Toubro Limited A method and system for extended depth of field calculation for microscopic images
US20140267618A1 (en) * 2013-03-15 2014-09-18 Google Inc. Capturing and Refocusing Imagery
US20150062370A1 (en) * 2013-08-30 2015-03-05 Qualcomm Incorporated Method and apparatus for generating an all-in-focus image

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007011977A (ja) * 2005-07-04 2007-01-18 Nikon Corp 画像処理方法、コンピュータ実行可能なプログラム、及び顕微鏡システム
US8559705B2 (en) * 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
IT1403541B1 (it) * 2011-01-31 2013-10-31 Sarong Spa Macchina erogatrice per bevande
US8432434B2 (en) * 2011-07-08 2013-04-30 Mitsubishi Electric Research Laboratories, Inc. Camera and method for focus based depth reconstruction of dynamic scenes
US8995785B2 (en) 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
JP2015008387A (ja) * 2013-06-25 2015-01-15 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム並びに撮像装置
JP2015103872A (ja) * 2013-11-21 2015-06-04 キヤノン株式会社 画像符号化装置及び画像復号装置及びそれらの制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050030315A1 (en) * 2003-08-04 2005-02-10 Michael Cohen System and method for image editing using an image stack
CN103581686A (zh) * 2012-07-19 2014-02-12 索尼公司 压缩z-堆叠显微镜图像的方法和装置
WO2014083574A2 (en) * 2012-11-30 2014-06-05 Larsen & Toubro Limited A method and system for extended depth of field calculation for microscopic images
US20140267618A1 (en) * 2013-03-15 2014-09-18 Google Inc. Capturing and Refocusing Imagery
US20150062370A1 (en) * 2013-08-30 2015-03-05 Qualcomm Incorporated Method and apparatus for generating an all-in-focus image

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112470470A (zh) * 2018-07-30 2021-03-09 华为技术有限公司 多焦点显示设备和方法
CN110490924A (zh) * 2019-07-16 2019-11-22 西安理工大学 一种基于多尺度Harris的光场图像特征点检测方法
CN110490924B (zh) * 2019-07-16 2022-07-01 西安理工大学 一种基于多尺度Harris的光场图像特征点检测方法
CN111427166A (zh) * 2020-03-31 2020-07-17 京东方科技集团股份有限公司 一种光场显示方法及系统、存储介质和显示面板
US11825064B2 (en) 2020-03-31 2023-11-21 Boe Technology Group Co., Ltd. Light field display method and system, storage medium and display panel
CN112019862A (zh) * 2020-09-08 2020-12-01 华中科技大学 图像处理方法、装置及设备
WO2023019567A1 (zh) * 2021-08-20 2023-02-23 深圳传音控股股份有限公司 图像处理方法、移动终端及存储介质

Also Published As

Publication number Publication date
KR20180049028A (ko) 2018-05-10
JP2018530225A (ja) 2018-10-11
US10536718B2 (en) 2020-01-14
US20200099955A1 (en) 2020-03-26
US20180249178A1 (en) 2018-08-30
WO2017042133A1 (en) 2017-03-16
EP3348060A1 (en) 2018-07-18
EP3348060B1 (en) 2023-04-05
JP6901468B2 (ja) 2021-07-14
EP3139614A1 (en) 2017-03-08
CN108141610B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN108141610A (zh) 用于编码和解码基于光场的图像的方法和设备，以及相应的计算机程序产品
US10652577B2 (en) Method and apparatus for encoding and decoding light field based image, and corresponding computer program product
CN104521238B (zh) 用于3d视频编码的装置和方法
US10785502B2 (en) Method and apparatus for encoding and decoding a light field based image, and corresponding computer program product
CN106471807B (zh) 包括视角合成预测的三维或多视角视频的编码方法
CN109792528A (zh) 使用光场数据重构表示场景的点云的方法和设备
CA2692250A1 (en) Video encoding and decoding methods using residual prediction, and corresponding apparatuses
CN114915783A (zh) 编码方法和装置
KR20200022471A (ko) 플렌옵틱 카메라에 의해 취득되는 데이터로부터 획득된 이미지 뷰 매트릭스를 인코딩하는 방법
US20180278955A1 (en) Method and apparatus for reducing the coding artefact of a light field based image, and corresponding computer program product
CN114584776A (zh) 帧内预测模式的译码方法和装置
US20170150152A1 (en) Methods and devices for encoding and decoding a matrix of views obtained from light-field data, corresponding computer program and non-transitory program storage device
KR20210018348A (ko) 라이트 필드 코딩 및 디코딩을 위한 예측
Liu et al. Three-dimensional holoscopic image coding scheme using high-efficiency video coding with kernel-based minimum mean-square-error estimation
JP6386466B2 (ja) 映像符号化装置及び方法、及び、映像復号装置及び方法
EP3203742A1 (en) System and method for encoding and decoding information representative of a focalization distance associated to an image belonging to a focal stack representative of a light field content
Phi Perceptually Optimized Plenoptic Data Representation and Coding
JP2016511593A (ja) 視差動きベクトルの導出、そのような導出を使用した３ｄビデオコーディングおよびデコーディング

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190919

Address after: Delaware, USA

Applicant after: Interactive Digital VC Holdings

Address before: Icelemulino, France

Applicant before: THOMSON LICENSING

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant