CN110612722A - 对数字光场图像编码和解码的方法和设备 - Google Patents

对数字光场图像编码和解码的方法和设备 Download PDF

Info

Publication number
CN110612722A
CN110612722A CN201880030329.9A CN201880030329A CN110612722A CN 110612722 A CN110612722 A CN 110612722A CN 201880030329 A CN201880030329 A CN 201880030329A CN 110612722 A CN110612722 A CN 110612722A
Authority
CN
China
Prior art keywords
sub
image
views
pixels
series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880030329.9A
Other languages
English (en)
Other versions
CN110612722B (zh
Inventor
曹荣轩
张吉恩
安东尼奥·奥尔特加
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sisvel Technology SRL
Original Assignee
Sisvel Technology SRL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sisvel Technology SRL filed Critical Sisvel Technology SRL
Publication of CN110612722A publication Critical patent/CN110612722A/zh
Application granted granted Critical
Publication of CN110612722B publication Critical patent/CN110612722B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种对原始的微小透镜图像(f)编码的方法，所述方法包括接收阶段(705)，其中接收原始的微小透镜图像(f)的至少一部分，所述图像(f)包括多个宏像素(650、1320、1340)，每个宏像素(650、1320、1340)包括与场景同一点的特定视角相对应的像素；输出阶段，其中，输出包括被编码的微小透镜图像(f)的至少一部分的比特流(fd^)。所述方法包括图像变换阶段(710)，其中，所述原始的微小透镜图像(f)的像素在相对于所接收的原始的微小透镜图像具有更多列和更多行的变换多色图像(660)中被空间移位，其中具有未限定值的虚拟像素(610、620)被插入到所述原始的微小透镜图像(f)中，并且其中，执行所述移位，以便将每个宏像素(650、1320、1340)的估计中心位置置于整数像素位置。而且，方法还包括子视图生成阶段，其中，生成子视图系列(fd’)，所述子视图(1310、1510、1620)包括从变换后的原始的微小透镜图像(f)的不同的宏像素(650、1320、1340)提取的相同角度坐标的像素。最后，方法包括图形编码阶段，其中，通过根据预定的图形信号处理(GSP)技术，对所述系列(fd’)的子视图(1310、1510、1620)中的至少一个的图形表示进行编码，从而生成比特流(fd^)。所述输出阶段包括输出被图形编码的比特流(fd^)，以用于其传输和/或存储。

Description

对数字光场图像编码和解码的方法和设备
技术领域
本发明涉及一种用于对数字图像编码和/或解码的方法和设备。特别地，用于对由所谓的光场相机提供的数字图像编码和/或解码。
背景技术
在操作过程中，常规的数字相机会捕获表示投射到相机内光电传感器上每个点的总光量的二维(2D)图像。但是，此2D图像不包含有关投射到光电传感器的光的方向分布的信息。
相比之下，光场相机对四维(4D)光学相空间或光场进行采样，这样做可捕获有关光线方向分布的信息。像素处的方向信息对应于光圈处的位置信息。
由光场相机捕获的该信息可以被称为光场、全光功能或辐射。
在计算摄影中，光场是3D中所有光线的4D记录。辐射描述空间和角度信息，并定义为每单位立体角(以弧度为单位)、每单位面积的能量密度。
光场相机捕获辐射，因此可以进行不同的后处理，例如：重新聚焦、降噪、3D视图构造和景深修改，此外，它还具有广泛的应用，包括3D TV和医学成像。
可以用常规相机捕获光场。在一种常规方法中，利用常规相机，从不同位置捕获场景的M×N个图像。例如，如果从64个不同位置捕获了8×8个图像，则会产生64个图像。拍摄每个图像中每个位置(i，j)的像素并将该像素放入块中，以生成64个块。
图1(a)示出了示例性的现有技术的光场相机100或相机阵列，其采用两个或多个物镜110的阵列。每个物镜聚焦在光电传感器140的特定区域上。该光场相机100可以被视为两个或多个常规相机的组合，每个相机同时将对象的图像记录在光电传感器140的特定区域上。然后，可以将捕获的图像组合以形成一个图像。
图1(b)示出了示例性的现有技术的全光相机150，另一种类型的光场相机，其采用单个主物镜160和微透镜或微小透镜阵列170，该微透镜或微小透镜阵列170包括例如大约100，000个微小透镜。
通常将微小透镜阵列170放置在距离光电传感器180很小的距离(～0.5mm)处，该传感器可以是例如电荷耦合装置(CCD)。通过微透镜阵列170，3D场景的每个点都投影到一组像素(称为宏像素)，而不是传统2D图像中的单个像素。宏像素内的每个像素对应于场景同一点的特定视角。
图2示出了由全光相机150捕获的图像(也称为微小透镜图像(图2(a)))的示例，其由宏像素阵列(图2(b))组成，宏像素阵列通常为六边形或圆形(图2(c))。微小透镜阵列170使全光相机150能够捕获光场，即不仅记录图像强度，而且还记录每个点处、在不同方向上的强度分布。
每个微小透镜将从主透镜160到其的光束分成来自主物镜160的光圈上不同“针孔”位置的射线。
由具有例如100，000个微小透镜的相机150捕获的全光照片将包含100，000个宏像素。通常将从光场相机(包括全光相机)捕获的光场保存为微小透镜图像(图2(a))。
光场图像的压缩是计算摄影的重要问题。由于光场的4D性质，以及光场的2D切片等同于常规图片的事实，未压缩的文件往往很大，并可能占用数GB的空间。
同时，数据中存在冗余：从表面点开始的所有射线都具有近似相同的辐射。
因此，存在动机对光场图像进行压缩。常规地，已经使用现有的有损和无损图像/视频压缩技术来压缩光场图像。
一些常规的图像压缩方法将光场图像中的2D切片视为单独的图像，并单独进行压缩。在其他方法中，4D光场图像包含在一个2D图像中，通过常规方法将其简单压缩为一个图像。
这些方法没有利用光场图像特有的信息和冗余，而是将它们视为普通图像。
JPEG(联合图像专家组)是一种常见的常规图像压缩标准，它采用基于块的压缩技术。JPEG将图像划分为8×8像素块，或更一般地，基于块的压缩技术将图像划分为m×n像素块，并使用某种变换函数将这些块压缩。
由于将图像划分为块，因此已知JPEG和其他基于块的压缩技术会产生“块状伪像”的问题，其中压缩图像看起来是由块组成的，或者具有其他引入的垂直/水平伪像(例如垂直或水平线，不连续性或条纹)。
JPEG标准和其他基于块的压缩技术可用于直接压缩光场图像，而无需考虑光场数据的细节。
但是，由于光场图像的准周期性质和压缩的块状性质，结果往往很差，包括明显的块状伪像。这样的块状伪像可能严重损坏光场图像中的角度信息，因此可能限制使用这些图像可以实现的水平和垂直视差。
通过采用诸如AVC(高级视频编解码器)或HEVC(高效视频编码)的视频编码标准，已经提出了几种方法来将光场图像具体地压缩为视频中的帧。
这些标准是由运动图像专家组(MPEG)和视频编码联合协作团队(JCT-VC)改进的，并采用了利用离散余弦变换(DCT)技术的、基于块的编码方法。
在光场图像处理中，微小透镜图像通常被转换为所谓的子光圈图像，如图3(a)所示。
子光圈图像由多个子视图组成，其中每个子视图均由从微小透镜图像中的不同宏像素提取的、具有相同角坐标的像素组成。
在图3(a)中，子视图是根据宏像素内的相对位置排列的。在子光圈图像中，通常可以使用两种类型的冗余进行压缩，即视图内和视图间的相关性。
第一冗余类型是每个视图内的空间相关性，这类似于规律的2D图像，其中附近的像素往往具有相似的像素强度。
第二冗余类型是相邻子视图之间的视图间相关性。在光场数据压缩的文献中，以与诸如AVC和HEVC的视频编码标准中的预测内和预测间相似的方式，来利用这两种相关类型。
通常，这些方法可以分为两类。
第一个方法以当前视频编解码器中经过修改的预测内来压缩子光圈图像。在2011年第19届IEEE欧洲信号处理大会上发表的“改进的3D全息图像和视频编码空间预测”中，Conti等提出了一种额外的自相似(SS)模式和SS跳过模式，它们已包含在当前的预测内模式中，以利用子光圈图像中相邻子视图之间的相关性。
在第二种方法中，子光圈图像中的子视图被重排为伪视频系列，然后使用现有的视频编码标准(例如HEVC)对其进行编码。应用了不同的子图像重排方案的作品。Perra和Assuncao在“基于平铺和伪时间数据排列的光场图像高效编码”(发表在IEEE Multimedia&Expo Workshops(ICMEW 2016)中)中，提出了一种基于低复杂度预处理方法的光场编码方案，该方案可生成适合使用HEVC进行标准压缩的伪视频系列。
然而，前述现有工作需要预处理阶段，该预处理阶段增加了压缩之前的数据表示冗余。
为了示出关于将光场图像压缩为视频中的帧的当前技术水平的局限性，在图4中以其基本功能单元示出了关于光场图像编码-解码系统的架构。
编码器400至少包括光场图像预处理单元420，子光圈图像处理单元430和基于块的编码器单元440。
光场图像预处理单元420将由光电传感器410(例如，CDD传感器)生成的图案化的原始的微小透镜图像f作为输入。
图案化的原始的微小透镜图像f是多色图像，即，包括关于不同颜色(例如，红色、绿色、蓝色)的信息的图像，该图像可以通过在光电传感器的正方形网格上(诸如已知的拜耳过滤器)采用滤色器阵列来生成。图5(a)和图6(a)示意性地示出了所述滤色器阵列(元件f)的示例。
在数字相机、便携式摄像机和扫描仪中使用的大多数单芯片数字图像传感器中都使用了特殊布置的彩色滤色器，以创建彩色图像。
参考图5，预处理单元420首先通过RGB颜色插值来生成全彩色的微小透镜图像，该技术在本领域中被称为去马赛克技术，该操作将数据量增加到初始原始数据的三倍(图5(b))，因为对于每个颜色信道R、G、B，都会生成与初始原始图像相同大小的图像。
随后，由D.G.Dansereau、O.Pizarro和S.B.Williams在“基于微小透镜的全光相机的解码、校准和校正”(发表于IEEE会议论文集中的《计算机视觉与模式识别》(2013年))中描述了从全彩色的微小透镜图像转换为子光圈图像。
在转换过程中，去马赛克的微小透镜图像首先旋转、平移和缩放，宏像素中心的估计位置(使用虚线表示)(图5(c))可以落在整数像素位置上。该操作导致像素数量增加20％。最后，基于每个像素相对于宏像素中心的相对位置，从转换后的微小透镜图像生成子光圈图像f’。
子光圈图像处理单元430将子光圈图像f’作为输入，并将构成f’的子视图图像排列成一个系列。
子视图系列可以服从各种标准，例如，该系列可以按照图片组或GOP(图片组)结构组成，指定帧内和帧间的排列顺序。
可以从基于块的编码器接收到所得到的子视图系列f”。
基于块的编码器单元440将子视图系列f”作为输入，并且根据公知视频编码标准(诸如AVC或HEVC)对其进行编码。
此外，所述标准在压缩期间使用的方法需要将格式从4：4：4-RGB格式转换为4：2：0-YUV格式。
虽然，U和V分量的下采样减少了去马赛克和缩放所引入的冗余，但是，颜色转换期间的舍入效果可能会引入其他失真。编码器单元440的输出是符合所述标准的比特流f^。
编码器400然后在带宽受限的信道上将比特流f^发送到接收器节点，或者将它们存储在存储器支持件450上以备以后使用，例如用于解码目的。
解码器460至少包括基于块的解码器单元470和后处理单元480。为简单起见，我们假定解码器460可用的比特流f^与编码器400生成的比特流相同，因为在实际应用中，采取足够措施以最小化信息在从编码器到解码器的传输期间发生的读/写或信道错误。
基于块的解码器单元470，将比特流f^作为输入，并根据适当的视频编码标准(AVC、HEVC等)生成被重构的子视图系列f”’。
如上所述，后处理单元480使用能够进行诸如图像重新聚焦、降噪、3D视图构建和景深修改的操作的技术，将被重构的子视图系列f”’作为输入并生成被重构的光场图像f～。
最后，使用显示单元490(诸如电视机、监视器等)显示被重构的光场图像f～。
在现实世界的应用中，通信是在带宽受限的信道上进行的，因此希望在将光场图像置于信道上之前，可以使其经受某种形式的有效压缩。这同样适用于在具有有限容量的存储单元上存储光场图像。
关于压缩光场图像的问题，一些预处理阶段在压缩之前增加了数据表示的冗余度。在光场相机中，在光电传感器上使用CCD板来捕获颜色信息，每个像素位置仅包含单个颜色分量(R、G或B)的强度。
但是，现有的压缩技术都需要全彩色的子光圈图像作为输入。
因此，需要去马赛克，以从CCD图案化图像中产生全彩色的微小透镜图像，这将数据量增加到初始原始数据的三倍；从微小透镜转换到子光圈图像的过程中引入了另一冗余。
在转换期间，去马赛克的微小透镜图像将旋转、平移和缩放，以使宏像素中心的估计位置可以落在整数像素位置上，从而导致像素数量增加20％。
此外，对于使用压缩标准的方法(例如AVC和HEVC中)，需要将4：4：4-RGB子光圈图像转换为4：2：0-YUV图像。尽管对U和V分量的下采样会减少去马赛克和缩放所引入的冗余，但是在颜色转换过程中的舍入效果可能会引入其他失真。
发明内容
本发明旨在通过提供一种用于对由光场相机提供的数字图像进行编码和/或解码的方法和设备来解决这些和其他问题。
本发明的基本思想是产生一种新的紧凑光场图像数据表示，其避免了由于去马赛克和缩放而引起的冗余。使用图形信号处理(GSP)技术可以有效地压缩新的表示。相反，在解码阶段，执行逆GSP技术。
更详细地讲，在编码阶段，为了将每个宏像素的估计中心位置置于整数像素位置，原始光场图像的像素在空间上被替换为新的、经过变换的多色图像，相对于接收到的原始图像具有更多列和更多行。这样的位移会引入虚拟像素，即具有未限定值的像素位置。然后获得子视图系列，并且通过对子视图图像的图形表示进行编码，从而生成比特流(fd^)。
在解码侧，以与在编码器侧应用的GSP技术相反的过程对比特流(fd^)进行图形解码，从图形解码的结果中获得被重构的子视图系列(fd”)。子视图系列包括在编码侧引入的虚拟像素，以用于将宏像素居中到整数像素位置。然后，将去马赛克滤镜应用于所述子视图系列，以获得被去马赛克的全彩色的微小透镜图像，从其获得全彩色的子光圈图像(fd”’)。
本发明中公开的方法可以直接应用于初始色域(例如，RGB色域)，而不在编码过程中执行颜色转换和舍入操作，因为颜色转换和舍入操作通常会导致错误。
附图说明
通过仅以非限制性示例的方式提供的附图中所示的实施例的描述，本发明的特征和其他优点将变得显而易见。
图1示出了示例性的光场相机100和示例性的全光相机150；
图2示出了由全光相机150捕获的微小透镜图像的示例；
图3显示了由一组子视图组成的子光圈图像的示例；
图4示出了根据现有技术的光场图像编码-解码系统的框图；
图5示出了根据现有技术的用于对光场图像进行编码的预处理操作；
图6示出了根据本发明实施例的用于对光场图像进行编码的预处理操作；
图7示出了根据本发明实施例的用于对数字光场图像进行编码的预处理阶段的功能；
图8示出了根据本发明实施例的用于对数字光场图像进行解码的去马赛克阶段的功能；
图9示出了根据本发明实施例的光场图像编码-解码系统的框图；
图10示出了根据本发明实施例的用于压缩数字光场图像或视频流的设备的框图；
图11示出了根据本发明实施例的用于解压缩数字光场图像或视频流的设备的框图；
图12显示了滤色器阵列的两个示例；
图13示出了从宏像素阵列生成子视图的过程，反之亦然；
图14示出了根据本发明实施例的所生成的子光圈图像的绿色分量的示例；
图15是组成所生成的子光圈图像的子视图的示例性光栅扫描仪重排图；
图16示出了根据GOP的结构细分的子视图系列的示例；
图17示出了根据本发明实施例实现的测试编码器/解码器对的性能；和
图18示出了根据本发明实施例的用于对光场图像进行解码的操作。
具体实施例
在该描述中，对“实施例”的任何引用将指示关于本发明的实施方式中描述的特定配置、结构或特征包括在至少一个实施例中。因此，在本说明书的不同部分中可能存在的短语“在一个实施例中”和其他类似的短语不必一定都与同一实施例相关。此外，可以在任何一个或多个实施例中以认为合适的任何方式来组合任何特定的配置、结构或特征。
因此，仅出于简化的目的而使用以下的参考文献，并且这不限制各种实施例的保护范围或扩展。
参考图10，用于压缩数字图像或视频流的设备1005(也称为编码装置1005)包括以下部分：
处理单元1010，其类似于中央处理器(CPU)，处理单元被配置为执行一组指令，该组指令用于执行根据本发明的用于对数字图像或视频流进行编码的方法(在本说明书中下文将详细描述所述方法)；
存储单元1030，其可为任何类型(易失性或非易失性存储单元、可移动或固定存储单元)和任何技术(例如，电子技术、基于半导体技术或光电技术)，其包含与要压缩的图像有关的数据，并且优选地包含实现根据本发明的对数字图像或视频流编码的方法的指令，其中图像数据是所述图像的至少一部分的表示，并且优选地是二进制格式，并且其中，所述存储单元1140还可以包含执行所述方法的指令的结果；
输入单元1070(例如，I/O装置)，其可以由CPU 1010配置为从(视频)源1000读取要处理的光场图像或视频流；这样的输入单元可以例如包括根据以下标准中的至少一个标准的适配器：USB、火线、RS232、IEEE 1284、以太网、Wi-Fi等；
预处理单元1020，其被配置用于执行从原始的微小透镜图像f开始生成子视图系列fd’的图形表示的方法的各阶段，其由光场图像或视频源1000产生。特别地，该单元被配置为从源1000接收原始的微小透镜图像，然后对其进行变换，以便将每个宏像素的估计中心位置(组成原始的微小透镜图像)放置在整数像素位置上。接着，从经变换的原始的微小透镜图像开始，生成子光圈图像670，然后基于至少一个预定顺序(如光栅扫描顺序、螺旋顺序、之字形顺序、类似象棋顺序等)来排列子视图系列(组成子光圈图像)。重要的是，在解码设备1100中也使用相同的顺序。最后，根据图片组GOP划分子视图系列，从中获得子视图系列fd’的图形表示。
图形编码单元1040，其被配置为从存储单元1030获取子视图系列fd’的图形表示，并执行根据图形信号处理(GSP)技术、用于对数字图像或视频流进行编码的方法的各阶段，上述技术例如图形傅立叶变换(GFT)或用于分别对每个GOP进行编码的基于图形的提升变换(GLT)，并将得到的比特流fd^存储回到存储单元1030中；
输出单元1080(例如网络或存储适配器)，其可以由CPU 1010配置为通过通信信道将处理结果传输到目的地1095(例如存储介质、远程客户端等)；该输出单元可以例如包括根据以下标准中的至少一个标准的适配器：以太网、SATA、SCSI等；
通信总线1090，其允许在CPU 1010、预处理单元1020、存储单元1030、图形编码单元1040、输入单元1070和输出单元1080之间交换信息。作为替代使用通信总线1009、CPU1010、预处理单元1020、存储单元1030、图形编码单元1040、输入单元1070和输出单元1080可以通过星形结构连接。
视频源1000，其可以是实时图像的提供者(例如光场相机)，或者可以是存储的内容的提供者(例如磁盘或其他存储器和存储装置)。
中央处理单元(CPU)1010，其在由设备1005执行的编码处理中，负责激活由单元1020、1040执行的适当系列的操作。
这些单元可以通过专用硬件组件(例如，CPLD、FPGA等)来实现，或者可以通过由CPU 1010执行的一组或多组指令来实现。在后一种情况下，单元1020、1040仅仅是逻辑(虚拟)单元。
当设备1005处于操作状态时，CPU 1010首先从视频源1000获取光场图像f，并将其加载到存储单元1030中。
接着，CPU 1010激活预处理单元1020，该预处理单元1020从存储单元1030获取原始的微小透镜图像f，执行根据本发明的实施例的用于对原始的微小透镜图像f进行预处理的方法的各阶段(见图7)，并将得到的子视图系列fd’的图形表示存储回存储单元1030中。
接着，CPU 1010激活图形编码单元1040，该图形编码单元1040从存储单元1030获取子视图系列fd’的图形表示，并根据图形信号处理(GSP)技术(诸如图形傅立叶变换(GFT)或基于图形的提升变换(GLT))，执行用于对子视图系列fd’进行编码的方法的各个阶段，并将得到的比特流fd^存储回到存储单元1030中。
此时，CPU 1010可以处理来自存储单元1030的数据，这在编码器1005处不再需要。
最后，CPU 1010从存储单元1030中获取比特流fd^，并将其放入信道或将其保存到存储介质1195中。
还参考图11，用于解压缩数字图像或视频流的设备1100(也称为解码设备1100)包括以下部分：
处理单元1110，其类似于中央处理器(CPU)，处理单元被配置为执行一组指令，该组指令用于执行根据本发明的用于对数字图像或视频流进行解码的方法(在本说明书中下文将详细描述所述方法)；
存储单元1140，其可为任何类型(易失性或非易失性存储单元、可移动或固定存储单元)和任何技术(例如，电子技术、基于半导体技术或光电技术)，其包含与已接收的要压缩的图像有关的数据，并且优选地包含实现根据本发明的对数字图像或视频流解压缩的方法的指令，其中图像数据是所述图像的至少一部分的表示，并且优选地是二进制格式，并且其中，所述存储单元1140还可以包含执行所述方法的指令的结果；
输入单元1180(例如，网络或存储适配器)，其可以由CPU 1110配置为从通信信道或存储介质1095读取被编码的图像或视频流；所述输入单元1180可以例如包括根据以下标准中的至少一个标准的适配器：以太网、SATA、SCSI等；
图形解码单元1120，其被配置为执行根据本发明的用于解压缩数字光场图像或视频流的方法的阶段；特别地，该单元被配置为根据预定的图形信号处理(GSP)技术，从而接收和解码子视图系列的比特流fd^，从而恢复被重构的子视图系列fd”；
去马赛克单元1150，其被配置为执行根据本发明的实施例的用于接收被重构的子视图系列fd”，并生成全彩色的子光圈图像fd”’(参见图8和图18)的方法的各个阶段。特别地，从被重构的子视图系列fd”开始，通过根据至少一个预定顺序重新排列被重构的子视图系列来获得被重构的子光圈图像，然后基于像素的位置，通过将每个字视图的像素定位到相应的宏像素650中，来生成被重构的微小透镜图像。依次，将去马赛克技术应用于被重构的微小透镜图像，以便通过RGB颜色插值，生成全彩色的微小透镜图像。最后，从变换后的全彩色的微小透镜图像开始，生成全彩色的子光圈图像fd’，使得包括所述全彩色的子光圈图像fd”’的每个子视图通过考虑相对于每个宏像素中心相同的相对像素位置而构成。
后处理单元1130，其被配置为接收全彩色的子光圈图像fd”’并用于生成被重构的光场图像fd～。特别地，通过使用技术，该技术能够进行诸如图像重新聚焦、降噪、3D视图构造、和景深修改的操作；
输出视频单元1170，其例如视频适配器，输出视频单元可以由CPU 1110配置为优选在显示器1195上再现和/或输出已处理(解码或解压缩)的光场图像或视频流；所述输出视频单元可以例如包括根据以下标准中的至少一个的适配器：VGA、S-video、HDMI、以太网等；
通信总线1190，其允许在CPU 1110、图形解码单元1120、去马赛克单元1150、存储单元1140、输出视频单元1170、和输入单元1180之间交换信息。作为替代使用通信总线1190、CPU 1110、图形解码单元1120、去马赛克单元1150、存储单元1140、输出视频单元1170、和输入单元1180可以通过星形结构连接。
对于先前描述的编码装置1005，解码设备1100的CPU 1110也负责激活由单元1120、1130和1150执行的适当系列的操作。
这些单元可以通过专用硬件组件(例如，CPLD、FPGA等)来实现，或者可以通过由CPU 1110执行的、存储在存储单元中的一组或多组指令来实现；在后一种情况下，单元1120、1130和1150仅是逻辑(虚拟)单元。
当设备1100处于操作状态时，CPU 1110首先经由任何可能的输入单元从信道或存储介质1095获取比特流fd^，并将其加载到存储单元1140中。
然后，CPU 1110激活图形解码单元1120，该图形解码单元1120从存储单元1140获取比特流fd^，并根据预定的图形信号处理(GSP)技术执行用于解码子视图系列的比特流fd^的方法的各阶段，该技术例如图形傅立叶变换(GFT)或基于图形的提升变换(GLT)、输出被重构的子视图系列fd”，并将其加载到存储单元1140中。
根据本发明可以使用任何GSP技术。重要的是，在编码和解码设备1100中使用相同的技术，从而确保初始光场图像的正确重构。
接着，CPU 1110激活去马赛克单元1150，该去马赛克单元1150从存储单元1140中获取被重构的子视图系列fd”，并执行根据本发明的用于生成全彩色的子光圈图像fd”’的方法的各个阶段，以及将其加载到存储单元1140中。
然后，CPU 1110激活后处理单元1130，后处理单元1130从存储单元1140获取全彩色的子光圈图像fd”’，并生成被重构的光场图像fd～，并将其存储到存储单元1140中。
此时，CPU 1110可以处理来自存储单元的数据，这在解码器侧不再需要。
最后，CPU 1110从存储单元1140获取恢复的光场图像fd～，并通过视频适配器1170将其发送到显示单元1195。
应当注意，附图中描述的编码和解码设备可以如何由CPU 1110控制，以在内部以流水线方式操作，从而即通过同时执行更多指令(例如，使用多个CPU和/或CPU内核)，能够减少处理每个图像所需的总时间。
还应该注意，在将编码装置1005的输出数据发送到信道上或将其存储在存储单元上之前，可以对编码装置1005的输出数据执行许多其他操作，例如调制、信道编码(即，错误保护)。
相反，在有效地处理例如解码装置1100的输入数据之前，可以对解码装置1100的输入数据进行相同的逆运算，例如，解调和纠错。那些操作与体现本发明无关，因此将省略。
此外，图10和图11所示的框图仅是示例性的。它们允许理解本发明如何工作以及本领域技术人员如何实现本发明。
本领域技术人员理解，在可以以许多等效方式布置其中所示的功能、相互关系和信号的意义上，这些图表没有限制性意义。例如，看似由不同逻辑块执行的操作可以由硬件和软件资源的任意组合来执行，也可以是用于实现不同或所有块的相同资源。
现在将详细描述编码过程和解码过程。
编码
为了示出编码过程是如何发生的，假定要处理的图像f(或其块)优选是彩色图案化的原始的微小透镜图像，其中每个像素均经过8位编码，以使所述像素的值可以用0到255之间的整数值表示。当然，这仅是示例；本发明可以处理色深较高的图像(例如16、24、30、36或48位)，而不会失去一般性。
图像f可以通过在光电传感器(例如，CDD传感器)的正方形网格上应用滤色器阵列来获得；众所周知的滤色器阵列例如是拜耳滤光器，其在大多数单芯片数字图像传感器中使用。
图12示出了滤色器阵列的一些示例，其中字母R、G、B分别表示施加在光电传感器网格上的红色、绿色和蓝色滤色器。
还参考图9，现在描述编码设备900的不同部分如何相互作用，以压缩数字光场图像或视频流。
还参考图6和图7，预处理单元920优选地包括以下步骤：
-原始的微小透镜图像接收步骤705，其用于接收彩色图案化的原始的微小透镜图像f(参见图6(a))，其由光电传感器410生成；在后续操作之前，不对原始的图像进行去马赛克处理；
-变换步骤710，其用于平移、旋转和缩放在先前步骤中获得的所述原始的微小透镜图像f的至少一部分；特别地，原始的微小透镜图像f的像素在相对于所接收的原始的微小透镜图像具有更多行和更多列的新的多色图像中被空间移位(其可以包括缩放和/或平移和/或旋转)，其中虚拟像素(例如610、620)插入具有未限定的颜色信道值的像素位置，并且其中，执行所述位移，以便将每个宏像素650的估计的中心位置(图6(b)中的虚线表示)放置在整数像素位置。例如，可以如由D.G.Dansereau、O.Pizarro和S.B.Williams在“基于微小透镜的全光摄像机的解码，校准和校正”(发表于IEEE会议论文集中的《计算机视觉与模式识别》(2013年))中描述了这些操作；
-优选地：子光圈生成步骤715，用于从变换后的原始的微小透镜图像生成子光圈图像670，使得包括所述子光圈图像的每个子视图通过考虑相对于每个宏像素中心的相同相对像素位置来构成。图13示出了子视图生成过程：组成子视图1310的像素1360和1370分别从宏像素1320和1340获取，使得它们相对于其对应的像素中心1330和1350具有相同的相对位置。图14(a)示出了所生成的子光圈图像670的绿色分量的示例，而图14(b)是图14(a)的细节。应当注意，由于存在虚拟像素(例如610、620)，表示图像信息(例如630、640)的像素在生成的子光圈图像670上不规则地间隔开(参见图6(c)和图14(b))，因此，例如所示的图像不能通过诸如HEVC标准中所接近的传统变换编码来编码，传统变换编码例如离散余弦变换(DCT)或离散小波变换(DWT)。不规则的间距是由于在现有技术中缺少去马赛克操作而导致的，这使得传统的编码方法无效。但是，为了对生成的子光圈图像进行编码，可以替代地使用其图形表示和相关的基于图形的压缩技术。实际上，像素的不规则间距会在图像中产生不连续性(即高频分量)，这使得传统编码技术相对于GSP技术效率低下；另外，像素较少的图像可以使图形表示更简单，可以更有效地进行压缩。
-优选地：子光圈重新布置步骤720，其用于基于至少一个预定顺序，在系列中来对构成所生成的子光圈图像670的子视图重新排列。图15示出了例如构成所生成的子光圈图像1530的子视图1510的示例性光栅扫描器重新排列，以水平扫描顺序获得子视图系列fd’；
-子视图图形生成步骤725，其用于生成子视图图像系列的图形表示，以便对所述子视图图像系列执行基于图形的压缩，即任何GSP技术。
可以考虑两种不同的图形连接方案。
第一种方案在构造图形时仅考虑视图内连接，其中按照欧几里得距离，每个节点都连接到预定的K个最近的节点，即相同子视图系列内部可用的不规则间隔像素(例如630、640)之间的距离。
第二种方案考虑了该子视图系列之间的视图内和视图间相关性。
为了降低图形复杂度，将子视图系列划分为多个GOP，这些GOP由预定数量的G个子视图组成。
图16示出了根据GOP结构1610细分的子视图系列fd’的示例，其由包括参考子视图1620的四个子视图组成。
接着，顺序执行用于每个子视图和先前参考子视图之间的运动估计的子视图匹配。
可以根据平方误差之和(SSE)，为每个子视图确定最佳全局运动矢量，可以考虑每个子视图和先前参考子视图的像素样本，从而评估最佳全局运动矢量。
匹配考虑整个子视图，而不是应用例如HEVC中的运动估计所采用的基于块的匹配。
具体而言，在运动搜索之前，首先将每个m×n子视图外推为(m+2r)×(n+2r)的大小，其中r是运动搜索宽度。
这减少了运动矢量的编码的负担。可以通过采用几种技术来执行子视图外推，例如通过复制每个子视图的边界像素样本。
在运动估计之后，就同一子视图和偏移了最佳运动矢量的参考视图内的欧几里德距离而言，每个像素都连接到预定的数量P的最近邻接。
还参考图9，图形编码单元940(以及也用于解码的解码设备1100)使用例如图形傅立叶变换(GFT)或用于分别对每个GOP进行编码的基于图形的提升变换(GLT)的图形信号处理(GSP)技术，对子视图系列进行编码。
图形G＝(E，V)由与链接连接的一组节点v∈V组成。对于连接节点vi和vj的每个链路ei，j∈E，存在非负值wij∈[0，1]的关联的权重，该权重捕获了相连节点之间的相似性。
图像f可以表示为图形，其中图像的像素对应于图形节点，而链接的权重描述像素相似度，其可以使用预定的非线性函数(例如高斯或柯西函数)进行评估，这具体取决于图像的第i个像素fi和第j个像素fj之间的灰度空间距离di,j＝|fi-fj|。
在图形傅立叶变换(GFT)技术中，可以用权重阵列W表示图形信息，权重阵列W的元素是图形的权重wij，然后可以得到对应的拉普拉斯阵列为L＝D-W，其中D是具有元素的对角阵列GFT由数学表达式执行，其中U是阵列，阵列的列是阵列L的特征向量，f是图像f的光栅扫描器矢量表示。
然后对系数和权重wij进行量化和熵编码。本领域中已知的更多相关工作描述了改进基于GFT编码的方法，例如W.Hu、G.Cheung、A.Ortega和O.C.Au在“用于分段平滑图像的压缩的多分辨率图形傅里叶变换”(发表在《关于图像处理的IEEE事务》上)中所示。
基于图形的提升变换(GLT)技术是保证可逆性的多级过滤器组。在每个级别m，图形节点首先被分为两个不相交的集合，即预测集合SPm和更新集合SUm。
SUm中的值用于预测SPm中的值，得到的预测误差存储在SPm中，然后用于更新SUm中的值。
SUm中的平滑信号将用作级别m+1的输入信号，而SPm中的系数计算仅使用SUm中的信息，反之亦然。
反复进行该过程会产生多分辨率分解。对于视频/图像压缩应用，将对最高级别M的更新集合SUM中的系数进行量化并进行熵编码。本领域已知的更多相关工作描述了改进基于GLT的编码的方法，例如由Y.-H.Chao、A.Ortega和S.Yea在“帧内预测视频编码的基于图形的提升变换”(发布于2016年关于声学、语音和信号IEEE国际处理会议(ICASSP2016))。
还参考图9和图10，总结了根据本发明的数字图像编码方法包括以下阶段：
接收阶段，其中，通过输入单元1070，接收彩色图案化的原始的微小透镜图像f的至少一部分；
变换阶段，其中，彩色图案化的原始的微小透镜图像f由单元920旋转、平移和缩放，以便通过处理单元1010，将每个宏像素的估计中心位置放置在整数像素位置上；
优选地：子光圈生成阶段，其中，通过单元920通过构成每个子视图，通过处理单元1010，由变换后的原始的微小透镜图像生成子光圈图像670，从而使用相对于每个宏像素中心具有相同的相对位置的像素。
优选地：子光圈重新排列阶段，其中，单元920通过基于至少一个预定顺序(例如，光栅扫描顺序，如图15所示)，通过处理单元1010对构成所生成的子光圈图像的子视图进行重新排列，从而生成子视图系列；
优选地：子视图图形生成阶段，其中，由单元920通过根据GOP结构组织所述子视图系列，并通过处理单元1010，通过考虑GOP结构内子视图之间的视图间和视图内的相关性来生成子视图图像系列的图形表示，以使所述图形表示的每个节点都连接到根据相同子视图和GOP结构的参考子视图中的欧几里德距离的预定数量的最近节点；
在图形编码阶段，其中根据预定的图形信号处理(GSP)技术，通过处理单元1110对子视图图像系列的图形表示编码，由单元940来生成比特流fd^(步骤730)。
最后，子视图系列的被图形编码比特流fd^可以借助于输出单元1080来发送和/或存储。
解码
参考图8和图9，解码器960包括图形解码单元970、去马赛克单元975和后处理单元980。
图形解码单元970被配置为根据预定的图形信号处理(GSP)技术来接收和解码子视图系列的比特流fd^，并输出被重构的子视图系列fd”(步骤805)。
去马赛克单元975优选地执行以下步骤：
-子光圈图像重构步骤810，其用于接收被重构的子视图系列fd”并生成被重构的子光圈图像fd”，基于至少一个预定顺序重排系列中的每个被重构的子视图(见图15)；
-微小透镜图像重构步骤815，其用于接收被重构的子光圈图像fd”’并生成被重构的微小透镜图像，特别是每个子视图1310的像素根据其顺序位于相应的宏像素1320、1340中，如图13所示；
-去马赛克过滤器步骤820，其用于接收被重构的微小透镜图像，并应用去马赛克算法，以便通过RGB颜色插值生成全彩色的微小透镜图像；
-优选地：子光圈图像生成步骤830，其用于接收变换后的全彩色的微小透镜图像，并生成全彩色的子光圈图像fd”’，使得包括所述全彩色的子光圈图像fd”’的每个子视图1310通过考虑相对于每个宏像素中心1330、1350的相同的相对像素位置(见图13)而构成；在转换后的全彩色的微小透镜图像的每个颜色信道上执行此操作。
可选的后处理单元980被配置为接收全彩色的子光圈图像fd”’，并使用光场图像中允许的操作(例如重新聚焦、降噪、3D视图构造和景深的修改)来生成被重构的光场图像fd ～。
还参考图9和图11，总结根据本发明的用于解码数字图像或视频流的方法包括以下阶段：
接收阶段，其中，借助于输入单元1180接收所述子视图系列的比特流fd^；
图形解码阶段，其中，根据预定的图形信号处理(GSP)技术，通过处理单元1110对比特流fd^进行解码，输出被重构的子视图系列fd”；
优选地：子光圈图像重构阶段，其中，借助于处理单元1110生成重构子光圈图像fd”’，并基于至少一个预定顺序，重排系列中的每个重构子视图；
优选地：微小透镜图像重构阶段，其中，借助于处理单元1110生成被重构的微小透镜图像，使得每个子视图的像素基于编码方法使用的顺序而位于相应的宏像素中。
去马赛克过滤阶段，其中，通过应用去马赛克技术通过RGB颜色插值，通过处理单元1110生成全彩色的微小透镜图像；
优选地：子光圈图像生成阶段，其中，通过处理单元1110生成全彩色的子光圈图像fd”’，使得包括所述全彩色的子光圈图像fd”’的每个子视图通过考虑对于所述全彩色的微小透镜图像的每个颜色信道，相对于每个宏像素中心的相同的相对像素位置而构成；
优选地：后处理阶段，其中，通过使用光场图像中允许的操作(例如从全彩色的子光圈图像fd”’开始的重新聚焦、降噪、3D视图构造和景深的修改)，通过处理单元1110，从而生成被重构的光场图像fd ～。
最后，可以通过输出视频单元1170输出被重构的光场图像fd ～，并将其显示在显示单元1195上。
参考图15、图16和图17，将讨论发明人进行的性能测试的结果。在该测试中，已经评估了根据本发明的实施例实现的编码器-解码器对。
为了执行编码-解码测试，使用了EPFL数据库(M.Rerabek和T.Ebrahimi在“新的光场图像数据集”，在第八届多媒体体验质量国际会议(QoMEX)中，编号EPFL-CONF-218363(2016年)。
子光圈图像包含大小为432×624的193个子视图。图17示出了在本发明的实施例中描述的方法的性能，将其与使用HEVC标准的编码方法进行比较。
纵轴表示R、G和B颜色分量的平均PSNR。与现有技术方案相比，在高比特率区域实现了编码增益。
对于测试，基于基线HEVC的方案使用了全内和低延迟P配置。
用于HEVC中的低延迟P配置。子视图以与图15所示相同的方式排列成伪系列，并分为多个大小为4的GOP(图16)。
每个GOP中的第一视图被压缩为I帧，其余帧被编码为P帧。对于所提出的基于图形的方法，每个节点都连接到6个最近的邻接，并且搜索宽度r＝2用于子视图匹配。
使用赛义德和珀尔曼(Said and Pearlman)在“基于分层树中集合划分的新型、快速、高效的图像编解码器”(发表于视频技术的电路和系统的IEEE事务，第6卷，第3期，第243-250页，1996年)中提出的字母和组分区(AGP)，对变换后的系数进行统一量化和熵编码。为了评估被重构的微小透镜图像，使用基于图形的编码，将被重构的微小透镜图像去马赛克，并转换为彩色子光圈图像，这与由D.G.Dansereau、O.Pizarro和S.B.Williams在“基于微小透镜的全光相机的解码、校准和校正”(发表于IEEE会议论文集中的《计算机视觉与模式识别》(2013年))中提出的方式相同。
在基线方法中，将被重构的YUV 4：2：0系列转换为RGB 4：4：4，其中U和V分量的上采样基于最近的邻接。
最后，获得的结果显示，本发明中描述的方法可以胜过像基于HEVC的方法那样的现有技术方案。
在本发明的替代实施例中，除了众所周知的拜耳过滤器之外，可以通过采用放置在光电传感器的正方形网格上的其他滤色器阵列，从而生成图案化的原始的微小透镜图像f。
在本发明的另一实施例中，可以通过捕获颜色分量的其他组合(例如RGBY(红色、绿色、蓝色、黄色)而不是RGB)，从而生成图案化的原始的微小透镜图像f。
在其他实施例中，本发明被集成在视频编码技术中，其中还考虑了不同光场图像之间的时间相关性。
为此，可以将与常规视频压缩标准中使用的预测机制相似的预测机制与本发明结合使用，以有效地压缩和解压缩视频信号。
在其他实施例中，替代图形傅里叶变换(GFT)或基于图形的提升变换(GLT)，可以采用其他图形信号处理(GSP)技术来执行本发明中描述的编码和解码阶段。
在其他实施例中，在编码和解码阶段采用的图形信号处理(GSP)技术可以从编码器设备发送信号到解码器设备。可替代地，在技术标准中限定了编码器和解码器两者所采用的GSP技术。
本说明书解决了一些可能的变型，但是对于本领域技术人员显而易见的是，也可以实现其他实施例，其中一些元件可以用其他技术上等效的元件代替。因此，本发明不限于本文描述的说明性示例，而是在不背离如以下权利要求书所述的基本发明构思的情况下，对等同部件和元件，可以进行许多修改、改进或替换。

Claims (19)

1.一种对原始的微小透镜图像(f)编码的方法，所述方法包括：
-接收阶段(705)，其中接收原始的微小透镜图像(f)的至少一部分，所述图像(f)包括多个宏像素(650、1320、1340)，每个宏像素(650、1320、1340)包括与场景同一点的特定视角相对应的像素；
-输出阶段，其中，输出包括被编码的微小透镜图像(f)的至少一部分的比特流(fd ^)，
其特征在于，所述方法还包括：
-图像变换阶段(710)，其中，所述原始的微小透镜图像(f)的像素在相对于所接收的原始的微小透镜图像具有更多列和更多行的变换多色图像(660)中被空间移位，其中具有未限定值的虚拟像素(610、620)被插入到所述原始的微小透镜图像(f)中，并且其中，执行所述移位，以便将每个宏像素(650、1320、1340)的估计中心位置置于整数像素位置；
-子视图生成阶段，其中，生成子视图系列(fd’)，所述子视图(1310、1510、1620)包括从变换后的所述原始的微小透镜图像(f)的不同的宏像素(650、1320、1340)提取的相同角度坐标的像素；
-图形编码阶段，其中，通过根据预定的图形信号处理(GSP)技术，对所述系列(fd’)的子视图(1310、1510、1620)中的至少一个子视图的图形表示进行编码，从而生成比特流(fd ^)，
其中，所述输出阶段包括输出被图形编码的所述比特流(fd ^)，以用于其传输和/或存储。
2.根据权利要求1所述的编码方法，其中，所述空间移位至少包括旋转和/或平移和/或缩放操作。
3.根据权利要求1或2所述的编码方法，其中，所述图形表示是基于在图片组(GOP)结构中组织的多个所述子视图(1310、1510、1620)的所述系列(fd’)生成的。
4.根据前述权利要求中的任一项所述的编码方法，其中，在所述子视图图形生成阶段(725)中，将所述子视图系列(fd’)划分为由预定数量G的子视图(1310、1510、1620)组成的多个GOP。
5.根据权利要求3或4所述的编码方法，其中，通过考虑所述图片组(GOP)结构的所述子视图(1310、1510、1620)之间的视图内或视图间相关性，从而生成所述子视图系列(fd’)的所述图形表示，使得根据GOP结构内的相同子视图和参考子视图(1620)中的欧几里德距离，所述图形表示的每个节点连接到预定数量的最近节点。
6.根据前述权利要求中的任一项所述的编码方法，其中，所述子视图生成阶段包括：
-子光圈生成阶段(715)，其中，通过组成每个子视图，使得使用了相对于每个宏像素中心具有相同相对位置的像素，从而生成包括多个子视图(1310、1510、1620)的子光圈图像(670)；
-子光圈重排阶段(720)，其中基于至少一个预定顺序，通过重排组成所生成的子光圈图像(670)的子视图，从而生成子视图(1310、1510、1620)系列(fd’)；
7.根据权利要求6所述的编码方法，其中，在所述子光圈重排阶段(720)中，所述预定顺序是光栅扫描顺序、或螺旋顺序、或之字形顺序或类国际象棋顺序。
8.根据前述权利要求中的任一项所述的编码方法，其中，在所述图形编码阶段中，通过根据图形傅立叶变换(GFT)或基于图形的提升变换(GLT)，对所述子视图系列(fd’)的所述图形表示进行编码，从而生成所述比特流(fd ^)。
9.一种用于对包括至少一个被编码的原始的微小透镜图像(f)的比特流进行解码的方法，所述方法包括：
-接收阶段，其中接收子视图系列(fd’)的被图形编码的比特流(fd ^)，其中每个子视图(1310、1510、1620)包括从所述原始的微小透镜图像(f)的不同宏像素(650、1320、1340)提取的相同角坐标的像素，每个宏像素包括与场景同一点的特定视角相对应的像素，以及
-输出阶段，其中，输出和/或显示被重构的光场图像(fd ～)，
其特征在于，所述方法还包括：
-图形解码阶段(805)，其中，根据预定的图形信号处理(GSP)技术，对被图形编码的所述比特流(fd ^)进行解码，输出被重构的子视图系列(fd”)，其中，所述子视图(1310、1510、1620)包括位于具有不限定颜色值的像素位置中的虚拟像素；
-去马赛克过滤阶段(820)，其中，通过将去马赛克技术应用于所述子视图系列(fd’)，通过颜色插值来生成全彩色的被去马赛克的微小透镜图像；
-原始的微小透镜重排阶段(830)，其中，基于所述全彩色的被去马赛克的微小透镜图像来获得全彩色的子光圈图像(fd”’)；
其中，所述输出阶段包括输出所生成的全彩色的子光圈图像(fd”’)。
10.根据权利要求9所述的解码方法，其中，所述微小透镜重排阶段(830)包括：
-图像重构阶段(810)，其中，基于至少一个预定顺序，重排系列(fd”)中的被重构的所述子视图(1310、1510、1620)来生成包括多个子视图(1310、1510、1620)的被重构的子光圈图像；
-微小透镜图像重构阶段(815)，其中，基于接收到的原始的微小透镜图像(f)编码中使用的顺序，生成被重构的微小透镜图像，使得每个子视图(1310、1510、1620)的像素位于相应宏像素(650、1320、1340)中。
11.根据前述权利要求9至10中的任一项所述的解码方法，其中，在所述微小透镜重排阶段(830)中，所述预定顺序是光栅扫描顺序、或螺旋顺序、或之字形顺序或类国际象棋顺序。
12.根据前述权利要求9至11中的任一项所述的解码方法，其中在所述图形解码阶段(805)中，通过根据图形傅立叶变换(GFT)或基于图形的提升变换(GLT)，对所述子视图系列(fd”)的所述图形表示进行解码，从而生成所述被重构的子视图系列(fd”)。
13.一种用于对原始的微小透镜图像(f)进行编码的设备(1005)，所述设备包括：
-输入单元(1070)，其被配置为用于从源(1000)获取原始的微小透镜图像(f)的至少一部分，所述原始的微小透镜图像(f)包括多个宏像素(650、1320、1340)，每个宏像素(650、1320、1340)包括与场景同一点的特定视角相对应的像素，
-输出单元(1080)，其被配置为输出所产生的比特流(fd ^)的至少一部分，
其特征在于，所述设备还包括：
-至少一个处理单元(1010、1020、1040)，其被配置为执行用于对所述原始的微小透镜图像(f)进行编码的一组指令，
-存储单元(1030)，其包含与所述原始的微小透镜图像(f)有关的图像数据和编码指令的执行结果(fd’，fd ^)，
其中，所述至少一个处理单元(1010、1020、1040)被配置为将所述原始的微小透镜图像(f)的像素在相对于所接收的原始的微小透镜图像具有更多列和更多行的新的多色图像中进行空间移位，其中虚拟像素(610、620)被插入到具有未限定的颜色信道值的像素位置中，并且其中，执行所述移位，以便将每个宏像素的估计中心位置置于整数像素位置；
其中，所述至少一个处理单元(1010、1020、1040)还被配置为从所述原始的微小透镜图像(f)开始生成子视图系列(fd’)的图形表示，每个子视图(1310、1510、1620)包括从所述原始的微小透镜图像(f)的不同宏像素(650、1320、1340)中提取的具有相同角坐标的像素；
其中，所述至少一个处理单元(1010、1020、1040)还被配置为从所述存储单元(1030)获取子视图系列(fd’)的图形表示，并执行图形信号处理(GSP)技术以用于对所述子视图系列(fd’)进行编码，并将所产生的比特流(fd ^)存储到所述存储单元(1030)中。
14.根据权利要求13所述的编码设备(1005)，其中，所述至少一个处理单元(1010、1020、1040)还被配置为用于：
-通过形成包括由每个子视图构成的多个子视图的子光圈图像(670)，从而生成所述子视图系列(fd’)，从而使用相对于每个宏像素中心具有相同的相对位置的像素；以及
-基于至少一个预定顺序，重排组成所生成的子光圈图像(670)的所述子视图系列(fd’)。
15.根据权利要求14所述的编码设备(1005)，其中，所述预定顺序是光栅扫描顺序、或螺旋顺序、或之字形顺序或类国际象棋顺序。
16.根据前述权利要求13至15中的任一项所述的编码设备(1005)，其中，所述图形信号处理(GSP)技术是图形傅立叶变换(GFT)或基于图形的提升变换(GLT)。
17.一种用于对被编码的原始的微小透镜图像进行解码的设备(1100)，所述设备包括：
-输入单元(1180)，被配置为读取子视图系列(fd’)的被图形编码的比特流(fd ^)，其中，每个子视图(1310、1510、1620)包括从所述原始的微小透镜图像(f)的不同宏像素(650、1320、1340)所提取的相同角度坐标的像素，每个宏像素包括与来自通信信道或存储介质(1095)的场景(fd ^)的相同点的特定视角对应的像素，
-输出单元(1170)，其再现和/或输出处理后的光场图像或视频流(fd ～)；
其特征在于，所述设备还包括：
-至少一个处理单元(1110、1120、1150)，其被配置为执行用于解码被编码的所述图像或视频流(fd ～)的一组指令；
-存储单元(1140)，其包含与所述编码图像或视频流(fd ～)有关的图像数据以及用于解码的所述指令的执行结果；
-所述至少一个处理单元(1110、1120、1150)，其被配置为用于根据预定的图形信号处理(GSP)技术，从而接收和解码子视图系列(fd”)的比特流，从而恢复被重构的子视图系列(fd”)，其中，所述子视图(1310、1510、1620)包括位于具有未限定颜色值的像素位置中的虚拟像素(610、620)；
-所述至少一个处理单元(1110、1120、1150)，其被配置为接收所述被重构的子视图系列(fd”)，并通过对所述子视图(1310、1510、1620)应用去马赛克技术，从而通过颜色插值生成全彩色的被去马赛克的微小透镜图像(1810)。
18.根据权利要求17所述的解码设备(1100)，其中，所述至少一个处理单元(1110、1120、1150)被配置用于：
-基于至少一个预定顺序重排所述子视图，以获得包括多个子视图(1310、1510、1620)的重构子光圈图像(fd”’)，以及；
-重构微小透镜图像，以便基于在对是接收的原始的微小透镜图像(f)进行编码时使用的顺序，将每个子视图(1310、1510、1620)的像素定位在相应的宏像素(650、1320、1340)中。
19.一种计算机程序产品，其可以被加载到数字处理设备的存储单元中，并且包括用于执行根据权利要求1至12中的任一项所述的方法的部分软件代码。
CN201880030329.9A 2017-05-10 2018-05-03 对数字光场图像编码和解码的方法和设备 Active CN110612722B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IT102017000050848A IT201700050848A1 (it) 2017-05-10 2017-05-10 Methods and apparatuses for encoding and decoding digital light field images
IT102017000050848 2017-05-10
PCT/IB2018/053070 WO2018207059A1 (en) 2017-05-10 2018-05-03 Methods and apparatuses for encoding and decoding digital light field images

Publications (2)

Publication Number Publication Date
CN110612722A true CN110612722A (zh) 2019-12-24
CN110612722B CN110612722B (zh) 2022-06-24

Family

ID=59974747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880030329.9A Active CN110612722B (zh) 2017-05-10 2018-05-03 对数字光场图像编码和解码的方法和设备

Country Status (5)

Country Link
US (1) US10887608B2 (zh)
EP (1) EP3607745A1 (zh)
CN (1) CN110612722B (zh)
IT (1) IT201700050848A1 (zh)
WO (1) WO2018207059A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111427107A (zh) * 2020-04-07 2020-07-17 上海冠众光学科技有限公司 一种衍射光学元件取值模型、衍射光学元件及其制作方法
CN112184842A (zh) * 2020-10-07 2021-01-05 北京工业大学 一种光场图像压缩方法
CN112967370A (zh) * 2021-03-03 2021-06-15 北京邮电大学 三维光场重建方法、装置及存储介质
CN115378502A (zh) * 2022-08-25 2022-11-22 曲阜师范大学 信息编码和解码方法、装置、设备和计算机可读介质
CN117058014A (zh) * 2023-07-14 2023-11-14 北京透彻未来科技有限公司 一种基于lab色彩空间匹配的染色归一化系统及方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232417B (zh) * 2019-06-17 2022-10-25 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备及计算机可读存储介质
CN110365965B (zh) * 2019-06-26 2020-11-06 北京邮电大学 三维光场图像生成方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150312593A1 (en) * 2014-04-24 2015-10-29 Lytro, Inc. Compression of light field images
CN106254719A (zh) * 2016-07-25 2016-12-21 清华大学深圳研究生院 一种光场图像压缩方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7920200B2 (en) * 2005-06-07 2011-04-05 Olympus Corporation Image pickup device with two cylindrical lenses
US8103111B2 (en) * 2006-12-26 2012-01-24 Olympus Imaging Corp. Coding method, electronic camera, recording medium storing coded program, and decoding method
US20090290645A1 (en) * 2008-05-21 2009-11-26 Broadcast International, Inc. System and Method for Using Coded Data From a Video Source to Compress a Media Signal
GB2525851B (en) * 2014-04-30 2017-03-29 Canon Kk Method and device for encoding a sub-aperture image of a set of sub-aperture images obtained from a plenoptic image
KR102172992B1 (ko) * 2014-07-31 2020-11-02 삼성전자주식회사 이미지 촬영 장치 및 이미지 촬영 방법
GB2535475B (en) * 2015-02-16 2019-09-18 Canon Kk Optimized plenoptic image encoding
US20160307368A1 (en) * 2015-04-17 2016-10-20 Lytro, Inc. Compression and interactive playback of light field pictures
US10783652B2 (en) * 2016-05-06 2020-09-22 Arizona Board Of Regents On Behalf Of The University Of Arizona Plenoptic imaging apparatus, method, and applications
US10354399B2 (en) * 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
EP3422723B1 (en) * 2017-06-30 2023-04-26 InterDigital VC Holdings, Inc. Method for encoding and decoding at least one matrix of image views obtained from data acquired by a plenoptic camera, and corresponding electronic devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150312593A1 (en) * 2014-04-24 2015-10-29 Lytro, Inc. Compression of light field images
CN106254719A (zh) * 2016-07-25 2016-12-21 清华大学深圳研究生院 一种光场图像压缩方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
EDUARDO MART´INEZ-ENR´IQUEZ，ANTONIO ORTEGA: "《Lifting Transforms on Graphs for Video Coding》", 《DATA COMPRESSION CONFERENCE(DCC)，2011，IEEE》 *
FENG DAI,JUN ZHANG，YIKE MA，YONGDONG ZHANG: "《LENSELET IMAGE COMPRESSION SCHEME BASED ON SUBAPERTURE IMAGES STREAMING》", 《2015 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING(ICIP)，IEEE》 *
王晶一,高航,沈春林: "《一种基于压缩传感的光场采集与重建方法》", 《计算机与现代化》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111427107A (zh) * 2020-04-07 2020-07-17 上海冠众光学科技有限公司 一种衍射光学元件取值模型、衍射光学元件及其制作方法
CN111427107B (zh) * 2020-04-07 2022-02-15 上海冠众光学科技有限公司 一种衍射光学元件取值模型、衍射光学元件及其制作方法
CN112184842A (zh) * 2020-10-07 2021-01-05 北京工业大学 一种光场图像压缩方法
CN112184842B (zh) * 2020-10-07 2024-01-05 北京工业大学 一种光场图像压缩方法
CN112967370A (zh) * 2021-03-03 2021-06-15 北京邮电大学 三维光场重建方法、装置及存储介质
CN112967370B (zh) * 2021-03-03 2022-06-21 北京邮电大学 三维光场重建方法、装置及存储介质
CN115378502A (zh) * 2022-08-25 2022-11-22 曲阜师范大学 信息编码和解码方法、装置、设备和计算机可读介质
CN115378502B (zh) * 2022-08-25 2023-11-24 曲阜师范大学 信息编码和解码方法、装置、设备和计算机可读介质
CN117058014A (zh) * 2023-07-14 2023-11-14 北京透彻未来科技有限公司 一种基于lab色彩空间匹配的染色归一化系统及方法
CN117058014B (zh) * 2023-07-14 2024-03-29 北京透彻未来科技有限公司 一种基于lab色彩空间匹配的染色归一化系统及方法

Also Published As

Publication number Publication date
CN110612722B (zh) 2022-06-24
IT201700050848A1 (it) 2018-11-10
US10887608B2 (en) 2021-01-05
EP3607745A1 (en) 2020-02-12
US20200077100A1 (en) 2020-03-05
WO2018207059A1 (en) 2018-11-15

Similar Documents

Publication Publication Date Title
CN110612722B (zh) 对数字光场图像编码和解码的方法和设备
KR102287947B1 (ko) 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
JP7085009B2 (ja) マルチ符号ビット隠蔽及び残差符号予測を和合する方法及び装置
US10616603B2 (en) Methods and apparatuses for encoding and decoding digital images through superpixels
JP4895400B2 (ja) 画像フレームの非フレームエッジブロックの表現における改良された圧縮
TWI834087B (zh) 用於從位元流重建圖像及用於將圖像編碼到位元流中的方法及裝置、電腦程式產品
US20230069953A1 (en) Learned downsampling based cnn filter for image and video coding using learned downsampling feature
CN110383695B (zh) 用于对数字图像或视频流进行编码和解码的方法和装置
US20230076920A1 (en) Global skip connection based convolutional neural network (cnn) filter for image and video coding
CN111819856A (zh) 用于视频编码的环路滤波装置及方法
Hu et al. An adaptive two-layer light field compression scheme using GNN-based reconstruction
CN107079168B (zh) 对残差积分图像的生成和编码
KR102267792B1 (ko) 이미지 블록에 관한 픽셀-도메인 전처리 동작들에 기초한 이미지 블록 코딩
JP5527556B2 (ja) 第１の２進データ列を圧縮した第２の２進データ列にエントロピー的に符号変換する方法、そのコンピュータプログラムおよびその画像キャプチャ装置
Naidu et al. A novel framework for JPEG image compression using baseline coding with parallel process
JP2008124530A (ja) Ｒａｗデータ圧縮方法
Bazhyna Image compression in digital cameras
US20220256127A1 (en) Image encoding apparatus, method for controlling the same, and non-transitory computer-readable storage medium
Mukati Light field coding and processing for view sequences
AU2022202471A1 (en) Method, apparatus and system for encoding and decoding a tensor
TW202420815A (zh) 使用神經網路進行圖像區域的並行處理－解碼、後濾波和ｒｄｏｑ
JP2023070055A (ja) 画像符号化装置及びその制御方法及びプログラム
AU2022202474A1 (en) Method, apparatus and system for encoding and decoding a tensor
AU2022202472A1 (en) Method, apparatus and system for encoding and decoding a tensor
AU2022202470A1 (en) Method, apparatus and system for encoding and decoding a tensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant