CN104322069A - 编码和解码积分图像的方法、编码和解码积分图像的装置以及相应的计算机程序 - Google Patents

编码和解码积分图像的方法、编码和解码积分图像的装置以及相应的计算机程序 Download PDF

Info

Publication number
CN104322069A
CN104322069A CN201380026253.XA CN201380026253A CN104322069A CN 104322069 A CN104322069 A CN 104322069A CN 201380026253 A CN201380026253 A CN 201380026253A CN 104322069 A CN104322069 A CN 104322069A
Authority
CN
China
Prior art keywords
decoding
coding
integral image
pixel
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380026253.XA
Other languages
English (en)
Inventor
S.史
P.乔亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of CN104322069A publication Critical patent/CN104322069A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及编码表示场景透视中的至少一个物体的至少一个积分图像(II)的方法。该编码方法的特征在于，该方法执行的步骤包括：直接对所述积分图像的像素应用离散小波变换(C2)，从而提供多个变换系数；以及编码(C4a；C4b；C4c)所述提供的变换系数。

Description

编码和解码积分图像的方法、编码和解码积分图像的装置以及相应的计算机程序
技术领域
本发明总的来说涉及图像处理领域，并且更具体地说，本发明涉及编码和解码积分图像和积分图像序列。
本发明具体地说适用于但是不排他地适用于当前的视频编码器中执行的视频编码及其修改(MPEG、H.264、H.264SVC、H.264MVC等)或者未来的编码器(ITU-T/VCEG(H.265)或者ISO/MPEG(HEVC))并且还适用于相应解码。
背景技术
积分成像是包括鲜明地表示图像的技术。可以说特别希望开发三维(3D)电视、特别是因为代替建议图像的立体观看，建议总视差。
传统上，积分图像由三维地表示场景的各种透视的大量元图像构成。因此，所有这些元图像不仅含有与三维场景有关的像素信息(色彩和亮度)，而且含有与物体在场景透视中反射的光线的方向相关的信息。播放该完全3D信息，对于这种完全3D信息，积分图像能够以在不同视点之间的准连续对用户提供总视差，而不导致视觉不舒服。
尽管这种技术的吸引力，但是在实际实现积分成像系统时存在困难。例如，当特定应用对积分图像要求高分辨率并且需要大量视点时，不仅需要增加构成积分图像的每个元图像的尺寸，而且需要增加元图像的数量。这样导致这种方式构成的积分图像的尺寸增加非常多，从而当要对积分图像编码时，需要对大容量信息进行压缩。因此，这种积分图像的压缩呈现糟糕性能。
几种技术建议改善积分图像压缩的性能。Shasha Shi,Patrick Gioia,andGérard Madec的名称为“Efficient compression method for integral images usingmultiview video coding”的文献中描述了这些技术中的一种。该文献建议将视频序列的每个积分图像转换为被称为子图像的一系列二维(2D)图像。子图像是从特定视角表示3D场景的特定类型的图像。子图像的每个像素记录与物体在场景的透视中在给定方向上反射的光线相关的信息。为此，可以将积分图像的一系列子图像看作是场景的多视图图像，并且因此，可以将积分图像的序列分解为多视图视频序列。因此，利用诸如多视图编码(MVC)的标准编码技术可以压缩所述一系列这种图像。这样有效编码积分图像，因为其中利用了空间冗余和时间冗余。
该文献中描述的技术的缺点是，实际应用限制了用于MVC技术的编码的子图像的数量。
该技术的另一缺点是，系统性地利用离散余弦变换(DCT)以将时域中的视频信号转换为频域分量。该变换要求事先将图像再分割为多个块。因此，当对图像编码时，在相邻块之间的边界处出现断续，该断续是变换系数的粗量化的结果。该断续被称为块效果。它们特别繁琐并且显著降低了解码之后显示的图像的视觉质量。
发明内容
本发明的目的是改善现有技术的上述缺陷。
为此，在第一方面中，本发明提供了一种对表示场景透视中的至少一个物体的至少一个积分图像进行编码的方法。
本发明的编码方法的特征在于，该方法执行的步骤包括：
·直接对积分图像的像素应用离散小波变换，从而提供多个变换系数；以及
·编码所提供的变换系数。
通过利用离散小波变换(DWT)代替离散余弦变换(DCT)，能够最优地利用构成积分图像的像素之间的相关性，从而有利的是，能够去除在积分图像的多个相邻像素之间存在的多个空间冗余。
此外，不再需要将积分图像再细分为块，从而有利的是，使得能够去除应用DCT固有的块效应。
最后，有利的是，与已经预处理的积分图像，即，事先已经细分为多个元图像的图像相反，直接对原始积分图像执行离散小波变换。这种规定能够去除传统上构成积分图像的元图像的数量或者尺寸产生的制约。
因此，使得对积分图像的编码更有效、计算方面更廉价并且更快。
在特定实施中，将应用离散小波变换的步骤重复多次。
这种规定使得在每次重复时，能够去除编码积分图像的相邻像素之间的剩余空间相关性。重复次数是能够设定的参数，并且作为例子，其取决于积分图像中的像素的数量。
因此，本发明的编码在使用时特别灵活，因为其可应用于任何尺寸的积分图像。
在另一特定实施中，根据MPEG-4标准，执行变换系数的编码。
这种规定使得，通过对这些图像应用标准MPEG-4技术(其中MPEG是运动图像专家组的缩写)，通过利用它们之间的时间冗余，对序列中一个接着一个的积分图像有效编码。
在所述另一个特定实施的第一变型中，在所述编码步骤期间，直接量化所述提供的变换系数，并且然后，对其进行熵编码。
这种规定对应于修改MPEG-4标准，并且该规定包括去除了其中传统上执行的DCT步骤。当少量出现表示积分图像的近似的DWT系数，即，低频系数时，尤其对编码积分图像有效。
在所述另一种特定实施的第二变型中，在提供的变换系数中：
·根据MPEG-4标准，仅对表示积分图像的近似的所提供的变换系数进行编码；以及
·直接量化其他提供的变换系数，并且然后，对其进行熵编码。
同样，通过仅将MPEG-4编码用于低频DWT系数，并且仅对所有其他DWT系数应用上述第一变型的编码，该规定对应于修改MPEG-4标准。当大量出现表示积分图像的近似的DWT系数，即，低频系数时，该第二变型尤其对积分图像的编码有效。
本发明以相应方式提供了用于对表示场景透视中的至少一个物体的至少一个积分图像进行编码的编码装置，该装置适合执行上述编码方法。
这种编码装置的特征在于其包括：
·计算器件，用于直接对积分图像的像素应用离散小波变换，以提供多个变换系数；以及
·编码器件，用于编码提供的变换系数。
在第二方面中，本发明提供了一种对表示先前已经编码的至少一个积分图像的数据信号进行解码的方法，上述积分图像表示场景透视中的至少一个物体。
该解码方法的特征在于执行的步骤包括：
·解码信号的数据，以提供多个离散小波变换系数；以及
·通过对提供的离散小波变换系数应用反离散小波变换，直接重构积分图像的像素。
在特定实施中，将应用反离散小波变换的所述步骤重复多次。
在另一个特定实施中，根据MPEG-4标准，对信号的数据进行解码。
在所述另一个特定实施的第一变型中，在解码步骤期间，仅对提供的变换系数执行熵解码，并且然后进行反量化。
在所述另一个特定实施的第二变型中，在解码步骤期间，从所述提供的变换系数中：
·根据MPEG-4标准，仅对表示积分图像的近似的提供的变换系数进行解码；以及
·直接对其他提供的变换系数进行熵解码，并且然后进行反量化。
本发明以相应的方式提供了一种用于对表示先前已经编码的至少一个积分图像的数据信号进行解码的解码装置，上述装置适合执行上述解码方法。
这种解码装置的特征在于包括：
·解码器件，用于解码所述信号的数据，以提供多个离散小波变换系数；以及
·计算器件，适合通过对所述提供的离散小波变换系数应用反离散小波变换，而直接重构积分图像的像素。
在第三方面中，本发明提供了包括执行如下的指令的计算机程序：
·当在计算机上执行时，本发明的编码方法；或者
·当在计算机上执行时，本发明的解码方法。
本发明还提供数据介质上的计算机程序，该程序包括适合执行如上所述的本发明的方法中的任何一种方法的指令。
该程序可以采用任何编程语言，并且其可以是源代码、目标代码或者介于源代码与目标代码之间的代码中介的形式，诸如以部分编译形式或者任何其他希望的形式。
本发明还提供了一种包括上述计算机程序的指令的计算机可读数据介质。
该数据介质可以是能够仓储程序的任何实体或者装置。例如，该介质可以包括存储器件，诸如只读存储器(ROM)，例如，致密盘(CD)ROM或者微电子电路ROM，或者实际上的磁记录器件，例如，软盘或者硬盘。
此外，该数据介质可以是可传输介质，诸如适合利用无线电或者利用其他器件，通过电缆或者光缆传播的电信号或者光信号。特别是，可以从因特网类型的网络下载本发明的程序。
作为选择地，数据介质可以是包括程序的集成电路，该电路适合执行或者适合用于执行上述方法。
上述编码装置、解码方法、解码装置和计算机程序至少呈现与本发明的编码方法产生的优点相同的优点。
附图说明
通过阅读下面参考附图描述的优选实施例，其他特征和优点显而易见。
图1示出本发明的编码方法的步骤；
图2示出本发明的编码装置的实施例；
图3A和图3B示出本发明的编码方法中获取积分图像的步骤；
图4示出对图3A所示对获取的积分图像应用离散小波变换(DWT)的步骤；
图5示出通过关于连续获取的低频系数的DWT的连续应用的三级别分解图3A的积分图像；
图6示出针对图3A的积分图像的扫描分解级别的变换系数的次序的例子；
图7示出本发明的解码装置；
图8示出本发明的解码方法的步骤；以及
图9示出与图4所示变换相反的DWT步骤。
具体实施方式
详细描述编码部分的实施
下面描述本发明的实施，在本发明的实施中，本发明的编码方法用于编码积分图像的序列。
以包括图1所示的步骤C1至C5的算法的形式示出本发明的编码方法。
在本发明的实施中，在图2所示的编码装置CO中执行本发明的编码方法。
利用如图2所示的图像获取模型ACI，图1所示的第一步骤C1获取用于编码的图像的序列的积分图像II。
获取积分图像的例子示于图3A和图3B中。
在所示的例子中，积分图像II表示三维场景SC的透视中的物体OBJ。由图3A中附图标记SCN给定的电荷耦合器件(CCD)型的二维扫描仪2D在箭头F1的方向上获取积分图像II，并且然后，在箭头F2的方向上在屏幕EC上重构该积分图像II。利用排列于物体OBJ与扫描仪SCN之间的透镜阵列RL的方式进行该获取。传统上，透镜阵列RL包括多个相同的微透镜。
在图3B所示的例子中，在该图中为了清楚起见，透镜阵列RL仅具有四个相同微透镜ML1、ML2、ML3和ML4。屏幕EL布置在上述微透镜的焦面中，该屏幕适合对观看者播放积分图像II。众所周知，屏幕EC包括由多个相同像元构成的像素矩阵，每个像元由不同颜色的多个像素构成。每个像元与微透镜具有相同的尺寸。在图3B所示的例子中，屏幕EC具有与四个微透镜ML1、ML2、ML3和ML4中的相应微透镜对应地排列的四个像素元CL1、CL2、CL3和CL4。作为例子，每个像元由不同颜色的五个像素构成。对于给定像元CLj(1≤j≤4)，像元含有五个像素Pj1、Pj2、Pj3、Pj4和Pj5。作为示例，图3B包括示出五个像素Pl1、Pl2、Pl3、Pl4和Pl5构成的像元CL1的构成的放大图。
在获取期间，来自物体OBJ的光线通过微透镜ML1、ML2、ML3和ML4中的每个，并且然后触及位于所述微透镜的焦面RF中的每个像元CL1、CL2、CL3和CL4中的像素。假定透镜阵列RL和构成屏幕EC的像素矩阵具有特定配置，光线：
·以第一入射角触及像元CL1的像素P11、像元CL2的像素P21、像元CL3的像素P31以及像元CL4的像素P41；
·以第二入射角触及像元CL1的像素P12、像元CL2的像素P22、像元CL3的像素P32以及像元CL4的像素P42；
·以第三入射角触及像元CL1的像素P13、像元CL2的像素P23、像元CL3的像素P33以及像元CL4的像素P43；
·以第四入射角触及像元CL1的像素P14、像元CL2的像素P24、像元CL3的像素P34以及像元CL4的像素P44；
·以第五入射角触及像元CL1的像素P15、像元CL2的像素P25、像元CL3的像素P35以及像元CL4的像素P45；
每个入射角以公知方式与观看者具有在透视中看到物体OBJ的可能性的特定视角对应。这些角度的值由微透镜ML1、ML2、ML3或者ML4的视角的值限定。作为示例，图3B中以连续粗线示出与微透镜ML2的视角对应的视角。
在图3B中为了清楚起见，仅示出具有不同入射角的两个光线。在图3B所示的例子中：
·光线R1以特定角度触及像素CL4的像素P41，该特定角度对应于使观看者以对应于所述视角的特定透视观看物体OBJ的特定视角；以及
·光线R3分别以0度入射角触及像元CL1的像素P13、像元CL2的像素P23、像元CL3的像素P33以及像元CL4的像素P43。
在获取步骤C1之后，获得由多个像素构成的图像II。可以认为该图像构成像素的矩阵X(x,y)，在该像素的矩阵X(x,y)中，以x行和y列排列像素，其中x和y是正整数。
在图1所示的后续步骤C2期间，直接对积分图像II的像素应用离散小波变换(DWT)。该步骤C2由图2所示的计算模块MTCO执行。
事先选择这种变换类型可以消除存在于积分图像II的各相邻像素之间的多个空间冗余。
DWT是二维(2D)类型的。为此，计算模块MTCO对积分图像II的像素行维度应用DWT，并且然后，对其像素列维度应用DWT。
在所示的例子中，由于用于评估积分图像II中的物体OBJ的轮廓的其高性能、简单性和其良好特性，计算模块MTCO利用哈尔小波变换。
图4示出如何利用上述变换分解积分图像II。低通滤波器HPB(-x)和高通滤波器HPH(-x)用于积分图像II的行级别变换，而分别既含有各个低通滤波器HPB(-y)和高通滤波器HPH(-y)的两个滤波器组BC1和BC2用于积分图像II的列级别变换。
由低通滤波器HPB(-x)和高通滤波器HPH(-x)提供的系数分别进行以2的因素的各个分抽样。然后，将这样分抽样的系数HL1和HH1的集和同样这样分抽样的系数LH1和LL1的集分别应用为到两个滤波器组BC1和BC2的输入，这两个滤波器组分别含有低通滤波器HPB(-y)和高通滤波器HPH(-y)。对两个滤波器组提供的系数经历以2的因数的各个分抽样。然后，提供下面的四个序列的系数：
·表示积分图像II的近似的系数的序列Y2 LL：这些是低频系数；
·表示积分图像II中的水平细节的系数的序列Y2 LH；
·表示积分图像II中的垂直细节的系数的序列Y2 HL；以及
·表示积分图像II中的对角细节的系数的序列Y2 HH。
下面的公式以数学方式表示哈尔变换：
Y2＝T.X.TT其中
T = 1 2 1 1 1 - 1
T是哈尔变换矩阵，X是积分图像II的矩阵表示，以及Y2是上述四个序列中的每个提供的变换系数。
根据本发明，对在每次分解时获得的低频系数重复执行K+1次利用哈尔变换的上述的分解方法，直到达到将积分图像II的预定级别的分解为止。
在图5所示的例子中，K＝2，即，对由先前变换获得的低频系数重复执行两次哈尔变换。分解级别由积分图像II中的像素数确定。假定传统上通过对2k像素的每个集合应用K次2D小波分解，将积分图像分解为分别含有2K像素的元图像，能够消除积分图像II中的相邻像素之间存在的空间相关性。
根据本发明，关于积分图像的相邻像素之间含有冗余的低频系数，上述理论适用于原始积分图像II。为了消除该冗余，需要对低频系数应用附加DWT，从而获得等于K+1的积分图像II的分解级别。
在图5所示的例子中：
·将来自哈尔变换的第一重复的系数写为Y4 LL、Y4 LH、Y4 HL、Y4 HH、Y3 LH、Y3 HL和Y3 HH；以及
·将来自哈尔变换的第二重复的系数写为Y6 LL、Y6 LH、Y6 HL、Y6 HH、Y5 LH、Y5 HL和Y5 HH。
因此，在第二重复的结束时，以非常精细的方式去除了积分图像II中的相邻像素之间存在的空间相关性。
在图1所示的步骤C3期间，在后续编码的准备时，来自Y2 LL、Y2 LH、Y2 HL、Y2 HH、LH1、HL1、HH1、Y4 LL、Y4 LH、Y4 HL、Y4 HH、Y3 LH、Y3 HL、Y3 HH、Y6 LL、Y6 LH、Y6 HL、Y6 HH、Y5 LH、Y5 HL和Y5 HH的各个产生变换系数经历重新排列。所述重新排列步骤C3由计算软件模块MACO执行，如图2所示。
在第一例子中，以利用诸如光栅扫描之类的传统锯齿扫描由各种重复获得上述变换系数的顺序，将上述变换系数组织为单个数据序列。
在图6所示的第二例子中，利用图6中的箭头P所示的扫描顺序，从积分图像II的分解级别K+1到分解级别1扫描系数。对于所考虑的每个分解级别，在应用图6所示的扫描时，将获得的变换系数组织为相应序列。根据本发明，在步骤C3结束时，获得变换系数的三个序列。
根据上述第二个例子排列变换系数能够以可观方式改善下面的量化和熵编码步骤的性能。
在如图1所示的后续步骤C4期间，对重新排列的变换系数进行编码，以去除当前积分图像II与先前已经编码并且之后已经解码的至少一个积分图像之间存在的时间冗余。
该步骤由图2所示的编码模块UC执行。所述编码模块UC包括：
·预测编码/解码模块MCDP，关于与先前已经编码的并且在之后已经解码的至少一个序列相关的至少一个当前系数序列使用；以及
·模块MCE，用于所述至少一个当前序列的熵编码，例如，上下文自适应二进制算术编码(CABAC)类型的模块。
所述预测编码/解码模块MCDP执行MPEG-4方式的传统预测编码/解码算法，或者根据本发明进行修改，如下所述。在所示的例子中，预测编码/解码模块MCDP执行三种不同类型的编码过程，分别称为C4a、C4b和C4c。
在图1所示的第一过程C4a中，传统上，利用本技术领域内的技术人员公知的MPEG-4技术编码如在上述第一例子的应用中排列的变换系数的序列，写为Sa’。这种排列呈现的优点是容易实现，因为不需要修改编码/解码模块MCDP。为此，在子步骤C41a期间，当前系数序列Sa经历预测编码，在预测编码期间，相对于先前已经编码和解码的系数序列预测其。
所述上述预测编码步骤使得构建是当前序列Sa的近似的预测系数序列Spa。然后，可以将与该预测编码相关的信息写入适合传输到解码器的流中。
在下面的子步骤C42a期间，为了产生剩余序列Sra，从当前序列Sa减去预测序列Spa。
在后续子步骤C43a期间，利用传统前向变换操作对剩余序列Sra进行变换，例如，进行离散余弦变换(DCT)型的变换，以产生变换序列Sta。
在后续子步骤C44a期间，应用诸如例如标量量化的传统量化操作，对变换序列Sta进行量化。这样产生量化系数序列Sqa。
在后续子步骤C45a期间，图2所示的熵模块MCE执行量化系数序列Sqa的熵编码。
然后，在步骤C5期间，这样编码的系数可用于在事先排序后写入要发送到诸如图7所示的解码器DO的解码器的流F中。产生该流的步骤由软件模块MGF执行，以产生例如诸如位的数据流，所述模块示于图2中。
在后续子步骤C46a期间，利用传统去量化操作，对序列Sqa去量化，该传统去量化操作是与在步骤C44a执行的量化相反的操作。这样产生去量化系数序列SDqa。
在后续子步骤C47a期间，对去量化系数序列SDqa进行反变换，即，进行与在上述步骤C43a执行的前向变换相反的操作。这样产生解码的剩余序列SDra。
在后续子步骤C48a期间，通过将解码剩余序列SDra与预测序列Spa相加，构造解码序列SDa。因此，使得解码序列SDa可由编码单元UC使用，如图2所示。
在图1所示的第二过程C4b中，除了DCT步骤C43a，对已经变换的并且然后以与图6所示第二例子相符的分解级别排列的系数的每个集合执行上述编码。如上所述，在所示的例子中，对变换系数的三个集合S1b、S2b、S3b连续编码，因为存在三个分解级别。当仅存在少量低频系数Y2 LL、Y4 LL、Y6 LL时，特别有利地执行该第二编码过程C4b，该第二编码过程C4b构成传统MPEG-4编码技术的改进版本。
为此，在与子步骤C41a相同的子步骤C41b期间，对第一当前系数序列S1b执行预测编码，以提供作为当前序列S1b的近似的预测系数序列S1pb。随后，可以将与该预测编码相关的信息写入流F中，从而传输到图7所示的解码器DO。
在与子步骤C42a相同的后续子步骤C42b中，从当前序列S1b减去预测序列S1pb，以产生剩余序列S1rb。
在与子步骤C44a相同的后续子步骤C43b期间，对剩余序列S1rb量化，从而提供量化系数序列S1qb。
在后续子步骤C44b期间，图2所示的熵编码器模块MCE进行量化系数序列S1qb的熵编码。
然后，在所述步骤C5期间，可用于将这样编码的系数写入流F中。
在后续子步骤C45b期间，与子步骤C46a相同，利用传统去量化操作对序列S1qb去量化，该去量化操作是与在步骤C43b执行的量化相反的操作。这样产生去量化系数序列SD1qb。
在后续子步骤C46b期间，由序列SDlqb构造解码序列SD1b。因此，使得编码单元UC可以使用解码序列SD1b，如图2所示。
对另外两个变换系数序列S2b和S3b中的每个再一次执行上述第二编码过程C4b。
在图1所示的第三过程C4c中，仅对根据上述第一例子变换的并且之后排列的低频系数Y2 LL，或者实际上仅对根据上述第二例子变换的并且之后排列的低频系数Y2 LL、Y4 LL、Y6 LL执行与过程C4a相同的编码过程。在该过程结束时，获得解码序列SDc，并且因此，使得编码单元UC可以使用该解码序列SDc，如图2所示。
仍然在上述第三过程C4c中，对上述低频系数之外的系数执行与过程C4b相同的编码过程。在上述第一重新排列例子中，存在系数Y2 LH、Y2 HL、Y2 HH、LH1、HL1、HH1、Y4 LH、Y4 HL、Y4 HH、Y3 LH,Y3 HL、Y3 HH、Y6 LH、Y6 HL,Y6 HH、Y5 LH、Y5 HL和Y5 HH。在上述第二例子中，存在系数Y2 LH、Y2 HL、Y2 HH、LH1、HL1和HH1的第一序列S1c、系数Y4 LH、Y4 HL、Y4 HH、Y3 LH,Y3 HL和Y3 HH的第二序列S2c、以及系数Y6 LH、Y6 HL,Y6 HH、Y5 LH、Y5 HL和Y5 HH的第三序列S3c。在该过程结束时，获得三个解码序列SD1c、SD2c和SD3c，并且因此使得编码单元UC可以使用该三个解码序列SD1c、SD2c和SD3c，如图2所示。
当低频系数Y2 LL、Y4 LL、Y6 LL大量出现时，特别有利于执行构成传统MPEG-4编码技术和本发明修改的MPEG-4编码技术之间的混合的该第三编码过程C4c。
对多个积分图像重复上述编码方法，用于属于确定序列的编码。
详细描述解码部分的实施
下面将参考图8描述在图7所示解码器DO中执行的本发明的解码方法。以图8所示的包括步骤D1至D3的算法的形式示出本发明的解码方法。
参考图8，第一解码步骤D1对在由解码器DO收到的流F中获得的每个系数进行解码。
系数解码由解码单元UD执行，如图7所示。
如图7更详细地示出，解码单元UD包括：
·解码模块MDE，用于事先编码的系数的所述至少一个当前序列的熵解码，例如CABAC类型的模块；以及
·解码模块MDP，用于与至少一个先前解码序列相关的至少一个当前系数序列的预测解码。
所述预测解码模块MDP执行MPEG-4类型的传统预测解码算法或者根据本发明修改的算法，如下所述。在所示的例子中，预测解码模块MDP执行三种不同类型的解码过程，请参考图8中的D1a、D1b和D1c。
在图8所示的第一解码过程D1a中，如下所述对在上述编码过程C4a期间编码的系数序列Sa解码。
在第一子步骤D11a期间，对编码序列Sa的系数进行熵解码。
在后续子步骤D12a期间，对当前系数序列Sa执行预测解码，在预测解码期间，与先前解码的系数序列相关地预测序列。
所述上述预测解码步骤用于构造预测系数序列Spa。
在后续子步骤D13a期间，构造量化系数序列Spa。
在后续子步骤D14a期间，为了产生解码的去量化系数序列SDta，利用传统去量化操作对量化系数序列Sqa执行去量化，该传统去量化操作是与在上述子步骤C44a执行的量化相反的操作。
在后续子步骤D15a期间，对去量化系数序列SDta执行反变换，该反变换是与在上述子步骤C43a执行的前向变换相反的变换。这样产生解码剩余序列SDra。
在后续子步骤D16a期间，通过将解码剩余序列SDra与预测序列Spa相加，构造解码序列SDa。因此，使得解码单元UD可以使用解码序列SDa。
在图8所示的第二过程D1b中，关于编码变换系数的所述序列S1b、S2b和S3b中的每个除了相反的DCT子步骤D15a执行上述解码。顺序解码它们，因为它们分别由图像的三个不同分解级别获得。
为此，在与子步骤D11a相同的子步骤D11b期间，对第一当前编码系数序列S1b执行熵解码。
在后续子步骤D12b期间，对当前系数编码序列S1b执行预测解码，在预测解码期间，相对于先前解码的系数序列预测其。
所述上述预测解码子步骤用于构造预测系数序列S1pb。
在后续子步骤D13b期间，构造量化系数序列S1qb。
在后续子步骤D14b期间，对量化系数序列S1qa去量化，以产生解码去量化系数序列SD1tb。
在后续子步骤D15b期间，由解码去量化序列SD1tb构造解码序列SD1b。因此，使得图7所示的解码单元UD可以使用解码序列SD1b。
对其他两个编码系数序列S2b和S3b中的每个再一次执行第二上述解码过程D1b。
在图8所示的第三过程D1c中，仅对编码的低频系数Y2 LL，或者仅对编码的低频系数Y2 LL、Y4 LL和Y6 LL执行与过程D1a相同的解码过程。在该过程结束时，获得解码序列SDc，并且因此，使得图7所示的解码单元UD可以使用该解码序列SDc。
仍然在上述第三过程D1c中，对上述低频系数之外的系数执行与过程D1b相同的解码过程。在上述第一重新排列例子中，存在编码系数Y2 LH、Y2 HL、Y2 HH、LH1、HL1、HH1、Y4 LH、Y4 HL、Y4 HH、Y3 LH,Y3 HL、Y3 HH、Y6 LH、Y6 HL,Y6 HH、Y5 LH、Y5 HL和Y5 HH。在上述上述第二例子中，存在系数Y2 LH、Y2 HL、Y2 HH、LH1、HL1和HH1的第一编码序列S1c、系数Y4 LH、Y4 HL、Y4 HH、Y3 LH,Y3 HL和Y3 HH的第编码二序列S2c、以及系数Y6 LH、Y6 HL,Y6 HH、Y5 LH、Y5 HL和Y5 HH的第三编码序列S3c。在该过程结束时，获得三个解码序列SD1c、SD2c和SD3c，并且因此使得解码单元UC可以使用该三个解码序列SD1c、SD2c和SD3c，如图7所示。
在后续步骤D2期间，以与它们被编码的顺序相反的顺序重新排列在步骤D1a、D1b或者D1c结束时获得的解码系数。所述重新排列步骤D2由计算软件模块MADO执行，如图7所示。
在第一例子中，以与在各个分解重复结束时关于编码获得其的顺序相反的顺序将所述解码系数组织为单个数据系列。
在第二例子中，考虑对应于分解级别1的解码系数到对应于积分图像II的分解级别K+1的解码系数，排列解码系数。对于所考虑的每个分解级别，在应用图6所示的扫描时，以相应序列组织获得的解码系数。
在图8所示的后续步骤D3期间，直接对通过步骤D2解码的并且然后重新排列的系数应用反DWT。步骤D3由图7所示的计算模块MTIDO执行。
在所示的例子中，计算模块MTIDO采用反哈尔小波变换。
图9详细示出对所研究的一个分解级别的反变换的例子。
在所示的例子中，分别以2的因数过抽样四个解码序列Y2 HH、Y2 HL、Y2 LH和Y2 LL。然后，将这样过抽样的两个系数序列Y2 HH和Y2 HL以及这样过抽样的两个系数序列Y2 LH和Y2 LL分别经历两个滤波器组BC3和BC4的输入，每个滤波器组BC3和BC4都含有高通滤波器HPH(y)和低通滤波器HPB(y)。对滤波器组BC3提供的系数HH1和HL1求和，然后，以2的因数过抽样系数HH1和HL1。然后，将其作为输入应用于高通滤波器HPH(x)。以相应的方式对滤波器组BC4提供的系数LH1和LL1求和，然后，以2的因数过抽样系数LH1和LL1。然后，将其作为输入送到高通滤波器HPB(x)。
将作为来自滤波器HPH(x)和HPB(x)的输出获得的两个系数序列求和，而以像素矩阵X’(x,y)的形式产生重构的积分图像IID。
对于属于确定序列的要重构的多个积分图像重复上述解码方法。
当然，纯粹作为非限制性示例给出上述实施，并且本技术领域内的技术人员容易进行各种修改，而不超出本发明的范围。

Claims (14)

1.一种编码表示场景透视中的至少一个物体(OBJ)的至少一个积分图像(II)的方法，所述方法的特征在于，该方法执行的步骤包括：
直接对所述积分图像的像素应用离散小波变换(C2)，从而提供多个变换系数；以及
编码(C4a；C4b；C4c)所述提供的变换系数。
2.根据权利要求1所述的编码方法，其中，所述应用离散小波变换的步骤重复多次。
3.根据权利要求1或者2所述的方法，其中，根据MPEG-4标准执行所述变换系数的编码(C4a)。
4.根据权利要求1或者2所述的方法，其中，在所述编码步骤(C4b)期间，直接量化所述提供的变换系数，并且然后进行熵编码。
5.根据权利要求1或者2所述的方法，其中，在所述编码步骤(C4c)期间，在所述提供的变换系数中：
根据MPEG-4标准，仅编码表示积分图像的近似的提供的变换系数；以及
直接量化其他提供的变换系数，并且然后进行熵编码。
6.一种用于编码表示场景透视中的至少一个物体的至少一个积分图像(II)的编码装置，所述装置适合执行根据权利要求1至5中的任何一项所述的编码方法，并且其特征在于，所述编码装置包括：
计算器件(MTCO)，用于直接对所述积分图像的像素应用离散小波变换，以提供多个变换系数；以及
编码器件(UC)，用于编码所述提供的变换系数。
7.一种包括当在计算机上执行时，执行根据权利要求1至5中的任何一项所述的编码方法的指令的计算机程序。
8.一种解码表示先前已经编码的至少一个积分图像(II)的数据信号的方法，所述积分图像表示场景透视中的至少一个物体，所述方法的特征在于，所述方法执行的步骤包括：
解码(D1a；D1b；D1c)所述信号的数据，以提供多个离散小波变换系数；以及
通过对所述提供的离散小波变换系数应用反离散小波变换，直接重构积分图像的像素(D3)。
9.根据权利要求8所述的解码方法，其中，所述应用反离散小波变换的步骤重复多次。
10.根据权利要求8或者9所述的解码方法，其中，根据MPEG-4标准，执行所述信号的数据的解码(D1a)。
11.根据权利要求8或者9所述的解码方法，其中，在所述解码步骤(D1b)期间，仅对所述提供的变换系数进行熵解码，并且然后进行反量化。
12.根据权利要求8或者9所述的解码方法，其中，在所述解码步骤(D1c)期间，从所述提供的变换系数中：
根据MPEG-4标准，仅解码表示积分图像的近似的提供的变换系数；以及
直接对其他提供的变换系数进行熵解码，并且然后进行反量化。
13.一种用于解码表示先前已经编码的至少一个积分图像(II)的数据信号的解码装置(DO)，所述装置适合执行根据权利要求8至12中的任何一项所述的解码方法，所述装置的特征在于包括：
解码器件(UD)，用于解码所述信号的数据，以提供多个离散小波变换系数；以及
计算器件(MTIDO)，适合通过对所述提供的离散小波变换系数应用反离散小波变换，直接重构积分图像的像素。
14.一种包括当在计算机上执行时，执行权利要求8至12中的任何一项所述的解码方法的指令的计算机程序。
CN201380026253.XA 2012-04-19 2013-04-12 编码和解码积分图像的方法、编码和解码积分图像的装置以及相应的计算机程序 Pending CN104322069A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1253592A FR2989805A1 (fr) 2012-04-19 2012-04-19 Procede de codage et de decodage d'images integrales, dispositif de codage et de decodage d'images integrales et programmes d'ordinateur correspondants
FR1253592 2012-04-19
PCT/FR2013/050805 WO2013156718A1 (fr) 2012-04-19 2013-04-12 Procédé de codage et de décodage d'images intégrales, dispositif de codage et de décodage d'images intégrales et programmes d'ordinateur correspondants

Publications (1)

Publication Number Publication Date
CN104322069A true CN104322069A (zh) 2015-01-28

Family

ID=46852110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380026253.XA Pending CN104322069A (zh) 2012-04-19 2013-04-12 编码和解码积分图像的方法、编码和解码积分图像的装置以及相应的计算机程序

Country Status (5)

Country Link
US (1) US9918107B2 (zh)
EP (1) EP2839648A1 (zh)
CN (1) CN104322069A (zh)
FR (1) FR2989805A1 (zh)
WO (1) WO2013156718A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3026261A1 (fr) 2014-09-22 2016-03-25 Orange Procede de codage et de decodage d'images integrales, dispositif de codage et de decodage d'images integrales et programmes d'ordinateur correspondants

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101904751A (zh) * 2009-06-02 2010-12-08 信飞系统公司 超声信号压缩
CN102172026A (zh) * 2008-10-07 2011-08-31 欧几里得发现有限责任公司 基于特征的视频压缩

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9518984D0 (en) * 1995-09-16 1995-11-15 Univ Montfort Storing and/or transmitting 3d images
GB2358980B (en) * 2000-02-07 2004-09-01 British Broadcasting Corp Processing of images for 3D display
US7184602B2 (en) * 2003-05-02 2007-02-27 Microsoft Corp. System and method for low bandwidth video streaming for face-to-face teleconferencing
US9124881B2 (en) * 2010-12-03 2015-09-01 Fly's Eye Imaging LLC Method of displaying an enhanced three-dimensional images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102172026A (zh) * 2008-10-07 2011-08-31 欧几里得发现有限责任公司 基于特征的视频压缩
CN101904751A (zh) * 2009-06-02 2010-12-08 信飞系统公司 超声信号压缩

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
E.ELHARAR ET AL: "A Hybrid Compression Method for Integral Images Using Discrete Wavelet Transform and Discrete Cosine Transform", 《JOURNAL OF DISPLAY TECHNOLOGY》 *
MERIEM MAZRI ET AL: "Compression of 3D integral images using wavelet decomposition", 《VISUAL COMMUNICATIONS AND IMAGE》 *
PAO-CHI CHANG ET AL: "A scalable video compression technique based on wavelet and MPEG coding", 《CONSUMER ELECTRONICS》 *
QI WANG ET AL: "Scalable Coding of Very High Resolution Video Using the Virtual Zerotree", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS》 *
SUCHITRA SHRESTHA ET AL: "Hybrid DWT-DCT algorithm for biomedical image and video compression applications", 《INFORMATION SCIENCES SIGNAL PROCESSING AND THEIR APPLICATIONS》 *

Also Published As

Publication number Publication date
US20150131741A1 (en) 2015-05-14
US9918107B2 (en) 2018-03-13
WO2013156718A1 (fr) 2013-10-24
EP2839648A1 (fr) 2015-02-25
FR2989805A1 (fr) 2013-10-25

Similar Documents

Publication Publication Date Title
Conti et al. Dense light field coding: A survey
US6597739B1 (en) Three-dimensional shape-adaptive wavelet transform for efficient object-based video coding
JP6866299B2 (ja) 全方向視差ライトフィールド表示システム用の方法および装置
US7634145B2 (en) Compression and decompression with wavelet style and binary style including quantization by device-dependent parser
JP4707681B2 (ja) タイル型ウェーブレット状変換及び希薄データコード化に基づく多解像度像データ管理システム及び方法
KR101775936B1 (ko) 비디오 코딩 방법 및 장치
CN1798341B (zh) 自适应系数扫描次序
JP3743384B2 (ja) 画像符号化装置及び方法、並びに画像復号装置及び方法
CN108293138A (zh) 使用小波和AVC、修改的AVC、VPx、修改的VPx或修改的HEVC编码的有效和可缩放帧内视频/图像编码
US7302105B2 (en) Moving image coding apparatus, moving image decoding apparatus, and methods therefor
JP6438904B2 (ja) ビデオ信号処理
Chew et al. Low–memory video compression architecture using strip–based processing for implementation in wireless multimedia sensor networks
Descampe et al. A flexible hardware JPEG 2000 decoder for digital cinema
Aulí-Llinàs et al. Lossy-to-lossless 3D image coding through prior coefficient lookup tables
JP2004505520A (ja) ウェーブレット分解を用いたビデオ符号化方法
Cappellari et al. Resolution scalable image coding with reversible cellular automata
JP2000341689A (ja) ウェーブレット逆変換装置及び方法、並びにウェーブレット復号装置及び方法
US9521431B2 (en) Method and a system for wavelet based processing
WO2007083312A2 (en) Method and apparatus for a multidimensional discrete multiwavelet transform
US8989278B2 (en) Method and device for coding a multi dimensional digital signal comprising original samples to form coded stream
CN104322069A (zh) 编码和解码积分图像的方法、编码和解码积分图像的装置以及相应的计算机程序
WO2012128209A1 (ja) 画像符号化装置、画像復号装置、プログラムおよび符号化データ
Naidu et al. A novel framework for JPEG image compression using baseline coding with parallel process
EP2254338B1 (en) Coding and decoding methods and devices, computer program and information carrier enabling the implementation of such methods
US20080117983A1 (en) Method And Device For Densifying A Motion Field

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150128

WD01 Invention patent application deemed withdrawn after publication