CN103703782B - 对积分图像进行编码和解码的方法、对积分图像进行编码和解码的装置及对应的计算机程序 - Google Patents

对积分图像进行编码和解码的方法、对积分图像进行编码和解码的装置及对应的计算机程序 Download PDF

Info

Publication number
CN103703782B
CN103703782B CN201280033078.2A CN201280033078A CN103703782B CN 103703782 B CN103703782 B CN 103703782B CN 201280033078 A CN201280033078 A CN 201280033078A CN 103703782 B CN103703782 B CN 103703782B
Authority
CN
China
Prior art keywords
subgraph
current
image
view image
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280033078.2A
Other languages
English (en)
Other versions
CN103703782A (zh
Inventor
史莎莎
P.乔伊亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of CN103703782A publication Critical patent/CN103703782A/zh
Application granted granted Critical
Publication of CN103703782B publication Critical patent/CN103703782B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及至少一个积分图像（InI）的编码，该积分图像代表场景视域中的至少一个对象并包含多个基元图像，所述编码涉及根据所述多个基元图像来生成多个K个子图像（SI1、SI2、……、SIK）的步骤。这个编码方法的特征在于包括下列步骤：根据预定模式排列（C3）所述子图像，以形成所述对象的多视角图像，所述视角分别对应于所述子图像；根据所述场景中的对象运动类型来对所形成的所述多视角图像进行自适应压缩（C4）。

Description

对积分图像进行编码和解码的方法、对积分图像进行编码和 解码的装置及对应的计算机程序
技术领域
本发明通常涉及图像处理，更具体而言，涉及对积分图像以及积分图像序列进行编码和解码。
本发明可特别地，但不仅限于，应用于在现有的视频编码器及其修正(MPEG，H.264，H.264SVC，H.264MVC等)、或将来的视频编码器(ITU-T/VCEG(H.265)或ISO/MPEG))中使用的视频编码以及相应的解码。
背景技术
积分图像是一种鲜明地显示图像的技术。它被认为在3D电视的发展中尤其有前景，特别是因为它提供了一种完全视差的，而不是立体的图像显示。
积分图像通常包含大量代表三维场景的不同角度的基本图像。因此，积分图像的压缩实际就是压缩所有这些基元图像。
已知的用于压缩积分图像的方法包含使用MPEG-4AVC视频格式来对积分图像的每个基本图像进行编码。这个方法相对直接，因为它只涉及把积分图像当做传统的视频序列来处理。
这种方法的缺点在于这样的事实，那就是空间和时间冗余被不加区别地减少了。根据该积分图像的具体形式，基元图像彼此间可能呈现大量空间和时间冗余，因此积分图像的具体形式没有被最佳地利用。
不超出MPEG-4AVC标准的更有效的用于压缩积分图像的方法牵涉重组所述基元图像。这使得基元图像之间的冗余可以得到利用，但是大量的冗余信息仍未被利用，特别是在当前积分图像的基元图像与其相邻积分图像的对应基元图像之间的显著相关性。
另一种已知方法牵涉使用3D-DCT压缩算法来对积分图像进行编码，这在R.Zaharia，A.Aggoun和M.McCormick发表于Signal Processing:Image Communication，2002年第17期，231–242页的文章“Adaptive3D-DCT compression algorithm forcontinuous parallax3D integral imaging”里有所描述。这种方法比较接近于前述的基于MPEG-4AVC标准的方法。事实上，对于基元图像的重组是相同的。这另一种已知方法与前述方法的区别在于图像序列的编码结构。这种方法无疑改进了积分图像的压缩，但没有使得积分图像的冗余特性减少。
发明内容
本发明的目标之一是克服前述现有技术的缺点。
因为这个目的，根据第一方面，本发明涉及一种用于对至少一个积分图像进行编码的方法，该积分图像代表场景视域中的至少一个对象，并包含多个基元图像，这种方法实现其中从多个基元图像中生成多个K个子图像的步骤。
根据本发明的编码方法的值得注意之处在于它实现了下列步骤：
-以预定模式排列所述子图像，以形成对象的多视角图像，这些视角分别对应于所述子图像。
-作为场景中对象运动类型的函数来自适应地压缩所形成的多视角图像。
由于根据预定模式彼此相关地排列的子图像的重组，这种排列使得最佳利用在积分图像的基元图像之间的空间和时间的多重冗余成为可能。这让积分图像的编码更有效率。
这种子图像的重组连同这些子图像的自适应压缩也消除了在要传送的信号中包括冗余的需要，并因此也不需要在所述信号中包括编码信息。这使得信令成本显著减少。
根据具体的实施例，自适应压缩步骤为当前多视角图像实现了下列子步骤：
-作为先前已编码并然后解码的参考多视角图像的K个参考子图像的函数来相应地预测当前多视角图像的K个当前子图像中的每个子图像，传送所预测的K个子图像，
-通过比较与K个当前子图像中的每个、并相应地与所预测的K个子图像中的每个相关的数据来确定残余数据，
-计算用于描述在K个当前子图像和相应的K个参考子图像之间的运动的K个运动矢量，
-如果计算出的与位于当前多视角图像中心的当前子图像相关的运动矢量有零值，则计算对象在场景中移动的深度，
根据本发明的编码方法还将实现：
-如果计算出的与位于当前多视角图像中心的当前子图像相关的运动矢量具有值零，则传送至少包括所确定的残余数据和所计算的深度值的数据信号，
-如果计算出的K个运动矢量有相同的值，则传送至少包含所确定的残余数据和所计算的K个运动矢量之一的值的数据信号，
-如果计算出的K个运动矢量中的至少两个具有不同的值，则传送至少包含确定的残余数据和所计算的K个运动矢量的相应值的数据信号。
这种安排使得显著地减少编码成本成为可能，特别是在下列两种情况下：
-如果对象仅在水平方向上在场景中移动，
-如果对象仅在垂直方向上在场景中移动。
根据另一具体的实施例，如果计算出的K个运动矢量中的至少两个具有不同的值，则使用MVC编码。
这种安排使得有效地编码积分图像成为可能，通过对它们施用标准MVC（多视角编码的英文缩写）编码技术来利用空间和时间冗余，这种编码技术至今仍用于编码多视角图像。
为了更有效率地编码积分图像，本发明提出一种变化形式，包含修正的MVC编码结构。
相应地，本发明涉及一种用于对至少一个积分图像进行编码的装置，该积分图像代表场景视域中的至少一个对象、并且包含多个基元图像，这种装置包含从多个基元图像中生成多个K个子图像的部件。
这种编码装置的值得注意之处在于它包含：
-用于以预定模式排列所述子图像以形成对象的多视角图像的部件，多视角图像的多个视角分别对应于子图像；
-用于作为场景中对象运动类型的函数来自适应地压缩所形成的多视角图像的部件。
根据具体的实施例，对于当前的多视角图像，所述自适应压缩部件包括：
-用于作为先前已编码并然后解码的参考多视角图像的K个参考子图像的函数来相应地预测当前多视角图像的K个当前子图像中的每个子图像、传送所预测的K个子图像的子部件，
-用于通过比较与K个当前子图像中的每个、并相应地与所预测的K个子图像中的每个相关的数据来确定残余数据的子部件，
-用于计算用于描述在K个当前子图像和相应的K个参考子图像之间的运动的K个运动矢量的子部件，
-用于传送至少包含所确定的残余数据的数据信号的子部件，该传送子部件还发送：
·或者在计算出的与位于当前多视角图像中心的当前子图像相关的运动矢量有零值的情况下、预先计算的对象已经在场景中移动的深度值，
·或所计算的K个运动矢量之一的值，
·或在所计算出的K个运动矢量中的至少两个具有不同的值的情况下、所计算的K个运动矢量的相应值。
根据另一种具体的实施例，如果所计算出的K个运动矢量中的至少两个值具有不相同的值，将使用MVC编码。
根据第二个方面，本发明涉及一种用于对代表至少一个先前已编码的积分图像的数据信号进行解码的方法，所述积分图像代表场景视域中的至少一个对象、并包括多个基元图像。
根据本发明的该方法的值得注意之处在于它实现了下列步骤：
-作为包含在数据信号中的场景中的对象运动类型的函数，对先前编码的当前多视角图像进行自适应解压缩，
-根据给定模式排列当前多视角图像的多个K个当前子图像，以重构所述对象的多视角图像，所述多视角图像的视角分别对应于所述子图像，
-从K个子图像的排列中生成多个基元图像，以重构所述积分图像。
根据具体的实施例，自适应解压缩步骤为待重构的当前积分图像实现下列子步骤:
-解码与先前已编码的多视角图像的多个K个子图像相关的残余数据，所述残余数据被包含于数据信号中，
-如果数据信号包含所述对象在场景中移动的深度值，则：
·计算对应于运动的运动矢量，
·使用所解码的残余数据和所计算出的运动矢量、作为先前已解码的参考多视角图像的K个参考子图像的函数来预测当前多视角图像的K个当前子图像中的每个子图像，并传送所预测的K个子图像，
·如果所述数据信号包含在编码期间计算出的单个运动矢量值，所述矢量用于描述在待重构的K个子图像之一与先前已解码的K个参考子图像之一之间的运动，则作为先前已解码的参考多视角图像的K个参考子图像的函数、使用所解码的残余数据和所计算出的运动矢量来相应地预测当前多视角图像的K个当前子图像中的每个，并传送所预测的K个子图像，
-如果所述数据信号包含在编码期间计算的K个运动矢量值，该K个运动矢量描述在待重构的K个子图像与相应的先前已解码的K个参考子图像之间的运动，则使用所解码的残余数据和所述K个运动矢量值作为先前已解码的参考多视角图像的K个参考子图像的函数来相应地预测当前多视角图像的K个当前子图像中的每个，并传送所预测的K个子图像。
根据另一具体的实施例，如果所述数据信号包含K个运动矢量值，则使用MVC解码。
相应地，本发明涉及一种用于对代表至少一个先前已编码的积分图像的数据信号进行解码的装置，所述积分图像代表场景视域中的至少一个对象、并包括多个基元图像。
这种装置的值得注意之处在于它包含：
-用于作为包含在所述信号中的场景中的对象运动类型的函数而对先前编码的当前多视角图像进行自适应解压缩的部件，
-用于根据给定模式排列当前多视角图像的多个K个当前子图像以重构所述对象的多视角图像的部件，所述多视角图像的视角分别对应于所述子图像，
-用于从K个子图像的排列中生成多个基元图像以重构所述积分图像的部件。
根据一个具体的实施例，所述自适应解压缩部件包括：
-用于对与先前已编码的多个K个子图像相关的残余数据进行解码的子部件，所述残余数据包含于所述数据信号中，
-用于使用已解码的残余数据、作为先前已解码的参考多视角图像的K个参考子图像的函数来相应地预测当前多视角图像的K个当前子图像中的每个、并传送所预测的K个子图像的子部件，所述预测子部件为了预测目的还使用下列值：
·在所述数据信号中包含基于对象已经在场景中移动的深度值而计算的运动矢量值的情况下的该运动矢量值，
·或在所述数据信号中包含在编码期间计算出的单个运动矢量值的情况下的该单个运动矢量值，该矢量描述在待重构的K个子图像之一与先前已解码的K个参考子图像之一之间的运动，
·或在所述数据信号中包含在编码期间计算的K个运动矢量值的情况下的该K个运动矢量值，该K个运动矢量描述在待重构的K个子图像与相应的先前已解码的K个参考子图像之间的运动。
根据另一个具体的实施例，如果数据信号包含K个运动矢量值，则使用MVC解码。
根据第三个方面，本发明涉及计算机程序，该计算机程序当在计算机上运行时包括实现根据本发明的方法之一的指令。
本发明还涉及在数据介质上的计算机程序，如上所述，该程序包含用于实现根据本发明的方法之一的指令。
所述程序可使用任何一种编程语言，并且可以是源代码、目标代码、或源代码和目标代码之间的中间代码，例如部分编译的形式，或所需的任何其他形式。
如上所述，本发明还涉及计算机可读的数据介质，其包含用于计算机程序的指令。
数据介质可以是任何能够存储程序的单元或装置。举例来说，这个介质可以是：存储介质，例如ROM，比如CD ROM或微电子电路ROM；或磁存储介质，例如软盘或者硬盘。
此外，所述数据介质可以是可传输的介质，例如电或光信号，其能通过无线电或使用其他部件由电缆或光缆传送。根据本发明的程序可以具体地从互联网下载。
或者，所述数据介质可以是合并了所述程序的集成电路，这个电路被设计为在本方法的运行中运行或使用。
上述的解码方法、编码装置、解码装置和计算机程序至少提供与本发明的编码方法所提供的优势相同的优势。
附图说明
在结合附图所描述的优选实施例中说明其它特性和优点，在附图中：
-图1示出根据本发明的编码方法的步骤，
-图2示出根据本发明的编码装置的实施例，
-图3A和3B示出根据本发明的编码方法的积分图像获取步骤，
-图4示出其中从如图3A所示获取的积分图像中生成子图像的步骤，
-图5A到5D示出用于排列组成多视角图像的子图像的不同可能模式，
-图6A和6B分别示出对象在场景中运动的两个具体实例，
-图7A和7B分别示出向图5B到5D中的多视角图像施加的第一类型的MVC编码结构、和向图5A中的多视角图像施加的第二类型的MVC编码结构，
-图8示出根据本发明的解码装置，
-图9示出根据本发明的解码方法的步骤。
具体实施例
下面描述本发明的实施例，其中使用根据本发明的编码方法来对积分图像序列进行编码。
根据本发明的编码方法以包括步骤C1到C5的算法的形式所表示，如图1所示。
根据本发明的实施例，根据本发明的编码方法在图2所示的编码装置CO中实现。
如图1所示，第一步C1是利用图2所示的图像获取模块ACI从待编码的图像序列中获取积分图像InI。
积分图像获取的例子如图3A和3B所示。
在所示的例子中，积分图像InI代表三维场景SC视域中的对象OBJ。所述积分图像InI由CCD（电荷耦合装置的英文缩写）2D扫描仪在F1箭头方向上获取，该2D扫描仪在图3A中用参考符号SCN标示，然后在箭头F2的方向上在屏幕EC上重构。使用放置在对象OBJ和扫描仪SCN之间的透镜屏RL来影响该获取。
在图3B所示的例子中，透镜屏RL包括4个相同的微透镜ML1、ML2、ML3和ML4。屏幕EC放置于上述微透镜的焦平面上，这样的屏幕能够为观察者再现所述积分图像InI。按照已知的方式，屏幕EC包括像素矩阵，它包括几个相同的单元，每个单元都包含多个不同的彩色像素。每一单元与微透镜大小相同。在图3B所示的例子中，屏幕EC包括4个像素单元CL1、CL2、CL3和CL4，分别对应于4个微透镜ML1、ML2、ML3和ML4排列。每个单元例如由5个不同的彩色像素组成。对于给定的单元CLj（1≤j≤4），所述单元包含5个像素Pj1、Pj2、Pj3、Pj4、Pj5。为便于说明，图3B显示了由5个像素P11、P12、P13、P14、P15组成的单元CL1的结构的放大视图。
在获取过程中，从对象OBJ发出的光线经过每个微透镜ML1、ML2、ML3和ML4，然后在所述微透镜的焦平面PF上击中每个单元CL1、CL2、CL3和CL4的像素。考虑到透镜屏RL和组成屏幕EC的像素矩阵的具体排列，所述光线：
-以第一入射角击中CL1单元的P11像素、CL2单元的P21像素、CL3单元的P31像素和CL4单元的P41像素，
-以第二入射角击中CL1单元的P12像素、CL2单元的P22像素、CL3单元的P32像素和CL4单元的P42像素，
-以第三入射角击中CL1单元的P13像素、CL2单元的P23像素、CL3单元的P33像素和CL4单元的P43像素，
-以第四入射角击中CL1单元的P14像素、CL2单元的P24像素、CL3单元的P34像素和CL4单元的P44像素，
-以第五入射角击中CL1单元的P15像素、CL2单元的P25像素、CL3单元的P35像素和CL4单元的P45像素。
以已知的方式，每个入射角对应于观察者能够看到视域中的对象OBJ的具体观察角。这些角度值受限于微透镜ML1、ML2、ML3和ML4视角的值。为便于说明，对应于微透镜ML2视角的观察角在图3B中用粗实线示出。
为了图3B的清楚，只显示了两条不同入射角的光线。在图3B所示的例子中：
-光线R1以对应于特殊视角的特定角度击中CL4单元的P41像素，在这个视角上，观察者能够以对应于所述视角的特殊角度观察对象OBJ，
-光线R3以0度入射角分别击中CL1单元的P13像素、CL2单元的P23像素、CL3单元的P33像素和CL4单元的P43像素。
在所示例子中，因为有4个微透镜，所以接着所述获取步骤C1，对象OBJ从4个不同角度的4个图像被记录下来。以已知的方式，这4个图像组成积分图像InI的基元图像。
在图1所示的步骤C2中，以已知的方式，接着所述获得步骤C1，从所述形成积分图像InI的多个基元图像中生成多个K个子图像SI1、SI2、……、SIK，其中K为与所使用的像素矩阵的像素单元的像素数量对应的整数。子图像的这个生成过程由如图2所示的GSI软件模块来实现。
图4示出了其中从图3A所示的积分图像生成子图像的步骤C2的例子。
在所示例子中，积分图像InI包括4个基元图像IE1、IE2、IE3和IE4，如上所述，它们分别包含5个不同的彩色像素。在子图像生成步骤C2中，执行下列操作：
-在第一子图像SI1中分组与视域中的第一视角对应的每个基元图像IE1、IE2、IE3、IE4的各个像素P11、P21、P31、P41，
-在第二子图像SI2中分组与视域中第二视角对应的每个基元图像IE1、IE2、IE3、IE4的各个像素P12、P22、P32、P42，
-在第三子图像SI3中分组与视域中第三视角对应的每个基元图像IE1、IE2、IE3、IE4的各个像素P13、P23、P33、P43，
-在第四子图像SI4中分组与视域中第四视角对应的每个基元图像IE1、IE2、IE3、IE4的各个像素P14、P24、P34、P44，
-在第五子图像SI5中分组与视域中第五视角对应的每个基元图像IE1、IE2、IE3、IE4的各个像素P15、P25、P35、P45，
为了图示的清楚，只用箭头示出前两个分组操作。
在图1所示的步骤C3中，根据本发明，根据预定模式排列在步骤C2中生成的子图像，以形成对象OBJ的多视角图像，该多视角图像的视角分别包含生成的子图像。多视角图像中的子图像的这个排列特别有用，因为它利用了在处理积分图像时生成的子图像之间的空间和时间冗余、以及在处理当前积分图像期间生成的每个子图像与处理一个或多个其他先前积分图像期间生成的每个子图像之间的空间和时间冗余。
选择所述模式的形式来优化在所生成的子图像之间的空间与时间相关性。
所述排列步骤C3由图2所示的软件模块ASI_CO实现，它从编码器CO的数据库BD中选择一预定模式。
不同形式的模式如图5A至5D所示。
在所有情况下，对于在步骤C2期间生成的多个K个子图像SI1、SI2、……、SIK，根据本发明，其中对应的第r个视角具有零值的子图像SIr(1≤r≤K)构成多视角图像MVV1的参考视角Vr，它将在t1时刻形成并被放置于所述多视角图像的中心。
根据如图5A所示的第一优选示例，K个子图像SI1、SI2、……、SIK依次分配到9个子图像的K/9个组G1、G2、……、GK/9，由此形成了分别形成多视角图像MVV的视角V1、V2、……、VK的子图像SI1、SI2、……、SIK。
根据图5B所示的第二示例，K个子图像SI1、SI2、……、SIK呈螺旋状依次排列，位于螺旋中心的视角Vr为前述的子图像SIr，与其对应的第r视角具有零值。
根据图5C所示的第三示例，K个子图像SI1、SI2、……、SIK从左到右依次排列。
根据图5D所示的第四示例，K个子图像SI1、SI2、……、SIK从左到右依次排列。
在图1所示随后的步骤C4中，作为场景SC中的对象OBJ的运动类型的函数对在步骤C3中形成的多视角图像进行自适应压缩。
这个步骤由如图2所示的CMP压缩软件模块来实现。
再次参考图1，这样的自适应压缩步骤C4包括第一子步骤C41，其中图3A和图3B所示的对象OBJ以及所述对象的背景被分段用于当前多视角图像MVVn的每个当前子图像SI1n到SIKn。
此步骤由如图2所示的完全传统的SGM分段软件模块实现。
在图1所示的子步骤C42中，计算K个运动矢量MV1、MV2、……、MVK，所述K个运动矢量描述了在K个当前子图像SI1n到SIKn与相应的K个参考子图像SIref1、SIref2、……、SIrefK之间的运动。
此步骤由如图2所示的第一计算软件模块CAL1_CO执行。
根据图6A所示的第一替换，其中对象OBJ仅在与扫描仪SCN相关的深度方向上移动，运动矢量MVr具有零值，该运动矢量MVr描述了在第r当前中心子图像SIrn（其第r对应视角值为零）与参考多视角图像MVVref的对应参考子图像SIrref之间的运动。因此，如图6A所示，与当前子图像而不是第r个当前子图像相关联的运动矢量取决于与所谈及的子图像相关的视角。在图6A所示的情况中，使用下列三角函数关系式来计算给定的运动矢量MVi(1≤i≤5)：
MVi=ΔZ x tanθi，其中ΔZ代表对象OBJ移动的深度，并且θi代表所考虑的第j个像素单元CLj(1≤j≤4)的第i个像素pji的视角。
因为MVi和θi对于编码器CO是已知值，在步骤C43a中执行计算
根据图6B所示的第二替换，其中对象OBJ仅在垂直平面上移动，可以看到，在计算子步骤C43b期间，分别与当前多视角图像MVVn的当前子图像SI1n、SI2n、……、SIKn相关联的运动矢量MV1n、MV2n、……、MVKn为等值：MV1n=MV2n=…=MVKn。
根据第三替换（未显示），其中对象OBJ在场景SC中三维移动，或者仅二维移动，所以在子步骤C43c期间计算当前运动矢量MV1n、MV2n、……、MVKn。
在图1所示并接着前述子步骤C43a或C43b的的子步骤C44中，作为根据本发明先前已编码并解码的参考多视角图像MVVref的K个参考子图像SIref1、SIref2、……、SIrefK的函数来分别预测当前多视角图像MVVn的K个当前子图像中的每个子图像。由此获得前述的K个子图像SIp1n、SIp2n、……、SIpKn。作为所讨论的子图像的排列模式的函数、在图5A到图5D所示箭头的方向上执行所述预测。
此步骤由图2所示的第二个预测软件模块PRD_CO执行。
在图1所示的子步骤C45期间，图2所示的第二运算模块CAL2_CO通过将与每个当前子图像SI1n到SIKn相关的数据分别和与所预测的子图像SIp1n、SIp2n、……、SIpKn的每个相关的数据进行比较来确定残余数据a1n、a2n、……、aKn。
在图1所示的子步骤C46a中，仅仅编码在子步骤C43a期间计算的深度值ΔZ和在前述子步骤C45中确定的对应残余数据。
在图1所示的子步骤C46b中，仅仅编码在计算子步骤C43b中计算出的运动矢量MVin和在前述子步骤C45期间确定的对应残余数据。
这个编码步骤C46a或C46b由完全传统的编码器执行，该编码器如图2所示、并用参考符号ENC标示。这样的编码器例如使用H.264/MPEG-AVC标准来运行。
在步骤C46c中，在前述子步骤C43c中计算出的不同的运动矢量被编码。
根据本发明，在图5B到图5D所示的多视角图像的情况中，使用一个MVC编码器ENC用MVC标准来对每个子图像进行编码。因此，编码结构如图7A所示，其中：
-通过空间预测（帧内预测）对所述当前多视角图像的特定子图像（如图7A中用参考符合I表示）进行编码，
-通过与已编/解码的参考子图像相关的时间预测（帧内预测）、使用运动补偿来对当前多视角图像的特定子图像（如图7A中用参考符合P表示）进行编码，
-通过与已编/解码的前一子图像和已编/解码的后一子图像相关的时间双预测（帧内预测）、使用运动补偿对当前多视角图像的特定子图像（如图7A中用参考符合B表示）进行编码。
对于图5A中优选形成的多视角图像，本发明提出了对9个子图像的9个分组G1、G2、……、GK/9中每个组的MVC编码结构的修改。
如图7B所示，对于子图像的每个组，例如图5A所示的组G1，中心子图像SI5被编码为图像I，分别排列在中心子图像SI5上、左、右、下的4个子图像SI2、SI4、SI6、SI8被编码为图像P，并且分别排列在组G1的4个角的4个子图像SI1、SI3、SI5、SI7被编码为图像B。这样的MVC编码结构能最优地消除了相邻子图像之间的相关性，它使得可能有利地减少编码方法的复杂性。
在完成编码步骤C46a、C46b或C46c后，生成编码视频信号SG，并在图1所示的步骤C5中使用如图2所示的编码装置的通信界面CI经由通信网络而发送至远程终端。后者具有如图8所示的解码器DO。
上述的编码方法重复用于属于给定序列的多个积分图像。
图9描述了在图8所示解码器DO中实现的根据本发明的解码方法。此解码方法与前述编码方法正好相反。
在第一个步骤D1期间，使用包含在接收信号SG中的信息对当前多视角图像MVVn进行解压缩。所述解压缩是自适应的，因为它作为场景SC中的对象OBJ执行的运动类型信息的函数来实现，该信息包含在接收信号SG中。
此步骤由图8所示的解压缩模块DCMP执行。
再次参考图9，这样的解压缩步骤包括子步骤D11，该子步骤D11用于对包含在信号SG中的残余数据进行解码。此步骤由图8所示的熵解码器DE执行。
如果信号SG包含对象OBJ已经专门在场景SC中移动的深度值ΔZ，该值在子步骤D12a中被提取，然后，对于每个待重建的当前子图像，在子步骤D13a中，根据关系式MVi=ΔZx tanθi计算其各个运动矢量MV1n、MV2n、……、MVKn，其中1≤i≤K。
如果信号SG包含在前述编码子步骤C43b中计算出的单个运动矢量值MVi，该值在子步骤D12b中被提取，然后，对于每个待重构的子图像，在子步骤D13b中，根据关系式MV1n=MV2n=…=MVKn=MVi计算各个运动矢量MV1n、MV2n、……、MVKn。
如果信号SG包含在前述编码子步骤C43c中计算的不同运动矢量值MV1n、MV2n、……、MVin、……、MVKn，这些值在子步骤D12c中被提取。
步骤D13a和D13b中的每一步由图8所示的第一计算软件模块CAL1_DO实现。
下列步骤在随后的子步骤D14中实现：
-使用在子步骤D11中解码的残余数据和在子步骤D13a中计算的运动矢量、作为先前已解码的参考多视角图像的K个参考子图像的函数来相应地预测所述待重构的当前多视角图像的K个当前子图像SI1n、SI2n、……、SIKn中的每个，并传送所预测的K个子图像SIp1n、SIp2n、……、SIpKn,
-或者使用在子步骤D11中解码的残余数据和在子步骤D13b中计算的运动矢量、作为先前已解码的参考多视角图像的K个参考子图像的函数来相应地预测所述待重构的当前多视角图像的K个当前子图像SI1n、SI2n、……、SIKn中的每个子图像，并传送所预测的K个子图像SIp1n、SIp2n、……、SIpKn,
-或者使用在子步骤D11中解码的残余数据和在子步骤D13c中计算的运动矢量、作为先前已解码的参考多视角图像的K个参考子图像的函数来相应地预测所述待重构的当前多视角图像的K个当前子图像SI1n、SI2n、……、SIKn中的每个，并传送所预测的K个子图像SIp1n、SIp2n、……、SIpKn。
所述步骤D14由图8所示的第二预测软件模块PRD_DO执行。
在子步骤D15期间，使用图8所示的解码器DEC对步骤D14中获得的预测子图像进行解码：
-如果执行计算步骤D13a或D13b，通常例如使用H.264/MPEG-AVC标准，
-或者，如果执行计算步骤D13c，则使用图7A所示的MVC标准或根据图7B所示结构的MVC标准。
在随后的解码步骤D2中，在子步骤D15中获得的当前解码子图像SID1、SID2、……、SIDK按照当前子图像被解码的顺序来排列，此顺序符合图5A到5D所示模式之一的方向。
所述排列步骤D2由图8所示的软件模块ASI_DO执行。
在随后的解码步骤D3期间，基于在先前步骤D2中实现的解码子图像的排列来生成多个基元图像EI。
此步骤由基元图像生成模块MGEI实现。
一旦生成所有的已解码基元图像，在步骤D4期间基于在步骤D3中生成的基元图像来重构所述积分图像InI。
此步骤由图8所示的图像重构模块MRI来实现。
上述解码方法重复用于属于给定序列的多个待重构的积分图像。
当然，上述实施例专为说明目的而提供，而决不限于此，并且本领域技术人员能够容易地进行多种修改，且不会因此超出本发明的范围。

Claims (12)

1.一种用于对至少一个当前积分图像(InI)进行编码的方法，该积分图像代表场景视域中的至少一个对象(OBJ)、并包含多个基元图像(EI)，所述方法实现其中基于所述多个基元图像来生成多个K个子图像(SI1、SI2、……、SIK)的步骤，所述方法的特征在于它实现如下步骤：
-排列(C3)所述子图像，以形成所述对象的多视角图像，所述视角分别对应于所述子图像，所述排列根据从多个模式选择的模式来执行；
-作为所述场景中的对象运动类型的函数来对所形成的所述多视角图像进行自适应压缩(C4)，
其中，所述自适应压缩步骤对当前多视角图像实现下列子步骤：
-作为先前已编码并然后解码的参考多视角图像的K个参考子图像(SIref)的函数来相应地预测(C44)所述当前多视角图像的K个当前子图像中的每个，传送所预测的K个子图像。
2.如权利要求1所述的编码方法，其中，所述自适应压缩步骤对当前多视角图像进一步实现下列子步骤：
-通过比较与K个当前子图像中的每个、并相应地与所预测的所述K个子图像中的每个相关的数据来确定(C45)残余数据，
-计算(C42)用于描述在所述K个当前子图像和所述参考多视角图像的相应K个参考子图像(SIref)之间的运动的K个运动矢量，
-如果计算出的与位于当前多视角图像中心的当前子图像相关的运动矢量有零值，计算所述对象在场景中已移动的深度值(ΔZ)，
所述编码方法还实现：
-如果计算出的与位于当前多视角图像中心的当前子图像相关的运动矢量具有零值，则传送(C5)至少包括所确定的所述残余数据和所计算的所述深度值(ΔZ)的数据信号，
-如果计算出的K个运动矢量有相同的值，则传送(C5)至少包含所确定的所述残余数据和所计算的所述K个运动矢量之一的值的数据信号，
-如果计算出的K个运动矢量中的至少两个具有不同的值，则传送至少包含所确定的所述残余数据和所计算的K个运动矢量的相应值的数据信号。
3.如权利要求1或权利要求2所述的编码方法，其中，如果计算出的K个运动矢量中的至少两个具有不同的值，则使用MVC编码。
4.一种用于对至少一个当前积分图像(InI)进行编码的装置，该积分图像代表场景视域中的至少一个对象、并且包含多个基元图像(EI)，所述装置包括基于所述多个基元图像来生成多个K个子图像(SI)的部件(GSI)，所述装置的特征在于包含下列部件：
-用于排列所述子图像以形成所述对象的多视角图像的部件(ASI_CO)，所述视角分别对应于所述子图像，所述排列根据从多个模式选择的模式来执行；
-用于作为场景中的对象运动类型的函数来自适应地压缩所形成的多视角图像的部件(CMP)，
其中，对于当前多视角图像，所述自适应压缩部件包括：
-用于作为先前已编码并然后解码的参考多视角图像的K个参考子图像(SIref)的函数来相应地预测所述当前多视角图像的K个当前子图像中的每个子图像、传送所预测的K个子图像的子部件(PRD_CO)。
5.如权利要求4中所述的编码装置，其中，对于当前多视角图像，所述自适应压缩部件进一步包括：
-用于通过比较与K个当前子图像中的每个、并相应地与所预测的所述K个子图像中的每个相关的数据来确定残余数据的子部件(CAL2_CO)，
-用于计算用于描述在所述K个当前子图像和相应的K个参考子图像之间的运动的K个运动矢量的子部件(CAL1_CO)，
-用于传送至少包含所确定的所述残余数据的数据信号的子部件(IC)，所述传送子部件还发送：
·在计算出的与位于当前多视角图像中心的当前子图像相关的运动矢量有零值的情况下的、预先计算的所述对象已经在场景中移动的深度值(ΔZ)，
·或所计算的K个运动矢量之一的值，
·或在所计算出的K个运动矢量中的至少两个具有不同的值的情况下的、所计算的K个运动矢量的相应值。
6.如权利要求4或权利要求5所述的编码装置，其中，如果所计算出的K个运动矢量中的至少两个具有不相同的值，则使用MVC编码。
7.一种用于对数据信号进行解码的方法，该数据信号代表先前已编码的至少一个当前积分图像(InI)，所述积分图像代表场景视域中的至少一个对象、并包括多个基元图像(EI)，所述方法的特征在于它实现如下步骤：
-作为包含在所述数据信号中的场景中的对象运动类型的函数，对先前编码的当前多视角图像进行自适应解压缩(D1)，
-排列(D2)所述当前多视角图像的多个K个当前子图像，以重构所述对象的多视角图像，所述视角分别对应于所述子图像，所述排列根据从多个模式选择的模式来执行，
-基于所述K个子图像的排列来生成(D3)所述多个基元图像(EI)，以重构所述积分图像(InI)，
其中，所述自适应解码步骤对于待重构的当前积分图像而实现下列子步骤：
-解码(D11)与先前已编码的多视角图像的所述多个K个子图像相关的残余数据，所述残余数据被包含于所述数据信号中，
-如果所述数据信号包含所述对象已经在场景中移动的深度值(ΔZ)，则：
·计算(D13a)与所述运动对应的运动矢量，
·使用所解码的所述残余数据和所计算出的所述运动矢量、作为先前已解码的参考多视角图像的K个参考子图像的函数来相应地预测(D14)所述当前多视角图像的K个当前子图像中的每个，并传送所预测的K个子图像。
8.如权利要求7所述的解码方法，其中，所述自适应解码步骤对于待重构的当前积分图像而进一步实现下列子步骤：
-如果所述数据信号包含在编码期间计算出的单个运动矢量值，所述矢量用于描述在待重构的K个子图像之一与先前已解码的K个参考子图像之一之间的运动，则作为先前已解码的参考多视角图像的K个参考子图像的函数、使用所解码的所述残余数据和所计算出的所述运动矢量来相应地预测(D14)所述当前多视角图像的K个当前子图像中的每个，并传送所预测的K个子图像，
-如果所述数据信号包含在编码期间计算的K个运动矢量值，所述K个运动矢量描述在待重构的K个子图像与相应的先前已解码的K个参考子图像之间的运动，则作为先前已解码的参考多视角图像的K个参考子图像的函数使用所解码的所述残余数据和所述K个运动矢量值来相应地预测所述当前多视角图像的K个当前子图像中的每个，并传送所预测的K个子图像。
9.如权利要求7或权利要求8所述的解码方法，其中，如果所述数据信号包含K个运动矢量值，则使用MVC解码。
10.一种用于对数据信号进行解码的装置(DO)，该数据信号代表至少一个先前已编码的当前积分图像(InI)，所述积分图像代表场景视域中的至少一个对象、并包括多个基元图像(EI)，所述装置的特征在于它包含：
-用于作为包含在所述信号中的场景中的对象运动类型的函数而对先前编码的当前多视角图像进行自适应解压缩的部件(DCMP)，
-用于排列所述当前多视角图像的多个K个当前子图像以重构所述对象的多视角图像的部件(ASI_DO)，所述视角分别对应于所述子图像，所述排列根据从多个模式选择的模式来执行，
-用于基于所述K个子图像的排列来生成所述多个基元图像(EI)以重构所述积分图像(InI)的部件(MGEI)，
其中，所述自适应解压缩部件包括：
-用于对与先前已编码的所述多个K个子图像相关的残余数据进行解码的子部件(DE)，所述残余数据包含于所述数据信号中，
-用于使用所述已解码的残余数据、作为先前已解码的参考多视角图像的K个参考子图像的函数来相应地预测所述当前多视角图像的K个当前子图像中的每个、传送所预测的K个子图像的子部件(PRD_DO)。
11.如权利要求10所述的解码装置，所述预测子部件为了预测还用到下列值：
·在所述数据信号中包含基于所述对象已经在场景中移动的深度值(ΔZ)而计算的运动矢量值的情况下的该运动矢量值，
·或在所述数据信号中包含在编码期间计算出的单个运动矢量值的情况下的该单个运动矢量值，所述矢量描述在待重构的K个子图像之一与先前已解码的K个参考子图像之一之间的运动，
·或在所述数据信号中包含在编码期间计算的K个运动矢量值的情况下的该K个运动矢量值，该K个运动矢量描述在待重构的K个子图像与相应的先前已解码的K个参考子图像之间的运动。
12.如权利要求10或权利要求11所述的解码装置，其中，如果数据信号包含K个运动矢量值，则使用MVC解码。
CN201280033078.2A 2011-05-05 2012-04-26 对积分图像进行编码和解码的方法、对积分图像进行编码和解码的装置及对应的计算机程序 Active CN103703782B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1153852A FR2974966A1 (fr) 2011-05-05 2011-05-05 Procede de codage et de decodage d'images integrales, dispositif de codage et de decodage d'images integrales et programmes d'ordinateur correspondants
FR1153852 2011-05-05
PCT/FR2012/050934 WO2012150407A1 (fr) 2011-05-05 2012-04-26 Procédé de codage et de décodage d'images intégrales, dispositif de codage et de décodage d'images intégrales et programmes d'ordinateur correspondants

Publications (2)

Publication Number Publication Date
CN103703782A CN103703782A (zh) 2014-04-02
CN103703782B true CN103703782B (zh) 2017-08-15

Family

ID=44278641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280033078.2A Active CN103703782B (zh) 2011-05-05 2012-04-26 对积分图像进行编码和解码的方法、对积分图像进行编码和解码的装置及对应的计算机程序

Country Status (5)

Country Link
US (1) US9635338B2 (zh)
EP (1) EP2705666B1 (zh)
CN (1) CN103703782B (zh)
FR (1) FR2974966A1 (zh)
WO (1) WO2012150407A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3026261A1 (fr) * 2014-09-22 2016-03-25 Orange Procede de codage et de decodage d'images integrales, dispositif de codage et de decodage d'images integrales et programmes d'ordinateur correspondants
US11051039B2 (en) 2017-06-02 2021-06-29 Ostendo Technologies, Inc. Methods for full parallax light field compression
US10432944B2 (en) 2017-08-23 2019-10-01 Avalon Holographics Inc. Layered scene decomposition CODEC system and methods
CN108200433B (zh) * 2018-02-05 2020-01-07 重庆乐潮信息技术有限公司 一种图像压缩和解压缩方法
US10931956B2 (en) * 2018-04-12 2021-02-23 Ostendo Technologies, Inc. Methods for MR-DIBR disparity map merging and disparity threshold determination
US11172222B2 (en) 2018-06-26 2021-11-09 Ostendo Technologies, Inc. Random access in encoded full parallax light field images
CN112654968A (zh) * 2018-08-29 2021-04-13 高通股份有限公司 用于机器学习加速的架构的方法、装置和系统
KR102626217B1 (ko) * 2018-11-30 2024-01-16 삼성전자주식회사 프레임 버퍼 컴프레서 및 이를 포함하는 이미지 처리 장치
KR20220027207A (ko) * 2019-07-08 2022-03-07 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩에서의 혼합된 nal 유닛 픽처 제약 조건

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101170702A (zh) * 2007-11-23 2008-04-30 四川虹微技术有限公司 多视角视频编码方法
EP1933566A2 (en) * 2006-12-15 2008-06-18 University-Industry Cooperation Group of Kyung Hee University Derivation process of boundary filtering strength, and deblocking filtering method and apparatus using the derivation process
CN102036078A (zh) * 2011-01-21 2011-04-27 哈尔滨商业大学 基于视角间相关性的多视角视频编解码系统运动估计方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007063477A2 (en) * 2005-12-02 2007-06-07 Koninklijke Philips Electronics N.V. Depth dependent filtering of image signal
JP5413002B2 (ja) * 2008-09-08 2014-02-12 ソニー株式会社 撮像装置および方法、並びにプログラム
KR101405019B1 (ko) * 2009-01-29 2014-06-11 돌비 레버러토리즈 라이쎈싱 코오포레이션 다중 이미지들，예를 들면 스테레오스코픽을 서브―샘플링 및 인터리빙하기 위한 방법들 및 디바이스들
JP2011082622A (ja) * 2009-10-02 2011-04-21 Sony Corp 画像信号処理装置、画像信号処理方法、画像表示装置、画像表示方法、プログラム、および画像表示システム
CN101895756B (zh) * 2010-07-15 2012-10-31 北京大学 视频图像块的编码、解码、重构方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1933566A2 (en) * 2006-12-15 2008-06-18 University-Industry Cooperation Group of Kyung Hee University Derivation process of boundary filtering strength, and deblocking filtering method and apparatus using the derivation process
CN101170702A (zh) * 2007-11-23 2008-04-30 四川虹微技术有限公司 多视角视频编码方法
CN102036078A (zh) * 2011-01-21 2011-04-27 哈尔滨商业大学 基于视角间相关性的多视角视频编解码系统运动估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Efficient compression of motion-compensated sub-images with Karhunen–Loeve transform in three-dimensional integral imaging;Ho-Hyun Kang;《Optics Communications》;20100315;第283卷(第6期);920-928 *

Also Published As

Publication number Publication date
EP2705666A1 (fr) 2014-03-12
FR2974966A1 (fr) 2012-11-09
EP2705666B1 (fr) 2020-02-19
US9635338B2 (en) 2017-04-25
WO2012150407A1 (fr) 2012-11-08
US20140085417A1 (en) 2014-03-27
CN103703782A (zh) 2014-04-02

Similar Documents

Publication Publication Date Title
CN103703782B (zh) 对积分图像进行编码和解码的方法、对积分图像进行编码和解码的装置及对应的计算机程序
US11057645B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US11217037B2 (en) Apparatus for transmitting point cloud data, a method for transmitting point cloud data, an apparatus for receiving point cloud data and a method for receiving point cloud data
JP7433442B2 (ja) ポイントクラウドデータ送信装置、送信方法、処理装置および処理方法
US20210329052A1 (en) Point cloud data transmission apparatus, point cloud data transmission method, point cloud data reception apparatus and point cloud data reception method
US20220417557A1 (en) Device and method for processing point cloud data
US20220256190A1 (en) Point cloud data processing apparatus and method
CN113615207A (zh) 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
US11902348B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20220360797A1 (en) Apparatus and method for processing point cloud data
US11483363B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
Conti et al. Inter-layer prediction scheme for scalable 3-D holoscopic video coding
US20220321912A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20220377327A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN114946179B (zh) 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
CN110121065A (zh) 空间排序视频编码应用中的多向图像处理
US20230186527A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
JP7440546B2 (ja) ポイントクラウドデータ処理装置及び方法
US20220321914A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20220351421A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20230154052A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method
Conti et al. Light field image compression
CN112819150B (zh) 基于神经网络的预测块生成方法及装置
US20230206510A1 (en) Point cloud data processing device and processing method
US20240029312A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant