CN112771867A - 3d数据生成装置、3d数据再现装置、控制程序以及记录介质 - Google Patents

3d数据生成装置、3d数据再现装置、控制程序以及记录介质 Download PDF

Info

Publication number
CN112771867A
CN112771867A CN201980063540.5A CN201980063540A CN112771867A CN 112771867 A CN112771867 A CN 112771867A CN 201980063540 A CN201980063540 A CN 201980063540A CN 112771867 A CN112771867 A CN 112771867A
Authority
CN
China
Prior art keywords
depth image
depth
unit
integrated
partial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980063540.5A
Other languages
English (en)
Inventor
德毛靖昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN112771867A publication Critical patent/CN112771867A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

为了基于深度生成高清的3D模型，深度需要一定的分辨率，但在使用现有编解码器对深度图像进行编码的情况下，根据拍摄对象的大小、动作的不同，有时深度的动态范围宽，分辨率不足。输入表示一个或多个拍摄对象的三维形状的深度图像来生成3D数据的3D数据生成装置，具备：深度分割部，将上述深度图像分割为由矩形区域构成的多个部分深度图像；深度整合部，对上述多个部分深度图像进行封装，生成整合深度图像；深度图像编码部，对上述整合深度图像进行编码；以及附加信息编码部，对附加信息进行编码，该附加信息包括确定上述矩形区域的分割信息以及表示上述封装的信息。

Description

3D数据生成装置、3D数据再现装置、控制程序以及记录介质
技术领域
本发明的一个方案涉及输入表示拍摄对象的三维形状的深度图像来生成3D数据的3D数据生成装置、3D数据生成方法、控制程序以及记录介质。
背景技术
在CG(Computer Graphics；计算机图形)领域中，研究了通过整合输入深度来构建3D模型(三维模型)的称为动态融合(DynamicFusion)的方法。动态融合的目的主要在于构建从拍摄到的输入深度中实时去除噪声的3D模型。在动态融合中，在补偿了三维形状的变形的基础上，将从传感器获取到的输入深度整合到通用的参照3D模型中。由此，能根据低分辨率和高噪声的深度生成精密的3D模型。
此外，在专利文献1中公开了通过输入多视点彩色图像和按像素级别对应的多视点深度图像来输出任意视点的图像的技术。
现有技术文献
专利文献
专利文献1：日本公开专利公报“日本特开2013-30898号公报”
发明内容
发明要解决的问题
为了基于深度生成高清的3D模型，深度需要一定的分辨率，但在使用现有编解码器对深度图像进行编码的情况下，根据拍摄对象的大小、动作的不同，有时深度的动态范围宽，分辨率不足。
技术方案
为了解决上述课题，本发明的一个方案的3D数据生成装置是输入表示一个或多个拍摄对象的三维形状的深度图像来生成3D数据的3D数据生成装置，具备：深度分割部，将上述深度图像分割为由矩形区域构成的多个部分深度图像；深度整合部，对上述多个部分深度图像进行封装，生成整合深度图像；深度图像编码部，对上述整合深度图像进行编码；以及附加信息编码部，对附加信息进行编码，该附加信息包括确定上述矩形区域的分割信息以及表示上述封装的信息。
为了解决上述课题，本发明的一个方案的3D数据再现装置是输入3D数据来再现一个或多个拍摄对象的三维形状的3D数据再现装置，具备：深度图像解码部，对上述3D数据所包括的整合深度图像进行解码；附加信息解码部，对附加信息进行解码，该附加信息包括表示由上述整合深度图像所包括的矩形区域构成的多个部分深度图像的封装的信息以及确定上述矩形区域的分割信息；深度提取部，基于表示上述封装的信息从上述已解码的整合深度图像中提取部分深度图像；以及深度耦合部，基于上述分割信息对上述多个部分深度图像进行耦合，重构深度图像。
有益效果
根据本发明的一个方案，即使在拍摄对象的深度的动态范围宽的情况下，也能使用现有编解码器来生成量化误差小的3D数据。
附图说明
图1是表示本发明的实施方式1的3D数据生成装置的构成的功能框图。
图2是表示本发明的实施方式1的整合深度图像生成部以及整合彩色图像生成部的内部构成的功能框图。
图3是示出本发明的实施方式1的深度图像以及彩色图像的获取例的图。
图4是示出本发明的实施方式1的深度图像获取部所输出的深度图像以及彩色图像获取部所输出的彩色图像的一个示例的图。
图5是示出本发明的实施方式1的深度图像的分割例的图。
图6是示出本发明的实施方式1的深度图像以及彩色图像的封装的示例的图。
图7是示出本发明的实施方式1的彩色图像的分割例的图。
图8是表示本发明的实施方式1的3D数据再现装置的构成的功能框图。
图9是表示本发明的实施方式1的深度图像重构部以及彩色图像重构部的内部构成的功能框图。
图10是表示本发明的实施方式2的3D数据生成装置的构成的功能框图。
图11是表示本发明的实施方式2的整合深度图像生成部的内部构成的功能框图。
图12是表示本发明的实施方式2的3D数据再现装置的构成的功能框图。
图13是表示本发明的实施方式2的深度图像重构部的内部构成的功能框图。
图14是表示本发明的实施方式3的3D数据生成装置的构成的功能框图。
图15是表示本发明的实施方式3的整合深度图像生成部以及整合彩色图像生成部的内部构成的功能框图。
图16是示出本发明的实施方式3的深度图像以及彩色图像的获取例的图。
图17是示出本发明的实施方式3的深度图像以及彩色图像的封装的示例的图。
图18是示出本发明的实施方式3的深度图像以及彩色图像的封装的示例的图。
图19是表示本发明的实施方式3的3D数据再现装置的构成的功能框图。
具体实施方式
以下，对本发明的实施方式进行详细说明。
<实施方式1>
〔3D数据生成装置〕
首先，参照附图对本发明的实施方式1的3D数据生成装置进行说明。
图1是表示本发明的实施方式1的3D数据生成装置的构成的功能框图。3D数据生成装置1由深度图像获取部17、整合深度图像生成部11、深度图像编码部12、彩色图像获取部18、整合彩色图像生成部14、彩色图像编码部15、附加信息编码部13以及复用部16构成。
深度图像获取部17从多个深度摄像机获取深度数据，将深度图像输出到整合深度图像生成部11。
整合深度图像生成部11通过分割、整合(封装)从深度图像获取部17输出的多个深度图像来生成单个整合深度图像。
深度图像编码部12对从整合深度图像生成部11输入的整合深度图像进行压缩编码，输出深度编码数据。对于压缩编码，例如，能使用由ISO/IEC23008-2规定的HEVC(HighEfficiency Video Coding：高效运动图像编码)。
彩色图像获取部18从多个彩色摄像机获取彩色数据，将彩色图像输出到整合彩色图像生成部14。
整合彩色图像生成部14通过分割、整合(封装)从彩色图像获取部18输出的多个彩色图像来生成单个整合彩色图像。
彩色图像编码部15对从整合彩色图像生成部14输入的整合彩色图像进行压缩编码，输出彩色编码数据。对于压缩编码，例如，能使用HEVC。
附加信息编码部13对根据在整合深度图像生成部11中生成的整合深度图像重构原来的深度图像所需的附加信息以及根据在整合彩色图像生成部14中生成的整合彩色图像重构原来的彩色图像所需的附加信息进行编码，输出附加信息编码数据。附加信息的详细情况将在后文进行叙述。
复用部16对从深度图像编码部12、彩色图像编码部15以及附加信息编码部13输出的各编码数据进行复用，作为3D数据输出。对于复用，例如，能使用由ISO/IEC 14496-12规定的ISOBMFF(ISO Base Media File Format：ISO基媒体文件格式)。已复用的3D数据能记录到硬盘、光盘、非易失性存储器等各种记录介质中或者向网络进行流传送。对于流传送，例如，能使用由ISO/IEC 23009-1规定的MPEG-DASH(Dynamic Adaptive Streaming overHTTP：基于HTTP的动态自适应流传送)。
图2的(a)是表示本发明的实施方式1的整合深度图像生成部11的内部构成的功能框图。整合深度图像生成部11由深度分割部111以及深度整合部113构成。
深度分割部111将从深度图像获取部17输出的深度图像分割为由矩形区域构成的多个部分深度图像。具体而言，按每个深度图像所包括的拍摄对象设定矩形区域，将矩形区域所包括的深度图像作为部分深度图像输出，并且输出以下的分割信息。
〔分割信息的例1〕
·各矩形区域的左上角的坐标(以深度图像的左上角为原点)
·各矩形区域的右下角的坐标(以深度图像的左上角为原点)
·各矩形区域所包括的拍摄对象的标识符
〔分割信息的例2〕
·各矩形区域的左上角的坐标(以深度图像的左上角为原点)
·各矩形区域的宽度以及高度
·各矩形区域所包括的拍摄对象的标识符
深度整合部113通过将从深度分割部111输出的多个部分深度图像整合(封装)为单个图像来生成整合深度图像。具体而言，输出整合了所有部分深度图像的整合深度图像，并且输出以下的封装信息。
〔封装信息的例1〕
·与各部分深度图像的左上角对应的整合深度图像上的坐标(以整合深度图像的左上角为原点)
·与各部分深度图像的右下角对应的整合深度图像上的坐标(以整合深度图像的左上角为原点)
·各部分深度图像所包括的拍摄对象的标识符
〔封装信息的例2〕
·与各部分深度图像的左上角对应的整合深度图像上的坐标(以整合深度图像的左上角为原点)
·整合深度图像中的各部分深度图像的宽度以及高度
·各部分深度图像所包括的拍摄对象的标识符
在整合彩色图像生成部14中，根据由整合深度图像生成部11输出的分割信息以及封装信息，与整合深度图像生成部11同样地，通过分割、整合(封装)从彩色图像获取部18输出的彩色图像来生成单个整合彩色图像。
图3是示出本发明的实施方式1的深度图像以及彩色图像的获取例的图。示出针对拍摄对象a以及拍摄对象b，配置3台摄像机C1、C2以及C3，各摄像机拍摄深度图像以及彩色图像的情形。
图4是示出本发明的实施方式1的深度图像获取部17所输出的深度图像以及彩色图像获取部18所输出的彩色图像的一个示例的图。图4的(a)的G1、G2、G3分别是由摄像机C1、C2、C3获取到的深度图像。图4的(b)的T1、T2、T3分别是由摄像机C1、C2、C3获取到的彩色图像。
在此，摄像机C1、C2、C3能获取0mm～25000mm范围的深度值，在深度图像G1、G2、G3的各像素值中，储存有将获取到的深度值以16比特进行了量化的值(例如，深度值储存在YUV4：2：0 16比特格式的Y分量中)。另一方面，在彩色图像T1、T2、T3中储存有以8比特进行了量化的亮度(Y)以及色差(U，V)(例如，储存为YUV4：2：0 8比特格式)。
图5是示出本发明的实施方式1的深度图像的分割例的图。深度分割部111将深度图像G1分割为包括拍摄对象a的矩形区域的部分深度图像G1a和包括拍摄对象b的矩形区域的部分深度图像G1b。同样地，将深度图像G2分割为部分深度图像G2a和G2b，将深度图像G3分割为部分深度图像G3a和G3b。深度分割部111输出以下的分割信息。
〔G1a的分割信息〕
·矩形区域的左上角的坐标：(X1a，Y1a)
·矩形区域的右下角的坐标：(X1a+W1a，Y1a+H1a)
·矩形区域所包括的拍摄对象的标识符：a
〔G2a的分割信息〕
·矩形区域的左上角的坐标：(X2a，Y2a)
·矩形区域的右下角的坐标：(X2a+W2a，Y2a+H2a)
·矩形区域所包括的拍摄对象的标识符：a
〔G3a的分割信息〕
·矩形区域的左上角的坐标：(X3a，Y3a)
·矩形区域的右下角的坐标：(X3a+W3a，Y3a+H3a)
·矩形区域所包括的拍摄对象的标识符：a
〔G1b的分割信息〕
·矩形区域的左上角的坐标：(X1b，Y1b)
·矩形区域的右下角的坐标：(X1b+W1b，Y1b+H1b)
·矩形区域所包括的拍摄对象的标识符：b
〔G2b的分割信息〕
·矩形区域的左上角的坐标：(X2b，Y2b)
·矩形区域的右下角的坐标：(X2b+W2b，Y2b+H2b)
·矩形区域所包括的拍摄对象的标识符：b
〔G3b的分割信息〕
·矩形区域的左上角的坐标：(X3b，Y3b)
·矩形区域的右下角的坐标：(X3b+W3b，Y3b+H3b)
·矩形区域所包括的拍摄对象的标识符：b
图6的(a)是示出本发明的实施方式1的部分深度图像的封装的示例的图。深度整合部113将部分深度图像G1a、G2a、G3a、G1b、G2b、G3b整合(封装)为单个图像来生成整合深度图像。深度耦合部113输出以下的封装信息。
〔G1a的封装信息〕
·与部分深度图像的左上角对应的整合深度图像上的坐标：(x1，y1)
·与部分深度图像的右下角对应的整合深度图像上的坐标：(x1'，y1')
·部分深度图像所包括的拍摄对象的标识符：a
〔G2a的封装信息〕
·与部分深度图像的左上角对应的整合深度图像上的坐标：(x2，y2)
·与部分深度图像的右下角对应的整合深度图像上的坐标：(x2'，y2')
·部分深度图像所包括的拍摄对象的标识符：a
〔G3a的封装信息〕
·与部分深度图像的左上角对应的整合深度图像上的坐标：(x3，y3)
·与部分深度图像的右下角对应的整合深度图像上的坐标：(x3'，y3')
·部分深度图像所包括的拍摄对象的标识符：a
〔G1b的封装信息〕
·与部分深度图像的左上角对应的整合深度图像上的坐标：(x4，y4)
·与部分深度图像的右下角对应的整合深度图像上的坐标：(x4'，y4')
·部分深度图像所包括的拍摄对象的标识符：b
〔G2b的封装信息〕
·与部分深度图像的左上角对应的整合深度图像上的坐标：(x5，y5)
·与部分深度图像的右下角对应的整合深度图像上的坐标：(x5'，y5')
·部分深度图像所包括的拍摄对象的标识符：b
〔G3b的封装信息〕
·与部分深度图像的左上角对应的整合深度图像上的坐标：(x6，y6)
·与部分深度图像的右下角对应的整合深度图像上的坐标：(x6'，y6')
·部分深度图像所包括的拍摄对象的标识符：b
对于整合深度图像中的各部分深度图像的背景区域，基于形状信息进行编码控制。形状信息是示出整合深度图像的各像素是否属于对象(拍摄对象)的信息，例如，在属于对象的像素的情况下分配“1”，在不属于对象的像素的情况下分配“0”。在编码处理中，例如，在CTU(编码树单元)内的所有像素不属于对象的情况下、在CTU内的一部分像素不属于对象的情况下，进行将不属于对象的区域用对象的边缘的像素值、规定的像素值在水平方向或垂长方向上填充之后进行编码等的处理。深度耦合部113将上述形状信息作为封装信息输出。
图2的(b)是表示本发明的实施方式1的整合彩色图像生成部14的内部构成的功能框图。整合彩色图像生成部14由彩色分割部141以及彩色整合部143构成。
图7是示出本发明的实施方式1的彩色图像的分割例的图。彩色分割部141根据从整合深度图像生成部11输入的分割信息将彩色图像T1分割为部分彩色图像T1a和T1b。同样地，将彩色图像T2分割为部分彩色图像T2a和T2b，将彩色图像T3分割为部分彩色图像T3a和T3b。
图6的(b)是示出本发明的实施方式1的部分彩色图像的封装的示例的图。彩色整合部143根据从整合深度图像生成部11输入的封装信息将部分彩色图像T1a、T2a、T3a、T1b、T2b、T3b整合(封装)为单个图像来生成整合彩色图像。
对于整合彩色图像中的各部分彩色图像的背景区域，基于从整合深度图像生成部11输入的封装信息(形状信息)来进行编码控制。例如，在CTU内的所有像素不属于对象的情况下、在CTU内的一部分像素不属于对象的情况下，进行将不属于对象的区域用对象的边缘的像素值、规定的像素值在水平方向或垂长方向上填充之后进行编码等的处理。
深度图像编码部12使用HEVC Main12配置文件对上述整合深度图像进行压缩编码，将深度编码数据输出到复用部16。
彩色图像编码部15使用HEVC Main配置文件对上述整合彩色图像进行压缩编码，将彩色编码数据输出到复用部16。
附加信息编码部13将与从整合深度图像生成部11输出的分割信息、封装信息以及各摄像机姿势(三维空间上的位置、方向等)相关的信息进行可逆编码，输出到复用部16。
通过设为上述的构成，能减小构成部分深度图像的各CTU中的深度值的动态范围，能提高量化时的分辨率。其结果是，即使在因拍摄对象的大小、动作而深度的动态范围大的情况下也能消除分辨率不足。
而且，与将深度图像(图5的(a)的G1、G2、G3)直接耦合并编码的情况相比，能通过背景区域的削减、图像尺寸的缩小来削减生成代码量。
此外，与摄像机的数量无关地始终传输整合深度图像(图6的(a))的编码数据、整合彩色图像(图6的(b))的编码数据以及附加信息的编码数据这三个流即可，因此起到能使传输的流的数量不取决于摄像机的数量的效果。
此外，通过评价并优化编码数据(深度+彩色+附加信息)的比特率、深度图像的编码失真、彩色图像的编码失真等来决定矩形区域的大小、分割数，由此能生成更高品质的3D数据。
〔3D数据再现装置〕
接着，参照附图对本发明的实施方式1的3D数据再现装置进行说明。
图8是表示本发明的实施方式1的3D数据再现装置的构成的功能框图。3D数据再现装置2由分离部26、深度图像解码部22、深度图像重构部21、附加信息解码部23、彩色图像解码部25、彩色图像重构部24、3D模型生成部27、再现图像合成部28、再现视点输入部291以及再现对象选择部292构成。
分离部26分离输入的3D数据所包括的深度图像编码数据、彩色图像编码数据、附加信息编码数据，分别输出到深度图像解码部22、彩色图像解码部25、附加信息解码部23。
深度图像解码部22解码从分离部26输入的进行了HEVC编码的深度图像编码数据。例如，由图6的(a)示出的整合深度图像被解码。
深度图像重构部21基于从附加信息解码部23输入的附加信息(分割信息、封装信息)，从由深度图像解码部22解码的整合深度图像所包括的多个部分深度图像提取(解封装)、耦合所希望的部分深度图像，由此重构深度图像。
彩色图像解码部25解码从分离部26输入的进行了HEVC编码的彩色图像编码数据。例如，由图6的(b)示出的整合彩色图像被解码。
彩色图像重构部24基于从附加信息解码部23输入的附加信息(分割信息、封装信息)，从由彩色图像解码部25解码的整合彩色图像所包括的多个彩色图像提取所希望的部分彩色图像，由此重构彩色图像。
附加信息解码部23根据从分离部26输入的附加信息编码数据解码重构深度图像以及彩色图像所需的附加信息(分割信息、封装信息)。
3D模型生成部27基于从深度图像重构部21输入的多个深度图像来生成3D模型。3D模型是表示拍摄对象的三维形状的模型，作为一种形态可以列举出网格表现的模型。
再现图像合成部28基于由3D模型生成部27生成的3D模型、由彩色图像重构部重构的彩色图像以及由用户输入的再现视点信息(三维空间上的位置、方向等)来合成再现视点上的再现图像。
再现视点输入部291是由用户输入三维空间上的再现视点(位置以及方向)的输入部。
再现对象选择部292是由用户从多个再现对象选择所希望的再现对象的选择部。
图9的(a)是表示本发明的实施方式1的深度图像重构部21的内部构成的功能框图。深度图像重构部21由深度提取部211以及深度耦合部213构成。
深度提取部211基于从附加信息解码部23输入的封装信息从整合深度图像所包括的多个部分深度图像提取(解封装)所希望的部分深度图像。例如，在由再现对象选择部292选择了拍摄对象a以及拍摄对象b作为再现对象的情况下，提取图5所示的部分深度图像G1a、G2a、G3a、G1b、G2b、G3b，输出到深度耦合部213。或者，在仅选择了拍摄对象b的情况下，提取部分深度图像G1b、G2b、G3b，输出到深度耦合部。
深度耦合部213基于从附加信息解码部23输入的分割信息，从多个部分深度图像耦合同一视点的部分深度图像，由此重构深度图像，输出到3D模型生成部27。例如，图4的(a)所示的深度图像G1、G2、G3被输出到3D模型生成部27。
图9的(b)是表示本发明的实施方式1的彩色图像重构部24的内部构成的功能框图。彩色图像重构部24由彩色提取部241以及彩色耦合部243构成。
彩色提取部241基于从附加信息解码部23输入的封装信息从整合彩色图像所包括的多个部分彩色图像提取(出封装)所希望的部分彩色图像。例如，在由再现对象选择部292选择了拍摄对象a以及拍摄对象b作为再现对象的情况下，提取图7所示的部分彩色图像T1a、T2a、T3a、T1b、T2b、T3b，输出到彩色耦合部413。或者，在仅选择了拍摄对象b的情况下，提取部分彩色图像T1b、T2b、T3b，输出到彩色耦合部。
彩色耦合部243基于从附加信息解码部23输入的分割信息，从多个部分彩色图像耦合同一视点的部分彩色图像，由此重构彩色图像，输出到再现图像合成部28。例如，图4的(b)所示的彩色图像T1、T2、T3被输出到再现图像合成部28。
<实施方式2>
〔3D数据生成装置〕
首先，参照附图对本发明的实施方式2的3D数据生成装置进行说明。需要说明的是，为了便于说明，对具有与在上述实施方式中说明过的构件相同的功能的构件标注相同的附图标记，并不再重复其说明。
图10是表示本发明的实施方式2的3D数据生成装置的构成的功能框图。3D数据生成装置3由深度图像获取部17、整合深度图像生成部31、深度图像编码部12、彩色图像获取部18、整合彩色图像生成部14、附加信息编码部33以及复用部16构成。
整合深度图像生成部31通过分割、量化、整合(封装)从深度图像获取部17输出的多个深度图像来生成单个整合深度图像。
附加信息编码部33对根据在整合深度图像生成部31中生成的整合深度图像重构原来的深度图像所需的附加信息以及根据在整合彩色图像生成部14中生成的整合彩色图像重构原来的彩色图像所需的附加信息进行编码，输出附加信息编码数据。附加信息的详细情况将在后文进行叙述。
图11是表示本发明的实施方式2的整合深度图像生成部31的内部构成的功能框图。整合深度图像生成部31由深度分割部111、深度量化部312以及深度整合部113构成。
深度量化部312在分割后的部分深度图像的动态范围比规定的阈值(例如600mm)大的情况等，在量化时的分辨率不足的情况下，根据动态范围，将一部分部分深度图像以规定的比特深度(例如，12比特)再次量化并输出。图5所示的部分深度图像G1a、G2a、G3a的深度的取值范围是1000mm～2000mm，再次以12比特对该范围进行线性量化。此外，部分深度图像G1b、G2b、G3b的深度的取值范围是2000mm～2500mm，直接输出所输入的部分深度图像。深度量化部312将量化的部分深度图像的深度的取值范围的最小值以及最大值作为动态范围信息输出。例如，作为部分深度图像G1a、G2a、G3a的动态范围信息输出以下。
〔G1a的动态范围信息〕
·深度的最小值：1000mm
·深度的最大值：2000mm
〔G2a的动态范围信息〕
·深度的最小值：1000mm
·深度的最大值：2000mm
〔G3a的动态范围信息〕
·深度的最小值：1000mm
·深度的最大值：2000mm
通过设为上述的构成，针对仅分割中分辨率不足的部分深度图像，能提高量化时的分辨率。其结果是，即使在因拍摄对象的大小、动作而深度的动态范围大的情况下也能消除分辨率不足。例如，相对于在0mm～25000mm的范围以12比特进行量化的情况下分辨率约为6.1mm(＝25000/2^12)，在1000mm～2000mm的范围以12比特进行量化的情况下分辨率约为0.24mm(＝(2000-1000)/2^12)。其结果是，在再现侧能生成更高清的3D模型。
〔3D数据再现装置〕
接着，参照附图对本发明的实施方式2的3D数据再现装置进行说明。需要说明的是，为了便于说明，对具有与在上述实施方式中说明过的构件相同的功能的构件标注相同的附图标记，并不再重复其说明。
图12是表示本发明的实施方式2的3D数据再现装置的构成的功能框图。3D数据再现装置2由分离部26、深度图像解码部22、深度图像重构部41、附加信息解码部43、彩色图像解码部25、彩色图像重构部24、3D模型生成部27、再现图像合成部28、再现视点输入部291以及再现对象选择部292构成。
深度图像重构部41通过从由深度图像解码部22解码的整合深度图像所包括的多个部分深度图像提取(解封装)、逆量化、耦合所希望的部分深度图像来重构深度图像。
附加信息解码部43根据从分离部26输入的附加信息编码数据来解码重构深度图像以及彩色图像所需的附加信息(分割信息、封装信息、动态范围信息)。
图13是表示本发明的实施方式2的深度图像重构部41的内部构成的功能框图。深度图像重构部41由深度提取部211、深度逆量化部412以及深度耦合部213构成。
深度逆量化部412在与提取到的部分深度图像对应的动态范围信息存在的情况下，基于该动态范围信息逆量化并输出部分深度图像。在不存在的情况下，直接输出所输入的部分深度图像。
通过设为上述的构成，针对仅分割中分辨率不足的部分深度图像，能提高量化时的分辨率。其结果是，能降低深度图像的编码中的量化误差，并能生成更高清的3D模型。
<实施方式3>
〔3D数据生成装置〕
首先，参照附图对本发明的实施方式3的3D数据生成装置进行说明。需要说明的是，为了便于说明，对具有与在上述实施方式中说明过的构件相同的功能的构件标注相同的附图标记，并不再重复其说明。
图14是表示本发明的实施方式3的3D数据生成装置的构成的功能框图。3D数据生成装置5由深度图像获取部17、整合深度图像生成部51、深度图像编码部12、彩色图像获取部18、整合彩色图像生成部54、彩色图像编码部15、附加信息编码部13、复用部16、深度图像滤波部52、彩色图像滤波部53以及再现对象受理部55构成。
整合深度图像生成部51分割从深度图像获取部17输出的多个深度图像，将特定的拍摄对象的部分深度图像或特定的拍摄方向的部分深度图像整合(封装)为落入规定的编码单位(例如，HEVC的图块)，由此生成单个整合深度图像。
在整合彩色图像生成部54中，根据由整合深度图像生成部51输出的分割信息以及封装信息，与整合深度图像生成部51同样地，分割从彩色图像获取部18输出的多个彩色图像，将特定的拍摄对象的部分彩色图像或特定的拍摄方向的部分彩色图像整合(封装)为落入规定的编码单位(例如，HEVC的图块)，由此生成单个整合彩色图像。
深度图像滤波部52输出从深度图像编码部12输出的编码数据中的包括由再现对象受理部55指定的再现对象(拍摄对象、拍摄方向等)的图块。在未指定再现对象的情况下，输出所有图块。
彩色图像滤波部53输出从彩色图像编码部15输出的编码数据中的包括由再现对象受理部55指定的再现对象(拍摄对象、拍摄方向等)的图块。在未指定再现对象的情况下，输出所有图块。
再现对象受理部55接受用户对再现对象的要求(例如，拍摄对象＝a、拍摄对象＝b、拍摄方向＝前方、拍摄方向＝后方等)。
图15的(a)是表示本发明的实施方式3的整合深度图像生成部51的内部构成的功能框图。整合深度图像生成部51由深度分割部111以及深度整合部513构成。
深度整合部513将特定的拍摄对象的部分深度图像或特定的拍摄方向的部分深度图像整合(封装)为落入同一图块，由此生成单个整合深度图像。此外，深度整合部513除了实施方式1中的封装信息以外，还将各图块所包括的部分深度图像的拍摄对象或拍摄方向的标识符作为封装信息输出。
图15的(b)是表示本发明的实施方式3的整合彩色图像生成部54的内部构成的功能框图。整合彩色图像生成部54由彩色分割部141以及彩色整合部543构成。
彩色整合部543根据从整合深度图像生成部51输入的封装信息，将特定的拍摄对象的部分彩色图像或特定的拍摄方向的部分彩色图像整合(封装)为落入同一图块，由此生成单个整合彩色图像。
图16是示出本发明的实施方式3的深度图像以及彩色图像的获取例的图。示出针对拍摄对象a以及拍摄对象b，配置5台摄像机C1、C2、C3、C4以及C5，各摄像机拍摄深度图像以及彩色图像的情形。
图17的(a)是示出本发明的实施方式3的深度图像的封装的示例的图。在本例中，整合深度图像根据拍摄对象分为两个图块来编码。在图块1中封装由摄像机C1、C2、C3、C4以及C5拍摄到的拍摄对象a的部分深度图像G1a、G2a、G3a、G4a以及G5a，在图块2中封装由摄像机C1、C2、C3、C4以及C5拍摄到的拍摄对象b的部分深度图像G1b、G2b、G3b、G4b以及G5b，输出单个整合深度图像。此外，深度整合部513输出以下的封装信息。
〔封装信息〕
·图块1所包括的部分深度图像：拍摄对象＝a
·图块2所包括的部分深度图像：拍摄对象＝b
对于整合深度图像中的各部分深度图像的背景区域，基于形状信息进行编码控制。形状信息是示出整合深度图像的各像素是否属于对象(拍摄对象)的信息，例如，在属于对象的像素的情况下分配“1”，在不属于对象的像素的情况下分配“0”。在编码处理中，例如，在CTU(编码树单元)内的所有像素不属于对象的情况下、在CTU内的一部分像素不属于对象的情况下，进行将不属于对象的区域用对象的边缘的像素值、规定的像素值在水平方向或垂长方向上填充之后进行编码等的处理。深度耦合部513将上述形状信息作为封装信息输出。
图17的(b)是示出本发明的实施方式3的彩色图像的封装的示例的图。与整合深度图像同样地，在图块1中封装拍摄对象a的部分彩色图像T1a、T2a、T3a、T4a以及T5a，在图块2中封装拍摄对象b的部分彩色图像T1b、T2b、T3b、T4b以及T5b，输出单个整合彩色图像。
对于整合彩色图像中的各部分彩色图像的背景区域，基于从整合深度图像生成部11输入的封装信息(形状信息)来进行编码控制。例如，在CTU内的所有像素不属于对象的情况下、在CTU内的一部分像素不属于对象的情况下，进行将不属于对象的区域用对象的边缘的像素值、规定的像素值在水平方向或垂长方向上填充之后进行编码等的处理。
图18的(a)是示出本发明的实施方式3的深度图像的其他的封装的示例的图。在本例中，整合深度图像根据拍摄方向分为两个图块来编码。在图块1中封装由摄像机C1、C2以及C3从前方拍摄到的部分深度图像G1a、G2a、G3a、G1b、G2b以及G3b，在图块2中封装由摄像机C4以及C5从后方拍摄到的部分深度图像G4a、G5a、G4b以及G5b，输出单个整合深度图像。此外，深度整合部513输出以下的封装信息。
〔封装信息〕
·图块1所包括的部分深度图像：拍摄方向＝前方
·图块2所包括的部分深度图像：拍摄方向＝后方
图18的(b)是示出本发明的实施方式3的彩色图像的其他的封装的示例的图。与整合深度图像同样地，在图块1中封装从前方拍摄到的部分彩色图像T1a、T2a、T3a、T1b、T2b以及T3b，在图块2中封装从后方拍摄到的部分彩色图像T4a、T5a、T4b以及T5b，输出单个整合彩色图像。
通过设为上述的构成，能减小构成部分深度图像的各CTU中的深度值的动态范围，能提高量化时的分辨率。其结果是，即使在因拍摄对象的大小、动作而深度的动态范围大的情况下也能消除分辨率不足。而且，在用户只想再现特定的拍摄对象或拍摄方向的情况下，通过仅传输包括对应的拍摄对象或拍摄方向的部分深度图像的图块，即使在移动环境等有限的网络带宽下，也能高效地传输再现所需的3D数据。在再现侧，仅解码一部分图块即可，因此能减轻解码所需的处理量。而且，用于3D模型的生成的深度图像被限定，因此能减轻3D模型的生成所需的处理量。
需要说明的是，在上述中将编码单位设为HEVC图块，但即使是HEVC条带等其他的编码单位也起到同样的效果。
〔3D数据再现装置〕
接着，参照附图对本发明的实施方式3的3D数据再现装置进行说明。需要说明的是，为了便于说明，对具有与在上述实施方式中说明过的构件相同的功能的构件标注相同的附图标记，并不再重复其说明。
图19是表示本发明的实施方式3的3D数据再现装置的构成的功能框图。3D数据再现装置6由分离部26、深度图像解码部22、深度图像重构部21、附加信息解码部23、彩色图像解码部25、彩色图像重构部24、3D模型生成部27、再现图像合成部28、再现视点输入部291、再现对象选择部292、深度图像滤波部62以及彩色图像滤波部63构成。
深度图像滤波部62输出从分离部26输出的编码数据中的包括与由再现对象选择部292指定的再现对象(拍摄对象或拍摄方向)对应的部分深度图像的图块。例如，在作为拍摄对象指定了a的情况下，输出图17的(a)的图块1。或者，在作为拍摄方向指定了后方的情况下，输出图18的(a)的图块2。在未指定再现对象的情况下，输出所有图块。
在此，对在整合深度图像中的图块1和图块2储存在同一条带的情况下的一部分图块的解码方法进行说明。
步骤1：再现对象选择部参照封装信息获取指定的再现对象的图块编号K(K＝1或K＝2)。
步骤2：深度图像滤波部解码条带报头的entry_point_offset_minus1语法元素，获取图块1的编码数据的字节长度N。
步骤3：在K＝1的情况下，深度图像滤波部输出条带报头和条带数据的N字节为止的数据。在K＝2的情况下，深度图像滤波部输出条带报头和条带数据的N+1字节之后的数据。
步骤4：深度图像解码部解码图块K的条带数据。
彩色图像滤波部63输出从分离部26输出的编码数据中的包括与由再现对象选择部292指定的再现对象(拍摄对象或拍摄方向)对应的部分彩色图像的图块。例如，在作为拍摄对象指定了a的情况下，输出图17的(b)的图块1。或者，在作为拍摄方向指定了后方的情况下，输出图18的(b)的图块2。在未指定再现对象的情况下，输出所有图块。
同样地，对在整合彩色图像中的图块1和图块2储存在同一条带的情况下的一部分图块的解码方法进行说明。
步骤1：再现对象选择部参照封装信息获取指定的再现对象的图块编号K(K＝1或K＝2)。
步骤2：彩色图像滤波部解码条带报头的entry_point_offset_minus1语法元素，获取图块1的编码数据的字节长度N。
步骤3：在K＝1的情况下，彩色图像滤波部输出条带报头和条带数据的N字节为止的数据。在K＝2的情况下，彩色图像滤波部输出条带报头和条带数据的N+1字节之后的数据。
步骤4：彩色图像解码部解码图块K的条带数据。
通过设为上述的构成，能容易地进行在处理能力高的再现终端中通过解码所有图块并生成整体的3D模型，使再现所有拍摄对象或拍摄方向变得可能、在处理能力低的再现终端中通过仅解码一部分图块并生成一部分3D模型使仅再现特定的拍摄对象或拍摄方向变得可能等的根据终端的处理能力的再现对象的控制。
〔基于软件的实现例〕
3D数据生成装置1的控制块(例如，整合深度图像生成部11、整合彩色图像生成部14)以及3D数据再现装置2的控制块(例如，深度图像重构部21、彩色图像重构部24)可以通过形成于集成电路(IC芯片)等的逻辑电路(硬件)来实现，也可以通过软件来实现。
在后者的情况下，3D数据生成装置1以及3D数据再现装置2具备执行作为实现各功能的软件的程序的命令的计算机。例如，该计算机例如具备至少一个处理器(控制装置)，并且具备至少一个存储有上述程序的计算机可读取的记录介质。并且，在上述计算机中，上述处理器从上述记录介质读取并执行程序，由此实现本发明的目的。作为上述处理器，能够使用例如CPU(Central Processing Unit；中央处理器)。作为上述记录介质，除了使用“非暂时性的有形介质”，例如ROM(Read Only Memory；只读存储器)等之外，还可以使用磁带、磁盘、卡、半导体存储器、可编程逻辑电路等。此外，还可以具备将上述程序展开的RAM(RandomAccess Memory；随机存取存储器)等。此外，上述程序可以经由能传输该程序的任意传输介质(通信网络、广播波等)提供给上述计算机。需要说明的是，本发明的一个方案以上述程序通过电子传输而具体化的、嵌入至载波的数据信号的形态也能实现。
〔总结〕
本发明的方案1的3D数据生成装置是输入表示一个或多个拍摄对象的三维形状的深度图像来生成3D数据的3D数据生成装置，具备：深度分割部，将上述深度图像分割为由矩形区域构成的多个部分深度图像；深度整合部，对上述多个部分深度图像进行封装，生成整合深度图像；深度图像编码部，对上述整合深度图像进行编码；以及附加信息编码部，对附加信息进行编码，该附加信息包括确定上述矩形区域的分割信息和表示上述封装的信息。
在本发明的方案2的3D数据生成装置中，上述附加信息还包括表示上述部分深度图像中的深度值的动态范围的信息，还具备深度量化部，将上述多个部分深度图像基于上述动态范围进行量化。
在本发明的方案3的3D数据生成装置中，上述深度整合部将拍摄对象相同的部分深度图像封装为同一编码单位。
在本发明的方案4的3D数据生成装置中，上述深度整合部将拍摄方向相同的部分深度图像封装为同一编码单位。
本发明的方案5的3D数据再现装置是输入3D数据来再现一个或多个拍摄对象的三维形状的3D数据再现装置，具备：深度图像解码部，对上述3D数据所包括的整合深度图像进行解码；附加信息解码部，对附加信息进行解码，该附加信息包括表示由上述整合深度图像所包括的矩形区域构成的多个部分深度图像的封装的信息以及确定上述矩形区域的分割信息；深度提取部，基于表示上述封装的信息从上述已解码的整合深度图像中提取部分深度图像；以及深度耦合部，基于上述分割信息对上述多个部分深度图像进行耦合，重构深度图像。
在本发明的方案6的3D数据再现装置中，上述附加信息还包括表示上述部分深度图像中的深度值的动态范围的信息，还具备深度逆量化部，将上述多个部分深度图像基于上述动态范围进行逆量化。
在本发明的方案7的3D数据再现装置中，拍摄对象相同的上述部分深度图像编码为上述3D数据中的同一编码单位。
在本发明的方案8的3D数据再现装置中，拍摄方向相同的上述部分深度图像编码为上述3D数据中的同一编码单位。
本发明的各方案的3D数据生成装置可以通过计算机来实现，在该情况下，通过使计算机作为上述3D数据生成装置所具备的各部分(软件要素)进行动作而使上述3D数据生成装置由计算机实现的3D数据生成装置的控制程序、以及记录有该控制程序的计算机可读记录介质也落入本发明的范畴。
本发明并不限定于上述的各实施方式，在权利要求所示的范围内可进行各种变更，将分别在不同的实施方式中公开的技术方案适当组合而得到的实施方式也包括在本发明的技术范围内。而且，通过将分别在各实施方式中公开的技术方案组合，能形成新的技术特征。
(关联申请的相互参照)
本申请对2018年9月28日提出申请的日本专利申请：日本特愿2018-183903主张优先权的利益，并通过对其进行参照而将其全部内容包括到本说明书中。
附图标记说明
1 3D数据生成装置
11 整合深度图像生成部
111 深度分割部
113 深度整合部
12 深度图像编码部
13 附加信息编码部
14 整合彩色图像生成部
15 彩色图像编码部
16 复用部
17 深度图像获取部
18 彩色图像获取部
2 3D数据再现装置
21 深度图像重构部
211 深度提取部
213 深度耦合部
22 深度图像解码部
23 附加信息解码部
24 彩色图像重构部
25 彩色图像解码部
26 分离部
27 3D模型生成部
28 再现图像合成部
291 再现视点输入部
292 再现对象选择部
3 3D数据生成装置
31 整合深度图像生成部
33 附加信息编码部
312 深度量化部
4 3D数据再现装置
41 深度图像重构部
43 附加信息解码部
413 深度逆量化部
5 3D数据生成装置
51 整合深度图像生成部
513 深度整合部
54 整合彩色图像生成部
543 彩色整合部
52 深度图像滤波部
53 彩色图像滤波部
6 3D数据再现装置
62 深度图像滤波部
63 彩色图像滤波部

Claims (8)

1.一种3D数据生成装置，输入表示拍摄对象的三维形状的深度图像来生成3D数据，其特征在于，具备：
整合深度图像生成部，生成封装有至少两个部分深度图像的整合深度图像，所述部分深度图像是构成上述深度图像的矩形区域的部分深度图像；
深度图像编码部，对上述整合深度图像进行编码；以及
附加信息编码部，对确定上述深度图像上的上述部分深度图像的左上角坐标的分割信息和确定上述整合深度图像上的与上述部分深度图像对应的区域的左上角坐标的封装信息进行编码。
2.根据权利要求1所述的3D数据生成装置，其特征在于，
上述附加信息编码部对确定上述部分深度图像中的深度值的动态范围信息进行编码。
3.根据权利要求1所述的3D数据生成装置，其特征在于，
上述整合深度图像生成部导出表示上述整合深度图像的各像素是否属于特定的拍摄对象的形状信息。
4.根据权利要求1所述的3D数据生成装置，其特征在于，
上述整合深度图像生成部将拍摄对象相同的部分深度图像封装为同一编码单位。
5.根据权利要求1所述的3D数据生成装置，其特征在于，
上述整合深度图像生成部将拍摄方向相同的部分深度图像封装为同一编码单位。
6.一种3D数据再现装置，输入3D数据来再现拍摄对象的三维形状，其特征在于，具备：
整合深度图像生成部，重构封装有至少两个部分深度图像的整合深度图像，所述部分深度图像是构成深度图像的矩形区域的部分深度图像；
深度图像解码部，对上述3D数据所包括的整合深度图像进行解码；以及
附加信息解码部，对确定上述深度图像上的上述部分深度图像的左上角坐标的分割信息和确定上述整合深度图像上的与上述部分深度图像对应的区域的左上角坐标的封装信息进行解码。
7.一种控制程序，用于使计算机作为权利要求1所述的3D数据生成装置发挥功能，其中，
用于使计算机作为上述整合深度图像生成部发挥功能。
8.一种计算机可读记录介质，其中，
记录有权利要求7所述的控制程序。
CN201980063540.5A 2018-09-28 2019-09-27 3d数据生成装置、3d数据再现装置、控制程序以及记录介质 Pending CN112771867A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018183903 2018-09-28
JP2018-183903 2018-09-28
PCT/JP2019/038194 WO2020067441A1 (ja) 2018-09-28 2019-09-27 ３ｄデータ生成装置、３ｄデータ再生装置、制御プログラム及び記録媒体

Publications (1)

Publication Number Publication Date
CN112771867A true CN112771867A (zh) 2021-05-07

Family

ID=69950778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980063540.5A Pending CN112771867A (zh) 2018-09-28 2019-09-27 3d数据生成装置、3d数据再现装置、控制程序以及记录介质

Country Status (4)

Country Link
US (1) US20210398352A1 (zh)
JP (1) JPWO2020067441A1 (zh)
CN (1) CN112771867A (zh)
WO (1) WO2020067441A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US10867414B2 (en) 2018-04-10 2020-12-15 Apple Inc. Point cloud attribute transfer algorithm
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US11430155B2 (en) * 2018-10-05 2022-08-30 Apple Inc. Quantized depths for projection point cloud compression
US11711544B2 (en) 2019-07-02 2023-07-25 Apple Inc. Point cloud compression with supplemental information messages
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11677979B2 (en) * 2020-08-24 2023-06-13 Tencent America LLC Freeview video coding
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes
CN114648614B (zh) * 2022-05-24 2022-07-26 四川中绳矩阵技术发展有限公司 一种目标对象的三维重现方法及系统
WO2024053371A1 (ja) * 2022-09-06 2024-03-14 ソニーグループ株式会社 情報処理システム、および情報処理システムの作動方法、並びにプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013129158A1 (ja) * 2012-03-01 2013-09-06 ソニー株式会社 送信装置、送信方法および受信装置
US11200675B2 (en) * 2017-02-20 2021-12-14 Sony Corporation Image processing apparatus and image processing method

Also Published As

Publication number Publication date
US20210398352A1 (en) 2021-12-23
JPWO2020067441A1 (ja) 2021-09-09
WO2020067441A1 (ja) 2020-04-02

Similar Documents

Publication Publication Date Title
CN112771867A (zh) 3d数据生成装置、3d数据再现装置、控制程序以及记录介质
KR102292195B1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11170556B2 (en) Apparatus for transmitting point cloud data, a method for transmitting point cloud data, an apparatus for receiving point cloud data and a method for receiving point cloud data
KR102406846B1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11818190B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
JP7477617B2 (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
KR102518819B1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
KR102585498B1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신장치 및 포인트 클라우드 데이터 수신 방법
JP2024026525A (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US20230068178A1 (en) A method, an apparatus and a computer program product for volumetric video encoding and decoding
CN114946178B (zh) 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
JP7434574B2 (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
CN114009051B (zh) 用于v-pcc的假设参考解码器
CN115398890B (zh) 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
BR112015006178B1 (pt) Métodos, aparelhos e meio não transitório legível por computador para codificação e decodificação de vídeo
KR102336987B1 (ko) 360도 비디오의 영역 기반 처리 방법 및 장치
CN113261287A (zh) 视频译码中的灵活分块
US11651523B2 (en) Apparatus, a method and a computer program for volumetric video
US11908168B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
WO2020011717A1 (en) Video based point cloud codec bitstream specification
US20230103016A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
JP2020005201A (ja) 送信装置及び受信装置
RU2784900C1 (ru) Устройство и способ для кодирования и декодирования видео

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210507