CN112789865A - 信息处理装置和信息处理方法 - Google Patents

信息处理装置和信息处理方法 Download PDF

Info

Publication number
CN112789865A
CN112789865A CN201980063702.5A CN201980063702A CN112789865A CN 112789865 A CN112789865 A CN 112789865A CN 201980063702 A CN201980063702 A CN 201980063702A CN 112789865 A CN112789865 A CN 112789865A
Authority
CN
China
Prior art keywords
projection
data
file
information
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980063702.5A
Other languages
English (en)
Inventor
高桥辽平
平林光浩
中神央二
隈智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112789865A publication Critical patent/CN112789865A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及能够在抑制客户端的处理量增加的同时实现更高的图像质量的信息处理装置和信息处理方法。通过在多个投影方向上进行投影，将3D数据转换成二维来生成多个投影方向的图像数据，并且生成指示图像数据的投影方向的投影方向信息作为投影元数据。此外，投影方向信息包括附加投影方向标识信息，该附加投影方向标识信息指示图像数据通过在附加投影方向上进行投影而生成。例如，本发明可以应用于生成用于分发点云的数据的数据生成装置。

Description

信息处理装置和信息处理方法
技术领域
本公开涉及信息处理装置和信息处理方法，并且更具体地，涉及可以增强图像质量同时减少客户端吞吐量增加的信息处理装置和信息处理方法。
背景技术
常规上，如非专利文献1中所公开的，已经规定了点云的压缩方法，该点云是在三维空间中同时具有位置信息和属性信息(特别是颜色信息)的一组点。
另外，作为点云压缩方法之一，非专利文献2公开了一种方法，该方法将点云数据分割成多个区域(在下文中称为分割)，通过针对每个区域投影到平面上来生成纹理(texture)图像、几何(geometry)图像、占用地图(occupancy map)图像和辅助信息，并且使用视频编解码器对这三种图像进行编码。在此，几何图像包括点云中包括的一组点的深度信息。同样，该方法称为基于视频的点云编码(V-PCC)。
顺便提及，已经使用六个投影平面(水平方向上的四个平面和竖直方向上的两个平面)通过在点云数据的分割之后针对每个区域投影到平面上来生成纹理图像、几何图像和占用地图图像。如上所述，在使用六个投影平面的情况下，在从3D数据转换为2D数据期间许多点消失了，导致在某些情况下在重构的点云对象的表面上产生了孔。
鉴于上述情况，开发了如非专利文献3公开的一种技术，该技术通过添加四个新的平面来将投影平面的数目增加到10个(水平方向上的八个平面以及竖直方向上的两个平面)，并且这种技术也在MPEG(动态图像专家组)中讨论。
另外，非专利文献4公开了一种技术，该技术允许部分地访问对象框被划分成的各个块。
[引用列表]
[非专利文献]
[非专利文献1]
MPEG-I Part5 Point Cloud Compression(ISO/IEC 23090-5)
[非专利文献2]
w17534,Working draft of Point Cloud Coding for Category 2(Draft 1)，2018年4月，美国圣地亚哥
[非专利文献3]
w17871,PCC Core Experiment on Patch packing，2018年7月，斯洛文尼亚卢布尔雅那
[非专利文献4]
ISO/IEC JTC 1/SC 29/WG 11Coding of moving pictures and audioConvenorship:UNI(意大利)“Technologies Under Consideration for Carriage ofPoint Cloud Data”
发明内容
[技术问题]
顺便提及，假设如上所述添加新的投影平面以增强图像质量会增加客户端的吞吐量。而且，常规的客户端已经无法预先识别出是从正常的六个投影平面还是从四个新的附加投影平面产生的图像产生了传送流。为此，要求客户端获取整个流，在网络带宽有限的环境中，这可能导致再现中断或图像质量下降以及增加的客户端侧的处理开销。
鉴于这样的情况设计了本公开，并且本公开的目的是在增强图像质量的同时减少客户端的吞吐量增加。
[问题的解决方案]
本公开的一个方面的信息处理装置包括预处理部，其适于通过在多个投影方向上投影3D数据并且将3D数据转换为二维数据来生成多个投影方向的图像数据，以及生成指示图像数据的投影方向的投影方向信息作为投影元数据。
本公开的一个方面的信息处理方法包括：通过在多个投影方向上投影3D数据并且将数据转换为二维数据来生成多个投影方向的图像数据，以及生成指示图像数据的投影方向的投影方向信息作为投影元数据。
在本公开的一个方面中，通过在多个投影方向上投影3D数据并且将3D数据转换为二维数据来生成多个投影方向的图像数据，以及生成指示每个图像数据的投影方向的投影方向信息作为投影元数据。
附图说明
[图1]
图1是描述点云压缩方法的图。
[图2]
图2是描述在使用六个投影平面的情况下生成的图像的图。
[图3]
图3是示出在水平方向上建立八个投影平面的示例的图。
[图4]
图4是描述通过添加投影平面实现的图像质量的改进的图。
[图5]
图5是描述在使用10个投影平面的情况下生成的图像的图。
[图6]
图6是描述在使用10个投影平面的情况下文件的生成的图。
[图7]
图7描绘了描述根据观看方向获取文件的示例的图。
[图8]
图8是示出第一扩展方法中的第一信令通知方法中的MPD样本的图。
[图9]
图9是描述获取流的示例的图。
[图10]
图10是示出第一扩展方法中的第二信令通知方法中的MPD样本的图。
[图11]
图11是示出信令通知附加投影方向标识信息的MPD样本的图。
[图12]
图12描绘了描述对象框和块的图。
[图13]
图13是示出信令通知针对每个块设置的附加投影方向标识信息的MPD样本的图。
[图14]
图14是描述gpcc:blockInfo元素的每个属性的图。
[图15]
图15是示出数据生成装置的配置示例的框图。
[图16]
图16是示出数据再现装置的配置示例的框图。
[图17]
图17是描述文件生成处理的流程图。
[图18]
图18是描述点云再现处理的流程图。
[图19]
图19是示出已经添加了图像质量元数据的MPD样本的图。
[图20]
图20是描述使用提取器轨道的修改例的图。
[图21]
图21是示出使用提取器轨道的MPD样本的图。
[图22]
图22是示出新定义的VPCCGroupBox的示例的图。
[图23]
图23是描述projection_direction、present_alone和point_cloud_resolution的定义的图。
[图24]
图24是示出信令通知附加投影方向标识信息的VPCCGroupBox的样本的图。
[图25]
图25是描述45degree_projection、projection_direction、present_alone和point_cloud_resolution的定义的图。
[图26]
图26是示出信令通知针对每个块设置的附加投影方向标识信息的VPCCGroupBox的样本的图。
[图27]
图27是描述辅助信息的扩展的图。
[图28]
图28是描述projection_direction、present_alone和point_cloud_resolution的定义的图。
[图29]
图29是示出辅助信息的已经添加了45degree_projection的一部分的图。
[图30]
图30是描述45degree_projection、projection_direction，present_alone和point_cloud_resolution的定义的图。
[图31]
图31是示出了应用本技术的计算机的实施方式的配置示例的框图。
具体实施方式
下面将参照附图对应用了本技术的具体实施方式进行详细描述。
<常规信令通知>
在描述应用了本技术的信令通知之前，将参照图1至图4描述常规信令通知。
图1是简要描述在上述非专利文献2中公开的V-PCC的图。
如图1所示，首先输入表示三维结构的点云数据(3D数据)，然后将点云内容分割成多个区域。在图1所示的示例中，输入表示三维结构的点云数据，在该三维结构中，半球形和圆锥形被组合，然后将点云内容分割为三个区域，其中将半球形分割成一个区域并且将圆锥形分割成两个区域。
接下来，执行针对每个区域的到平面上的投影，从而生成纹理图像、几何图像和占用地图图像。纹理图像包括表示每个区域的表面的外观的颜色信息。几何图像包括表示到每个区域的表面的深度的位置信息。占用地图图像包括分量图片内的图块位置信息。然后，使用诸如AVC(高级视频编码)或HEVC(高效视频编码)的视频编解码器对纹理图像、几何图像和占用地图图像进行编码。
常规地，如图2所示，可以生成具有图块的纹理图像，图块被投影到六个投影平面上(X+投影平面、X-投影平面、Y+投影平面、Y-投影平面、Z+投影平面和Z-投影平面)并且针对每个投影方向布置在一起。同样，可以类似地生成具有图块的几何图像和占用地图图像，图块被投影到六个投影平面上并且针对每个投影方向布置在一起。
相比之下，如上述非专利文献3公开的，已经开发了生成具有10个投影平面的纹理图像、几何图像和占用地图图像的技术。即，如图3所示，虽然已经使用了彼此间隔90度的四个投影平面(实线)，但是添加了与这些投影平面相隔45度的其他四个投影平面(虚线)，即设置了包括两个竖直平面的总共10个投影平面。
例如，在六个投影平面的情况下，可能在重构的点云对象的表面上创建孔，如图4的上部所示。相比之下，可以通过将投影平面的数目增加到10，来填充在图4下部所示的六个投影平面的情况下创建的孔，并且以防止在表面上创建此类孔的方式重构点云对象，从而提供改进的主观图像质量。
然后，如图5所示，可以生成具有图块的纹理图像，图块被投影到10个投影平面(X+投影平面、X-投影平面、Y+投影平面、Y-投影平面、Z+投影平面、Z-投影平面、X+Y+投影平面、X-Y-投影平面、X-Y+投影平面和X+Y-投影平面)并且针对每个投影方向被布置在一起。而且，可以类似地生成具有图块的几何图像和占用地图图像，这些图块被投影到10个投影平面上并且针对每个投影方向被布置在一起。
在此，在将点云投影到投影平面上时，点云中在水平方向上被投影到四个常规投影平面(X+投影平面、X-投影平面、Y+投影平面和Y-投影平面)上的点也以交叠的方式在水平方向上投影到四个附加投影平面(X+Y+投影平面、X-Y-投影平面，X-Y+投影平面和X+Y-投影平面)上。
然后，关于在四个附加投影平面上的投影，取决于编码器的实现方式来决定是将水平方向上的四个附加投影平面与四个现有投影平面之间的所有交叠部分(包括四个附加投影平面的图块中的所有交叠部分)编码为交叠信息，还是仅将在从四个附加投影平面的图块中删除交叠部分之后在水平方向上与四个现有投影平面的差编码为交叠信息。例如，在交叠信息被编码成包括四个附加投影平面的图块中的上述所有交叠部分的情况下，投影到X+Y+投影平面上的所有图块都具有X+Y+投影平面的所有投影方向信息。同时，在通过从四个附加投影平面的图块中删除交叠部分来对交叠信息进行编码的情况下，投影到X+Y+投影平面上的一些图块仅包括在X+投影平面和Y+投影平面的图块中丢失的差分信息。
因此，在四个附加投影平面的图块中包括上述所有交叠部分的交叠信息被编码的情况下，可以单独显示各个投影平面的分割流。同时，在通过从四个附加投影平面的图块中删除交叠部分来对交叠信息进行编码的情况下，不可能单独显示各个投影平面的分割流。
即，虽然可以通过将投影平面的数目增加到10来增强主观图像质量，但是增加的投影平面的数目导致图像中图块的数目增加，从而导致纹理图像、几何图像和占用地图图像的信息量增加。
而且，常规上前提是，获取纹理图像、几何图像和占用地图图像中的每一个的整个流。因此，响应于投影平面的数目增加到10，当传送V-PCC流时，与六个投影平面的流相比，比特率不可避免地增加。
因此，结果，例如在网络带宽有限的环境中会出现再现中断。如果试图降低比特率并且在有限网络带宽的情况下不中断地执行再现以解决此问题，则尽管为了增强图像质量而添加投影平面的数目，但由于以降低的比特率进行编码，图像质量可能会下降。
因此，降低传送比特率的有效方法是针对每个投影平面以分割的方式传送V-PCC流(纹理流、几何流和占用地图流)，并且根据用户的观看方向选择并获取必要投影平面的分割V-PCC流。
然而，即使在这种情况下，也无法识别四个附加投影平面(X+Y+投影平面、X-Y-投影平面、X-Y+投影平面和X+Y-投影平面)的图块是否具有各个投影平面的所有信息。这使得无法确定是否可以单独显示图像，并且在并非可以得到投影方向上的所有信息的前提下不断地获取流。
例如，在用户的观看方向对应于投影方向X+Y+的分割流的情况下，并且即使在分割流具有投影方向的所有信息并且可以配置仅具有该流的投影方向的点云内容的情况下，获取作为投影方向X+Y+的相邻方向的投影方向X+和投影方向Y+上的分割流。如上所述，获取原本不必要的分割流以实现显示，这可能导致再现中断或者图像质量降低，并且增加客户端的处理开销。
因此，需要通过添加投影平面来传送图像质量增强的V-PCC流，同时通过V-PCC的分割并且传送仅实现显示所需的流来实现可用网络带宽的有效使用，从而减少客户端吞吐量增加。这需要向客户端提供关于附加平面的信息(即，在分割V-PCC流中的块的投影方向信息以及指示是否可以单独显示分割流的是/否单独显示信息)的装置。
本公开提出了生成包括关于如上所述的附加平面的信息的文件并且将该文件呈现给客户端的装置。作为其具体实施方式，下面将给出扩展方法(DASH MPD扩展、ISOBMFF扩展或基本码流扩展)的描述。另外，本公开提出了将作为对增强图像质量有效的信息的V-PCC流的有效像素信息作为图像质量元数据提供给客户端以增强观看方向上的V-PCC流的图像质量的装置。
在此，在描述扩展方法之前，下面将参照图6和图7描述向客户端提供投影方向信息和是/否单独显示信息的有益效果。
如图6中部所示，例如，通过针对每个投影方向在同一布置中将投影到10个投影平面(X+投影平面、X-投影平面、Y+投影平面、Y-投影平面、Z+投影平面、Z-投影平面、X+Y+投影平面、X-Y-投影平面、X-Y+投影平面和X+Y-投影平面)上的图块放在一起来生成纹理图像、几何图像和占用地图图像，并且生成包括投影元数据的辅助信息，该投影元数据包括投影方向信息和是/否单独显示信息。
此后，如图6右部所示，针对每个投影方向分割每个生成的图像并且进行编码，从而针对每个投影方向生成纹理流、几何流和占用地图流。然后，生成存储这些流和辅助信息的投影方向文件(ISOBMFF：ISO基本媒体文件格式)。
例如，投影方向文件可以包括单个轨道，该轨道存储通过不仅将每个投影方向的纹理流、几何形状流和占用地图流而且还将辅助信息放在一起而生成的单个流。另外，投影方向文件可以包括四个轨道，每个轨道存储每个投影方向的纹理流、几何流和占用地图流以及辅助信息。如上所述，通过针对每个投影方向生成投影方向文件来生成与各个投影方向对应的10个投影方向文件。
如上所述，投影方向文件包括辅助信息，并且将指示该文件的投影方向的投影方向信息以及指示是否仅利用该文件就可以实现显示的是/否单独显示信息添加到辅助信息中。因此，客户端可以基于上述信息，根据观看方向选择并获取用于再现的必要文件，创建点云，并且显示该点云。
同时，图7的A中示出的箭头“观看”指示观看方向，并且将给出当用户的观看方向在投影方向X+Y+附近时获取文件的示例的描述。
例如，在是/否单独显示信息指示可以单独显示流的情况下，客户端获取六个投影方向的投影方向文件，即，图7的B所示的四个投影方向加上Z方向上的两个投影方向(投影方向X+Y+、投影方向X-Y-、投影方向X-Y+、投影方向X+Y-、投影方向Z+和投影方向Z-)。相比之下，在是/否单独显示信息指示不能单独显示流的情况下，客户端获取七个投影方向的投影方向文件，即，图7的C所示的五个投影方向加上Z方向上的两个投影方向(投影方向X+Y+、投影方向Y+、投影方向X-、投影方向Y-、投影方向X+、投影方向Z+和投影方向Z-)。
如上所述，在没有投影元数据的情况下，客户端获取的文件的数目少于10个文件，并且无论是/否单独显示信息是否指示可以单独显示流，在观看方向上的主观图像质量都是可观的。即，可以通过添加投影平面来传送图像质量增强的V-PCC流，同时，通过实现对网络带宽的有效利用来减少客户端的处理开销。
<第一扩展方法>
将参照图8至图21给出通过DASH MPD(基于HTTP媒体呈现描述的动态自适应流)扩展信令通知投影方向信息、是/否单独显示信息以及针对每个文件参考的图像质量元数据的第一扩展方法的描述。
例如，投影元数据包括投影方向信息和是/否单独显示信息。是/否单独显示信息指示是否可以单独显示文件中包括的纹理流、几何流和占用地图流，存在可以信令通知该信息的两种方法，即下面将描述的第一信令通知方法和第二信令通知方法。
<第一扩展方法中的第一信令通知方法>
第一信令通知方法用标志来进行信令通知，该标志指示是否可以单独显示文件中包括的纹理流、几何流和占用地图流。
如图8的MPD样本所示，投影方向描述符(SupplementalProperty schemeIdUri＝“urn:mpeg:mpegI:pc_proj_direction:2018”)被新定义并且用其信令通知分割后的V-PCC流的投影方向信息。在此，@value信令通知流内部的图块的投影方向信息。
例如，相对于点云的本地坐标系的投影方向用@value(0到9)信令通知。即，在@value＝0的情况下，信令通知投影方向X+，在@value＝1的情况下，信令通知投影方向Y+，在@value＝2的情况下，信令通知投影方向X-，在@value＝3的情况下，信令通知投影方向Y-，在@value＝4的情况下，信令通知投影方向Z+，在@value＝5信令通知情况下，信令通知投影方向Z-，在@value＝6的情况下，信令通知投影方向X+Y+，在@value＝7的情况下，信令通知投影方向X-Y+，在@value＝8的情况下，信令通知投影方向X-Y-，并且在@value＝9的情况下，信令通知投影方向X+Y-。
应当注意，单个分割V-PCC流可以包括多个投影方向的图块。在这种情况下，多个投影方向例如通过@value中的逗号分隔来信令通知。
如图8的MPD样本中所示，单独呈现描述符(SupplementalProperty schemeIdUri＝“urn:mpeg:mpegI:pc_present_alone:2018”)被新定义并且用其信令通知分割后的V-PCC流的是/否单独显示信息。在此，将0或1指定为@value，在@value＝0的情况下，这指示不能单独显示分割流，在@value＝1的情况下，这指示可以单独显示分割流。
例如，图8所示的示例描绘了可以单独显示包括在投影方向X+和投影方向Y+上投影的图块的分割流，并且不能单独显示包括在投影方向X+Y+上投影的图块的分割流。
应当注意，单个分割V-PCC流可以包括可以单独显示的图块和不能单独显示的另一个图块。在这种情况下，单独呈现描述符的@value为0。
此外，包括在单个点云中的一组分割V-PCC流新定义并且信令通知点云组描述符(SupplementalProperty schemeIdUri＝“urn:mpeg:mpegI:pc_group:2018”)。在此，@value信令通知分组标识符，并且具有相同值的分割V-PCC流被包括在单个点云中。
例如，在用户的观看方向在投影方向X+Y+附近并且仅重构从该方向看的点云的情况下，客户端通过参考投影方向描述符来选择AdaptationSet@id＝vpcc45。然后，客户端可以从单独呈现描述符中识别出可以单独显示流，因此选择作为相邻方向的AdaptationSet@id＝vpcc0和AdaptationSet@id＝vpcc90。如上所述，客户端可以通过获取三个AdaptationSet来显示覆盖观看方向的点云。
另外，例如，在用户的观看方向在投影方向X+附近的情况下，客户端可以识别出他或她仅需要选择并获取AdaptationSet@id＝vpcc0，从而消除了获取其他多余的分割流以覆盖观看方向的需要。
应当注意，可以进一步获取从观看方向不可见的后表面上的点云中包括的分割V-PCC流。此时，允许在点云的后表面上的孔。因此，可以通过仅获取最小需要数目的分割流来降低传送比特率。例如，在用户的视线方向在投影方向X+Y+附近时不能单独显示投影方向X+Y+的流的情况下，仅需要获取水平方向上的5个投影方向(X+Y+投影平面、X+投影平面、Y+投影平面、X投影平面和Y-投影平面)的流即可，如图9所示。
如上所述，投影方向描述符和单独呈现描述符允许根据V-PCC流的观看方向进行有效传送。
应该注意的是，可以通过使用EssentialProperty信令通知新定义的描述符。
这时，不支持EssentialProperty的schemeIdUri的DASH客户端必须忽略该属性中编写的Preselection和AdaptationSet(在某些情况下为Representation等)。另外，不支持SupplementalProperty的schemeIdUri的DASH客户端可以忽略该Property的值，并且使用其Preselection和AdaptationSet(或者，在某些情况下，Representation等)。
<第一扩展方法中的第二信令通知方法>
在不能单独显示文件中包括的纹理流、几何流和占用地图流的情况下，第二信令通知方法信令通知与实现显示所需的文件的关联。
首先，不能单独显示的分割流的Representation与具有实现显示所需的信息的分割流的Representation的关联是通过
Representation@dependencyId进行的。即，Representation@dependencyId用作分割V-PCC流的是/否单独显示信息。例如，在存在Representation@dependencyId的情况下，这指示不能单独显示分割流，而在没有Representation@dependencyId的情况下，这指示可以单独显示分割流。
图10是示出第二信令通知方法中的MPD样本的图。第二信令通知方法提供类似于上述第一信令通知方法的有益效果。
另外，可以通过定义新的描述符来信令通知可以单独显示的组。例如，可以将不能单独显示的投影方向X+Y+与实现显示所需的投影方向X+和投影方向Y+分组在一起，以指示可以逐组地单独显示流。
<第一扩展方法的进一步扩展>
这里将给出对第一扩展方法的进一步扩展的描述。
如上所述，第一扩展方法允许以可获得投影方向信息的方式扩展常规DASH MPD。此外，可以进一步扩展DASH MPD，使得四个附加投影平面(X+Y+投影平面、X-Y-投影平面、X-Y+投影平面和X+Y-投影平面)具有指示从四个附加投影方向的图块生成了该图像的附加投影方向标识信息。
例如，如图11的MPD样本所示，45度投影描述符(SupplementalPropertyschemeIdUri＝“urn:mpeg:mpegI:pc_45degree_projection:2018”)被新定义并且用其信令通知投影方向文件的附加投影方向标识信息。在此，45度投影描述符中的@value＝0指示从六个投影方向的图块生成了流，@value＝1指示从四个附加投影方向的图块生成了流。
此外，投影方向描述符使用@value(0-5)信令通知相对于点云的本地坐标系的投影方向。即，在@value＝0的情况下，信令通知投影方向X+，在@value＝1的情况下，信令通知投影方向Y+，在@value＝2的情况下，信令通知投影方向X-，在@value＝3的情况下，信令通知投影方向Y-，在@value＝4的情况下，信令通知投影方向Z+，在@value＝5的情况下，信令通知投影方向Z-。
应当注意，如图11的MPD样本中所示，在每个AdaptationSet中信令通知45度投影描述符和投影方向描述符使得呈现等效于图8所示的MPD样本的MPD。
即，在由45度投影描述符的@value＝1指示已经从四个附加投影方向的图块生成图像的情况下，指示投影方向是在由投影方向描述符的@value指示的方向上绕Z轴逆时针旋转45度的方向。例如，如@id＝“vpcc45”的AdaptationSet中所示，与@value＝1的45度投影描述符一起信令通知的投影方向描述符的@value＝0指示投影方向是X+Y+。
另外，在没有信令通知45度投影描述符的情况下，这可以指示已经从六个投影方向的图块生成了流。同时，在用45度投影描述符信令通知的情况下，这可以指示已经从四个投影方向的图块生成了流。
此外，可以仅信令通知45度投影描述符，而不信令通知投影方向描述符。在这种情况下，如果在45度投影描述符中@value＝0，则这指示从所有六个投影方向的图块生成了流，而如果@value＝1，则这指示从所有四个附加投影方向生成了流。
在此，如在如上述的非专利文献4中所公开的，在可以部分地访问对象框被分割成的各个块的情况下，可以基于每个块来生成投影方向文件。例如，对象框为包括整个点云对象的长方体形状，并且可以被分割成比对象框小的长方体形状的块。
图12示出了一个示例，其中对象框被分割成四个块。例如，对象框具有如图12的A所示那样设置的X、Y和Z轴，并且可以被分割成四个块，使得这些块沿着X轴方向和Y轴方向两两布置，如从图12的B所示的Z轴方向看去。然后，如图12的B右下方所示，可以添加四个投影平面(虚线)，这四个投影平面的投影方向相对于块的四个投影平面(实线)之一偏移45度。
另外，在针对每个块生成投影方向文件的情况下，可以将针对每个块信令通知的45度投影描述符与用于识别每个块的三维空间信息的块位置信息一起使用。
即，如图13的MPD样本中所示，在每个AdaptationSet中信令通知投影方向描述符、45度投影描述符和块信息描述符。在此，块信息描述符(SupplementalPropertyschemeIdUri＝”urn:mpeg:mepgI:gpcc:block_information:2018”)信令通知块的三维空间信息。例如，块的三维空间信息可以由作为gpcc：blockInfo元素的属性的block_offset_x、block_offset_y、block_offset_z、block_size_x、block_size_y和block_size_z指示。此外，具有相同object_id属性的块指示这些块被包括在同一对象框中。
在此，gpcc：blockInfo元素的每个属性都由相对值信令通知，该相对值是通过假设沿着对象框的X、Y和Z轴的每一侧为1来获得的，如图14所示。
应当注意，可以仅信令通知45度投影描述符和块信息描述符，而无需信令通知投影方向描述符。在这种情况下，如果45度投影描述符中的@value＝0，则指示每个块的投影方向文件是从所有六个投影方向的图块生成的流，如果@value＝1，则指示每个块的投影方向文件是从所有四个附加投影方向的图块生成的流。
如上所述，第一扩展方法允许以除了投影方向信息之外还信令通知附加投影方向标识信息的方式扩展MPD。
<信息处理装置的配置示例>
图15是示出数据生成装置的配置示例的框图，该数据生成装置是信息处理装置，该信息处理装置从提供内容的服务器侧上的点云数据生成PC流，并且执行文件生成处理以生成将PC流存储在ISOBMFF中的文件。
图15所示的数据生成装置51包括控制部61和文件生成部62。数据生成装置51生成通过MPEG-DASH等传送的V-PCC流的分段文件和MPD文件，并且将这些文件上传到服务器。
控制部61控制数据生成装置51的所有动作。例如，控制部61控制文件生成部62以生成存储V-PCC流的分段文件和包括元数据的MPD文件，并且上传分段文件和MPD文件。
文件生成部62不仅在控制部61的控制下生成分段文件和MPD文件，而且还经由网络将分段文件和MPD文件上传(发送)到服务器。
文件生成部62包括数据输入部71、数据编码/生成部72、MPD文件生成部73、记录部74和上传部75。
数据输入部71不仅获取点云数据并且将该数据提供给数据编码/生成部72，而且还获取生成MPD文件所需的元数据并且将该元数据提供给MPD文件生成部73。
数据编码/生成部72不仅基于从数据输入部71提供的点云数据生成纹理图像、几何图像和占用地图图像，而且生成存储其V-PCC流的分段文件并且将分段文件提供给记录部74。
数据编码/生成部72包括预处理部76，编码部77和文件生成部78。
预处理部76不仅基于从数据输入部71提供的点云数据生成纹理图像、几何图像和占用地图图像，而且还生成投影元数据(投影方向信息和是/否单独显示信息)和图像质量元数据，并且将上述图像和数据提供给编码部77。此外，预处理部76针对每个投影方向分割纹理图像、几何图像和占用地图图像，如参照图6所述。
编码部77对从预处理部76提供的纹理图像、几何图像和占用地图图像进行编码，生成分割V-PCC流(即，针对每个投影方向分割的纹理流、几何流和占用地图流以及包括投影元数据(投影方向信息和是/否单独显示信息)的辅助信息)，并且将这些信息提供给文件生成部78。
文件生成部78基于从数据输入部71等提供的元数据，将从编码部77提供的分割V-PCC流转换为文件，并且将作为结果而获得的分段文件提供给记录部74。应该注意，文件生成部78可以从编码部77获取生成分段文件所需的元数据等，或者从分割V-PCC流中提取这样的元数据。
MPD文件生成部73基于从数据输入部71等提供的元数据，生成包括关于点云数据以及包括点云数据的V-PCC流的信息的MPD文件，并且将该文件提供给记录部74。即，MPD文件生成部73生成信令通知投影元数据(投影方向信息和是/否单独显示信息)的MPD文件。应当注意，MPD文件生成部73可以从文件生成部78获取生成MPD文件等所需的元数据，或者从分段文件中提取这样的元数据。
记录部74记录从MPD文件生成部73提供的MPD文件以及从文件生成部78提供的分段文件。
上传部75从记录部74读出点云数据的MPD文件和分段文件，并且将这些文件上传到服务器。即，上传部75用作用于将MPD文件和分段文件发送到服务器的通信部。
应当注意，尽管这里将描述其中数据生成装置51充当将MPD文件和分段文件上传到服务器的装置的示例，但是数据生成装置51可以充当服务器。在这种情况下，数据生成装置51的上传部75将MPD文件和分段文件经由网络发送到客户端装置。
图16是示出数据再现装置的配置示例的框图，该数据再现装置是信息处理装置，该信息处理装置执行根据文件生成显示图像并且在再现内容的客户端侧再现点云数据的点云再现处理。
图16所示的数据再现装置52是DASH客户端，并且包括控制部81和再现处理部82。
控制部81控制数据再现装置52的所有动作。例如，控制部81控制再现处理部82以从服务器获取MPD文件和分段文件，并且基于分段文件来再现点云数据。
再现处理部82在控制部81的控制下再现点云数据。再现处理部82包括文件获取部91、文件处理部92、显示控制部94、数据分析/解码部95和显示部96。
文件处理部92基于从文件获取部91提供的MPD文件来选择要获取的V-PCC流，并且将其选择结果反馈给文件获取部91。应注意，从显示控制部94等提供的用户的视野方向(例如，视点位置、视线方向、视场角)被适当地用于选择要获取的V-PCC流。
文件获取部91基于从文件处理部92提供的选择结果从服务器获取存储了再现点云数据所需的V-PCC流的分段文件，并且将该分段文件提供给数据分析/解码部95的文件处理部97。
显示控制部94控制点云数据的再现(显示)。例如，显示控制部94获取观看点云的用户的视野方向的检测结果，并且将检测结果提供给文件处理部92和数据分析/解码部95。
数据分析/解码部95基于从文件获取部91提供的分段文件来生成作为点云数据的3D模型的图像，并且将该图像提供给显示部96。数据分析/解码部95包括文件处理部97、解码部98和显示信息生成部99。
文件处理部97从文件获取部91提供的分段文件中提取V-PCC流的编码数据，并且将编码数据提供给解码部98。
解码部98对从文件处理部97提供的编码数据进行解码，并且将作为其结果而获得的V-PCC流提供给显示信息生成部99。
显示信息生成部99根据从解码部98提供的V-PCC流重新配置点云数据，基于从显示控制部94提供的用户视野方向的检测结果根据用户视野的方向生成点云图像数据，并且将点云图像数据提供给显示部96。
显示部96包括例如液晶显示面板，并且基于从显示信息生成部99提供的数据来显示(再现)点云图像。
<文件生成处理和点云再现处理的处理示例>
图17是描述文件生成处理的流程图，在该处理中，图15所示的数据生成装置51根据点云数据生成文件。
例如，当将点云数据输入到数据生成装置51时，开始处理。在步骤S11中，预处理部76针对点云的每个投影方向布置图块，并且生成纹理图像、几何图像和占用地图图像以及辅助信息。另外，此时，预处理部76针对每个投影方向生成投影元数据(投影方向信息和是/否单独显示信息)。
在步骤S12中，预处理部76针对每个投影方向分割纹理图像、几何图像和占用地图图像，并且将分割图像提供给编码部77。
在步骤S13中，编码部77对纹理图像、几何图像和占用地图图像进行编码并且添加辅助信息，从而生成流，并且将流提供给文件生成部78。
在步骤S14中，文件生成部78将各个投影方向的分割流存储在单独的文件中，并且将作为其结果而获得的分段文件提供给记录部74。
在步骤S15中，MPD文件生成部73生成已经添加了与由文件生成部78生成的每个文件相关联的投影元数据(投影方向信息和是/否单独显示信息)的MPD，并且将MPD提供给记录部74，之后终止文件生成处理。此后，上传部75在期望的定时处从记录部74读出MPD文件和分段文件，并且将文件上传到服务器。
图18是描述点云再现处理的流程图，在该处理中，图16所示的数据再现装置52根据文件生成并且再现显示图像。
例如，当从文件的开头开始向数据再现装置52提供文件时开始处理，并且在步骤S21中，文件获取部91基于由MPD的投影元数据(投影方向信息和是/否单独显示信息)信令通知的投影方向信息来选择最接近用户的观看方向的AdaptationSet。
在步骤S22中，文件处理部92识别在步骤S21中由文件获取部91选择的AdaptationSet的是/否单独显示信息。
在步骤S23中，文件处理部92根据步骤S23中的识别结果确定是否可以单独显示AdaptationSet。
在文件处理部92在步骤S23中确定不能单独显示AdaptationSet的情况下，处理进行到步骤S24。在步骤S24中，文件获取部91另外选择显示用户观看方向的方向所需的AdaptationSet，然后处理进入步骤S25。
同时，在文件处理部92在步骤S23中确定可以单独显示AdaptationSet的情况下，处理进入步骤S25。
在步骤S25中，文件获取部91另外选择与除了用户观看方向的方向以外的方向对应的投影方向的AdaptationSet。
在步骤S26中，文件获取部91获取由所有选择的AdaptationSet参考的文件，并且数据分析/解码部95再现点云。
在步骤S27中，显示控制部94确定用户的观看方向是否已经改变。
在显示控制部94在步骤S27中确定用户的观看方向已经改变的情况下，处理返回到步骤S21以重复类似的处理。
同时，在显示控制部94在步骤S27中确定用户的观看方向没有改变的情况下，处理进行到步骤S28。
在步骤S28中，数据分析/解码部95确定是否已经到达PC流的末端。在尚未到达PC流的末端的情况下，处理返回到步骤S26，并且在已经到达PC流的末端的情况下，处理终止。
如上所述，通过由数据生成装置51发送已经添加了投影元数据(投影方向信息和是/否单独显示信息)的MPD，数据再现装置52可以识别出是否可以单独显示最接近用户观看方向的AdaptationSet。这使得数据再现装置52可以适当地获取显示用户观看方向所需的AdaptationSet，从而允许再现图像质量增强的点云，同时减少点云再现处理所需的吞吐量增加。
应当注意，可以将不同的颜色分配给点云的点，每个投影方向使用一种颜色。例如，在投影方向X+Y+具有与投影方向X+交叠的信息的情况下，交叠的投影点的颜色可以在一个投影方向与另一个投影方向之间不同。这使得可以当颜色根据观看方向改变时表现闪光等，从而允许配置更逼真的点云。
<图像质量元数据>
此外，可以定义图像质量元数据以增强与观看方向对应的分割流的图像质量。
例如，点云的图像质量取决于点云中包括的点的稀疏性或密度。如果点云中包括的点稀疏，则图像质量低。如果点云中包括的点密集，则图像质量高。然后，在V-PCC中，重新配置的点云中的点的稀疏性或密度取决于纹理图像和几何图像的分辨率。
在此，术语“分辨率”是指有效图块区域的像素计数，而不是整个纹理图像或整个几何图像的像素计数。即，该有效像素计数越大，重新配置的点云的图像质量越高。因此，作为图像质量元数据提供的V-PCC流的有效像素信息是用于增强与用户观看方向对应的点云区域的图像质量的有效指标。
因此，通过将图像质量元数据添加到每个投影方向文件，客户端可以基于该信息根据观看方向来选择并获取再现所需的文件，配置在观看方向上提供高图像质量的点云，并且显示该点云。
以下将给出扩展DASH MPD并且为所参考的每个文件添加图像质量元数据的技术的描述。
V-PCC流的有效像素信息通过新定义点云分辨率描述符(SupplementalPropertyschemeIdUri＝“urn:mpeg:mpegI:pc_resolution:2018”)来信令通知。在此，@value指示V-PCC流中的每个帧的图块总像素计数的帧平均值，例如，设置了可以从占用地图流中计算出的图块区域(例如，图1中所示的占用地图的白色像素)的总像素计数的帧平均值。
此外，可以设置根据作为V-PCC流的分量的辅助信息的delta_size_u0和delta_size_v0计算出的近似图块大小的帧平均值。
图19示出了已经添加了图像质量元数据的MPD样本。
将描述在用户的观看方向对应于投影方向X+的投影平面的情况下基于该MPD样本来流获取方法的示例。例如，根据上述第一信令通知方法，获取AdaptationSet@id＝vpcc0的分割流以构建观看方向上的点云，并且进一步获取其他AdaptationSets(在图19的MPD样本中省略)以构建从其他方向看的点云。
此时，基于点云分辨率描述符，针对与观看方向对应的AdaptationSet@id＝vpcc0选择用于构建具有高图像质量的点云的表示，并且针对其他AdaptationSet选择用于构建具有低图像质量的点云的表示。如上所述，可以通过使用图像质量元数据有效地利用网络带宽来进一步增强观察方向上的点云的图像质量。
应当注意，点云分辨率描述符适用于未分割的V-PCC流。同样，点云分辨率描述符对于根据客户端的处理能力选择V-PCC流是有效的。例如，处理能力低的客户端可以选择配置了少量点云的V-PCC流。
此外，可以通过仅使用图像质量元数据来选择分割V-PCC流。
<使用提取器>
将参照图20和21给出如何使用提取器的描述。
如上所述，客户端通过分别选择并获取分割流而留有余地。同时，必需单独解码分割流，从而导致客户端所需的解码器实例的数目增加。为此，如图20所示，使用了作为ISOBMFF工具的提取器轨道，从而允许使用与分割之前的流的数目相同数目的解码器实例进行解码。
应当注意，提取器轨道是指使用ISO/IEC 14496-15中规定的提取器功能的轨道，并且允许通过参考其他轨道来提取比特流分量并且重新配置一个比特流。在此，术语“比特流分量”是指在AVC或HEVC的情况下可以独立解码的一个或多个NAL单元。
例如，如图21的MPD样本中所示，新定义了高质量的方向描述符(SupplementalProperty schemeIdUri＝“urn:mpeg:mpegI:pc_hq_direction:2018”)，并且信令通知在包括提取器轨道的V-PCC流中增强了图像质量的投影方向信息。在此，@value信令通知在包括提取轨道的V-PCC流中增强了图像质量的投影方向信息。
例如，相对于点云本地坐标系的投影方向用@value(0到9)信令通知。即，在@value＝0的情况下，信令通知投影方向X+，在@value＝1的情况下信令通知投影方向Y+，在@value＝2的情况下，信令通知投影方向X-，在@value＝3的情况下，信令通知投影方向Y-，在@value＝4的情况下，信令通知投影方向Z+，在@value＝5情况下，信令通知投影方向Z-，在@value＝6的情况下，信令通知投影方向X+Y+，在@value＝7的情况下，信令通知投影方向X-Y+，在@value＝8的情况下，信令通知投影方向X-Y-，在@value＝9的情况下，信令通知投影方向X+Y-。
另外，在图像质量在多个方向上被增强的情况下，可以例如通过@value中的逗号分隔来信令通知多个方向。此外，可以信令通知投影方向之间的点云的相对图像质量等级。
在这种情况下，客户端可以通过首先根据观看方向选择并获取适当的提取器轨道并且进一步获取提取器轨道所参考的文件来重新配置在观看方向上增强了图像质量的V-PCC流。该V-PCC流可以由与分割之前的V-PCC流的数目相同数目的解码器解码。
除此之外，作为第一信令通知方法的修改例，可以如添加投影平面时所做的那样，通过在将投影平面的数目保持为六个不变的情况下附加地传送具有将点云对象绕Z轴旋转45度之后投影的点云对象的流来增强主观图像质量。此时，除了上述元数据之外，还可以在DASH MPD中信令通知投影时点云对象的旋转信息。应当注意，该修改例适用于稍后描述的ISOBMFF。
<第二扩展方法>
将参照图22和图26给出第二扩展方法的描述，第二扩展方法通过ISOBMFF扩展信令通知每个轨道的投影方向信息、是/否单独显示信息和图像质量元数据。
例如，可以通过扩展ISOBMFF来针对每个轨道添加投影元数据(投影方向信息和是/否单独显示信息)和图像质量元数据。
也就是说，将分割V-PCC流各自存储在轨道中，然后将这些轨道存储在ISOBMFF中定义的多轨道文件中。然后，如图22所示，将VPCCGroupBox重新定义为新的轨道组，该新的轨道组将一条点云内容中包括的分割V-PCC流轨道分组在一起。
例如，VPCCGroupBox扩展TrackGroupTypeBox并且信令通知投影元数据(投影方向信息和是/否单独显示信息)和图像质量元数据。在此，TrackGroupTypeBox是用于将具有相同特性并且在ISOBMFF中规定的多个轨道分组在一起的工具。
另外，如图23所示，projection_direction指示每个图块的投影方向。即，在projection_direction＝0的情况下，信令通知投影方向X+，在projection_direction＝1的情况下，信令通知投影方向Y+，在projection_direction＝2的情况下，信令通知投影方向X-，在projection_direction＝3的情况下，信令通知投影方向Y-，在projection_direction＝4的情况下，信令通知投影方向Z+，在projection_direction＝5的情况下，信令通知投影方向Z-，在projection_direction＝6的情况下，信令通知投影方向X+Y+，在projection_direction＝7的情况下，信令通知投影方向X-Y+，在projection_direction＝8的情况下，信令通知投影方向X-Y-，并且在projection_direction＝9的情况下，信令通知投影方向X+Y-。
另外，present_alone指示是否可以单独使用轨迹构建和显示点云。例如，在present_alone＝0的情况下，这指示不能单独使用轨迹显示点云，而在present_alone＝1的情况下，这指示可以单独使用轨迹显示点云。
另外，point_cloud_resolution指示V-PCC流中的每个帧的图块总像素计数的帧平均值，并且指示所构建的点云的帧平均计数。
这种ISOBMFF扩展允许根据观看方向选择轨道，仅对显示所需的分割V-PCC流进行解码，重构点云并且优先显示，而不是对所有分割V-PCC流轨道进行解码。
在此，多个投影方向的图块可以被包括在单个分割V-PCC流中。在这种情况下，我们假设，例如，projection_direction长度为10位，为这些位分配了投影方向X+，依此类推，直到投影方向X+Y-，从最高有效位开始，如果在每个位字段中设置1，则包括该投影方向。例如，投影方向＝1100000000指示包括投影方向X+和投影方向Y+。
另外，单个分割V-PCC流可以包括可以单独显示的图块和不能单独显示的另一个图块。在这种情况下，present_alone＝0。
应当注意，投影元数据和图像质量元数据也可以用除VPCCGroupBox之外的诸如Sample Entry来信令通知。另外，是/否单独显示信息可以不作为present_alone的字段来指示，而是借助于通过显示所需的V-PCC流轨道的轨道参考(reference_type＝vpcc)来指示不能单独显示的轨道。
此外，可以通过将TrackGroupTypeBox扩展为新的轨道组来定义可以单独显示的组。例如，事实指示：可以单独显示的投影方向X+Y+与其显示所需的投影方向X+和投影方向Y+被分组在一起，并且这些投影方向可以逐组单独显示。
<第二扩展方法的进一步扩展>
在此将给出第二扩展方法的进一步扩展的描述。
如上所述，第二扩展方法以可获得投影方向信息等的方式扩展常规的ISOBMFF。另外，可以以可获得附加投影方向标识信息的方式进一步扩展ISOBMFF，以指示四个附加投影平面(X+Y+投影平面、X-Y-投影平面、X-Y+投影平面和X+Y-投影平面)是从四个附加投影方向的图块生成的图像。
例如，通过定义如图24所示的VPCCGroupBox，用45degree_projection信令通知附加投影方向标识信息。然后，在如图25所示的45degree_projection＝0的情况下，这指示流是从六个投影方向的图块生成的，并且在45degree_projection＝1的情况下，这指示流是从四个附加投影方向的图块生成的。另外，projection_direction指示投影方向信息(0：X+，1：Y+，2：X-，3：Y-，4：Z+，5：Z-)。
例如，在如图24所示指示用45degree_projection和projection_direction信令通知以及已经通过45degree_projection＝1指示从四个附加投影方向的图块生成图像的情况下，这指示投影方向是在由projection_direction指示的方向上绕Z轴逆时针旋转45度的方向。此外，与45degree_projection＝1一起信令通知的projection_direction＝0指示投影方向为X+Y+。
应该注意的是，可以仅信令通知45degree_projection，而不信令通知projection_direction。在这种情况下，如果45degree_projection＝0，则这指示流是从所有六个投影方向的图块生成的，而如果45degree_projection＝1，则这指示流是从所有四个附加投影方向的图块生成的。
在此，在针对上述第一扩展方法的进一步扩展而生成每个块的投影方向文件的情况下，可以将针对每个块信令通知的45degree_projection与用于识别每个块的三维空间信息的块位置信息一起使用。
例如，通过定义如图26所示的VPCCGroupBox来信令通知块位置信息。例如，可以通过各个字段(即，block_offset_x、block_offset_y、block_offset_z、block_size_x、block_size_y和block_size_z)指示块位置信息。这些字段全部由相对值来信令通知，该相对值通过假设沿着对象框的X轴、Y轴和Z轴的侧中的每一个为1而获得，如图14所示。而且，可以通过使用从其扩展VPCCGroupBox的TrackGroupTypeBox的功能来信令通知在相同对象框中包括的块。
应当注意，可以仅信令通知45degree_projection和块位置信息，而不信令通知projection_direction。在这种情况下，如果45degree_projection＝0，则这指示每个块的投影方向文件是从六个投影方向的图块生成的流，如果45degree_projection＝1，则这指示每个块的投影方向文件是从四个附加投影方向的图块生成的流。
如上所述，第二扩展方法允许以如下的方式扩展ISOBMFF：除了投影方向信息之外，还信令通知附加投影方向标识信息。
<第三扩展方法>
将参照图27至图30给出通过Elementary Stream扩展来信令通知投影方向信息、是/否单独显示信息以及每个图块的图像质量元数据的第三扩展方法的描述。
例如，可以通过扩展Elementary Stream的高级语法来针对每个图块添加投影元数据和图像质量元数据。即，通过扩展V-PCC流的高级语法来信令通知投影元数据和图像质量元数据。
图27示出了对作为V-PCC流的一个分量的辅助信息进行扩展的示例。
例如，如图28所示，projection_direction指示每个图块的投影方向。即，在projection_direction＝0的情况下，信令通知投影方向X+，在projection_direction＝1的情况下，信令通知投影方向Y+，在projection_direction＝2的情况下，信令通知投影方向X-，在projection_direction＝3的情况下，信令通知投影方向Y-，在projection_direction＝4的情况下，信令通知投影方向Z+，在projection_direction＝5的情况下，信令通知投影方向Z-，在projection_direction＝6的情况下，信令通知投影方向X+Y+，在projection_direction＝7的情况下，信令通知投影方向X-Y+，在projection_direction＝8的情况下，信令通知投影方向X-Y-，在projection_direction＝9的情况下，信令通知投影方向X+Y-。
同样，present_alone指示是否可以单独使用图块构建和显示点云。例如，在present_alone＝0的情况下，指示不能单独使用图块显示点云，而在present_alone＝1的情况下，指示可以单独使用图块显示点云。
另外，point_cloud_resolution指示图块像素计数。
应当注意，在单个V-PCC流中包括的所有图块具有相同的projection_direction值或相同的present_alone值的情况下，可以用单个字段(default_projection_direction，default_present_alone)来信令通知每个图块。而且，可以信令通知指示各个图块的point_cloud_resolution值的总和的字段。然后，在occupancy_aux_stream_size字段之后立即信令通知每个字段。
此外，在不能单独显示图块的情况下，可以信令通知显示图块所需的附加图块的标识符。
例如，在分割V-PCC流包括多个投影方向的图块的情况下，其中已经将这些图块一起分组在针对每个投影方向的区域中，并且其中已经通过允许对每个区域独立解码的编码方法对每个区域进行了编码，可以根据观看方向从分割V-PCC流中选择和解码仅所需的区域，重构点云，并且通过参考Elementary Stream级的投影元数据和图像质量元数据来择优地显示点云。例如，HEVC被用作编码编解码器，并且在这种情况下，可以独立地对用HEVC片编码的区域进行解码。
此时，可以通过扩展存储V-PCC流的ISOBMFF轨道的VPCCGroupBox来添加duplicated_patch字段。如果存储在轨道中的V-PCC流包括具有交叠信息的图块，则在此字段中用1信令通知，否则用0信令通知。另外，在diplicated_patch＝1的情况下，可以在解码处理之前为存在交叠信息的情况下的后处理做准备。
<第三扩展方法的进一步扩展>
这里将给出第三扩展方法的进一步扩展的描述。
如上所述，第三扩展方法以可获得投影方向信息等的方式来扩展常规ElementaryStream。另外，可以以如下方式进一步扩展Elementary Stream：可获得附加投影方向标识信息以指示四个附加投影平面(X+Y+投影平面、X-Y-投影平面、X-Y+投影平面和X+Y-投影平面)是从四个附加投影方向的图块生成的图像。
例如，如图29所示，用45degree_projection信令通知附加投影方向标识信息。应当注意，图29所示的辅助信息已经从图27所示的辅助信息的一部分中提取。
例如，在如图30所示的45degree_projection＝0的情况下，这指示图块是六个投影方向的，而在45degree_projection＝1的情况下，这指示图块是四个附加投影方向的。另外，projection_direction指示投影方向信息(0：X+，1：Y+，2：X-，3：Y-，4：Z+，5：Z-)。
在如图29所示指示用45degree_projection和projection_direction信令通知，并且已经通过45deg_projection＝1从四个附加投影方向的图块生成了图像的情况下，这指示投影方向是在由projection_direction指示的方向上绕Z轴逆时针旋转45度的方向。此外，与45degree_projection＝1一起信令通知的projection_direction＝0指示投影方向为X+Y+。
如上所述，第三扩展方法可以扩展Elementary Stream，使得除了投影方向信息之外还信令通知附加投影方向标识信息。
如上所述，根据本技术，定义了DASH MPD元数据，该DASH MPD元数据信令通知在分割V-PCC流之后通过DASH传送时分割流内的图块的投影方向信息和是/否单独显示信息。此外，定义了DASH MPD元数据，该DASH MPD元数据信令通知附加投影方向标识信息。这使得可以通过添加投影平面来传送增强了图像质量的V-PCC流，同时通过有效利用网络带宽来减少客户端处理开销的增加。
例如，常规技术基于以下事实：获取纹理图像、几何图像和占用地图图像的整个流，与在传送V-PCC流时具有六个投影平面的流相比，不可避免地导致比特率的增加与投影平面数目的增加一样多。为了解决该问题，该问题可能的解决方案是：在网络带宽有限的情况下，针对每个投影平面分割V-PCC流(纹理流、几何流和占用地图流)，并且根据用户的观看方向选择并传送需要的投影平面的分割V-PCC流。然而，在这种情况下，客户端无法识别附加投影平面的图块是否具有所有投影方向信息，因此使得无法确定是否可以单独正确地显示图像。
与这种常规技术相反，根据本技术，可以通过信令通知投影方向信息和是/否单独显示信息在有限的网络带宽的环境中根据客户的观看方向仅选择和传送必要的分割V-PCC流。即，在并非所有投影方向信息总是可获得的前提下，不必获取所有V-PCC流，从而避免了获取不必要的分割流。
此外，可以通过扩展DASH MPD并且信令通知图像质量元数据来增强在观看方向上的V-PCC流的图像质量。
而且，根据本技术，可以根据观看方向选择轨道，仅解码显示所需的分割V-PCC流，重建点云，并且通过ISOBMFF扩展以分割并存储V-PCC流而不是对所有分割V-PCC流轨道进行解码来择优地显示点云。
此外，在分割V-PCC流中包括多个投影方向的图块的情况下，根据本技术，可以根据观看方向选择并解码仅所需区域，重构点云，并且通过扩展V-PCC流的高级语法并且信令通知投影元数据和图像质量元数据来择优地显示点云。
<计算机的配置示例>
接下来，可以通过硬件或软件来执行上述的一系列处理(信息处理方法)。在通过软件执行一系列处理的情况下，将软件中包括的程序安装在通用计算机等中。
图31是示出其中安装有用于执行上述一系列处理的程序的计算机的实施方式的配置示例的框图。
程序可以被预先记录在作为内置于计算机中的记录介质的硬盘105或ROM 103中。
替选地，程序可以被存储(记录)在由驱动器109驱动的可移除记录介质111中。上述可移除记录介质111可以被提供为通常称为软件包(package software)的软件。在此，作为可移除装置的示例，可以列举软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、磁盘和半导体存储器。
应当注意，除了如上所述从可移除记录介质111安装在计算机中之外，程序还可以经由通信网络或广播网络下载到计算机并且安装在内置硬盘105中。即，可以经由用于数字卫星广播的人造卫星将程序从下载站点无线地传送到计算机，或者可以经由诸如LAN(局域网)或因特网的网络将程序以有线方式传送到计算机。
计算机包括CPU(中央处理单元)102，输入/输出接口110经由总线101连接到CPU102。
当例如由于用户对输入部107的操作而输入指令时，CPU 102经由输入/输出接口110执行存储在ROM(只读存储器)103中的程序。替选地，CPU 102将存储在硬盘105中的程序加载到RAM(随机存取存储器)104中以执行。
这允许执行根据以上流程图的处理或者由以上框图中的部件执行的处理。然后，CPU 102使其处理结果经由输入/输出接口110从输出部106输出或者从通信部108发送，并且进一步将处理结果例如记录在硬盘105中。
应当注意，输入部107包括键盘、鼠标、麦克风等。另外，输出部106包括LCD(液晶显示器)、扬声器等。
在此，在本说明书中，根据程序由计算机执行的处理不必一定按照流程图中描述的顺序按时间顺序执行。即，根据程序由计算机执行的处理包括并行或单独执行的处理(例如，并行处理或基于对象的处理)。
而且，可以由单个计算机(处理器)或者由多个计算机以分布式方式处理程序。此外，程序可以被传送到远程计算机以执行。
本说明书中的术语“系统”是指一组多个部件(例如，装置、模块(部件))，并且是否所有部件都被容纳在同一壳体中并不重要。因此，容纳在不同的壳体中并且经由网络连接的多个装置以及其中多个模块被容纳在单个壳体中的单个装置都是系统。
此外，例如，可以将描述为单个装置(或处理部)的部件分割并且配置为多个装置(或处理部)。相反，以上被描述为多个装置(或处理部)的部件可以被组合并配置为单个装置(或处理部)。另外，可以自然地将除上述之外的部件添加到每个装置(或处理部)的部件中。此外，只要系统的部件和动作总体上大致保持相同，则装置(或处理部)的部件的一部分可以被包括在另一装置(或处理部)的部件中。
此外，例如，本技术可以具有云计算配置，在该配置中，多个装置经由网络以共享和协作的方式处理功能。
另外，例如，上述程序可以由期望的装置执行。在那种情况下，该装置具有必要的功能(例如，功能块)就足以获取必要的信息。
另外，例如，上述流程图中描述的每个步骤不仅可以由单个装置执行，而且可以由多个装置以共享的方式执行。此外，在单个步骤包括多个处理的情况下，该单个步骤中包括的多个处理可以仅由单个装置执行，也可以由多个装置以共享的方式执行。换言之，可以将单个步骤中包括的多个处理作为多个步骤中的处理来执行。相反，被描述为多个步骤的处理可以作为单个步骤一起执行。
应当注意，描述由计算机执行的程序的步骤中的处理可以根据本说明书中说明的顺序按时间顺序执行，或者可以例如在调用程序时在必要的定时处并行或单独执行。即，除非出现不一致，否则可以以与上述顺序不同的顺序执行各个步骤的处理。此外，描述该程序的步骤的处理可以与另一程序的处理并行执行，或者与另一程序的处理组合并且一起执行。
除非出现不一致，否则本说明书中描述的多种当前技术中的每一个可以独立地并且单独地执行。不言而喻，可以组合地执行多种期望的本技术。例如，可以将在任何一个实施方式中描述的一些或全部本技术与在其他实施方式中描述的一些或所有本技术一起执行。而且，上述某些或全部期望的本技术可以与以上未描述的其他技术组合地执行。
<部件的组合的示例>
应当注意，本技术还可以具有以下配置：
(1)
一种信息处理装置，包括：
预处理部，其适于通过在多个投影方向上投影3D数据并且将所述3D数据转换为二维数据来生成多个投影方向的图像数据，以及生成指示所述图像数据的投影方向的投影方向信息作为投影元数据。
(2)
根据(1)所述的信息处理装置，其中，
所述投影元数据包括附加投影方向标识信息，所述附加投影方向标识信息指示所述图像数据已经通过在附加投影方向上投影而生成。
(3)
根据(2)所述的信息处理装置，其中，
所述图像数据具有针对所述投影方向中的每一个的纹理图像、几何图像和占用地图图像。
(4)
根据(3)所述的信息处理装置，其中，
所述预处理部还生成是/否单独显示信息作为所述投影元数据，所述是/否单独显示信息指示是否能够单独显示由所述投影方向信息或所述附加投影方向标识信息指示的投影方向上的图像数据。
(5)
根据(1)至(4)中任一项所述的信息处理装置，其中，
所述预处理部还生成所述图像数据的有效像素计数作为所述图像质量元数据。
(6)
根据(1)至(5)中任一项所述的信息处理装置，还包括：
MPD文件生成部，其适于生成MPD(媒体呈现描述)，MPD信令通藕汁针对所述文件中的每一个的生成的投影元数据，所述文件均为当显示所述3D数据时参考的数据单元。
(7)
根据(6)所述的信息处理装置，其中，
在不能使用所述文件中的一个文件来单独显示所述3D数据的情况下，所述MPD文件生成部信令通知与所述文件中的另一个文件的关联，所述另一个文件是显示所述3D数据所需的。
(8)
根据(6)所述的信息处理装置，其中，
在不能使用所述文件中的一个文件来单独显示所述3D数据的情况下，所述MPD文件生成部将所述一个文件与所述文件中的所述另一个文件分组在一起以进行信令通知，所述另一个文件是显示所述3D数据所需的。
(9)
根据(1)至(5)中任一项所述的信息处理装置，还包括：
文件生成部，其适于生成ISOBMFF(ISO基础媒体文件格式)文件，所述ISOBMFF文件信令通知每个轨道的投影元数据，所述轨道均为多个所述投影方向的数据单元。
(10)
根据(9)所述的信息处理装置，其中，
在不能使用所述轨道中的一个轨道来单独显示所述3D数据的情况下，所述文件生成部将所述一个轨道与所述轨道中的另一个轨道分组在一起以进行信令通知，所述另一个轨道是显示所述3D数据所需的。
(11)
根据(1)至(5)中任一项所述的信息处理装置，还包括：
编码部，其适于对Elementary Stream进行编码，所述Elementary Stream信令通知每个图块的投影元数据，所述图块均为多个所述投影方向的数据单元。
(12)
根据(11)所述的信息处理装置，其中，
在不能使用所述图块中的一个图块来单独显示所述3D数据的情况下，所述编码部将所述一个图块与显示所述3D数据所需的附加图块的标识符分组在一起以进行信令通知。
(13)
根据(4)所述的信息处理装置，其中，
在已经基于包括所述3D数据的长方体形状的对象框的一部分的块生成了所述投影方向的图像数据的情况下，所述预处理部还生成块位置信息作为所述投影元数据，所述块位置信息用于标识所述块中的每一个在三维空间中相对于所述对象框的位置。
(14)
一种信息处理方法，包括：
由信息处理装置进行如下操作，
通过在多个投影方向上投影3D数据并且将所述3D数据转换为二维数据来生成多个投影方向的图像数据；以及
生成指示所述图像数据的投影方向的投影方向信息作为投影元数据。
应当注意，本实施方式不限于上述实施方式，并且可以在不脱离本公开的主旨的情况下以各种方式进行修改。另外，本说明书中描述的有益效果仅是示例性的而不是限制性的，并且可以存在其他有益效果。
[附图标记列表]
51：数据生成装置
52：数据再现装置
61：控制部
62：文件生成部
71：数据输入部
72：数据编码/生成部
73：MPD文件生成部
74：记录部
75：上传部
76：预处理部
77：编码部
78：文件生成部
81：控制部
82：再现处理部
91：文件获取部
92：文件处理部
94：显示控制部
95：数据分析/解码部
96：显示部
97：文件处理部
98：解码部
99：显示信息生成部

Claims (14)

1.一种信息处理装置，包括：
预处理部，其适于通过在多个投影方向上投影3D数据并且将所述3D数据转换为二维数据来生成多个所述投影方向的图像数据，以及生成指示所述图像数据的所述投影方向的投影方向信息作为投影元数据。
2.根据权利要求1所述的信息处理装置，其中，
所述投影元数据包括附加投影方向标识信息，所述附加投影方向标识信息指示所述图像数据已经通过在附加投影方向上投影而生成。
3.根据权利要求2所述的信息处理装置，其中，
所述图像数据具有针对所述投影方向中的每一个的纹理图像、几何图像和占用地图图像。
4.根据权利要求3所述的信息处理装置，其中，
所述预处理部还生成是/否单独显示信息作为所述投影元数据，所述是/否单独显示信息指示是否能够单独显示由所述投影方向信息或所述附加投影方向标识信息指示的投影方向上的图像数据。
5.根据权利要求1所述的信息处理装置，其中，
所述预处理部还生成所述图像数据的有效像素计数作为所述图像质量元数据。
6.根据权利要求1所述的信息处理装置，还包括：
MPD(媒体呈现描述)文件生成部，其适于生成MPD，所述MPD信令通知针对所述文件中的每一个的生成的投影元数据，所述文件均为当显示所述3D数据时参考的数据单元。
7.根据权利要求6所述的信息处理装置，其中，
在不能使用所述文件中的一个文件来单独显示所述3D数据的情况下，所述MPD文件生成部信令通知与所述文件中的另一个文件的关联，所述另一个文件是显示所述3D数据所需的。
8.根据权利要求6所述的信息处理装置，其中，
在不能使用所述文件中的一个文件来单独显示所述3D数据的情况下，所述MPD文件生成部将所述一个文件与所述文件中的另一个文件分组在一起以进行信令通知，所述另一个文件是显示所述3D数据所需的。
9.根据权利要求1所述的信息处理装置，还包括：
文件生成部，其适于生成ISOBMFF(ISO基础媒体文件格式)文件，所述ISOBMFF文件信令通知每个轨道的投影元数据，所述轨道均为多个所述投影方向的数据单元。
10.根据权利要求9所述的信息处理装置，其中，
在不能使用所述轨道中的一个轨道来单独显示所述3D数据的情况下，所述文件生成部将所述一个轨道与所述轨道中的另一个轨道分组在一起以进行信令通知，所述另一个轨道是显示所述3D数据所需的。
11.根据权利要求1所述的信息处理装置，还包括：
编码部，其适于对Elementary Stream进行编码，所述Elementary Stream信令通知每个图块的投影元数据，所述图块均为多个所述投影方向的数据单元。
12.根据权利要求11所述的信息处理装置，其中，
在不能使用所述图块中的一个图块来单独显示所述3D数据的情况下，所述编码部将所述一个图块与显示所述3D数据所需的附加图块的标识符分组在一起以进行信令通知。
13.根据权利要求4所述的信息处理装置，其中，
在已经基于包括所述3D数据的长方体形状的对象框的一部分的块生成了所述投影方向的图像数据的情况下，所述预处理部还生成块位置信息作为所述投影元数据，所述块位置信息用于标识所述块中的每一个在三维空间中相对于所述对象框的位置。
14.一种信息处理方法，包括：
由信息处理装置进行如下操作，
通过在多个投影方向上投影3D数据并且将所述3D数据转换为二维数据来生成多个所述投影方向的图像数据；以及
生成指示所述图像数据的所述投影方向的投影方向信息作为投影元数据。
CN201980063702.5A 2018-10-02 2019-09-18 信息处理装置和信息处理方法 Pending CN112789865A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2018187817 2018-10-02
JP2018-187817 2018-10-02
JP2019-117700 2019-06-25
JP2019117700 2019-06-25
PCT/JP2019/036466 WO2020071112A1 (ja) 2018-10-02 2019-09-18 情報処理装置および情報処理方法

Publications (1)

Publication Number Publication Date
CN112789865A true CN112789865A (zh) 2021-05-11

Family

ID=70054767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980063702.5A Pending CN112789865A (zh) 2018-10-02 2019-09-18 信息处理装置和信息处理方法

Country Status (5)

Country Link
US (2) US11481961B2 (zh)
EP (1) EP3863290A4 (zh)
JP (1) JP7415936B2 (zh)
CN (1) CN112789865A (zh)
WO (1) WO2020071112A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11481961B2 (en) * 2018-10-02 2022-10-25 Sony Corporation Information processing apparatus and information processing method
WO2020145668A1 (ko) * 2019-01-08 2020-07-16 삼성전자주식회사 3차원 컨텐츠의 처리 및 전송 방법
KR102344072B1 (ko) * 2020-01-08 2021-12-28 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
EP4085618A4 (en) * 2020-04-15 2023-03-01 ZTE Corporation METHOD AND DEVICE FOR VOLUMETRIC VISUAL MEDIA PROCESSING
US11706450B2 (en) * 2020-09-18 2023-07-18 Samsung Electronics Co., Ltd. Partial decoding and reconstruction of a video-based point cloud compression bitstream

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105519130A (zh) * 2013-07-19 2016-04-20 索尼公司 信息处理装置和方法
CN106973569A (zh) * 2014-05-13 2017-07-21 Pcp虚拟现实股份有限公司 生成和回放虚拟现实多媒体的方法、系统和装置
WO2017195881A1 (ja) * 2016-05-13 2017-11-16 ソニー株式会社 ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
WO2018021071A1 (ja) * 2016-07-29 2018-02-01 ソニー株式会社 画像処理装置および画像処理方法
WO2018025660A1 (ja) * 2016-08-05 2018-02-08 ソニー株式会社 画像処理装置および画像処理方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4694404A (en) * 1984-01-12 1987-09-15 Key Bank N.A. High-speed image generation of complex solid objects using octree encoding
JP3537965B2 (ja) * 1996-08-28 2004-06-14 日本電気株式会社 多段式フロントエンド・プロセッサ装置
US20060291506A1 (en) * 2005-06-23 2006-12-28 Cain David C Process of providing content component displays with a digital video recorder
US8726325B2 (en) * 2005-08-08 2014-05-13 Telvue Corporation Method and apparatus for scheduling delivery of video and graphics
US20090240716A1 (en) * 2008-03-20 2009-09-24 Mediatek Inc. Data processing method, system, and device for multimedia data recording and data patching method thereof
WO2012039998A1 (en) * 2010-09-24 2012-03-29 Tufts University Imaging adaptor for camera
US20140002598A1 (en) * 2012-06-29 2014-01-02 Electronics And Telecommunications Research Institute Transport system and client system for hybrid 3d content service
US20140056499A1 (en) 2012-08-24 2014-02-27 Samsung Electronics Co., Ltd. Apparatus and method for generating image using correction model
CN103903303B (zh) * 2012-12-27 2018-01-30 清华大学 三维模型创建方法和设备
CN103900503B (zh) * 2012-12-27 2016-12-28 清华大学 提取形状特征的方法、安全检查方法以及设备
CN107851425B (zh) * 2015-08-05 2022-01-18 索尼公司 信息处理设备、信息处理方法和程序
US9754405B1 (en) * 2015-08-10 2017-09-05 Ngrain (Canada) Corporation System, method and computer-readable medium for organizing and rendering 3D voxel models in a tree structure
KR102523997B1 (ko) * 2016-02-12 2023-04-21 삼성전자주식회사 360도 영상 처리 방법 및 장치
US20170289533A1 (en) * 2016-03-30 2017-10-05 Seiko Epson Corporation Head mounted display, control method thereof, and computer program
US11172005B2 (en) * 2016-09-09 2021-11-09 Nokia Technologies Oy Method and apparatus for controlled observation point and orientation selection audiovisual content
US20180240276A1 (en) * 2017-02-23 2018-08-23 Vid Scale, Inc. Methods and apparatus for personalized virtual reality media interface design
DE102017203702A1 (de) 2017-03-07 2018-09-13 Siemens Healthcare Gmbh Verfahren und Vorrichtung zum Erzeugen eines Ausgabebildes aus einem Volumendatensatz
US10375375B2 (en) * 2017-05-15 2019-08-06 Lg Electronics Inc. Method of providing fixed region information or offset region information for subtitle in virtual reality system and device for controlling the same
US10992961B2 (en) * 2017-05-25 2021-04-27 Qualcomm Incorporated High-level signaling for fisheye video data
US10659760B2 (en) * 2017-07-10 2020-05-19 Qualcomm Incorporated Enhanced high-level signaling for fisheye virtual reality video
CN107464283B (zh) * 2017-07-13 2020-11-10 广西我的科技有限公司 一种三维空间信息采集分析处理的方法及装置
US11065761B2 (en) * 2017-07-25 2021-07-20 Dematic Corp. Robotic picking training technique
US10853975B2 (en) * 2018-01-26 2020-12-01 Sony Corporation Hybrid projection-based point cloud texture coding
US20190251744A1 (en) * 2018-02-12 2019-08-15 Express Search, Inc. System and method for searching 3d models using 2d images
CN110662087B (zh) 2018-06-30 2021-05-11 华为技术有限公司 点云编解码方法和编解码器
US11481961B2 (en) * 2018-10-02 2022-10-25 Sony Corporation Information processing apparatus and information processing method
US11216984B2 (en) * 2019-01-09 2022-01-04 Samsung Electronics Co., Ltd. Patch splitting for improving video-based point cloud compression performance

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105519130A (zh) * 2013-07-19 2016-04-20 索尼公司 信息处理装置和方法
CN106973569A (zh) * 2014-05-13 2017-07-21 Pcp虚拟现实股份有限公司 生成和回放虚拟现实多媒体的方法、系统和装置
WO2017195881A1 (ja) * 2016-05-13 2017-11-16 ソニー株式会社 ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
WO2018021071A1 (ja) * 2016-07-29 2018-02-01 ソニー株式会社 画像処理装置および画像処理方法
WO2018025660A1 (ja) * 2016-08-05 2018-02-08 ソニー株式会社 画像処理装置および画像処理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DANILLO GRAZIOSI等: "PCC Core Experiment on Patch packing", 《ISO/IEC JTC1/SC29/WG11 N17871》, 17 August 2018 (2018-08-17), pages 1 - 10 *
TOMOAKI YAMAZAKI 等: "Discovering Correspondence Among Image Sets with Projection View Preservation For 3D Object Detection in Point Clouds", 《2018 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING》, 13 September 2018 (2018-09-13) *

Also Published As

Publication number Publication date
US20220383587A1 (en) 2022-12-01
EP3863290A1 (en) 2021-08-11
US20210343069A1 (en) 2021-11-04
EP3863290A4 (en) 2021-12-08
US11676331B2 (en) 2023-06-13
JPWO2020071112A1 (ja) 2021-09-02
JP7415936B2 (ja) 2024-01-17
WO2020071112A1 (ja) 2020-04-09
US11481961B2 (en) 2022-10-25

Similar Documents

Publication Publication Date Title
US11532103B2 (en) Information processing apparatus and information processing method
US11481961B2 (en) Information processing apparatus and information processing method
JP7439762B2 (ja) 情報処理装置および情報処理方法、並びにプログラム
JP7310816B2 (ja) 情報処理装置および情報処理方法、並びにプログラム
US11979544B2 (en) 360 video transmission method, 360 video reception method, 360 video transmission apparatus, and 360 video reception apparatus
US20220217314A1 (en) Method for transmitting 360 video, method for receiving 360 video, 360 video transmitting device, and 360 video receiving device
CN114342402A (zh) 信息处理装置、信息处理方法、再现处理装置和再现处理方法
US20210409670A1 (en) Method for transmitting video, apparatus for transmitting video, method for receiving video, and apparatus for receiving video
KR20190103102A (ko) Vr 디바이스 및 vr 디바이스 제어 방법
JP2023509190A (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
US11902555B2 (en) Information processing device and information processing method
WO2021251173A1 (ja) 情報処理装置および方法
JP2022512509A (ja) 符号化された点群データの分割
WO2022054744A1 (ja) 情報処理装置および方法
US11463671B2 (en) Video transmitting method, video transmitting device, video receiving method and video receiving device
US20220076485A1 (en) Information processing apparatus and information processing method
KR20240019021A (ko) 다시점 영상 부호화/복호화 방법 및 장치와, 다시점 영상 부호화 방법에 의해 생성된 비트스트림을 전송하는 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination