CN114078191A - 一种点云媒体的数据处理方法、装置、设备及介质 - Google Patents

一种点云媒体的数据处理方法、装置、设备及介质 Download PDF

Info

Publication number
CN114078191A
CN114078191A CN202010833360.5A CN202010833360A CN114078191A CN 114078191 A CN114078191 A CN 114078191A CN 202010833360 A CN202010833360 A CN 202010833360A CN 114078191 A CN114078191 A CN 114078191A
Authority
CN
China
Prior art keywords
point cloud
rotation
dimensional space
cloud media
media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010833360.5A
Other languages
English (en)
Inventor
胡颖
许晓中
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010833360.5A priority Critical patent/CN114078191A/zh
Priority to PCT/CN2021/110966 priority patent/WO2022037423A1/zh
Publication of CN114078191A publication Critical patent/CN114078191A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例提供一种点云媒体的数据处理方法、装置、设备及计算机可读存储介质。其中的方法包括：获取点云媒体的视窗数据盒，该视窗数据盒用于定义点云媒体对应的三维空间区域的旋转策略，按照视窗数据盒对点云媒体对应的三维空间区域执行旋转处理。可见，内容消费设备可以按照视窗数据盒中旋转策略的指示，以不同的旋转方式(角度)对点云媒体对应的三维空间区域进行旋转处理，并将旋转处理后的结果呈现在用户当前视窗中，使得点云媒体的呈现形式更加多样化，进而提升用户体验。

Description

一种点云媒体的数据处理方法、装置、设备及介质
技术领域
本申请涉及计算机技术领域，具体涉及一种点云(Point Cloud)媒体的数据处理方法、一种点云媒体的数据处理装置、一种点云媒体的数据处理设备及计算机可读存储介质。
背景技术
随着科技技术的不断发展，目前已经能够以较低的成本在较短的时间周期内获得大量精确度较高的点云数据。伴随着大规模的点云数据不断积累，如何通过点云媒体呈现点云数据成为点云应用研究的热点问题。
目前，点云媒体的传输技术中，已存在一种基于三维空间区域结构数据的三维空间区域呈现方式。通过该三维空间区域结构数据，内容消费设备能够呈现点云媒体对应的三维空间区域。实践中发现，上述三维空间区域结构数据仅能指示三维空间区域的尺寸及锚点信息，导致点云媒体的三维空间区域的呈现形式单一，无法适应点云媒体的在不同情况下的多种应用形式，用户体验较差。
发明内容
本申请实施例提供一种点云媒体的数据处理方法、装置、设备及计算机可读存储介质，能够丰富点云媒体的三维空间区域的呈现形式。
一方面，本申请实施例提供一种点云媒体的数据处理方法，包括：
获取点云媒体的视窗数据盒，该视窗数据盒用于定义点云媒体对应的三维空间区域的旋转策略；
按照视窗数据盒对点云媒体对应的三维空间区域执行旋转处理。
本申请实施例中，获取点云媒体的视窗数据盒，该视窗数据盒用于定义点云媒体对应的三维空间区域的旋转策略，按照视窗数据盒对点云媒体对应的三维空间区域执行旋转处理。可见，内容消费设备可以按照视窗数据盒中旋转策略的指示，以不同的旋转方式(角度)对点云媒体对应的三维空间区域进行旋转处理，并将旋转处理后的结果呈现在用户当前视窗中，使得点云媒体的呈现形式更加多样化，进而提升用户体验。
一方面，本申请实施例提供一种点云媒体的数据处理方法，包括：
获取点云媒体呈现时的视窗信息，该视窗信息包括三维空间区域和朝向信息；
根据点云媒体呈现时的视窗信息配置点云媒体的视窗数据盒，该视窗数据盒用于定义点云媒体对应的三维空间区域的旋转策略。
本申请实施例中，获取点云媒体呈现时的视窗信息，该视窗信息包括三维空间区域和朝向信息，根据点云媒体呈现时的视窗信息配置点云媒体的视窗数据盒，该视窗数据盒用于定义点云媒体对应的三维空间区域的旋转策略。可见，内容制作设备根据点云媒体呈现时的视窗信息配置点云媒体的视窗数据盒，可以从多个旋转角度指示点云媒体对应的三维空间区域在内容消费设备端的呈现(使得内容消费设备端的呈现形式多样化)，进而丰富点云媒体的应用形式，大幅提升用户体验。
一方面，本申请实施例提供一种点云媒体的数据处理装置，包括：
获取单元，用于获取点云媒体的视窗数据盒，该视窗数据盒用于定义点云媒体对应的三维空间区域的旋转策略；
处理单元，用于按照视窗数据盒对点云媒体对应的三维空间区域执行旋转处理。
在一种实施方式中，视窗数据盒包括点云旋转结构数据；处理单元还用于，按照视窗数据盒对点云媒体对应的三维空间区域执行旋转处理，具体用于：
按照点云旋转结构数据对点云媒体对应的三维空间区域执行旋转处理。
在一种实施方式中，点云旋转结构数据包括旋转类型字段，当该旋转类型字段为无效值时，点云旋转结构数据包括第一旋转信息，该第一旋转信息包括旋转偏航角度字段、旋转俯仰角度字段和旋转翻滚角度字段，旋转偏航角度字段、旋转俯仰角度字段和旋转翻滚角度字段的取值均以2-16为单位；旋转偏航角度字段和旋转翻滚角度字段的取值范围是[-180°*216，180°*216)，旋转俯仰角度字段的取值范围是[-90°*216，90°*216]；
处理单元还用于，按照点云旋转结构数据对点云媒体对应的三维空间区域执行旋转处理，具体用于：
当旋转类型字段为无效值时，对点云媒体对应的三维空间区域按照第一旋转信息执行第一类型旋转处理。
在一种实施方式中，点云旋转结构数据包括旋转类型字段，当该旋转类型字段为有效值时，点云旋转结构数据包括第二旋转信息，该第二旋转信息包括第一旋转元数字段、第二旋转元数字段、第三旋转元数字段和第四旋转元数字段；
处理单元还用于，按照点云旋转结构数据对点云媒体对应的三维空间区域执行旋转处理，具体用于：
当旋转类型字段为有效值时，对点云媒体对应的三维空间区域按照第二旋转信息执行第二类型旋转处理。
在一种实施方式中，视窗数据盒还包括点云初始视窗数据盒，该点云初始视窗数据盒用于定义点云媒体对应的初始三维空间区域的旋转策略；点云初始视窗数据盒包括旋转标志字段和点云媒体对应的初始三维空间区域结构数据；
处理单元还用于，按照点云旋转结构数据对点云媒体对应的三维空间区域执行旋转处理，具体用于：
当点云初始视窗数据盒中的旋转标志字段为有效值时，根据点云初始视窗数据盒中的点云媒体对应的初始三维空间区域结构数据，确定点云媒体对应的初始三维空间区域；
按照点云旋转结构数据对点云媒体对应的初始三维空间区域执行旋转处理。
在一种实施方式中，点云媒体的浏览模式包括第一浏览模式，
处理单元还用于：
在第一浏览模式下显示旋转处理后的点云媒体对应的初始三维空间区域。
在一种实施方式中，点云媒体的浏览模式包括第二浏览模式，则视窗数据盒还包括点云推荐视窗数据盒，该点云推荐视窗数据盒用于定义点云媒体对应的目标三维空间区域在第二浏览模式下的旋转策略；点云推荐视窗数据盒包括旋转标志字段和点云媒体在第二浏览模式下对应的三维空间区域结构数据；
处理单元还用于，按照点云旋转结构数据对点云媒体对应的三维空间区域执行旋转处理，具体用于：
当点云推荐视窗数据盒中的旋转标志字段为有效值时，根据点云推荐视窗数据盒中的点云媒体在第二浏览模式下对应的目标三维空间区域结构数据，确定所点云媒体述第二浏览模式下对应的目标三维空间区域；
在第二浏览模式下按照点云旋转结构数据对点云媒体对应的目标三维空间区域执行旋转处理。
在一种实施方式中，点云推荐视窗数据盒还包括推荐视窗类型字段，当推荐视窗类型字段为无效值时，点云推荐视窗数据盒用于定义点云媒体对应的三维空间区域在第二浏览模式下，且在第一推荐视窗类型下的旋转策略；
当推荐视窗类型字段为有效值时，点云推荐视窗数据盒用于定义点云媒体对应的三维空间区域在第二浏览模式下，且在第二推荐视窗类型下的旋转策略；
点云推荐视窗数据盒包括推荐视窗描述字段，该推荐视窗描述字段包括推荐视窗的描述信息，该描述信息是以空字符结尾的八位元字符串。
在一种实施方式中，处理单元还用于：
在第二浏览模式下显示旋转处理后的点云媒体对应的初始三维空间区域；以及，
切换显示在第二浏览模式下旋转处理后的点云媒体对应的目标三维空间区域。
在一种实施方式中，处理单元还用于，通过获取单元获取点云媒体的视窗数据盒，具体用于：
从内容制作设备获取点云媒体的封装文件；
对点云媒体的封装文件进行解封装处理，得到点云媒体的视窗数据盒。
一方面，本申请实施例提供一种点云媒体的数据处理装置，包括：
获取单元，用于获取点云媒体呈现时的视窗信息，该视窗信息包括三维空间区域和朝向信息；
处理单元，用于根据点云媒体呈现时的视窗信息配置点云媒体的视窗数据盒，该视窗数据盒用于定义点云媒体对应的三维空间区域的旋转策略。
在一种实施方式中，处理单元还用于：
将视窗数据盒封装至点云媒体的封装文件中，并向内容消费设备发送点云媒体的封装文件。
一方面，本申请提供了一种点云媒体的数据处理设备，该设备包括：
处理器，适于执行计算机程序；
计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序被处理器执行时，实现上述点云媒体的数据处理方法。
一方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序适于由处理器加载并执行上述点云媒体的数据处理方法。
一方面，本申请提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述点云媒体的数据处理方法。
本申请实施例中，根据点云媒体呈现时的视窗信息配置点云媒体的视窗数据盒，按照视窗数据盒对点云媒体对应的三维空间区域执行旋转处理，可以在视窗中呈现按照不同角度进行旋转处理后的点云媒体对应的三维空间区域，使得内容消费设备端的呈现形式多样化，进而丰富点云媒体的应用形式，大幅提升用户体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a示出了本申请一个示例性实施例提供的一种点云媒体的数据处理架构图；
图1b示出了本申请一个示例性实施例提供的一种封装包的结构示意图；
图1c示出了本申请一个示例性实施例提供的一种多轨道容器示意图；
图1d示出了本申请一个示例性实施例提供的另一种封装包的结构示意图；
图2示出了本申请一个示例性实施例提供的一种点云媒体的数据处理方法的流程图；
图3a示出了本申请一个示例性实施例提供的一种点云媒体对应的三维空间区域在旋转处理前的俯视图；
图3b示出了本申请一个示例性实施例提供的一种点云媒体对应的三维空间区域在旋转处理后的俯视图；
图4示出了本申请一个示例性实施例提供的另一种点云媒体的数据处理方法的流程图；
图5示出了本申请一个示例性实施例提供的另一种点云媒体的数据处理方法的流程图；
图6示出了本申请一个示例性实施例提供的一种点云媒体的数据处理装置的结构示意图；
图7示出了本申请一个示例性实施例提供的另一种点云媒体的数据处理装置的结构示意图；
图8示出了本申请一个示例性实施例提供的一种内容消费设备的结构示意图；
图9示出了本申请一个示例性实施例提供的一种内容制作设备的结构示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行描述。
本申请实施例涉及点云(Point Cloud)媒体的数据处理技术。所谓点云是指空间中一组无规则分布的、表达三维物体或场景的空间结构及表面属性的离散点集。点云中的每个点至少具有三维位置信息，根据应用场景的不同，还可能具有色彩、材质或其他信息。通常，点云中的每个点都具有相同数量的附加属性。
点云媒体可以灵活方便地表达三维物体或场景的空间结构及表面属性，因此被广泛应用在虚拟现实(Virtual Reality，VR)游戏、计算机辅助设计(Computer AidedDesign,CAD)、地理信息系统(Geography Information System，GIS)、自动导航系统(Autonomous Navigation System，ANS)、数字文化遗产、自由视点广播、三维沉浸远程呈现、生物组织器官三维重建等项目中。
随着科技技术的不断发展，目前已经能够以较低的成本在较短的时间周期内获得大量精确度较高的点云数据。例如，点云数据可以是通过采集设备(一组摄像机或具有多个镜头和传感器的摄像机设备)对现实世界的视觉场景进行采集得到的，通过三维(3-Dimension，3D)扫描可以获得静态现实世界三维物体或场景的点云，每秒可以获取百万级点云；通过3D摄影可以获得动态现实世界三维物体或场景的点云，每秒可以获取千万级点云；此外，在医学领域，可以通过磁共振成像(Magnetic Resonance Imaging，MRI)、电子计算机断层扫描(Computed Tomography，CT)、电磁定位信息获得生物组织器官的点云数据。又如，点云数据还可以由计算机根据虚拟三维物体及场景直接生成。伴随着大规模的点云数据不断积累，通过点云媒体呈现点云数据成为点云应用的关键。
图1a示出了本申请一个示例性实施例提供的一种点云媒体的数据处理架构图。如图1a所示，在内容制作设备端的数据处理过程主要包括：(1)点云数据的媒体内容的获取过程；(2)点云数据的编码及文件封装的过程。在内容消费设备端的数据处理过程主要包括：(3)点云数据的文件解封装及解码的过程；(4)点云数据的渲染过程。另外，内容制作设备与内容消费设备之间涉及点云媒体的传输过程，该传输过程可以基于各种传输协议来进行，此处的传输协议可包括但不限于：DASH(Dynamic Adaptive Streaming over HTTP，动态自适应流媒体传输)协议、HLS(HTTP Live Streaming，动态码率自适应传输)协议、SMTP(Smart Media TransportProtocol，智能媒体传输协议)、TCP(Transmission ControlProtocol，传输控制协议)等。
下面对点云媒体的数据处理过程进行详细描述：
(1)获取点云数据的媒体内容。
从点云数据的媒体内容的获取方式看，可以分为通过捕获设备采集现实世界的声音-视觉场景获得的以及通过计算机生成的两种方式。在一种实现中，捕获设备可以是指设于内容制作设备中的硬件组件，例如捕获设备是指终端的麦克风、摄像头、传感器等。另一种实现中，该捕获设备也可以是与内容制作设备相连接的硬件装置，例如与服务器相连接摄像头；用于为内容制作设备提供点云数据的媒体内容的获取服务。该捕获设备可以包括但不限于：音频设备、摄像设备及传感设备。其中，音频设备可以包括音频传感器、麦克风等。摄像设备可以包括普通摄像头、立体摄像头、光场摄像头等。传感设备可以包括激光设备、雷达设备等。捕获设备的数量可以为多个，这些捕获设备被部署在现实空间中的一些特定位置以同时捕获该空间内不同角度的音频内容和视频内容，捕获的音频内容和视频内容在时间和空间上均保持同步。由于获取的方式不同，不同点云数据的媒体内容对应的压缩编码方式也可能有所区别。
(2)点云数据的媒体内容的编码及文件封装的过程。
目前，通常采用基于几何的点云压缩(Geometry-based point cloudcompression，GPCC)编码方式或者基于传统视频编码的点云压缩编码方式(Video-basedpointcloudcompression，VPCC)对获取的点云数据进行编码处理。以GPCC为例，当GPCC比特流在单轨道中传输时，它要求GPCC比特流根据单轨道传输规则进行声明并表示。封装在单轨道的GPCC比特流无需进行进一步处理，可以通过ISOBMFF(ISO Base MediaFile Format，ISO基媒体文件格式)进行封装。
该轨道中的每个封装包都包含一个或多个GPCC组件。也就是说，每个封装包由一个或多个类型-长度-值字节流格式(Type-length-value bytestream format，TLV)封装结构组成。图1b示出了本申请一个示例性实施例提供的一种封装包的结构示意图，如图1b所示，在进行单轨道传输时，GPCC参数集、几何信息和属性的比特流被封装在一个封装包中。
当编码的GPCC几何信息比特流和编码的GPCC属性比特流在不同的轨道中进行传输时，轨道中的每个封装包都包含至少一个TLV封装结构，该结构携带单个GPCC组件数据，而不同时包含几何信息和属性数据。图1c示出了本申请一个示例性实施例提供的一种多轨道容器示意图，如图1c所示，在轨道1中传输的封装包1包含编码的GPCC几何信息比特流，不包含编码的GPCC属性比特流；在轨道2中传输的封装包2包含编码的GPCC属性比特流，不包含编码的GPCC几何信息比特流。
由于在解码时首先应对编码的GPCC几何信息比特流进行解码，而编码的GPCC属性比特流的解码取决于解码后的几何形状，因此将不同的GPCC分量比特流存储在单独的轨道中，使得内容消费设备携带的播放器可以在编码的GPCC属性比特流之前访问承载编码的GPCC几何比特流的轨道。图1d示出了本申请一个示例性实施例提供的另一种封装包的结构示意图，如图1d所示，GPCC参数集、几何信息被封装在一个封装包中。
(3)点云数据的文件解封装及解码的过程；
内容消费设备可以通过内容制作设备获得点云数据的媒体文件资源和相应的媒体呈现描述信息。点云数据的媒体文件资源和媒体呈现描述信息通过传输机制(如DASH、SMT)由内容制作设备传输给内容消费设备。内容消费设备端的文件解封装的过程与内容制作设备端的文件封装过程是相逆的，内容消费设备按照点云媒体的文件格式要求对媒体文件资源进行解封装，得到编码比特流(GPCC比特流或VPCC比特流)。内容消费设备端的解码过程与内容制作设备端的编码过程是相逆的，内容消费设备对编码比特流进行解码，还原出点云数据。
(4)点云数据的渲染过程。
内容消费设备根据媒体呈现描述信息中与渲染、视窗相关的元数据对GPCC比特流解码得到的点云数据进行渲染，渲染完成即实现了对点云数据对应的视觉场景的呈现。
在一个实施例中，内容制作设备端：首先通过采集设备对真实世界的视觉场景进行采样，得到与真实世界的视觉场景对应的点云数据；然后通过基于几何的点云压缩(Geometry-based point cloud compression，GPCC)或基于传统视频的点云压缩(Video-basedpointcloudcompression，VPCC)编码方式对获取的点云数据进行编码处理，得到GPCC比特流(包括编码的几何比特流和属性比特流)或者VPCC比特流；接着对GPCC比特流或者VPCC比特流进行封装得到点云数据对应的媒体文件(即点云媒体)，具体地，内容制作设备根据特定媒体容器文件格式，将一个或多个编码比特流合成为用于文件回放的媒体文件，或用于流式传输的初始化片段和媒体片段的序列；其中，媒体容器文件格式是指在国际标准化组织(International Organization for Standardization，ISO)/国际电工委员会(International Electrotechnical Commission，IEC)14496-12中规定的ISO基本媒体文件格式。在一种实施方式中，内容制作设备还将元数据封装到媒体文件或初始化/媒体片段的序列中，并通过传输机制(如动态自适应流媒体传输接口)将初始化/媒体片段的序列传送给内容消费设备。
在内容消费设备端：首先接收内容制作设备发送的点云媒体文件，包括：用于文件回放的媒体文件，或用于流式传输的初始化片段和媒体片段的序列；然后对点云媒体文件进行解封装处理，得到编码的GPCC比特流或者VPCC比特流以及点云媒体文件呈现相关的元数据；接着解析编码的GPCC比特流(即对编码的GPCC比特流进行解码处理，得到点云数据)；最后基于当前用户的观看(视窗)方向，对解码后的点云数据进行渲染，并显示在内容消费设备携带的头戴式显示器或任何其他显示设备的屏幕上。需要说明的是，当前用户的观看(视窗)方向由头部跟踪以及可能还有视觉跟踪功能确定。除了通过渲染器用来渲染当前用户的观看(视窗)方向的点云数据外，还可以通过音频解码器来对当前用户的观看(视窗)方向的音频进行解码优化。
由上述点云媒体的数据处理过程可知，在对点云编码的GPCC比特流或VPCC比特流进行解码后，需要对解码后的点云数据进行渲染呈现。目前，点云媒体的传输技术中，已存在一种基于三维空间区域结构数据(3DSpatialRegionStruct)的三维空间区域呈现方式。通过该三维空间区域结构数据，内容消费设备能够呈现点云媒体对应的三维空间区域。
三维空间区域结构数据(3DSpatialRegionStruct)的语法可参见下述表1：
表1
Figure BDA0002638793860000101
上述表1所示语法的语义如下：3d_region_id指示了点云媒体对应的三维空间区域的标识；anchor_included指示了点云媒体对应的三维空间区域是否包含锚点信息；若点云媒体对应的三维空间区域包含锚点信息，则anchor_x、anchor_y和anchor_z分别指示了点云媒体对应的三维空间区域中锚点的x，y，z轴坐标；若点云媒体对应的三维空间区域不包含锚点信息，则默认锚点为原点(0,0,0)；dimension_included指示了点云媒体对应的三维空间区域是否包含尺寸信息；若点云媒体对应的三维空间区域包含尺寸信息，则region_dx、region_dy、region_dz分别指示了点云媒体对应的三维空间区域沿着x，y，z轴的尺度，即三维空间的宽、高、深度。
结合上述表1可知，目前三维空间区域结构数据仅能指示点云媒体对应的三维空间区域的标识，尺寸及锚点信息，没有包含点云呈现时的旋转信息，导致点云媒体的三维空间区域的呈现形式单一(例如，无法在初始视窗中呈现旋转处理后的点云媒体对应的三维空间区域)，无法适应点云媒体的在不同情况下的多种应用形式，用户体验较差。
基于此，本申请实施例对轨道组数据盒进行扩展得到点云媒体的视窗数据盒(PointCloudViewportBox)，在点云媒体的三维空间区域结构数据的基础上，增加了点云媒体对应的三维空间区域在呈现的旋转信息。其中，点云媒体对应的三维空间区域的旋转策略由点云旋转结构数据(PointCloudRotationStruct)指示；点云媒体对应的三维空间区域在初始呈现时是否需要旋转由点云初始视窗数据盒(PointCloudInitialViewportBox)指示；点云媒体对应的三维空间区域的推荐浏览模式由点云推荐视窗数据盒(PointCloudRecommendedViewportBox)指示。该点云媒体的视窗数据盒的语法的语义可参见下述表2：
表2
Figure BDA0002638793860000111
Figure BDA0002638793860000121
上述表2中的语法的语义如下①-⑥：
①3D_rotation_type为旋转类型字段，该字段用于指示点云媒体对应的三维空间区域的旋转信息的表示类型。该字段取值为0(无效值)表示旋转信息以欧拉角的形式定义；该字段取值为1(有效值)表示旋转信息以四元数的形式定义，其余取值保留。
②在旋转信息以欧拉角的形式定义时：rotation_yaw为旋转偏航角度字段，该字段用于指示点云媒体对应的三维空间区域沿着X轴的偏航(yaw)角度；rotation_pitch为旋转俯仰角度字段，该字段用于指示点云媒体对应的三维空间区域沿着Y轴的俯仰(pitch)角度；rotation_roll为旋转翻滚角度字段，该字段用于指示点云媒体对应的三维空间区域沿着Y轴的翻滚(roll)角度。旋转偏航角度字段、旋转俯仰角度字段和旋转翻滚角度字段的取值均以2-16为单位。旋转偏航角度字段和旋转翻滚角度字段的取值范围是[-180°*216，180°*216)，旋转俯仰角度字段的取值范围是[-90°*216，90°*216]。
③在旋转信息以四元数的形式定义：rotation_x为第一旋转元数字段,该字段用于指示四元数x分量的取值；rotation_y为第二旋转元数字段,该字段用于指示四元数y分量的取值；rotation_z为第三旋转元数字段,该字段用于指示四元数z分量的取值；rotation_w为第四旋转元数字段,该字段用于指示w分量的取值，点云媒体对应的三维空间区域的旋转角度，由四元数x，y，z和w分量共同指示。
④rotation_flag为旋转标志字段，该字段用于指示当前点云媒体对应的三维空间区域是否包含旋转信息。该字段取值为0(无效值)时，表示当前点云媒体对应的三维空间区域不包含旋转信息；该字段取值为1(有效值)时，表示当前点云媒体对应的三维空间区域包含旋转信息。
⑤viewport_type为推荐视窗类型字段，该字段用于指示推荐视窗的类型，推荐视窗类型字段的取值与推荐视窗类型的对应关系如下推荐视窗类型表所示：
推荐视窗类型表
取值 描述
0 制作者推荐的视窗
1 根据大数据统计得到的推荐视窗
2…255 保留
⑥viewport_description为推荐视窗描述字段，该字段用于指示推荐视窗的描述信息，该描述信息是以空字符结尾的八位元(UTF-8)字符串。
按照本申请实施例的上述表2所示的点云媒体的视窗数据盒。内容制作设备根据点云媒体呈现时的视窗信息配置点云媒体的视窗数据盒，可以从多个旋转角度指示点云媒体对应的三维空间区域在内容消费设备端的呈现(使得内容消费设备端的呈现形式多样化)，进而丰富点云媒体的应用形式，大幅提升用户体验。
图2示出了本申请一个示例性实施例提供的一种点云媒体的数据处理方法的流程图；该方法可由点云媒体系统中的内容消费设备来执行，该方法包括以下步骤S201和步骤S202：
S201、获取点云媒体的视窗数据盒，该视窗数据盒用于定义点云媒体对应的三维空间区域的旋转策略。
S202、按照视窗数据盒对点云媒体对应的三维空间区域执行旋转处理。
步骤S201和步骤S202中点云媒体对应的三维空间区域结构数据的语法可参见上述表1，点云媒体的视窗数据盒的语法可参见上述表2。其中，旋转策略用于指示点云媒体对应的三维空间区域的旋转方式，例如，旋转策略1用于指示将点云媒体对应的三维空间区域沿Z轴顺时针旋转30°。
在一种实施方式中，点云媒体的视窗数据盒可以是指ISOBMFF(ISO Base MediaFile Format，国际标准化组织基媒体文件格式)数据盒。内容消费设备在获取点云媒体的视窗数据盒后，按照视窗数据盒对点云媒体对应的三维空间区域执行旋转处理，并在当前视窗显示旋转处理后的点云媒体对应的三维空间区域。
图3a示出了本申请一个示例性实施例提供的一种点云媒体对应的三维空间区域在旋转处理前的俯视图。如图3a所示，点A表示用户所在位置，区域SACD为用户当前视窗区域，点B为参考点。图3b示出了本申请一个示例性实施例提供的一种点云媒体对应的三维空间区域在旋转处理后的俯视图。如图3b所示，用户当前视窗区域SACD呈现的是内容消费设备按照视窗数据盒将图3a所示的点云媒体对应的三维空间区域沿Z轴顺时针旋转30°后的三维空间区域。
本申请实施例中，内容消费设备获取点云媒体的视窗数据盒，该视窗数据盒用于定义点云媒体对应的三维空间区域的旋转策略，按照视窗数据盒对点云媒体对应的三维空间区域执行旋转处理。可见，内容消费设备可以按照视窗数据盒中旋转策略的指示，以不同的旋转方式(角度)对点云媒体对应的三维空间区域进行旋转处理，并将旋转处理后的结果呈现在用户当前视窗中，使得点云媒体的呈现形式更加多样化，进而提升用户体验。
图4示出了本申请一个示例性实施例提供的另一种点云媒体的数据处理方法的流程图；该方法可由点云媒体系统中的内容消费设备来执行，该方法包括以下步骤S401-步骤S403：
S401、从内容制作设备获取点云媒体的封装文件。
点云媒体的制作及封装过程可参考图1a中的点云媒体的数据处理过程(1)和(2)，在此不再赘述。
S402、对点云媒体的封装文件进行解封装处理，得到点云媒体的视窗数据盒，视窗数据盒包括点云旋转结构数据。
点云媒体的封装文件的解封装过程可参考图1a中的点云媒体的数据处理过程(3)，在此不再赘述。
S403、按照点云旋转结构数据对点云媒体对应的三维空间区域执行旋转处理。
在一种实施方式中，点云旋转结构数据包括旋转类型字段，该字段用于指示点云媒体对应的三维空间区域的旋转信息的表示类型。该字段取值为0(无效值)表示旋转信息以欧拉角的形式定义；该字段取值为1(有效值)表示旋转信息以四元数的形式定义，其余取值保留。
进一步地，当旋转类型字段为无效值时，点云旋转结构数据包括第一旋转信息，内容消费设备按照第一旋转信息对点云媒体对应的三维空间区域执行第一类型旋转处理。其中，第一旋转信息包括旋转偏航角度字段、旋转俯仰角度字段和旋转翻滚角度字段，旋转偏航角度字段、旋转俯仰角度字段和旋转翻滚角度字段的取值均以2-16为单位；旋转偏航角度字段和旋转翻滚角度字段的取值范围是[-180°*216，180°*216)，旋转俯仰角度字段的取值范围是[-90°*216，90°*216]。
当旋转类型字段为有效值时，点云旋转结构数据包括第二旋转信息，内容消费设备按照第二旋转信息对点云媒体对应的三维空间区域执行第二类型旋转处理。其中，第二旋转信息包括第一旋转元数字段、第二旋转元数字段、第三旋转元数字段和第四旋转元数字段，这四个旋转元数字段分别指示四元数x，y，z和w分量的取值，点云媒体对应的三维空间区域的旋转角度，由四元数x，y，z和w分量共同指示。
在另一种实施方式中，点云媒体的视窗数据盒还包括点云初始视窗数据盒，点云初始视窗数据盒用于定义点云媒体对应的初始三维空间区域的旋转策略；点云初始视窗数据盒包括旋转标志字段和初始三维空间区域结构数据；其中，初始三维空间区域结构数据的语法可参见上述表1，旋转标志字段用于指示点云媒体对应的初始三维空间区域是否包含旋转信息，该字段取值为0(无效值)时，表示点云媒体对应的初始三维空间区域不包含旋转信息，该字段取值为1(有效值)时，表示点云媒体对应的初始三维空间区域包含旋转信息。当点云初始视窗数据盒中的旋转标志字段为有效值时，内容消费设备根据点云初始视窗数据盒中的点云媒体对应的初始三维空间区域结构数据，确定点云媒体对应的初始三维空间区域，并按照点云旋转结构数据对点云媒体对应的初始三维空间区域执行旋转处理。
例如，假设内容制作设备发送的点云媒体的视窗数据盒中三维空间区域结构数据3DspatialRegionStruct，点云旋转结构数据PointCloudRotationStruct和点云初始视窗数据盒PointCloudInitialViewportBox的相关字段为：
3d_region_id＝1；
unsingedint(16)anchor_x＝10；
unsingedint(16)anchor_y＝0；
unsingedint(16)anchor_z＝0；
unsingedint(16)region_dx＝100；
unsingedint(16)region_dy＝100；
unsingedint(16)region_dz＝100；
3D_rotation_type＝0；
signedint(32)rotation_yaw＝0；
signedint(32)rotation_pitch＝0；
signed int(32)rotation_roll＝45*216；
rotation_flag＝1；
则内容消费设备根据点云媒体的视窗数据盒中的上述信息，确定需要呈现点云媒体对应的初始三维空间区域，该初始三维空间区域为以(10,0,0)为中心，尺寸(长宽高)为100,100,100，该初始三维空间区域在呈现时需要按照点云初始视窗数据盒对应的点云旋转结构数据进行旋转，旋转方式为将点云媒体对应的初始三维空间区域沿Z轴顺时针旋转45°，即内容消费设备所呈现的点云媒体是点云媒体对应的初始三维空间区域沿Z轴顺时针旋转45°后的三维空间区域。
本申请实施例中，点云媒体的浏览模式可包括第一浏览模式或第二浏览模式，第一浏览模式可以是指自由浏览模式，所谓自由浏览模式是指用户可以通过旋转头部/身体，自由浏览点云媒体对应的三维空间区域。第二浏览模式可以是指推荐浏览模式，推荐浏览模式是指以推荐视窗(如导演/内容制作者推荐的视窗)浏览点云媒体对应的三维空间区域。无论内容消费设备以何种浏览模式对点云媒体进行浏览，其首先呈现的即是按照点云初始视窗数据盒对应的点云旋转结构数据进行旋转处理后的点云媒体的初始三维空间区域。
进一步地，如果内容消费设备选择以第一浏览模式(即自由浏览模式)浏览点云媒体，那么内容消费设备首先在此第一浏览模式下显示按照点云初始视窗数据盒对应的点云旋转结构数据进行旋转处理后的点云媒体的初始三维空间区域，在此基础上，用户可以通过旋转头部/身体，自由浏览点云媒体的三维空间区域。如果内容消息设备选择以第二浏览模式(即推荐浏览模式)浏览点云媒体，那么点云媒体的视窗数据盒除了包含点云初始视窗数据盒之外，还包括点云推荐视窗数据盒，点云推荐视窗数据盒用于定义点云媒体对应的目标三维空间区域在第二浏览模式下的旋转策略。点云推荐视窗数据盒包括旋转标志字段和点云媒体在第二浏览模式下对应的目标三维空间区域结构数据。如果内容消费设备选择以第二浏览模式(即推荐浏览模式)浏览点云媒体，那么内容消费设备首先在第二浏览模式下显示按照点云初始视窗数据盒对应的点云旋转结构数据进行旋转处理后的点云媒体的初始三维空间区域，然后切换显示在第二浏览模式下按照点云推荐视窗数据盒对应的点云旋转结构数据进行旋转处理后的点云媒体对应的目标三维空间区域。
更进一步地，点云推荐视窗数据盒还包括推荐视窗类型字段，该字段取值为0(无效值)时，表示当前推荐的视窗是由制作者推荐的视窗(即第一推荐视窗类型)，该字段取值为1(有效值)时，表示当前推荐的视窗是根据大数据统计得到的推荐视窗(即第二推荐视窗类型)，其余取值2-255保留，可根据实际情况进行配置；例如，在一个实施例中，该字段取值为2时表示当前推荐的视窗是某导演推荐的视窗。此外，点云推荐视窗数据盒还包括推荐视窗描述字段，该字段用于指示推荐视窗的描述信息(如第一推荐视窗类型是由XX作者推荐的)，该描述信息是以空字符结尾的八位元(UTF-8)字符串。
例如，假设内容制作设备发送的点云媒体的视窗数据盒中三维空间区域结构数据3DspatialRegionStruct，点云旋转结构数据PointCloudRotationStruct、点云初始视窗数据盒PointCloudInitialViewportBox和推荐视窗数据盒PointCloudRecommendedViewportBox的相关字段为：
3d_region_id＝1；
unsingedint(16)anchor_x＝10；
unsingedint(16)anchor_y＝0；
unsingedint(16)anchor_z＝0；
unsingedint(16)region_dx＝100；
unsingedint(16)region_dy＝100；
unsingedint(16)region_dz＝100；
3D_rotation_type＝0；
signedint(32)rotation_yaw＝0；
signedint(32)rotation_pitch＝0；
signed int(32)rotation_roll＝45*216；
rotation_flag＝1；
3d_region_id＝2；
unsingedint(16)anchor_x＝10；
unsingedint(16)anchor_y＝10；
unsingedint(16)anchor_z＝0；
unsingedint(16)region_dx＝50；
unsingedint(16)region_dy＝50；
unsingedint(16)region_dz＝50；
rotation_flag＝0；
viewport_type＝0；
则内容消费设备首先在第二浏览模式下显示按照点云初始视窗数据盒对应的点云旋转结构数据进行旋转处理后的点云媒体对应的初始三维空间区域，如上述例子，该初始三维空间区域为以(10,0,0)为中心，尺寸(长宽高)为100,100,100，该初始三维空间区域在呈现时需要进行旋转，旋转方式为将点云媒体对应的初始三维空间区域沿Z轴顺时针旋转45°，即内容消费设备首先呈现的是点云媒体对应的初始三维空间区域沿Z轴顺时针旋转45°后的三维空间区域。然后，内容消费设备按照根据点云媒体的视窗数据盒中的上述信息，为用户呈现在第二浏览模式下点云媒体对应的目标三维空间区域，该目标三维空间区域为以(10,10,0)为中心，尺寸(长宽高)为50,50,50，本示例中由于rotaon_flag＝0，则该目标三维空间区域在呈现时不需要进行旋转，直接呈现即可。
本申请实施例中，内容消费设备从内容制作设备获取点云媒体的封装文件，对点云媒体的封装文件进行解封装处理，得到点云媒体的视窗数据盒，视窗数据盒包括点云旋转结构数据，按照点云旋转结构数据对点云媒体对应的三维空间区域执行旋转处理。可见，内容消费设备可以按照视窗数据盒中旋转策略的指示，以不同的旋转方式(角度)对点云媒体对应的三维空间区域进行旋转处理，并将旋转处理后的结果呈现在用户当前视窗中，使得点云媒体的呈现形式更加多样化，进而提升用户体验。此外，内容消费设备在消费点云媒体的视窗数据盒期间，可根据不同的推荐视窗类型对应的旋转策略呈现点云媒体推荐模式制作者指定的效果，以使得用户获得最佳观看体验。
图5示出了本申请一个示例性实施例提供的另一种点云媒体的数据处理方法的流程图；该方法可由点云媒体系统中的内容制作设备来执行，该方法包括以下步骤S501和步骤S502：
S501、获取点云媒体呈现时的视窗信息，该视窗信息包括三维空间区域和朝向信息。
S502、根据点云媒体呈现时的视窗信息配置点云媒体的视窗数据盒，视窗数据盒用于定义点云媒体对应的三维空间区域的旋转策略。
步骤S501和步骤S502中点云媒体对应的三维空间区域结构数据的语法可参见上述表1，点云媒体的视窗数据盒的语法可参见上述表2。内容制作设备在执行完上述步骤S501和步骤S502之后，将视窗数据盒封装至点云媒体的封装文件中，并向内容消费设备发送点云媒体的封装文件。
下面通过一个完整的例子对本申请实施例的方案进行详细说明：内容制作设备根据采集的点云数据文件A呈现时的三维空间区域以及朝向信息，配置点云媒体的视窗数据盒，该视窗数据盒中包括三维空间区域结构数据3DSpatialRegionStruct，点云旋转结构数据PointCloudRotationStruct，初始视窗数据盒PointCloudInitialViewportBox以及推荐视窗数据盒PointCloudRecommendedViewportBox。假设点云媒体对应的三维空间区域的标识为1；锚点坐标为(10,0,0)；三维空间区域的尺寸(长宽高)为100,100,100。则内容制作设备将三维空间区域结构数据3DSpatialRegionStruct的相关字段配置为：
3d_region_id＝1；
unsingedint(16)anchor_x＝10；
unsingedint(16)anchor_y＝0；
unsingedint(16)anchor_z＝0；
unsingedint(16)region_dx＝100；
unsingedint(16)region_dy＝100；
unsingedint(16)region_dz＝100；
同理，假设点云媒体对应的三维空间区域包含旋转信息，且该旋转信息以欧拉角的形式定义，点云媒体呈现时的三维空间区域为点云媒体对应的三维空间区域沿Z轴顺时针旋转45°后的三维空间区域，则内容制作设备将点云旋转结构数据PointCloudRotationStruct的相关字段配置为：
3D_rotation_type＝0；
signedint(32)rotation_yaw＝0；
signedint(32)rotation_pitch＝0；
signed int(32)rotation_roll＝45*216；
并将初始视窗数据盒PointCloudInitialViewportBox的相关字段配置为：
rotation_flag＝1；
假设推荐的云媒体对应的三维空间区域的标识为2，锚点坐标为(10,10,0)；三维空间区域的尺寸(长宽高)为50,50,50；点云媒体呈现时的三维空间区域即为点云媒体对应的三维空间区域(即不需要旋转)；推荐的视窗为制作者推荐的视窗，且不包括描述信息(即viewport_description为空)，则内容制作设备将推荐视窗数据盒PointCloudRecommendedViewportBox及对应的三维空间区域结构数据3DSpatialRegionStruct的相关字段配置为：
3d_region_id＝2；
unsingedint(16)anchor_x＝10；
unsingedint(16)anchor_y＝10；
unsingedint(16)anchor_z＝0；
unsingedint(16)region_dx＝50；
unsingedint(16)region_dy＝50；
unsingedint(16)region_dz＝50；
rotation_flag＝0；
viewport_type＝0；
在配置完成后，内容制作设备将视窗数据盒封装至点云媒体的封装文件中，并向内容消费设备发送点云媒体的封装文件。
本申请实施例中，内容制作设备获取点云媒体呈现时的视窗信息，该视窗信息包括三维空间区域和朝向信息，根据点云媒体呈现时的视窗信息配置点云媒体的视窗数据盒，该视窗数据盒用于定义点云媒体对应的三维空间区域的旋转策略，将视窗数据盒封装至点云媒体的封装文件中，并向内容消费设备发送点云媒体的封装文件。可见，内容制作设备根据点云媒体呈现时的视窗信息配置点云媒体的视窗数据盒，可以从多个旋转角度指示点云媒体对应的三维空间区域在内容消费设备端的呈现(使得内容消费设备端的呈现形式多样化)，进而丰富点云媒体的应用形式，大幅提升用户体验。
上述详细阐述了本申请实施例的方法，为了便于更好地实施本申请实施例的上述方案，相应地，下面提供了本申请实施例的装置。
请参见图6，图6示出了本申请一个示例性实施例提供的一种点云媒体的数据处理装置的结构示意图；该点云媒体的数据处理装置可以是运行于内容消费设备中的一个计算机程序(包括程序代码)，例如该点云媒体的数据处理装置可以是内容消费设备中的一个应用软件。由图6所示，该点云媒体的数据处理装置包括获取单元601和处理单元602。图6所示的云媒体的数据处理装置可以用于执行上述图2或图4所描述的方法实施例中的部分或全部功能。其中，各个单元的详细描述如下：
获取单元601，用于获取点云媒体的视窗数据盒，该视窗数据盒用于定义点云媒体对应的三维空间区域的旋转策略；
处理单元602，用于按照视窗数据盒对点云媒体对应的三维空间区域执行旋转处理。
在一种实施方式中，视窗数据盒包括点云旋转结构数据；处理单元602还用于，按照视窗数据盒对点云媒体对应的三维空间区域执行旋转处理，具体用于：
按照点云旋转结构数据对点云媒体对应的三维空间区域执行旋转处理。
在一种实施方式中，点云旋转结构数据包括旋转类型字段，当该旋转类型字段为无效值时，点云旋转结构数据包括第一旋转信息，该第一旋转信息包括旋转偏航角度字段、旋转俯仰角度字段和旋转翻滚角度字段，旋转偏航角度字段、旋转俯仰角度字段和旋转翻滚角度字段的取值均以2-16为单位；旋转偏航角度字段和旋转翻滚角度字段的取值范围是[-180°*216，180°*216)，旋转俯仰角度字段的取值范围是[-90°*216，90°*216]；
处理单元602还用于，按照点云旋转结构数据对点云媒体对应的三维空间区域执行旋转处理，具体用于：
当旋转类型字段为无效值时，对点云媒体对应的三维空间区域按照第一旋转信息执行第一类型旋转处理。
在一种实施方式中，点云旋转结构数据包括旋转类型字段，当该旋转类型字段为有效值时，点云旋转结构数据包括第二旋转信息，该第二旋转信息包括第一旋转元数字段、第二旋转元数字段、第三旋转元数字段和第四旋转元数字段；
处理单元602还用于，按照点云旋转结构数据对点云媒体对应的三维空间区域执行旋转处理，具体用于：
当旋转类型字段为有效值时，对点云媒体对应的三维空间区域按照第二旋转信息执行第二类型旋转处理。
在一种实施方式中，视窗数据盒还包括点云初始视窗数据盒，该点云初始视窗数据盒用于定义点云媒体对应的初始三维空间区域的旋转策略；点云初始视窗数据盒包括旋转标志字段和点云媒体对应的初始三维空间区域结构数据；
处理单元602还用于，按照点云旋转结构数据对点云媒体对应的三维空间区域执行旋转处理，具体用于：
当点云初始视窗数据盒中的旋转标志字段为有效值时，根据点云初始视窗数据盒中的点云媒体对应的初始三维空间区域结构数据，确定点云媒体对应的初始三维空间区域；
按照点云旋转结构数据对点云媒体对应的初始三维空间区域执行旋转处理。
在一种实施方式中，点云媒体的浏览模式包括第一浏览模式，
处理单元602还用于：
在第一浏览模式下显示旋转处理后的点云媒体对应的初始三维空间区域。
在一种实施方式中，点云媒体的浏览模式包括第二浏览模式，则视窗数据盒还包括点云推荐视窗数据盒，该点云推荐视窗数据盒用于定义点云媒体对应的目标三维空间区域在第二浏览模式下的旋转策略；点云推荐视窗数据盒包括旋转标志字段和点云媒体在第二浏览模式下对应的三维空间区域结构数据；
处理单元602还用于，按照点云旋转结构数据对点云媒体对应的三维空间区域执行旋转处理，具体用于：
当点云推荐视窗数据盒中的旋转标志字段为有效值时，根据点云推荐视窗数据盒中的点云媒体在第二浏览模式下对应的目标三维空间区域结构数据，确定所点云媒体述第二浏览模式下对应的目标三维空间区域；
在第二浏览模式下按照点云旋转结构数据对点云媒体对应的目标三维空间区域执行旋转处理。
在一种实施方式中，点云推荐视窗数据盒还包括推荐视窗类型字段，当推荐视窗类型字段为无效值时，点云推荐视窗数据盒用于定义点云媒体对应的三维空间区域在第二浏览模式下，且在第一推荐视窗类型下的旋转策略；
当推荐视窗类型字段为有效值时，点云推荐视窗数据盒用于定义点云媒体对应的三维空间区域在第二浏览模式下，且在第二推荐视窗类型下的旋转策略；
点云推荐视窗数据盒包括推荐视窗描述字段，该推荐视窗描述字段包括推荐视窗的描述信息，该描述信息是以空字符结尾的八位元字符串。
在一种实施方式中，处理单元602还用于：
在第二浏览模式下显示旋转处理后的点云媒体对应的初始三维空间区域；以及，
切换显示在第二浏览模式下旋转处理后的点云媒体对应的目标三维空间区域。
在一种实施方式中，处理单元602还用于，通过获取单元601获取点云媒体的视窗数据盒，具体用于：
从内容制作设备获取点云媒体的封装文件；
对点云媒体的封装文件进行解封装处理，得到点云媒体的视窗数据盒。
根据本申请的一个实施例，图6所示的点云媒体的数据处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，该点云媒体的数据处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。根据本申请的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2或图4所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图6所示的点云媒体的数据处理装置，以及来实现本申请实施例的点云媒体的数据处理方法。上述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。
基于同一发明构思，本申请实施例中提供点云媒体的数据处理装置解决问题的原理与有益效果与本申请方法实施例中点云媒体的数据处理方法解决问题的原理和有益效果相似，可以参见方法的实施的原理和有益效果，为简洁描述，在这里不再赘述。
请参见图7，图7示出了本申请一个示例性实施例提供的另一种点云媒体的数据处理装置的结构示意图；该点云媒体的数据处理装置可以是运行于内容制作设备中的一个计算机程序(包括程序代码)，例如该点云媒体的数据处理装置可以是内容制作设备中的一个应用软件。由图7所示，该点云媒体的数据处理装置包括获取单元701和处理单元702。图7所示的云媒体的数据处理装置可以用于执行上述图5所描述的方法实施例中的部分或全部功能。其中，各个单元的详细描述如下：
获取单元701，用于获取点云媒体呈现时的视窗信息，该视窗信息包括三维空间区域和朝向信息；
处理单元702，用于根据点云媒体呈现时的视窗信息配置点云媒体的视窗数据盒，该视窗数据盒用于定义点云媒体对应的三维空间区域的旋转策略。
在一种实施方式中，处理单元702还用于：
将视窗数据盒封装至点云媒体的封装文件中，并向内容消费设备发送点云媒体的封装文件。
根据本申请的一个实施例，图7所示的点云媒体的数据处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，该点云媒体的数据处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。根据本申请的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图5所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图7所示的点云媒体的数据处理装置，以及来实现本申请实施例的点云媒体的数据处理方法。上述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。
基于同一发明构思，本申请实施例中提供点云媒体的数据处理装置解决问题的原理与有益效果与本申请方法实施例中点云媒体的数据处理方法解决问题的原理和有益效果相似，可以参见方法的实施的原理和有益效果，为简洁描述，在这里不再赘述。
图8示出了本申请一个示例性实施例提供的一种内容消费设备的结构示意图；该内容消费设备可以是指点云媒体的使用者所使用的计算机设备，该计算机设备可以是终端(如PC、智能移动设备(如智能手机)、VR设备(如VR头盔、VR眼镜等))。如图8所示，该内容消费设备包括接收器801、处理器802、存储器803、显示/播放装置804。其中：
接收器801用于实现解码与其他设备的传输交互，具体用于实现内容制作设备与内容消费设备之间关于进行点云媒体的传输。即内容消费设备通过接收器801来接收内容制作设备传输点云媒体的相关媒体资源。
处理器802(或称CPU(Central Processing Unit，中央处理器))是内容制作设备的处理核心，该处理器802适于实现一条或多条程序指令，具体适于加载并执行一条或多条程序指令从而实现图2或图4所示的点云媒体的数据处理方法的流程。
存储器803是内容消费设备中的记忆设备，用于存放程序和媒体资源。可以理解的是，此处的存储器803既可以包括内容消费设备中的内置存储介质，当然也可以包括内容消费设备所支持的扩展存储介质。需要说明的是，存储器803可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的存储器。存储器803提供存储空间，该存储空间用于存储内容消费设备的操作系统。并且，在该存储空间中还用于存储计算机程序，该计算机程序包括程序指令，且该程序指令适于被处理器调用并执行，以用来执行点云媒体的数据处理方法的各步骤。另外，存储器803还可用于存储经处理器处理后形成的点云媒体的三维图像、三维图像对应的音频内容及该三维图像和音频内容渲染所需的信息等。
显示/播放装置804用于输出渲染得到的声音和三维图像。
再请参见图8，处理器802可包括解析器821、解码器822、转换器823和渲染器824；其中：
解析器821用于对来自内容制作设备的渲染媒体的封装文件进行文件解封装，具体是按照点云媒体的文件格式要求对媒体文件资源进行解封装，得到音频码流和视频码流；并将该音频码流和视频码流提供给解码器822。
解码器822对音频码流进行音频解码，得到音频内容并提供给渲染器进行音频渲染。另外，解码器822对视频码流进行解码得到2D图像。根据媒体呈现描述信息提供的元数据，如果该元数据指示点云媒体执行过区域封装过程，该2D图像是指封装图像；如果该元数据指示点云媒体未执行过区域封装过程，则该平面图像是指投影图像。
转换器823用于将2D图像转换为3D图像。如果点云媒体执行过区域封装过程，转换器823还会先将封装图像进行区域解封装得到投影图像。再对投影图像进行重建处理得到3D图像。如果渲染媒体未执行过区域封装过程，转换器823会直接将投影图像重建得到3D图像。
渲染器824用于对点云媒体的音频内容和3D图像进行渲染。具体根据媒体呈现描述信息中与渲染、视窗相关的元数据对音频内容及3D图像进行渲染，渲染完成交由显示/播放装置进行输出。
在一个示例性实施例中，处理器802(具体是处理器包含的各器件)通过调用存储器803中的一条或多条指令来执行图2或图4所示的点云媒体的数据处理方法的各步骤。具体地，存储器803存储有一条或多条第一指令，该一条或多条第一指令适于由处理器802加载并执行如下步骤：
通过接收器801获取点云媒体的视窗数据盒，该视窗数据盒用于定义点云媒体对应的三维空间区域的旋转策略；
按照视窗数据盒对点云媒体对应的三维空间区域执行旋转处理。
作为一种可选的实施方式，处理器802按照视窗数据盒对点云媒体对应的三维空间区域执行旋转处理的具体实施方式为：
按照点云旋转结构数据对点云媒体对应的三维空间区域执行旋转处理。
作为一种可选的实施方式，点云旋转结构数据包括旋转类型字段，当该旋转类型字段为无效值时，点云旋转结构数据包括第一旋转信息，该第一旋转信息包括旋转偏航角度字段、旋转俯仰角度字段和旋转翻滚角度字段，旋转偏航角度字段、旋转俯仰角度字段和旋转翻滚角度字段的取值均以2-16为单位；旋转偏航角度字段和旋转翻滚角度字段的取值范围是[-180°*216，180°*216)，旋转俯仰角度字段的取值范围是[-90°*216，90°*216]；
处理器802按照点云旋转结构数据对点云媒体对应的三维空间区域执行旋转处理的具体实施方式为：
当旋转类型字段为无效值时，对点云媒体对应的三维空间区域按照第一旋转信息执行第一类型旋转处理。
作为一种可选的实施方式，点云旋转结构数据包括旋转类型字段，当该旋转类型字段为有效值时，点云旋转结构数据包括第二旋转信息，该第二旋转信息包括第一旋转元数字段、第二旋转元数字段、第三旋转元数字段和第四旋转元数字段；
处理器802按照点云旋转结构数据对点云媒体对应的三维空间区域执行旋转处理的具体实施方式为：
当旋转类型字段为有效值时，对点云媒体对应的三维空间区域按照第二旋转信息执行第二类型旋转处理。
作为一种可选的实施方式，视窗数据盒还包括点云初始视窗数据盒，该点云初始视窗数据盒用于定义点云媒体对应的初始三维空间区域的旋转策略；点云初始视窗数据盒包括旋转标志字段和点云媒体对应的初始三维空间区域结构数据；
处理器802按照点云旋转结构数据对点云媒体对应的三维空间区域执行旋转处理的具体实施方式为：
当点云初始视窗数据盒中的旋转标志字段为有效值时，根据点云初始视窗数据盒中的点云媒体对应的初始三维空间区域结构数据，确定点云媒体对应的初始三维空间区域；
按照点云旋转结构数据对点云媒体对应的初始三维空间区域执行旋转处理。
作为一种可选的实施方式，点云媒体的浏览模式包括第一浏览模式；
处理器802通过运行存储器803中的可执行程序代码，还执行如下操作：
在第一浏览模式下显示旋转处理后的点云媒体对应的初始三维空间区域。
作为一种可选的实施方式，点云媒体的浏览模式包括第二浏览模式，则视窗数据盒还包括点云推荐视窗数据盒，该点云推荐视窗数据盒用于定义点云媒体对应的目标三维空间区域在第二浏览模式下的旋转策略；点云推荐视窗数据盒包括旋转标志字段和点云媒体在第二浏览模式下对应的三维空间区域结构数据；
处理器802按照点云旋转结构数据对点云媒体对应的三维空间区域执行旋转处理的具体实施方式为：
当点云推荐视窗数据盒中的旋转标志字段为有效值时，根据点云推荐视窗数据盒中的点云媒体在第二浏览模式下对应的目标三维空间区域结构数据，确定所点云媒体述第二浏览模式下对应的目标三维空间区域；
在第二浏览模式下按照点云旋转结构数据对点云媒体对应的目标三维空间区域执行旋转处理。
作为一种可选的实施方式，点云推荐视窗数据盒还包括推荐视窗类型字段，当推荐视窗类型字段为无效值时，点云推荐视窗数据盒用于定义点云媒体对应的三维空间区域在第二浏览模式下，且在第一推荐视窗类型下的旋转策略；
当推荐视窗类型字段为有效值时，点云推荐视窗数据盒用于定义点云媒体对应的三维空间区域在第二浏览模式下，且在第二推荐视窗类型下的旋转策略；
点云推荐视窗数据盒包括推荐视窗描述字段，该推荐视窗描述字段包括推荐视窗的描述信息，该描述信息是以空字符结尾的八位元字符串。
作为一种可选的实施方式，处理器802通过运行存储器803中的可执行程序代码，还执行如下操作：
在第二浏览模式下显示旋转处理后的点云媒体对应的初始三维空间区域；以及，
切换显示在第二浏览模式下旋转处理后的点云媒体对应的目标三维空间区域。
作为一种可选的实施方式，处理器802通过接收器801获取点云媒体的视窗数据盒的具体实施方式为：
通过接收器801从内容制作设备获取点云媒体的封装文件；
对点云媒体的封装文件进行解封装处理，得到点云媒体的视窗数据盒。
基于同一发明构思，本申请实施例中提供的点云媒体的处理设备解决问题的原理与有益效果与本申请方法实施例中点云媒体的处理方法解决问题的原理和有益效果相似，可以参见方法的实施的原理和有益效果，为简洁描述，在这里不再赘述。
图9示出了本申请一个示例性实施例提供的一种内容制作设备的结构示意图；该内容制作设备可以是指点云媒体的提供者所使用的计算机设备，该计算机设备可以是终端(如PC、智能移动设备(如智能手机)等)或服务器。如图9所示，该内容制作设备包括捕获设备901、处理器902、存储器903和发射器904。其中：
捕获设备901用于采集现实世界的声音-视觉场景获得点云媒体的原始数据(包括在时间和空间上保持同步的音频内容和视频内容)。该捕获设备901可以包括但不限于：音频设备、摄像设备及传感设备。其中，音频设备可以包括音频传感器、麦克风等。摄像设备可以包括普通摄像头、立体摄像头、光场摄像头等。传感设备可以包括激光设备、雷达设备等。
处理器902(或称CPU(Central Processing Unit，中央处理器))是内容制作设备的处理核心，该处理器902适于实现一条或多条程序指令，具体适于加载并执行一条或多条程序指令从而实现图5所示的点云媒体的数据处理方法的流程。
存储器903是内容制作设备中的记忆设备，用于存放程序和媒体资源。可以理解的是，此处的存储器903既可以包括内容制作设备中的内置存储介质，当然也可以包括内容制作设备所支持的扩展存储介质。需要说明的是，存储器可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的存储器。存储器提供存储空间，该存储空间用于存储内容制作设备的操作系统。并且，在该存储空间中还用于存储计算机程序，该计算机程序包括程序指令，且该程序指令适于被处理器调用并执行，以用来执行点云媒体的数据处理方法的各步骤。另外，存储器903还可用于存储经处理器处理后形成的点云媒体文件，该点云媒体文件包括媒体文件资源和媒体呈现描述信息。
发射器904用于实现内容制作设备与其他设备的传输交互，具体用于实现内容制作设备与内容消费设备之间关于进行点云媒体的传输。即内容制作设备通过发射器904来向内容消费设备传输点云媒体的相关媒体资源。
再请参见图9，处理器902可包括转换器921、编码器922和封装器923；其中：
转换器921用于对捕获到的视频内容进行一系列转换处理，使视频内容成为适合被执行点云媒体的视频编码的内容。转换处理可包括：拼接和投影，可选地，转换处理还包括区域封装。转换器921可以将捕获到的3D视频内容转换为2D图像，并提供给编码器进行视频编码。
编码器922用于对捕获到的音频内容进行音频编码形成点云媒体的音频码流。还用于对转换器921转换得到的2D图像进行视频编码，得到视频码流。
封装器923用于将音频码流和视频码流按照点云媒体的文件格式(如ISOBMFF)封装在文件容器中形成点云媒体的媒体文件资源，该媒体文件资源可以是媒体文件或媒体片段形成点云媒体的媒体文件；并按照点云媒体的文件格式要求采用媒体呈现描述信息记录该点云媒体的媒体文件资源的元数据。封装器处理得到的点云媒体的封装文件会保存在存储器中，并按需提供给内容消费设备进行点云媒体的呈现。
在一个示例性实施例中，处理器902(具体是处理器包含的各器件)通过调用存储器903中的一条或多条指令来执行图5所示的点云媒体的数据处理方法的各步骤。具体地，存储器903存储有一条或多条第一指令，该一条或多条第一指令适于由处理器902加载并执行如下步骤：
通过捕获设备901获取点云媒体呈现时的视窗信息，该视窗信息包括三维空间区域和朝向信息；
根据点云媒体呈现时的视窗信息配置点云媒体的视窗数据盒，该视窗数据盒用于定义点云媒体对应的三维空间区域的旋转策略。
作为一种可选的实施方式，处理器902通过运行存储器903中的可执行程序代码，还执行如下操作：
将视窗数据盒封装至点云媒体的封装文件中，并通过发射器904向内容消费设备发送点云媒体的封装文件。
基于同一发明构思，本申请实施例中提供的点云媒体的处理设备解决问题的原理与有益效果与本申请方法实施例中点云媒体的处理方法解决问题的原理和有益效果相似，可以参见方法的实施的原理和有益效果，为简洁描述，在这里不再赘述。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，该计算机程序适于由处理器加载并执行上述方法实施例的应用程序的处理方法。
本申请实施例还提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述应用程序的处理的方法。
需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，可读存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
以上所揭露的仅为本申请一种较佳实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本申请权利要求所作的等同变化，仍属于申请所涵盖的范围。

Claims (15)

1.一种点云媒体的数据处理方法，其特征在于，所述方法包括：
获取点云媒体的视窗数据盒，所述视窗数据盒用于定义所述点云媒体对应的三维空间区域的旋转策略；
按照所述视窗数据盒对所述点云媒体对应的三维空间区域执行旋转处理。
2.如权利要求1所述的方法，其特征在于，所述视窗数据盒包括点云旋转结构数据；所述按照所述视窗数据盒对所述点云媒体对应的三维空间区域执行旋转处理，包括：
按照所述点云旋转结构数据对所述点云媒体对应的三维空间区域执行旋转处理。
3.如权利要求2所述的方法，其特征在于，所述点云旋转结构数据包括旋转类型字段，当所述旋转类型字段为无效值时，所述点云旋转结构数据包括第一旋转信息，所述第一旋转信息包括旋转偏航角度字段、旋转俯仰角度字段和旋转翻滚角度字段，所述旋转偏航角度字段、所述旋转俯仰角度字段和所述旋转翻滚角度字段的取值均以2-16为单位；所述旋转偏航角度字段和所述旋转翻滚角度字段的取值范围是[-180°*216，180°*216)，所述旋转俯仰角度字段的取值范围是[-90°*216，90°*216]；
所述按照所述点云旋转结构数据对所述点云媒体对应的三维空间区域执行旋转处理，包括：
当所述旋转类型字段为无效值时，对所述点云媒体对应的三维空间区域按照所述第一旋转信息执行第一类型旋转处理。
4.如权利要求2所述的方法，其特征在于，所述点云旋转结构数据包括旋转类型字段，当所述旋转类型字段为有效值时，所述点云旋转结构数据包括第二旋转信息，所述第二旋转信息包括第一旋转元数字段、第二旋转元数字段、第三旋转元数字段和第四旋转元数字段；
所述按照所述点云旋转结构数据对所述点云媒体对应的三维空间区域执行旋转处理，包括：
当所述旋转类型字段为有效值时，对所述点云媒体对应的三维空间区域按照所述第二旋转信息执行第二类型旋转处理。
5.如权利要求2-4任一项所述的方法，其特征在于，所述视窗数据盒还包括点云初始视窗数据盒，所述点云初始视窗数据盒用于定义所述点云媒体对应的初始三维空间区域的旋转策略；所述点云初始视窗数据盒包括旋转标志字段和所述点云媒体对应的初始三维空间区域结构数据；
所述按照所述点云旋转结构数据对所述点云媒体对应的三维空间区域执行旋转处理，包括：
当所述点云初始视窗数据盒中的旋转标志字段为有效值时，根据所述点云初始视窗数据盒中的所述点云媒体对应的初始三维空间区域结构数据，确定所述点云媒体对应的初始三维空间区域；
按照所述点云旋转结构数据对所述点云媒体对应的初始三维空间区域执行旋转处理。
6.如权利要求5所述的方法，其特征在于，所述点云媒体的浏览模式包括第一浏览模式，所述方法还包括：
在所述第一浏览模式下显示所述旋转处理后的所述点云媒体对应的初始三维空间区域。
7.如权利要求5所述的方法，其特征在于，所述点云媒体的浏览模式包括第二浏览模式，则所述视窗数据盒还包括点云推荐视窗数据盒，所述点云推荐视窗数据盒用于定义所述点云媒体对应的目标三维空间区域在第二浏览模式下的旋转策略；所述点云推荐视窗数据盒包括旋转标志字段和所述点云媒体在所述第二浏览模式下对应的目标三维空间区域结构数据；
所述按照所述点云旋转结构数据对所述点云媒体对应的三维空间区域执行旋转处理，还包括：
当所述点云推荐视窗数据盒中的旋转标志字段为有效值时，根据所述点云推荐视窗数据盒中的所述点云媒体在所述第二浏览模式下对应的目标三维空间区域结构数据，确定所述点云媒体在所述第二浏览模式下对应的目标三维空间区域；
在所述第二浏览模式下按照所述点云旋转结构数据对所述点云媒体对应的目标三维空间区域执行旋转处理。
8.如权利要求7所述的方法，其特征在于，所述点云推荐视窗数据盒还包括推荐视窗类型字段，当所述推荐视窗类型字段为无效值时，所述点云推荐视窗数据盒用于定义所述点云媒体对应的三维空间区域在第二浏览模式下，且在第一推荐视窗类型下的旋转策略；
当所述推荐视窗类型字段为有效值时，所述点云推荐视窗数据盒用于定义所述点云媒体对应的三维空间区域在第二浏览模式下，且在第二推荐视窗类型下的旋转策略；
所述点云推荐视窗数据盒包括推荐视窗描述字段，所述推荐视窗描述字段包括推荐视窗的描述信息，所述描述信息是以空字符结尾的八位元字符串。
9.如权利要求7所述的方法，其特征在于，所述方法还包括：
在所述第二浏览模式下显示旋转处理后的所述点云媒体对应的初始三维空间区域；以及，
切换显示在所述第二浏览模式下旋转处理后的所述点云媒体对应的目标三维空间区域。
10.如权利要求1所述的方法，其特征在于，所述获取点云媒体的视窗数据盒，包括：
从内容制作设备获取点云媒体的封装文件；
对所述点云媒体的封装文件进行解封装处理，得到所述点云媒体的视窗数据盒。
11.一种点云媒体的数据处理方法，其特征在于，所述方法包括：
获取点云媒体呈现时的视窗信息，所述视窗信息包括三维空间区域和朝向信息；
根据所述点云媒体呈现时的视窗信息配置所述点云媒体的视窗数据盒，所述视窗数据盒用于定义所述点云媒体对应的三维空间区域的旋转策略。
12.如权利要求11所述的方法，其特征在于，所述方法还包括：
将所述视窗数据盒封装至所述点云媒体的封装文件中，并向内容消费设备发送所述点云媒体的封装文件。
13.一种点云媒体的数据处理装置，其特征在于，包括：
获取单元，用于获取点云媒体的视窗数据盒，所述视窗数据盒用于定义所述点云媒体对应的三维空间区域的旋转策略；
处理单元，用于按照所述视窗数据盒对所述点云媒体对应的三维空间区域执行旋转处理。
14.一种点云媒体的数据处理装置，其特征在于，包括：
获取单元，用于获取点云媒体呈现时的视窗信息，所述视窗信息包括三维空间区域和朝向信息；
处理单元，用于根据所述点云媒体呈现时的视窗信息配置所述点云媒体的视窗数据盒，所述视窗数据盒用于定义所述点云媒体对应的三维空间区域的旋转策略。
15.一种点云媒体的数据处理设备，其特征在于，包括：
处理器，适于执行计算机程序；
计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1-10任一项所述的点云媒体的数据处理方法，或实现如权利要求11或12所述的点云媒体的数据处理方法。
CN202010833360.5A 2020-08-18 2020-08-18 一种点云媒体的数据处理方法、装置、设备及介质 Pending CN114078191A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010833360.5A CN114078191A (zh) 2020-08-18 2020-08-18 一种点云媒体的数据处理方法、装置、设备及介质
PCT/CN2021/110966 WO2022037423A1 (zh) 2020-08-18 2021-08-05 点云媒体的数据处理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010833360.5A CN114078191A (zh) 2020-08-18 2020-08-18 一种点云媒体的数据处理方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN114078191A true CN114078191A (zh) 2022-02-22

Family

ID=80281705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010833360.5A Pending CN114078191A (zh) 2020-08-18 2020-08-18 一种点云媒体的数据处理方法、装置、设备及介质

Country Status (2)

Country Link
CN (1) CN114078191A (zh)
WO (1) WO2022037423A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10623635B2 (en) * 2016-09-23 2020-04-14 Mediatek Inc. System and method for specifying, signaling and using coding-independent code points in processing media contents from multiple media sources
EP3474562A1 (en) * 2017-10-20 2019-04-24 Thomson Licensing Method, apparatus and stream for volumetric video format
CN108765584B (zh) * 2018-05-31 2023-07-14 深圳市易成自动驾驶技术有限公司 激光点云数据集增广方法、装置及可读存储介质
CN110719497B (zh) * 2018-07-12 2021-06-22 华为技术有限公司 点云编解码方法和编解码器
CN111479114B (zh) * 2019-01-23 2022-07-22 华为技术有限公司 点云的编解码方法及装置

Also Published As

Publication number Publication date
WO2022037423A1 (zh) 2022-02-24

Similar Documents

Publication Publication Date Title
KR102208129B1 (ko) 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
US10887577B2 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
JP7472220B2 (ja) 方法、プログラム、及びデバイス
KR20210016530A (ko) 미디어 콘텐츠 전송을 위한 방법, 디바이스, 및 컴퓨터 프로그램
CN113891117B (zh) 沉浸媒体的数据处理方法、装置、设备及可读存储介质
US20230169719A1 (en) Method and Apparatus for Processing Immersive Media Data, Storage Medium and Electronic Apparatus
CN114079781B (zh) 一种点云媒体的数据处理方法、装置、设备及存储介质
CN114095737B (zh) 媒体文件封装及解封装方法、装置、设备及存储介质
WO2018028512A1 (en) File format for indication of video content
CN113852829A (zh) 点云媒体文件的封装与解封装方法、装置及存储介质
CN113949829B (zh) 媒体文件封装及解封装方法、装置、设备及存储介质
CN114116617A (zh) 点云媒体的数据处理方法、装置、设备及可读存储介质
CN113766271A (zh) 一种沉浸媒体的数据处理方法
CN114078191A (zh) 一种点云媒体的数据处理方法、装置、设备及介质
CN115002470A (zh) 一种媒体数据处理方法、装置、设备以及可读存储介质
CN114581631A (zh) 沉浸式媒体的数据处理方法、装置和计算机可读存储介质
CN115102932B (zh) 点云媒体的数据处理方法、装置、设备、存储介质及产品
CN115086635B (zh) 多视角视频的处理方法、装置、设备及存储介质
CN114554243B (zh) 点云媒体的数据处理方法、装置、设备及存储介质
EP4290866A1 (en) Media file encapsulation method and apparatus, media file decapsulation method and apparatus, device and storage medium
CN115061984A (zh) 点云媒体的数据处理方法、装置、设备、存储介质
CN116643644A (zh) 一种沉浸媒体的数据处理方法、装置、设备及存储介质
CN115426502A (zh) 点云媒体的数据处理方法、装置、设备及存储介质
CN116781675A (zh) 一种点云媒体的数据处理方法、装置、设备及介质
CN118158377A (zh) 点云媒体的数据处理方法、装置、设备、存储介质及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40064954

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination