CN117176715A - 点云编解码方法、装置、计算机可读介质及电子设备 - Google Patents

点云编解码方法、装置、计算机可读介质及电子设备 Download PDF

Info

Publication number
CN117176715A
CN117176715A CN202311208677.XA CN202311208677A CN117176715A CN 117176715 A CN117176715 A CN 117176715A CN 202311208677 A CN202311208677 A CN 202311208677A CN 117176715 A CN117176715 A CN 117176715A
Authority
CN
China
Prior art keywords
point cloud
quality
file
data
indication information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311208677.XA
Other languages
English (en)
Inventor
胡颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202311208677.XA priority Critical patent/CN117176715A/zh
Publication of CN117176715A publication Critical patent/CN117176715A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Error Detection And Correction (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请属于计算机及通信技术领域，具体涉及一种点云编解码方法、点云编解码装置、计算机可读介质以及电子设备。本申请实施例中的点云解码方法包括：接收由数据源传输的点云文件，所述点云文件包括具有相同点云内容且具有不同点云质量的点云媒体轨道；解析所述点云媒体轨道的文件封装信息，得到所述文件封装信息中携带的质量指示信息，所述质量指示信息用于表示所述点云媒体轨道的点云质量，所述点云质量包括点云码流的码率和帧率中的至少一种；根据所述文件封装信息中携带的质量指示信息从所述点云文件中选取并解码具有指定的点云质量的点云媒体轨道。本申请实施例可以明确地指示点云文件及文件成分的质量级别，从而可以在点云数据编解码和数据传输中灵活且准确地选择适合的点云数据。

Description

点云编解码方法、装置、计算机可读介质及电子设备
本申请是申请号为202110351657.2、申请日为2021年3月31日、发明名称为“点云编解码方法、装置、计算机可读介质及电子设备”的发明专利申请的分案申请。
技术领域
本申请属于计算机及通信技术领域，具体涉及一种点云编解码方法、点云编解码装置、计算机可读介质以及电子设备。
背景技术
点云是空间中一组无规则分布的、表达三维物体或场景的空间结构及表面属性的离散点集。在通过点云采集设备获取到大规模的点云数据后，可以对点云数据进行编码封装以向用户传输和呈现。然而，如何传输适合于网络和设备条件的点云数据是目前亟待解决的问题。
发明内容
本申请的目的在于提供一种点云编解码方法、点云编解码装置、计算机可读介质以及电子设备，至少在一定程度上克服相关技术中存在的点云数据传输灵活性差的技术问题。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面，提供一种点云解码方法，该方法包括：接收由数据源传输的点云文件，所述点云文件包括具有相同点云内容且具有不同点云质量的点云媒体轨道；解析所述点云媒体轨道的文件封装信息，得到所述文件封装信息中携带的质量指示信息，所述质量指示信息用于表示所述点云媒体轨道的点云质量，所述点云质量包括点云码流的码率和帧率中的至少一种；根据所述文件封装信息中携带的质量指示信息从所述点云文件中选取并解码具有指定的点云质量的点云媒体轨道。
根据本申请实施例的一个方面，提供一种点云解码装置，该装置包括：接收模块，被配置为接收由数据源传输的点云文件，所述点云文件包括具有相同点云内容且具有不同点云质量的点云媒体轨道；解析模块，被配置为解析所述点云媒体轨道的文件封装信息，得到所述文件封装信息中携带的质量指示信息，所述质量指示信息用于表示所述点云媒体轨道的点云质量，所述点云质量包括点云码流的码率和帧率中的至少一种；解码模块，被配置为根据所述文件封装信息中携带的质量指示信息从所述点云文件中选取并解码具有指定的点云质量的点云媒体轨道。
在本申请的一些实施例中，基于以上技术方案，所述接收模块包括：信令接收单元，被配置为接收由数据源发送的用于传输点云数据的流媒体信令；信令解析单元，被配置为解析所述流媒体信令，得到所述流媒体信令中携带的至少两种可供选择的质量指示信息；请求发送单元，被配置为根据所述流媒体信令中携带的质量指示信息，向所述数据源发送数据传输请求；文件接收单元，被配置为接收由所述数据源传输的与所述数据传输请求相对应的点云文件。
在本申请的一些实施例中，基于以上技术方案，所述请求发送单元包括：带宽获取子单元，被配置为获取与所述数据源进行数据传输的网络带宽；带宽匹配子单元，被配置为将所述网络带宽与所述流媒体信令中携带的质量指示信息进行匹配检测，以选取与所述网络带宽相匹配的目标点云质量；请求发送子单元，被配置为向所述数据源发送根据所述目标点云质量生成的数据传输请求。
在本申请的一些实施例中，基于以上技术方案，所述解析模块包括：信息解析单元，被配置为解析所述点云媒体轨道的文件封装信息，以确定至少一个与所述点云媒体轨道的质量参数相关的质量指示字段；信息确定单元，被配置为根据所述质量指示字段的取值，确定所述点云媒体文件的质量指示信息。
在本申请的一些实施例中，基于以上技术方案，所述质量指示信息包括质量真实值、质量等效值和质量等级中的至少一种；其中，所述质量真实值为所述质量参数的参数取值，所述质量等效值是将所述质量参数的参数取值与预设的单位质量参数相比得到的单位质量参数的数量，所述质量等级是用于表示所述质量参数的参数取值范围的等级信息。
在本申请的一些实施例中，基于以上技术方案，所述质量参数包括点云码流的码率和帧率中的至少一种。
根据本申请实施例的一个方面，提供一种点云编码方法，该方法包括：按照不同的编码标准对待传输的点云数据进行编码处理，得到具有相同点云内容且具有不同点云质量的点云码流，所述点云质量包括点云码流的码率和帧率中的至少一种；根据所述编码标准向所述点云码流中填充用于表示所述点云质量的质量指示信息；将所述点云码流封装为点云媒体轨道，并向所述点云媒体轨道中填充与所述点云码流相对应的质量指示信息。
根据本申请实施例的一个方面，提供一种点云编码装置，该装置包括：编码模块，被配置为按照不同的编码标准对待传输的点云数据进行编码处理，得到具有相同点云内容且具有不同点云质量的点云码流，所述点云质量包括点云码流的码率和帧率中的至少一种；填充模块，被配置为根据所述编码标准向所述点云码流中填充用于表示所述点云质量的质量指示信息；封装模块，被配置为将所述点云码流封装为点云媒体轨道，并向所述点云媒体轨道中填充与所述点云码流相对应的质量指示信息。
在本申请的一些实施例中，基于以上技术方案，所述点云编码装置还包括：信令生成模块，被配置为生成用于传输点云数据的流媒体信令；信令填充模块，被配置为向所述流媒体信令中填充与各个所述点云码流相对应的质量指示信息；信令发送模块，被配置为向数据接收方发送所述流媒体信令。
在本申请的一些实施例中，基于以上技术方案，所述点云编码装置还包括：请求接收模块，被配置为接收由所述数据接收方发送的基于所述流媒体信令生成的数据传输请求；文件传输模块，被配置为根据所述数据传输请求，向所述数据接收方传输点云文件，所述点云文件包括具有相同点云内容且具有不同点云质量的点云媒体轨道。
在本申请的一些实施例中，基于以上技术方案，所述填充模块包括：取值确定单元，被配置为根据所述编码标准确定所述点云码流的质量参数的参数取值，并在所述点云码流中确定与所述质量参数相对应的质量指示字段；第一信息确定单元，被配置为根据所述质量参数的参数取值确定用于表示所述点云质量的质量指示信息；第一信息填充单元，被配置为根据所述质量参数与所述质量指示字段的对应关系，将所述质量指示信息填充至所述质量指示字段。
在本申请的一些实施例中，基于以上技术方案，所述封装模块包括：
第二信息确定单元，被配置为在所述点云媒体轨道的文件封装信息中确定与所述质量指示信息相对应的质量指示字段；
第二信息填充单元，被配置为将与所述点云码流相对应的质量指示信息填充至所述文件封装信息中的质量指示字段。
根据本申请实施例的一个方面，提供一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如以上技术方案中的方法。
根据本申请实施例的一个方面，提供一种电子设备，该电子设备包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器被配置为经由执行所述可执行指令来执行如以上技术方案中的方法。
根据本申请实施例的一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如以上技术方案中的方法。
在本申请实施例提供的技术方案中，通过在点云数据编码和文件封装过程中添加用于表示点云质量的质量指示信息，可以明确地指示点云文件以及各个成分(几何、属性等)的质量级别，使得客户端能够更加精准地请求对应的点云文件，也能在解码呈现时根据客户端自身的需求和性能条件选择对应的成分。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。
图2示出点云编码装置和点云解码装置在流式传输环境中的放置方式。
图3示出了本申请一个实施例中的点云解码方法的步骤流程图。
图4示出了本申请一个实施例中以多轨道封装的可替换组示意图。
图5示出了本申请一个实施例中从数据源接收点云文件的步骤流程图。
图6示出了本申请一个实施例中的点云编码方法的步骤流程图。
图7示出了本申请一个实施例中的GPCC码流高层语法示意图。
图8示出了本申请一个实施例中以码率作为质量指示信息进行点云数据传输的步骤流程图。
图9示出了本申请一个实施例中以帧率作为质量指示信息进行点云数据传输的步骤流程图。
图10示意性地示出了本申请实施例提供的点云解码装置的结构框图。
图11示意性地示出了本申请实施例提供的点云编码装置的结构框图。
图12示意性示出了适于用来实现本申请实施例的电子设备的计算机系统结构框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
点云是空间中一组无规则分布的、表达三维物体或场景的空间结构及表面属性的离散点集。点云中的每个点至少具有三维位置信息，根据应用场景的不同，还可能具有色彩、材质或其他信息。通常，点云中的每个点都具有相同数量的附加属性。点云媒体从编码方式上又可以分为基于传统视频编码方式进行压缩的点云媒体(Video-based PointCloud Compression，VPCC)以及基于几何特征进行压缩的点云媒体(Geometry-basedPoint Cloud Compression，GPCC)。在点云媒体的文件封装中，三维位置信息通常称为点云文件的几何分量(Geometry Component)，属性信息称为点云文件的属性分量(AttributeComponent)。一个点云文件仅有一个几何分量，但可以存在一个或多个属性分量。
点云可以灵活方便地表达三维物体或场景的空间结构及表面属性，因而应用广泛，其主要应用场景可以归为两大类别。1)机器感知点云，例如自主导航系统、实时巡检系统、地理信息系统、视觉分拣机器人、抢险救灾机器人。2)人眼感知点云，例如数字文化遗产、自由视点广播、三维沉浸通信、三维沉浸交互等点云应用场景。
点云的获取主要有以下途径：计算机生成、3D激光扫描、3D摄影测量等。计算机可以生成虚拟三维物体及场景的点云。3D扫描可以获得静态现实世界三维物体或场景的点云，每秒可以获取百万级点云。3D摄像可以获得动态现实世界三维物体或场景的点云，每秒可以获取千万级点云。此外，在医学领域，由MRI、CT、电磁定位信息，可以获得生物组织器官的点云。这些技术降低了点云数据获取成本和时间周期，提高了数据的精度。点云数据获取方式的变革，使大量点云数据的获取成为可能。伴随着大规模的点云数据不断积累，点云数据的高效存储、传输、发布、共享和标准化，成为点云应用的关键。
在对点云媒体进行编码后，需要对编码后的数据流进行封装并传输给用户。相对应的，在点云媒体播放器端，需要先对点云文件进行解封装，然后再进行解码，最后将解码后的数据流呈现。
图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。
如图1所示，系统架构100包括多个终端装置，所述终端装置可通过例如网络150彼此通信。举例来说，系统架构100可以包括通过网络150互连的第一终端装置110和第二终端装置120。在图1的实施例中，第一终端装置110和第二终端装置120执行单向数据传输。
举例来说，第一终端装置110可以对点云数据(例如由第一终端装置110采集的点云码流)进行编码以通过网络150传输到第二终端装置120，已编码的点云数据以一个或多个已编码点云码流的形式传输，第二终端装置120可从网络150接收已编码点云数据，对已编码点云数据进行解码并显示已解码的点云数据。
在本申请的一个实施例中，系统架构100可以包括执行已编码点云数据的双向传输的第三终端装置130和第四终端装置140，所述双向传输比如可以发生在视频会议期间。对于双向数据传输，第三终端装置130和第四终端装置140中的每个终端装置可对点云数据(例如由终端装置采集的点云码流)进行编码，以通过网络150传输到第三终端装置130和第四终端装置140中的另一终端装置。第三终端装置130和第四终端装置140中的每个终端装置还可接收由第三终端装置130和第四终端装置140中的另一终端装置传输的已编码点云数据，且可对已编码点云数据进行解码以恢复点云数据，并可根据恢复的点云数据在可访问的显示装置上显示点云数据。
在图1的实施例中，第一终端装置110、第二终端装置120、第三终端装置130和第四终端装置140可为服务器、个人计算机和智能电话，但本申请公开的原理可不限于此。本申请公开的实施例适用于膝上型计算机、平板电脑、媒体播放器和/或专用视频会议设备。网络150表示在第一终端装置110、第二终端装置120、第三终端装置130和第四终端装置140之间传送已编码点云数据的任何数目的网络，包括例如有线和/或无线通信网络。网络150可在电路交换和/或分组交换信道中交换数据。该网络可包括电信网络、局域网、广域网和/或互联网。出于本申请的目的，除非在下文中有所解释，否则网络150的架构和拓扑对于本申请公开的操作来说可能是无关紧要的。
在本申请的一个实施例中，图2示出点云编码装置和点云解码装置在流式传输环境中的放置方式。本申请所公开主题可同等地适用于其它支持点云的应用，包括例如视频会议、数字电视、在包括CD、DVD、存储棒等的数字介质上存储已压缩的点云数据等等。
流式传输系统可包括采集子系统213，采集子系统213可包括数码相机等点云数据源201，点云数据源201例如可以创建未压缩的点云数据202。在实施例中，点云数据202包括由数码相机拍摄的样本。相较于已编码的点云数据204(或已编码的点云码流)，点云数据202被描绘为粗线以强调高数据量的点云数据，点云数据202可由电子装置220处理，电子装置220包括耦接到点云数据源201的视频编码装置203。视频编码装置203可包括硬件、软件或软硬件组合以实现或实施如下文更详细地描述的所公开主题的各方面。相较于点云数据202，已编码的点云数据204(或已编码的点云码流)被描绘为细线以强调较低数据量的已编码的点云数据204(或已编码的点云码流)，其可存储在流式传输服务器205上以供将来使用。一个或多个流式传输客户端子系统，例如图2中的客户端子系统206和客户端子系统208，可访问流式传输服务器205以检索已编码的作为点云数据204的副本的点云数据207和点云数据209。客户端子系统206可包括例如电子装置230中的点云解码装置210。点云解码装置210对已编码的点云数据的传入副本207进行解码，且产生可在显示器212(例如显示屏)或另一呈现装置上呈现的输出点云数据211。在一些流式传输系统中，可根据某些点云编码/压缩标准对已编码的点云数据204、点云数据207和点云数据209(例如点云码流)进行编码。这些标准的实施例可以包括由MPEG为GPCC开发的标准。
应注意，电子装置220和电子装置230可包括图中未示出的其它组件。举例来说，电子装置220可包括点云解码装置，且电子装置230还可包括点云编码装置。
下面结合具体实施方式对本申请提供的点云编解码方法、点云编解码装置、计算机可读介质以及电子设备等技术方案做出详细说明。
图3示出了本申请一个实施例中的点云解码方法的步骤流程图，该方法可以应用于点云媒体系统的服务器、客户端以及中间节点等环节，本申请实施例以安装有点云解码装置的客户端设备执行的点云解码方法作为示例。如图3所示，该点云解码方法主要可以包括如下的步骤S310至步骤S330。
步骤S310：接收由数据源传输的点云文件，点云文件包括具有相同点云内容且具有不同点云质量的点云媒体轨道。
在点云文件中封装有对应于不同点云媒体轨道的可替换组(alternativegroup)，具有相同点云内容且具有不同点云质量的点云媒体轨道可以划分在同一个可替换组内。当GPCC点云数据以单轨道封装时，不同质量的点云内容的轨道同属一个可替换组。当GPCC点云数据以多轨道封装时，不同质量的点云内容的几何成分轨道同属一个可替换组，而属性成分轨道可以关联至几何成分轨道。
图4示出了本申请一个实施例中以多轨道封装的可替换组示意图。如图4所示，在可替换组400中包括具有相同点云内容的第一点云数据410和第二点云数据420。其中，第一点云数据410是点云质量相对较高的无损压缩点云数据(Losslesscoded GPCC)，第二点云数据420是点云质量相对较低的有损压缩点云数据(Lossycoded GPCC)。
第一点云数据410中包括第一几何成分轨道411和关联至第一几何成分轨道411的第一属性成分轨道412，第二点云数据420中包括第二几何成分轨道421和关联至第二几何成分轨道421的第二属性成分轨道422。
步骤S320：解析点云媒体轨道的文件封装信息，得到文件封装信息中携带的质量指示信息，质量指示信息用于表示点云媒体轨道的点云质量。
文件封装信息是在将点云码流封装为点云文件时生成的用于记录点云文件相关的解码配置数据的数据盒，例如可以是GPCC解码器配置记录数据盒(GPCCDecoderConfigurationRecord)。
在本申请的一个实施例中，解析文件封装信息得到质量指示信息的方法可以包括：解析点云媒体轨道的文件封装信息，以确定至少一个与点云媒体轨道的质量参数相关的质量指示字段；根据质量指示字段的取值，确定点云媒体文件的质量指示信息。
在本申请的一个实施例中点云媒体轨道的质量参数可以包括点云码流的码率和帧率中的至少一种。在其他一些可选的实施方式中，质量参数还可以包括分辨率、画质等其他媒体资源质量相关的参数。
在本申请的一个实施例中，质量指示信息包括质量真实值、质量等效值和质量等级中的至少一种。
质量真实值为质量参数的参数取值。例如，一个点云媒体轨道对应点云码流的码率为10000bit/s，则可以将质量真实值10000确定为该点云媒体轨道的质量指示信息。又例如，一个点云媒体轨道对应点云码流的帧率为30fps，则可以将质量真实值30确定为该点云媒体轨道的质量指示信息。
质量等效值是将质量参数的参数取值与预设的单位质量参数相比得到的单位质量参数的数量。例如，以400bit/s作为单位质量参数，一个点云媒体轨道对应点云码流的码率为10000bit/s，则可以将质量等效值10000/400＝25作为质量指示信息。当质量参数的参数取值与预设的单位质量参数之间的比值为小数时，可以对该比值向上取整以确定单位质量参数的数量。
质量等级是用于表示质量参数的参数取值范围的等级信息。例如，针对参数码率，可以预先设定多个不同的码率数值范围，每个码率数值范围对应一个码率等级，该码率等级即为用于表示点云质量的质量等级。
在本申请的一个实施例中，作为文件封装信息的GPCC解码器配置记录数据盒语法如下。
其中，bitrate为对应于码率的质量指示字段，其取值为一个长度为8字节的无符号整数；frame_rate为对应于帧率的质量指示字段，其取值也是一个长度为8字节的无符号整数。
步骤S330：根据文件封装信息中携带的质量指示信息从点云文件中选取并解码具有指定的点云质量的点云媒体轨道。
在每个点云媒体轨道对应的文件封装信息中，均携带有该点云媒体轨道的质量指示信息，该质量指示信息以显性标识的方式标识出点云媒体轨道的点云质量。当点云文件由数据源传输至用户所在的数据接收方时，数据接收方可以根据设备性能以及用户需求解码具有指定的点云质量的点云媒体轨道。
在本申请的一个实施例中，可以通过采集数据接收方的设备性能，并将设备性能与文件封装信息中携带的质量指示信息进行匹配检测，确定与数据接收方的设备性能相匹配的点云质量，进而从点云文件中选取并解码具有指定的点云质量的点云媒体轨道。
设备性能可以包括硬件性能、软件性能和网络性能中的至少一种。硬件性能例如可以包括电子设备的设备型号、处理器型号、存储器容量、显示器尺寸等等，软件性能例如可以包括数据接收方安装的点云解码器的程序版本，网络性能例如可以包括网络带宽、网络传输状态等等。
在本申请的一个实施例中，可以获取数据接收方配置的质量选取规则，并将质量选取规则与文件封装信息中携带的质量指示信息进行匹配检测，确定与数据接收方配置质量选取规则相匹配的点云质量，进而从点云文件中选取并解码具有指定的点云质量的点云媒体轨道。
质量选取规则可以是根据用户需求配置的用于选取具有指定点云质量的点云数据的选取规则，例如根据用户指令选取码率大于(或者小于)指定数值的点云数据。
图5示出了本申请一个实施例中从数据源接收点云文件的步骤流程图。如图5所示，在以上实施例的基础上，步骤S310中的接收由数据源传输的点云文件，可以包括如下的步骤S510至步骤S540。
步骤S510：接收由数据源发送的用于传输点云数据的流媒体信令。
在本申请的一个实施例中，用于传输点云数据的流媒体信令可以是基于HTTP的动态自适应流(dynamic adaptive streaming over HTTP，DASH)信令，DASH是一种自适应比特率流技术，该技术可以使高质量流媒体通过传统的HTTP网络服务器进行互联网传递。
步骤S520：解析流媒体信令，得到流媒体信令中携带的至少两种可供选择的质量指示信息。
在DASH信令中，可以利用已有的字段来存储可供选择的质量指示信息，例如可以利用DASH信令中的bandwidth字段来指示多种不同点云媒体轨道的码率，可以利用DASH信令中的frameRate字段来指示多种不同点云媒体轨道的帧率。
步骤S530：根据流媒体信令中携带的质量指示信息，向数据源发送数据传输请求。
根据解析得到的流媒体信令中携带的质量指示信息，可以选择其中一种或者多种质量指示信息作为目标点云质量，并进一步向数据源发送对应于目标点云质量的数据传输请求。
在本申请的一个实施例中，发送数据传输请求的方法可以包括：获取与数据源进行数据传输的网络带宽；将网络带宽与流媒体信令中携带的质量指示信息进行匹配检测，以选取与网络带宽相匹配的目标点云质量；向数据源发送根据目标点云质量生成的数据传输请求。
在本申请的一个实施例中，当网络带宽大于设定阈值时，可以选取两个或者两个以上的目标点云质量。当网络带宽小于或等于设定阈值时，可以选取一个目标点云质量。
步骤S540：接收由数据源传输的与数据传输请求相对应的点云文件。
当根据质量指示信息向数据源发送针对一个对应于目标点云质量的数据传输请求时，数据源可以基于该请求向数据接收方传输相应的一个点云媒体轨道。当根据质量指示信息向数据源发送针对多个对应于目标点云质量的数据传输请求时，数据源可以基于该请求向数据接收方传输相应的多个具有不同点云质量的点云媒体轨道。
图6示出了本申请一个实施例中的点云编码方法的步骤流程图，该点云编码方法可以应用于点云媒体系统的服务器、客户端以及中间节点等环节，本申请实施例以安装有点云编码装置的服务器设备执行的点云编码方法作为示例。如图6所示，该点云编码方法主要可以包括如下的步骤S610至步骤S630。
步骤S610：按照不同的编码标准对待传输的点云数据进行编码处理，得到具有相同点云内容且具有不同点云质量的点云码流。
为了满足不同的数据接收方对于点云数据的质量需求，针对某一点云内容的点云数据，可以按照多种不同的编码标准进行编码处理后得到具有不同点云质量的点云码流。编码标准可以包括一种或者多种质量参数的参数取值，将各种质量参数的不同参数取值进行组合可以形成多种不同的编码标准，例如当质量参数包括码率和帧率，而码率包括两种不同的码率取值A1、A2，帧率也包括两种不同的帧率取值B1、B2，由此可以确定对应于不同质量参数取值的四种编码标准，即A1B1、A1B2、A2B1和A2B2。
步骤S620：根据编码标准向点云码流中填充用于表示点云质量的质量指示信息。
在本申请的一个实施例中，向点云码流填充质量指示信息的方法可以包括：根据编码标准确定点云码流的质量参数的参数取值，并在点云码流中确定与质量参数相对应的质量指示字段；根据质量参数的参数取值确定用于表示点云质量的质量指示信息；根据质量参数与质量指示字段的对应关系，将质量指示信息填充至质量指示字段。
图7示出了本申请一个实施例中的GPCC码流高层语法示意图。如图7所示，在点云数据码流的序列参数集语法(Sequence parameter set syntax)中，具有与质量参数相对应的多个质量指示字段。其中，bitrate字段为对应于码率的质量指示字段，其取值为一个长度为32字节的无符号整数；frame_rate字段为对应于帧率的质量指示字段，其取值是一个长度为8字节的无符号整数。
在本申请的一个实施例中，点云码流的质量参数可以包括码率和帧率中的至少一种。在其他一些可选的实施方式中，质量参数还可以包括分辨率、画质等其他与媒体资源质量相关的参数。
在本申请的一个实施例中，质量指示信息包括质量真实值、质量等效值和质量等级中的至少一种。
质量真实值为质量参数的参数取值。例如，一个点云码流的码率为10000bit/s，则可以将质量真实值10000确定为该点云码流的质量指示信息。又例如，一个点云码流的帧率为30fps，则可以将质量真实值30确定为该点云码流的质量指示信息。
质量等效值是将质量参数的参数取值与预设的单位质量参数相比得到的单位质量参数的数量。例如，以400bit/s作为单位质量参数，一个点云码流的码率为10000bit/s，则可以将质量等效值10000/400＝25作为质量指示信息。当质量参数的参数取值与预设的单位质量参数之间的比值为小数时，可以对该比值向上取整以确定单位质量参数的数量。
质量等级是用于表示质量参数的参数取值范围的等级信息。例如，针对参数码率，可以预先设定多个不同的码率数值范围，每个码率数值范围对应一个码率等级，该码率等级即为用于表示点云质量的质量等级。
步骤S630：将点云码流封装为点云媒体轨道，并向点云媒体轨道中填充与点云码流相对应的质量指示信息。
每个点云媒体轨道均具有与之对应的文件封装信息，该文件封装信息例如可以是将点云码流封装为点云文件时生成的用于记录点云文件相关的解码配置数据的数据盒，例如可以是GPCC解码器配置记录数据盒(GPCCDecoderConfigurationRecord)。在点云媒体轨道的文件封装信息中确定与质量指示信息相对应的质量指示字段之后，可以通过引用点云码流的指令指示信息的方式，将与所述点云码流相对应的质量指示信息填充至所述文件封装信息中的质量指示字段。
在本申请的一个实施例中，在将点云码流封装为点云媒体轨道之后，可以根据数据传输需求，生成用于传输点云数据的流媒体信令；该流媒体信令可以是以上实施例中的DASH信令。向流媒体信令中填充与各个点云码流相对应的质量指示信息，填充方式可以是根据点云媒体轨道的质量参数信息向DASH信令中的已有字段进行数值填充。然后向数据接收方发送流媒体信令，以便在数据源与数据接收方之间进行点云数据传输。
在本申请的一个实施例中，当数据接收方对流媒体信令做出响应后，数据源可以接收由数据接收方发送的基于流媒体信令生成的数据传输请求；根据数据传输请求，向数据接收方传输点云文件，点云文件包括具有相同点云内容且具有不同点云质量的点云媒体轨道。
图8示出了本申请一个实施例中以码率作为质量指示信息进行点云数据传输的步骤流程图。如图8所示，服务器作为生产点云数据的数据源，在服务器与用户所在客户端之间进行点云数据传输的方法可以包括如下步骤。
步骤S801：对服务器上的点云内容A进行编码处理，得到对应于两种不同码率的点云码流S1和S2，根据实际码流对应填充各个码流中的bitrate字段。例如，在点云码流S1中，填充bitrate＝10000；在点云码流S2中，填充bitrate＝20000。
步骤S802：将S1和S2分别封装为2个不同的点云媒体轨道T1和T2，对应填充T1和T2中GPCCDecoderConfigurationRecord数据盒的bitrate字段。例如，在点云媒体轨道T1的GPCCDecoderConfigurationRecord数据盒中，填充bitrate＝10000；在点云媒体轨道T2的GPCCDecoderConfigurationRecord数据盒中，填充bitrate＝20000。
步骤S803：利用DASH信令中已有的bandwidth字段指示T1和T2的码率，并分别将DASH信令发送给用户所在的客户端C1和C2。
步骤S804：客户端C1和C2根据网络带宽和DASH信令中的信息，请求点云文件，文件中包含T1和T2。
步骤S805：服务器分别向客户端C1和C2传输点云文件。
步骤S806：客户端接收点云文件，通过T1和T2中的bitrate字段信息以及自身设备能力，选择解码可替换组中的点云媒体轨道并呈现解码后的点云数据。例如，C1选择解码可替换组中的T1媒体文件并呈现；C2选择解码可替换组中的T2媒体文件并呈现。
在本申请实施例中，用户请求的点云文件中包含了可替换组内的所有资源，在接收到点云文件后，可以对传输的点云数据进行选择性解码。
图9示出了本申请一个实施例中以帧率作为质量指示信息进行点云数据传输的步骤流程图。如图9所示，服务器作为生产点云数据的数据源，在服务器与用户所在客户端之间进行点云数据传输的方法可以包括如下步骤。
步骤S901：对服务器上的点云内容A进行编码处理，得到对应于两种不同码率的点云码流S1和S2，根据实际码流对应填充各个码流中的frame_rate字段。例如，在点云码流S1中，填充frame_rate＝30；在点云码流S2中，填充frame_rate＝60。
步骤S902：将S1和S2分别封装为2个不同的点云媒体轨道T1和T2，对应填充T1和T2中GPCCDecoderConfigurationRecord数据盒的frame_rate字段。例如，在点云媒体轨道T1的GPCCDecoderConfigurationRecord数据盒中，填充frame_rate＝30；在点云媒体轨道T2的GPCCDecoderConfigurationRecord数据盒中，填充frame_rate＝60。
步骤S903：利用DASH信令中已有的frameRate字段指示T1和T2的帧率，并分别将DASH信令发送给用户所在的客户端C1和C2。
步骤S904：客户端C1和C2根据网络带宽和DASH信令中的信息，请求点云文件。其中，C1请求的文件中包含T1和T2；C2请求的文件中仅包含T1。
步骤S905：服务器分别向客户端C1和C2传输点云文件。
步骤S906：客户端接收点云文件，通过T1和T2中的frameRate字段信息以及自身设备能力，选择解码可替换组中的点云媒体轨道并呈现解码后的点云数据。例如，C1选择解码可替换组中的T2媒体文件并呈现；C2则解码可替换组中的T1媒体文件并呈现。
在本申请实施例中，用户请求的点云文件中可以仅包含可替换组内的部分资源，以达到节省网络带宽的目的。
在本申请实施例提供的技术方案中，通过在系统层添加若干描述性字段，包括码流层面、文件封装层面的字段扩展，可以更加明确地指示点云文件以及各个成分(几何、属性等)的质量级别，使得客户端能够更加精准地请求对应的点云文件，也能在解码呈现时根据客户端自身的需求和性能条件选择对应的成分。
应当注意，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的点云编解码方法。
图10示意性地示出了本申请实施例提供的点云解码装置的结构框图。如图10所示，点云解码装置1000可以包括：接收模块1010，被配置为接收由数据源传输的点云文件，所述点云文件包括具有相同点云内容且具有不同点云质量的点云媒体轨道；解析模块1020，被配置为解析所述点云媒体轨道的文件封装信息，得到所述文件封装信息中携带的质量指示信息，所述质量指示信息用于表示所述点云媒体轨道的点云质量；解码模块1030，被配置为根据所述文件封装信息中携带的质量指示信息从所述点云文件中选取并解码具有指定的点云质量的点云媒体轨道。
在本申请的一些实施例中，基于以上技术方案，所述接收模块1010包括：信令接收单元，被配置为接收由数据源发送的用于传输点云数据的流媒体信令；信令解析单元，被配置为解析所述流媒体信令，得到所述流媒体信令中携带的至少两种可供选择的质量指示信息；请求发送单元，被配置为根据所述流媒体信令中携带的质量指示信息，向所述数据源发送数据传输请求；文件接收单元，被配置为接收由所述数据源传输的与所述数据传输请求相对应的点云文件。
在本申请的一些实施例中，基于以上技术方案，所述请求发送单元包括：带宽获取子单元，被配置为获取与所述数据源进行数据传输的网络带宽；带宽匹配子单元，被配置为将所述网络带宽与所述流媒体信令中携带的质量指示信息进行匹配检测，以选取与所述网络带宽相匹配的目标点云质量；请求发送子单元，被配置为向所述数据源发送根据所述目标点云质量生成的数据传输请求。
在本申请的一些实施例中，基于以上技术方案，所述解析模块1020包括：信息解析单元，被配置为解析所述点云媒体轨道的文件封装信息，以确定至少一个与所述点云媒体轨道的质量参数相关的质量指示字段；信息确定单元，被配置为根据所述质量指示字段的取值，确定所述点云媒体文件的质量指示信息。
在本申请的一些实施例中，基于以上技术方案，所述质量指示信息包括质量真实值、质量等效值和质量等级中的至少一种；其中，所述质量真实值为所述质量参数的参数取值，所述质量等效值是将所述质量参数的参数取值与预设的单位质量参数相比得到的单位质量参数的数量，所述质量等级是用于表示所述质量参数的参数取值范围的等级信息。
在本申请的一些实施例中，基于以上技术方案，所述质量参数包括点云码流的码率和帧率中的至少一种。
图11示意性地示出了本申请实施例提供的点云编码装置的结构框图。如图11所示，点云编码装置1100可以包括：编码模块1110，被配置为按照不同的编码标准对待传输的点云数据进行编码处理，得到具有相同点云内容且具有不同点云质量的点云码流；填充模块1120，被配置为根据所述编码标准向所述点云码流中填充用于表示所述点云质量的质量指示信息；封装模块1130，被配置为将所述点云码流封装为点云媒体轨道，并向所述点云媒体轨道中填充与所述点云码流相对应的质量指示信息。
在本申请的一些实施例中，基于以上技术方案，所述点云编码装置1100还包括：信令生成模块，被配置为生成用于传输点云数据的流媒体信令；信令填充模块，被配置为向所述流媒体信令中填充与各个所述点云码流相对应的质量指示信息；信令发送模块，被配置为向数据接收方发送所述流媒体信令。
在本申请的一些实施例中，基于以上技术方案，所述点云编码装置1100还包括：请求接收模块，被配置为接收由所述数据接收方发送的基于所述流媒体信令生成的数据传输请求；文件传输模块，被配置为根据所述数据传输请求，向所述数据接收方传输点云文件，所述点云文件包括具有相同点云内容且具有不同点云质量的点云媒体轨道。
在本申请的一些实施例中，基于以上技术方案，所述填充模块1120包括：取值确定单元，被配置为根据所述编码标准确定所述点云码流的质量参数的参数取值，并在所述点云码流中确定与所述质量参数相对应的质量指示字段；第一信息确定单元，被配置为根据所述质量参数的参数取值确定用于表示所述点云质量的质量指示信息；第一信息填充单元，被配置为根据所述质量参数与所述质量指示字段的对应关系，将所述质量指示信息填充至所述质量指示字段。
在本申请的一些实施例中，基于以上技术方案，所述封装模块1130包括：第二信息确定单元，被配置为在所述点云媒体轨道的文件封装信息中确定与所述质量指示信息相对应的质量指示字段；第二信息填充单元，被配置为将与所述点云码流相对应的质量指示信息填充至所述文件封装信息中的质量指示字段。
本申请各实施例中提供的点云编解码装置的具体细节已经在对应的方法实施例中进行了详细的描述，此处不再赘述。
图12示意性地示出了用于实现本申请实施例的电子设备的计算机系统结构框图。
需要说明的是，图12示出的电子设备的计算机系统1200仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图12所示，计算机系统1200包括中央处理器1201(Central Processing Unit，CPU)，其可以根据存储在只读存储器1202(Read-Only Memory，ROM)中的程序或者从存储部分1208加载到随机访问存储器1203(Random Access Memory，RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器1203中，还存储有系统操作所需的各种程序和数据。中央处理器1201、在只读存储器1202以及随机访问存储器1203通过总线1204彼此相连。输入/输出接口1205(Input/Output接口，即I/O接口)也连接至总线1204。
以下部件连接至输入/输出接口1205：包括键盘、鼠标等的输入部分1206；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1207；包括硬盘等的存储部分1208；以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至输入/输出接口1205。可拆卸介质1211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1210上，以便于从其上读出的计算机程序根据需要被安装入存储部分1208。
特别地，根据本申请的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1209从网络上被下载和安装，和/或从可拆卸介质1211被安装。在该计算机程序被中央处理器1201执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (14)

1.一种点云解码方法，其特征在于，包括：
接收由数据源传输的点云文件，所述点云文件中封装有对应于不同点云媒体轨道的可替换组，具有相同点云内容且具有不同点云质量的点云媒体轨道划分在同一个可替换组内；当点云数据以单轨道封装时，不同质量的点云内容的轨道同属一个可替换组；当点云数据以多轨道封装时，不同质量的点云内容的几何成分轨道同属一个可替换组，点云内容的属性成分轨道关联至几何成分轨道；
解析所述点云媒体轨道的文件封装信息，得到所述文件封装信息中携带的质量指示信息，所述质量指示信息用于表示所述点云媒体轨道的点云质量，所述点云质量包括点云码流的码率和帧率中的至少一种；
根据所述文件封装信息中携带的质量指示信息从所述点云文件中选取并解码具有指定的点云质量的点云媒体轨道。
2.根据权利要求1所述的点云解码方法，其特征在于，接收由数据源传输的点云文件，包括：
接收由数据源发送的用于传输点云数据的流媒体信令；
解析所述流媒体信令，得到所述流媒体信令中携带的至少两种可供选择的质量指示信息；
根据所述流媒体信令中携带的质量指示信息，向所述数据源发送数据传输请求；
接收由所述数据源传输的与所述数据传输请求相对应的点云文件。
3.根据权利要求2所述的点云解码方法，其特征在于，根据所述流媒体信令中携带的质量指示信息，向所述数据源发送数据传输请求，包括：
获取与所述数据源进行数据传输的网络带宽；
将所述网络带宽与所述流媒体信令中携带的质量指示信息进行匹配检测，以选取与所述网络带宽相匹配的目标点云质量；
向所述数据源发送根据所述目标点云质量生成的数据传输请求。
4.根据权利要求1～3任一项所述的点云解码方法，其特征在于，解析所述点云媒体轨道的文件封装信息，得到所述文件封装信息中携带的质量指示信息，包括：
解析所述点云媒体轨道的文件封装信息，以确定至少一个与所述点云媒体轨道的质量参数相关的质量指示字段；
根据所述质量指示字段的取值，确定所述点云媒体轨道的质量指示信息。
5.根据权利要求4所述的点云解码方法，其特征在于，所述质量指示信息包括质量真实值、质量等效值和质量等级中的至少一种；其中，所述质量真实值为所述质量参数的参数取值，所述质量等效值是将所述质量参数的参数取值与预设的单位质量参数相比得到的单位质量参数的数量，所述质量等级是用于表示所述质量参数的参数取值范围的等级信息。
6.一种点云编码方法，其特征在于，包括：
按照不同的编码标准对待传输的点云数据进行编码处理，得到具有相同点云内容且具有不同点云质量的点云码流，所述点云质量包括点云码流的码率和帧率中的至少一种；
根据所述编码标准向所述点云码流中填充用于表示所述点云质量的质量指示信息；
将所述点云码流封装为点云文件中的点云媒体轨道，并向所述点云媒体轨道中填充与所述点云码流相对应的质量指示信息；所述点云文件中封装有对应于不同点云媒体轨道的可替换组，具有相同点云内容且具有不同点云质量的点云媒体轨道划分在同一个可替换组内；当点云数据以单轨道封装时，不同质量的点云内容的轨道同属一个可替换组；当点云数据以多轨道封装时，不同质量的点云内容的几何成分轨道同属一个可替换组，点云内容的属性成分轨道关联至几何成分轨道。
7.根据权利要求6所述的点云编码方法，其特征在于，在将所述点云码流封装为点云文件中的点云媒体轨道之后，所述方法还包括：
生成用于传输点云数据的流媒体信令；
向所述流媒体信令中填充与各个所述点云码流相对应的质量指示信息；
向数据接收方发送所述流媒体信令。
8.根据权利要求7所述的点云编码方法，其特征在于，在向数据接收方发送所述流媒体信令之后，所述方法还包括：
接收由所述数据接收方发送的基于所述流媒体信令生成的数据传输请求；
根据所述数据传输请求，向所述数据接收方传输所述点云文件。
9.根据权利要求6～8任一项所述的点云编码方法，其特征在于，根据所述编码标准向所述点云码流中填充用于表示所述点云质量的质量指示信息，包括：
根据所述编码标准确定所述点云码流的质量参数的参数取值，并在所述点云码流中确定与所述质量参数相对应的质量指示字段；
根据所述质量参数的参数取值确定用于表示所述点云质量的质量指示信息；
根据所述质量参数与所述质量指示字段的对应关系，将所述质量指示信息填充至所述质量指示字段。
10.根据权利要求6～8任一项所述的点云编码方法，其特征在于，向所述点云媒体轨道中填充与所述点云码流相对应的质量指示信息，包括：
在所述点云媒体轨道的文件封装信息中确定与所述质量指示信息相对应的质量指示字段；
将与所述点云码流相对应的质量指示信息填充至所述文件封装信息中的质量指示字段。
11.一种点云解码装置，其特征在于，包括：
接收模块，被配置为接收由数据源传输的点云文件，所述点云文件中封装有对应于不同点云媒体轨道的可替换组，具有相同点云内容且具有不同点云质量的点云媒体轨道划分在同一个可替换组内；当点云数据以单轨道封装时，不同质量的点云内容的轨道同属一个可替换组；当点云数据以多轨道封装时，不同质量的点云内容的几何成分轨道同属一个可替换组，而属性成分轨道关联至几何成分轨道；
解析模块，被配置为解析所述点云媒体轨道的文件封装信息，得到所述文件封装信息中携带的质量指示信息，所述质量指示信息用于表示所述点云媒体轨道的点云质量，所述点云质量包括点云码流的码率和帧率中的至少一种；
解码模块，被配置为根据所述文件封装信息中携带的质量指示信息从所述点云文件中选取并解码具有指定的点云质量的点云媒体轨道。
12.一种点云编码装置，其特征在于，包括：
编码模块，被配置为按照不同的编码标准对待传输的点云数据进行编码处理，得到具有相同点云内容且具有不同点云质量的点云码流，所述点云质量包括点云码流的码率和帧率中的至少一种；
填充模块，被配置为根据所述编码标准向所述点云码流中填充用于表示所述点云质量的质量指示信息；
封装模块，被配置为将所述点云码流封装为点云文件中的点云媒体轨道，并向所述点云媒体轨道中填充与所述点云码流相对应的质量指示信息；所述点云文件中封装有对应于不同点云媒体轨道的可替换组，具有相同点云内容且具有不同点云质量的点云媒体轨道划分在同一个可替换组内；当点云数据以单轨道封装时，不同质量的点云内容的轨道同属一个可替换组；当点云数据以多轨道封装时，不同质量的点云内容的几何成分轨道同属一个可替换组，而属性成分轨道关联至几何成分轨道。
13.一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1至10中任意一项所述的方法。
14.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至10中任意一项所述的方法。
CN202311208677.XA 2021-03-31 2021-03-31 点云编解码方法、装置、计算机可读介质及电子设备 Pending CN117176715A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311208677.XA CN117176715A (zh) 2021-03-31 2021-03-31 点云编解码方法、装置、计算机可读介质及电子设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202311208677.XA CN117176715A (zh) 2021-03-31 2021-03-31 点云编解码方法、装置、计算机可读介质及电子设备
CN202110351657.2A CN115150384B (zh) 2021-03-31 2021-03-31 点云编解码方法、装置、计算机可读介质及电子设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202110351657.2A Division CN115150384B (zh) 2021-03-31 2021-03-31 点云编解码方法、装置、计算机可读介质及电子设备

Publications (1)

Publication Number Publication Date
CN117176715A true CN117176715A (zh) 2023-12-05

Family

ID=83403648

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311208677.XA Pending CN117176715A (zh) 2021-03-31 2021-03-31 点云编解码方法、装置、计算机可读介质及电子设备
CN202110351657.2A Active CN115150384B (zh) 2021-03-31 2021-03-31 点云编解码方法、装置、计算机可读介质及电子设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110351657.2A Active CN115150384B (zh) 2021-03-31 2021-03-31 点云编解码方法、装置、计算机可读介质及电子设备

Country Status (6)

Country Link
US (1) US20230082784A1 (zh)
JP (1) JP2024506623A (zh)
KR (1) KR20230137459A (zh)
CN (2) CN117176715A (zh)
TW (1) TWI806479B (zh)
WO (1) WO2022206200A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115733576B (zh) * 2021-08-26 2024-06-25 腾讯科技（深圳）有限公司 点云媒体文件的封装与解封装方法、装置及存储介质
CN118118694A (zh) * 2022-11-29 2024-05-31 腾讯科技（深圳）有限公司 点云封装与解封装方法、装置、介质及电子设备
WO2024196143A1 (ko) * 2023-03-20 2024-09-26 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2024196067A1 (ko) * 2023-03-21 2024-09-26 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2024210350A1 (ko) * 2023-04-05 2024-10-10 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10694210B2 (en) * 2016-05-28 2020-06-23 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
CN111819601A (zh) * 2018-02-26 2020-10-23 英特尔公司 为图像处理进行点云配准的方法和系统
US11348283B2 (en) * 2018-07-10 2022-05-31 Samsung Electronics Co., Ltd. Point cloud compression via color smoothing of point cloud prior to texture video generation
US11049266B2 (en) * 2018-07-31 2021-06-29 Intel Corporation Point cloud viewpoint and scalable compression/decompression
CN110971898B (zh) * 2018-09-30 2022-04-22 华为技术有限公司 点云编解码方法和编解码器
JP7448482B2 (ja) * 2018-11-16 2024-03-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
CN111327902B (zh) * 2018-12-13 2022-11-22 华为技术有限公司 点云的编解码方法及装置
SG11202103291YA (en) * 2018-12-28 2021-04-29 Sony Corp Information processing apparatus and information processing method
CN111435991B (zh) * 2019-01-11 2021-09-28 上海交通大学 基于分组的点云码流封装方法和系统
US11457231B2 (en) * 2019-03-15 2022-09-27 Mediatek Singapore Pte. Ltd. Methods and apparatus for signaling spatial relationships for point cloud multimedia data tracks
EP3926959A4 (en) * 2019-03-21 2022-03-23 LG Electronics Inc. POINT CLOUD DATA TRANSMITTER DEVICE, POINT CLOUD DATA TRANSMITTER METHOD, POINT CLOUD DATA RECEIVE DEVICE, AND POINT CLOUD DATA RECEIVE METHOD
CN112153391B (zh) * 2019-06-28 2022-07-29 腾讯美国有限责任公司 视频编码的方法、装置、电子设备及存储介质
US11704867B2 (en) * 2019-09-27 2023-07-18 Intel Corporation Methods for timed metadata priority rank signaling for point clouds
CN112492385A (zh) * 2020-09-30 2021-03-12 中兴通讯股份有限公司 点云数据处理方法、装置、存储介质及电子装置
CN112583803A (zh) * 2020-12-04 2021-03-30 上海交通大学 数据处理方法、装置、通信节点和存储介质
CN113709093B (zh) * 2021-03-15 2023-08-04 上海交通大学 一种三维点云的封装方法、装置及介质
CN115243053B (zh) * 2021-04-22 2024-04-16 腾讯科技（深圳）有限公司 点云编解码方法及相关设备

Also Published As

Publication number Publication date
CN115150384A (zh) 2022-10-04
JP2024506623A (ja) 2024-02-14
TWI806479B (zh) 2023-06-21
US20230082784A1 (en) 2023-03-16
KR20230137459A (ko) 2023-10-04
TW202241129A (zh) 2022-10-16
WO2022206200A1 (zh) 2022-10-06
CN115150384B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN115150384B (zh) 点云编解码方法、装置、计算机可读介质及电子设备
CN115243053B (zh) 点云编解码方法及相关设备
CN112804256B (zh) 多媒体文件中轨道数据的处理方法、装置、介质及设备
CN114697668B (zh) 点云媒体的编解码方法及相关产品
CN115396645B (zh) 一种沉浸媒体的数据处理方法、装置、设备及存储介质
US12107908B2 (en) Media file encapsulating method, media file decapsulating method, and related devices
WO2024183506A1 (zh) 沉浸媒体的数据处理方法、装置、计算机设备、存储介质及程序产品
CN115396647A (zh) 一种沉浸媒体的数据处理方法、装置、设备及存储介质
JP2005510920A (ja) スキーマ、構文解析法、およびスキーマに基づいてビットストリームを発生させる方法
WO2023226504A1 (zh) 一种媒体数据处理方法、装置、设备以及可读存储介质
CN115150368B (zh) 媒体文件的关联处理方法、装置、介质及电子设备
CN118118694A (zh) 点云封装与解封装方法、装置、介质及电子设备
CN116781913A (zh) 点云媒体的编解码方法及相关产品
WO2022134962A1 (zh) 点云视窗的呈现方法、装置、计算机可读介质及电子设备
US20240129537A1 (en) Method and apparatus for signaling cmaf switching sets in isobmff
CN116455880A (zh) 流媒体传输方法及相关产品
CN115037943A (zh) 一种媒体数据处理方法、装置、设备以及可读存储介质
CN115061984A (zh) 点云媒体的数据处理方法、装置、设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination