CN115348243A - 三维点云的传输方法、接收方法、传输装置、接收装置及存储介质 - Google Patents
三维点云的传输方法、接收方法、传输装置、接收装置及存储介质 Download PDFInfo
- Publication number
- CN115348243A CN115348243A CN202210975614.6A CN202210975614A CN115348243A CN 115348243 A CN115348243 A CN 115348243A CN 202210975614 A CN202210975614 A CN 202210975614A CN 115348243 A CN115348243 A CN 115348243A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- quality
- space
- media code
- code stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000009877 rendering Methods 0.000 claims description 12
- 238000004806 packaging method and process Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 230000011664 signaling Effects 0.000 description 12
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005538 encapsulation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 210000000746 body region Anatomy 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请提供了一种三维点云的传输、接收的方法、装置及介质，该传输方法包括如下步骤：将原始点云划分为不同的空间区域；对各空间领域内不同联合质量等级的组件轨道组的点云数据分别进行预编码，以生成该空间区域的不同联合质量等级的媒体码流；根据接收到的用户请求信息，确定各空间领域中所要选取的组件轨道组的联合质量等级，并选出对应的媒体码流；将各空间领域的质量指示信息写入对应的媒体码流中；传输所述媒体码流。
Description
技术领域
本申请涉及多媒体技术领域，例如涉及一种三维点云的传输方法、接收方法、传输装置、接收装置及存储介质。
背景技术
随着信息技术的快速发展，三维点云已成为与图像、音频、视频等互补的重要数据模态。三维点云作为自主导航、地图构建和场景理解等任务的主要输入数据，在自动驾驶、移动机器人、虚拟/混合现实、地理信息系统、遥感测绘以及文化遗产保护等诸多领域有巨大应用前景，已成为新一代人工智能技术的研究热点之一。
三维点云是空间中一系列点的几何，记录了被扫描物体表面每个点的一组的三维坐标信息和多种属性信息，如纹理、材质、颜色、占用图、法向量、反射强度、特征等。三维点云数据是真实物体的几何描述，是一种新的三维模型数据格式，作为视觉通信场景下表达信息的主要载体，不仅可以有效的表示视觉媒体服务中的静态实物和场景，还可以实时渲染精确的立体模型，真实地描述动态实物或场景信息。因此，三维点云数据可以为用户带来虚实结合、实时交互的沉浸式消费体验。
近年来，三维点云的压缩技术已经引起了众多科研人员的深入探究。目前，根据三维点云的压缩技术，可以将点云数据分为基于视频压缩的点云数据(Video-based PointCloud Compression,V-PCC)、基于几何压缩的点云数据(Geometry-based Point CloudCompression,G-PCC)、以及基于人工智能技术压缩的点云数据(AI-based Point CloudCompression,AI-PCC)。每种点云压缩方式对应的点云组件数据类型有所不同，例如：V-PCC点云数据中包含几何组件、占用图组件、属性组件以及图集组件；而G-PCC点云数据中包含几何组件和属性组件。
目前对于如何压缩、存储和传输三维点云媒体已有一定研究，但现有的传输方案没有考虑在传输中指示不同质量点云组件数据进行组合后的整体质量。对于客户端而言，用户在进行点云媒体消费时更加关注的是当前空间区域内点云呈现的整体质量，而非每个点云组件信息的单独质量。因此需要在传输中增加对于点云空间区域整体质量的指示信息，以满足用户个性化的呈现需求，以及在带宽受限情况下，能够选择恰当质量等级的点云数据进行传输，在实现低时延的同时使传输效率最大化。
发明内容
本申请提供一种三维点云的传输方法、接收方法、传输装置、接收装置及存储介质。
根据本申请提供的一种三维点云的传输方法，包括：
将原始点云划分为不同的空间区域；
对各空间领域内不同联合质量等级的组件轨道组的点云数据分别进行预编码，以生成该空间区域的不同联合质量等级的媒体码流；
根据接收到的用户请求信息，确定各空间领域中所要选取的组件轨道组的联合质量等级，并选出对应的媒体码流；
将各空间领域的质量指示信息写入对应的媒体码流中；
传输所述媒体码流；
其中，每个所述空间区域包括至少一个组件轨道组；
所述空间领域的质量指示信息，用于指示该空间区域中所选取的组件轨道组的联合质量等级。
根据本申请提供一种三维点云的接收方法，包括：
从接收到的媒体码流中解析出各空间区域的质量指示信息；
根据各个所述空间区域的质量指示信息，对所述媒体码流进行解码，得到各个所述空间领域所包含组件轨道组的点云数据；
对解码出的点云数据进行渲染；
其中，所述空间区域由原始点云被划分形成；
所述空间领域的质量指示信息，用于指示该空间区域所包含的组件轨道组的联合质量等级。
根据本申请提供一种三维点云的传输装置，包括：
编码模块，用于将原始点云划分为不同的空间区域，并对各空间领域内不同联合质量等级的组件轨道组的点云数据分别进行预编码，以生成该空间区域的不同联合质量等级的媒体码流；
接收模块，用于接收用户请求信息；
选取模块，用于根据用户请求信息确定各空间领域中所要选取的组件轨道组的联合质量等级，并选出对应的媒体码流；
封装模块，用于将各空间领域的质量指示信息写入对应的媒体码流中；
发送模块，用于传输所述媒体码流；
其中，每个所述空间区域包括至少一个组件轨道组；
所述空间领域的质量指示信息，用于指示该空间区域中所选取的组件轨道组的联合质量等级。
根据本申请提供一种三维点云的接收装置，包括：
接收模块，用于接收媒体码流，
解析模块，用于从接收到的媒体码流中解析出各空间区域的质量指示信息；
处理模块，用于根据各个所述空间区域的质量指示信息，对所述媒体码流进行解码，得到各个所述空间领域所包含组件轨道组的点云数据；
渲染模块，用于对解码出的点云数据进行渲染；
其中，所述空间区域由原始点云被划分形成；
所述空间领域的质量指示信息，用于指示该空间区域所包含的组件轨道组的联合质量等级。
根据本申请提供的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前述传输方法和/或前述的接收方法。
附图说明
图1是本申请一实施例提供的一种三维点云传输方法的流程图；
图2是本申请一实施例提供的一种三维点云接收方法的流程图；
图3是本申请一实施例提供的一种三维点云传输的交互示意图；
图4是本申请一实施例提供的三维点云数据在不同空间区域的质量等级设定的示意图；
图5是本申请一实施例提供的一种三维点云传输装置的结构示意图；
图6是本申请一实施例提供的一种三维点云接收装置的结构示意图。
具体实施方式
图1所示为点云传输方法的流程图，可应用于服务器端。其中，原始点云由不同空间区域、不同质量等级的点云数据组成，每个空间区域包括至少一种质量等级的点云数据，对原始点云的点云数据进行解析之后即可确定原始点云的每个空间区域存在哪些质量等级的点云数据。点云数据分为多种类型，如几何、占用图、特征、属性、辅助、颜色、纹理、材质、法向量、反射强度等等。
本申请一实施例提供的三维点云的传输方法包括如下步骤：
S110、将原始点云划分为不同的空间区域。此步骤在编码模块中执行。
将原始点云划分为若干个不同的空间区域，也可以原始点云只有一个空间区域。原始点云所包含的不同质量等级的点云数据分布在各个空间区域内，每个空间区域可能存在若干个质量等级的点云数据，也可能只存在一种质量等级的点云数据。每个空间区域可能存在若干个类型的点云数据，也可能只存在一种类型的点云数据。
S120、对各空间领域内不同联合质量等级的组件轨道组的点云数据分别进行预编码。此步骤在编码模块中执行。
对于每个空间区域，一个组件轨道对应一种类型的点云数据；通过选取不同质量等级的该类型的点云数据，从而形成不同质量等级的该组件轨道。在一个空间区域中，通过不同组件轨道的组合，可以形成多个组件轨道组；由于组成每个组件轨道组的各个组件轨道都有自己的质量等级，因此一个组件轨道组的质量等级采用联合质量等级来表示，所述组件轨道组的联合质量等级由该组件轨道组所包含的各个组件轨道的质量等级所决定。一个组件轨道组通常对应于该空间区域中一个可以播放的数据流。可见，对于原始点云中任一空间区域，其点云数据可能形成具有多种不同类型、不同质量的轨道组件，不同类型、质量的轨道组件的组合方式将导致该空间区域内的点云数据形成不同的联合质量等级的轨道组件组。
图4示出了一种实施例，一个原始点云被划分为了6个空间区域(Region1-6)，在空间区域4(Region4)中包含两种类型的点云数据：几何点云数据、属性点云数据，空间区域4的几何点云数据形成空间区域4的几何组件轨道，空间区域4的属性点云数据形成空间区域4的属性组件轨道。其中，空间区域4中的几何点云数据存在两个质量等级：质量等级1(Quality1)和质量等级2(Quality2)，两个质量等级的点云数据分别形成空间区域4中质量等级1(Quality1)和质量等级2(Quality2)的组件轨道。空间区域4中的属性点云数据存在三个质量等级：质量等级1(Quality1)、质量等级2(Quality2)和质量等级3(Quality3)，三个质量等级的点云数据分别形成空间区域4中质量等级1(Quality1)、质量等级2(Quality2)和质量等级3(Quality3)的组件轨道。按照质量等级的优劣，上述质量等级1(Quality1)>质量等级2(Quality2)>质量等级3(Quality3)。
通过将空间区域4中不同组件轨道的组合，形成多个组件轨道组。将质量等级1的几何组件轨道和质量等级1的属性组件轨道进行组合，形成联合质量等级1的组件轨道组；将质量等级1的几何组件轨道和质量等级2的属性组件轨道进行组合，形成联合质量等级2的组件轨道组；将质量等级2的几何组件轨道和质量等级3的属性组件轨道进行组合，形成联合质量等级3的组件轨道组；还可通过其它组合，例如质量等级1的几何组件轨道和质量等级3的属性组件轨道组合、质量等级2的几何组件轨道和质量等级2的属性组件轨道组合等等，形成其它联合质量等级的组合轨道组件。
空间区域的个数以及各空间区域所包含的点云数据的质量等级的个数、轨道组件个数、轨道组件组的个数根据具体需要设定，不限于前述图5实施例中示出的个数。
对各空间领域内不同联合质量等级的组件轨道组的点云数据分别进行预编码，生成该空间区域的不同联合质量等级的媒体码流。也可以对各空间领域内的组件轨道按照质量等级的不同分别独立地进行预编码，再对不同质量等级的组件轨道进行组合，形成不同联合质量等级的组合轨道组的媒体码流。
S130、根据接收到的用户请求信息，确定各空间领域中所要选取的组件轨道组的联合质量等级，并选出对应的媒体码流。此步骤在选取模块中执行。
在传输端(发送端、服务器端)，通常一个空间区域只需要发送一个组件轨道组给接收端(用户端)供渲染播放，因此需要先确定从各空间区域选取出哪些组件轨道组用于后续传输，确定出这些组件轨道组的联合质量等级。
传输端(服务器端)实时接收接收端(用户端)发送过来的用户请求信息，根据用户请求信息确认需要选取各空间区域中哪种联合质量等级的点云数据用于传输，选出预先编码完的媒体码流。
一种示例实施方式，接收端为用户身上穿戴的设备，用户在移动时会伴随着头部动作，用户所处的位置及用户的视角会不断地变化。用户端或服务器端根据用户位置及视角等信息，确定每个空间区域所要选取的组件轨道组的联合质量等级，从而对预先编码完的媒体码流进行选取。接收端向发送端发送的用户请求信息，包括用于指示用户位置和/或视角等信息的信令。
一种示例实施方式，确认每个空间区域所要选取的组件轨道组的联合质量等级时，对于与视角中心位置对应的空间区域选取联合质量等级较高的组件轨道组，对于与视角边缘位置对应的空间区域选取联合质量等级较低的组件轨道组。例如，针对单个人物的三维点云模型，用户视角会不断发生变化，当用户视角集中到人物的上半身区域如头部时，可以设置上半身对应区域为选取高质量的联合质量等级轨道组件组的区域，其余区域为选取中或低质量的联合质量等级的组件轨道组的区域。同理，当用户视角集中到人物的下半身区域如鞋子时，可以设置人物上半身对应区域为选取高质量的联合质量等级轨道组件组的区域，其余区域为选取中或低质量的联合质量等级的组件轨道组的区域。接收端向发送端发送的用户请求信息，包括用于指示用户位置和/或视角等信息的信令。
一种示例实施方式，确认每个空间区域所要选取的组件轨道组的联合质量等级时，将与用户关注的位置对应的空间区域设置为选取高质量的联合质量等级轨道组件组的区域，将其余空间区域设置为选取较低质量的联合质量等级的组件轨道组的区域。例如针对大型场景的三维点云模型，如虚拟现实博物馆，用户可以在展区内与周围的三维点云场景以及附近的三维点云物体相互作用，用户视角所关注的展览区域将会不断发生变化，这时设置用户关注的展览区域为选取高质量的联合质量等级轨道组件组的区域，其余区域为选取中或低质量的联合质量等级的组件轨道组的区域。接收端向发送端发送的用户请求信息，包括用于指示用户关注的位置和/或信息的信令。
原始点云的数量可以是一个，也可以是多个。当原始点云仅为一个时，确定每个空间区域所要选取的组件轨道组的联合质量等级，将预先编码完的该组件轨道组的媒体码流选取；当原始点云为多个时，针对每个原始点云分别执行前述“确认联合质量等级、选取预先编码完的媒体码流”的步骤。
S140、对各空间领域中选取出的媒体码流进行封装；将各空间领域的质量指示信息写入对应的媒体码流中。此步骤在封装模块中执行。
选取好预先编码的媒体码流之后，需要生成空间区域的质量指示信息用于对选取好的预先编码的媒体码流进行指示。空间区域的质量指示信息可以包含空间区域的组件轨道组的联合质量等级、和/或空间区域的各组件轨道的质量等级。质量指示信息还可以包括以下任意一个或多个：空间区域的数量、空间区域的标识、空间区域的位置、空间区域的维度、空间区域的大小、空间区域的组件轨道的数量、空间区域的组件轨道的标识、空间区域的组件轨道组的类型、空间区域的组件轨道组的数量、空间区域的组件轨道组的标识、空间区域维度是否已经被标识的标识符。
当原始点云仅为一个时，确定每个空间区域的质量指示信息；当原始点云为多个时，针对每个原始点云分别确定其每个空间区域的质量指示信息。
一个示例实施方式，所述待传输点云的空间区域的质量指示信息，根据从原始点云的对应空间区域选取的轨道组件组的点云数据确定。
一个示例实施方式，将一个原始点云分成不同空间区域时，确定空间区域的数量。一个原始点云的空间区域的数量，可以根据该原始点云所包含的点云数据的质量等级、数据类型来设定。每个空间区域所选取的轨道组件的联合质量等级可以均不同，也可以多个空间区域选取的轨道组件的联合质量等级相同。
一个示例实施方式，将一个原始点云分成不同空间区域时，确定空间区域的位置。可通过三维坐标表示。
一个示例实施方式，将一个原始点云分成不同空间区域时，确定空间区域的维度。一个空间区域单元可以是一个点云数据，也可以是一个长方体、圆柱体或球体的空间区域。
一个示例实施方式，将一个原始点云分成不同空间区域时，确定空间区域的大小。每个空间区域可以大小相同，也可以设置为大小不一致。
一个示例实施方式，将一个原始点云分成不同空间区域时，确定空间区域的大小。多个空间区域可以相互重叠，也可以设置为不重叠。
一个示例实施方式，对于空间区域中所选择出的组件轨道组，将一个组件轨道封装为一个媒体资源(Asset)，将由一个或多个组件轨道所组成的组件轨道组封装为数据包(Package)；每个媒体资源(Asset)包含空间区域中所选取的一个组件轨道所包含的点云数据，每个数据包中包含该点云空间区域选取的轨道组件组所包含所有组件轨道的点云数据。
一个示例实施方式，定义了质量指示信息所包含的以下信令信息：
联合质量等级信息：用于服务器端向客户端传输当前Asset与其他Asset组合后的联合质量等级。
媒体资源组描述信息：用于指示同一个SMT Package中Asset之间的关联关系，以指导客户端进行正确解码、自适应切换及个性化呈现。其中，Asset之间的关系可包含联合质量关系(combine quality)、依赖关系(dependency)、组合关系(composition)、等同关系(equivalence)、相似关系(similarity)。
一个示例实施方式，质量指示信息的实现方式示意表，如表1所示：
表1 一种媒体资源组描述信息的实现方式示意表
其中，descriptor_tag：用于指示此类型描述符的标签值。
descriptor_length：指示此描述符的字节长度，从下一个字段计算至最后一个字段。
dependency_flag：指示在此描述符中是否有依赖关系的其他Asset。值‘0’意味着没有,不需要添加。
composition_flag：指示在此描述符中是否有组合关系的其他Asset。值‘0’意味着没有,不需要添加。
equivalence_flag：指示在此描述符中是否有等同关系的其他Asset。值‘0’意味着没有,不需要添加。
similarity_flag：指示在此描述符中是否有相似关系的其他Asset。值‘0’意味着没有,不需要添加。.
combine_quality_flag：指示在此描述符中是否有联合质量等级关系的其他Asset。值‘0’意味着没有，不需要添加。
num_dependencies：指示此描述符所描述的Asset所依赖的Asset的数目。
asset_id：指示此描述符所描述的Asset所依赖的Asset的ID。此描述符中提供的Asset ID顺序与其内部编码依赖层次相对应。
num_compositions：指示与此描述符所描述的Asset有组合关系的Asset的数目。
asset_id：指示与此描述符所描述的Asset有组合关系的Asset的ID。
equivalence_selection_level：指示所对应的Asset在等同关系组中的呈现等级。‘0’值表示该Asset被默认呈现。当默认Asset无法被选择时，拥有呈现等级较小的Asset会作为替代被选择和呈现。
num_equivalences：指示与此描述符所描述的Asset有等同关系的Asset的数目。
asset_id：指示与此描述符所描述的Asset有等同关系的Asset的ID。
similarity_selection_level：指示所对应的Asset在相似关系组中的呈现等级。‘0’值表示该Asset被默认呈现。当默认Asset无法被选择时，拥有呈现等级较小的Asset会作为替代被选择和呈现。当同一空间区域的点云媒体以单轨形式封装时，similarity_selection_level可指示该空间区域点云媒体的联合质量等级。当同一空间区域的点云媒体以多轨形式封装时，similarity_selection_level可指示该空间区域点云媒体中一组件信息的单独质量等级。拥有质量等级较小的Asset表示该联合质量或单独质量等级越高，会优先被选择和呈现。
num_similarities：指示与此描述符所描述的Asset有相似关系的Asset的数目。
asset_id：指示与此描述符所描述的Asset有相似关系的Asset的ID。
combine_quality_ranking：指示当同一空间区域点云媒体以多轨形式封装时，各组件信息组合后的联合质量等级。‘0’值表示组合后的联合质量等级最高，拥有较高联合质量等级的Asset组具有更好的呈现质量。
num_combine_assets：指示与此描述符所描述的Asset有联合质量等级关系的Asset的数目。
asset_id：指示与此描述符所描述的Asset有联合质量等级关系的Asset的ID。
一个示例实施方式，质量指示信息的实现方式示意表，如表2所示。在此实施例中，联合质量等级信息放置在针对Asset组合关系进行描述的字段部分，即联合质量等级作为Asset组合关系的一种存在形式。当Asset存在组合关系且存在联合质量等级时，定义combine_quality_ranking指示多个Asset的联合质量等级，并通过asset_id()进行索引。
表2 一种媒体资源组描述信息的实现方式示意表
一个示例实施方式，采用V3C(Visual Volumetric Video-based Coding)的编码方式对三维点云进行压缩编码，V3C是一种“先把三维点云投影成二维、再做压缩”的编码方式。对于空间区域中所选择出的组件轨道组，将一个V3C编码后的组件轨道封装为一个媒体资源(Asset)，将由一个或多个V3C编码后的组件轨道所组成的组件轨道组封装为数据包(Package)。采用此种编码方式时会在生成的码流中包含有V3C场信令，可以将“质量指示信息”放置于媒体码流所包含的V3C信令中。
位于V3C信令中的质量指示信息，包含了以下信令信息：
联合质量信息：用于服务器端向客户端传输当前Asset组中所有媒体资源的联合质量等级。
媒体资源组描述信息：用于指示一个Asset组的信息，允许对多个Asset进行分组并指示当前Asset在该Asset组内的呈现等级或该Asset组的联合质量等级。
一个示例实施方式，采用MMT传输协议实现的一种质量指示信息的实现方式示意表，如表3所示。
表3 Asset Group Descriptor
group_identification：指示一组Asset组的标识符。
selection_flag：指示当前Asset组是否存在可选的呈现级别。值‘0’表示没有。
combine_quality_flag：指示当前Asset组是否存在联合质量等级。值‘0’表示没有。
seletion_level：指示当前Asset组的呈现级别。‘0’值表示默认呈现的Asset。当无法选择默认呈现Asset时，选择呈现级别较小的Asset进行呈现。
combine_quality_ranking：指示当同一空间区域点云媒体以多轨形式封装时，各组件信息组合后的联合质量等级。‘0’值表示组合后的联合质量等级最高，拥有较高联合质量等级的Asset组具有更好的呈现质量。
封装模块，将各空间领域的质量指示信息写入对应预先编码完成的媒体码流中。
S150、传输所述媒体码流。此步骤在传输模块中执行。
当存在多个点云需要传输时，先对一个点云各个空间区域所选取的组合轨道组对应的媒体码流进行传输；传输完毕一个点云的媒体码流后，再传输下一个点云的媒体码流。
与传输方法相对应，接收端执行一种三维点云的接收方法。图2所示为点云接收方法的流程图，可应用于接收端(用户端、客户端)。
本申请一实施例提供的三维点云的接收方法包括如下步骤：
S210、发送用户请求信息给传输端。此步骤在发送模块中执行。
接收端发送用户关于三维点云媒体的用户请求信息至服务器端。用户请求信息可以包括用于指示用户位置、用户视角、用户关注的位置等信息的信令。传输端(服务器端)实时接收接收端(用户端)发送过来的用户请求信息，根据用户请求信息确认需要选取各空间区域中哪种联合质量等级的轨道组件组用于传输。
S220、从接收到的媒体码流中解析出各空间区域的质量指示信息。此步骤在解析模块中执行。
接收模块接收到从传输端发送过来的媒体码流后，将媒体码流发送给解析模块。解析模块从媒体码流中解析出各空间区域的质量指示信息。空间区域的质量指示信息可以包含空间区域的组件轨道组的联合质量等级、和/或空间区域的各组件轨道的质量等级。质量指示信息还可以包括以下任意一个或多个：空间区域的数量、空间区域的标识、空间区域的位置、空间区域的维度、空间区域的大小、空间区域的组件轨道的数量、空间区域的组件轨道的标识、空间区域的组件轨道组的类型、空间区域的组件轨道组的数量、空间区域的组件轨道组的标识、空间区域维度是否已经被标识的标识符。
S230、根据各个所述空间区域的质量指示信息，对所述媒体码流进行解码，得到各个所述空间领域所包含组件轨道组的点云数据。此步骤在处理模块中执行。
根据点云各空间区域的质量指示信息，可以知道接收到的媒体码流对应的点云内部的数据结构，从而对接收到的媒体码流进行解码，得到点云各个所述空间领域所包含组件轨道组的点云数据。
S240、对解码出的点云数据进行渲染和呈现。此步骤在处理模块中执行。
接收端对媒体码流进行解码后，如果接收到的点云的不同空间区域有重叠部分，则根据空间区域的质量指示信息对重叠部分选取高质量的点云数据进行渲染。
图3所示为一种三维点云传输的交互示意图。应用于接收端(用户端、客户端)和传输端(服务器端)之间的交互。
本申请一实施例提供的一种三维点云传输的交互方法包括如下步骤：
S310、接收端(客户端)发送用户关于三维点云媒体的用户请求信息至传输端(服务器端)。该步骤对应于图2所示实施例的步骤S210，在图1所示实施例的预编码步骤S120之前或之后完成都可。
S320、传输器端根据用户请求信息，选取用户请求所对应空间区域的相应联合质量等级的轨道组件组相应的已完成预编码的媒体码流。该步骤对应于图1所示实施例的步骤S130。
S330、传输器端将携带点云各空间区域质量指示信息的信令写入对应的媒体码流中，并一同发送至接收端。该步骤对应于图1所示实施例的步骤S140、S150。
S340、接收端接收传输端传输的三维点云的媒体码流及各空间区域对应的质量指示信息，处理后进行渲染呈现。该步骤对应于图2所示实施例的步骤S220、S230、S240。
图3所示也记载了一种三维点云传输的交互系统，包括传输端和接收端，传输端用于执行如图1所示的三维点云传输方法，接收端用于执行如图2所示的三维点云接收方法。
图5所示为一种三维点云的传输装置，对应于图3中的传输端，用于执行如图1所示的三维点云的传输方法。
图5所示的三维点云的传输装置，主要包括编码模块410、接收模块420、选取模块430、封装模块440和发送模块450，其中，
编码模块410，用于将原始点云划分为不同的空间区域，并对各空间领域内不同联合质量等级的组件轨道组的点云数据分别进行预编码，以生成该空间区域的不同联合质量等级的媒体码流；
接收模块420，用于接收接收端发送过来的用户请求信息；
选取模块430，用于根据用户请求信息确定各空间领域中所要选取的组件轨道组的联合质量等级，并选出对应的媒体码流；
封装模块440，用于对各空间领域中选取出的媒体码流进行封装，将各空间领域的质量指示信息写入对应的媒体码流中；
发送模块450，将携带点云各空间区域质量指示信息的媒体码流传输给接收端。
图6所示为一种三维点云的接收装置，对应于图3中的接收端，用于执行如图2所示的三维点云的接收方法。
图6所示的三维点云的接收装置，主要包括接收模块520、解析模块530、处理模块540和渲染模块550，其中，
接收模块520，用于接收媒体码流，
解析模块530，用于从接收到的媒体码流中解析出各空间区域的质量指示信息；
处理模块540，用于根据各个所述空间区域的质量指示信息，对所述媒体码流进行解码，得到各个所述空间领域所包含组件轨道组的点云数据；
渲染模块550，用于对解码出的点云数据进行渲染；
一个示例实施方式，三维点云的接收装置还包括发送模块510，用于发送用户请求信息给传输端，供传输端选取预先编码生成的媒体码流进行传输。
一个示例实施方式，一种存储器用于存储有计算机程序，该存储器可以是计算机可读存储介质或其它存储介质，存储的计算机程序被执行时实现如图1所示的三维点云的传输方法、和/或如图2所示的三维点云的接收方法。当存储的计算机程序被执行时实现如图1所示的三维点云的传输方法时，该存储器可位于如图5所示的三维点云的传输装置中；当存储的计算机程序被执行时实现如图2所示的三维点云的接收方法时，该存储器可位于如图6所示的三维点云的接收装置中。存储器也可以是远程设置的存储器，与传输设备和接收设备通过网络连接，该网络包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个示例实施方式，存储器为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序以及模块。存储器可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本申请提供的系统及其多个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本申请提供的系统及其多个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本申请提供的系统及其多项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现多种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
由于人眼在视野范围内仅对一定角度内的信息敏感，用户消费点云媒体文件时，在低关注度区域的点云质量下降将不会影响到整体的感知质量。通常来说，不同质量的点云对应的数据量也不同，高质量的点云所对应的数据量也更大。因此，通过对三维点云媒体数据的封装信息进行扩展，对于三维点云的不同空间区域选取不同联合质量等级的组合轨道组，根据质量等级信息在编码过程得到不同质量的点云数据，从而达到分区域多质量传输的目的，最终可以有效降低传输过程的数据量，节约传输过程中的带宽资源。
本申请的技术方案，对三维点云媒体数据的封装信息进行扩展，对三维点云数据按照不同的质量进行预编码，根据用户的需求选取不同质量的已经完成预编码的媒体码流进行传输，在信令中增加了点云各空间区域的质量指示信息，用户端可以根据空间区域的质量指示信息对接收到的点云数据进行解码、渲染。本申请提供的方法及装置，降低了传输过程中的点云数据量。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (12)
1.一种三维点云的传输方法，其特征在于，包括：
将原始点云划分为不同的空间区域；
对各空间领域内不同联合质量等级的组件轨道组的点云数据分别进行预编码，以生成该空间区域的不同联合质量等级的媒体码流；
根据接收到的用户请求信息，确定各空间领域中所要选取的组件轨道组的联合质量等级，并选出对应的媒体码流；
将各空间领域的质量指示信息写入对应的媒体码流中；
传输所述媒体码流；
其中，每个所述空间区域包括至少一个组件轨道组；
所述空间领域的质量指示信息，用于指示该空间区域中所选取的组件轨道组的联合质量等级。
2.根据权利要求1所述的传输方法，其特征在于，
每个所述组件轨道组包括至少一个组件轨道，每个所述组件轨道包括至少一种质量等级的点云数据。
3.根据权利要求2所述的传输方法，其特征在于，
所述组件轨道组的联合质量等级，由该组件轨道组所包含的各个组件轨道的质量等级所决定。
4.根据权利要求1所述的传输方法，其特征在于，还包括：
对各空间领域中选取出的媒体码流进行封装。
5.根据权利要求1所述的传输方法，其中，所述待传输点云的空间区域的质量指示信息还包括以下至少之一：
空间区域的数量、空间区域的标识、空间区域的位置、空间区域的维度、空间区域的大小、空间区域的组件轨道的数量、空间区域的组件轨道的标识、空间区域的组件轨道组的类型、空间区域的组件轨道组的数量、空间区域的组件轨道组的标识。
6.一种三维点云的接收方法，其特征在于，包括：
从接收到的媒体码流中解析出各空间区域的质量指示信息；
根据各个所述空间区域的质量指示信息，对所述媒体码流进行解码，得到各个所述空间领域所包含组件轨道组的点云数据；
对解码出的点云数据进行渲染；
其中，所述空间区域由原始点云被划分形成；
所述空间领域的质量指示信息，用于指示该空间区域所包含的组件轨道组的联合质量等级。
7.根据权利要求6所述的接收方法，其特征在于，还包括：
发送用户请求信息给传输端，供传输端选取预先编码生成的媒体码流进行传输。
8.一种三维点云的传输装置，其特征在于，包括：
编码模块，用于将原始点云划分为不同的空间区域，并对各空间领域内不同联合质量等级的组件轨道组的点云数据分别进行预编码，以生成该空间区域的不同联合质量等级的媒体码流；
接收模块，用于接收用户请求信息；
选取模块，用于根据用户请求信息确定各空间领域中所要选取的组件轨道组的联合质量等级，并选出对应的媒体码流；
封装模块，用于将各空间领域的质量指示信息写入对应的媒体码流中；
发送模块，用于传输所述媒体码流；
其中，每个所述空间区域包括至少一个组件轨道组；
所述空间领域的质量指示信息，用于指示该空间区域中所选取的组件轨道组的联合质量等级。
9.根据权利要求8所述的传输装置，其特征在于，
所述封装模块，还用于对各空间领域中选取出的媒体码流进行封装。
10.一种三维点云的接收装置，其特征在于，包括：
接收模块，用于接收媒体码流，
解析模块，用于从接收到的媒体码流中解析出各空间区域的质量指示信息；
处理模块，用于根据各个所述空间区域的质量指示信息，对所述媒体码流进行解码，得到各个所述空间领域所包含组件轨道组的点云数据；
渲染模块，用于对解码出的点云数据进行渲染；
其中，所述空间区域由原始点云被划分形成；
所述空间领域的质量指示信息，用于指示该空间区域所包含的组件轨道组的联合质量等级。
11.根据权利要求10所述的接收装置，其特征在于，还包括：
发送模块，用于发送用户请求信息给传输端，供传输端选取预先编码生成的媒体码流进行传输。
12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一项所述的传输方法和/或权利要求6-7任一项所述的接收方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210975614.6A CN115348243A (zh) | 2022-08-15 | 2022-08-15 | 三维点云的传输方法、接收方法、传输装置、接收装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210975614.6A CN115348243A (zh) | 2022-08-15 | 2022-08-15 | 三维点云的传输方法、接收方法、传输装置、接收装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115348243A true CN115348243A (zh) | 2022-11-15 |
Family
ID=83952581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210975614.6A Pending CN115348243A (zh) | 2022-08-15 | 2022-08-15 | 三维点云的传输方法、接收方法、传输装置、接收装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115348243A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024114519A1 (zh) * | 2022-11-29 | 2024-06-06 | 腾讯科技（深圳）有限公司 | 点云封装与解封装方法、装置、介质及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020137642A1 (ja) * | 2018-12-28 | 2020-07-02 | ソニー株式会社 | 情報処理装置および情報処理方法 |
| US20210019936A1 (en) * | 2019-09-27 | 2021-01-21 | Intel Corporation | Methods for timed metadata priority rank signaling for point clouds |
| CN113709093A (zh) * | 2021-03-15 | 2021-11-26 | 上海交通大学 | 一种三维点云的封装方法、装置及介质 |
| WO2022148238A1 (zh) * | 2021-01-06 | 2022-07-14 | 中兴通讯股份有限公司 | 三维点云数据处理方法、装置、存储介质及电子装置 |
-
2022
- 2022-08-15 CN CN202210975614.6A patent/CN115348243A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020137642A1 (ja) * | 2018-12-28 | 2020-07-02 | ソニー株式会社 | 情報処理装置および情報処理方法 |
| US20210019936A1 (en) * | 2019-09-27 | 2021-01-21 | Intel Corporation | Methods for timed metadata priority rank signaling for point clouds |
| WO2022148238A1 (zh) * | 2021-01-06 | 2022-07-14 | 中兴通讯股份有限公司 | 三维点云数据处理方法、装置、存储介质及电子装置 |
| CN113709093A (zh) * | 2021-03-15 | 2021-11-26 | 上海交通大学 | 一种三维点云的封装方法、装置及介质 |
| CN113746797A (zh) * | 2021-03-15 | 2021-12-03 | 上海交通大学 | 一种三维点云的传输方法、装置及介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024114519A1 (zh) * | 2022-11-29 | 2024-06-06 | 腾讯科技（深圳）有限公司 | 点云封装与解封装方法、装置、介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102281349B1 (ko) | 동적 뷰포인트의 좌표계에 대한 메타데이터를 송수신하는 방법 및 장치 | |
| KR102261559B1 (ko) | 정보 처리 방법 및 장치 | |
| KR102188270B1 (ko) | 360 비디오 데이터의 서브픽처 기반 처리 방법 및 그 장치 | |
| KR102157656B1 (ko) | 360도 비디오를 송수신하는 방법 및 그 장치 | |
| CN109691094A (zh) | 发送全向视频的方法、接收全向视频的方法、发送全向视频的装置和接收全向视频的装置 | |
| US20240221305A1 (en) | Three-dimensional point cloud transmission method and apparatus, three-dimensional point cloud receiving method and apparatus, and storage medium | |
| US20200389640A1 (en) | Method and device for transmitting 360-degree video by using metadata related to hotspot and roi | |
| CN109644296A (zh) | 一种视频流传输方法、相关设备及系统 | |
| CN113891117B (zh) | 沉浸媒体的数据处理方法、装置、设备及可读存储介质 | |
| WO2018126702A1 (zh) | 一种应用于虚拟现实技术的流媒体的传输方法和客户端 | |
| CN114697668B (zh) | 点云媒体的编解码方法及相关产品 | |
| US11836882B2 (en) | Three-dimensional point cloud-based initial viewing angle control and presentation method and system | |
| JP2022049708A (ja) | 生成装置、３次元データ送信装置、及び３次元データ再生装置 | |
| CN115348243A (zh) | 三维点云的传输方法、接收方法、传输装置、接收装置及存储介质 | |
| CN115396647A (zh) | 一种沉浸媒体的数据处理方法、装置、设备及存储介质 | |
| CN114116617A (zh) | 点云媒体的数据处理方法、装置、设备及可读存储介质 | |
| KR100374797B1 (ko) | 삼차원 장면의 노드를 처리하는 방법 및 그 장치 | |
| WO2022117031A1 (zh) | 数据传输方法、装置、设备和存储介质 | |
| CN115733576B (zh) | 点云媒体文件的封装与解封装方法、装置及存储介质 | |
| CN117616762A (zh) | 利用3d图形增强视频或外部环境 | |
| KR20200008631A (ko) | 360도 비디오를 전송하는 방법, 360도 비디오를 수신하는 방법, 360도 비디오 전송 장치, 360도 비디오 수신 장치 | |
| CN115623183A (zh) | 容积媒体的数据处理方法、装置、设备以及存储介质 | |
| CN114581631A (zh) | 沉浸式媒体的数据处理方法、装置和计算机可读存储介质 | |
| WO2018120474A1 (zh) | 一种信息的处理方法及装置 | |
| WO2023169003A1 (zh) | 点云媒体的解码方法、点云媒体的编码方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |