CN111901601A - 动态点云数据传输中的不等差错保护的码率分配方法 - Google Patents

动态点云数据传输中的不等差错保护的码率分配方法 Download PDF

Info

Publication number
CN111901601A
CN111901601A CN201910373162.2A CN201910373162A CN111901601A CN 111901601 A CN111901601 A CN 111901601A CN 201910373162 A CN201910373162 A CN 201910373162A CN 111901601 A CN111901601 A CN 111901601A
Authority
CN
China
Prior art keywords
video stream
geometric
texture
point cloud
dynamic point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910373162.2A
Other languages
English (en)
Other versions
CN111901601B (zh
Inventor
徐异凌
黄倩
谢绍伟
管云峰
孙军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201910373162.2A priority Critical patent/CN111901601B/zh
Publication of CN111901601A publication Critical patent/CN111901601A/zh
Application granted granted Critical
Publication of CN111901601B publication Critical patent/CN111901601B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种动态点云数据传输中的不等差错保护的码率分配方法，用于对动态点云的几何视频流、纹理视频流的码率进行分配，对于某个特定丢包率，根据视频的帧类型、每个帧的数据包数量、图像组单元内数据包相对位置等帧信息以及峰值信噪比的变化率等因素，分别给几何视频流和纹理视频流分配不同的冗余数据量。采用了本发明的技术方案，根据受保护数据的重要性级别选择冗余量来为更重要的视频细节提供更好的保护，得到了良好的重建点云的质量并且节省传输带宽，最终给用户带来更好的体验。

Description

动态点云数据传输中的不等差错保护的码率分配方法
技术领域
本发明涉及3D媒体数据可靠性传输应用领域，具体地，涉及一种动态点云数据传输中的不等差错保护的码率分配方法，尤其涉及一种针对动态点云数据传输中不等差错保护(Unequal Error Protection，UEP)的码率分配方法、编码发送方法、接收解码方法、编码发送系统以及接收解码系统。
背景技术
随着信息技术的日新月异，用户对于媒体消费的体验要求越来越高，3D点云凭借其精致高效的呈现特点，引起了人们的极大关注。如今，3D点云是空间中一系列点的集合，记录了被扫描物体表面各点的一组三维坐标信息和多个属性信息，比如颜色、材质、法向量、反射强度等等，已广泛应用于许多领域，包括计算机视觉、自动驾驶、虚拟现实(VirtualReality，VR)/增强现实(Augmented Reality，AR)和全息通信。点云数据是真实物体的几何描述，作为沉浸式多媒体场景表达信息的主要载体，不仅可以有效地表示沉浸式媒体服务中的静态实物和场景，并且可以实时渲染精确的立体模型，真实地描述动态实物或场景信息。虽然点云媒体具有实时全交互、服务个性化、体验更逼真等新特征，但是当采样间隔较小时，物体表面经扫描后点云数据量将相当大，往往达到几十万甚至上百万的量级，导致大量的传输开销。因此，围绕动态点云的可靠性传输及提升相应媒体服务质量的研究正逐渐成为学术界和产业界研究的主流。
现有传输手段主要有广播、宽带网和移动通信网，其信道容量和数据压缩效率虽以每五年翻一番的速度提升，但面对视听媒体内容数据指数性的增长仍难免捉襟见肘。而点云媒体的数据量又是传统视听媒体数据量的数倍，仅靠单一网络各自独立的技术演进和扩容都无法满足沉浸式媒体大流量的传输需求。
在3D点云的消费过程当中，鉴于其由几何信息和纹理信息组成，并且对视觉质量来说它们通常具有不同的重要性，因此本发明根据受保护数据的重要性级别选择冗余量来为更重要的视频细节提供更好的保护，力求得到良好的重建点云质量并节省传输带宽，最终给用户带来更好的体验。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种动态点云数据传输中的不等差错保护的码率分配方法。
根据本发明提供的一种动态点云数据传输中的不等差错保护的码率分配方法，包括如下步骤：
步骤S1，根据数据传输状况确定传输中的数据包的丢包率；
步骤S2，根据丢包率对动态点云的几何视频流和纹理视频流进行处理，得到几何有损纹理无损的点云的视频流和几何无损纹理有损的点云的视频流；
步骤S3，针对几何有损纹理无损的点云的视频流计算其几何峰值信噪比的变化率，针对几何无损纹理有损的点云的视频流计算其纹理峰值信噪比的变化率，并用几何峰值信噪比、纹理峰值信噪比的变化率分别代表几何视频流、纹理视频流的贡献程度；
步骤S4，将每个图像组单元中各传输帧所包含的数据包的总数量、各传输帧的序号、各传输帧的类型，与几何视频流、纹理视频流的贡献程度相结合，分别计算出几何视频流、纹理视频流中图像组单元的冗余权重及平均冗余信息；
步骤S5，计算出相同丢包率下动态点云的视频流的最佳总冗余数据量；
步骤S6，将几何视频流、纹理视频流中图像组单元的平均冗余信息与动态点云的视频流的最佳总冗余数据量相结合，计算得到几何视频流、纹理视频流的总冗余信息；
其中，所述动态点云的几何视频流和纹理视频流由动态点云的视频流压缩编码后生成，所述动态点云的几何视频流、纹理视频流均包含有多个图像组单元，每个图像组单元均由传输帧组成，所述传输帧由数据包组成。
优选地，所述步骤S2中，根据丢包率对动态点云的几何视频流和纹理视频流进行处理，生成有损几何视频流、无损几何视频流、有损纹理视频流和无损纹理视频流，所述有损几何视频流与所述无损纹理视频流合成后得到几何有损纹理无损的点云的视频流，所述无损几何视频流与所述有损纹理视频流合成后得到几何无损纹理有损的点云的视频流。
优选地，所述步骤S3中，几何峰值信噪比的变化率与无损点云、几何有损纹理无损的点云的几何峰值信噪比相关，纹理峰值信噪比的变化率与无损点云、几何无损纹理有损的点云的纹理峰值信噪比相关，所述无损点云为压缩编码后没有几何和纹理损失的点云。
优选地，所述步骤S4中，每个图像组单元中从1开始对各传输帧依次进行编号得到各传输帧的序号。
优选地，所述步骤S4中，所述传输帧包括I帧、P帧、B帧，分别用数值2、1、0表示与各传输帧的类型相对应的被分配的冗余量。
优选地，所述步骤S4中，几何视频流、纹理视频流中图像组单元的平均冗余信息分别为几何视频流、纹理视频流中图像组单元包含的各传输帧的冗余权重的平均值。
优选地，所述步骤S5中，所述动态点云的视频流的最佳总冗余数据量是由动态点云的视频流的长度和丢包率计算得出。
根据本发明提供的一种动态点云数据传输中的不等差错保护的编码发送方法，包括如下步骤：
对动态点云的视频流进行压缩，生成分别表示动态点云的分别表示几何信息的几何视频序列和表示纹理信息的纹理视频序列；
对几何视频序列和纹理视频序列分别进行编码，得到几何视频流和纹理视频流；
对几何视频流和纹理视频流进行分析，分别计算出几何视频流、纹理视频流的总冗余信息；
根据几何视频流、纹理视频流的总冗余信息对几何视频流、纹理视频流进行前向纠错码编码；
对前向纠错码编码后得到的符号流进行发送。
优选地，对几何视频流和纹理视频流进行分析分别计算出几何视频流、纹理视频流的总冗余信息，采用上述的动态点云数据传输中的不等差错保护的码率分配方法。
根据本发明提供的一种动态点云数据传输中的不等差错保护的接收解码方法，包括如下步骤，
对接收到的符号流进行第一次解码，得到动态点的几何视频流和纹理视频流，
对几何视频流和纹理视频流分别进行第二次解码，得到动态点的几何视频序列和纹理视频序列；
对几何视频序列和纹理视频序列进行点云重建，生成动态点云的视频流。
优选地，所述接收到的符号流为上述的一种动态点云数据传输中的不等差错保护的编码发送方法发送的符号流。
根据本发明提供的一种动态点云数据传输中的不等差错保护的编码发送系统，包括第一编码器、第二编码器、第三编码器和几何纹理信息分析码率分析模块；
所述第一编码器，用于接收动态点云的视频流并进行压缩，生成分别表示动态点云的分别表示几何信息的几何视频序列和表示纹理信息的纹理视频序列并输出；
第二解码器，用于对从第一编码器输出的几何视频序列和纹理视频序列分别进行编码，分别得到几何视频流和纹理视频流并输出；
所述几何纹理信息分析码率分析模块，用于对第二解码器输出的几何视频流和纹理视频流进行分析，分别计算出几何视频流、纹理视频流的总冗余信息；
所述第三解码器，用于根据几何视频流、纹理视频流的总冗余信息对几何视频流、纹理视频流进行前向纠错码编码，并对生成符号流进行发送。
优选地，所述几何纹理信息分析码率分析模块，采用上述的一种动态点云数据传输中的不等差错保护的码率分配方法对第二解码器输出的几何视频流和纹理视频流进行分析，分别计算出几何视频流、纹理视频流的总冗余信息。
根据本发明提供的一种动态点云数据传输中的不等差错保护的接收解码系统，包括第一解码器、第二解码器、第三解码器；
所述第一解码器，用于对接收到的符号流进行第一次解码，得到动态点的几何视频流和纹理视频流并输出，
所述第二解码器，用于对第一解码器输出的几何视频流和纹理视频流分别进行第二次解码，得到动态点的几何视频序列和纹理视频序列；
所述第三解码器，用于对得到的几何视频序列和纹理视频序列进行点云重建，生成动态点云的视频流。
优选地，所述接收到的符号流为上述的一种动态点云数据传输中的不等差错保护的编码发送系统发送的符号流。
与现有技术相比，本发明具有如下的有益效果：
本发明的技术方案针对现有技术的不足，根据几何视频流和纹理视频流对点云视觉质量的不同贡献以及视频帧信息，在传输中提供不同的保护级别，使带宽合理分配，最终给带来用户更高的体验。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明提供的动态点云数据传输中的不等差错保护的编码发送系统和接收解码系统的示意图；
图2为本发明提供的动态点云数据传输中的不等差错保护的码率分配方法的示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种动态点云数据传输中的不等差错保护的码率分配方法，包括如下步骤：
步骤S1，根据数据传输状况确定传输中的数据包的丢包率；
步骤S2，根据丢包率对动态点云的几何视频流和纹理视频流进行处理，得到几何有损纹理无损的点云的视频流和几何无损纹理有损的点云的视频流；
步骤S3，针对几何有损纹理无损的点云的视频流计算其几何峰值信噪比的变化率，针对几何无损纹理有损的点云的视频流计算其纹理峰值信噪比的变化率，并用几何峰值信噪比、纹理峰值信噪比的变化率分别代表几何视频流、纹理视频流的贡献程度；
步骤S4，将每个图像组单元中各传输帧所包含的数据包的总数量、各传输帧的序号、各传输帧的类型，与几何视频流、纹理视频流的贡献程度相结合，分别计算出几何视频流、纹理视频流中图像组单元的冗余权重及平均冗余信息；
步骤S5，计算出相同丢包率下动态点云的视频流的最佳总冗余数据量；
步骤S6，将几何视频流、纹理视频流中图像组单元的平均冗余信息与动态点云的视频流的最佳总冗余数据量相结合，计算得到几何视频流、纹理视频流的总冗余信息；
其中，所述动态点云的几何视频流和纹理视频流由动态点云的视频流压缩编码后生成，所述动态点云的几何视频流、纹理视频流均包含有多个图像组单元，每个图像组单元均由传输帧组成，所述传输帧由数据包组成。
具体地，所述步骤S2中，根据丢包率对动态点云的几何视频流和纹理视频流进行处理，生成有损几何视频流、无损几何视频流、有损纹理视频流和无损纹理视频流，所述有损几何视频流与所述无损纹理视频流合成后得到几何有损纹理无损的点云的视频流，所述无损几何视频流与所述有损纹理视频流合成后得到几何无损纹理有损的点云的视频流。所述步骤S3中，几何峰值信噪比的变化率与无损点云、几何有损纹理无损的点云的几何峰值信噪比相关，纹理峰值信噪比的变化率与无损点云、几何无损纹理有损的点云的纹理峰值信噪比相关，所述无损点云为压缩编码后没有几何和纹理损失的点云。所述步骤S4中，每个图像组单元中从1开始对各传输帧依次进行编号得到各传输帧的序号。
更具体地，所述步骤S4中，所述传输帧包括I帧、P帧、B帧，分别用数值2、1、0表示与各传输帧的类型相对应的被分配的冗余量。所述步骤S4中，几何视频流、纹理视频流中图像组单元的平均冗余信息分别为几何视频流、纹理视频流中图像组单元包含的各传输帧的冗余权重的平均值。所述步骤S5中，所述动态点云的视频流的最佳总冗余数据量是由动态点云的视频流的长度和丢包率计算得出。
根据本发明提供的一种动态点云数据传输中的不等差错保护的编码发送方法，包括如下步骤：
对动态点云的视频流进行压缩，生成分别表示动态点云的分别表示几何信息的几何视频序列和表示纹理信息的纹理视频序列；
对几何视频序列和纹理视频序列分别进行编码，得到几何视频流和纹理视频流；
对几何视频流和纹理视频流进行分析，分别计算出几何视频流、纹理视频流的总冗余信息；
根据几何视频流、纹理视频流的总冗余信息对几何视频流、纹理视频流进行前向纠错码编码；
对前向纠错码编码后得到的符号流进行发送。
对几何视频流和纹理视频流进行分析分别计算出几何视频流、纹理视频流的总冗余信息，采用上述的动态点云数据传输中的不等差错保护的码率分配方法。
根据本发明提供的一种动态点云数据传输中的不等差错保护的接收解码方法，包括如下步骤，
对接收到的符号流进行第一次解码，得到动态点的几何视频流和纹理视频流，
对几何视频流和纹理视频流分别进行第二次解码，得到动态点的几何视频序列和纹理视频序列；
对几何视频序列和纹理视频序列进行点云重建，生成动态点云的视频流。
所述接收到的符号流为上述的一种动态点云数据传输中的不等差错保护的编码发送方法发送的符号流。
根据本发明提供的一种动态点云数据传输中的不等差错保护的编码发送系统，包括第一编码器、第二编码器、第三编码器和几何纹理信息分析码率分析模块；
所述第一编码器，用于接收动态点云的视频流并进行压缩，生成分别表示动态点云的分别表示几何信息的几何视频序列和表示纹理信息的纹理视频序列并输出；
第二解码器，用于对从第一编码器输出的几何视频序列和纹理视频序列分别进行编码，分别得到几何视频流和纹理视频流并输出；
所述几何纹理信息分析码率分析模块，用于对第二解码器输出的几何视频流和纹理视频流进行分析，分别计算出几何视频流、纹理视频流的总冗余信息；
所述第三解码器，用于根据几何视频流、纹理视频流的总冗余信息对几何视频流、纹理视频流进行前向纠错码编码，并对生成符号流进行发送。
所述几何纹理信息分析码率分析模块，采用上述的一种动态点云数据传输中的不等差错保护的码率分配方法对第二解码器输出的几何视频流和纹理视频流进行分析，分别计算出几何视频流、纹理视频流的总冗余信息。
根据本发明提供的一种动态点云数据传输中的不等差错保护的接收解码系统，包括第一解码器、第二解码器、第三解码器；
所述第一解码器，用于对接收到的符号流进行第一次解码，得到动态点的几何视频流和纹理视频流并输出，
所述第二解码器，用于对第一解码器输出的几何视频流和纹理视频流分别进行第二次解码，得到动态点的几何视频序列和纹理视频序列；
所述第三解码器，用于对得到的几何视频序列和纹理视频序列进行点云重建，生成动态点云的视频流。
所述接收到的符号流为上述的一种动态点云数据传输中的不等差错保护的编码发送系统发送的符号流。
进一步地，基于以上基础方案，本发明提供了一种动态点云数据传输中的不等差错保护的码率分配方法，分别给几何视频流和纹理视频流分配不同冗余数据量，从而解决动态点云数据传输中出现的数据量大、传输带宽开销大、重建的动态点云质量低的问题。
依据上述目的，下面结合附图和实施例进一步说明本发明的技术方案。
传输系统框架
为了更好地支持动态点云的可靠性传输，本发明的优选例将提出一种针对动态点云的传输系统框架，如图1所示，在一个实施例中，具体流程如下：
步骤一，在发送端利用V-PCC编码器模块完成动态点云的压缩，输出点云的几何视频流和纹理视频流。
步骤二，使用H.264编码器将输出的几何视频流和纹理视频流编码成视频包。
步骤三，根据本发明所提出的不等差错保护的码率分配方法计算分配给几何视频流和纹理视频流的不同冗余信息。
步骤四，在RaptorQ编码模块中根据所分配的冗余信息进行前向纠错码(ForwardError Correction，FEC)编码以实现传输中的不等差错保护。
步骤五，将编码后的源块将通过二进制删除信道(Binary Erasure Channel，BEC)传输。
步骤六，利用RaptorQ解码模块对接收到的符号进行解码。
步骤七，把解码后得到的视频包输入H.264解码器打包成视频流。
步骤八，在V-PCC解码器中可以利用几何视频序列和纹理视频序列来基于视频的点云解压缩方案共同完成点云重建。
算法流程：
动态点云传输中不等差错保护的码率分配方法是基于几何信息和纹理信息对点云视觉质量的不同影响而提出的，关于该领域的研究很少。为了计算几何视频流和纹理视频流的重要程度并评估点云传输期间的失真，本发明优选例使用PSNR值的变化率作为度量。对于某个特定丢包率，本发明会根据视频的帧类型、帧数据包数量、GoP内数据包相对位置等帧信息以及PSNR的变化率等因素，给几何视频流和纹理视频流分配不同的冗余数据量。
首先，本发明分别使用ηD和ηC来计算几何视频流和纹理视频流的PSNR变化率(即采用ηD、ηC分别作为几何视频流的PSNR变化率、纹理视频流的PSNR变化率)：
Figure BDA0002050707830000091
Figure BDA0002050707830000092
其中，v1代表的是无损点云，而v2代表的是有损点云。同时，使用η作为客观质量指标来量化评估点云的几何和纹理损失：
Figure BDA0002050707830000093
其中，f代表的是没有几何和纹理损失的重建点云，而
Figure BDA0002050707830000094
代表的是经过BEC传输后的重建点云。基于PSNR的变化率，我们分别使用分数sD(ps)和sC(ps)来评估一定丢包率下几何视频流和纹理视频流对重建点云视觉质量的贡献程度(即分别采用sD(ps)、sC(ps)作为几何视频流对重建点云视觉质量的贡献程度分数、纹理视频流对重建点云视觉质量的贡献程度分数)：
Figure BDA0002050707830000095
Figure BDA0002050707830000096
其中，
Figure BDA0002050707830000097
代表的是使用丢包率为ps的几何视频流和无损的纹理视频流合成的点云，而
Figure BDA0002050707830000098
代表的是使用无损的几何视频流和丢包率为ps的纹理视频流合成的点云。
一定丢包率下冗余数据的权重信息是综合考虑视频的帧类型、帧数据包数量、GoP内数据包相对位置等帧信息以及PSNR变化率计算得到的。具体而言，不同的帧类型和帧大小需要不同的冗余量。此外，靠近GoP开头位置的数据包比在接近结束位置的数据包具有更大的影响，因此，它们需要更多的保护。此外，可以在BEC上随机丢包以测试PSNR的变化率来评估几何和纹理流信息缺失的影响。基于上述特点，可以计算得到丢包率为ps的情况下每个GoP的冗余权重RWGoP(ps)：
Figure BDA0002050707830000099
其中，FSi代表的是传输帧的视频包总数量，FTi代表的是传输帧类型，由参考文献[1]可得FTi＝(γI,γP,γB)＝(2,1,0)，其中γI、γP、γB分别表示I帧被分配的冗余数据量、P帧被分配的冗余数据量、B帧被分配的冗余数据量，说明I帧被分配的冗余数据量为P帧的两倍，参数SGoP(ps)代表几何视频流和纹理视频流的贡献程度，其值将由前面的公式计算的参数得到：SGoP(ps)＝(sD(ps),sC(ps)），而RPi则代表数据包相对于GoP初始位置的距离，也就是说与GoP中的最后一帧相比，第一帧将会被分配更多的冗余数据量，GoPLengh为GoP的长度(帧数)。
为了得到几何视频流和纹理视频流的冗余信息，可以先计算每一个GoP的平均冗余信息：
Figure BDA0002050707830000101
Figure BDA0002050707830000102
其中，
Figure BDA0002050707830000103
为几何视频流GoP的平均冗余信息，
Figure BDA0002050707830000104
为纹理视频流GoP的平均冗余信息，
Figure BDA0002050707830000105
为丢包率为ps的情况下几何视频流每个GoP的冗余权重，
Figure BDA0002050707830000106
为丢包率为ps的情况下纹理视频流每个GoP的冗余权重，nD,GoP为集合视频流中GoP的个数，nC,GoP为纹理视频流中GoP的个数。
而对于RaptorQ码来说，其在丢包率为ps的情况下长度为K的源块的最佳冗余数据量Rtotal(ps)的选择如参考文献[2]所述：
Figure BDA0002050707830000107
参考文献信息如下：
[1]基于跨层FEC机制的丢包弹性视频传输，数据流量检测和分析会议；(R.Immich,E.Cerqueira,and M.Curado,"Cross-layer fec-based mechanism forpacket loss resilient video transmission,"in Data Traffic Monitoring andAnalysis.Springer,Berlin,Heidelberg,pp.320-336,2013.)
[2]面向5G NGMN的演进AL-FEC应用，新技术、移动与安全会议。(C.Bouras,andN.Kanakis,"Evolving AL-FEC Application Towards 5G NGMN,"in New Technologies,Mobility and Security(NTMS),IFIP International Conference on.IEEE,pp.1-5,Feb.2018.)
综上，针对一定的丢包率ps，可以分别计算得到的几何视频流的总冗余信息RD(ps)和纹理视频流的总冗余信息RC(ps)关系：
Figure BDA0002050707830000111
如图2所示，在一个实施例中，具体流程如下：
对于输出后的点云的几何视频流和纹理视频流，得到一定丢包率ps下有损几何视频流和有损纹理视频流，并合成得到几何有损纹理无损的点云
Figure BDA0002050707830000112
和几何无损纹理有损的点云
Figure BDA0002050707830000113
针对几何有损纹理无损的点云
Figure BDA0002050707830000114
计算其几何PSNR的变化率：
Figure BDA0002050707830000115
针对几何无损纹理有损的点云
Figure BDA0002050707830000116
计算其纹理PSNR的变化率：
Figure BDA0002050707830000117
得到PSNR的变化率值，分别用其来衡量几何视频流和纹理视频流对于视觉质量的贡献程度：SGoP(ps)＝(sD(ps),sC(ps))；
联合使用量化的几何视频流和纹理视频流对于视觉质量的贡献程度值SGoP(ps)、传输帧的视频包总数量值FSi，根据传输帧类型确定的值FTi以及数据包相对于GoP初始位置的距离RPi计算丢包率为ps的情况下每个GoP的冗余权重RWGoP(ps)；
计算丢包率为ps的情况下长度为K的源块的最佳总冗余数据量：
Figure BDA0002050707830000118
根据每一个GoP的平均冗余信息和总冗余数据量可以分别计算得到的几何视频流的总冗余信息RD(ps)和纹理视频流的总冗余信息RC(ps)；
根据所分配的冗余信息FEC编码以实现动态点云传输中的不等差错保护。
本发明的技术方案通过动态图像专家组(Moving Picture Experts Group，MPEG)提出的基于视频的点云压缩(Video-based Point Cloud Compression，V-PCC)方案将点云分别投影为几何视频序列和纹理视频序列来进行传输。同时，考虑到视频的帧类型、帧数据包数量、图像组(Group of Pictures，GoP)内数据包相对位置等帧信息以及不同丢包率下峰值信噪比(Peak Signal to Noise Ratio，PSNR)的变化率等因素，为输出的几何视频流和纹理视频流提供不等差错保护，充分考虑了点云媒体自身的特性并为更重要的细节提供了更好的保护。
在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (15)

1.一种动态点云数据传输中的不等差错保护的码率分配方法，其特征在于，包括如下步骤：
步骤S1，根据数据传输状况确定传输中的数据包的丢包率；
步骤S2，根据丢包率对动态点云的几何视频流和纹理视频流进行处理，得到几何有损纹理无损的点云的视频流和几何无损纹理有损的点云的视频流；
步骤S3，针对几何有损纹理无损的点云的视频流计算其几何峰值信噪比的变化率，针对几何无损纹理有损的点云的视频流计算其纹理峰值信噪比的变化率，并用几何峰值信噪比、纹理峰值信噪比的变化率分别代表几何视频流、纹理视频流的贡献程度；
步骤S4，将每个图像组单元中各传输帧所包含的数据包的总数量、各传输帧的序号、各传输帧的类型，与几何视频流、纹理视频流的贡献程度相结合，分别计算出几何视频流、纹理视频流中图像组单元的冗余权重及平均冗余信息；
步骤S5，计算出相同丢包率下动态点云的视频流的最佳总冗余数据量；
步骤S6，将几何视频流、纹理视频流中图像组单元的平均冗余信息与动态点云的视频流的最佳总冗余数据量相结合，计算得到几何视频流、纹理视频流的总冗余信息；
其中，所述动态点云的几何视频流和纹理视频流由动态点云的视频流压缩编码后生成，所述动态点云的几何视频流、纹理视频流均包含有多个图像组单元，每个图像组单元均由传输帧组成，所述传输帧由数据包组成。
2.如权利要求1所述的动态点云数据传输中的不等差错保护的码率分配方法，其特征在于，所述步骤S2中，根据丢包率对动态点云的几何视频流和纹理视频流进行处理，生成有损几何视频流、无损几何视频流、有损纹理视频流和无损纹理视频流，所述有损几何视频流与所述无损纹理视频流合成后得到几何有损纹理无损的点云的视频流，所述无损几何视频流与所述有损纹理视频流合成后得到几何无损纹理有损的点云的视频流。
3.如权利要求1所述的动态点云数据传输中的不等差错保护的码率分配方法，其特征在于，所述步骤S3中，几何峰值信噪比的变化率与无损点云、几何有损纹理无损的点云的几何峰值信噪比相关，纹理峰值信噪比的变化率与无损点云、几何无损纹理有损的点云的纹理峰值信噪比相关，所述无损点云为压缩编码后没有几何和纹理损失的点云。
4.如权利要求1所述的动态点云数据传输中的不等差错保护的码率分配方法,其特征在于，所述步骤S4中，每个图像组单元中从1开始对各传输帧依次进行编号得到各传输帧的序号。
5.如权利要求1所述的动态点云数据传输中的不等差错保护的码率分配方法,其特征在于，所述步骤S4中，所述传输帧包括I帧、P帧、B帧，分别用数值2、1、0表示与各传输帧的类型相对应的被分配的冗余量。
6.如权利要求1所述的动态点云数据传输中的不等差错保护的码率分配方法,其特征在于，所述步骤S4中，几何视频流、纹理视频流中图像组单元的平均冗余信息分别为几何视频流、纹理视频流中图像组单元包含的各传输帧的冗余权重的平均值。
7.如权利要求1所述的动态点云数据传输中的不等差错保护的码率分配方法,其特征在于，所述步骤S5中，所述动态点云的视频流的最佳总冗余数据量是由动态点云的视频流的长度和丢包率计算得出。
8.一种动态点云数据传输中的不等差错保护的编码发送方法，其特征在于，包括如下步骤：
对动态点云的视频流进行压缩，生成分别表示动态点云的分别表示几何信息的几何视频序列和表示纹理信息的纹理视频序列；
对几何视频序列和纹理视频序列分别进行编码，得到几何视频流和纹理视频流；
对几何视频流和纹理视频流进行分析，分别计算出几何视频流、纹理视频流的总冗余信息；
根据几何视频流、纹理视频流的总冗余信息对几何视频流、纹理视频流进行前向纠错码编码；
对前向纠错码编码后得到的符号流进行发送。
9.如权利要求8所述的动态点云数据传输中的不等差错保护的编码发送方法,其特征在于，对几何视频流和纹理视频流进行分析分别计算出几何视频流、纹理视频流的总冗余信息，采用权利要求1至7中任一项所述的动态点云数据传输中的不等差错保护的码率分配方法。
10.一种动态点云数据传输中的不等差错保护的接收解码方法，其特征在于，包括如下步骤，
对接收到的符号流进行第一次解码，得到动态点的几何视频流和纹理视频流，
对几何视频流和纹理视频流分别进行第二次解码，得到动态点的几何视频序列和纹理视频序列；
对几何视频序列和纹理视频序列进行点云重建，生成动态点云的视频流。
11.如权利要求10所述的动态点云数据传输中的不等差错保护的接收解码方法，其特征在于，所述接收到的符号流为如权利要求8或9所述的动态点云数据传输中的不等差错保护的编码发送方法发送的符号流。
12.一种动态点云数据传输中的不等差错保护的编码发送系统，其特征在于，包括第一编码器、第二编码器、第三编码器和几何纹理信息分析码率分析模块；
所述第一编码器，用于接收动态点云的视频流并进行压缩，生成分别表示动态点云的分别表示几何信息的几何视频序列和表示纹理信息的纹理视频序列并输出；
第二解码器，用于对从第一编码器输出的几何视频序列和纹理视频序列分别进行编码，分别得到几何视频流和纹理视频流并输出；
所述几何纹理信息分析码率分析模块，用于对第二解码器输出的几何视频流和纹理视频流进行分析，分别计算出几何视频流、纹理视频流的总冗余信息；
所述第三解码器，用于根据几何视频流、纹理视频流的总冗余信息对几何视频流、纹理视频流进行前向纠错码编码，并对生成符号流进行发送。
13.如权利要求12所述的动态点云数据传输中的不等差错保护的编码发送系统，其特征在于，所述几何纹理信息分析码率分析模块，采用如权利要求1至7中任一项所述的动态点云数据传输中的不等差错保护的码率分配方法对第二解码器输出的几何视频流和纹理视频流进行分析，分别计算出几何视频流、纹理视频流的总冗余信息。
14.一种动态点云数据传输中的不等差错保护的接收解码系统，其特征在于，包括第一解码器、第二解码器、第三解码器；
所述第一解码器，用于对接收到的符号流进行第一次解码，得到动态点的几何视频流和纹理视频流并输出，
所述第二解码器，用于对第一解码器输出的几何视频流和纹理视频流分别进行第二次解码，得到动态点的几何视频序列和纹理视频序列；
所述第三解码器，用于对得到的几何视频序列和纹理视频序列进行点云重建，生成动态点云的视频流。
15.如权利要求14所述的动态点云数据传输中的不等差错保护的接收解码系统，其特征在于，所述接收到的符号流为如权利要求12或13所述的动态点云数据传输中的不等差错保护的编码发送系统发送的符号流。
CN201910373162.2A 2019-05-06 2019-05-06 动态点云数据传输中的不等差错保护的码率分配方法 Active CN111901601B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910373162.2A CN111901601B (zh) 2019-05-06 2019-05-06 动态点云数据传输中的不等差错保护的码率分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910373162.2A CN111901601B (zh) 2019-05-06 2019-05-06 动态点云数据传输中的不等差错保护的码率分配方法

Publications (2)

Publication Number Publication Date
CN111901601A true CN111901601A (zh) 2020-11-06
CN111901601B CN111901601B (zh) 2023-03-31

Family

ID=73169531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910373162.2A Active CN111901601B (zh) 2019-05-06 2019-05-06 动态点云数据传输中的不等差错保护的码率分配方法

Country Status (1)

Country Link
CN (1) CN111901601B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113810736A (zh) * 2021-08-26 2021-12-17 北京邮电大学 一种ai驱动的实时点云视频传输方法及系统
CN114584257A (zh) * 2022-01-26 2022-06-03 百果园技术(新加坡)有限公司 一种基于前向纠错编码的冗余分配方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101516105A (zh) * 2009-03-19 2009-08-26 浙江工商大学 一种面向移动有损网络的基于预测重构的模型传输方法
KR20150089364A (ko) * 2014-01-27 2015-08-05 한국생산기술연구원 점군데이터를 위한 실시간 송수신 시스템 및 방법, 그리고 이에 적용되는 장치
CN106331676A (zh) * 2016-08-31 2017-01-11 贾岳杭 基于虚拟现实环境的三维数据的处理与传输方法
CN106941599A (zh) * 2016-01-04 2017-07-11 中国移动通信集团公司 一种信号传输方法、终端设备和视频会议系统
CN108510558A (zh) * 2017-02-28 2018-09-07 上海小桁网络科技有限公司 点云数据的压缩方法、装置及终端
US20190087979A1 (en) * 2017-09-18 2019-03-21 Apple Inc. Point cloud compression
EP3474231A1 (en) * 2017-10-19 2019-04-24 Thomson Licensing Method and device for predictive encoding/decoding of a point cloud
US20190122393A1 (en) * 2017-10-21 2019-04-25 Samsung Electronics Co., Ltd Point cloud compression using hybrid transforms

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101516105A (zh) * 2009-03-19 2009-08-26 浙江工商大学 一种面向移动有损网络的基于预测重构的模型传输方法
KR20150089364A (ko) * 2014-01-27 2015-08-05 한국생산기술연구원 점군데이터를 위한 실시간 송수신 시스템 및 방법, 그리고 이에 적용되는 장치
CN106941599A (zh) * 2016-01-04 2017-07-11 中国移动通信集团公司 一种信号传输方法、终端设备和视频会议系统
CN106331676A (zh) * 2016-08-31 2017-01-11 贾岳杭 基于虚拟现实环境的三维数据的处理与传输方法
CN108510558A (zh) * 2017-02-28 2018-09-07 上海小桁网络科技有限公司 点云数据的压缩方法、装置及终端
US20190087979A1 (en) * 2017-09-18 2019-03-21 Apple Inc. Point cloud compression
EP3474231A1 (en) * 2017-10-19 2019-04-24 Thomson Licensing Method and device for predictive encoding/decoding of a point cloud
US20190122393A1 (en) * 2017-10-21 2019-04-25 Samsung Electronics Co., Ltd Point cloud compression using hybrid transforms

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113810736A (zh) * 2021-08-26 2021-12-17 北京邮电大学 一种ai驱动的实时点云视频传输方法及系统
CN114584257A (zh) * 2022-01-26 2022-06-03 百果园技术(新加坡)有限公司 一种基于前向纠错编码的冗余分配方法及装置
CN114584257B (zh) * 2022-01-26 2024-02-13 百果园技术(新加坡)有限公司 一种基于前向纠错编码的冗余分配方法及装置

Also Published As

Publication number Publication date
CN111901601B (zh) 2023-03-31

Similar Documents

Publication Publication Date Title
US11568514B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
KR102330527B1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
Ozcinar et al. Viewport-aware adaptive 360 video streaming using tiles for virtual reality
JP7422883B2 (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置、及びポイントクラウドデータ受信方法
EP3586518A1 (en) Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for vr videos
US11315270B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
Liu et al. Vues: Practical mobile volumetric video streaming through multiview transcoding
US20190313080A1 (en) Depth codec for real-time, high-quality light field reconstruction
CN111901601B (zh) 动态点云数据传输中的不等差错保护的码率分配方法
TWI806479B (zh) 點雲編解碼方法、裝置、電腦可讀介質及電子設備
US12058370B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN115396645B (zh) 一种沉浸媒体的数据处理方法、装置、设备及存储介质
CN113748683A (zh) 用于在压缩视频文件中保存带内元数据的系统和方法
Ozcinar et al. Estimation of optimal encoding ladders for tiled 360 VR video in adaptive streaming systems
US20230014844A1 (en) Transmission device of point cloud data and method performed by transmission device, and reception device of point cloud data and method performed by reception device
TW202243481A (zh) 點雲解碼方法及裝置、點雲編碼方法及裝置以及電子設備
Hu et al. Multiple description coding for best-effort delivery of light field video using GNN-based compression
CN113141526B (zh) QoE驱动下的联合资源分配的点云视频自适应传输方法
CN102656884A (zh) 使用像素流执行视频编码
US20110141289A1 (en) Method and system for assessing quality of multi-level video
CN113366842B (zh) 基于内容层的视频压缩的系统和方法
FR3118379A1 (fr) Procédé et dispositif de compression de données représentatives d'une scène tridimensionnelle volumétrique en vue d’une décompression en temps réel pour un visionnage en ligne.
Shafi et al. MTC360: A multi-tiles configuration for viewport-dependent 360-degree video streaming
CN113395603B (zh) 一种基于模型预测控制的点云视频流自适应传输方法
CN115633179A (zh) 一种用于实时体积视频流传输的压缩方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant