CN110012279B - 基于3d点云数据的分视角压缩和传输方法及系统 - Google Patents
基于3d点云数据的分视角压缩和传输方法及系统 Download PDFInfo
- Publication number
- CN110012279B CN110012279B CN201810012505.8A CN201810012505A CN110012279B CN 110012279 B CN110012279 B CN 110012279B CN 201810012505 A CN201810012505 A CN 201810012505A CN 110012279 B CN110012279 B CN 110012279B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- video
- cloud data
- code
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
Abstract
本发明提供了一种基于3D点云的分视角压缩和传输方法，包括如下步骤：发送步骤：从扫描设备获取点云数据，将点云数据中的点进行规则化，生成多路视频，并存放于服务器内；动态传输步骤：根据视角请求，将存放于服务器内的多路视频进行3D重建；根据传输指令，将多路视频构成相应视频组合；接收步骤：根据当前视频组合，对视频组合中的点云数据进行重建，并呈现至播放器中。本发明提供的基于3D点云的分视角压缩和传输方法，在收端用户当前时刻无法观看到的部分进行低质量、低码率的3D重建，进而节省的带宽资源可以用来请求当前正在观看视角的高质量内容，使带宽合理分配，最终给带来用户更高的体验。
Description
技术领域
本发明涉及3D媒体数据压缩与传输应用领域，具体地，涉及一种针对3D点云数据的分视角压缩和传输的方法。
背景技术
近年来随着信息技术的日新月异，用户对于媒体消费的体验要求越来越高，从色彩更逼真、画面更清晰，到如今用户希望获得更加真实的体验和感受，未来媒体正跨入沉浸式时代。为保证用户的沉浸感体验，媒体数据表现形式逐渐趋于精细化和多样化。围绕沉浸式媒体的技术正逐渐成为学术界和产业界研究的主流，发展十分迅猛，面向其设计开发的内容与服务越来越丰富。根据不同服务提出的呈现需求，相应的数据描述方法的研究也受到了广泛的关注。得益于3D采集设备的快速发展，点云数据在学术界和工业界引起了广泛的关注。3D点云是空间中一系列点的集合，记录了被扫描物体表面各点的一组3D坐标信息和多个属性信息，比如颜色、材质、法向量、反射强度等等。点云数据是真实物体的几何描述，是一种新的3D模型数据格式，作为沉浸式多媒体场景表达信息的主要载体，不仅可以有效地表示沉浸式媒体服务中的静态实物和场景，并且可以实时渲染精确的立体模型，真实地描述动态实物或场景信息。这些代表性的沉浸式媒体具有实时全交互、服务个性化、体验更逼真等新特征，但是当采样间隔较小时，物体表面经扫描后点云数据量将相当大，往往达到几十万甚至上百万的量级，同时，数据模型的大数据量、高复杂度和无规则性将为计算机处理运算增加沉重的负担，大大降低显示、处理、分析和传输点云数据的效率。因此，在尽可能地保留点云数据特征和内在信息的基础上，压缩数据量是进一步处理点云数据的必然选择。而且，由于点云数据形式的稀疏表示特性及渲染呈现的实时性需求，相较于传统的媒体数据，其几何结构复杂，特征信息多样化且维度较高。尤其，精细化的点云数据蕴含了丰富的细节。因此，需要进一步研究动态点云数据的高效压缩技术，减少数据量，以保证可靠传输及相应的媒体服务质量。
但是3D点云模型的消费过程当中，由于点在一定区域内的分布可能会很密集而造成的遮挡使用户不能在某一时刻观看到模型的全部，即有一部分点是无法被用户消费的。而在现有的压缩传输方法主要面向3D点云的整体压缩，力求重建之后的每一个点都逼近原始模型，而无法把一帧完整的点云模型分成能被消费的点和无法被消费的点，从而大量的网络带宽资源和终端计算能力被浪费在这部分无法被消费的点上。
现有传输手段主要有广播、宽带网和移动通信网，其信道容量和数据压缩效率虽以每五年翻一番的速度提升，但面对视听媒体内容数据指数性的增长仍难免捉襟见肘。而3D点云媒体的数据量又是传统视听媒体数据量的数倍，仅靠单一网络各自独立的技术演进和扩容都无法满足沉浸式媒体大流量的传输需求。针对此问题，本发明将提出一套针对3D点云序列的动态分视角传输系统架构。
由发送器输出可知，每一个点云序列由多组不同码率的视频所表示，每组视频又包含六路视频，每一路代表一个独立的视角。由任何一路视频独立恢复出的部分点云都可以呈现该视角下的完整画面。由于3D视觉的特征，在有限的一段时间内，用户只能观看到模型的一个视角，而其他视角所呈现的内容无法被用户观看到，因此把网络带宽和客户端的计算能力花费在这些内容上是毫无意义的。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于3D点云数据的分视角压缩和传输方法及系统。
根据本发明提供的一种基于3D点云的分视角压缩和传输方法，包括如下步骤：发送步骤：从扫描设备获取点云数据，将点云数据中的点进行规则化，生成多路视频，并存放于服务器内；
动态传输步骤：根据视角请求，将存放于服务器内的多路视频进行3D重建；根据传输指令，将多路视频构成相应视频组合；
接收步骤：根据当前视频组合，对视频组合中的点云数据进行重建，并呈现至播放器中。
优选地，所述发送步骤包括如下子步骤：
点规则化步骤：从扫描设备获取点云数据，采用八叉树结构将点云数据中的点排布在体素中，进而对点云数据进行规则化，生成空间体素；
空间分解步骤：根据八叉树的预设深度阈值，确定空间体素的位置信息及空间体素的色彩信息，并建立第一包围盒；
彩色图和深度图生成步骤：根据第一包围盒，分别生成彩色图和深度图；
多路视频生成步骤：根据色彩信息、位置信息将点云数据中的点以像素值形式保存在彩色图、深度图的相应位置，并生成点云彩色图和/或点云深度图；经投影后，所述点云彩色图与点云深度图生成多路视频；
视频压缩步骤：将多路视频进行压缩，并生成多组版本多路视频存放至服务器；
所述多组版本多路视频包括高码率版本多路视频和低码率版本多路视频；
所述高码率版本多路视频的清晰度高于低码率版本多路视频的清晰度。
优选地，在动态传输步骤中：
根据视角请求，将存放于服务器内的多路视频分别进行高码率版本多路视频3D重建和/或低码率版本多路视频的3D重建；
所述高码率版本多路视频的清晰度高于低码率版本多路视频的清晰度，并且所述高码率版本多路视频为视角请求的视频，即观看视角的视频；
所述低码率版本多路视频为非视角请求的视频，即非观看视角的视频。
优选地，在动态传输步骤中：
根据传输指令，将多路视频通过广播和宽带网构成相应视频组合。
优选地，在所述接收步骤中：
将点云序列建立为第二包围盒，并确认每一路视频所对应的投影面，并呈现至播放器中；
其中，所述第二包围盒为第一包围盒；
所述点云序列，即为接收后的空间体素。
优选地，在所述点云图生成步骤中，对于多点位置相重合，对所述点与投影面的距离进行排序，并选择排序中，相对最小的距离所在的点进行投影；
所述点为点云数据中的点。
优选地，在所述低码率版本中，将每一个视角的点云数据中的空体素进行标记，记为旗帜信息；
在所述多路视频生成步骤中，对于点云数据中的空体素对应的像素位置，记为0。
优选地，在接收步骤中：
将多路视频划分为高优先级及低优先级，并对高优先级的点进行合并；
其中，所述高码率版本多路视频重建出的点云数据为高优先级；
所述低码率版本多路视频重建出的点云数据为低优先级。
本发明还提供了一种基于3D点云的分视角压缩和传输系统，包括如下模块：发送模块：从扫描设备获取点云数据，将点云数据中的点进行规则化，生成多路视频，并存放于服务器内；
动态传输模块：根据视角请求，将存放于服务器内的多路视频进行3D重建；根据传输指令，将多路视频构成相应视频组合；
接收模块：根据当前视频组合，对视频组合中的点云数据进行重建，并呈现至播放器中。
优选地，所述发送模块包括如下子模块：
点规则化模块：从扫描设备获取点云数据，采用八叉树结构将点云数据中的点排布在体素中，进而对点云数据进行规则化，生成空间体素；
空间分解模块：根据八叉树的预设深度阈值，确定空间体素的位置信息及空间体素的色彩信息，并建立第一包围盒；
彩色图和深度图生成模块：根据第一包围盒，分别生成彩色图和深度图；
多路视频生成模块：根据色彩信息、位置信息将点云数据中的点以像素值形式保存在彩色图、深度图的相应位置，并生成点云彩色图和/或点云深度图；经投影后，所述点云彩色图与点云深度图生成多路视频；
视频压缩模块：将多路视频进行压缩，并生成多组版本多路视频存放至服务器；
所述多组版本多路视频包括高码率版本多路视频和低码率版本多路视频；
所述高码率版本多路视频的清晰度高于低码率版本多路视频的清晰度。
在动态传输模块中：根据视角请求，将存放于服务器内的多路视频分别进行高码率版本多路视频3D重建和/或低码率版本多路视频的3D重建；
所述高码率版本多路视频的清晰度高于低码率版本多路视频的清晰度，并且所述高码率版本多路视频为视角请求的视频，即观看视角的视频；
所述低码率版本多路视频为非视角请求的视频，即非观看视角的视频。
在动态传输模块中：根据传输指令，将多路视频通过广播和宽带网构成相应视频组合。
在所述接收模块中：将点云序列建立为第二包围盒，并确认每一路视频所对应的投影面，并呈现至播放器中；
其中，所述第二包围盒为第一包围盒；
所述点云序列，即为接收后的空间体素。
在所述点云图生成模块中，对于多点位置相重合，对所述点与投影面的距离进行排序，并选择排序中，相对最小的距离所在的点进行投影；
所述点为点云数据中的点。
在所述低码率版本中，将每一个视角的点云数据中的空体素进行标记，记为旗帜信息；
在所述多路视频生成模块中，对于点云数据中的空体素对应的像素位置，记为0。
在接收模块中：
将多路视频划分为高优先级及低优先级，并对高优先级的点进行合并；
其中，所述高码率版本多路视频重建出的点云数据为高优先级；
所述低码率版本多路视频重建出的点云数据为低优先级。
与现有技术相比，本发明具有如下的有益效果：
1、本发明提供的基于3D点云的分视角压缩和传输方法，在收端用户当前时刻无法观看到的部分进行低质量、低码率的3D重建，进而节省的带宽资源可以用来请求当前正在观看视角的高质量内容，使带宽合理分配，最终给带来用户更高的体验。
2、本发明提供的基于3D点云的分视角压缩和传输方法，包含一个高效的3D与2D相互映射的算法，从而利用目前高效的2D发送方法进行进一步压缩。发送器能够输出6路压缩后的视频文件代表6个不同的视角；而接收器的输入可以是任意码率组合的6路视频，或者是只包含当前观看视角的1路或者3路视频，即可重建出适合当前时刻呈现的模型。
3、本发明提供的基于3D点云的分视角压缩和传输方法还包括了一套适用于3D点云分视角传输且融合了广播和宽带的异构网络传输系统架构，它可以根据点云媒体自身的特性，并且充分发挥不同网络各自的优势最终实现高效灵活的传输。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明提供的基于3D点云的分视角压缩和传输方法的编接收器以及传输系统框架的示意图。
图2为本发明提供的基于3D点云的分视角压缩和传输方法的空间中3D坐标点与平面像素点的映射关系。
图3为本发明提供的基于3D点云的分视角压缩和传输方法的一段点云序列输出的六路原始视频图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1所示，本发明提供了一种基于3D点云的分视角压缩和传输方法，包括如下步骤：发送步骤：从扫描设备获取点云数据，将点云数据中的点进行规则化，生成多路视频，并存放于服务器内；动态传输步骤：根据视角请求，将存放于服务器内的多路视频进行3D重建；根据传输指令，将多路视频构成相应视频组合；接收步骤：根据当前视频组合，对视频组合中的点云数据进行重建，并呈现至播放器中。
所述发送步骤包括如下子步骤：点规则化步骤：从扫描设备获取点云数据，采用八叉树结构将点云数据中的点排布在体素中，进而对点云数据进行规则化，生成空间体素；空间分解步骤：根据八叉树的预设深度阈值，确定空间体素的位置信息及空间体素的色彩信息，并建立第一包围盒；彩色图和深度图生成步骤：根据第一包围盒，分别生成彩色图和深度图；多路视频生成步骤：根据色彩信息、位置信息将点云数据中的点以像素值形式保存在彩色图、深度图的相应位置，并生成点云彩色图和/或点云深度图；经投影后，所述点云彩色图与点云深度图生成多路视频；视频压缩步骤：将多路视频进行压缩，并生成多组版本多路视频存放至服务器；所述多组版本多路视频包括高码率版本多路视频和低码率版本多路视频；所述高码率版本多路视频的清晰度高于低码率版本多路视频的清晰度。
在动态传输步骤中：根据视角请求，将存放于服务器内的多路视频分别进行高码率版本多路视频3D重建和/或低码率版本多路视频的3D重建；所述高码率版本多路视频的清晰度高于低码率版本多路视频的清晰度，并且所述高码率版本多路视频为视角请求的视频，即观看视角的视频；所述低码率版本多路视频为非视角请求的视频，即非观看视角的视频。
在动态传输步骤中：根据传输指令，将多路视频通过广播和宽带网构成相应视频组合。
在所述接收步骤中：将点云序列建立为第二包围盒，并确认每一路视频所对应的投影面，并呈现至播放器中；其中，所述第二包围盒为第一包围盒；所述点云序列，即为接收后的空间体素。
在所述点云图生成步骤中，对于多点位置相重合，对所述点与投影面的距离进行排序，并选择排序中，相对最小的距离所在的点进行投影；所述点为点云数据中的点。
在所述低码率版本中，将每一个视角的点云数据中的空体素进行标记，记为旗帜信息；在所述多路视频生成步骤中，对于点云数据中的空体素对应的像素位置，记为0。
在接收步骤中：将多路视频划分为高优先级及低优先级，并对高优先级的点进行合并；其中，所述高码率版本多路视频重建出的点云数据为高优先级；所述低码率版本多路视频重建出的点云数据为低优先级。
本发明还提供了一种基于3D点云的分视角压缩和传输系统，包括如下模块：发送模块：从扫描设备获取点云数据，将点云数据中的点进行规则化，生成多路视频，并存放于服务器内；动态传输模块：根据视角请求，将存放于服务器内的多路视频进行3D重建；根据传输指令，将多路视频构成相应视频组合；接收模块：根据当前视频组合，对视频组合中的点云数据进行重建，并呈现至播放器中。
所述发送模块包括如下子模块：点规则化模块：从扫描设备获取点云数据，采用八叉树结构将点云数据中的点排布在体素中，进而对点云数据进行规则化，生成空间体素；空间分解模块：根据八叉树的预设深度阈值，确定空间体素的位置信息及空间体素的色彩信息，并建立第一包围盒；彩色图和深度图生成模块：根据第一包围盒，分别生成彩色图和深度图；多路视频生成模块：根据色彩信息、位置信息将点云数据中的点以像素值形式保存在彩色图、深度图的相应位置，并生成点云彩色图和/或点云深度图；经投影后，所述点云彩色图与点云深度图生成多路视频；视频压缩模块：将多路视频进行压缩，并生成多组版本多路视频存放至服务器；所述多组版本多路视频包括高码率版本多路视频和低码率版本多路视频；所述高码率版本多路视频的清晰度高于低码率版本多路视频的清晰度。在动态传输模块中：根据视角请求，将存放于服务器内的多路视频分别进行高码率版本多路视频3D重建和/或低码率版本多路视频的3D重建；所述高码率版本多路视频的清晰度高于低码率版本多路视频的清晰度，并且所述高码率版本多路视频为视角请求的视频，即观看视角的视频；所述低码率版本多路视频为非视角请求的视频，即非观看视角的视频。在动态传输模块中：根据传输指令，将多路视频通过广播和宽带网构成相应视频组合。在所述接收模块中：将点云序列建立为第二包围盒，并确认每一路视频所对应的投影面，并呈现至播放器中；其中，所述第二包围盒为第一包围盒；所述点云序列，即为接收后的空间体素。在所述点云图生成模块中，对于多点位置相重合，对所述点与投影面的距离进行排序，并选择排序中，相对最小的距离所在的点进行投影；所述点为点云数据中的点。在所述低码率版本中，将每一个视角的点云数据中的空体素进行标记，记为旗帜信息；在所述多路视频生成模块中，对于点云数据中的空体素对应的像素位置，记为0。
在接收模块中：将多路视频划分为高优先级及低优先级，并对高优先级的点进行合并；其中，所述高码率版本多路视频重建出的点云数据为高优先级；所述低码率版本多路视频重建出的点云数据为低优先级。
下面对本发明提供的基于3D点云数据的分视角压缩和传输方法及系统进行进一步的具体说明：
发送端，即发送模块；编码器设置在发送端上；点云数据是由3D扫描设备采集而来，起初3D扫描后的点云数据中的这些点的分布非常散乱，没有规律，对进一步的处理造成了很大的障碍。故编码器的采用八叉树的树形结构对散乱的点进行规则化，使空间中的点全部都排布在八叉树的叶节点，也就是立方体的体素中。根据预设的八叉树深度阈值进行空间分解，当深度达到阈值之后，每一个三维体素便是一个规则化后的输出点，该体素的中心位置为输出点的位置信息，而体素内包含的所有点的色彩信息平均值为输出点的色彩信息。这样将空间中散乱的点规则排列成空间体素，便于在接下来2D与3D之间建立映射关系。然后对于该点云序列建立一个唯一的bounding box，即包围盒，该包围盒会包含每一帧中所有的点。
如图2所示，经过预处理之后，编码器将每一帧点云投影到bounding box所在的6个平面上，生成六张彩色图和六张深度图。3D体素与2D像素之间的映射关系。每一个点的色彩信息以像素值的形式被保存在彩色图的对应位置，而深度值，即当前点与投影面的距离，被保存在深度图的对应像素值中。由于三维点存在遮挡的情况，即多个点对应于图像矩阵中的同一个位置。这种情况下，我们对这些存在遮挡关系的点按照与投影平面的距离大小排序，最终只选择与投影面最近的点进行投影，这样也符合用户观看的实际情况。下面以前两轮投影对算法流程进行描述，具体如下：需要说明的是，因为本发明提供的算法流程分为多轮投影，因此便于简明扼要的说明本算法，这里举出前两轮的投影进行描述，对于本领域技术人员是常规算法流程，因此这里不再赘述：
算法输入为：经过规则化后的一帧点云数据；
算法输出为：彩色图与深度图
(1)对于前两轮投影，首先根据先前设定的bounding box和分辨率，初始化8个零矩阵，其中R1，G1，B1，D1对应平面A，R2，G2，B2，D2对应平面B，平面A与B为bounding box上两个与XoY面平行的平面。
(2)循环遍历所有的点，找出所有包含相同的x，y坐标而不同z坐标的子集，每一个子集中的点在投影到平面A和B时都存在互相遮挡的情况，即对应平面图像中相同的像素位置。
(3)按照z坐标值的大小，对子集中的点进行排序，找到z值最大和最小的两个点：
pu (o)＝(x，y，zmax，ru，gu，bu)
pv (o)＝(x，y，zmin，rv，gv，bv)
式中：
pu (o)、pv (o)：表示(3)中对原始点集的某个子集排序后得到的两个点，
x：表示x坐标值
y：表示y坐标值
zmax：表示z坐标的最大值
ru：点pu (o)的R(红色)分量
gu：点pu (o)的G(绿色)分量
bu：点pu (o)的B(蓝色)分量
zmin：表示z坐标的最小值
rv：点pv (o)的R(红色)分量
gv：点pv (o)的G(绿色)分量
bv：点pv (o)的B(蓝色)分量
(4)pu (o)与pv (o)为距离平面A和B最近的两个点，故选择这两个点进行投影：
i＝xyzmax-y；j＝x+1-xyzmin
D1(i，j)＝xyzmax-zmax；D2(i，j)＝zmin-xyzmin
R1(i，j)＝ru；G1(i，j)＝gu；B1(i，j)＝bu
R2(i，j)＝rv；G2(i，j)＝gv；B2(i，j)＝bv
式中：
i：表示图像矩阵的角标
j：表示图像矩阵的角标
x：表示x坐标值
y：表示y坐标值
xyzmax：表示xyz坐标中的最大值
xyzmin：表示xyz坐标中的最小值
D1、D2：包围盒的6个面中，选择两个平行平面进行当前两轮的投影，这两个面所生成的深度图矩阵，分别用D1、D2来表示
D1(i，j)、D2(i，j)：表示D1、D2中角标为(i，j)位置上的像素值
R1、R2：包围盒的6个面中，选择两个平行平面进行当前两轮的投影，这两个面所生成的彩色图矩阵中R(红色)分量，分别用R1、R2来表示
R1(i，j)、R2(i，j)：表示R1、R2中角标为(i，j)位置上的像素值
G1、G2：包围盒的6个面中，选择两个平行平面进行当前两轮的投影，这两个面所生成的彩色图矩阵中G(绿色)分量，分别用G1、G2来表示
G1(i，j)、G2(i，j)：表示G1、G2中角标为(i，j)位置上的像素值
B1、B2：包围盒的6个面中，选择两个平行平面进行当前两轮的投影，这两个面所生成的彩色图矩阵中B(蓝色)分量，分别用B1、B2来表示
B1(i，j)、B2(i，j)：表示B1、B2中角标为(i，j)位置上的像素值
zmax：表示z坐标的最大值
ru：点pu (o)的R(红色)分量
gu：点pu (o)的G(绿色)分量
bu：点pu (o)的B(蓝色)分量
zmin：表示z坐标的最小值
rv：点pv (o)的R(红色)分量
gv：点pv (o)的G(绿色)分量
bv：点pv (o)的B(蓝色)分量
如图3所示，经过投影之后，每一帧点云生成优选的为6张8比特灰度图和6张24比特彩色图。对于点云数据中空的体素对应的图像矩阵中像素的位置，用0来填充。这是因为在预处理中bounding box设置的容量足够大，把每一帧点云数据中的所有点包含在包围盒内，所以每一个点投影后的深度值都大于0，因此，可以使用0来代表特殊含义，即空的体素所对应的像素。编码器会将当前点云序列由投影得到的多张图像按序生成原始视频，即多路视频。
优选地，生成6路原始视频，对于生成的6路原始视频，编码器会调用当下最高效的视频编码高效率视频编码(High Efficiency Video Coding，H.265/HEVC)对其进行进一步压缩，生成多组不同清晰度和码率的版本存放在服务器，每一组都包含6路代表着不同视角的视频，等待客户端的请求。除此之外，为了保证低清版本的呈现质量，本编码器还提供了可选的flag信息，是以二值图的形式对每一视角所能看到的空体素进行标记，以此避免接收端重建时由于深度图压缩失真所额外添加的点，从而提高用户的观看质量。
对于动态传输模块，现有传输手段主要有广播、宽带网和移动通信网，其信道容量和数据压缩效率虽以每五年翻一番的速度提升，但面对视听媒体内容数据指数性的增长仍难免捉襟见肘。而3D点云媒体的数据量又是传统视听媒体数据量的数倍，仅靠单一网络各自独立的技术演进和扩容都无法满足沉浸式媒体大流量的传输需求。针对此问题，本发明将提出一套针对3D点云序列的动态分视角传输系统架构。
由编码器输出可知，每一个点云序列由多组不同码率的视频所表示，优选地，每组视频又包含六路视频，每一路代表一个独立的视角。由任何一路视频独立恢复出的部分点云都可以呈现该视角下的完整画面。由于3D视觉的特征，在有限的一段时间内，用户只能观看到模型的一个视角，而其他视角所呈现的内容无法被用户观看到，因此，把网络带宽和客户端的计算能力花费在这些内容上是毫无意义的。本发明提供的系统架构，即本发明提供的基于3D点云的分视角压缩和传输系统中对于用户正在观看的视角请求高码率视频进行3D重建，而用户没有观看的视角请求低码率的视频进行重建。这样终端可以根据当前的信道状况来处理观看视角和非观看视角的带宽分配问题。
本发明提出的基于3D点云的分视角压缩和传输系统中的传输系统架构还将使用宽带网和广播网进行融合传输，不仅挖掘了点云媒体自身的特性，还同时利用了广播和宽带各自的优势。对于网络终端的每一个用户都需要一个低清版本的完整的点云帧做一个呈现保障，对于这类共性的内容，可以采用广播通道进行推送；而对于当前的观看视角，用户之间是不同的，对于这类个性化的内容，可以使用双向宽带网络推拉结合的方式进行动态传输。
接收端，即接收模块，解码器设置在接收端，当客户端根据当前网络状况请求到最适合的视频组合之后，将通过解码器来进行3D点云序列的重建。如图1所示，收到的视频组合中包含一组由广播推送的完整的低码率版本视频，用来重建出一帧完整的点云数据做呈现保障；还包含一路或几路由宽带网发送的高码率版本视频，用来重建用户当前的观看视角。
解码器根据收到的元数据，即通过动态传输模块从发送端传至过来的原始视频，针对每一段点云序列建立一个与编码时相同的bounding box，随后，确定收到的每一路视频所属的投影面。当基本重建信息确定之后，每一路视频的重建都是类似的。具体方法如下：
首先根据每一路视频中所包含的深度视频帧中的像素值来确定其对应的空间体素是否为空，如果视频帧的像素值为0，则代表所对应的体素为空，则忽略深度和彩色视频帧中该像素的值；对于深度视频帧中不为0的像素值，表示所在投影面到对应点的距离，而色彩信息由彩色视频对应位置的像素值确定，具体算法由如下伪代码所示。
算法输入：优选地，一张深度图与一张彩色图，需要说明的是一张神图与一张彩色图为一轮的算法输入，即每一轮都输入一张深度图与一张彩色图，如果是第六轮投影则输入为六张深度图与六张彩色图；
算法输出：对应视角下的部分点云数据
(1)遍历深度图像的每一个像素值，判断每一个像素值是否为零。其中遍历的意思是将所有像素值全部查看一遍，选取最符合条件的像素值；
(2)若像素值为0，则代表该像素值对应的空间点为空，直接忽略即可；
(3)若像素值不为0，则代表该像素值对应的是一个有意义的点，则进一步根据深度图和彩色图中该位置的像素值进行当前点的重建：
x＝1-j+xyzmin；y＝xyzmax-i；z＝xyzmax-D1(i，j)；
r＝R1(i，j)；g＝G1(i，j)；b＝B1(i，j)
式中：
x：表示x坐标值
y：表示y坐标值
z：表示z坐标值
i：表示图像矩阵的角标
j：表示图像矩阵的角标
xyzmax：表示xyz坐标中的最大值
xyzmin：表示xyz坐标中的最小值
D1：表示编码时的D1矩阵
D1(i，j)：表示D1中角标为(i，j)位置上的像素值
R1：表示编码时的R1矩阵
R1(i，j)：表示R1中角标为(i，j)位置上的像素值
G1：表示编码时的G1矩阵
G1(i，j)：表示G1中角标为(i，j)位置上的像素值
B1：表示编码时的B1矩阵
B1(i，j)：表示B1中角标为(i，j)位置上的像素值
r：R(红色)分量
g：G(绿色)分量
b：B(蓝色)分量
经过重建之后的部分点云在合并的过程中可能会发生重叠的状况，这是因为编码器投影过程中6个基本视角的内容可能发生重叠。因此，解码器会对重建后的部分点云分配合并优先级，即对于由高码率视频重建出的点云分配高优先级，而由低码率视频重建出的点云分配低优先级。在解码器进行几个部分的点云合并时，根据优先级对重叠的部分选择相对高优先级的点进行合并，以保证用户观看视角的最终呈现质量。最终，解码器将输出重建后完整的点云序列到播放器进行呈现。
需要说明的是，本发明使用的序数形容词“第一”、“第二”及“第三”等用来描述共同的对象，仅表示指代相同对象的不同实例，而并不是要暗示这样描述的对象必须采用给定的顺序，无论是时间地、空间地、排序地或任何其它方式。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (9)
1.一种基于3D点云的分视角压缩和传输方法，其特征在于，包括如下步骤：发送步骤：从扫描设备获取点云数据，将点云数据中的点进行规则化，生成多路视频，并存放于服务器内；
动态传输步骤：根据视角请求，将存放于服务器内的多路视频进行3D重建；根据传输指令，将多路视频构成相应视频组合；
接收步骤：根据当前视频组合，对视频组合中的点云数据进行重建，并呈现至播放器中；
所述发送步骤包括如下子步骤：
点规则化步骤：从扫描设备获取点云数据，采用八叉树结构将点云数据中的点排布在体素中，进而对点云数据进行规则化，生成空间体素；
空间分解步骤：根据八叉树的预设深度阈值，确定空间体素的位置信息及空间体素的色彩信息，并建立第一包围盒；
彩色图和深度图生成步骤：根据第一包围盒，分别生成彩色图和深度图；
多路视频生成步骤：根据色彩信息、位置信息将点云数据中的点以像素值形式保存在彩色图、深度图的相应位置，并生成点云彩色图和/或点云深度图；经投影后，所述点云彩色图与点云深度图生成多路视频；
视频压缩步骤：将多路视频进行压缩，并生成多组版本多路视频存放至服务器；
所述多组版本多路视频包括高码率版本多路视频和低码率版本多路视频；
所述高码率版本多路视频的清晰度高于低码率版本多路视频的清晰度。
2.根据权利要求1所述的基于3D点云的分视角压缩和传输方法，其特征在于，在动态传输步骤中：
根据视角请求，将存放于服务器内的多路视频分别进行高码率版本多路视频3D重建和/或低码率版本多路视频的3D重建；
所述高码率版本多路视频的清晰度高于低码率版本多路视频的清晰度，并且所述高码率版本多路视频为视角请求的视频，即观看视角的视频；
所述低码率版本多路视频为非视角请求的视频，即非观看视角的视频。
3.根据权利要求1所述的基于3D点云的分视角压缩和传输方法，其特征在于，在动态传输步骤中：
根据传输指令，将多路视频通过广播和宽带网构成相应视频组合。
4.根据权利要求2所述的基于3D点云的分视角压缩和传输方法，其特征在于，在所述接收步骤中：
将点云序列建立为第二包围盒，并确认每一路视频所对应的投影面，并呈现至播放器中；
其中，所述第二包围盒为第一包围盒；
所述点云序列，即为接收后的空间体素。
5.根据权利要求1所述的基于3D点云的分视角压缩和传输方法，其特征在于，在所述多路视频生成步骤包括：对于多点位置相重合，对所述点与投影面的距离进行排序，并选择排序中，相对最小的距离所在的点进行投影；
所述点为点云数据中的点。
6.根据权利要求1所述的基于3D点云的分视角压缩和传输方法，其特征在于，在所述低码率版本中，将每一个视角的点云数据中的空体素进行标记，记为旗帜信息；
在所述多路视频生成步骤中，对于点云数据中的空体素对应的像素位置，记为0。
7.根据权利要求4所述的基于3D点云的分视角压缩和传输方法，其特征在于，在接收步骤中：
将多路视频划分为高优先级及低优先级，并对高优先级的点进行合并；
其中，所述高码率版本多路视频重建出的点云数据为高优先级；
所述低码率版本多路视频重建出的点云数据为低优先级。
8.一种基于3D点云的分视角压缩和传输系统，其特征在于，包括如下模块：发送模块：从扫描设备获取点云数据，将点云数据中的点进行规则化，生成多路视频，并存放于服务器内；
动态传输模块：根据视角请求，将存放于服务器内的多路视频进行3D重建；根据传输指令，将多路视频构成相应视频组合；
接收模块：根据当前视频组合，对视频组合中的点云数据进行重建，并呈现至播放器中；
所述发送模块包括如下子模块：
点规则化模块：从扫描设备获取点云数据，采用八叉树结构将点云数据中的点排布在体素中，进而对点云数据进行规则化，生成空间体素；
空间分解模块：根据八叉树的预设深度阈值，确定空间体素的位置信息及空间体素的色彩信息，并建立第一包围盒；
彩色图和深度图生成模块：根据第一包围盒，分别生成彩色图和深度图；
多路视频生成模块：根据色彩信息、位置信息将点云数据中的点以像素值形式保存在彩色图、深度图的相应位置，并生成点云彩色图和/或点云深度图；经投影后，所述点云彩色图与点云深度图生成多路视频；
视频压缩模块：将多路视频进行压缩，并生成多组版本多路视频存放至服务器；
所述多组版本多路视频包括高码率版本多路视频和低码率版本多路视频；
所述高码率版本多路视频的清晰度高于低码率版本多路视频的清晰度。
9.根据权利要求8所述的基于3D点云的分视角压缩和传输系统，其特征在于，在动态传输模块中：根据视角请求，将存放于服务器内的多路视频分别进行高码率版本多路视频3D重建和/或低码率版本多路视频的3D重建；
所述高码率版本多路视频的清晰度高于低码率版本多路视频的清晰度，并且所述高码率版本多路视频为视角请求的视频，即观看视角的视频；
所述低码率版本多路视频为非视角请求的视频，即非观看视角的视频；
在动态传输模块中：根据传输指令，将多路视频通过广播和宽带网构成相应视频组合；
在所述接收模块中：将点云序列建立为第二包围盒，并确认每一路视频所对应的投影面，并呈现至播放器中；
其中，所述第二包围盒为第一包围盒；
所述点云序列，即为接收后的空间体素；
在所述多路视频生成模块包括，对于多点位置相重合，对所述点与投影面的距离进行排序，并选择排序中，相对最小的距离所在的点进行投影；
所述点为点云数据中的点；
在所述低码率版本中，将每一个视角的点云数据中的空体素进行标记，记为旗帜信息；
在所述多路视频生成模块中，对于点云数据中的空体素对应的像素位置，记为0；
在接收模块中：
将多路视频划分为高优先级及低优先级，并对高优先级的点进行合并；
其中，所述高码率版本多路视频重建出的点云数据为高优先级；
所述低码率版本多路视频重建出的点云数据为低优先级。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810012505.8A CN110012279B (zh) | 2018-01-05 | 2018-01-05 | 基于3d点云数据的分视角压缩和传输方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810012505.8A CN110012279B (zh) | 2018-01-05 | 2018-01-05 | 基于3d点云数据的分视角压缩和传输方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110012279A CN110012279A (zh) | 2019-07-12 |
| CN110012279B true CN110012279B (zh) | 2020-11-17 |
Family
ID=67164703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810012505.8A Active CN110012279B (zh) | 2018-01-05 | 2018-01-05 | 基于3d点云数据的分视角压缩和传输方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110012279B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021043136A1 (zh) * | 2019-09-03 | 2021-03-11 | 上海交通大学 | 点云投影传输方法、接收处理方法及系统 |
| CN112449171B (zh) * | 2019-09-03 | 2021-10-29 | 上海交通大学 | 点云分视角传输的编码方法、系统及介质 |
| KR102373833B1 (ko) * | 2020-01-09 | 2022-03-14 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| CN113114608B (zh) * | 2020-01-10 | 2022-06-10 | 上海交通大学 | 点云数据封装方法及传输方法 |
| CN115380528B (zh) * | 2020-04-11 | 2024-03-29 | Lg电子株式会社 | 点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法 |
| KR102355634B1 (ko) * | 2020-04-14 | 2022-02-08 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| CN113473156B (zh) * | 2020-04-24 | 2023-02-03 | 海信集团有限公司 | 一种自由视点视频传输方法以及相关设备 |
| CN111432210B (zh) * | 2020-04-30 | 2021-10-19 | 中山大学 | 一种基于填充的点云属性压缩方法 |
| CN113115077B (zh) * | 2021-03-12 | 2022-04-26 | 上海交通大学 | 一种静态点云服务器码率自适应传输方法及系统 |
| CN115243053B (zh) * | 2021-04-22 | 2024-04-16 | 腾讯科技（深圳）有限公司 | 点云编解码方法及相关设备 |
| CN113395603B (zh) * | 2021-06-25 | 2022-04-01 | 合肥工业大学 | 一种基于模型预测控制的点云视频流自适应传输方法 |
| CN113810736B (zh) * | 2021-08-26 | 2022-11-01 | 北京邮电大学 | 一种ai驱动的实时点云视频传输方法及系统 |
| WO2023201504A1 (zh) * | 2022-04-18 | 2023-10-26 | 浙江大学 | 编解码方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105791881A (zh) * | 2016-03-15 | 2016-07-20 | 深圳市望尘科技有限公司 | 一种基于光场摄像机的三维场景录播的实现方法 |
| CN105939481A (zh) * | 2016-05-12 | 2016-09-14 | 深圳市望尘科技有限公司 | 一种交互式三维虚拟现实视频节目录播和直播方法 |
| CN106096016A (zh) * | 2016-06-24 | 2016-11-09 | 北京建筑大学 | 一种基于网络的三维点云可视化方法以及装置 |
| CN106331676A (zh) * | 2016-08-31 | 2017-01-11 | 贾岳杭 | 基于虚拟现实环境的三维数据的处理与传输方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100157021A1 (en) * | 2006-11-15 | 2010-06-24 | Abraham Thomas G | Method for creating, storing, and providing access to three-dimensionally scanned images |
| US20160012182A1 (en) * | 2013-12-20 | 2016-01-14 | Douglas A. Golay | 3D cone beam dental imaging system |
-
2018
- 2018-01-05 CN CN201810012505.8A patent/CN110012279B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105791881A (zh) * | 2016-03-15 | 2016-07-20 | 深圳市望尘科技有限公司 | 一种基于光场摄像机的三维场景录播的实现方法 |
| CN105939481A (zh) * | 2016-05-12 | 2016-09-14 | 深圳市望尘科技有限公司 | 一种交互式三维虚拟现实视频节目录播和直播方法 |
| CN106096016A (zh) * | 2016-06-24 | 2016-11-09 | 北京建筑大学 | 一种基于网络的三维点云可视化方法以及装置 |
| CN106331676A (zh) * | 2016-08-31 | 2017-01-11 | 贾岳杭 | 基于虚拟现实环境的三维数据的处理与传输方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110012279A (zh) | 2019-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110012279B (zh) | 基于3d点云数据的分视角压缩和传输方法及系统 | |
| EP3751857A1 (en) | A method, an apparatus and a computer program product for volumetric video encoding and decoding | |
| US11889113B2 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
| JP6884856B2 (ja) | コンテンツに基づいた映像データのストリーム分割 | |
| US10484697B2 (en) | Simultaneous localization and mapping for video coding | |
| US20220159284A1 (en) | Apparatus and method for processing point cloud data | |
| US11202086B2 (en) | Apparatus, a method and a computer program for volumetric video | |
| CN108780584B (zh) | 用于流传输和渲染的球形视频的转换和预处理 | |
| GB2572996A (en) | Processing video patches for three-dimensional content | |
| KR102609776B1 (ko) | 포인트 클라우드 데이터 처리 방법 및 장치 | |
| US20220239945A1 (en) | Apparatus and method for processing point cloud data | |
| WO2023071574A1 (zh) | 3d影像的重构方法、装置、电子设备及存储介质 | |
| US20220360797A1 (en) | Apparatus and method for processing point cloud data | |
| US11509879B2 (en) | Method for transmitting video, apparatus for transmitting video, method for receiving video, and apparatus for receiving video | |
| US20220256131A1 (en) | 360 video transmission method, 360 video reception method, 360 video transmission apparatus, and 360 video reception apparatus | |
| EP3992911A1 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
| US20210092444A1 (en) | Six Degrees of Freedom Spatial Layout Signaling | |
| CN113243112A (zh) | 流式传输体积视频和非体积视频 | |
| CN113873264A (zh) | 显示图像的方法、装置、电子设备及存储介质 | |
| US20210067766A1 (en) | Data transmission method, method of displaying three-dimensional image, data transmission device and three-dimensional image display device | |
| CN115210765A (zh) | 点云数据发送装置、发送方法、处理装置和处理方法 | |
| US20220353486A1 (en) | Method and System for Encoding a 3D Scene | |
| KR102417959B1 (ko) | 3차원 입체 콘텐츠 제공 장치 및 그 방법 | |
| JP2022533754A (ja) | ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品 | |
| US20240119660A1 (en) | Methods for transmitting and rendering a 3d scene, method for generating patches, and corresponding devices and computer programs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |