CN108268878A - 三维全卷积网络实现设备 - Google Patents

Abstract

本发明实施例提供一种三维全卷积网络实现设备，该设备包括：接收单元，用于接收初始点云信息，该初始点云信息采用树状存储结构；以及卷积单元，用于对该初始点云信息进行通过所述三维全卷积网络的多层卷积及全卷积运算，以得到含有若干类类型信息的反体积像素预测信息。由于3D环境中包含丰富的集合特性信息，传统的基于视觉的解决方法无法有效的对3D场景进行实时分析，本发明实施例提出一种基于树型结构树的3D卷积方案，可完成对与3D点云环境的语义分类，提高对于3D环境的理解。

Description

三维全卷积网络实现设备

技术领域

本发明涉及计算机领域，具体地，涉及一种三维全卷积网络实现设备。

背景技术

近几年来，随着深度学习的不断发展，图像领域中的目标检测、目标识别、场景分割、场景理解等问题上已经取得了巨大的突破，但是针对于目前的深度学习框架基本都是基于2D信息，针对于3D数据(基于深度信息的3D数据或者基于激光点云的3D信息)的研究工作还比较少，其中一种比较关键的问题是针对于3D数据的卷积操作的计算复杂度要远远大于2D数据的卷积操作。

以ImageNet为例，如果在第一层卷积网络的输入图片的规格为244×244×3(3通道RGB)，输出为96×7×7(96个滤波器，7x7的卷积核)，则其所需要的操作数为96×(224/2)×(224/2)；对于同样边大小的三维数据224×224×224×3(每个点三个通道RGB)，输出为96×7×7×7，则其所需要的操作为96×(224/2)×(224/2)×(224/2)，是二维空间卷积计算的112倍。对于ImageNet的Model C模型，二维卷积网络总共所需要的操作约为5.3x10¹⁰次计算，三维卷积所需要的计算约为6.1x10¹²。但是针对于无人车环境感知的3D点云数据，取50m x 50m x 10m的三维空间，栅格分辨率取0.1m，则对应的数据大小为500×500×100(不考虑颜色信息)，这样带来的计算复杂度远不能满足实时性的要求。

发明内容

本发明实施例的目的是提供一种三维全卷积网络实现设备，其可针对上述背景技术中所提及的一个或多个问题，给出解决方案，实现云端地图更新。

为了实现上述目的，本发明一实施例提供一种三维全卷积网络实现方法，该方法包括：接收初始点云信息，该初始点云信息采用树状存储结构；以及对该初始点云信息进行通过所述三维全卷积网络的多层卷积及全卷积运算，以得到含有若干类类型信息的反体积像素预测信息。

可选的，所述点云信息采用八叉树存储结构。

可选的，所述对该初始点云信息进行通过所述三维全卷积网络的多层卷积及全卷积运算包含：在所述初始点云信息内查找非空子节点及其相邻子节点的信息；以及对查找得到的信息进行3D卷积核计算。

可选的，对查找得到的信息进行3D卷积核计算包含：对查找得到的N×N×N的节点信息，通过以下公式计算得到卷积结果：

其中，I(m,i)表示八叉树地图第m层的第i个子节点，D(I(m,j),I(m,i))表示空间中节点I(m,j)与节点I(m,i)之间欧氏距离，S(m,i)表示以I(m,i)为中心，边长为N的立方体节点集合，C(m,i)表示节点I(m,j)所对应的卷积计算结果，K为大小为N³的卷积核。

可选的，在对查找得到的信息进行3D卷积核计算之后，该方法还包括：对所述卷积结果以向父节点回溯的方式进行下采样。

可选的，在所述初始点云信息内查找非空子节点及其相邻子节点的信息之前，该方法还包括：对所述初始点云信息按照以下公式进行滤波处理：

其中，M表示对于空间中的节点，与其邻近的节点的数目；p_i为邻近节点i处的占据概率；w_i为邻近节点i在卷积核中对应的权重大小；R表示对立方体进行滤波处理之后的值。

可选的，所述若干类类型信息包含以下中一者或多个：行人、骑自行车的人、汽车、货车、道路、人行道。

可选的，该方法还包括：利用人工标记的类型数据对所述三维全卷积网络进行训练。

相应地，本发明一实施例还提供一种三维全卷积网络实现设备，该设备包括：接收单元，用于接收初始点云信息，该初始点云信息采用树状存储结构；以及卷积单元，用于对该初始点云信息进行通过所述三维全卷积网络的多层卷积及全卷积运算，以得到含有若干类类型信息的反体积像素预测信息。

可选的，所述点云信息采用八叉树存储结构。

可选的，所述卷积单元包含：查找单元，用于在所述初始点云信息内查找非空子节点及其相邻子节点的信息；以及3D卷积核计算单元，用于对查找得到的信息进行3D卷积核计算。

可选的，对查找得到的信息进行3D卷积核计算包含：对查找得到的N×N×N的节点信息，通过以下公式计算得到卷积结果：

其中，I(m,i)表示八叉树地图第m层的第i个子节点，D(I(m,j),I(m,i))表示空间中节点I(m,j)与节点I(m,i)之间欧氏距离，S(m,i)表示以I(m,i)为中心，边长为N的立方体节点集合，C(m,i)表示节点I(m,j)所对应的卷积计算结果，K为大小为N³的卷积核。

可选的，该设备还包含：下采样单元，用于在对查找得到的信息进行3D卷积核计算之后，对所述卷积结果以向父节点回溯的方式进行下采样。

可选的，该设备还包含：滤波单元，用于在所述初始点云信息内查找非空子节点及其相邻子节点的信息之前，对所述初始点云信息按照以下公式进行滤波处理：

其中，M表示对于空间中的节点，与其邻近的节点的数目；p_i为邻近节点i处的占据概率；w_i为邻近节点i在卷积核中对应的权重大小；R表示对立方体进行滤波处理之后的值。

可选的，所述若干类类型信息包含以下中一者或多个：行人、骑自行车的人、汽车、货车、道路、人行道。

可选的，该设备还包括：训练单元，用于利用人工标记的类型数据对所述三维全卷积网络进行训练。

相应地，本发明一实施例还提供一种电子设备，该电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述三维全卷积网络实现方法。

由于3D环境中包含丰富的集合特性信息，传统的基于视觉的解决方法无法有效的对3D场景进行实时分析，本发明实施例提出一种基于树型结构树的3D卷积方案，可完成对与3D点云环境的语义分类，提高对于3D环境的理解。另外，传统方法需要通过对3D空间做基于滑动窗口的计算方法，但是显示环境中由于存在大量的0元素，大大降低了计算效率，而通过树状存储结构建模，其叶节点即为被占据的栅格，同时由于其树形结构，对于叶节点的查找，十分方便。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1为本发明一实施例提供的三维全卷积网络实现方法的流程图；

图2为八叉树与空间划分区域的对应关系；

图3为本发明另一实施例提供的三维全卷积网络实现方法的流程图；

图4为点云信息内的节点关系示意图；

图5为本发明再一实施例提供的三维全卷积网络实现方法的流程图；

图6为向父节点回溯的示意图；

图7为本发明实施例提供的三维全卷积网络实现方法所实现的全卷积网络框架示意图；

图8为本发明一实施例提供的三维全卷积网络实现设备的结构示意图；

图9为本发明再一实施例提供的三维全卷积网络实现设备的结构示意图；以及

图10是本发明一实施例提供的执行云端地图更新方法的电子设备的硬件结构示意图。

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

图1为本发明一实施例提供的三维全卷积网络实现方法的流程图。如图1所示，本发明一实施例提供一种三维全卷积网络实现方法，该方法包括：

步骤S110，接收初始点云信息，该初始点云信息采用树状存储结构。

其中，所述初始点云信息可采用八叉树存储结构。八叉树(octree)是一种用于描述三维空间的树状数据结构。八叉树的每个节点表示一个正方体的体积元素，每个节点有八个子节点，这八个子节点所表示的体积元素加在一起就等于父节点的体积，也就是说，八叉树的八个子节点可将空间分为八等份。一般中心点作为节点的分叉中心。图2为八叉树与空间划分区域的对应关系。如图2所示，可把一空间视为一个长方体(优选为立方体)，对应八叉树的根节点；再将该长方体划分成八个一级区域，每个一级区域对应根节点的一级子节点；更进一步地，将每个一级区域再划分成八个二级区域，每个二级区域对应该一级区域所对应的一级子节点的子节点，即二级子节点……通过上述方法将空间层层划分，对应的八叉树各节点存储对应的空间划分区域的环境信息，例如该空间划分区域内是否有障碍物。最后，可根据八叉树存储结构中所存储的各个划分区域中所存储的环境信息建立空间地图。本发明实施例即为采用八叉树的数据结构对于给定空间大小的区域进行八叉树建模，一般空间的大小可选取100mx100mx3m的空间，如果以0.1m为空间的分辨率，则对应的3D栅格大小为1000x1000x30，通过基于八叉树的空间压缩方法，此空间的地图存储大小可以压缩到10mb空间大小以内。

需要补充说明的是，上述八叉树存储结构仅仅是树形存储结构的一种，该树形存储结构中的父节点还可以包含其他数量的子节点，例如父节点包含6、18、27、64个子节点等，对应地为六叉树、十八叉树、二十七叉树、六十四叉树。树形存储结构包括这些，但不限于这些。

步骤S210，对该初始点云信息进行通过所述三维全卷积网络的多层卷积及全卷积运算，以得到含有若干类类型信息的反体积像素预测信息。

还是以八叉树存储结构为例进行说。这里以八叉树局部地图作为初始点云信息，对其进行网络训练。在此，卷积操作并非如现有技术那样在图像上采用滑动窗口对每一个像素点进行卷积核计算，而是通过八叉树查找非空子节点的节点位置并提取其相邻的子节点信息，对其进行3D卷积核计算。经过多层卷积及全卷积运算，可得到含有若干类类型信息(例如，行人、骑自行车的人、汽车、货车、道路、人行道)的反体积像素预测(PixelwisePrediction)信息，从而可完成对与3D点云环境的语义分类，提高对于3D环境的理解。另外，还可利用人工标记的类型数据对所述三维全卷积网络进行训练，以进一步通过反向传播过程对该三维全卷积网络的参数进行优化，提升其预测准确概率。

图3为本发明另一实施例提供的三维全卷积网络实现方法的流程图。如图3所示，本发明另一实施例提供的三维全卷积网络实现方法包括：

步骤S310，接收初始点云信息；

本步骤与前述实施例中的步骤S110的原理、实现过程及效果相同，为了简洁在此不再赘述。

步骤S320，对所述初始点云信息按照以下公式进行滤波处理：

其中，对所述初始点云信息可按照以下公式进行滤波处理：

其中，M表示对于空间中的节点，与其邻近的节点的数目；p_i为邻近节点i处的占据概率；w_i为邻近节点i在卷积核中对应的权重大小；R表示对立方体进行滤波处理之后的值。

步骤S330，在所述滤波后的初始点云信息内查找非空子节点及其相邻子节点的信息；

图4为点云信息内的节点关系示意图。如图4所示，如若采用3×3×3的卷积核，对于位于该图4中心的节点，则需要搜索与其紧邻的26个子节点，并对这些子节点的信息进行卷积计算。

步骤S340，对查找得到的信息进行3D卷积核计算。

对查找得到的信息进行3D卷积核计算可包含：对查找得到的N×N×N的节点信息，通过以下公式计算得到卷积结果：

其中，I(m,i)表示八叉树地图第m层的第i个子节点，D(I(m,j),I(m,i))表示空间中节点I(m,j)与节点I(m,i)之间欧氏距离，S(m,i)表示以I(m,i)为中心，边长为N的立方体节点集合，在该集合内，对于子节点为空的元素，可以以0来替代，C(m,i)表示节点I(m,j)所对应的卷积计算结果，K为大小为N³的卷积核。

图5为本发明再一实施例提供的三维全卷积网络实现方法的流程图。如图5所示，本发明再一实施例提供的三维全卷积网络实现方法，该方法包含以下步骤：

步骤S510，接收初始点云信息；

本步骤与前述实施例中的步骤S110的原理、实现过程及效果相同，为了简洁在此不再赘述。

步骤S520，在所述下采样后的初始点云数据内查找非空子节点及其相邻子节点的信息；

本步骤与前述实施例中的步骤S330的原理、实现过程及效果相同，为了简洁在此不再赘述。

步骤S530，对查找得到的信息进行3D卷积核计算。

本步骤与前述实施例中的步骤S340的原理、实现过程及效果相同，为了简洁在此不再赘述。

步骤S540，对所述卷积结果以向父节点回溯的方式进行下采样。

不同于传统卷积网络的下采样方式，在基于树状存储结构的点云信息中，“下采样过程”可以由向父节点回溯的方式实现。图6为向父节点回溯的示意图，如图6所示，向父节点回溯的步长stride可设置为2、3、4等等，直至到达根节点root，具体可根据实际需要来进行设置。如果下采样补偿stride设置为2，则分辨率可降低1倍。针对二维数据的卷积网络，下采样过程可根据对图像的间隔采样实现，而针对基于树状存储结构的地图数据，采用向父节点回溯的方式进行下采样。在这里，向上回溯的层数n相当于二维卷积中的下采样间隔的2ⁿ。

需要说明的是，由于3D点云数据的稀疏性，对原始数据进行3D空间的滑动窗口卷积方法可转化为只对被占据的叶节点进行计算的卷积过程，现有全卷积网络中的Pooling过程也可以通过向父节点回溯的过程实现；现有全卷积网络中的stride过程也可以通过对单个节点的滤波实现。另外，该滤波操作可在仅针对所接收的初始点云信息执行一次即可。

图7为本发明实施例提供的三维全卷积网络实现方法所实现的全卷积网络框架示意图。如图7所示，本案根据八叉树的卷积神经网络实现了3D全卷积网络，下图为3D全卷积网络的实现流程图。初始的八叉树局部地图通过两层卷积以及两层全卷积网络，得到含有6类(行人，骑自行车人，汽车，货车，道路，人行道)类型信息的八叉树热图，从而最终可获得Voxelwise Prediction八叉树。通过该Voxelwise Prediction八叉树，可获取初始的八叉树局部地图内各像素所代表的类型信息，例如属于行人、骑自行车人、汽车、货车、道路还是人行道。还可通过对Voxelwise Prediction的八叉树结合人工标记的labal数据进行反卷积网络构造，从而对所述3D全卷积网络进行参数优化，使其能够更为精确地获取初始输入的点云信息内像素所属的类型。

在此处，对于输入的八叉树局部地图，我们通过两层卷积网络Conv1和Conv2进行特征卷积，每层卷积后面跟着一层向上回溯的MaxPooling层和基于ReLU的非线性激活层；然后通过2层输出为512的全卷积网络和1层输出为6的全卷积网络得到6类特征的估计，最终通过逆卷积网络结合Conv1和Conv2的结果得到与原八叉树大小相同的八叉树热图。

图8为本发明一实施例提供的三维全卷积网络实现设备的结构示意图。如图8所示，相应地，本发明一实施例还提供一种三维全卷积网络实现设备，该设备包括：接收单元710，用于接收初始点云信息，该初始点云信息采用树状存储结构；以及卷积单元720，用于对该初始点云信息进行通过所述三维全卷积网络的多层卷积及全卷积运算，以得到含有若干类类型信息的反体积像素预测信息。

可选的，所述点云信息采用八叉树存储结构。

图9为本发明再一实施例提供的三维全卷积网络实现设备的结构示意图。如图9所示，所述卷积单元包含：查找单元723，用于在所述初始点云信息内查找非空子节点及其相邻子节点的信息；以及3D卷积核计算单元724，用于对查找得到的信息进行3D卷积核计算。

可选的，对查找得到的信息进行3D卷积核计算包含：对查找得到的N×N×N的节点信息，通过以下公式计算得到卷积结果：

其中，I(m,i)表示八叉树地图第m层的第i个子节点，D(I(m,j),I(m,i))表示空间中节点I(m,j)与节点I(m,i)之间欧氏距离，S(m,i)表示以I(m,i)为中心，边长为N的立方体节点集合，C(m,i)表示节点I(m,j)所对应的卷积计算结果，K为大小为N³的卷积核。

可选的，该设备还包含：下采样单元721，用于在对查找得到的信息进行3D卷积核计算之后，对所述卷积结果以向父节点回溯的方式进行下采样。

可选的，该设备还包含：滤波单元722，用于在所述初始点云信息内查找非空子节点及其相邻子节点的信息之前，对所述初始点云信息按照以下公式进行滤波处理：

其中，M表示对于空间中的节点，与其邻近的节点的数目；p_i为邻近节点i处的占据概率；w_i为邻近节点i在卷积核中对应的权重大小；R表示对立方体进行滤波处理之后的值。

可选的，所述若干类类型信息包含以下中一者或多个：行人、骑自行车的人、汽车、货车、道路、人行道。

可选的，该设备还包括：训练单元730，用于利用人工标记的类型数据对所述三维全卷积网络进行训练。

关于上述实施例中的设备，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图10是本发明实施例提供的执行云端地图更新方法的电子设备的硬件结构示意图，如图10所示，该设备包括一个或多个处理器1010以及存储器1020，图10中以一个处理器1010为例。

执行云端地图更新方法的电子设备还可以包括：输入装置1030和输出装置1040。

处理器1010、存储器1020、输入装置1030和输出装置1040可以通过总线或者其他方式连接，图10中以通过总线连接为例。

处理器1010可以为中央处理器(Central Processing Unit，CPU)。处理器1010还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器1020作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的可移动设备的环境感知建模方法对应的程序指令/模块(例如，附图6、7、8及9所示的位置获取单元110、点云信息获取单元120、发送单元130、请求发送单元130接收单元140、比较发送单元150、接收单元210、更新单元220、比较单元230)。处理器1010通过运行存储在存储器1020中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例可移动设备的环境感知建模方法。

存储器1020可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据可移动设备的环境感知建模装置的使用所创建的数据等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器1020可选包括相对于处理器1010远程设置的存储器，这些远程存储器可以通过网络连接至可移动设备的环境感知建模装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置1030可接收输入的数字或字符信息，以及产生与可移动设备的环境感知建模装置的用户设置以及功能控制有关的键信号输入。输出装置1040可包括显示屏等显示设备。

所述一个或者多个模块存储在所述存储器1020中，当被所述一个或者多个处理器1010执行时，执行如图2-5所示的方法。

上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施例中详尽描述的技术细节，具体可参见如图2-5所示的实施例中的相关描述。

本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的可移动设备的环境感知建模方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (8)

1.一种三维全卷积网络实现设备，其特征在于，该设备包括：

接收单元，用于接收初始点云信息，该初始点云信息采用树状存储结构；以及

卷积单元，用于对该初始点云信息进行通过所述三维全卷积网络的多层卷积及全卷积运算，以得到含有若干类类型信息的反体积像素预测信息。

2.根据权利要求1所述的三维全卷积网络实现设备，其特征在于，所述点云信息采用八叉树存储结构。

3.根据权利要求2所述的三维全卷积网络实现设备，其特征在于，所述卷积单元包含：

查找单元，用于在所述初始点云信息内查找非空子节点及其相邻子节点的信息；

3D卷积核计算单元，用于对查找得到的信息进行3D卷积核计算。

4.根据权利要求2所述的三维全卷积网络实现设备，其特征在于，对查找得到的信息进行3D卷积核计算包含：

对查找得到的N×N×N的节点信息，通过以下公式计算得到卷积结果：

其中，I(m,i)表示八叉树地图第m层的第i个子节点，D(I(m,j),I(m,i))表示空间中节点I(m,j)与节点I(m,i)之间欧氏距离，S(m,i)表示以I(m,i)为中心，边长为N的立方体节点集合，C(m,i)表示节点I(m,j)所对应的卷积计算结果，K为大小为N³的卷积核。

5.根据权利要求2所述的三维全卷积网络实现设备，其特征在于，该设备还包含：

下采样单元，用于在对查找得到的信息进行3D卷积核计算之后，对所述卷积结果以向父节点回溯的方式进行下采样。

6.根据权利要求2所述的三维全卷积网络实现设备，其特征在于，该设备还包含：

滤波单元，用于在所述初始点云信息内查找非空子节点及其相邻子节点的信息之前，对所述初始点云信息按照以下公式进行滤波处理：

其中，M表示对于空间中的节点，与其邻近的节点的数目；p_i为邻近节点i处的占据概率；w_i为邻近节点i在卷积核中对应的权重大小；R表示对立方体进行滤波处理之后的值。

7.根据权利要求1所述的三维全卷积网络实现设备，其特征在于，所述若干类类型信息包含以下中一者或多个：行人、骑自行车的人、汽车、货车、道路、人行道。

8.根据权利要求1所述的三维全卷积网络实现设备，其特征在于，该设备还包括：训练单元，用于利用人工标记的类型数据对所述三维全卷积网络进行训练。