CN110223351B - 一种基于卷积神经网络的深度相机定位方法 - Google Patents

Abstract

本发明提供了一种基于卷积神经网络的深度相机定位方法，包括如下步骤：建立卷积神经网络，所述卷积神经网络包括图融合生成模块和图神经网络模块，所述图融合生成模块用于将深度相机获得的彩色图与深度图联合编码生成一张相互连接的融合图，所述图神经网络模块用于处理所述融合图；基于离线样本集训练所述卷积神经网络，所述离线样本集包括在待定位区域采用深度相机拍摄的批量图像以及每帧图像拍摄时的相机位置；在需要定位时，使用深度相机在所述待定位区域拍摄一组彩色图和深度图像作为输入，通过所述卷积神经网络输出拍摄该组图像数据的相机位置。通过本发明的方法，可以深度相机获取的彩色图与深度图融合输入，计算得到相机位姿。

Description

一种基于卷积神经网络的深度相机定位方法

技术领域

本发明涉及机器人视觉定位技术领域，具体涉及一种基于卷积神经网络的深度相机定位方法。

背景技术

定位是指确定移动机器人在运行环境中相对于全局坐标的位置及航向，是移动机器人导航的最基本环节。目前，根据传感器与使用的信息类型不同，主流的定位技术有磁条定位，激光定位，二维码定位，视觉定位等。其中，视觉定位技术，类似于人类通过眼睛观察周边环境确定自己所处的位置，通过视觉摄像头捕捉图像信息，加以处理与计算，以获取机器人在空间中所处的位置。由于视觉摄像头成本低，视觉信息具有无处不在且丰富等优点，视觉定位方法成为了目前理论研究与工程技术实施的重点与热点。

如果采用普通相机拍摄，得到的图像是彩色图，彩色图是3维空间信息的2维化表示，保留了空间物体的纹理、色彩、亮度等信息。目前有大量的研究工作基于彩色图进行定位，传统的方法有直接法、特征点法等等。

近年来，随着深度学习与卷积神经网络技术的飞速发展，研究显示，卷积神经网络对于图片有很好的特征提取效果，亦可以用于实现位置计算工作。比如论文《PoseNet:AConvolutional Network for Real-Time 6-DOF Camera Relocalization》，Alex Kendallet.al.提出一种端对端的卷积神经网络，在输入一幅彩色图的情况下，能够输出该幅图片的拍摄位置。

然而，由于彩色图缺少每个像素点对应的实际空间位置信息，往往存在尺度漂移的问题，上述的卷积神经网络在室内也会有0.5米和5度左右的定位误差，因此，只使用彩色图时定位的精度与稳定度是不足的。

与之不同，深度相机能够同时拍摄得到彩色图与深度图，其中深度图保存了空间中物体到相机的距离信息，这些信息被称为几何信息，该信息精确描绘了空间物理的几何形状。使用该信息，可以有效地扼制尺度漂移的问题，同时，深度图中所蕴含的精准的距离信息可以有效提升定位的精度。目前，已有相关工作对深度相机定位方法进行研究。

比如专利《一种动态环境下的移动机器人图像视觉定位方法》(CN108460779A)，同时使用彩色图与深度图信息，其中提取彩色图上的特征点作匹配计算相对位姿，而深度图转成点云后也计算相对位姿，然后反复迭代彩色图与深度图计算得到的位姿，收敛得到最终的位姿计算值。

比如专利《一种基于Kinect的机器人自定位方法》(CN 105045263A)，将深度图转换成三维点云投影到地面后生成二维点云，将其与事先构建的环境栅格地图进行匹配，准确的估计机器人的位姿。

综上所述，目前本领域工程技术人员对于深度图的使用局限于单独采用深度图作点云匹配，或是对彩色图与深度图分别进行定位计算，然后将二者结果进行迭代收敛。尚无一套完整的融合使用彩色图与深度图直接进行位姿计算的方法，没有将二者的信息深度融合，导致计算复杂度很大。同时，由于单独彩色图或单独深度图的定位稳定性都存在一定问题，以上这种简单的将二者结合起来计算位姿的可靠性进一步降低，容易出现定位失败的情况。

而在使用卷积神经网络对深度图进行位姿计算方面，由于普通的卷积并不能充分提取非结构化的点云的特征，相邻的像素在空间上可以相差很远。且对于判断位姿这样的任务来说，对深度图的归一化就会损失大部分信息，因此，目前通用的卷积神经网络无法成功的处理深度图信息。

发明内容

针对上述不足，本发明重新设计了一个卷积神经网络专门用来处理彩色图与深度图的数据，进而基于此网络提出了一套完整的以深度相机获取的彩色图与深度图融合输入，计算得到相机位姿的方法。

本发明的目的通过以下技术方案得以实现：

一种基于卷积神经网络的深度相机定位方法，包括如下步骤：

S1、建立卷积神经网络，所述卷积神经网络包括图融合生成模块和图神经网络模块，所述图融合生成模块用于将深度相机获得的彩色图与深度图联合编码生成一张相互连接的融合图，所述图神经网络模块用于处理所述融合图；

S2、基于离线样本集训练所述卷积神经网络，所述离线样本集包括在待定位区域采用深度相机拍摄的批量图像以及每帧图像拍摄时的相机位置；

S3、使用深度相机在所述待定位区域拍摄一组彩色图和深度图像作为输入，通过所述卷积神经网络输出拍摄该组图像数据的相机位置。

进一步的，所述融合图包括节点和边，其中每个节点对应于深度图和彩色图中的一个像素点，边对应其所连接的两个像素点之间的相似度。

进一步的，所述节点对应的像素点包括由空间坐标(x,y,z)和色彩值(R,G,B)组成的6维信息，其中，所述空间坐标根据深度图计算得到，所述色彩值根据彩色图计算得到。

进一步的，所述相似度的值与该边连接的两个像素点的空间距离成反比。

进一步的，所述图神经网络模块包括卷积层，所述卷积层之前使用节点之间的相似度作为输入节点的权重。

进一步的，所述图神经网络模块中使用多尺度池化从而保有全局特征。

进一步的，S2具体包括：

S21.建立离线样本集，其包括在待定位区域所有需要进行定位的位置附近采用深度相机拍摄的大量包括RGB图和深度图的图像，以及同时记录的每帧图像拍摄时的相机位置，该位置定义为样本标签位置；

S22.将所述离线样本集中的数据样本输入所述卷积神经网络中进行训练。

进一步的，S22具体包括：

S221.假设所述离线样本集中样本数为N，定义已输入卷积神经网络训练的样本总数为COUNT，在N个样本中随机选取m个样本作为卷积神经网络的输入，其中m为预先给定的值；

S222.对m个样本单独计算损失值并求和，所述损失值为根据样本图像的输入正向计算神经网络得到的位置输出值与样本标签位置值差的L2范数值；

S223.使用动量优化器将所述损失值反向传播更新卷积神经网络权重，并令COUNT′＝COUNT+m，以更新COUNT值；

S224.判断更新后的COUNT值是否大于N的X倍，其中X为预先给定的值，如果是，则进入步骤S225，否则返回S221；

S225.将当前卷积神经网络的所有权重值保存下来，本次训练结束。

进一步的，S3具体包括：

S31.在所述离线样本集所覆盖的待定位区域任意位置采用深度相机拍摄一组彩色图和深度图像；

S32.将该组图像数据输入S2中训练好的卷积神经网络，经过计算输出拍摄该组图像数据的相机位置值。

本发明的有益技术效果如下：

1)本发明提出了一种新的卷积神经网络架构，该架构能够充分利用彩色图中的纹理、亮度、物体相对空间位置等信息以及深度图中蕴含的几何结构信息；而深度信息，是对空间位置关系的定量观测，能够更为准确的反映相机所处的位置，因此比传统方法只使用彩色图信息更加精确和可靠。

2)本发明提出了一种新的基于上述卷积神经网络的定位方法，该方法是一种黑箱方法，输入为深度相机采集到的彩色图和深度图，而输出则直接是相机的位置值，中间的分析与位置计算过程全由卷积神经网络解决，使用者无需考虑其原理及细节。卷积神经网络训练完成后，使用者只需采用深度相机采集一组深度图与彩色图，即可计算得到对应的相机位置值，因此本发明的部署与使用的方便性程度相比传统的方法有了极大的提升。

附图说明

图1为本发明的基于卷积神经网络的深度相机定位方法实施例的流程图。

具体实施方式

为了进一步理解本发明，下面结合实施例对本发明优选实施方案进行描述，但是应当理解，这些描述只是为进一步说明本发明的特征和优点，而不是对本发明权利要求的限制。

本发明实施例提供了一种基于卷积神经网络的深度相机定位方法，以深度相机获取的彩色图与深度图融合输入，计算得到相机位姿。

本实施例中，首先建立了一种能够融合输入彩色图与深度图信息，输出图像拍摄位姿的卷积神经网络。

具体而言，本实施例提出的卷积神经网络，由图融合生成模块和图神经网络模块组成。

本实施例中，所述的图融合生成模块，将深度相机获得的彩色图与深度图联合编码生成一张相互连接的融合图，该融合图由节点和边组成。

其中，每个节点对应于深度图和彩色图中的一个像素，由6维信息组成，即该像素的空间坐标(x,y,z)以及色彩值(R,G,B)，其中空间坐标根据深度图计算得到，色彩值根据彩色图计算得到。

其中，融合图中的边保存该边所连接的两个像素之间的相似度，该相似度的值与两个像素点的空间距离成反比，相距远的点相似度可以为0。

本实施例中，所述的图神经网络模块与传统的卷积神经网络不同，专门用来处理上述图融合生成模块生成的融合图。

该图神经网络模块虽然保留普通卷积神经网络所使用的卷积层，但在卷积层之前使用节点之间的相似度作为输入节点的权重，从而保证了输出节点只保留那些空间距离较近点的局部信息，其具有局部性和空间不变性的优点。

同时，该图神经网络模块使用了多尺度池化，能够保有全局特征，使网络顶层能够充分编码环境信息。

本实施例中，基于上述的卷积神经网络，进一步提出了一种基于深度相机数据进行定位的方法，如图1所示，主要由离线训练与在线定位两个主要的环节组成。

其中，所述的离线训练，是要训练好前述建立的卷积神经网络，确定该卷积神经网络的所有权重值，使该卷积神经网络以一帧RGB图和深度图作为输入，能够正确输出拍摄该帧图像的深度相机的位置。

离线训练包括如下步骤：

第一步，在所有需要进行定位的位置附近采用深度相机拍摄大量的图像(包括RGB图和深度图)，并同时记录每帧图像拍摄时的相机位置，该位置定义为样本标签位置，进而构成一个用于训练的离线样本集。

较佳的，为确保训练卷积神经网络取得较好的效果，至少拍摄10000张以上的RGB图与深度图。

第二步，将上述离线样本集中的样本作为数据样本输入卷积神经网络中进行训练。不失一般性，假设当前离线样本集样本数为N，已输入卷积神经网络训练的样本总数为COUNT。进行如下步骤：

1)在离线样本集的N个样本中随机选取m个样本作为卷积神经网络的输入。

较佳的，可以令m＝8，即每次随机选取8个样本作为输入。

2)对m个样本单独计算损失值并求和。损失值的计算方法是根据样本图像的输入正向计算神经网络得到位置输出值，该位置输出值与样本标签位置值差的L2范数值，即为样本损失值。

3)使用动量优化器将损失值反向传播更新卷积神经网络权重，并令COUNT′＝COUNT+m，以更新COUNT值。

较佳的，动量优化器的动量值可以设置为0.9，令反向传播更新卷积神经网络的学习率为0.0001。

4)判断更新后的COUNT值是否大于N的X倍，如果是，则进入步骤(5)，否则返回(1)。

较佳的，可以令X＝10，即以COUNT值是否大于N的10倍作为训练结束的标准。

5)将当前的所有权重值保存下来，本次训练结束。

本实施例中，所述的在线定位，是指采用上述训练好的卷积神经网络，输入一帧彩色图与深度图，计算得到深度相机所在位置，包括以下步骤：

第三步，在离线训练数据所覆盖的区域任意位置采用深度相机拍摄一组彩色图和深度图像。

第四步，将上述这组数据输入离线训练好的卷积神经网络，经过计算输出拍摄该组图像数据的相机位置值。

以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (7)

1.一种基于卷积神经网络的深度相机定位方法，其特征在于，包括如下步骤：

S1、建立卷积神经网络，所述卷积神经网络包括图融合生成模块和图神经网络模块，所述图融合生成模块用于将深度相机获得的彩色图与深度图联合编码生成一张相互连接的融合图，所述融合图包括节点和边，其中每个节点对应于深度图和彩色图中的一个像素点，边对应其所连接的两个像素点之间的相似度，所述图神经网络模块包括卷积层，所述卷积层之前使用节点之间的相似度作为输入节点的权重，用于处理所述融合图；

S2、基于离线样本集训练所述卷积神经网络，所述离线样本集包括在待定位区域采用深度相机拍摄的批量图像以及每帧图像拍摄时的相机位置；

S3、使用深度相机在所述待定位区域拍摄一组彩色图和深度图像作为输入，通过所述卷积神经网络输出拍摄该组图像数据的相机位置。

2.如权利要求1所述的基于卷积神经网络的深度相机定位方法，其特征在于，所述节点对应的像素点包括由空间坐标(x,y,z)和色彩值(R,G,B)组成的6维信息，其中，所述空间坐标根据深度图计算得到，所述色彩值根据彩色图计算得到。

3.如权利要求1所述的基于卷积神经网络的深度相机定位方法，其特征在于，所述相似度的值与该边连接的两个像素点的空间距离成反比。

4.如权利要求1所述的基于卷积神经网络的深度相机定位方法，其特征在于，所述图神经网络模块中使用多尺度池化从而保有全局特征。

5.如权利要求1-4任一项所述的基于卷积神经网络的深度相机定位方法，其特征在于，S2具体包括：

S21.建立离线样本集，其包括在待定位区域所有需要进行定位的位置附近采用深度相机拍摄的大量包括RGB图和深度图的图像，以及同时记录的每帧图像拍摄时的相机位置，该位置定义为样本标签位置；

S22.将所述离线样本集中的数据样本输入所述卷积神经网络中进行训练。

6.如权利要求5所述的基于卷积神经网络的深度相机定位方法，其特征在于，S22具体包括：

S221.假设所述离线样本集中样本数为N，定义已输入卷积神经网络训练的样本总数为COUNT，在N个样本中随机选取m个样本作为卷积神经网络的输入，其中m为预先给定的值；

S222.对m个样本单独计算损失值并求和，所述损失值为根据样本图像的输入正向计算神经网络得到的位置输出值与样本标签位置值差的L2范数值；

S223.使用动量优化器将所述损失值反向传播更新卷积神经网络权重，并令COUNT′＝COUNT+m，以更新COUNT值；

S224.判断更新后的COUNT值是否大于N的X倍，其中X为预先给定的值，如果是，则进入步骤S225，否则返回S221；

S225.将当前卷积神经网络的所有权重值保存下来，本次训练结束。

7.如权利要求1或6所述的基于卷积神经网络的深度相机定位方法，其特征在于，S3具体包括：

S31.在所述离线样本集所覆盖的待定位区域任意位置采用深度相机拍摄一组彩色图和深度图像；

S32.将该组图像数据输入S2中训练好的卷积神经网络，经过计算输出拍摄该组图像数据的相机位置值。

Images