CN107358629A - 一种基于目标识别的室内建图与定位方法 - Google Patents

Abstract

本发明涉及一种基于目标识别的室内定位与建图方法，其步骤包括：1)输入颜色深度图像，根据颜色深度图像建立目标物体模型数据库；2)输入实时测量的颜色深度图像，将其转换成3D点云，并求出当前视角能看到的场景表面；3)根据3D点云并基于最近迭代点估计相机的姿态；4)根据3D点云和建立的目标物体模型数据库，利用点对特征进行物体识别并估计物体的姿态；5)利用相机姿态和物体姿态优化姿态图；6)根据姿态图得到最优的物体姿态，利用已知的目标物体模型数据库进行表面渲染，得到当前环境的三维地图。本发明能在具有大量物体的场景下进行室内定位和地图建立，建图精度高，所用计算资源少。

Description

一种基于目标识别的室内建图与定位方法

技术领域

本发明属于图像处理与模式识别技术领域，具体涉及一种基于目标识别的室内建图与定位方法；通过目标识别辅助和优化进行室内建图和定位，能够较快速度得到细节完整的室内地图和准确的相机姿态定位。

背景技术

图像处理与模式识别是一门交叉学科，近几十年来，图像处理与模式识别技术取得了显著的进步，已开始从实验室慢慢走向市场。随着图像处理与模式识别研究工作的不断发展，针对不同性质图像和不同模式的识别系统，其识别精度已经很高了，足以满足市场用户的需求，已经在工业、家电、通信、汽车电子、医疗、家庭服务和消费电子类产品等领域得以应用。但在计票系统领域，图像处理与模式识别技术没有得到充分利用。

针对机器人自助室内建图定位，有两种需求：稠密地图和稀疏地图。稀疏地图计算量小，计算速度快，但是存在的问题是信息量少，不足以令机器人完成任务。稠密地图信息量大，但是计算量也大。

目前，室内定位建图稠密方法采用了以图像为核心，这类系统的局限性在于，不能理解地图的含义，且过程耗时较多。

发明内容

针对现有技术存在的问题，本发明的目的是提供一种基于目标识别的室内建图与定位方法。本发明将目标识别技术融入到传统室内建图与定位技术中，利用图优化的方式，以约束条件的方式减少计算量，从而提高建图精度，提高计算效率。与传统方法相比，本发明方法的建图精度高，所用计算资源少。

本发明的基于目标识别的室内定位与建图方法，其步骤包括：

1)输入颜色深度图像，根据颜色深度图像建立目标物体模型数据库；

2)输入实时测量的颜色深度图像，将其转换成3D点云，并求出当前视角能看到的场景表面；

3)根据3D点云并基于最近迭代点估计相机的姿态；

4)根据3D点云和建立的目标物体模型数据库，利用点对特征进行物体识别并估计物体的姿态；

5)利用相机姿态和物体姿态优化姿态图，姿态图中相机姿态和物体姿态作为节点，相机姿态和物体姿态间的约束关系作为边；

6)根据姿态图得到最优的物体姿态，利用已知的目标物体模型数据库进行表面渲染，得到当前环境的三维地图。

进一步地，步骤1)离线地建立目标物体模型数据库。

进一步地，步骤3)基于最近迭代点估计相机姿态的方法是：

a)比较当前帧和上一帧输入的两幅深度图像得到的3D点云，对图像上的点进行抽样，按照由粗到精的方式配准，对于抽样后的点云做滤波；

b)通过原始深度图像计算点的三维坐标得到模型数据集，通过滤波后的图像计算三维点云坐标得到场景数据集；

c)通过最近邻原则建立场景数据集与模型数据集之间的对应关系；

d)根据建立的对应关系，使得对应点间的距离的平方和最小，即完成对相机姿态的估计。

进一步地，步骤4)在线进行识别时，输入实时深度图像，选择场景中的一组参考点，场景中其他所有点都和参考点配对，用来产生点对特征。点对特征和离线的模型的描述进行匹配，检索出潜在的匹配，进行对物体的识别。

进一步地，步骤4)将姿态参数化，每个潜在的匹配用来给物体的姿态投票，投票的结果是最优的物体姿态。

进一步地，步骤5)利用相机姿态和物体姿态之间的耦合关系进行图优化，优化相机的姿态和物体的姿态。

进一步地，步骤6)得到当前环境的三维地图后，处理下一帧图像，并将渲染结果输入到步骤3)和步骤4)的姿态估计的环节，以辅助快速更新相机的姿态以及物体的姿态。

本发明还提供一种基于目标识别的室内定位与建图装置，包括处理器和存储器；所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行上述方法中各步骤的指令。

本发明还提供一种存储计算机程序的计算机可读存储介质，所述计算机程序被计算机执行时，实现上述方法的步骤。

与现有技术相比，本发明的有益效果是：

本发明能在具有大量物体的场景下，进行室内定位和地图建立，能够实时地得到稠密地图，占用的存贮空间小，压缩率为传统方法的70分之一。本发明可以应用于基于手持摄像机的实时定位与建图，在导航，虚拟现实等场景可以有广泛的应用。

附图说明

图1为本发明方法的总体流程框架图。

图2为点对特征的示意图。

图3为模型和场景配对的示意图。

图4为投票机制示意图。

具体实施方式

下面结合实施例和附图，对本发明做出详细描述。

图1为本发明方法的总体流程图，该方法具体包括以下步骤：

1、计算物体模型

本发明的应用场景是室内场景，在实时目标检测之前，先离线地建立目标物体模型数据库(该内容不表示在图1中)。

建立目标物体模型数据库的方法是，通过现有的三维重建方法即KinectFusion方法(R.A.Newcombe,S.Izadi,O.Hilliges,D.Molyneaux,D.Kim,A.J.Davison,P.Kohli,J.Shotton,S.Hodges,and A.Fitzgibbon.KinectFusion:Real-Time Dense SurfaceMapping and Tracking.In Proceedings of the International Symposium on Mixedand Augmented Reality(ISMAR),2011.)扫描物体，得到3D重建的结果，并手动去除地面的杂点，即得到目标物体模型数据库。

2、输入颜色深度图像及表面测量

离线地建立物体模型的描述后，进行在线识别。输入实时RGBD图像(颜色深度图像)，将2D深度图像转换成3D点云并求得每一点的法向量，用于之后的相机姿态估计和物体的识别及物体的姿态估计。并且，用光线投影算法求当前视角下能够看到的场景表面。

3、基于最近迭代点的相机姿态估计

基于最近迭代点(Iterative Closest Point，ICP)的相机姿态估计包括以下步骤：

a.首先，比较当前帧和上一帧输入的两幅深度图像得到的3D点云，对图像上的点进行抽样，比如分3层抽样，按照由粗到精的方式配准，对于抽样后的点云做滤波。

b.通过原始深度图像计算点的三维坐标得到模型数据集，通过滤波后的图像计算三维点云坐标得到场景数据集。

c.通过最近邻原则建立场景数据集与模型数据集之间的对应关系。

d.根据上一步中建立的对应关系，使得对应点间的距离的平方和最小，解决已知对应关系情况下相机位姿的相对变换，此时即完成对相机姿态的估计。

4、物体识别及物体姿态更新

由输入的实时RGBD图像得到3D点云，选择场景中的一组参考点，场景中其他所有点都和参考点配对，用来产生点对特征。这些点对特征用来和离线的目标物体模型的描述进行匹配，从而检索出潜在的匹配(或称为待选的匹配)。然后将姿态参数化，每个潜在的匹配用来给物体的姿态投票，投票的结果是最优的物体姿态。

具体来说，该步骤采用基于点对特征的全局描述的3D目标识别方法。点对特征是一种新颖的全局描述子，其可以定义为

F(m1，m2)＝(||d||₂∠(n1，d)，∠(n2，d)，∠(n1，n2))，

其中m1,m2为两张图片上的点，||d||₂为点m1点m2之间的距离，n1,n2为法向量，∠(a,b)表示两个向量之间的夹角。图2为点对特征的示意图，其中F₁表示点之间的距离，F₂、F₃表示该点处的方向向量，F₄表示向量之间的夹角。

本方法以点对特征提出了一种全局描述方法。首先，计算模型表面的所有点对，以d_dist和d_angle为步长，分别采样距离和角度。然后把相等的特征向量看成一组。然后，计算采样的点对特征空间对于模型的映射。其中有相等的点对特征的点记为集合A，其可以用哈希表表示。这些计算步骤都可以离线进行，如此大大提高在线的计算效率。而在线目标识别的过程中只需要进行以下步骤：

选择场景中的一组参考点，其他场景中的点与参考点配对，配对成功的产生了点对特征。这些点对特征包含全局描述和待选的匹配。给待选的匹配进行投票得到最优的匹配，从而得到最优的物体姿态。这里投票的方法是广义霍夫变换(D.Katsoulas.Robustextraction of vertices in range images by constraining the houghtransform.Lecture Notes in Computer Science,pages 360–369,2003.)。

图3为模型和场景配对的示意图，其中m代表模型中的参考点，s为场景中的参考点，下标i,r分别代表点对中两个不同的点，两组点对具有相似的点对特征，为法向量。T代表点对到三维坐标系x,y,z的映射，T_s→g代表场景参考点到原点坐标系的映射，T_m→g代表模型参考点到原点坐标系的映射，g代表原点坐标，α代表T_s→g到T_m→g的旋转角度，e1为两组点配对所需要的角度。

图4为投票机制示意图，其中m_i′和m_r′代表与m_i与m_r配对的点。F_s(s_r,s_i)为点对特征，与模型的描述进行配对，α₁至α_n为配对成功时的角度参数，如果找到配对的点对记录到记票空间中。图4中，①表示得到点对特征，②表示得到模型描述，③表示将描述与模型配对，④表示找到配对的点对并记录到投票空间中。

5、姿态图优化(基于图优化的姿态优化方法)

为了提高物体姿态估计和相机姿态估计的精确度，利用变量之间的约束关系进行优化，得到当前相机的定位位置和姿态。相机的姿态和物体的姿态作为姿态图的节点，其相连的边为各个变量间的约束。

所有变量的约束如下：

其中，Em表示约束度量和，表示i时刻深度相机的姿态；T_woj是物体的姿态；是物体j在第i时刻的六自由度测量；zi表示i时刻相机的六自由度测量；∑i,oj表示测量的协方差；∑i,i+1是相机从i到i+1时刻的测量协方差；是在相机从i到i+1时刻的相对ICP约束；T_wi+1表示第i+1时刻深度相机的姿态。

用Levenberg-Marquardt方法(列文伯格-马夸尔特法)求解这个最小二乘问题。通过一个系数的Cholesky算子(R.Kummerle,G.Grisetti,H.Strasdat,K.Konolige,andW.Burgard.g2o:A General Framework for Graph Optimization.In Proceedings ofthe IEEE International Conference on Robotics and Automation(ICRA),2011.)可以解出等式的稀疏解。

6、表面渲染

根据步骤5的姿态图得到最优的物体姿态，然后利用已知的目标物体模型数据库，进行表面渲染，得到当前环境的三维地图，然后处理下一帧图像，并将渲染结果输入到步骤3)和步骤4)的姿态估计的环节，将渲染得到的地图与新的测量输入对比，辅助快速更新相机的姿态以及物体的姿态。与传统方法相比，该方法建图精度高，所用计算资源少。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (9)

1.一种基于目标识别的室内定位与建图方法，其步骤包括：

1)输入颜色深度图像，根据颜色深度图像建立目标物体模型数据库；

2)输入实时测量的颜色深度图像，将其转换成3D点云，并求出当前视角能看到的场景表面；

3)根据3D点云并基于最近迭代点估计相机的姿态；

4)根据3D点云和建立的目标物体模型数据库，利用点对特征进行物体识别并估计物体的姿态；

5)利用相机姿态和物体姿态优化姿态图，姿态图中相机姿态和物体姿态作为节点，相机姿态和物体姿态间的约束关系作为边；

6)根据姿态图得到最优的物体姿态，利用已知的目标物体模型数据库进行表面渲染，得到当前环境的三维地图。

2.如权利要求1所述的方法，其特征在于，步骤1)离线地建立目标物体模型数据库。

3.如权利要求1所述的方法，其特征在于，步骤3)基于最近迭代点估计相机姿态的方法是：

a)比较当前帧和上一帧输入的两幅深度图像得到的3D点云，对图像上的点进行抽样，按照由粗到精的方式配准，对于抽样后的点云做滤波；

b)通过原始深度图像计算点的三维坐标得到模型数据集，通过滤波后的图像计算三维点云坐标得到场景数据集；

c)通过最近邻原则建立场景数据集与模型数据集之间的对应关系；

d)根据建立的对应关系，使得对应点间的距离的平方和最小，即完成对相机姿态的估计。

4.如权利要求1所述的方法，其特征在于，步骤4)在线进行识别时，输入实时深度图像，选择场景中的一组参考点，场景中其他所有点都和参考点配对，用来产生点对特征。点对特征和离线的模型的描述进行匹配，检索出潜在的匹配，进行对物体的识别。

5.如权利要求1所述的方法，其特征在于，步骤4)将姿态参数化，每个潜在的匹配用来给物体的姿态投票，投票的结果是最优的物体姿态。

6.如权利要求1所述的方法，其特征在于，步骤5)利用相机姿态和物体姿态之间的耦合关系进行图优化，优化相机的姿态和物体的姿态。

7.如权利要求1所述的方法，其特征在于，步骤6)得到当前环境的三维地图后，处理下一帧图像，并将渲染结果输入到步骤3)和步骤4)的姿态估计的环节，以辅助快速更新相机的姿态以及物体的姿态。

8.一种基于目标识别的室内定位与建图装置，其特征在于，包括处理器和存储器；所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1至7中任一权利要求所述方法中各步骤的指令。

9.一种存储计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被计算机执行时，实现权利要求1至7中任一权利要求所述方法的步骤。