CN110793441A - 一种高精度物体几何尺寸测量方法及装置 - Google Patents

Abstract

本发明提供了一种高精度物体几何尺寸测量方法及装置，在深度相机移动的过程中，通过配准当前帧的彩色图和上一帧的彩色图的特征来计算当前帧的深度图和上一帧的深度图的空间变换位姿，并将基于该空间变换位姿变换后的当前帧的深度图融合至TSDF模型中，直到深度相机移动结束获得TSDF模型输出的三维空间模型，进一步从该三维空间模型中获取深度相机当前视角下的目标深度图，基于该目标深度图中分割出的空间对象的子深度图和背景地面的子深度图来计算空间对象的几何尺寸。本发明通过多帧融合方式解决了由于相机本身视角限制无法测量超大物体进行几何尺寸的问题，提高了测量精度，方便实用。

Description

一种高精度物体几何尺寸测量方法及装置

技术领域

本发明涉及物体测量技术领域，更具体地说，涉及一种高精度物体几何尺寸测量方法及装置。

背景技术

随着物流行业的兴起，节约物流成本、提高仓储空间利用率，逐渐成为人们关注的焦点。如何测量物体的几何尺寸成为物流行业的一大痛点。

传统测量方案大多采用固定式测量，但由于相机位置固定、相机的视场角受限，导致单帧所测量物体的大小有限，这就无法测量超大物体的几何尺寸。

发明内容

有鉴于此，为解决上述问题，本发明提供一种高精度物体几何尺寸测量方法及装置。技术方案如下：

一种高精度物体几何尺寸测量方法，所述方法包括：

在深度相机移动的过程中，采集当前帧的深度图和彩色图；

获取上一帧的深度图和彩色图，并通过配准所述当前帧的彩色图和所述上一帧的彩色图的特征计算所述当前帧的深度图和所述上一帧的深度图的空间变换位姿；

基于所述空间变换位姿将所述当前帧的深度图变换到所述上一帧的深度图所在的坐标系下，并将变换后的所述当前帧的深度图融合至表面重建TSDF模型中，以使所述TSDF模型将变换后的所述当前帧的深度图映射到三维立体空间中；

在所述深度相机结束移动后，获取所述TSDF模型输出的三维空间模型，并从所述三维空间模型中获取所述深度相机当前视角下的目标深度图；

从所述目标深度图中分割出空间对象的子深度图和背景地面的子深度图，并基于所述空间对象的子深度图和所述背景地面的子深度图计算所述空间对象的几何尺寸。

优选的，所述通过配准所述当前帧的彩色图和所述上一帧的彩色图的特征计算所述当前帧的深度图和所述上一帧的深度图的空间变换位姿，包括：

分别将所述当前帧的彩色图和所述上一帧的彩色图转换为灰度图；

分别检测所述当前帧的灰度图和所述上一帧的灰度图的特征；

通过配准同一个特征在所述当前帧的灰度图和所述上一帧的灰度图中的像素位置计算所述当前帧的深度图和所述上一帧的深度图的初始空间变换位姿；

将所述初始空间变换位姿作为最近点迭代ICP算法的初值，并通过所述ICP算法迭代计算所述当前帧的深度图和所述上一帧的深度图之间的实际空间变换位姿。

优选的，所述基于所述空间对象的子深度图和所述背景地面的子深度图计算所述空间对象的几何尺寸，包括：

通过对所述空间对象的子深度图进行平面拟合获取所述空间对象的至少一个平面，以及通过对所述背景地面的子深度图进行平面拟合获取所述背景地面所在的平面；

判断所述空间对象的至少一个平面是否均为规则平面；

如果所述空间对象的至少一个平面均为规则平面，从所述空间对象的至少一个平面中确定一个与所述背景地面所在的平面相平行的目标平面；

将所述目标平面的长度作为所述空间对象的长度、将所述目标平面的宽度作为所述空间对象的宽度、将所述目标平面投影至所述背景地面所在的平面的投影高度作为所述空间对象的高度。

优选的，所述从所述空间对象的至少一个平面中确定一个与所述背景地面所在的平面相平行的目标平面，包括：

在所述至少一个平面为多个平面的情况下，计算每个所述平面的法向量与所述背景地面的平面的法向量的夹角；

将所述至少一个平面中夹角为零的平面确定为与所述背景地面所在的平面相平行的目标平面。

优选的，所述方法还包括：

如果所述空间对象的至少一个平面不均为规则平面，则将所述空间对象的子深度图投影至所述背景地面所在的平面；

通过主成分分析的方法处理投影后的所述空间对象的子深度图得到所述空间对象的长度和宽度，并将所述空间对象的子深度图投影到所述背景地面所在平面的最大投影高度作为所述空间对象的高度。

优选的，所述方法还包括：

判断所述当前帧是否为第一帧；

如果所述当前帧为第一帧，则将所述当前帧的深度图融合至所述TSDF模型中，以使所述TSDF模型将所述当前帧的深度图映射到三维立体空间中；

如果所述当前帧不为第一帧，执行所述获取上一帧的深度图和彩色图。

一种高精度物体几何尺寸测量装置，所述装置包括：

采集模块，用于在深度相机移动的过程中，采集当前帧的深度图和彩色图；

第一计算模块，用于获取上一帧的深度图和彩色图，并通过配准所述当前帧的彩色图和所述上一帧的彩色图的特征计算所述当前帧的深度图和所述上一帧的深度图的空间变换位姿；

第一融合模块，用于基于所述空间变换位姿将所述当前帧的深度图变换到所述上一帧的深度图所在的坐标系下，并将变换后的所述当前帧的深度图融合至表面重建TSDF模型中，以使所述TSDF模型将变换后的所述当前帧的深度图映射到三维立体空间中；

第二计算模块，用于在所述深度相机结束移动后，获取所述TSDF模型输出的三维空间模型，并从所述三维空间模型中获取所述深度相机当前视角下的目标深度图；从所述目标深度图中分割出空间对象的子深度图和背景地面的子深度图，并基于所述空间对象的子深度图和所述背景地面的子深度图计算所述空间对象的几何尺寸。

优选的，用于通过配准所述当前帧的彩色图和所述上一帧的彩色图的特征计算所述当前帧的深度图和所述上一帧的深度图的空间变换位姿的所述第一计算模块，具体用于：

分别将所述当前帧的彩色图和所述上一帧的彩色图转换为灰度图；分别检测所述当前帧的灰度图和所述上一帧的灰度图的特征；通过配准同一个特征在所述当前帧的灰度图和所述上一帧的灰度图中的像素位置计算所述当前帧的深度图和所述上一帧的深度图的初始空间变换位姿；将所述初始空间变换位姿作为最近点迭代ICP算法的初值，并通过所述ICP算法迭代计算所述当前帧的深度图和所述上一帧的深度图之间的实际空间变换位姿。

优选的，用于基于所述空间对象的子深度图和所述背景地面的子深度图计算所述空间对象的几何尺寸的所述第二计算模块，具体用于：

通过对所述空间对象的子深度图进行平面拟合获取所述空间对象的至少一个平面，以及通过对所述背景地面的子深度图进行平面拟合获取所述背景地面所在的平面；判断所述空间对象的至少一个平面是否均为规则平面；如果所述空间对象的至少一个平面均为规则平面，从所述空间对象的至少一个平面中确定一个与所述背景地面所在的平面相平行的目标平面；将所述目标平面的长度作为所述空间对象的长度、将所述目标平面的宽度作为所述空间对象的宽度、将所述目标平面投影至所述背景地面所在的平面的投影高度作为所述空间对象的高度。

优选的，所述装置还包括：

判断模块，用于判断所述当前帧是否为第一帧；如果所述当前帧为第一帧，则触发第二融合模块；如果所述当前帧不为第一帧，则触发所述第一计算模块；

第二融合模块，用于将所述当前帧的深度图融合至所述TSDF模型中，以使所述TSDF模型将所述当前帧的深度图映射到三维立体空间中。

本发明实施例提供一种高精度物体几何尺寸测量方法及装置，在深度相机移动的过程中，通过配准当前帧的彩色图和上一帧的彩色图的特征来计算当前帧的深度图和上一帧的深度图的空间变换位姿，并将基于该空间变换位姿变换后的当前帧的深度图融合至TSDF模型中，直到深度相机移动结束获得TSDF模型输出的三维空间模型，进一步从该三维空间模型中获取深度相机当前视角下的目标深度图，基于该目标深度图中分割出的空间对象的子深度图和背景地面的子深度图来计算空间对象的几何尺寸。本发明通过多帧融合方式解决了由于相机本身视角限制无法测量超大物体进行几何尺寸的问题，提高了测量精度，方便实用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的高精度物体几何尺寸测量方法的方法流程图；

图2为本发明实施例提供的高精度物体几何尺寸测量方法的部分方法流程图；

图3为本发明实施例提供的高精度物体几何尺寸测量方法的另一部分方法流程图；

图4为本发明实施例提供的高精度物体几何尺寸测量装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种高精度物体几何尺寸测量方法，该方法的方法流程图如图1所示，包括如下步骤：

S10，在深度相机移动的过程中，采集当前帧的深度图和彩色图。

本发明实施例中，深度相机可以是搭载有深度摄像头传感器的手持设备平台。用户可以在该平台上点击开始测量，通过深度摄像头传感器可以同一时间采集深度图和彩色图；其中，深度图中每个像素位置存储的是空间中此点到深度相机的距离信息，彩色图中每个像素位置存储的是空间中此点的RGB颜色值。

此外，在采集到当前帧的深度图和彩色图后，判断当前帧是否为第一帧；如果当前帧不为第一帧，执行步骤S20；如果当前帧为第一帧，则保存当前帧的深度图和彩色图，并将当前帧的深度图融合至TSDF模型中，以使TSDF模型将当前帧的深度图映射到三维立体空间中，另返回步骤S10，开始采集下一帧的深度图和彩色图。

需要说明的是，将当前帧的深度图融合至TSDF模型中，以使TSDF模型将当前帧的深度图映射到三维立体空间中的过程，可以参见以下步骤S30中“将变换后的当前帧的深度图融合至表面重建TSDF模型中，以使TSDF模型将变换后的当前帧的深度图映射到三维立体空间中”的过程，在此不再赘述。

S20，获取上一帧的深度图和彩色图，并通过配准当前帧的彩色图和上一帧的彩色图的特征计算当前帧的深度图和上一帧的深度图的空间变换位姿。

本实施例中，由于深度相机同一时间采集深度图和彩色图，因此当前帧的彩色图和上一帧的彩色图的空间变换位姿，即当前帧的深度图和上一帧的深度图的空间变换位姿，即深度相机在当前帧和上一帧采集时的空间变换位姿。

本发明实施例中，可以通过匹配相同特征在当前帧和上一帧的像素位置来计算当前帧和上一帧的空间变换位姿。具体可以采用经典的数据配准算法ICP(IterativeClosest Point，最近点迭代)算法来计算当前帧和上一帧之间的旋转变换矩阵和平移矩阵。

具体实现过程中，步骤S20中“通过配准当前帧的彩色图和上一帧的彩色图的特征计算当前帧的深度图和上一帧的深度图的空间变换位姿”可以采用如下步骤，方法流程图如图2所示：

S201，分别将当前帧的彩色图和上一帧的彩色图转换为灰度图。

本发明实施例中，可以采集现有灰度转换的算法将当前帧的彩色图和上一帧的彩色图分别转换为灰度图；其中，灰度图中每个像素位置存储的是空间中此点的灰度值。本实施例对于灰度转换的算法并不做限定。

S202，分别检测当前帧的灰度图和上一帧的灰度图的特征。

本发明实施例中，所检测的特征可以是点特征和/或线特征；其中，点特征是指灰度信号在二维方向上都有明显变化的点，比如角点、原点等；线特征是指灰度信号在整条线上都有明显变化的线段，比如物体边缘等。

在实际应用中，可以采用SIFT(Scale-invariant feature transform，尺度不变特征变换)或者FAST(快速特征点检测方法)或者ORB(Oriented FAST and Rotated BRIEF，定向快速特征检测与旋转不变性)等方法检测点特征，可以采用LSD(a Line SegmentDetector，直线段检测算法)等方法检测线特征。

S203，通过配准同一个特征在当前帧的灰度图和上一帧的灰度图中的像素位置计算当前帧的深度图和上一帧的深度图的初始空间变换位姿。

本发明实施例中，可以通过暴力匹配或者快速近似最近邻(Fast Library forApproximate Nearest Neighbors，FLANN)等方法对当前帧的灰度图和上一帧的灰度图进行特征的配准，以确定同一个特征在当前帧的灰度图和上一帧的灰度图中的像素位置。

进而可以基于SVD(Singular Value Decomposition，奇异值分解)方法估算当前帧的深度图和上一帧的深度图的初始空间变换位姿，该初始空间变换位姿包括旋转变换矩阵R和平移矩阵t。

具体的，可以假设配准到N个特征对，第i个特征对包括p_i与p_i′，其中，p_i表示第i个特征在上一帧的灰度图上的像素位置，p_i′表示第i个特征在当前帧的灰度图上的像素位置。可以先定义第i个特征对的误差项e_i＝p_i-(Rp_i′+t)，进而通过构建最小二乘问题

求使误差项平方和达到极小的旋转变换矩阵R和平移矩阵t。

S204，将初始空间变换位姿作为最近点迭代ICP算法的初值，并通过ICP算法迭代计算当前帧的深度图和上一帧的深度图之间的实际空间变换位姿。

ICP算法基于特征对构造旋转变换矩阵和平移矩阵，并利用所得矩阵将当前帧的特征变换到上一帧的坐标系下，并估计变化后的特征的误差函数，若误差函数大于阈值，则迭代构造旋转变换矩阵和平移矩阵，直到满足给定的误差要求。ICP算法采用最小二乘估计计算旋转变换矩阵和平移矩阵，原理简单且具有较好的精度，但是由于采用了迭代计算，导致算法计算速度较慢，而且采用ICP进行配准计算时，其对待配准点云的初始位置有一定要求，若所选初始位置不合理，则会导致算法-陷入局部最优。

因此，为加速ICP算法匹配进程并保证匹配的精度，本发明实施例将SVD方法估算得到的旋转变换矩阵R和平移矩阵t作为ICP算法的初始空间变换位姿，加速ICP算法的收敛速度并能计算得出最优解(最优的旋转变换矩阵R′和平移矩阵t′)。

S30，基于空间变换位姿将当前帧的深度图变换到上一帧的深度图所在的坐标系下，并将变换后的当前帧的深度图融合至TSDF模型中，以使TSDF模型将变换后的当前帧的深度图映射到三维立体空间中。

本发明实施例中，通过上述步骤S20可以获得当前帧的深度图和上一帧的深度图的空间变换位姿，包括旋转变换矩阵R′和平移矩阵t′，进而可以旋转变换矩阵R′和平移矩阵t′将当前帧的深度图变换到上一帧的深度图所在的坐标系下，以当前帧的深度图上的一个像素位置q_i为例，变换后即R′q_i+t′。

将变换后的当前帧的深度图融合至TSDF(truncated signed distancefunction，表面重建)模型中。TSDF模型是利用结构化点云数据并以参数表达表面的表面重建算法，核心是将点云数据映射到一个预先定义的三维立体空间中，并用截断符号距离函数表示真实场景表面附近的区域，建立表面模型，因此TSDF可以不断迭代融合不同帧变换后的深度图获得最终的三维空间模型。

S40，在深度相机结束移动后，获取TSDF模型输出的三维空间模型，并从三维空间模型中获取深度相机当前视角下的目标深度图。

本发明实施例中，在深度相机移动过程中，TSDF模型可以不断迭代融合不同帧变换后的深度图来建立三维空间模型。因此用户在点击停止测量后，TSDF模型可以输出从开始到结束这一时段内最终构建的三维空间模型，再由该三维空间模型通过投影获得当前视角所对应的目标深度图。

S50，从目标深度图中分割出空间对象的子深度图和背景地面的子深度图，并基于空间对象的子深度图和背景地面的子深度图计算空间对象的几何尺寸。

背景地面一般会呈现出无规则的形状、且背景地面所占的面积一般比较大、距离深度相机最远，基于此，本发明实施例可以采用RANSAC(Random Sample Consesus，随机抽样一致性)算法，以迭代方式从目标深度图中估算出平面的数学模型参数，通过将该数学模型参数作为背景地面的方程参数从目标深度图中分割出背景地面的子深度图。

对于目标深度图中除背景地面之外的深度图，可以采用K-mean(K均值聚类算法)算法，根据欧式距离迭代出各个像素位置的所属类别，从而分类得到不同空间对象对应的子深度图。

为方便理解，以下对K-mean算法进行简单介绍：

K-mean算法是一种迭代求解的聚类分析算法，其步骤是随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。每分配一个样本，聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件，终止条件可以是没有(或最小数目)对象被重新分配给不同的聚类、或者没有(或最小数目)聚类中心再发生变化、或者误差平方和局部最小等等，以此从中筛选不同空间对象的子深度图。

进一步，通过对空间对象的子深度图和背景地面的子深度图进行平面拟合，获得空间对象的至少一个平面和背景地面所在的平面，从而从空间对象的至少一个平面中确定一个与背景地面所在的平面相平行的目标平面，该目标平面的长度为空间对象的长度、该目标平面的宽度为空间对象的宽度、该目标平面投影至背景地面所在的平面的投影高度为空间对象的高度。

具体实现过程中，步骤S50中“基于空间对象的子深度图和背景地面的子深度图计算空间对象的几何尺寸”可以采用如下步骤，方法流程图如图3所示：

S501，通过对空间对象的子深度图进行平面拟合获取空间对象的至少一个平面，以及通过对背景地面的子深度图进行平面拟合获取背景地面所在的平面。

本发明实施例中，可以采用RANSAC算法以迭代方式从空间对象的子深度图中估算出空间对象的至少一个平面的数学模型参数、从背景地面的子深度图中估算出背景地面所在平面的数学模型参数。

S502，判断空间对象的至少一个平面是否均为规则平面；若是，则执行步骤S503。

本发明实施例中，可以采用边缘拟合的方式从空间对象的每个平面中抽取各边的方程信息，如果抽取到一个平面具有四条边、且四条边两两相互垂直，则说明该平面为近似规则的矩形，属于规则平面。

进一步，如果空间对象的所有平面均属于规则平面，则该空间对象属于规则物体。

反之，如果空间对象的所有平面中有一个平面不属于规则平面，则该空间对象属于不规则物体。此时，可以将将空间对象的子深度图投影至背景地面所在的平面，通过主成分分析的方法处理投影后的空间对象的子深度图得到空间对象的长度和宽度，并将空间对象的子深度图投影到背景地面所在平面的最大投影高度作为空间对象的高度。

S503，从空间对象的至少一个平面中确定一个与背景地面所在的平面相平行的目标平面。

本发明实施例中，如果属于规则物体的空间对象只拟合出一个规则平面，则将该平面直接确定为与背景地面所在的平面相平行的目标平面。

而如果属于规则物体的空间对象拟合出多个规则平面，在计算每个平面的法向量与背景地面的平面的法向量的夹角，并将夹角为零的平面确定为与背景地面所在的平面相平行的目标平面。

S504，将目标平面的长度作为空间对象的长度、将目标平面的宽度作为空间对象的宽度、将目标平面投影至背景地面所在的平面的投影高度作为空间对象的高度。

本发明实施例提供的高精度物体几何尺寸测量方法，通过多帧融合方式解决了由于相机本身视角限制无法测量超大物体进行几何尺寸的问题，提高了测量精度，方便实用。

基于上述实施例提供的高精度物体几何尺寸测量方法，本发明实施例提供一种执行上述高精度物体几何尺寸测量方法的装置，该装置的结构示意图如图4所示，包括：

采集模块10，用于在深度相机移动的过程中，采集当前帧的深度图和彩色图；

第一计算模块20，用于获取上一帧的深度图和彩色图，并通过配准当前帧的彩色图和上一帧的彩色图的特征计算当前帧的深度图和上一帧的深度图的空间变换位姿；

第一融合模块30，用于基于空间变换位姿将当前帧的深度图变换到上一帧的深度图所在的坐标系下，并将变换后的当前帧的深度图融合至表面重建TSDF模型中，以使TSDF模型将变换后的当前帧的深度图映射到三维立体空间中；

第二计算模块40，用于在深度相机结束移动后，获取TSDF模型输出的三维空间模型，并从三维空间模型中获取深度相机当前视角下的目标深度图；从目标深度图中分割出空间对象的子深度图和背景地面的子深度图，并基于空间对象的子深度图和背景地面的子深度图计算空间对象的几何尺寸。

可选的，用于通过配准当前帧的彩色图和上一帧的彩色图的特征计算当前帧的深度图和上一帧的深度图的空间变换位姿的第一计算模块20，具体用于：

分别将当前帧的彩色图和上一帧的彩色图转换为灰度图；分别检测当前帧的灰度图和上一帧的灰度图的特征；通过配准同一个特征在当前帧的灰度图和上一帧的灰度图中的像素位置计算当前帧的深度图和上一帧的深度图的初始空间变换位姿；将初始空间变换位姿作为最近点迭代ICP算法的初值，并通过ICP算法迭代计算当前帧的深度图和上一帧的深度图之间的实际空间变换位姿。

可选的，用于基于空间对象的子深度图和背景地面的子深度图计算空间对象的几何尺寸的第二计算模块40，具体用于：

通过对空间对象的子深度图进行平面拟合获取空间对象的至少一个平面，以及通过对背景地面的子深度图进行平面拟合获取背景地面所在的平面；判断空间对象的至少一个平面是否均为规则平面；如果空间对象的至少一个平面均为规则平面，从空间对象的至少一个平面中确定一个与背景地面所在的平面相平行的目标平面；将目标平面的长度作为空间对象的长度、将目标平面的宽度作为空间对象的宽度、将目标平面投影至背景地面所在的平面的投影高度作为空间对象的高度。

可选的，用于从空间对象的至少一个平面中确定一个与背景地面所在的平面相平行的目标平面的第二计算模块40，具体用于：

在至少一个平面为多个平面的情况下，计算每个平面的法向量与背景地面的平面的法向量的夹角；

将至少一个平面中夹角为零的平面确定为与背景地面所在的平面相平行的目标平面。

可选的，第二计算模块40，还用于：

如果空间对象的至少一个平面不均为规则平面，则将空间对象的子深度图投影至背景地面所在的平面；

通过主成分分析的方法处理投影后的空间对象的子深度图得到空间对象的长度和宽度，并将空间对象的子深度图投影到背景地面所在平面的最大投影高度作为空间对象的高度。

可选的，装置还包括：

判断模块，用于判断当前帧是否为第一帧；如果当前帧为第一帧，则触发第二融合模块；如果当前帧不为第一帧，则触发第一计算模块；

第二融合模块，用于将当前帧的深度图融合至TSDF模型中，以使TSDF模型将当前帧的深度图映射到三维立体空间中。

本发明实施例提供的高精度物体几何尺寸测量装置，通过多帧融合方式解决了由于相机本身视角限制无法测量超大物体进行几何尺寸的问题，提高了测量精度，方便实用。

以上对本发明所提供的一种高精度物体几何尺寸测量方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素，或者是还包括为这些过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种高精度物体几何尺寸测量方法，其特征在于，所述方法包括：

在深度相机移动的过程中，采集当前帧的深度图和彩色图；

获取上一帧的深度图和彩色图，并通过配准所述当前帧的彩色图和所述上一帧的彩色图的特征计算所述当前帧的深度图和所述上一帧的深度图的空间变换位姿；

基于所述空间变换位姿将所述当前帧的深度图变换到所述上一帧的深度图所在的坐标系下，并将变换后的所述当前帧的深度图融合至表面重建TSDF模型中，以使所述TSDF模型将变换后的所述当前帧的深度图映射到三维立体空间中；

在所述深度相机结束移动后，获取所述TSDF模型输出的三维空间模型，并从所述三维空间模型中获取所述深度相机当前视角下的目标深度图；

从所述目标深度图中分割出空间对象的子深度图和背景地面的子深度图，并基于所述空间对象的子深度图和所述背景地面的子深度图计算所述空间对象的几何尺寸。

2.根据权利要求1所述的方法，其特征在于，所述通过配准所述当前帧的彩色图和所述上一帧的彩色图的特征计算所述当前帧的深度图和所述上一帧的深度图的空间变换位姿，包括：

分别将所述当前帧的彩色图和所述上一帧的彩色图转换为灰度图；

分别检测所述当前帧的灰度图和所述上一帧的灰度图的特征；

通过配准同一个特征在所述当前帧的灰度图和所述上一帧的灰度图中的像素位置计算所述当前帧的深度图和所述上一帧的深度图的初始空间变换位姿；

将所述初始空间变换位姿作为最近点迭代ICP算法的初值，并通过所述ICP算法迭代计算所述当前帧的深度图和所述上一帧的深度图之间的实际空间变换位姿。

3.根据权利要求1所述的方法，其特征在于，所述基于所述空间对象的子深度图和所述背景地面的子深度图计算所述空间对象的几何尺寸，包括：

通过对所述空间对象的子深度图进行平面拟合获取所述空间对象的至少一个平面，以及通过对所述背景地面的子深度图进行平面拟合获取所述背景地面所在的平面；

判断所述空间对象的至少一个平面是否均为规则平面；

如果所述空间对象的至少一个平面均为规则平面，从所述空间对象的至少一个平面中确定一个与所述背景地面所在的平面相平行的目标平面；

将所述目标平面的长度作为所述空间对象的长度、将所述目标平面的宽度作为所述空间对象的宽度、将所述目标平面投影至所述背景地面所在的平面的投影高度作为所述空间对象的高度。

4.根据权利要求3所述的方法，其特征在于，所述从所述空间对象的至少一个平面中确定一个与所述背景地面所在的平面相平行的目标平面，包括：

在所述至少一个平面为多个平面的情况下，计算每个所述平面的法向量与所述背景地面的平面的法向量的夹角；

将所述至少一个平面中夹角为零的平面确定为与所述背景地面所在的平面相平行的目标平面。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

如果所述空间对象的至少一个平面不均为规则平面，则将所述空间对象的子深度图投影至所述背景地面所在的平面；

通过主成分分析的方法处理投影后的所述空间对象的子深度图得到所述空间对象的长度和宽度，并将所述空间对象的子深度图投影到所述背景地面所在平面的最大投影高度作为所述空间对象的高度。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

判断所述当前帧是否为第一帧；

如果所述当前帧为第一帧，则将所述当前帧的深度图融合至所述TSDF模型中，以使所述TSDF模型将所述当前帧的深度图映射到三维立体空间中；

如果所述当前帧不为第一帧，执行所述获取上一帧的深度图和彩色图。

7.一种高精度物体几何尺寸测量装置，其特征在于，所述装置包括：

采集模块，用于在深度相机移动的过程中，采集当前帧的深度图和彩色图；

第一计算模块，用于获取上一帧的深度图和彩色图，并通过配准所述当前帧的彩色图和所述上一帧的彩色图的特征计算所述当前帧的深度图和所述上一帧的深度图的空间变换位姿；

第一融合模块，用于基于所述空间变换位姿将所述当前帧的深度图变换到所述上一帧的深度图所在的坐标系下，并将变换后的所述当前帧的深度图融合至表面重建TSDF模型中，以使所述TSDF模型将变换后的所述当前帧的深度图映射到三维立体空间中；

第二计算模块，用于在所述深度相机结束移动后，获取所述TSDF模型输出的三维空间模型，并从所述三维空间模型中获取所述深度相机当前视角下的目标深度图；从所述目标深度图中分割出空间对象的子深度图和背景地面的子深度图，并基于所述空间对象的子深度图和所述背景地面的子深度图计算所述空间对象的几何尺寸。

8.根据权利要求7所述的装置，其特征在于，用于通过配准所述当前帧的彩色图和所述上一帧的彩色图的特征计算所述当前帧的深度图和所述上一帧的深度图的空间变换位姿的所述第一计算模块，具体用于：

分别将所述当前帧的彩色图和所述上一帧的彩色图转换为灰度图；分别检测所述当前帧的灰度图和所述上一帧的灰度图的特征；通过配准同一个特征在所述当前帧的灰度图和所述上一帧的灰度图中的像素位置计算所述当前帧的深度图和所述上一帧的深度图的初始空间变换位姿；将所述初始空间变换位姿作为最近点迭代ICP算法的初值，并通过所述ICP算法迭代计算所述当前帧的深度图和所述上一帧的深度图之间的实际空间变换位姿。

9.根据权利要求7所述的装置，其特征在于，用于基于所述空间对象的子深度图和所述背景地面的子深度图计算所述空间对象的几何尺寸的所述第二计算模块，具体用于：

通过对所述空间对象的子深度图进行平面拟合获取所述空间对象的至少一个平面，以及通过对所述背景地面的子深度图进行平面拟合获取所述背景地面所在的平面；判断所述空间对象的至少一个平面是否均为规则平面；如果所述空间对象的至少一个平面均为规则平面，从所述空间对象的至少一个平面中确定一个与所述背景地面所在的平面相平行的目标平面；将所述目标平面的长度作为所述空间对象的长度、将所述目标平面的宽度作为所述空间对象的宽度、将所述目标平面投影至所述背景地面所在的平面的投影高度作为所述空间对象的高度。

10.根据权利要求7所述的装置，其特征在于，所述装置还包括：

判断模块，用于判断所述当前帧是否为第一帧；如果所述当前帧为第一帧，则触发第二融合模块；如果所述当前帧不为第一帧，则触发所述第一计算模块；

第二融合模块，用于将所述当前帧的深度图融合至所述TSDF模型中，以使所述TSDF模型将所述当前帧的深度图映射到三维立体空间中。

Images