CN106839975B - 基于深度相机的体积测量方法及其系统 - Google Patents

Abstract

本发明涉及计算机视觉技术领域，公开了一种基于深度相机的体积测量方法及其系统。方法包括以下步骤：从深度相机获取含有待测对象的深度图，深度图包含有待测对象的深度信息；根据深度信息将待测对象从深度图中提取出来，得到待测对象目标区域；利用预先标定的深度相机的参数，将待测对象的目标区域中各像素的二维图像坐标转换到三维相机坐标系下的三维坐标；在三维相机坐标系下，根据待测对象的三维坐标计算待测对象的高度和长宽，从而计算出待测对象的体积。测量精度高，不受拍摄角度和高度影响，无需对相机安装高度和角度进行标定，使用简单方便。

Description

基于深度相机的体积测量方法及其系统

技术领域

本发明涉及计算机视觉技术领域，特别涉及基于深度相机的体积测量方法及其系统。

背景技术

随着物流业的快速发展，包裹数量日益增长，包裹体积测量的需求也不断增加。传统的测量方法是利用尺度工具或测量设备进行测量。尺度工具测量方法，其测量速度慢、效率低，无法满足实时需求；设备测量方法一般是采用光幕传感器系统进行测量，其外形体积大，还需要配合对应的控制器，整个安装过程比较复杂。因此，基于机器视觉的测量方法被广泛利用，仅需要安装一个相机就能够完成测量目的，其测量速度快、效率高、体积小、安装简单。

传统基于二维图像的机器视觉测量方法，需要预先标定出相机内参以及安装高度和角度，然后通过相似三角形关系以及被测物体在成像面上所占像素值的大小来计算出对应的测量值。该方法要求被测物体与相机之间满足一定的相似三角关系，但实际应用中并不一定完全满足相似条件，因此测量结果并不准确，会存在一定误差。

专利CN104501718A提出了一种基于视觉的包裹体积测量装置，采用光幕传感装置和相机相结合的方式测量被测物体体积。光幕传感装置用于测量被测物体高度，相机用于测量被测物体面积。该专利利用了多个传感设备，安装复杂，使用成本高。

专利CN100570275C提出了一种基于图像的体积测量装置及其测量方法，采用了三个相机对被测物体进行三维重构，得到被测物体的三维形状，然后计算出物体体积，并且要求三个相机的安装俯仰角相同。该专利使用了多个相机对物体进行三维重构，其标定过程较为复杂，并且对相机安装要求较高，在实施过程中，整个操作也较为繁琐。

发明内容

本发明的目的在于提供一种基于深度相机的体积测量方法及其系统，测量精度高，不受拍摄角度和高度影响，无需对相机安装高度和角度进行标定，使用简单方便。

为解决上述技术问题，本发明的实施方式公开了一种基于深度相机的体积测量方法，包括以下步骤：

从深度相机获取含有待测对象的深度图，深度图包含有待测对象的深度信息；

根据深度信息将待测对象从深度图中提取出来，得到待测对象目标区域；

利用预先标定的深度相机的参数，将待测对象的目标区域中各像素的二维图像坐标转换到三维相机坐标系下的三维坐标；

在三维相机坐标系下，根据待测对象的三维坐标计算待测对象的高度和长宽，从而计算出待测对象的体积。

本发明的实施方式还公开了一种基于深度相机的体积测量系统，包括以下模块：

深度图获取模块，用于从深度相机获取含有待测对象的深度图，深度图包含有待测对象的深度信息；

对象提取模块，用于根据深度信息将待测对象从深度图中提取出来，得到待测对象目标区域；

坐标转换模块，用于利用预先标定的深度相机的参数，将待测对象的目标区域中各像素的二维图像坐标转换到三维相机坐标系下的三维坐标；

体积测量模块，在三维相机坐标系下，根据待测对象的三维坐标计算待测对象的高度和长宽，从而计算出待测对象的体积。

本发明实施方式与现有技术相比，主要区别及其效果在于：

本发明通过深度相机获取的深度信息提取待测对象，并将待测对象的二维图像坐标转换到三维相机坐标，然后对体积进行测量，测量精度高，不受拍摄角度和高度影响，无需对相机安装高度和角度进行标定，使用简单方便。

进一步地，利用深度图中待测对象深度与背景深度的差异性，基于直方图阈值的图像分割算法将待测对象上表面区域从背景中提取出来；通过二次分割可以有效地去除侧面干扰，保留有效的上表面区域作为待测对象目标区域。

进一步地，在三维相机坐标系下，通过测量包裹上表面与传送带表面两个平面的距离来计算包裹高度，使得包裹高度测量值更为精确。

进一步地，利用待测对象目标区域内部的点代替待测对象目标区域最小外接矩形顶点计算待测对象的长和宽，计算结果更精确。

进一步地，根据传送带的速度对深度相机的图像输出帧率进行调节可以满足不同传输速度下不同分辨率的应用需求。

进一步地，通过判断待测对象是否已经传送至深度相机的正下方范围内，决定是否进行体积测量，提高了计算效率。

附图说明

图1是本发明第一实施方式中一种基于深度相机的体积测量方法的流程示意图；

图2是本发明第三实施方式中包裹体积测量过程的切面示意图；

图3是本发明第三实施方式中待测对象在二维成像平面上的坐标示意图；

图4是本发明第四实施方式中基于深度相机的体积测量方法的实施场景示意图；

图5是本发明优选例中基于深度相机的包裹体积测量方法流程图；

图6是本发明第五实施方式中一种基于深度相机的体积测量系统的结构示意图；

图7是本发明优选例中一种基于深度相机的体积测量系统的各模块之间的连接示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明第一实施方式涉及一种基于深度相机的体积测量方法，图1是该基于深度相机的体积测量方法的流程示意图。如图所示，该基于深度相机的体积测量方法包括以下步骤：

步骤101，从深度相机获取含有待测对象的深度图，深度图包含有待测对象的深度信息。

深度相机可以是但不限于TOF深度相机，双目深度相机和光场相机，任何可以获取包裹深度信息的相机均适用。其中TOF(time of flight)表示飞行时间。

可以理解，深度图包含待测对象的深度信息，也包含除待测对象之外的背景的深度，由于深度图中待测对象的深度与背景深度的差异性较大，可将待测对象从背景中提取出来。

步骤102，根据深度信息将待测对象从深度图中提取出来，得到待测对象目标区域。

步骤103，利用预先标定的深度相机的参数，将待测对象的目标区域中各像素的二维图像坐标转换到三维相机坐标系下的三维坐标。

优选地，三维相机坐标系以深度相机的光心为中心。

在本发明的其它实施方式中，除了将待二维图像坐标转换到三维坐标以计算待测对象的体积外，还可以通过比例的方法计算，即已知像素值大小与二维图像面积之间的关系(例如，对于分辩率是196X98DPI的二维图像，在1m远处，每个像素在水平方向上对应的空间大小是0.130mm，而在垂直方向对应的空间大小是0.259mm，则根据像素多少即可得出图像面积)。则可根据像素值之间的比例以及深度信息求得待测对象的体积。

但是通过比例计算的方法要求被测物体表面与相机成像平面完全平行，或者是被测物体表面与相机成像平面的夹角已知，并且夹角固定不变。但在实际应用中，很难保证被测物体表面与相机成像平面完全平行，或者，也很难保证被测物体表面与相机成像平面的夹角不变化。而二维转换到三维坐标计算体积的方法则对角度没有要求，适用性更广。

步骤104，在三维相机坐标系下，根据待测对象的三维坐标计算待测对象的高度和长宽，从而计算出待测对象的体积。

优选地，可对根据多帧深度图测量出的体积结果求平均作为体积测量的最终输出结果。

优选地，在步骤103中，通过以下公式进行坐标转换：

其中，(u,v)为像素的二维图像坐标，(X^c,Y^c,Z^c)为三维相机坐标系下的三维坐标，f_x和f_y为焦距，(u₀,v₀)为像素基准点，Z^c为目标点到相机的距离，可由深度相机直接获取。

此外，可以理解，在进行坐标转换之前，还包括标定相机内参的步骤，相机内参包括焦距，像素基准点和畸变系数。上述坐标转换是在不考虑相机畸变情况下的转换方法，在本发明的其它实施方式中，也可以根据需要一并考虑相机畸变的情况。

需要指出的是，本发明可用于包裹体积测量，也可用于其它类似包裹的立方体物体的体积测量。在测量包裹体积的应用场景中，待测对象为包裹，背景为传送包裹的传送带。

本实施方式通过深度相机获取的深度信息提取待测对象，并将待测对象的二维图像坐标转换到三维相机坐标，然后对体积进行测量，不受拍摄角度和高度影响，无需对相机安装高度和角度进行标定，使用简单方便。

本发明第二实施方式涉及一种基于深度相机的体积测量方法，第二实施方式在第一实施方式的基础上进行了改进，主要改进之处在于：

利用深度图中待测对象深度与背景深度的差异性，基于直方图阈值的图像分割算法将待测对象上表面区域从背景中提取出来；通过二次分割可以有效地去除侧面干扰，保留有效的上表面区域作为待测对象目标区域。具体地说：

“根据深度信息将待测对象从深度图中提取出来，得到待测对象目标区域”的步骤102包括以下子步骤：

对深度图进行直方图统计深度值；

根据第一分割阈值将待测对象与传送带分割开来，将小于第一分割阈值的区域提取作为初步的待测对象目标区域；

对初步的待测对象的目标区域再次进行直方图统计深度值；

根据第二分割阈值将待测对象的上表面区域与待测对象的侧面区域分割开来，保留上表面区域作为待测对象目标区域。

其中，第一分割阈值可选取直方图中的波谷，以包裹体积测量为例，小于第一分割阈值的即为包裹区域。由于深度图中主要场景为包裹和传送带，因此直方图中会形成双峰，双峰之间的波谷对应的阈值可以有效地将包裹与传送带分割开来。同时包裹区域对应的深度值要小于传送带深度；

第二分割阈值的确定可对包裹区域再次进行直方图统计，计算波峰对应的深度值Depth，以(Depth-ΔT,Depth+ΔT)为第二分割阈值有效深度范围再次对包裹进行分割，提取最终的有效包裹上表面区域。由于相机安装时，其光轴并不一定完全垂直包裹，会存在一定倾斜角。因此包裹侧面会出现在深度图中，影响包裹上表面区域的提取。

在本发明的其它实施方式中，也可以仅进行一次分割而不进行上表面区域与侧面区域分割。

在本发明的其它实施方式中，除了基于直方图阈值的图像分割算法，也可以采用其它图像分割算法提取包裹的目标区域，例如，基于背景建模的目标分割方法、聚类分割方法等。

本发明第三实施方式涉及一种基于深度相机的体积测量方法，如图2所示为包裹体积测量过程的切面示意图。

第三实施方式在第一实施方式的基础上进行了改进，主要改进之处在于：在三维相机坐标系下，通过测量包裹上表面与传送带表面两个平面的距离来计算包裹高度，使得包裹高度测量值更为精确；利用待测对象目标区域内部的点代替待测对象目标区域最小外接矩形顶点计算待测对象的长和宽，计算结果更精确。具体地说：

计算高度时，由于实际相机安装过程中，相机光轴并不完全垂直于传送带平面，会存在一定的倾斜角α，如图2所示为包裹体积测量过程的切面示意图。若利用包裹上表面A点与传送带表面B点的深度差AB去计算包裹高度H，并不准确；若利用包裹上表面深度均值与传送带表面均值的深度差计算包裹高度H，也会存在一定的误差。并且倾斜角α越大，其产生的误差也越大。假设包裹为规则立方体，在包裹体积测量过程中，包裹的上表面与传送带表面是相互平行的。因此，为了使得包裹高度测量值更为精确，在三维相机坐标系下，通过测量包裹上表面与传送带表面的两个平面的距离来表示包裹高度H。

考虑到上述实际情况，在步骤104中，根据待测对象的三维坐标计算待测对象的高度的步骤包括以下子步骤：

根据传送带表面多个坐标点的三维坐标对传送带进行平面拟合，获取传送带平面表达式z＝ax+by+c₁中的参数a、b和c₁；

根据传送带平面的参数a、b和c₁，待测对象的目标区域的各像素的三维坐标，和待测对象平面表达式z＝ax+by+c₂，计算出待测对象平面表达式的参数c₂；

根据传送带平面和待测对象平面的表达式和上述参数，根据下式计算待测对象的高度

此外，计算长宽时，由于在实际将待测对象与传送带分割开来时，对应的最小外接矩形的四个顶点并不一定都在实际的目标区域内，因此四个顶点的深度信息可能不是将待测对象的深度信息，所以直接通过四个顶点计算的长宽并不准确。例如，如图3所示为待测对象在二维成像平面上的坐标示意图，其中二维平面坐标系中的四个顶点坐标分别为P1(u1,v1)、P2(u2,v2)、P3(u3,v3)、P4(u4,v4)。

考虑到上述实际情况，在步骤104中，根据待测对象的三维坐标计算待测对象的长宽的步骤包括以下子步骤：

求解待测对象目标区域的最小外接矩形及该最小外接矩形的四个顶点P₁，P₂，P₃，和P₄；

选取所述最小外接矩形对角线P₁P₄和P₂P₃上1/4和3/4处的点Q₁，Q₂，Q₃和Q₄；

其中，如图3所示，选取的四个点在二维成像平面上的坐标分别为Q1(u5,v5)和Q4(u8,v8)，Q2(u6,v6)和Q3(u7,v7)

根据点Q₁，Q₂，Q₃和Q₄在三维相机坐标系中的坐标计算待测对象的长和宽：

其中，点Q₁，Q₂，Q₃和Q₄在三维相机坐标系中的坐标分别为

在上述步骤中，选取最小外接矩形对角线P₁P₄和P₂P₃上1/4和3/4处的点Q₁，Q₂，Q₃和Q₄后，在二维图像上Q₁Q₂的长度为P₁P₂的一半，Q₃Q₄的长度为P₃P₄的一半，Q₁Q₃的长度为P₁P₃的一半，Q₂Q₄的长度为P₂P₄的一半，因此根据上述两个公式计算出的即为待测对象的长和宽。

需要指出的是，所选取的点Q₁，Q₂，Q₃和Q₄不一定是对角线P₁P₄和P₂P₃上1/4和3/4处的点，也可以是其它比例的点，相应的，上述计算长和宽的公式也要相应改变。

此外，除了上述往内收缩取点的方法，也可以选取向外延伸取点的方法，即选取P₁P₄和P₂P₃延长线上属于传送带范围内的点。此外，也可以直接利用二维坐标计算长宽。

本发明第四实施方式涉及一种基于深度相机的体积测量方法，图4是该基于深度相机的体积测量方法的实施场景示意图。

第四实施方式在第一实施方式的基础上进行了改进，主要改进之处在于：根据传送带的速度对深度相机的图像输出帧率进行调节可以满足不同传输速度下不同分辨率的应用需求；通过判断待测对象是否已经传送至深度相机的正下方范围内，决定是否进行体积测量，提高了计算效率。具体地说：

在深度相机获取含有待测对象的深度图的步骤之前，还包括步骤：

采用联动控制方式，根据传送带的速度对深度相机获取深度图的图像输出帧率进行调节，其中传送带的速度越快深度相机获取深度图的图像输出帧率越高。

可以理解，当传送带速度较快时，选择较高帧率输出(同时对应较低的图像分辨率)，此时包裹的体积测量效率较高(单位时间内测量的包裹数较多)，但体积测量的准确性较差，适合对传送及测量速度有要求的场合。当传送带速度较慢时，选择低帧率输出(同时对应较高的图像分辨率)，此时包裹的体积测量效率较低，但体积测量的准确性较高，适合对测量准确率较高的场景。

在本发明的其它实施方式中，当深度相机只有一个固定帧率时，也可选择固定帧率输出即可。

此外，在“根据深度信息将待测对象从深度图中提取出来，得到待测对象目标区域”的步骤102之前，还包括以下步骤：

根据待测对象中心的二维图像坐标是否在深度图的中心范围内，判断待测对象是否已经传送至深度相机的正下方；

如果判断结果为是，则执行从深度相机获取含有待测对象的深度图的步骤；如果判断结果为否，则等待。

具体地说，在如图4所示的场景中，深度相机安装在传送带中心上方，包裹被放置传送带上，深度相机实时捕捉场景中的深度图像。当包裹出现在深度相机视场范围内时，对包裹目标进行分割提取；然后可计算出包裹中心的二维图像坐标，若包裹中心坐标出现在图像中心一定范围内，则认为包裹已传送至深度相机正下方，并开始对其进行体积测量，否则处于等待测量状态；最后对多帧图像中已测量出的包裹体积结果求平均，即为最终包裹体积测量的输出结果。

此外，可以理解，在本发明的其它实施方式中，也可以不进行上述判断是否在深度相机正下方的步骤，并不影响本发明的效果。

作为优选实施例，基于深度相机的包裹体积测量方法流程图如图5所示，具体的步骤包括：

1)相机内参标定

相机内参标定主要包括焦距、像素基准点和畸变系数，可采用比较主流的标定方法进行标定，如张正友标定法。相机内参主要用于二维成像平面到三维相机平面的坐标转换。

2)深度相机抓取深度图

通过深度相机抓取含有包裹的深度图，从而获取到包裹到深度相机的距离。深度相机可以是但不限于TOF深度相机、双目深度相机和光场相机，任何可获取包裹深度信息的相机均适用。

3)提取包裹目标

深度图中由于包裹深度与背景深度的差异性较大，可通过基于直方图阈值的图像分割算法将包裹上表面区域从背景中提取出来，其它图像分割算法也适用。基于直方图阈值的图像分割算法具体实施如下：

a)对深度图进行直方图统计；

b)查找直方图中波谷作为分割阈值T，小于阈值T的即为包裹区域。由于深度图中主要场景为包裹和传送带，因此直方图中会形成双峰，双峰之间的波谷对应的阈值T可以有效地将包裹与传送带分割开来。同时包裹区域对应的深度值要小于传送带深度；

c)对包裹区域再次进行直方图统计，计算波峰对应的深度值Depth，以(Depth-ΔT,Depth+ΔT)为有效深度范围再次对包裹进行分割，提取最终的有效包裹上表面区域。由于相机安装时，其光轴并不一定完全垂直包裹，会存在一定倾斜角。因此包裹侧面会出现在深度图中，影响包裹上表面区域的提取。通过二次分割可以有效地去除包裹侧面干扰，仅保留包裹上表面区域，ΔT一般取值为2cm，设置为参数可调；

4)包裹二维坐标到三维坐标转换

在不考虑相机畸变情况下，利用相机内参，可将深度图中包裹目标区域的各像素的二维图像坐标(u,v)转换到以相机光心为中心的三维坐标(X^c,Y^c,Z^c),计算公式如下：

其中，f_x和f_y为焦距，(u₀,v₀)为像素基准点，Z^c为目标点到相机的距离，可由深度相机直接获取。

5)计算包裹高度

在实际相机安装过程中，相机光轴并不完全垂直于传送带平面，会存在一定的倾斜角α，如图2所示。若利用包裹上表面A点与传送带表面B点的深度差AB去计算包裹高度H，并不准确；若利用包裹上表面深度均值与传送带表面均值的深度差计算包裹高度H，也会存在一定的误差。并且倾斜角α越大，其产生的误差也越大。假设包裹为规则立方体，在包裹体积测量过程中，包裹的上表面与传送带表面是相互平行的。因此，为了使得包裹高度测量值更为精确，在三维相机坐标系下，通过测量包裹上表面与传送带表面的两个平面的距离来表示包裹高度H。

在本发明中，三维相机坐标系下，传送带平面表示为z＝ax+by+c₁,由于包裹平面与传送带平面平行，则包裹平面可表示为z＝ax+by+c₂。包裹高度H，即为两平面的距离,其计算公式如下：

在实际应用中，由于包裹种类较多，差异性较大，包裹上表面并不一定完全平行于传送带平面。因此，先通过最小二乘法拟合传送带平面，获取参数a、b和c₁,仅在相机安装后的初始化状态拟合一次即可；然后再通过包裹上表面的三维坐标点计算出c₂。具体实施方法如下：

首先通过二维图像坐标到三维相机坐标的换算关系，计算出传送带表面各点的三维坐标(x₁,y₁,z₁)、(x₂,y₂,z₂)、…(x_n,y_n,z_n)；然后采用最小二乘法进行平面拟合。其中，n表示拟合所需的坐标点总个数，n≥3。并不一定是所有传送带的坐标点，可通过抽样，获取一定数量的坐标点即可。但n个数越多，拟合的平面越精确。三维相机坐标下的传送带坐标点满足如下关系：

将上述表达式可进行矩阵换算，可得：

假设矩阵矩阵矩阵则AM＝B。

因此可推导出：

M＝(A^TA)^-1A^TB

根据以上推导即可求解出参数a，b和c₁。然后根据步骤4)中已计算出的包裹三维坐标(x′₁,y′₁,z′₁)、(x′₂,y′₂,z′₂)、…(x′_n,y′_n,z′_n)和包裹平面z＝ax+by+c₂计算出参数c₂,公式如下：

6)计算包裹长宽

根据深度图中的包裹目标上表面区域，求其最小外接矩形，如图所示。其中二维平面坐标系中的四个顶点坐标分别为P1(u1,v1)、P2(u2,v2)、P3(u3,v3)、P4(u4,v4)，Q1(u5,v5)和Q4(u8,v8)分别为直线P1P4上1/4和3/4点位置，Q2(u6,v6)和Q3(u7,v7)分别为直线P2P3上1/4和3/4点位置。由于在实际包裹分割时，对应的最小外接矩形的四个顶点并不一定都在包裹目标区域，其四个顶点的深度信息可能不是包裹的深度信息，所以通过四个顶点去计算边长并不准确。因此，利用图像包裹区域中的Q1、Q2、Q3、Q4四点去计算边长，其在三维相机坐标系中的坐标分别包裹的长L和宽W计算公式如下：

7)计算包裹体积

根据包裹的长、宽和高，可以计算出体积，如下：

V＝L·W·H

由于本优选例利用深度相机获取到包裹的深度信息，并将被测包裹的二维图像坐标转换到三维相机坐标系中，然后再进行体积测量。因此，是一种基于机器视觉的三维空间测量方法，其测量精度高，操作简单、方便，并且不受相机拍摄角度和高度影响，也无需对相机安装高度和角度进行标定。

此外，该优选例还采用联动控制方式，可根据传送带速度对相机输出的图像帧率和分辨率进行调节，以满足不同传输速度下不同分辨率的应用需求。其具体实施的场景示意图如图4所示。

深度相机安装在传送带中心上方，包裹被放置传送带上，深度相机实时捕捉场景中的深度图像。当包裹出现在深度相机视场范围内时，对包裹目标进行分割提取；然后可计算出包裹中心的二维图像坐标，若包裹中心坐标出现在图像中心一定范围内，则认为包裹已传送至深度相机正下方，并开始对其进行体积测量，否则处于等待测量状态；最后对多帧图像中已测量出的包裹体积结果求平均，即为最终包裹体积测量的输出结果。

深度相机一般有多个不同帧率可选择，其分别对应不同分辨率。本优选例可根据传送带速度μ手动或自动调整深度相机帧率F，以满足不同深度分辨率下的应用需求。当传送带速度较快时，选择高帧率输出；当传送带速度较慢时，选择低帧率输出。若深度相机仅有一个固定帧率，则选择固定帧率输出即可。

本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable ArrayLogic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory，简称“PROM”)、只读存储器(Read-Only Memory，简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。

本发明第五实施方式涉及一种基于深度相机的体积测量系统，图6是该基于深度相机的体积测量系统的结构示意图。如图所示，该基于深度相机的体积测量系统包括以下模块：

深度图获取模块，用于从深度相机获取含有待测对象的深度图，深度图包含有待测对象的深度信息；

对象提取模块，用于根据深度信息将待测对象从深度图中提取出来，得到待测对象目标区域；

坐标转换模块，用于利用预先标定的深度相机的参数，将待测对象的目标区域中各像素的二维图像坐标转换到三维相机坐标系下的三维坐标；

体积测量模块，在三维相机坐标系下，根据待测对象的三维坐标计算待测对象的高度和长宽，从而计算出待测对象的体积。

优选地，在坐标转换模块中，通过以下公式进行坐标转换：

其中，(u,v)为像素的二维图像坐标，(X^c,Y^c,Z^c)为三维相机坐标系下的三维坐标，f_x和f_y为焦距，(u₀,v₀)为像素基准点，Z^c为目标点到相机的距离，可由深度相机直接获取。

本实施方式通过深度相机获取的深度信息提取待测对象，并将待测对象的二维图像坐标转换到三维相机坐标，然后对体积进行测量，测量精度高，不受拍摄角度和高度影响，无需对相机安装高度和角度进行标定，使用简单方便。

第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

本发明第六实施方式涉及一种基于深度相机的体积测量系统，第六实施方式在第五实施方式的基础上进行了改进，主要改进之处在于：利用深度图中待测对象深度与背景深度的差异性，基于直方图阈值的图像分割算法将待测对象上表面区域从背景中提取出来；通过二次分割可以有效地去除侧面干扰，保留有效的上表面区域作为待测对象目标区域。具体地说：

对象提取模块包括以下子模块：

第一深度值统计模块，用于对深度图进行直方图统计深度值；

第一提取模块，用于根据第一分割阈值将待测对象与传送带分割开来，将小于第一分割阈值的区域提取作为初步的待测对象目标区域；

第二深度值统计模块，用于对初步的待测对象的目标区域再次进行直方图统计深度值；

第二提取模块，用于根据第二分割阈值将待测对象的上表面区域与待测对象的侧面区域分割开来，保留上表面区域作为待测对象目标区域。

第二实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。

本发明第七实施方式涉及一种基于深度相机的体积测量系统，第七实施方式在第五实施方式的基础上进行了改进，主要改进之处在于：在三维相机坐标系下，通过测量包裹上表面与传送带表面两个平面的距离来计算包裹高度，使得包裹高度测量值更为精确；利用待测对象目标区域内部的点代替待测对象目标区域最小外接矩形顶点计算待测对象的长和宽，计算结果更精确。具体地说：

体积测量模块包括以下子模块，用于根据待测对象的三维坐标计算待测对象的高度：

平面拟合子模块，用于根据传送带表面多个坐标点的三维坐标对传送带进行平面拟合，获取传送带平面表达式z＝ax+by+c₁中的参数a、b和c₁；

待测对象平面参数计算子模块，用于根据传送带平面的参数a、b和c₁，待测对象的目标区域的各像素的三维坐标，和待测对象平面表达式z＝ax+by+c₂，计算出待测对象平面表达式的参数c₂；

高度计算子模块，用于根据传送带平面和待测对象平面的表达式和上述参数，根据下式计算待测对象的高度

体积测量模块包括以下子模块，用于根据待测对象的三维坐标计算待测对象的长宽：

外接顶点计算子模块，用于求解待测对象目标区域的最小外接矩形及该最小外接矩形的四个顶点P₁，P₂，P₃，和P₄；

目标区域内选点子模块，用于选取所述最小外接矩形对角线P₁P₄和P₂P₃上1/4和3/4处的点Q₁，Q₂，Q₃和Q₄；

长宽计算子模块，用于根据点Q₁，Q₂，Q₃和Q₄在三维相机坐标系中的坐标计算待测对象的长和宽：

其中，点Q₁，Q₂，Q₃和Q₄在三维相机坐标系中的坐标分别为

第三实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第三实施方式互相配合实施。第三实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第三实施方式中。

本发明第八实施方式涉及一种基于深度相机的体积测量系统，第八实施方式在第五实施方式的基础上进行了改进，主要改进之处在于：根据传送带的速度对深度相机的图像输出帧率进行调节可以满足不同传输速度下不同分辨率的应用需求；通过判断待测对象是否已经传送至深度相机的正下方范围内，决定是否进行体积测量，提高了计算效率。具体地说：

还包括帧率调节模块：用于采用联动控制方式，根据传送带的速度对深度相机获取深度图的图像输出帧率进行调节，其中传送带的速度越快深度相机获取深度图的图像输出帧率越高。

还包括测量控制模块：用于根据待测对象中心的二维图像坐标是否在深度图的中心范围内，判断待测对象是否已经传送至深度相机的正下方。如果判断结果为是，则控制深度图获取模块执行从深度相机获取含有待测对象的深度图；如果判断结果为否，则等待。

第四实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第四实施方式互相配合实施。第四实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第四实施方式中。

作为优选例，基于深度相机的体积测量系统主要由四个模块组成：图像数据采集模块(即深度图获取模块)、调节控制模块(即帧率调节模块和测量控制模块)、数据处理模块(即对象提取模块和坐标转换模块)和体积测量模块。各模块之间关联如图7所示，其中，

1)图像数据采集模块：针对包裹测量场景进行实时深度图数据采集；

2)调节控制模块：完成深度相机的图像帧率调节和包裹体积测量控制功能。图像帧率调节是根据传送带的传输速度手动或自动调节深度相机的图像输出帧率；包裹体积测量控制是根据包裹中心是否在图像中心来控制是否需要进行体积测量，只有当包裹被传送至深度相机正下方时才进行体积测量；

3)数据处理模块：主要包括包裹目标提取和包裹目标二维图像坐标到三维坐标的转换；

4)体积测量模块：根据包裹三维坐标进行体积测量。

需要说明的是，本发明各设备实施方式中提到的各模块都是逻辑模块，在物理上，一个逻辑模块可以是一个物理模块，也可以是一个物理模块的一部分，还可以以多个物理模块的组合实现，这些逻辑模块本身的物理实现方式并不是最重要的，这些逻辑模块所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的模块引入，这并不表明上述设备实施方式并不存在其它的模块。

需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (12)

1.一种基于深度相机的体积测量方法，其特征在于，包括以下步骤：

从所述深度相机获取含有待测对象的深度图，所述深度图包含有所述待测对象的深度信息；

根据所述深度信息将所述待测对象从所述深度图中提取出来，得到待测对象目标区域；

利用预先标定的深度相机的参数，将待测对象的目标区域中各像素的二维图像坐标转换到三维相机坐标系下的三维坐标；

在所述三维相机坐标系下，根据待测对象的三维坐标计算待测对象的高度和长宽，从而计算出待测对象的体积；其中，所述“根据所述深度信息将所述待测对象从所述深度图中提取出来，得到待测对象目标区域”的步骤包括以下子步骤：

对深度图进行直方图统计深度值；

根据第一分割阈值将待测对象与传送带分割开来，将小于第一分割阈值的区域提取作为初步的待测对象目标区域；

对所述初步的待测对象的目标区域再次进行直方图统计深度值；

根据第二分割阈值将待测对象的上表面区域与待测对象的侧面区域分割开来，保留上表面区域作为待测对象目标区域。

2.根据权利要求1所述的基于深度相机的体积测量方法，其特征在于，在所述“利用预先标定的深度相机的参数，将待测对象的目标区域中各像素的二维图像坐标转换到三维相机坐标系下的三维坐标”的步骤中，通过以下公式进行坐标转换：

其中，(u，v)为像素的二维图像坐标，(X^c，Y^c，Z^c)为三维相机坐标系下的三维坐标，f_x和f_y为焦距，(u₀，v₀)为像素基准点，Z^c为目标点到相机的距离，可由深度相机直接获取。

3.根据权利要求1所述的基于深度相机的体积测量方法，其特征在于，所述根据待测对象的三维坐标计算待测对象的高度的步骤包括以下子步骤：

根据传送带表面多个坐标点的三维坐标对传送带进行平面拟合，获取传送带平面表达式z＝ax+by+c₁中的参数a、b和c₁；

根据传送带平面的参数a、b和c₁，待测对象的目标区域的各像素的三维坐标，和待测对象平面表达式z＝ax+by+c₂，计算出待测对象平面表达式的参数c₂；

根据传送带平面和待测对象平面的表达式和上述参数，根据下式计算待测对象的高度

4.根据权利要求1所述的基于深度相机的体积测量方法，其特征在于，所述根据待测对象的三维坐标计算待测对象的长宽的步骤包括以下子步骤：

求解待测对象目标区域的最小外接矩形及该最小外接矩形的四个顶点P₁，P₂，P₃，和P₄；

选取所述最小外接矩形对角线P₁P₄和P₂P₃上1/4和3/4处的点Q₁，Q₂，Q₃和Q₄；

根据点Q₁，Q₂，Q₃和Q₄在三维相机坐标系中的坐标计算待测对象的长和宽：

其中，点Q₁，Q₂，Q₃和Q₄在三维相机坐标系中的坐标分别为

5.根据权利要求1至4中任一项所述的基于深度相机的体积测量方法，其特征在于，在所述深度相机获取含有待测对象的深度图的步骤之前，还包括步骤：

采用联动控制方式，根据传送带的速度对深度相机获取深度图的图像输出帧率进行调节，其中传送带的速度越快深度相机获取深度图的图像输出帧率越高。

6.根据权利要求1至4中任一项所述的基于深度相机的体积测量方法，其特征在于，在所述“根据所述深度信息将所述待测对象从所述深度图中提取出来，得到待测对象目标区域”的步骤之前，还包括以下步骤：

根据待测对象中心的二维图像坐标是否在深度图的中心范围内，判断待测对象是否已经传送至深度相机的正下方；

如果判断结果为是，则执行所述从所述深度相机获取含有待测对象的深度图的步骤；

如果判断结果为否，则等待。

7.一种基于深度相机的体积测量系统，其特征在于，包括以下模块：

深度图获取模块，用于从所述深度相机获取含有待测对象的深度图，所述深度图包含有所述待测对象的深度信息；

对象提取模块，用于根据所述深度信息将所述待测对象从所述深度图中提取出来，得到待测对象目标区域；

坐标转换模块，用于利用预先标定的深度相机的参数，将待测对象的目标区域中各像素的二维图像坐标转换到三维相机坐标系下的三维坐标；

体积测量模块，在所述三维相机坐标系下，根据待测对象的三维坐标计算待测对象的高度和长宽，从而计算出待测对象的体积；其中，所述对象提取模块包括以下子模块：

第一深度值统计模块，用于对深度图进行直方图统计深度值；

第一提取模块，用于根据第一分割阈值将待测对象与传送带分割开来，将小于第一分割阈值的区域提取作为初步的待测对象目标区域；

第二深度值统计模块，用于对所述初步的待测对象的目标区域再次进行直方图统计深度值；

第二提取模块，用于根据第二分割阈值将待测对象的上表面区域与待测对象的侧面区域分割开来，保留上表面区域作为待测对象目标区域。

8.根据权利要求7所述的基于深度相机的体积测量系统，其特征在于，在所述坐标转换模块中，通过以下公式进行坐标转换：

其中，(u，v)为像素的二维图像坐标，(X^c，Y^c，Z^c)为三维相机坐标系下的三维坐标，f_x和f_y为焦距，(u₀，v₀)为像素基准点，Z^c为目标点到相机的距离，可由深度相机直接获取。

9.根据权利要求7所述的基于深度相机的体积测量系统，其特征在于，所述体积测量模块包括以下子模块，用于根据待测对象的三维坐标计算待测对象的高度：

平面拟合子模块，用于根据传送带表面多个坐标点的三维坐标对传送带进行平面拟合，获取传送带平面表达式z＝ax+by+c₁中的参数a、b和c₁；

待测对象平面参数计算子模块，用于根据传送带平面的参数a、b和c₁，待测对象的目标区域的各像素的三维坐标，和待测对象平面表达式z＝ax+by+c₂，计算出待测对象平面表达式的参数c₂；

高度计算子模块，用于根据传送带平面和待测对象平面的表达式和上述参数，根据下式计算待测对象的高度

10.根据权利要求7所述的基于深度相机的体积测量系统，其特征在于，所述体积测量模块包括以下子模块，用于根据待测对象的三维坐标计算待测对象的长宽：

外接顶点计算子模块，用于求解待测对象目标区域的最小外接矩形及该最小外接矩形的四个顶点P₁，P₂，P₃，和P₄；

目标区域内选点子模块，用于选取所述最小外接矩形对角线P₁P₄和P₂P₃上1/4和3/4处的点Q₁，Q₂，Q₃和Q₄；

长宽计算子模块，用于根据点Q₁，Q₂，Q₃和Q₄在三维相机坐标系中的坐标计算待测对象的长和宽：

其中，点Q₁，Q₂，Q₃和Q₄在三维相机坐标系中的坐标分别为

11.根据权利要求7至10中任一项所述的基于深度相机的体积测量系统，其特征在于，还包括帧率调节模块：

用于采用联动控制方式，根据传送带的速度对深度相机获取深度图的图像输出帧率进行调节，其中传送带的速度越快深度相机获取深度图的图像输出帧率越高。

12.根据权利要求7至10中任一项所述的基于深度相机的体积测量系统，其特征在于，还包括测量控制模块：

用于根据待测对象中心的二维图像坐标是否在深度图的中心范围内，判断待测对象是否已经传送至深度相机的正下方；

如果判断结果为是，则控制深度图获取模块执行所述从深度相机获取含有待测对象的深度图；

如果判断结果为否，则等待。