CN109961468B - 基于双目视觉的体积测量方法、装置及存储介质 - Google Patents

Abstract

本申请提出一种基于双目视觉的体积测量方法、装置及存储介质，其中，方法包括：获取双目相机拍摄到的货物的第一货物图像和第二货物图像；根据第一货物图像和第二货物图像，获取货物的深度图；根据货物的深度图和双目相机的位置关系，确定货物的深度信息；根据深度图中货物顶面每个点的法向量，确定货物顶面的外包络；基于外包络轮廓，利用最小二乘法拟合得到货物顶面的最小边框，确定货物的长度和宽度；根据货物的长度和宽度以及深度信息，确定货物的体积。通过本方法，能够准确得到货物的长度、宽度以及高度，从而提高体积测量的准确度，减小体积测量误差，解决现有技术中物体体积的测量方法局限性大、测量准确度低的技术问题。

Description

基于双目视觉的体积测量方法、装置及存储介质

技术领域

本申请涉及智能非接触测控技术领域，尤其涉及一种基于双目视觉的体积测量方法、装置及存储介质。

背景技术

货物入库的体积测量是实现无人化智能仓储的主要技术难点之一。

目前，在传统的物流仓储中，获取货物的体积信息的方式一般有三种，即采用激光测距仪、双目立体视觉测量或红外扫描这三种方式测量货物体积。

然而，现有的体积测量方式存在一定的缺陷，主要针对标准箱体进行测量，测量场景固定，多适用于中小型且不透光的物体体积测量，对测量环境与被测物体要求高，局限性大、测量准确度低。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请提出一种基于双目视觉的体积测量方法、装置及存储介质，用于解决现有技术中物体体积的测量方法局限性大、测量准确度低的技术问题。

为达上述目的，本申请第一方面实施例提出了一种基于双目视觉的体积测量方法，包括：

获取双目相机拍摄到的货物的第一货物图像和第二货物图像；

根据所述第一货物图像和所述第二货物图像，获取所述货物的深度图；

根据所述货物的深度图和所述双目相机的位置关系，确定所述货物的深度信息；

根据所述货物的深度图中货物顶面每个点的法向量，确定所述货物顶面的外包络；

基于所述外包络，利用最小二乘法拟合得到所述货物顶面的最小边框，确定所述货物的长度和宽度；

根据所述货物的长度和宽度以及所述深度信息，确定所述货物的体积。

本申请实施例的基于双目视觉的体积测量方法，通过获取双目相机拍摄到的货物的第一货物图像和第二货物图像，根据第一货物图像和第二货物图像，获取货物的深度图，根据货物的深度图和双目相机的位置关系，确定货物的深度信息，根据货物的深度图中货物顶面每个点的法向量，确定货物顶面的外包络，基于外包络，利用最小二乘法拟合得到货物顶面的最小边框，确定货物的长度和宽度，进而根据货物的长度和宽度以及深度信息，确定货物的体积。由此，通过根据货物的深度图和双目相机的位置关系，确定货物的深度信息，并根据货物顶面每个点的法向量，确定货物顶面的外包络，进而得到货物的长度和宽度，能够准确得到货物的长度、宽度以及高度，从而提高体积测量的准确度，减小体积测量误差。本申请的方法，对被测物体的大小没有限制，且不要求被测物体不透光，因而降低了局限性，提高了方法的适用范围，在实现货物在仓库中的合理存储与分拣中发挥着重要作用，体积测量作为仓储数字化、智能化的重要一环，本申请提出的基于双目视觉的体积测量方法具有较强的实用价值。

为达上述目的，本申请第二方面实施例提出了一种基于双目视觉的体积测量装置，包括：

图像获取模块，用于获取双目相机拍摄到的货物的第一货物图像和第二货物图像；

深度图获取模块，用于根据所述第一货物图像和所述第二货物图像，获取所述货物的深度图；

深度信息确定模块，用于根据所述货物的深度图和所述双目相机的位置关系，确定所述货物的深度信息；

外包络确定模块，用于根据所述货物的深度图中货物顶面每个点的法向量，确定所述货物顶面的外包络；

长宽确定模块，用于基于所述外包络，利用最小二乘法拟合得到所述货物顶面的最小边框，确定所述货物的长度和宽度；

体积确定模块，用于根据所述货物的长度和宽度以及所述深度信息，确定所述货物的体积。

本申请实施例的基于双目视觉的体积测量装置，通过获取双目相机拍摄到的货物的第一货物图像和第二货物图像，根据第一货物图像和第二货物图像，获取货物的深度图，根据货物的深度图和双目相机的位置关系，确定货物的深度信息，根据货物的深度图中货物顶面每个点的法向量，确定货物顶面的外包络，基于外包络，利用最小二乘法拟合得到货物顶面的最小边框，确定货物的长度和宽度，进而根据货物的长度和宽度以及深度信息，确定货物的体积。由此，通过根据货物的深度图和双目相机的位置关系，确定货物的深度信息，并根据货物顶面每个点的法向量，确定货物顶面的外包络，进而得到货物的长度和宽度，能够准确得到货物的长度、宽度以及高度，从而提高体积测量的准确度，减小体积测量误差。

为达上述目的，本申请第三方面实施例提出了一种计算机设备，包括：处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如第一方面实施例所述的基于双目视觉的体积测量方法。

为达上述目的，本申请第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所述的基于双目视觉的体积测量方法。

为达上述目的，本申请第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，实现如第一方面实施例所述的基于双目视觉的体积测量方法。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请一实施例提出的基于双目视觉的体积测量方法的流程示意图；

图2为平面上不同点的法向量方向示例图；

图3为本申请另一实施例提出的基于双目视觉的体积测量方法的流程示意图；

图4为本申请又一实施例提出的基于双目视觉的体积测量方法的流程示意图；

图5为本申请再一实施例提出的基于双目视觉的体积测量方法的流程示意图；

图6为本申请一实施例提出的基于双目视觉的体积测量装置的结构示意图；

图7为本申请另一实施例提出的基于双目视觉的体积测量装置的结构示意图；

图8为本申请又一实施例提出的基于双目视觉的体积测量装置的结构示意图；以及

图9为本申请再一实施例提出的基于双目视觉的体积测量装置的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的基于双目视觉的体积测量方法、装置及存储介质。

现有的物体体积测量方法主要有三种，一是激光测距法，二是双目立体视觉法，三是红外扫描法。

激光测距主要使用扇形激光截面扫描技术对中小型货物进行快速体积扫描，以截面扫描的方式获取目标单个截面的测距数据，横向采集的同时对目标进行纵向间隔采样，获取类似二维矩阵的点云数据，对获取的点云数据进行整合之后，即可获取目标整体的高度点云信息，以用于后续的体积计算与三维建模。双目立体视觉的原理是从多个不同的视角方向对同一物体进行拍摄，利用空间几何成像原理构造出物体不同位置之间的差异，获取物体的立体信息，然后对所拍摄物体进行三维重构，从而计算得到物体的体积。红外测量一般通过一个发光器与一个受光器组成一一对应同步扫描的光幕系统，并输出数据信号，通过RS485通信把被检测物体的挡光或通光信号传输至上位机进行处理，以达到检测测量的目的。

然而，上述体积测量方法主要针对标准箱体进行测量，其测量偏差也是针对标准箱体的测量数据，测量且测量场景固定，一般适用于中小型且不透光的物体的体积测量，对测量环境与被测量物体要求较高，局限性大，且测量成本也相对较高，测量准确度低。

针对上述问题，本申请提出了一种基于双目视觉的体积测量方法，通过根据货物的深度图和双目相机的位置关系，确定货物的深度信息，并根据货物顶面每个点的法向量，确定货物顶面的外包络，进而得到货物的长度和宽度，能够准确得到货物的长度、宽度以及高度，从而提高体积测量的准确度，减小体积测量误差。本申请提出的方法对被测物体的大小没有限制，且不要求被测物体不透光，因而降低了局限性，提高了方法的适用范围，在实现货物在仓库中的合理存储与分拣中发挥着重要作用，体积测量作为仓储数字化、智能化的重要一环，本申请提出的基于双目视觉的体积测量方法具有较强的实用价值。

图1为本申请一实施例提出的基于双目视觉的体积测量方法的流程示意图，该方法可以由本申请提出的基于双目视觉的体积测量装置执行，该基于双目视觉的体积测量装置可以应用于上位机中，实现对货物的体积测量。

如图1所示，该基于双目视觉的体积测量方法可以包括以下步骤：

步骤101，获取双目相机拍摄到的货物的第一货物图像和第二货物图像。

其中，双目相机可以安装在仓库的顶部。

本实施例中，在产线正常运行时，每过一托货物，双目相机便对经过的货物进行拍摄，得到两张图像，即第一货物图像和第二货物图像。

作为一种示例，可以设置超声波触发器来检测是否有货物经过，当超声波触发器检测到有货物经过时，超声波触发器立即触发双目相机采集当前经过货物的第一货物图像和第二货物图像。从而，能够有效避免货物遗漏的现象，实现仓库的账实相符。

双目相机采集到货物的第一货物图像和第二货物图像之后，基于双目视觉的体积测量装置即可从双目相机获取当前所经过货物的第一货物图像和第二货物图像。

步骤102，根据第一货物图像和第二货物图像，获取货物的深度图。

本实施例中，获取了货物的第一货物图像和第二货物图像之后，可以根据第一货物图像和第二货物图像，获取货物的深度图，货物的深度图能够真实反映货物的大小。

作为一种示例，可以根据第一货物图像和第二货物图像，获取视差图，其中，视差图可以是左视差图，也可以是右视差图。比如，可以采用半全局块匹配(Semi-Global BlockMatching，SGBM)算法获取视差图，在获取视差图时，不可靠视差值设置为0。获取视差图之后，对视差图进行空洞填充，进而将视差图转换为深度图。得到深度图之后，可以从深度图中获得货物的深度图，比如，可以采用预先训练好的识别模型，从深度图中识别出货物，得到货物的深度图。

作为一种示例，可以将第一货物图像和第二货物图像进行拉伸合并，得到合并图像，对合并图像进行正交投影，生成点云图。之后，根据点云图中货物底面四个顶点的坐标值，可以确定货物的地面方程，以及根据点云图中货物顶面四个顶点的坐标值，可以确定货物的顶面方程，进而利用地面方程和顶面方程对点云图进行两次切割后，得到货物的点云图，即货物的深度图。经过两次切割后，完整的得到了货物的深度图，去除了货物周围的杂质对测量结果的影响。

步骤103，根据货物的深度图和双目相机的位置关系，确定货物的深度信息。

本实施例中，获取了货物的深度图之后，根据货物的深度图和双目相机的位置关系，即可确定货物的深度信息。

例如，可以将货物的深度图中每个点的坐标转换为相机坐标系中的坐标，进而根据货物顶面的点(即距离双目相机距离最近的点)的Z轴坐标值以及货物底面的点(即距离双目相机距离最远的点)的Z轴坐标值，计算两者的差值得到货物的深度信息。

步骤104，根据货物的深度图中货物顶面每个点的法向量，确定货物顶面的外包络。

通常，对于一个平面而言，比如楼顶的顶面，平面中间部分每个点的法向量的朝向均朝上，即与水平方向垂直，在平面表面略有起伏时，起伏点的法向量的方向稍有偏移，但偏移的角度不大，而在平面的边缘处，平面上点的法向量的朝向变化较大，法向量的方向与水平方向的夹角较小，甚至与水平方向平行，如图2所示。因此，本实施例中，可以根据货物的深度图中货物顶面每个点的法向量，确定货物顶面的外包络。确定货物顶面的外包络的过程将在后续实施例中具体描述，此处不作过多描述。

在本申请实施例一种可能的实现方式中，确定货物顶面的外包络时，可以对货物的深度图进行切割，再对切割后的点云图进行去噪、腐蚀膨胀处理，得到货物顶部的点云图，进而根据货物顶部的点云图确定货物顶面的外包络，以提高外包络确定的准确度。

步骤105，基于外包络，利用最小二乘法拟合得到货物顶面的最小边框，确定货物的长度和宽度。

本实施例中，确定了货物顶面的外包括之后，基于外包络和货物顶面各点的坐标值，利用最小二乘法拟合得到货物顶面的最小边框，进而根据确定的最小边框，确定货物的长度和宽度。

步骤106，根据货物的长度和宽度以及深度信息，确定货物的体积。

本实施例中，确定了货物的长度、宽度以及深度信息之后，通过计算货物的长度、宽度以及深度信息的乘积，即可确定货物的体积。

本实施例的基于双目视觉的体积测量方法，通过获取双目相机拍摄到的货物的第一货物图像和第二货物图像，根据第一货物图像和第二货物图像，获取货物的深度图，根据货物的深度图和双目相机的位置关系，确定货物的深度信息，根据货物的深度图中货物顶面每个点的法向量，确定货物顶面的外包络，基于外包络，利用最小二乘法拟合得到货物顶面的最小边框，确定货物的长度和宽度，进而根据货物的长度和宽度以及深度信息，确定货物的体积。由此，通过根据货物的深度图和双目相机的位置关系，确定货物的深度信息，并根据货物顶面每个点的法向量，确定货物顶面的外包络，进而得到货物的长度和宽度，能够准确得到货物的长度、宽度以及高度，从而提高体积测量的准确度，减小体积测量误差。本申请的方法，对被测物体的大小没有限制，且不要求被测物体不透光，因而降低了局限性，提高了方法的适用范围，在实现货物在仓库中的合理存储与分拣中发挥着重要作用，体积测量作为仓储数字化、智能化的重要一环，本申请提出的基于双目视觉的体积测量方法具有较强的实用价值。

双目相机采集的图像难免存在畸变，从而影响货物体积测量的准确度。在本申请实施例一种可能的实现方式中，在获取到双目相机采集的第一货物图像和第二货物图像之后，可以对获取的第一货物图像和第二获取图像进行畸变校正，以得到无畸变的货物图像。下面结合附图3对本申请实施例中畸变校正的具体实现过程进行详细描述，图3为本申请另一实施例提出的基于双目视觉的体积测量方法的流程示意图。

如图3所示，在如图1所示实施例的基础上，步骤101之后还包括以下步骤：

步骤201，获取双目相机的参数。

其中，双目相机的参数包括内参和外参，内参包括x向焦距f_x、y向焦距f_y和光轴中心坐标c_x、c_y，以及畸变系数[k₁,k₂,p₁,p₂,k₃]；外参反映的是相机坐标系和世界坐标系之间的旋转R和平移T关系。双目相机的参数可以通过对双目相机进行标定获取双目相机的参数，其中，双目相机标定的方法可以采用现有的标定方法，比如可以采用张正友标定法标定双目相机的内参，采用标定板标定双目相机的外参。

作为一种示例，双目相机的参数可以预先存储在本地存储器中，当需要使用双目相机的参数时，从本地存储器中获取双目相机的参数。

步骤202，根据参数对第一货物图像和第二货物图像进行畸变校正，得到第一校正图像和第二校正图像。

本实施例中，获取了双目相机的参数之后，即可利用获取的参数对第一货物图像和第二货物图像进行畸变校正，得到畸变校正后的第一校正图像和第二校正图像。

通过利用双目相机的参数对获取的货物图像进行畸变校正，能够获得无畸变的货物图像，为后续准确测量得到货物的体积奠定了基础。

进而，如图3所示，步骤102可以包括以下步骤：

步骤203，根据第一校正图像和第二校正图像，获取第一校正图像和第二校正图像之间的视差图。

作为一种示例，可以对第一校正图像和第二校正图像进行立体对极线校正，再根据对极线校正后的第一校正图像和第二校正图像，计算两幅图像中每个点的差值，得到第一校正图像和第二校正图像之间的视差值。

步骤204，按照预设的转换规则，将视差图转换为深度图。

其中，预设的转换规则可以是公式(1)，如下所示：

depth＝(f*baseline)/disp (1)

其中，depth表示深度图；f表示归一化的焦距，即双目相机内参中的f_x；baseline是两个相机光心之间的距离，称作基线距离；disp是视差值。

本实施例中，获取了视差图之后，根据视差图中的每个视差值，按照公式(1)的转换规则，即可获得对应的深度值，进而得到深度图。

步骤205，将深度图中货物顶面以上的部分以及货物底面以下的部分去除，得到货物的深度图。

本实施例中，得到深度图之后，可以进一步根据深度图中货物顶面上的点确定顶面方程，并根据深度图中货物底面上的点(比如货物底面的四个顶点)确定底面方程，进而利用顶面方程去除深度图中货物顶面以上的部分，利用底面方程去除深度图中货物底面以下的部分，经过两次切割，得到货物的深度图。

本实施例的基于双目视觉的体积测量方法，通过获取双目相机的参数，根据参数对第一货物图像和第二货物图像进行畸变校正，得到第一校正图像和第二校正图像，从而获得了无畸变的货物图像，为准确测量货物的长宽高、减小体积估计误差提供了条件。通过根据畸变校正后的第一校正图像和第二校正图像，获取视差图，再按照预设的转换规则将视差图转换为深度图，进而去除深度图中货物顶面以上的部分以及货物底面以下的部分，得到货物的深度图，为准确获取货物的深度信息和货物顶面的外包络提供了条件，有利于准确测量得到货物的体积。

在一些实施例中，获取的货物的深度图中，货物的顶面可能并非是完全平整的平面，顶面上可能存在一些起伏的点，同样地，货物的底面可能也存在一些起伏的点，这导致仅根据顶面上某个点和底面上某个点的Z轴坐标值确定的货物的深度信息并不准确。在本申请实施例一种可能的实现方式中，为了提高货物的深度信息获取的准确度，在本申请实施例一些可能的实现方式中，可以通过获取货物顶面数据和底面数据的中值，来确定货物的深度信息。下面结合附图4详细描述确定深度信息的具体实现过程，图4为本申请又一实施例提出的基于双目视觉的体积测量方法的流程示意图。

如图4所示，在如图1所示实施例的基础上，步骤103可以包括以下步骤：

步骤301，根据货物的深度图和双目相机的位置关系，获取第一预设个数的顶面数据和第二预设个数的底面数据。

作为一种示例，可以将货物的深度图中每个点的坐标值转换为相机坐标系中的坐标值，进而根据货物的深度图和双目相机的位置关系，将距离双目相机最近的点确定为货物顶面上的点，将距离双目相机最远的点确定为货物底面上的点，并获取第一预设个数的顶面数据和第二预设个数的底面数据。比如，可以将确定的货物顶面上的点按照Z轴坐标值从小到大的顺序进行排序后，获取排名靠前的前第一预设个数的Z轴坐标值作为顶面数据，将确定的货物底面上的点按照Z轴坐标值从大到小的顺序进行排序后，获取排名靠前的钱第二预设个数的Z轴坐标值作为底面数据；或者，也可以从货物顶面上的点中随机选择第一预设个数的点，获取这些点的Z轴坐标值作为顶面数据，从货物底面上的点中随机选择第二预设个数的点，获取这些点的Z轴坐标值作为底面数据，本申请对此不作限制。

其中，第一预设个数和第二预设个数可以预先设定，第一预设个数和第二预设个数可以相同也可以不同，本申请对此亦不作限定。

步骤302，获取第一预设个数的顶面数据中的中值，作为货物顶面的深度值。

步骤303，获取第二预设个数的底面数据中的中值，作为货物底面的深度值。

本实施例中，获取了顶面数据和底面数据之后，可以进一步获取第一预设个数的顶面数据中的中值，作为货物顶面的深度值，以及获取第二预设个数的底面数据中的中值，作为货物底面的深度值。当然，也可以获取第一预设个数的顶面数据的平均值作为货物顶面的深度值，以及获取第二预设个数的底面数据的平均值作为货物底面的深度值，本申请仅以获取中值作为深度值作为示例，而不能作为对本申请的限制。

步骤304，计算货物底面的深度值与货物顶面的深度值之间的差值，得到货物的深度信息。

本实施例中，确定了货物底面的深度值和货物顶面的深度值之后，再计算两者的差值，即得到货物的深度信息。

本实施例的基于双目视觉的体积测量方法，通过根据货物的深度图和双目相机的位置关系，获取第一预设个数的顶面数据和第二预设个数的底面数据，获取第一预设个数的顶面数据中的中值作为货物顶面的深度值，获取第二预设个数的底面数据中的中值作为货物底面的深度值，进而计算货物底面的深度值与货物顶面的深度值之间的差值，得到货物的深度信息，由此，能够准确获取到货物的深度信息，从而准确测量货物的体积。

为了更加清楚地描述前述实施例中确定货物顶面的外包络的具体实现过程，下面结合附图5进行详细说明，图5为本申请再一实施例提出的基于双目视觉的体积测量方法的流程示意图。

如图5所示，在如图1所示实施例的基础上，步骤104可以包括以下步骤：

步骤401，获取货物的深度图中货物顶面每个点的法向量，并确定法向量与水平方向的夹角。

根据法向量的定义，垂直于平面的直线所表示的向量为该平面的法向量。能够理解的是，一个平面存在无数个法向量，但对于平面上的给定点，仅存在一个法向量。从而，本实施例中，可以根据相关的数学知识，计算得到货物顶面上每个点的法向量，并确定法向量与水平方向的夹角。

步骤402，当夹角小于预设角度阈值时，确定法向量对应的点为边缘点。

从附图2可以看出，对于一个平面而言，其中间部分的点的法向量垂直于水平方向，即与水平方向的夹角为90度，而在边缘部分的点，其法向量与水平方向的夹角变小。从而，本实施例中，可以根据货物顶面上点的法向量与水平方向的夹角的大小，判断该点是否为平面的边缘点。

具体地，可以预先设置角度阈值，将确定的点的法向量与水平方向的夹角与预设角度阈值进行比较，当所确定的夹角小于预设角度阈值时，确定该法向量对应的点为货物顶面的边缘点。

步骤403，根据确定的货物顶面的所有边缘点，生成货物顶面的外包络。

本实施例中，通过比较每个点的法向量与水平方向的夹角和预设角度阈值的大小关系，可以从货物顶面的所有点中找出所有的边缘点，进而，根据确定的货物顶面的所有边缘点，可以生成货物顶面的外包络。

本实施例的基于双目视觉的体积测量方法，通过获取货物的深度图中货物顶面每个点的法向量，并确定法向量与水平方向的夹角，当夹角小于预设角度阈值时，确定法向量对应的点为边缘点，进而根据确定的货物顶面的所有边缘点，生成货物顶面的外包络，由此，能够精确地确定货物顶面的外包络，有效提高货物顶面外包络轮廓的确定精度，进而能够准确地确定出货物的长度和宽度，提高货物体积测量的准确度。

为了实现上述实施例，本申请还提出一种基于双目视觉的体积测量装置。

图6为本申请一实施例提出的基于双目视觉的体积测量装置的结构示意图。

如图6所示，该基于双目视觉的体积测量装置60包括：图像获取模块610、深度图获取模块620、深度信息确定模块630、外包络确定模块640、长宽确定模块650，以及体积确定模块660。其中，

图像获取模块610，用于获取双目相机拍摄到的货物的第一货物图像和第二货物图像。

深度图获取模块620，用于根据第一货物图像和第二货物图像，获取货物的深度图。

深度信息确定模块630，用于根据货物的深度图和双目相机的位置关系，确定货物的深度信息。

外包络确定模块640，用于根据货物的深度图中货物顶面每个点的法向量，确定货物顶面的外包络。

长宽确定模块650，用于基于外包络，利用最小二乘法拟合得到货物顶面的最小边框，确定货物的长度和宽度。

体积确定模块660，用于根据货物的长度和宽度以及深度信息，确定货物的体积。

在本申请实施例一种可能的实现方式中，如图7所示，在如图6所示实施例的基础上，该基于双目视觉的体积测量装置60还包括：

参数获取模块600，用于获取双目相机的参数。

畸变校正模块601，用于根据参数对第一货物图像和第二货物图像进行畸变校正，得到第一校正图像和第二校正图像。

本实施例中，深度图获取模块620包括：

视差图获取单元621，用于根据第一校正图像和第二校正图像，获取第一校正图像和第二校正图像之间的视差图。

转换单元622，用于按照预设的转换规则，将视差图转换为深度图。

去除单元623，用于将深度图中货物顶面以上的部分以及货物底面以下的部分去除，得到货物的深度图。

在本申请实施例一种可能的实现方式中，如图8所示，在如图6所示实施例的基础上，深度信息确定模块630包括：

数据获取单元631，用于根据货物的深度图和双目相机的位置关系，获取第一预设个数的顶面数据和第二预设个数的底面数据。

中值获取单元632，用于获取第一预设个数的顶面数据中的中值，作为货物顶面的深度值；以及，获取第二预设个数的底面数据中的中值，作为货物底面的深度值。

计算单元633，用于计算货物底面的深度值与货物顶面的深度值之间的差值，得到货物的深度信息。

在本申请实施例一种可能的实现方式中，如图9所示，在如图6所示实施例的基础上，外包络确定模块640包括：

角度确定单元641，用于获取货物的深度图中货物顶面每个点的法向量，并确定法向量与水平方向的夹角。

边缘点确定单元642，用于当夹角小于预设角度阈值时，确定法向量对应的点为边缘点。

生成单元643，用于根据确定的货物顶面的所有边缘点，生成货物顶面的外包络。

需要说明的是，前述对基于双目视觉的体积测量方法实施例的解释说明也适用于该实施例的基于双目视觉的体积测量装置，其实现原理类似，此处不再赘述。

本申请实施例的基于双目视觉的体积测量装置，通过获取双目相机拍摄到的货物的第一货物图像和第二货物图像，根据第一货物图像和第二货物图像，获取货物的深度图，根据货物的深度图和双目相机的位置关系，确定货物的深度信息，根据货物的深度图中货物顶面每个点的法向量，确定货物顶面的外包络，基于外包络，利用最小二乘法拟合得到货物顶面的最小边框，确定货物的长度和宽度，进而根据货物的长度和宽度以及深度信息，确定货物的体积。由此，通过根据货物的深度图和双目相机的位置关系，确定货物的深度信息，并根据货物顶面每个点的法向量，确定货物顶面的外包络，进而得到货物的长度和宽度，能够准确得到货物的长度、宽度以及高度，从而提高体积测量的准确度，减小体积测量误差。

为了实现上述实施例，本申请还提出一种计算机设备，包括：处理器和存储器。其中，处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现如前述实施例所述的基于双目视觉的体积测量方法。

为了实现上述实施例，本申请还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如前述实施例所述的基于双目视觉的体积测量方法。

为了实现上述实施例，本申请还提出一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，实现如前述实施例所述的基于双目视觉的体积测量方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于双目视觉的体积测量方法，其特征在于，包括：

获取双目相机拍摄到的货物的第一货物图像和第二货物图像；其中，通过超声波触发器检测是否有货物经过，响应于所述超声波触发器检测到有货物经过，通过所述超声波触发器触发所述双目相机采集当前经过的货物的第一货物图像和第二货物图像；

根据所述第一货物图像和所述第二货物图像，获取所述货物的深度图；其中，将所述第一货物图像和所述第二货物图像进行拉伸合并，得到合并图像，对所述合并图像进行正交投影，生成点云图；根据所述点云图中货物底面四个顶点的坐标值，确定所述货物的底面方程，并根据所述点云图中货物顶面四个顶点的坐标值，确定所述货物的顶面方程；利用所述底面方程和所述顶面方程对所述点云图进行切割，以得到所述货物的深度图；

根据所述货物的深度图和所述双目相机的位置关系，确定所述货物的深度信息；

根据所述货物的深度图中货物顶面每个点的法向量，确定所述货物顶面的外包络；其中，依次对所述货物的深度图进行切割、去噪、腐蚀膨胀处理，得到所述货物顶部的点云图，根据所述货物顶部的点云图确定所述货物顶面的外包络；

基于所述外包络，利用最小二乘法拟合得到所述货物顶面的最小边框，确定所述货物的长度和宽度；

根据所述货物的长度和宽度以及所述深度信息，确定所述货物的体积。

2.根据权利要求1所述的方法，其特征在于，在所述获取双目相机拍摄到的货物的第一货物图像和第二货物图像之后，还包括：

获取所述双目相机的参数；

根据所述参数对所述第一货物图像和所述第二货物图像进行畸变校正，得到第一校正图像和第二校正图像。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一货物图像和所述第二货物图像，获取所述货物的深度图，包括：

根据所述第一校正图像和所述第二校正图像，获取所述第一校正图像和所述第二校正图像之间的视差图；

按照预设的转换规则，将所述视差图转换为深度图；

将所述深度图中货物顶面以上的部分以及货物底面以下的部分去除，得到所述货物的深度图。

4.根据权利要求1所述的方法，其特征在于，所述根据所述货物的深度图和所述双目相机的位置关系，确定所述货物的深度信息，包括：

根据所述货物的深度图和所述双目相机的位置关系，获取第一预设个数的顶面数据和第二预设个数的底面数据；

获取所述第一预设个数的顶面数据中的中值，作为所述货物顶面的深度值；

获取所述第二预设个数的底面数据中的中值，作为货物底面的深度值；

计算所述货物底面的深度值与所述货物顶面的深度值之间的差值，得到所述货物的深度信息。

5.根据权利要求1所述的方法，其特征在于，所述根据所述货物的深度图中货物顶面每个点的法向量，确定所述货物顶面的外包络，包括：

获取所述货物的深度图中所述货物顶面每个点的法向量，并确定所述法向量与水平方向的夹角；

当所述夹角小于预设角度阈值时，确定所述法向量对应的点为边缘点；

根据确定的所述货物顶面的所有边缘点，生成所述货物顶面的外包络。

6.一种基于双目视觉的体积测量装置，其特征在于，包括：

图像获取模块，用于获取双目相机拍摄到的货物的第一货物图像和第二货物图像；其中，通过超声波触发器检测是否有货物经过，响应于所述超声波触发器检测到有货物经过，通过所述超声波触发器触发所述双目相机采集当前经过的货物的第一货物图像和第二货物图像；

深度图获取模块，用于根据所述第一货物图像和所述第二货物图像，获取所述货物的深度图；其中，将所述第一货物图像和所述第二货物图像进行拉伸合并，得到合并图像，对所述合并图像进行正交投影，生成点云图；根据所述点云图中货物底面四个顶点的坐标值，确定所述货物的底面方程，并根据所述点云图中货物顶面四个顶点的坐标值，确定所述货物的顶面方程；利用所述底面方程和所述顶面方程对所述点云图进行切割，以得到所述货物的深度图；

深度信息确定模块，用于根据所述货物的深度图和所述双目相机的位置关系，确定所述货物的深度信息；

外包络确定模块，用于根据所述货物的深度图中货物顶面每个点的法向量，确定所述货物顶面的外包络；其中，依次对所述货物的深度图进行切割、去噪、腐蚀膨胀处理，得到所述货物顶部的点云图，根据所述货物顶部的点云图确定所述货物顶面的外包络；

长宽确定模块，用于基于所述外包络，利用最小二乘法拟合得到所述货物顶面的最小边框，确定所述货物的长度和宽度；

体积确定模块，用于根据所述货物的长度和宽度以及所述深度信息，确定所述货物的体积。

7.根据权利要求6所述的装置，其特征在于，还包括：

参数获取模块，用于获取所述双目相机的参数；

畸变校正模块，用于根据所述参数对所述第一货物图像和所述第二货物图像进行畸变校正，得到第一校正图像和第二校正图像。

8.根据权利要求6所述的装置，其特征在于，所述外包络确定模块，包括：

角度确定单元，用于获取所述货物的深度图中所述货物顶面每个点的法向量，并确定所述法向量与水平方向的夹角；

边缘点确定单元，用于当所述夹角小于预设角度阈值时，确定所述法向量对应的点为边缘点；

生成单元，用于根据确定的所述货物顶面的所有边缘点，生成所述货物顶面的外包络。

9.一种计算机设备，其特征在于，包括处理器和存储器；

其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-5中任一项所述的基于双目视觉的体积测量方法。

10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的基于双目视觉的体积测量方法。

Images