CN113532265B - 基于三维视觉的箱体积测量装置 - Google Patents

Abstract

本发明提供了一种基于三维视觉的箱体积测量装置，包括如下模块：深度相机，用于采集目标箱体的点云数据；控制模块，用于根据点云数据确定目标箱体的底面、顶面和至少一侧面，并至少确定顶面的法向量；生成顶面的边界线，进而确定顶面的端点；根据顶面的法向量将顶面的端点投射到目标箱体的底面上来确定底面的端点，根据顶面和底面的端点确定目标箱体的长宽高，进而生成目标箱体的体积；显示模块，用于显示目标箱体的体积。本发明中通过深度相机采集目标箱体的点云数据，控制模块根据点云数据计算出目标箱体的各个端点，然后计算出目标箱体的体积，实现目标箱体的自动计算，能够应用于物流计费以及物体的自动装载等领域。

Description

基于三维视觉的箱体积测量装置

技术领域

本发明涉及箱体积测量，具体地，涉及一种基于三维视觉的箱体积测量装置。

背景技术

体积数据作为物体的一项最为基本的属性信息，被广泛应用生产和物流等领域中，如基于物体体积的物流计费、物体的自动装载等。其中，在进行物流计费或物体的自动装载中的物体常常使用标准的长方体箱体。然后通过三维测头进行自动化、高效、准确地计算出箱体的体积，以解决人工拉尺慢，手动输入繁琐，运费计算出错，存储存档困难等问题。

现有技术中，常用的体积确定方法包括采用激光的确定方法和采用手工标尺的确定方法。

其中，采用激光的确定方法虽然具有很高的精度，但是装配昂贵的激光测量设备，性价比低，很难被用户广泛接受；而采用手工标尺的确定方法需要人工配合，且受人工操作及情绪影响，导致无论精度还是效率均无法得到保证。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于三维视觉的箱体积测量方法、系统、设备及存储介质。

根据本发明提供的基于三维视觉的箱体积测量装置，包括如下模块：

深度相机，用于采集目标箱体的点云数据；

控制模块，用于根据所述点云数据确定所述目标箱体的底面、顶面和至少一侧面，并至少确定所述顶面的法向量；生成所述顶面的边界线，进而确定所述顶面的端点；根据所述顶面的法向量将所述顶面的端点投射到所述目标箱体的底面上来确定所述底面的端点，根据所述顶面和所述底面的端点确定所述目标箱体的长宽高，进而生成所述目标箱体的体积；

显示模块，用于显示所述目标箱体的体积。

优选地，所述深度相机包括光束投射器、光探测器以及处理器模块；

所述光束投射器，用于向所述目标箱体投射点阵光；

所述光探测器，用于接收经所述目标箱体反射后的所述点阵光生成采集光信号；

所述处理器模块，用于根据采集光信号所述生成所述目标箱体的点云数据。

优选地，所述法向量的确定时，具体为：

根据所述点云数据确定所述目标箱体上的多个平面；

在所述多个平面中确定所述目标箱体的底面、至少一侧面和顶面；

通过奇异值分解法获取所述底面、至少一侧面和顶面的法向量，并将所述法向量偏向所述目标箱体的测量视角。

优选地，所述顶面和所述底面的端点确定时，具体为：

根据所述点云数据计算所述顶面与所述一侧面的交线A，将所述顶面和所述侧面上的点云数据垂直投影至交线A上，获取交线A上的始末投影点，端点A和端点B；

根据所述端点A和所述端点B确定与交线A和顶面的法向量均垂直且分别与所述端点A和端点B相连的边界线B和边界线C；

根据所述顶面上的点云数据中获取距离所述交线A的最远目标点，进而确定穿过所述最远目标点且与所述交线A平行的交线D；

根据所述交线D确定所述交线D与所述交线B和所述交线C相交的端点C和端点D。

优选地，所述顶面和所述底面的端点确定时，具体为：

根据所述点云数据确定所述顶面与所述第一侧面的交线A、所述顶面与所述第二侧面的交线B以及所述第一侧面与所述第二侧面的交线C，进而确定所述交线A、所述交线B以及所述交线C的共同的端点O；

将所述顶面和所述第一侧面上的点云数据垂直投影至交线A上，选取距离端点O最远的投影点为端点A；

将所述顶面和所述第二侧面上的点云数据垂直投影至交线B上，选取距离端点O最远的投影点为端点B；

根据所述端点A、所述端点B和所述端点0确定与所述交线B平行且与所述端点A连接的交线D以及与所述交线A平行且与所述端点B连接的交线E，进而确定交线D和交线E的交点端点C。

优选地，所述目标箱体的体积确定时，具体为：

根据所述顶面的法向量将所述顶面的四个端点投射到所述目标箱体的底面上来确定所述底面的四个端点；

根据所述顶面和所述底面的端点确定所述目标箱体的长宽高，进而生成所述目标箱体的体积；

将所述目标箱体的体积输出，并根据预设置的体积与费用相关联的费用系数，输出对应的费用。

优选地，当对所述交线B、所述交线C以及所述交线D进行修正时，具体为：

获取目标箱体的RGB图像，在所述RGB图像中提取所述交线B、所述交线C以及所述交线D对应的像素位置，将所述像素位置映射到点云数据中分别对所述交线B、所述交线C以及所述交线D进行修正。

优选地，当对所述交线D和所述交线E进行修正时，具体为：

获取目标箱体的RGB图像，在所述RGB图像中提取所述交线D和所述交线E对应的像素位置，将所述像素位置映射到点云数据中分别对所述交线D和所述交线E进行修正。

优选地，所述光束投射器包括光源、光源驱动器以及光调制器；

所述光源驱动器与所述光源连接，用于驱动所述光源发光；

所述光调制器与所述光源连接，用于将所述光源的投射的光调制后向所述目标箱体投射点阵光。

优选地，所述目标箱体为长方体或正方体；

所述显示模块，用于显示所述目标箱体的体积及对应的费用。

与现有技术相比，本发明具有如下的有益效果：

本发明中通过深度相机采集目标箱体的点云数据，控制模块根据所述点云数据计算出目标箱体的各个端点，然后计算出所述目标箱体的体积，实现目标箱体的自动计算，能够应用于物流计费以及物体的自动装载等领域。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例中基于三维视觉的箱体积测量装置的模块示意图；

图2为本发明实施例中深度相机的模块示意图；

图3为本发明实施例中目标箱体的面和法向量计算的步骤流程图；

图4为本发明实施例中目标箱体的顶面的端点确定的步骤流程图；

图5为本发明变形例中目标箱体的顶面的端点确定的步骤流程图；

图6为本发明实施例中目标箱体的体积测量过程的流程图；

图7为本发明变形例中目标箱体的体积测量过程的流程图；

图8为本发明实施例中目标箱体的体积与费用关联的步骤流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

本发明提供的基于三维视觉的箱体积测量装置，旨在解决现有技术中存在的问题。

下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

图1为本发明实施例中基于三维视觉的箱体积测量装置的模块示意图，如图1所示，本发明提供的基于三维视觉的箱体积测量装置，包括如下模块：

深度相机，用于采集目标箱体的点云数据；

控制模块，用于根据所述点云数据确定所述目标箱体的底面、顶面和至少一侧面，并至少确定所述顶面的法向量；生成所述顶面的边界线，进而确定所述顶面的端点；根据所述顶面的法向量将所述顶面的端点投射到所述目标箱体的底面上来确定所述底面的端点，进而根据所述顶面和所述底面的端点确定所述目标箱体的长宽高，进而生成所述目标箱体的体积；

显示模块，用于显示所述目标箱体的体积。

在本发明实施例中，所述目标箱体为长方体形，也可以为正方体形。

图2为本发明实施例中深度相机的模块示意图，如图2所示，所述深度相机包括光束投射器、光探测器以及处理器模块；

所述光束投射器，用于向所述目标箱体投射点阵光；

所述光探测器，用于接收经所述目标箱体反射后的所述点阵光生成采集光信号；

所述处理器模块，用于根据采集光信号生成所述目标箱体的点云数据。

在本发明实施例中，所述点阵光为离散的红外激光，投射到所述目标箱体后呈点阵状排布。

图3为本发明实施例中目标箱体的面和法向量计算的步骤流程图，如图3所示，具有包括如下步骤：

步骤A101：根据所述点云数据确定所述目标箱体上的多个平面；

步骤A102：在所述多个平面中确定所述目标箱体的底面、至少一侧面和顶面；

步骤A103：通过奇异值分解法获取所述底面、至少一侧面和顶面的法向量，并将所述法向量偏向所述目标箱体的测量视角以消除法向量的歧义性。

在本发明实施例中，所述点云数据包括多个点，每个点包括在预设置的坐标系内的X、Y、Z值，所述坐标系可以为大地坐标系、世界坐标系或摄像机坐标系。

图4为本发明实施例中目标箱体的顶面的端点确定的步骤流程图，如图4所示，具体包括如下步骤：

步骤M101：根据所述点云数据计算所述顶面与所述一侧面的交线A，将所述顶面和所述侧面上的点云数据垂直投影至交线A上，获取交线A上的始末投影点，端点A和端点B；

步骤M102：根据所述端点A和所述端点B确定与交线A和顶面的法向量均垂直且与所述端点A和端点B相连的边界线B和边界线C；

步骤M103：根据所述顶面上的点云数据获取距离所述交线A的最远目标点，进而确定穿过所述最远目标点且与所述交线A平行的交线D；

步骤M104：根据所述交线D确定所述交线D与所述交线B和所述交线C相交的端点C和端点D。

在本发明实施例中，还包括如下步骤：

-获取目标箱体的RGB图像，在所述RGB图像中提取所述交线B、所述交线C以及所述交线D对应的像素位置，将所述像素位置映射到点云数据中分别对所述交线B、所述交线C以及所述交线D进行修正。

图5为本发明变形例中目标箱体顶面的端点确定的步骤流程图，如图5所示，具体包括如下步骤：

步骤N301：根据所述点云数据确定所述顶面与所述第一侧面的交线A、所述顶面与所述第二侧面的交线B以及所述第一侧面与所述第二侧面的交线C，进而确定所述交线A、所述交线B以及所述交线C的共同端点O；

步骤N302：将所述顶面和所述第一侧面上的点云数据垂直投影至交线A上，选取距离端点O最远的投影点为端点A；

步骤N303：将所述顶面和所述第二侧面上的点云数据垂直投影至交线B上，选取距离端点O最远的投影点为端点B；

步骤N304：根据所述端点A、所述端点B和所述端点0确定与所述交线B平行且与所述端点A连接的交线D以及与所述交线A平行且与所述端点B连接的交线E，进而确定交线D和交线E的交点端点C。

在本发明实施例中，通过基于梯度信息来提取所述目标箱体的RGB图片上交线的像素位置，并将所述像素位置映射到点云数据上来修正根据点云数据获得的交线D和交线E。

图8为本发明实施例中目标箱体的体积与费用关联的步骤流程图，如图8所示，具体包括如下步骤：

步骤B101：根据所述顶面的法向量将所述顶面的四个端点投射到所述目标箱体的底面上确定所述底面的四个端点；

步骤B102：根据所述顶面和所述底面的端点确定所述目标箱体的长宽高，进而生成所述目标箱体的体积；

步骤B103：将所述目标箱体的体积输出，并根据预设置的体积与费用相关联的费用系数，输出对应的费用。

在本发明实施例中，可以根据所述顶面的四个端点确定所述目标箱体的长和宽，根据所述顶面和所述底面相邻两个端点之间的距离确定所述目标箱体的高；所述体积与费用相关联的费用系数可以根据需求进行设置，如1000立方厘米对应费用为20元，2000立方厘米对应费用为40元等。

图6为本发明实施例中目标箱体的体积测量过程的流程图，如图6所示，根据所述点云数据确定所述目标箱体的平面，并区分底面、侧面和顶面。根据奇异值分解(SVD)算法获取底面、侧面和顶面上的法向量，并将所述法向量偏向测量视角点以消除歧义性。然后，计算所述顶面与所述侧面的交线A。接下来，将顶面和侧面上的点云垂直投影至交线A上，获取交线A上两端的投影点，即端点A和端点B。由于所述目标箱体为长方体，对应边界相等且平行，相邻边界垂直，所以根据端点A和B可以确定与端点A和B相连的两条边界线，即交线B和交线C。计算顶面点云数据上的点到交线A的距离，使用最远的目标点来确定与交线A相对的边界线，即交线D。然后将顶面的四个端点沿顶面的法线方向投影至底面上，即可获得底面上对应的四个端点。至此，目标箱体的所有八个端点全部获取。最后，根据这八个顶点便可计算出目标箱体的长宽高和体积。

由于受到周围环境、箱体颜色及深度相机本身的影响，目标箱体的点云数据通常有缺失，因此交线B、交线C和交线D可能不准确。为了准确地估计这些交线的位置，通过基于梯度信息来提取在目标箱体的RGB图片上交线的像素位置，并将所述像素位置映射到点云数据上来修正根据点云数据获得的交线B、交线C和交线D。

图7为本发明变形例中目标箱体的体积测量过程的流程图，如图7所示，根据所述点云数据确定所述目标箱体的平面，并区分底面、侧面和顶面。根据奇异值分解(SVD)算法获取底面、侧面和顶面上的法向量，并将所述法向量偏向测量视角点以消除歧义性。然后，计算顶面与两个侧面的交线，即交线A和交线B，以及两个侧面之间的交线，即交线C。接下来，计算交线A、交线B和交线C的交点，即端点O。接下来，将所述顶面和第一侧面A上的点垂直投影至交线A上，选取离端点O最远的投影点端点A。将顶面和第二侧面上的点云垂直投影至交线B上，选取离端点O最远的投影点端点B。由于所述目标箱体为长方体，对应边界相等且平行，相邻边界垂直，因此根据端点A、端点B和端点O即可获得所述顶面的四条边界线，包括交线A和交线B以及由端点A确定的交线D和由端点B确定的交线E。然后将所述顶面的四个顶点沿顶面法向量方向投影至底面上，即可获得底面上对应的四个端点。至此，所述目标箱体的所有八个顶点全部获取。最后，根据这八个顶点便可计算出所述目标箱体的长宽高和体积。

本发明实施例中通过深度相机采集目标箱体的点云数据，控制模块根据所述点云数据计算出目标箱体的各个端点，然后计算出所述目标箱体的体积，实现目标箱体的自动计算，能够应用于物流计费以及物体的自动装载等领域。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (8)

1.一种基于三维视觉的箱体积测量装置，其特征在于，包括如下模块：

深度相机，用于采集目标箱体的点云数据；

控制模块，用于根据所述点云数据确定所述目标箱体的底面、顶面和至少一侧面，并至少确定所述顶面的法向量；生成所述顶面的边界线，进而确定所述顶面的端点；根据所述顶面的法向量将所述顶面的端点投射到所述目标箱体的底面上来确定所述底面的端点，根据所述顶面和所述底面的端点确定所述目标箱体的长宽高，通过基于梯度信息来提取在目标箱体的RGB图片上交线的像素位置，并将所述像素位置映射到点云数据上来修正根据点云数据获得的交线，进而生成所述目标箱体的体积；

显示模块，用于显示所述目标箱体的体积；

所述法向量确定时，具体为：

根据所述点云数据确定所述目标箱体上的多个平面；

在所述多个平面中确定所述目标箱体的底面、至少一侧面和顶面；

通过奇异值分解法获取所述底面、至少一侧面和顶面的法向量，并将所述法向量偏向所述目标箱体的测量视角；

所述目标箱体的体积确定时，具体为：

根据所述顶面的法向量将所述顶面的四个端点投射到所述目标箱体的底面上来确定所述底面的四个端点；

根据所述顶面和所述底面的端点确定所述目标箱体的长宽高，进而生成所述目标箱体的体积；

将所述目标箱体的体积输出，并根据预设置的体积与费用相关联的费用系数，输出对应的费用。

2.根据权利要求1所述的基于三维视觉的箱体积测量装置，其特征在于，所述深度相机包括光束投射器、光探测器以及处理器模块；

所述光束投射器，用于向所述目标箱体投射点阵光；

所述光探测器，用于接收经所述目标箱体反射后的所述点阵光生成采集光信号；

所述处理器模块，用于根据所述采集光信号生成所述目标箱体的点云数据。

3.根据权利要求1所述的基于三维视觉的箱体积测量装置，其特征在于，所述顶面和所述底面的端点确定时，具体为：

根据所述点云数据计算所述顶面与所述一侧面的交线A，将所述顶面和所述侧面上的点云数据垂直投影至交线A上，获取交线A上的始末投影点，端点A和端点B；

根据所述端点A和所述端点B确定与交线A和顶面的法向量均垂直且分别与所述端点A和端点B相连的边界线B和边界线C；

根据所述顶面上的点云数据获取距离所述交线A的最远目标点，进而确定穿过所述最远目标点且与所述交线A平行的交线D；

根据所述交线D确定所述交线D与所述交线B和所述交线C相交的端点C和端点D。

4.根据权利要求1所述的基于三维视觉的箱体积测量装置，其特征在于，所述顶面和所述底面的端点确定时，具体为：

根据所述点云数据确定所述顶面与第一侧面的交线A、所述顶面与第二侧面的交线B以及所述第一侧面与所述第二侧面的交线C，进而确定所述交线A、所述交线B以及所述交线C的共同的端点O；

将所述顶面和所述第一侧面上的点云数据垂直投影至交线A上，选取距离端点O最远的投影点为端点A；

将所述顶面和所述第二侧面上的点云数据垂直投影至交线B上，选取距离端点O最远的投影点为端点A；

根据所述端点A、所述端点B和所述端点0确定与所述交线B平行且与所述端点A连接的交线D以及与所述交线A平行且与所述端点B连接的交线E，进而确定交线D和交线E的交点端点C。

5.根据权利要求3所述的基于三维视觉的箱体积测量装置，其特征在于，当对所述交线B、所述交线C以及所述交线D进行修正时，具体为：

获取目标箱体的RGB图像，在所述RGB图像中提取所述交线B、所述交线C以及所述交线D对应的像素位置，将所述像素位置映射到点云数据中分别对所述交线B、所述交线C以及所述交线D进行修正。

6.根据权利要求4所述的基于三维视觉的箱体积测量装置，其特征在于，当对所述交线D和所述交线E进行修正时，具体为：

获取目标箱体的RGB图像，在所述RGB图像中提取所述交线D和所述交线E对应的像素位置，将所述像素位置映射到点云数据中分别对所述交线D和所述交线E进行修正。

7.根据权利要求2所述的基于三维视觉的箱体积测量装置，其特征在于，所述光束投射器包括光源、光源驱动器以及光调制器；

所述光源驱动器与所述光源连接，用于驱动所述光源发光；

所述光调制器与所述光源连接，用于将所述光源的投射的光调制后向所述目标箱体投射点阵光。

8.根据权利要求1所述的基于三维视觉的箱体积测量装置，其特征在于，所述目标箱体为长方体或正方体；

所述显示模块，用于显示所述目标箱体的体积及对应的费用。