CN109916301B - 一种体积测量方法和深度相机模组 - Google Patents

Abstract

本发明公开了一种体积测量方法和深度相机模组，体积测量方法包括：获取载货箱体内部安装的第一深度相机和第二深度相机的标准点云数据，依据所述第一深度相机在所述预设标准姿态下拍摄的深度图像，得到所述载货箱体内部的货物摆放信息；基于所述货物摆放信息以及所述标准点云数据的空间位置，得到所述载货箱体内货物的体积。本发明实施例通过获得载货箱体内部货物摆放信息，基于货物摆放情况进行体积测量计算避免了错误地将非货物的体积计算在货物体积之内，减小了误差，提高了体积测量结果准确性并且测量过程更稳定。

Description

一种体积测量方法和深度相机模组

技术领域

本发明涉及深度相机技术领域，具体涉及一种体积测量方法和深度相机模组。

背景技术

随着物流行业的发展，货运业务受到越来越多的关注，如何对货车的装载率以及车载货物体积进行数字化的掌握，是物流行业数字化管理，提高效益的必然要求。伴随着深度相机技术的成熟，深度相机发展迅速，受到了广泛关注，利用深度相机这种非接触式的视觉传感器进行货物体积测量，服务于物流运输行业已成为研究的重点。

有一种体积测量方案，是利用深度相机获得货箱内货物表面的三维点云，对货物表面的三维点云投影后进行三角剖分计算出货物体积，这种方案一定程度上减小了测量误差，但是在货箱内货物随意摆放时，货物之间容易遮挡产生视觉盲区，进而导致货物体积测量不准确。如何提高货物体积测量精度成为了亟待解决的技术问题。

发明内容

本发明提供了一种体积测量方法和深度相机模组，通过获得货物摆放信息，并基于货物摆放情况进行体积测量，避免了错误地将非货物的体积计算在货物体积之内，减小了误差，提高了体积测量结果准确性。

根据本申请的一个方面，提供了一种体积测量方法，方法包括：

获取载货箱体内部安装的第一深度相机和第二深度相机的标准点云数据，其中，依据所述第一深度相机的预设标准姿态、所述第一深度相机在多个姿态下拍摄的深度图像以及每个所述第二深度相机在所述多个姿态下拍摄的深度图像获得所述标准点云数据；

依据所述第一深度相机在所述预设标准姿态下拍摄的深度图像，得到所述载货箱体内部的货物摆放信息；

基于所述货物摆放信息以及所述标准点云数据的空间位置，得到所述载货箱体内货物的体积。

根据本申请的另一个方面，提供了一种深度相机模组，安装在载货箱体内部，深度相机模组包括：第一深度相机、第二深度相机和图像处理芯片，

所述第一深度相机和所述第二深度相机，分别用于在多个姿态下拍摄载货箱体内部得到深度图像；

所述图像处理芯片，用于获取所述第一深度相机和所述第二深度相机的标准点云数据，依据所述第一深度相机在预设标准姿态下拍摄的深度图像得到所述载货箱体内部的货物摆放信息，基于所述货物摆放信息以及所述标准点云数据的空间位置，得到所述载货箱体内货物的体积，其中，依据所述第一深度相机的所述预设标准姿态、所述第一深度相机在所述多个姿态下拍摄的深度图像以及每个所述第二深度相机在所述多个姿态下拍摄的深度图像获得所述标准点云数据。

有益效果：本发明实施例的体积测量方法和深度相机模组，通过获取载货箱体内部安装的第一深度相机和第二深度相机的标准点云数据，以及载货箱体内部的货物摆放信息，基于货物摆放信息、标准点云数据的空间位置得到载货箱体内货物的体积，从而考虑了货物摆放的不同情况进行相应的测量计算，与现有技术中仅根据三维点云进行固定投影计算货物体积的方案相比，测量结果更加准确可靠并且计算量小，方便对货箱装载率以及货物体积进行数字化管理，有利于提高物流行业效益。

附图说明

图1是本发明一个实施例的体积测量方法的流程示意图；

图2是本发明另一个实施例的体积测量方法的示意图；

图3是本发明一个实施例的投影面之一的示意图；

图4是本发明一个实施例的投影面之二的示意图；

图5是本发明一个实施例的深度相机模组的框图。

具体实施方式

为使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例的技术构思在于，针对现有技术中利用深度相机进行货物体积测量时，未考虑货物摆放信息导致测量结果不准确的问题，提出由深度相机拍摄的图像获得货物摆放信息，基于货物摆放信息和货物表面的点云数据测量得到货物体积，从而提高了体积测量精度。

图1是本发明一个实施例的体积测量方法的流程示意图，参见图1，本实施例的体积测量方法包括下列步骤：

步骤S101，获取载货箱体内部安装的第一深度相机和第二深度相机的标准点云数据，

其中，依据所述第一深度相机的预设标准姿态、所述第一深度相机在多个姿态下拍摄的深度图像以及每个所述第二深度相机在所述多个姿态下拍摄的深度图像获得所述标准点云数据；

步骤S102，依据所述第一深度相机在所述预设标准姿态下拍摄的深度图像，得到所述载货箱体内部的货物摆放信息；

步骤S103，基于所述货物摆放信息以及所述标准点云数据的空间位置，得到所述载货箱体内货物的体积。

由图1所示可知，本实施例的体积测量方法，通过获取载货箱体内部安装的第一深度相机和第二深度相机的标准点云数据，以及获取载货箱体内部的货物摆放信息，基于货物摆放信息以及标准点云数据的位置，得到载货箱体内货物的体积。与现有技术相比，本实施例考虑具体应用场景的先验知识(如车厢的尺寸，相机的安装位置)，并根据货物装载情况的不同选择相应的投影平面进行相应的计算，保证了测量结果更加精确。

图2是本发明另一个实施例的体积测量方法的示意图，以下结合图2对本实施例的体积测量方法的实现步骤进行重点说明。

一般的，物流运输行业里的车辆比如挂车的车身比较长，比如车长在12-16米以内，而现在的深度相机的作用最大距离在4-8米左右，所以要完成挂车等货运车辆内的货物体积测量，需要多个深度相机协同工作。深度相机的个数按照实际相机的最大作用距离和车厢的长度来确定，对此不做限制。

本实施例中，在载货箱体内部固定安装多个云台，云台运动时带动每个第一深度相机和第二深度相机运动，实现多个姿态。载货箱体即车厢，目前车厢多为长方体包括六个面，分别是前侧面，后侧面，左侧面，右侧面，底面和顶面。这里设车厢长度为L，车厢高度为H，车厢宽度为W。相机1的标准姿态是相机1安装于车厢后上方，镜头朝下拍摄。深度相机安装位置信息如下：相机距离车厢左侧面的距离为Dis2Left，相机距离车厢的底面高度为Dis2Floor，相机距离车厢前侧面的距离为Dis2Front。

本实施例中，获取载货箱体内部安装的第一深度相机和第二深度相机的标准点云数据包括：依据所述第一深度相机的所述预设标准姿态，以及所述第一深度相机的所述多个姿态下的点云数据获得第一标准点云数据；依据每个所述第二深度相机的所述多个姿态下的点云数据，所述第二深度相机的所述预设标准姿态，以及所述第一深度相机的所述预设标准姿态获得第二标准点云数据。

参见图2，图2示意了(1)相机点云数据获取步骤(2)投影面选择步骤和(3)体积计算步骤，其中，(1)相机点云数据获取步骤包括载货箱体内部安装的相机1和相机M的点云数据获取流程，具体的包括了相机1在不同姿态下的点云数据的获取以及相机M在不同姿态下的点云数据的获取。(3)体积计算步骤具体是将所有相机的已转化为相机1的标准姿态的点云数据融合并且向投影面投影计算体积。

首先，对相机1(即第一深度相机)的点云数据获取进行说明。参见图2，支撑和固定相机1的云台转动到姿态1，依据第一深度相机的预设标准姿态，以及第一深度相机的多个姿态下的点云数据获得第一标准点云数据，具体的包括：通过所述第一深度相机内部运动传感器(比如加速度传感器)的传感器数据，获得俯仰角旋转矩阵，通过所述云台的航向角的旋转角度，获得航向角旋转矩阵；基于所述俯仰角旋转矩阵、所述航向角旋转矩阵以及所述第一深度相机的所述预设标准姿态，将所述第一深度相机的所述多个姿态下的点云数据转换为与所述第一深度相机的所述多个姿态下的点云数据对应的所述第一标准点云数据，其中，所述第一深度相机的所述多个姿态下的点云数据由所述第一深度相机在所述多个姿态下拍摄的所述深度图像获得。

也就是说，姿态1下根据ACC(即加速度传感器)计算俯仰角的旋转矩阵，根据云台计算航向角的旋转矩阵，从而得到从姿态1变化到标准姿态的旋转矩阵。根据旋转矩阵进而得到姿态1下点云数据转化到标准姿态的点云数据。

与此类似，支撑和固定相机M(或称第二深度相机)云台转动到姿态N，依据每个所述第二深度相机的所述多个姿态下的点云数据，所述第二深度相机的所述预设标准姿态，以及所述第一深度相机的所述预设标准姿态获得第二标准点云数据包括：通过所述第二深度相机内部的运动传感器采集的传感器数据，获得俯仰角旋转矩阵，通过所述云台的航向角的旋转角度，获得航向角旋转矩阵；基于所述俯仰角旋转矩阵、所述航向角旋转矩阵以及所述第二深度相机的所述预设标准姿态，将所述第二深度相机的多个姿态下的点云数据转换为与所述第二深度相机的多个姿态下的点云数据对应的第三标准点云数据，其中，所述第二深度相机的所述多个姿态下的点云数据由所述第二深度相机在所述多个姿态下拍摄的所述深度图像获得；根据每个所述第二深度相机与所述第一深度相机之间的标定参数，获得旋转矩阵和平移向量，依据所述旋转矩阵、所述平移向量以及所述第一深度相机的预设标准姿态将所述第三标准点云数据转换为与所述第三标准点云数据对应的所述第二标准点云数据。

也就是说，姿态N下根据ACC(加速度传感器)计算俯仰角的旋转矩阵，根据云台计算航向角的旋转矩阵，得到从姿态N变化到标准姿态的旋转矩阵，进而得到姿态N下点云数据转化到标准姿态的点云数据。

然后，根据姿态1下点云数据转化到标准姿态的点云数据和姿态N下点云数据转化到标准姿态的点云数据进行融合，得到转化为相机1下的标准姿态的点云数据的融合。其中，云台转动的次数N由深度相机的视场角和载货箱体的长宽高决定，以使得云台通过N次转动带动深度相机拍摄到作用距离内的所有货物，N为正整数。

前述根据Acc计算俯仰角旋转矩阵包括：根据姿态i下加速度传感器Acc的值Acc_i＝(x_i,y_i,z_i)，相机的标准姿态下的Acc值Acc_0＝(0,-9.8,0)，那么旋转矩阵M_pitch是把向量Acc_i变化到向量Acc_0的旋转矩阵，根据两个向量的内积、外积求得旋转轴和旋转角，从而可以把旋转矩阵算出来。其中，旋转轴axis＝Acc_i.cross(Acc_0)，即两个向量之间的外积，旋转角＝arccos(Acc_i.dot(Acc_0)/(norm(Acc_i)*norm(Acc_0)))，由于旋转角的余弦值＝两个向量的内积/两个向量的模的乘积，从而求反余弦即可求得旋转角。由旋转轴和旋转角度可求得俯仰角旋转矩阵M_pitch。

前述根据云台计算航向角的旋转矩阵包括：当云台从相机1的标准姿态开始，航向角旋转了alpha弧度，则根据罗德里格斯公式，可以计算出航向角的旋转矩阵M_yaw。需要说明的是，根据航向角计算旋转矩阵为现有技术，可参见现有技术中的说明，此处不在赘述。

在得到俯仰角旋转矩阵和航向角的旋转矩阵之后，姿态i(1＝＜i＜＝N)下的点云数据转化到标准姿态的点云数据是通过下列公式实现的：Points_x0y0z0_i＝M_yaw*M_pitch*Points_xiyizi；其中，Points_xiyizi和Points_x0y0z0_i分别代表姿态i下的点云数据和转化为标准姿态下的点云数据。

接着，根据每个相机(比如相机2到M，M为大于2的正整数)和相机1之间的标定参数，计算出每个相机的标准姿态下的点云数据变化到相机1标准姿态的点云数据所需要的旋转矩阵M和平移向量T，根据旋转矩阵M和平移向量T，通过下列公式得到每个相机标准姿态下的点云数据转化到相机1下标准姿态的点云数据(即第三点云数据)：Points_x0y0z0_i_CAM1＝M*Points_x0y0z0_i+T。

由图2所示可知，对于每个第二深度相机，本实施例中是，先计算每个第二深度相机不同姿态下的点云数据，转化为各个第二深度相机的预设标准姿态下得到第三点云数据，然后根据每个相机2和一个相机1之间的标定参数，将每个相机2的第三点云数据转换到相机1(第一深度相机)的标准姿态下得到与第三点云数据对应的第二点云数据。

对于第一深度相机，本实施例中将第一深度相机的各个姿态下的点云数转换到第一深度相机的标准姿态下，直接得到第一点云数据。这是由于本实施例中选取第一深度相机作为基准相机，在其他实施例中。也可以选择多个第二深度相机中的一个深度相机作为基准相机，将其余第二深度相机的标准姿态下的点云数据转换到该选出的基准相机的标准下，以及将第一深度相机的标准姿态下的点云数据转换到该选出的基准相机的标准姿态下，对此不做限制。在将所有相机的点云数据转换同一个基准之后，将这些点云数据进行融合。具体数据融合为现有技术，比如可以通过计算各个相机的点云数据之间的距离进行融合等。在融合点云数据之后，本实施例中需要根据货物摆放情况选择投影面，以进行投影。

具体的，投影面选择是依据所述第一深度相机在所述预设标准姿态下拍摄的所述深度图像，得到所述载货箱体内部的货物摆放顺序信息或货物摆放高度信息，基于所述货物摆放信息以及所述标准点云数据的空间位置，得到所述载货箱体内货物的体积包括：如果所述货物摆放顺序信息指示货物未按照由内向外顺序摆放，则以所述载货箱体的底面为投影面，将所述标准点云数据投影到所述投影平面得到投影点，根据所述载货箱体的尺寸信息、所述第一深度相机的安装位置信息确定所述投影点中的边缘投影点的位置，基于所述边缘投影点的位置得到所述载货箱体内货物的体积；如果所述货物摆放高度信息指示货物摆放高度大于预设高度阈值，则以所述载货箱体的前侧面为投影面，将所述标准点云数据投影到所述投影平面得到投影点，根据所述载货箱体的尺寸信息、所述第一深度相机的安装位置信息确定所述投影点中的边缘投影点的位置，基于所述边缘投影点的位置得到所述载货箱体内货物的体积，其中，所述前侧面与所述载货箱体的货门所在侧面相对的侧面。

也就是说，考虑以下两种货物摆放信息，根据货物摆放信息的不同，本实施例选择的投影面也不同，进而体积计算结果不同，这样做提高了体积测量的精度。

情况(一)，货物没有按顺序由内向外摆放，靠近货门的货物后面有大量空余。

这种情况下，考虑到货物遮挡关系，前面的货物遮挡住了后面的空余，此时如果以载货箱体的前侧面为投影面，会错误地把空余的体积也算为货物体积导致测量结果不准确。因此，本实施例中选择以载货箱体的底面为投影面，这时深度相机1拍摄的是货物上表面的点云数据，而不是货物前面的点云数据。相机1的预设标准姿态是相机前后面与载货箱体前侧面平行，相机镜头朝前拍摄。

参见图3，以载货箱体的底面作为投影面，以相机1位置为原点，以车宽方向为x轴，以车长方向为y轴，将融合后的点云数据向投影面垂直投影，则可得到投影点。而后根据载货箱体的尺寸信息、第一深度相机的安装位置信息确定投影点中的边缘投影点的位置，根据所述载货箱体的尺寸信息、所述第一深度相机的安装位置信息确定所述投影点中的边缘投影点的位置包括：根据所述载货箱体的长度信息L、高度信息H、宽度信息W，所述第一深度相机与所述载货箱体的左侧面的距离信息Dis2Left、与所述载货箱体的底面距离信息Dis2Floor、与所述载货箱体的前侧面的距离信息Dis2Front，确定第一边缘投影点的位置坐标(-Dis2Left，Dis2Front)，以及第二边缘投影点的位置坐标(W-Dis2Left，-(L-Dis2Front))；或者，确定第三边缘投影点的位置坐标(-Dis2Left，H-Dis2Floor)，以及第四边缘投影点的位置坐标(W-Dis2Left，-Dis2Floor)。

这里的边缘投影点比如左上角的点和右下角的点，

左上角的点(即第一边缘投影点)的位置坐标：LeftUpPoint(-Dis2Left,Dis2Front)，

右下角的点(即第二边缘投影点)的位置坐标：RightDownPoint(W-Dis2Left,-(L-Dis2Front))，

则由左上角的点和右下角的点确定出投影矩形：Rect(LeftUpPoint,RightDownPoint)。

情况(二)，当货物摆放的高度比较高超过了预设高度阈值时，相机几乎拍摄不到货物的上表面。

这种情况下不能以货箱的底面作为投影面，而应当以载货箱体的前侧面作为投影面，以提高测量精度。这时候深度相机主要拍摄的是货物前表面的点云，而不是货物上表面的点云。相机1的预设标准姿态是相机前后面与载货箱体底面平行，相机镜头朝下拍摄。

参见图4，以载货箱体的前侧面作为投影面，以相机1位置为原点，以载货箱体(即车宽)宽度方向为x轴，以载货箱体高度(即车高)方向为y轴，将融合后的点云数据向投影面垂直投影，则可得到投影点，根据载货箱体的尺寸信息、第一深度相机的安装位置信息确定投影点中的边缘投影点的位置，尺寸信息具体是高度信息H、宽度信息W。

具体的，这里的边缘投影点比如是左上角的点和右下角的点，左上角的点(即第三边缘投影点)的位置坐标为：LeftUpPoint(-Dis2Left,H-Dis2Floor)，右下角的点(即第四边缘投影点)的位置坐标为：RightDownPoint(W-Dis2Left,-Dis2Floor)，则投影矩形Rect(LeftUpPoint,RightDownPoint)。

在得到边缘投影点的位置之后，本实施例中基于所述边缘投影点的位置得到所述载货箱体内货物的体积包括：基于所述边缘点的位置，获得投影矩形以及所述投影矩形的面积，将所述投影矩形划分为多个子矩形，获得每个所述子矩形的面积；获取每个所述子矩形中所述投影点的数量以及所述投影点到所述投影平面的深度值，由所述深度值的平均值得到每个所述子矩形中所述投影点的平均深度；根据每个所述子矩形的面积以及所述平均深度，获得每个所述子矩形的体积，由每个所述子矩形的体积之和得到所述载货箱体内货物的体积。

比如将所有相机的已转化为相机1下标准姿态的点云数据融合并且向投影面投影，计算体积包括将选择的投影矩形划分为M*N个小矩形，则每个小矩形的面积S＝投影矩形的面积/(M*N)。将所有相机已转化为相机1下标准姿态的点云融合并且向投影面投影，获取投影面每个小矩形里的投影点的个数Num，投影点到投影面的高度(由于点云数据是通过深度相机采集的，这里的高度即为深度值)为Hi，则每个小矩形里的投影点的平均高度

根据每个小矩形的面积S以及每个小矩形里的投影点的平均高度H_ave，获得货物体积

至此，测量得到货箱内货物体积。

本发明的一个实施例中，在测量得货物的体积之后输出货物的体积信息以方便了解装载率信息等信息，有利于物流行业数字化管理。

由上可知，本实施例的体积测量方法，通过获取载货箱体内部货物的摆放信息，并根据货物的摆放信息的不同选择不同的投影面进行点云数据的投影，与固定投影面货物体积测量方案相比，能够避免错算货物体积，减少了测量误差，保证测量出的体积更精确，通过深度相机这种非接触式的传感器进行体积测量，测量结果稳定，受环境和温度影响小。

本发明实施例还提供了一种深度相机模组，图5是本发明一个实施例的深度相机模组的框图，参见图5，深度相机模组500安装在载货箱体内部，包括：第一深度相机501、第二深度相机502和图像处理芯片503，

所述第一深度相机501和所述第二深度相机502，分别用于在多个姿态下拍摄载货箱体内部得到深度图像；

所述图像处理芯片503，用于获取所述第一深度相机501和所述第二深度相机502的标准点云数据，依据所述第一深度相机501在预设标准姿态下拍摄的深度图像得到所述载货箱体内部的货物摆放信息，基于所述货物摆放信息以及所述标准点云数据的空间位置，得到所述载货箱体内货物的体积，其中，依据所述第一深度相机501的所述预设标准姿态、所述第一深度相机501在所述多个姿态下拍摄的深度图像以及每个所述第二深度相机502在所述多个姿态下拍摄的深度图像获得所述标准点云数据。

在本发明的一个实施例中，所述载货箱体内部固定安装多个云台，所述云台运动带动每个所述第一深度相机501和所述第二深度相机502运动，实现所述多个姿态；

所述图像处理芯片503，具体用于依据所述第一深度相机501的所述预设标准姿态，以及所述第一深度相机501的所述多个姿态下的点云数据获得第一标准点云数据；依据每个所述第二深度相机502的所述多个姿态下的点云数据，所述第二深度相机502的所述预设标准姿态，以及所述第一深度相机501的所述预设标准姿态获得第二标准点云数据。

在本发明的一个实施例中，所述图像处理芯片503，具体用于依据所述第一深度相机501在所述预设标准姿态下拍摄的所述深度图像，得到所述载货箱体内部的货物摆放顺序信息或货物摆放高度信息，如果所述货物摆放顺序信息指示货物未按照由内向外顺序摆放，则以所述载货箱体的底面为投影面，将所述标准点云数据投影到所述投影平面得到投影点，根据所述载货箱体的尺寸信息、所述第一深度相机501的安装位置信息确定所述投影点中的边缘投影点的位置，基于所述边缘投影点的位置得到所述载货箱体内货物的体积；如果所述货物摆放高度信息指示货物摆放高度大于预设高度阈值，则以所述载货箱体的前侧面为投影面，将所述标准点云数据投影到所述投影平面得到投影点，根据所述载货箱体的尺寸信息、所述第一深度相机501的安装位置信息确定所述投影点中的边缘投影点的位置，基于所述边缘投影点的位置得到所述载货箱体内货物的体积，其中，所述前侧面与所述载货箱体的货门所在侧面相对的侧面。

在本发明的一个实施例中，所述图像处理芯片503，具体用于通过所述第一深度相机501内部运动传感器的传感器数据，获得俯仰角旋转矩阵，通过所述云台的航向角的旋转角度，获得航向角旋转矩阵；基于所述俯仰角旋转矩阵、所述航向角旋转矩阵以及所述第一深度相机501的所述预设标准姿态，将所述第一深度相机501的所述多个姿态下的点云数据转换为与所述第一深度相机501的所述多个姿态下的点云数据对应的所述第一标准点云数据，其中，所述第一深度相机501的所述多个姿态下的点云数据由所述第一深度相机501在所述多个姿态下拍摄的所述深度图像获得。

在本发明的一个实施例中，所述图像处理芯片503，具体用于通过所述第二深度相机502内部的运动传感器采集的传感器数据，获得俯仰角旋转矩阵，通过所述云台的航向角的旋转角度，获得航向角旋转矩阵；基于所述俯仰角旋转矩阵、所述航向角旋转矩阵以及所述第二深度相机502的所述预设标准姿态，将所述第二深度相机502的多个姿态下的点云数据转换为与所述第二深度相机502的多个姿态下的点云数据对应的第三标准点云数据，其中，所述第二深度相机502的所述多个姿态下的点云数据由所述第二深度相机502在所述多个姿态下拍摄的所述深度图像获得；根据每个所述第二深度相机502与所述第一深度相机501之间的标定参数，获得旋转矩阵和平移向量，依据所述旋转矩阵、所述平移向量以及所述第一深度相机501的预设标准姿态将所述第三标准点云数据转换为与所述第三标准点云数据对应的所述第二标准点云数据。

在本发明的一个实施例中，所述图像处理芯片503，具体用于基于所述边缘点的位置，获得投影矩形以及所述投影矩形的面积，将所述投影矩形划分为多个子矩形，获得每个所述子矩形的面积；获取每个所述子矩形中所述投影点的数量以及所述投影点到所述投影平面的深度值，由所述深度值的平均值得到每个所述子矩形中所述投影点的平均深度；根据每个所述子矩形的面积以及所述平均深度，获得每个所述子矩形的体积，由每个所述子矩形的体积之和得到所述载货箱体内货物的体积。

在本发明的一个实施例中，所述图像处理芯片503，具体用于根据所述载货箱体的长度信息L、高度信息H、宽度信息W，所述第一深度相机501与所述载货箱体的左侧面的距离信息Dis2Left、与所述载货箱体的底面距离信息Dis2Floor、与所述载货箱体的前侧面的距离信息Dis2Front，确定第一边缘投影点的位置坐标(-Dis2Left，Dis2Front)，以及第二边缘投影点的位置坐标(W-Dis2Left，-(L-Dis2Front))；或者，确定第三边缘投影点的位置坐标(-Dis2Left，H-Dis2Floor)，以及第四边缘投影点的位置坐标(W-Dis2Left，-Dis2Floor)。

综上所述，本实施例的的体积测量方法和深度相机模组，提高了体积测量精度，方便对货箱装载率以及货物体积进行数字化管理，使用深度相机这种非接触式传感器进行体积测量，性能稳定，受环境和温度影响小，极大提升了深度相机模组的市场竞争力。

需要说明的是术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，正如权利要求书所反映的那样，发明方面在于少于前侧面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围以权利要求的保护范围为准。

Claims (8)

1.一种体积测量方法，其特征在于，方法包括：

获取载货箱体内部安装的第一深度相机和第二深度相机的标准点云数据，其中，依据所述第一深度相机的预设标准姿态、所述第一深度相机在多个姿态下拍摄的深度图像以及每个所述第二深度相机在所述多个姿态下拍摄的深度图像、所述第二深度相机的预设标准姿态获得所述标准点云数据；

依据所述第一深度相机在所述预设标准姿态下拍摄的深度图像，得到所述载货箱体内部的货物摆放信息；

基于所述货物摆放信息以及所述标准点云数据的空间位置，得到所述载货箱体内货物的体积，其中所述依据所述第一深度相机在所述预设标准姿态下拍摄的深度图像，得到所述载货箱体内部的货物摆放信息包括：

依据所述第一深度相机在所述预设标准姿态下拍摄的所述深度图像，得到所述载货箱体内部的货物摆放顺序信息或货物摆放高度信息，其中所述基于所述货物摆放信息以及所述标准点云数据的空间位置，得到所述载货箱体内货物的体积包括：

如果所述货物摆放顺序信息指示货物未按照由内向外顺序摆放，则以所述载货箱体的底面为投影面，将所述标准点云数据投影到所述投影平面得到投影点，根据所述载货箱体的尺寸信息、所述第一深度相机的安装位置信息确定所述投影点中的边缘投影点的位置，基于所述边缘投影点的位置得到所述载货箱体内货物的体积；

如果所述货物摆放高度信息指示货物摆放高度大于预设高度阈值，则以所述载货箱体的前侧面为投影面，将所述标准点云数据投影到所述投影平面得到投影点，根据所述载货箱体的尺寸信息、所述第一深度相机的安装位置信息确定所述投影点中的边缘投影点的位置，基于所述边缘投影点的位置得到所述载货箱体内货物的体积，其中，所述前侧面与所述载货箱体的货门所在侧面相对的侧面。

2.根据权利要求1所述的体积测量方法，其特征在于，所述载货箱体内部固定安装多个云台，所述云台运动带动每个所述第一深度相机和所述第二深度相机运动，实现所述多个姿态；

所述获取载货箱体内部安装的第一深度相机和第二深度相机的标准点云数据包括：

依据所述第一深度相机的所述预设标准姿态，以及所述第一深度相机的所述多个姿态下的点云数据获得第一标准点云数据；

依据每个所述第二深度相机的所述多个姿态下的点云数据，所述第二深度相机的所述预设标准姿态，以及所述第一深度相机的所述预设标准姿态获得第二标准点云数据。

3.根据权利要求2所述的体积测量方法，其特征在于，所述依据所述第一深度相机的所述预设标准姿态，以及所述第一深度相机的所述多个姿态下的点云数据获得第一标准点云数据包括：

通过所述第一深度相机内部运动传感器的传感器数据，获得俯仰角旋转矩阵，

通过所述云台的航向角的旋转角度，获得航向角旋转矩阵；

基于所述俯仰角旋转矩阵、所述航向角旋转矩阵以及所述第一深度相机的所述预设标准姿态，将所述第一深度相机的所述多个姿态下的点云数据转换为与所述第一深度相机的所述多个姿态下的点云数据对应的所述第一标准点云数据，其中，所述第一深度相机的所述多个姿态下的点云数据由所述第一深度相机在所述多个姿态下拍摄的所述深度图像获得。

4.根据权利要求2所述的体积测量方法，其特征在于，所述依据每个所述第二深度相机的所述多个姿态下的点云数据，所述第二深度相机的所述预设标准姿态，以及所述第一深度相机的所述预设标准姿态获得第二标准点云数据包括：

通过所述第二深度相机内部的运动传感器采集的传感器数据，获得俯仰角旋转矩阵，

通过所述云台的航向角的旋转角度，获得航向角旋转矩阵；

基于所述俯仰角旋转矩阵、所述航向角旋转矩阵以及所述第二深度相机的所述预设标准姿态，将所述第二深度相机的多个姿态下的点云数据转换为与所述第二深度相机的多个姿态下的点云数据对应的第三标准点云数据，其中，所述第二深度相机的所述多个姿态下的点云数据由所述第二深度相机在所述多个姿态下拍摄的所述深度图像获得；

根据每个所述第二深度相机与所述第一深度相机之间的标定参数，获得旋转矩阵和平移向量，依据所述旋转矩阵、所述平移向量以及所述第一深度相机的预设标准姿态将所述第三标准点云数据转换为与所述第三标准点云数据对应的所述第二标准点云数据。

5.根据权利要求1所述的体积测量方法，其特征在于，所述基于所述边缘投影点的位置得到所述载货箱体内货物的体积包括：

基于所述边缘点的位置，获得投影矩形以及所述投影矩形的面积，

将所述投影矩形划分为多个子矩形，获得每个所述子矩形的面积；

获取每个所述子矩形中所述投影点的数量以及所述投影点到所述投影平面的深度值，由所述深度值的平均值得到每个所述子矩形中所述投影点的平均深度；

根据每个所述子矩形的面积以及所述平均深度，获得每个所述子矩形的体积，由每个所述子矩形的体积之和得到所述载货箱体内货物的体积。

6.根据权利要求1所述的体积测量方法，其特征在于，所述根据所述载货箱体的尺寸信息、所述第一深度相机的安装位置信息确定所述投影点中的边缘投影点的位置包括：

根据所述载货箱体的长度信息L、高度信息H、宽度信息W，所述第一深度相机与所述载货箱体的左侧面的距离信息Dis2Left、与所述载货箱体的底面距离信息Dis2Floor、与所述载货箱体的前侧面的距离信息Dis2Front，确定第一边缘投影点的位置坐标 (-Dis2Left，Dis2Front)，以及第二边缘投影点的位置坐标（W-Dis2Left，-(L-Dis2Front)）；

或者，确定第三边缘投影点的位置坐标 (-Dis2Left，H-Dis2Floor)，以及第四边缘投影点的位置坐标（W-Dis2Left，-Dis2Floor）。

7.一种深度相机模组，其特征在于，安装在载货箱体内部，包括：第一深度相机、第二深度相机和图像处理芯片，

所述第一深度相机和所述第二深度相机，分别用于在多个姿态下拍摄载货箱体内部得到深度图像；

所述图像处理芯片，用于获取所述第一深度相机和所述第二深度相机的标准点云数据，依据所述第一深度相机在预设标准姿态下拍摄的深度图像得到所述载货箱体内部的货物摆放信息，基于所述货物摆放信息以及所述标准点云数据的空间位置，得到所述载货箱体内货物的体积，其中，依据所述第一深度相机的所述预设标准姿态、所述第一深度相机在所述多个姿态下拍摄的深度图像以及每个所述第二深度相机在所述多个姿态下拍摄的深度图像、所述第二深度相机的预设标准姿态获得所述标准点云数据，其中所述图像处理芯片，具体用于依据所述第一深度相机在所述预设标准姿态下拍摄的所述深度图像，得到所述载货箱体内部的货物摆放顺序信息或货物摆放高度信息，其中所述图像处理芯片，具体用于如果所述货物摆放顺序信息指示货物未按照由内向外顺序摆放，则以所述载货箱体的底面为投影面，将所述标准点云数据投影到所述投影平面得到投影点，根据所述载货箱体的尺寸信息、所述第一深度相机的安装位置信息确定所述投影点中的边缘投影点的位置，基于所述边缘投影点的位置得到所述载货箱体内货物的体积；如果所述货物摆放高度信息指示货物摆放高度大于预设高度阈值，则以所述载货箱体的前侧面为投影面，将所述标准点云数据投影到所述投影平面得到投影点，根据所述载货箱体的尺寸信息、所述第一深度相机的安装位置信息确定所述投影点中的边缘投影点的位置，基于所述边缘投影点的位置得到所述载货箱体内货物的体积，其中，所述前侧面与所述载货箱体的货门所在侧面相对的侧面。

8.根据权利要求7所述的深度相机模组，其特征在于，所述载货箱体内部固定安装多个云台，所述云台运动带动每个所述第一深度相机和所述第二深度相机运动，实现所述多个姿态；

所述图像处理芯片，具体用于依据所述第一深度相机的所述预设标准姿态，以及所述第一深度相机的所述多个姿态下的点云数据获得第一标准点云数据；依据每个所述第二深度相机的所述多个姿态下的点云数据，所述第二深度相机的所述预设标准姿态，以及所述第一深度相机的所述预设标准姿态获得第二标准点云数据。

Images