CN109916302B - 一种载货箱体的体积测量方法和系统 - Google Patents

Abstract

本发明公开了一种载货箱体的体积测量方法和系统，载货箱体内部安装用于连接和支撑深度相机的云台，方法包括：通过所述深度相机内的运动传感器获取所述深度相机的多个姿态信息，依据所述多个姿态信息，获得用于将所述深度相机的当前姿态转换到预设的标准姿态的旋转矩阵；基于所述旋转矩阵，获得所述深度相机当前姿态下的点云数据转换到所述标准姿态下对应的标准点云数据，将所述多个姿态下的点云数据对应的标准点云数据进行融合，根据所述融合后的标准点云数据的空间位置计算所述载货箱体内装载货物的体积。本发明实施例的方案简单、结果可靠、性能稳定，方便了解载货体积以及对载货的体积进行数字化管理。

Description

一种载货箱体的体积测量方法和系统

技术领域

本发明涉及测量技术领域，具体涉及一种载载货箱体的体积测量方法和系统。

背景技术

随着物流行业的发展，货运业务受到越来越多的关注，如何对货箱装载率以及货物体积进行数字化管理是物流行业提高能效的必然要求。现有体积测量方法，利用相机拍摄的图像和点云拼接算法测量货物的体积，这种方案受环境的影响大并且计算量较大，测量效率低下。

发明内容

本发明提供了一种载货箱体的体积测量方法和系统，可以测量装载货物的体积，方案实现简单、测量结果准确可靠、性能稳定提高了效率，有利于物流行业对载货体积和装载率的数字化管理。

根据本申请的一个方面，提供了一种载货箱体的体积测量方法，所述载货箱体内部安装用于连接和支撑深度相机的云台，方法包括：

通过所述深度相机内的运动传感器获取所述深度相机的多个姿态信息，依据所述多个姿态信息，获得用于将所述深度相机的当前姿态转换到预设的标准姿态的旋转矩阵；

基于所述旋转矩阵，获得所述深度相机当前姿态下的点云数据转换到所述标准姿态下对应的标准点云数据，其中，所述当前姿态下的点云数据由所述深度相机在当前姿态下拍摄的深度图像获得；

将所述多个姿态下的点云数据对应的标准点云数据进行融合，根据所述融合后的标准点云数据的空间位置计算所述载货箱体内装载货物的体积。

根据本申请的另一个方面，提供了一种载货箱体的体积测量系统包括处理设备，与所述处理设备连接的云台，所述云台，连接和支撑深度相机，所述云台安装在载货箱体内部，云台转动时带动所述深度相机同步转动；所述深度相机内具有运动传感器，所述运动传感器获取所述深度相机的多个姿态信息，将所述多个姿态信息发送给所述处理设备，所述处理设备，依据所述多个姿态信息获得用于将所述深度相机的当前姿态转换到预设的标准姿态的旋转矩阵；基于所述旋转矩阵，获得所述深度相机当前姿态下的点云数据转换到所述标准姿态下对应的标准点云数据，其中，所述当前姿态下的点云数据由所述深度相机在当前姿态下拍摄的深度图像获得，将所述多个姿态下的点云数据对应的标准点云数据进行融合，根据所述融合后的标准点云数据的空间位置计算所述载货箱体内装载货物的体积。

应用本发明实施例的载货箱体的体积测量方法和系统，通过箱体内部的深度相机内的运动传感器获取深度相机的多个姿态信息，依据多个姿态信息，获得旋转矩阵，基于旋转矩阵，获得深度相机当前姿态下的点云数据转换到标准姿态下对应的标准点云数据，将多个姿态下的点云数据对应的标准点云数据进行融合，根据融合后的标准点云数据的空间位置计算载货箱体内装载货物的体积，方案实现简单、体积测量结果准确可靠并且性能稳定，计算量小，方便了解箱体的装载率，有利于物流行业数字化管理。

附图说明

图1是本发明一个实施例的载货箱体装载货物的体积测量方法的流程示意图；

图2是本发明另一个实施例的装载货物的体积测量方法的示意图；

图3是本发明一个实施例的电子设备的结构示意图。

具体实施方式

为使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明一个实施例的载货箱体装载货物的体积测量方法的流程示意图，参见图1，本实施例的载货箱体内部安装用于连接和支撑深度相机的云台，体积测量方法包括下列步骤：

步骤S101，通过传感器获取云台的多个姿态信息，

步骤S102，对于获取的各姿态信息，计算用于将当前姿态转换到预先设置的标准姿态的旋转矩阵；

步骤S103，基于所述旋转矩阵，计算当前姿态下深度图像的像素点在标准姿态下对应的标准像素点；

步骤S104，将各姿态下深度图像的像素点对应的标准像素点融合后，垂直投影到投影平面得到投影点，根据投影点计算装载货物的体积。

由图1所示可知，本实施例的载货箱体装载货物的体积测量方法，通过传感器获取云台的多个姿态信息，根据各姿态信息，计算旋转矩阵基于旋转矩阵确定标准像素点，将标准像素点融合投影，得到投影点，根据投影点计算装载货物的体积。从而通过利用内置传感器的TOF深度相机在云台上转动，多个角度覆盖测量车载货物，采集图像根据投影点测量装载货物的体积，方便了解货物的装载率，与现有技术相比，受环境影响小、测量结果准确可靠并且计算量小，满足了实际需求。

图2是本发明另一个实施例的装载货物的体积测量方法的示意图，以下结合一个具体的应用场景对本发明实施例的装载货物的体积测量方法的实现步骤进行说明。

进行体积测量之前，先在载货箱体内部如内部上方位置安装云台，云台连接和支撑深度相机，深度相机用于拍摄载货箱体内货物的深度图像。根据实现原理，现有的获取深度信息的深度相机可分为三种，分别是RGB-D双目相机，利用视差计算深度，深度信息依赖算法得出，算法复杂度高，难度很大，处理芯片需要很高的计算性能。结构光相机，容易受光照影响，室外环境基本不能使用。TOF(Time Of Fight，飞行时间)相机，TOF方案抗干扰性能好，受环境影响小，功耗低。

优选地，本实施例中在载货箱体上安装TOF深度相机，TOF相机体积小巧，跟一般相机大小相去无几，适合一些需要轻便、小体积相机的场合。与其他利用相机拍摄图像进行点云拼接来计算体积的方案相比，本实施例的这种方法受环境影响变化小，且计算量小，有利于物流行业进行数字化管理。

本实施例的深度相机安装在云台上，云台可以相对于云台所在平面上下转动也可以左右转动，云台转动带动深度相机同步转动，完成对不同位置的货物的图像采集。

需要说明的是，本实施例预先根据载货箱体的尺寸(尺寸指的是长宽高)以及深度相机的视场角来确定的预设数目(比如N个，N为大于1的自然数)的姿态信息，以使深度相机的拍摄视野覆盖载货箱体的所有区域，即做到无盲区、全覆盖。后续在云台每转动到一个姿态时通过传感器获取当前的姿态信息。通过传感器获取云台的多个姿态信息包括通过加速度传感器获取云台的多个姿态信息，其中，每个姿态信息包括云台的俯仰角信息和翻滚角信息。也就是说，为了获取深度相机的姿态信息，本实施例中的深度相机中内置传感器，例如加速度传感器，通过加速度传感器计来计算TOF深度相机的俯仰角和翻滚角的变化，从而得出位姿变化矩阵。

对于每个姿态，本实施例执行下列步骤一和步骤二：

步骤一，在当前姿态下根据ACC(加速度传感器)计算从姿态1变化到标准姿态的旋转矩阵，

步骤二，在当前姿态下的点云数据转化到标准姿态的点云数据。

参见图2，图2示意性的示出了在姿态1和姿态N下对应的处理步骤，当云台转动到姿态1时，姿态1下根据ACC计算从姿态1变化到标准姿态的旋转矩阵，以及姿态1下的点云数据转化到标准姿态的点云数据。

这里以第1个姿态下的计算过程为例说明旋转矩阵的计算和点云数据的转换。其他姿态的计算过程与第1个姿态的过程相同，不再赘述。

首先，对于获取的各姿态信息，本实施例计算用于将当前姿态转换到预先设置的标准姿态的旋转矩阵，具体的包括：根据获取的当前姿态对应的当前加速度数据以及预先设置的标准姿态对应的标准加速度数据计算旋转轴和旋转角度。

比如姿态i(i等于1)下Acc的值Acc_i＝(x_i，y_i，z_i)，标准姿态下的Acc值Acc_0＝(0，0，9.8)，那么旋转矩阵就是把向量Acc_i变化到Acc_0的旋转矩阵。这里的旋转轴的计算过程是：计算当前加速度Acc_i和标准加速度Acc_0的外积向量，将外积向量作为旋转轴。

这里的旋转角度的计算过程是：计算当前加速度Acc_i和标准加速度Acc_0的内积，解旋转角度的反余弦函数得旋转角度。

对于向量Acc_i和向量Acc_0，内积(点乘)的几何意义包括：表征或计算两个向量之间的夹角以及Acc_0向量在Acc_i向量方向上的投影。根据公式：Acc_i·Acc_0＝|Acc_i||Acc_0|cosθ，即向量的内积等于向量的模长与夹角的余弦值的乘积，可以知道cosθ等于两个向量的内积除以两个向量的模的乘积，求解反余弦函数即可得到夹角θ的值，从而求出旋转角度。

在得到旋转轴和旋转角度之后，根据旋转轴和旋转角度计算得到旋转矩阵。具体的求解公式为现有技术，可以参见现有技术中的说明这里不再赘述。

注：向量的内积是对两个向量执行点乘运算，就是对这两个向量对应位一一相乘之后求和的操作，点乘的结果是一个标量(即数量而不是向量)。向量的外积(叉乘)运算结果是一个向量而不是一个标量，并且两个向量的外积与这两个向量组成的坐标平面垂直。向量外积的结果是一个向量，外积向量有个更通俗易懂的叫法是法向量，该向量垂直于a和b向量构成的平面，因此可以通过两个向量的外积，生成第三个垂直于a，b的法向量，从而构建x、y、z三维世界坐标系。

其次，基于所述旋转矩阵，计算当前姿态下深度图像的像素点在标准姿态下对应的标准像素点，具体的包括：利用深度相机的内部参数以及深度相机采集的像素点的深度信息确定当前姿态下深度图像上像素点的三维世界坐标值，计算所述旋转矩阵与各像素点的三维世界坐标值的乘积，得到当前姿态下深度图像的像素点在标准姿态下对应的标准像素点的三维世界坐标值。参见图2，这里的姿态i下的点云数据转化到标准姿态的点云数据是通过下列公式实现的：

Points_x0y0z0_i＝M*Points_xiyizi；

其中，Points_x0y0z0_i和Points_xiyizi分别代表姿态i下的点云数据和转化为标准姿态后的点云数据，M为旋转矩阵。

这里的点云数据是指深度相机拍摄的深度图像上的像素点，通过深度相机获取得到每个像素点的深度信息即z坐标(垂直于地面的坐标轴)的信息，再根据深度相机的内部参数，获得深度图像上每个像素点的像素坐标即x坐标和y坐标，由此得到每个像素点的三维世界坐标值(x，y，z)。在得到该坐标后，将该坐标转换到标准姿态下，计算对应的像素点坐标值。转换方式是利用旋转矩阵乘以姿态i下每个像素点的三维世界坐标值。

接着，将各姿态下深度图像的像素点对应的标准像素点融合。例如将当前姿态下深度图像的像素点对应的标准像素点作为初始数据放入数据集；依次判断后续的姿态下深度图像的像素点对应的标准像素点与数据集中每个标准像素点的距离是否小于预设阈值，是则，删除新获取的姿态下深度图像的像素点对应的标准像素点，否则，将新获取的姿态下深度图像的像素点对应的标准像素点添加到所述数据集中，完成所述数据集的更新。

参见图2，本实施例还包括对每个姿态转化到标准姿态的点云数据的融合，将N个Points_x0y0z0_i点云数据集合起来，按每个姿态的采集顺序计算当前姿态转化到标准姿态下的像素点与数据集中像素点的距离，如果两个点的距离小于预设阈值则认为这两个点是同一个点，删除当前姿态转化到标准姿态下的像素点，只保留数据集中的像素点，如此循环对获取的姿态下转换到标准姿态后的点云数据进行判断，直至最后一个姿态。

最后，在将各姿态下深度图像的像素点对应的标准像素点融合后，垂直投影到投影平面得到投影点，例如将前述数据集中的标准像素点垂直投影到投影平面，得到投影点；对投影点进行三角化，得到多个三角形，根据三角形的体积计算得到装载货物的体积，具体的所述根据三角形的体积计算得到装载货物的体积包括：根据三角化后各三角形的三个顶点的位置计算各三角形的面积，根据各三角形的三个顶点的深度值的平均值确定三角形的高，将三角形的面积和高相乘得到三角形的体积，计算所有三角形的体积之和，得到装载货物的体积。

参见图2，本实施例的方法将融合后的点云数据向平面投影，在平面上的投影点进行三角化。

这里的对投影平面上的二维投影点进行三角化是利用德洛内Delaunay剖分实现的，经过三角剖分可以得到平面上投影点的所有三角剖分后的三角形，例如剖分后的三角形数量为M个。

根据三角剖分后的每个三角形的顶点的坐标可以计算出每个三角形的面积，已知三角形三个顶点坐标，求三角形面积通常有以下三种方法：方法一：直接法.计算三角形一边的长，并求出该边上的高；方法二：补形法.将三角形面积转化成若干个特殊的四边形和三角形的面积的和与差；方法三：分割法.选择一条恰当的直线，将三角形分割成两个便于计算面积的三角形。

比如三角形的面积为S_i，每个三角形对应的高H_i是三角形三个顶点对应的z坐标的平均值，那么，每个三角形对应的体积V_i＝S_i*H_i。

进而装载货物的总体积＝所有的三角形的体积的和，通过下列公式

即可求出载货箱体内装载货物的总体积，完成体积测量。

由上可知，本实施例的测量载货箱体内装载货物的体积的方法，通过云台上安装深度相机，利用深度相机内的加速度计获取云台转动到不同姿态时的姿态信息，根据姿态信息和标准姿态计算旋转矩阵，利用旋转矩阵完成点云数据转化，融合各个姿态转化为标志姿态后的点云数据，并进行投影，利用投影点进行三角剖分，由剖分后得到的多个小三角形的体积计算出装载货物的总体积，方法实现简单、计算量小并且TOF的深度计算不受物体表面灰度和特征影响，可以非常准确的进行三维探测确保了体积计算结果准确可靠，满足了实际需求。

图3是本发明一个实施例的电子设备的结构示意图。如图3所示，该电子设备包括存储器301和处理器302，存储器301和处理器302之间通过内部总线303通讯连接，存储器301存储有能够被处理器302执行的程序指令，程序指令被处理器302执行时能够实现上述的方法。

此外，上述的存储器301中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能的装置。

需要说明的是术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，正如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围以权利要求的保护范围为准。

Claims (9)

1.一种载货箱体内装载货物的体积测量方法，其特征在于，所述载货箱体内部安装用于连接和支撑深度相机的云台，方法包括：

通过所述深度相机内的运动传感器获取所述深度相机的多个姿态信息，依据所述多个姿态信息，获得用于将所述深度相机的当前姿态转换到预设的标准姿态的旋转矩阵；

基于所述旋转矩阵，获得所述深度相机当前姿态下的点云数据转换到所述标准姿态下对应的标准点云数据，其中，所述当前姿态下的点云数据由所述深度相机在当前姿态下拍摄的深度图像获得；

将所述多个姿态下的点云数据对应的标准点云数据进行融合，根据所述融合后的标准点云数据的空间位置计算所述载货箱体内装载货物的体积；

所述将所述多个姿态下的点云数据对应的标准点云数据进行融合包括：

将所述当前姿态下对应的标准点云数据作为初始数据放入数据集；

计算下一个姿态下的点云数据分别与所述数据集中标准点云数据的距离，

将所述距离与预设阈值进行比较，得到比较结果；

当所述比较结果为所述距离小于预设阈值时，删除所述下一个姿态下的点云数据，否则，将所述下一个姿态下的点云数据添加到所述数据集中，更新所述数据集，并返回执行计算下一个姿态下的点云数据分别与所述数据集中标准点云数据的距离直至所有姿态判断完毕。

2.根据权利要求1所述的方法，其特征在于，所述根据所述融合后的标准点云数据的空间位置计算所述载货箱体内装载货物的体积包括：

获取所述融合后的标准点云数据投影到投影平面后得到的二维投影点，

对所述二维投影点进行三角化，得到多个三角形，根据所述三角形对应的体积计算所述载货箱体内装载货物的体积。

3.根据权利要求2所述的方法，其特征在于，所述根据所述三角形对应的体积计算所述载货箱体内装载货物的体积包括：

根据所述三角形的三个顶点的二维坐标计算所述三角形的面积，

根据所述三角形的三个顶点深度值的平均值确定所述三角形对应的高，

由所述三角形的面积和高的乘积得到所述三角形对应的体积，

根据所有所述三角形对应的体积，获得体积之和，由所述体积之和得到所述载货箱体内装载货物的体积。

4.根据权利要求1所述的方法，其特征在于，所述通过所述深度相机内的运动传感器获取所述深度相机的多个姿态信息包括：

通过所述深度相机内的加速度传感器获取所述深度相机的多个姿态信息；

所述依据所述多个姿态信息，获得用于将所述深度相机的当前姿态转换到预设的标准姿态的旋转矩阵包括：

利用第一加速度数据和第二加速度数据计算用于姿态转换的旋转轴和旋转角度，所述第一加速度数据与当前姿态对应，所述第二加速度数据与预设的标准姿态对应；

根据所述旋转轴和所述旋转角度计算得到所述旋转矩阵。

5.根据权利要求4所述的方法，其特征在于，所述计算用于姿态转换的旋转轴和旋转角度包括：

由所述第一加速度数据和所述第二加速度数据的外积向量，获得所述旋转轴信息，

由所述第一加速度数据和所述第二加速度数据的内积，获得所述旋转角度的反余弦函数，求解所述旋转角度的反余弦函数得到所述旋转角度。

6.根据权利要求1所述的方法，其特征在于，所述基于所述旋转矩阵，获得所述深度相机当前姿态下的点云数据转换到所述标准姿态下对应的标准点云数据包括：

根据所述深度相机的内参和外参，确定所述深度相机当前姿态下的点云数据中各点的三维空间位置坐标，

通过所述旋转矩阵与所述三维空间位置坐标的乘积，获得标准姿态下对应的标准点云数据的三维空间位置坐标。

7.根据权利要求1所述的方法，其特征在于，所述通过所述深度相机内的运动传感器获取所述深度相机的多个姿态信息包括：

通过所述运动传感器获取所述深度相机的预设数目个姿态，其中，预设数目是根据所述载货箱体的尺寸以及所述深度相机的视场角确定的。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述深度相机为TOF相机。

9.一种载货箱体内装载货物的体积测量系统，其特征在于，包括：处理设备，与所述处理设备连接的云台，

所述云台，连接和支撑深度相机，所述云台安装在所述载货箱体内部，云台转动时带动所述深度相机同步转动；

所述深度相机内具有运动传感器，所述运动传感器获取所述深度相机的多个姿态信息，将所述多个姿态信息发送给所述处理设备；

所述处理设备，依据所述多个姿态信息获得用于将所述深度相机的当前姿态转换到预设的标准姿态的旋转矩阵；基于所述旋转矩阵，获得所述深度相机当前姿态下的点云数据转换到所述标准姿态下对应的标准点云数据，其中，所述当前姿态下的点云数据由所述深度相机在当前姿态下拍摄的深度图像获得，将所述多个姿态下的点云数据对应的标准点云数据进行融合，根据所述融合后的标准点云数据的空间位置计算所述载货箱体内装载货物的体积；

所述将所述多个姿态下的点云数据对应的标准点云数据进行融合包括：

将所述当前姿态下对应的标准点云数据作为初始数据放入数据集；

计算下一个姿态下的点云数据分别与所述数据集中标准点云数据的距离，

将所述距离与预设阈值进行比较，得到比较结果；

当所述比较结果为所述距离小于预设阈值时，删除所述下一个姿态下的点云数据，否则，将所述下一个姿态下的点云数据添加到所述数据集中，更新所述数据集，并返回执行计算下一个姿态下的点云数据分别与所述数据集中标准点云数据的距离直至所有姿态判断完毕。

Images