CN114445469B - 无人机自主调度的物料堆垛盘点装置、系统及其方法 - Google Patents

Abstract

本发明公开了一种无人机自主调度的物料堆垛盘点装置、系统及其方法，主要包括：对当前物料堆垛进行粗略扫描，获得粗略总体数据；基于粗略总体数据与总体索引数据，确定物料堆垛的变化区域；对变化区域进行精细扫描，获得精细总体数据；将精细总体数据与粗略总体数据进行配准，更新空间形态模型；基于更新空间形态模型，获得当前物料堆垛的体积和重量，通过本发明的方法可降低扫描数据量和处理负荷，以及提高物料堆垛盘点的及时性和对物料堆垛的变化快速进行响应，从而减低成本和调度难度。

Description

无人机自主调度的物料堆垛盘点装置、系统及其方法

技术领域

本发明涉及地形勘测技术领域，特别涉及一种无人机自主调度的物料堆垛盘点装置、系统及其方法。

背景技术

现有技术中，利用无人机搭载激光扫描设备，对煤堆等占据大型物料堆垛，进行空间形态的测量，进而实现物料体积、重量的盘点以及分层建模分析。

其中，通常对大型料堆进行一次完整、详细的三维扫描，所经历的飞行过程会比较长，航线还必须具备一定的重合率，才能准确采集信息；且采集的三维点云数据量很大，后期运算处理量也相应很大。因此，整个扫描过程和后期数据处理都耗时较长，会降低物料堆垛盘点的及时性，不能对物料堆垛的变化快速进行响应。而且无人机的续航能力有限，还涉及到无人机反复返航充电或者调用多台无人机的问题，增大了调度难度和硬件成本。

如专利号为ZL202111075549.3（公布号为CN113776617A）的中国发明专利“一种粮仓内物料体积实时测量方法”，提供了一种在目标料仓外侧或上方安装激光雷达设备，实时扫描获取目标料仓内物料表面的三维激光点云，与料仓三维模型进行自动刚体变换配准，实现点云和料仓的坐标系统一。对料仓进行任意分区，基于点云和模型计算各分区内物料体积，之和即为料仓内物料的当前体积，连续测量获得按时间序列的实时各分区体积和对应的总体积。统计一个时间段实时数据，计算物料的密度。计算结果通过通讯上传上位机，每个分区根据出料装置的运动时刻，测得出料动作前后的各分区体积变化值，从实时元体积变化值修正出料需求，从而修正出料速度。

发明内容

（一）发明目的

鉴于上述问题，本发明的目的是提出一种无人机自主调度的物料堆垛盘点装置、系统及其方法，可降低扫描数据量和处理负荷，以及提高物料堆垛盘点的及时性和对物料堆垛的变化快速进行响应，从而减低成本和调度难度，本发明公开了以下技术方案。

（二）技术方案

作为本发明的第一方面，本发明公开了一种无人机自主调度的物料堆垛盘点方法，包括：

对当前物料堆垛进行粗略扫描，获得粗略总体数据；

基于所述粗略总体数据与总体索引数据，确定所述物料堆垛的变化区域；

对所述变化区域进行精细扫描，获得精细总体数据；

将所述精细总体数据与所述粗略总体数据进行配准，更新空间形态模型；

基于所述更新空间形态模型，获得当前物料堆垛的体积和重量。

在一种可能的实施方式中，所述对当前物料堆垛进行粗略扫描，获得粗略总体数据，之前还包括：

对初始物料堆垛进行精细扫描，获得初始点云数据；

基于所述初始点云数据，构建初始的空间形态模型；

根据所述初始的空间形态模型，建构空间形态模型的总体索引数据。

在一种可能的实施方式中，所述建构空间形态模型的总体索引数据，具体包括：

对初始的空间形态模型进行网格划分；

对每个网格中的点云数据进行采样，获得单网格索引点数据；

根据所有单网格索引点数据，构建空间形态模型的总体索引数据。

在一种可能的实施方式中，所述确定所述物料堆垛的变化区域，具体包括：

计算每个三角网格中粗略总体数据点云和总体索引数据点云的平均差值，若平均差值大于等于阈值时，则标记为变化网格；

将标记的变化网格进行合并后形成的总体变化网格，若总体变化网格的面积大于等于面积阈值，则标记为一个变化区域。

在一种可能的实施方式中，所述将所述精细总体数据与所述粗略总体数据进行配准，具体包括：

利用ICP算法进行配准，其表达式为：

式中：n为最邻近点对的个数，

为目标点云P中的一点，

为源点云Q中与

对应的最近点，R为旋转矩阵，t为平移向量。

在一种可能的实施方式中，所述将所述精细总体数据与所述粗略总体数据进行配准，具体还包括：

在ICP算法配准之前，先通过NDT对所述精细总体数据的点云距离集的姿态进行粗调整。

在一种可能的实施方式中，所述获得当前物料堆垛的体积和重量，具体包括：

利用三角网格剖分，将物料堆垛的三维点云数据分为若干个三角网格；

计算每个三角网格的体积，并累计和，获得当前物料堆垛的体积和重量。

作为本发明的第二方面，本发明还公开了一种无人机自主调度的物料堆垛盘点系统，包括：

无人机，所述无人机用于对当前物料堆垛进行粗略或精细扫描，获得粗略总体数据、精细总体数据或初始点云数据；

处理模块，所述处理模块用于基于所述粗略总体数据与总体索引数据，确定所述物料堆垛的变化区域；

更新模块，所述更新模块用于将所述精细总体数据与所述粗略总体数据进行配准，更新空间形态模型；

盘点模块，所述盘点模块基于所述更新空间形态模型，获得当前物料堆垛的体积和重量。

在一种可能的实施方式中，还包括：

构建模块，所述构建模块用于基于所述初始点云数据，构建初始的空间形态模型；以及根据所述初始的空间形态模型，建构空间形态模型的总体索引数据。

作为本发明的第三方面，本发明还公开了一种无人机自主调度的物料堆垛盘点装置，包括：

无人机，所述无人机用于对当前物料堆垛进行粗略或精细扫描，获得粗略总体数据、精细总体数据或初始点云数据；

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

基于所述粗略总体数据与总体索引数据，确定所述物料堆垛的变化区域；

将所述精细总体数据与所述粗略总体数据进行配准，更新空间形态模型；

基于所述更新空间形态模型，获得当前物料堆垛的体积和重量。

（三）有益效果

本发明公开的一种无人机自主调度的物料堆垛盘点装置、系统及其方法，具有如下有益效果：

通过对物料堆垛建立初始状态下的空间形态模型和总体索引数据之后，定期的对物料堆垛进行盘点，在盘点过程中，将获得的粗略总体数据与总体索引数据进行配准，确定变化区域，以及变化区域的GPS坐标位置，根据GPS坐标位置对其区域进行精细扫描，获得精细总体数据，并将精细总体数据与粗略总体数据进行配准，更新空间形态模型，利用三角网格剖分和体积计算实现对物料体积和重量的盘点，从而降低扫描数据量和处理负荷，以及提高物料堆垛盘点的及时性和对物料堆垛的变化快速进行响应，从而减低成本和调度难度。

附图说明

以下参考附图描述的实施例是示例性的，旨在用于解释和说明本发明，而不能理解为对本发明的保护范围的限制。

图1是本发明公开的构建空间形态模型的总体索引数据的流程示意图；

图2是本发明公开的具体构建总体索引数据的流程示意图；

图3是本发明公开的一种无人机自主调度的物料堆垛盘点方法的流程示意图。

具体实施方式

为使本发明实施的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行更加详细的描述。

需要说明的是：在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本发明一部分实施例，而不是全部的实施例，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。

下面参考图1-3详细描述本发明公开的一种无人机自主调度的物料堆垛盘点方法的第一实施例。

如图1所示，本实施例主要包括以下步骤：

S100、对初始物料堆垛进行精细扫描，获得初始点云数据；

S200、基于初始点云数据，构建初始的空间形态模型；

S300、根据初始的空间形态模型，建构空间形态模型的总体索引数据。

如图2所示，在步骤S300中，构建空间形态模型的总体索引数据，具体包括以下步骤：

S310、对初始的空间形态模型进行网格划分；

S320、对每个网格中的点云数据进行采样，获得单网格索引点数据；

S330、根据所有单网格索引点数据，构建空间形态模型的总体索引数据。

具体地，在对物料堆垛进行盘点之前，需要对该物料堆垛的初始状态进行扫描，并建立该物料堆垛的初始空间形态模型，利用网格划分和采样，构建空间形态模型的总体索引数据。若需要对该物料堆垛进行盘点时，只需要粗略的扫描该物料堆垛即可进行盘点，从而降低了扫描数据量和处理负荷，同时也节约了时间，提高效率。

进一步，利用无人机承载三维激光扫描仪、扫描全站仪、激光雷达、立体摄像头等对物料堆垛初始形状进行精细扫描，获得该料堆的初始精细三维扫描的点云数据，先对点云数据进行预处理，例如对点云数据中的奇异点剔除、均值处理、边界识别等等，基于不规则三角网表面建模或规则网格表面建模，构建被扫描物料堆垛的三维模型，从而获得初始状态下的料堆的空间形态模型。然后，利用三角算法对空间形态模型进行网格剖分，并对剖分后的每个网格内的点云数据按照一定采样比例，即为抽取其中的索引点数据，基于所有网格中的索引点数据，构成空间形态模型的总体索引数据。

进一步，采用三角网算法将空间形态模型进行剖分，先将初始状态下空间形态模型中表面点云数据投影到水平面上去，即X-Y为水平面，在水平面X-Y中将空间形态模型中表面点云数据进行三角剖分，可将其剖为一个三角形。投影点构成的三角形与空间形态模型中表面点云数据构成的三角形一一对应，共同构成一个三棱柱，依次方法将空间形态模型中的点云数据被分为若干个三棱柱，也就是将空间形态模型分为若干个三角网格，并对构成每个三棱柱的点云数据按照后期索引点数据的特点或特征进行一定比例的采样，抽取的点云数据为该三棱柱的索引点数据，对所有划分后的三棱柱进行抽取索引点数据，并将所有索引点数据进行汇总，从而构成空间形态模型的总体索引数据。通过该总体索引数据可快速找到或产生变化的区域。

其中，不规则三角网表面建模（TIN）中的三角化（T）是离散数据的三角剖分过程，也是TIN的建立过程，位于三角形内的任意一点的高程值均可以通过三角形平面方程唯一确定；不规则性（I）用来构建TIN的采样点的分布形式；网格（N）表达整个区域的三角形分布形态，即三角形之间不能交叉和重叠，三角形之间的拓扑关系隐含其中。不规则三角网表面建模（TIN）的基本元素包括节点、边、面，其中节点表示是相邻三角形的公共顶点，也是用来构建TIN的采样数据；边指两个三角形的公共便捷，是TIN不光滑性的具体反映，边同时还包含特征线、断裂线以及区域边界；面，由最近的三个节点所组成的三角形面，是T三角化的基本单元。

进一步，在物料堆垛建立初始状态下的空间形态模型以及该物料堆垛的总体索引数据之后，定期对该物料堆垛进行盘点，例如间隔一小时对该物料堆垛进行盘点时，只需要无人机或其他设备对该物料堆垛以低分辨率进行粗略的三维扫描即可，获得该物料堆垛的粗略总体数据，其中，采用无人机快速飞掠或移动整个物料堆垛，从而降低了扫描数据量和处理负荷。

如图3所示，S400、对当前物料堆垛进行粗略扫描，获得粗略总体数据。

S500、基于粗略总体数据与总体索引数据，确定物料堆垛的变化区域。

在步骤S500中，粗略总体数据中具有无人机采集数据的GPS坐标以及高程值，将粗略总体数据与总体索引数据进行配准，从而构成确定变化区域的具体分析比较的基础。

进一步，先将粗略总体数据与总体索引数据进行配准，配准之后，计算每个三角网格中属于该三角网格中的粗略总体数据点云和总体索引数据点云的平均差值，若平均差值大于等于阈值时，则标记为变化网格，否则不标记，将所有的三角网格进行标记之后，将标记的变化网格进行合并后形成的总体变化网格，如果总体变化网格的面积大于等于面积阈值，则认为其属于一个变化区域，并确定变化区域的GPS坐标位置。

进一步，面积阈值为预先设定的数值，可根据实际情况而设定该阈值，通过设置该面积阈值而确定变化区域，以便于高效的对物料堆垛进行盘点。

S600、对变化区域进行精细扫描，获得精细总体数据。

在步骤S600中，根据步骤S500中确定的变化区域以及变化区域的GPS坐标位置，利用无人机或其它设备以更高的分辨率和更高的路线重复率对变化区域进行精细的三维扫描，使其精细点云数据更加的精确。

S700、将精细总体数据与粗略总体数据进行配准，更新空间形态模型；

在步骤S700中，将步骤S600中获得的精细总体数据与步骤S100中的粗略总体数据进行配准，使其每个粗略总体数据中的坐标点对应变化区域内的精细总体数据，并对配准后的精细总体数据，利用粗略总体数据与总体索引数据的对应关系，确定配准后的精细总体数据对应的网格区域，进而更新对应的网格区域的空间形态模型。

进一步，将步骤S600中获得的精细总体数据与步骤S400中的粗略总体数据进行配准，即为点云配准，其中点云配准的最终目的是通过一定的旋转和平移变换将不同坐标系下的2组或多组点云数据统一到同一参考坐标系下。在数据配准算法中，通常采用ICP算法进行配准，其具体为：以精细总体数据作为目标点云集合P，以粗略总体数据作为源点云Q，按照一定的约束条件，找到最近邻点

，然后计算出最优匹配参数R和t，使得误差函数最小，其中误差函数

为：

式中：n为最邻近点对的个数，

为目标点云P中的一点，

为源点云Q中与

对应的最近点，R为旋转矩阵，t为平移向量。

其中，为了使其配准速度更快，在ICP算法配准之前，先通过正态分布变化算法（NDT）对精细总体数据的点云距离集的姿态进行粗调整，其具体步骤为：

步骤1、将获得的精细总体数据作为目标点云集合P，并在其中取若干点集

；

步骤2、均匀划分目标点云集合P的三维模型空间，形成若干个格子，每个格子至少包含6个点；

步骤3、计算每个格子的中间向量

和协方差矩阵

；

式中，

为每个格子的点集，m为每个格子中点的个数。

步骤4、利用格子中的每一个数据点

的概率密度函数

，通过正态分布变换得到正态分布模型

，形成分段光滑区间表示形式：

步骤5、在目标点云集合P中， 将待配准点集 pi 每 一个点按照最优转移矩阵 G进行变换，完成目标点云距离及姿态粗调整。 其中，最优转移矩阵由最优值分数值

计算得到：

S800、基于更新空间形态模型，获得当前物料堆垛的体积和重量。

在步骤S800中，根据更新空间形态模型，利用三角网格剖分和进行体积计算，从而实现对物料体积和重量的盘点。

进一步，通过将更新空间形态模型中的三维点云数据中所有物料堆垛表面点投影到水平面上，在水平面中将物料堆垛表面点的投影点进行三角剖分，可将其剖为多个三角形，其中投影点构成的一个三角形与物料堆垛表面点构成的三角形一一对应，构成一个三棱柱，按照上述方法，将物料堆垛的三维点云数据分为若干个三棱柱，通过计算每个三棱柱的体积并累加和，即可得到整个物料堆垛的体积结果。根据物料堆垛的体积结果计算出物料堆垛的重量。

进一步，三角剖分算法是假设A是二维实数域上的有限点集，边b是由点集中的点作为端点构成的封闭线段，B是b的集合，则该点集A的一个三角剖分T=（A,B）是一个平面图F，该平面图满足的条件为：除了端点，平面图中的边不包含点集中的任何点，以及没有相交边，并且平面图中所有的面都是三角面，且所有三角面的合集是散点集A的凸包。

进一步，先计算三棱柱的高h的表达式为：

式中，

、

、

均投影点构成的三角形与物料堆垛表面点构成的三角形一一对应，共同构成一个三棱柱，取任意三个物料堆垛表面点Z坐标的高度。

在计算单个三棱柱体积的表达式为：

式中，

单个三棱柱的体积；

为将更新空间形态模型利用三角网格剖分为若干个三角网格在水平面上的三角形面积；h为三棱柱的高。

按照上述方法计算出每个三棱柱的体积，并累计加和，得到整个物料堆垛的体积，其数学表达式为：

基于同一发明构思，第二方面，本发明还提供一种无人机自主调度的物料堆垛盘点系统，包括：

无人机，无人机用于对当前物料堆垛进行粗略或精细扫描，获得粗略总体数据、精细总体数据或初始点云数据；

处理模块，处理模块用于基于粗略总体数据与总体索引数据，确定物料堆垛的变化区域；

更新模块，更新模块用于将精细总体数据与粗略总体数据进行配准，更新空间形态模型；

盘点模块，盘点模块基于更新空间形态模型，获得当前物料堆垛的体积和重量；

构建模块，构建模块用于基于初始点云数据，构建初始的空间形态模型；以及根据初始的空间形态模型，建构空间形态模型的总体索引数据。

第三方面，本发明还提供一种无人机自主调度的物料堆垛盘点装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，处理器被配置为：

基于粗略总体数据与总体索引数据，确定物料堆垛的变化区域；

将精细总体数据与粗略总体数据进行配准，更新空间形态模型；

基于更新空间形态模型，获得当前物料堆垛的体积和重量。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (5)

1.一种无人机自主调度的物料堆垛盘点方法，其特征在于，包括：

对初始物料堆垛进行精细扫描，获得初始点云数据；

基于所述初始点云数据，构建初始的空间形态模型；

根据初始的空间形态模型，构建空间形态模型的总体索引数据，其中，构建空间形态模型的总体索引数据，包括：对初始的空间形态模型进行网格划分；对每个网格中的点云数据进行采样，获得单网格索引点数据；根据所有单网格索引点数据，构建空间形态模型的总体索引数据；

对当前物料堆垛进行粗略扫描，获得粗略总体数据；

基于所述粗略总体数据与总体索引数据，确定所述物料堆垛的变化区域；

对所述变化区域进行精细扫描，获得精细总体数据；

将所述精细总体数据与所述粗略总体数据进行配准，更新空间形态模型；

基于所述更新空间形态模型，获得当前物料堆垛的体积和重量。

2.根据权利要求1所述的一种无人机自主调度的物料堆垛盘点方法，其特征在于，所述确定所述物料堆垛的变化区域，具体包括：

计算每个三角网格中粗略总体数据点云和总体索引数据点云的平均差值，若平均差值大于等于阈值时，则标记为变化网格；

将标记的变化网格进行合并后形成的总体变化网格，若总体变化网格的面积大于等于面积阈值，则标记为一个变化区域。

3.根据权利要求1所述的一种无人机自主调度的物料堆垛盘点方法，其特征在于，所述将所述精细总体数据与所述粗略总体数据进行配准，具体包括：

利用ICP算法进行配准，其表达式为：

式中：n为最邻近点对的个数，

为目标点云P中的一点，

为源点云Q中与

对应的最近点，R为旋转矩阵，t为平移向量。

4.根据权利要求3所述的一种无人机自主调度的物料堆垛盘点方法，其特征在于，所述将所述精细总体数据与所述粗略总体数据进行配准，具体还包括：

在ICP算法配准之前，先通过NDT对所述精细总体数据的点云距离集的姿态进行粗调整。

5.根据权利要求1所述的一种无人机自主调度的物料堆垛盘点方法，其特征在于，所述获得当前物料堆垛的体积和重量，具体包括：

利用三角网格剖分，将物料堆垛的三维点云数据分为若干个三角网格；

计算每个三角网格的体积，并累计和，获得当前物料堆垛的体积和重量。

Images