CN117710553A - 一种基于无人机识别的智能货垛苫盖管控系统 - Google Patents

Abstract

本发明公开了一种基于无人机识别的智能货垛苫盖管控系统，涉及堆料场管控图像的生成和处理领域，包括多基站无源定位系统、基于多基站无源定位系统的图像处理单元、基于多基站无源定位系统和图像处理单元的数据分析模块、基于数据分析模块的货场动态管控单元。该基于无人机识别的智能货垛苫盖管控系统，利于显示界面的构建，具有更加通透的显示效果，便于对货垛苫盖情况进行高效管控；该基于无人机识别的智能货垛苫盖管控系统，只需使无人机对需要更新的堆料区域进行扫描，仅仅需要覆盖部分扫描数据，即可完成对货场区域的图像更新，极大的提高了对货场区域的图像更新效率，而且能够减小更新图像覆盖信息的覆盖误差。

Description

一种基于无人机识别的智能货垛苫盖管控系统

技术领域

本发明涉及堆料场管控图像的生成和处理技术领域，具体为一种基于无人机识别的智能货垛苫盖管控系统。

背景技术

近几年来沿海沿江干散货码头数量的逐渐饱和，各干散货码头面临着严峻的同质化市场竞争环境，伴随着国内劳动力成本的上升，陈旧的粗放型生产方式和管理机制，已不能适应散货码头未来发展的需要；与此同时，云服务、移动互联网应用、传感器与物联网、大数据与人工智能等技术的出现，对港口管理提出挑战的同时也带来了新的发展契机，装卸全自动化、调度智能化等逐渐成为码头发展的刚性需求。

基于干散货码头的智能货垛管控系统，即利用无人机激光扫描系统结合定位系统和现有的信息技术，形成堆料场的3D 激光模型和正射影像图，实时获取料场内的料堆信息，含料堆位置、占地面积、体积、物料种类、是否苫盖等相关信息，向用户提供料垛位置推优，为无人化散货作业设备提供直观的料场管理数据。

在利用无人机对堆货场的上方进行激光扫描时，需要依靠无人机携带激光测绘雷达和测绘相机并利用GPS定位系统，根据堆货场上空制定的巡航路径进行逐列巡飞，来构建堆料场的3D 激光模型，由于堆货场面积较大的原因，无人机巡飞行列较多、巡飞路径较长，这就导致无人机的巡飞作业时间较长，需要使无人机多次充电才能完成堆料场的3D 激光模型的构建工作。在料场管控作业中，堆料场的3D 激光模型需要频繁更新，在现有的相关技术中，依然是依赖无人机对堆料场进行全场扫描，覆盖原有的扫描数据才能达到对堆料场的3D 激光模型进行更新的目的，这就导致无人机的巡飞路径和巡飞时间太长，严重影响对货场区域的图像更新效率。

另外，现有技术利用差分运算、RTK定位、数据叠加技术并结合点云三维重构技术，将坐标进行转换，转换完成后将和平台进行图形对接，实现2D、3D堆料场图形动态显示，然后再导入堆料场相关的技术数据，来实现堆料场的管理和监控。其系统架构复杂，不利于显示界面的构建，难以直观表达货垛苫盖情况，不便于对货垛苫盖情况进行高效管控。

为此，我们提供了一种基于无人机识别的智能货垛苫盖管控系统。

发明内容

本发明为解决上述技术问题，提供如下技术方案：一种基于无人机识别的智能货垛苫盖管控系统，包括多基站无源定位系统、基于多基站无源定位系统的图像处理单元、基于多基站无源定位系统和图像处理单元的数据分析模块、基于数据分析模块的货场动态管控单元。

所述多基站无源定位系统与图像处理单元和数据分析模块无线通信。

所述多基站无源定位系统包括：

四个射频基站，四个所述射频基站呈矩形分布在堆货场的外围构成一个矩形定位空间；每个所述射频基站的顶部均设置一个黑色的圆形平面。

无人机，所述无人机上设置有激光测绘雷达和测绘相机，所述无人机用于拍摄矩形定位空间内的堆货场平面图像，所述堆货场平面图像内包含四个射频基站顶部的黑色圆形平面形成的黑色圆点，所述无人机还用于对堆料进行激光扫描获得料堆的三维图像。

多个移动电台，多个所述移动电台分别安装在无人机和盘料设备上。

定位解析模块，所述定位解析模块通过解析四个射频基站与移动电台之间的射频时差来获取无人机和盘料设备的定位信息。

所述图像处理单元用于对无人机拍摄的堆货场平面图像和料堆的三维图像进行处理，所述图像处理单元包括灰度处理器、边缘滤波处理器、高光通道滤波处理器、网格化尺寸标定处理器、三维图像渲染处理器和图像映射模块。所述网格化尺寸标定处理器用于把料堆的三维图像进行方格化处理再进行尺寸标定，形成料堆的三维坐标数据，所述三维图像渲染处理器用于把料堆的三维坐标数据生成用不同的颜色表示不同高度信息的三维图像。

所述数据分析模块与定位解析模块和网格化尺寸标定处理器电信号连接，所述数据分析模块还包括数据映射模块。

所述图像处理单元把堆货场平面图像通过灰度处理器生成灰度图像，再通过边缘滤波处理器对图像内容的边缘进行深化处理，然后再通过高光通道滤波处理器对图像进行高光处理，生成图像内容轮廓鲜明的堆货场平面线框图，然后对堆货场平面线框图进行裁剪，裁剪后的堆货场平面线框图以四个所述射频基站顶部的黑色圆形平面形成的黑色圆点中心为边角，再根据堆货场平面图像的内容轮廓，通过人工识别并描摹出矩形的堆料区块，得到一个静态的堆货场平面基准图，然后根据四个所述射频基站之间的实际距离，利用网格化尺寸标定处理器，把堆货场平面基准图进行网格化划分和网格化数据标定，生成包含有堆料区块坐标数据的静态料场基准坐标图，设为静态图层，再以静态图层为底面建立一个方格化的三维料场坐标系，所述三维料场坐标系的底面为四个所述射频基站之间构成的矩形区域，然后通过网格化尺寸标定处理器生成一个和静态图层尺寸相同的动态图层。

在图像处理单元中，所述三维图像渲染处理器根据料堆的三维坐标数据中的高维向量把料堆的三维模型渲染成不同的颜色，生成用不同的颜色表示不同高度信息的三维图像，料堆的三维图像自下而上呈红、橙、黄、绿、蓝、靛、紫的渐变色。

进一步的，所述数据分析模块结合无人机和盘料设备的定位数据，生成无人机和盘料设备的定位图标，并通过图像映射模块映射在动态图层上，所述图像映射模块根据网格化尺寸标定处理器标定的料堆的三维模型图像的标定的尺寸数据，把料堆的三维坐标模型映射在动态图层上。

进一步的，所述数据分析模块根据料堆的三维坐标数据分析料堆的占地面积数据，并通过数据映射模块和图像映射模块映射在动态图层上。

所述货场动态管控单元与数据分析模块电信号连接，所述货场动态管控单元包括堆货场信息数据库、盘料设备监控模块和无人机巡航路径规划模块。

优选的，所述盘料设备监控模块用于实时监控盘料设备的定位信息，每个所述盘料设备分别与相应的堆料区块相对应，所述无人机巡航路径规划模块根据盘料设备位置发生变化的堆料区块来规划无人机的扫描区域。

进一步的，所述无人机巡航路径规划模块根据堆料区块中轴线的坐标数据规划无人机的巡航路径，并使无人机以恒定的扫描高度在堆料区块中轴线的正上方对堆料区块进行激光扫描而获得料堆的三维图像。

在货场动态管控单元中，所述堆货场信息数据库包含对应料堆的货位信息、货名信息、货主信息、入库时间信息和苫盖信息，并通过数据映射模块和图像映射模块映射在动态图层上，所述货场动态管控单元还包括告警提示模块，所述结合盘料设备监控模块的定位信息对于未在计划指定料堆作业的盘料设备进行告警提示，告警提示信息通过数据映射模块和图像映射模块映射在动态图层上，所述动态图层与静态图层合并显示在显示设备上。

与现有技术相比，该基于无人机识别的智能货垛苫盖管控系统具备如下有益效果：

一、本发明的无源定位系统中，四个射频基站呈矩形分布在堆货场的外围构成一个矩形定位空间，每个射频基站的顶部均设置一个黑色的圆形平面，然后利用无人机用于拍摄矩形定位空间内的堆货场平面图像，堆货场平面图像内包含四个射频基站顶部的黑色圆形平面形成的黑色圆点，便于对堆货场平面图像进行后期处理，然后通过图像处理单元用于对无人机拍摄的堆货场平面图像进行处理，生成包含有堆料区块坐标数据的静态图层，再通过网格化尺寸标定处理器生成一个和静态图层尺寸相同的动态图层，然后再通过图像映射模块，把无人机的定位图标、盘料设备的定位图标、料堆的三维模型映射在动态图层上，静态图层和动态图层合并显示，有利于显示界面的构建，具有更加通透的显示效果，便于对货垛苫盖情况进行高效管控。

二、该基于无人机识别的智能货垛苫盖管控系统，只需使无人机对需要更新的堆料区域进行扫描，仅仅需要覆盖部分扫描数据，即可完成对货场区域的图像更新，极大的提高了对货场区域的图像更新效率，而且能够减小更新图像覆盖信息的覆盖误差。

三、在本发明的图像处理单元中，利用三维图像渲染处理器根据料堆的三维坐标数据中的高维向量把料堆的三维模型渲染成不同的颜色，生成用不同的颜色表示不同高度信息的三维图像，能够更加快捷地分辨把料堆的高度状态，便于对货垛苫盖情况进行高效管控。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。

附图说明

图1为本发明的系统架构示意图；

图2为本发明利用无人机拍摄矩形定位空间内的堆货场平面图像示意图；

图3为本发明通过图像处理单元对堆货场平面图像的处理效果图；

图4为本发明通过图像处理单元对堆货场平面图像的处理后生成的含有堆料区块坐标数据的静态料场基准坐标图；

图5为本发明通过图像处理单元对静态料场基准坐标图处理后得到的静态图层；

图6为本发明通过图像映射模块把料堆的三维坐标模型映射在动态图层上的示意图；

图7为本发明利用三维图像渲染处理器生成的用不同的颜色表示不同高度信息的料堆的三维图像。

图中：

1、多基站无源定位系统；11、射频基站；12、移动电台；13、无人机；14、定位解析模块；

2、图像处理单元；21、灰度处理器；22、边缘滤波处理器；23、高光通道滤波处理器；24、网格化尺寸标定处理器；25、三维图像渲染处理器；26、图像映射模块；

3、数据分析模块；31、数据映射模块；

4、货场动态管控单元；41、堆货场信息数据库；42、盘料设备监控模块；43、无人机巡航路径规划模块；44、告警提示模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-7，本发明提供一种技术方案：一种基于无人机识别的智能货垛苫盖管控系统，包括多基站无源定位系统1、基于多基站无源定位系统1的图像处理单元2、基于多基站无源定位系统1和图像处理单元2的数据分析模块3、基于数据分析模块3的货场动态管控单元4。

多基站无源定位系统1与图像处理单元2和数据分析模块3无线通信。

多基站无源定位系统1包括：

四个射频基站11，四个射频基站11呈矩形分布在堆货场的外围构成一个矩形定位空间；每个射频基站11的顶部均设置一个黑色的圆形平面。四个射频基站11之间具有一定的高度差，以满足高精度定位的技术要求。

无人机13，无人机13上设置有激光测绘雷达和测绘相机，无人机13用于拍摄矩形定位空间内的堆货场平面图像，堆货场平面图像内包含四个射频基站11顶部的黑色圆形平面形成的黑色圆点，无人机13还用于对堆料进行激光扫描获得料堆的三维图像。

多个移动电台12，多个移动电台12分别安装在无人机13和盘料设备上。

定位解析模块14，定位解析模块14通过解析四个射频基站11与移动电台12之间的射频时差来获取无人机13和盘料设备的定位信息。

在多基站无源定位系统1中，射频基站11和移动电台12之间的定位技术可参考中国专利公开说明书CN112180320A，本申请中不做详述。

图像处理单元2用于对无人机13拍摄的堆货场平面图像和料堆的三维图像进行处理，图像处理单元2包括灰度处理器21、边缘滤波处理器22、高光通道滤波处理器23、网格化尺寸标定处理器24、三维图像渲染处理器25和图像映射模块26，网格化尺寸标定处理器24用于把料堆的三维图像进行方格化处理再进行尺寸标定，形成料堆的三维坐标数据，三维图像渲染处理器25用于把料堆的三维坐标数据生成用不同的颜色表示不同高度信息的三维图像。

数据分析模块3与定位解析模块14和网格化尺寸标定处理器24电信号连接，数据分析模块3还包括数据映射模块31。

图像处理单元2把堆货场平面图像通过灰度处理器21生成灰度图像，再通过边缘滤波处理器22对图像内容的边缘进行深化处理，然后再通过高光通道滤波处理器23对图像进行高光处理，生成图像内容轮廓鲜明的堆货场平面线框图，请着重参阅图2和图3。然后对堆货场平面线框图进行裁剪，裁剪后的堆货场平面线框图以四个射频基站11顶部的黑色圆形平面形成的黑色圆点中心为边角，再根据堆货场平面图像的内容轮廓，通过人工识别并描摹出矩形的堆料区块，得到一个静态的堆货场平面基准图，请着重参阅图4和图5。然后根据四个射频基站11之间的实际距离，利用网格化尺寸标定处理器24，把堆货场平面基准图进行网格化划分和网格化数据标定，生成包含有堆料区块坐标数据的静态料场基准坐标图，设为静态图层，再以静态图层为底面建立一个方格化的三维料场坐标系，三维料场坐标系的底面为四个射频基站11之间构成的矩形区域，然后通过网格化尺寸标定处理器24生成一个和静态图层尺寸相同的动态图层。网格化尺寸的标定值可设为0.2米。

在图像处理单元2中，三维图像渲染处理器25根据料堆的三维坐标数据中的高维向量把料堆的三维模型渲染成不同的颜色，生成用不同的颜色表示不同高度信息的三维图像，料堆的三维图像自下而上呈红、橙、黄、绿、蓝、靛、紫的渐变色。能够更加快捷地分辨把料堆的高度状态，便于对货垛苫盖情况进行高效管控。参阅图7。

其中，数据分析模块3结合无人机13和盘料设备的定位数据，生成无人机13和盘料设备的定位图标，并通过图像映射模块26映射在动态图层上，图像映射模块26根据网格化尺寸标定处理器24标定的料堆的三维模型图像的标定的尺寸数据，把料堆的三维坐标模型映射在动态图层上，如图6所示。

在上述的方案中，便于使料堆的三维坐标模型与堆料区块的坐标区域相匹配，能够更加直观地显示料堆的三维坐标模型。

其中，数据分析模块3根据料堆的三维坐标数据分析料堆的占地面积数据，并通过数据映射模块31和图像映射模块26映射在动态图层上。

货场动态管控单元4与数据分析模块3电信号连接，货场动态管控单元4包括堆货场信息数据库41、盘料设备监控模块42和无人机巡航路径规划模块43。

上述的盘料设备监控模块42用于实时监控盘料设备的定位信息，每个盘料设备分别与相应的堆料区块相对应，无人机巡航路径规划模块43根据盘料设备位置发生变化的堆料区块来规划无人机13的扫描区域。通过该方案，只需使无人机13对需要更新的堆料区域进行扫描，仅仅需要覆盖部分扫描数据，即可完成对货场区域的图像更新，极大的提高了对货场区域的图像更新效率。

其中，无人机巡航路径规划模块43根据堆料区块中轴线的坐标数据规划无人机13的巡航路径，并使无人机13以恒定的扫描高度在堆料区块中轴线的正上方对堆料区块进行激光扫描而获得料堆的三维图像。以减小更新图像覆盖信息的覆盖误差。

在货场动态管控单元4中，堆货场信息数据库41包含对应料堆的货位信息、货名信息、货主信息、入库时间信息和苫盖信息，并通过数据映射模块31和图像映射模块26映射在动态图层上，货场动态管控单元4还包括告警提示模块44，45结合盘料设备监控模块42的定位信息对于未在计划指定料堆作业的盘料设备进行告警提示，告警提示信息通过数据映射模块31和图像映射模块26映射在动态图层上，动态图层与静态图层合并显示在显示设备上。

工作原理：本发明的多基站无源定位系统1中，四个射频基站11呈矩形分布在堆货场的外围构成一个矩形定位空间，每个射频基站11的顶部均设置一个黑色的圆形平面，然后利用无人机13用于拍摄矩形定位空间内的堆货场平面图像，堆货场平面图像内包含四个射频基站11顶部的黑色圆形平面形成的黑色圆点，便于对堆货场平面图像进行后期处理，然后通过图像处理单元2用于对无人机13拍摄的堆货场平面图像进行处理，生成包含有堆料区块坐标数据的静态图层，再通过网格化尺寸标定处理器24生成一个和静态图层尺寸相同的动态图层，然后再通过图像映射模块26，把无人机13的定位图标、盘料设备的定位图标、料堆的三维模型映射在动态图层上，静态图层和动态图层合并显示，有利于显示界面的构建，具有更加通透的显示效果，便于对货垛苫盖情况进行高效管控，其他的实施方案和实施效果均在上述的实施方案中示出。

在上述实施方案的基础上，本发明中所提及的处理器、模块、相应的控制程序、算法程序及其他的配套技术，均可结合现有的电气技术、信息技术、软件技术和通用协议进行实施，不在本发明要求的保护范围内，本申请不作详述。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (7)

1.一种基于无人机识别的智能货垛苫盖管控系统，包括多基站无源定位系统（1）、基于多基站无源定位系统（1）的图像处理单元（2）、基于多基站无源定位系统（1）和图像处理单元（2）的数据分析模块（3）、基于数据分析模块（3）的货场动态管控单元（4），其特征在于：

所述多基站无源定位系统（1）包括：

四个射频基站（11），四个所述射频基站（11）呈矩形分布在堆货场的外围构成一个矩形定位空间；每个所述射频基站（11）的顶部均设置一个黑色的圆形平面；

无人机（13），所述无人机（13）用于拍摄矩形定位空间内的堆货场平面图像，所述堆货场平面图像内包含四个射频基站（11）顶部的黑色圆形平面形成的黑色圆点，所述无人机（13）还用于对堆料进行激光扫描获得料堆的三维图像；

多个移动电台（12），多个所述移动电台（12）分别安装在无人机（13）和盘料设备上；

定位解析模块（14），所述定位解析模块（14）通过解析四个射频基站（11）与移动电台（12）之间的射频时差来获取无人机（13）和盘料设备的定位信息；

所述图像处理单元（2）用于对无人机（13）拍摄的堆货场平面图像和料堆的三维图像进行处理，所述图像处理单元（2）包括灰度处理器（21）、边缘滤波处理器（22）、高光通道滤波处理器（23）、网格化尺寸标定处理器（24）、三维图像渲染处理器（25）和图像映射模块（26），所述网格化尺寸标定处理器（24）用于把料堆的三维图像进行方格化处理再进行尺寸标定，形成料堆的三维坐标数据，所述三维图像渲染处理器（25）用于把料堆的三维坐标数据生成用不同的颜色表示不同高度信息的三维图像；

所述数据分析模块（3）与定位解析模块（14）和网格化尺寸标定处理器（24）电信号连接，所述数据分析模块（3）还包括数据映射模块（31）；

所述图像处理单元（2）把堆货场平面图像通过灰度处理器（21）生成灰度图像，再通过边缘滤波处理器（22）对图像内容的边缘进行深化处理，然后再通过高光通道滤波处理器（23）对图像进行高光处理，生成图像内容轮廓鲜明的堆货场平面线框图，然后对堆货场平面线框图进行裁剪，裁剪后的堆货场平面线框图以四个所述射频基站（11）顶部的黑色圆形平面形成的黑色圆点中心为边角，再根据堆货场平面图像的内容轮廓，通过人工识别并描摹出矩形的堆料区块，得到一个静态的堆货场平面基准图，然后根据四个所述射频基站（11）之间的实际距离，利用网格化尺寸标定处理器（24），把堆货场平面基准图进行网格化划分和网格化数据标定，生成包含有堆料区块坐标数据的静态料场基准坐标图，设为静态图层，再以静态图层为底面建立一个方格化的三维料场坐标系，所述三维料场坐标系的底面为四个所述射频基站（11）之间构成的矩形区域，然后通过网格化尺寸标定处理器（24）生成一个和静态图层尺寸相同的动态图层；

所述货场动态管控单元（4）与数据分析模块（3）电信号连接，所述货场动态管控单元（4）包括堆货场信息数据库（41）、盘料设备监控模块（42）和无人机巡航路径规划模块（43）。

2.根据权利要求1所述的一种基于无人机识别的智能货垛苫盖管控系统，其特征在于：所述三维图像渲染处理器（25）根据料堆的三维坐标数据中的高维向量把料堆的三维模型渲染成不同的颜色，生成用不同的颜色表示不同高度信息的三维图像，料堆的三维图像自下而上呈红、橙、黄、绿、蓝、靛、紫的渐变色。

3.根据权利要求1所述的一种基于无人机识别的智能货垛苫盖管控系统，其特征在于：所述盘料设备监控模块（42）用于实时监控盘料设备的定位信息，每个所述盘料设备分别与相应的堆料区块相对应，所述无人机巡航路径规划模块（43）根据盘料设备位置发生变化的堆料区块来规划无人机（13）的扫描区域。

4.根据权利要求1所述的一种基于无人机识别的智能货垛苫盖管控系统，其特征在于：所述无人机巡航路径规划模块（43）根据堆料区块中轴线的坐标数据规划无人机13的巡航路径，并使无人机13以恒定的扫描高度在堆料区块中轴线的正上方对堆料区块进行激光扫描而获得料堆的三维图像。

5.根据权利要求1所述的一种基于无人机识别的智能货垛苫盖管控系统，其特征在于：所述数据分析模块（3）结合无人机（13）和盘料设备的定位数据，生成无人机（13）和盘料设备的定位图标，并通过图像映射模块（26）映射在动态图层上，所述图像映射模块（26）根据网格化尺寸标定处理器（24）标定的料堆的三维模型图像的标定的尺寸数据，把料堆的三维坐标模型映射在动态图层上。

6.根据权利要求1所述的一种基于无人机识别的智能货垛苫盖管控系统，其特征在于：所述数据分析模块（3）根据料堆的三维坐标数据分析料堆的占地面积数据，并通过数据映射模块（31）和图像映射模块（26）映射在动态图层上。

7.根据权利要求1所述的一种基于无人机识别的智能货垛苫盖管控系统，其特征在于：所述堆货场信息数据库（41）包含对应料堆的货位信息、货名信息、货主信息、入库时间信息和苫盖信息，并通过数据映射模块（31）和图像映射模块（26）映射在动态图层上，所述货场动态管控单元（4）还包括告警提示模块（44），所述（45）结合盘料设备监控模块（42）的定位信息对于未在计划指定料堆作业的盘料设备进行告警提示，告警提示信息通过数据映射模块（31）和图像映射模块（26）映射在动态图层上。