CN111915668A - 无人机辅助料堆作业监测方法、装置、终端和介质 - Google Patents

无人机辅助料堆作业监测方法、装置、终端和介质 Download PDF

Info

Publication number
CN111915668A
CN111915668A CN202010747688.5A CN202010747688A CN111915668A CN 111915668 A CN111915668 A CN 111915668A CN 202010747688 A CN202010747688 A CN 202010747688A CN 111915668 A CN111915668 A CN 111915668A
Authority
CN
China
Prior art keywords
material pile
information
aerial vehicle
unmanned aerial
pile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010747688.5A
Other languages
English (en)
Other versions
CN111915668B (zh
Inventor
柴彬
陈耀忠
周俊明
李伟伟
张开友
施东伶
陈梦丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MCC Baosteel Technology Services Co Ltd
Original Assignee
MCC Baosteel Technology Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MCC Baosteel Technology Services Co Ltd filed Critical MCC Baosteel Technology Services Co Ltd
Priority to CN202010747688.5A priority Critical patent/CN111915668B/zh
Publication of CN111915668A publication Critical patent/CN111915668A/zh
Application granted granted Critical
Publication of CN111915668B publication Critical patent/CN111915668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06313Resource planning in a project environment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Astronomy & Astrophysics (AREA)
  • Game Theory and Decision Science (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种无人机辅助料堆作业监测方法、装置、设备和存储介质,所述方法包括通过无人机控制端控制所述无人机执行飞行任务和监测任务,获得料堆的第一图像和定位信息,进而获得料堆的第二图像;基于所述料堆的第二图像,提取料堆空间信息,并通过检测所述料堆空间信息是否符合料堆作业要求,判定料堆作业是否准确,从而实现了对料堆作业的监测,大大地降低了料场管理的工作强度,避免了料场环境带来的工作人员身体健康和人身安全的隐患,有效地提升了料场管理的效率,从而使得料场管理更加快速、便捷、高效和有序,而且还减少了人为因素造成的料堆管理或料堆作业失误,进一步提升料场管理的效率和准确性。

Description

无人机辅助料堆作业监测方法、装置、终端和介质
技术领域
本发明涉及料场监控技术领域,尤其涉及一种无人机辅助料堆作业监测方法、装置、终端和存储介质。
背景技术
料场作为堆放矿料、煤炭、砂石等物料的场所,承担着储存和中转物料的任务,在生产过程中,始终处于矿物堆积、装驳运的动态过程。为保证料场工作的规范和有序开展,需要进行料场管理,主要包括巡视料场是否规范,检查料堆是否正确,监督堆取料机司机、转驳料司机等人员的工作情况。目前,料场管理主要是通过人工巡视和监督实现,即设立专门的管理人员对料场进行管理。
然而,通过人工巡视和监督的方式,需要人工估测堆料位置、估测料堆体积和高度等,则获得的数据结果误差较大,易受人的因素影响,当操作不当时容易出现错误;并且,这种方式对工作人员的工作经验和工作技能要求较高,以及存在工作人员的工作强度大,工作效率较低等问题。当料场区域较大或生产作业繁忙时,如果要全面管控,往往需要投入大量人员,则人力成本会大大提升;否则,则可能会引发料堆位置错误或混料等生产事故。此外,料场的工作环境往往存在粉尘、噪音、机械作业等影响甚至危害员工健康及人身安全的因素,长时间在料场作业容易存在较大安全风险及职业健康风险。因此,如何实现料场的自动化和智能化管理,已成为目前亟待解决的技术问题。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种无人机辅助料堆作业监测方法、装置、终端和存储介质,可以解决现有的人工料场管理方式存在的工作强度大、效率低、人工料堆估测结果误差较大且易出现错误,以及工作环境存在健康和安全隐患等问题。
为实现上述目的及其他相关目的,本发明第一方面提供一种无人机辅助料堆作业监测方法,应用于无人机控制端,所述无人机控制端与所述无人机交互;所述无人机包括图像采集单元和定位单元,所述方法包括:接收待监测料堆的监测任务信息和飞行配置信息;所述监测任务信息包括所述待监测料堆的料堆位置信息和待监测的料堆作业类型;根据所述料堆位置信息和飞行配置信息生成飞行指令;根据所述料堆作业类型生成监测任务指令;发送所述飞行指令和所述监测任务指令至所述无人机,以使所述无人机根据所述飞行指令执行飞行任务,和根据所述监测任务指令执行料堆监测;所述料堆监测包括通过所述图像采集单元采集料堆的第一图像,和通过所述定位单元获取与所述第一图像相关的定位数据;接收所述无人机返回的所述第一图像和所述定位数据,基于所述定位数据对所述第一图像进行处理,获得包含空间坐标信息的第二图像;基于所述第二图像,提取与所述料堆作业类型相关的料堆空间信息;所述料堆空间信息至少包括料堆的高度信息、坐标信息和周长信息中的一种或多种。
于本发明一实施例中,于基于所述第二图像,提取与所述料堆作业类型相关的料堆空间信息之后,所述方法还包括:检测所述料堆空间信息是否符合所述料堆作业类型对应的空间信息要求;如否,则判定料堆作业有误,并生成警示信号。
于本发明一实施例中,所述基于所述第二图像,提取与所述料堆作业类型相关的料堆空间信息,包括:基于所述第二图像,采用三维建模的方法获得料堆的体积信息。
于本发明一实施例中,当料堆的作业类型为合堆或拆堆时,提取的所述料堆空间信息包括料堆的高度信息,则所述检测所述料堆空间信息是否符合所述料堆作业类型对应的空间信息要求,包括:检测进行合堆或拆堆的各所述料堆的高度信息,和相邻两个料堆的高度差是否符合所述料堆作业类型对应的空间信息要求。
于本发明一实施例中,当料堆作业类型为搬运时,提取的所述料堆空间信息包括料堆的坐标信息和料堆的体积信息,所述检测所述料堆空间信息是否符合所述料堆作业类型对应的空间信息要求,包括:检测搬运前和搬运后的所述料堆的坐标信息,和搬运料堆的体积信息是符合所述料堆搬运作业中的要求。
于本发明一实施例中,所述定位单元包括RTK接收器和/或PPK接收器。
本发明第二方面提供一种无人机辅助料堆作业监测装置,应用于无人机控制端,所述无人机控制端与所述无人机交互;所述无人机包括图像采集单元和定位单元,所述装置包括:任务接收模块,用于接收待监测料堆的监测任务信息和飞行配置信息;所述监测任务信息包括所述待监测料堆的位置信息和待监测的料堆作业类型;任务生成模块,用以根据所述位置信息和飞行配置信息生成飞行指令,和根据所述料堆作业类型生成监测任务指令;任务发送模块,用于发送所述飞行指令和所述监测任务指令至所述无人机,以使所述无人机根据所述飞行指令执行飞行任务,和根据所述监测任务指令执行料堆监测;所述料堆监测包括通过所述图像采集单元采集的料堆的第一图像,通过定位单元获取的与所述第一图像相关的定位数据;数据处理模块,用于接收所述无人机返回的所述第一图像和所述定位数据,基于所述定位数据对所述第一图像进行处理,获得包含空间坐标信息的第二图像;料堆信息提取模块,用于基于所述第二图像,提取与所述料堆作业类型相关的料堆空间信息;所述料堆空间信息至少包括料堆的高度信息、坐标信息和周长信息中的一种或多种。
于本发明一实施例中,所述无人机辅助料堆作业监测装置还包括:检测模块,用于检测所述料堆空间信息是否符合所述料堆作业类型对应的空间信息要求;如否,则判定料堆作业有误,并生成警示信号。
于本发明一实施例中,所述料堆信息提取模块还包括:体积提取子模块,用于基于所述第二图像,采用三维建模的方法获得料堆的体积信息。
本发明第三方面提供一种无人机辅助料堆作业监测的终端,包括:处理器及存储器;所述存储器用于存储计算机程序,所述处理器用于执行所述存储器存储的计算机程序,以使所述终端设备执行如上所述的无人机辅助料堆作业监测方法。
本发明四方面提供一种计算机存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的无人机辅助料堆作业监测方法。
如上所述,本发明所述的无人机辅助料堆作业监测方法、装置、终端和存储介质,具有以下有益效果:通过无人机控制端控制所述无人机执行飞行任务和监测任务,获得料堆的第一图像和定位信息,进而获得料堆的第二图像;基于所述料堆的第二图像,提取料堆的空间信息,可以快速、高效地获得料堆的空间信息,大大地降低了料场管理的工作强度,避免了因料场环境带来的工作人员的身体健康和人身安全的隐患,有效地提升了料场管理的效率,从而使得料场管理更加快速、便捷、高效和有序;通过检测所述料堆空间信息是否符合料堆作业要求,判定料堆作业是否准确,从而实现了对料堆作业监测的信息化和自动化,减少了人为因素造成的料堆管理或料堆作业失误,进一步提升料场管理的效率和准确性。
附图说明
图1显示为本发明实施例一提供的所述无人机辅助料堆作业监测的流程示意图;
图2显示为本发明实施例二提供的所述无人机辅助料堆作业监测的流程示意图;
图3显示为本发明实施例三提供的所述无人机辅助料堆作业监测装置的结构框架图。
元件标号说明
300 无人机辅助料堆作业监测装置
310 任务接收模块
320 任务生成模块
330 任务发送模块
340 数据处理模块
350 料堆信息提取模块
351 体积提取子模块
360 检测模块
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式。
实施例1
请参阅图1,显示为本发明所述无人机辅助料堆作业监测方法于实施例1中的流程示意图,应用于无人机控制端。通过所述无人机控制端与所述无人机交互,实现对料场内料堆作业过程的监测。其中,所述无人机包括图像采集单元和定位单元;所述图像采集单元包括摄像头,用于采集料场的图像信息;所述定位单元包括定位接收器,用于实现料堆空间信息的获取。
为获取精确的料堆空间信息以及实现料堆的精准化管理,于本实施例中,述定位单元包括为RTK接收器和/或PPK接收器。优选的,所述定位单元为PPK接收器,相比于RTK,采用后处理差分技术,扩展了无人机和基准站之间的距离,可以大大延伸无人机的监测范围。
如1图所示,所述无人机辅助料堆作业监测方法包括:
S101,接收待监测料堆的监测任务信息和飞行配置信息;所述监测任务信息包括所述待监测料堆的料堆位置信息和料堆作业类型;根据所述料堆位置信息和飞行配置信息生成飞行指令;根据所述料堆作业类型生成监测任务指令。
其中,所述料堆位置信息包括待监测料堆的坐标信息,包括料堆的中心点坐标或角点坐标等;当待监测料堆为多个时,则所述料堆位置信号则包括多个料堆的所述坐标信息。所述飞行配置信息包括但不限于飞行高度、航向、航速和旁向重叠率中的一种或多种信息;所述料堆作业类型为待监测料堆的作业内容,包括但不限于料堆合堆、料堆拆堆和料堆搬运。
具体的,所述无人机控制端根据接收到的所述料堆位置信息,和所述飞行配置信息,设计无人机的飞行线路;基于所述飞行线路,生成对应的飞行指令;以及所述无人机控制端根据所述料堆的作业类型,确定料堆的监测时间、监测频率和监测角度等监测参数,基于所述监测参数,生成监测任务指令。
S102,发送所述飞行指令和所述监测任务指令至所述无人机;所述无人机根据所述飞行指令执行飞行任务,以及根据所述监测任务指令执行料堆监测,获得料堆的监测数据,并返回所述监测数据。
所述料堆监测包括通过所述图像采集单元采集料堆的第一图像,和通过所述定位单元获取与所述第一图像相关的定位数据。所述监测数据包括第一图像,和与所述第一图像相关的定位数据。
于本实施例中,所述无人机接收所述飞行指令,根据所述飞行指令中的飞行轨迹执行飞行任务;于执行所述飞行任务时,所述无人机根据所述监测任务指令,通过摄像头采集待监测料堆的第一图像,以及通过PPK接收机获取采集与所述第一图像对应的定位数据,并返回所述第一图像和所述定位数据。
其中,所述第一图像为不包含坐标信息的待监测料堆的图像;所述定位信息包括图像采集时间、卫星观测数据、无人机姿态数据和无人机航线数据等。
S103,接收所述无人机返回的所述第一图像和所述定位数据,基于所述定位数据对所述第一图像进行处理,获得包含空间坐标的第二图像。
具体的,所述无人机控制端接收所述无人机返回的所述第一图像和所述定位信息,根据所述定位信息和周围基准站的已知空间坐标进行后相差分计算获得POS数据,通过差值拟合等航测制图技术,基于所述第一图像、所述POS数据和像控信息等其他航测信息,获得与所述第一图像对应所述第二图像;所述第二图像包含空间坐标信息,所述空间坐标信息包括平面坐标信息和高程信息。
进一步的,于本实施例中,所述基于所述定位数据对所述第一图像进行处理,获得包含空间坐标的第二图像之后,所述无人机辅助料堆作业监测方法还包括:对所述第二图像进行图像处理,包括图像拼接、几何校准、图像增强、滤波处理和边缘检测等一种或多种,从而获得更全面、准确和清晰的料堆图像信息。
S104,基于所述第二图像,提取与所述料堆作业类型相关的料堆空间信息。
具体的,所述无人机控制端根据所述监测任务信息中的所述料堆作业类型,基于所述第二图像中的坐标信息,采用目视解译方法或图像自动识别方法获得待监测料堆的料堆分布范围,并结合信息提取技术,提取与所述料堆作业类型相关的,所述料堆分布范围内的所述料堆空间信息。
其中,所述料堆空间信息至少包括料堆的高度信息、坐标信息和周长信息中的一种或多种。
例如,根据所述第二图像中的所述待监测料堆的图像特征信息,通过所述图像自动识别方法获取料堆分布范围,根据所述第二图像的空间坐标信息,提取所述料堆分布范围内的各像素点的高度信息。
进一步的,所述基于所述第二图像,获得所述料堆空间信息,还包括:基于所述第二图像中的所述空间坐标信息,采用三维建模方法获得料堆体积信息。
其中,采用的所述三维建模方法为现有的三维建模方法,在此不再赘述。
本实施例提供的所述无人机辅助料堆作业监测方法,通过所述无人机控制端根据监测任务信息和飞行配置信息生成任务指令至所述无人机,使能所述无人机根据所述任务指令执行飞行任务和监测任务,获取料堆的监测数据,并基于所述监测数据结合待监测的料堆作业类型提取料堆空间信息,使得料堆管理更加快速、便捷、高效、有序,可以有效地降低料场管理人员的工作强度;不仅提高了料场管理的高效化和自动化,也有效避免了因料场环境带来的工作人员的身体健康和人身安全的隐患。
实施例2
请参阅图2,显示为本发明所述无人机辅助料堆作业监测方法于实施例2中的流程示意图。如图2所示,本发明所述无人机辅助料堆作业监测方法在如上所述实施例1中所述方法的基础上,于所述步骤S104之后,还包括:
S105,检测所述料堆空间信息是否符合所述料堆作业类型对应的空间信息要求;如否,则判定料堆作业有误,并生成警示信号。
所述无人机控制端根据所述监测任务信息中的所述料堆作业类型,检测所述料堆空间信息是否符合所述料堆作业类型所对应的要求;如所述料堆空间信息不符合所述料堆作业类型对应的要求,则判定该料堆作业有误,并生成警示信号。
于一具体的实施方式中,当所述料堆作业类型为合堆或拆堆时,获得的所述料堆空间信息包括各料堆的高度信息,则所述判定所述料堆空间信息是否符合所述料堆作业类型对应的空间信息要求,包括:检测进行合堆或拆堆时所述各料堆的高度信息,和相邻两个料堆的高度差是否符合所述料堆作业类型所对应的要求;如检测到的所述各料堆的高度信息和/或相邻两个料堆的高度差不符合所述料堆作业类型对应的要求,则判定该料堆作业有误,并生成警示信号。
其中,所述各料堆的高度信息包括料堆中各料堆单元的高度,和所述相邻两个料堆单元的高度差。所述各料堆单元为已堆合为单个料堆体中的各个小料堆体,即已形成的料堆体中的各个小料堆体。
于另一具体的实施方式中,当所述料堆作业类型为搬运时,获得的所述料堆空间信息包括料堆的坐标信息和料堆的体积信息,则所述判定所述料堆空间信息是否符合所述料堆作业类型对应的空间信息要求,包括:检测搬运前和搬运后的所述料堆的坐标信息,和搬运料堆的体积信息是符合所述料堆搬运作业中的要求。
其中,所述坐标信息包括料堆中心点坐标信息。
本实施例所述无人机辅助料堆作业监测方法,通过检测所述料堆空间信息,是否符合所述料堆作业对应的要求,判定待监测的料堆作业是否正确,实现了对料堆作业监测的信息化和自动化,可以有效地降低料场管理人员监测料堆作业的工作强度,还可以减少人为因素造成的料堆管理或料堆作业失误,进一步提升料场管理的效率和准确性。
实施例3
请参阅图3,图3为本发明实施例3提供的一种无人机辅助料堆作业监测装置的结构框架图,通过与无人机交互,实现对料堆作业的监测;其中,所述无人机包括图像采集单元和定位单元。
如图3所示,所述无人机辅助料堆作业监测装置300,包括:
任务接收模块310,用于接收待监测料堆的监测任务信息和飞行配置信息;所述监测任务信息包括所述待监测料堆的位置信息和待监测的料堆作业类型;
任务生成模块320,用以根据所述位置信息和飞行配置信息生成飞行指令,和根据所述料堆作业类型生成监测任务指令;
任务发送模块330,用于发送所述飞行指令和所述监测任务指令至所述无人机,以使所述无人机根据所述飞行指令执行飞行任务,以及根据所述监测任务指令执行料堆监测,获得监测数据;所述监测数据包括通过所述图像采集单元采集的料堆的第一图像,和通过所述定位单元获取的与所述图像数据相关的定位数据;
数据处理模块340,用于接收所述无人机返回的所述第一图像和所述定位数据,基于所述定位数据对所述第一图像进行图像处理,获得包含空间坐标的第二图像信息;
料堆信息提取模块350,用于基于所述处理后的所述第二图像,提取与所述监测任务指令相关的料堆空间信息;所述料堆空间信息至少包括料堆的高度信息、坐标信息和周长信息中的一种或多种。
进一步的,所述无人机辅助料堆作业监测装置300还包括:
检测模块360,用于检测所述料堆空间信息是否符合所述料堆作业类型对应的空间信息要求;如否,则判定料堆作业有误,并生成警示信号。
于一具体的实施方式中,当所述料堆作业类型为合堆或拆堆时,获得的所述料堆空间信息包括料堆高度信息,则所述判定所述料堆空间信息是否符合所述料堆作业类型对应的空间信息要求,包括:检测进行合堆或拆堆时的各所述料堆的高度信息,和相邻两个料堆的高度差是否符合所述料堆合堆作业中的要求。
其中,所述各料堆的高度信息包括料堆中各料堆单元的高度,和所述相邻两个料堆单元的高度差。所述各料堆单元为已堆合为单个料堆体中的各个小料堆体,即已形成的料堆体中的各个小料堆体。
于另一具体的实施方式中,当所述料堆作业类型为搬运时,获得的所述料堆空间信息包括料堆的坐标信息和料堆的体积信息,则所述判定所述料堆空间信息是否符合所述料堆作业类型对应的空间信息要求,包括:检测搬运前和搬运后的所述料堆的坐标信息,和搬运料堆的体积信息是符合所述料堆搬运作业中的要求。
其中,所述坐标信息包括料堆中心点坐标信息。
进一步的,所述料堆信息提取模块350还包括:
体积提取子模块351(图上未标识),用于基于所述第二图像,采用三维建模的方法获得料堆的体积信息。
实施例4
本发明还提供一种终端设备,所述设备包括:处理器、存储器、收发器、通信接口和系统总线;存储器和通信接口通过系统总线与处理器和收发器连接并完成相互间的通信,存储器用于存储计算机程序,通信接口用于和其他设备进行通信,处理器和收发器用于运行计算机程序,使处理设备执行如图2所示的所述无人机辅助料堆作业监测方法中的各个步骤。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
实施例5
本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器调用时实现如图2所示的所述无人机辅助料堆作业监测方法中。所述计算机可读存储介质可能包含随机存取存储器(Random Access Memory,简称RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
综上所述,本发明提供的所述无人机辅助料堆作业监测方法、装置、设备和存储介质,通过无人机控制端控制所述无人机执行飞行任务和监测任务,获得料堆的第一图像和定位信息,进而获得料堆的第二图像;基于所述料堆的第二图像,提取料堆的空间信息,并通过检测所述料堆空间信息是否符合料堆作业要求,判定料堆作业是否准确,从而实现了对料堆作业的监测,大大地降低了料场管理人员的工作强度,避免了因料场环境带来的工作人员的身体健康和人身安全的隐患,有效地提升了料场管理的效率,从而使得料场管理更加快速、便捷、高效和有序,而且还减少了人为因素造成的料堆管理或料堆作业失误,进一步提升料场管理的效率和准确性。本发明有效克服了现有技术中的种种缺点而具有高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (11)

1.一种无人机辅助料堆作业监测方法,其特征在于,应用于无人机控制端,所述无人机控制端与所述无人机交互;所述无人机包括图像采集单元和定位单元,所述方法包括:
接收待监测料堆的监测任务信息和飞行配置信息;所述监测任务信息包括所述待监测料堆的料堆位置信息和待监测的料堆作业类型;根据所述料堆位置信息和飞行配置信息生成飞行指令;根据所述料堆作业类型生成监测任务指令;
发送所述飞行指令和所述监测任务指令至所述无人机,以使所述无人机根据所述飞行指令执行飞行任务,和根据所述监测任务指令执行料堆监测;所述料堆监测包括通过所述图像采集单元采集料堆的第一图像,和通过所述定位单元获取与所述第一图像相关的定位数据;
接收所述无人机返回的所述第一图像和所述定位数据,基于所述定位数据对所述第一图像进行处理,获得包含空间坐标信息的第二图像;
基于所述第二图像,提取与所述料堆作业类型相关的料堆空间信息;所述料堆空间信息至少包括料堆的高度信息、坐标信息和周长信息中的一种或多种。
2.根据权利要求1所述的无人机辅助料堆作业监测方法,其特征在于,于基于所述第二图像,提取与所述料堆作业类型相关的料堆空间信息之后,所述方法还包括:检测所述料堆空间信息是否符合所述料堆作业类型对应的空间信息要求;如否,则判定料堆作业有误,并生成警示信号。
3.根据权利要求1或2所述的无人机辅助料堆作业监测方法,其特征在于,所述基于所述第二图像,提取与所述料堆作业类型相关的料堆空间信息,包括:基于所述第二图像,采用三维建模的方法获得料堆的体积信息。
4.根据权利要求2所述的无人机辅助料堆作业监测方法,其特征在于,当所述料堆作业类型为合堆或拆堆时,提取的所述料堆空间信息包括料堆的高度信息,则所述检测所述料堆空间信息是否符合所述料堆作业类型对应的空间信息要求,包括:检测进行合堆或拆堆的各所述料堆的高度信息,和相邻两个料堆的高度差是否符合所述料堆作业类型对应的空间信息要求。
5.根据权利要求2或4所述的无人机辅助料堆作业监测方法,其特征在于,当所述料堆作业类型为搬运时,提取的所述料堆空间信息包括料堆的坐标信息和料堆的体积信息,则所述检测所述料堆空间信息是否符合所述料堆作业类型对应的空间信息要求,包括:检测搬运前和搬运后的所述料堆的坐标信息,和搬运料堆的体积信息是否符合所述料堆作业类型对应的空间信息要求。
6.根据权利要求1所述的无人机辅助料堆作业监测方法,其特征在于,所述定位单元包括RTK接收器和/或PPK接收器。
7.一种无人机辅助料堆作业监测装置,应用于无人机控制端,所述无人机控制端与所述无人机交互;所述无人机包括图像采集单元和定位单元,所述无人机辅助料堆作业监测装置包括:
任务接收模块,用于接收待监测料堆的监测任务信息和飞行配置信息;所述监测任务信息包括所述待监测料堆的位置信息和待监测的料堆作业类型;
任务生成模块,用以根据所述位置信息和飞行配置信息生成飞行指令,和根据所述料堆作业类型生成监测任务指令;
任务发送模块,用于发送所述飞行指令和所述监测任务指令至所述无人机,以使所述无人机根据所述飞行指令执行飞行任务,和根据所述监测任务指令执行料堆监测;所述料堆监测包括通过所述图像采集单元采集料堆的第一图像,通过定位单元获取的与所述第一图像相关的定位数据;
数据处理模块,用于接收所述无人机返回的所述第一图像和所述定位数据,基于所述定位数据对所述第一图像进行处理,获得包含空间坐标信息的第二图像;
料堆信息提取模块,用于基于所述第二图像,提取与所述料堆作业类型相关的料堆空间信息;所述料堆空间信息至少包括料堆的高度信息、坐标信息和周长信息中的一种或多种。
8.根据权利要求7所述的无人机辅助料堆作业监测装置,其特征在于,所述无人机辅助料堆作业监测装置还包括:
检测模块,用于检测所述料堆空间信息是否符合所述料堆作业类型对应的空间信息要求;如否,则判定料堆作业有误,并生成警示信号。
9.根据权利要求7所述的无人机辅助料堆作业监测装置,其特征在于,所述料堆信息提取模块还包括:
体积提取子模块,用于基于所述第二图像,采用三维建模的方法获得料堆的体积信息。
10.一种无人机辅助料堆作业监测的终端,其特征在于,包括:处理器及存储器;
所述存储器用于存储计算机程序,所述处理器用于执行所述存储器存储的计算机程序,以使所述终端设备执行如权利要求1至6中任一项所述无人机辅助料堆作业监测方法。
11.一种计算机存储介质,所述计算机存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述无人机辅助料堆作业监测方法。
CN202010747688.5A 2020-07-28 2020-07-28 无人机辅助料堆作业监测方法、装置、终端和介质 Active CN111915668B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010747688.5A CN111915668B (zh) 2020-07-28 2020-07-28 无人机辅助料堆作业监测方法、装置、终端和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010747688.5A CN111915668B (zh) 2020-07-28 2020-07-28 无人机辅助料堆作业监测方法、装置、终端和介质

Publications (2)

Publication Number Publication Date
CN111915668A true CN111915668A (zh) 2020-11-10
CN111915668B CN111915668B (zh) 2022-11-11

Family

ID=73288207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010747688.5A Active CN111915668B (zh) 2020-07-28 2020-07-28 无人机辅助料堆作业监测方法、装置、终端和介质

Country Status (1)

Country Link
CN (1) CN111915668B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105551064A (zh) * 2015-12-08 2016-05-04 济南中维世纪科技有限公司 一种基于图像特征估计堆料体积变化率的方法
CN109003329A (zh) * 2018-08-15 2018-12-14 深圳市烽焌信息科技有限公司 一种目标货物堆监控设备及存储介质
CN109521792A (zh) * 2018-11-13 2019-03-26 贵州电网有限责任公司六盘水供电局 一种基于输变电设备三维模型的无人机地面飞行控制系统
CN109775376A (zh) * 2018-12-29 2019-05-21 上海新时达机器人有限公司 不规则随机物料的机器人拆垛方法
CN109978947A (zh) * 2019-03-21 2019-07-05 广州极飞科技有限公司 一种监控无人机的方法、装置、设备和存储介质
CN110047140A (zh) * 2019-05-30 2019-07-23 北京中盛博方环保工程技术有限公司 一种料场的无人值守系统和智能料场监控系统
CN110487184A (zh) * 2019-09-17 2019-11-22 河北唐银钢铁有限公司 无人机测量料场物料的系统及方法
CN110834963A (zh) * 2019-10-28 2020-02-25 中冶京诚工程技术有限公司 一种散料原料场中堆取料机的黑灯作业管理系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105551064A (zh) * 2015-12-08 2016-05-04 济南中维世纪科技有限公司 一种基于图像特征估计堆料体积变化率的方法
CN109003329A (zh) * 2018-08-15 2018-12-14 深圳市烽焌信息科技有限公司 一种目标货物堆监控设备及存储介质
CN109521792A (zh) * 2018-11-13 2019-03-26 贵州电网有限责任公司六盘水供电局 一种基于输变电设备三维模型的无人机地面飞行控制系统
CN109775376A (zh) * 2018-12-29 2019-05-21 上海新时达机器人有限公司 不规则随机物料的机器人拆垛方法
CN109978947A (zh) * 2019-03-21 2019-07-05 广州极飞科技有限公司 一种监控无人机的方法、装置、设备和存储介质
CN110047140A (zh) * 2019-05-30 2019-07-23 北京中盛博方环保工程技术有限公司 一种料场的无人值守系统和智能料场监控系统
CN110487184A (zh) * 2019-09-17 2019-11-22 河北唐银钢铁有限公司 无人机测量料场物料的系统及方法
CN110834963A (zh) * 2019-10-28 2020-02-25 中冶京诚工程技术有限公司 一种散料原料场中堆取料机的黑灯作业管理系统及方法

Also Published As

Publication number Publication date
CN111915668B (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
KR101699672B1 (ko) 컨테이너 크레인을 사용하여 랜딩 타깃 상에 컨테이너들을 자동적으로 랜딩하기 위한 방법 및 시스템
Mi et al. Ship identification algorithm based on 3D point cloud for automated ship loaders
KR102466940B1 (ko) 로봇 주행용 위상 지도 생성 장치 및 방법
US10083418B2 (en) Distributed autonomous robot systems and mehtods
DE112019000177T5 (de) Ein robotersystem mit automatisiertem paketregistrierungsmechanismus und verfahren zum betreiben dieses systems
Price et al. Multisensor-driven real-time crane monitoring system for blind lift operations: Lessons learned from a case study
CN111027118B (zh) 一种实测实量任务点搜索与任务派发方法及系统
CN115018903B (zh) 一种堆场料堆体积计算方法及系统
US20230080178A1 (en) Automated assessment of cracks using lidar and camera data
CN111634636A (zh) 一种斗轮机的全自动取料控制系统
CN110825832A (zh) Slam地图更新方法、装置及计算机可读存储介质
CN114494453A (zh) 基于雷达和相机的自动装卸车方法及自动装卸车系统
CN116503850A (zh) 一种识别吊物轮廓的方法、装置、设备及可读存储介质
CN111915668B (zh) 无人机辅助料堆作业监测方法、装置、终端和介质
US20190195617A1 (en) Container auto-dimensioning
CN114890280A (zh) 一种吊具的检测对准方法和装置
KR20240007160A (ko) 크레인 오퍼레이터를 지원하기 위한 시스템 및 방법
CN116002529A (zh) 基于起重设备特征的对位方法、系统、设备及存储介质
Guven et al. A rule-based methodology for automated progress monitoring of construction activities: a case for masonry work.
Shang et al. Vision Model-Based Real-Time Localization of Unmanned Aerial Vehicle for Autonomous Structure Inspection under GPS-Denied Environment
Anand et al. Grid-based localization stack for inspection drones towards automation of large scale warehouse systems
CN115586552A (zh) 一种港口轮胎吊或桥吊下无人集卡精确二次定位方法
CN115773745A (zh) 无人集卡对位方法、装置、设备及可读存储介质
CN117962876B (zh) 车辆的停靠控制方法、装置和无人车
CN113636298B (zh) 一种袋装物料装车机的码包状态检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant