CN112407283B - 基于多层次协同的无人机喷施作业方法和装置 - Google Patents

基于多层次协同的无人机喷施作业方法和装置 Download PDF

Info

Publication number
CN112407283B
CN112407283B CN202011326484.0A CN202011326484A CN112407283B CN 112407283 B CN112407283 B CN 112407283B CN 202011326484 A CN202011326484 A CN 202011326484A CN 112407283 B CN112407283 B CN 112407283B
Authority
CN
China
Prior art keywords
spraying
unmanned aerial
aerial vehicle
signal set
liquid medicine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011326484.0A
Other languages
English (en)
Other versions
CN112407283A (zh
Inventor
唐宇
骆少明
郭琪伟
庄鑫财
黄华盛
朱兴
李嘉豪
杨捷鹏
符伊晴
侯超钧
庄家俊
苗爱敏
褚璇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Polytechnic Normal University
Original Assignee
Guangdong Polytechnic Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Polytechnic Normal University filed Critical Guangdong Polytechnic Normal University
Priority to CN202011326484.0A priority Critical patent/CN112407283B/zh
Publication of CN112407283A publication Critical patent/CN112407283A/zh
Priority to US17/222,805 priority patent/US11297820B1/en
Application granted granted Critical
Publication of CN112407283B publication Critical patent/CN112407283B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M7/00—Special adaptations or arrangements of liquid-spraying apparatus for purposes covered by this subclass
    • A01M7/0089—Regulating or controlling systems
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M7/00—Special adaptations or arrangements of liquid-spraying apparatus for purposes covered by this subclass
    • A01M7/0025—Mechanical sprayers
    • A01M7/0032—Pressure sprayers
    • A01M7/0042—Field sprayers, e.g. self-propelled, drawn or tractor-mounted
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D1/00—Dropping, ejecting, releasing, or receiving articles, liquids, or the like, in flight
    • B64D1/16—Dropping or releasing powdered, liquid, or gaseous matter, e.g. for fire-fighting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D1/00—Dropping, ejecting, releasing, or receiving articles, liquids, or the like, in flight
    • B64D1/16—Dropping or releasing powdered, liquid, or gaseous matter, e.g. for fire-fighting
    • B64D1/18—Dropping or releasing powdered, liquid, or gaseous matter, e.g. for fire-fighting by spraying, e.g. insecticides
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/45—UAVs specially adapted for particular uses or applications for releasing liquids or powders in-flight, e.g. crop-dusting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Pest Control & Pesticides (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Insects & Arthropods (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Environmental Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Remote Sensing (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Biology (AREA)
  • Electromagnetism (AREA)
  • Development Economics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Educational Administration (AREA)
  • Bioinformatics & Computational Biology (AREA)

Abstract

本申请揭示了一种基于多层次协同的无人机喷施作业方法、装置、计算机设备和存储介质，所述方法包括：获取第一传感信号集；将所述第一传感信号集输入处方图生成模型中，得到第一处方图；生成待治疗植物需要的药液种类和对应的份量，并选出指定无人机；发送启动指令，以使指定无人机起飞至初始位置；得到第二传感信号集；将指定无人机的运动参数、位置参数、所述多个药液存储罐中的剩余储液量和所述第二传感信号集输入喷施策略生成模型中进行处理，得到第一喷施策略；根据第一空中喷施子策略进行空中喷施作业；根据第一地面车辆喷施子策略进行协同地面喷施作业，从而实现了基于处方图的多层次精细喷施作业。

Description

基于多层次协同的无人机喷施作业方法和装置
技术领域
本申请涉及到计算机领域，特别是涉及到一种基于多层次协同的无人机喷施作业方法、装置、计算机设备和存储介质。
背景技术
无人机，例如农药喷施无人机已应用于农业领域(例如用于喷施作业)。目前采用喷施无人机进行喷施作业，一般是喷施无人机携带药液升空，并根据预设程序飞行并进行喷施作业，直至药液用完，因此目前的喷施无人机的智能化程度低、喷施的准确性低，因此喷施的效果不佳。
发明内容
本申请提出一种基于多层次协同的无人机喷施作业方法，包括以下步骤：
S1、获取架空输电线路上的巡回机器人发送的第一传感信号集，其中所述第一传感信号集由所述巡回机器人上预设的第一传感器阵列对预设的指定空间区域进行信号采集而得到的，并且所述指定空间区域中种植有待治疗植物；所述巡回机器人在所述架空输电线路上的最低高度大于所述指定空间区域中所有待治疗植物中的最大高度；
S2、将所述第一传感信号集输入预设的基于卷积神经网络的处方图生成模型中进行处理，从而得到所述处方图生成模型输出的第一处方图，所述第一处方图中标注了初始位置；其中，所述处方图生成模型利用预先收集的第一训练数据训练而成，所述第一训练数据由第一训练用传感信号集、与所述第一训练用传感信号集对应的人工标注的处方图和人工标注的初始位置构成，所述第一训练用传感信号集由架空输电线路上的巡回机器人上的传感器阵列采集得到；
S3、根据所述第一处方图，生成所述待治疗植物需要的药液种类和对应的份量，并根据所述待治疗植物需要的药液种类和对应的份量从预设的无人机群中选出指定无人机，其中所述指定无人机用于空中喷施作业，并且所述指定无人机上设置有药液喷施设备和多个药液存储罐，所述多个药液存储罐的数量与所述药液种类的数量相同；
S4、向预设的无人机终端发送启动指令，以使所述无人机终端控制所述指定无人机起飞至所述第一处方图中标注的初始位置对应的真实空间中的初始位置；
S5、开启所述指定无人机上预设的第二传感器阵列，以对所述指定空间区域进行信号采集，从而得到第二传感信号集；
S6、获取所述指定无人机的运动参数、位置参数和所述多个药液存储罐中的剩余储液量，并将所述运动参数、位置参数、所述多个药液存储罐中的剩余储液量和所述第二传感信号集输入预设的基于BP神经网络的喷施策略生成模型中进行处理，从而得到所述喷施策略生成模型输出的第一喷施策略；其中，所述喷施策略生成模型利用预先收集的第二训练数据训练而成，所述第二训练数据由训练用无人机的运动参数、位置参数、所述训练用无人机上预设的多个药液存储罐中的剩余储液量、第二训练用传感信号集和对应的人工标注的喷施策略构成，并且所述第二训练用传感信号集由所述训练用无人机上预设的传感器阵列采集得到；所述第一喷施策略包括第一空中喷施子策略和第一地面车辆喷施子策略，所述第一空中喷施子策略至少包括随时间变化的无人机飞行速度、随时间变化的飞行位置、随时间变化的药液喷施设备的参数和随时间变化的所述多个药液存储罐的开启控制参数；
S7、根据所述第一空中喷施子策略，控制所述指定无人机对所述指定空间区域进行空中喷施作业；所述巡回机器人在所述架空输电线路上的最低高度大于所述指定无人机进行空中喷施作业时的最大高度；
S8、根据所述第一地面车辆喷施子策略，控制预设的喷施车辆对所述指定空间区域进行协同地面喷施作业，从而完成多层次协同的喷施作业。
进一步地，所述将所述第一传感信号集输入预设的基于卷积神经网络的处方图生成模型中进行处理，从而得到所述处方图生成模型输出的第一处方图，所述第一处方图中标注了初始位置；其中，所述处方图生成模型利用预先收集的第一训练数据训练而成，所述第一训练数据由第一训练用传感信号集、与所述第一训练用传感信号集对应的人工标注的处方图和人工标注的初始位置构成，所述第一训练用传感信号集由架空输电线路上的巡回机器人上的传感器阵列采集得到的步骤S2之前，包括：S11、从预设的样本数据库中调取指定数量的样本数据以构成样本集；其中，所述样本数据由训练用传感信号集、对应的人工标注的处方图和人工标注的初始位置构成，并且所述训练数据中的训练用传感信号集由高处传感器阵列对预先种植有植物的训练区域进行信号采集处理而得，所述高处传感器阵列指进行信号采集处理时高度大于所述训练区域中的植物的传感器阵列；
S12、将所述样本集根据预设比例划分为训练集和验证集；
S13、调用预设的卷积神经网络模型，并将所述训练集输入卷积神经网络模型中进行训练，从而得到初步模型；
S14、利用所述验证集对所述初步模型进行验证处理，并判断验证结果是否为验证通过；
S15、若验证结果为验证通过，则将所述初步模型记为处方图生成模型。
进一步地，所述第一处方图由多个喷施区域构成，每个喷施区域对应标记有待喷施药液种类和待喷施药液份量；所述根据所述第一处方图，生成所述待治疗植物需要的药液种类和对应的份量，并根据所述待治疗植物需要的药液种类和对应的份量从预设的无人机群中选出指定无人机，其中所述指定无人机用于空中喷施作业，并且所述指定无人机上设置有药液喷施设备和多个药液存储罐，所述多个药液存储罐的数量与所述药液种类的数量相同的步骤S3，包括：S301、将所述第一处方图中的多个喷施区域划分为多个上层区域和多个下层区域；其中，所述上层区域的轮廓的最低高度大于预设的参考高度，所述第一处方图中的多个喷施区域中除所述上层区域之外的其他区域为所述下层区域；
S302、构建仅由所述多个上层区域构成的第一处方子图；
S303、生成所述第一处方子图中所述待治疗植物需要的药液种类和对应的份量，并从离所述指定空间区域距离不超过第一预设距离的所有无人机中选出指定无人机；其中所述指定无人机用于空中喷施作业，并且所述指定无人机上设置有药液喷施设备和多个药液存储罐，所述多个药液存储罐的数量与所述药液种类的数量相同，并且所述多个药液存储罐的剩余储液量分别对应大于所述第一处方子图中所述待治疗植物需要的药液种类对应的份量。
进一步地，所述根据所述第一空中喷施子策略，控制所述指定无人机对所述指定空间区域进行空中喷施作业；所述巡回机器人在所述架空输电线路上的最低高度大于所述指定无人机进行空中喷施作业时的最大高度的步骤S7，包括：
S701、根据所述第一空中喷施子策略，控制所述指定无人机对所述多个上层区域分别进行空中喷施作业；所述巡回机器人在所述架空输电线路上的最低高度大于所述指定无人机进行空中喷施作业时的最大高度；
S702、在对所有的上层区域进行空中喷施作业之后，判断所述指定无人机上的多个药液存储罐的剩余储液量是否小于预设的储液量阈值；
S703、若所述指定无人机上的多个药液存储罐的剩余储液量均小于预设的储液量阈值，则生成地面喷施指令，所述地面喷施指令用于指示喷施车辆进行喷施作业；
所述根据所述第一地面车辆喷施子策略，控制预设的喷施车辆对所述指定空间区域进行协同地面喷施作业，从而完成多层次协同的喷施作业的步骤S8，包括：
S801、根据所述第一地面车辆喷施子策略，控制预设的喷施车辆对所述多个下层区域进行协同地面喷施作业，从而完成多层次协同的喷施作业。
进一步地，所述第二传感器阵列由可见光传感器子阵列、毫米波雷达子阵列和激光雷达子阵列构成，所述开启所述指定无人机上预设的第二传感器阵列，以对所述指定空间区域进行信号采集，从而得到第二传感信号集的步骤S5，包括：
S501、开启所述指定无人机上预设的光线生成器以对所述指定空间区域进行可见光照射，并开启所述指定无人机上预设的可见光传感器子阵列，以对所述指定空间区域进行信号采集，从而得到第二可见光信号集；
S502、开启所述指定无人机上预设的毫米波雷达子阵列，以对所述指定空间区域进行信号采集，从而得到第二毫米波雷达信号集；
S503、开启所述指定无人机上预设的激光雷达子阵列，以对所述指定空间区域进行信号采集，从而得到第二激光雷达信号集；
S504、将所述第二可见光信号集、第二毫米波雷达信号集和第二激光雷达信号集集成为第二传感信号集。
本申请提供一种基于多层次协同的无人机喷施作业装置，包括：
第一传感信号集获取单元，用于获取架空输电线路上的巡回机器人发送的第一传感信号集，其中所述第一传感信号集由所述巡回机器人上预设的第一传感器阵列对预设的指定空间区域进行信号采集而得到的，并且所述指定空间区域中种植有待治疗植物；所述巡回机器人在所述架空输电线路上的最低高度大于所述指定空间区域中所有待治疗植物中的最大高度；
第一处方图获取单元，用于将所述第一传感信号集输入预设的基于卷积神经网络的处方图生成模型中进行处理，从而得到所述处方图生成模型输出的第一处方图，所述第一处方图中标注了初始位置；其中，所述处方图生成模型利用预先收集的第一训练数据训练而成，所述第一训练数据由第一训练用传感信号集、与所述第一训练用传感信号集对应的人工标注的处方图和人工标注的初始位置构成，所述第一训练用传感信号集由架空输电线路上的巡回机器人上的传感器阵列采集得到；
指定无人机选取单元，用于根据所述第一处方图，生成所述待治疗植物需要的药液种类和对应的份量，并根据所述待治疗植物需要的药液种类和对应的份量从预设的无人机群中选出指定无人机，其中所述指定无人机用于空中喷施作业，并且所述指定无人机上设置有药液喷施设备和多个药液存储罐，所述多个药液存储罐的数量与所述药液种类的数量相同；
启动指令发送单元，用于向预设的无人机终端发送启动指令，以使所述无人机终端控制所述指定无人机起飞至所述第一处方图中标注的初始位置对应的真实空间中的初始位置；
第二传感信号集获取单元，用于开启所述指定无人机上预设的第二传感器阵列，以对所述指定空间区域进行信号采集，从而得到第二传感信号集；
第一喷施策略获取单元，用于获取所述指定无人机的运动参数、位置参数和所述多个药液存储罐中的剩余储液量，并将所述运动参数、位置参数、所述多个药液存储罐中的剩余储液量和所述第二传感信号集输入预设的基于BP神经网络的喷施策略生成模型中进行处理，从而得到所述喷施策略生成模型输出的第一喷施策略；其中，所述喷施策略生成模型利用预先收集的第二训练数据训练而成，所述第二训练数据由训练用无人机的运动参数、位置参数、所述训练用无人机上预设的多个药液存储罐中的剩余储液量、第二训练用传感信号集和对应的人工标注的喷施策略构成，并且所述第二训练用传感信号集由所述训练用无人机上预设的传感器阵列采集得到；所述第一喷施策略包括第一空中喷施子策略和第一地面车辆喷施子策略，所述第一空中喷施子策略至少包括随时间变化的无人机飞行速度、随时间变化的飞行位置、随时间变化的药液喷施设备的参数和随时间变化的所述多个药液存储罐的开启控制参数；
空中喷施作业单元，用于根据所述第一空中喷施子策略，控制所述指定无人机对所述指定空间区域进行空中喷施作业；所述巡回机器人在所述架空输电线路上的最低高度大于所述指定无人机进行空中喷施作业时的最大高度；
地面喷施作业单元，用于根据所述第一地面车辆喷施子策略，控制预设的喷施车辆对所述指定空间区域进行协同地面喷施作业，从而完成多层次协同的喷施作业。
本申请提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的基于多层次协同的无人机喷施作业方法、装置、计算机设备和存储介质，实现了多层次协同，完成了智能化的协同喷施作业，喷施效果优秀。其中，本申请的基于多层次协同的喷施作业方法中的多层次协同，包括了多层次的协同（不仅在喷施作业时协同，还包括信号采集时的协同），具体地：
在本申请的整体实施过程中，存在架空输电线路上的巡回机器人、无人机和地面喷施车辆之间的协同；即，架空输电线路上的巡回机器人与无人机之间的协同，这个层次的协同还包括了不同高度之间的协同（巡回机器人的信号采集高度高于无人机的信号采集高度）；无人机喷施与地面车辆喷施之间的协同，这个层次的协同同样也包括了不同高度之间的协同（空中喷施与地面喷施）。从而，多层次的协同，以及过程中采取的智能分析技术，使得本申请的精确协同喷施得到实现。本申请的执行主体可为任意可行主体，例如为设置在地面上的喷施用服务器等。
并且本申请采用BP神经网络设计了机载喷施流量自适应调节装置，建立了关联与权衡药液存量、增压泵输出功率（喷施设备参数）和喷施流量关系的药量存量计算模型，实现了不同药液存量下喷施流量的自适应调节，提高了药液喷施的一致性。同时结合无人机获取的植物生长状况和营养状况及病虫害情况的实测数据，实现了基于实测信息的无人机农药精准喷施方法，构建了飞行速度、飞行高度、喷施流量、喷头指向等作业参数（喷施设备参数）融合的智能喷施决策系统，实现了基于处方图的无人机精准变量施药。
另外，本申请特地利用了架空输电线路上的巡回机器人。架空输电线路上的巡回机器人用于架空输电线的巡回检测，以确定架空输电线的状态，其是必须以架空输电线为依托才能实现巡回移动，而本申请利用了巡回机器人自带的第一传感器阵列（例如为图像传感器阵列）进行第一传感信号采集，从而几乎不需要额外成本的前提下，实现了高空的信号采集，使得后续的无人机选派与喷施具有分析基础，而免去了空派出单纯侦查的无人机的无谓成本。
附图说明
图1 为本申请一实施例的基于多层次协同的无人机喷施作业方法的流程示意图；
图2 为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请实施例提供一种基于多层次协同的无人机喷施作业方法，包括以下步骤：
S1、获取架空输电线路上的巡回机器人发送的第一传感信号集，其中所述第一传感信号集由所述巡回机器人上预设的第一传感器阵列对预设的指定空间区域进行信号采集而得到的，并且所述指定空间区域中种植有待治疗植物；所述巡回机器人在所述架空输电线路上的最低高度大于所述指定空间区域中所有待治疗植物中的最大高度；
S2、将所述第一传感信号集输入预设的基于卷积神经网络的处方图生成模型中进行处理，从而得到所述处方图生成模型输出的第一处方图，所述第一处方图中标注了初始位置；其中，所述处方图生成模型利用预先收集的第一训练数据训练而成，所述第一训练数据由第一训练用传感信号集、与所述第一训练用传感信号集对应的人工标注的处方图和人工标注的初始位置构成，所述第一训练用传感信号集由架空输电线路上的巡回机器人上的传感器阵列采集得到；
S3、根据所述第一处方图，生成所述待治疗植物需要的药液种类和对应的份量，并根据所述待治疗植物需要的药液种类和对应的份量从预设的无人机群中选出指定无人机，其中所述指定无人机用于空中喷施作业，并且所述指定无人机上设置有药液喷施设备和多个药液存储罐，所述多个药液存储罐的数量与所述药液种类的数量相同；
S4、向预设的无人机终端发送启动指令，以使所述无人机终端控制所述指定无人机起飞至所述第一处方图中标注的初始位置对应的真实空间中的初始位置；
S5、开启所述指定无人机上预设的第二传感器阵列，以对所述指定空间区域进行信号采集，从而得到第二传感信号集；
S6、获取所述指定无人机的运动参数、位置参数和所述多个药液存储罐中的剩余储液量，并将所述运动参数、位置参数、所述多个药液存储罐中的剩余储液量和所述第二传感信号集输入预设的基于BP神经网络的喷施策略生成模型中进行处理，从而得到所述喷施策略生成模型输出的第一喷施策略；其中，所述喷施策略生成模型利用预先收集的第二训练数据训练而成，所述第二训练数据由训练用无人机的运动参数、位置参数、所述训练用无人机上预设的多个药液存储罐中的剩余储液量、第二训练用传感信号集和对应的人工标注的喷施策略构成，并且所述第二训练用传感信号集由所述训练用无人机上预设的传感器阵列采集得到；所述第一喷施策略包括第一空中喷施子策略和第一地面车辆喷施子策略，所述第一空中喷施子策略至少包括随时间变化的无人机飞行速度、随时间变化的飞行位置、随时间变化的药液喷施设备的参数和随时间变化的所述多个药液存储罐的开启控制参数；
S7、根据所述第一空中喷施子策略，控制所述指定无人机对所述指定空间区域进行空中喷施作业；所述巡回机器人在所述架空输电线路上的最低高度大于所述指定无人机进行空中喷施作业时的最大高度；
S8、根据所述第一地面车辆喷施子策略，控制预设的喷施车辆对所述指定空间区域进行协同地面喷施作业，从而完成多层次协同的喷施作业。
如上述步骤S1-S2所述，获取架空输电线路上的巡回机器人发送的第一传感信号集，其中所述第一传感信号集由所述巡回机器人上预设的第一传感器阵列对预设的指定空间区域进行信号采集而得到的，并且所述指定空间区域中种植有待治疗植物；所述巡回机器人在所述架空输电线路上的最低高度大于所述指定空间区域中所有待治疗植物中的最大高度；将所述第一传感信号集输入预设的基于卷积神经网络的处方图生成模型中进行处理，从而得到所述处方图生成模型输出的第一处方图，所述第一处方图中标注了初始位置；其中，所述处方图生成模型利用预先收集的第一训练数据训练而成，所述第一训练数据由第一训练用传感信号集、与所述第一训练用传感信号集对应的人工标注的处方图和人工标注的初始位置构成，所述第一训练用传感信号集由架空输电线路上的巡回机器人上的传感器阵列采集得到。架空输电线路上的巡回机器人是特定的用于巡检架空输电线路的机器人，其上设置有第一传感器阵列，例如为图像传感器阵列（例如为摄像头阵列等）。由于巡回机器人是周期性巡检，并且所处位置在高空，因此本申请特地利用第一传感器阵列来进行初步的信号采集。此时，由于巡回机器人的高度最高（相较于后续的无人机、植物和车辆等），其采集的信号更利于整体分析，以生成初步的处方图。其中，处方图指，由多个区域（其中有待治疗值物）构成的图像，该图像中的每个区域标注有待喷施药液种类和对应的份量。再将所述第一传感信号集输入预设的基于卷积神经网络的处方图生成模型中进行处理，从而得到所述处方图生成模型输出的第一处方图。需要注意的是，本申请的第一处方图上还标注有初始位置，这是本申请的一个特点，本申请涉及无人机喷施，且其中的无人机喷施并非是机械的依据预设程式进行喷施，而是根据真实环境情况进行精细喷施，因此需要无人机再次进行数据采集并分析，因此无人机在何处进行数据采集会影响最终的喷施效果。因此，本申请的处方图生成模型利用预先收集的第一训练数据训练而成，所述第一训练数据由第一训练用传感信号集、与所述第一训练用传感信号集对应的人工标注的处方图和人工标注的初始位置构成，所述第一训练用传感信号集由架空输电线路上的巡回机器人上的传感器阵列采集得到。从而处方图生成模型不仅能够胜任处方图的输出任务，并且输出的处方图上还标有初始位置，以提高喷施的精确度。
进一步地，所述将所述第一传感信号集输入预设的基于卷积神经网络的处方图生成模型中进行处理，从而得到所述处方图生成模型输出的第一处方图，所述第一处方图中标注了初始位置；其中，所述处方图生成模型利用预先收集的第一训练数据训练而成，所述第一训练数据由第一训练用传感信号集、与所述第一训练用传感信号集对应的人工标注的处方图和人工标注的初始位置构成，所述第一训练用传感信号集由架空输电线路上的巡回机器人上的传感器阵列采集得到的步骤S2之前，包括：S11、从预设的样本数据库中调取指定数量的样本数据以构成样本集；其中，所述样本数据由训练用传感信号集、对应的人工标注的处方图和人工标注的初始位置构成，并且所述训练数据中的训练用传感信号集由高处传感器阵列对预先种植有植物的训练区域进行信号采集处理而得，所述高处传感器阵列指进行信号采集处理时高度大于所述训练区域中的植物的传感器阵列；
S12、将所述样本集根据预设比例划分为训练集和验证集；
S13、调用预设的卷积神经网络模型，并将所述训练集输入卷积神经网络模型中进行训练，从而得到初步模型；
S14、利用所述验证集对所述初步模型进行验证处理，并判断验证结果是否为验证通过；
S15、若验证结果为验证通过，则将所述初步模型记为处方图生成模型。
从而实现了模型训练，以得到符合要求的处方图生成模型。其中，所述指定数量例如为5000-1000000，样本数据的数量越多，训练得到的模型越准确。另外，为了防止训练数据的不足，本申请的样本数据不仅由在高处的巡回机器人上的传感器阵列采集得到，具体地，是由高处传感器阵列对预先种植有植物的训练区域进行信号采集处理而得，所述高处传感器阵列指进行信号采集处理时高度大于所述训练区域中的植物的传感器阵列，从而样本数据的数量得到了增加，以免去样本数据不足导致训练得到的模型不能满足需求的可能。其中，所述训练用传感信号集例如为图像传感信号集，而卷积神经网络模型尤其适合对图像传感信号集进行分析、识别或分类。再利用训练集进行训练，利用所述验证集对所述初步模型进行验证处理，并判断验证结果是否为验证通过；若验证结果为验证通过，则将所述初步模型记为处方图生成模型，从而得到能够胜任输出处方图任务的处方图生成模型。
如上述步骤S3-S4所述，根据所述第一处方图，生成所述待治疗植物需要的药液种类和对应的份量，并根据所述待治疗植物需要的药液种类和对应的份量从预设的无人机群中选出指定无人机，其中所述指定无人机用于空中喷施作业，并且所述指定无人机上设置有药液喷施设备和多个药液存储罐，所述多个药液存储罐的数量与所述药液种类的数量相同；向预设的无人机终端发送启动指令，以使所述无人机终端控制所述指定无人机起飞至所述第一处方图中标注的初始位置对应的真实空间中的初始位置。第一处方图上标注有各区域需要喷施的药液种类和份量，再根据这些药液种类和份量即可挑选出有能力进行对应喷施的指定无人机，即所述指定无人机用于空中喷施作业，并且所述指定无人机上设置有药液喷施设备和多个药液存储罐，所述多个药液存储罐的数量与所述药液种类的数量相同。其中，所述预设的无人机群包括任意可行无人机，例如为尚未起飞的无人机，或者已进行过空中喷施作业，但是剩余药液量仍足以继续喷施作业的无人机。再向预设的无人机终端发送启动指令，以使所述无人机终端控制所述指定无人机起飞至所述第一处方图中标注的初始位置对应的真实空间中的初始位置。需要注意的是，此处的初始位置与巡回机器人进行信号采集时的位置是不同的，该初始位置是为了便于无人机进行信号采集而设置的，因此若该初始位置与巡回机器人进行信号采集时的位置相同，将浪费一次信号采集。
进一步地，所述第一处方图由多个喷施区域构成，每个喷施区域对应标记有待喷施药液种类和待喷施药液份量；所述根据所述第一处方图，生成所述待治疗植物需要的药液种类和对应的份量，并根据所述待治疗植物需要的药液种类和对应的份量从预设的无人机群中选出指定无人机，其中所述指定无人机用于空中喷施作业，并且所述指定无人机上设置有药液喷施设备和多个药液存储罐，所述多个药液存储罐的数量与所述药液种类的数量相同的步骤S3，包括：S301、将所述第一处方图中的多个喷施区域划分为多个上层区域和多个下层区域；其中，所述上层区域的轮廓的最低高度大于预设的参考高度，所述第一处方图中的多个喷施区域中除所述上层区域之外的其他区域为所述下层区域；
S302、构建仅由所述多个上层区域构成的第一处方子图；
S303、生成所述第一处方子图中所述待治疗植物需要的药液种类和对应的份量，并从离所述指定空间区域距离不超过第一预设距离的所有无人机中选出指定无人机；其中所述指定无人机用于空中喷施作业，并且所述指定无人机上设置有药液喷施设备和多个药液存储罐，所述多个药液存储罐的数量与所述药液种类的数量相同，并且所述多个药液存储罐的剩余储液量分别对应大于所述第一处方子图中所述待治疗植物需要的药液种类对应的份量。
从而实现了指定无人机的选取。其中，本申请采用的协同喷施方案，充分利用了无人机的灵活高效、适应高处喷施以及喷施车辆的充足药剂的特点，然而无人机具有天生的携带药液量少且无人机昂贵的缺陷，因此如何选择无人机以及后续如何进行协同喷施作业是需要着重考虑的问题。本申请通过设计参考高度的方式，将所述第一处方图中的多个喷施区域划分为多个上层区域和多个下层区域；再优先选用仍在空中且较近的无人机（即离所述指定空间区域距离不超过第一预设距离的所有无人机中选出指定无人机），从而实现了无人机的高效多次利用，并且尽量使无人机进行高处喷施作业以充分利用无人机的优势，扩大协同喷施的优点。
进一步地，所述根据所述第一空中喷施子策略，控制所述指定无人机对所述指定空间区域进行空中喷施作业；所述巡回机器人在所述架空输电线路上的最低高度大于所述指定无人机进行空中喷施作业时的最大高度的步骤S7，包括：
S701、根据所述第一空中喷施子策略，控制所述指定无人机对所述多个上层区域分别进行空中喷施作业；所述巡回机器人在所述架空输电线路上的最低高度大于所述指定无人机进行空中喷施作业时的最大高度；
S702、在对所有的上层区域进行空中喷施作业之后，判断所述指定无人机上的多个药液存储罐的剩余储液量是否小于预设的储液量阈值；
S703、若所述指定无人机上的多个药液存储罐的剩余储液量均小于预设的储液量阈值，则生成地面喷施指令，所述地面喷施指令用于指示喷施车辆进行喷施作业；
所述根据所述第一地面车辆喷施子策略，控制预设的喷施车辆对所述指定空间区域进行协同地面喷施作业，从而完成多层次协同的喷施作业的步骤S8，包括：
S801、根据所述第一地面车辆喷施子策略，控制预设的喷施车辆对所述多个下层区域进行协同地面喷施作业，从而完成多层次协同的喷施作业。
从而实现空中与地面协同喷施。此时，本申请采用的空中喷施作业是以优先高处喷施为原则的，即控制所述指定无人机对所述多个上层区域分别进行空中喷施作业；并在完成对所述多个上层区域分别进行空中喷施作业后，所述指定无人机上的多个药液存储罐的剩余储液量均小于预设的储液量阈值，再采用地面车辆喷施的方式，对所述多个下层区域进行协同地面喷施作业，从而完成多层次协同的喷施作业。从而最大化利用无人机。进一步地，若所述指定无人机上的多个药液存储罐的剩余储液量均大于预设的储液量阈值，则向服务器发送可再次喷施作业的信息，以便于对邻近的待喷施作业区域进行继续喷施作业。
如上述步骤S5-S6所述，开启所述指定无人机上预设的第二传感器阵列，以对所述指定空间区域进行信号采集，从而得到第二传感信号集；获取所述指定无人机的运动参数、位置参数和所述多个药液存储罐中的剩余储液量，并将所述运动参数、位置参数、所述多个药液存储罐中的剩余储液量和所述第二传感信号集输入预设的基于BP神经网络的喷施策略生成模型中进行处理，从而得到所述喷施策略生成模型输出的第一喷施策略；其中，所述喷施策略生成模型利用预先收集的第二训练数据训练而成，所述第二训练数据由训练用无人机的运动参数、位置参数、所述训练用无人机上预设的多个药液存储罐中的剩余储液量、第二训练用传感信号集和对应的人工标注的喷施策略构成，并且所述第二训练用传感信号集由所述训练用无人机上预设的传感器阵列采集得到；所述第一喷施策略包括第一空中喷施子策略和第一地面车辆喷施子策略，所述第一空中喷施子策略至少包括随时间变化的无人机飞行速度、随时间变化的飞行位置、随时间变化的药液喷施设备的参数和随时间变化的所述多个药液存储罐的开启控制参数。由于巡回机器人上的第一传感器阵列是用于确定处方图的，而本申请需要进行精细喷施作业，而第一传感器阵列采集到的第一传感器信号集不足以满足要求，因此本申请利用所述指定无人机上预设的第二传感器阵列，以对所述指定空间区域进行信号采集，从而得到第二传感信号集，再加上所述指定无人机的运动参数、位置参数和所述多个药液存储罐中的剩余储液量，从而作为精细喷施的依据。再利用基于BP神经网络的喷施策略生成模型进行策略预测，以得出第一喷施策略。其中，BP神经网络是一种按照误差逆向传播算法训练的多层前馈神经网络，以网络误差平方为目标函数、采用梯度下降法来计算目标函数的最小值，适用于本申请的喷施策略预测。其中，所述第一喷施策略包括第一空中喷施子策略和第一地面车辆喷施子策略，是对待治疗植物进行协同喷施的整个处理过程的集合，包括了无人机飞行过程中的控制（例如随时间变化的无人机飞行速度、随时间变化的飞行位置），和药液存储罐的开启控制参数；地面车辆喷施的位置、喷施器的压力参数值等。其中，还可以采用BP神经网络结合PID控制算法的方式，来预测出喷施策略中应采用的参数值（例如药液存储罐的开启控制参数、随时间变化的无人机飞行速度等）。PID控制算法是自动控制系统中广泛应用的一种控制算法，适用于对无人机进行自动化控制。
进一步地，所述第二传感器阵列由可见光传感器子阵列、毫米波雷达子阵列和激光雷达子阵列构成，所述开启所述指定无人机上预设的第二传感器阵列，以对所述指定空间区域进行信号采集，从而得到第二传感信号集的步骤S5，包括：
S501、开启所述指定无人机上预设的光线生成器以对所述指定空间区域进行可见光照射，并开启所述指定无人机上预设的可见光传感器子阵列，以对所述指定空间区域进行信号采集，从而得到第二可见光信号集；
S502、开启所述指定无人机上预设的毫米波雷达子阵列，以对所述指定空间区域进行信号采集，从而得到第二毫米波雷达信号集；
S503、开启所述指定无人机上预设的激光雷达子阵列，以对所述指定空间区域进行信号采集，从而得到第二激光雷达信号集；
S504、将所述第二可见光信号集、第二毫米波雷达信号集和第二激光雷达信号集集成为第二传感信号集。
从而实现了得到第二传感信号集。其中第二传感信号集由所述第二可见光信号集、第二毫米波雷达信号集和第二激光雷达信号集构成。普通的无人机仅采用可见光传感器进行信号采集，而本申请采用了三种不同的传感器子阵列，以构成第二传感器阵列的方式，实现更为准确地虫害检测。其中，在信号采集前，先对所述指定空间区域进行可见光照射（尤其适应于夜间喷施作业），再开启所述指定无人机上预设的可见光传感器子阵列，以对所述指定空间区域进行信号采集，从而得到第二可见光信号集，此时的第二可见光信号集作为主要信号来源；再开启所述指定无人机上预设的毫米波雷达子阵列，以对所述指定空间区域进行信号采集，从而得到第二毫米波雷达信号集，需要注意的是，第二毫米波雷达信号集是在进行可见光照射后才进行采集的，而在可见光照射后，由于带翅的虫类生物对光线的敏感性（尤其在夜间更为明显），因此会有部分带翅的虫类生物在空中飞行，此时再进行毫米波雷达信号采集，就能够利用毫米波雷达运动物体捕捉能力强的特性，捕捉到更多信号；再开启所述指定无人机上预设的激光雷达子阵列，以对所述指定空间区域进行信号采集，从而得到第二激光雷达信号集，这也是在进行可见光照射后才进行的，而激光雷达对于细小物体敏感性强的特点，也有助于捕捉更多的细微信号。因此，第二传感信号集中，第二可见光信号集作为主数据来源，第二毫米波雷达信号集和第二激光雷达信号集作为辅助信号来源（用于更准确地获取带翅的虫类生物的信息，这对于本申请的包括虫害防治在内的喷施作业具有正面的促进作用）。
如上述步骤S7-S8所述，根据所述第一空中喷施子策略，控制所述指定无人机对所述指定空间区域进行空中喷施作业；所述巡回机器人在所述架空输电线路上的最低高度大于所述指定无人机进行空中喷施作业时的最大高度；根据所述第一地面车辆喷施子策略，控制预设的喷施车辆对所述指定空间区域进行协同地面喷施作业，从而完成多层次协同的喷施作业。由于第一喷施策略由第一空中喷施子策略和第一地面车辆喷施子策略构成，分别由无人机和地面喷施车辆完成，因此，分别执行第一空中喷施子策略和第一地面车辆喷施子策略，即可完成多层次协同的喷施作业。其中，所述第一地面车辆喷施子策略由喷施车辆，而喷施车辆进行喷施作业时可采用任意可行方式，例如采用车辆上预设的高压雾化喷射设备进行喷施作业。另外，本申请的喷施车辆可用于任意可行地形，优选丘陵山区果园地形（丘陵山区地形），并且第一地面车辆喷施子策略还能够与处方图关联，从而实现了基于处方图和不同行进速度、种植密度的自适应变量喷施，最终完成例如在丘陵山区果园区域内的无人机-地面协同精准变量喷施作业。
本申请的基于多层次协同的无人机喷施作业方法，获取第一传感信号集；将所述第一传感信号集输入处方图生成模型中，得到第一处方图；生成待治疗植物需要的药液种类和对应的份量，并选出指定无人机；发送启动指令，以使指定无人机起飞至初始位置；得到第二传感信号集；将指定无人机的运动参数、位置参数、所述多个药液存储罐中的剩余储液量和所述第二传感信号集输入喷施策略生成模型中进行处理，得到第一喷施策略；根据第一空中喷施子策略进行空中喷施作业；根据第一地面车辆喷施子策略进行协同地面喷施作业，从而实现了基于处方图的多层次精细喷施作业。
本申请实施例提供一种基于多层次协同的无人机喷施作业装置，包括：
第一传感信号集获取单元，用于获取架空输电线路上的巡回机器人发送的第一传感信号集，其中所述第一传感信号集由所述巡回机器人上预设的第一传感器阵列对预设的指定空间区域进行信号采集而得到的，并且所述指定空间区域中种植有待治疗植物；所述巡回机器人在所述架空输电线路上的最低高度大于所述指定空间区域中所有待治疗植物中的最大高度；
第一处方图获取单元，用于将所述第一传感信号集输入预设的基于卷积神经网络的处方图生成模型中进行处理，从而得到所述处方图生成模型输出的第一处方图，所述第一处方图中标注了初始位置；其中，所述处方图生成模型利用预先收集的第一训练数据训练而成，所述第一训练数据由第一训练用传感信号集、与所述第一训练用传感信号集对应的人工标注的处方图和人工标注的初始位置构成，所述第一训练用传感信号集由架空输电线路上的巡回机器人上的传感器阵列采集得到；
指定无人机选取单元，用于根据所述第一处方图，生成所述待治疗植物需要的药液种类和对应的份量，并根据所述待治疗植物需要的药液种类和对应的份量从预设的无人机群中选出指定无人机，其中所述指定无人机用于空中喷施作业，并且所述指定无人机上设置有药液喷施设备和多个药液存储罐，所述多个药液存储罐的数量与所述药液种类的数量相同；
启动指令发送单元，用于向预设的无人机终端发送启动指令，以使所述无人机终端控制所述指定无人机起飞至所述第一处方图中标注的初始位置对应的真实空间中的初始位置；
第二传感信号集获取单元，用于开启所述指定无人机上预设的第二传感器阵列，以对所述指定空间区域进行信号采集，从而得到第二传感信号集；
第一喷施策略获取单元，用于获取所述指定无人机的运动参数、位置参数和所述多个药液存储罐中的剩余储液量，并将所述运动参数、位置参数、所述多个药液存储罐中的剩余储液量和所述第二传感信号集输入预设的基于BP神经网络的喷施策略生成模型中进行处理，从而得到所述喷施策略生成模型输出的第一喷施策略；其中，所述喷施策略生成模型利用预先收集的第二训练数据训练而成，所述第二训练数据由训练用无人机的运动参数、位置参数、所述训练用无人机上预设的多个药液存储罐中的剩余储液量、第二训练用传感信号集和对应的人工标注的喷施策略构成，并且所述第二训练用传感信号集由所述训练用无人机上预设的传感器阵列采集得到；所述第一喷施策略包括第一空中喷施子策略和第一地面车辆喷施子策略，所述第一空中喷施子策略至少包括随时间变化的无人机飞行速度、随时间变化的飞行位置、随时间变化的药液喷施设备的参数和随时间变化的所述多个药液存储罐的开启控制参数；
空中喷施作业单元，用于根据所述第一空中喷施子策略，控制所述指定无人机对所述指定空间区域进行空中喷施作业；所述巡回机器人在所述架空输电线路上的最低高度大于所述指定无人机进行空中喷施作业时的最大高度；
地面喷施作业单元，用于根据所述第一地面车辆喷施子策略，控制预设的喷施车辆对所述指定空间区域进行协同地面喷施作业，从而完成多层次协同的喷施作业。
其中上述单元分别用于执行的操作与前述实施方式的基于多层次协同的无人机喷施作业方法的步骤一一对应,在此不再赘述。
本申请的基于多层次协同的无人机喷施作业装置，获取第一传感信号集；将所述第一传感信号集输入处方图生成模型中，得到第一处方图；生成待治疗植物需要的药液种类和对应的份量，并选出指定无人机；发送启动指令，以使指定无人机起飞至初始位置；得到第二传感信号集；将指定无人机的运动参数、位置参数、所述多个药液存储罐中的剩余储液量和所述第二传感信号集输入喷施策略生成模型中进行处理，得到第一喷施策略；根据第一空中喷施子策略进行空中喷施作业；根据第一地面车辆喷施子策略进行协同地面喷施作业，从而实现了基于处方图的多层次精细喷施作业。
参照图2，本发明实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于多层次协同的无人机喷施作业方法所用数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于多层次协同的无人机喷施作业方法。
上述处理器执行上述基于多层次协同的无人机喷施作业方法，其中所述方法包括的步骤分别与执行前述实施方式的基于多层次协同的无人机喷施作业方法的步骤一一对应,在此不再赘述。
本领域技术人员可以理解，图中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请的计算机设备，获取第一传感信号集；将所述第一传感信号集输入处方图生成模型中，得到第一处方图；生成待治疗植物需要的药液种类和对应的份量，并选出指定无人机；发送启动指令，以使指定无人机起飞至初始位置；得到第二传感信号集；将指定无人机的运动参数、位置参数、所述多个药液存储罐中的剩余储液量和所述第二传感信号集输入喷施策略生成模型中进行处理，得到第一喷施策略；根据第一空中喷施子策略进行空中喷施作业；根据第一地面车辆喷施子策略进行协同地面喷施作业，从而实现了基于处方图的多层次精细喷施作业。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现基于多层次协同的无人机喷施作业方法，其中所述方法包括的步骤分别与执行前述实施方式的基于多层次协同的无人机喷施作业方法的步骤一一对应,在此不再赘述。
本申请的计算机可读存储介质，获取第一传感信号集；将所述第一传感信号集输入处方图生成模型中，得到第一处方图；生成待治疗植物需要的药液种类和对应的份量，并选出指定无人机；发送启动指令，以使指定无人机起飞至初始位置；得到第二传感信号集；将指定无人机的运动参数、位置参数、所述多个药液存储罐中的剩余储液量和所述第二传感信号集输入喷施策略生成模型中进行处理，得到第一喷施策略；根据第一空中喷施子策略进行空中喷施作业；根据第一地面车辆喷施子策略进行协同地面喷施作业，从而实现了基于处方图的多层次精细喷施作业。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序或指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双速据率SDRAM（SSRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink）DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (8)

1.一种基于多层次协同的无人机喷施作业方法，其特征在于，包括：
S1、获取架空输电线路上的巡回机器人发送的第一传感信号集，其中所述第一传感信号集由所述巡回机器人上预设的第一传感器阵列对预设的指定空间区域进行信号采集而得到的，并且所述指定空间区域中种植有待治疗植物；所述巡回机器人在所述架空输电线路上的最低高度大于所述指定空间区域中所有待治疗植物的最大高度；
S2、将所述第一传感信号集输入预设的基于卷积神经网络的处方图生成模型中进行处理，从而得到所述处方图生成模型输出的第一处方图，所述第一处方图中标注了初始位置；其中，所述处方图生成模型利用预先收集的第一训练数据训练而成，所述第一训练数据由第一训练用传感信号集、与所述第一训练用传感信号集对应的人工标注的处方图和人工标注的初始位置构成，所述第一训练用传感信号集由架空输电线路上的巡回机器人上的传感器阵列采集得到；
S3、根据所述第一处方图，生成所述待治疗植物需要的药液种类和对应的份量，并根据所述待治疗植物需要的药液种类和对应的份量从预设的无人机群中选出指定无人机，其中所述指定无人机用于空中喷施作业，并且所述指定无人机上设置有药液喷施设备和多个药液存储罐，所述多个药液存储罐的数量与所述药液种类的数量相同；
S4、向预设的无人机群终端发送启动指令，以使无人机群终端控制所述指定无人机起飞至所述第一处方图中标注的初始位置对应的真实空间中的初始位置；
S5、开启所述指定无人机上预设的第二传感器阵列，以对所述指定空间区域进行信号采集，从而得到第二传感信号集；
S6、获取所述指定无人机的运动参数、位置参数和所述多个药液存储罐中的剩余储液量，并将所述运动参数、位置参数、所述多个药液存储罐中的剩余储液量和所述第二传感信号集输入预设的基于BP神经网络的喷施策略生成模型中进行处理，从而得到所述喷施策略生成模型输出的第一喷施策略；其中，所述喷施策略生成模型利用预先收集的第二训练数据训练而成，所述第二训练数据由训练用无人机的运动参数、位置参数、所述训练用无人机上预设的多个药液存储罐中的剩余储液量、第二训练用传感信号集和对应的人工标注的喷施策略构成，并且所述第二训练用传感信号集由所述训练用无人机上预设的传感器阵列采集得到；所述第一喷施策略包括第一空中喷施子策略和第一地面车辆喷施子策略，所述第一空中喷施子策略至少包括随时间变化的无人机飞行速度、随时间变化的飞行位置、随时间变化的药液喷施设备的参数和随时间变化的所述多个药液存储罐的开启控制参数；
S7、根据所述第一空中喷施子策略，控制所述指定无人机对所述指定空间区域进行空中喷施作业；所述巡回机器人在所述架空输电线路上的最低高度大于所述指定无人机进行空中喷施作业时的最大高度；
S8、根据所述第一地面车辆喷施子策略，控制预设的喷施车辆对所述指定空间区域进行协同地面喷施作业，从而完成多层次协同的喷施作业。
2.根据权利要求1所述的基于多层次协同的无人机喷施作业方法，其特征在于，所述将所述第一传感信号集输入预设的基于卷积神经网络的处方图生成模型中进行处理，从而得到所述处方图生成模型输出的第一处方图，所述第一处方图中标注了初始位置；其中，所述处方图生成模型利用预先收集的第一训练数据训练而成，所述第一训练数据由第一训练用传感信号集、与所述第一训练用传感信号集对应的人工标注的处方图和人工标注的初始位置构成，所述第一训练用传感信号集由架空输电线路上的巡回机器人上的传感器阵列采集得到的步骤S2之前，包括：
S11、从预设的样本数据库中调取指定数量的样本数据以构成样本集；其中，所述样本数据由训练用传感信号集、对应的人工标注的处方图和人工标注的初始位置构成，并且所述训练数据中的训练用传感信号集由高处传感器阵列对预先种植有植物的训练区域进行信号采集处理而得，所述高处传感器阵列指进行信号采集处理时高度大于所述训练区域中的植物的传感器阵列；
S12、将所述样本集根据预设比例划分为训练集和验证集；
S13、调用预设的卷积神经网络模型，并将所述训练集输入卷积神经网络模型中进行训练，从而得到初步模型；
S14、利用所述验证集对所述初步模型进行验证处理，并判断验证结果是否为验证通过；
S15、若验证结果为验证通过，则将所述初步模型记为处方图生成模型。
3.根据权利要求1所述的基于多层次协同的无人机喷施作业方法，其特征在于，所述第一处方图由多个喷施区域构成，每个喷施区域对应标记有待喷施药液种类和待喷施药液份量；所述根据所述第一处方图，生成所述待治疗植物需要的药液种类和对应的份量，并根据所述待治疗植物需要的药液种类和对应的份量从预设的无人机群中选出指定无人机，其中所述指定无人机用于空中喷施作业，并且所述指定无人机上设置有药液喷施设备和多个药液存储罐，所述多个药液存储罐的数量与所述药液种类的数量相同的步骤S3，包括：
S301、将所述第一处方图中的多个喷施区域划分为多个上层区域和多个下层区域；其中，所述上层区域的轮廓的最低高度大于预设的参考高度，所述第一处方图中的多个喷施区域中除所述上层区域之外的其他区域为所述下层区域；
S302、构建仅由所述多个上层区域构成的第一处方子图；
S303、生成所述第一处方子图中所述待治疗植物需要的药液种类和对应的份量，并从离所述指定空间区域距离不超过第一预设距离的所有无人机中选出指定无人机；其中所述指定无人机用于空中喷施作业，并且所述指定无人机上设置有药液喷施设备和多个药液存储罐，所述多个药液存储罐的数量与所述药液种类的数量相同，并且所述多个药液存储罐的剩余储液量分别对应大于所述第一处方子图中所述待治疗植物需要的药液种类对应的份量。
4.根据权利要求3所述的基于多层次协同的无人机喷施作业方法，其特征在于，所述根据所述第一空中喷施子策略，控制所述指定无人机对所述指定空间区域进行空中喷施作业；所述巡回机器人在所述架空输电线路上的最低高度大于所述指定无人机进行空中喷施作业时的最大高度的步骤S7，包括：
S701、根据所述第一空中喷施子策略，控制所述指定无人机对所述多个上层区域分别进行空中喷施作业；所述巡回机器人在所述架空输电线路上的最低高度大于所述指定无人机进行空中喷施作业时的最大高度；
S702、在对所有的上层区域进行空中喷施作业之后，判断所述指定无人机上的多个药液存储罐的剩余储液量是否小于预设的储液量阈值；
S703、若所述指定无人机上的多个药液存储罐的剩余储液量均小于预设的储液量阈值，则生成地面喷施指令，所述地面喷施指令用于指示喷施车辆进行喷施作业；
所述根据所述第一地面车辆喷施子策略，控制预设的喷施车辆对所述指定空间区域进行协同地面喷施作业，从而完成多层次协同的喷施作业的步骤S8，包括：
S801、根据所述第一地面车辆喷施子策略，控制预设的喷施车辆对所述多个下层区域进行协同地面喷施作业，从而完成多层次协同的喷施作业。
5.根据权利要求1所述的基于多层次协同的无人机喷施作业方法，其特征在于，所述第二传感器阵列由可见光传感器子阵列、毫米波雷达子阵列和激光雷达子阵列构成，所述开启所述指定无人机上预设的第二传感器阵列，以对所述指定空间区域进行信号采集，从而得到第二传感信号集的步骤S5，包括：
S501、开启所述指定无人机上预设的光线生成器以对所述指定空间区域进行可见光照射，并开启所述指定无人机上预设的可见光传感器子阵列，以对所述指定空间区域进行信号采集，从而得到第二可见光信号集；
S502、开启所述指定无人机上预设的毫米波雷达子阵列，以对所述指定空间区域进行信号采集，从而得到第二毫米波雷达信号集；
S503、开启所述指定无人机上预设的激光雷达子阵列，以对所述指定空间区域进行信号采集，从而得到第二激光雷达信号集；
S504、将所述第二可见光信号集、第二毫米波雷达信号集和第二激光雷达信号集集成为第二传感信号集。
6.一种基于多层次协同的无人机喷施作业装置，其特征在于，包括：
第一传感信号集获取单元，用于获取架空输电线路上的巡回机器人发送的第一传感信号集，其中所述第一传感信号集由所述巡回机器人上预设的第一传感器阵列对预设的指定空间区域进行信号采集而得到的，并且所述指定空间区域中种植有待治疗植物；所述巡回机器人在所述架空输电线路上的最低高度大于所述指定空间区域中所有待治疗植物的最大高度；
第一处方图获取单元，用于将所述第一传感信号集输入预设的基于卷积神经网络的处方图生成模型中进行处理，从而得到所述处方图生成模型输出的第一处方图，所述第一处方图中标注了初始位置；其中，所述处方图生成模型利用预先收集的第一训练数据训练而成，所述第一训练数据由第一训练用传感信号集、与所述第一训练用传感信号集对应的人工标注的处方图和人工标注的初始位置构成，所述第一训练用传感信号集由架空输电线路上的巡回机器人上的传感器阵列采集得到；
指定无人机选取单元，用于根据所述第一处方图，生成所述待治疗植物需要的药液种类和对应的份量，并根据所述待治疗植物需要的药液种类和对应的份量从预设的无人机群中选出指定无人机，其中所述指定无人机用于空中喷施作业，并且所述指定无人机上设置有药液喷施设备和多个药液存储罐，所述多个药液存储罐的数量与所述药液种类的数量相同；
启动指令发送单元，用于向预设的无人机群终端发送启动指令，以使所述无人机群终端控制所述指定无人机起飞至所述第一处方图中标注的初始位置对应的真实空间中的初始位置；
第二传感信号集获取单元，用于开启所述指定无人机上预设的第二传感器阵列，以对所述指定空间区域进行信号采集，从而得到第二传感信号集；
第一喷施策略获取单元，用于获取所述指定无人机的运动参数、位置参数和所述多个药液存储罐中的剩余储液量，并将所述运动参数、位置参数、所述多个药液存储罐中的剩余储液量和所述第二传感信号集输入预设的基于BP神经网络的喷施策略生成模型中进行处理，从而得到所述喷施策略生成模型输出的第一喷施策略；其中，所述喷施策略生成模型利用预先收集的第二训练数据训练而成，所述第二训练数据由训练用无人机的运动参数、位置参数、所述训练用无人机上预设的多个药液存储罐中的剩余储液量、第二训练用传感信号集和对应的人工标注的喷施策略构成，并且所述第二训练用传感信号集由所述训练用无人机上预设的传感器阵列采集得到；所述第一喷施策略包括第一空中喷施子策略和第一地面车辆喷施子策略，所述第一空中喷施子策略至少包括随时间变化的无人机飞行速度、随时间变化的飞行位置、随时间变化的药液喷施设备的参数和随时间变化的所述多个药液存储罐的开启控制参数；
空中喷施作业单元，用于根据所述第一空中喷施子策略，控制所述指定无人机对所述指定空间区域进行空中喷施作业；所述巡回机器人在所述架空输电线路上的最低高度大于所述指定无人机进行空中喷施作业时的最大高度；
地面喷施作业单元，用于根据所述第一地面车辆喷施子策略，控制预设的喷施车辆对所述指定空间区域进行协同地面喷施作业，从而完成多层次协同的喷施作业。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN202011326484.0A 2020-11-24 2020-11-24 基于多层次协同的无人机喷施作业方法和装置 Active CN112407283B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011326484.0A CN112407283B (zh) 2020-11-24 2020-11-24 基于多层次协同的无人机喷施作业方法和装置
US17/222,805 US11297820B1 (en) 2020-11-24 2021-04-05 Multilevel cooperation-based unmanned aerial vehicle spraying operation method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011326484.0A CN112407283B (zh) 2020-11-24 2020-11-24 基于多层次协同的无人机喷施作业方法和装置

Publications (2)

Publication Number Publication Date
CN112407283A CN112407283A (zh) 2021-02-26
CN112407283B true CN112407283B (zh) 2021-07-06

Family

ID=74777484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011326484.0A Active CN112407283B (zh) 2020-11-24 2020-11-24 基于多层次协同的无人机喷施作业方法和装置

Country Status (2)

Country Link
US (1) US11297820B1 (zh)
CN (1) CN112407283B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11861480B2 (en) * 2018-08-21 2024-01-02 Siemens Mobility GmbH Orientation detection in overhead line insulators
US20210329906A1 (en) * 2018-08-31 2021-10-28 Faunaphotonics Agriculture & Environmental A/S Apparatus for spraying insecticides
CN113460308A (zh) * 2021-07-30 2021-10-01 中国农业大学 一种无人机变量施药控制系统及方法
CN113534823B (zh) * 2021-09-16 2021-12-14 季华实验室 种植机器人路径规划方法、装置、电子设备和存储介质
CN116786326B (zh) * 2023-08-25 2023-10-27 至正长信自动化工程(苏州)有限公司 一种喷涂机器人作业控制方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015163106A1 (ja) * 2014-04-25 2015-10-29 ソニー株式会社 制御装置、撮像装置、制御方法、撮像方法及びコンピュータプログラム
CN108541683A (zh) * 2018-04-18 2018-09-18 济南浪潮高新科技投资发展有限公司 一种基于卷积神经网络芯片的无人机农药喷洒系统
US10717190B2 (en) * 2018-04-19 2020-07-21 Aurora Flight Sciences Corporation End-effector for workpiece manipulation system
CN109409275B (zh) * 2018-10-18 2021-06-15 广州极飞科技股份有限公司 目标对象的识别方法及装置、施药信息的确定方法
CN209396051U (zh) * 2019-01-15 2019-09-17 南京林业大学 一种无人机变量精确施药系统
CN111762323B (zh) * 2020-06-28 2021-09-24 华南农业大学 一种植保无人机的网式气雾整流装置及其作业方法

Also Published As

Publication number Publication date
US11297820B1 (en) 2022-04-12
CN112407283A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN112407283B (zh) 基于多层次协同的无人机喷施作业方法和装置
CN104615146B (zh) 一种无需外部导航信号的无人机喷药作业自动导航方法
US20220167606A1 (en) Method for plantation treatment of a plantation field
CN109003198A (zh) 一种基于大数据技术的精准农业管理平台及方法
CN113848973A (zh) 控制方法、设备、测绘无人机和喷洒无人机
JP2022526563A (ja) 可変散布量を用いた農地の農作物処理のための方法
Kim et al. An intelligent spraying system with deep learning-based semantic segmentation of fruit trees in orchards
WO2020201159A1 (en) Method for plantation treatment of a plantation field
CN114442705A (zh) 一种基于物联网的智慧农业系统及控制方法
CN111026200A (zh) 一种农业病虫害与生长状况预测防控物联网及方法
CN111813155A (zh) 基于模糊pid的靶喷系统控制方法、装置和存储介质
CN108462748A (zh) 治理控制方法及其装置、云端服务器、治理方法及其系统
EP4228403A1 (en) Treatment system for plant specific treatment
Sorbelli et al. Drone-based optimal and heuristic orienteering algorithms towards bug detection in orchards
WO2022269052A1 (en) Computer-implemented method for providing operation data for treatment devices on an agricultural field, corresponding systems, use and computer element
BK et al. An approach for digital farming using mobile robot
CN112883822B (zh) 集预测与预防为一体的病虫害预测位置分析方法和装置
DE202021106121U1 (de) Biomimetisch gestaltete intelligente Drohne zur Entfernung von Unkraut auf landwirtschaftlichen Nutzpflanzen mit Hilfe von künstlicher Intelligenz und Deep Learning
CA3195619A1 (en) Treatment system for weed specific treatment
JP2023500902A (ja) 緩衝地帯の自動管理方法
Phade et al. IoT‐Enabled Unmanned Aerial Vehicle: An Emerging Trend in Precision Farming
Carpin et al. The use of intelligent/autonomous systems in crop irrigation
Kalaichelvi et al. Improving Drone Technology Performance In Crop Fertilization
CN113867402B (zh) 一种基于基准面的农田无人机避障作业方法和装置
Mahmud STUDY OF CORE TECHNOLOGIES IN TREE CANOPY PARAMETER MEASUREMENTS FOR DEVELOPING AN ADVANCED PRECISION SPRAYER

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210226

Assignee: BEIJING TT AVIATION TECHNOLOGY Co.,Ltd.

Assignor: GUANGDONG POLYTECHNIC NORMAL University

Contract record no.: X2022980017663

Denomination of invention: Spraying method and device of UAV based on multi-level cooperation

Granted publication date: 20210706

License type: Common License

Record date: 20221009

EE01 Entry into force of recordation of patent licensing contract