CN113052369A - 智能农机作业管理方法及系统 - Google Patents

智能农机作业管理方法及系统 Download PDF

Info

Publication number
CN113052369A
CN113052369A CN202110276923.XA CN202110276923A CN113052369A CN 113052369 A CN113052369 A CN 113052369A CN 202110276923 A CN202110276923 A CN 202110276923A CN 113052369 A CN113052369 A CN 113052369A
Authority
CN
China
Prior art keywords
land
intelligent agricultural
operation area
agricultural machinery
marked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110276923.XA
Other languages
English (en)
Other versions
CN113052369B (zh
Inventor
王昊
任雅欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Research Center of Intelligent Equipment for Agriculture
Original Assignee
Beijing Research Center of Intelligent Equipment for Agriculture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Research Center of Intelligent Equipment for Agriculture filed Critical Beijing Research Center of Intelligent Equipment for Agriculture
Priority to CN202110276923.XA priority Critical patent/CN113052369B/zh
Publication of CN113052369A publication Critical patent/CN113052369A/zh
Application granted granted Critical
Publication of CN113052369B publication Critical patent/CN113052369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047Optimisation of routes or paths, e.g. travelling salesman problem
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02Agriculture; Fishing; Forestry; Mining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Computational Linguistics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Mathematical Physics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Agronomy & Crop Science (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mining & Mineral Resources (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例提供一种智能农机作业管理方法及系统,该方法包括:获取无人机采集的多个地块局部图像,以及地块局部图像对应的无人机位姿信息;根据对应的无人机位姿信息对所有地块局部图像进行拼接得到地块图像;将地块图像和用户标注的作业区域关键点,输入训练后的语义分割网络模型得到作业区域;根据作业区域确定路径规划结果,并将路径规划结果发送至智能农机。该方法通过无人机采集的多个地块局部图像,拼接得到地块图像,无需借助于高精度的GPS进行人工采集,也无需借助于配备高精度GPS的农机采集,简化了农田地块信息获取方式,其数据采集效率高,能够满足精度要求,可将用户经验和人工智能算法有效地结合,提高神经网络的分割精度。

Description

智能农机作业管理方法及系统
技术领域
本发明涉及智能农机技术领域,尤其涉及一种智能农机作业管理方法及系统。
背景技术
为实现农机自主作业,需要获取高精度的农田边界信息并规划覆盖全部作业区域的参考路径。
现阶段为了获得高精度的农田地块信息,还需要借助于高精度的GPS人工采集或借助于配备高精度GPS的农机通过记录地块边缘记录行驶轨迹的方式采集。基于农机的数据采集效率低,采样密度低,而且农机对土壤压实严重。基于卫星遥感数据的农田检测结果的精度无法满足农机自主作业对地块信息精度的要求。
发明内容
本发明实施例提供一种智能农机作业管理方法及系统,用以解决现有技术中的缺陷。
本发明实施例提供一种智能农机作业管理方法,包括:获取无人机采集的多个地块局部图像,以及地块局部图像对应的无人机位姿信息;根据对应的无人机位姿信息,对所有地块局部图像进行拼接,得到地块图像;将所述地块图像和用户标注的作业区域关键点,输入训练后的语义分割网络模型,得到作业区域;根据作业区域确定路径规划结果,并将所述路径规划结果发送至智能农机;其中,所述语义分割网络模型,根据部分已标注作业区域的农田图像和部分未标注作业区域的农田图像,结合人工标注作业区域关键点,进行训练后得到。
根据本发明一个实施例的智能农机作业管理方法,所述将所述地块图像和用户标注的作业区域关键点,输入训练后的语义分割网络模型,得到作业区域,包括:将所述地块图像输入语义分割网络模型的编码网络进行特征提取;将对应关键点生成的高斯图与编码网络提取的中间特征进行融合,输入第二特征提取网络;将所述第二特征提取网络的输出特征和编码网络提取的高层特征进行融合,输入解码网络,输出作业区域识别结果。
根据本发明一个实施例的智能农机作业管理方法,所述将所述地块图像输入训练后的语义分割网络模型,得到作业区域之前,还包括:获取部分已标注作业区域的地块图像,以及部分未标注作业区域的地块图像,作为训练样本,所有地块图像均标注有作业区域关键点;将已标注作业区域的地块图像输入语义分割网络模型的编码网络进行特征提取;将对应关键点生成的高斯图与编码网络提取的中间特征进行融合,输入第二特征提取网络;将所述第二特征提取网络的输出特征和编码网络提取的高层特征进行融合,输入解码网络,输出作业区域识别结果;根据作业区域识别结果和已标注的作业区域计算损失值,对语义分割网络模型的参数进行更新;
将未标注作业区域的地块图像输入语义分割网络模型的编码网络进行特征提取;将对应关键点生成的高斯图与编码网络提取的中间特征进行融合,输入第二特征提取网络;根据所述第二特征提取网络的输出特征和编码网络提取的高层特征,计算交互点损失,对语义分割网络模型的编码网络和第二特征提取网络进行参数更新。
根据本发明一个实施例的智能农机作业管理方法,所述将所述地块图像和用户标注的作业区域关键点,输入训练后的语义分割网络模型之前,还包括:通过人机界面,接收用户通过单击地块图像标注的作业区域关键点。
根据本发明一个实施例的智能农机作业管理方法,所述将所述路径规划结果发送至智能农机之前,还包括:接收用户通过网页平台或客户端软件对所述路径规划结果进行的修改,相应地,将修改后的路径规划结果发送至智能农机。
根据本发明一个实施例的智能农机作业管理方法,将所述路径规划结果发送至智能农机之后,还包括:获取智能农机作业过程中的状态参数,并在人机界面进行展示:其中,所述状态参数包括,车轮转角、车辆位置、车辆的姿态、作业路径编号和作业质量等级中任意一种,所述人机界面包括网页平台。
根据本发明一个实施例的智能农机作业管理方法,获取地块图像的路径规划结果之后,或者获取智能农机作业过程中的状态参数,并在人机界面进行展示之后,还包括:通过人机界面接收用户输入的配置参数,将所述配置参数发送至所述智能农机,以用于所述智能农机应用所述配置参;其中,所述配置参数包括车速、发动机转速、作业机升降高度和输出动力值中任意一种,所述人机界面包括网页平台。
本发明实施例还提供一种智能农机作业管理系统,包括:信息采集模块,用于获取无人机采集的多个地块局部图像,以及地块局部图像对应的无人机位姿信息;遥感数据处理模块,用于根据对应的无人机位姿信息,对所有地块局部图像进行拼接,得到地块图像;作业区域识别模块,用于将所述地块图像和用户标注的作业区域关键点,输入训练后的语义分割网络模型,得到作业区域;作业规划模块,用于根据作业区域确定路径规划结果,并将所述路径规划结果发送至智能农机;其中,所述语义分割网络模型,根据部分已标注作业区域的农田图像和部分未标注作业区域的农田图像,结合人工标注作业区域关键点,进行训练后得到。
本发明实施例还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述智能农机作业管理方法的步骤。
本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述智能农机作业管理方法的步骤。
本发明实施例提供的智能农机作业管理方法及系统,通过无人机采集的多个地块局部图像,拼接得到地块图像,无需借助于高精度的GPS进行人工采集,也无需借助于配备高精度GPS的农机采集,简化了农田地块信息获取方式,且数据采集效率高,能够满足精度要求。通过语义分割网络模型自动分割农田图像数据,提取作业边界,分割精度高且分割速度快。根据地块图像和用户标注的作业区域关键点确定作业区域,可将用户经验和人工智能算法有效地结合,进一步提高神经网络的分割精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的智能农机作业管理方法的流程示意图;
图2是本发明实施例提供的语义分割网络模型结构示意图;
图3是本发明实施例提供的智能农机作业管理系统的结构示意图;
图4是本发明实施例提供的智能农机作业管理系统的内部流程示意图;
图5是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合图1-图5描述本发明实施例的智能农机作业管理方法及系统。图1为本发明实施例提供的智能农机作业管理方法流程图,如图1所示,本发明实施例提供一种智能农机作业管理方法,包括:
101、获取无人机采集的多个地块局部图像,以及地块局部图像对应的无人机位姿信息。
首先可通过操作无人飞机自动完成农田信息的采集,如利用无人机和机载RTK-GPS采集地块的多个局部图像,同时获取无人机采集图像时的位姿,即位置和姿态,姿态主要体现是镜头的方向。对于未搭载RTK-GPS的无人机可以通过增设若干地面控制点,在图像拼接的过程中为遥感图像增加高精度的位置信息。
102、根据对应的无人机位姿信息,对所有地块局部图像进行拼接,得到地块图像。
根据对应的无人机位姿信息,再通过图像拼接技术,可得到高精度的农田地块图像。位姿信息包括位置和方向角度,无人机和摄像机的相对位姿是已知的,通过无人机的位姿,可得到同时刻获取局部图像的摄像机位姿,对地块局部图像进行坐标转换,最终全部转换到一个坐标系,如世界坐标系中,从而实现拼接。
具体的实现过程可以为,根据无人机的位姿,确定同时刻摄像机在世界坐标的位置和角度。再将同时刻的局部图像,按照摄像机在世界坐标的位置和角度,进行平移和旋转,从而映射到世界坐标系中。对所有局部图片进行映射处理,均映射到世界坐标系中,最终得到所有局部图像在世界坐标系的拼接结果。通常可得到分辨率为2~3厘米/像素的遥感数据。
103、将所述地块图像和用户标注的作业区域关键点,输入训练后的语义分割网络模型,得到作业区域。
将地块图像输入训练后的语义分割网络模型,进行特征提取,最终输出作业区域的识别结果。该语义分割网络模型,根据部分已标注作业区域的农田图像和部分未标注作业区域的农田图像,结合人工标注作业区域关键点,进行训练后得到。在作业区域检测时,语义分割网络模型还输入人工标注的作业区域关键点,将农民经验和人工智能算法有效地结合,从而提高神经网络的分割精度。
为服务器端开发界面软件,实现地块标注、作业规划等功能。通过人工勾画出作业区域和非作业区域关键点,完成作业地块的标注。
104、根据作业区域确定路径规划结果,并将所述路径规划结果发送至智能农机。
根据作业区域,进行路径规划,再将该路径规划结果发送至智能农机,进行农机作业。以高精度的地块的边界信息为基础,按照作业要求和机具的型号,生成区域全覆盖的作业路径。通过软件将规划的作业路径,即导航地图,远程发给指定的农机进行应用。可通过PC软件和网页两种方式实现作业地图远程下发功能。
本发明实施例的智能农机作业管理方法,通过无人机采集的多个地块局部图像,拼接得到地块图像,无需借助于高精度的GPS进行人工采集,也无需借助于配备高精度GPS的农机采集,简化了农田地块信息获取方式,且数据采集效率高,能够满足精度要求。通过语义分割网络模型自动分割农田图像数据,提取作业边界,分割精度高且分割速度快。根据地块图像和用户标注的作业区域关键点确定作业区域,可将用户经验和人工智能算法有效地结合,进一步提高神经网络的分割精度。
基于上述实施例的内容,作为一种可选实施例,将所述地块图像和用户标注的作业区域关键点,输入训练后的语义分割网络模型,得到作业区域,包括:将所述地块图像输入语义分割网络模型的编码网络进行特征提取;将对应关键点生成的高斯图与编码网络提取的中间特征进行融合,输入第二特征提取网络;将所述第二特征提取网络的输出特征和编码网络提取的高层特征进行融合,输入解码网络,输出作业区域识别结果
具体可参见图2,语义分割网络模型的编码网络和解码网络,可采用DeepLab v3+架构。在此基础上,增加点注意力网络(Click Attention Network,CAN)模块,即第二特征提取网络,可以为卷积网络,用于强化人机交互过程中标注关键点的先后顺序、位置和类别关系。
基于上述实施例的内容,作为一种可选实施例,所述将所述地块图像输入训练后的语义分割网络模型,得到作业区域之前,还包括:获取部分已标注作业区域的地块图像,以及部分未标注作业区域的地块图像,作为训练样本,所有地块图像均标注有作业区域关键点;将已标注作业区域的地块图像输入语义分割网络模型的编码网络进行特征提取;将对应关键点生成的高斯图与编码网络提取的中间特征进行融合,输入第二特征提取网络;将所述第二特征提取网络的输出特征和编码网络提取的高层特征进行融合,输入解码网络,输出作业区域识别结果;根据作业区域识别结果和已标注的作业区域计算损失值,对语义分割网络模型的参数进行更新;将未标注作业区域的地块图像输入语义分割网络模型的编码网络进行特征提取;将对应关键点生成的高斯图与编码网络提取的中间特征进行融合,输入第二特征提取网络;根据所述第二特征提取网络的输出特征和编码网络提取的高层特征,计算交互点损失,对语义分割网络模型的编码网络和第二特征提取网络进行参数更新。
该语义分割网络模型的训练分为两部分,首先是基于已标注作业区域的地块图像进行训练,其次是基于未标注作业区域的地块图像进行训练。由于人工标注作业区域的工作量较大,训练样本中已标注作业区域的地块图像可远远少于未标注作业区域的地块图像。在第一部分的训练过程中,利用标注的作业区域作为标签,对语义分割网络模型进行训练,通过大量此类型样本进行参数的迭代更新。
在第二部分的训练过程中,利用未标注的地块图像作为编码网络的输入,同时该部分未标注的地块图像通过人工进行关键点的标注。需要说明的是,关键点的标注工作量远小于完整的作业区域标注。通过关键点经由第二特征提取网络输出的特征,和编码网络输出的特征,计算交互点的损失,并进行参数更新。通过两部分的训练,语义分割网络模型训练完成,可用于地块图像的作业区域检测。本发明的智能农机作业管理方法,通过部分未标注作业区域的地块图像进行训练,可显著减少标注作业区域的人工任务量。同时,基于人工标注的关键点,又可显著提高模型的训练准确度。二者相结合,在较少的标注作业区域的基础上,得到准确的语义分割网络模型,从而实现作业区域的精准检测。
基于上述实施例的内容,作为一种可选实施例,将所述地块图像和用户标注的作业区域关键点,输入训练后的语义分割网络模型之前,还包括:通过人机界面,接收用户通过单击地块图像标注的作业区域关键点。
具体地,用户可通过鼠标单击的简单交互方式,提示农田区域,为作业区域的检测提供精准指导。
基于上述实施例的内容,作为一种可选实施例,所述将所述路径规划结果发送至智能农机之前,还包括:接收用户通过网页平台或客户端软件对所述路径规划结果进行的修改,相应地,将修改后的路径规划结果发送至智能农机。
具体地,本发明中确定作业区域后,可自动生成路径规划结果,并发送给智能农机。此外,确定作业区域后,可通过网页平台和客户端软件等人机界面向用户展示路径规划结果。用户可通过网页平台和客户端软件对生成的作业地图进行修改,然后再下发给指定的智能农机。
基于上述实施例的内容,作为一种可选实施例,将所述路径规划结果发送至智能农机之后,还包括:获取智能农机作业过程中的状态参数,并在人机界面进行展示:其中,所述状态参数包括,车轮转角、车辆位置、车辆的姿态、作业路径编号和作业质量等级中任意一种,所述人机界面包括网页平台。
在农机自主作业过程中,需要远程监控平台方便农民实时掌握农机的作业状态,并及时地调整农机的关键参数和部件。现有农田管理系统多具备农机和农田的监测功能,但是数据的实时性不够,不能保障自动驾驶农机的作业安全。同时受限于现阶段农机的智能化程度,现有农田管理系统在农机远程控制方面功能不完善,无法做到发动机、油门和作业机具等关键部件的远程控制。
在农机自主作业过程中,对车辆的作业状态实时监测的参数包括前轮转角、车辆的位置、车辆的姿态(横滚、侧倾和航向等)、作业路径编号和作业质量等信息。
无人驾驶农机控制终端通过RTK-GPS和惯性测量单元以10Hz的频率获得当前车辆的位姿信息。通过4G/5G网络向服务器端请求指令、上传农机的实时作业状态。
可设计前后端分离架构,并用PostgreSQL数据库存储遥感数据和作业记录等数据,实现农田和农机的管理和远程控制的功能,同时允许用户通过网页平台和客户端软件对作业地图(即作业路径)进行修改和展示,并下发给指定的智能农机。
本发明实施例的方法,可实时获取农机的位置、作业状态和实现作业路径的可视化功能,方便个人对多个地块和智能农机进行管理和配置。
基于上述实施例的内容,作为一种可选实施例,获取地块图像的路径规划结果之后,或者获取智能农机作业过程中的状态参数,并在人机界面进行展示之后,还包括:通过人机界面接收用户输入的配置参数,将所述配置参数发送至所述智能农机,以用于所述智能农机应用所述配置参数;其中,所述配置参数包括车速、发动机转速、作业机升降高度和输出动力值中任意一种,所述人机界面包括网页平台。
通过软件将规划的作业路径,即导航地图,远程发给指定的农机,并配置作业参数,控制农机的作业状态,包括车速、发动机转速、作业机升降高度和动力输出。可借助互联网实现智能农机的远程控制功能,避免专用的无线电通讯设备的使用不便。
另一方面,在获取智能农机作业过程中的状态参数,并在网页平台等人机界面进行展示之后,用户也可根据获得的状态参数,决定对哪些配置参数进行修改。用户通过人机界面配置参数,然后将配置参数发送至智能农机。
本发明实施例,可利用网页客户端实现农田管理,无需用户掌握地理信息系统相关的专业知识和智能农机的操作技能,可降低对管理人员的要求。同时,在获取智能农机作业过程中的状态参数后,可及时地调整农机的关键参数。
下面对本发明实施例提供的智能农机作业管理系统进行描述,下文描述的智能农机作业管理系统与上文描述的智能农机作业管理方法可相互对应参照。
图3是本发明实施例提供的智能农机作业管理系统的结构示意图,如图3所示,该智能农机作业管理系统包括:信息采集模块301、遥感数据处理模块302、作业区域识别模块303和作业规划模块304。其中,信息采集模块301用于获取无人机采集的多个地块局部图像,以及地块局部图像对应的无人机位姿信息;遥感数据处理模块302用于根据对应的无人机位姿信息,对所有地块局部图像进行拼接,得到地块图像;作业区域识别模块303用于将所述地块图像和用户标注的作业区域关键点,输入训练后的语义分割网络模型,得到作业区域;作业规划模块304用于根据作业区域确定路径规划结果,并将所述路径规划结果发送至智能农机;其中,所述语义分割网络模型,根据部分已标注作业区域的农田图像和部分未标注作业区域的农田图像,结合人工标注作业区域关键点,进行训练后得。
基于上述实施例的内容,作为一种可选实施例,该系统还包括:远程控制模块,用于获取地块图像的路径规划结果之后,通过人机界面接收用户输入的配置参数,将所述配置参数发送至所述智能农机,以用于所述智能农机应用所述配置参数;状态监视模块,用于获取智能农机作业过程中的状态参数,并在人机界面进行展示:其中,所述配置参数包括车速、发动机转速、作业机升降高度和输出动力值中任意一种;所述状态参数包括,车轮转角、车辆位置、车辆的姿态、作业路径编号和作业质量等级中任意一种;所述人机界面包括网页平台。
图4是本发明实施例提供的智能农机作业管理系统的内部流程示意图,系统流程图参见图4,各个环节数据交互可采用xml格式,提高系统的兼容性和通用性,具体可参见上述实施例。
本发明实施例提供的系统实施例是为了实现上述各方法实施例的,具体流程和详细内容请参照上述方法实施例,此处不再赘述。
本发明实施例提供的智能农机作业管理系统,通过无人机采集的多个地块局部图像,拼接得到地块图像,无需借助于高精度的GPS进行人工采集,也无需借助于配备高精度GPS的农机采集,简化了农田地块信息获取方式,且数据采集效率高,能够满足精度要求。通过语义分割网络模型自动分割农田图像数据,提取作业边界,分割精度高且分割速度快。根据地块图像和用户标注的作业区域关键点确定作业区域,可将用户经验和人工智能算法有效地结合,进一步提高神经网络的分割精度。
图5示例了一种电子设备的实体结构示意图,如图5所示,该电子设备可以包括:处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503和通信总线504,其中,处理器501,通信接口502,存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503中的逻辑指令,以执行智能农机作业管理方法,该方法包括:获取无人机采集的多个地块局部图像,以及地块局部图像对应的无人机位姿信息;根据对应的无人机位姿信息,对所有地块局部图像进行拼接,得到地块图像;将所述地块图像和用户标注的作业区域关键点,输入训练后的语义分割网络模型,得到作业区域;根据作业区域确定路径规划结果,并将所述路径规划结果发送至智能农机;其中,所述语义分割网络模型,根据部分已标注作业区域的农田图像和部分未标注作业区域的农田图像,结合人工标注作业区域关键点,进行训练后得到。
此外,上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明实施例还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的智能农机作业管理方法,该方法包括:获取无人机采集的多个地块局部图像,以及地块局部图像对应的无人机位姿信息;根据对应的无人机位姿信息,对所有地块局部图像进行拼接,得到地块图像;将所述地块图像和用户标注的作业区域关键点,输入训练后的语义分割网络模型,得到作业区域;根据作业区域确定路径规划结果,并将所述路径规划结果发送至智能农机;其中,所述语义分割网络模型,根据部分已标注作业区域的农田图像和部分未标注作业区域的农田图像,结合人工标注作业区域关键点,进行训练后得到。
又一方面,本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的智能农机作业管理方法,该方法包括:获取无人机采集的多个地块局部图像,以及地块局部图像对应的无人机位姿信息;根据对应的无人机位姿信息,对所有地块局部图像进行拼接,得到地块图像;将所述地块图像和用户标注的作业区域关键点,输入训练后的语义分割网络模型,得到作业区域;根据作业区域确定路径规划结果,并将所述路径规划结果发送至智能农机;其中,所述语义分割网络模型,根据部分已标注作业区域的农田图像和部分未标注作业区域的农田图像,结合人工标注作业区域关键点,进行训练后得到。
以上所描述的系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种智能农机作业管理方法,其特征在于,包括:
获取无人机采集的多个地块局部图像,以及地块局部图像对应的无人机位姿信息;
根据对应的无人机位姿信息,对所有地块局部图像进行拼接,得到地块图像;
将所述地块图像和用户标注的作业区域关键点,输入训练后的语义分割网络模型,得到作业区域;
根据所述作业区域确定路径规划结果,并将所述路径规划结果发送至智能农机;
其中,所述语义分割网络模型,根据部分已标注作业区域的农田图像和部分未标注作业区域的农田图像,结合人工标注作业区域关键点,进行训练后得到。
2.根据权利要求1所述的智能农机作业管理方法,其特征在于,所述将所述地块图像和用户标注的作业区域关键点,输入训练后的语义分割网络模型,得到作业区域,包括:
将所述地块图像输入语义分割网络模型的编码网络进行特征提取;
将对应关键点生成的高斯图与编码网络提取的中间特征进行融合,输入第二特征提取网络;
将所述第二特征提取网络的输出特征和编码网络提取的高层特征进行融合,输入解码网络,输出作业区域识别结果。
3.根据权利要求2所述的智能农机作业管理方法,其特征在于,所述将所述地块图像输入训练后的语义分割网络模型,得到作业区域之前,还包括:
获取部分已标注作业区域的地块图像,以及部分未标注作业区域的地块图像,作为训练样本,所有地块图像均标注有作业区域关键点;
将已标注作业区域的地块图像输入语义分割网络模型的编码网络进行特征提取;
将对应关键点生成的高斯图与编码网络提取的中间特征进行融合,输入第二特征提取网络;
将所述第二特征提取网络的输出特征和编码网络提取的高层特征进行融合,输入解码网络,输出作业区域识别结果;
根据作业区域识别结果和已标注的作业区域计算损失值,对语义分割网络模型的参数进行更新;
将未标注作业区域的地块图像输入语义分割网络模型的编码网络进行特征提取;
将对应关键点生成的高斯图与编码网络提取的中间特征进行融合,输入第二特征提取网络;
根据所述第二特征提取网络的输出特征和编码网络提取的高层特征,计算交互点损失,对语义分割网络模型的编码网络和第二特征提取网络进行参数更新。
4.根据权利要求1所述的智能农机作业管理方法,其特征在于,所述将所述地块图像和用户标注的作业区域关键点,输入训练后的语义分割网络模型之前,还包括:
通过人机界面,接收用户通过单击地块图像标注的作业区域关键点。
5.根据权利要求1所述的智能农机作业管理方法,其特征在于,所述将所述路径规划结果发送至智能农机之前,还包括:
接收用户通过网页平台或客户端软件对所述路径规划结果进行的修改,相应地,将修改后的路径规划结果发送至智能农机。
6.根据权利要求1所述的智能农机作业管理方法,其特征在于,将所述路径规划结果发送至智能农机之后,还包括:
获取智能农机作业过程中的状态参数,并在人机界面进行展示:
其中,所述状态参数包括,车轮转角、车辆位置、车辆的姿态、作业路径编号和作业质量等级中任意一种,所述人机界面包括网页平台。
7.根据权利要求1或6所述的智能农机作业管理方法,其特征在于,获取地块图像的路径规划结果之后,或者获取智能农机作业过程中的状态参数,并在人机界面进行展示之后,还包括:
通过人机界面接收用户输入的配置参数,将所述配置参数发送至所述智能农机,以用于所述智能农机应用所述配置参数;
其中,所述配置参数包括车速、发动机转速、作业机升降高度和输出动力值中任意一种,所述人机界面包括网页平台。
8.一种智能农机作业管理系统,其特征在于,包括:
信息采集模块,用于获取无人机采集的多个地块局部图像,以及地块局部图像对应的无人机位姿信息;
遥感数据处理模块,用于根据对应的无人机位姿信息,对所有地块局部图像进行拼接,得到地块图像;
作业区域识别模块,用于将所述地块图像和用户标注的作业区域关键点,输入训练后的语义分割网络模型,得到作业区域;
作业规划模块,用于根据所述作业区域确定路径规划结果,并将所述路径规划结果发送至智能农机;
其中,所述语义分割网络模型,根据部分已标注作业区域的农田图像和部分未标注作业区域的农田图像,结合人工标注作业区域关键点,进行训练后得到。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述智能农机作业管理方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至7任一项所述智能农机作业管理方法的步骤。
CN202110276923.XA 2021-03-15 2021-03-15 智能农机作业管理方法及系统 Active CN113052369B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110276923.XA CN113052369B (zh) 2021-03-15 2021-03-15 智能农机作业管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110276923.XA CN113052369B (zh) 2021-03-15 2021-03-15 智能农机作业管理方法及系统

Publications (2)

Publication Number Publication Date
CN113052369A true CN113052369A (zh) 2021-06-29
CN113052369B CN113052369B (zh) 2024-05-10

Family

ID=76512603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110276923.XA Active CN113052369B (zh) 2021-03-15 2021-03-15 智能农机作业管理方法及系统

Country Status (1)

Country Link
CN (1) CN113052369B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113778110A (zh) * 2021-11-11 2021-12-10 山东中天宇信信息技术有限公司 一种基于机器学习的智能农机控制方法及系统
CN115326054A (zh) * 2022-08-24 2022-11-11 中国热带农业科学院农业机械研究所 一种履带式农用车的自动导航方法
CN115760886A (zh) * 2022-11-15 2023-03-07 中国平安财产保险股份有限公司 基于无人机鸟瞰图的地块划分方法、装置及相关设备
WO2023082066A1 (zh) * 2021-11-09 2023-05-19 深圳市大疆创新科技有限公司 作业规划方法、控制装置、控制终端及存储介质

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390282A (zh) * 2013-07-30 2013-11-13 百度在线网络技术(北京)有限公司 图像标注方法及其装置
CN108304765A (zh) * 2017-12-11 2018-07-20 中国科学院自动化研究所 用于人脸关键点定位与语义分割的多任务检测装置
CN108710863A (zh) * 2018-05-24 2018-10-26 东北大学 基于深度学习的无人机航拍场景语义分割方法及系统
CN108805959A (zh) * 2018-04-27 2018-11-13 淘然视界(杭州)科技有限公司 一种图像标注方法和系统
CN109099925A (zh) * 2018-08-31 2018-12-28 江苏大学 一种无人农机导航路径规划与作业质量评估方法与装置
CN109117749A (zh) * 2018-07-23 2019-01-01 福建中海油应急抢维修有限责任公司 一种基于无人机巡检影像的异常目标监管方法及系统
CN109409248A (zh) * 2018-09-30 2019-03-01 上海交通大学 基于深度语义网络的语义标注方法、装置及系统
CN110188661A (zh) * 2019-05-27 2019-08-30 广州极飞科技有限公司 边界识别方法及装置
CN110243370A (zh) * 2019-05-16 2019-09-17 西安理工大学 一种基于深度学习的室内环境三维语义地图构建方法
CN110297483A (zh) * 2018-03-21 2019-10-01 广州极飞科技有限公司 待作业区域边界获取方法、装置,作业航线规划方法
WO2019192397A1 (zh) * 2018-04-04 2019-10-10 华中科技大学 一种任意形状的场景文本端到端识别方法
CN110399812A (zh) * 2019-07-08 2019-11-01 中国平安财产保险股份有限公司 人脸特征智能提取方法、装置及计算机可读存储介质
CN110889446A (zh) * 2019-11-22 2020-03-17 高创安邦(北京)技术有限公司 人脸图像识别模型训练及人脸图像识别方法和装置
CN111260613A (zh) * 2020-01-10 2020-06-09 丽水正阳电力建设有限公司 一种基于机器学习模型的图像标注方法
CN111259898A (zh) * 2020-01-08 2020-06-09 西安电子科技大学 基于无人机航拍图像的农作物分割方法
CN111551167A (zh) * 2020-02-10 2020-08-18 江苏盖亚环境科技股份有限公司 一种基于无人机拍摄和语义分割的全局导航辅助方法
CN111598174A (zh) * 2020-05-19 2020-08-28 中国科学院空天信息创新研究院 图像地物要素分类模型的训练方法、图像分析方法及系统
CN111832570A (zh) * 2020-07-02 2020-10-27 北京工业大学 一种图像语义分割模型训练方法及系统
CN111985549A (zh) * 2020-08-12 2020-11-24 中国科学院光电技术研究所 针对给定刚体目标进行部件自动定位识别的深度学习方法
WO2021017372A1 (zh) * 2019-08-01 2021-02-04 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、系统及电子设备
CN112464766A (zh) * 2020-11-17 2021-03-09 北京农业智能装备技术研究中心 一种农田地头自动识别方法及系统

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390282A (zh) * 2013-07-30 2013-11-13 百度在线网络技术(北京)有限公司 图像标注方法及其装置
CN108304765A (zh) * 2017-12-11 2018-07-20 中国科学院自动化研究所 用于人脸关键点定位与语义分割的多任务检测装置
CN110297483A (zh) * 2018-03-21 2019-10-01 广州极飞科技有限公司 待作业区域边界获取方法、装置,作业航线规划方法
WO2019192397A1 (zh) * 2018-04-04 2019-10-10 华中科技大学 一种任意形状的场景文本端到端识别方法
CN108805959A (zh) * 2018-04-27 2018-11-13 淘然视界(杭州)科技有限公司 一种图像标注方法和系统
CN108710863A (zh) * 2018-05-24 2018-10-26 东北大学 基于深度学习的无人机航拍场景语义分割方法及系统
CN109117749A (zh) * 2018-07-23 2019-01-01 福建中海油应急抢维修有限责任公司 一种基于无人机巡检影像的异常目标监管方法及系统
CN109099925A (zh) * 2018-08-31 2018-12-28 江苏大学 一种无人农机导航路径规划与作业质量评估方法与装置
CN109409248A (zh) * 2018-09-30 2019-03-01 上海交通大学 基于深度语义网络的语义标注方法、装置及系统
CN110243370A (zh) * 2019-05-16 2019-09-17 西安理工大学 一种基于深度学习的室内环境三维语义地图构建方法
CN110188661A (zh) * 2019-05-27 2019-08-30 广州极飞科技有限公司 边界识别方法及装置
CN110399812A (zh) * 2019-07-08 2019-11-01 中国平安财产保险股份有限公司 人脸特征智能提取方法、装置及计算机可读存储介质
WO2021017372A1 (zh) * 2019-08-01 2021-02-04 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、系统及电子设备
CN110889446A (zh) * 2019-11-22 2020-03-17 高创安邦(北京)技术有限公司 人脸图像识别模型训练及人脸图像识别方法和装置
CN111259898A (zh) * 2020-01-08 2020-06-09 西安电子科技大学 基于无人机航拍图像的农作物分割方法
CN111260613A (zh) * 2020-01-10 2020-06-09 丽水正阳电力建设有限公司 一种基于机器学习模型的图像标注方法
CN111551167A (zh) * 2020-02-10 2020-08-18 江苏盖亚环境科技股份有限公司 一种基于无人机拍摄和语义分割的全局导航辅助方法
CN111598174A (zh) * 2020-05-19 2020-08-28 中国科学院空天信息创新研究院 图像地物要素分类模型的训练方法、图像分析方法及系统
CN111832570A (zh) * 2020-07-02 2020-10-27 北京工业大学 一种图像语义分割模型训练方法及系统
CN111985549A (zh) * 2020-08-12 2020-11-24 中国科学院光电技术研究所 针对给定刚体目标进行部件自动定位识别的深度学习方法
CN112464766A (zh) * 2020-11-17 2021-03-09 北京农业智能装备技术研究中心 一种农田地头自动识别方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023082066A1 (zh) * 2021-11-09 2023-05-19 深圳市大疆创新科技有限公司 作业规划方法、控制装置、控制终端及存储介质
CN113778110A (zh) * 2021-11-11 2021-12-10 山东中天宇信信息技术有限公司 一种基于机器学习的智能农机控制方法及系统
CN115326054A (zh) * 2022-08-24 2022-11-11 中国热带农业科学院农业机械研究所 一种履带式农用车的自动导航方法
CN115760886A (zh) * 2022-11-15 2023-03-07 中国平安财产保险股份有限公司 基于无人机鸟瞰图的地块划分方法、装置及相关设备
CN115760886B (zh) * 2022-11-15 2024-04-05 中国平安财产保险股份有限公司 基于无人机鸟瞰图的地块划分方法、装置及相关设备

Also Published As

Publication number Publication date
CN113052369B (zh) 2024-05-10

Similar Documents

Publication Publication Date Title
CN113052369B (zh) 智能农机作业管理方法及系统
EP3629057B1 (en) Method and apparatus for calibrating relative pose and medium
EP3770810A1 (en) Method and apparatus for acquiring boundary of area to be operated, and operation route planning method
CN112633535A (zh) 一种基于无人机图像的光伏电站智能巡检方法及系统
DE102020200843A1 (de) Lokalisierung mit neuronalen Netz basierend auf Bildregistrierung von Sensordaten und Kartendaten
CN112949366B (zh) 障碍物识别方法和装置
CN114841944B (zh) 基于挂轨轨道机器人的尾矿坝表面形变巡检方法
CN114564042A (zh) 一种基于多传感器融合的无人机着陆方法
CN115841552A (zh) 高精地图生成方法及装置、电子设备和介质
CN117541655B (zh) 融合视觉语义消除radar建图z轴累积误差的方法
CN115035626A (zh) 一种基于ar的景区智能巡检系统及方法
CN114707282A (zh) 一种地下管线施工智能监测方法、系统及介质
CN112180987B (zh) 协同作业方法、系统、装置、计算机设备及存储介质
CN117576652A (zh) 道路对象的识别方法、装置和存储介质及电子设备
CN112346481A (zh) 一种无人机电力巡检作业的方法及系统
CN116739739A (zh) 一种贷款额度评估方法、装置、电子设备及存储介质
de Sousa Contente et al. Vineyard skeletonization for autonomous robot navigation
CN114200527B (zh) 一种基于倾斜摄影的无人机航磁测量方法及系统
CN115661694A (zh) 一种聚焦关键特征的轻量型主变压器智能检测方法、系统、存储介质及电子设备
CN112651986B (zh) 环境识别方法、识别装置、识别系统、电子设备及介质
CN115268488A (zh) 一种电力巡检无人机起降点自动生成方法及系统
CN109901589B (zh) 移动机器人控制方法和装置
CN114091774A (zh) 一种作物产量预估方法及装置
CN113569849A (zh) 基于计算机视觉的汽车充电桩界面检测智能交互系统
Liu et al. Visualization of Power Corridor Based on UAV Line Inspection Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant