CN114485612B - 路线生成方法、装置、无人作业车、电子设备及存储介质 - Google Patents

路线生成方法、装置、无人作业车、电子设备及存储介质 Download PDF

Info

Publication number
CN114485612B
CN114485612B CN202111650932.7A CN202111650932A CN114485612B CN 114485612 B CN114485612 B CN 114485612B CN 202111650932 A CN202111650932 A CN 202111650932A CN 114485612 B CN114485612 B CN 114485612B
Authority
CN
China
Prior art keywords
route
target
image
determining
farmland
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111650932.7A
Other languages
English (en)
Other versions
CN114485612A (zh
Inventor
黎赣彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xaircraft Technology Co Ltd
Original Assignee
Guangzhou Xaircraft Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xaircraft Technology Co Ltd filed Critical Guangzhou Xaircraft Technology Co Ltd
Priority to CN202111650932.7A priority Critical patent/CN114485612B/zh
Publication of CN114485612A publication Critical patent/CN114485612A/zh
Application granted granted Critical
Publication of CN114485612B publication Critical patent/CN114485612B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/43—Determining position using carrier phase measurements, e.g. kinematic positioning; using long or short baseline interferometry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Guiding Agricultural Machines (AREA)

Abstract

本申请提供了一种路线生成方法、无人作业车、装置、电子设备及存储介质。所述方法包括：利用神经网络模型对农田图像进行处理，以将所述农田图像分割成多个区域，所述多个区域包括植株区域和非植株区域；根据所述多个区域，确定所述目标地块的田间路线。上述方法利用神经网络模型对农田图像直接进行分割，根据神经网络模型识别的目标区域的轮廓直接确定目标地块的田间路线。能够有效解决现有技术中颜色阈值难以确定以及逐行扫描或水平切割的方式处理效率较低的问题。同时，在对神经网络模型进行训练时，充分考虑了不同环境因素的影响，使该方法能够适用于作物生长的不同时期以及不同的光照条件，实现全天候的作业。

Description

路线生成方法、装置、无人作业车、电子设备及存储介质
技术领域
本申请涉及无人作业车技术领域，具体涉一种路线生成方法、装置、无人作业车、电子设备及存储介质。
背景技术
随着智能农业的发展，无人作业车被广泛应用于农作物的播种、植保以及收割等工作。为确保无人作业车在作业过程中能够按照实际情况调整作业轨迹，需要其具备自主导航能力。
机器视觉导航方法因其成本低、实时性强而被广泛应用于无人作业车的导航。传统算法中，主要是通过基于颜色阈值的方法对无人作业车采集的图像进行分割；对分割结果的二值化图像采用逐行扫描或水平切割的方式，分别获取多个轮廓的重心，利用霍夫变化或者直线拟合的方式获取无人作业车的路线，实现对无人作业车的导航。
上述方法在基于颜色阈值对图像分割时，会因外界环境的变化导致分割结果的误差较大。并且，采用逐行扫描或水平切割的方式计算路线时耗时较长，处理效率较低。
发明内容
有鉴于此，本申请提供一种路线生成方法、装置、无人作业车、电子设备及存储介质，以使无人作业车在植株的不同生长时期、不同的光照以及环境条件下均能生成正确的路线，实现无人作业车的全天候自主导航。
第一方面，提供一种路线生成的方法，包括：利用神经网络模型对目标地块的目标农田图像进行处理，以将所述目标农田图像分割成多个区域，所述多个区域包括植株区域和非植株区域；根据所述多个区域，确定所述目标地块的田间路线；其中，训练所述神经网络模型所依据的农田图像样本包括以下中的至少一种：不同光照强度下的农田图像、不同作业地块的农田图像样本、不同作物生长时期下的农田图像样本。
第二方面，提供一种路线生成的装置，应用于无人作业车，所述装置包括：分割单元，用于利用神经网络模型对目标地块的目标农田图像进行处理，以将所述目标农田图像分割成多个区域，所述多个区域包括植株区域和非植株区域；路线确定单元，用于根据所述多个区域，确定所述目标地块的田间路线；其中，训练所述神经网络模型所依据的农田图像样本包括以下中的至少一种：不同光照强度下的农田图像、不同作业地块的农田图像样本、不同作物生长时期下的农田图像样本。
第三方面，提供一种无人作业车，包括：无人作业车车体；动力装置，设置在所述无人作业车车体上，用于为所述无人作业车提供动力；无人作业车控制装置，用于控制所述无人作业车按照生成的路线在目标地块中执行作业，所述路线根据第一方面及第一方面中的任一可选方案所述的方法生成。
第四方面，提供一种农机自动驾驶装置，所述装置包括：通信连接的控制机构和转向机构；所述控制机构用于根据路线控制所述转向机构运行，以通过所述转向机构控制农机按照生成的路线在目标地块中执行作业；其中，所述路线根据第一方面及第一方面中的任一可选方案所述的方法生成。
第五方面，提供一种作业方法，所述方法包括：控制作业设备在目标地块的目标行中按照生成的路线执行作业，所述路线根据第一方面及第一方面中的任一可选方案的方法生成。
第六方面，提供一种生成田间地图的方法，所述方法包括：确定目标地块的田间路线；其中，所述田间路线通过第一方面及第一方面中的任一可选方案的方法确定；基于所述田间路线生成所述目标地块的导航地图。
第七方面，提供一种评估作物种植的规整度的方法，所述方法包括：获取目标地块的田间路线上的多个位置点；其中，所述田间路线通过第一方面及第一方面中的任一可选方案的方法确定得到；基于所述多个位置点拟合得到拟合直线；基于所述田间路线与所述拟合直线之间的偏差值确定所述田间路线对应的种植行的规整度。
第八方面，提供一种作物种植规整度确定方法，所述方法包括：对于目标地块中各田间路线，获取所述田间路线上的多个位置点；其中，所述田间路线通过第一方面及第一方面中的任一可选方案的方法确定得到；对于各田间路线，基于所述多个位置点拟合得到所述田间路线对应的拟合直线；根据每相邻两条田间路线对应的拟合直线之间的距离，确定相邻田间路线之间的平均距离值；基于所述平均距离确定所述目标地块中相邻种植行的规整度。
第九方面，提供一种电子设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器被配置为执行所述可执行代码，以实现如第一方面、第五方面、第六方面、第七方面、第八方面及其任一可选方案的方法。
第十方面，提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面、第五方面、第六方面、第七方面、第八方面及其任一可选方案的方法步骤。
本申请实施例提供的路线生成的方法，利用神经网络模型对农田图像直接进行分割，根据神经网络模型识别的目标区域的轮廓直接确定目标地块的田间路线。能够有效解决现有技术中颜色阈值难以确定以及逐行扫描或水平切割的方式处理效率较低的问题。同时，在对神经网络模型进行训练时，充分考虑了不同环境因素的影响，使该方法能够适用于作物生长的不同时期以及不同的光照条件，实现全天候的作业。
附图说明
图1是本申请一实施例提供的神经网络模型的训练方法的示意性流程图。
图2是本申请一实施例提供的路线生成方法的示意性流程图。
图3是本申请一实施例提供的农田图像。
图4是本申请一实施例提供的神经网络模型对图3所示的农田图像的分割结果。
图5是对图4所示的分割结果进行降噪处理后的降噪图像。
图6是本申请一实施例提供的目标区域的边缘轮廓线的外接矩形的示意图。
图7是本申请一实施例提供的左边路线和右边路线的掩膜的示意图。
图8是本申请一实施例提供的目标区域的轮廓图像。
图9是本申请一实施例提供的左边路线点集和右边路线点集的示意图。
图10是本申请一实施例提供的路线生成装置的示意性结构图。
图11是本申请一实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。
无人作业车可以根据不同的农事需求，实现植保、播撒、割草、运输以及消杀等多种功能。为确保无人作业车在作业过程中能够按照实际情况调整作业轨迹，需要其具备自动导航能力。
基于机器视觉的导航方法因其成本低、实时性强而被广泛应用在上述场景中。下面对该方法及其存在的问题进行详细的说明。
无人作业车上可搭载图像采集装置，该图像采集装置可用于采集作业区域的彩色图像。无人作业车可以根据作业区域的农作物的颜色设定阈值，对采集的彩色图像进行阈值分割，将作物区从彩色图像中分离，得到分割结果的二值图像；得到二值图像后，可以对上述二值图像进行降噪处理，例如对二值图像进行先膨胀后腐蚀的形态学闭运算，或者去除掉二值图像中的空洞区域以及小块区域，得到去噪图像。从图像的底部开始进行逐行扫描，获得多个轮廓的重心，采用霍夫变化或根据最小二乘法进行直线拟合，即可得到无人作业车的路线。
上述方法虽然能够根据无人作业车在行进过程中实时采集的图像进行路线的计算，但是依然存在以下问题：
首先，农作物在生长过程中的不同阶段的颜色具有较大的变化，需要针对不同的作物类型或者不同的生长时期分别设置不同的阈值。以小麦为例，在幼苗期，作物区的小麦为草绿色，而非作物区的土地为土黄色，此时基于颜色阈值的方法可以轻易地将图像中的作物区与非作物区分割出来。但是在成熟期，小麦的颜色与土地接近，此时的颜色阈值难以确定，导致分割结果准确度降低。
其次，图像分割结果受光照条件的影响较大。例如，在光照较强的条件下，无人作业车采集的图像亮度和/或曝光度较高，而在夜间亮度较低时，无人作业车采集的图像的亮度较低，无法获得准确的分割结果，导致无人作业车无法实现全天候的作业。
最后，在对图像分割的结果进行处理时，逐行扫描或水平切割的方式需要遍历图像的所有部分，处理过程耗时较长且效率较低，无法满足无人作业车在作业时实时导航的需求。
基于此，本申请提出了一种路线生成的方法及装置，通过利用神经网络模型将目标地块的目标农田图像分割为多个区域，根据分割结果中的区域边缘轮廓，即可确定目标地块的田间路线。上述方法处理效率较高，能够适用于作物生长的不同时期以及不同的光照条件，可以实现全天候作业。
在介绍本申请实施例的路线生成方法之前，先对该方法中使用的神经网络模型及其训练方法进行详细的举例说明。
本申请实施例中的神经网络模型可以是针对农田图像分割的场景训练得到的，下面结合附图，对神经网络模型的训练方法进行详细的举例说明。参阅图1，该训练方法包括步骤S11-S13。
在步骤S11，将农田图像样本输入神经网络模型，以将所述农田图像样本分割成多个区域，所述多个区域包括植株标注区域和非植株标注区域；
本申请实施例中的神经网络模型可以是任一种神经网络模型，例如可以是深度神经网络、循环神经网络或卷积神经网络等，本申请对此不做限定。
需要说明的是，此处所说的植株标注区域和非植株标注区域是指由神经网络模型识别得到的训练样本中的植株区域和非植株区域。
在一些实施方式中，在将农田图像样本输入神经网络模型进行分割前，上述方法还可以包括获取农田图像样本，所述农田图像样本例如可以是从视频数据中筛选的视频帧图像。
此处所说的视频数据例如可以是利用作业设备(例如无人作业车)或其他可移动设备的图像采集装置获取的，图像采集装置能够用于拍摄其视场范围内的农田的视频，从视频中截取部分图像帧即可得到农田图像样本。
当然，本申请实施例中获取农田图像样本的方法也不局限与此，例如，在一些实施方式中，上述农田图像样本也可以图像采集装置采集的农田照片。
在一些优选的实施方式中，农田图像样本可以通过设置在无人作业车上的图像采集装置获取。由于无人作业车在实际工作时，大多是基于无人作业车上采集的图像进行路线计算的。因此，将无人作业车采集的图像作为训练样本对神经网络模型进行训练，可以使得训练样本与实际工作中采集的图像的视场范围以及角度基本一致，能够有效避免因采集的图像角度与训练样本中的图像的差异而导致的分割不准确的情况，提高分割的准确率。
在一些实施方式中，利用神经网络模型对农田图像样本进行分割时，可以将农田图像样本对应的三通道RGB图像输入神经网络模型，得到的结果为与输入图像大小一致的单通道矩阵，矩阵中每个元素与农田图像中的像素点对应，矩阵中的值表示神经网络模型预测的该像素点的类别。
为了扩大无人作业车的应用范围，在进行农田图像的采集时，可以针对不同种类的农作物分别采集各自的图像。本申请实施例对农作物的种类不做限定，例如可以是小麦、棉花或者玉米等。
为了减小农田中的环境因素对分割结果的影响，在进行训练样本的采集时，可以在不同的环境因素下分别采集农田图像。例如，为避免农作物在不同的生长周期的颜色变化对图像分割结果的影响，可以分别采集农作物生长的不同时期(例如出苗期、苗期、蕾期以及成熟期等)的图像。又例如，为解决现有技术中光照条件对图形分割结果的影响较大的问题，可以在一天的不同时间段分别采集农田图像。
此外，为了提高神经网络模型的准确程度，上述农田图像样本优选的为植株在每个不同生长周期的不少于200张图像。
可选地，在进行夜间的图像采集时，可以在无人作业车上增加照明设备以提高亮度。
在步骤S12，根据所述植株标注区域和所述非植株标注区域，确定神经网络模型的损失。
神经网络模型的损失用来衡量神经网络模型输出的农田图像样本对应的分割结果与人工标注的结果之间的误差。在训练过程中，通过调整神经网络模型的参数将损失最小化即可实现对神经网络模型的训练。
在步骤S12之前，本申请实施例的训练方法还包括对农田图像样本进行人工标注。通常，为了适应机械化作业，农田中的农作物被规划成整齐的列或行。因此在标注时可以利用多边形标注的方法，将农田图像样本用分割为多个多边形的植株区域和非植株区域。例如，可以将农田图像中的植株区域标注为黑色，将非植株区域标注为白色。其中，植株区域例如可以是小麦、玉米等，非植株区域可以为田间的道路以及田垄等。
特别地，对于例如棉花等需要覆膜的农作物，在对农田图像进行标注时，可以将覆膜区域和植株统一标注为植株区域。
可以理解，上述对植株区域和非植株区域标注的颜色仅仅是为了将不同的区域区分开，色彩的取值没有实际含义。
在步骤S13，根据所述神经网络的损失，对神经网络模型进行训练。
在训练过程中，可以通过反向传播或梯度下降的方法，调整神经网络模型的参数，进一步调整神经网络的损失的值，以确定最优的神经网络模型参数。例如可以设置为当损失收敛到最小时，即完成了神经网络模型的训练。
在一些实施方式中，还可以采用数据增强方法进行训练，以提高神经网络模型的鲁棒性。本申请实施例对上述数据增强方法不做具体限定，例如可以是对输入图像进行旋转、缩放、翻转、倾斜、亮度变化、色调变化、模糊以及裁剪等操作中的任意一种或多种的组合。
本申请实施例提供的神经网络模型的训练方法，通过采集不同生长周期以及不同时间的农田图像，对神经网络模型进行训练，使得神经网络模型可以适用于各种工况的农田图像分割，能够实现全天候作业。
图2为本申请实施例提供的路线生成方法的示意性流程图，本实施例的方法适用于生成无人作业车在田间作业时的路线，该方法可以由本申请实施例提供的路线生成装置来执行，该装置可采用软件和/或硬件的方式来实现，并集成与无人作业车中，图2所示的方法包括步骤S21-步骤S22：
在步骤S21，利用神经网络模型对目标地块的目标农田图像进行处理，以将所述目标农田图像分割成多个区域，所述多个区域包括植株区域和非植株区域。利用神经网络模型对农田图像进行分割，得到包含多个植株区域和多个非植株区域的特征图像。其中，上述神经网络模型可以为深度神经网络模型，神经网络模型可以是使用图1所示的方法训练得到的神经网络模型。其中，训练所述神经网络模型所依据的农田图像样本包括以下中的至少一种：不同光照强度下的农田图像、不同作业地块的农田图像样本、不同作物生长时期下的农田图像样本。具体的训练过程和方法在前文已进行了详细的描述，此处不再赘述。
所述目标农田图像的采集方式可以有很多种，例如可以在无人作业车实施作业之前由人工控制无人作业车采集农田图像。可选地，无人作业车上可以设置有图像采集装置，在无人作业车行进过程中可以实时获取行驶路径前方的农田图像。
本申请实施例对农田图像不做具体限定，例如可以是无人作业车采集的农田的照片，也可以是从无人作业车在行进过程中拍摄的视频中截取的帧图像。
无人作业车上的图像采集装置可以是单目相机、双目相机以及深度相机等常用的图像采集装置，本申请实施例对此不做具体限定，只要图像采集装置能够获取到无人作业车行驶路径前方的农田图像即可。由于单目相机成本较低，具有较好的经济性，因此本申请实施例可以使用单目相机作为图像采集装置。
在夜间光线较差时，图像采集装置获取到的农田图像的对比度和/或亮度较低，会影响神经网络模型分割结果的准确性，进而导致生成的路线的准确度较低。
为避免上述问题，在一些实施方式中，无人作业车或目标地块上还设置有照明装置。在进行夜间作业时，可以控制照明装置开启以提高亮度，使得无人作业车能够实现全天24小时作业，提高作业效率。
可选地，所述农田图像为农作物在任意生长时期的图像，使得在农作物的整个生命周期内，都可以使用本申请的方法为无人作业车进行实时导航。
以输入的目标农田图像为图3所示的农田图像为例，对农田图像的处理过程进行举例说明。将图3所示的农田图像输入神经网络模型，可以得到如图4所示的包括了多个区域的分割结果。其中，标示为黑色和白色的区域分别为神经网络模型识别的多个植株区域和非植株区域。
在步骤S22，根据所述多个区域，确定目标地块的田间路线。
在一些实施方式中，所述根据所述多个区域，确定目标地块的田间路线可以包括：从目标农田图像的多个区域中选择边缘轮廓线满足预设要求的目标区域，根据目标区域的边缘轮廓线，确定田间路线。
本申请实施例对所述预设条件的具体类型不作限定。例如，所述预设要求可以是对目标区域的面积的限定，目标区域可以是面积最大的区域或面积最小的区域；又例如，所述预设要求还可以是对目标区域的周长的限定，目标区域可以是多个区域中周长最大或最小的区域；在例如，目标区域还可以处于目标农田图像最中间的区域。
请参阅图4，在一些实施方式中，神经网络输出的分割结果中会包含如图4中虚线部分所示的离散的小面积噪声区域。为了避免上述噪声区域的影响，可以先对神经网络模型的分割结果进行降噪处理。
所述进行降噪处理例如是可以采用限制周长和/或面积的方法对目标农田图像的分割结果进行处理，具体做法可以为：查找目标农田图像的分割结果的二值图像中的所有区域轮廓；计算各区域轮廓的周长和/或各区域的面积，剔除二值图像中周长小于周长阈值和/或面积小于面积阈值的区域。
本申请实施例对以上所述周长阈值以及面积阈值的具体取值不作限定，例如，可以根据农田图像的采集时间或者农作物类型等参数设置。
根据上述图像降噪方法，对图4所示的分割结果进行处理，可以得到如图5所示的分割结果的降噪图像。
在对分割结果进行降噪处理后，本申请实施例的方法还包括确定目标区域。目标区域的确定方法可以有很多种，本申请对此不做具体限定。例如，当无人作业车用于执行覆膜或除草等操作时，无人作业车的车身需要覆盖在农作物的上方行驶，此时可以选择多个区域中的植株区域作为目标区域。又例如，当无人作业车执行农药喷洒或灌溉等操作时，需要在相邻的两个农作物区域之间的土地或田垄上行驶，此时可以选择多个区域中的非植株区域作为目标区域。
在一些实施方式中，农田图像中包括多个植株区域和多个非植株区域，此时，可以在上述多个植株区域和多个非植株区域中选择其中一个作为目标区域。例如，可以选择位于农田图像中间位置的区域作为目标区域；或者，还可以选择多个植株区域和多个非植株区域中面积和/或周长最大的一个区域作为目标区域。
根据上述确定目标区域的方法，提取图5中的多个区域中面积最大的区域为目标区域。
在确定目标区域后，本申请实施例提供的方法还包括：根据目标区域的边缘轮廓线，确定无人作业车的田间路线。
在一些实施方式中，无人作业车可以根据目标区域的边缘轮廓线，获取田间路线的左边路线和右边路线；再根据左边路线和右边路线，确定田间路线的中间路线。
下面先结合附图，对本申请实施例中确定田间路线的左边路线和右边路线的方法进行详细的举例说明。
确定左边路线和右边路线可以包括以下步骤：
确定目标区域的边缘轮廓线的外接矩形。如图6所示，图中虚线部分示出的矩形61即为能够完全包络目标区域的边缘轮廓线的外接矩形；
根据外接矩形的左上角和右下角的坐标，确定左边路线和右边路线的掩膜。请参阅图7，图7a和7b分别示出了左边路线的掩膜71和右边路线的掩膜72；
在空白图片上绘制所述目标区域的轮廓，确定所述目标区域的轮廓图像，其中，所述空白图片的大小与所述目标农田图像相同。图8所示即为前述目标区域的轮廓图像。
利用图7中所示的左边路线的掩膜71与右边路线的掩膜72分别与图8中的目标区域的轮廓图像做交集，确定左边路线点集和右边路线点集。如图9所示，图9a和图9b分别示出了利用掩膜71、72与轮廓图像做交集后确定的左边路线点集91和右边路线点集92。
分别对左边路线点集和右边路线点集进行拟合，即可确定所述左边路线和右边路线，继续参阅图9，图9a中的虚线91’和和图9b中的虚线92’分别为拟合出的左边路线和右边路线。
可以理解的是，在一些情况下，图像采集设备可能会将天空或无人作业车车体上的一些零部件也采集到农田图像中，神经网络模型会将这一部分区域错误地识别为植株区域或非植株区域，上述方法利用图像掩膜，即可将这些错误的影响降低到最小。
在获取了左边路线和右边路线后，可以根据左边路线和右边路线确定田间路线。
在一些实施方式中，当左边路线和右边路线均为直线时，根据左边路线和右边路线确定田间路线可以是：以农田图像的图像坐标系为准，确定与该坐标系的横轴平行的两条直线，分别确定所述两条直线与左边路线和右边路线的交点之间的中点，确定经过两个中点的直线为田间路线。利用上述方法，能够保证所确定的田间路线位于当前农田的有效区域内。
在一些实施方式中，在左边路线和路边路线为曲线或斜线时，确定田间路线的方法可以是：以目标农田图像的图像坐标系为准，确定间隔设置且与所述坐标系的横轴平行的多条直线与左边路线和右边路线的交点；确定每条直线的两个交点之间的中点；生成连接所有中点的曲线，即可得到田间路线。
进一步的，上述多条直线之间的间距被设置为与左边路线或右边路线的曲率呈负相关关系，即曲率越大的地方，间隔越小，曲率越小的地方间隔越大，这样可以保证最终生成的曲线是符合田间路线的曲率变化的，进而能够提高设备运行的安全性和准确性，从而提高作业的效率。
在一些实施方式中，在上述方法中确定了间隔设置且与所述坐标系的横轴平行的多条直线与左边路线和右边路线的交点之间的多个中点之后，也可以将多个中点的拟合直线作为田间路线。
本申请实施例还提供了一种控制作业设备的方法，包括：基于田间路线的图像坐标、采集目标农田图像的图像采集装置的内参和相对于作业设备的外参，确定所述田间路线在所述作业设备所在的世界坐标系中的世界坐标，根据世界坐标系中的田间路线，控制所述作业设备的行进。
本申请实施例提供的路线生成的方法，利用神经网络模型对农田图像直接进行分割，根据神经网络模型识别的目标区域的轮廓直接确定目标地块的田间路线。能够有效解决现有技术中颜色阈值难以确定以及逐行扫描或水平切割的方式处理效率较低的问题。同时，在对神经网络模型进行训练时，充分考虑了不同环境因素的影响，使该方法能够适用于作物生长的不同时期以及不同的光照条件，实现全天候的作业。本申请实施例还提供了一种作业方法。在田间作业时，可以控制作业设备(例如无人作业车)在目标行中按照前述方法生成的路线进行无人作业车的导航，其中目标行可以是无人作业车当前执行作业的一行；而当无人作业车移动到地头区域时，图像采集装置无法获取到目标农田图像，导致路线丢失。
在一些实施方式中，在地头区域，可以控制作业设备移动至下一行目标行的起点。例如，可以使用路线丢失前的方向和距离，控制无人作业车旋转90度，根据已知的农田信息(例如标准化种植的行距)，控制无人作业车行进与该行距相同的距离，然后再旋转90度，使得无人作业车移动到与前述目标行相邻的下一目标行，此时图像采集装置即可正常获取到目标农田的图像，可利用前述视觉导航的方法继续作业。
或者，在一些实施方式中，还可以结合农田的高精地图与RTK(Real timekinematic，载波相位差分)定位信息，在地头使用RTK进行导航，使得无人作业车能够移动到与前述目标行相邻的一行，而在田间使用前述视觉导航的方法。
在根据上文中的方法确定了田间路线后，还可以利用田间路上生成目标地块的导航地图。
生成导航地图的方法可以有很多种。例如，在一些实施方式中，导航地图可以是基于田间路线生成的。进一步的，可以从田间路线中确定当前所需行驶的目标田间路线，依据作业顺序依次连接各目标田间路线，以生成目标作业路线，基于所述目标作业路线更新所述目标地块的导航地图。
可以理解的是，在本申请提供的方法中，每一时刻所提取的路线均为相对车体的世界坐标。因此，对于某一特定的原点来说，均可以将前文中所述的用于确定中间路线的两个点的坐标转换为相对于特定原点的世界坐标。每次选取上述两个点的中点，依次连接目标地块上每一行上的多个中点，这样即可确定每一行的地图线。在地头区域，可以直接利用直线将相邻行的地图线连接，即可生成导航地图。进一步的，可根据具体业务从该地图的基础上进行路径规划和作业。
本申请实施例提供还提供了一种评估种植的规整度的方法。所述种植的规整度可以包括以下两个方面：一是相邻两行之间的规整度，例如相邻行之间的作物是否对称排列；二是目标地块中多行作物的规整度，例如多行作物的种植间距是否相同。
对于相邻两行的规整度，在本申请实施例中，可以通过如下方法来确定：获取田间路线上的多个位置点，对多个位置点进行拟合，得到一拟合直线，根据田间路线上的多个位置点与所述拟合直线的偏差值，确定种植的规整度。例如，上述偏差值可以是田间路线上的位置点与拟合直线之间的距离，通过计算多个位置点与拟合直线的距离，确定多个距离之间的方差，所述方差值越小，代表相邻两行作物的对称度较高。
对于多行作物的种植规整度，可以通过如下方法来确定：分别获取多个田间路线上的位置点，对每个田间路线上的位置点进行拟合，得到一组拟合直线，根据每相邻两条拟合直线之间的距离，确定相邻的田间路线之间的平均距离，基于多个平均距离，确定相邻种植行的规整度。所述基于多个平均距离，确定相邻种植行的规整度例如可以是：计算多个平均距离的方差，方差至越小，则代表多行作物中相邻两行的距离更接近，种植的规整度越高。
或者，在前文所描述生成导航地图的实施例中，确定了目标地块中每一行的地图线，可以对每一列的地图线进行直线拟合，根据每一行的地图线上的多个中点与拟合直线的偏离程度，即可确定每一行作物种植的规整程度。或者，可以根据目标地块中相邻行的拟合直线之间的平均距离，确定相邻行作物种植的规整度。
以上所述为本申请的方法实施例。上述方法可以用于在无人作业车的作业过程中，根据实时采集的农田图像生成路线，对无人作业车进行实时导航。也可以用于在无人作业车执行作业之前生成预设路线，使无人作业车按照该预设路线进行作业。
上文结合图1至图9，详细描述了本申请的方法实施例，下面结合图10至图11，描述本申请的装置实施例。应理解，方法实施例的描述与装置实施例的描述相互对应，因此，未详细描述的部分可以参见前面方法实施例。
图10是本申请实施例提供的路线生成装置的示意性结构图。图10的装置100可以应用于无人作业车。图10的装置100包括分割单元101和路线确定单元102。
分割单元101，用于利用神经网络模型对目标地块的目标农田图像进行处理，以将所述目标农田图像分割成多个区域，所述多个区域包括植株区域和非植株区域。
路线确定单元102，用于根据所述多个区域，确定所述目标地块的田间路线。
图11是本申请一实施例提供的电子设备110的结构示意图。包括存储器111和处理器112。存储器111可用于存储可执行代码。处理器112可用于执行所述存储器111中存储的可执行代码，以实现前文描述的各个方法中的步骤。在一些实施例中，该装置110还可以包括网络接口113，处理器112与外部设备的数据交换可以通过该网络接口113实现。
本申请实施例还提供了一种无人作业车，包括无人作业车车体、动力装置以及无人作业车控制装置。
其中动力装置设置在所述无人作业车车体上，用于为所述无人作业车提供动力。
无人作业车控制装置用于控制所述无人作业车按照生成的路线在目标地块中执行作业，所述路线根据前文中所描述的方法生成。
本申请实施例还提供了一种农机自动驾驶装置，所述装置包括通信连接的控制机构和转向机构。
其中，所控制机构用于根据路线控制所述转向机构运行，以通过所述转向机构控制农机在目标地块中执行作业；所述路线根据前文中所描述的方法生成。
本申请实施例还提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前文中所述的任一方法步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital Subscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(Digital Video Disc，DVD))、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。
本领域普通技术人员可以意识到，结合本申请实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (40)

1.一种路线生成的方法，其特征在于，所述方法包括：
利用神经网络模型对目标地块的目标农田图像进行处理，以将所述目标农田图像分割成多个区域，所述多个区域包括植株区域和非植株区域；
从所述目标农田图像的多个区域中选择边缘轮廓线满足预设要求的目标区域；
根据所述目标区域的边缘轮廓线，获取左边路线和右边路线；
根据所述左边路线和所述右边路线，确定田间路线；
其中，训练所述神经网络模型所依据的农田图像样本包括以下中的至少一种：不同光照强度下的农田图像、不同作业地块的农田图像样本、不同作物生长时期下的农田图像样本；
所述根据所述左边路线和所述右边路线，确定田间路线，包括：
以所述目标农田图像的图像坐标系为准，确定间隔设置且与所述图像坐标系的横轴平行的多条直线分别与所述左边路线和所述右边路线的交点；
对于所述多条直线中的每条直线，确定所述直线分别与所述左边路线和所述右边路线的交点之间的中点；
生成依次连接所有中点的曲线，以得到所述田间路线；
其中，所述多条直线之间的间隔与所述左边路线或所述右边路线的曲率呈负相关关系。
2.根据权利要求1所述的方法，其特征在于，
所述从所述目标农田图像的多个区域中选择边缘轮廓线满足预设要求的目标区域，包括：
对所述目标农田图像进行二值化处理，确定所述目标农田图像的二值图像；
查找所述二值图像中的所有区域的轮廓；
剔除所述二值图像中周长小于设定周长阈值和/或面积小于设定面积阈值的区域的轮廓；
当剩余的轮廓数量为0时，确定所述目标农田图像中不包含所述目标区域；
当剩余的轮廓数量不为0时，确定剩余的轮廓中周长和/或面积最大的轮廓所对应的区域为所述目标区域。
3.根据权利要求1所述的方法，其特征在于，
所述根据所述目标区域的边缘轮廓线，获取左边路线和右边路线，包括：
确定所述目标区域的边缘轮廓线的外接矩形，根据所述外接矩形的左上角和右下角的坐标，确定所述左边路线和所述右边路线的掩膜；
在空白图片上绘制所述目标区域的轮廓，确定所述目标区域的轮廓图像，其中，所述空白图片的大小与所述目标农田图像相同；
根据所述左边路线和所述右边路线的掩膜，在所述目标区域的轮廓图像中提取左边路线点集和右边路线点集；
对所述左边路线点集和所述右边路线点集进行拟合，确定所述左边路线和所述右边路线。
4.根据权利要求1所述的方法，其特征在于，
所述根据所述左边路线和所述右边路线，确定所述田间路线，包括：
以所述目标农田图像的图像坐标系为准，确定与所述图像坐标系的横轴平行的两条直线分别与所述左边路线和所述右边路线的交点；
确定所述两条直线中各直线分别与所述左边路线和所述右边路线的交点之间的中点，以得到两个中点；
确定经过所述两个中点的直线为所述田间路线。
5.根据权利要求1或4所述的方法，其特征在于，所述方法还包括：
基于所述田间路线的图像坐标、采集所述目标农田图像的图像采集装置的内参和相对于作业设备的外参，确定所述田间路线在所述作业设备所在的世界坐标系中的世界坐标，所述世界坐标系中的田间路线用于控制所述作业设备的行进。
6.根据权利要求1所述的方法，其特征在于，所述目标农田图像根据以下步骤获取：
在利用作业设备对所述目标地块进行作业过程中，实时采集所述作业设备作业方向上的目标农田图像。
7.根据权利要求1所述的方法，其特征在于，
所述目标农田图像通过以下步骤获取：
在利用作业设备对所述目标地块进行夜间作业时，控制搭载于所述作业设备或配置于所述目标地块的照明装置开启，以采集所述目标农田图像。
8.根据权利要求1所述的方法，其特征在于，
所述神经网络模型为深度神经网络模型，所述深度神经网络模型的输入图像为3通道RGB图像，输出为与所述输入图像大小一致的单通道矩阵，每个像素位置的值表示该位置的类别。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
采用数据增强方法对所述神经网络模型进行训练，所述数据增强方法包括以下中的至少一种：随机旋转、缩放、错切、翻转、倾斜、亮度变化、色调变化、随机模糊以及随机裁剪。
10.一种路线生成的装置，应用于无人作业车，其特征在于，所述装置包括：
分割单元，用于利用神经网络模型对目标地块的目标农田图像进行处理，以将所述目标农田图像分割成多个区域，所述多个区域包括植株区域和非植株区域；
路线确定单元，用于：
从所述目标农田图像的多个区域中选择边缘轮廓线满足预设要求的目标区域；
根据所述目标区域的边缘轮廓线，获取左边路线和右边路线；
根据所述左边路线和所述右边路线，确定田间路线；
其中，训练所述神经网络模型所依据的农田图像样本包括以下中的至少一种：不同光照强度下的农田图像、不同作业地块的农田图像样本、不同作物生长时期下的农田图像样本；
所述根据所述左边路线和所述右边路线，确定田间路线，包括：
以所述目标农田图像的图像坐标系为准，确定间隔设置且与所述图像坐标系的横轴平行的多条直线分别与所述左边路线和所述右边路线的交点；
对于所述多条直线中的每条直线，确定所述直线分别与所述左边路线和所述右边路线的交点之间的中点；
生成依次连接所有中点的曲线，以得到所述田间路线；
其中，所述多条直线之间的间隔与所述左边路线或所述右边路线的曲率呈负相关关系。
11.一种无人作业车，其特征在于，包括：
无人作业车车体；
动力装置，设置在所述无人作业车的车体上，用于为所述无人作业车提供动力；
无人作业车控制装置，用于控制所述无人作业车按照生成的路线在目标地块中执行作业，所述路线根据权利要求1-9中任一项所述的方法生成。
12.一种农机自动驾驶装置，其特征在于，所述装置包括：
通信连接的控制机构和转向机构；
所述控制机构用于根据路线控制所述转向机构运行，以通过所述转向机构控制农机按照生成的路线在目标地块中执行作业；其中，所述路线通过权利要求1-9中任一项所述的方法生成。
13.一种作业方法，其特征在于，所述方法包括：
控制作业设备在目标地块的目标行中按照生成的路线执行作业，所述路线根据权利要求1-9中任一项所述的方法生成。
14.根据权利要求13所述的方法，其特征在于，所述方法还包括：
当所述作业设备行进到地头区域时，控制所述作业设备移动至下一目标行的起点；
控制所述作业设备按照所述下一目标行对应的田间路线执行作业。
15.一种生成导航地图的方法，其特征在于，所述方法包括：
确定目标地块的田间路线；
基于所述田间路线生成所述目标地块的导航地图；
其中，所述田间路线通过权利要求1-9中任一项所述的方法确定。
16.根据权利要求15所述的方法，其特征在于，所述方法还包括：从所述田间路线中确定当前所需行驶的目标田间路线；
依据作业顺序依次连接各目标田间路线，以生成目标作业路线；
基于所述目标作业路线更新所述目标地块的导航地图。
17.一种作物种植规整度确定方法，其特征在于，所述方法包括：
获取目标地块的田间路线上的多个位置点；
其中，所述田间路线通过以下方法确定：
利用神经网络模型对所述目标地块的目标农田图像进行处理，以将所述目标农田图像分割成多个区域，所述多个区域包括植株区域和非植株区域；
从所述目标农田图像的多个区域中选择边缘轮廓线满足预设要求的目标区域；
根据所述目标区域的边缘轮廓线，获取左边路线和右边路线；
根据所述左边路线和所述右边路线，确定所述田间路线；
其中，训练所述神经网络模型所依据的农田图像样本包括以下中的至少一种：不同光照强度下的农田图像、不同作业地块的农田图像样本、不同作物生长时期下的农田图像样本；
基于所述多个位置点拟合得到拟合直线；
基于所述田间路线与所述拟合直线之间的偏差值确定所述田间路线对应的种植行的规整度。
18.根据权利要求17所述的方法，其特征在于，
所述从所述目标农田图像的多个区域中选择边缘轮廓线满足预设要求的目标区域，包括：
对所述目标农田图像进行二值化处理，确定所述目标农田图像的二值图像；
查找所述二值图像中的所有区域的轮廓；
剔除所述二值图像中周长小于设定周长阈值和/或面积小于设定面积阈值的区域的轮廓；
当剩余的轮廓数量为0时，确定所述目标农田图像中不包含所述目标区域；
当剩余的轮廓数量不为0时，确定所述剩余轮廓中周长和/或面积最大的轮廓所对应的区域为所述目标区域。
19.根据权利要求17所述的方法，其特征在于，
所述根据所述目标区域的边缘轮廓线，获取左边路线和右边路线，包括：
确定所述目标区域的边缘轮廓线的外接矩形，根据所述外接矩形的左上角和右下角的坐标，确定所述左边路线和所述右边路线的掩膜；
在空白图片上绘制所述目标区域的轮廓，确定所述目标区域的轮廓图像，其中，所述空白图片的大小与所述目标农田图像相同；
根据所述左边路线和所述右边路线的掩膜，在所述目标区域的轮廓图像中提取左边路线点集和右边路线点集；
对所述左边路线点集和所述右边路线点集进行拟合，确定所述左边路线和所述右边路线。
20.根据权利要求17所述的方法，其特征在于，
所述根据所述左边路线和所述右边路线，确定所述田间路线，包括：
以所述目标农田图像的图像坐标系为准，确定与所述图像坐标系的横轴平行的两条直线分别与所述左边路线和所述右边路线的交点；
确定所述两条直线中各直线分别与所述左边路线和所述右边路线的交点之间的中点，以得到两个中点；
确定经过所述两个中点的直线为所述田间路线。
21.根据权利要求17所述的方法，其特征在于，
所述根据所述左边路线和所述右边路线，确定所述田间路线，包括：
以所述目标农田图像的图像坐标系为准，确定间隔设置且与所述图像坐标系的横轴平行的多条直线分别与所述左边路线和所述右边路线的交点；
对于所述多条直线中的每条直线，确定所述直线分别与所述左边路线和所述右边路线的交点之间的中点；
生成依次连接所有中点的曲线，以得到所述田间路线。
22.根据权利要求21所述的方法，其特征在于：所述多条直线之间的间隔与所述左边路线或所述右边路线的曲率呈负相关关系。
23.根据权利要求20-22任一项所述的方法，其特征在于，所述方法还包括：
基于所述田间路线的图像坐标、采集所述目标农田图像的图像采集装置的内参和相对于作业设备的外参，确定所述田间路线在所述作业设备所在的世界坐标系中的世界坐标，所述世界坐标系中的田间路线用于控制所述作业设备的行进。
24.根据权利要求17所述的方法，其特征在于，所述目标农田图像根据以下步骤获取：
在利用作业设备对所述目标地块进行作业过程中，实时采集所述作业设备作业方向上的目标农田图像。
25.根据权利要求17所述的方法，其特征在于，
所述目标农田图像通过以下步骤获取：
在利用作业设备对所述目标地块进行夜间作业时，控制搭载于所述作业设备或配置于所述目标地块的照明装置开启，以采集所述目标农田图像。
26.根据权利要求17所述的方法，其特征在于，
所述神经网络模型为深度神经网络模型，所述深度神经网络模型的输入图像为3通道RGB图像，输出为与所述输入图像大小一致的单通道矩阵，每个像素位置的值表示该位置的类别。
27.根据权利要求17所述的方法，其特征在于，所述方法还包括：
采用数据增强方法对所述神经网络模型进行训练，所述数据增强方法包括以下中的至少一种：随机旋转、缩放、错切、翻转、倾斜、亮度变化、色调变化、随机模糊以及随机裁剪。
28.一种作物种植规整度确定方法，其特征在于，所述方法包括：
对于目标地块中各田间路线，获取所述田间路线上的多个位置点；
其中，所述田间路线通过以下方法确定：
利用神经网络模型对所述目标地块的目标农田图像进行处理，以将所述目标农田图像分割成多个区域，所述多个区域包括植株区域和非植株区域；
从所述目标农田图像的多个区域中选择边缘轮廓线满足预设要求的目标区域；
根据所述目标区域的边缘轮廓线，获取左边路线和右边路线；
根据所述左边路线和所述右边路线，确定所述田间路线；
其中，训练所述神经网络模型所依据的农田图像样本包括以下中的至少一种：不同光照强度下的农田图像、不同作业地块的农田图像样本、不同作物生长时期下的农田图像样本；
对于各田间路线，基于所述多个位置点拟合得到所述田间路线对应的拟合直线；
根据每相邻两条田间路线对应的拟合直线之间的距离，确定相邻田间路线之间的平均距离值；
基于所述平均距离确定所述目标地块中相邻种植行的规整度。
29.根据权利要求28所述的方法，其特征在于，
所述从所述目标农田图像的多个区域中选择边缘轮廓线满足预设要求的目标区域，包括：
对所述目标农田图像进行二值化处理，确定所述目标农田图像的二值图像；
查找所述二值图像中的所有区域的轮廓；
剔除所述二值图像中周长小于设定周长阈值和/或面积小于设定面积阈值的区域的轮廓；
当剩余的轮廓数量为0时，确定所述目标农田图像中不包含所述目标区域；
当剩余的轮廓数量不为0时，确定所述剩余轮廓中周长和/或面积最大的轮廓所对应的区域为所述目标区域。
30.根据权利要求28所述的方法，其特征在于，
所述根据所述目标区域的边缘轮廓线，获取左边路线和右边路线，包括：
确定所述目标区域的边缘轮廓线的外接矩形，根据所述外接矩形的左上角和右下角的坐标，确定所述左边路线和所述右边路线的掩膜；
在空白图片上绘制所述目标区域的轮廓，确定所述目标区域的轮廓图像，其中，所述空白图片的大小与所述目标农田图像相同；
根据所述左边路线和所述右边路线的掩膜，在所述目标区域的轮廓图像中提取左边路线点集和右边路线点集；
对所述左边路线点集和所述右边路线点集进行拟合，确定所述左边路线和所述右边路线。
31.根据权利要求28所述的方法，其特征在于，
所述根据所述左边路线和所述右边路线，确定所述田间路线，包括：
以所述目标农田图像的图像坐标系为准，确定与所述图像坐标系的横轴平行的两条直线分别与所述左边路线和所述右边路线的交点；
确定所述两条直线中各直线分别与所述左边路线和所述右边路线的交点之间的中点，以得到两个中点；
确定经过所述两个中点的直线为所述田间路线。
32.根据权利要求28所述的方法，其特征在于，
所述根据所述左边路线和所述右边路线，确定所述田间路线，包括：
以所述目标农田图像的图像坐标系为准，确定间隔设置且与所述图像坐标系的横轴平行的多条直线分别与所述左边路线和所述右边路线的交点；
对于所述多条直线中的每条直线，确定所述直线分别与所述左边路线和所述右边路线的交点之间的中点；
生成依次连接所有中点的曲线，以得到所述田间路线。
33.根据权利要求32所述的方法，其特征在于：所述多条直线之间的间隔与所述左边路线或所述右边路线的曲率呈负相关关系。
34.根据权利要求31-33任一项所述的方法，其特征在于，所述方法还包括：
基于所述田间路线的图像坐标、采集所述目标农田图像的图像采集装置的内参和相对于作业设备的外参，确定所述田间路线在所述作业设备所在的世界坐标系中的世界坐标，所述世界坐标系中的田间路线用于控制所述作业设备的行进。
35.根据权利要求28所述的方法，其特征在于，所述目标农田图像根据以下步骤获取：
在利用作业设备对所述目标地块进行作业过程中，实时采集所述作业设备作业方向上的目标农田图像。
36.根据权利要求28所述的方法，其特征在于，
所述目标农田图像通过以下步骤获取：
在利用作业设备对所述目标地块进行夜间作业时，控制搭载于所述作业设备或配置于所述目标地块的照明装置开启，以采集所述目标农田图像。
37.根据权利要求28所述的方法，其特征在于，
所述神经网络模型为深度神经网络模型，所述深度神经网络模型的输入图像为3通道RGB图像，输出为与所述输入图像大小一致的单通道矩阵，每个像素位置的值表示该位置的类别。
38.根据权利要求28所述的方法，其特征在于，所述方法还包括：
采用数据增强方法对所述神经网络模型进行训练，所述数据增强方法包括以下中的至少一种：随机旋转、缩放、错切、翻转、倾斜、亮度变化、色调变化、随机模糊以及随机裁剪。
39.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器被配置为执行所述可执行代码，以实现如权利要求1-9和/或权利要求13-16和/或权利要求17-27和/或权利要求28-38中任一项所述的方法。
40.一种计算机可读存储介质，其特征在于，
所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-9和/或权利要求13-16和/或权利要求17-27和/或权利要求28-38中任一项所述的方法。
CN202111650932.7A 2021-12-29 2021-12-29 路线生成方法、装置、无人作业车、电子设备及存储介质 Active CN114485612B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111650932.7A CN114485612B (zh) 2021-12-29 2021-12-29 路线生成方法、装置、无人作业车、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111650932.7A CN114485612B (zh) 2021-12-29 2021-12-29 路线生成方法、装置、无人作业车、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114485612A CN114485612A (zh) 2022-05-13
CN114485612B true CN114485612B (zh) 2024-04-26

Family

ID=81507926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111650932.7A Active CN114485612B (zh) 2021-12-29 2021-12-29 路线生成方法、装置、无人作业车、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114485612B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102113442A (zh) * 2009-12-30 2011-07-06 王克如 利用数字图像技术分析玉米群体整齐度的方法
CN111727457A (zh) * 2020-05-14 2020-09-29 安徽中科智能感知产业技术研究院有限责任公司 一种基于计算机视觉的棉花作物行检测方法、装置及存储介质
CN111753687A (zh) * 2020-06-12 2020-10-09 广州极飞科技有限公司 缺苗识别方法、装置、电子设备和计算机可读存储介质
CN111753688A (zh) * 2020-06-12 2020-10-09 广州极飞科技有限公司 种植行中心线确定方法、装置、电子设备及存储介质
CN111982097A (zh) * 2019-05-23 2020-11-24 广州极飞科技有限公司 无人作业设备的目标航线的生成方法及装置、植保系统
CN112464766A (zh) * 2020-11-17 2021-03-09 北京农业智能装备技术研究中心 一种农田地头自动识别方法及系统
CN112526989A (zh) * 2020-11-20 2021-03-19 广州极飞科技有限公司 一种农业无人车导航方法、装置、农业无人车及存储介质
CN113065562A (zh) * 2021-03-23 2021-07-02 北京工业大学 一种基于语义分割网络的作物垄行提取及主导航线选取方法
CN113128576A (zh) * 2021-04-02 2021-07-16 中国农业大学 基于深度学习图像分割的作物行检测方法及装置
CN113807128A (zh) * 2020-06-12 2021-12-17 广州极飞科技股份有限公司 一种缺苗标记方法、装置、计算机设备和存储介质
CN113807135A (zh) * 2020-06-12 2021-12-17 广州极飞科技股份有限公司 基于语义分割网络的缺苗区域识别方法、设备和存储介质
CN113807131A (zh) * 2020-06-12 2021-12-17 广州极飞科技股份有限公司 用于识别农田土表的方法、装置、农用机械及介质
CN113807143A (zh) * 2020-06-12 2021-12-17 广州极飞科技股份有限公司 作物连通域的识别方法、装置及作业系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102113442A (zh) * 2009-12-30 2011-07-06 王克如 利用数字图像技术分析玉米群体整齐度的方法
CN111982097A (zh) * 2019-05-23 2020-11-24 广州极飞科技有限公司 无人作业设备的目标航线的生成方法及装置、植保系统
CN111727457A (zh) * 2020-05-14 2020-09-29 安徽中科智能感知产业技术研究院有限责任公司 一种基于计算机视觉的棉花作物行检测方法、装置及存储介质
CN113807128A (zh) * 2020-06-12 2021-12-17 广州极飞科技股份有限公司 一种缺苗标记方法、装置、计算机设备和存储介质
CN111753688A (zh) * 2020-06-12 2020-10-09 广州极飞科技有限公司 种植行中心线确定方法、装置、电子设备及存储介质
CN111753687A (zh) * 2020-06-12 2020-10-09 广州极飞科技有限公司 缺苗识别方法、装置、电子设备和计算机可读存储介质
CN113807135A (zh) * 2020-06-12 2021-12-17 广州极飞科技股份有限公司 基于语义分割网络的缺苗区域识别方法、设备和存储介质
CN113807131A (zh) * 2020-06-12 2021-12-17 广州极飞科技股份有限公司 用于识别农田土表的方法、装置、农用机械及介质
CN113807143A (zh) * 2020-06-12 2021-12-17 广州极飞科技股份有限公司 作物连通域的识别方法、装置及作业系统
CN112464766A (zh) * 2020-11-17 2021-03-09 北京农业智能装备技术研究中心 一种农田地头自动识别方法及系统
CN112526989A (zh) * 2020-11-20 2021-03-19 广州极飞科技有限公司 一种农业无人车导航方法、装置、农业无人车及存储介质
CN113065562A (zh) * 2021-03-23 2021-07-02 北京工业大学 一种基于语义分割网络的作物垄行提取及主导航线选取方法
CN113128576A (zh) * 2021-04-02 2021-07-16 中国农业大学 基于深度学习图像分割的作物行检测方法及装置

Also Published As

Publication number Publication date
CN114485612A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN110297483B (zh) 待作业区域边界获取方法、装置，作业航线规划方法
US20210360850A1 (en) Automatic driving system for grain processing, automatic driving method, and path planning method
US10614562B2 (en) Inventory, growth, and risk prediction using image processing
JP7086203B2 (ja) 植物体耕作データ測定方法、作業経路計画方法及び装置、システム
AU2006202805B2 (en) Method and system for vehicular guidance using a crop image
US7580549B2 (en) Method and system for vehicular guidance using a crop image
CN111727457B (zh) 一种基于计算机视觉的棉花作物行检测方法、装置及存储介质
US20210365037A1 (en) Automatic driving system for grain processing, automatic driving method, and automatic identification method
CN113597874B (zh) 一种除草机器人及其除草路径的规划方法、装置和介质
CN107633202A (zh) 一种基于农田图像特征识别的植保无人机飞控方法和系统
US20230306735A1 (en) Agricultural analysis robotic systems and methods thereof
CN114239756B (zh) 一种虫害检测方法及系统
Lyu et al. Development of phenotyping system using low altitude UAV imagery and deep learning
Potena et al. Suckers emission detection and volume estimation for the precision farming of hazelnut orchards
CN114485612B (zh) 路线生成方法、装置、无人作业车、电子设备及存储介质
CN116739739A (zh) 一种贷款额度评估方法、装置、电子设备及存储介质
CN115451965B (zh) 基于双目视觉的插秧机插植系统相对航向信息检测方法
CN115294472A (zh) 果实产量估计方法、模型训练方法、设备及存储介质
CN111179303B (zh) 基于粒子滤波的谷物收获机器人视觉导航方法及其应用
Chang et al. Straight-line generation approach using deep learning for mobile robot guidance in lettuce fields
RU2774651C1 (ru) Система автоматического вождения для переработки зерна, способ автоматического вождения и способ планирования траектории
US12001512B2 (en) Generating labeled synthetic training data
US20220383042A1 (en) Generating labeled synthetic training data
WO2023231022A1 (zh) 图像识别方法、自移动设备及存储介质
Gao et al. Aerial Image-based Inter-day Registration for Precision Agriculture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant