CN109631903A - 谷物处理自动驾驶系统及其自动驾驶方法和路径规划方法 - Google Patents

Abstract

本发明提供一谷物处理自动驾驶系统及其自动驾驶方法和路径规划方法，其中所述谷物处理自动驾驶系统包括一谷物处理主机、一图像处理系统、一路径规划系统、以及一图像获取装置。所述图像处理系统被设置于所述谷物处理主机，获取所述谷物处理主机周围农田的至少一图像，所述图像处理系统基于利用图像分割识别技术识别出所述图像中的区域，其中所述路径规划系统基于所述图像处理系统识别的所述区域规划出至少一行驶规划路径，其中所述谷物处理主机根据所述路径规划系统规划出的所述行驶规划路径自动地控制驾驶。

Description

谷物处理自动驾驶系统及其自动驾驶方法和路径规划方法

技术领域

本发明涉及农业机械自动驾驶领域，尤其涉及一谷物处理自动驾驶系统及其自动驾驶方法和路径规划方法。

背景技术

农业机械是指在作物种植业和畜牧业生产过程中，以及农、畜产品初加工和处理过程中所使用的各种机械，其中农业机械的种类繁多，比如播种设备、翻地设备、靶地设备、旋耕设备、植保设备、收割设备等。农业机械在运行过程中需要兼顾机械设备的行走系统和作业系统，也就是说，所述农业机械设备行走在农田时，需要根据农田的作业情况调整农业机械设备的运行路线。

农业机械设备在农田中作业时，需要实时判断农田作业情况和农田中作物生长情况，来操作农业机械设备的运行和调整作业系统的运行情况的复杂情况。现在只能通过具有专业技术的机械操作人员完成。农业机械设备在农田中作业时需要考虑到农田的已作业区域，未作业区域，以及天地的边界范围等诸多因素，并且在作业过程中需要根据农作物的情况实时地调整车辆的运行和调整作业的参数。由于驾驶过程中需要考虑复杂的作业环境，因此现有技术的农业设备还需要操作人员基于实时的农田作物的信息调整所述农业机械设备的运行。通过人工操作的方式控制所述农业机械设备作业出现判断误差的几率较大，而导致机械设备在作业过程中出现故障的概率大。

现有技术的农业机械设备的智能化程度较低，还不能够摆脱驾驶人员实现农业设备的自动驾驶操作。基于PTK的卫星定位的方式，能够获得高精度的卫星定位信息，但是对于自动驾驶的农业机械设备，特别是收割机设备，在作业时，更重要的是需要判断当前农田中作物的收割区域、未收割区域、以及农田的边界区域等信息，才能准确地操作或调整所述农业机械设备的运行。而现有技术的这种农业机械设备判断农田区域的准确性低，并且在作业过程中通常是按照设定的路径行驶，而一旦出现路线偏差，难以及时调整和修改。因此，现有技术的农业机械设备在作业时通常会由于设定的作业路径不准，而导致作业出现误差，甚至出现严重的机械故障。此外，采用PTK的卫星定位的方式对于农业设备的性能要求较高，所需要的制造成本和维护成本相对来说都很高昂，因此，这种现有技术的自动驾驶的定位方式不适用于当前的农业机械设备的自动驾驶模式中。

发明内容

本发明的一个主要优势在于提供一谷物处理自动驾驶系统及其自动驾驶方法和路径规划方法，其中所述谷物处理自动驾驶系统基于获取的至少一视觉图像识别农田的区域。

本发明的另一个优势在于提供一谷物处理自动驾驶系统及其自动驾驶方法和路径规划方法，其中所述谷物处理自动驾驶系统通过识别所述视觉图像中的未作业区域、已作业区域、以及田边界区域，控制行驶路径。

本发明的另一个优势在于提供一谷物处理自动驾驶系统及其自动驾驶方法和路径规划方法，其中所述谷物处理自动驾驶系统的一路径规划系统基于当前车辆的定位信息、图像处理系统识别的信息以及导航系统的信息自动地规划路径。

本发明的另一个优势在于提供一谷物处理自动驾驶系统及其自动驾驶方法和路径规划方法，其中所述谷物处理自动驾驶系统基于所述视觉图像识别出的所述区域，规划出所述谷物处理自动驾驶系统的行驶路径和作业路线。

本发明的另一个优势在于提供一谷物处理自动驾驶系统及其自动驾驶方法和路径规划方法，其中所述谷物处理自动驾驶系统的一图像获取装置实时地获取周围农田的所述视觉图像，实时地更新所述谷物处理自动驾驶系统规划的路径导航信息。

本发明的另一个优势在于提供一谷物处理自动驾驶系统及其自动驾驶方法和路径规划方法，其中所述谷物处理自动驾驶系统通过所述图像获取装置实时拍摄地图像，识别出所述视觉图像中的所述区域，并且根据区域的变化实时地更新或调整所述谷物处理自动驾驶系统的作业路线，以使所述谷物处理自动驾驶系统更好地作业。

本发明的另一个优势在于提供一谷物处理自动驾驶系统及其自动驾驶方法和路径规划方法，其中所述谷物处理自动驾驶系统的所述图像处理系统基于获取的所述视觉图像信息，利用图像分割技术识别出图像中的所述未作业区域、所述已作业区域、以及所述田边界区域，以及划分相邻两区域的边界。

本发明的另一个优势在于提供一谷物处理自动驾驶系统及其自动驾驶方法和路径规划方法，其中所述谷物处理自动驾驶系统的所述图像处理系统基于获取的所述视觉图像信息，利用图像分割技术识别出图像中农作物的种类、高度、颗粒饱满度等植物信息，以供所述谷物处理自动驾驶系统的作业系统基于农作物的信息调整作业参数。

本发明的另一个优势在于提供一谷物处理自动驾驶系统及其自动驾驶方法和路径规划方法，其中所述谷物处理自动驾驶系统的所述图像处理系统基于获取的图像信息识别出所述图像中的区域边界，以便所述路径规划系统基于识别出的所述区域边界规划车辆的行驶路径。

本发明的另一个优势在于提供一谷物处理自动驾驶系统及其自动驾驶方法和路径规划方法，其中所述谷物处理自动驾驶系统不需要高精度的卫星定位，降低了所述自动驾驶设备的生产制造难度，同时也降低了设备的维护成本。

本发明的另一个优势在于提供一谷物处理自动驾驶系统及其自动驾驶方法和路径规划方法，其中所述谷物处理自动驾驶系统基于所述图像处理系统输出的区域划分信息，进行路径规划，以实现自动驾驶和自动驾驶作业。

本发明的其它优势和特点通过下述的详细说明得以充分体现并可通过所附权利要求中特地指出的手段和装置的组合得以实现。

依本发明的一个方面，能够实现前述目的和其他目的和优势的本发明的一谷物处理自动驾驶系统的路径规划方法，其中所述路径规划方法包括如下步骤：

(a)获取一谷物处理主机周围农田的至少一图像；

(b)识别划分出所述图像对应农田的区域和边界；以及

(c)基于识别的所述区域规划出至少一行驶规划路径。

根据本发明的一实施例，上述路径规划方法中进一步包括步骤：(a.0)设定所述农田的作业区域和所述作业区域对应的至少一作业边界。

根据本发明的一实施例，所述路径规划方法步骤(a.0)进一步包括步骤：藉由所述图像处理系统识别所述图像中所述农田区域和边界的方式识别出所述农田的所述作业区域和所述作业边界。

根据本发明的一实施例，在上述自动识别方法的步骤(a)中，基于所述谷物处理自动驾驶系统的位置，实时地拍摄所述谷物处理自动驾驶系统周围的图像信息。

根据本发明的一实施例，上述路径规划方法的步骤(b)进一步包括步骤：利用图像分割技术分割所述图像，和识别划分所述图像的区域。

根据本发明的一实施例，在上述自动识别方法的步骤(b)中，由一图像处理系统利用图像分割技术分割所述图像信息，和划分所述图像的区域为未作业区域、已作业区域、以及田边界区域。

根据本发明的一实施例，在上述自动识别方法的步骤(b)中，进一步包括如下步骤：

(b.1)分割所述图像为多个所述像元区域，和归一化所述像元区域的像素值为一数组；

(b.2)提取每一数组对应的所述像元区域的特征；以及

(b.3)基于所述像元区域对应的特征，输出所述图像的分类标签。

根据本发明的一实施例，上述路径规划方法的步骤(c)进一步包括步骤(c.1)：基于所述谷物处理主机的定位信息，所述图像处理系统识别所述图像的区域规划信息，以及所述导航系统的导航信息，得出所述行驶规划路径。

根据本发明的一实施例，上述路径规划方法的步骤(c)进一步包括步骤(c.2)：基于所述图像处理系统识别所述图像的农作物的信息调整所述谷物处理主体的行驶方向，以形成一车辆行驶路径。

根据本发明的另一方面，本发明进一步提供一谷物处理自动驾驶系统的自动驾驶方法，其中所述自动驾驶方法包括如下步骤：

(I)获取至少一图像，和识别所述图像中农田的区域和田边界；

(II)基于所述识别信息，规划出至少一行驶规划路径；以及

(III)控制所述谷物处理主机按照所述行驶规划路径自动地行驶。

根据本发明的一实施例，上述自动驾驶方法步骤(II)进一步包括步骤：

获取所述谷物处理主机的定位信息；和

基于所述定位信息、所述图片的识别信息、以及所述导航系统的导航信息，规划出所述行驶规划路径。

根据本发明的一实施例，上述自动驾驶方法的步骤(I)进一步包括：识别出所述图像中对应农田中农作物的信息，其中所述农作物的信息包括农作物种类、农作物的高度、颗粒饱满度的信息。

根据本发明的一实施例，在上述自动驾驶方法中，进一步包括步骤：

(IV)基于所述图像的识别信息，调整所述谷物处理主机的作业系统的作业参数。

根据本发明的另一方面，本发明进一步提供一谷物处理自动驾驶系统，包括：

一谷物处理主机；

一图像处理系统，其中所述图像处理系统被设置于所述谷物处理主机，获取所述谷物处理主机周围农田的至少一图像，所述图像处理系统基于利用图像分割识别技术识别出所述图像中的区域；以及

一路径规划系统，其中所述路径规划系统基于所述图像处理系统识别的所述区域规划出至少一行驶规划路径，其中所述谷物处理主机根据所述路径规划系统规划出的所述行驶规划路径自动地控制驾驶。

根据本发明的一实施例，所述谷物处理自动驾驶系统进一步包括一图像获取装置，其中所述图像获取装置被设置于所述谷物处理主机，所述图像获取装置拍摄所述谷物处理主机前方的所述图像。

根据本发明的一实施例，所述图像处理系统基于所述图像，识别出所述图像中的至少一已作业区域、至少一未作业区域、以及至少一田边界区域。

根据本发明的一实施例，所述图像处理系统进一步包括：

一图像分割模块，其中所述图像分割模块分割所述图像为多个像元区域，其中每一所述像元区域包括至少一像素单元；

一特征化模块，其中所述特征化模块基于所述像元区域的所述像素单元提取每一像元区域对应的特征；以及

一区域划分模块，其中所述区域规划模块根据所述像元区域的特征识别和划分所述图像的区域。

根据本发明的一实施例，所述谷物处理自动驾驶系统进一步包括一定位装置和一导航系统，所述定位装置和所述导航系统被设置于所述谷物处理主机，其中所述定位装置获取所述谷物处理主机的位置信息，其中所述导航系统为所述谷物处理主体提供导航信息。

根据本发明的一实施例，所述路径规划系统进一步包括：

一作业区域设置模块，其中所述作业区域设置模块设定所述农田的边界区域得到的所述农田的作业区域和所述作业边界；和

一行驶路径规划模块，其中所述基于所述谷物处理主机的定位信息，所述图像处理系统识别所述图像的区域规划信息，以及所述导航系统的导航信息，得出至少一行驶规划路径。

通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。

本发明的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充分体现。

附图说明

图1是根据本发明的第一较佳实施例的一谷物处理自动驾驶系统的系统示意图。

图2是根据本发明的上述较佳实施例的所述谷物处理自动驾驶系统的图像获取示意图。

图3A是根据本发明的上述较佳实施例的所述谷物处理自动驾驶系统获取的一种图像的示意图。

图3B是根据本发明的上述较佳实施例的所述谷物处理自动驾驶系统获取的另一种图像的示意图。

图3C是根据本发明的上述较佳实施例的所述谷物处理自动驾驶系统获取的另一种图像的示意图。

图4是根据本发明的上述较佳实施例的所述谷物处理自动驾驶系统的一图像处理系统划分识别所述图像区域的示意图。

图5A是根据本发明的上述较佳实施例的所述谷物处理自动驾驶系统的所述图像处理系统分割所述图像区域的示意图。

图5B是根据本发明的上述较佳实施例的所述谷物处理自动驾驶系统的所述图像处理系统的系统框图。

图6是根据本发明的上述较佳实施例的所述谷物处理自动驾驶系统的所述图像处理系统提取所述图像区域特征识别的示意图。

图7是根据本发明的上述较佳实施例的所述谷物处理自动驾驶系统的所述图像处理系统输出所述图像的区域划分示意图。

图8是根据本发明的上述较佳实施例的所述谷物处理自动驾驶系统的所述图像处理系统输出所述图像的区域划分的界线划分变化示意图。

图9是根据本发明的上述较佳实施例的所述谷物处理自动驾驶系统的自动驾驶场景示意图。

图10是根据本发明的上述较佳实施例的所述谷物处理自动驾驶系统的一路径规划系统的系统示意图。

图11A是根据本发明的上述较佳实施例的所述谷物处理自动驾驶系统的所述路径规划系统生成的农田路径规划示意图。

图11B是根据本发明的上述较佳实施例的所述谷物处理自动驾驶系统的所述路径规划系统调整行驶路径的示意图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。

参照本发明说明说明书附图之图1至图9，依照本发明第一较佳实施例的一谷物处理自动驾驶系统及其自动驾驶方法和路径规划方法，其中所述谷物处理自动驾驶系统可被实施为具有谷物处理功能的农作物收割机设备、农作物播种设备、农作物翻耕设备、以及农作物植保设备等。可以理解的是，本发明中所述的谷物处理自动驾驶设备的类型在此仅仅作为示例性质的，而非限制。因此其他类型的农作物设备亦可应用于此。所述谷物处理自动驾驶系统获取周围的至少一图像，和基于视觉地识别处理所述图像中的农田的区域类型，并划分所述图像中的农田的各种区域类型和边界。

所述谷物处理自动驾驶系统根据划分的各个区域类型和边界，其中所述谷物处理自动驾驶系统划分农田的区域类型包括至少一已作业区域100、至少一未作业区域200、以及至少一田边界区域300，并且所述谷物处理自动驾驶系统根据划分的区域类型由导航系统规划出车辆的行走路线，以实现无人自动驾驶和无人自动驾驶地作业。

值得一提的是，自动驾驶汽车，在自动驾驶模式下为识别获取车辆行走的路线，需要获取精确的车辆定位信息，通常需要高精度的卫星定位信息，并且所述自动驾驶汽车需时刻更新道路中存在的障碍物信息、路面车辆信息、以及路面行人等信息，以在高速运行状态下实现自动驾驶功能。本发明的所述谷物处理自动驾驶系统获取的图像是对应于农田中的农作物谷物的图像数据信息，其中所述图像是基于车辆当前位置获取的所述车辆周边的图像。所述谷物处理自动驾驶系统不需要太高精度的卫星定位信息，只需要普通米级精度的卫星定位(GPS定位或者北斗定位等)。相应地，所述谷物处理自动驾驶系统所获取和处理的图像与自动驾驶汽车不同，因此，所述谷物处理自动驾驶系统所形成的路径规划和驾驶方式也不相同。可以理解的是，本发明的所述谷物处理自动驾驶系统基于视觉的识别所述农田的区域和自动驾驶功能与自动驾驶汽车的识别模式不同。

如图1和图2所示，所述谷物处理自动驾驶系统获取周边的至少一图像，其中所述谷物处理自动驾驶系统根据获取得到的所述图像识别划分出所述农田对应的区域类型和区域之间的界线。所述谷物处理自动驾驶系统通过定点拍照、摄像，移动地拍照等方式获取所述谷物处理自动驾驶系统周边的所述图像。可以理解的是，所述谷物处理自动驾驶系统获取图像的方式在此仅仅作为示例性质的，而非限制。所述谷物处理自动驾驶系统包括一谷物处理主机10和至少一图像获取装置20，其中所述图像获取装置20获取所述谷物处理主机10周边的至少一所述图像。

优选地，所述图像获取装置20被设置于所述谷物处理主机10，其中所述图像获取装置20通过拍照或视频拍摄的方式获取所述谷物处理主机10周边的所述图像。更优选地，所述图像获取装置20被设置于所述谷物处理主机10的前方，其中所述图像获取装置20能够实时地获取所述谷物处理主机10前方的图像，其中所述谷物处理主机10基于所述图像获取装置20拍摄的图像信息所识别划分出的区域设定行驶路线。值得一提的是，所述图像获取装置20拍摄的图像是基于所述谷物处理主机10视野范围内的图像。换言之，所述图像获取装置20获取基于谷物处理主机10视野方向的图像，根据所述图像获取装置20被安装至所述谷物处理主机10的位置调整所述谷物处理主机10的行驶方向。

更多地，所述图像获取装置20拍摄所述谷物处理主机10行驶方向的天地的视觉，其中所述图像可以是被拍摄得到的二维平面图像或三维立体图像。可以理解的是，所述图像获取装置20拍摄得到的图像的类型在此仅仅作为示例性质的，而非限制。

值得一提的是，所述谷物处理主机10能够在行驶过程中完成农作物谷物的处理，比如收割、耕种、翻耕、植保作业等。示例性地，在本发明的第一较佳实施例中，所述谷物处理主机10被实施为一收割机设备，其中所述谷物处理主机10被控制地行驶至农田的未作业区域200进行收割作业，以收割所述未作业区域200内的农作物，比如水稻，小麦，玉米等。所述谷物处理主机10根据所述图像获取装置20获取的图像划分出的区域进行田间的自动驾驶，无人自动驾驶。可以理解的是，所述谷物处理主机10的类型在此仅仅作为示例性质的，而非限制。

如图3A至图3C所示，所述谷物处理主机10在行驶过程中，由所述图像获取装置20实时地获取所述谷物处理主机10周边的图像。图3A示出了所述谷物处理主机10作为一谷物收割机时，所述图像获取装置20拍摄的所述图像。农田中的区域根据所述谷物是否收获情况分为至少一未收割区域100a，至少一已收割区域200a，以及至少一田边界区域300a，其中所述已收割区域200a是已经收割农作物的区域，其中所述已收割区域200a中原有的农作物被收割。所述未收割区域100a是还农作物还存在的区域，其中所述未收割区域100a中还存在生长的农作物。所述田边界区域300a是农田中分隔农作物间隔的地垄、农田周边的外边界、以及农田中存在障碍物区域，其中所述田边界区域300a不被种植农作物。

图3B示出了所述谷物处理主机10作为一谷物耕种机械时，所述图像获取装置20拍摄的所述图像。农田中的区域根据所述谷物是否耕种分为至少一未耕种区域100b，至少一已耕种区域200b，以及至少一田边界区域300b，其中所述未耕种区域100b代表还未耕种农作物的区域，所述已耕种区域200b代表已经被耕种农作物的区域，所述田边界300b是间隔农作物种植的地垄和农田周边的外边界、以及农田中存在障碍物区域。

图3C示出了所述谷物处理主机10作为一谷物植保设备时，比如农药喷洒设备，所述图像获取装置20拍摄的所述图像。农田中的区域根据所述谷物是够已经喷药分为至少一未喷药区域100c，至少一以喷药区域200c，以及至少一田边界区域300c。所述未喷药区域100c代表还未农作物还未喷洒农药的区域，所述以喷药区域200c代表已经被喷洒农药的农作物区域，所述田边界300b是间隔农作物种植的地垄和农田周边的外边界、以及农田中存在障碍物区域。

如图1和图4所示，所述图像获取装置20获取的图像被利用图像分割识别技术识别出所述未作业区域100、所述已作业区域200、以及所述田边界区域300，并区分所述区域之间的界线。所述谷物处理自动驾驶系统进一步包括一图像处理系统30，其中所述图像处理系统30基于所述图像获取装置20获取的所述农田的所述图像，利用图像分割识别技术从图像中识别出所述未作业区域100、所述已作业区域200、以及所述田边界区域300。

可以理解的是，所述图像处理系统30利用图像分割识别技术识别所述图像中的区域和边界被用于表示所述谷物处理主机10行驶前方的所述农田的区域和边界。基于所述图像处理系统30利用图像分割识别技术识别出的所述区域和边界，所述谷物处理主机10被控制地在农田中的未作业区域行驶和进行作业。比如收割机设备，被设置于所述收割机设备前端的所述图像获取装置20获取收割机设备前方的农田的图像，其中所述图像获取装置20拍摄的图像被所述图像处理系统30分割识别，以识别划分出所述收割机设备行驶方向的农田的所述未作业区域100、所述已作业区域200、以及所述田边界区域300。所述谷物处理主机10即收割机设备的主机基于所述图像处理系统30识别出的区域和边界规划车辆行驶路径和收割作业。

可以理解的是，所述图像处理系统30利用图像分割识别技术识别所述图像获取装置20提供的图像中农作物的种类，农作物的高度、农作物颗粒饱满程度等信息。所述图像处理系统30可基于识别出的所述图像中农作物的种类，农作物的高度判断农作物是否已经收割，基于识别出的所述图像中农作物颗粒的饱满程度信息，可被用于调整作业的参数。换言之，所述图像处理系统30可根据所述图像获取装置20提供的图像识别出农田的区域类型和边界，还可以识别出农田中农作物的种类、高度、颗粒饱满度、农作物成熟情况等。

值得一提的是，所述图像处理系统30选自基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等其中的任一分割识别方法对所述图像获取装置20获取的图像进行分割识别，以识别出所述图像中的区域和边界。优选地，所述图像处理系统30利用深度学习算法对所述图像分割识别和对所述图像进行区域划分和边界的限定。换言之，所述图像处理系统30利用深度学习算法识别所述图像中对应的农田的区域和边界，以供所述谷物处理主机根据识别划分的区域和边界行驶和进行作业。可更优选地，所述图像处理系统30利用的深度学习算法为卷积神经网络算法的图像分割识别技术从图像中识别出对应农田中的所述未作业区域100、已作业区域200、以及所述田边界区域300。

值得一提的是，所述图像处理系统30利用的处理算法在此仅仅作为示例性质的，而非限制。因此，所述图像处理系统30还可利用其它算法对获取的图像进行分割识别，以识别出图像中农田的区域和边界。

如图5A和图6所示，所述图像处理系统30对所述图像获取装置20获取的所述图像分割成为多个像元区域301，其中每一所述像元区域301内包含至少一像素单元。可以理解的是，所述图像对应于所述谷物处理主机10周围的区域，相应地，所述图像的所述像元区域301对应于被拍摄的农田中的特定区域的农田或农作物的图像信息。对分割形成的每一所述像元区域301进行归一化处理，使得所述像元区域301的所述像素单元归一化为与像素值对应大小的一数值或数组。换言之，所述图像处理系统30将分割形成的所述像元区域301归一化为对应的数值或数组，以供所述图像处理系统提取图像的特征，和对区域的划分。

所述图像处理系统30基于每一所述像元区域301所对应的数组，提取所述像元区域301对应的图像特征。所述图像处理系统30根据所述像元区域301对应的所述数组得出所述像元区域301对应的图像特征。所述图像处理系统30利用卷积神经网络算法，比如二维卷积神经网络时，所述卷积神经网络的输入层对应输入所述像元区域301中对应的二维数组或三维数组。所述卷积神经网络的隐含层对输入层的数组进行特征提取，和在特征提取后进行特征选择和信息过滤。所述卷积神经网络基于所述数组对应的特征输出所述像元区域301的一分类标签，其中所述分类标签分别对应所述未作业区域100、已作业区域200、以及所述田边界区域300。

如图6和图7所示，所述图像处理系统30通过提取所述像元区域301对应数组的特征，识别所述像元区域301对应的区域特征，其中所述像元区域301对应的特征主要包括有农作物植株的高度特征、农田中农作物植株的间隔、农作物颜色、农田土地颜色、农作物种类特征、农田土地特征、农作物颗粒饱满程度、农作物颗粒数量等。所述图像处理系统30根据提取特征输出对应像元区域301的一分类标签，其中所述分类标签基于所述特征信息对应地标识出所述像元区域301对应的区域类型和边界界线。

如图5B所示，所述图像处理系统30包括一图像分割模块31、一特征化模块32、以及一区域划分模块33。所述图像分割模块31获取所述图像获取模块20拍摄的图像，和对图像分割处理形成多个所述像元区域301，其中每一所述像元区域301对应包括至少一像素单元。所述特征化模块32利用深度学习算法提取所述像元区域301对应的特征类型，和对特征选择，以及信息过滤。所述区域划分模块33基于所述特征化模块32提取的所述像元区域301对应的特征，对所述图像划分，以生成对应所述未作业区域100、已作业区域200、以及所述田边界区域300的分类标签。

优选地，所述图像分割模块31分割所述图像为多个所述像元区域301，其中每一所述像元区域301的大小、形状和范围相同。可以理解的是，所述图像分割模块31还可根据所述图像像素阈值大小进行分割，换言之，所述退昂分割模块31分割的所述像元区域301的大小、形状和范围可不同。更优选地，所述图像处理系统30的所述特征化模块32采用卷积神经网络算法时，所述图像分割模块31分割的所述像元区域301为单个像素单元。

所述特征化模块32包括一像元处理模块321、一特征提取模块322、以及一特征输出模块323，其中所述像元处理模块321处理所述像元区域301中像素单元对应的数组。换言之，所述像元处理模块321将所述像元区域301归一化为适于处理的数组。所述特征提取模块322输入所述像元处理模块321处理的所述像元区域301的数组后提取所述数组对应的特征类型，和对特征进行选择，以及信息过滤，以保留可用数据，排出干扰数据，进而使得特征提取结果更准备。所述特征输出模块323输出由所述特征提取模块322结合所述特征提取模块322提取的特征，藉由所述区域划分模块33结合所述特征输出模块323输出的特征，生成对应区域的所述分类标签。

所述区域划分模块33基于所述特征化模块32提取得到的所述像元区域301对应的特征，划分所述图像对应的各个区域，和设定区域边界。相应地，所述区域划分模块33进一步包括一区域分割模块331和一边界划分模块332，其中所述区域分割模块331根据所述像元区域301的特征划分不同的区域，其中所述边界划分模块332划分所述区域对应的边界范围，以便于认定区域的范围。

所述谷物处理自动驾驶系统的所述谷物处理主机10在行驶过程中，由所述图像获取装置20实时地获取所述谷物处理主机10前方视野范围内的图像。相应地，所述图像处理系统30实时地获取所述图像获取装置20拍摄的图像，和利用图像分割识别技术识别出所述图像对应于农田的区域划分和区域边界范围。当所述图像处理系统30识别出的区域划分和区域边界范围不能与之前的区域边界范围保持一致时，调整所述图像对应的区域划分和区域边界范围。

如图8所示，所述谷物处理主机10在行驶作业过程中，不可避免的会产生振动，和行驶方向偏移等问题。当所述谷物处理主机10行驶方向偏移，或因为车辆的震动而造成的区域划分变化时，所述图像处理系统30实时地更新所述图像对应的区域划分和区域边界范围。

如图1所示，所述谷物处理自动驾驶系统进一步还包括一定位装置40和一导航系统50，其中所述定位装置40被设置于所述谷物处理主机10，以获取所述谷物处理主机10的位置定位信息。优选地，所述定位装置40利用卫星定位信息获取所述谷物处理主机10的位置信息，比如GPS或北斗定位装置等。所述导航系统50被设置于所述谷物处理主机10，其中所述导航系统50对所述谷物处理主机10的行驶进行导航，以供所述谷物处理主机10基于利用所述定位装置40的定位信息和所述图像处理系统30得到的区域规划信息，以及所述导航系统50的导航信息，实现无人自动驾驶和作业。

可以理解的是，所述图像处理系统30基于所述图像而得到的农田的区域划分和区域边界范围信息等被实时地更新至所述导航系统50，以更新所述导航系统50的导航信息。优选地，所述导航系统50被实施为惯性组合导航系统。可以理解的是，所述导航系统50的类型在此仅仅作为示例性质的，而非限制，因此，所述导航系统50还可以被实施为其他类型的导航装置。

相应地，所述谷物处理自动驾驶系统的所述谷物处理主机10包括一车辆主体11，设置于所述车辆主体11的一作业系统12，以及一驾驶控制系统13，其中所述作业系统12被所述车辆主体11带动，和实现谷物处理的作业，比如收割作业。所述驾驶控制系统13控制所述车辆主体11的行驶和控制所述作业系统12的作业。值得一提的是，所述驾驶控制系统13具有一无人驾驶模式和一操作驾驶模式。当所述谷物处理自动驾驶系统处于所述无人驾驶模式时，所述驾驶控制系统13控制所述车辆主体11自动地运行和所述作业系统12的作业。相应地，当谷物处理自动驾驶系统处于所述操作驾驶模式时，所述驾驶控制系统允许驾驶人员通过人工操作的方式操作所述车辆主体11的运行和控制所述作业系统的作业。

在本发明的第一较佳实施例中，所述谷物处理自动驾驶系统为收割机设备，其中所述作业系统12被实施为一收割作业设备。所述驾驶控制系统13控制所述车辆主体11的行驶和控制所述作业系统12的作业。换言之，所述驾驶控制系统13控制所述车辆主体11在行驶的过程中所述作业系统12作业参数的调整。所述驾驶控制系统13获取所述图像处理系统30识别所述图像中的农作物的种类、农作物高度、颗粒饱满程度、农作物茎秆的直径大小等信息，和基于获取的所述信息调整所述作业系统12的作业参数，比如，调整所述作业系统12作业速度，作业的宽幅，作业的高度，调整脱粒处理的参数等。

本发明说明书附图之图9示出了所述谷物处理自动驾驶系统在农田中无人驾驶和收割作业的实施方式。所述谷物处理主机10的所述驾驶控制系统13处于所述无人驾驶模式时，所述驾驶控制系统13获取所述定位装置40提供的所述车辆主体11的定位信息、所述导航系统50提供的导航信息、以及所述图像处理系统30提供的区域识别信息，进而控制所述车辆主体11行驶在所述农田的所述未作业区域100，以完成谷物的收割作业。所述谷物处理主机10在行驶作业过程中，所述图像获取装置20实时地获取所述车辆主体11行驶前方的所述图像，其中所述图像被所述图像处理系统30利用图像分割识别技术识别出区域范围和边界范围。当所述图像处理系统30得到的区域划分和边界范围与之前的区域划分和边界范围不一致时，所述图像处理系统30替换原有的区域划分和边界范围，和更新所述导航系统50的导航数据，以使所述驾驶控制系统13获取新的导航信息调整行驶和作业路线。

如图10至图11B所示，所述谷物处理自动驾驶系统基于所述定位装置40获取的所述谷物处理主机10的位置信息，所述图像处理系统30识别的所述图像的区域规划信息，以及所述导航系统50的导航信息，生成至少一规划路径。所述谷物处理主机10的所述驾驶控制系统13根据生成的所述规划路径控制所述车辆主体11的行驶和控制所述作业系统12的作业。相应地，所述谷物处理自动驾驶系统进一步包括一路径规划系统60，其中所述路径规划系统为所述谷物处理主机10规划至少一车辆的行驶路径。所述路径规划系统60获取所述定位装置40的定位信息，获取所述图像处理系统30识别的所述图像的区域规划信息，以及获取所述导航系统50的导航信息，和根据获取的信息规划所述车辆主体11的行驶路径。

如图11A和图11B所示，所述路径规划系统60识别或者设定出所述农田中对应的至少一作业区域601和作业边界602，其中所述作业区域601是所述谷物处理自动驾驶系统最大的作业范围，其中所述驾驶控制系统13控制所述车辆主体11行驶在所述作业边界602的范围内。可以理解的是，所述作业区域601和所述作业边界602可由所述图像处理系统30通过识别图像中的所述田边界区域300的方式识别出所述作业区域601的最大区域范围和边界。或者，所述路径规划系统60通过设定的方式设定出所述谷物处理自动驾驶系统的所述作业区域601。

所述路径规划系统60基于所述作业区域601的最外侧的所述作业边界602规划出至少一行驶路径。当所述作业区域601的宽度大于所述作业系统12的作业宽度时，所述路径规划系统60规划出“回”字型的行驶路线，或“S”型的行驶路线。可以理解的是，所述路径规划系统60规划出的行驶路线的方式在此仅仅作为示例性质的，而非限制。因此，其他方式的行驶路线也可应用于此。

优选地，当所述车辆主体11行驶至所述作业区域601的远端边界时，所述路径规划系统60基于当前未作业区域100的范围重新规划出至少一行驶路径。换言之，当所述车辆主体11行驶至所述作业区域601的远端边界时，由所述路径规划系统60为所述车辆主体11更新所述作业区域601和所述作业边界602，并根据更新的所述作业区域601规划出新的行驶路径。

可以理解的是，所述驾驶控制系统13控制所述车辆主体11按照所述路径规划系统60规划出的行驶路径行驶，其中所述驾驶控制系统13控制所述作业系统12收割所述作业区域401最外侧的农作物。换言之，所述驾驶控制系统13控制所述作业系统12基于所述作业边界602收割所述未作业区域100内的作物。

如图10所述，所述谷物处理自动驾驶系统的所述路径规划系统60包括一作业区域设置模块61、一行驶路径规划模块62、以及一路径调整模块63。所述作业区域设置模块61基于所述图像处理系统30识别所述图像中所述农田的边界区域得到的所述农田的作业区域601和所述作业边界602；或者通过设置的方式设置所述谷物处理主机10作业在所述农田中的所述作业区域601和所述作业边界602。由于所述谷物处理主机10的作业使得未作业区域100和所述已作业区域200变化，所述作业区域设置模块61实时地更新所述作业区域601的范围和所述作业边界602的界线，以便生成新的所述未作业区域100，和所述已作业区域200。

所述行驶路径规划模块62基于所述谷物处理主机10的定位信息，所述图像处理系统30识别所述图像的区域规划信息，以及所述导航系统50的导航信息，得出至少一行驶规划路径603，其中所述驾驶控制系统13控制所述车辆主体11按照所述行驶规划路径603行驶。所述路径调整模块63基于所述图像处理系统30识别所述图像的农作物的信息调整所述谷物处理主体10的行驶方向，以形成一车辆行驶路径604，其中所述车辆行驶路径604基本重合或平行于所述行驶规划路径603。当所述图像处理系统30识别图像中农作物需要调整收割范围时，所述路径调整模块63生成的所述车辆行驶路径偏离于所述行驶规划路径603。

依照本发明的另一方面，本发明进一步提供一谷物处理自动驾驶系统的路径规划方法，其中所述路径规划方法包括如下方法步骤：

(a)获取所述谷物处理主机10周围农田的至少一图像；

(b)识别划分出所述图像对应农田的区域和边界；以及

(c)基于识别的所述区域规划出至少一行驶规划路径603。

在上述路径规划方法中进一步包括步骤：(a.0)设定所述农田的作业区域601和所述作业区域601对应的至少一作业边界602。可以理解的是，设定的所述农田的所述作业区域601包括所述已作业区域200和所述未作业区域100，以及所述田边界区域300。所述农田外侧的所述田边界区域300重合于所述作业边界602。

所述路径规划方法步骤(a.0)进一步包括步骤：藉由所述图像处理系统30识别所述图像中所述农田区域和边界的方式识别出所述农田的所述作业区域601和所述作业边界602。

上述路径规划方法的步骤(b)进一步包括步骤：利用图像分割技术分割所述图像，和识别划分所述图像的区域。

在上述路径规划方法的步骤(a)中，基于所述谷物处理主机10的位置和行驶方向，实时地拍摄所述谷物处理主机10周围的图像信息。在上述路径规划方法的步骤(b)中，所述图像处理系统利用图像分割技术分割所述图像信息，和识别划分所述图像的区域为所述未作业区域100、所述已作业区域200、以及所述田边界区域300。上述路径规划方法的步骤(b)中，进一步包括如下步骤：

(b.1)分割所述图像为多个所述像元区域301，和归一化所述像元区域301的像素值为一数组；

(b.2)提取每一数组对应的所述像元区域301的特征；以及

(b.3)基于所述像元区域301对应的特征，输出所述图像的分类标签。

在上述路径规划方法的步骤(b.3)中，所述分类标签对应于所述未作业区域100、所述已作业区域200、以及所述田边界区域300。

上述路径规划方法的步骤(b)中，所述图像处理系统30利用深度学习的卷积神经网络算法分割所述图像，和识别划分所述图像的区域。

上述路径规划方法的步骤(c)进一步包括步骤(c.1)：基于所述谷物处理主机10的定位信息，所述图像处理系统30识别所述图像的区域规划信息，以及所述导航系统50的导航信息，得出所述行驶规划路径603。

上述路径规划方法的步骤(c)进一步包括步骤(c.2)：基于所述图像处理系统30识别所述图像的农作物的信息调整所述谷物处理主体10的行驶方向，以形成一车辆行驶路径604。

上述路径规划方法进一步包括：步骤(d)对比所述图像处理系统30识别出的区域划分和区域边界范围与之前的区域边界范围是否保持一致，若不能保持一致，则调整所述图像对应的区域划分和区域边界范围，若能够保持一致，则保持区域划分和边界范围不变。

依照本发明的另一方面，本发明进一步提供一谷物处理自动驾驶系统的自动驾驶方法，其中所述自动驾驶方法包括如下方法步骤：

(I)获取至少一图像，和识别所述图像中农田的区域和田边界；

(II)基于所述识别信息，规划出至少一行驶规划路径603；以及

(III)控制所述谷物处理主机10按照所述行驶规划路径603自动地行驶。

上述自动驾驶方法步骤(I)包括本发明提供的所述自动识别农田区域和边界的方法，其中所述驾驶控制系统13基于所述图像处理系统30识别的区域信息和田边界控制所述谷物处理主机10的驾驶和作业。

上述自动驾驶方法的步骤(I)进一步包括：识别出所述图像中对应农田中农作物的信息，其中所述农作物的信息包括农作物种类，农作物的高度，颗粒饱满度等信息。

上述自动驾驶方法步骤(II)进一步包括步骤：

获取所述谷物处理主机10的定位信息；和

基于所述定位信息、所述图片的识别信息、以及所述导航系统的导航信息，规划出所述行驶规划路径603。

相应地，在上述方法步骤(III)中，所述驾驶控制系统13根据所述谷物处理主机10的定位信息、所述图像处理系统30得到的所述农田的区域规划信息、以及所述导航信息，控制所述谷物处理主机10的所述车辆主体11行驶。

在上述自动驾驶方法中，进一步包括步骤：(IV)基于所述图像的识别信息，调整所述谷物处理主机10的作业系统12的作业参数。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (19)

1.一谷物处理自动驾驶系统的路径规划方法，其特征在于，其中所述路径规划方法包括如下步骤：

(a)获取一谷物处理主机周围农田的至少一图像；

(b)识别划分出所述图像对应农田的区域和边界；以及

(c)基于识别的所述区域规划出至少一行驶规划路径。

2.根据权利要求1所述的路径规划方法，其中上述路径规划方法中进一步包括步骤：(a.0)设定所述农田的作业区域和所述作业区域对应的至少一作业边界。

3.根据权利要求2所述的路径规划方法，其中所述路径规划方法步骤(a.0)进一步包括步骤：藉由所述图像处理系统识别所述图像中所述农田区域和边界的方式识别出所述农田的所述作业区域和所述作业边界。

4.根据权利要求3所述的路径规划方法，其中在上述自动识别方法的步骤

(a)中，基于所述谷物处理自动驾驶系统的位置，实时地拍摄所述谷物处理自动驾驶系统周围的图像信息。

5.根据权利要求1所述的路径规划方法，其中上述路径规划方法的步骤(b)进一步包括步骤：利用图像分割技术分割所述图像，和识别划分所述图像的区域。

6.根据权利要求5所述的路径规划方法，其中在上述自动识别方法的步骤

(b)中，由一图像处理系统利用图像分割技术分割所述图像信息，和划分所述图像的区域为未作业区域、已作业区域、以及田边界区域。

7.根据权利要求6所述的自动识别方法，其中在上述自动识别方法的步骤(b)中，进一步包括如下步骤：

(b.1)分割所述图像为多个所述像元区域，和归一化所述像元区域的像素值为一数组；

(b.2)提取每一数组对应的所述像元区域的特征；以及

(b.3)基于所述像元区域对应的特征，输出所述图像的分类标签。

8.根据权利要求1所述的自动识别方法，其中上述路径规划方法的步骤(c)进一步包括步骤(c.1)：基于所述谷物处理主机的定位信息，所述图像处理系统识别所述图像的区域规划信息，以及所述导航系统的导航信息，得出所述行驶规划路径。

9.根据权利要求1所述的自动识别方法，其中上述路径规划方法的步骤(c)进一步包括步骤(c.2)：基于所述图像处理系统识别所述图像的农作物的信息调整所述谷物处理主体的行驶方向，以形成一车辆行驶路径。

10.一谷物处理自动驾驶系统的自动驾驶方法，其特征在于，其中所述自动驾驶方法包括如下步骤：

(I)获取至少一图像，和识别所述图像中农田的区域和田边界；

(II)基于所述识别信息，规划出至少一行驶规划路径；以及

(III)控制所述谷物处理主机按照所述行驶规划路径自动地行驶。

11.根据权利要求10所述的自动驾驶方法，其中上述自动驾驶方法步骤(II)进一步包括步骤：

获取所述谷物处理主机的定位信息；和

基于所述定位信息、所述图片的识别信息、以及所述导航系统的导航信息，规划出所述行驶规划路径。

12.根据权利要求11所述的自动驾驶方法，其中上述自动驾驶方法的步骤(I)进一步包括：识别出所述图像中对应农田中农作物的信息，其中所述农作物的信息包括农作物种类、农作物的高度、颗粒饱满度的信息。

13.根据权利要求12所述的自动驾驶方法，其中在上述自动驾驶方法中，进一步包括步骤：

(IV)基于所述图像的识别信息，调整所述谷物处理主机的作业系统的作业参数。

14.一谷物处理自动驾驶系统，其特征在于，包括：

一谷物处理主机；

一图像处理系统，其中所述图像处理系统被设置于所述谷物处理主机，获取所述谷物处理主机周围农田的至少一图像，所述图像处理系统基于利用图像分割识别技术识别出所述图像中的区域；以及

一路径规划系统，其中所述路径规划系统基于所述图像处理系统识别的所述区域规划出至少一行驶规划路径，其中所述谷物处理主机根据所述路径规划系统规划出的所述行驶规划路径自动地控制驾驶。

15.根据权利要求14所述的谷物处理自动驾驶系统，其中所述谷物处理自动驾驶系统进一步包括一图像获取装置，其中所述图像获取装置被设置于所述谷物处理主机，所述图像获取装置拍摄所述谷物处理主机前方的所述图像。

16.根据权利要求15所述的谷物处理自动驾驶系统，其中所述图像处理系统基于所述图像，识别出所述图像中的至少一已作业区域、至少一未作业区域、以及至少一田边界区域。

17.根据权利要求16所述的谷物处理自动驾驶系统，其中所述图像处理系统进一步包括：

一图像分割模块，其中所述图像分割模块分割所述图像为多个像元区域，其中每一所述像元区域包括至少一像素单元；

一特征化模块，其中所述特征化模块基于所述像元区域的所述像素单元提取每一像元区域对应的特征；以及

一区域划分模块，其中所述区域规划模块根据所述像元区域的特征识别和划分所述图像的区域。

18.根据权利要求14至17任一所述的谷物处理自动驾驶系统，其中所述谷物处理自动驾驶系统进一步包括一定位装置和一导航系统，所述定位装置和所述导航系统被设置于所述谷物处理主机，其中所述定位装置获取所述谷物处理主机的位置信息，其中所述导航系统为所述谷物处理主体提供导航信息。

19.根据权利要求18所述的谷物处理自动驾驶系统，其中所述路径规划系统进一步包括：

一作业区域设置模块，其中所述作业区域设置模块设定所述农田的边界区域得到的所述农田的作业区域和所述作业边界；和

一行驶路径规划模块，其中所述基于所述谷物处理主机的定位信息，所述图像处理系统识别所述图像的区域规划信息，以及所述导航系统的导航信息，得出至少一行驶规划路径。