CN209983105U - 收割机 - Google Patents

收割机 Download PDF

Info

Publication number
CN209983105U
CN209983105U CN201822267500.8U CN201822267500U CN209983105U CN 209983105 U CN209983105 U CN 209983105U CN 201822267500 U CN201822267500 U CN 201822267500U CN 209983105 U CN209983105 U CN 209983105U
Authority
CN
China
Prior art keywords
harvester
image
area
information
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201822267500.8U
Other languages
English (en)
Inventor
吴迪
王波
张虓
王清泉
童超
沈永泉
陈睿
范顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FJ Dynamics Technology Co Ltd
Original Assignee
FJ Dynamics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FJ Dynamics Technology Co Ltd filed Critical FJ Dynamics Technology Co Ltd
Priority to CN201822267500.8U priority Critical patent/CN209983105U/zh
Priority to JP2021538493A priority patent/JP2022516898A/ja
Priority to PCT/CN2019/107551 priority patent/WO2020134236A1/zh
Application granted granted Critical
Publication of CN209983105U publication Critical patent/CN209983105U/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Guiding Agricultural Machines (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本实用新型提供一收割机,其中所述收割机包括一收割机主机、至少一图像获取装置、一路径规划系统以及一图像处理系统。所述图像获取装置被设置于所述收割机主机,所述图像获取装置拍摄所述收割机主机周围的图像,其中所述图像处理系统基于所述图像获取装置拍摄的图像识别出所述影像中的农田信息,其中所述收割机主机根据所述图像处理系统识别出的所述农田信息自动地控制驾驶,其中所述路径规划系统基于所述图像处理系统识别的所述农田信息规划出至少一行驶规划路径,其中所述收割机主机根据所述路径规划系统规划出的所述行驶规划路径控制驾驶。

Description

收割机
技术领域
本实用新型涉及农业机械自动驾驶领域,尤其涉及一收割机。
背景技术
收割机是收获稻、麦等农作物作物子粒和秸秆的作物收获机械,此外收割机还包括割草机,收割其他农作物,比如蔬菜水果收获的机械设备。谷物收割机是一体化收割农作物的机械,能够一次性地完成收割、脱粒,并将谷粒集中到储藏仓,然后再通过传送带将粮食输送到运输车。果蔬类收获设备能够一次性地收割农田中的蔬菜水果,并将收获的果实与茎秆分离处理,然后分类处理。
收割机在执行收割作业时需要时刻观察农田中农作物和农田作业区域的情况,以便根据农作物的高度、成熟情况、颗粒饱满度等情况,调整所述收割机的作业参数。农业机械设备在农田中作业时,需要实时判断农田作业情况和农田中作物生长情况,来操作农业机械设备的运行和调整作业系统的运行情况的复杂情况。现在只能通过具有专业技术的机械操作人员完成。农业机械设备在农田中作业时需要考虑到农田的已作业区域,未作业区域,以及天地的边界范围等诸多因素,并且在作业过程中需要根据农作物的情况实时地调整车辆的运行和调整作业的参数。由于驾驶过程中需要考虑复杂的作业环境,因此现有技术的农业设备还需要操作人员基于实时的农田作物的信息调整所述农业机械设备的运行。通过人工操作的方式控制所述农业机械设备作业出现判断误差的几率较大,而导致机械设备在作业过程中出现故障的概率大。
这种现有技术的收割机存在以下下述至少一缺陷:首先,收割机在作业时,由于车机本身的震动和农田土地的不平会产生所述收割机本体的上下晃动,从而导致设置于所述收割机本体的摄像头装置无法拍摄到稳定位置的图像。因此,通过所述摄像装置获取的图像往往是模糊不清的,无法为智能作业和自动驾驶提供信息支持。其次,现有技术的摄像装置通过固定安装的方式设置于所述收割机本体,仅仅能够获取单一方向的图像,比如所述收割机前方的图像,而不能根据情况调整所述摄像装置的拍摄方向和位置。再次,现有技术的移动摄像设备或固定摄像设备,比如无人机的摄像装置或固定在农田中的摄像装置,拍摄所述收割机周围的图像后传输至所述收割机本体,以供所述收割机本体读取所述摄像装置拍摄的图像。虽然在一定程度上解决了图像拍摄不清楚的问题,但是,基于摄像装置本身或基于无人机的位置拍摄的图像,不能从所述收割机自身的视角获取图像。因此,获取的图像不能很好的识别。
现有技术的农业机械设备在作业时通常会由于设定的作业路径不准,而导致作业出现误差,甚至出现严重的机械故障。此外,采用PTK的卫星定位的方式对于农业设备的性能要求较高,所需要的制造成本和维护成本相对来说都很高昂,因此,这种现有技术的自动驾驶的定位方式不适用于当前的农业机械设备的自动驾驶模式中。
实用新型内容
本实用新型的一个主要优势在于提供一收割机,其中所述收割机基于拍摄的至少一视觉图像识别出所述图形中农田的区域。
本实用新型的另一个优势在于提供一收割机,其中所述收割机基于拍摄的至少一视觉图像识别出所述图形中作物的种类、高度、成熟情况等作物信息。
本实用新型的另一个优势在于提供一收割机,其中所述收割机基于所述视觉图像识别出所述视觉图像中的未作业区域、已作业区域、以及田边界区域,以便根据识别出的所述区域控制收割机的行驶路径。
本实用新型的另一个优势在于提供一收割机,其中所述收割机基于所述视觉图像识别出所述图像中作物的信息,其中所述收割机根据所述图像中的识别信息调整收割机的作业参数,提高所述收割机的作业质量、效率。
本实用新型的另一个优势在于提供一收割机,其中所述收割机的图像获取装置为云台摄像装置,其中所述云台摄像装置具有防抖拍摄功能,提高了所述收割机获取视觉图像的准确性、稳定性。
本实用新型的另一个优势在于提供一收割机,其中所述图像获取装置被设置于所述收割机的一收割机主体,其中所述收割机通过所述图像获取装置拍摄所述收割机主体周围的图像。
本实用新型的另一个优势在于提供一收割机,其中所述图像获取装置被设置于所述收割机的一收割机主体,其中所述图像获取装置被设置于所述收割机主体,其中所述图像获取装置基于所述收割机主体的视野位置拍摄至少一视觉图像或视觉影像,以便根据拍摄的影像信息识别所述收割机主体周围的信息。
本实用新型的另一个优势在于提供一带有收割机,其中所述图像获取装置可基于所述收割机主机的位置,被调整地拍摄不同角度和不同方向的图像,以便于获取所述收割机主机不同方向的图像。
本实用新型的另一个优势在于提供一带有收割机,其中所述图像获取装置为一机械云台相机或电子云台相机,借由所述图像获取装置提高所述视觉图像的稳定性。
本实用新型的另一个优势在于提供一收割机,其中所述收割机的一路径规划系统基于当前车辆的定位信息、图像处理系统识别的信息以及导航系统的信息自动地规划路径。
本实用新型的另一个优势在于提供一收割机,其中所述收割机基于所述视觉图像识别出的所述区域,规划出所述收割机的行驶路径和作业路线。
本实用新型的另一个优势在于提供一收割机,其中所述收割机的一图像获取装置实时地获取周围农田的所述视觉图像,实时地更新所述收割机规划的路径导航信息。
本实用新型的另一个优势在于提供一收割机,其中所述收割机通过所述图像获取装置实时拍摄地图像,识别出所述视觉图像中的所述区域,并且根据区域的变化实时地更新或调整所述收割机的作业路线,提高所述收割机的作业质量。
本实用新型的另一个优势在于提供一收割机,其中所述收割机的所述图像处理系统基于获取的所述视觉图像信息,利用图像分割技术识别出图像中的所述未作业区域、所述已作业区域、以及所述田边界区域,以及划分相邻两区域的边界。
本实用新型的另一个优势在于提供一收割机,其中所述收割机的所述图像处理系统基于获取的所述视觉图像信息,利用图像分割技术识别出图像中农作物的种类、高度、颗粒饱满度等植物信息,以供所述收割机的作业系统基于农作物的信息调整作业参数。
本实用新型的另一个优势在于提供一收割机,其中所述收割机的所述图像处理系统基于获取的图像信息识别出所述图像中的区域边界,以便所述路径规划系统基于识别出的所述区域边界规划车辆的行驶路径。
本实用新型的另一个优势在于提供一收割机,其中所述收割机不需要高精度的卫星定位,降低了所述自动驾驶设备的生产制造难度,同时也降低了设备的维护成本。
本实用新型的另一个优势在于提供一收割机,其中所述收割机基于所述图像处理系统输出的区域划分信息,进行路径规划,以实现自动驾驶和自动驾驶作业。
本实用新型的其它优势和特点通过下述的详细说明得以充分体现并可通过所附权利要求中特地指出的手段和装置的组合得以实现。
依本实用新型的一个方面,能够实现前述目的和其他目的和优势的本实用新型的一收割机,包括:
一收割机主机;
至少一图像获取装置,其中所述图像获取装置被设置于所述收割机主机,所述图像获取装置拍摄所述收割机主机周围的图像,以及
一图像处理系统,其中所述图像处理系统基于所述图像获取装置拍摄的图像识别出所述图像中的农田信息,其中所述收割机主机根据所述图像处理系统识别出的所述农田信息自动地控制驾驶。
根据本实用新型的一实施例,所述收割机进一步包括一路径规划系统,其中所述路径规划系统基于所述图像处理系统识别的所述农田信息规划出至少一行驶规划路径,其中所述收割机主机根据所述路径规划系统规划出的所述行驶规划路径控制驾驶。
根据本实用新型的一实施例,所述图像处理系统利用图像分割识别技术识别出所述图像中农田的信息,和基于识别出的信息规划所述图像中农田的区域。
根据本实用新型的一实施例,所述图像处理系统利用图像分割识别技术识别出所述图像中农作物信息,以供所述收割机主机基于识别出的信息自动地调整作业参数。
根据本实用新型的一实施例,所述图像获取装置为防抖云台摄像装置,所述图像获取装置被装载于所述收割机主机,基于所述收割机主机的位置以拍照的方式拍摄所述收割机主机周围的图像。
根据本实用新型的一实施例,所述图像获取装置为机械防抖云台装置,所述图像获取装置包括一云台和至少一摄像机,其中所述云台将所述摄像机安装至所述收割机主机,所述摄像机被设置于所述云台,借由所述云台支撑所述摄像机保持平衡。
根据本实用新型的一实施例,所述图像获取装置为电子云台装置,所述图像获取装置通过控制镜头的视角和变焦,从而防止所述图像获取装置镜头拍照抖动。
根据本实用新型的一实施例,所述图像获取装置被设置于所述收割机主机的前部、所述收割机主机的顶部、所述收割机主机的左侧、右侧、或所述收割机主机的后部。
根据本实用新型的一实施例,所述图像处理系统进一步包括:
一图像分割模块,其中所述图像分割模块分割所述图像为多个像元区域,其中每一所述像元区域包括至少一像素单元;
一特征化模块,其中所述特征化模块基于所述像元区域的所述像素单元提取每一像元区域对应的特征;以及
一区域划分模块,其中所述区域划分模块根据所述像元区域的特征识别和划分所述图像的区域。
根据本实用新型的一实施例,所述收割机进一步包括一定位装置和一导航系统,所述定位装置和所述导航系统被设置于所述收割机主机,其中所述定位装置获取所述收割机主机的位置信息,其中所述导航系统为所述收割机主机提供导航信息。
根据本实用新型的一实施例,所述路径规划系统进一步包括:
一作业区域设置模块,其中所述作业区域设置模块设定所述农田的边界区域得到的所述农田的作业区域和所述作业边界;和
一行驶路径规划模块,其中所述基于所述收割机主机的定位信息,所述图像处理系统识别所述图像的区域规划信息,以及所述导航系统的导航信息,得出至少一行驶规划路径。
根据本实用新型的一实施例,所述收割机主机包括一车辆主体,设置于所述车辆主体的至少一作业系统,以及一驾驶控制系统,所述车辆主体驱动所述作业系统运行,其中所述驾驶控制系统控制所述车辆主体的运行和控制所述作业系统的作业参数。
根据本实用新型的一实施例,所述驾驶控制系统获取所述图像处理系统识别的所述图像获取装置拍摄的图像的信息,自动地控制所述车辆主体的行驶路线和控制所述作业系统的作业参数,以实现无人自动驾驶和收割作业。
根据本实用新型的另一方面,本实用新型进一步提供一收割机的自动驾驶方法,其中所述自动驾驶方法包括如下步骤:
(a)获取至少一图像,和识别所述图像中农田的区域和田边界;
(b)基于所述识别信息,规划出至少一行驶规划路径;以及
(c)控制所述收割机主机按照所述行驶规划路径自动地行驶。
根据本实用新型的一实施例,上述自动驾驶方法的步骤(a)进一步包括:识别出所述图像中对应农田中农作物的信息,其中所述农作物的信息包括农作物种类,农作物的高度,颗粒饱满度等信息。
根据本实用新型的一实施例,上述自动驾驶方法步骤(b)进一步包括步骤:
(b.1)识别划分出所述图像对应农田的区域和边界;以及
(b.2)基于识别的所述区域规划出至少一行驶规划路径。
根据本实用新型的一实施例,上述自动驾驶方法的步骤(b.1)进一步包括步骤:利用图像分割技术分割所述图像,和识别划分所述图像的区域。
根据本实用新型的一实施例,在上述自动驾驶方法的步骤(b)中,所述图像处理系统利用图像分割技术分割所述图像信息,和识别划分所述图像的区域为所述未作业区域、所述已作业区域、以及所述田边界区域。
根据本实用新型的一实施例,所述自动驾驶方法的步骤(b.1)进一步包括如下步骤:
分割所述图像为多个所述像元区域,和归一化所述像元区域的像素值为一数组;
提取每一数组对应的所述像元区域的特征;以及
基于所述像元区域对应的特征,输出所述图像的分类标签。
根据本实用新型的一实施例,上述自动驾驶方法的步骤(b.2)进一步包括步骤:基于所述收割机主机的定位信息,所述图像的区域规划信息,以及所述导航系统的导航信息,规划出所述行驶规划路径。
根据本实用新型的一实施例,上述自动驾驶方法进一步包括:步骤(b.3) 对比所述图像处理系统识别出的区域划分和区域边界范围与之前的区域边界范围是否保持一致,若不能保持一致,则调整所述图像对应的区域划分和区域边界范围,若能够保持一致,则保持区域划分和边界范围不变。
根据本实用新型的一实施例,上述自动驾驶方法进一步包括步骤:(d)基于所述图像的识别信息,调整所述收割机主机的作业系统的作业参数。
通过对随后的描述和附图的理解,本实用新型进一步的目的和优势将得以充分体现。
本实用新型的这些和其它目的、特点和优势,通过下述的详细说明,附图和权利要求得以充分体现。
附图说明
图1是根据本实用新型的第一较佳实施例的一收割机的系统示意图。
图2是根据本实用新型的上述较佳实施例的所述收割机的图像获取示意图。
图3A是根据本实用新型的上述较佳实施例的所述收割机获取的一种图像的示意图。
图3B是根据本实用新型的上述较佳实施例的所述收割机获取的另一种图像的示意图。
图3C是根据本实用新型的上述较佳实施例的所述收割机获取的另一种图像的示意图。
图4是根据本实用新型的上述较佳实施例的所述收割机的一图像处理系统划分识别所述图像区域的示意图。
图5A是根据本实用新型的上述较佳实施例的所述收割机的所述图像处理系统分割所述图像区域的示意图。
图5B是根据本实用新型的上述较佳实施例的所述收割机的所述图像处理系统的系统框图。
图6是根据本实用新型的上述较佳实施例的所述收割机的所述图像处理系统提取所述图像区域特征识别的示意图。
图7是根据本实用新型的上述较佳实施例的所述收割机的所述图像处理系统输出所述图像的区域划分示意图。
图8是根据本实用新型的上述较佳实施例的所述收割机的所述图像处理系统输出所述图像的区域划分的界线划分变化示意图。
图9是根据本实用新型的上述较佳实施例的所述收割机的自动驾驶场景示意图。
图10是根据本实用新型的上述较佳实施例的所述收割机的一路径规划系统的系统示意图。
图11A是根据本实用新型的上述较佳实施例的所述收割机的所述路径规划系统生成的农田路径规划示意图。
图11B是根据本实用新型的上述较佳实施例的所述收割机的所述路径规划系统调整行驶路径的示意图。
图12是根据本实用新型的第二较佳实施例的一带有图像获取装置的收割机的整体结构的示意图。
图13是根据本实用新型的上述较佳实施例的所述收割机的所述图像获取装置拍摄图像的示意图。
图14是根据本实用新型的上述较佳实施例的所述收割机的所述图像获取装置的结构示意图,其中所述图像获取装置被实施为一机械云台装置。
图15是根据本实用新型的上述较佳实施例的所述收割机的所述图像获取装置被安装位置的示意图。
图16A是根据本实用新型的上述较佳实施例的所述收割机的一图像处理系统识别所述图像获取装置拍摄图像中农田区域的示意图。
图16B是根据本实用新型的上述较佳实施例的所述收割机的一图像处理系统识别所述图像获取装置拍摄图像中农作物的示意图。
图17是根据本实用新型的上述较佳实施例的所述收割机的所述图像获取装置的另一可选实施方式的示意图,其中所述图像获取装置被实施为一电子云台装置。
具体实施方式
以下描述用于揭露本实用新型以使本领域技术人员能够实现本实用新型。以下描述中的优选实施例只作为举例,本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本实用新型的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本实用新型的精神和范围的其他技术方案。
本领域技术人员应理解的是,在本实用新型的揭露中,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系,其仅是为了便于描述本实用新型和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此上述术语不能理解为对本实用新型的限制。
可以理解的是,术语“一”应理解为“至少一”或“一个或多个”,即在一个实施例中,一个元件的数量可以为一个,而在另外的实施例中,该元件的数量可以为多个,术语“一”不能理解为对数量的限制。
参照本实用新型说明说明书附图之图1至图9,依照本实用新型第一较佳实施例的一收割机在接下来的描述中被揭露和被阐述,其中所述收割机可被实施为具有谷物处理功能的农作物收割机设备、蔬菜、水果收获设备、割草设备、以及其他类型的收割装置等。可以理解的是,本实用新型中所述的收割机的类型在此仅仅作为示例性质的,而非限制。所述收割机获取周围的至少一图像,和基于视觉地识别处理所述图像中的农田的区域类型,并划分所述图像中的农田的各种区域类型和边界。
所述收割机根据划分的各个区域类型和边界,其中所述收割机划分农田的区域类型包括至少一已作业区域100、至少一未作业区域200、以及至少一田边界区域300,并且所述收割机根据划分的区域类型由导航系统规划出车辆的行走路线,以实现无人自动驾驶和无人自动驾驶地作业。
值得一提的是,自动驾驶汽车,在自动驾驶模式下为识别获取车辆行走的路线,需要获取精确的车辆定位信息,通常需要高精度的卫星定位信息,并且所述自动驾驶汽车需时刻更新道路中存在的障碍物信息、路面车辆信息、以及路面行人等信息,以在高速运行状态下实现自动驾驶功能。本实用新型的所述收割机获取的图像是对应于农田中的农作物谷物的图像数据信息,其中所述图像是基于车辆当前位置获取的所述车辆周边的图像。所述收割机不需要太高精度的卫星定位信息,只需要普通米级精度的卫星定位(GPS定位或者北斗定位等)。相应地,所述收割机所获取和处理的图像与自动驾驶汽车不同,因此,所述收割机所形成的路径规划和驾驶方式也不相同。可以理解的是,本实用新型的所述收割机基于视觉的识别所述农田的区域和自动驾驶功能与自动驾驶汽车的识别模式不同。
如图1和图2所示,所述收割机获取周边的至少一图像,其中所述收割机根据获取得到的所述图像识别划分出所述农田对应的区域类型和区域之间的界线。所述收割机通过定点拍照、摄像,移动地拍照等方式获取所述收割机周边的所述图像。可以理解的是,所述收割机获取图像的方式在此仅仅作为示例性质的,而非限制。所述收割机包括一收割机主机10和至少一图像获取装置20,其中所述图像获取装置20获取所述收割机主机10周边的至少一图像。
优选地,所述图像获取装置20被设置于所述收割机主机10,其中所述图像获取装置20通过拍照或视频拍摄的方式获取所述收割机主机10周边的所述图像。更优选地,所述图像获取装置20被设置于所述收割机主机10的前方,其中所述图像获取装置20能够实时地获取所述收割机主机10前方的图像,其中所述收割机主机10基于所述图像获取装置20拍摄的图像信息所识别划分出的区域设定行驶路线。值得一提的是,所述图像获取装置20拍摄的图像是基于所述收割机主机10视野范围内的图像。换言之,所述图像获取装置20获取基于收割机主机 10视野方向的图像,根据所述图像获取装置20被安装至所述收割机主机10的位置调整所述收割机主机10的行驶方向。
更多地,所述图像获取装置20拍摄所述收割机主机10行驶方向的天地的视觉,其中所述图像可以是被拍摄得到的二维平面图像或三维立体图像。可以理解的是,所述图像获取装置20拍摄得到的图像的类型在此仅仅作为示例性质的,而非限制。
值得一提的是,在本实用新型的第一较佳实施例中,所述收割机主机10被实施为一谷物收割机设备,其中所述收割机主机10被控制地行驶至农田的未作业区域200进行收割作业,以收割所述未作业区域200内的农作物,比如水稻,小麦,玉米等。所述收割机主机10根据所述图像获取装置20获取的图像划分出的区域进行田间的自动驾驶,无人自动驾驶。可以理解的是,所述收割机主机 10的类型在此仅仅作为示例性质的,而非限制。
如图3A至图3C所示,所述收割机主机10在行驶过程中,由所述图像获取装置20实时地获取所述收割机主机10周边的图像。图3A示出了所述收割机主机10作为一谷物收割机时,所述图像获取装置20拍摄的所述图像。农田中的区域根据所述谷物是否收获情况分为至少一未收割区域100a,至少一已收割区域 200a,以及至少一田边界区域300a,其中所述已收割区域200a是已经收割农作物的区域,其中所述已收割区域200a中原有的农作物被收割。所述未收割区域 100a是还农作物还存在的区域,其中所述未收割区域100a中还存在生长的农作物。所述田边界区域300a是农田中分隔农作物间隔的地垄、农田周边的外边界、以及农田中存在障碍物区域,其中所述田边界区域300a不被种植农作物。
图3B示出了所述收割机主机10作为一割草设备时,所述图像获取装置20 拍摄的所述图像。农田中的区域根据所述谷物是否耕种分为至少一未收割区域 100b,至少一已收割区域200b,以及至少一田边界区域300b,其中所述未收割区域100b代表还未收割农作物的区域,所述已收割区域200b代表已经被耕种农作物的区域,所述田边界300b是间隔农作物种植的地垄和农田周边的外边界、以及农田中存在障碍物区域。
图3C示出了所述收割机主机10作为一根茎类植物或水果收获设备时,比如蔬菜收割机设备,所述图像获取装置20拍摄的所述图像。农田中的区域根据所述谷物是够已经喷药分为至少一未收获区域100c,至少一以收获区域200c,以及至少一田边界区域300c。所述未收获区域100c代表还未农作物还未收获的区域,所述以收获区域200c代表已经被收获的农作物区域,所述田边界300b是间隔农作物种植的地垄和农田周边的外边界、以及农田中存在障碍物区域。
如图1和图4所示,所述图像获取装置20获取的图像被利用图像分割识别技术识别出所述未作业区域100、所述已作业区域200、以及所述田边界区域300,并区分所述区域之间的界线。所述收割机进一步包括一图像处理系统30,其中所述图像处理系统30基于所述图像获取装置20获取的所述农田的所述图像,利用图像分割识别技术从图像中识别出所述未作业区域100、所述已作业区域200、以及所述田边界区域300。
可以理解的是,所述图像处理系统30利用图像分割识别技术识别所述图像中的区域和边界被用于表示所述收割机主机10行驶前方的所述农田的区域和边界。基于所述图像处理系统30利用图像分割识别技术识别出的所述区域和边界,所述收割机主机10被控制地在农田中的未作业区域行驶和进行作业。比如收割机设备,被设置于所述收割机设备前端的所述图像获取装置20获取收割机设备前方的农田的图像,其中所述图像获取装置20拍摄的图像被所述图像处理系统 30分割识别,以识别划分出所述收割机设备行驶方向的农田的所述未作业区域 100、所述已作业区域200、以及所述田边界区域300。所述收割机主机10即收割机设备的主机基于所述图像处理系统30识别出的区域和边界规划车辆行驶路径和收割作业。
可以理解的是,所述图像处理系统30利用图像分割识别技术识别所述图像获取装置20提供的图像中农作物的种类,农作物的高度、农作物颗粒饱满程度等信息。所述图像处理系统30可基于识别出的所述图像中农作物的种类,农作物的高度判断农作物是否已经收割,基于识别出的所述图像中农作物颗粒的饱满程度信息,可被用于调整作业的参数。换言之,所述图像处理系统30可根据所述图像获取装置20提供的图像识别出农田的区域类型和边界,还可以识别出农田中农作物的种类、高度、颗粒饱满度、农作物成熟情况等。
值得一提的是,所述图像处理系统30选自基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等其中的任一分割识别方法对所述图像获取装置20获取的图像进行分割识别,以识别出所述图像中的区域和边界。优选地,所述图像处理系统30利用深度学习算法对所述图像分割识别和对所述图像进行区域划分和边界的限定。换言之,所述图像处理系统30利用深度学习算法识别所述图像中对应的农田的区域和边界,以供所述收割机主机根据识别划分的区域和边界行驶和进行作业。可更优选地,所述图像处理系统30利用的深度学习算法为卷积神经网络算法的图像分割识别技术从图像中识别出对应农田中的所述未作业区域100、已作业区域200、以及所述田边界区域300。
值得一体地是,所述图像处理系统30利用的处理算法在此仅仅作为示例性质的,而非限制。因此,所述图像处理系统30还可利用其它算法对获取的图像进行分割识别,以识别出图像中农田的区域和边界。
如图5A和图6所示,所述图像处理系统30对所述图像获取装置20获取的所述图像分割成为多个像元区域301,其中每一所述像元区域301内包含至少一像素单元。可以理解的是,所述图像对应于所述收割机主机10周围的区域,相应地,所述图像的所述像元区域301对应于被拍摄的农田中的特定区域的农田或农作物的图像信息。对分割形成的每一所述像元区域301进行归一化处理,使得所述像元区域301的所述像素单元归一化为与像素值对应大小的一数值或数组。换言之,所述图像处理系统30将分割形成的所述像元区域301归一化为对应的数值或数组,以供所述图像处理系统提取图像的特征,和对区域的划分。
所述图像处理系统30基于每一所述像元区域301所对应的数组,提取所述像元区域301对应的图像特征。所述图像处理系统30根据所述像元区域301对应的所述数组得出所述像元区域301对应的图像特征。所述图像处理系统30利用卷积神经网络算法,比如二维卷积神经网络时,所述卷积神经网络的输入层对应输入所述像元区域301中对应的二维数组或三维数组。所述卷积神经网络的隐含层对输入层的数组进行特征提取,和在特征提取后进行特征选择和信息过滤。所述卷积神经网络基于所述数组对应的特征输出所述像元区域301的一分类标签,其中所述分类标签分别对应所述未作业区域100、已作业区域200、以及所述田边界区域300。
如图6和图7所示,所述图像处理系统30通过提取所述像元区域301对应数组的特征,识别所述像元区域301对应的区域特征,其中所述像元区域301对应的特征主要包括有农作物植株的高度特征、农田中农作物植株的间隔、农作物颜色、农田土地颜色、农作物种类特征、农田土地特征、农作物颗粒饱满程度、农作物颗粒数量等。所述图像处理系统30根据提取特征输出对应像元区域301 的一分类标签,其中所述分类标签基于所述特征信息对应地标识出所述像元区域 301对应的区域类型和边界界线。
如图5B所示,所述图像处理系统30包括一图像分割模块31、一特征化模块32、以及一区域划分模块33。所述图像分割模块31获取所述图像获取模块 20拍摄的图像,和对图像分割处理形成多个所述像元区域301,其中每一所述像元区域301对应包括至少一像素单元。所述特征化模块32利用深度学习算法提取所述像元区域301对应的特征类型,和对特征选择,以及信息过滤。所述区域划分模块33基于所述特征化模块32提取的所述像元区域301对应的特征,对所述图像划分,以生成对应所述未作业区域100、已作业区域200、以及所述田边界区域300的分类标签。
优选地,所述图像分割模块31分割所述图像为多个所述像元区域301,其中每一所述像元区域301的大小、形状和范围相同。可以理解的是,所述图像分割模块31还可根据所述图像像素阈值大小进行分割,换言之,所述退昂分割模块 31分割的所述像元区域301的大小、形状和范围可不同。更优选地,所述图像处理系统30的所述特征化模块32采用卷积神经网络算法时,所述图像分割模块 31分割的所述像元区域301为单个像素单元。
所述特征化模块32包括一像元处理模块321、一特征提取模块322、以及一特征输出模块323,其中所述像元处理模块321处理所述像元区域301中像素单元对应的数组。换言之,所述像元处理模块321将所述像元区域301归一化为适于处理的数组。所述特征提取模块322输入所述像元处理模块321处理的所述像元区域301的数组后提取所述数组对应的特征类型,和对特征进行选择,以及信息过滤,以保留可用数据,排出干扰数据,进而使得特征提取结果更准备。所述特征输出模块323输出由所述特征提取模块322结合所述特征提取模块322提取的特征,借由所述区域划分模块33结合所述特征输出模块323输出的特征,生成对应区域的所述分类标签。
所述区域划分模块33基于所述特征化模块32提取得到的所述像元区域301 对应的特征,划分所述图像对应的各个区域,和设定区域边界。相应地,所述区域划分模块33进一步包括一区域分割模块331和一边界划分模块332,其中所述区域分割模块331根据所述像元区域301的特征划分不同的区域,其中所述边界划分模块332划分所述区域对应的边界范围,以便于认定区域的范围。
所述收割机的所述收割机主机10在行驶过程中,由所述图像获取装置20实时地获取所述收割机主机10前方视野范围内的图像。相应地,所述图像处理系统30实时地获取所述图像获取装置20拍摄的图像,和利用图像分割识别技术识别出所述图像对应于农田的区域划分和区域边界范围。当所述图像处理系统30 识别出的区域划分和区域边界范围不能与之前的区域边界范围保持一致时,调整所述图像对应的区域划分和区域边界范围。
如图8所示,所述收割机主机10在行驶作业过程中,不可避免的会产生振动,和行驶方向偏移等问题。当所述收割机主机10行驶方向偏移,或因为车辆的震动而造成的区域划分变化时,所述图像处理系统30实时地更新所述图像对应的区域划分和区域边界范围。
如图1所示,所述收割机进一步还包括一定位装置40和一导航系统50,其中所述定位装置40被设置于所述收割机主机10,以获取所述收割机主机10的位置定位信息。优选地,所述定位装置40利用卫星定位信息获取所述收割机主机10的位置信息,比如GPS或北斗定位装置等。所述导航系统50被设置于所述收割机主机10,其中所述导航系统50对所述收割机主机10的行驶进行导航,以供所述收割机主机10基于利用所述定位装置40的定位信息和所述图像处理系统30得到的区域规划信息,以及所述导航系统50的导航信息,实现无人自动驾驶和作业。
可以理解的是,所述图像处理系统30基于所述图像而得到的农田的区域划分和区域边界范围信息等被实时地更新至所述导航系统50,以更新所述导航系统50的导航信息。优选地,所述导航系统50被实施为惯性组合导航系统。可以理解的是,所述导航系统50的类型在此仅仅作为示例性质的,而非限制,因此,所述导航系统50还可以被实施为其他类型的导航装置。
相应地,所述收割机的所述收割机主机10包括一车辆主体11,设置于所述车辆主体11的一作业系统12,以及一驾驶控制系统13,其中所述作业系统12 被所述车辆主体11带动,和实现谷物处理的作业,比如收割作业。所述驾驶控制系统13控制所述车辆主体11的行驶和控制所述作业系统12的作业。值得一提的是,所述驾驶控制系统13具有一无人驾驶模式和一操作驾驶模式。当所述收割机处于所述无人驾驶模式时,所述驾驶控制系统13控制所述车辆主体11自动地运行和所述作业系统12的作业。相应地,当收割机处于所述操作驾驶模式时,所述驾驶控制系统允许驾驶人员通过人工操作的方式操作所述车辆主体11 的运行和控制所述作业系统的作业。
在本实用新型的第一较佳实施例中,所述收割机为收割机设备,其中所述作业系统12被实施为一收割作业设备。所述驾驶控制系统13控制所述车辆主体 11的行驶和控制所述作业系统12的作业。换言之,所述驾驶控制系统13控制所述车辆主体11在行驶的过程中所述作业系统12作业参数的调整。所述驾驶控制系统13获取所述图像处理系统30识别所述图像中的农作物的种类、农作物高度、颗粒饱满程度、农作物茎秆的直径大小等信息,和基于获取的所述信息调整所述作业系统12的作业参数,比如,调整所述作业系统12作业速度,作业的宽幅,作业的高度,调整脱力处理的参数等。
本实用新型说明书附图之图9示出了所述收割机在农田中无人驾驶和收割作业的实施方式。所述收割机主机10的所述驾驶控制系统13处于所述无人驾驶模式时,所述驾驶控制系统13获取所述定位装置40提供的所述车辆主体11的定位信息、所述导航系统50提供的导航信息、以及所述图像处理系统30提供的区域识别信息,进而控制所述车辆主体11行驶在所述农田的所述未作业区域100,以完成谷物的收割作业。所述收割机主机10在行驶作业过程中,所述图像获取装置20实时地获取所述车辆主体11行驶前方的所述图像,其中所述图像被所述图像处理系统30利用图像分割识别技术识别出区域范围和边界范围。当所述图像处理系统30得到的区域划分和边界范围与之前的区域划分和边界范围不一致时,所述图像处理系统30替换原有的区域划分和边界范围,和更新所述导航系统50的导航数据,以使所述驾驶控制系统13获取新的导航信息调整行驶和作业路线。
如图10至图11B所示,所述收割机基于所述定位装置40获取的所述收割机主机10的位置信息,所述图像处理系统30识别的所述图像的区域规划信息,以及所述导航系统50的导航信息,生成至少一规划路径。所述收割机主机10的所述驾驶控制系统13根据生成的所述规划路径控制所述车辆主体11的行驶和控制所述作业系统12的作业。相应地,所述收割机进一步包括一路径规划系统60,其中所述路径规划系统为所述收割机主机10规划至少一车辆的行驶路径。所述路径规划系统60获取所述定位装置40的定位信息,获取所述图像处理系统30 识别的所述图像的区域规划信息,以及获取所述导航系统50的导航信息,和根据获取的信息规划所述车辆主体11的行驶路径。
如图11A和图11B所示,所述路径规划系统60识别或者设定出所述农田中对应的至少一作业区域601和作业边界602,其中所述作业区域601是所述收割机最大的作业范围,其中所述驾驶控制系统13控制所述车辆主体11行驶在所述作业边界602的范围内。可以理解的是,所述作业区域601和所述作业边界602 可由所述图像处理系统30通过识别图像中的所述田边界区域300的方式识别出所述作业区域601的最大区域范围和边界。或者,所述路径规划系统60通过设定的方式设定出所述收割机的所述作业区域601。
所述路径规划系统60基于所述作业区域601的最外侧的所述作业边界602 规划出至少一行驶路径。当所述作业区域601的宽度大于所述作业系统12的作业宽度时,所述路径规划系统60规划出“回”字型的行驶路线,或“S”型的行驶路线。可以理解的是,所述路径规划系统60规划出的行驶路线的方式在此仅仅作为示例性质的,而非限制。因此,其他方式的行驶路线也可应用于此。
优选地,当所述车辆主体11行驶至所述作业区域601的远端边界时,所述路径规划系统60基于当前未作业区域100的范围重新规划出至少一行驶路径。换言之,当所述车辆主体11行驶至所述作业区域601的远端边界时,由所述路径规划系统60为所述车辆主体11更新所述作业区域601和所述作业边界602,并根据更新的所述作业区域601规划出新的行驶路径。
可以理解的是,所述驾驶控制系统13控制所述车辆主体11按照所述路径规划系统60规划出的行驶路径行驶,其中所述驾驶控制系统13控制所述作业系统 12收割所述作业区域401最外侧的农作物。换言之,所述驾驶控制系统13控制所述作业系统12基于所述作业边界602收割所述未作业区域100内的作物。
如图10所述,所述收割机的所述路径规划系统60包括一作业区域设置模块 61、一行驶路径规划模块62、以及一路径调整模块63。所述作业区域设置模块 61基于所述图像处理系统30识别所述图像中所述农田的边界区域得到的所述农田的作业区域601和所述作业边界602;或者通过设置的方式设置所述收割机主机10作业在所述农田中的所述作业区域601和所述作业边界602。由于所述收割机主机10的作业使得未作业区域100和所述已作业区域200变化,所述作业区域设置模块61实时地更新所述作业区域601的范围和所述作业边界602的界线,以便生成新的所述未作业区域100,和所述已作业区域200。
所述行驶路径规划模块62基于所述收割机主机10的定位信息,所述图像处理系统30识别所述图像的区域规划信息,以及所述导航系统50的导航信息,得出至少一行驶规划路径603,其中所述驾驶控制系统13控制所述车辆主体11按照所述行驶规划路径603行驶。所述路径调整模块63基于所述图像处理系统30 识别所述图像的农作物的信息调整所述收割机主体10的行驶方向,以形成一车辆行驶路径604,其中所述车辆行驶路径604基本重合或平行于所述行驶规划路径603。当所述图像处理系统30识别图像中农作物需要调整收割范围时,所述路径调整模块63生成的所述车辆行驶路径偏离于所述行驶规划路径603。
参照本实用新型说明书附图之图12至图16B所示,依照本实用新型第二较佳实施例的带有图像获取装置的一收割机在接下来的描述中被阐明。所述收割机包括一收割机主机10和至少一图像获取装置20,其中所述图像获取装置20被设置于所述收割机主机10,所述图像获取装置20拍摄所述收割机主机10所在农田的图像或视频影像,以供所述收割机主机10基于所述图像获取装置20拍摄的图像或影像信息控制行驶方向和/或作业参数。所述图像获取装置20基于所述收割机主机10的位置拍摄所述收割机主机10所在农田位置周围的农田的信息。可以理解的是,所述图像获取装置20捕获视野范围内的图像,比如驾驶人员视野中的图像,以便根据拍摄到的所述图像调整所述收割机主机10的运行参数,比如调整行驶路线,行驶速度、作业参数等。
值得一提的是,所述图像获取装置20被搭载至所述收割机主机10,其中所述图像获取装置20捕获到的图像和影像信息被传输至所述收割机主机10,以供所述收割机主机10基于所述信息调整运行参数。所述图像获取装置20被搭载至所述收割机主机10,其中所述图像获取装置20在收割机主机10产生抖动时拍摄出清晰影像。换言之,所述图像获取装置20为防抖摄像装置,能够在拍摄时避免所述收割机主机10自身的机械振动和由于天地不平造成的抖动。所述收割机主机10基于所述图像获取装置20拍摄的图像信息,在操作人员的操作下或者由自动地控制行驶路径和作业参数,以实现所述收割机的运行作业。换言之,所述收割机主机10基于所述图像获取装置20拍摄的图像信息调整运行和作业参数,以实现精准地作业/或无人自动驾驶作业。
优选地,在本实用新型的第二较佳实施例中,所述图像获取装置20被实施为云台摄像装置,其中所述图像获取装置20在震动或抖动的情况下,拍摄出稳定性质的图像或影像。
在本实用新型的第二较佳实施例中,所述图像获取装置20为机械云台装置,其中所述图像获取装置20通过机械连接的方式被搭载至所述收割机主机10,并且所述图像获取装置20通过机械防抖的方式实现防抖拍摄图像。可以理解的是,所述图像获取装置20的类型在此仅仅作为示例性的,而非限制。因此,其他类型的结构和安装方式也可应用于此。
如图12至图14所示,所述图像获取装置20包括一云台21和至少一摄像机 22,其中所述云台21安装所述摄像机22至所述收割机主机10,所述云台21固定所述摄像机22的安装位置。所述云台21的底端被装载至所述收割机主机10,借由所述收割机主机10固定所述云台21,其中所述云台21的上端被设置连接于所述摄像机22。所述摄像机22被所述云台21支撑而保持相对的平衡,以便稳定地拍摄图像或影像。所述摄像机22在所述云台21的支撑作用下拍摄所述收割机主机10周围的图像或影像,其中所述摄像机22基于所述云台21的安装位置为基准拍摄所述收割机主机10视野范围内的图像。可以理解的是,所述图像获取装置20的所述摄像机22基于所述收割机主机10的位置,通过拍照的方式获取至少一视觉图像。换言之,所述图像获取装置20的所述摄像机22是基于所述收割机主机10的视野范围内获取所述图像,从而避免摄像装置20的位置与收割机主机10位置变化,而导致的图像数据不准的问题。
值得一提的是,自动驾驶汽车,在自动驾驶模式下为识别获取车辆行走的路线,需要获取精确的车辆定位信息,通常需要高精度的卫星定位信息,并且所述自动驾驶汽车需时刻更新道路中存在的障碍物信息、路面车辆信息、以及路面行人等信息,以在高速运行状态下实现自动驾驶功能。本实用新型的所述收割机获取的图像是对应于农田中的农作物谷物的图像数据信息,其中所述图像是基于车辆当前位置获取的所述车辆周边的图像。所述收割机不需要太高精度的卫星定位信息,只需要普通米级精度的卫星定位(GPS定位或者北斗定位等)。相应地,所述收割机所获取和处理的图像与自动驾驶汽车不同,因此,所述收割机所形成的路径规划和驾驶方式也不相同。可以理解的是,本实用新型的收割机基于视觉的识别所述农田的区域和自动驾驶功能与自动驾驶汽车的识别模式不同。
所述图像获取装置20的所述云台21进一步包括一云台固定件211和至少一云台移动件212,其中所述云台移动件212被可活动地连接至所述云台固定件211。所述云台固定件211被固定地设置于所述收割机主机10,其中所述摄像机22被安装至所述云台移动件212。所述云台21的所述云台移动件212活动地支撑所述摄像机22,以使所述摄像机22在所述收割机主机10抖动时保持相对位置的稳定,从而拍设置清晰的图像。
换言之,当所述收割机主机10在震动或抖动时,比如在农田中进行收割作业时产生的机械震动或抖动,所述云台21的所述云台固定件21与所述收割机主机10同步地震动,其中所述云台21的所述云台移动件212相对于所述云台固定件211运动,中和所述云台固定件211产生的震动,从而保持所述摄像机22的位置的稳定。详细地说,所述云台移动件212中和所述运动固定件211上下方向、左右方向、以及前后方向的抖动或震动,以保持所述摄像机22拍照位置的稳定,进而拍摄出稳定的图像信息。
如图14所示,所述图像获取装置20的所述摄像机22被设置于所述云台21 的所述云台移动件212,其中所述摄像机22被固定地或可运动地安装至所述云台21的所述云台移动件212。优选地,所述摄像机22被可运动地设置于所述运动移动件212,其中所述摄像机22可基于所述云台移动件212的上端转动,以拍摄不同视野方向的图像。可选地,所述摄像机22被固定地安装至所述云台移动件212的上端,其中所述摄像机22在所述云台21的固定支撑作用下拍摄指定视野范围内的图像,比如拍摄所述收割机主机10前方视野内的图像。
所述摄像机22包括一摄像机主体221和至少一摄像机驱动装置222,其中所述摄像机驱动装置222驱动所述摄像机主体221的移动,以拍摄不同方向视野的图像。所述摄像机主体221被可活动地设置于所述云台移动件212,其中所述摄像机主体221在所述摄像机驱动装置222的驱动作用下可在上下方向转动,以拍摄所述收割机主机10远方和附近位置处的农田和农作物的图像。可以理解的是,所述摄像机主体221被所述摄像机驱动装置222驱动向下转动时,所述摄像机主体221拍摄所述收割机主机10近处的图像,以便清晰识别所述图像中农作物的信息。当所述摄像机主体221被所述摄像机驱动装置222驱动而向上转动时,所述摄像机主体221拍摄所述收割机主机10远处的图像,以便通过所述图像识别出所述农田的作业区域和田边界区域。
所述摄像机驱动装置222驱动所述摄像机主体221在左右方向转动,以供所述摄像机主体221拍摄所述收割机主机10的左侧和右侧图像,以便识别所述农田的未作业区域100和已作业区域200,以及田边界区域300。
依照本实用新型说明书附图之图15所示,示出了所述图像获取装置20被安装于所述收割机主机10的几个可选的安装方式和安装位置。在本实用新型的第二较佳实施例中,所述收割机的所述图像获取装置20被设置于所述收割机主机 10的前侧位置处、上部顶端处、左侧、右侧、以及后部位置处等。可以理解的是,所述图像获取装置20的安装位置不同,所拍摄的图像不同,从所述图像中识别出的信息也不相同。可以理解的是,被设置于所述收割机主机10前侧的所述图像获取装置20拍摄所述收割机主机10前方的图像,在所述收割机向前行驶作业时,所述收割机主机10前侧的所述图像获取装置20拍摄到所述收割机主机10的作业情况,以便根据拍摄的作业情况调整所述收割机主机10的行驶路径,作业参数等。
被设置于所述收割机主机10后侧的所述图像获取装置20拍摄所述收割机主机10后方的图像,在所述收割机向前行驶作业时,所述图像获取装置20拍摄的所述已作业区域200的图像。通过识别所述收割机主机10后侧的所述图像获取装置20拍摄的所述已作业区域200的图像,识别出所述收割机主机10的收割作业是否合格,以便于调整所述收割机主机10的作业参数。可以理解的是,通过设置于所述收割机主机10后侧的所述图像获取装置20拍摄的图像,所述收割机主机10识别出已作业区域200的农作物是否收割完全,是否遗留农作物颗粒等。所述收割机主机10被根据所述图像中识别出的信息调整作业参数,进而改善收割作业。值得一提的是,在倒车行驶时,所述图像获取装置20拍摄的图像为驾驶人员提供倒车影像。
被设置于所述收割机主机10上部顶端的所述图像获取装置20拍摄所述收割机主机10远距离的图像,以便基于所述图像识别出农田的作业区域,田边界区域等。优选地,设置于所述收割机主机10上部顶端的所述图像获取装置20为可转动的云台摄像机。
相应地,被设置于所述收割机主机10左侧或右侧的所述图像获取装置20拍摄所述收割机主机10左侧或右侧的图像。基于所述收割机主机10左侧或右侧的图像,识别出所述图像中农田中农作物情况,以便识别所述未作业区域100、所述已作业区域200、以及所述田边界区域300。
如图12和图14所示,所述收割机进一步包括一图像处理系统30、一定位装置40、以及一导航系统50,其中所述图像处理系统30、所述定位装置40、以及所述导航系统50被设置于所述收割机主机10。所述定位装置40获取所述收割机主机10的位置信息,和将获取的位置信息传输至所述收割机主机10。所述导航系统50基于所述定位装置40的定位信息为所述收割机主机10提供导航信息。所述图像处理系统30基于所述图像获取装置20获取的所述农田的所述图像,从图像中识别出所述未作业区域100、所述已作业区域200、以及所述田边界区域300。
优选地,所述图像处理系统30利用图像分割识别技术从图像中识别出所述未作业区域100、所述已作业区域200、以及所述田边界区域300。可以理解的是,所述图像处理系统30还可以通过其他方式识别出所述图像中的区域和边界信息。因此,在本实用新型的第二较佳实施例中,所述图像处理系统30识别图像的方式在此仅仅作为示例性的,而非限制。
如图16A和图16B所示,所述图像处理系统30基于所述图像获取装置20 拍摄的所述收割机主机10周围的图像,识别出所述图像中农田的区域、田边界,和识别出农田中农作物的种类,农作物的高度、颗粒饱满度、茎秆粗细大小等信息。
值得一提的是,所述图像处理系统30选自基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等其中的任一分割识别方法对所述图像获取装置20获取的图像进行分割识别,以识别出所述图像中的区域和边界。优选地,所述图像处理系统30利用深度学习算法对所述图像分割识别和对所述图像进行区域划分和边界的限定。换言之,所述图像处理系统30利用深度学习算法识别所述图像中对应的农田的区域和边界,以供所述收割机主机10根据识别划分的区域和边界行驶和进行作业。可更优选地,所述图像处理系统30利用的深度学习算法为卷积神经网络算法的图像分割识别技术从图像中识别出对应农田中的所述未作业区域100、已作业区域200、以及所述田边界区域300。
值得一提地是,所述图像处理系统30利用的处理算法在此仅仅作为示例性质的,而非限制。因此,所述图像处理系统30还可利用其它算法对获取的图像进行分割识别,识别出图像中农田的区域和边界。
可以理解的是,所述图像处理系统30是设置于所述收割机主机10的一图像处理器,其中所述图像处理器接收所述图像获取装置20拍摄的图像或影像,和识别出所述图像或影像中的信息。所述收割机主机10根据所述图像处理系统30 识别出的信息对应地操作控制行驶路径和调节作业的参数。
如图12和图14所示,所述收割机主机10进一步包括一车辆主体11,设置于所述车辆主体11的一作业系统12,以及一驾驶控制系统13,其中所述作业系统12传动地连接于所述车辆主体11,其中所述车辆主体11带动所述作业系统 12工作,驱动所述作业系统12进行收割农作物的作业。所述驾驶控制系统13 控制所述车辆主体11的行驶和控制所述作业系统12的作业。值得一提的是,所述驾驶控制系统13具有一无人驾驶模式和一操作驾驶模式。当所述收割机处于所述无人驾驶模式时,所述驾驶控制系统13控制所述车辆主体11自动地运行和所述作业系统12的作业。相应地,当收割机处于所述操作驾驶模式时,所述驾驶控制系统允许驾驶人员通过人工操作的方式操作所述车辆主体11的运行和控制所述作业系统的作业。
在本实用新型的第二较佳实施例中,所述驾驶控制系统13控制所述车辆主体11的行驶和控制所述作业系统12的收割作业。换言之,所述驾驶控制系统 13控制所述车辆主体11在行驶的过程中所述作业系统12作业参数的调整。所述驾驶控制系统13获取所述图像处理系统30识别所述图像中的农作物的种类、农作物高度、颗粒饱满程度、农作物茎秆的直径大小等信息,和基于获取的所述信息调整所述作业系统12的作业参数,比如,调整所述作业系统12作业速度,作业的宽幅,作业的高度,调整后处理的参数等。
所述作业系统12进一步包括至少一收割装置121,至少一输送装置122,以及至少一后处理装置123,其中所述输送装置122被设置能够接收所述收割装置 121收割得到的作物,和将所述作物输送至所述后处理装置123,以供所述后处理装置123对所述作物进行后处理。所述作业系统的所述收割装置121、所述输送装置122、以及所述后处理装置123分别被传动地设置连接于所述车辆主体11,借由所述车辆主体11驱动所述作业系统12的所述收割装置121、所述输送装置 122、以及所述后处理装置123运行和作业。可以理解的是,所述后处理装置123 被实施为作物的收割后的后续处理装置,例如,谷物收割机,所述后处理装置 123为脱粒装置,割草设备中所述后处理装置123被实施为打包装置,当所述收割机为蔬菜水果的收获设备,所述后处理装置123被实施为蔬菜水果的筛选、存储装置。
所述驾驶控制系统13根据所述图像处理系统30识别出的所述图像信息控制所述收割装置121宽幅、收割高度、以及收割速度。可以理解的是,当农田中农作物的密度大时,所述图像获取装置20拍摄的所述农田中农作物的信息被所述图像处理系统30识别,其中所述驾驶控制系统13根据所述图像处理系统30识别出的所述图像信息控制减小所述收割装置121的收割幅度、提升收割高度、以及减小收割速度等任一作业参数。
所述驾驶控制系统13根据所述图像处理系统30识别出的所述图像信息控制所述输送装置122的输送速度,输送功率等。可以理解的是,当农田中农作物的茎秆粗大,农作物的高度高,密度大时,所述图像获取装置20拍摄的所述农田中农作物的信息被所述图像处理系统30识别,其中所述驾驶控制系统13根据所述图像处理系统30识别出的所述图像信息控制提升所述输送装置122的输送速度,提升输送功率等作业参数。
所述驾驶控制系统13根据所述图像处理系统30识别出的所述图像信息控制所述后处理装置123的后处理参数。可以理解的是,当农田中农作物的颗粒饱满程度、颗粒大小、水分含量、干湿程度、农作物果实的种类等。可以理解的是,所述图像处理系统30识别出所述农田中所述农作物的农作物信息,其中所述驾驶控制系统13根据所述图像处理系统30识别出的所述图像信息调整所述后处理装置的后处理参数,比如吹风功率,后处理仓的转动速度等参数。
参照本实用新型说明书附图之图17所示,依照本实用新型第二较佳实施例的所述收割机的一图像获取装置20A的另一可选实施方式在接下来的描述中被阐明。所述图像获取装置20A在本可选实施方式中是通过对摄像机内部控制镜头的视角和变焦,从而实现镜头拍照防止抖动。
相应地,所述图像获取装置20A包括一相机安装机构21A和至少一摄像机 22A,其中所述相机安装机构21A将所述摄像机22A装载至所述收割机主机10。所述相机安装机构21A的底端被装载至所述收割机主机10,借由所述收割机主机10固定所述相机安装机构21A,其中所述相机安装机构21A的上端被设置连接于所述摄像机22A。所述摄像机22A被所述相机安装机构21A支撑而保持相对的平衡,以便稳定地拍摄图像或影像。所述摄像机22A在所述相机安装机构 21A的支撑作用下拍摄所述收割机主机10周围的图像或影像,其中所述摄像机 22A基于所述相机安装机构21A的安装位置为基准拍摄所述收割机主机10视野范围内的图像。
可以理解的是,所述图像获取装置20A的所述摄像机22A基于所述收割机主机10的位置,通过拍照的方式获取至少一视觉图像。换言之,所述图像获取装置20A的所述摄像机22A是基于所述收割机主机10的视野范围内获取所述图像,从而避免摄像装置20A的位置与收割机主机10位置变化,而导致的图像数据不准的问题。
依照本实用新型的另一方面,本实用新型进一步提供一收割机的自动驾驶方法,其中所述自动驾驶方法包括如下方法步骤:
(a)获取至少一图像,和识别所述图像中农田的区域和田边界;
(b)基于所述识别信息,规划出至少一行驶规划路径603;以及
(c)控制所述收割机主机10按照所述行驶规划路径603自动地行驶。
上述自动驾驶方法步骤中,所述驾驶控制系统13基于所述图像处理系统30 识别的区域信息和田边界控制所述收割机主机10的驾驶和作业。
上述自动驾驶方法的步骤(a)进一步包括:识别出所述图像中对应农田中农作物的信息,其中所述农作物的信息包括农作物种类,农作物的高度,颗粒饱满度等信息。
上述自动驾驶方法步骤(b)进一步包括步骤:
(b.1)识别划分出所述图像对应农田的区域和边界;以及
(b.2)基于识别的所述区域规划出至少一行驶规划路径603。
上述自动驾驶方法的步骤(b.1)进一步包括步骤:利用图像分割技术分割所述图像,和识别划分所述图像的区域。
在上述自动驾驶方法的步骤(a)中,基于所述收割机主机10的位置和行驶方向,实时地拍摄所述收割机主机10周围的图像信息。换言之,所述图像获取装置20实时地拍摄所述收割机主机10位置附近的图像。
在上述自动驾驶方法的步骤(b)中,所述图像处理系统利用图像分割技术分割所述图像信息,和识别划分所述图像的区域为所述未作业区域100、所述已作业区域200、以及所述田边界区域300。相应地,所述自动驾驶方法的步骤(b.1),进一步包括如下步骤:
分割所述图像为多个所述像元区域301,和归一化所述像元区域301的像素值为一数组;
提取每一数组对应的所述像元区域301的特征;以及
基于所述像元区域301对应的特征,输出所述图像的分类标签。
可以理解的是,所述分类标签对应于所述未作业区域100、所述已作业区域200、以及所述田边界区域300。
上述自动驾驶方法的步骤(b.2)进一步包括步骤:基于所述收割机主机10 的定位信息,所述图像处理系统30识别所述图像的区域规划信息,以及所述导航系统50的导航信息,得出所述行驶规划路径603。
上述自动驾驶方法的步骤(b.2)进一步包括步骤:基于所述图像处理系统 30识别所述图像中的农作物的信息调整所述收割机主体10的行驶方向,以形成一车辆行驶路径604。
上述自动驾驶方法进一步包括:步骤(b.3)对比所述图像处理系统30识别出的区域划分和区域边界范围与之前的区域边界范围是否保持一致,若不能保持一致,则调整所述图像对应的区域划分和区域边界范围,若能够保持一致,则保持区域划分和边界范围不变。
相应地,在上述方法步骤(c)中,所述驾驶控制系统13根据所述收割机主机10的定位信息、所述图像处理系统30得到的所述农田的区域规划信息、以及所述导航信息,控制所述收割机主机10的所述车辆主体11行驶。
在上述自动驾驶方法中,进一步包括步骤:(d)基于所述图像的识别信息,调整所述收割机主机10的作业系统12的作业参数。
本领域的技术人员应理解,上述描述及附图中所示的本实用新型的实施例只作为举例而并不限制本实用新型。本实用新型的目的已经完整并有效地实现。本实用新型的功能及结构原理已在实施例中展示和说明,在没有背离所述原理下,本实用新型的实施方式可以有任何变形或修改。

Claims (13)

1.一种收割机,其特征在于,包括:
一收割机主机;
至少一图像获取装置,其中所述图像获取装置被设置于所述收割机主机,所述图像获取装置拍摄所述收割机主机周围的图像,以及
一图像处理系统,其中所述图像处理系统基于所述图像获取装置拍摄的图像识别出所述图像中的农田信息,其中所述收割机主机根据所述图像处理系统识别出的所述农田信息自动地控制驾驶。
2.根据权利要求1所述的收割机,其中所述收割机进一步包括一路径规划系统,其中所述路径规划系统基于所述图像处理系统识别的所述农田信息规划出至少一行驶规划路径,其中所述收割机主机根据所述路径规划系统规划出的所述行驶规划路径控制驾驶。
3.根据权利要求1所述的收割机,其中所述图像处理系统利用图像分割识别技术识别出所述图像中农田的信息,和基于识别出的信息规划所述图像中农田的区域。
4.根据权利要求3所述的收割机,其中所述图像处理系统利用图像分割识别技术识别出所述图像中农作物信息,以供所述收割机主机基于识别出的信息自动地调整作业参数。
5.根据权利要求1至4任一所述的收割机,其中所述图像获取装置为防抖云台摄像装置,所述图像获取装置被装载于所述收割机主机,基于所述收割机主机的位置以拍照的方式拍摄所述收割机主机周围的图像。
6.根据权利要求5所述的收割机,其中所述图像获取装置为机械防抖云台装置,所述图像获取装置包括一云台和至少一摄像机,其中所述云台将所述摄像机安装至所述收割机主机,所述摄像机被设置于所述云台,借由所述云台支撑所述摄像机保持平衡。
7.根据权利要求5所述的收割机,其中所述图像获取装置为电子云台装置,所述图像获取装置通过控制镜头的视角和变焦,从而防止所述图像获取装置镜头拍照抖动。
8.根据权利要求6或7所述的收割机,其中所述图像获取装置被设置于所述收割机主机的前部、所述收割机主机的顶部、所述收割机主机的左侧、右侧、或所述收割机主机的后部。
9.根据权利要求3或4所述的收割机,其中所述图像处理系统进一步包括:
一图像分割模块,其中所述图像分割模块分割所述图像为多个像元区域,其中每一所述像元区域包括至少一像素单元;
一特征化模块,其中所述特征化模块基于所述像元区域的所述像素单元提取每一像元区域对应的特征;以及
一区域划分模块,其中所述区域划分模块根据所述像元区域的特征识别和划分所述图像的区域。
10.根据权利要求3所述的收割机,其中所述收割机进一步包括一定位装置和一导航系统,所述定位装置和所述导航系统被设置于所述收割机主机,其中所述定位装置获取所述收割机主机的位置信息,其中所述导航系统为所述收割机主机提供导航信息。
11.根据权利要求10所述的收割机,其中所述收割机进一步包括一路径规划系统,所述路径规划系统进一步包括:
一作业区域设置模块,其中所述作业区域设置模块设定所述农田的边界区域得到的所述农田的作业区域和作业边界;和
一行驶路径规划模块,其中所述基于所述收割机主机的定位信息,所述图像处理系统识别所述图像的区域规划信息,以及所述导航系统的导航信息,得出至少一行驶规划路径。
12.根据权利要求1所述的收割机,其中所述收割机主机包括一车辆主体,设置于所述车辆主体的至少一作业系统,以及一驾驶控制系统,所述车辆主体驱动所述作业系统运行,其中所述驾驶控制系统控制所述车辆主体的运行和控制所述作业系统的作业参数。
13.根据权利要求12所述的收割机,其中所述驾驶控制系统获取所述图像处理系统识别的所述图像获取装置拍摄的图像的信息,自动地控制所述车辆主体的行驶路线和控制所述作业系统的作业参数,以实现无人自动驾驶和收割作业。
CN201822267500.8U 2018-12-29 2018-12-29 收割机 Active CN209983105U (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201822267500.8U CN209983105U (zh) 2018-12-29 2018-12-29 收割机
JP2021538493A JP2022516898A (ja) 2018-12-29 2019-09-24 ハーベスター及びその自動運転方法
PCT/CN2019/107551 WO2020134236A1 (zh) 2018-12-29 2019-09-24 收割机及其自动驾驶方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201822267500.8U CN209983105U (zh) 2018-12-29 2018-12-29 收割机

Publications (1)

Publication Number Publication Date
CN209983105U true CN209983105U (zh) 2020-01-24

Family

ID=69287467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201822267500.8U Active CN209983105U (zh) 2018-12-29 2018-12-29 收割机

Country Status (1)

Country Link
CN (1) CN209983105U (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109588107A (zh) * 2018-12-29 2019-04-09 丰疆智慧农业股份有限公司 收割机及其自动驾驶方法
WO2022098785A1 (en) * 2020-11-04 2022-05-12 Blue River Technology Inc. Farming vehicle field boundary identification
CN115464652A (zh) * 2022-09-22 2022-12-13 北京理工华汇智能科技有限公司 一种基于机器视觉的钢筋绑扎方法及系统
US11632905B2 (en) 2019-12-09 2023-04-25 Precision Planting Llc Methods and imaging systems for harvesting

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109588107A (zh) * 2018-12-29 2019-04-09 丰疆智慧农业股份有限公司 收割机及其自动驾驶方法
US11632905B2 (en) 2019-12-09 2023-04-25 Precision Planting Llc Methods and imaging systems for harvesting
WO2022098785A1 (en) * 2020-11-04 2022-05-12 Blue River Technology Inc. Farming vehicle field boundary identification
EP4240135A4 (en) * 2020-11-04 2024-09-04 Blue River Tech Inc FIELD BOUNDARY IDENTIFICATION FOR AGRICULTURAL VEHICLES
CN115464652A (zh) * 2022-09-22 2022-12-13 北京理工华汇智能科技有限公司 一种基于机器视觉的钢筋绑扎方法及系统

Similar Documents

Publication Publication Date Title
CN209983105U (zh) 收割机
US20210360850A1 (en) Automatic driving system for grain processing, automatic driving method, and path planning method
RU2747303C2 (ru) Система для управления рабочим параметром уборочной жатки
US10721859B2 (en) Monitoring and control implement for crop improvement
US20220164941A1 (en) Object collection system and method
CN109588107A (zh) 收割机及其自动驾驶方法
US10255670B1 (en) Image sensor and module for agricultural crop improvement
WO2020134236A1 (zh) 收割机及其自动驾驶方法
AU2019419580B2 (en) Grain processing self-driving system, self-driving method, and automatic recognition method
CN210130123U (zh) 带有云台摄像装置的收割机
CN109716917A (zh) 带有云台摄像装置的收割机
WO2021261343A1 (ja) 収穫機、収穫機の制御システム、収穫機の制御方法、収穫機の制御プログラム、及び、記録媒体
WO2020140490A1 (zh) 带有云台摄像装置的收割机
JP7527838B2 (ja) 農作業機
WO2022123889A1 (ja) 作業車、作物状態検出システム、作物状態検出方法、作物状態検出プログラム、及び作物状態検出プログラムが記録されている記録媒体
WO2020262287A1 (ja) 農作業機、自動走行システム、プログラム、プログラムを記録した記録媒体、及び方法
RU2774651C1 (ru) Система автоматического вождения для переработки зерна, способ автоматического вождения и способ планирования траектории
WO2022124001A1 (ja) 農作業機、農作業機制御プログラム、農作業機制御プログラムを記録した記録媒体、農作業機制御方法
JP2023040743A (ja) 収穫機
KR20230074717A (ko) 수확기

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant