CN113727597B - 收割机等农业机械 - Google Patents

Abstract

本发明提供一种进行一边自动行驶一边收获田地的作物的作业行驶的收割机。该收割机具备：行驶装置，所述行驶装置进行作业行驶；机体，所述机体支承于行驶装置；收获部，所述收获部支承于机体的前部并收获田地的作物；摄像装置，所述摄像装置以从上方俯视收获部的前方的未作业区域的作物的方式，设置在机体的前部且比收获部高的位置；检测部，所述检测部根据摄像装置拍摄到的图像来检测田地的异常；以及控制部，所述控制部进行与检测到的所述田地的异常相应的控制即异常时控制。

Description

收割机等农业机械

技术领域

本发明涉及收割机等农业机械。

背景技术

[背景技术1]

在收割机中，存在一边在田地自动行驶一边进行作物的收获的收割机。在这样的收割机中，存在具备如下功能的收割机：观测田地的状态，在田地存在异常的情况下，自动进行使行驶停止等应对。田地的状态的观测使用摄像头等传感器进行。

[背景技术2]

在田地的农作业中，需要注意在田地内局部不同的田地的状态、田地的作业者等的存在。因此，例如在JPH11-155340A(专利文献1)所公开的农业机械中，具备能够对行进方向前方进行拍摄的摄像装置(在专利文献1中为“电视摄像头”)。基于由摄像装置拍摄到的拍摄图像(“图像”)，识别部(“图像处理装置”)构成为能够识别障碍对象(“倒伏谷秆”)的种类。

现有技术文献

专利文献

专利文献1：日本特开平11-155340号公报(JPH11-155340A)

发明内容

发明要解决的课题

[课题1]

作为与[背景技术1]对应的课题，为了实现自动行驶的高性能化，要求高精度地检测田地的异常。

[课题2]

在专利文献1所公开的农业机械中，构成为基于障碍对象的存在来控制例如作业设备的动作，但并非根据障碍对象的种类进行各种控制。而且，还考虑需要根据障碍对象的种类进行各种控制的情况。鉴于这样的实际情形，期望如下的农业机械：当从由摄像装置拍摄到的拍摄图像中识别出障碍对象时，能够基于从多个控制模式中根据障碍对象的种类而适当选择的控制模式来进行适当的输出控制。

用于解决课题的方案

[解决方案1]

与[课题1]对应的解决方案如下所述。

一种收割机，进行一边自动行驶一边收获田地的作物的作业行驶，其中，所述收割机具备：

行驶装置，所述行驶装置进行所述作业行驶；

机体，所述机体支承于所述行驶装置；

收获部，所述收获部支承于所述机体的前部并收获所述田地的作物；

摄像装置，所述摄像装置以从上方俯视所述收获部的前方的未作业区域的作物的方式，设置在所述机体的前部且比所述收获部高的位置；

检测部，所述检测部根据所述摄像装置拍摄到的图像来检测田地的异常；以及

控制部，所述控制部进行与检测到的所述田地的异常相应的控制即异常时控制。

通过这样的结构，能够以从上方俯视机体的前方的田地的方式进行拍摄，因此，能够俯瞰地确认田地，能够高精度地检测田地的异常。

另外，通过控制部，能够进行与田地的异常对应的适当的应对，能够适当地继续作业行驶。

在一优选实施方式中，通过将所述图像输入到使用深度学习进行了机器学习的神经网络，来判别所述田地的异常是存在异物、还是存在杂草或是作物的倒伏。

通过这样的结构，能够使用人工智能更容易且准确地判别异常的种类。另外，通过判别异常的种类，能够进行与异常的种类相应的更适当的应对(异常时控制)，能够更可靠地继续适当的作业行驶。

在一优选实施方式中，在判别为所述田地的异常是存在所述异物的情况下，所述控制部使所述机体减速或停止作为所述异常时控制。

在存在异物的区域行驶的情况下，有时收获部、机体发生破损、故障，或者无法适当地进行收获作业。通过在检测到(判别出)在作业行驶的路径上存在异物的情况下使机体减速或停止，从而能够避免收获部、机体与异物接触，或者通过不进行作业行驶而待机直至异物不存在为止，从而能够避免收获部、机体发生破损、故障。

在一优选实施方式中，所述异物是埋在直立的作物之间的障碍物。

难以发现埋在直立的作物之间的障碍物。因此，通过从上方拍摄田地，容易从上方对作物之间进行确认，因此，容易发现埋在作物之间的障碍物。

在一优选实施方式中，在判别为所述田地的异常是所述作物的倒伏的情况下，所述控制部使所述机体减速作为所述异常时控制。

在作物倒伏的情况下，如果以原样的速度进行作业行驶，则在未充分扶起倒伏的作物的状态下收割作物，在作物倒伏的情况和未倒伏的情况下收割痕迹变得不整齐。因此，在判定为作物倒伏的情况下，通过使机体减速，能够充分扶起作物，能够使收割痕迹整齐。

在一优选实施方式中，所述机体具有：

脱粒装置，所述脱粒装置对收获的作物进行脱粒；

输送装置，所述输送装置从所述收获部向所述脱粒装置输送收获的作物；以及

调整部，所述调整部设置于所述输送装置，对被输送到所述脱粒装置的作物的脱粒深度进行调整，

在判别为所述田地的异常是存在所述杂草的情况下，所述控制部使所述调整部中止所述脱粒深度的调整作为所述异常时控制。

作为收割机的一例的半喂入联合收割机(culm head charging type combine)通常能够根据所收割的谷秆的长度来变更脱粒深度。通常，当输送比作物长的杂草时，脱粒深度根据杂草的长度而被调整，作物成为浅脱粒。其结果是，在脱粒装置中不能够进行适当的脱粒处理。因此，控制部在判定为异常是杂草的存在的情况下，使以杂草的长度被调整的脱粒深度的调整中止。由此，以维持紧接检测到存在杂草之前的、被调整为收获对象的作物的长度的脱粒深度的方式进行控制，维持适当地进行脱粒处理的状态。

在一优选实施方式中，所述机体在所述机体的前部具有驾驶部，所述摄像装置设置在比所述驾驶部靠前侧的位置。

通过这样的结构，通过在机体的比较靠近前端部分且前方的视觉辨认性高的驾驶部设置摄像装置，从而容易在俯视田地的同时从较早的阶段进行拍摄，隔着收获部拍摄的图像的范围容易包含收获部的附近，适当的位置处的异常的检测、异常的种类的判别变得容易。

在一优选实施方式中，所述机体具有：

脱粒装置，所述脱粒装置对收获的作物进行脱粒；

输送装置，所述输送装置从所述收获部向所述脱粒装置输送收获的作物；

谷粒箱，所述谷粒箱储存被脱粒后的作物；以及

排出装置，所述排出装置具有与所述谷粒箱的下部连结的纵向输送部和与所述纵向输送部的上端部连结的横向输送部，能够从设置在所述横向输送部的顶端部的排出部排出所述谷粒箱中储存的作物，

所述摄像装置设置于所述横向输送部。

通过这样的结构，横向输送部设置在机体的上部区域，因此，设置于横向输送部的摄像装置能够容易地从上方拍摄田地。

在一优选实施方式中，所述排出装置能够在该排出装置被收纳于收纳位置的形态与排出储存的所述作物时的形态且所述排出部从所述机体突出的形态之间位移，

仅在所述排出装置被收纳于所述收纳位置的情况下，进行所述自动行驶。

在作业行驶时，排出装置位移到收纳位置。如果排出装置不处于适当的位置，则图像的拍摄范围偏移，无法适当地进行异常的检测。因此，在排出装置不处于收纳位置的情况下，停止自动行驶而不进行作业行驶，由此能够控制为在适当地检测到异常的状态下进行作业行驶。

在一优选实施方式中，具备告知部，在所述自动行驶时，所述告知部在所述排出装置从所述收纳位置离开时告知警报。

通过这样的结构，能够促使排出装置位移到适当的位置，能够在适当地检测到异常的状态下进行作业行驶。

并且，以下那样的与上述收割机相关的系统、程序、记录介质以及方法也包含在本发明的范围内。

一种收割机的异常控制系统，在收割机进行一边自动行驶一边收获田地的作物的作业行驶时，所述收割机的异常控制系统对检测到的田地的异常进行控制，所述收割机在机体的前部支承收获部，其中，所述收割机的异常控制系统具备：

检测部，所述检测部根据从上方对所述收获部的前方的未作业区域的作物进行拍摄的摄像装置拍摄到的图像来检测田地的异常；

判定部，所述判定部判别所述异常的种类；以及

控制部，所述控制部根据判别出的异常的种类进行异常时控制。

一种收割机的异常控制程序，在收割机进行一边自动行驶一边收获田地的作物的作业行驶时，所述收割机的异常控制程序对检测到的田地的异常进行控制，所述收割机在机体的前部支承收获部，其中，所述收割机的异常控制程序使计算机实现如下功能：

检测功能，在所述检测功能中，根据从上方对所述收获部的前方的未作业区域的作物进行拍摄的摄像装置拍摄到的图像来检测田地的异常；

判定功能，在所述判定功能中，判别所述异常的种类；以及

控制功能，在所述控制功能中，根据判别出的异常的种类进行异常时控制。

一种计算机可读取记录介质，记录有在收割机进行一边自动行驶一边收获田地的作物的作业行驶时对检测到的田地的异常进行控制的异常控制程序，所述收割机在机体的前部支承收获部，其中，所述计算机可读取记录介质记录有使计算机实现如下功能的异常控制程序：

检测功能，在所述检测功能中，根据从上方对所述收获部的前方的未作业区域的作物进行拍摄的摄像装置拍摄到的图像来检测田地的异常；

判定功能，在所述判定功能中，判别所述异常的种类；以及

控制功能，在所述控制功能中，根据判别出的异常的种类进行异常时控制。

一种收割机的异常控制方法，在收割机进行一边自动行驶一边收获田地的作物的作业行驶时，所述收割机的异常控制方法对检测到的田地的异常进行控制，所述收割机在机体的前部支承收获部，其中，所述收割机的异常控制方法具备：

根据从上方对所述收获部的前方的未作业区域的作物进行拍摄的摄像装置拍摄到的图像来检测田地的异常的步骤；

判别所述异常的种类的步骤；以及

根据判别出的异常的种类进行异常时控制的步骤。

[解决方案2]

与[课题2]对应的解决方案如下所述。

一种农业机械，其中，所述农业机械具备：

摄像装置，所述摄像装置能够在田地中对机体的前进和后退中的一方或双方的行进方向前方进行拍摄；

识别部，所述识别部能够基于由所述摄像装置拍摄到的拍摄图像来检测田地的障碍对象的存在，并且能够识别所述障碍对象的种类；以及

模式决定部，所述模式决定部从多个控制模式根据所述障碍对象的种类来决定所述控制模式，并且执行基于所决定的所述控制模式的输出控制。

根据障碍对象的种类，给农业机械的控制带来影响的重要度不同。根据本发明，通过识别部从摄像装置的拍摄对象中识别各种物体，从而对障碍对象进行种类区分，根据障碍对象的种类而具备各种控制的模式。由此，与基于田地的障碍对象的存在而一律使机体停止等的结构相比，利用农业机械进行的农作业不会被障碍对象妨碍而高效地进行。即，根据本发明，能够实现如下的农业机械：当从由摄像装置拍摄到的拍摄图像中识别出障碍对象时，能够基于从多个控制模式中根据障碍对象的种类而适当选择的控制模式来进行适当的输出控制。

在一优选实施方式中，所述识别部构成为能够通过利用使用深度学习进行了学习的神经网络来识别所述障碍对象的种类。

若为本结构，则障碍对象的种类识别使用神经网络，由摄像装置拍摄到的拍摄图像被用于神经网络的输入数据。已知神经网络能够通过深度学习来识别具有非线性特性的输入输出关系。因此，通过使识别部活用神经网络，能够提高障碍对象的种类的识别精度。

在一优选实施方式中，所述多个控制模式包括所述机体的减速、所述机体的停止以及针对所述障碍对象的警告。

若为本结构，则能够根据障碍对象的种类而顺畅地进行机体的停止、机体的速度调整、针对障碍对象的警告等，高效地进行农业机械的农作业。

在一优选实施方式中，在由所述识别部识别出所述障碍对象的种类是不会自发地移动的种类的情况下，所述模式决定部决定与所述机体的停止相关的所述控制模式。

在障碍对象的种类是不会自发地移动的种类的情况下，产生避免机体与障碍对象的接触的必要性。若为本结构，则决定与机体的停止相关的控制模式，模式决定部以使机体停止的方式进行输出控制，因此能够适当地避免机体与障碍对象的接触。

在一优选实施方式中，在由所述识别部识别出所述障碍对象的种类是自发地移动的种类的情况下，所述模式决定部决定与所述机体的减速和针对所述障碍对象的警告相关的所述控制模式。

例如，如家畜或鸟兽等那样，在障碍对象的种类是自发地移动的动物等的情况下，若为本结构，则仅通过进行机体的减速和针对障碍对象的警告，就能够赶走行进方向前方的障碍对象。由此，机体不停止而顺畅地进行机体的前进或后退。

在一优选实施方式中，所述农业机械具备能够测定所述机体与所述障碍对象的分离距离的测距传感器，

在所述分离距离成为预先设定的距离以下的情况下，所述模式决定部决定与所述机体的停止相关的所述控制模式。

即便在存在障碍对象的情况下，如果机体与障碍对象之间的距离较远，则有时也不会妨碍机体的行驶。例如，如果障碍对象是自发地移动的动物等，则在机体与障碍对象之间的距离较远的期间，可认为即便机体不停止，也能够仅通过针对障碍对象的警告来赶走障碍对象。若为本结构，则能够利用测距传感器来测量机体与障碍对象的分离距离，因此，能够在机体与障碍对象的接触风险变高的阶段使机体停止等而不会不必要地使机体停止等。由此，能够进行农业机械的高效的控制。需要说明的是，在本发明中，“所述分离距离成为预先设定的距离以下的情况”也包括分离距离小于预先设定的距离的情况，“以下”这一用语不排除“小于”这一意思。

在本发明中，优选的是，所述测距传感器是声呐。

已知声呐在成本方面是有利的，因此，通过本结构，能够实现在成本方面有利的测距传感器。

在一优选实施方式中，优选的是，所述测距传感器是LIDAR。即，优选的是，所述测距传感器是利用LIDAR(Light detection and ranging：光检测和测距)技术的测距设备(以下，简称为LIDAR)。

另外，所述测距传感器也优选是激光扫描仪。

LIDAR、作为LIDAR的一方式的激光扫描仪与声呐等相比，已知测距精度为高精度，因此，通过本结构，能够实现在精度方面有利的测距传感器。另外，如果LIDAR、激光扫描仪是除前方、左右之外还能够在上下方向进行三维扫描的结构，则与进行二维扫描的类型的LIDAR、激光扫描仪相比，能够使测距范围为大范围。

并且，以下那样的与上述农业机械相关的系统、程序、记录介质以及方法也包含在本发明的范围内。

一种农业机械的控制系统，基于由摄像装置拍摄到的拍摄图像，执行与田地的障碍对象相关的输出控制，所述摄像装置能够在农业机械在田地中行驶时对机体的前进和所述机体的后退中的一方或双方的行进方向前方进行拍摄，其中，所述农业机械的控制系统具备：

识别部，所述识别部基于所述拍摄图像来检测田地的障碍对象的存在，并且识别所述障碍对象的种类；以及

模式决定部，所述模式决定部从多个控制模式根据所述障碍对象的种类来决定所述控制模式，并基于所决定的控制模式来执行所述输出控制。

一种控制程序，基于由摄像装置拍摄到的拍摄图像，执行与田地的障碍对象相关的输出控制，所述摄像装置能够在农业机械在田地中行驶时对机体的前进和所述机体的后退中的一方或双方的行进方向前方进行拍摄，其中，所述控制程序使计算机实现如下功能：

基于所述拍摄图像来检测田地的障碍对象的存在的功能；

基于所述拍摄图像来识别所述障碍对象的种类的功能；

从多个控制模式根据所述障碍对象的种类来决定所述控制模式的功能；以及

基于所述控制模式来执行所述输出控制的功能。

一种计算机可读取记录介质，记录有基于由摄像装置拍摄到的拍摄图像来执行与田地的障碍对象相关的输出控制的程序，所述摄像装置能够在农业机械在田地中行驶时对机体的前进和所述机体的后退中的一方或双方的行进方向前方进行拍摄，其中，所述计算机可读取记录介质记录有使计算机实现如下功能的控制程序：

基于所述拍摄图像来检测田地的障碍对象的存在的功能；

基于所述拍摄图像来识别所述障碍对象的种类的功能；

从多个控制模式根据所述障碍对象的种类来决定所述控制模式的功能；以及

基于所述控制模式来执行所述输出控制的功能。

一种农业机械的控制方法，基于由摄像装置拍摄到的拍摄图像，执行与田地的障碍对象相关的输出控制，所述摄像装置能够在农业机械在田地中行驶时对机体的前进和所述机体的后退中的一方或双方的行进方向前方进行拍摄，其中，所述农业机械的控制方法具备：

基于所述拍摄图像来检测田地的障碍对象的存在的步骤；

基于所述拍摄图像来识别所述障碍对象的种类的步骤；

从多个控制模式根据所述障碍对象的种类来决定所述控制模式的步骤；以及

基于所述控制模式来执行所述输出控制的步骤。

关于其他特征及其所起到的优点及效果，从以下的说明中可以明确。

附图说明

图1是表示第一实施方式的图(以下，到图5都相同)，是作为收割机的一例的联合收割机的侧视图。

图2是说明联合收割机的自动行驶的概要的图。

图3是例示田地中的作业行驶的俯视图。

图4是例示拍摄图像的图。

图5是例示检测田地的异常的功能结构的框图。

图6是表示第二实施方式的图(以下，到图12都相同)，是作为农业机械的一例的联合收割机的整体侧视图。

图7是联合收割机的整体俯视图。

图8是表示联合收割机的自动行驶的概要的图。

图9是表示联合收割机的控制系统的功能框图。

图10是示意性地表示基于识别部的识别输出数据的生成的流程的说明图。

图11是表示障碍对象与控制模式之间的关系的说明图。

图12是表示基于控制模式的输出控制的流程图。

具体实施方式

[第一实施方式]

在第一实施方式中，作为本发明的收割机的一例，列举全喂入联合收割机(normaltype combine)进行说明。该联合收割机也被称为整秆投入型联合收割机(whole culmcharging type combine)。

需要说明的是，在本说明书中，只要未特别说明，“前”(图1所示的箭头F的方向)是指车身前后方向(行驶方向)上的前方，“后”(图1所示的箭头B的方向)是指车身前后方向(行驶方向)上的后方。另外，左右方向或横向是指与车身前后方向正交的车身横向(车身宽度方向)。“上”(图1所示的箭头U的方向)以及“下”(图1所示的箭头D的方向)是车身的铅垂方向(垂直方向)上的位置关系，表示地上高度的关系。

〔整体结构〕

如图1所示，在该联合收割机中，机体10支承于履带式的行驶装置11。机体10具备驾驶部12、脱粒装置13、谷粒箱14、收获部H、输送装置16、排出装置18、本车位置检测模块80。

联合收割机构成为能够通过行驶装置11自行行驶。该行驶装置11是由左右一对履带机构构成的操纵行驶装置，由行驶控制部35(参照后述的图5)控制。能够独立地调整左履带机构的履带速度和右履带机构的履带速度，通过该速度差的调整来变更机体10在行驶方向上的朝向。驾驶部12、脱粒装置13、谷粒箱14设置在行驶装置11的上侧，构成机体10的上部。驾驶部12能够搭乘驾驶联合收割机的驾驶员、监视联合收割机的作业的监视者。通常，驾驶员兼任监视者。需要说明的是，在驾驶员和监视者为不同人的情况下，监视者也可以从联合收割机的机外监视联合收割机的作业。

收获部H设置于联合收割机的前部。而且，输送装置16与收获部H的后侧部分连接。另外，收获部H具有切断机构15以及拨禾轮17。切断机构15收割田地的直立谷秆(相当于作物)。另外，拨禾轮17一边旋转驱动一边扒拢收获对象的直立谷秆。根据该结构，收获部H收获田地的谷物(作物的一种)。而且，联合收割机能够进行一边通过收获部H收获田地的谷物一边通过行驶装置11行驶的作业行驶。

由切断机构15收割的收割谷秆的整秆通过输送装置16向脱粒装置13输送。在脱粒装置13中，对收割谷秆进行脱粒处理。通过脱粒处理而得到的谷粒储存于谷粒箱14。储存于谷粒箱14的谷粒通过排出装置18向机外排出。

排出装置18与谷粒箱14的后下部连结。排出装置18具备一端与谷粒箱14的下部连接的纵向输送部和横向输送部。横向输送部的一端与纵向输送部的上部连结，在另一端设置有排出部19。储存于谷粒箱14的谷粒从排出部19向搬运车(未图示)等排出。排出装置18能够在排出状态(突出的形态)与收纳状态(被收纳的形态)之间位移。在作业行驶时，排出装置18被保持于收纳位置，被收纳于机体10的上部区域(收纳状态)。另外，在排出谷粒时，排出装置18向排出部19向机体10的侧方突出的形态(排出状态)位移，谷粒被排出。另外，本车位置检测模块80安装在驾驶部12的前上部。

在排出部19的前部或侧部设置有对机体10进行作业行驶的前方区域进行拍摄的摄像头21(相当于摄像装置)。例如，通过设置拍摄范围在水平方向上为190°、在垂直方向上为60°的规格的摄像头21，能够从上方充分地拍摄田地中的机体10的前方。摄像头21以在排出装置18处于收纳状态时朝向机体10的前方的方式设置于排出部19即可，摄像头21也可以经由撑条(未图示)等设置于向排出部19的前方突出的角部。

在驾驶部12配置有通信终端2。在本实施方式中，通信终端2固定于驾驶部12。但是，本发明并不限于此，通信终端2也可以构成为能够相对于驾驶部12装卸。另外，通信终端2也可以被带出到联合收割机的机外。

〔自动行驶〕

如图2所示，该联合收割机沿着在田地中设定的行驶路径自动行驶。因此，需要本车位置。本车位置检测模块80包括卫星导航模块81和惯性导航模块82。卫星导航模块81接收来自人造卫星GS的GNSS(global navigation satellite system：全球导航卫星系统)信号(包括GPS信号)，输出用于计算本车位置的定位数据。惯性导航模块82装配有陀螺仪加速度传感器以及磁方位传感器，输出表示瞬时的行驶方向的位置矢量。惯性导航模块82用于补充由卫星导航模块81进行的本车位置计算。惯性导航模块82也可以配置在与卫星导航模块81不同的场所。

将通过适当环绕田地的周围而形成的田地的周围作为转弯区域，进行未作业区域SP的作业行驶。作业行驶结束的区域成为已作业区域SC。

〔田地的异常〕

在图3所示那样的在田地存在异常6的情况下，若在田地存在异常的区域进行作业行驶，则有时无法进行适当的作业。例如，如图4所示，作为田地的异常6，有异物7(障碍物、人、动物等)的存在、直立谷秆3的倒伏9等。异物7是埋在直立谷秆3排列成多列而形成的行之间的、成为作业行驶障碍的障碍物等。

如图3、图4所示，在存在异物7的区域行驶的情况下，有时收获部H、机体10与异物7接触而导致收获部H、机体10发生破损、故障，或者无法适当地进行收获作业。另外，在存在直立谷秆3的倒伏9的区域进行作业行驶的情况下，收获部H无法将直立谷秆3充分地扒拢而扶起，与不存在倒伏9的情况相比，收割痕迹变长，在存在倒伏9的情况和不存在倒伏9的情况下，收割痕迹变得不整齐。

〔田地的拍摄〕

接着，使用图2～图4对检测田地的异常6的结构进行说明。

为了对上述那样的田地的异常6进行检测，并对田地的异常6的种类(内容)进行判别，摄像头21拍摄机体10的前方的田地。摄像头21的拍摄范围是机体10或收获部H的前方，是从上方俯视直立谷秆3的范围。对于拍摄到的图像而言，包括排列成多行的直立谷秆3的穗梢和行间距而被拍摄。图像的宽度至少是机体10或收获部H的宽度，包括通过作业行驶而使收获部H通过的区域。对于图像的长度而言，一个端部为从收获部H到收获部H的规定距离(例如1m)前方的范围，另一个端部为收获部H的5m～6m前方的范围。需要说明的是，图像优选除了包括收获部H通过的区域之外，还包括其横向侧方的未作业区域SP的一部分。

〔控制装置〕

本实施方式的收割机也能够进行田地的异常6的检测以及田地的异常6的种类的判别中的至少一方，进而进行与异常6相应的应对处置即异常时控制。这些检测、判别、控制通过搭载于收割机的图5所示的控制装置25来进行。

如图5所示，控制装置25具备检测部26、判定部27以及控制部29。控制装置25由包括CPU、ECU等处理器在内的硬件构成，也可以分散于多个功能块。另外，也能够通过软件实现控制装置25的功能的一部分。在该情况下，软件存储于未图示的存储部，由控制装置25或其他处理器执行。

如图3～图5所示，检测部26取得摄像头21拍摄到的图像，进行图像解析，由此对在田地存在异常6的情况进行检测。检测部26将对在田地存在异常6的情况进行检测的结果发送到控制部29。

如上所述，由于图像是从上方对直立谷秆3进行拍摄的，因此，即便是埋在行之间的障碍物等，也能够容易地拍摄并检测。特别是，通过在排出装置18的排出部19设置摄像头21，摄像头21配置在机体10的上部且靠近收获部H的机体10的前部。因此，摄像头21能够从接近正上方的角度拍摄靠近收获部H的机体10的前方区域。其结果是，摄像头21能够更容易地拍摄埋在行之间的障碍物等。

检测部26能够检测有无异常6，但难以判别异常6的种类。因此，判定部27取得摄像头21拍摄到的图像，判定异常6的种类。例如，判定部27将所取得的图像输入到神经网络30，利用神经网络30判定异常6的种类。判定部27具备通信部28，利用通信部28经由网络等向神经网络30发送图像，并接收判定结果。神经网络30通过输入规定的训练数据来进行机器学习，基于通过机器学习而生成的已学习数据，根据输入的图像来判定异常6的种类。机器学习例如能够通过深度学习来进行。判定部27将田地的异常6的种类的判定结果发送到控制部29。需要说明的是，神经网络30可以设置在网络上，也可以设置于控制装置25。

控制装置25能够构成为，作为与异常6的种类的判定结果相应的应对处置，进行与异常6相应的控制即异常时控制。在该情况下，控制部29进行异常时控制。例如，在判定部27在机体10的前方1.5m以上6m以下的位置判定了异常6的种类的情况下，控制部29能够控制包括机体10的停止在内的各种应对。

在由判定部27判定出的异常6的种类是异物7的存在的情况下，控制部29对行驶控制部35进行控制，经由行驶装置11使机体10停止或减速。通过使机体10停止，能够避免收获部H、机体10与异物7接触，能够避免收获部H、机体10的破损、故障。特别是，通过在收获部H上方的机体10前侧的区域的较高位置设置摄像头21，由此，通过使用从比收获部H靠前侧或靠近收获部H的区域的上方以容易看到行间距的状态拍摄作业行驶的前方的田地而得到的图像，即便是埋入行间距的异物7，也能够容易地发现。通过使机体10减速，切换为手动行驶而进行避开异物7的行驶等的应对变得容易，另外，在机体10到达异物7之前，有时也可以给予异物7消失的延迟。

在由判定部27判定出的异常6的种类是直立谷秆3的倒伏9的情况下，控制部29对行驶控制部35进行控制，经由行驶装置11使机体10停止或减速。在直立谷秆3倒伏的情况下，如果以原样的速度进行作业行驶，则在未充分扶起倒伏的直立谷秆3的状态下收割直立谷秆3，在直立谷秆3倒伏的情况和未倒伏的情况下收割痕迹变得不整齐。因此，在直立谷秆3倒伏的情况下，为了充分扶起直立谷秆3，需要使行驶速度减速。在是直立谷秆3的倒伏9的情况下，控制部29通过使机体10减速，能够充分扶起直立谷秆3，能够使收割痕迹整齐。同样地，通过使机体10停止，之后控制为以适当的速度进行作业行驶，能够使收割痕迹整齐。

这样，通过将摄像头21设置在机体10的前侧的至少比收获部H高的尽可能高的位置，以从上方、尽可能接近正上方的位置俯视直立谷秆3的方式，对进行作业行驶的区域进行拍摄，从而能够高精度地检测田地的异常6。另外，通过在比收获部H靠前侧、收获部H的正上方、或即便比收获部H靠后侧也尽可能靠近收获部H的机体10的靠前的位置设置摄像头21，从而不被收获部H妨碍地对收获部H的前方进行拍摄，因此，能够从更接近正上方的位置对田地进行拍摄，能够高精度地检测田地的异常6。另外，由于以从上方俯视直立谷秆3的方式对田地进行拍摄，因此，能够容易地检测埋入行间距的异常6。

并且，通过判别田地的异常6的种类，进行与异常6的种类相应的适当的应对处置即异常时控制，从而能够继续适当地进行作业行驶。

〔第一实施方式的其他实施方式〕

(1)设置有摄像头21的位置不限于排出装置18，也可以是机体10的前部的区域。在该情况下，优选设置在比驾驶部12靠前侧的位置。即，摄像头21只要设置于在比收获部H够高的位置且在机体10的尽可能前侧能够从上方对收获部H的作业行驶方向的前方的未作业区域SP进行拍摄的位置。例如，也可以使撑条从机体10向前方突出，在撑条上设置摄像头21。由此，能够以从上方俯视田地的方式能够拍摄，异常6的发现变得容易。另外，摄像头21也可以是可动式，也可以是能够根据作业状况、田地状况来变更拍摄范围的结构。

(2)在设置有用于在从排出装置18排出谷粒时确认排出状况的排出用摄像头(未图示)的情况下，作为摄像头21，也可以借用排出用摄像头(未图示)。在该情况下，摄像头21(排出用摄像头)以在排出谷粒时对排出部19的周边进行拍摄，在作业行驶时对收获部H的前方的未作业区域SP进行拍摄的方式变更拍摄范围。

(3)作为田地的异常6，能够包括杂草8的存在。在此，在半喂入联合收割机中，通常，在输送装置16设置有对收获的收割谷秆的长度进行检测的传感器(未图示)。另外，在输送装置16设置有调整部36，该调整部36根据检测到的收割谷秆的长度，调整在脱粒装置13中对收割谷秆进行脱粒处理时的脱粒深度。通过具备调整部36，脱粒装置13能够考虑收割谷秆的长度来进行适当的脱粒处理。

在这样的半喂入联合收割机在存在比直立谷秆3长的杂草8的区域进行作业行驶的情况下，输送装置16的调整部36与杂草8的长度相应地调整脱粒深度。其结果是，成为脱粒的对象的直立谷秆3成为浅脱粒，有时无法适当地进行脱粒处理。

因此，在本实施方式的收割机中，在由判定部27判定出的异常6的种类为杂草8的存在的情况下，控制部29对调整部36进行控制而不进行脱粒深度的调整。脱粒深度根据被输送的直立谷秆3的长度而被调整。在输送杂草8的情况下，脱粒深度根据杂草8的长度而被调整。其结果是，作为脱粒的对象的直立谷秆3成为浅脱粒，在脱粒装置13中不能进行适当的脱粒处理。因此，控制部29以如下方式进行控制：在判定为异常6是杂草8的存在的情况下，使脱粒深度的调整中止而维持在不存在杂草8时根据直立谷秆3的长度被调整后的脱粒深度。由此，维持适当地进行脱粒处理的状态。

(4)判定部27也可以将人或包含人的动物作为异物7进行区别来判定。在该情况下，若判定部27判定为人或动物存在于机体10的行进方向，则控制部29使告知部37产生警报，之后使机体10停止。在人或动物存在于离开一定程度的位置的情况下，人或动物有时会因警报而退避。在即便发出警报，人或动物仍留在行进方向上的情况下，在机体10与人或动物之间的距离接近规定距离以内的情况下，或者在从产生警报起过了规定的时间的情况下等，控制部29使机体10停止。需要说明的是，在判定为存在人的情况下，控制部29也可以立刻使机体10停止。由此，能够避免机体10与人或动物接触。

(5)判定部27也可以判定进水口的存在作为异物7。进水口是向田地引入水的取水口。进水口埋入直立谷秆3的情况较多，对于通常的传感器而言难以发现。上述各实施方式中的摄像头21从上方拍摄田地，因此，容易发现埋入直立谷秆3的进水口。若判定部27判定为存在进水口，则控制部29能够使告知部37发出警报，或者控制行驶控制部35而使机体10停止或绕过进水口。由于进水口设置在田地的外周区域，因此，特别是，在田地的周围收割时大多在进水口的周边进行作业行驶。因此，在异物7是进水口的情况下，优选不仅在自动行驶时，在手动行驶时也进行异常时控制。当在手动行驶时判定部27判定为存在进水口时，控制部29使告知部37产生警报，作业者一边确认进水口，一边通过手动行驶绕过进水口来进行作业行驶。由此，即便在存在进水口的情况下，也能够适当地进行作业行驶。

(6)在上述各实施方式中，控制装置25具备检测部26和判定部27，但通过由判定部27判定异常6的种类，从而检测为存在异常6，因此，也可以不一定具备检测部26。另外，在控制装置25具备检测部26和判定部27双方的情况下，也可以构成为以由检测部26检测到异常6为契机，判定部27对检测到的异常6的种类进行判定。另外，在不需要对异常6的种类进行判定的情况下，控制装置25也可以构成为至少具备检测部26。并且，也可以构成为，不分开设置检测部26和判定部27，不设置判定部27，在检测部26具备通信部28，通过检测部26来判定异常6的种类。

(7)在上述各实施方式中，作为本车位置检测模块80，使用了卫星导航模块81和惯性导航模块82的组合，但也可以仅是卫星导航模块81。另外，也可以采用基于摄像头的拍摄图像来计算本车位置、车身方位的方法。

(8)本发明的收割机不仅能够应用于全喂入联合收割机，还能够应用于半喂入联合收割机。另外，本发明也能够应用于玉米收割机、马铃薯收割机、胡萝卜收割机、甘蔗收割机等各种收割机。

(9)并且，与上述收割机相关的系统、程序、记录介质以及方法也包含在本发明的范围内。例如，构成为在机体的前部支承收获部的收割机进行一边自动行驶一边收获田地的作物的作业行驶时对检测到的田地的异常进行控制的收割机的异常控制系统、异常控制方法以及异常控制程序、记录有异常控制程序的计算机可读取记录介质也包含在本发明的范围内。

(10)需要说明的是，在上述实施方式(包括其他实施方式在内，以下相同)中公开的结构只要不产生矛盾，就能够与在其他实施方式中公开的结构组合而应用，另外，在本说明书中公开的实施方式是例示，本发明的实施方式并不限于此，可以在不脱离本发明的目的的范围内适当改变。

[第二实施方式]

在第二实施方式中，作为本发明的农业机械的一例，示出联合收割机。以下，在定义机体101的前后方向时，沿着作业状态下的机体行进方向进行定义。在图6以及图7中附图标记(F)所示的方向是机体前侧，在图6以及图7中附图标记(B)所示的方向是机体后侧。在图6中附图标记(U)所示的方向是机体上侧，在图6中附图标记(D)所示的方向是机体下侧。在图6中附图标记(L)所示的方向是机体左侧，在图6中附图标记(R)所示的方向是机体右侧。在定义机体101的左右方向时，在从机体行进方向观察的状态下定义左右。

〔联合收割机的基本结构〕

如图6以及图7所示，作为农业机械的一个方式的全喂入联合收割机具备机体101、左右一对履带式的行驶装置111、搭乘部112、脱粒装置113、谷粒箱114、收获装置115、输送装置116、谷粒排出装置118。

行驶装置111设置在联合收割机的下部。联合收割机能够通过行驶装置111自行行驶。另外，搭乘部112、脱粒装置113、谷粒箱114设置在比行驶装置111靠上侧的位置，它们构成为机体101的上部。联合收割机的搭乘者、监视联合收割机的作业的监视者能够搭乘于搭乘部112。通常，搭乘者和监视者兼任。需要说明的是，在搭乘者和监视者为不同人的情况下，监视者也可以从联合收割机的机外监视联合收割机的作业。在搭乘部112的下方具备驱动用的发动机(未图示)。谷粒排出装置118与谷粒箱114的后下部连结。

收获装置115支承于机体101的前部。输送装置116相邻地设置在比收获装置115靠后侧的位置。收获装置115收获田地中的作物。作物例如是稻子等直立谷秆，但也可以是大豆、玉米等。根据该结构，收获装置115收获田地的作物。而且，联合收割机能够进行一边通过收获装置115收获田地的作物一边通过行驶装置111行驶的作业行驶。

由收获装置115收获的作物(例如收割谷秆)由输送装置116向脱粒装置113输送。收获的作物由脱粒装置113进行脱粒处理。通过脱粒处理而得到的作为收获物的谷粒储存于谷粒箱114。谷粒箱114中储存的谷粒根据需要通过谷粒排出装置118向机外排出。谷粒排出装置118构成为能够绕机体后部的纵轴芯摆动。即，谷粒排出装置118构成为能够切换为谷粒排出装置118的自由端部相比机体101向机体横向外侧伸出而能够排出作物的排出状态和谷粒排出装置118的自由端部位于机体101的机体横向宽度的范围内的收纳状态。在谷粒排出装置118处于收纳状态的情况下，谷粒排出装置118的自由端部位于比搭乘部112靠前侧的位置并且位于收获装置115的上方。

在谷粒排出装置118中的位于自由端部的谷粒排出口的侧部设置有摄像装置121。另外，详细情况在后面叙述，在搭乘部112的前部设置有测距传感器122，测距传感器122构成为能够测量存在于机体101的前方的田地的障碍对象与机体101的分离距离。

摄像装置121是能够对可见光进行拍摄的彩色摄像头，例如是CCD摄像头或CMOS摄像头。在谷粒排出装置118处于收纳状态的情况下，摄像装置121构成为能够从该谷粒排出口的部位朝向前下方对联合收割机的前进方向的前方进行拍摄。此时，摄像装置121位于比搭乘部112靠前侧的位置，以摄像装置121的前后方向向下前方倾斜的状态支承于谷粒排出装置118的自由端部。由此，例如与摄像装置121支承于搭乘部112的顶棚部的结构相比，摄像装置121能够从接近的视点以高图像品质对收获装置115的前端区域中的作物的收获状态进行拍摄。另外，摄像装置121能够以从上方俯视行进方向前方的障碍对象等的视点进行拍摄。因此，摄像装置121的前后方向上的拍摄视野例如为15米或25米。这样，摄像装置121以俯视收获装置115的前方的未收获的作物的方式设置在机体101的前部且比收获装置115高的位置。

由摄像装置121取得的拍摄图像被图像数据化，并发送到联合收割机的控制系统。摄像装置121在收获作业时拍摄田地，但在田地中存在各种物体作为拍摄对象。联合收割机的控制系统具有根据从摄像装置121发送来的图像数据将特定的物体识别为障碍对象的功能。作为上述那样的障碍对象，在图6以及图7中，示意性地示出附图标记Z0所示的正常的直立谷秆组、附图标记Z1所示的杂草组、附图标记Z2所示的倒伏谷秆组、附图标记Z3所示的人物、附图标记Z4所示的石头。

在搭乘部112的顶棚部设置有卫星定位模块180。卫星定位模块180接收来自人造卫星GS的GNSS(Global Navigation Satellite System)的信号(包括GPS信号)，取得本车位置。需要说明的是，为了补充由卫星定位模块180进行的卫星导航，装配有陀螺仪加速度传感器、磁方位传感器的惯性导航单元被装配于卫星定位模块180。当然，惯性导航单元也可以在联合收割机中配置在与卫星定位模块180不同的部位。

〔控制单元的结构〕

本实施方式的联合收割机能够以自动行驶和手动行驶双方行驶。自动行驶是指在田地中沿着预先设定的行驶路径自动进行作业行驶。图8示出田地中的未作业区域和已收获区域(以下，分别称为未收获区域SP、已收获区域SC)，未收获区域SP和已收获区域SC是田地的内侧区域。田地的比内侧区域靠外侧的区域是田地的田埂区域。在图8中，联合收割机在田地的内侧区域直行，在田地的田埂区域进行180度转弯。通常，行驶路径是田地的内侧区域中的直行路径和田地的田埂区域中的转弯路径交替地反复的路径。设置有选择以自动操纵行驶的自动行驶模式和以手动操纵行驶的手动操纵模式中的任一方的行驶模式开关(非图示)。通过行驶模式开关的操作，能够进行从手动行驶向自动行驶的转移、或从自动行驶向手动行驶的转移。行驶模式开关例如可以设置在搭乘部112内，也可以设置于后述的终端CT等。

需要说明的是，在自动行驶中，进行由摄像装置121进行的机体前方的拍摄和基于由摄像装置121拍摄到的拍摄图像的识别部131的图像识别处理。因此，在自动行驶中，谷粒排出装置118需要处于收纳状态。即，在谷粒排出装置118处于收纳状态的情况下进行自动行驶。当在自动行驶时谷粒排出装置118不再处于收纳状态时，例如经由后述的警告控制部136、告知控制部137发出警报。

图9所示的控制单元130是联合收割机的控制系统的核心要素，作为多个ECU的集合体示出。控制单元130具备识别部131、模式决定部132、行驶控制部135、警告控制部136以及告知控制部137。另外，来自卫星定位模块180的定位数据、以及来自摄像装置121的图像数据通过配线网被输入到控制单元130。

在识别部131中构建有能够使用深度学习进行学习的神经网络。向识别部131输入由摄像装置121连续地依次取得的拍摄图像的图像数据。已知神经网络能够通过深度学习来识别具有非线性特性的输入输出关系。识别部131对该图像数据中的存在障碍对象的存在区域进行推定，将基于存在区域的识别输出数据作为识别结果输出。

图10示出由识别部131进行的识别输出数据的生成的流程。从摄像装置121向识别部131输入RGB图像数据的像素值作为输入值。在图10的例子中，障碍对象是倒伏谷秆、杂草、人物和石头。因此，作为识别结果的识别输出数据包括存在倒伏谷秆的倒伏谷秆区域、存在杂草的杂草区域、存在人物的人物区域、以及存在石头的石头区域。另外，考虑到石头埋在直立的作物之间的情况，摄像装置121能够以从上方俯视的视点对石头进行拍摄。

在图10中，杂草区域用标注了附图标记F1的矩形框表示，倒伏谷秆区域用标注了附图标记F2的矩形框表示，人物区域用标注了附图标记F3的矩形框表示，石头区域用标注了附图标记F4的矩形框表示。即，识别部131构成为能够判别障碍对象的种类是石头等异物的存在、人的存在、杂草的存在、还是作物的倒伏。这样，识别部131构成为能够基于由摄像装置121拍摄到的拍摄图像来检测行进方向前方的障碍对象的存在。此外，识别部131构成为能够通过利用使用深度学习而学习到的神经网络来识别障碍对象的种类。摄像装置121以规定时间间隔、例如0.1秒间隔或0.5秒间隔取得拍摄图像，并将该图像数据输入到识别部131，因此，识别部131也以相同的时间间隔输出识别输出数据。

图9所示的模式决定部132基于由识别部131识别出的障碍对象的种类来决定自动行驶控制的控制模式。控制模式例如作为图11所示那样的、与障碍对象的种类对应的查找表存储于ROM等，由模式决定部132选择与障碍对象的种类对应的控制模式。

图9所示的行驶控制部135具有发动机控制功能、操纵控制功能、车速控制功能等，对行驶装置111提供行驶控制信号。在手动操纵模式被选择的情况下，行驶控制部135基于搭乘者的操作来生成控制信号，对行驶装置111进行控制。在自动操纵模式被选择的情况下，行驶控制部135基于由控制单元130的自动行驶控制模块提供的自动行驶指令和来自卫星定位模块180的定位数据，对行驶装置111进行与操纵、车速相关的控制。

图9所示的警告控制部136是用于对位于图6以及图7所示的机体101的前方的行进路线等的动物、人告知机体101的作业行驶的状态、各种警告的模块，构成为能够进行针对喇叭141的输出控制。喇叭141设置在机体101的任意部位。告知控制部137构成为能够对例如智能手机、平板电脑等终端CT输出模式决定部132决定的控制模式，在终端CT显示该控制模式。终端CT是联合收割机的搭乘者或田地的监视者或管理者携带的终端，告知控制部137构成为，携带终端CT的人能够通过终端CT确认控制模式的状态、履历。

本实施方式的联合收割机具备测距传感器122，机体101与存在于机体101的前方的行进路线的障碍对象的分离距离构成为能够通过测距传感器122进行测定。如图7所示，在本实施方式中，测距传感器122设置在搭乘部112的前部，但测距传感器122设置于不会被收获装置115妨碍前方的测定的程度的高度。另外，测距传感器122例如也可以设置于收获装置115。另外，测距传感器122可以是声呐，也可以是雷达(毫米波)，也可以是LIDAR、即利用LIDAR(Light detection and ranging)技术的测距设备(例如激光扫描仪、激光雷达。以下，简称为LIDAR)。如果测距传感器122是声呐，则在成本方面是有利的。如果测距传感器122是毫米波雷达，则能够进行不易受天气影响的测定，在成本方面是有利的。如果毫米波雷达是除前方、左右之外还能够在上下方向进行三维扫描的结构，则与进行二维扫描的类型的毫米波雷达相比，能够使测距范围为大范围。如果测距传感器122是LIDAR，则能够高精度地进行分离距离的测定。此外，如果LIDAR是除前方、左右之外还能够在上下方向进行三维扫描的结构，则与进行二维扫描的类型的LIDAR相比，能够使测距范围为大范围。

〔关于障碍对象的种类以及控制模式〕

以下，基于图9至图12，记载与障碍对象的种类以及控制模式相关的说明。如图11所示，在本实施方式中，作为控制模式而例示多个控制模式，多个控制模式包括机体101(参照图6以及图7，以下相同)的减速、机体101的停止、以及针对障碍对象的警告。具体而言，作为控制模式，例示“停止”、“减速·警告→停止”、“减速·警告”、“减速”。需要说明的是，图11所示的障碍对象的种类是例示，并不排除图11所示的内容以外的内容。

在图11中示出障碍对象的种类和与障碍对象的种类对应的控制模式。当由识别部131识别出障碍对象的种类时，模式决定部132选择与障碍对象的种类对应的控制模式。在障碍对象的种类是石头、柱子、倾倒木片等的情况下，由模式决定部132选择“停止”的控制模式。石头、柱子、倾倒木片等不是动物，是不会自发地移动的物体。接着，在由识别部131识别出障碍对象的种类是不会自发地移动的种类的情况下，模式决定部132基于图11的表决定与机体101的停止相关的控制模式。接着，模式决定部132基于与机体101的停止相关的控制模式，对行驶控制部135进行停止的输出控制。由此，行驶装置111停止。需要说明的是，“停止”的控制模式被选择的上述障碍对象是例示，除了上述以外，例如也可以是立着的树木、电线杆、田埂、稻草卷等。需要说明的是，在障碍对象的种类是田埂的情况下，可以构成为将比图8所示的转弯路径靠田地外侧的田埂从障碍对象中排除。

在障碍对象的种类是动物(例如狗、猴子、猪、牛、乌鸦等、即家畜或鸟兽)的情况下，为了赶走行进方向前方的动物，基于图11的表，由模式决定部132选择“减速·警告”的控制模式。动物自发地移动。因此，通过一边使机体101减速一边从喇叭141发出声音，从而动物从机体101的前方的行进路线离开的情况较多。这样，在由识别部131识别出障碍对象的种类是自发地移动的种类的情况下，模式决定部132决定与机体101的减速和针对障碍对象的警告相关的控制模式。接着，模式决定部132基于与机体101的减速和针对障碍对象的警告相关的控制模式，对行驶控制部135和警告控制部136分别进行输出控制。由此，行驶装置111的速度被减速，从喇叭141发出声音。需要说明的是，“减速·警告”的控制模式被选择的上述障碍对象是例示，也可以是上述以外的对象。

在由识别部131识别出障碍对象的种类是田地的人的情况下，基于图11的表，由模式决定部132选择“减速·警告→停止”的控制模式。对机体101与田地的人的分离距离预先设定阈值。“减速·警告→停止”是指，模式决定部132基于该预先设定的该分离距离的阈值，切换“减速·警告”的控制模式和“停止”的控制模式的控制模式。在机体101与田地的人的分离距离为该阈值以上(或大于阈值)的期间，模式决定部132进行基于“减速·警告”的控制模式的输出控制。而且，如果机体101与田地的人的分离距离为该阈值以下(或小于阈值)，则模式决定部132进行基于“停止”的控制模式的输出控制。需要说明的是，机体101与田地的人的分离距离的阈值例如为5米或10米。

其他的农机(例如联合收割机、拖拉机、管理机、农业用无人飞行器等)、车辆(例如卡车)也有时在田地内行驶，但在田地内停车的情况也多，即便机体101接近也不会自发地移动的情况也多被考虑。由此，在本实施方式中，在障碍对象的种类是其他的农机、车辆等的情况下，为了避免机体101与其他的农机、车辆接触，由模式决定部132选择“减速·警告→停止”的控制模式。需要说明的是，“减速·警告→停止”的控制模式被选择的上述障碍对象是例示，也可以是上述以外的对象。

在障碍对象的种类是倒伏谷秆、杂草等的情况下，基于图11的表，由模式决定部132选择“减速”的控制模式。即，倒伏谷秆、杂草由收获装置115直接收割也不会妨碍自动行驶的情况也多。但是，在利用收获装置115收割倒伏谷秆的情况下，为了可靠地扶起倒伏谷秆而减少收获量损失，也考虑需要使作业行驶的速度减速的情况。因此，在由识别部131识别出障碍对象的种类不会对自动行驶造成大的障碍的情况下，模式决定部132决定继续自动行驶并使行驶装置111减速的控制模式。需要说明的是，“减速”的控制模式被选择的上述障碍对象是例示，也可以是上述以外的对象。

这样，模式决定部132构成为能够从多个控制模式根据障碍对象的种类决定控制模式，并且能够进行基于控制模式的输出控制。换言之，模式决定部132构成为能够根据由识别部131检测到的田地的异常进行输出控制。

图12示出与控制模式的决定相关的流程图。该流程图是在由识别部131识别出障碍对象的存在的情况下，模式决定部132中的内部处理的概略。换言之，模式决定部132根据由识别部131检测到的田地的异常，执行基于该流程图的异常时控制。因此，模式决定部132的内部处理并不限于流程图，能够在不损害输出结果的同一性的范围内进行改变。首先，基于由识别部131输出的识别输出数据，从多个控制模式中选择至少一个控制模式(步骤#01)。在由模式决定部132选择了“停止”的控制模式的情况下(步骤#01：停止)，在步骤#06中进行针对行驶控制部135的停止的输出控制，行驶装置111由行驶控制部135停止。

当在步骤#01中由模式决定部132选择了“减速·警告→停止”或“减速·警告”的控制模式的情况下，在步骤#02的处理中判定是否是“减速·警告”之后“停止”的控制模式、即“减速·警告→停止”的控制模式。当在步骤#02的处理中判定为是“减速·警告→停止”的控制模式时，进入步骤#03的处理。在由模式决定部132选择了“减速·警告”的控制模式的情况下，处理从步骤#02进入步骤#04。

当在由识别部131输出的识别输出数据中包含人物区域时，由模式决定部132选择“减速·警告→停止”的控制模式。因此，在步骤#03的处理中，判定机体101与人的分离距离是否为预先设定的距离以上(或大于预先设定的距离)。机体101与人的分离距离由测距传感器122测定。如果机体101与人的分离距离为预先设定的距离以上(或大于预先设定的距离)(步骤#03：是)，则进入步骤#04，基于“减速·警告”的控制模式的处理在步骤#04和步骤#05中执行。

在步骤#04中，模式决定部132对行驶控制部135进行基于“减速·警告”的控制模式的输出控制。而且，行驶控制部135对行驶装置111进行使车速减速的控制。在步骤#05中，模式决定部132对警告控制部136进行基于“减速·警告”的控制模式的输出控制。而且，警告控制部136对喇叭141进行控制，以使喇叭141发出声音。

如果机体101与人的分离距离为预先设定的距离以下(或小于距离)(步骤#03：否)，则进入步骤#06，在步骤#06中执行基于“停止”的控制模式的处理。在步骤#06中，模式决定部132对行驶控制部135进行基于“停止”的控制模式的输出控制。而且，行驶控制部135对行驶装置111进行停止控制。这样，在机体101与人的分离距离成为预先设定的距离以下(或小于距离)的情况下，模式决定部132决定与机体101的停止相关的控制模式。

在由模式决定部132选择了“减速”的控制模式的情况下(步骤#01：减速)，进行步骤#07的处理。在步骤#07中，模式决定部132对行驶控制部135进行基于“减速”的控制模式的输出控制。而且，行驶控制部135对行驶装置111进行使车速减速的控制。

当步骤#05或步骤#06或步骤#07的处理结束时，模式决定部132对告知控制部137进行输出，经由告知控制部137向终端CT发送控制模式的状态(步骤#08)。由此，在终端CT显示控制模式的现状、控制模式的履历，携带终端CT的田地的监视者、管理者能够掌握基于控制模式的变化的机体101的状态变化。

〔第二实施方式的其他实施方式〕

本发明并不限于上述实施方式所例示的结构，以下，例示本发明的代表性的其他实施方式。

(1)在上述实施方式中，摄像装置121以拍摄机体101的前进方向前方的方式设置在比搭乘部112靠前侧的位置，但并不限于该实施方式。例如，摄像装置121也可以以能够拍摄机体101的后退方向的方式设置在机体101的后端部。另外，摄像装置121也可以设置在比搭乘部112靠前侧和机体101的后端部这两方。即，摄像装置121只要是能够在田地中对机体101的前进和机体101的后退中的一方或双方的行进方向前方进行拍摄的结构即可。

(2)在上述实施方式中，在识别部131中构建有能够使用深度学习进行学习的神经网络，但也可以不在识别部131中构建神经网络。在该情况下，神经网络也可以构建于其他的计算机、终端CT，通过使识别部131与其他的计算机、终端CT进行通信来进行神经网络中的输入输出。即，识别部131可以构成为能够通过利用使用深度学习而学习到的神经网络来识别障碍对象的种类。

(3)在上述实施方式中，在障碍对象的种类是其他的农机、车辆的情况下，由模式决定部132选择“减速·警告→停止”的控制模式，但并不限于该实施方式。由识别部131识别的其他的农机、车辆可以被识别为不会自发地移动的种类的障碍对象，也可以由模式决定部132选择“停止”的控制模式。

(4)在上述实施方式中，在障碍对象的种类是动物的情况下，由模式决定部132选择“减速·警告”的控制模式，但“减速·警告”的控制模式也可以仅是“警告”。即，也可以是如下结构：当由模式决定部132选择“警告”的控制模式时，模式决定部132不对行驶控制部135进行输出控制，而是基于与针对障碍对象的警告相关的控制模式，对警告控制部136进行输出控制。由此，行驶装置111的速度不被减速，从喇叭141发出声音。

(5)在上述实施方式中，警告控制部136构成为能够进行针对喇叭141的输出控制，但并不限于该实施方式。例如，警告控制部136的输出控制也可以是针对例如蜂鸣器、灯、探照灯、扬声器、显示器等的控制。另外，警告控制部136也可以是使用超声波来击退鸟兽等的控制部。在该情况下，警告控制部136也可以是以机体101越接近鸟兽等越强地输出超声波的方式进行输出控制的控制部。

(6)在上述实施方式中，在障碍对象的种类是动物的情况下，由模式决定部132选择“减速·警告”的控制模式，但也可以是由模式决定部132选择“减速·警告→停止”的控制模式的结构。在“减速·警告→停止”的控制模式的情况下，模式决定部132基于机体101与障碍对象的分离距离的阈值来切换“减速·警告”的控制模式和“停止”的控制模式，但该阈值在动物的情况和人的情况下也可以不同。例如，也可以是，在障碍对象是人的情况下，阈值被设定为5米或10米，在障碍对象是动物的情况下，阈值被设定为2～3米。

(7)警告控制部136和告知控制部137也可以一体地构成。另外，模式决定部132、行驶控制部135、警告控制部136以及告知控制部137也可以一体地构成。

(8)在上述实施方式中，在障碍对象的种类是石头、柱子、倾倒木片或稻草卷等的情况下，由模式决定部132选择“停止”的控制模式，但并不限于该实施方式。例如，也可以是如下结构：模式决定部132选择机体101以避免与石头、柱子、倾倒木片或稻草卷等的接触的方式绕过石头、柱子、倾倒木片或稻草卷等的控制模式来代替“停止”的控制模式。即，也可以是如下结构：在由识别部131识别出障碍对象的种类是不会自发地移动的种类的情况下，模式决定部132决定与机体101的绕过相关的控制模式。

(9)在上述实施方式中，如图12所示，在由模式决定部132选择了“减速”的控制模式的情况下，基于步骤#07的处理进行减速处理，但并不限于该实施方式。例如，也可以是如下结构：在障碍对象的种类是倒伏谷秆或杂草的情况下，被识别为不是障碍对象的非对象物。在该情况下，也可以是不进行图12所示的流程图的处理而直接继续进行自动行驶的结构。

另外，在农业机械是半喂入联合收割机的情况下，也可以是如下结构：在由识别部131识别出障碍对象的种类是杂草的情况下，调整脱粒装置113中的脱粒深度。即，如果在杂草位于比穗梢高的位置的状态下将杂草误认为是穗梢，则脱粒装置113中的脱粒深度有可能变浅。为了避免这样的不良情况，只要是识别部131对杂草和穗梢进行区别而调整脱粒装置113中的脱粒深度的结构即可。

(10)在上述实施方式中，具备能够测定机体101与障碍对象的分离距离的测距传感器122，但也可以是不具备测距传感器122的结构。在该情况下，也可以是如下结构：若由识别部131识别出障碍对象的种类是动物、人，则基于由摄像装置121拍摄的拍摄图像中的动物、人的位置，模式决定部132决定与机体101的停止相关的控制模式。

(11)本发明的农业机械不限于全喂入联合收割机，也可以是半喂入联合收割机。另外，本发明的农业机械不限于联合收割机，也可以是其他收割机。并且，本发明的农业机械不限于收割机，也可以是插秧机、播种机、管理机、拖拉机等其他农业机械。

(12)并且，与上述农业机械相关的系统、程序、记录介质以及方法也包含在本发明的范围内。例如，构成为基于由能够在农业机械在田地中行驶时对机体的前进和所述机体的后退中的一方或双方的行进方向前方进行拍摄的摄像装置拍摄到的拍摄图像，执行与田地的障碍对象相关的输出控制的农业机械的控制系统、控制方法以及控制程序、记录有控制程序的计算机可读取记录介质也包含在本发明的范围内。

(13)另外，在上述实施方式(包括其他实施方式在内，以下相同)中公开的结构只要不产生矛盾，就能够与在其他实施方式中公开的结构组合来应用。另外，在本说明书中公开的实施方式是例示，本发明的实施方式并不限于此，可以在不脱离本发明的目的的范围内适当改变。

附图标记说明

[第一实施方式]

3直立谷秆(作物)

6异常

7异物

8杂草

9倒伏

10机体

11行驶装置

12驾驶部

13脱粒装置

14谷粒箱

16输送装置

17拨禾轮

18排出装置

19排出部

21摄像头(摄像装置)

25控制装置

26检测部

27判定部

29控制部

30神经网络

36调整部

37告知部

H收获部

SP未作业区域

[第二实施方式]

101：机体

121：摄像装置

122：测距传感器

131：识别部

132：模式决定部

Claims (23)

1.一种收割机，进行一边自动行驶一边收获田地的作物的作业行驶，其中，所述收割机具备：

行驶装置，所述行驶装置进行所述作业行驶；

机体，所述机体支承于所述行驶装置；

收获部，所述收获部支承于所述机体的前部并收获所述田地的作物；

脱粒装置，所述脱粒装置对收获的作物进行脱粒；

输送装置，所述输送装置从所述收获部向所述脱粒装置输送收获的作物；

谷粒箱，所述谷粒箱储存被脱粒后的作物；以及

排出装置，所述排出装置具有与所述谷粒箱的下部连结的纵向输送部和与所述纵向输送部的上端部连结的横向输送部，能够从设置在所述横向输送部的顶端部的排出部排出所述谷粒箱中储存的作物，

摄像装置，所述摄像装置以从上方俯视所述收获部的前方的未作业区域的作物的方式，设置在所述机体的前部且比所述收获部高的位置；

检测部，所述检测部根据所述摄像装置拍摄到的图像来检测田地的异常；以及

控制部，所述控制部进行与检测到的所述田地的异常相应的控制即异常时控制，

所述摄像装置设置于所述横向输送部，

所述排出装置能够在该排出装置被收纳于收纳位置的形态与排出储存的所述作物时的形态且所述排出部从所述机体突出的形态之间位移，

仅在所述排出装置被收纳于所述收纳位置的情况下，进行所述自动行驶。

2.如权利要求1所述的收割机，其中，

通过将所述图像输入到使用深度学习进行了机器学习的神经网络，来判别所述田地的异常是存在异物、还是存在杂草或是作物的倒伏。

3.如权利要求2所述的收割机，其中，

在判别为所述田地的异常是存在所述异物的情况下，所述控制部使所述机体减速或停止作为所述异常时控制。

4.如权利要求3所述的收割机，其中，

所述异物是埋在直立的作物之间的障碍物。

5.如权利要求2～4中任一项所述的收割机，其中，

在判别为所述田地的异常是所述作物的倒伏的情况下，所述控制部使所述机体减速作为所述异常时控制。

6.如权利要求2～4中任一项所述的收割机，其中，

所述机体具有调整部，所述调整部设置于所述输送装置，对被输送到所述脱粒装置的作物的脱粒深度进行调整，

在判别为所述田地的异常是存在所述杂草的情况下，所述控制部使所述调整部中止所述脱粒深度的调整作为所述异常时控制。

7.如权利要求1～4中任一项所述的收割机，其中，

所述机体在所述机体的前部具有驾驶部，

所述摄像装置设置在比所述驾驶部靠前侧的位置。

8.如权利要求1～4中任一项所述的收割机，其中，

所述收割机具备告知部，在所述自动行驶时，所述告知部在所述排出装置从所述收纳位置离开时告知警报。

9.一种收割机的异常控制系统，在收割机进行一边自动行驶一边收获田地的作物的作业行驶时，所述收割机的异常控制系统对检测到的田地的异常进行控制，所述收割机具备：

收获部，所述收获部支承于机体的前部；

脱粒装置，所述脱粒装置对收获的作物进行脱粒；

输送装置，所述输送装置从所述收获部向所述脱粒装置输送收获的作物；

谷粒箱，所述谷粒箱储存被脱粒后的作物；以及

排出装置，所述排出装置具有与所述谷粒箱的下部连结的纵向输送部和与所述纵向输送部的上端部连结的横向输送部，能够从设置在所述横向输送部的顶端部的排出部排出所述谷粒箱中储存的作物，并且，所述排出装置能够在该排出装置被收纳于收纳位置的形态与排出储存的所述作物时的形态且所述排出部从所述机体突出的形态之间位移，

其中，所述收割机的异常控制系统具备：

检测部，所述检测部设置于所述横向输送部，并且，根据从上方对所述收获部的前方的未作业区域的作物进行拍摄的摄像装置拍摄到的图像来检测所述田地的异常；

判定部，所述判定部判别所述异常的种类；以及

控制部，所述控制部根据判别出的异常的种类进行异常时控制，

仅在所述排出装置被收纳于所述收纳位置的情况下，进行所述自动行驶。

10.一种计算机可读取记录介质，记录有在收割机进行一边自动行驶一边收获田地的作物的作业行驶时对检测到的田地的异常进行控制的异常控制程序，所述收割机具备：

收获部，所述收获部支承于机体的前部；

脱粒装置，所述脱粒装置对收获的作物进行脱粒；

输送装置，所述输送装置从所述收获部向所述脱粒装置输送收获的作物；

谷粒箱，所述谷粒箱储存被脱粒后的作物；以及

排出装置，所述排出装置具有与所述谷粒箱的下部连结的纵向输送部和与所述纵向输送部的上端部连结的横向输送部，能够从设置在所述横向输送部的顶端部的排出部排出所述谷粒箱中储存的作物，并且，所述排出装置能够在该排出装置被收纳于收纳位置的形态与排出储存的所述作物时的形态且所述排出部从所述机体突出的形态之间位移，

所述收割机仅在所述排出装置被收纳于所述收纳位置的情况下，进行一边自动行驶一边收获田地的作物的作业行驶时对检测到的田地的异常进行控制，

其中，所述计算机可读取记录介质记录有使计算机实现如下功能的异常控制程序：

检测功能，在所述检测功能中，根据设置于所述横向输送部，并且，从上方对所述收获部的前方的未作业区域的作物进行拍摄的摄像装置拍摄到的图像来检测所述田地的异常；

判定功能，在所述判定功能中，判别所述异常的种类；以及

控制功能，在所述控制功能中，根据判别出的异常的种类进行异常时控制。

11.一种收割机的异常控制方法，在收割机进行一边自动行驶一边收获田地的作物的作业行驶时，所述收割机的异常控制方法对检测到的田地的异常进行控制，所述收割机具备：

收获部，所述收获部支承于机体的前部；

脱粒装置，所述脱粒装置对收获的作物进行脱粒；

输送装置，所述输送装置从所述收获部向所述脱粒装置输送收获的作物；

谷粒箱，所述谷粒箱储存被脱粒后的作物；以及

排出装置，所述排出装置具有与所述谷粒箱的下部连结的纵向输送部和与所述纵向输送部的上端部连结的横向输送部，能够从设置在所述横向输送部的顶端部的排出部排出所述谷粒箱中储存的作物，并且，所述排出装置能够在该排出装置被收纳于收纳位置的形态与排出储存的所述作物时的形态且所述排出部从所述机体突出的形态之间位移，

所述收割机仅在所述排出装置被收纳于所述收纳位置的情况下，进行一边自动行驶一边收获田地的作物的作业行驶时对检测到的田地的异常进行控制，

其中，所述收割机的异常控制方法具备：

根据设置于所述横向输送部，并且，从上方对所述收获部的前方的未作业区域的作物进行拍摄的摄像装置拍摄到的图像来检测田地的异常的步骤；

判别所述异常的种类的步骤；以及

根据判别出的异常的种类进行异常时控制的步骤。

12.一种农业机械，其中，所述农业机械具备：

脱粒装置，所述脱粒装置对收获的作物进行脱粒；

输送装置，所述输送装置从收获部向所述脱粒装置输送收获的作物；

谷粒箱，所述谷粒箱储存被脱粒后的作物；

排出装置，所述排出装置能够绕机体后部的纵轴芯摆动，能够切换为自由端部位于所述机体的机体横向内侧的范围内的收纳状态和所述自由端部相比所述机体向机体横向外侧伸出而从所述自由端部能够排出储存于所述谷粒箱的作物的排出状态，

摄像装置，所述摄像装置能够在田地中对所述机体的前进和后退中的一方或双方的行进方向前方进行拍摄；

识别部，所述识别部能够基于由所述摄像装置拍摄到的拍摄图像来检测田地的障碍对象的存在，并且能够识别所述障碍对象的种类；以及

模式决定部，所述模式决定部从多个控制模式根据所述障碍对象的种类来决定所述控制模式，并且执行基于所决定的所述控制模式的输出控制，

仅在所述排出装置处于所述收纳状态的情况下，进行自动行驶。

13.如权利要求12所述的农业机械，其中，

所述识别部构成为能够通过利用使用深度学习进行了学习的神经网络来识别所述障碍对象的种类。

14.如权利要求12或13所述的农业机械，其中，

所述多个控制模式包括所述机体的减速、所述机体的停止以及针对所述障碍对象的警告。

15.如权利要求14所述的农业机械，其中，

在由所述识别部识别出所述障碍对象的种类是不会自发地移动的种类的情况下，所述模式决定部决定与所述机体的停止相关的所述控制模式。

16.如权利要求14所述的农业机械，其中，

在由所述识别部识别出所述障碍对象的种类是自发地移动的种类的情况下，所述模式决定部决定与所述机体的减速和针对所述障碍对象的警告相关的所述控制模式。

17.如权利要求16所述的农业机械，其中，

所述农业机械具备能够测定所述机体与所述障碍对象的分离距离的测距传感器，

在所述分离距离成为预先设定的距离以下的情况下，所述模式决定部决定与所述机体的停止相关的所述控制模式。

18.如权利要求17所述的农业机械，其中，

所述测距传感器是声呐。

19.如权利要求17所述的农业机械，其中，

所述测距传感器是LIDAR。

20.如权利要求17所述的农业机械，其中，

所述测距传感器是激光扫描仪。

21.一种农业机械的控制系统，基于由摄像装置拍摄到的拍摄图像，执行与田地的障碍对象相关的输出控制，所述摄像装置能够在农业机械在田地中行驶时对机体的前进和所述机体的后退中的一方或双方的行进方向前方进行拍摄，

所述农业机械具备：

脱粒装置，所述脱粒装置对收获的作物进行脱粒；

输送装置，所述输送装置从收获部向所述脱粒装置输送收获的作物；

谷粒箱，所述谷粒箱储存被脱粒后的作物；

排出装置，所述排出装置能够绕机体后部的纵轴芯摆动，能够切换为自由端部位于所述机体的机体横向内侧的范围内的收纳状态和所述自由端部相比所述机体向机体横向外侧伸出而从所述自由端部能够排出储存于所述谷粒箱的作物的排出状态，

其中，所述农业机械的控制系统具备：

识别部，所述识别部基于所述拍摄图像来检测田地的障碍对象的存在，并且识别所述障碍对象的种类；以及

模式决定部，所述模式决定部从多个控制模式根据所述障碍对象的种类来决定所述控制模式，并基于所决定的控制模式来执行所述输出控制，

仅在所述排出装置处于所述收纳状态的情况下，进行所述农业机械的自动行驶。

22.一种计算机可读取记录介质，记录有基于由摄像装置拍摄到的拍摄图像来执行与田地的障碍对象相关的输出控制的程序，所述摄像装置能够在农业机械在田地中行驶时对机体的前进和所述机体的后退中的一方或双方的行进方向前方进行拍摄，

所述农业机械具备：

脱粒装置，所述脱粒装置对收获的作物进行脱粒；

输送装置，所述输送装置从收获部向所述脱粒装置输送收获的作物；

谷粒箱，所述谷粒箱储存被脱粒后的作物；

排出装置，所述排出装置能够绕机体后部的纵轴芯摆动，能够切换为自由端部位于所述机体的机体横向内侧的范围内的收纳状态和所述自由端部相比所述机体向机体横向外侧伸出而从所述自由端部能够排出储存于所述谷粒箱的作物的排出状态，

其中，所述计算机可读取记录介质记录有基于由摄像装置拍摄到的拍摄图像来执行与田地的障碍对象相关的输出控制并且仅在所述排出装置处于所述收纳状态的情况下，进行所述农业机械的自动行驶，使计算机实现如下功能的控制程序：

基于所述拍摄图像来检测田地的障碍对象的存在的功能；

基于所述拍摄图像来识别所述障碍对象的种类的功能；

从多个控制模式根据所述障碍对象的种类来决定所述控制模式的功能；以及

基于所述控制模式来执行所述输出控制的功能。

23.一种农业机械的控制方法，基于由摄像装置拍摄到的拍摄图像，执行与田地的障碍对象相关的输出控制，所述摄像装置能够在农业机械在田地中行驶时对机体的前进和所述机体的后退中的一方或双方的行进方向前方进行拍摄，

所述农业机械具备：

脱粒装置，所述脱粒装置对收获的作物进行脱粒；

输送装置，所述输送装置从收获部向所述脱粒装置输送收获的作物；

谷粒箱，所述谷粒箱储存被脱粒后的作物；

排出装置，所述排出装置能够绕机体后部的纵轴芯摆动，能够切换为自由端部位于所述机体的机体横向内侧的范围内的收纳状态和所述自由端部相比所述机体向机体横向外侧伸出而从所述自由端部能够排出储存于所述谷粒箱的作物的排出状态，

基于由摄像装置拍摄到的拍摄图像来执行与田地的障碍对象相关的输出控制，并且，仅在所述排出装置处于所述收纳状态的情况下，进行所述农业机械的自动行驶，

其中，所述农业机械的控制方法具备：

基于所述拍摄图像来检测田地的障碍对象的存在的步骤；

基于所述拍摄图像来识别所述障碍对象的种类的步骤；

从多个控制模式根据所述障碍对象的种类来决定所述控制模式的步骤；以及

基于所述控制模式来执行所述输出控制的步骤。

Images