JP2020178618A - 農作業機 - Google Patents

Abstract

【課題】障害物の検出精度が良好な農作業機を提供する。【解決手段】自動走行可能な農作業機１であって、圃場へ向けられた撮像装置２１と、撮像装置２１とは異なる種類のセンサであると共に、圃場へ向けられた検知装置２２と、撮像装置２１による撮影画像と、検知装置２２による検知結果と、のうちの少なくとも何れか一方に基づいて機体周辺の障害物を検出する障害物検出部と、を備える。【選択図】図１

Description

本発明は、圃場へ向けられた撮像装置を備える農作業機に関する。

特許文献１には、自動走行が可能な農作業機（特許文献１では「コンバイン」）の発明が記載されている。

実開平２−１０７９１１号公報

特許文献１には、機体周辺の障害物を検出することについては記載されていない。ここで、特許文献１に記載の農作業機において、圃場へ向けられた撮像装置を備えると共に、撮像装置による撮影画像に基づいて機体周辺の障害物を検出する構成とすることが考えられる。

しかしながら、この構成においては、霧や土埃が発生している場合、撮影画像が不鮮明となる事態が想定される。そして、撮影画像が不鮮明である場合には、障害物の検出精度が低下することが想定される。

本発明の目的は、障害物の検出精度が良好な農作業機を提供することである。

本発明の特徴は、自動走行可能な農作業機であって、圃場へ向けられた撮像装置と、前記撮像装置とは異なる種類のセンサであると共に、圃場へ向けられた検知装置と、前記撮像装置による撮影画像と、前記検知装置による検知結果と、のうちの少なくとも何れか一方に基づいて機体周辺の障害物を検出する障害物検出部と、を備えることにある。

本発明であれば、例えば撮像装置による撮影画像が不鮮明である場合等、撮像装置による撮影画像のみに基づく障害物検出の精度が低下しやすい状況においては、検知装置による検知結果に基づいて、機体周辺の障害物を検出することができる。

従って、本発明であれば、撮影画像のみに基づく障害物検出の精度が低下しやすい状況において、障害物の検出精度が低下しにくい農作業機を実現できる。

即ち、本発明であれば、障害物の検出精度が良好な農作業機を実現できる。

さらに、本発明において、所定の装置を制御する装置制御部を備え、前記装置制御部は、前記障害物検出部により障害物が検出された場合、障害物が検出されたことに応じた制御である検出時制御を行うと好適である。

この構成によれば、障害物が検出された場合に適切な制御が行われる農作業機を実現できる。

さらに、本発明において、前記障害物検出部は、前記撮像装置による撮影画像に基づいて機体周辺の障害物を検出する第１検出部と、前記検知装置による検知結果に基づいて機体周辺の障害物を検出する第２検出部と、を有しており、前記障害物検出部は、前記第１検出部により障害物が検出されず、且つ、前記第２検出部により障害物が検出されなかった場合、障害物が検出されたことを示す信号を出力せず、前記障害物検出部は、前記第１検出部と前記第２検出部とのうちの何れか一方のみにより障害物が検出された場合、障害物が検出されたことを示す信号を出力し、前記障害物検出部は、前記第１検出部と前記第２検出部との両方により障害物が検出された場合、障害物が検出されたことを示す信号を出力すると好適である。

この構成によれば、障害物検出部は、第１検出部と第２検出部とのうちの何れか一方のみにより障害物が検出された場合、障害物が検出されたことを示す信号を出力する。そのため、第１検出部と第２検出部とのうちの何れか一方のみにより障害物が検出された場合に障害物が検出されたことを示す信号が出力されない構成に比べて、障害物検出部による検出漏れを少なくすることができる。

さらに、本発明において、前記撮像装置による撮影状態が正常であるか否かを判定する状態判定部を備え、前記状態判定部により、前記撮像装置による撮影状態が正常でないと判定された場合、前記障害物検出部は、前記検知装置による検知結果に基づいて機体周辺の障害物を検出すると好適である。

この構成によれば、撮像装置による撮影状態が正常でない場合に、検知装置による検知結果に基づく障害物検出が行われる。従って、この構成によれば、撮像装置による撮影状態が正常でない場合であっても、障害物の検出精度が低下しにくい農作業機を実現できる。

さらに、本発明において、前記状態判定部は、前記撮像装置による撮影状態を示す値と、前記撮像装置による撮影画像と、のうちの少なくとも何れか一方に基づいて前記撮像装置による撮影状態が正常であるか否かを判定すると好適である。

この構成によれば、状態判定部が、撮像装置による撮影状態が正常であるか否かを精度良く判定しやすい。これにより、撮像装置による撮影状態が正常でない場合に、検知装置による検知結果に基づく障害物検出が確実に行われやすい農作業機を実現できる。

さらに、本発明において、前記検知装置は、視野内の温度分布を検知する温度分布センサであると好適である。

この構成によれば、例えば撮像装置による撮影画像が不鮮明である場合等、撮影画像のみに基づく障害物検出の精度が低下しやすい状況においては、温度分布センサによる検知結果に基づいて、機体周辺の障害物を精度良く検出することができる。

さらに、本発明において、前記検知装置は、短波赤外線を検知する短波赤外線センサであると好適である。

この構成によれば、例えば撮像装置による撮影画像が不鮮明である場合等、撮影画像のみに基づく障害物検出の精度が低下しやすい状況においては、短波赤外線センサによる検知結果に基づいて、機体周辺の障害物を精度良く検出することができる。

さらに、本発明において、前記障害物検出部は、前記撮像装置による撮影画像に基づいて機体周辺の障害物を検出する第１検出部を有しており、前記第１検出部は、深層学習を用いて学習されたニューラルネットワークを利用することによって機体周辺の障害物を検出すると好適である。

この構成によれば、撮像装置による撮影画像に基づく障害物検出を、深層学習を用いて学習されたニューラルネットワークによって、精度良く行うことが可能となる。

さらに、本発明において、前記障害物検出部は、前記検知装置による検知結果に基づいて機体周辺の障害物を検出する第２検出部を有しており、前記第２検出部は、深層学習を用いて学習されたニューラルネットワークを利用することによって機体周辺の障害物を検出すると好適である。

この構成によれば、検知装置による検知結果に基づく障害物検出を、深層学習を用いて学習されたニューラルネットワークによって、精度良く行うことが可能となる。

コンバインの左側面図である。 コンバインの構成及び視野領域を示す平面図である。 制御部に関する構成を示すブロック図である。 第１検出部による障害物検出の流れを示す図である。 第２検出部による障害物検出の流れを示す図である。

本発明を実施するための形態について、図面に基づき説明する。尚、以下の説明においては、特に断りがない限り、図１及び図２に示す矢印Ｆの方向を「前」、矢印Ｂの方向を「後」とする。また、図２に示す矢印Ｌの方向を「左」、矢印Ｒの方向を「右」とする。また、図１に示す矢印Ｕの方向を「上」、矢印Ｄの方向を「下」とする。

〔コンバインの全体構成〕
図１及び図２に示すように、普通型のコンバイン１（本発明に係る「農作業機」に相当）は、クローラ式の走行装置１１（本発明に係る「所定の装置」に相当）、運転部１２、脱穀装置１３、穀粒タンク１４、収穫装置１５、搬送装置１６、穀粒排出装置１８、衛星測位モジュール８０を備えている。

走行装置１１は、コンバイン１における下部に備えられている。また、走行装置１１は、エンジン（図示せず）からの動力によって駆動する。そして、コンバイン１は、走行装置１１によって自走可能である。

また、運転部１２、脱穀装置１３、穀粒タンク１４は、走行装置１１よりも上側に備えられている。運転部１２には、コンバイン１の作業を監視するオペレータが搭乗可能である。尚、オペレータは、コンバイン１の機外からコンバイン１の作業を監視していても良い。

穀粒排出装置１８は、脱穀装置１３及び穀粒タンク１４よりも上側に設けられている。また、衛星測位モジュール８０は、運転部１２の上面に取り付けられている。

収穫装置１５は、コンバイン１における前部に備えられている。そして、搬送装置１６は、収穫装置１５の後端部と脱穀装置１３の前端部とに亘る状態で設けられている。

収穫装置１５は、収穫対象の植立穀稈を掻き込むと共に、圃場の植立穀稈を刈り取る。これにより、収穫装置１５は、圃場の穀物を収穫する。そして、コンバイン１は、収穫装置１５によって圃場の植立穀稈を刈り取りながら走行装置１１によって走行する刈取走行が可能である。

収穫装置１５により刈り取られた刈取穀稈は、搬送装置１６によって脱穀装置１３へ搬送される。脱穀装置１３において、刈取穀稈は脱穀処理される。脱穀処理により得られた穀粒は、穀粒タンク１４に貯留される。穀粒タンク１４に貯留された穀粒は、必要に応じて、穀粒排出装置１８によって機外に排出される。

〔自動走行に関する構成〕
図３に示すように、コンバイン１は、制御部３０を備えている。制御部３０は、走行制御部３５（本発明に係る「装置制御部」に相当）を有している。

また、図１に示すように、衛星測位モジュール８０は、ＧＰＳ（グローバル・ポジショニング・システム）で用いられる人工衛星ＧＳからのＧＰＳ信号を受信する。そして、図３に示すように、衛星測位モジュール８０は、受信したＧＰＳ信号に基づいて、コンバイン１の自車位置を示す測位データを走行制御部３５へ送る。

走行制御部３５は、衛星測位モジュール８０により出力された測位データに基づいて、コンバイン１の位置座標を経時的に算出する。そして、走行制御部３５は、算出されたコンバイン１の経時的な位置座標と、事前に設定された走行経路と、に基づいて、自動走行を行う。

より具体的には、走行制御部３５は、走行経路に沿った自動走行によって刈取走行が行われるように、走行装置１１を制御する。

このように、コンバイン１は、自動走行可能である。

尚、運転部１２には、各種の操作部材（図示せず）が配置されている。運転部１２にオペレータが搭乗している場合、オペレータは、これらの操作部材によって、コンバイン１の走行を制御することができる。即ち、コンバイン１は、自動走行だけではなく、手動走行も可能である。

〔障害物検出に関する構成〕
図１及び図２に示すように、コンバイン１は、可視光カメラ２１（本発明に係る「撮像装置」に相当）及び温度分布センサ２２（本発明に係る「検知装置」に相当）を備えている。

可視光カメラ２１は、可視光を検知することにより、可視光の撮影画像を取得することができる。また、温度分布センサ２２は、視野内の温度分布を検知する。即ち、温度分布センサ２２は、可視光カメラ２１とは異なる種類のセンサである。

可視光カメラ２１及び温度分布センサ２２は、互いに隣接した状態で、穀粒排出装置１８の前端に取り付けられている。そして、可視光カメラ２１及び温度分布センサ２２は、何れも、圃場へ向けられている。

平面視における可視光カメラ２１及び温度分布センサ２２の視野は、何れも、図２に示す視野領域Ｓである。視野領域Ｓは、圃場の未刈領域ＣＡにおけるコンバイン１の左前方の位置を中心とした円形の領域である。

尚、本発明はこれに限定されず、視野領域Ｓは、円形以外のいかなる形状の領域であっても良い。

図２においては、既刈領域ＳＡが示されている。既刈領域ＳＡは、コンバイン１よりも右側に位置している。また、未刈領域ＣＡは、コンバイン１よりも前側及び左側に位置している。

図３に示すように、制御部３０は、障害物検出部３４を有している。また、障害物検出部３４は、第１検出部３１及び第２検出部３２を有している。

図３に示すように、可視光カメラ２１による撮影画像は、第１検出部３１へ送られる。第１検出部３１は、可視光カメラ２１による撮影画像に基づいて機体周辺の障害物を検出する。このとき、第１検出部３１は、深層学習を用いて学習されたニューラルネットワークを利用することによって機体周辺の障害物を検出する。

図４には、第１検出部３１による障害物検出の流れが示されている。以下では、第１検出部３１における検出対象物が人物であるとして、第１検出部３１による障害物検出について説明する。

図４に示すように、第１検出部３１には、可視光カメラ２１による撮影画像に含まれる各画素の画素値が入力される。そして、第１検出部３１から、推定結果（検出結果）を示すデータが出力される。このデータには、人物の存在領域と、その推定確率が含まれている。

図４における推定結果には、人物の存在領域である人物領域Ｆ１が矩形の枠で示されている。人物領域Ｆ１には、推定確率がリンクされている。また、人物領域Ｆ１は、４つのコーナ点により規定される。撮影画像におけるこれら４つのコーナ点の座標位置も、推定結果に含まれている。尚、撮影画像において検出対象物が推定されない場合には、人物領域Ｆ１は出力されず、その推定確率はゼロとなる。

以上で説明した構成により、第１検出部３１において、視野領域Ｓ内に位置する障害物が検出される。

また、図３に示すように、温度分布センサ２２による検知結果は、第２検出部３２へ送られる。第２検出部３２は、温度分布センサ２２による検知結果に基づいて機体周辺の障害物を検出する。このとき、第２検出部３２は、深層学習を用いて学習されたニューラルネットワークを利用することによって機体周辺の障害物を検出する。

図５には、第２検出部３２による障害物検出の流れが示されている。以下では、第２検出部３２における検出対象物が人物であるとして、第２検出部３２による障害物検出について説明する。

図５に示すように、第２検出部３２には、温度分布センサ２２による検知結果が、温度分布を示す撮影画像として入力される。このとき、温度分布を示す撮影画像に含まれる各画素の画素値が、第２検出部３２に入力される。そして、第２検出部３２から、推定結果（検出結果）を示すデータが出力される。このデータには、人物の存在領域と、その推定確率が含まれている。

図５における推定結果には、人物の存在領域である人物領域Ｆ２が矩形の枠で示されている。人物領域Ｆ２には、推定確率がリンクされている。また、人物領域Ｆ２は、４つのコーナ点により規定される。撮影画像におけるこれら４つのコーナ点の座標位置も、推定結果に含まれている。尚、撮影画像において検出対象物が推定されない場合には、人物領域Ｆ２は出力されず、その推定確率はゼロとなる。

以上で説明した構成により、第２検出部３２において、視野領域Ｓ内に位置する障害物が検出される。

そして、障害物検出部３４は、第１検出部３１により障害物が検出されず、且つ、第２検出部３２により障害物が検出されなかった場合、障害物が検出されたことを示す信号を出力しない。

また、障害物検出部３４は、第１検出部３１と第２検出部３２とのうちの何れか一方のみにより障害物が検出された場合、障害物が検出されたことを示す信号を出力する。

また、障害物検出部３４は、第１検出部３１と第２検出部３２との両方により障害物が検出された場合、障害物が検出されたことを示す信号を出力する。

以上で説明した構成により、障害物検出部３４は、可視光カメラ２１による撮影画像と、温度分布センサ２２による検知結果と、に基づいて、機体周辺の障害物を検出することが可能である。

〔障害物が検出された場合の制御について〕
図３に示すように、コンバイン１は、ホーン４１（本発明に係る「所定の装置」に相当）を備えている。また、制御部３０は、警告制御部３６（本発明に係る「装置制御部」に相当）及び報知制御部３７（本発明に係る「装置制御部」に相当）を有している。

障害物が検出されたことを示す信号は、障害物検出部３４から、走行制御部３５、警告制御部３６、報知制御部３７へ送られる。以下では、障害物が検出されたことを示す信号を検出信号と呼称し、走行制御部３５、警告制御部３６、報知制御部３７による制御について説明する。

走行制御部３５は、検出信号を受け取ると、検出時停止制御（本発明に係る「検出時制御」に相当）を実行する。検出時停止制御は、障害物が検出されたことに応じた制御である。

具体的には、検出時停止制御は、走行装置１１の駆動を停止する制御である。従って、検出時停止制御が実行されると、コンバイン１は走行停止する。

このように、走行制御部３５は、障害物検出部３４により障害物が検出された場合、障害物が検出されたことに応じた制御である検出時停止制御を行う。

また、警告制御部３６は、ホーン４１（本発明に係る「所定の装置」に相当）を制御する。そして、警告制御部３６は、検出信号を受け取ると、検出時警告制御（本発明に係る「検出時制御」に相当）を実行する。検出時警告制御は、障害物が検出されたことに応じた制御である。

具体的には、検出時警告制御は、ホーン４１から警告音を発する制御である。従って、検出時警告制御が実行されると、ホーン４１が警告音を発する。

これにより、検出された障害物が人物や鳥獣である場合に、その障害物に対して警告を行うことができる。

このように、警告制御部３６は、障害物検出部３４により障害物が検出された場合、障害物が検出されたことに応じた制御である検出時警告制御を行う。

また、報知制御部３７は、携帯通信端末ＣＴ（本発明に係る「所定の装置」に相当）を制御する。尚、携帯通信端末ＣＴは、コンバイン１の外部に位置する。そして、報知制御部３７は、検出信号を受け取ると、検出時報知制御（本発明に係る「検出時制御」に相当）を実行する。検出時報知制御は、障害物が検出されたことに応じた制御である。

具体的には、検出時報知制御は、携帯通信端末ＣＴに報知画面を表示させる制御である。従って、検出時報知制御が実行されると、携帯通信端末ＣＴに報知画面が表示される。尚、この報知画面は、障害物が検出されたことを報知するメッセージを含んでいる。

これにより、携帯通信端末ＣＴの所持者に、障害物が検出されたことが報知される。尚、例えば、携帯通信端末ＣＴの所持者は、コンバイン１の機外からコンバイン１の作業を監視しているオペレータであっても良い。

このように、報知制御部３７は、障害物検出部３４により障害物が検出された場合、障害物が検出されたことに応じた制御である検出時報知制御を行う。

〔状態判定部に関する構成〕
図３に示すように、コンバイン１は、温度センサ２３及び照度センサ２４を備えている。また、制御部３０は、状態判定部３３を有している。

温度センサ２３は、可視光カメラ２１付近の温度を検知する。また、照度センサ２４は、コンバイン１の機外の照度を検知する。

そして、状態判定部３３は、可視光カメラ２１による撮影状態が正常であるか否かを判定する。以下では、状態判定部３３に関する構成について説明する。

図３に示すように、可視光カメラ２１による撮影画像が、状態判定部３３へ送られる。状態判定部３３は、可視光カメラ２１による撮影画像に基づいて、可視光カメラ２１による撮影状態が正常であるか否かを判定可能に構成されている。

詳述すると、可視光カメラ２１は、所定の時間間隔毎に撮影画像を取得する。そして、状態判定部３３は、それらの撮影画像を比較することにより、時間が経過しているにもかかわらず画素値が実質的に変化していない領域を検出する。以下では、この領域を不変領域と呼称する。

撮影画像における不変領域が所定面積以上である場合、状態判定部３３は、可視光カメラ２１による撮影状態が正常でないと判定する。

例えば、可視光カメラ２１に比較的大きな汚れが付着している場合には、所定面積以上の不変領域が検出されることとなる。その結果、状態判定部３３によって、可視光カメラ２１による撮影状態が正常でないと判定される。

また、上述の通り、温度センサ２３は、可視光カメラ２１付近の温度を検知する。図３に示すように、温度センサ２３による検知結果は、状態判定部３３へ送られる。

ここで、可視光カメラ２１付近の温度が比較的高温である場合、可視光カメラ２１による撮影画像に多くのノイズが含まれやすい。そのため、可視光カメラ２１付近の温度は、可視光カメラ２１による撮影状態を示す値である。

状態判定部３３は、温度センサ２３による検知結果に基づいて、可視光カメラ２１による撮影状態が正常であるか否かを判定可能に構成されている。温度センサ２３による検知結果が、所定の温度以上である場合、状態判定部３３は、可視光カメラ２１による撮影状態が正常でないと判定する。

また、上述の通り、照度センサ２４は、コンバイン１の機外の照度を検知する。図３に示すように、照度センサ２４による検知結果は、状態判定部３３へ送られる。

ここで、コンバイン１の機外の照度が比較的高い場合、または、比較的低い場合には、可視光カメラ２１による撮影画像が不鮮明になりやすい。そのため、コンバイン１の機外の照度は、可視光カメラ２１による撮影状態を示す値である。

状態判定部３３は、照度センサ２４による検知結果に基づいて、可視光カメラ２１による撮影状態が正常であるか否かを判定可能に構成されている。照度センサ２４による検知結果が、所定の上限照度よりも高い場合、状態判定部３３は、可視光カメラ２１による撮影状態が正常でないと判定する。また、照度センサ２４による検知結果が、所定の下限照度未満である場合、状態判定部３３は、可視光カメラ２１による撮影状態が正常でないと判定する。

また、状態判定部３３は、可視光カメラ２１による撮影画像、温度センサ２３による検知結果、照度センサ２４による検知結果に基づく上述の各判定において、可視光カメラ２１による撮影状態が正常でないと判定されなかった場合、可視光カメラ２１による撮影状態が正常であると判定する。

尚、本発明は以上で説明した構成に限定されない。例えば、状態判定部３３は、可視光カメラ２１による撮影画像、温度センサ２３による検知結果、照度センサ２４による検知結果のうち、何れか１つまたは２つに基づいて、可視光カメラ２１による撮影状態が正常であるか否かを判定するように構成されていても良い。

このように、状態判定部３３は、可視光カメラ２１による撮影状態を示す値と、可視光カメラ２１による撮影画像と、のうちの少なくとも何れか一方に基づいて可視光カメラ２１による撮影状態が正常であるか否かを判定する。

図３に示すように、状態判定部３３による判定結果は、障害物検出部３４へ送られる。

障害物検出部３４は、状態判定部３３によって可視光カメラ２１による撮影状態が正常であると判定されている間、第１検出部３１と第２検出部３２とにおいて、障害物検出を行う。

また、障害物検出部３４は、状態判定部３３によって可視光カメラ２１による撮影状態が正常でないと判定された場合、第１検出部３１における障害物検出を中止する。この場合、障害物検出部３４は、第１検出部３１と第２検出部３２とのうち、第２検出部３２のみにおいて障害物検出を行うこととなる。

即ち、この場合、障害物検出部３４は、可視光カメラ２１による撮影画像と、温度分布センサ２２による検知結果と、のうち、温度分布センサ２２による検知結果のみに基づいて、機体周辺の障害物を検出する。

このように、状態判定部３３により、可視光カメラ２１による撮影状態が正常でないと判定された場合、障害物検出部３４は、温度分布センサ２２による検知結果に基づいて機体周辺の障害物を検出する。

以上で説明した構成により、障害物検出部３４は、可視光カメラ２１による撮影画像と、温度分布センサ２２による検知結果と、のうち、温度分布センサ２２による検知結果のみに基づいて、機体周辺の障害物を検出することが可能である。また、上述の通り、障害物検出部３４は、可視光カメラ２１による撮影画像と、温度分布センサ２２による検知結果と、に基づいて、機体周辺の障害物を検出することが可能である。

即ち、障害物検出部３４は、可視光カメラ２１による撮影画像と、温度分布センサ２２による検知結果と、のうちの少なくとも何れか一方に基づいて機体周辺の障害物を検出するように構成されている。

以上で説明した構成であれば、例えば可視光カメラ２１による撮影画像が不鮮明である場合等、可視光カメラ２１による撮影画像のみに基づく障害物検出の精度が低下しやすい状況においては、温度分布センサ２２による検知結果に基づいて、機体周辺の障害物を検出することができる。

従って、以上で説明した構成であれば、撮影画像のみに基づく障害物検出の精度が低下しやすい状況において、障害物の検出精度が低下しにくいコンバイン１を実現できる。

即ち、以上で説明した構成であれば、障害物の検出精度が良好なコンバイン１を実現できる。

尚、以上に記載した実施形態は一例に過ぎないのであり、本発明はこれに限定されるものではなく、適宜変更が可能である。

〔その他の実施形態〕
（１）温度分布センサ２２に代えて、短波赤外線を検知する短波赤外線センサが備えられていても良い。この場合、短波赤外線センサは、本発明に係る「検知装置」に相当する。

（２）走行装置１１は、ホイール式であっても良いし、セミクローラ式であっても良い。

（３）上記実施形態においては、本発明に係る「撮像装置」に相当する部材として、可視光カメラ２１が備えられている。しかしながら、本発明はこれに限定されず、撮影画像を取得可能なセンサであれば、可視光カメラ２１に代えて別のセンサが備えられていても良い。

例えば、可視光カメラ２１に代えて、赤外線カメラが備えられていても良い。この場合、本発明に係る「検知装置」に相当する部材として、赤外線カメラとは異なる種類のセンサである限り、いかなる種類のセンサが設けられていても良い。

また、例えば、可視光カメラ２１に代えて、紫外線カメラが備えられていても良い。この場合、本発明に係る「検知装置」に相当する部材として、紫外線カメラとは異なる種類のセンサである限り、いかなる種類のセンサが設けられていても良い。

（４）障害物検出部３４は、状態判定部３３によって可視光カメラ２１による撮影状態が正常であると判定されている間、第１検出部３１と第２検出部３２とのうち、第１検出部３１のみにおいて障害物検出を行うように構成されていても良い。

（５）第１検出部３１と第２検出部３２とは、１つの検出部として統合されていても良い。この場合、この検出部は、深層学習を用いて学習されたニューラルネットワークを利用することによって機体周辺の障害物を検出するように構成されていても良いし、ニューラルネットワークを利用しない方法によって機体周辺の障害物を検出するように構成されていても良い。

（６）第１検出部３１は、ニューラルネットワークを利用しない方法によって機体周辺の障害物を検出するように構成されていても良い。

（７）第２検出部３２は、ニューラルネットワークを利用しない方法によって機体周辺の障害物を検出するように構成されていても良い。

（８）温度センサ２３は設けられていなくても良い。

（９）照度センサ２４は設けられていなくても良い。

（１０）状態判定部３３は設けられていなくても良い。

（１１）障害物検出部３４は、第１検出部３１と第２検出部３２とのうちの何れか一方のみにより障害物が検出された場合、障害物が検出されたことを示す信号を出力しないように構成されていても良い。

（１２）走行制御部３５は、障害物検出部３４により障害物が検出された場合に検出時停止制御を行わないように構成されていても良い。

（１３）警告制御部３６は、障害物検出部３４により障害物が検出された場合に検出時警告制御を行わないように構成されていても良い。

（１４）警告制御部３６は設けられていなくても良い。

（１５）報知制御部３７は、障害物検出部３４により障害物が検出された場合に検出時報知制御を行わないように構成されていても良い。

（１６）報知制御部３７は設けられていなくても良い。

（１７）第１検出部３１における検出対象物は、人物以外のいかなる対象物であっても良いし、複数種類の対象物であっても良い。

（１８）第２検出部３２における検出対象物は、人物以外のいかなる対象物であっても良いし、複数種類の対象物であっても良い。

（１９）報知制御部３７は、検出時報知制御において、運転部１２に設けられた表示装置に報知画面を表示させるように構成されていても良い。この場合、表示装置は、本発明に係る「所定の装置」に相当する。これにより、運転部１２に搭乗しているオペレータに、障害物が検出されたことが報知される。

（２０）報知制御部３７は、検出時報知制御において、コンバイン１の外部に位置する管理センタに設置された管理端末に報知画面を表示させるように構成されていても良い。この場合、管理端末は、本発明に係る「所定の装置」に相当する。これにより、管理端末の使用者に、障害物が検出されたことが報知される。

本発明は、普通型のコンバインだけでなく、自脱型のコンバイン、トウモロコシ収穫機、田植機、トラクタ等の種々の農作業機に利用可能である。

１ コンバイン（農作業機）
１１ 走行装置（所定の装置）
２１ 可視光カメラ（撮像装置）
２２ 温度分布センサ（検知装置）
３１ 第１検出部
３２ 第２検出部
３３ 状態判定部
３４ 障害物検出部
３５ 走行制御部（装置制御部）
３６ 警告制御部（装置制御部）
３７ 報知制御部（装置制御部）
４１ ホーン（所定の装置）
ＣＴ 携帯通信端末（所定の装置）

Claims (9)

1. 自動走行可能な農作業機であって、
   圃場へ向けられた撮像装置と、
   前記撮像装置とは異なる種類のセンサであると共に、圃場へ向けられた検知装置と、
   前記撮像装置による撮影画像と、前記検知装置による検知結果と、のうちの少なくとも何れか一方に基づいて機体周辺の障害物を検出する障害物検出部と、を備える農作業機。
2. 所定の装置を制御する装置制御部を備え、
   前記装置制御部は、前記障害物検出部により障害物が検出された場合、障害物が検出されたことに応じた制御である検出時制御を行う請求項１に記載の農作業機。
3. 前記障害物検出部は、前記撮像装置による撮影画像に基づいて機体周辺の障害物を検出する第１検出部と、前記検知装置による検知結果に基づいて機体周辺の障害物を検出する第２検出部と、を有しており、
   前記障害物検出部は、前記第１検出部により障害物が検出されず、且つ、前記第２検出部により障害物が検出されなかった場合、障害物が検出されたことを示す信号を出力せず、
   前記障害物検出部は、前記第１検出部と前記第２検出部とのうちの何れか一方のみにより障害物が検出された場合、障害物が検出されたことを示す信号を出力し、
   前記障害物検出部は、前記第１検出部と前記第２検出部との両方により障害物が検出された場合、障害物が検出されたことを示す信号を出力する請求項１または２に記載の農作業機。
4. 前記撮像装置による撮影状態が正常であるか否かを判定する状態判定部を備え、
   前記状態判定部により、前記撮像装置による撮影状態が正常でないと判定された場合、前記障害物検出部は、前記検知装置による検知結果に基づいて機体周辺の障害物を検出する請求項１から３の何れか一項に記載の農作業機。
5. 前記状態判定部は、前記撮像装置による撮影状態を示す値と、前記撮像装置による撮影画像と、のうちの少なくとも何れか一方に基づいて前記撮像装置による撮影状態が正常であるか否かを判定する請求項４に記載の農作業機。
6. 前記検知装置は、視野内の温度分布を検知する温度分布センサである請求項１から５の何れか一項に記載の農作業機。
7. 前記検知装置は、短波赤外線を検知する短波赤外線センサである請求項１から５の何れか一項に記載の農作業機。
8. 前記障害物検出部は、前記撮像装置による撮影画像に基づいて機体周辺の障害物を検出する第１検出部を有しており、
   前記第１検出部は、深層学習を用いて学習されたニューラルネットワークを利用することによって機体周辺の障害物を検出する請求項１から７の何れか一項に記載の農作業機。
9. 前記障害物検出部は、前記検知装置による検知結果に基づいて機体周辺の障害物を検出する第２検出部を有しており、
   前記第２検出部は、深層学習を用いて学習されたニューラルネットワークを利用することによって機体周辺の障害物を検出する請求項１から８の何れか一項に記載の農作業機。

Images