JP2021007386A - 自動走行システム - Google Patents

Abstract

【課題】植立作物の異常状態に応じて走行経路を設定し、農作業機に自動作業走行を行わせることが可能なシステムを提供する。【解決手段】自動走行システムは、圃場の植立作物に対して作業を行う作業部を備え圃場で作業走行を行う農作業機と、衛星測位モジュール８０からの測位データに基づいて農作業機の機体位置を算出する機体位置算出部６６と、機体位置を用いて農作業機を自動走行させる自動走行制御部６１と、植立作物の異常状態を示す植立作物状態情報を出力する情報出力部５０と、植立作物状態情報に基づいて、農作業機が行う自動作業走行のための走行経路を設定する走行経路設定部６４と、を備える。【選択図】図５

Description

本発明は、自動走行システムに関する。

収穫時期の植立穀稈は、正常である直立状態だけでなく、倒伏状態や雑草混在状態などの異常な状態となる場合がある。特許文献１に記載された収穫機では、植立穀稈の状態に応じた装置の制御が行われる。詳しくは、この収穫機には、刈取部の前方の穀稈を撮影するテレビカメラと画像処理装置とが備えられている。画像処理装置は、テレビカメラからの画像と、予め記憶させておいた種々の穀稈の植立状態を示す画像とを比較して、穀稈の植立状態を検出する。刈取部前方の穀稈の一部が倒伏していることが検出されると、倒伏穀稈に対する刈取性能を向上させるために、走行速度を減速すると共に、掻込みリールが下方に移動する。

特許文献２による収穫機では、深層学習を採用したニューラルネットワーク技術を用いて構築された画像認識モジュールによって、倒伏穀稈の存在が推定される。更に、衛星測位によって算出される機体位置に基づいて、倒伏穀稈の地図上の位置も求められる。その結果、地図上における倒伏穀稈領域の分布と、地図上における農作物の作物評価値の分布とを対比することで、次回の農作において、倒伏穀稈領域に対する施肥量を低減させたり、植付け量を調整したりすることも可能となる。

特開平１１−１５５３４０号公報 特開２０１９−００８５３６号公報

植立穀稈が異常状態にある場合、農作業機の走行経路を工夫することによりメリットが生じる可能性がある。例えば、植立穀稈が倒伏状態にある場合、穀稈の倒伏方向と農作業機（収穫機）の進行方向との関係を適切にすることにより、作業効率を向上できる可能性がある。例えば、植立穀稈が雑草混在状態にある場合、雑草が存在する領域を避けることにより、収穫物への雑草の混入（収穫機の場合）や、雑草への施肥（管理機の場合）を抑制できる可能性がある。

特許文献１による倒伏穀稈検出技術では、予め記憶させておいた種々の穀稈の植立状態を示す画像とカメラからの撮影画像とを比較することで、撮影画像に倒伏穀稈が含まれているかどうかが判定される。この技術では、植立穀稈が倒伏しているか否かだけが推定され、倒伏方向は推定することができない。また、特許文献１において、穀稈の植立状態に応じた農作業機の走行経路の設定や変更は、開示も示唆もされていない。

特許文献２による倒伏穀稈検出技術では、近年、画像認識において大きな成果を出している深層学習を採用したニューラルネットワーク技術が用いられているので、種々の穀稈の植立状態の検出が可能となる。しかし、特許文献２においても、穀稈の植立状態に応じた農作業機の走行経路の設定や変更は、開示も示唆もされていない。

上記実情に鑑みて、本発明の課題は、植立作物の異常状態に応じて走行経路を設定し、農作業機に自動作業走行を行わせることが可能なシステムを提供することである。

本発明による自動走行システムは、圃場の植立作物に対して作業を行う作業部を備え圃場で作業走行を行う農作業機と、衛星測位モジュールからの測位データに基づいて前記農作業機の機体位置を算出する機体位置算出部と、前記機体位置を用いて前記農作業機を自動走行させる自動走行制御部と、前記植立作物の異常状態を示す植立作物状態情報を出力する情報出力部と、前記植立作物状態情報に基づいて、前記農作業機が行う自動作業走行のための走行経路を設定する走行経路設定部と、を備える。

この構成によれば、情報出力部から出力された植立作物状態情報に基づいて、自動作業走行のための走行経路が設定されるので、植立作物の異常状態に適した走行経路で農作業機が作業走行を行うことができる。植立作物の異常状態の種別と、当該種別に適した走行経路（あるいは、走行経路の決定方法）を予め決めて、走行経路設定部に登録しておくとよい。なお、ここでの走行経路に関して、一方方向の走行経路と他方方向の走行経路とが別のものとして取り扱われている。

本発明の好適な実施形態の１つでは、前記情報出力部は、前記植立作物を撮影した撮影画像に基づいて前記植立作物の異常状態と当該異常状態が発生している位置とを検知し、検知結果に基づいて前記植立作物状態情報を出力する。

この構成によれば、撮影画像に基づいて異常状態が発生している位置が検知されるので、農作業機の走行経路が適切に設定されて、異常状態となっている植立作物にとって適切な走行経路で作業走行を行うことができる。

本発明の好適な実施形態の１つでは、自動走行システムは、前記植立作物を撮影する撮影部を備え、前記情報出力部は、前記撮影部による撮影画像と、前記撮影部の位置と、前記撮影部の画角と、に基づいて前記植立作物の異常状態と当該異常状態が発生している位置とを検知し、検知結果に基づいて前記植立作物状態情報を出力する。

この構成によれば、撮影部の位置（撮影中心位置）と撮影画角とから、撮影画像に含まれる圃場領域が算出できるので、当該撮影画像から情報出力部が植立作物の異常状態と撮影画像における異常状態が発生している位置とを検知した場合、異常状態が発生している位置と農作業機との位置関係も算出できる。この推定結果に基づいて、走行経路を設定することで、異常状態となっている植立作物にとって適切な走行経路で作業走行を行うことができる。

本発明の好適な実施形態の１つでは、前記撮影部が前記農作業機に設けられている。

この構成によれば、撮影部が農作業機に設けられているので、農作業機を走行させながら圃場の撮影画像を取得することができる。これにより、異常状態を適切に検出し、異常状態となっている植立作物にとって適切な走行経路で作業走行を行うことができる。

植立作物に対する作業（例えば、収穫作業）を困難にする植立作物の異常状態の一つは、植立作物が倒伏している状態である。例えば、倒伏した植立作物（倒伏作物）の収穫に関しては、収穫走行の方向を適切に選択する方法、収穫走行の最後に行う方法、機械刈りを諦めて手刈りを用いる方法などがあるので、適切に倒伏作物の位置を知ることが重要である。このことから、本発明の好適な実施形態の１つでは、前記情報出力部は、前記異常状態として前記植立作物が倒伏状態である倒伏作物を検知するように構成されている。

植立作物の異常状態が倒伏作物であり、その倒伏作物の倒伏方向がある程度揃っている場合には、倒伏作物に対する適切な収穫方向（追い刈りが適切である）が知られている。このことから、本発明の好適な実施形態の１つでは、前記情報出力部は、前記倒伏作物の倒伏方向を検知するように構成されている。

植立作物状態情報に基づいて自動作業走行のための走行経路が設定されるので、植立作物が異常状態であっても、その異常状態に応じて適正な作業走行を行うことができる。詳しくは、次の２つの方法が好適である。

（１）圃場に対する作業走行において、常時、情報出力部による植立作物の異常状態がチェックされる。異常状態が検知されると、その異常状態が発生している領域を適正な方向で走行するために、予め設定されている走行経路を変更する。この（１）の方法を実践するために、本発明の好適な実施形態の１つでは、前記情報出力部は、前記作業走行中に前記撮影部よって取得された前記撮影画像を用いて前記植立作物状態情報を出力し、前記走行経路設定部は、前記植立作物状態情報に基づいて、次の目標となる走行経路（目標走行経路）を決定する。

（２）圃場の収穫作業は、最初に行われる周囲刈りと、その後に行われる中央刈りとによって行われる。周囲刈りでは、圃場の外周領域を手動で（自動であってもよい）作業走行を行う。中央刈りでは、外周領域の内側に位置する内側領域に対して自動走行のための走行経路が算出され、この走行経路に沿って農作業機は自動で作業走行を行う。最初に行われる周囲刈りの際に、情報出力部によって内側領域の植立作物状態情報の作成が可能となる。したがって、周囲刈りが終了すると、内側領域のための走行経路が植立作物状態を考慮して設定することができる。この（２）の方法を実践するために、本発明の好適な実施形態の１つでは、前記情報出力部は、前記圃場の外周領域の植立作物を刈り取る周囲刈り作業走行において前記撮影部よって取得された前記撮影画像を用いて前記植立作物状態情報を出力し、前記走行経路設定部は、前記植立作物状態情報を走行経路作成条件として、前記外周領域の内側に位置する内側領域の前記自動作業走行のための走行経路を算出する。

本発明の好適な実施形態の１つでは、自動走行システムは、前記農作業機から独立して移動可能な移動体を備え、前記撮影部が前記移動体に設けられている。

この構成によれば、農作業機の位置に制約されずに撮影部が撮影を行うことが可能となる。これにより、異常状態を適切に検出し、異常状態となっている植立作物にとって適切な走行経路で作業走行を行うことができる。

本発明の好適な実施形態の１つでは、前記撮影部が、前記農作業機から独立した状態で圃場周辺に配置される。

この構成によれば、農作業機の位置に制約されずに撮影部が撮影を行うことが可能となる。これにより、異常状態を適切に検出し、異常状態となっている植立作物にとって適切な走行経路で作業走行を行うことができる。

本発明の好適な実施形態の１つでは、前記情報出力部は、前記撮影画像を入力画像として植立作物の前記異常状態を出力する、機械学習されたニューラルネットワークを含んでいる。

この構成によれば、異常状態を更に適切に検出し、異常状態となっている植立作物にとって適切な走行経路で作業走行を行うことができる。

本発明の好適な実施形態の１つでは、自動走行システムは、人為操作を受け付ける操作部を備え、前記情報出力部は、前記操作部が受け付けた人為操作に基づいて前記植立作物の異常状態と当該異常状態が発生している位置とを特定し、特定結果に基づいて前記植立作物状態情報を出力する。

この構成によれば、人為操作に基づいて植立作物の異常状態及び位置を確実に特定し、異常状態となっている植立作物にとって適切な走行経路で作業走行を行うことができる。

普通型コンバインの全体側面図である。 普通型コンバインの全体平面図である。 圃場全体における走行経路を例示する説明図である。 内側領域での走行経路を例示する説明図である。 自動走行システムの制御系を示す機能ブロック図である。 機械学習部における出力結果をイメージで説明する説明図である。 倒伏作物領域の検出に伴って設定された走行経路を示す説明図である。 倒伏作物領域の検出に伴う走行経路の変更を示す説明図である。 倒伏作物領域の検出に伴って設定された走行経路を示す説明図である。 作物の倒伏の方向と走行経路との関係を示す説明図である。 トウモロコシ収穫機の全体平面図である。 トウモロコシ収穫機の全体平面図である。 サトウキビ収穫機の全体平面図である。 乗用型管理機の全体平面図である。 普通型コンバインの全体平面図である。 自動走行システムの制御系を示す機能ブロック図である。 自動走行システムの制御系を示す機能ブロック図である。

〔第１実施形態〕
本発明に係る自動走行システムの実施形態が、図面に基づいて以下説明される。自動走行システムは、圃場の植立作物に対して作業を行う収穫部１５（作業部の一例）を備え圃場で作業走行を行う農作業機１と、衛星測位モジュール８０からの測位データに基づいて農作業機１の機体位置を算出する機体位置算出部６６（図５）と、機体位置を用いて農作業機１を自動走行させる走行制御部６１（自動走行制御部の一例）と、植立作物の異常状態を示す植立作物状態情報を出力する植立作物状態検知ユニット５０（情報出力部の一例）と、植立作物状態情報に基づいて、農作業機１が行う自動作業走行のための走行経路を設定する走行経路設定部６４と、を備える。本実施形態では、自動走行システムの構成要素は、全て農作業機１に搭載されている。農作業機１は、収穫機である普通型コンバインである。なお、特に断りがない限り、図１及び図２に示す矢印Ｆの方向を「前」、矢印Ｂの方向を「後」とする。また、図２に示す矢印Ｌの方向を「左」、矢印Ｒの方向を「右」とする。また、図１に示す矢印Ｕの方向を「上」、矢印Ｄの方向を「下」とする。

図１及び図２に示されるように、農作業機１は、クローラ式の走行装置１１、運転部１２、脱穀装置１３、穀粒タンク１４、収穫部１５、搬送装置１６、穀粒排出装置１８、衛星測位モジュール８０を備えている。農作業機１の機体１０は、農作業機１の主な構成要素、例えば運転部１２、脱穀装置１３、穀粒タンク１４などの集合体を意味する。

走行装置１１は、エンジン（図示せず）からの動力によって駆動されるものであっても、電動モータで駆動されるものであってもよい。

運転部１２には、農作業機１の作業を監視するオペレータが搭乗可能である。なお、オペレータは、農作業機１の機外から農作業機１の作業を監視していてもよい。

収穫部１５は機体１０の前部に支持されている。搬送装置１６は収穫部１５よりも後側に隣接して設けられている。収穫部１５は圃場の植立作物を収穫する。植立作物は、例えば稲等の植立穀稈であるが、大豆やトウモロコシ等であってもよい。この構成により、農作業機１は、走行しながら圃場の作物を収穫する。そして、農作業機１は、収穫部１５によって圃場の作物を収穫しながら走行装置１１によって走行する作業走行が可能である。

収穫部１５によって刈り取られた植立作物は刈取作物として、搬送装置１６によって脱穀装置１３へ搬送される。刈取作物は脱穀装置１３によって脱穀処理される。脱穀処理により得られた収穫物としての穀粒は、穀粒タンク１４に貯留される。穀粒タンク１４に貯留された穀粒は、必要に応じて、穀粒排出装置１８によって機外に排出される。穀粒排出装置１８は機体後部の縦軸芯回りに揺動可能に構成されている。即ち、穀粒排出装置１８の排出部が機体１０よりも機体横外側へ張り出して作物を排出可能な排出状態と、穀粒排出装置１８の排出部が機体１０の機体横幅の範囲内に位置する収納状態と、に切換可能なように穀粒排出装置１８は構成されている。穀粒排出装置１８が収納状態である場合、穀粒排出装置１８の排出口部は運転部１２よりも前側に位置すると共に収穫部１５の上方に位置する。

衛星測位モジュール８０が、運転部１２のルーフ部前部における機体左右中央側端部に取り付けられている。衛星測位モジュール８０は、人工衛星ＧＳからのＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）の信号（ＧＰＳ信号を含む）を受信して、機体位置を取得する。なお、衛星測位モジュール８０による衛星航法を補完するために、ジャイロ加速度センサや磁気方位センサを組み込んだ慣性航法ユニットが衛星測位モジュール８０に組み込まれている。もちろん、慣性航法ユニットは、農作業機１において衛星測位モジュール８０と別の箇所に配置されてもよい。

穀粒排出装置１８の排出部の前壁面に撮影部２１が設けられている。撮影部２１は、広角レンズを装着したカラーカメラであって、例えばＣＣＤカメラやＣＭＯＳカメラである。穀粒排出装置１８が収納状態の場合、撮影部２１は、農作業機１の前進方向の前方を、当該穀粒排出口の箇所から前下方の向きで撮像可能に構成されている。このとき、撮影部２１は運転部１２よりも前側に位置し、撮影部２１の前後方向が前下がりに傾斜する状態で穀粒排出装置１８の排出部に支持される。これにより、撮影部２１は、収穫部１５の前端領域における植立作物の状態を近距離で撮像できる。また、この撮影部２１は、圃場に存在する植立作物及び植立作物の刈り跡だけでなく、その他の圃場に存在する物体、例えば、雑草や人物なども撮影可能である。図１及び図２では、符号Ｚ０で示された正常な植立作物群、符号Ｚ１で示された雑草群、符号Ｚ２で示された倒伏作物群、符号Ｚ３で示された人物が模式的に示されている。

この実施形態の農作業機１は自動走行と手動走行との両方で走行可能である。自動走行では、農作業機１は、圃場に設定される走行経路に沿って自動的に作業走行する。図３には、圃場における標準的な収穫作業の一例が示されている。ここでは、農作業機１が圃場に入ると（＃ａ）、周囲刈り作業走行（以下単に周囲刈りと称する）が行われる（＃ｂ）。何周かの周囲刈りが手動又は自動で行われると、この圃場の外周に既作業領域（既刈領域）である外周領域ＳＡが形成されると共に、外周領域ＳＡの内側には、未作業領域（未刈領域）である内側領域ＣＡが形成される（＃ｃ）。次に、内側領域ＣＡである未作業領域（未刈領域）に対して中央刈り作業走行（以下単に中央刈りと称する）を自動で行うために、内側領域ＣＡに走行経路が設定される。この中央刈りに直線走行とＵターン走行とを組み合わせた往復走行が用いられる場合、直線走行のための走行経路が図面横方向に延びる横走行経路パターン（＃ｄ）、又は図面縦方向に延びる縦走行経路パターン（＃ｅ）のいずれかが採用される。なお、この直線走行には、純然たる直線走行だけでなく、直線状の走行、例えば、大きな湾曲線走行、蛇行走行なども含まれている。直線走行のための走行経路は横走行経路パターン又は縦走行経路パターンのいずれかを選択するための判定条件（走行経路作成条件）には、内側領域ＣＡの倒伏作物の倒伏状態、特に倒伏方向が含まれる。したがって、農作業機１が倒伏作物の倒伏方向に向かって走行するように、つまり追い刈りとなるように、走行経路が設定される。

中央刈りの途中で、他の走行経路パターンを用いた走行経路に変更することも可能である。図４では、縦走行経路パターンを用いて設定された走行経路から、途中で、横走行経路パターンを用いて設定された走行経路に変更される例が示されている。

図５には、農作業機１の制御系の機能ブロック図が示されている。この実施形態の制御系は、多数のＥＣＵと呼ばれる電子制御ユニットと、各種動作機器、センサ群やスイッチ群、それらの間のデータ伝送を行う車載ＬＡＮなどの配線網から構成されている。報知デバイス８４は、運転者等に障害物の検出結果や作業走行の状態などの警告を報知するためのデバイスであり、ブザー、ランプ、スピーカ、ディスプレイなどである。

制御ユニット６は、この制御系の中核要素であり、複数のＥＣＵの集合体として示されている。衛星測位モジュール８０からの測位データや撮影部２１からの撮影画像は、配線網を通じて制御ユニット６に入力される。

制御ユニット６は、入出力インタフェースとして、出力処理部６Ｂと入力処理部６Ａとを備えている。出力処理部６Ｂは、車両走行機器群７Ａ及び作業装置機器群７Ｂと接続している。車両走行機器群７Ａには、車両走行に関する制御機器、例えばエンジン制御機器、変速制御機器、制動制御機器、操舵制御機器などが含まれている。作業装置機器群７Ｂには、収穫部１５、搬送装置１６、脱穀装置１３、穀粒排出装置１８における動力制御機器などが含まれている。入力処理部６Ａには、走行系検出センサ群８Ａや作業系検出センサ群８Ｂなどが接続されている。走行系検出センサ群８Ａには、エンジン回転数調整具、アクセルペダル、ブレーキペダル、変速操作具などの状態を検出するセンサが含まれている。作業系検出センサ群８Ｂには、収穫部１５、搬送装置１６、脱穀装置１３、穀粒排出装置１８における装置状態及び作物や穀粒の状態を検出するセンサが含まれている。

制御ユニット６には、走行制御モジュール６０、走行経路設定部６４、障害物回避指令生成部６５、機体位置算出部６６、報知部６７、走行軌跡管理部６８、及び植立作物状態検知ユニット５０が備えられている。具体的には、制御ユニット６は、ＣＰＵ、通信機能、及びストレージ機能（内部記録媒体並びに外部記録媒体に対するドライブユニット及び／又は入出力インタフェース）を備えたコンピュータ装置と、所定のコンピュータプログラムとで構成される。このコンピュータプログラムは、コンピュータ装置を、走行制御モジュール６０、走行経路設定部６４、障害物回避指令生成部６５、機体位置算出部６６、報知部６７、走行軌跡管理部６８、及び植立作物状態検知ユニット５０として機能させる。

機体位置算出部６６は、衛星測位モジュール８０から逐次送られてくる測位データに基づいて、機体１０の少なくとも１つの特定箇所の地図座標（又は圃場座標）である機体位置を算出する。

走行制御モジュール６０には、走行制御部６１と作業制御部６２と走行指令部６３とが備えられている。自動操舵で走行する自動走行モードと、手動操舵で走行する手動操舵モードとのいずれかを選択する走行モードスイッチ（非図示）が運転部１２内に設けられている。この走行モードスイッチを操作することで、手動操舵走行から自動操舵走行への移行、あるいは自動操舵走行から手動操舵走行への移行が可能である。

走行制御部６１は、エンジン制御機能、操舵制御機能、車速制御機能などを有し、車両走行機器群７Ａに走行制御信号を与える。作業制御部６２は、収穫部１５、脱穀装置１３、穀粒排出装置１８などの動きを制御するために、出力処理部６Ｂを介して作業装置機器群７Ｂに作業制御信号を与える。走行制御部６１は、自動走行制御部及び手動走行制御部として機能する。

走行指令部６３は、自動走行指令として、操舵指令及び車速指令を生成して、走行制御部６１に与える。自動走行時の操舵指令は、走行経路設定部６４によって設定された走行経路と、機体位置算出部６６によって算出された自機位置との間の方位ずれ及び位置ずれを解消するように生成される。自動走行時の車速指令は、前もって設定されている車速値に基づいて生成される。手動走行時の操舵指令や車速指令は、手動操作に基づいて生成される。

報知部６７は、制御ユニット６の各機能部からの要求に基づいて報知データを生成し、報知デバイス８４に与える。

走行軌跡管理部６８は、機体位置算出部６６からの機体位置及び走行制御モジュール６０からの作業走行情報に基づいて、圃場における未作業領域と既作業領域とを管理し、残されている未作業領域の形状を算出する。

植立作物状態検知ユニット５０は、植立作物の異常状態を示す植立作物状態情報を出力する。なお、この実施形態では、撮影部２１による撮影画像と、機体位置から算出される撮影部２１の位置と、撮影部２１の撮影画角とに基づいて、植立作物の異常状態と異常状態が発生している位置とを含む植立作物状態情報を出力する。なお、この実施形態では、植立作物の異常状態には、植立作物に雑草が紛れている状態、植立作物が倒伏している状態、植立作物が特定方向に倒伏している状態、植立作物に障害物が紛れ込んでいる状態、植立作物の刈り跡に障害物が紛れている状態などが含まれている。このような種々の植立作物の異常状態、及びその異常状態が発生している位置が、植立作物状態情報に含まれている。

このため、この実施形態の植立作物状態検知ユニット５０には、画像取得部５１、機械学習ユニット５２、倒伏作物検出部５３、障害物検出部５４が含まれている。画像取得部５１は、撮影部２１から所定周期で送られてくる撮影画像を、機体位置算出部６６によって算出された自機位置とリンクさせてメモリに格納する。

機械学習ユニット５２は、機械学習されたニューラルネットワークによって構築されている。撮影部２１によって取得された撮影画像を入力画像として、この撮影画像に含まれている植立作物の異常状態（圃場における倒伏作物、雑草、人物を含む）を認識して出力するので、ここでは、認識能力に優れたディープラーニングアルゴリズムが用いられている。機械学習ユニット５２の出力には、倒伏作物が存在する倒伏作物領域と、雑草が存在する雑草領域と、人物が存在する人物領域とが含まれ、各領域のサイズと撮影画像における位置を示す認識結果データが出力される。このような認識結果データは、図６に示すようにイメージ化することができる。この認識結果データと撮影部２１の撮影画角とに基づいて、機体１０に対する、倒伏作物領域、雑草領域、人物領域の位置関係を算出することができる。機体１０から各領域までの正確な距離を算出するためには、例えば、経時的に取得した撮影画像に対するエピポーラ画像処理などが利用可能である。機械学習ユニット５２から出力される認識結果データや各領域までの距離は、植立作物の異常状態を示す植立作物状態情報として、種々の制御処理に利用される。

倒伏作物検出部５３は、植立作物状態情報から倒伏作物に関するデータを取り出して、圃場における倒伏作物領域の位置及び倒伏作物の倒伏方向を求め、倒伏作物データとして、出力する。障害物検出部５４は、植立作物状態情報から人物に関するデータを取り出して、圃場における人物領域の位置を求め、障害物データとして、出力する。同時に、報知部６７も、検出された障害物や倒伏作物に関する情報を障害物データに基づいて生成し、報知デバイス８４を通じて報知する。

走行経路設定部６４は、作成された自動走行のための走行経路をメモリに展開し、順次自動走行における目標走行経路として設定する機能を有する。その際、植立作物状態検知ユニット５０から植立作物状態情報が出力されていれば、例えば、倒伏作物検出部５３からの倒伏作物データが出力されていれば、この倒伏作物データに基づいて、自動作業走行のための走行経路を設定又は再設定する。走行経路設定部６４は、植立作物状態情報に基づいて走行経路の作成及び変更を行うように構成されている。

周囲刈りにおいて倒伏作物データが出力された場合、走行経路設定部６４は、これから作業走行が行われる外周領域ＳＡの内側に位置する未作業領域である内側領域ＣＡに対して、より多くの倒伏作物に対して追い刈りもしくは追い刈りに近い方向で作業走行できるように、走行経路を設定する。例えば、図７で示されているように、一般に、周囲刈りによって、矩形状の内側領域ＣＡが残される。そして、例えば、この内側領域ＣＡのために、複数の平行な直線状経路をＵターンでつないでいくような走行経路が設定される。その際、倒伏作物領域と倒伏方向（図７では倒伏作物領域内の矢印で示されている）とに基づいて、倒伏作物に対して追い刈りとなるように走行経路が設定される。これにより、倒伏作物領域の収穫作業効率が向上する。

未作業領域である内側領域ＣＡにおける中央刈りの途中において倒伏作物データが出力された場合でも、走行経路設定部６４は、前もって設定されている走行経路を目標走行経路として使用せずに、倒伏作物に対して追い刈りもしくはほぼ追い刈りとなる新たな目標走行経路を設定する。例えば、図８で示されているように、中央刈りの途中で検出された倒伏作物領域に対して、前もって設定されている走行経路での目標走行経路では、追い刈りにならない場合、その時点で、目標走行経路を変更して、追い刈りもしくはほぼ追い刈りとなる新たな目標走行経路が設定される。これにより、倒伏作物領域の収穫作業効率が向上する。

走行経路設定部６４が、作物の倒伏の方向に対して交差する方向に農作業機１を走行させるように、目標走行経路を設定してもよい。例えば、図９に示されるように、倒伏作物領域における作物の倒伏の方向（矢印で示されている）に対して走行経路が直交するように、走行経路が設定される。これにより、倒伏作物領域の収穫作業効率が向上する。

特に、図１０に示されるように、農作業機１の機体１０から見て倒伏作物が未作業領域ＸＡの側に倒れた状態になるように、走行経路が設定されると好適である。図１０の例では、機体１０の左が未作業領域ＸＡであり機体１０の右が既作業領域ＹＡとなるように、作業走行が行われている。そして、農作業機１が倒伏作物領域を走行する際に、機体１０から見て倒伏作物が左に倒れた状態になるように、走行経路設定部６４により走行経路が設定されている。なお、機体１０の左が未作業領域ＸＡとなるような収穫走行は、運転部１２が機体１０における右側部分に位置する場合に行われることが多い。

植立作物状態情報に含まれている植立作物の異常状態が倒伏作物以外の場合、例えば、雑草が混在しているような異常状態の場合、そのような異常状態に最適な走行経路が設定されるか、あるいは、そのような異常状態の領域を回避する走行経路が設定される。

障害物回避指令生成部６５は、障害物検出部５４からの障害物データに基づいて、強制的な停止を含む車速変更、エンジン停止、旋回走行などを含む障害物回避指令を生成して、走行制御モジュール６０に与える。

なお、図５に示された走行制御モジュール６０や植立作物状態検知ユニット５０を構成する構成要素は、主に説明目的で分けられており、当該構成要素の統合や、当該構成要素の分割は、自由に行われてよい。

〔第１実施形態の変形例〕
（１）上述した実施形態では、撮影部２１として広角レンズを装着した可視光カメラが採用されたが、赤外光カメラあるいは可視光カメラと赤外光カメラとからなるハイブリッドカメラを採用してもよい

（２）上述した実施形態では、撮影部２１は、穀粒排出装置１８の前端に取り付けられていたが、他の部位に取り付けられてもよい。また、複数の撮影部２１が、別々の部位に取り付けられてもよい。走行方向の前方を監視することが重要なので、撮影部２１は、コンバインの前部、例えば、運転部１２のルーフ部の前端部等に備えるとよい。

（３）上述した実施形態では、機械学習ユニット５２は、ディープラーニングアルゴリズムを用いて機械学習されたニューラルネットワークで構成されている。機械学習ユニット５２が、ディープラーニングアルゴリズム以外のアルゴリズムを用いたニューラルネットワーク、例えばリカレントニューラルネットワークで構成されてもよい。更には、機械学習ユニット５２に、機械学習されたニューラルネットワーク以外の画像認識技術が採用されてもよい

（４）自動走行システムの構成要素の一部が、農作業機１の外部に設けられてもよい。例えば、制御ユニット６の機能部（走行制御モジュール６０、走行経路設定部６４、障害物回避指令生成部６５、機体位置算出部６６、報知部６７、走行軌跡管理部６８、植立作物状態検知ユニット５０）の一部又は全部が、農作業機１の外部に設けられた制御装置（コンピュータ装置）に備えられてもよい。

（５）農作業機１は、普通型コンバインに限られない。例えば、農作業機１は、自脱型コンバインであってもよい。

（６）農作業機１は、トウモロコシ収穫機であってもよい。図１１には、農作業機１であるトウモロコシ収穫機が示されている。本実施形態のトウモロコシ収穫機は、普通型コンバインのヘッダ（収穫部）を収穫前処理装置１１５に換装したものである。このトウモロコシ収穫機は、植立するトウモロコシから房状体を分離し、房状体から穀粒を分離し、穀粒を貯留する。

このトウモロコシ収穫機は、クローラ式の走行装置（図示なし）、運転部１１２、脱穀装置１１３、穀粒タンク１１４、作業部としての収穫前処理装置１１５、搬送装置１１６、穀粒排出装置１１８、衛星測位モジュール１８０等の構成要素を備えている。トウモロコシ収穫機の機体１１０は、構成要素の集合体を意味するが、場合によっては、走行装置や収穫前処理装置１１５などの個別の構成要素を意味することがある。

収穫前処理装置１１５は、植立するトウモロコシから房状体を分離させて、房状体を搬送装置１１６へ送り出す。脱穀装置１１３は、搬送装置１１６により搬送された房状体から穀粒を分離する。穀粒排出装置１１８の排出部の前壁面に、撮影部１２１が設けられている。本実施形態に係る自動走行システムは、上述した実施形態と同様に、制御ユニット６を備え、農作業機１に同様の自動走行を実行させる。

（７）図１２には、別の形態のトウモロコシ収穫機が示されている。このトウモロコシ収穫機は、植立するトウモロコシから房状体を分離し、房状体から包葉を取り除き、房状体を貯留する。

このトウモロコシ収穫機は、車輪式の走行装置（図示なし）、運転部２１２、包葉除去部２１３、貯留タンク２１４、作業部としての収穫部２１５、搬送装置２１６、衛星測位モジュール２８０等の構成要素を備えている。トウモロコシ収穫機の機体２１０は、構成要素の集合体を意味するが、場合によっては、走行装置や収穫部２１５などの個別の構成要素を意味することがある。

収穫部２１５は、植立するトウモロコシから房状体を分離させて、房状体を搬送装置２１６へ送り出す。包葉除去部２１３は、搬送装置２１６により搬送された房状体から包葉を取り除く。運転部２１２の上部に、撮影部２２１が設けられている。本実施形態に係る自動走行システムは、上述した実施形態と同様に、制御ユニット６を備え、農作業機１に同様の自動走行を実行させる。

（８）農作業機１は、サトウキビ収穫機であってもよい。図１３には、農作業機の一例としてのサトウキビ収穫機が示されている。このサトウキビ収穫機は、植立するサトウキビを収穫し、サトウキビと夾雑物とを分離して、サトウキビを機体後方へ排出する。

このサトウキビ収穫機は、車輪式の走行装置３１１、運転部３１２、分離装置３１３、作業部としての収穫部３１５、搬送装置３１６、排出装置３１８、衛星測位モジュール３８０等の構成要素を備えている。サトウキビ収穫機の機体３１０は、構成要素の集合体を意味するが、場合によっては、走行装置３１１や収穫部３１５などの個別の構成要素を意味することがある。

収穫部３１５は、植立するサトウキビを刈り取って、サトウキビを搬送装置３１６へ送り出す。分離装置３１３は、搬送装置３１６により搬送されたサトウキビから夾雑物を分離する。排出装置３１８は、分離装置３１３により夾雑物から分離されたサトウキビを機体３１０の後方へ排出する。運転部３１２の上部に、撮影部３２１が設けられている。本実施形態に係る自動走行システムは、上述した実施形態と同様に、制御ユニット６を備え、農作業機１に同様の自動走行を実行させる。

（９）農作業機１は、乗用型管理機であってもよい。図１４には、農作業機の一例としての乗用型管理機が示されている。この乗用型管理機は、圃場を走行しながら植立作物へ薬剤（農薬や肥料等）を散布する散布作業を行う。

この乗用型管理機は、走行車輪４１１（車輪式の走行装置）、運転部４１２、作業部としての薬剤散布部４１５、薬剤タンク４２５、ブロードキャスター４２６、衛星測位モジュール４８０等の構成要素を備えている。乗用型管理機の機体４１０は、構成要素の集合体を意味するが、場合によっては、走行車輪４１１や薬剤散布部４１５などの個別の構成要素を意味することがある。

薬剤散布部４１５は、薬剤タンク４２５に貯留された薬剤を圃場に散布する。薬剤散布部４１５は、センターブーム４１５Ｄと、左右のサイドブーム４１５Ｅと、を備えている。運転部４１２の上部に、撮影部４２１が設けられている。本実施形態に係る自動走行システムは、上述した実施形態と同様に、制御ユニット６を備え、農作業機１に同様の自動走行を実行させる。

〔第２実施形態〕
以下、自動走行システムの別の実施形態を説明する。以降の説明では、上述した実施形態と同様の構成については同じ符号を付し、詳しい説明を省略する場合がある。

本実施形態の自動走行システムは、図１５に示されるように、農作業機１から独立して移動可能な撮影ユニット９０（移動体の一例）を備える。そして、撮影部２１が撮影ユニット９０に設けられている。本実施形態では、撮影ユニット９０は、飛行により移動が可能な飛翔体であり、所謂ドローンである。撮影ユニット９０は、衛星測位モジュール９１を備えている。

図１６には、本実施形態の自動走行システムの制御系の機能ブロック図が示されている。この制御系の主な構成要素は、農作業機１に搭載された制御ユニット６と、撮影ユニット９０に搭載された制御ユニット９２と、である。農作業機１の制御ユニット６は、図６の図示例と同様の構成及び機能を備える。農作業機１には、通信ネットワークＮを介して撮影ユニット９０と通信可能な通信部８５が備えられている。通信部８５は、制御ユニット６に接続されている。

制御ユニット９２は、撮影ユニット９０の動作を制御する。制御ユニット９２は、制御ユニット６と同様に、コンピュータ装置と所定のコンピュータプログラムとで構成される。撮影ユニット９０には、通信ネットワークＮを介して農作業機１と通信可能な通信部９３が備えられている。通信部９３は、制御ユニット９２に接続されている。

制御ユニット９２は、撮影ユニット９０の移動（飛行）を制御する。制御ユニット９２は、撮影ユニット９０が農作業機１に対して所定の位置（例えば、農作業機１の左上方）に位置するよう、撮影ユニット９０の飛行を制御する。

制御ユニット９２は、衛星測位モジュール９１から逐次送られてくる測位データに基づいて、撮影ユニット９０の少なくとも１つの特定箇所の地図座標（又は圃場座標）である移動体位置を算出する。なお、移動体位置には、撮影ユニット９０の向き、すなわち撮影部２１の向き（画角）を示す情報が含まれる。制御ユニット９２は、撮影部２１から所定周期で送られてくる撮影画像と、算出した移動体位置とを、互いにリンクさせた状態で、農作業機１の制御ユニット６へ送信する。そして、農作業機１の制御ユニット６の画像取得部５１は、撮影ユニット９０から送信された撮影画像を通信部８５を介して取得し、メモリに格納する。以下、上述した実施形態と同様にして、植立作物状態検知ユニット５０が植立作物状態情報を生成し出力する。

〔第２実施形態の変形例〕
（１）撮影ユニット９０は、車両や気球、自走可能なロボット等でもよい。

（２）上述の実施形態では、撮影ユニット９０は、自ら移動可能な装置である。撮影ユニット９０が移動の機能を有さない形態も可能である。例えば、撮影ユニット９０は、圃場周辺に設置される定置式装置であってもよい。当該装置は、恒常的に設置されてもよいし、一時的に設置されてもよい。この場合、撮影部２１が、農作業機１から独立した状態で圃場周辺に配置される。なお、撮影ユニット９０がオペレータにより持ち運び可能であってもよい。例えば、撮影ユニット９０が、スマートフォン等の携帯情報端末であってもよい。

（３）上述の実施形態では、撮影部２１が撮影した画像が、通信ネットワークＮを介して、撮影ユニット９０から農作業機１へ送信される。画像の送信が、オペレータが保持する携帯情報端末（スマートフォン等）を経由して行われてもよい。詳しくは、画像が、まず撮影ユニット９０から携帯情報端末へ送信され、続いて携帯情報端末から農作業機１へ送信されてもよい。画像の送信が、他のコンピュータやサーバ、農業情報の管理システム等を介して行われてもよい。詳しくは、画像が、まず撮影ユニット９０からサーバ等へ送信され、続いてサーバから農作業機１へ送信されてもよい。また、画像が、まず撮影ユニット９０からサーバ等へ送信され、続いてサーバからオペレータの携帯情報端末へ送信され、続いて携帯情報端末から農作業機１へ送信されてもよい。

〔第３実施形態〕
上述の実施形態では、自動走行システムが撮影部２１を含む形態が説明された。自動走行システムが撮影部２１を含まない形態も可能である。この形態では、農作業機１が、図１６に示される制御ユニット６を備える。画像取得部５１は、他のコンピュータやサーバ、農業情報の管理システム等から、通信部８５を介して、圃場を撮影した画像を取得し、メモリに格納する。画像取得部５１が取得する画像は、事前に撮影されてサーバ等に蓄積された画像である。当該画像は、携帯情報端末のカメラで撮影されたものであってもよいし、ドローンや乗用型管理機等に搭載されたカメラで撮影されたものであってもよいし、人工衛星のカメラで撮影された画像（いわゆる衛星画像）であってもよい。なお、衛星画像が人工衛星から農作業機１へ直接送信されてもよい。

〔第４実施形態〕
上述の実施形態では、植立作物状態検知ユニット５０が、圃場を撮影した画像を解析して、植立作物状態情報を生成し出力する。植立作物状態情報の生成が、オペレータからの人為操作に基づいて行われてもよい。図１７には、本実施形態の自動走行システムの制御系の機能ブロック図が示されている。農作業機１の制御ユニット６は、図６の図示例と同様の構成及び機能を備える。制御ユニット６は、植立作物状態検知ユニット５０に替えて、情報出力部５５０を備える。そして農作業機１は、撮影部２１に替えて、人為操作を受け付ける表示入力装置８６（操作部の一例）を備える。表示入力装置８６は、例えば、液晶タッチパネル装置である。

情報出力部５５０は、表示入力装置８６が受け付けた人為操作に基づいて植立作物の異常状態と当該異常状態が発生している位置とを特定し、特定結果に基づいて植立作物状態情報を出力する。具体的には、制御ユニット６は、圃場の地図を表示入力装置８６に表示させて、オペレータからの人為操作を待機する。オペレータは、表示入力装置８６を操作して、植立作物の異常状態（例えば、作物の倒伏の状態）と当該異常状態が発生している位置とを入力する。情報出力部５５０は、表示入力装置８６が受け付けた人為操作に基づいて、植立作物状態情報を生成し出力する。

本発明は、農作業機の自動走行に適用可能である。

１ ：農作業機
１５ ：収穫部（作業部）
２１ ：撮影部
５０ ：植立作物状態検知ユニット（情報出力部）
６１ ：走行制御部（自動走行制御部）
６４ ：走行経路設定部
６６ ：機体位置算出部
８０ ：衛星測位モジュール
８６ ：表示入力装置（操作部）
９０ ：移動体
１１５ ：収穫前処理装置（作業部）
１２１ ：撮影部
１８０ ：衛星測位モジュール
２１５ ：収穫部（作業部）
２２１ ：撮影部
２８０ ：衛星測位モジュール
３１０ ：機体
３１５ ：収穫部（作業部）
３２１ ：撮影部
３８０ ：衛星測位モジュール
４１５ ：薬剤散布部（作業部）
４２１ ：撮影部
４８０ ：衛星測位モジュール
５５０ ：情報出力部
ＣＡ ：内側領域
ＳＡ ：外周領域

Claims (12)

1. 圃場の植立作物に対して作業を行う作業部を備え圃場で作業走行を行う農作業機と、
   衛星測位モジュールからの測位データに基づいて前記農作業機の機体位置を算出する機体位置算出部と、
   前記機体位置を用いて前記農作業機を自動走行させる自動走行制御部と、
   前記植立作物の異常状態を示す植立作物状態情報を出力する情報出力部と、
   前記植立作物状態情報に基づいて、前記農作業機が行う自動作業走行のための走行経路を設定する走行経路設定部と、を備えた自動走行システム。
2. 前記情報出力部は、前記植立作物を撮影した撮影画像に基づいて前記植立作物の異常状態と当該異常状態が発生している位置とを検知し、検知結果に基づいて前記植立作物状態情報を出力する請求項１に記載の自動走行システム。
3. 前記植立作物を撮影する撮影部を備え、
   前記情報出力部は、前記撮影部による撮影画像と、前記撮影部の位置と、前記撮影部の画角と、に基づいて前記植立作物の異常状態と当該異常状態が発生している位置とを検知し、検知結果に基づいて前記植立作物状態情報を出力する請求項２に記載の自動走行システム。
4. 前記撮影部が前記農作業機に設けられている請求項３に記載の自動走行システム。
5. 前記情報出力部は、前記異常状態として前記植立作物が倒伏状態である倒伏作物を検知する請求項４に記載の自動走行システム。
6. 前記情報出力部は、前記倒伏作物の倒伏方向を検知する請求項５に記載の自動走行システム。
7. 前記情報出力部は、前記作業走行中に前記撮影部よって取得された前記撮影画像を用いて前記植立作物状態情報を出力し、
   前記走行経路設定部は、前記植立作物状態情報に基づいて、次の目標走行経路を決定する請求項３から６のいずれか一項に記載の自動走行システム。
8. 前記情報出力部は、前記圃場の外周領域の植立作物を刈り取る周囲刈り作業走行において前記撮影部よって取得された前記撮影画像を用いて前記植立作物状態情報を出力し、
   前記走行経路設定部は、前記植立作物状態情報を走行経路作成条件として、前記外周領域の内側に位置する内側領域の前記自動作業走行のための走行経路を算出する請求項３から６のいずれか一項に記載の自動走行システム。
9. 前記農作業機から独立して移動可能な移動体を備え、
   前記撮影部が前記移動体に設けられている請求項３に記載の自動走行システム。
10. 前記撮影部が、前記農作業機から独立した状態で圃場周辺に配置される請求項３に記載の自動走行システム。
11. 前記情報出力部は、前記撮影画像を入力画像として植立作物の前記異常状態を出力する、機械学習されたニューラルネットワークを含んでいる請求項３から１０のいずれか一項に記載の自動走行システム。
12. 人為操作を受け付ける操作部を備え、
    前記情報出力部は、前記操作部が受け付けた人為操作に基づいて前記植立作物の異常状態と当該異常状態が発生している位置とを特定し、特定結果に基づいて前記植立作物状態情報を出力する請求項１に記載の自動走行システム。

Images