JP2020178619A - 農作業機 - Google Patents

Abstract

【課題】複数の制御パターンから障害対象の種類に応じて適宜選択された制御パターンに基づいて好適な出力制御が可能な農作業機の提供。【解決手段】圃場において機体の前進と機体の後進との一方または両方の進行方向前方を撮像可能な撮像装置２１と、撮像装置２１によって撮像された撮像画像に基づいて圃場の障害対象の存在を検知可能であるとともに障害対象の種類を識別可能な認識部３１と、複数の制御パターンから、障害対象の種類に応じて制御パターンを決定するとともに制御パターンに基づく出力制御を可能なパターン決定部３２と、が備えられている。【選択図】図４

Description

本発明は、圃場において機体の進行方向前方を撮像可能な撮像装置が備えられた農作業機に関する。

圃場の農作業においては、圃場内において局所的に異なる圃場の状態や圃場の作業者等の存在に注意を払う必要がある。このため、例えば特許文献１に開示された農作業機には、進行方向前方を撮像可能な撮像装置（文献では「テレビカメラ」）が備えられている。撮像装置によって撮像された撮像画像（文献では「画像」）に基づいて、認識部（文献では「画像処理装置」）は障害対象（文献では「倒伏穀稈」）の種類を識別可能に構成されている。

特開平１１−１５５３４０号公報

ところで、特許文献１に開示された農作業機では、障害対象の存在に基づいて、例えば作業機器の動作が制御される構成になっているが、障害対象の種類に応じて種々の制御が行われるわけではない。そして、障害対象の種類に応じて種々の制御が行われることが必要な場合も考えられる。このような実情に鑑みて、本発明の目的は、撮像装置によって撮像された撮像画像から障害対象が認識されると、複数の制御パターンから障害対象の種類に応じて適宜選択された制御パターンに基づいて好適な出力制御が可能な農作業機を提供することにある。

本発明による農作業機は、圃場において機体の前進と前記機体の後進との一方または両方の進行方向前方を撮像可能な撮像装置と、前記撮像装置によって撮像された撮像画像に基づいて圃場の障害対象の存在を検知可能であるとともに前記障害対象の種類を識別可能な認識部と、複数の制御パターンから、前記障害対象の種類に応じて前記制御パターンを決定するとともに前記制御パターンに基づく出力制御を可能なパターン決定部と、が備えられていることを特徴とする。

障害対象の種類によっては、農作業機の制御に影響を及ぼす重要度は異なる。本発明によると、撮像装置の撮像対象の中から種々の物体が認識部によって識別されることによって障害対象が種類分けされ、障害対象の種類に応じて種々の制御のパターンが備えられる。これにより、圃場の障害対象の存在に基づいて一律に機体が停止等をする構成と比較して、農作業機による農作業が障害対象に邪魔されることなく効率的に行われる。つまり、本発明であれば、撮像装置によって撮像された撮像画像から障害対象が認識されると、複数の制御パターンから障害対象の種類に応じて適宜選択された制御パターンに基づいて好適な出力制御が可能な農作業機が実現される。

本発明において、前記認識部は、深層学習を用いて学習されたニューラルネットワークを利用することによって前記障害対象の種類を識別可能に構成されていると好適である。

本構成であれば、障害対象の種類に識別にニューラルネットワークが用いられ、撮像装置によって撮像された撮像画像がニューラルネットワークの入力データに用いられる。ニューラルネットワークは深層学習によって非線形特性を有する入出力関係を同定できることで知られている。このため、認識部がニューラルネットワークを活用することによって、障害対象の種類の識別精度の向上が可能となる。

本発明において、前記複数の制御パターンに、前記機体の減速と、前記機体の停止と、前記障害対象に対する警告と、が含まれると好適である。

本構成であれば、障害対象の種類に応じて機体の停止や機体の速度調整や障害対象に対する警告等が円滑に行われ、農作業機による農作業が効率的に行われる。

本発明において、前記障害対象の種類が自発的に動かないものであることが前記認識部によって識別された場合、前記パターン決定部は、前記機体の停止に関する前記制御パターンを決定すると好適である。

障害対象の種類が自発的に動かないものである場合、機体と障害対象との接触を回避する必要性が生じる。本構成であれば、機体の停止に関する制御パターンが決定され、パターン決定部は機体を停止するように出力制御を行うため、機体と障害対象との接触が好適に回避される。

本発明において、前記障害対象の種類が自発的に動くものであることが前記認識部によって識別された場合、前記パターン決定部は、前記機体の減速と、前記障害対象に対する警告と、に関する前記制御パターンを決定すると好適である。

例えば家畜や鳥獣等のように、障害対象の種類が自発的に動く動物等である場合、本構成であれば、機体の減速と障害対象に対する警告とを行うだけで、進行方向前方の障害対象を追い払うことが可能となる。これにより、機体が停止することなく機体の前進または後進が円滑に行われる。

本発明において、前記機体と前記障害対象との離間距離を測定可能な測距センサが備えられ、前記パターン決定部は、前記離間距離が予め設定された距離以下となった場合に、前記機体の停止に関する前記制御パターンを決定すると好適である。

障害対象が存在する場合であっても、機体と障害対象との距離が離れていれば、機体の走行に支障をきたさない場合がある。例えば障害対象が自発的に動く動物等であれば、機体と障害対象との距離が離れている間は、機体が停止しなくても、障害対象に対する警告だけで障害対象を追い払うことが可能であると考えられる。本構成であれば、機体と障害対象との離間距離が測距センサによって計測可能であるため、不必要に機体を停止等させることなく、機体と障害対象との接触のリスクが高くなってきた段階で機体の停止等をさせることができる。これにより、農作業機の効率的な制御が可能となる。なお、本発明では、『前記離間距離が予め設定された距離以下となった場合』とは、離間距離が予め設定された距離未満となった場合も含むものであり、「以下」という言葉は「未満」という意味を排除しない。

本発明において、前記測距センサは、ソナーであると好適である。

ソナーはコスト面で有利であることが知られているため、本構成によって、コスト面で有利な測距センサが実現される。

本発明において、前記測距センサは、ＬＩＤＡＲであると好適である。また、前記測距センサは、レーザースキャナーであっても好適である。

ＬＩＤＡＲや、ＬＩＤＡＲの一態様であるレーザースキャナーは、ソナー等と比較して、測距精度が高精度であることが知られているため、本構成によって、精度面で有利な測距センサが実現される。また、ＬＩＤＡＲやレーザースキャナーが、前方、左右に加え、上下方向を三次元でスキャンできる構成であれば、二次元でスキャンするタイプのＬＩＤＡＲやレーザースキャナーよりも測距範囲を広範囲にすることが可能となる。

コンバインの全体側面図である。 コンバインの全体平面図である。 コンバインの自動走行の概要を示す図である。 コンバインの制御系を示す機能ブロック図である。 認識部による認識出力データの生成の流れを模式的に示す説明図である。 障害対象と制御パターンとの関係を示す説明図である。 制御パターンに基づく出力制御を示すフローチャート図である。

本発明に係る農作業機の一例としてのコンバインの実施形態が、図面に基づいて以下に記載されている。この実施形態で、機体１の前後方向を定義するときは、作業状態における機体進行方向に沿って定義する。図１及び図２に符号（Ｆ）で示す方向が機体前側、図１及び図２に符号（Ｂ）で示す方向が機体後側である。図１に符号（Ｕ）で示す方向が機体上側、図１に符号（Ｄ）で示す方向が機体下側である。図１に符号（Ｌ）で示す方向が機体左側、図１に符号（Ｒ）で示す方向が機体右側である。機体１の左右方向を定義するときは、機体進行方向視で見た状態で左右を定義する。

〔コンバインの基本構成〕
図１及び図２に示されるように、農作業機の一形態である普通型のコンバインは、機体１、左右一対のクローラ式の走行装置１１、搭乗部１２、脱穀装置１３、穀粒タンク１４、収穫装置１５、搬送装置１６、穀粒排出装置１８を備えている。

走行装置１１は、コンバインの下部に備えられている。コンバインは、走行装置１１によって自走可能である。また、搭乗部１２、脱穀装置１３、穀粒タンク１４は、走行装置１１よりも上側に備えられ、これらは機体１の上部として構成されている。コンバインの搭乗者やコンバインの作業を監視する監視者が、搭乗部１２に搭乗可能である。通常、搭乗者と監視者とは兼務される。なお、搭乗者と監視者とが別人の場合、監視者は、コンバインの機外からコンバインの作業を監視していても良い。搭乗部１２の下方に駆動用のエンジン（不図示）が備えられている。穀粒排出装置１８は、穀粒タンク１４の後下部に連結されている。

収穫装置１５は機体１の前部に支持されている。搬送装置１６は収穫装置１５よりも後側に隣接して設けられている。収穫装置１５は圃場における作物を収穫する。作物は、例えば稲等の植立穀稈であるが、大豆やトウモロコシ等であっても良い。この構成により、収穫装置１５は、圃場の作物を収穫する。そして、コンバインは、収穫装置１５によって圃場の作物を収穫しながら走行装置１１によって走行する作業走行が可能である。

収穫装置１５によって収穫された作物（例えば刈取穀稈）は、搬送装置１６によって脱穀装置１３へ搬送される。収穫された作物は脱穀装置１３によって脱穀処理される。脱穀処理により得られた収穫物としての穀粒は、穀粒タンク１４に貯留される。穀粒タンク１４に貯留された穀粒は、必要に応じて、穀粒排出装置１８によって機外に排出される。穀粒排出装置１８は機体後部の縦軸芯回りに揺動可能に構成されている。即ち、穀粒排出装置１８の遊端部が機体１よりも機体横外側へ張り出して作物を排出可能な排出状態と、穀粒排出装置１８の遊端部が機体１の機体横幅の範囲内に位置する収納状態と、に切換可能なように穀粒排出装置１８は構成されている。穀粒排出装置１８が収納状態である場合、穀粒排出装置１８の遊端部は搭乗部１２よりも前側に位置するとともに収穫装置１５の上方に位置する。

穀粒排出装置１８のうち、遊端部に位置する穀粒排出口の側部に撮像装置２１が設けられている。また、詳細は後述するが、搭乗部１２の前部に測距センサ２２が設けられ、測距センサ２２は、機体１の前方に存在する圃場の障害対象と機体１との離間距離を計測可能に構成されている。

撮像装置２１は、可視光を撮像可能なカラーカメラであって、例えばＣＣＤカメラやＣＭＯＳカメラである。穀粒排出装置１８が収納状態の場合、撮像装置２１は、コンバインの前進方向の前方を、当該穀粒排出口の箇所から前下方の向きで撮像可能に構成されている。このとき、撮像装置２１は搭乗部１２よりも前側に位置し、撮像装置２１の前後方向が前下がりに傾斜する状態で穀粒排出装置１８の遊端部に支持される。これにより、例えば撮像装置２１が搭乗部１２の天井部に支持される構成と比較して、撮像装置２１は、収穫装置１５の前端領域における作物の収穫状態を近い視点から高画質で撮像できる。また、撮像装置２１は、進行方向前方の障害対象等を上から見下ろす視点で撮像できる。このため、撮像装置２１の前後方向における撮像視野は、例えば１５メートルや２５メートルである。このように、撮像装置２１は、収穫装置１５の前方の未収穫の作物を見下ろすように、機体１の前部で、かつ、収穫装置１５よりも高い位置に設けられている。

撮像装置２１によって取得された撮像画像は、画像データ化され、コンバインの制御系に送られる。撮像装置２１は、収穫作業時に圃場を撮像するが、圃場には種々の物体が撮像対象として存在している。コンバインの制御系は、撮像装置２１から送られてきた画像データから特定の物体を障害対象として識別する機能を有する。そのような障害対象として、図１及び図２では、符号Ｚ０で示された正常な植立穀稈群、符号Ｚ１で示された雑草群、符号Ｚ２で示された倒伏穀稈群、符号Ｚ３で示された人物、符号Ｚ４で示された石、が模式的に示されている。

搭乗部１２の天井部には、衛星測位モジュール８０が設けられている。衛星測位モジュール８０は、人工衛星ＧＳからのＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）の信号（ＧＰＳ信号を含む）を受信して、自車位置を取得する。なお、衛星測位モジュール８０による衛星航法を補完するために、ジャイロ加速度センサや磁気方位センサを組み込んだ慣性航法ユニットが衛星測位モジュール８０に組み込まれている。もちろん、慣性航法ユニットは、コンバインにおいて衛星測位モジュール８０と別の箇所に配置されても良い。

〔制御ユニットの構成〕
この実施形態のコンバインは自動走行と手動走行との両方で走行可能である。自動走行とは、圃場において予め設定された走行経路に沿って自動的に作業走行を行うものである。図３に、圃場における未収穫領域ＳＰと既収穫領域ＳＣとが示され、未収穫領域ＳＰと既収穫領域ＳＣとが圃場の内側領域である。圃場の内側領域よりも外側の領域が圃場の畦際領域である。図３においてコンバインは、圃場の内側領域を直進し、圃場の畦際領域で１８０度旋回を行う。一般的に走行経路は、圃場の内側領域における直進経路と、圃場の畦際領域における旋回経路と、が交互に繰り返される経路である。自動操舵で走行する自動走行モードと、手動操舵で走行する手動操舵モードと、のいずれかを選択する走行モードスイッチ（非図示）が設けられている。走行モードスイッチの操作によって、手動走行から自動走行への移行、あるいは自動走行から手動走行への移行が可能である。走行モードスイッチは、例えば搭乗部１２内に設けられても良いし、後述する端末ＣＴ等に設けられても良い。

なお、自動走行では、撮像装置２１による機体前方の撮像と、撮像装置２１によって撮像された撮像画像に基づく認識部３１の画像認識処理と、が行われる。このため、自動走行において穀粒排出装置１８は収納状態である必要がある。即ち、穀粒排出装置１８が収納状態の場合に自動走行が行われる。自動走行時に穀粒排出装置１８が収納状態でなくなると、例えば後述する警告制御部３６や報知制御部３７を介して警報が発せられる。

図４に示される制御ユニット３０は、コンバインの制御系の中核要素であり、複数のＥＣＵの集合体として示されている。制御ユニット３０に、認識部３１と、パターン決定部３２と、走行制御部３５と、警告制御部３６と、報知制御部３７と、が備えられている。また、衛星測位モジュール８０からの測位データ、及び、撮像装置２１からの画像データは、配線網を通じて制御ユニット３０に入力される。

認識部３１に、深層学習を用いて学習可能なニューラルネットワークが構築されている。認識部３１には、撮像装置２１によって継時的に遂次取得された撮像画像の画像データが入力される。ニューラルネットワークは深層学習によって非線形特性を有する入出力関係を同定できることで知られている。認識部３１は、この画像データにおける障害対象が存在する存在領域を推定し、存在領域に基づく認識出力データを、認識結果として出力する。

認識部３１による認識出力データの生成の流れが、図５に示されている。認識部３１には、撮像装置２１からＲＧＢ画像データの画素値が入力値として入力される。図５の例では、障害対象は倒伏穀稈と雑草と人物と石である。したがって、認識結果としての認識出力データには、倒伏穀稈が存在する倒伏穀稈領域と、雑草が存在する雑草領域と、人物が存在する人物領域と、石が存在する石領域と、が含まれる。因みに石は、植立した作物の間に埋もれている場合が考えられるが、撮像装置２１は、上から見下ろす視点で石を撮像できる。

図５では、雑草領域は符号Ｆ１を付与された矩形の枠で示され、倒伏穀稈領域は符号Ｆ２を付与された矩形の枠で示され、人物領域は符号Ｆ３を付与された矩形の枠で示され、石領域は符号Ｆ４を付与された矩形の枠で示されている。即ち、認識部３１は、障害対象の種類を、石等の異物の存在であるか、人の存在であるか、雑草の存在であるか、作物の倒伏であるかを判別可能に構成されている。このように、認識部３１は、撮像装置２１によって撮像された撮像画像に基づいて進行方向前方の障害対象の存在を検知可能に構成されている。加えて認識部３１は、深層学習を用いて学習されたニューラルネットワークを利用することによって障害対象の種類を識別可能に構成されている。撮像装置２１は、所定時間間隔、例えば０．１秒間隔や０．５秒間隔で撮像画像を取得し、その画像データを認識部３１に入力するので、認識部３１も、同じ時間間隔で、認識出力データを出力する。

図４に示されるパターン決定部３２は、認識部３１によって識別された障害対象の種類に基づいて自動走行制御の制御パターンを決定する。制御パターンは、例えば、図６に示されるような、障害対象の種類に対応したルックアップテーブルとしてＲＯＭ等に格納され、障害対象の種類に対応した制御パターンがパターン決定部３２よって選択される。

図４に示される走行制御部３５は、エンジン制御機能、操舵制御機能、車速制御機能などを有し、走行装置１１に走行制御信号を与える。手動操舵モードが選択されている場合、搭乗者による操作に基づいて、走行制御部３５が制御信号を生成し、走行装置１１を制御する。自動操舵モードが選択されている場合、制御ユニット３０の自動走行制御モジュールによって与えられる自動走行指令と、衛星測位モジュール８０からの測位データと、に基づいて、走行制御部３５は、操舵や車速に関する制御を走行装置１１に対して行う。

図４に示される警告制御部３６は、図１及び図２に示された機体１の前方の進路等に位置する動物や人に対して機体１の作業走行の状態や種々の警告を報知するためのモジュールであって、ホーン４１に対する出力制御を可能に構成されている。ホーン４１は機体１の任意の箇所に設けられている。報知制御部３７は、例えばスマートフォンやタブレットコンピュータ等の端末ＣＴに対して、パターン決定部３２が決定した制御パターンを出力可能に構成され、端末ＣＴに当該制御パターンが表示される。端末ＣＴはコンバインの搭乗者や圃場の監視者または管理者が携帯するものであって、端末ＣＴを携帯する者が制御パターンの状態や履歴を端末ＣＴで確認できるように、報知制御部３７は構成されている。

本実施形態のコンバインに測距センサ２２が備えられ、機体１と、機体１の前方の進路に存在する障害対象と、の離間距離は測距センサ２２によって測定可能に構成されている。図２に示されるように、本実施形態では測距センサ２２は搭乗部１２の前部に設けられているが、測距センサ２２は、前方の測定を収穫装置１５によって妨げられない程度の高さに設けられている。また、測距センサ２２は、例えば収穫装置１５に設けられても良い。また、測距センサ２２は、ソナーであっても良いし、レーダー（ミリ波）であっても良いし、ＬＩＤＡＲ（例えばレーザースキャナーやレーザーレーダー）であっても良い。測距センサ２２がソナーであればコスト面で有利である。測距センサ２２がミリ波レーダーであれば、天候に左右され難い測定が可能であって、コスト面で有利である。ミリ波レーダーが、前方、左右に加え、上下方向を三次元でスキャンできる構成であれば、二次元でスキャンするタイプのミリ波レーダーよりも測距範囲を広範囲にすることが可能となる。測距センサ２２がＬＩＤＡＲであれば離間距離の測定が精度よく行われる。加えて、ＬＩＤＡＲが、前方、左右に加え、上下方向を三次元でスキャンできる構成であれば、二次元でスキャンするタイプのＬＩＤＡＲよりも測距範囲を広範囲にすることが可能となる。

〔障害対象の種類及び制御パターンについて〕
障害対象の種類及び制御パターンに関する説明が、図４乃至図７に基づいて以下に記載される。図６に示されるように、本実施形態では、制御パターンとして複数の制御パターンが例示され、複数の制御パターンに、機体１（図１及び図２参照、以下同じ）の減速と、機体１の停止と、障害対象に対する警告と、が含まれる。具体的には、制御パターンとして、『停止』、『減速・警告→停止』、『減速・警告』、『減速』が例示される。なお、図６に示された障害対象の種類は例示であって、図６に示されたもの以外を排除するものではない。

図６に、障害対象の種類と、障害対象の種類に対応した制御パターンと、が示される。障害対象の種類が認識部３１によって識別されると、パターン決定部３２は、障害対象の種類に対応した制御パターンを選択する。障害対象の種類が石や柱や倒木片等の場合、『停止』の制御パターンがパターン決定部３２によって選択される。石や柱や倒木片等は、動物ではなく、自発的に動かないものである。そして、障害対象の種類が自発的に動かないものであることが認識部３１によって識別された場合、パターン決定部３２は、図６のテーブルに基づいて機体１の停止に関する制御パターンを決定する。そして、パターン決定部３２は、機体１の停止に関する制御パターンに基づいて走行制御部３５に対して停止の出力制御を行う。これにより、走行装置１１が停止する。なお、『停止』の制御パターンが選択される上述の障害対象は例示であって、上述したもの以外にも、例えば立木や電柱や畦や稲藁ロール等であっても良い。なお、障害対象の種類が畦である場合、図３に示される旋回経路よりも圃場外側の畦が障害対象から除外されるように構成されて良い。

障害対象の種類が動物（例えば犬、猿、豚、牛、カラス等、即ち家畜や鳥獣）である場合、進行方向前方の動物を追い払うため、図６のテーブルに基づいて『減速・警告』の制御パターンがパターン決定部３２によって選択される。動物は自発的に動くものである。このため、機体１が減速しながらホーン４１から音が発せられることによって、動物は機体１の前方の進路から立ち去る場合が多い。このように、障害対象の種類が自発的に動くものであることが認識部３１によって識別された場合、パターン決定部３２は、機体１の減速と、障害対象に対する警告と、に関する制御パターンを決定する。そして、パターン決定部３２は、機体１の減速と、障害対象に対する警告と、に関する制御パターンに基づいて、走行制御部３５と警告制御部３６との夫々に出力制御を行う。これにより、走行装置１１の速度が減速され、ホーン４１から音が発せられる。なお、『減速・警告』の制御パターンが選択される上述の障害対象は例示であって、上述したもの以外であっても良い。

障害対象の種類が圃場の人であることが認識部３１によって識別された場合、図６のテーブルに基づいて『減速・警告→停止』の制御パターンがパターン決定部３２によって選択される。機体１と圃場の人との離間距離に閾値が予め設定される。『減速・警告→停止』とは、パターン決定部３２が、この予め設定された当該離間距離の閾値に基づいて、『減速・警告』の制御パターンと、『停止』の制御パターンと、を切換える制御パターンである。機体１と圃場の人との離間距離がこの閾値以上（もしくは閾値よりも上）である間は、パターン決定部３２が『減速・警告』の制御パターンに基づく出力制御を行う。そして、機体１と圃場の人との離間距離がこの閾値以下（もしくは閾値未満）であれば、パターン決定部３２が『停止』の制御パターンに基づく出力制御を行う。なお、機体１と圃場の人との離間距離の閾値は、例えば５メートルや１０メートルである。

他の農機（例えばコンバインやトラクタや管理機や農業用無人航空機等）や車両（例えばトラック）は、圃場内を走行する場合もあるが、圃場内で停車している場合も多く、機体１が接近しても自発的に動かない場合も多分に考えられる。このことから、本実施形態では、障害対象の種類が他の農機や車両等である場合、機体１が他の農機や車両と接触するのを回避するため、『減速・警告→停止』の制御パターンがパターン決定部３２によって選択される。なお、『減速・警告→停止』の制御パターンが選択される上述の障害対象は例示であって、上述したもの以外であっても良い。

障害対象の種類が倒伏穀稈や雑草等である場合、図６のテーブルに基づいて『減速』の制御パターンがパターン決定部３２によって選択される。つまり、倒伏穀稈や雑草は、収穫装置１５によってそのまま刈り取られても自動走行に支障がない場合も多い。但し、倒伏穀稈が収穫装置１５によって刈り取られる場合、倒伏穀稈をしっかりと引き起こして収量ロスを減らすために、作業走行の速度を減速させる必要が生じる場合も考えられる。このため、障害対象の種類が自動走行に大きな支障を及ぼさないことが認識部３１によって識別された場合、パターン決定部３２は、自動走行を継続しつつ走行装置１１を減速させる制御パターンを決定する。なお、『減速』の制御パターンが選択される上述の障害対象は例示であって、上述したもの以外であっても良い。

このように、パターン決定部３２は、複数の制御パターンから、障害対象の種類に応じて制御パターンを決定するとともに制御パターンに基づく出力制御を可能なように構成されている。換言すると、認識部３１によって検知された圃場の異常に応じて出力制御を可能なように、パターン決定部３２は構成されている。

図７に、制御パターンの決定に関するフローチャートが示される。このフローチャートは、障害対象の存在が認識部３１によって識別された場合に、パターン決定部３２における内部処理の概略である。換言すると、パターン決定部３２は、認識部３１によって検知された圃場の異常に応じて、このフローチャートに基づく異常時制御を実行する。このため、パターン決定部３２の内部処理はフローチャートに限定されず、出力結果の同一性を損なわない範囲内で改変可能である。まず、認識部３１によって出力された認識出力データに基づいて、複数の制御パターンの中から少なくとも一つの制御パターンが選択される（ステップ＃０１）。『停止』の制御パターンがパターン決定部３２によって選択された場合（ステップ＃０１：停止）、走行制御部３５に対する停止の出力制御がステップ＃０６で行われ、走行装置１１が走行制御部３５によって停止される。

ステップ＃０１で『減速・警告→停止』または『減速・警告』の制御パターンがパターン決定部３２によって選択された場合、ステップ＃０２の処理で『減速・警告』の後『停止』する制御パターン、即ち『減速・警告→停止』の制御パターンであるかが判定される。ステップ＃０２の処理で『減速・警告→停止』の制御パターンであることが判定されると、ステップ＃０３の処理に進む。『減速・警告』の制御パターンがパターン決定部３２によって選択された場合、ステップ＃０２からステップ＃０４へ処理が進む。

認識部３１によって出力された認識出力データの中に人物領域が含まれると、『減速・警告→停止』の制御パターンがパターン決定部３２によって選択される。このため、ステップ＃０３の処理では、機体１と人との離間距離が予め設定された距離以上（もしくは予め設定された距離よりも上）であるかどうかが判定される。機体１と人との離間距離は測距センサ２２によって測定される。機体１と人との離間距離が予め設定された距離以上（もしくは予め設定された距離よりも上）であれば（ステップ＃０３：Ｙｅｓ）、ステップ＃０４へ進み、『減速・警告』の制御パターンに基づく処理がステップ＃０４とステップ＃０５とで実行される。

ステップ＃０４では、パターン決定部３２が、『減速・警告』の制御パターンに基づく出力制御を走行制御部３５に対して行う。そして走行制御部３５は、車速を減速させる制御を走行装置１１に対して行う。ステップ＃０５では、パターン決定部３２が、『減速・警告』の制御パターンに基づく出力制御を警告制御部３６に対して行う。そして警告制御部３６は、ホーン４１が音を発するようにホーン４１に対する制御を行う。

機体１と人との離間距離が予め設定された距離以下（もしくは距離未満）であれば（ステップ＃０３：Ｎｏ）、ステップ＃０６へ進み、『停止』の制御パターンに基づく処理がステップ＃０６で実行される。ステップ＃０６では、パターン決定部３２が、『停止』の制御パターンに基づく出力制御を走行制御部３５に対して行う。そして走行制御部３５は、走行装置１１に対して停止制御を行う。このように、パターン決定部３２は、機体１と人との離間距離が予め設定された距離以下（もしくは距離未満）となった場合に、機体１の停止に関する制御パターンを決定する。

『減速』の制御パターンがパターン決定部３２によって選択された場合（ステップ＃０１：減速）、ステップ＃０７の処理が行われる。ステップ＃０７では、パターン決定部３２が、『減速』の制御パターンに基づく出力制御を走行制御部３５に対して行う。そして走行制御部３５は、車速を減速させる制御を走行装置１１に対して行う。

ステップ＃０５またはステップ＃０６またはステップ＃０７の処理が終了すると、パターン決定部３２が報知制御部３７に対して出力を行い、報知制御部３７を介して端末ＣＴに制御パターンの状態が送信される（ステップ＃０８）。これにより、端末ＣＴに制御パターンの現状や制御パターンの履歴が表示され、端末ＣＴを携帯する圃場の監視者や管理者が、制御パターンの変化に基づく機体１の状態変化を把握できる。

〔別実施形態〕
本発明は、上述の実施形態に例示された構成に限定されるものではなく、以下、本発明の代表的な別実施形態を例示する。

（１）上述した実施形態では、撮像装置２１は機体１の前進方向前方を撮像するように搭乗部１２よりも前側に設けられているが、この実施形態に限定されない。例えば、撮像装置２１は機体１の後進方向を撮像可能なように、機体１の後端部に設けられても良い。また、撮像装置２１は、搭乗部１２よりも前側と、機体１の後端部と、の両方に設けられても良い。即ち、撮像装置２１は、圃場において機体１の前進と機体１の後進との一方または両方の進行方向前方を撮像可能な構成であれば良い。

（２）上述した実施形態では、認識部３１に、深層学習を用いて学習可能なニューラルネットワークが構築されているが、認識部３１にニューラルネットワークが構築されなくても良い。この場合、ニューラルネットワークは他のコンピュータや端末ＣＴに構築され、認識部３１と、他のコンピュータや端末ＣＴと、が通信をすることによってニューラルネットワークにおける入出力が行われるものであっても良い。即ち、認識部３１は、深層学習を用いて学習されたニューラルネットワークを利用することによって障害対象の種類を識別可能に構成されると良い。

（３）上述した実施形態では、障害対象の種類が他の農機や車両である場合、『減速・警告→停止』の制御パターンがパターン決定部３２によって選択されるが、この実施形態に限定されない。認識部３１によって識別される他の農機や車両は、自発的に動かない種類の障害対象として識別されても良く、『停止』の制御パターンがパターン決定部３２によって選択されても良い。

（４）上述した実施形態において、上述した実施形態において、障害対象の種類が動物である場合、『減速・警告』の制御パターンがパターン決定部３２によって選択されるが、『減速・警告』の制御パターンは『警告』のみであっても良い。つまり、『警告』の制御パターンがパターン決定部３２によって選択されると、パターン決定部３２は、走行制御部３５に出力制御を行わずに、障害対象に対する警告に関する制御パターンに基づいて、警告制御部３６に出力制御を行う構成であっても良い。これにより、走行装置１１の速度が減速されずに、ホーン４１から音が発せられる。

（５）上述した実施形態では、警告制御部３６はホーン４１に対する出力制御を可能に構成されているが、この実施形態に限定されない。例えば、警告制御部３６の出力制御は、例えばブザー、ランプ、サーチライト、スピーカ、ディスプレイ等に対するものであっても良い。また、警告制御部３６は、超音波を用いて鳥獣等を撃退するものであっても良い。この場合、警告制御部３６は、機体１が鳥獣等に接近するほど超音波を強く出力するように出力制御を行うものであっても良い。

（６）上述した実施形態において、障害対象の種類が動物である場合、『減速・警告』の制御パターンがパターン決定部３２によって選択されるが、『減速・警告→停止』の制御パターンがパターン決定部３２によって選択される構成であっても良い。『減速・警告→停止』の制御パターンの場合、パターン決定部３２が、機体１と障害対象との離間距離の閾値に基づいて『減速・警告』の制御パターンと『停止』の制御パターンと、を切換えるが、この閾値が動物の場合と人の場合とで異なっていても良い。例えば、障害対象が人の場合には閾値が５メートルや１０メートルに設定され、障害対象が動物の場合には閾値が２〜３メートルに設定されても良い。

（７）警告制御部３６と報知制御部３７とは一体的に構成されても良い。また、パターン決定部３２と走行制御部３５と警告制御部３６と報知制御部３７とは一体的に構成されても良い。

（８）上述した実施形態において、障害対象の種類が石や柱や倒木片や稲藁ロール等の場合、『停止』の制御パターンがパターン決定部３２によって選択されるが、この実施形態に限定されない。例えば、パターン決定部３２は、『停止』の制御パターンに代えて、機体１が石や柱や倒木片や稲藁ロール等との接触を回避するように迂回する制御パターンを選択する構成であっても良い。つまり、障害対象の種類が自発的に動かないものであることが認識部３１によって識別された場合、パターン決定部３２は、機体１の迂回に関する制御パターンを決定する構成であっても良い。

（９）上述した実施形態において、図７に示されるように、『減速』の制御パターンがパターン決定部３２によって選択された場合、ステップ＃０７の処理に基づいて減速処理が行われるが、この実施形態に限定されない。例えば、障害対象の種類が倒伏穀稈や雑草である場合には、障害対象ではない非対象物として認識される構成であっても良い。この場合、図７に示されるフローチャートの処理が行われず、自動走行がそのまま継続される構成であっても良い。

また、農作業機が自脱型コンバインである場合、障害対象の種類が雑草であることが認識部３１によって識別された場合には、脱穀装置１３における扱ぎ深さが調整される構成であっても良い。つまり、雑草が穂先よりも高い位置にある状態で雑草が穂先であると誤認されると、脱穀装置１３における扱ぎ深さが浅くなる虞がある。このような不都合を回避するため、認識部３１が雑草と穂先とを区別して、脱穀装置１３における扱ぎ深さが調整される構成であれば好適である。

（１０）上述した実施形態において、機体１と障害対象との離間距離を測定可能な測距センサ２２が備えられているが、測距センサ２２が備えられない構成であっても良い。この場合、障害対象の種類が動物や人であることが認識部３１によって識別されると、撮像装置２１に撮像される撮像画像における動物や人の位置に基づいて、パターン決定部３２は、機体１の停止に関する制御パターンを決定する構成であっても良い。

なお、上述の実施形態（別実施形態を含む、以下同じ）で開示される構成は、矛盾が生じない限り、他の実施形態で開示される構成と組み合わせて適用することが可能である。また、本明細書において開示された実施形態は例示であって、本発明の実施形態はこれに限定されず、本発明の目的を逸脱しない範囲内で適宜改変することが可能である。

本発明に係る農作業機は、普通型のコンバインに限らず自脱型のコンバインであっても良い。また、本発明に係る農作業機は、コンバインに限らずその他の収穫機であっても良い。さらに、本発明に係る農作業機は、収穫機に限らず、田植機、播種機、管理機、トラクタ等のその他の農作業機であっても良い。

１ ：機体
２１ ：撮像装置
２２ ：測距センサ
３１ ：認識部
３２ ：パターン決定部

Claims (9)

1. 圃場において機体の前進と前記機体の後進との一方または両方の進行方向前方を撮像可能な撮像装置と、
   前記撮像装置によって撮像された撮像画像に基づいて圃場の障害対象の存在を検知可能であるとともに前記障害対象の種類を識別可能な認識部と、
   複数の制御パターンから、前記障害対象の種類に応じて前記制御パターンを決定するとともに前記制御パターンに基づく出力制御を可能なパターン決定部と、が備えられている農作業機。
2. 前記認識部は、深層学習を用いて学習されたニューラルネットワークを利用することによって前記障害対象の種類を識別可能に構成されている請求項１に記載の農作業機。
3. 前記複数の制御パターンに、前記機体の減速と、前記機体の停止と、前記障害対象に対する警告と、が含まれる請求項１または２に記載の農作業機。
4. 前記障害対象の種類が自発的に動かないものであることが前記認識部によって識別された場合、前記パターン決定部は、前記機体の停止に関する前記制御パターンを決定する請求項３に記載の農作業機。
5. 前記障害対象の種類が自発的に動くものであることが前記認識部によって識別された場合、前記パターン決定部は、前記機体の減速と、前記障害対象に対する警告と、に関する前記制御パターンを決定する請求項３または４に記載の農作業機。
6. 前記機体と前記障害対象との離間距離を測定可能な測距センサが備えられ、
   前記パターン決定部は、前記離間距離が予め設定された距離以下となった場合に、前記機体の停止に関する前記制御パターンを決定する請求項５に記載の農作業機。
7. 前記測距センサは、ソナーである請求項６に記載の農作業機。
8. 前記測距センサは、ＬＩＤＡＲである請求項６に記載の農作業機。
9. 前記測距センサは、レーザースキャナーである請求項６に記載の農作業機。

Images