JP2020123013A

JP2020123013A - 自律走行制御システム

Info

Publication number: JP2020123013A
Application number: JP2019012884A
Authority: JP
Inventors: 雄介西田; Yusuke Nishida
Original assignee: Yanmar Power Technology Co Ltd
Current assignee: Yanmar Power Technology Co Ltd
Priority date: 2019-01-29
Filing date: 2019-01-29
Publication date: 2020-08-13

Abstract

【課題】障害物の検知に基づいて作業車両の自律走行を停止させる構成において、利便性の向上を図ることができる。【解決手段】遠隔操作端末３は、画像表示部６２、視線検出部６５、判定部６７および無効指令送信部６８を有する。画像表示部６２は、トラクタに設けられた撮影装置が撮影した障害物の画像を表示する。視線検出部６５は、オペレータの視線を検出する。判定部６７は、障害物が検知されてから所定時間が経過するまでの間にオペレータが画像表示部６２に表示された画像を確認したか否かを視線検出部６５が検出したオペレータの視線の向きに基づいて判定する。無効指令送信部６８は、障害物が検知されてから所定時間が経過するまでの間にオペレータが画像表示部６２に表示された画像を確認したと判定部６７が判定した場合には、トラクタの自律走行を自律走行制御部に停止させないようにする停止無効指令をトラクタに向けて送信する。【選択図】図５

Description

本発明は、自律走行制御システムに関する。

下記特許文献１には、人等の障害物を検出するレーザーセンサを用いて、作業車両の走行方向の前方に障害物が存在する場合には、作業車両の自律走行を自動的に停止させる技術が開示されている。

特許６３３６４０８号公報

特許文献１の技術では、たとえば、本来障害物として扱う必要のない雑草等であっても障害物としてレーザーセンサが検知してしまい、作業車両の自律走行が不必要に停止することが起こり易かった。作業車両の自律走行が停止されると、レーザーセンサの検知結果を無効にし、自律走行を再開する必要があった。
そこで、この発明の目的は、障害物の検知に基づいて作業車両の自律走行を停止させる構成において、利便性の向上を図れる自律走行制御システムを提供することである。

この発明の一実施形態は、圃場に設定された走行経路に沿って自律走行可能な作業車両と、前記作業車両を監視するためにオペレータが操作する監視装置とを含む、自律走行制御システムを提供する。前記作業車両は、前記作業車両の進行方向に存在する障害物を検知する障害物検知部と、前記作業車両の進行方向に存在する障害物を撮影する撮影部と、前記作業車両の自律走行を制御するとともに、前記障害物検知部が障害物を検知してから所定時間が経過したときに前記作業車両の自律走行を停止させる自律走行制御部とを有する。前記監視装置は、前記撮影部が撮影した障害物の画像を表示する画像表示部と、オペレータの視線を検出する視線検出部と、オペレータの操作に応じて前記自律走行制御部に前記作業車両の自律走行を停止させる停止指令を送信する停止指令送信部と、前記障害物検知部が障害物を検知してから前記所定時間が経過するまでの間にオペレータが前記画像表示部に表示された前記画像を確認したか否かを前記視線検出部が検出したオペレータの視線の向きに基づいて判定する判定部と、前記障害物検知部が障害物を検知してから前記所定時間が経過するまでの間にオペレータが前記画像表示部に表示された画像を確認したと前記判定部が判定した場合には、前記作業車両の自律走行を前記自律走行制御部に停止させないようにする停止無効指令を前記作業車両に向けて送信する指令送信部とを有する。

この構成によれば、オペレータは、画像表示部に表示された障害物の画像を確認することができ、障害物検知部が障害物として検知した物が真に障害物として扱うべき物であるか否かの判断を行うことができる。
障害物検知部が障害物を検知してから所定時間が経過するまでの間にオペレータが画像表示部を確認しなかったと判定部が判定した場合には、作業車両の自律走行は、障害物検知部が障害物を検知してから所定時間が経過したときに自動的に停止される。したがって、オペレータの不注意による確認漏れがあった場合には、作業車両の自律走行を自動的に停止させることができる。

障害物検知部が障害物を検知してから所定時間が経過するまでの間にオペレータが画像表示部を確認したと判定部が判定した場合には、オペレータに判断が委ねられる。オペレータは、障害物検知部が障害物として検知した物が真に障害物として扱うべき物であると判断した場合には、監視装置を操作することによって作業車両の自律走行を停止させることができる。

逆に、オペレータは、障害物検知部が障害物として検知した物が真に障害物として扱うべき物でないと判断した場合には、作業車両の自律走行制御部に停止させないようにする停止無効指令が作業車両に向けて送信される。したがって、障害物検知部が障害物として検知した物が真に障害物として扱うべきでない場合に、作業車両が停止することを回避することができる。さらに、障害物検知部が障害物として検知した物が真に障害物として扱うべきでない場合に自律走行を継続させるためにわざわざ監視装置を操作する必要がない。

よって、障害物の検知に基づいて作業車両の自律走行を停止させる構成において、利便性の向上を図ることができる。
この発明の一実施形態では、前記判定部が、前記視線検出部によって検出されたオペレータの視線が前記画像表示部に向いた状態が所定期間継続された場合に、オペレータが前記画像表示部に表示された画像を確認したと判定する。つまり、オペレータの視線が一瞬の間だけ画像表示部に向けられた場合には、オペレータが画像表示部に表示された画像を確認していないと判定される。そのため、画像表示部に表示された画像を確認することをオペレータに促すことができる。結果として、オペレータによる誤判断を抑制することができる。

この発明の一実施形態では、前記障害物検知部が障害物を検知した場合に、前記画像表示部において前記画像が拡大表示される。これにより、画像表示部に表示された画像を確認することをオペレータに促すことができる。結果として、オペレータによる誤判断を抑制することができる。
この発明の一実施形態では、前記管理装置が、前記障害物検知部が障害物を検知した場合に音声による報知を行う音声報知部を有する。そのため、オペレータの視線が画像表示部に向いておらず、障害物検知部が障害物を検知したことをオペレータが認識していない場合であっても、視線を画像表示部に向けることをオペレータに促すことができる。

図１は、本発明の一実施形態に係る自律走行制御システムの構成を示す模式図である。図２は、前記自律走行制御システムに備えられたトラクタの側面図である。図３は、前記トラクタの平面図である。図４は、前記トラクタの電気的構成を示すブロック図である。図５は、前記自律走行制御システムに備えられた遠隔操作端末の電気的構成を示すブロック図である。図６Ａは、前記遠隔操作端末に備えられた画像表示部に表示される画像を説明するための模式図であり、前記トラクタに備えられた障害物検知ユニットによって障害物が検知されていないときの状態を示している。図６Ｂは、前記画像表示部に表示される画像を説明するための模式図であり、前記障害物検知ユニットによって障害物が検知されたときの状態を示している。図７は、オペレータの視線が前記画像表示部に向いているか否かを判定する基準について説明するためのタイムチャートである。図８は、前記遠隔操作端末に備えられた判定部による停止無効指令送信処理の一例を示すフローチャートである。図９は、前記トラクタに備えられた自律走行制御部による、障害物検知後の停止制御処理の一例を示すフローチャートである。

以下では、この発明の実施の形態を添付図面を参照して詳細に説明する。
図１は、本発明の一実施形態に係る自律走行制御システム１の構成を示す模式図である。自律走行制御システム１は、トラクタ等の作業車両の自律走行を制御するシステムである。オペレータとは、作業車両を操作する者のことをいう。自律走行とは、作業車両の走行機構を制御することによって、予め設定された走行経路に沿って作業車両を自動的に走行させることをいう。これに対して、手動走行とは、作業車両が備える各機構がオペレータにより操作されることによって、作業車両が走行することをいう。

自律走行制御システム１は、圃場に設定された走行経路に沿って自律走行可能な作業車両としてのトラクタ２と、トラクタ２を監視するためにオペレータが操作する監視装置としての遠隔操作端末３とを含む。トラクタ２は、遠隔操作端末３とＷｉＦｉ等で無線通信可能である。トラクタ２は、圃場内を走行する走行機体７を備えている。トラクタ２の走行機体７には、圃場に対して農作業を行う作業機８が装着されている。作業機８としては、たとえば、ロールベーラ、耕耘機、プラウ、レベラー、草刈機、播種機、収穫機、肥料散布機、施肥機等の種々の作業機を用いることができる。

図２は、トラクタ２の側面図である。図３は、トラクタ２の平面図である。作業機８は、走行機体７の後方に装着されている。本実施形態では、作業機８が耕耘機である例を示している。
トラクタ２の走行機体７は、その前部が左右一対の前輪１７で支持され、その後部が左右一対の後輪１８で支持されている。

走行機体７の前部にはボンネット１９が配置されている。本実施形態では、このボンネット１９内に、トラクタ２の駆動源であるエンジン２０、燃料タンク（図示せず）等が収容されている。エンジン２０は、たとえば、ディーゼルエンジンにより構成することができるが、これに限られない。エンジン２０は、たとえば、ガソリンエンジンにより構成されていてもよい。また、駆動源として、エンジン２０に代えてまたはエンジン２０に加えて電気モータを採用してもよい。

ボンネット１９の後方には、オペレータが搭乗するためのキャビン２１が配置されている。キャビン２１の内部には、オペレータが操向操作するためのステアリングハンドル２２、オペレータが着座可能な座席２３、各種の操作を行うための様々な操作装置４６（後述する図４を参照）等が配置されている。
トラクタ２は、キャビン２１設けられているものに限られず、キャビン２１が設けられていない構成であってもよい。

走行機体７の下部には、トラクタ２のシャーシ２５が設けられている。シャーシ２５は、機体フレーム２６、トランスミッション２７、フロントアクスル２８、リアアクスル２９等から構成されている。
機体フレーム２６は、トラクタ２の前部における支持部であって、直接または防振部材等を介してエンジン２０を支持している。トランスミッション２７は、エンジン２０からの動力を変化させてフロントアクスル２８およびリアアクスル２９に伝達する。フロントアクスル２８は、トランスミッション２７から入力された動力を前輪１７に伝達する。リアアクスル２９は、トランスミッション２７から入力された動力を後輪１８に伝達する。

トラクタ２の走行機体７の後部には、作業機８が装着されている。ＰＴＯ軸３１を介してエンジン２０の駆動力の一部が作業機８に伝達される。これにより、作業機８が駆動して耕耘作業が行われる。作業機８の下部には、水平に配置された軸３０ａを中心に回転駆動される耕耘爪（作業体）３０が複数設けられている。作業機８を作業高さにまで降下させることで、回転する耕耘爪３０が土壌に接触する。作業機８を作業高さにまで降下させることによって、当該作業高さに対応する所定深さでの圃場の耕耘作業を行うことができる。

図４は、トラクタ２の電気的構成を示すブロック図である。トラクタ２は、走行機体７の動作（前進、後進、停止、旋回等の動作）と、作業機８の動作（昇降、駆動、停止等の動作）とを制御する制御部４０を含む。制御部４０は、ＣＰＵおよびメモリ（ＲＡＭ等）４７を備えたマイクロコンピュータを含む。制御部４０には、通信部５３および記憶部５２が電気的に接続されている。通信部５３は、制御部４０が遠隔操作端末３と無線通信するための通信インターフェースである。記憶部５２は、不揮発性メモリ等の記憶デバイスから構成されている。

制御部４０には、トラクタ２の各部を制御するための複数のコントローラが電気的に接続されている。複数のコントローラは、エンジンコントローラ４１、車速コントローラ４２、操向コントローラ４３、昇降コントローラ４４、ＰＴＯコントローラ４５等を含む。
エンジンコントローラ４１は、エンジン２０に設けられる燃料噴射装置としてのコモンレール装置３５と電気的に接続されている。コモンレール装置３５は、エンジン２０の各気筒に燃料を噴射するものである。エンジンコントローラ４１は、コモンレール装置３５を制御することで、エンジン２０の回転数等を制御する。

車速コントローラ４２は、トランスミッション２７を制御することによって、トラクタ２の車速を制御するものである。トランスミッション２７には、たとえば可動斜板式の油圧式無段変速装置である変速装置３６が設けられている。
操向コントローラ４３は、自律走行中に前輪１７の転舵角を制御するものである。具体的には、ステアリングハンドル２２の回転軸（ステアリングシャフト）の中途部に操向アクチュエータ３７が設けられている。操向コントローラ４３は、ステアリングハンドル２２の回転角が目標転舵角となるように操向アクチュエータ３７を制御する。これにより、走行機体７の一対の前輪１７の転舵角が制御される。

昇降コントローラ４４は、作業機８の昇降を制御するものである。具体的には、トラクタ２は、作業機８を走行機体７に連結する部分の近傍に、公知の油圧式のリフトシリンダからなる昇降アクチュエータ３８を備えている。
ＰＴＯコントローラ４５は、ＰＴＯ軸３１の回転を制御するものである。具体的には、トラクタ２は、ＰＴＯ軸３１への動力の伝達／遮断を切り換えるためのＰＴＯクラッチ３９を備えている。

トラクタ２には、自律走行するトラクタ２の進行方向に存在する障害物を検知して、障害物との衝突を回避するための障害物検知ユニット３２（障害物検出部）と、トラクタ２の進行方向における圃場の表面付近を撮影する撮影装置５４（撮影部）とが備えられている。
障害物検知ユニット３２は、レーザを用いて測定対象物までの距離を３次元で測定可能（検知可能）な複数のライダーセンサを含む。ライダーセンサによって測定する測定対象物は、物体や人等である。ライダーセンサは、制御部４０に電気的に接続されている。

ライダーセンサは、レーザ光（たとえば、パルス状の近赤外レーザ光）が測定対象物に当たって跳ね返ってくるまでの往復時間から測定対象物までの距離を測定している。ライダーセンサは、レーザ光を上下方向および左右方向に高速で走査し、各走査角における測定対象物までの距離を順次測定することで、ライダーセンサと測定対象物との間の距離を３次元で測定している。ライダーセンサは、測定範囲内における測定対象物までの距離をリアルタイムで繰り返し測定する。

ライダーセンサは、トラクタ２の前方側を測定範囲（検出範囲）とし、トラクタ２の前方側での障害物を検知する前ライダーセンサと、トラクタ２の後方側を測定範囲（検出範囲）とし、トラクタ２の後方側での障害物を検知する後ライダーセンサとを含む。前ライダーセンサは、自律走行中のトラクタ２の進行方向が前方側であるときに、障害物を検知する。後ライダーセンサは、自律走行中のトラクタ２の進行方向が後方側であるときに、障害物を検知する。

ライダーセンサで測定された障害物までの距離が閾値以下となった場合に、トラクタ２の制御部４０は、障害物が検知されたことを示す障害物検知信号を遠隔操作端末３に向けて送信する。
この実施形態とは異なり、障害物検知ユニット３２は、ライダーセンサの代わりまたはライダーセンサに加えてソナーユニットを含んでいてもよい。ソナーユニットは、投射した超音波が測定対象物に当たって跳ね返ってくるまでの往復時間から測定対象物までの距離を測定するように構成されている。ソナーユニットは、測定範囲内に、何らかの物体が測定対象物として存在すると、その測定対象物を障害物として検知し、障害物までの距離を測定するように構成されている。

撮影装置５４は、トラクタ２の前方側を斜め上方から見下ろす状態で撮影する前カメラと、トラクタ２の後方側を斜め上から見下ろす状態で撮影する後カメラとを含む。前カメラおよび後カメラは、撮影した撮影画像を外部に出力可能である。
制御部４０には、衛星信号受信用アンテナ５０が電気的に接続されている。衛星信号受信用アンテナ５０は、キャビン２１の屋根１５上に設けられている（図２参照）。衛星信号受信用アンテナ５０は、衛星測位システムを構成する測位衛星からの信号を受信するものである。衛星測位システムは、たとえば、ＧＮＳＳ（Global Navigation Satellite System）である。衛星信号受信用アンテナ５０で受信された測位信号は、位置情報算出部（位置情報取得部）５１に入力される。位置情報算出部５１は、トラクタ２の走行機体７（厳密には、衛星信号受信用アンテナ５０）の位置情報を、例えば緯度・経度情報として算出する。

トラクタ２の制御部４０は、トラクタ２を自律走行させるためにトラクタ２の各種コントローラを制御する自律走行制御部５５を含む。圃場には、トラクタ２が自律走行する際に走行する自律走行経路が予め設定されている。自律走行経路は、遠隔操作端末３を用いて生成され、制御部４０のメモリ４７または記憶部５２に記憶されている。自律走行制御部５５は、位置情報算出部５１によって算出された位置情報を利用して、トラクタ２を自律走行経路に沿って自律走行させる。トラクタ２を自律走行させる際、オペレータは、圃場の上または圃場の外部に立ち、遠隔操作端末３を用いてトラクタ２を監視する。

図５は、遠隔操作端末３の電気的構成を示すブロック図である。
遠隔操作端末３は、制御部６０を備えている。制御部６０には、通信部６１、画像表示部６２、記憶部６４、視線検出部６５、音声報知部６６等が接続されている。
通信部６１は、制御部６０がトラクタ２と無線通信するための通信インターフェースである。制御部６０は、ＣＰＵおよびメモリ（ＲＯＭ、ＲＡＭ等）６０Ａを備えたマイクロコンピュータを含む。

画像表示部６２は、たとえば、タッチパネル式ディスプレイからなる。図６Ａおよび図６Ｂは、画像表示部６２に表示される画像を説明するための模式図である。画像表示部６２に表示される画像は、障害物検知ユニット３２によって障害物が検知されているときと障害物が検知されていないときとで異なる。図６Ａは、障害物検知ユニット３２によって障害物が検知されていないときの画像表示部６２を示しており、図６Ｂは、障害物検知ユニット３２によって障害物が検知されたときの画像表示部６２を示している。

図６Ａを参照して、画像表示部６２は、たとえば、画面上端側の上部表示領域７０とそれよりも画面下方側の下部表示領域７１とに分割されている。上部表示領域７０には、自律走行開始ボタン７２と、自律走行停止ボタン７３とが表示されている。
オペレータが自律走行開始ボタン７２を操作することによって、トラクタ２の自律走行が開始される。オペレータが自律走行停止ボタン７３を操作することによって、トラクタ２の自律走行が停止される。

下部表示領域７１には、撮影装置５４の前カメラによって撮影された映像が表示される前カメラ映像表示領域７４と、撮影装置５４の後カメラによって撮影された映像が表示される後カメラ映像表示領域７５と、自律走行経路が表示される経路表示領域７６とが表示されている。撮影装置５４によって撮影された映像は、トラクタ２の制御部４０から遠隔操作端末３にリアルタイムで送信される。遠隔操作端末３の制御部６０は、トラクタ２から受信した映像を、画像表示部６２の前カメラ映像表示領域７４または後カメラ映像表示領域７５に表示させる。

トラクタ２の進行方向に応じて前カメラ映像表示領域７４および後カメラ映像表示領域７５の大きさが変化する。トラクタ２の進行方向が前方側であるときには、前カメラ映像表示領域７４が後カメラ映像表示領域７５よりも大きくされ、トラクタ２の進行方向が後方側であるときには、後カメラ映像表示領域７５が前カメラ映像表示領域７４よりも大きくされる。図６Ａに示す例では、前カメラ映像表示領域７４が後カメラ映像表示領域７５よりも大きくなっている。

図６Ｂを参照して、トラクタ２の進行方向が前方側であるときに障害物検知ユニット３２がトラクタ２の前方側に障害物を検知すると、前カメラ映像表示領域７４が拡大されて、下部表示領域７１のほぼ全域が前カメラ映像表示領域７４となる。拡大された前カメラ映像表示領域７４には、撮影装置５４の前カメラが撮影した障害物の画像が表示されている。図６Ｂには、障害物検知ユニット３２が障害物として検知した物が、雑草（真に障害物として扱うべきでない物）である例を示している。なお、真に障害物として扱うべき物としては、たとえば、人や動物等が挙げられる。

図示しないが、トラクタ２の進行方向が後方側であるときに障害物検知ユニット３２がトラクタ２の後方側に障害物を検知すると、後カメラ映像表示領域７５が拡大されて、下部表示領域７１のほぼ全域が後カメラ映像表示領域７５となる。拡大された後カメラ映像表示領域７５には、撮影装置５４の後カメラが障害物の画像が表示される。
図５を参照して、視線検出部６５は、たとえば、カメラである。視線検出部６５は、遠隔操作端末３を操作するオペレータの視線が向いている方向を検出する。オペレータの視線の向きを検出する方法として、たとえば、オペレータの目の動きを検出する方法が挙げられる。より具体的には、オペレータの目頭を基準点として、虹彩を動点とし、目頭と虹彩との位置関係によってオペレータの視線の向きを検出することができる。

音声報知部６６は、たとえば、スピーカである。音声報知部６６は、障害物検知ユニット３２が障害物を検知した場合に、すなわち、遠隔操作端末３が障害物検知信号を受信したときに、音声による報知を行う。具体的には、音声報知部６６は、オペレータに画像表示部６２の確認を促す音声を出力する。
遠隔操作端末３の制御部６０は、障害物検知ユニット３２が障害物を検知してから所定時間が経過するまでの間にオペレータが画像表示部６２を確認したか否かを視線検出部６５が検出したオペレータの視線の向きに基づいて判定する判定部６７と、障害物検知ユニット３２が障害物を検知してから所定時間が経過するまでの間にオペレータが画像表示部６２を確認したと判定部６７が判定した場合には、停止無効指令をトラクタ２に向けて送信する無効指令送信部６８とを含む。停止無効指令とは、トラクタ２の自律走行を自律走行制御部５５に停止させないようにするための指令である。

図４も参照して、自律走行制御部５５は、障害物検知ユニット３２が障害物を検知してから所定時間が経過したときに、トラクタ２の自律走行を停止させる。自律走行制御部５５は、障害物検知ユニット３２が障害物を検知してから所定時間が経過する前に、遠隔操作端末３から停止無効指令を受信した場合には、トラクタ２の自律走行を継続させる。
遠隔操作端末３の制御部６０は、画像表示部６２に表示された自律走行停止ボタン７３（停止操作部）をオペレータが操作すると、トラクタ２の自律走行を自律走行制御部５５に停止させる停止指令をトラクタ２に向けて送信する停止指令送信部６９をさらに含む。

停止指令送信部６９は、障害物検知ユニット３２が障害物を検知してから所定時間が経過するまでの間にオペレータが画像表示部６２を確認したと判定部６７が判定した場合であっても、オペレータが自律走行停止ボタン７３を操作すれば、自律走行制御部５５に停止指令を送信する。自律走行制御部５５は、遠隔操作端末３から停止指令を受信した場合には、障害物検知ユニット３２が障害物を検知したか否かにかかわらず、トラクタ２の自律走行を停止させる。

図７は、オペレータの視線が画像表示部６２に向いているか否かを判定する基準について説明するためのタイムチャートである。
障害物検知ユニット３２が障害物を検知したときの時刻を検知時刻ｔ０とし、自律走行制御部５５がトラクタ２の自律走行を停止させる時刻を停止時刻ｔ３とする。判定部６７は、停止時刻ｔ３を過ぎるまでの間にオペレータが画像表示部６２を確認したか否かを視線検出部６５の検出結果に基づいて判定する。詳しくは、判定部６７は、検知時刻ｔ０と停止時刻ｔ３との間において、オペレータの視線が画像表示部６２に向いた状態が所定の確認必要期間Δｔ１の間継続された場合にのみ、オペレータが画像表示部６２を確認したと判定する。

オペレータの視線が画像表示部６２に向いたときの時刻を確認開始時刻ｔ１とし、オペレータの視線が画像表示部６２から逸れたときの時刻を確認終了時刻ｔ２とする。確認開始時刻ｔ１と確認終了時刻ｔ２との間の期間を確認期間Δｔ２という。判定部６７は、確認期間Δｔ２が、確認必要期間Δｔ１以上の長さであれば、オペレータが画像表示部６２を確認したと判定する。確認必要期間Δｔ１は、たとえば、２〜３秒間である。

オペレータの視線が画像表示部６２に向いてから確認必要期間Δｔ１が経過する前にオペレータが視線を画像表示部６２から逸らした場合には、判定部６７は、オペレータが画像表示部６２を確認していないと判定する。
図８は、無効指令送信部６８による停止無効指令送信処理の一例を示すフローチャートである。無効指令送信部６８は、まず、障害物検知ユニット３２によって障害物が検知されたか否かを判定する（ステップＳ１）。具体的には、無効指令送信部６８は、遠隔操作端末３の制御部６０が障害物検知信号を受信したか否かを判定する。無効指令送信部６８は、障害物検知ユニット３２によって障害物が検知されない場合には（ステップＳ１：ＮＯ）、ステップＳ１に戻る。障害物検知ユニット３２によって障害物が検知された場合には（ステップＳ１：ＹＥＳ）、判定部６７は、確認必要期間Δｔ１の間、オペレータの視線が継続して画像表示部６２に向いていたか否かを判定する（ステップＳ２）。

確認必要期間Δｔ１の間オペレータの視線が継続して画像表示部６２に向いていたと判定部６７が判定した場合には（ステップＳ２：ＹＥＳ）、すなわち、確認期間Δｔ２が確認必要期間Δｔ１以上の長さであった場合には（Δｔ２≧Δｔ１）、無効指令送信部６８は、停止無効指令をトラクタ２に送信する（ステップＳ３）。
確認必要期間Δｔ１の間オペレータの視線が継続して画像表示部６２に向いていなかったと判定部６７が判定した場合には（ステップＳ２：ＮＯ）、すなわち、確認期間Δｔ２が確認必要期間Δｔ１よりも短かった場合には（Δｔ２＜Δｔ１）、無効指令送信部６８は、現在時刻が停止時刻ｔ３に達したか否かを判定する（ステップＳ４）。現在時刻が停止時刻ｔ３に達していないと無効指令送信部６８が判定した場合には（ステップＳ４：ＮＯ）、確認必要期間Δｔ１の間、オペレータの視線が継続して画像表示部６２に向いていたか否かを判定部６７が再度判定する（ステップＳ２）。ステップＳ４において、現在時刻が停止時刻ｔ３に達したと無効指令送信部６８が判定した場合には（ステップＳ４：ＹＥＳ）、停止無効指令が送信されることなく、停止無効指令送信処理が終了する。すなわち、現在時刻が停止時刻ｔ３に達するまでに確認必要期間Δｔ１以上オペレータが継続して画像表示部６２に視線を向けなかった場合には、停止無効指令は送信されない。

図９は、障害物検知後の自律走行制御部５５による停止制御処理の一例を示すフローチャートである。自律走行制御部５５は、まず、障害物検知ユニット３２によって障害物が検知されたか否かを判定する（ステップＳ１１）。具体的には、自律走行制御部５５は、遠隔操作端末３の制御部６０が障害物検知信号を受信したか否かを判定する。自律走行制御部５５は、障害物検知ユニット３２によって障害物が検知されない場合には（ステップＳ１１：ＮＯ）、ステップＳ１１に戻る。

自律走行制御部５５は、障害物検知ユニット３２によって障害物が検知された場合には（ステップＳ１１：ＹＥＳ）、停止指令がトラクタ２の制御部４０に入力されたか否かを判定する（ステップＳ１２）。自律走行制御部５５は、停止指令がトラクタ２の制御部４０に入力されていない場合には（ステップＳ１２：ＮＯ）、現在時刻が停止時刻ｔ３に達したか否かを判定する（ステップＳ１３）。自律走行制御部５５は、現在時刻が停止時刻ｔ３に達していない場合には（ステップＳ１３：ＮＯ）、停止無効指令がトラクタ２の制御部４０に入力されたか否かを判定する（ステップＳ１４）。

自律走行制御部５５は、ステップＳ１４において停止無効指令がトラクタ２の制御部４０に入力された場合には（ステップＳ１４：ＹＥＳ）、停止無効フラグＦがセット（Ｆ＝１）され（ステップＳ１５）、ステップＳ１２に戻る。停止無効フラグＦは、停止無効指令がトラクタ２の制御部４０に入力されたか否かを記憶するためのフラグである。自律走行制御部５５は、ステップＳ１４において停止無効指令がトラクタ２の制御部４０に入力されない場合には（ステップＳ１４：ＮＯ）、停止無効フラグＦをセットすることなく（Ｆ＝０）、ステップＳ１２に戻る。

ステップＳ１３において現在時刻が停止時刻ｔ３に達した場合には（ステップＳ１３：ＹＥＳ）、自律走行制御部５５は、停止無効フラグＦがセットされているか否かを判定する（ステップＳ１６）。ステップＳ１６において停止無効フラグＦがセット（Ｆ＝１）されていると判定された場合には（ステップＳ１６：ＹＥＳ）、自律走行制御部５５は、自律走行を停止させることなく停止無効フラグＦをリセット（Ｆ＝０）する（ステップＳ１７）。その後、自律走行制御部５５は、ステップＳ１１に戻る。

ステップＳ１６において停止無効フラグＦがセットされていないと判定された（Ｆ＝０）場合には（ステップＳ１６：ＮＯ）、自律走行制御部５５は、車速コントローラ４２を制御してトラクタ２の自律走行を停止させる（ステップＳ１８）。その後、自律走行制御部５５は、停止無効フラグＦをリセット（Ｆ＝０）した後（ステップＳ１７）、ステップＳ１１に戻る。

現在時刻が停止時刻ｔ３に達する前に、ステップＳ１２において停止指令がトラクタ２の制御部４０に入力された場合には（ステップＳ１２：ＹＥＳ）、自律走行制御部５５は、車速コントローラ４２を制御してトラクタ２の自律走行を停止させる（ステップＳ１８）。その後、自律走行制御部５５は、停止無効フラグＦをリセット（Ｆ＝０）した後（ステップＳ１７）、ステップＳ１１に戻る。

この停止制御処理では、トラクタ２の制御部４０に停止無効指令が入力されている場合であっても、トラクタ２の制御部４０に停止指令が更に入力された場合には、自律走行制御部５５は、トラクタ２の自律走行を停止させる。詳しくは、ステップＳ１５において停止無効フラグＦがセット（Ｆ＝１）された場合であっても、ステップＳ１２において停止指令がトラクタ２の制御部４０に入力された場合には（ステップＳ１２：ＹＥＳ）、自律走行制御部５５は、トラクタ２の自律走行を停止させる（ステップＳ１８）。

この実施形態によれば、オペレータは、遠隔操作端末３の画像表示部６２に表示された障害物の画像を確認することができ、障害物検知ユニット３２が障害物として検知した物が真に障害物として扱うべき物であるか否かの判断を行うことができる。
障害物検知ユニット３２が障害物を検知してから所定時間が経過するまでの間にオペレータが画像表示部６２を確認しなかったと判定部６７が判定した場合には、トラクタ２の自律走行は、障害物検知ユニット３２が障害物を検知してから所定時間（停止時刻ｔ３）が経過したときに自動的に停止される。したがって、オペレータの不注意による確認漏れがあった場合には、作業車両の自律走行を自動的に停止させることができる。

障害物検知ユニット３２が障害物を検知してから所定時間が経過するまでの間（検知時刻ｔ０から停止時刻ｔ３の間）にオペレータが画像表示部６２を確認したと判定部６７が判定した場合には、オペレータに判断が委ねられる。オペレータは、障害物検知ユニット３２が障害物として検知した物が真に障害物として扱うべき物であると判断した場合には、遠隔操作端末３の画像表示部６２に表示された自律走行停止ボタン７３を操作することによってトラクタ２の自律走行を停止させることができる。

逆に、オペレータは、障害物検知ユニット３２が障害物として検知した物が真に障害物として扱うべき物でないと判断した場合には、トラクタ２の自律走行制御部５５に停止させないようにする停止無効指令がトラクタ２に向けて送信される。したがって、障害物検知ユニット３２が障害物として検知した物が真に障害物として扱うべきでない物である場合に、トラクタ２が停止することを回避することができる。さらに、障害物検知ユニット３２が障害物として検知した物が真に障害物として扱うべきでない物である場合に自律走行を継続させるためにわざわざ遠隔操作端末３を操作する必要がない。

よって、障害物の検知に基づいてトラクタ２の自律走行を停止させる構成において、利便性の向上を図ることができる。
また、判定部６７が、視線検出部６５によって検出されたオペレータの視線が画像表示部６２に向いた状態が所定期間（確認必要期間Δｔ１）継続された場合に、オペレータが画像表示部６２に表示された画像を確認したと判定する。つまり、オペレータの視線が一瞬の間だけ画像表示部６２に向けられた場合には、オペレータが画像表示部６２に表示された画像を確認していないと判定される。そのため、画像表示部６２に表示された画像を確認することをオペレータに促すことができる。結果として、オペレータによる誤判断を抑制することができる。

この実施形態では、障害物検知ユニット３２が障害物を検知した場合に、画像表示部６２において撮影装置５４が撮影した障害物の画像が拡大表示される。これにより、画像表示部６２に表示された画像を確認することをオペレータに促すことができる。結果として、オペレータによる誤判断を抑制することができる。
この実施形態では、音声報知部６６が、障害物検知ユニット３２が障害物を検知した場合に音声による報知を行う。そのため、オペレータの視線が画像表示部６２に向いておらず、障害物検知ユニット３２が障害物を検知したことをオペレータが認識していない場合であっても、視線を画像表示部６２に向けることをオペレータに促すことができる。

＜その他の実施形態＞
この発明は、以上に説明した実施形態に限定されるものではなく、さらに他の形態で実施することができる。
たとえば、遠隔操作端末３の代わりに、図１に二点鎖線で示す管理サーバ４が監視装置として機能してもよい。管理サーバ４は、管理センター内に設けられている。オペレータは、管理センター内からトラクタ２を監視する。管理サーバ４は、携帯電話回線等でトラクタ２と通信し、障害物が検出されるとトラクタ２から障害物検出信号を受信する。そして、管理サーバ４は、図８に示す停止無効指令送信処理を行い、必要に応じてトラクタ２に停止無効指令を送信する。管理サーバ４は、オペレータの操作によって、トラクタ２に停止指令を送信することも可能である。

また、上述した実施形態では、作業車両がトラクタ２である例について説明した。しかしながら、作業車両は、トラクタに限られず、コンバイン、田植機等であってもよい。
その他、特許請求の範囲に記載した範囲で種々の変更を行うことができる。

１：自律走行制御システム
２：トラクタ（作業車両）
３：遠隔操作端末（監視端末）
４：管理サーバ（監視端末）
３２：障害物検知ユニット（障害物検知部）
５４：撮影装置（撮影部）
５５：自律走行制御部
６２：画像表示部
６５：視線検出部
６６：音声報知部
６７：判定部
６８：無効指令送信部
６９：停止指令送信部
７４：前カメラ映像表示領域（障害物の画像）
７５：後カメラ映像表示領域（障害物の画像）
ｔ３：所定時間（停止時刻）
Δｔ１：所定期間（確認必要期間）

Claims

圃場に設定された走行経路に沿って自律走行可能な作業車両と、前記作業車両を監視するためにオペレータが操作する監視装置とを含み、
前記作業車両は、前記作業車両の進行方向に存在する障害物を検知する障害物検知部と、前記作業車両の進行方向に存在する障害物を撮影する撮影部と、前記作業車両の自律走行を制御するとともに、前記障害物検知部が障害物を検知してから所定時間が経過したときに前記作業車両の自律走行を停止させる自律走行制御部とを有し、
前記監視装置は、前記撮影部が撮影した障害物の画像を表示する画像表示部と、オペレータの視線を検出する視線検出部と、オペレータによる前記監視装置の操作に応じて前記自律走行制御部に前記作業車両の自律走行を停止させる停止指令を送信する停止指令送信部と、前記障害物検知部が障害物を検知してから前記所定時間が経過するまでの間にオペレータが前記画像表示部に表示された前記画像を確認したか否かを前記視線検出部が検出したオペレータの視線の向きに基づいて判定する判定部と、前記障害物検知部が障害物を検知してから前記所定時間が経過するまでの間にオペレータが前記画像表示部に表示された前記画像を確認したと前記判定部が判定した場合には、前記作業車両の自律走行を前記自律走行制御部に停止させないようにする停止無効指令を前記作業車両に向けて送信する無効指令送信部とを有する、自律走行制御システム。
前記判定部が、前記視線検出部によって検出されたオペレータの視線が前記画像表示部に向いた状態が所定期間継続された場合に、オペレータが前記画像表示部に表示された前記画像を確認したと判定する、請求項１に記載の自律走行制御システム。
前記障害物検知部が障害物を検知した場合に、前記画像表示部において前記画像が拡大表示される、請求項１または２に記載の自律走行制御システム。
前記監視装置が、前記障害物検知部が障害物を検知した場合に音声による報知を行う音声報知部を有する、請求項１〜３のいずれか一項に記載の自律走行制御システム。