JP2019032682A - 自動走行システム - Google Patents

Abstract

【課題】利便性を向上させた自動走行システムを提供する。【解決手段】自動走行システムは、走行経路２５に沿って作業車両１を自動走行させる自動走行制御部１２と、ディスプレイ２４に所定の画像を表示させる表示制御部２２と、を有する。表示制御部２２は、走行経路２５を示す走行経路画像２５と、測位衛星システムを用いて特定された作業車両１の位置を示す車体位置画像２６と、作業車両１の周囲を撮影するカメラの画像に基づいて生成された作業車両周囲の俯瞰画像２７とをディスプレイ２４に重ねて表示する。【選択図】図１４

Description

本開示は、予め定められた走行経路に沿って自動走行する作業車両を有する自動走行システムに関する。

国際公開第２０１５／１１９２６４号には、自動走行する作業車両に関するシステムが開示されている。このシステムは、作業車両と、作業車両を遠隔操作する遠隔操作装置と、を有し、作業車両は、衛星測位システムを用いて機体の位置を測位し、遠隔操作装置が予め設定した走行経路に沿って自動走行する。作業車両には機体周囲を撮影するカメラが搭載されており、撮影した映像が遠隔操作装置のディスプレイに表示され、前方を表示した画像により障害物を確認することができるという記載がある。また、遠隔操作装置のディスプレイには、作業車両の走行経路が表示可能であるという記載がある。

国際公開第２０１５／１１９２６４号

予め設定された走行経路は、作業車両が自動で走行する経路であることを示すためにディスプレイにおいて大きく表示されることが望ましい。また、カメラが撮影した画像は、自動走行の状態の監視のためにディスプレイにおいて大きく表示されることが望ましい。

しかしながら、双方の画像をディスプレイに表示するためには、双方の画像を縮小表示して並べて表示するしかなく、経路及びカメラ画像が小さくなって見えにくい。また、双方の画像が別の領域に表示されることになるので、双方の画像を同時に見ることはできず、視線の移動が必須となる。

本開示は、このような課題に着目してなされたものであって、その目的は、利便性を向上させた自動走行システムを提供することである。

本開示の自動走行システムは、
走行経路に沿って作業車両を自動走行させる自動走行制御部と、
表示部に所定の画像を表示させる表示制御部と、を備え、
前記表示制御部は、
前記走行経路を示す走行経路画像と、測位衛星システムを用いて特定された前記作業車両の位置を示す車体位置画像と、前記作業車両の周囲を撮影するカメラの画像に基づいて生成された前記作業車両周囲の俯瞰画像とを前記表示部に重ねて表示する。

このように作業車両周囲の画像に基づき作業車両周囲を見下ろした俯瞰画像にしているので、作業車両周囲の画像と、走行経路とを一つの領域に表示可能となる。よって、作業車両周囲の画像と、走行経路とを別領域に個別に表示するのに比べて、両方を大きく表示できるので、見やすい表示を提供可能となる。また、監視者は、一つの表示領域を見るだけで、視線を移動させなくてもよいので、監視が容易となる。
したがって、利便性を向上させた自動走行システムを提供することが可能となる。

自動走行システムの概略構成を示す図。 自動走行システムの概略構成を示すブロック図。 表示装置に表示されるスプラッシュ画面を示す図。 表示装置に表示される免責事項画面を示す図。 表示装置に表示される初期登録画面を示す図。 表示装置に表示されるトップ画面を示す図。 表示装置に表示される圃場リスト画面を示す図。 表示装置に表示されるパス一覧画面を示す図。 表示装置に表示されるパス詳細画面を示す図。 表示装置に表示される作業準備画面を示す図。 表示装置に表示される作業画面を示す図。 表示装置に表示される通知情報画面を示す図。 表示装置に表示される作業画面を示す図。 走行経路と俯瞰画像と車両の現在位置との関係を示す説明図。 表示装置に表示される作業画面を示す図。 表示装置に表示される作業画面を示す図。

本開示の実施形態について図面を参照しながら説明する。

自動走行システムは、図１に示すように、予め定められた走行経路に沿って自動走行する自動走行作業車両１と、自動走行作業車両１と通信可能な表示装置２と、を有する。本実施形態のシステムは、自動走行作業車両１の位置情報を取得するための基準局４を更に有する。表示装置２は、自動走行作業車両１に対して各種の情報を指示可能である。

図１では、自動走行作業車両１としてトラクタを例示したが、トラクタの他、田植機、コンバイン、土木・建築作業装置、除雪車等、乗用型作業車両に加え、歩行型作業車両も適用可能である。

車両の一例としての自動走行作業車両１について説明する。図１に示すように、自動走行作業車両１は車体フレーム１０ａを備えている。車体フレーム１０ａ前部にて、前車軸駆動ケース１０ｂが支持されており、該前車軸駆動ケース１０ｂにて、左右一対の前輪１０ｃが支持されている。車体フレーム１０ａの前部上方には、ボンネット１０ｄが搭載されており、該ボンネット１０ｄ内にエンジン１０ｅが配置されている。図１に示すように、ボンネット１０ｄの後方にて、車体フレーム１０ａの後部上方にはキャビン１０ｆが搭載されている。キャビン１０ｆ内には、不図示の座席、ステアリングハンドル等が配置される。

図１に示すように、キャビン１０ｆの下方にて、車体フレーム１０ａの後端部が、変速機１０ｇのトランスミッションケースに接続されている。変速機１０ｇは、左右一対の後輪１０ｈの車軸を支持するとともに、前車軸駆動ケース１０ｂへと前輪駆動用の動力を出力するための前輪駆動軸を支持している。

図２に示すように、自動走行作業車両１は車両側無線通信部１４を有し、表示装置２は端末側無線通信部２１を有し、基準局４は基準局側無線通信部４１を有する。車両側無線通信部１４と端末側無線通信部２１との間での無線通信により自動走行作業車両１と表示装置２との間で各種の情報が送受信可能に構成されており、車両側無線通信部１４と基準局側無線通信部４１との間での無線通信により自動走行作業車両１と基準局４との間で各種の情報を送受信可能に構成されている。そして、表示装置２と基準局４とは、自動走行作業車両１を介して各種の情報を送受信可能に構成されている。また、端末側無線通信部２１と基準局側無線通信部４１との間での無線通信により表示装置２と基準局４とが、自動走行作業車両１を介さずに直接各種の情報を送受信可能に構成することもできる。各無線通信部同士での無線通信に用いられる周波数帯域は、共通の周波数帯域であってもよいし、互いに異なる周波数帯域であってもよい。

自動走行作業車両１には、図２に示すように、測位用アンテナ１１、制御部１２（自動走行制御部）、位置情報取得部１３、車両側無線通信部１４、カメラ１５、障害物センサ１６が備えられ、制御部１２の制御によって、位置情報取得部１３にて自己の現在位置情報（自動走行作業車両１の現在位置）を取得しながら、自動走行可能に構成されている。

カメラ１５は、機体周囲を撮影する。カメラ１５が撮影した画像は表示装置２のディスプレイ２４に表示可能に構成されている。本実施形態において少なくとも４台のカメラが配置されている。本実施形態では、機体前方を撮影する第１カメラ、機体右方を撮影する第２カメラ、機体左方を撮影する第３カメラ、機体後方を撮影する第４カメラが配置されている。勿論、機体周囲を撮影することができれば、４台に限定されず、１台の全方位カメラでもよい。

障害物センサ１６は、機体周囲の所定距離以内に障害物が存在するか否かを検出する。例えば、超音波センサ等で構成することができる。障害物センサ１６が機体周囲の所定距離以内に障害物が存在することを検知した場合には、制御部１２が機体の走行を停止するように制御することも可能である。

測位用アンテナ１１は、図１に示すように、例えば、衛星測位システム（ＧＮＳＳ）を構成する測位衛星３からの信号を受信するように構成されている。測位用アンテナ１１は、例えば、自動走行作業車両１のキャビン１０ｆのルーフの上面に配置されている。

衛星測位システムを用いた測位方法として、図１に示すように、予め定められた基準点に設置された基準局４からの補正情報により自動走行作業車両１（移動局）の衛星測位情報を補正して、自動走行作業車両１の現在位置を求める測位方法を適用可能としている。例えば、ＤＧＰＳ（ディファレンシャルＧＰＳ測位）、ＲＴＫ測位（リアルタイムキネマティック測位）等の各種の測位方法を適用することができる。ちなみに、測位方法については、基準局４を備えずに単独測位を用いることもできる。

本実施形態では、例えば、ＲＴＫ測位を適用していることから、図１及び図２に示すように、移動局側となる自動走行作業車両１に測位用アンテナ１１を備えるのに加えて、基準局４が備えられている。基準局４の設置位置となる基準点の位置情報は予め設定されて把握されている。基準局４は、例えば、圃場の周囲等、自動走行作業車両１の走行の邪魔にならない位置（基準点）に配置されている。基準局４には、基準局側無線通信部４１と基準局測位用アンテナ４２とが備えられている。

ＲＴＫ測位では、基準点に設置された基準局４と、位置情報を求める対象の移動局側となる自動走行作業車両１の測位用アンテナ１１との両方で測位衛星３からの搬送波位相（衛星測位情報）を測定している。基準局４では、測位衛星３から衛星測位情報を測定する毎に又は設定周期が経過する毎に、測定した衛星測位情報と基準点の位置情報等を含む補正情報を生成して、基準局側無線通信部４１から自動走行作業車両１の車両側無線通信部１４に補正情報を送信している。自動走行作業車両１の位置情報取得部１３は、測位用アンテナ１１にて測定した衛星測位情報を、基準局４から送信される補正情報を用いて補正して、自動走行作業車両１の現在位置情報を求めている。位置情報取得部１３は、自動走行作業車両１の現在位置情報として、例えば、緯度情報・経度情報を求めている。

表示装置２は、例えば、タッチパネルを有するタブレット型のパーソナルコンピュータ等の情報処理装置で構成され、各種情報をタッチパネルに表示可能であり、タッチパネルを操作することで、各種の情報も入力可能となっている。表示装置２については、ユーザが自動走行作業車両１の外部にて携帯して使用することが可能であるとともに、自動走行作業車両１の運転席の側脇等に装着して使用することもできる。

表示装置２は、図２に示すように、端末側無線通信部２１、表示制御部２２、経路生成部２３、ディスプレイ２４（タッチパネル）を有する。表示制御部２２は、ディスプレイ２４の表示画面に各種の画面を表示させるように構成されている。以下の説明において、表示制御部２２が所定の画面を表示するとした場合、特に断りがない限り、ディスプレイ２４への表示を示すものとする。経路生成部２３は、自動走行作業車両１が自動走行する走行経路を生成するように構成されている。また、表示装置２には、記憶部（図示省略）が備えられており、この記憶部には、ユーザにより登録された情報等、各種の情報が記憶されている。

自動走行作業車両１の自動走行を行う場合には、まず、ユーザが表示装置２を操作することで、経路生成部２３が走行経路を生成し、その生成された走行経路に関する情報等、その他各種の情報が表示装置２から自動走行作業車両１に送信される。そして、自動走行作業車両１の自動走行を開始するための各種の条件が満たされた上で、ユーザが表示装置２を操作して自動走行作業車両１に対して自動走行の開始を指示することで、自動走行作業車両１の自動走行が開始される。自動走行中では、自動走行作業車両１の制御部１２が、経路生成部２３にて生成された走行経路に沿って自動走行作業車両１が自動走行するように、位置情報取得部１３にて取得する自動走行作業車両１の現在位置情報に基づいて自動走行作業車両１の作動状態を制御している。また、位置情報取得部１３にて取得する自動走行作業車両１の現在位置情報については、リアルタイム（例えば、数秒周期）で自動走行作業車両１から表示装置２に送信されており、表示装置２のディスプレイ２４に自動走行作業車両１の現在位置を表示できるようになっている。

以下、図３〜図１３に基づいて、自動走行作業車両１の自動走行を行う場合に、表示装置２における表示制御部２２による表示画面の制御について説明する。図３〜図１３は、いずれも表示装置２のディスプレイ２４に表示される表示画面を示している。

表示制御部２２は、表示装置２の電源投入後又は表示装置２におけるアプリケーション起動後に、図３に示すスプラッシュ画面と、図４に示す免責事項画面と、図６に示すトップ画面とに順次表示させる。

図３に示すスプラッシュ画面は、電源投入後又はアプリケーション起動後のはじめに表示される画面であり、その画面中央部に会社ロゴや会社名等が表示され、ユーザが選択操作可能な操作部５１（図４〜図１３参照）が表示されていない。表示制御部２２は、電源投入後、一定期間が経過すると、スプラッシュ画面（図３）から免責事項画面（図４）に遷移させる。図４に示す免責事項画面では、自動走行作業車両１の使用に関する免責事項が表示される。

図４に示す免責事項画面では、画面上端側の上部表示領域５３とそれよりも画面下方側の下部表示領域５４とに分割されており、上部表示領域５３については、この免責事項画面以降に表示される各種の画面（図５〜図１３）においても共通の表示画面となっている。上部表示領域５３は、表示内容が変更しない固定表示領域となっている。それに対して、下部表示領域５４は、ユーザが操作部５１を選択操作することで、異なる表示内容が表示される非固定表示領域となっている。

上部表示領域５３では、「地図へ」及び「ヘルプ」の操作部５１が左側端部に表示され、「ＧＮＳＳ」及び「ＭＥＮＵ」の操作部５１が右側端部に表示され、中央部に現在どのような画面が表示されているかの表示内容が表示される。ちなみに、「地図へ」の操作部５１は、地図情報を表示させるための操作部であり、「ＧＮＳＳ」の操作部５１は、緯度、経度、ＧＮＳＳの状態、衛星測位情報を取得している衛星３の数、基準局４のシリアルナンバー、基地局４のバッテリー残量等の衛星測位システムの詳細情報等を表示させるための操作部である。また、経路生成部２３にて新たに走行経路を生成する場合には、「ＭＥＮＵ」の操作部５１を選択操作し、その後に表示される表示内容に応じて各種の情報を入力することで、経路生成部２３が走行経路を生成するようにしている。

図４に示す免責事項画面において、ユーザが「全て読みました。」の欄にチェックを入れて、「同意して、利用する」の操作部５１を選択操作することで、表示制御部２２は、図４に示す免責事項画面から図５に示す初期登録画面に遷移させる。一方、図４に示す免責事項画面において「アプリケーションを終了する」の操作部５１を選択操作することでアプリケーションが終了される。この図５に示す初期登録画面は、自動走行作業車両１の機種等、自動走行作業車両１に関する各種の情報を登録するための画面であり、ユーザの操作によって自動走行作業車両１に関する各種の情報が登録される。ちなみに、選択された機種の枠が赤色の太線にて囲まれることで、どの機種を選択しているかを認識できるようにしている。表示制御部２２は、自動走行作業車両１に関する各種の情報が登録されると、図５に示す初期登録画面から図６に示すトップ画面に遷移させる。なお、図５に示す初期登録画面から図６に示すトップ画面に遷移する前に、自動走行作業車両１に関する情報以外の初期登録画面（例えば自宅住所登録）等の画面を経てもよい。

ここで、自動走行作業車両１に関する各種の情報が既に登録されている場合には、表示制御部２２が、図４に示す免責事項画面から、図５に示す初期登録画面を表示させずに、図６に示すトップ画面に遷移させる。

図６に示すトップ画面では、ユーザが選択可能な複数の操作部５１（図中、各種のアイコン）及び地図情報５２が表示され、それら複数の操作部５１の内、一つの操作部５１が選択されることで他の画面に遷移される。図６に示すトップ画面では、下部表示領域５４の画面中央に、登録された圃場Ｈ１〜Ｈ７が含まれるように地図情報５２が表示される。ちなみに、圃場が登録されていない初回起動時には、地図情報５２の中心が予め設定された所定位置となるように表示される。また、下部表示領域５４には、圃場リスト表示用操作部５１ａ（図中「←」にて示すアイコン）、前回作業用操作部５１ｂ（図中「前回作業したパスで作業開始」にて示すアイコン）、及び、その他の操作部５１が、地図情報５２の上部を除く周囲を囲むように表示される。

表示制御部２２は、地図情報５２を表示させる際に、地図情報５２の中心が前回の表示画面における中心と同様になるように表示させる。また、表示制御部２２は、「現在位置」の操作部５１が操作されると、地図情報５２の中心が自動走行作業車両１の現在位置となるように表示させる。

表示制御部２２は、図６に示すトップ画面において地図情報５２を表示させる際に、前回、自動走行作業車両１が自動走行を行ったときの自動走行作業車両１の位置に関する前回作業位置情報５５を識別可能に表示させる。前回作業位置情報５５は、所定のマーク（ピン）にて示されており、前回、自動走行作業車両１が自動走行を行った圃場Ｈ２の中央部に表示されている。これにより、ユーザが、前回、自動走行作業車両１が自動走行を行った圃場がどの圃場であるかが容易に認識できるようにしている。前回作業位置５５を表示させる位置については、どの圃場Ｈであるかが識別可能な位置であればよく、例えば、圃場Ｈを登録する作業を行ったときの作業開始位置や圃場Ｈへの自動走行作業車両１の入口に前回作業位置５５を表示させることもできる。ちなみに、表示制御部２２は、圃場での作業が完了することで前回の自動走行を終了した場合だけでなく、圃場の作業途中で前回の自動走行を終了した場合も、その圃場の中心に前回作業位置情報５５を表示させるようにしている。

図６に示すトップ画面において、ユーザが圃場リスト表示用操作部５１ａ（図中「←」にて示すアイコン）を選択操作すると、表示制御部２２が、図６に示すトップ画面から図７に示す圃場リスト画面に遷移させる。

図７に示す圃場リスト画面では、下部表示領域５４が、下部左側表示領域５４ａと下部右側表示領域５４ｂとに分割されており、下部左側表示領域５４ａに、図６に示すトップ画面の下部表示領域５４に表示されていた複数の操作部５１及び地図情報５２が表示される。下部右側表示領域５４ｂには、表示装置２に記憶されている圃場情報の一覧５６、及び、特定の圃場において過去に生成した走行経路（パス）を一覧表示させるための走行経路一覧表示用操作部５１ｃ（図中、「この圃場のパス一覧を表示」のアイコン）が表示される。圃場情報の一覧５６では、「距離順」、「名前順」、及び、「登録順」等の操作部５１が選択操作されることで、操作された順番にて並び替えて表示可能となっており、圃場における圃場情報として、自動走行作業車両１の現在位置からその圃場までの距離、圃場情報が登録された登録日、圃場位置情報等が表示される。また、圃場情報の一覧５６を表示させる際に、前回、自動走行作業車両１が自動走行を行った圃場に対して所定のマークにて示す前回圃場情報５７（ピン）を表示している。これにより、ユーザは、前回、自動走行作業車両１が自動走行を行った圃場がどの圃場であるかを、地図情報５２から地図上（前回作業位置情報５５）にて認識できるとともに、圃場情報の一覧５６からその圃場に関する情報（前回圃場情報５７）も認識することができる。

また、図７に示す圃場リスト画面にて、ユーザが特定の圃場を選択すると、表示制御部２２は、その選択された圃場の枠の色を変えて太線にて囲む等（例えば、赤色の太線にて囲む）により、選択された圃場を他の圃場と識別可能に表示させるとともに、選択操作された操作部５１についてもその枠の色を変えて太線にて囲む等（例えば、赤色の太線にて囲む）により、選択操作された操作部５１を他の操作部５１と識別可能に表示させる。

図７に示す圃場リスト画面において、ユーザが特定の圃場を選択した状態で走行経路一覧表示用操作部５１ｃを選択操作すると、表示制御部２２が、図７に示す圃場リスト画面から図８に示すパス一覧画面に遷移させる。

図８に示すパス一覧画面では、下部左側表示領域５４ａに、選択された圃場の拡大画面５８が表示され、下部右側表示領域５４ｂに、過去に生成したパス情報（走行経路に関する情報）の一覧５９、及び、選択されたパス情報（走行経路に関する情報）を自動走行作業車両１に転送するためのパス転送用操作部５１ｄ（図中、「このパスで作業を開始する」にて示すアイコン）が表示される。

圃場の拡大画面５８には、経路生成部２３にて生成された走行経路２５が表示されており、図８では、例えば、直線状の走行経路２５がその左右方向に間隔を隔てて複数並ぶように表示されている。

パス情報の一覧５９では、「距離順」、「名前順」、及び、「登録順」等の操作部５１が選択操作されることで、操作された順番にて並び替えて表示可能となっており、パス情報として、自動走行作業車両１の現在位置からパスの開始位置までの距離、パスが生成された日、パスの開始位置情報等が表示される。また、パス情報の一覧５９では、パス情報の詳細情報を表示させるためのパス詳細表示用操作部５１ｅ（図中、「詳細」にて示すアイコン）が表示されるとともに、選択されたパス情報及び選択操作された操作部５１が、その枠の色を変えて太線にて囲む等（例えば、赤色の太線にて囲む）により、他のパス情報及び他の操作部５１と識別可能に表示される。

図８に示すパス一覧画面において、ユーザが特定のパスを選択した状態でパス詳細表示用操作部５１ｅを選択操作すると、表示制御部２２は、図８に示すパス一覧画面から図９に示すパス詳細画面に遷移させる。

図９に示すパス詳細画面では、図８に示すパス一覧画面から、下部右側表示領域５４ｂのみ表示内容が変更され、パス詳細情報６０が表示される。パス詳細情報６０として、圃場面積、障害物の有無、パス（走行経路）を生成する作業領域の周囲となる非作業領域（枕地等）の幅、パス（走行経路）生成時の基地局情報、自動走行作業車両１が現在通信している基地局情報、トラクタ情報、自動走行作業車両１に装着される作業機情報、パス（走行経路）の本数等が表示される。

図８に示すパス一覧画面又は図９に示すパス詳細画面において、ユーザがパス転送用操作部５１ｄを選択操作すると、表示制御部２２は、図８に示すパス一覧画面又は図９に示すパス詳細画面から図１０に示す作業準備画面に遷移させる。このとき、パス情報（走行経路に関する情報）が、端末側無線通信部２１及び車両側無線通信部１４によって表示装置２から自動走行作業車両１に転送される。そこで、表示装置２の制御部（図示省略）と自動走行作業車両１の制御部１２とは、端末側無線通信部２１及び車両側無線通信部１４を介して送信したパス情報と、端末側無線通信部２１及び車両側無線通信部１４を介して自動走行作業車両１が取得したパス情報とが一致するか否かをチェックする無線通信チェック処理を行う。

この無線通信チェック処理としては、例えば、端末側無線通信部２１及び車両側無線通信部１４を介して送信したパス情報の総量と、端末側無線通信部２１及び車両側無線通信部１４を介して自動走行作業車両１が取得したパス情報の総量とが一致するか否かによって、パス情報が一致するか否かをチェックする処理（ＣＲＣチェック処理）を適用することができる。また、無線通信チェック処理としては、ＣＲＣチェック処理に代えて、例えば、パス情報における個別のＩＤ情報を転送して、そのＩＤ情報が一致するか否かによって、パス情報が一致するか否かをチェックすることもでき、各種の無線通信チェック処理を適用することができる。

表示制御部２２は、端末側無線通信部２１及び車両側無線通信部１４を介して送信したパス情報と、端末側無線通信部２１及び車両側無線通信部１４を介して自動走行作業車両１が取得したパス情報とが一致することを確認した上で、図１０に示す作業準備画面から図１１に示す作業画面に遷移させる。これにより、表示制御部２２は、端末側無線通信部２１及び車両側無線通信部１４を介してパス情報が自動走行作業車両１に送信されると、表示装置２から送信したパス情報と自動走行作業車両１が取得したパス情報とが一致するという所定条件が成立してはじめて、図１１に示す作業画面を表示可能に構成されている。

表示制御部２２は、表示装置２から送信したパス情報と自動走行作業車両１が取得したパス情報とが一致するという所定条件が成立しなければ、図１１に示す作業画面は表示せずに、エラー画面を表示させる、又は、図８に示すパス一覧画面に戻すようにしている。エラー画面については、図示は省略するが、エラーの内容を識別可能に表示させるものであればよく、例えば、エラーの内容によって表示内容が異なる表示画面としたり、エラーの内容に拘わらず表示内容を同一とする共通の表示画面としたりすることができる。ちなみに、エラー画面を表示させる場合には、エラー画面から図８に示すパス一覧画面に戻れるようにしている。

図１１に示す作業画面では、下部表示領域５４が、上下方向において、上端側に位置する下部上側表示領域５４ｃと、下端側に位置する下部下側表示領域５４ｄと、下部上側表示領域５４ｃと下部下側表示領域５４ｄとの間に位置する下部中間表示領域５４ｅとの３つの表示領域に分かれている。そして、下部上側表示領域５４ｃと下部下側表示領域５４ｄとが他の画面に切替不能となっており、下部中間表示領域５４ｅが他の画面に切替可能となっている。

下部中間表示領域５４ｅには、図８に示すパス一覧画面又は図９に示すパス詳細画面において下部左側表示領域５４ａに表示されている圃場の拡大画面５８や複数の操作部５１等と同じ表示画面が表示される。表示制御部２２は、圃場の拡大画面５８において、自動走行作業車両１の現在位置２６を表示させており、自動走行作業車両１の現在位置がどこであるかを認識できるようにしている。そして、表示制御部２２は、圃場の拡大画面５８において、自動走行作業車両１が現在自動走行している走行経路２５と次に走行する予定の走行経路２５とを色を変えて表示させる等により識別可能に表示させることもできる。また、表示制御部２２は、複数の走行経路２５について、既に作業を行った走行経路２５とまだ作業が行われていない走行経路２５とで色を変える等により異なる形態で表示させることができる。

ちなみに、表示制御部２２は、下部中間表示領域５４ｅの表示画面について、圃場の拡大画面５８とは別に、トラクタ情報画面や作業コマンド画面に切替可能に構成されている。図示は省略するが、トラクタ情報画面では、実車速、実エンジン回転速度、負荷率等、自動走行作業車両１の状態を示す情報が表示される。作業コマンド画面では、車速やエンジン回転速度を変更させるための操作部５１等が表示される。また、表示制御部２２は、下部中間表示領域５４ｅの表示画面として、注意画面や警告画面等を割り込み表示可能に構成されている。例えば、注意画面は、自動走行を開始するための各種の条件の内、成立していない条件を表示させるための画面であり、警告画面は、自動走行中に、現在の走行を維持することで自動走行が停止される場合にその原因を表示させるための画面である。この注意画面や警告画面に関する制御情報は、自動走行作業車両１の制御部１２にて生成されるので、表示装置２では、端末側無線通信部２１にてその生成された制御情報を受信することで、表示制御部２２が、注意画面や警告画面を割り込み表示させるようにしている。

下部上側表示領域５４ｃには、左側端部に自動走行の開始を指示可能な開始操作部５１ｆが配置され、右側端部に自動走行の停止を指示可能な停止操作部５１ｇが配置されている。下部下側表示領域５４ｄには、エラー通知情報を確認するための通知情報用操作部５１ｈやその他の操作部５１が配置されているとともに、自動走行による作業進捗率や作業残り時間等が表示されている。

表示制御部２２は、自動走行を開始するための各種の条件が成立するまで、開始操作部５１ｆを選択操作できない非アクティブ状態とし、自動走行を開始するための各種の条件が成立すると、開始操作部５１ｆを選択操作可能とするアクティブ状態としている。表示制御部２２は、例えば、非アクティブ状態では開始操作部５１ｆを点灯させ、アクティブ状態では開始操作部５１ｆを点滅させる等、開始操作部５１ｆの表示形態を異ならせることで、非アクティブ状態とアクティブ状態とをユーザが識別可能となるようにしている。

表示制御部２２は、開始操作部５１ｆにて自動走行の開始が指示されて、自動走行作業車両１の自動走行が開始されると、開始操作部５１ｆを、自動走行の一時停止を指示可能な一時停止操作部（図示省略）に変更させている。そして、一時停止操作部が選択操作されると、表示制御部２２が開始操作部５１ｆを一時停止操作部から元の表示形態に変更させており、開始操作部５１ｆが自動走行の開始を指示する表示形態と自動走行の一時停止を指示する表示形態とに切替可能に構成されている。このように、表示制御部２２が開始操作部５１ｆの表示形態を変更させることで、１つの操作部を２つの操作部として機能をさせることができるとともに、自動走行を開始しているか又は一時停止しているのか等、自動走行の作業状況をユーザが把握し易くなる。

表示装置２では、端末側無線通信部２１及び車両側無線通信部１４により、自動走行作業車両１の位置情報取得部１３にて取得される自動走行作業車両１の現在位置情報をリアルタイムで受信している。これにより、表示制御部２２は、自動走行作業車両１の現在位置情報をリアルタイムで取得しており、表示装置２では、端末側無線通信部２１や表示制御部２２等が自動走行作業車両１の位置情報を取得可能な位置情報取得部として機能されている。

図１１に示す作業画面では、下部下側表示領域５４ｄの左端部に通知情報用操作部５１ｈ（図中、「詳細」にて示すアイコン）が配置されているので、表示制御部２２は、自動走行作業車両１の自動走行を開始するための各種の条件が成立していれば、通知情報用操作部５１ｈの左側を成立用の特定色（例えば、緑色）に点灯させる。逆に、自動走行作業車両１の自動走行を開始するための各種の条件が成立していなければ、通知情報用操作部５１ｈの左側を未成立用の特定色（例えば、赤色）に点灯させている。そして、通知情報用操作部５１ｈの左側が未成立用の特定色（例えば、赤色）にて点灯させている場合に、ユーザが通知情報用操作部５１ｈを選択操作すると、表示制御部２２は、図１１に示す作業画面から図１２に示す通知情報画面に遷移させる。

図１２に示す通知情報画面では、図１１に示す作業画面において下部中間表示領域５４ｅの表示内容が変更され、自動走行作業車両１の自動走行を開始するための各種の条件となる部位（ステアリング、リバーサ、ブレーキ、クラッチ、パーキングブレーキ、副変速装置、車速、車体水平制御設定であるＵＦＯ設定）を示す成立状態表示画面６３が表示される。表示制御部２２は、成立状態表示画面６３において、各部位について、条件を満たしている部位については成立用の特定色（例えば、緑色）を点灯させ、条件を満たしていない部位については未成立用の特定色（例えば、赤色）を点灯させている。

図１１及び図１３に示す作業画面のように、圃場の拡大画面５８において、走行経路２５に対する自動走行作業車両１の位置の偏差を示すようにしている。図１３に示す作業画面では、表示制御部２２が、圃場の拡大画面５８において、走行経路２５及び自動走行作業車両１の現在位置２６を表示させている。自動走行作業車両１の現在位置２６が走行経路２５に対してどのような位置であるかによって、ユーザが自動走行作業車両１の現在位置が走行経路２５の横幅方向においてどの方向にどれぐらいずれているかを容易に認識することができる。表示制御部２２は、図１３に示すように、自動走行の開始前だけでなく、自動走行中にも、圃場の拡大画面５８において走行経路２５及び自動走行作業車両１の現在位置２６を表示させている。これにより、自動走行作業車両１を自動走行開始位置まで移動させる位置合わせを行う場合だけでなく、自動走行中にも、ユーザは、走行経路２５に対して横幅方向で自動走行作業車両１がどれぐらいずれているかを認識することができる。図１３において、点線にて示す自動走行作業車両１の現在位置２６は、走行経路２５に対して右側又は左側に外れた状態を示している。

＜俯瞰画像の表示＞
図１１及び図１３に示すように、自動走行の開始前及び自動走行中の少なくともいずれかのタイミングにおいて、自動走行作業車両１のカメラ１５が機体周囲の撮影を行う。カメラ１５が撮影した４つの機体周囲の画像は、無線通信部１４，２１を介して表示装置２に送信される。表示装置２における俯瞰画像生成部２０は、４つの機体周囲の画像に基づき、機体周囲を見下ろした俯瞰画像２７を生成する。なお、本実施形態では、俯瞰画像生成部２０を表示装置２に設けているが、自動走行作業車両１に設けてもよい。

図１３に示すように、俯瞰画像２７のうち機体前方部分２７ａは、機体前方を撮影する第１カメラが撮影した画像を用いている。俯瞰画像２７のうち機体右方部分２７ｂは、機体右方を撮影する第２カメラが撮影した画像を用いている。俯瞰画像２７のうち機体左方部分２７ｃは、機体左方を撮影する第３カメラが撮影した画像を用いている。俯瞰画像２７のうち機体後方部分２７ｄは、機体後方を撮影する第４カメラが撮影した画像を用いている。図１１及び図１３に示すように、表示装置２のディスプレイ２４は、走行経路を示す走行経路画像２５と、作業車両１の現在位置を示す車体位置画像２６と、俯瞰画像２７と、を重ねて表示している。。

本実施形態では、カメラ１５の撮影範囲を識別可能にするために、カメラの撮影範囲を示す撮影範囲画像を表示している。撮影範囲画像は、カメラ１５の撮影範囲を示す実線又は点線などの枠である。さらに、図１４に示すように、カメラ１５の撮影範囲を識別可能に表示するために、カメラ１５の撮影範囲内に位置する範囲内走行経路２５ｂ、２５ｃと、カメラ１５の撮影範囲外に位置する範囲外走行経路２５ａ、２５ｄとは、異なる態様で表示されている。具体的には、撮影範囲外であって作業が既に済んでいる走行経路２５ａ（図中では一点鎖線で示す）を緑色で表示し、撮影範囲内であって作業が既に済んでいる走行経路２５ｂ（図中では破線で示す）を橙色で表示し、撮影範囲内であって未作業である走行経路２５ｃ（図中では二点鎖線で示す）を黄色で表示し、撮影範囲外であって未作業である走行経路２５ｄ（図中では実線で示す）を青色で表示している。走行経路２５の表示態様は、色又は線種を異ならせてもよいし、点灯、点滅などの表示時間を異ならせてもよい。

なお、本実施形態では、走行経路２５を４つの種類に分けて表示態様を異ならせているが、撮影内外で少なくとも２種類の表示態様があればよい。また、本実施形態では、撮影範囲を示す枠の表示と、走行経路２５を種類毎に分けて表示しているが、少なくとも一方を表示すれば、カメラの撮影範囲が識別可能である。

図１１及び図１３に示すように、障害物２８の位置は予め設定可能である。同図において、障害物２８の位置が表示され、一目ではどのような障害物であるかが分からない。そこで、本実施形態では、図１５に示すように、予め設定された障害物２８をカメラ１５が撮影した場合には、撮影した障害物を示す障害物画像２８を、走行経路画像２５と車体位置画像２６と俯瞰画像２７に重ねて表示可能に構成されている。予め設定された障害物２８をカメラ１５が撮影したかの判定は、障害物２８の位置は既知であり、作業車両１の現在位置からカメラ１５の撮影範囲も既知であるので、位置座標のみで判定してもよいし、障害物センサ１６の検出結果も加えて判定してもよい。

図１１、図１３及び図１５に示す作業操作画面の拡大画面５８における俯瞰画像２７以外の圃場の背景には何も描かなくてもよいし、生成された俯瞰画像に基づき背景画像を生成して表示するように構成してもよいし、外部のサーバに当該圃場に対応する全体画像があれば、当該全体画像を背景として表示するようにシステムを構成してもよい。いずれに場合であっても、俯瞰画像が優先的に前面に表示される。

図１１、図１３及び図１５に示す作業操作画面において、拡大表示及び縮小表示が可能である。拡大する場合には、俯瞰画像２７全体がディスプレイ２４に表示される範囲まで拡大可能である。更に拡大して俯瞰画像２７の一部のみがディスプレイ２４に表示される倍率では、俯瞰画像２７の全体が見えないため死角が生じ、安全性の観点から好ましいとは言えないためである。縮小する場合には、圃場全体が収まる範囲まであり、隣の圃場は表示されない。

未登録の障害物（人、物など）がカメラ１５の映像内に存在すると検知した場合には、機体の自動走行を停止し、未登録である障害物が存在することを報知手段により報知するようにシステムを構成してもよい。報知手段の例としては、機体に設けたランプ、表示装置２のディスプレイ２４への表示、表示装置２からの発音などが挙げられる。

図１１、図１３及び図１５に示す作業操作画面において、切り替え操作をすることにより、図１６に示すように、俯瞰画像２７及び走行経路２５を縮小表示させて、他の情報を表示するようにシステムを構成してもよい。図１６の例では、作業車両１に設けたカメラにより、作業車両１の作業機の映像２９を表示させている。図１６の例では、作業機が耕耘機としているが、田植え機であれば田植え装置の映像を表示することが考えられる。コンバインであれば、グレンタンクに設けられた各種センサにより収穫量などの情報を表示することが挙げられる。

以上のように、本実施形態の自動走行システムは、走行経路２５に沿って作業車両１を自動走行させる自動走行制御部１２と、表示部であるディスプレイ２４に所定の画像を表示させる表示制御部２２と、を備える。表示制御部２２は、走行経路２５を示す走行経路画像２５と、測位衛星システムを用いて特定された作業車両１の位置を示す車体位置画像２６と、作業車両１の周囲を撮影するカメラの画像に基づいて生成された作業車両１周囲の俯瞰画像２７とを表示部であるディスプレイ２４に重ねて表示する。

このように作業車両周囲の画像に基づき作業車両周囲を見下ろした俯瞰画像２７を生成しているので、作業車両周囲の画像と、走行経路２５とを一つの領域に表示可能となる。よって、作業車両周囲の画像と、走行経路２５とを別領域に個別に表示するのに比べて、両方を大きく表示できるので、見やすい表示を提供可能となる。また、監視者は、一つの表示領域を見るだけで、視線を移動させなくてもよいので、監視が容易となる。
したがって、利便性を向上させた自動走行システムを提供することが可能となる。

本実施形態では、表示制御部２２は、さらに、カメラ１５の撮影範囲を示す撮影範囲画像を、走行経路画像２５と車体位置画像２６と俯瞰画像２７に重ねて表示部であるディスプレイ２４に表示する。

このように、撮影範囲画像によってカメラ１５の撮影範囲が識別可能であるので、俯瞰画像２７を見ることで撮影範囲内に異常がないことを確認できる。また、撮影範囲外には異常が存在する可能性があることを認識させることができる場合がある。

本実施形態では、走行経路画像２５において、走行経路２５の内、カメラ１５の撮影範囲内に位置する範囲内走行経路２５ｂ、２５ｃと、カメラ１５の撮影範囲外に位置する範囲外走行経路２５ａ、２５ｄと、を異なる態様で表示する。

この構成によれば、走行経路（２５ａ、２５ｂ、２５ｃ、２５ｄ）の表示態様に応じて、カメラ１５の撮影範囲が識別可能となる。

本実施形態では、表示制御部２２は、さらに、障害物を示す障害物画像２８を、走行経路画像２５と車体位置画像２６と俯瞰画像２７に重ねて表示部であるディスプレイ２４に表示可能であり、表示制御部２２は、障害物２８がカメラ１５の撮影範囲内に位置する場合にカメラ１５の画像を用いて障害物画像２８を表示する。

このようにすれば、障害物２８が何であるかを監視者が知ることができる。特に、障害物２８を予め設定した設定者と、走行中の作業車両１を監視する監視者が異なる場合には、有効である。

以上、本開示の実施形態について図面に基づいて説明したが、具体的な構成は、これらの実施形態に限定されるものでないと考えられるべきである。本開示の範囲は、上記した実施形態の説明だけではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。

１ 作業車両
２ 表示装置
１３ 位置情報取得部
１２ 制御部（自動走行制御部）
１５ カメラ
２２ 表示制御部
２４ ディスプレイ（表示部）
２５ 走行経路
２６ 現在位置
２７ 俯瞰画像
２８ 障害物

Claims (4)

1. 走行経路に沿って作業車両を自動走行させる自動走行制御部と、
   表示部に所定の画像を表示させる表示制御部と、を備え、
   前記表示制御部は、
   前記走行経路を示す走行経路画像と、測位衛星システムを用いて特定された前記作業車両の位置を示す車体位置画像と、前記作業車両の周囲を撮影するカメラの画像に基づいて生成された前記作業車両周囲の俯瞰画像とを前記表示部に重ねて表示する、自動走行システム。
2. 前記表示制御部は、さらに、前記カメラの撮影範囲を示す撮影範囲画像を、前記走行経路画像と前記車体位置画像と前記俯瞰画像に重ねて前記表示部に表示する、請求項１に記載の自動走行システム。
3. 前記表示制御部は、前記走行経路画像において、前記走行経路の内、前記カメラの撮影範囲内に位置する範囲内走行経路と、前記カメラの撮影範囲外に位置する範囲外走行経路と、を異なる態様で表示する、請求項１又は２に記載の自動走行システム。
4. 前記表示制御部は、さらに、障害物を示す障害物画像を、前記走行経路画像と前記車体位置画像と前記俯瞰画像に重ねて前記表示部に表示可能であり、
   前記表示制御部は、前記障害物が前記カメラの撮影範囲内に位置する場合に前記カメラの画像を用いて前記障害物画像を表示する、請求項１〜３のいずれかに記載の自動走行システム。
   
   

Images