JP2019133441A - 作業車両の管理システム - Google Patents

Abstract

【課題】作業車両の周辺の状況を目視しながら車両に関する情報を同時に取得できる作業車両の管理システムを提供する。【解決策】圃場を走行する作業車両１と、カメラ３７を搭載し、前記作業車両１に対応して空中を飛行する無人航空機３１と、前記作業車両１と前記無人航空機３１と通信する携帯端末装置４１とを備え、前記携帯端末装置４１は表示部４３に前記無人航空機３１から受信したカメラ映像４３ａに前記作業車両１から受信した車両情報５０を同時に表示する。【選択図】図４

Description

本発明は、圃場で走行しながら作業を行う作業車両の管理システムに関する。

重機等の移動機器に追従して移動機器の上空を飛行可能な飛行体と、飛行体に搭載したカメラ等の周囲状況検出手段と、移動機器に搭載または遠隔地に設置され周囲状況検出手段からの検出データを表示する表示手段を備えることにより、移動機器の振動等の影響等を受けることなく、移動機器の周囲を精度よく表示する技術が公知である（例えば、特許文献１）。

特開２０１６−１８１１１９号公報

しかし、上記の技術では、上空から移動機器の周囲の映像をできるが、カメラ映像では確認できない情報を同時に取得できなかった。本発明では、作業車両の周辺の状況を目視しながら車両に関する情報を同時に取得可能な作業車両の管理システムを提供することを目的とする。

本発明は、上記課題を解決すべく次のような特徴を有する。

第１の発明は、圃場を走行する作業車両（１）と、カメラ（３７）を搭載し、前記作業車両（１）に対応して空中を飛行する無人航空機（３１）と、前記作業車両（１）と前記無人航空機（３１）と通信する携帯端末装置（４１）とを備え、前記携帯端末装置（４１）は表示部（４３）に前記無人航空機（３１）から受信したカメラ映像（４３ａ）に前記作業車両（１）から受信した車両情報（５０）を同時に表示することを特徴とする。

これにより、車両周辺を上空から撮影した映像に車両情報（５０）を同時に表示するため、作業車両（１）の周辺の状況を目視しながら車両に関する情報を同時に取得できる。

第２の発明は、第１の特徴を有する作業車両の管理システム（Ｓ）において、前記作業車両（１）は車両識別情報（ＩＤ）を有し、前記携帯端末装置（４１）は取得した車両識別情報（ＩＤ）に対応する作業車両（１）から取得した車両情報（５０）を表示することを特徴とする。

これにより、撮影対象の作業車両（１）の車両情報（５０）を取得して携帯端末装置（４１）の表示部（４３）にカメラ映像（４３ａ）と同時に表示するので、作業車両（１）の周辺の状況を目視しながら車両に関する情報を同時に取得可能となる。

第３の発明は、第１または第２の特徴を有する作業車両の管理システム（Ｓ）において、前記作業車両（１）は車速センサ（ＳＮ１１）とＰＴＯ回転数センサ（ＳＮ１４）を有し、前記携帯端末装置（４１）の前記表示部（４３）に表示する前記車両情報（５０）には少なくとも車速情報（５１）およびＰＴＯ回転情報（５２）を含むことを特徴とする。

これにより、作業車両（１）の車速情報（５１）とＰＴＯ回転数情報（５２）を取得して携帯端末装置（４１）の表示部（４３）にカメラ映像（４３ａ）と同時に表示するので、作業車両（１）の周辺の状況を目視しながら車両の車速とＰＴＯ回転数に関する情報を同時に取得可能となる。

第４の発明は、第１から第３のいずれか一つの特徴を有する作業車両の管理システム（Ｓ）において、前記作業車両（１）は選択された変速段を検出する変速センサ（ＳＮ１３）を有し、前記携帯端末装置（４１）の前記表示部（４３）に表示する前記車両情報（５０）には変速段情報（５３）を含むことを特徴とする。

これにより、作業車両（１）の変速段情報（５３）を取得して携帯端末装置（４１）の表示部（４３）にカメラ映像（４３ａ）と同時に表示するので、作業車両（１）の周辺の状況を目視しながら車両の変速段に関する情報を同時に取得可能となる。

以上の発明の特徴を有する作業車両の管理システムによれば、作業車両の周辺の状況を目視しながら車両に関する情報を同時に取得できる。

本発明の実施例の作業車両システムの全体説明図である。 図１のトラクタを上方から見た場合の説明図である。 本発明の実施例の作業車両の制御システムが有する機能ブロック図の説明図である。 コントローラのタッチパネルに表示された画像の説明図であり、ドローンが撮像した画像の説明図である。 実施例の作業車両の制御システムの作用説明図である。

図１は本発明の実施例の作業車両システムの全体説明図である。

以下、図面に基づき、本発明の好ましい実施の形態について説明する。

なお、各図において、発明の説明に不要な部材は適宜図示や説明を省略している。また、本明細書では作業車両の前進方向を向いて左右方向をそれぞれ左、右と言い、前進方向を前、後退方向を後と言うことにする。

図１において、作業車両の管理システムＳは、作業車両の一例として、農業機械のトラクタ１を有する。トラクタ１は、機体の前後部に前輪２，２と後輪３，３とを備え、機体前部のエンジンルーム４内に搭載したエンジンＥの回転動力をトランスミッションケース５内の変速装置によって適宜減速して、これら前輪２，２と後輪３，３に伝えるように構成している。前記エンジンルーム４はボンネット６で覆う構成である。また、機体後部にロータリなどの作業機２００を装着し、ＰＴＯ軸で作業機を駆動する構成としている。

機体の上部には、キャビン７が支持されている。キャビン７の内部では、トランスミッションケース５の上部位置に運転座席８が配置され、この運転座席８の前方には、ステアリングハンドル１１や、駐車ブレーキ（図示せず）や作業機の回転速度を変更するＰＴＯ変速レバー（図示せず）等を配置して構成されている。また、運転座席８の前方には、速度メータ（図示せず）や、操作用の各種スイッチ（図示せず）、外部との通信用の通信ユニット（図示せず）などが配置されている。運転座席８の前方下部には、クラッチペダル１２や、アクセルペダル１３、
図２は図１のトラクタを上方から見た場合の説明図である。

図２において、キャビン７のルーフ７ａ上面には、車両の測位装置の一例として、測位衛星から信号を受信して測位を行うＧＰＳユニット２１が配置されている。ＧＰＳユニット２１は、車幅方向中央部に対応して配置されている。ＧＰＳユニット２１の右側には、車両認識手段の一例としての一例としての数字マーク２２が付されている。なお、車両識別マークとして数字マーク２２を例示したが、図形マークとする構成も可能である。

また、前記ＧＰＳユニット２１に対して、後部には車両位置特定マーク２３が付されている。実施例の車両位置特定マーク２３は、長方形部２３ａと、三角形部２３ｂとを有する。実施例では、長方形部２３ａは、黒の右前部２３ａ１と、白の左前部２３ａ２と、黒の左後部２３ａ３と、白の右後部２３ａ４とで構成されており、白黒の市松模様状に構成されている。また、三角形部２３ｂは、右前部２３ａ１と左前部２３ａ２の中央前方に付されており、前方が鋭角状に形成されている。

図１において、作業車両の制御システムＳは、無人航空機の一例としてのドローン３１を有する。実施例のドローン３１は、制御部（図示せず）や、バッテリー（図示せず）、通信ユニット（図示せず）等が備えられた本体部３２を有する。本体部３２には、測位装置の一例として、測位衛星から信号を受信して測位を行う高精度ＧＰＳユニット３３が支持されている。前記本体部３２には、本体部から水平方向外側に向かって延びるアーム部３４が支持されている。

アーム部３４の先端には、駆動源（図示せず）が配置されており、上下方向に延びる駆動軸には、回転翼３６が支持されている。実施例では、アーム部３４が十字方向に延びて、各アーム部３４の先端には各回転翼３６が支持されている。すなわち、実施例のドローン１は、いわゆる、クアドコプターとして構成されている。本体部３２の下部には、撮像部材の一例としてのドローン３１の下方を撮像する下方カメラ３７が支持されている。また、本体部３２の下部には、下方との距離を測定するレーダ３８が支持されている。

作業車両の制御システムＳは、携帯端末装置の一例としてのコントローラ４１を有する。コントローラ４１は、本体部の一例としてのタブレット端末部４２を有する。タブレット端末部４２は、制御部（図示せず）や、通信ユニット（図示せず）を有する。また、タブレット端末部４２は、表示部の一例であり、入力部の一例としてのタッチパネル４３を有する。タッチパネル４３には、前記ドローン３１の下方カメラ３７のカメラ映像等が表示される。タブレット端末部４２に対して左右には、操作部の一例としてのジョイスティック４４，４６が支持されている。左右のジョイスティック４４，４６が操作されることで、前記ドローン３１を作業者が遠隔操作可能に構成されている。

図３は本発明の実施例の作業車両の制御システムが有する機能ブロック図の説明図である。

図３において、実施例の作業車両の制御システムＳは、ドローンの制御部ＣＡ、コントローラの制御部ＣＢ、トラクタの位置情報処理制御部ＣＣ、トラクタの車両制御部ＣＤを有する。各制御部ＣＡ〜ＣＤは、外部との信号の入出力等を行う入出力インターフェース（Ｉ／Ｏ）、必要な処理を行うためのプログラムおよび情報等が記憶されたＲＯＭ（リードオンリーメモリ）、必要なデータを一時的に記憶するためのＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ等に記憶されたプログラムに応じた処理を行うＣＰＵ（中央演算処理装置）、ならびに発振器等を有する小型情報処理装置、いわゆる、マイクロコンピュータにより構成されており、前記ＲＯＭやＲＡＭ、不揮発性メモリ等の記憶部材に記憶されたプログラムを実行することにより種々の機能を実現することができる。

ここで、実施例のトラクタ１において、位置情報処理制御部ＣＣと、車両制御部ＣＤとは、いわゆる、ＥＣＵ：Electronic Control Unitで構成されており、通信回線としてのＣＡＮ：Controller Area Networkで接続されている。ＣＡＮには、外部メモリＭｅが接続されており、トラクタ１の制御部ＣＣ，ＣＤが、外部メモリＭｅに対して互いにアクセス可能に構成されている。

図３において、ドローンの制御部ＣＡには、高精度ＧＰＳユニット３３や、下方カメラ３７、下方距離測定用のレーダ３８、飛行状態センサＳＮ１、通信ユニット（図示せず）などの出力信号が入力されている。

ここで、実施例の飛行状態センサＳＮ１は、いわゆる、６軸ジャイロセンサにより構成されている。飛行状態センサＳＮ１は、ドローン３１に固定された３軸直交方向について、各軸方向の加速度と、各軸周りの角速度とを検出して、ドローン３１の加速度や姿勢状態などの飛行状態を検出する。

実施例では、ドローンの姿勢状態は、角速度の時間積分により重力方向に対する各軸の回転角度として検出可能である。すなわち、重力方向（重力加速度方向）を基準とする各軸周りの回転角度により、ドローン３１の姿勢状態を検出することが可能である。なお、実施例では、６軸ジャイロセンサの構成を例示するが、加速度を検出するセンサと角速度を検出するセンサとを、別々に設ける構成も可能である。また、制御部ＣＡは、回転翼３６のモータＭ１〜Ｍ４の制御信号や、通信ユニットの制御信号などを出力している。

図３において、位置情報処理制御部ＣＣは、ＧＰＳユニット２１や、通信ユニット（図示せず）などの出力信号が入力されている。また、位置情報処理制御部ＣＣは、通信ユニットの制御信号などを出力している。

図３において、位置情報処理制御部ＣＣは、前記信号出力要素からの出力信号に応じた処理を実行して、前記制御要素に制御信号を出力する機能を有しおり、コントローラ４１に記憶されている圃場情報や、作業工程の情報を取得して、外部メモリＭｅに記憶させる。

車両制御部ＣＤは、車速センサＳＮ１１から車速情報、ハンドル切れ角センサＳＮ１２から前輪２，２の操舵角情報、変速センサＳＮ１３から変速段情報、ＰＴＯ回転数センサＳＮ１４からＰＴＯ回転情報が入力されている。また車両制御部ＣＤは、エンジンＥや、ステアリングモータＭ１１、変速装置ＨＳ、ブレーキシリンダＢＳ、その他の図示しない制御要素に接続されている。

位置情報処理制御部ＣＣと車両制御部はＣＤは有線接続により情報通信を行い、ドローン制御部ＣＡ、コントローラ制御部ＣＢ、車両制御部ＣＤはそれぞれドローン通信ユニットＡＵ、コントローラ通信ユニットＢＵ、車両通信ユニットＤＵを有しており、相互に無線通信を行う。車両制御部ＣＤは車両認識手段の一例としての車両識別情報ＩＤを有しており、これをドローン制御部ＣＡとコントローラ制御部ＣＢが受信して撮影対象車両を認識できる。

図４はコントローラのタッチパネルに表示された画像の説明図であり、ドローンが撮像した画像の説明図である。ドローン３１の下方カメラ３７のカメラ映像４３ａがタッチパネル４３に表示する。図４において、実施例では、前記カメラ映像４３ａには、ドローン３１の下方に対応する領域に枠画像４３ｂ，４３ｃを重ねて表示する。ここで、枠画像４３ｂ，４３ｃは、ドローン３１が、トラクタ１の上方の予め設定された基準位置に移動した場合に、マーク２３，２２が内側となる位置に設定されている。

コントローラ４１の制御部ＣＢは、下方カメラ３７のカメラ映像４３ａを画像処理して、数字マーク２２と、車両位置特定マーク２３と、を検出する。数字マーク２２を検出することによりコントローラ４１の制御部ＣＢが撮影対象車両を認識することができる。

コントローラ４１の制御部ＣＢは、カメラ映像４３ａを画像処理して、撮像されたマーク２３の形状に基づきトラクタ１の姿勢変化を検出する。すなわち、図２において、前方部２３ａ１，２３ａ２が、後方部２３ａ３，２３ａ４よりも大きく撮像された場合には、トラクタ１が傾斜面を上っている姿勢と判別可能である。また、後方部２３ａ３，２３ａ４が、前方部２３ａ１，２３ａ２よりも大きく撮像された場合には、トラクタ１が傾斜面を下っている姿勢と判別可能である。

さらに、右側部２３ａ１，２３ａ４が左側部２３ａ２，２３ａ３よりも大きく撮像された場合には、トラクタ１が左下に傾斜している姿勢と判別可能である。また、左側部２３ａ２，２３ａ３が右側部２３ａ１，２３ａ４よりも大きく撮像された場合には、トラクタ１が右下に傾斜している姿勢と判別可能である。すなわち、カメラ映像４３ａ上の長方形部２３ａ１〜２３ａ４間の面積の大小に応じてトラクタ１の傾斜姿勢を判別可能である。

コントローラ４１の制御部ＣＢは、タッチパネル４３にドローン制御部ＣＡから受信したカメラ３７の撮影画像４３ａを表示するとともに、認識している撮影対象車両の車両制御部ＣＤから受信した車速情報５１、ＰＴＯ回転情報５２、変速段情報５３を含む車両情報５０を撮影画像４３ａに重ねて表示する。

これにより、タッチパネル４３に作業車両１の周辺の状況を目視確認できるカメラ映像と同時に、映像からだけでは把握することが困難な車速情報、ＰＴＯ回転情報、変速情報を表示できるため、作業車両の周辺の状況を目視しながら車両に関する情報を同時に取得可能となる。

また、撮影画像４３ａの数字マーク２２または車両識別情報ＩＤにより撮影対象車両を認識して車両情報を表示するため、撮影の対象車両と表示された車両情報の対象車両とが異なる不具合を回避することができる。

図５は実施例の作業車両の制御システムの作用説明図である。図５において、前記構成を備えた実施例の作業車両の制御システムＳでは、ドローン３１の自律制御モードに設定されると、ドローン３１が上昇して下方カメラ３７で下方を撮像する。下方カメラ３７で撮像されたカメラ映像４３ａは画像処理されて、トラクタ１のマーク２２，２３が検出されると、検出された数字マーク２２に基づいて作業車両が特定される。また、検出された車両位置特定マーク２３に基づいてトラクタ１の向きや移動量などが演算される。

そして、向きや移動量に基づいてドローン３１は、トラクタ１の走行に追従するように飛行制御される。よって、実施例の作業車両の制御システムＳでは、自律制御により、ドローン３１は、トラクタ１の位置に対応して飛行する。

ここで、実施例の作業車両の制御システムＳでは、トラクタ１が自律制御により予定案内経路Ｒ２に沿って移動する場合に、ＧＰＳユニット２１の測位結果に基づいて、トラクタ１の位置Ｔαが測位される。例えば、作業者がトラクタ１を作業起点Ｐ３まで運転して移動させる場合でも、進入案内経路Ｒ１と、トラクタ１の位置Ｔβとを作業者が参照して、精度良くトラクタ１を作業起点Ｐ３まで運転し易くなっている。

また、実施例では、ドローン３１が基準位置に到達したと判別された場合に、ドローン３１でトラクタ１の位置Ｔαが測位される。さらに、実施例では、ドローン３１の自律制御に使用される画像処理は、ドローン３１の制御部ＣＡではなく、コントローラ４１の制御部ＣＢで行われる。よって、ドローン３１の制御部ＣＡで画像処理する場合に比べて、ドローン３１の制御部ＣＡの処理能力を低くすることが可能であり、構成を簡素にし易い。したがって、実施例では、ドローン３１を軽量化し易くなっている。

また、ドローン３１は上下方向が重力方向に対して傾斜し過ぎないように姿勢制御される。よって、下方カメラ３７は重力方向下方を向いた状態で保持され易い。したがって、撮像された車両識別マーク２３の形状、すなわち、長方形部２３ａの各部２３ａ１〜２３ａ４の面積比に応じて、トラクタ１の姿勢を検出することが可能である。

また、実施例では、ドローン３１に備えられたレーダ３８で、トラクタ１に対する高さを測定して、ドローン３１とトラクタ１との間の高さが一定となるようにドローン３１が制御される。よって、ドローン３１とトラクタ１の位置関係が安定し易くなっている。

なお、実施例ではレーダ３８により、トラクタ１のキャビン７に対する高さを測定する構成を例示したが、これに限定されない。例えば、レーダ３８に替えて、ステレオ撮像可能なカメラを設け、トラクタ１やマーク２３のステレオ視に基づいて、トラクタ１とドローン３１の距離を測定する構成が可能である。また、カメラのオートフォーカス機構により、車両位置マークにピントがあった焦点距離に基づいて、ドローン３１とトラクタ１の距離を測定することも可能である。なお、下方カメラ３７やレーダ３８に替えて、高度センサに基づいて、ドローン３１の高度を検出する構成も可能である。

さらに、実施例のトラクタ１のＣＡＮには、各制御部ＣＣ，ＣＤでアクセス可能な外部メモリＭｅが接続されており、外部メモリＭｅに圃場情報や、作業工程の情報、作成された経路Ｒ１,Ｒ２の情報などが記憶される。ここで、圃場情報などはデータ量が大きくなり易い。よって、各制御部ＣＣ，ＣＤの内部メモリに圃場情報などを保持する構成では、各制御部ＣＣ，ＣＤが必要な情報にアクセスする場合に、ＣＡＮを流れるデータ通信量が増加し易い。これに対して、外部メモリに保持される実施例では、制御部ＣＣ，ＣＤ間の相互通信が不要となり易く、ＣＡＮの負荷を減らし易くなっている。したがって、実施例のＣＡＮでは通信遅延などが生じ難くなっている。

以上の構成により、本実施例に係る作業車両の管理システムは作業車両の周辺の状況を目視しながら車両に関する情報を同時に取得できる。

１ トラクタ（作業車両）
２２ 数字マーク（車両認識手段）
３１ ドローン（無人航空機）
３７ カメラ
４１ コントローラ（携帯端末装置）
４２ タブレット端末部
４３ タッチパネル（表示部）
４３ａ カメラ映像
５０ 車両情報
５１ 車速情報
５２ ＰＴＯ回転情報
５３ 変速段情報
ＩＤ 車両識別情報
ＳＮ１１ 車速センサ
ＳＮ１３ 変速センサ
ＳＮ１４ ＰＴＯ回転数センサ

Claims (4)

1. 圃場を走行する作業車両と、
   カメラを搭載し、前記作業車両に対応して空中を飛行する無人航空機と、
   前記作業車両と前記無人航空機と通信する携帯端末装置とを備え、
   前記携帯端末装置は表示部に前記無人航空機から受信したカメラ映像に前記作業車両から受信した車両情報を同時に表示する、
   作業車両の管理システム。
2. 前記作業車両は車両識別情報を有し、
   前記携帯端末装置は取得した車両識別情報に対応する作業車両から取得した車両情報を表示する、
   請求項１に記載の作業車両の管理システム。
3. 前記作業車両は車速センサとＰＴＯ回転数センサを有し、
   前記携帯端末装置の前記表示部に表示する前記車両情報には少なくとも車速情報およびＰＴＯ回転情報を含む、
   請求項１または２に記載の作業車両の管理システム。
4. 前記作業車両は選択された変速段を検出する変速センサを有し、
   前記携帯端末装置の前記表示部に表示する前記車両情報には変速段情報を含む、
   請求項１から３のいずれか一項に記載の作業車両の管理システム。
   

Images