JP2016095661A

JP2016095661A - 無人作業システム

Info

Publication number: JP2016095661A
Application number: JP2014231129A
Authority: JP
Inventors: 敏史平松; Toshifumi Hiramatsu
Original assignee: Yanmar Co Ltd
Current assignee: Yanmar Co Ltd
Priority date: 2014-11-13
Filing date: 2014-11-13
Publication date: 2016-05-26

Abstract

【課題】無人の自律走行作業車両により設定経路に沿って作業をさせるときに、カメラにより作業状態を撮影し、異常が発生すると、自動的に停止する作業システムを提供しようとする。
【解決手段】衛星測位システムを利用して機体の位置を測位する位置算出手段と、設定した走行経路Ｒに沿って自動的に走行及び作業をさせる制御装置３０とを備えた自律走行作業車両１において、自律走行作業車両１には作業状態を撮影するカメラ４２が搭載されて制御装置３０と接続され、該制御装置３０には、走行及び作業を停止させる停止手段と接続され、制御装置３０は、作業時において、前記カメラ４２で撮影された映像を画像処理して、予め記憶させた正常作業映像と比較し、異なる画像データが得られると、異常と判断し、走行及び作業を停止するように制御する。
【選択図】図１

Description

本発明は、無人の作業車両による無人作業システムに関し、無人の自律走行作業車両にカメラを搭載し、自律走行作業車両に装着される作業機により作業される状態をカメラにより撮影し、作業状態が異常であると作業を停止させるようにするための技術に関する。

従来、農業機械に複数のカメラを搭載し、該カメラにより撮影された映像を映し出すモニタを運転席に備え、前記複数のカメラは切替スイッチにより切り替え可能とし、カメラにより播種や施肥の状態を撮影し、運転者はカメラで撮影された映像をモニタでみて、運転しながら播種や施肥が正常に行われているか否かを確認できるようにした技術が公知となっている（例えば、特許文献１参照）。

登録実用新案第３１２８１７２号公報

前記技術において、播種や施肥が正常に行われているかは、農用車両の運転席に着座した運転者が映像を見て正常に作業が行われているか否か判断しなければならないために、進行方向を向いて運転していても視線はときどきモニタを見て、異常が発生していないか確認する必要があった。よって、少しの時間、確認を怠ってる間に異常が発生すると未作業地が大きい範囲に及ぶことがあった。

本発明は、無人の自律走行作業車両により設定経路に沿って作業をさせるときに、カメラにより作業状態を撮影し、異常が発生すると、自動的に停止する作業システムを提供しようとする。

本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。
即ち、請求項１においては、衛星測位システムを利用して機体の位置を測位する位置算出手段と、設定した走行経路に沿って自動的に走行及び作業をさせる制御装置とを備えた自律走行作業車両において、自律走行作業車両には作業状態を撮影するカメラが搭載されて制御装置と接続され、該制御装置には、走行及び作業を停止させる停止手段と接続され、制御装置は、作業時において、前記カメラで撮影された映像を画像処理して、予め記憶させた正常作業映像と比較し、異なる画像データが得られると、異常と判断し、走行及び作業を停止するように制御するものである。

請求項２においては、前記制御装置は、通信装置を介して遠隔操作装置と通信可能とされ、前記異常と判断すると、遠隔操作装置に通報するものである。
請求項３においては、前記遠隔操作装置には、作業再開操作手段が設けられ、該作業再開操作手段の操作により前記異常の判断を解除し、走行及び作業を再開させるものである。

請求項４においては、前記制御装置は、通信回線を介して管理サーバと通信可能とされ、前記異常と判断すると、前記管理サーバのデータベースに記憶するものである。

以上のような手段を用いることにより、自律走行作業車両により自動運転させているときに、作業状態に異常が発生したときに速やかに作業を停止して、作業機の損傷が大きくなることを防止でき、作業不良の状態をできるだけ少なくして、やり直し作業を未然に防ぐことが可能となる。

自律走行作業車両の概略側面図。制御ブロック図。自律走行作業車両による作業時の状態を示す図。正常な作業画像を示す図。異常が生じた作業画像を示す図。

無人で自動走行可能な自律走行作業車両１をトラクタとし、該自律走行作業車両１に装着される作業機としてロータリ耕耘装置２４が装着された実施形態について説明する。なお、Ｆ方向を前方として説明する。但し、作業車両はトラクタに限定するものではなく、田植機やコンバイン等でもよく、また、作業機はロータリ耕耘装置２４に限定するものではなく、施肥機や播種機や草刈機や薬剤散布機や消毒機や収穫機等であってもよい。

図１、図２において、自律走行作業車両１となるトラクタの全体構成について説明する。ボンネット２内にエンジン３が内設され、該ボンネット２の後部のキャビン１１内にダッシュボード１４が設けられ、ダッシュボード１４上に操向操作手段となるステアリングハンドル４が設けられている。該ステアリングハンドル４の回動により操向装置を介して前輪９・９の向きが回動される。自律走行作業車両１の操向方向は操向センサ２０により検知される。操向センサ２０はロータリエンコーダ等の角度センサからなり、前輪９の回動基部に配置される。但し、操向センサ２０の検知構成は限定するものではなく操舵方向が認識されるものであればよく、ステアリングハンドル４の回動を検知したり、パワーステアリングの作動量を検知してもよい。操向センサ２０により得られた検出値は制御装置３０に入力される。制御装置３０はＣＰＵ（中央演算処理装置）やＲＡＭやＲＯＭ等の記憶装置３０ｍやインターフェース等を備え、記憶装置３０ｍには自律走行作業車両１を動作させるためのプログラムやデータ等が記憶される。

前記ステアリングハンドル４の後方に運転席５が配設され、運転席５下方にミッションケース６が配置される。ミッションケース６の左右両側にリアアクスルケース８・８が連設され、該リアアクスルケース８・８には車軸を介して後輪１０・１０が支承される。エンジン３からの動力はミッションケース６内の変速装置（主変速装置や副変速装置）により変速されて、後輪１０・１０を駆動可能としている。変速装置は例えば油圧式無段変速装置で構成して、可変容量型の油圧ポンプの可動斜板をモータ等の変速手段４４により作動させて変速可能としている。変速手段４４は制御装置３０と接続されている。後輪１０の回転数は車速センサ２７により検知され、走行速度として制御装置３０に入力される。但し、車速の検知方法や車速センサ２７の配置位置は限定するものではない。

ミッションケース６内にはＰＴＯクラッチやＰＴＯ変速装置が収納され、ＰＴＯクラッチはＰＴＯ入切手段４５により入り切りされ、ＰＴＯ入切手段４５は制御装置３０と接続され、ＰＴＯ軸への動力の断接を制御可能としている。

前記エンジン３を支持するフロントフレーム１３にはフロントアクスルケース７が支持され、該フロントアクスルケース７の両側に前輪９・９が支承され、前記ミッションケース６からの動力が前輪９・９に伝達可能に構成している。前記前輪９・９は操向輪となっており、ステアリングハンドル４の回動操作により回動可能とするとともに、操向装置の駆動手段となるパワステシリンダからなる操舵アクチュエータ４０により前輪９・９が左右操向回動可能となっている。操舵アクチュエータ４０は制御装置３０と接続され、自動走行手段により制御されて駆動される。

制御装置３０にはエンジン回転制御手段となるエンジンコントローラ６０が接続され、エンジンコントローラ６０にはエンジン回転数センサ６１や水温センサや油圧センサ等が接続され、エンジンの状態を検知できるようにしている。エンジンコントローラ６０では設定回転数と実回転数から負荷を検出し、過負荷とならないように制御する。

また、ステップ下方に配置した燃料タンク１５には燃料の液面を検知するレベルセンサ２９が配置されて制御装置３０と接続され、自律走行作業車両１のダッシュボードに設ける表示手段４９には燃料の残量を表示する燃料計が設けられ制御装置３０と接続されている。前記ダッシュボード１４上にはエンジンの回転計や燃料計や油圧等や異常を示すモニタや設定値等を表示する表示手段４９が配置されている。

また、トラクタ機体後方に作業機装着装置２３を介して作業機としてロータリ耕耘装置２４が昇降自在に装設させている。前記ミッションケース６上に昇降シリンダ２６が設けられ、該昇降シリンダ２６を伸縮させることにより、作業機装着装置２３を構成する昇降アームを回動させてロータリ耕耘装置２４を昇降できるようにしている。昇降シリンダ２６は昇降アクチュエータ２５の作動により伸縮され、昇降アクチュエータ２５は制御装置３０と接続されている。

制御装置３０には衛星測位システムを構成する移動通信機３３が接続されている。移動通信機３３には移動ＧＰＳアンテナ３４とデータ受信アンテナ３８が接続され、移動ＧＰＳアンテナ３４とデータ受信アンテナ３８は前記キャビン１１上に設けられる。該移動通信機３３には、位置算出手段を備えて緯度と経度を制御装置３０に送信し、現在位置を把握できるようにしている。なお、ＧＰＳ（米国）に加えて準天頂衛星(日本)やグロナス衛星（ロシア）等の衛星測位システム（ＧＮＳＳ）を利用することで精度の高い測位ができるが、本実施形態ではＧＰＳを用いて説明する。

自律走行作業車両１は、機体の姿勢変化情報を得るためにジャイロセンサ３１、および進行方向を検知するために方位センサ３２を具備し制御装置３０と接続されている。但し、ＧＰＳの位置計測から進行方向を算出できるので、方位センサ３２を省くことができる。
ジャイロセンサ３１は自律走行作業車両１の機体前後方向の傾斜（ピッチ）の角速度、機体左右方向の傾斜（ロール）の角速度、および旋回（ヨー）の角速度、を検出するものである。該三つの角速度を積分計算することにより、自律走行作業車両１の機体の前後方向および左右方向への傾斜角度、および旋回角度を求めることが可能である。ジャイロセンサ３１の具体例としては、機械式ジャイロセンサ、光学式ジャイロセンサ、流体式ジャイロセンサ、振動式ジャイロセンサ等が挙げられる。ジャイロセンサ３１は制御装置３０に接続され、当該三つの角速度に係る情報を制御装置３０に入力する。

方位センサ３２は自律走行作業車両１の向き（進行方向）を検出するものである。方位センサ３２の具体例としては磁気方位センサ等が挙げられる。方位センサ３２は制御装置３０に接続され、機体の向きに係る情報を制御装置３０に入力する。

こうして制御装置３０は、上記ジャイロセンサ３１、方位センサ３２から取得した信号を姿勢・方位演算手段により演算し、自律走行作業車両１の姿勢（向き、機体前後方向及び機体左右方向の傾斜、旋回方向）を求める。

次に、自律走行作業車両１の位置情報をＧＰＳ（グローバル・ポジショニング・システム）を用いて取得する方法について説明する。
ＧＰＳは、元来航空機・船舶等の航法支援用として開発されたシステムであって、上空約二万キロメートルを周回する二十四個のＧＰＳ衛星（六軌道面に四個ずつ配置）、ＧＰＳ衛星の追跡と管制を行う管制局、測位を行うための利用者の通信機で構成される。
ＧＰＳを用いた測位方法としては、単独測位、相対測位、ＤＧＰＳ（ディファレンシャルＧＰＳ）測位、ＲＴＫ−ＧＰＳ（リアルタイムキネマティック−ＧＰＳ）測位など種々の方法が挙げられ、これらいずれの方法を用いることも可能であるが、本実施形態では測定精度の高いＲＴＫ−ＧＰＳ測位方式を採用し、この方法について図１、図２より説明する。

ＲＴＫ−ＧＰＳ（リアルタイムキネマティック−ＧＰＳ）測位は、位置が判っている基準局と、位置を求めようとする移動局とで同時にＧＰＳ観測を行い、基準局で観測したデータを無線等の方法で移動局にリアルタイムで送信し、基準局の位置成果に基づいて移動局の位置をリアルタイムに求める方法である。

本実施形態においては、自律走行作業車両１に移動局となる移動通信機３３と移動ＧＰＳアンテナ３４とデータ受信アンテナ３８が配置され、基準局となる固定通信機３５と固定ＧＰＳアンテナ３６とデータ送信アンテナ３９が圃場の作業の邪魔にならない所定位置に配設される。本実施形態のＲＴＫ−ＧＰＳ（リアルタイムキネマティック−ＧＰＳ）測位は、基準局および移動局の両方で位相の測定（相対測位）を行い、基準局の固定通信機３５で測位したデータをデータ送信アンテナ３９からデータ受信アンテナ３８に送信する。

自律走行作業車両１に配置された移動ＧＰＳアンテナ３４はＧＰＳ衛星３７・３７・・・からの信号を受信する。この信号は移動通信機３３に送信され測位される。そして、同時に基準局となる固定ＧＰＳアンテナ３６でＧＰＳ衛星３７・３７・・・からの信号を受信し、固定通信機３５で測位し移動通信機３３に送信し、観測されたデータを解析して移動局の位置を決定する。こうして得られた位置情報は制御装置３０に送信される。

こうして、この自律走行作業車両１における制御装置３０は自動走行させる自動走行手段を備えて、自動走行手段はＧＰＳ衛星３７・３７・・・から送信される電波を受信して移動通信機３３において設定時間間隔で機体の位置情報を求め、ジャイロセンサ３１及び方位センサ３２から機体の変位情報および方位情報を求め、これら位置情報と変位情報と方位情報に基づいて機体が予め設定した設定経路Ｒに沿って走行するように、操舵アクチュエータ４０、変速手段４４、昇降アクチュエータ２５、ＰＴＯ入切手段４５、エンジンコントローラ６０等を制御して自動走行し自動で作業できるようにしている。なお、作業範囲となる圃場Ｈの外周の位置情報も周知の方法によって予め設定され、記憶装置３０ｍに記憶されている。

また、自律走行作業車両１には障害物センサ４１が配置されて制御装置３０と接続され、障害物に当接しないようにしている。例えば、障害物センサ４１はレーザセンサや超音波センサで構成して機体の前部や側部や後部に配置して制御装置３０と接続し、機体の前方や側方や後方に障害物があるかどうかを検出し、障害物が設定距離以内に近づくと走行を停止させるように制御する。

また、自律走行作業車両１には作業状態を撮影するカメラ４２が搭載され制御装置３０と接続されている。カメラ４２は本実施形態ではキャビン１１のルーフの後部上に配置しているが、配置位置は限定するものではなく、フェンダー上に配置して撮影する構成であってもよい。カメラ４２で撮影された映像は遠隔操作装置１１２の表示装置１１３に表示可能とされる。該カメラ４２で撮影した映像による自律走行作業車両１の制御については後述する。

遠隔操作装置１１２は前記自律走行作業車両１の走行経路Ｒや作業工程を設定したり、自律走行作業車両１を遠隔操作したり、自律走行作業車両１の走行状態や作業機の作動状態を監視したり、作業データを記憶したりするものであり、制御装置（ＣＰＵやメモリ）１１９や通信装置１１１や表示装置１１３等を備える。
遠隔操作装置１１２は例えばノート型やタブレット型のパーソナルコンピュータで構成することができる。本実施形態ではタブレット型のコンピュータで構成している。

さらに、遠隔操作装置１１２と自律走行作業車両１は無線で相互に通信可能に構成しており、自律走行作業車両１と遠隔操作装置１１２には通信するための通信装置１１０・１１１がそれぞれ設けられている。通信装置１１１は遠隔操作装置１１２に一体的に構成されている。通信手段は例えばＷｉＦｉ等の無線ＬＡＮで相互に通信可能に構成されている。遠隔操作装置１１２は画面に触れることで操作可能なタッチパネル式の操作画面とした表示装置１１３を筐体表面に設け、筐体内に通信装置１１１やＣＰＵや記憶装置やバッテリ等を収納している。

このような構成において、図３に示すような圃場Ｈに設定走行経路Ｒを予め設定して記憶装置３０ｍに記憶し、自動走行開始制御モードのとき自律走行作業車両１が設定走行経路Ｒに沿って走行させることができる。なお、前記圃場Ｈの位置を定めたり、衛星測位システムを利用して走行したり、走行経路Ｒを設定したりするために地図データ（情報）が参照されるが、この地図データは、インターネットに公開されている地図データや地図メーカ等が配信している地図データやカーナビ地図データ等が用いられる。

本実施形態での作業はロータリ耕耘装置２４による平畝成形作業とし、設定走行経路Ｒは枕地で隣接条へ移る往復作業とする。この作業状態を前記カメラ４２により撮影し、異常が発生すると、走行及び作業を停止手段により停止し、警報を発して作業者に通報するようにしている。

すなわち、ロータリ耕耘装置２４により正常に平畝成形を行った状態をカメラ４２により撮影し、制御装置３０に入力し、得られた画像データを画像処理を行い正常作業画像（正常作業映像）として予め記憶装置３０ｍに記憶しておく。この正常作業画像は作業を行う圃場において、最初に作業を行ったときに撮影した映像が正常であると、これを正常作業画像として記憶し、この正常作業画像を基準として作業時の映像と比較して異常であるか判断するようにする。但し、従前の正常作業画像を正常作業画像として記憶させてもかまわない。

例えば、図４に示すように、耕耘作業直後の色をＣ、未耕耘の場所の色をＤ、既耕耘の場所の色をＥとすると、耕耘を行った場所と未耕耘の場所は明らかに色が異なる画像が得られる。正常の作業時にはこの画像データが得られることになる。なお、作業地と枕地は走行経路Ｒのどの位置に位置しているかを、測位装置により認識しているので、枕地では異常の判断は行われず、作業地のみ判断する。但し、最後の外周を回る作業では枕地も作業地となる。

そして、作業時において、カメラ４２により撮影した画像データと前記正常作業画像とを比較し、耕耘爪が破損したり脱落したりすると、図５に示すように、Ｃの領域に筋状の色が異なる部分Ｇが生じる。この場合、例えば、正常部分と異なる画素が設定値以上の生じると、異常と判断する。この異なる部分Ｇが設定値以上現れると、走行を停止する停止手段として変速手段４４をニュートラルとして走行を停止するとともに、作業を停止する手段としてＰＴＯ入切手段４５を「切」として作業を停止する。但し、停止手段はエンジンコントローラ６０によりエンジンを停止させてもよい。
そして同時に、ブザーまたはホーンを鳴らしたり、方向指示器を点滅させる等して警報を発し、異常が発生したことを周囲に認識させ、作業者が携帯する遠隔操作装置１１２の表示装置１１３に異常が発生したことを表示して通報する。遠隔操作装置１１２のスピーカから警報を発してもよい。
また、前記制御装置３０は、通信回線４０１を介して管理サーバ４００と通信可能とされ、通信回線４０１を介して管理サーバ４００に異常が生じたことを送信し、異常データとして記憶する。管理サーバ４００では、メンテナンス記録としてデータベースに保存し、今後の異常発生等に役立てられるようにする。なお、撮影した映像はダッシュボード１４上の表示手段４９や遠隔操作装置１１２の表示装置１１３において表示可能としている。

前記遠隔操作装置１１２には、作業再開操作手段としての再開ボタン１１８が設けられ、該再開ボタン１１８の操作により前記異常の判断を解除し、走行及び作業を再開可能としている。つまり、映像の比較では、実際は正常な作業状態であっても草や藁等が混じり周囲の正常な部分と異なる部分と判断して停止するような誤作動が発生することがある。このように異常が生じていないのに停止し、作業者により容易に正常であると判断できるような場合、作業機全体やシステム等をチェックすることなく再開ボタン１１８の操作により異常の判断を解除し、速やかに作業を再開できるようにしている。

また、作業の形態は、ロータリ耕耘装置２４による平畝成形作業に限定するものではなくその他の作業にも適用できる。例えば、移植作業に適用した場合、畝上に苗を所定間隔で植え付ける作業となるので、所定の条において所定間隔で苗が植え付けられ、撮影した正常な画像は緑の苗が列状に現れる。植付爪や供給する苗に異常が発生すると、列が途切れることになり、欠株が発生したことを画像処理で容易に判断できる。このような異常が発生すると、前記同様に走行を停止し、作業を停止する。そして同時に警報を発し通報する。なお、移植作業機として田植機とすることも可能である。

また、刈取作業や収穫作業にも適用できる。例えば作業機としてモアを装着した場合、刈取前と刈取後において色が異なる。この刈取作業時において、刈刃が損傷したり、脱落して刈取後の領域に色の異なる部分が発生すると、前記同様に走行を停止し、作業が自動的に停止され、警報を発し通報する。

また、ライムソワーによる肥料散布や薬剤の散布作業等にも適用可能である。肥料散布作業では、圃場上面に散布された部分と散布されない部分では異なる色となるので、落下孔に詰まり等が発生したりして異常が発生すると、その列の色が途切れることになるので制御装置３０は異常と判断して、前記同様に走行及び作業を停止し、警報を発して通報する。
また、マルチ被覆作業に適用した場合では、被覆されたマルチが破れたり、皺がよるような異常が発生すると、その部分はマルチフィルムと色が異なり、制御装置３０は異常と判断して、前記同様に走行及び作業を停止し、警報を発して通報する。

以上のように、衛星測位システムを利用して機体の位置を測位する位置算出手段と、設定した走行経路Ｒに沿って自動的に走行及び作業をさせる制御装置３０とを備えた自律走行作業車両１において、自律走行作業車両１には作業状態を撮影するカメラ４２が搭載されて制御装置３０と接続され、該制御装置３０には、走行及び作業を停止させる停止手段と接続され、制御装置３０は、作業時において、前記カメラ４２で撮影された映像を画像処理して、予め記憶させた正常作業映像と比較し、異なる画像データが得られると、異常と判断し、走行及び作業を停止するように制御するので、自律走行作業車両１により自動運転させているときに、作業状態に異常が発生したときに速やかに作業を停止して、作業機の損傷が大きくなることを防止でき、作業不良の状態をできるだけ少なくして、やり直し作業を未然に防ぐことが可能となる。また、異常の原因も映像を見ることにより容易に追究することができる。

また、前記制御装置３０は、通信装置１１０を介して遠隔操作装置１１２と通信可能とされ、前記異常と判断すると、遠隔操作装置１１２に通報するので、作業者は異常が発生したことを認識でき、速やかに対応できる。

また、前記遠隔操作装置１１２には、作業再開操作手段となる再開ボタン１１８が設けられ、該再開ボタン１１８の操作により前記異常の判断を解除し、走行及び作業を再開させるので、実際には異常がなく停止した場合や、簡単な操作や簡単な修理で異常を解消した場合など、再開ボタン１１８の操作だけで容易に作業を再開できる。

また、前記制御装置３０は、通信回線４０１を介して管理サーバ４００と通信可能とされ、前記異常と判断すると、前記管理サーバ４００のデータベースに記憶するので、異常が発生したときのデータとが、メンテナンス記録としてデータベースに保存されることになり、今後の異常発生ときの対応に役立てることができる。

１自律走行作業車両
３０制御装置
４０操舵アクチュエータ
４２カメラ
４５ＰＴＯ入切手段
１１２遠隔操作装置
１１８再開ボタン
４００管理サーバ

Claims

衛星測位システムを利用して機体の位置を測位する位置算出手段と、設定した走行経路に沿って自動的に走行及び作業をさせる制御装置とを備えた自律走行作業車両において、自律走行作業車両には作業状態を撮影するカメラが搭載されて制御装置と接続され、該制御装置には、走行及び作業を停止させる停止手段と接続され、制御装置は、作業時において、前記カメラで撮影された映像を画像処理して、予め記憶させた正常作業映像と比較し、異なる画像データが得られると、異常と判断し、走行及び作業を停止するように制御することを特徴とする無人作業システム。
前記制御装置は、通信装置を介して遠隔操作装置と通信可能とされ、前記異常と判断すると、遠隔操作装置に通報することを特徴とする請求項１に記載の無人作業システム。
前記遠隔操作装置には、作業再開操作手段が設けられ、該作業再開操作手段の操作により前記異常の判断を解除し、走行及び作業を再開させることを特徴とする請求項２に記載の無人作業システム。
前記制御装置は、通信回線を介して管理サーバと通信可能とされ、前記異常と判断すると、前記管理サーバのデータベースに記憶することを特徴とする請求項１に記載の無人作業システム。