JP2023105836A - 支援装置および支援装置を含むシステム - Google Patents

Abstract

【課題】 無人飛行体に搭載した撮像装置による撮像画像の視認性を向上させる。【解決手段】 無人飛行体に搭載した撮像装置からの画像情報に基づいて作業機械を支援する支援装置であって、作業機械の状態を表す状態情報を取得する状態情報取得部と、無人飛行体の目標位置と、目標位置までの無人飛行体の移動態様とを決定する決定部と、決定部により決定された移動態様に基づいて、目標位置までの無人飛行体の移動を制御する制御部とを備え、決定部は、状態情報に基づいて、作業機械との干渉を回避するように移動態様を決定する。【選択図】図２

Description

本開示は、支援装置および支援装置を含むシステムに関する。

ショベルの上部旋回体に取り付けられた撮像装置では撮像できない空間を、自律式の飛行体に取り付けられた撮像装置で撮像する技術が知られる（例えば、特許文献１参照）。

国際公開公報ＷＯ２０１７／１３１１９４号

しかしながら、上記のような従来技術では、ショベルの動きに追従して飛行体の位置等を常に変化させるので、その際の飛行体の揺れ（加速度に起因した振動等）に起因して撮像装置による撮像画像の視認性が低下しやすい。

そこで、１つの側面では、本発明は、無人飛行体に搭載した撮像装置による撮像画像の視認性を向上させることを目的とする。

１つの側面では、以下のような解決手段を提供する。

（１）無人飛行体に搭載した撮像装置からの画像情報に基づいて作業機械を支援する支援装置であって、
前記作業機械の状態を表す状態情報を取得する状態情報取得部と、
前記無人飛行体の目標位置と、前記目標位置までの前記無人飛行体の移動態様とを決定する決定部と、
前記決定部により決定された前記移動態様に基づいて、前記目標位置までの前記無人飛行体の移動を制御する制御部とを備え、
前記決定部は、前記状態情報に基づいて、前記作業機械との干渉を回避するように前記移動態様を決定する、支援装置。

（２）上記（１）の構成において、前記作業機械は、下部走行体と、前記下部走行体に搭載される上部旋回体と、前記上部旋回体に設けられる作業機構と、を備え、
前記状態情報は、前記作業機械及び前記作業機構の少なくともいずれか一方の姿勢を表す姿勢情報を含むことを特徴とする。

（３）上記（２）の構成において、前記状態情報に基づいて、前記無人飛行体の現在位置から前記目標位置まで直線移動した場合の、前記無人飛行体と前記作業機械との干渉の可能性を表すパラメータの値を算出する算出部を更に備え、
前記決定部は、前記パラメータの値に基づいて、前記移動態様を決定することを特徴とする。

（４）上記（２）または（３）の構成において、前記決定部は、前記作業機構を前記撮像装置が撮像できるように前記目標位置を決定することを特徴とする。

（５）上記（２）または（３）の構成において、前記決定部は、前記作業機構または作業対象物の一部を前記撮像装置が撮像できるように前記目標位置を決定することを特徴とする。

（６）上記（４）または（５）の構成において、前記目標位置は、前記作業機構を前記作業機構の左側から前記撮像装置が撮像できる左側位置と、前記作業機構を前記作業機構の右側から前記撮像装置が撮像できる右側位置とを含み、
前記決定部は、前記左側位置と前記右側位置との間で前記目標位置が変化した場合に、前記移動態様を決定することを特徴とする。

（７）上記（１）から（６）のうちのいずれかの構成において、前記決定部は、前記目標位置が変化した場合に、元の前記目標位置から新たな前記目標位置までを直線的に移動する第１移動態様と、元の前記目標位置から新たな前記目標位置までを経由地点を経由して移動する第２移動態様のうちから、選択した一方を、前記移動態様として決定することを特徴とする。

（８）上記（７）の構成において、前記第２移動態様は、元の前記目標位置から前記経由地点までの直線的な移動と、前記経由地点から新たな前記目標位置までの直線的な移動とを含むことを特徴とする。

（９）上記（７）または（８）の構成において、前記決定部は、前記第２移動態様を選択する場合に、前記状態情報に基づいて前記経由地点を決定することを特徴とする。

（１０）上記（９）の構成において、前記決定部は、前記第２移動態様による移動時の前記無人飛行体と前記作業機械との間の最短距離が、前記第１移動態様による移動時の同最短距離よりも長くなるように、前記経由地点を決定することを特徴とする。

（１１）上記（１）から（１０）のうちのいずれかの構成において、前記作業機械の周辺環境を表す周辺環境情報を取得する周辺環境情報取得部を更に備え、
前記決定部は、前記状態情報及び前記周辺環境情報に基づいて、前記移動態様を決定することを特徴とする。

（１２）上記（１）から（１１）のうちのいずれかの構成において、前記決定部により前記移動態様を決定できない場合に、所定情報を出力する情報出力部を更に備えることを特徴とする。

（１３）上記（１）から（１２）のうちのいずれかの支援装置と、前記作業機械及び前記無人飛行体のうちの少なくともいずれか一方とを含む、システムであることを特徴とする。

本開示によれば、無人飛行体に搭載した撮像装置による撮像画像の視認性を向上させることが可能となる。

本実施例の支援装置を含むシステムの構成を例示する図である。 本実施例の支援装置の構成を機能的に示す図である。 作業機械の制御系に係るハードウェア構成の一例を示す図である。 飛行制御装置の動作を示すフローチャートである。 左側位置および右側位置を上方から視た図である。 ２つの経由点を介する飛行経路を示す図である。 １つの経由点を介する飛行経路を示す図である。 作業開始時に設定される飛行経路の例を示す図である。 無人飛行体にケーブルが接続されている場合における飛行経路を例示する図である。 無人飛行体にケーブルが接続されている場合における飛行経路を例示する図である。

以下、添付図面を参照しながら各実施例について詳細に説明する。

図１は、本実施例の支援装置を含むシステムの構成を例示する図、図２は、本実施例の支援装置の構成を機能的に示す図である。

図１に示すように、本実施例の支援装置を含むシステムは、例えば、飛行制御装置１と、無人飛行体２と、作業機械３と、を含んで構成される。図１では、飛行制御装置１と無人飛行体２との間、および、飛行制御装置１と作業機械３との間は、ネットワークを介して接続されている。この場合、飛行制御装置１は、例えば、サーバ（サーバコンピュータ）により構成することができる。この場合、ネットワークの構成は任意であるが、ネットワークは、無線通信網や、インターネット、ＶＰＮ（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、有線ネットワーク、または、これらの任意の組み合わせ等を含んでもよい。

本実施例の支援装置は、無人飛行体２に搭載した撮像装置２２からの画像情報に基づいて作業機械３での作業を支援する装置である。本実施例では、支援装置の機能を飛行制御装置１に設けている。しかし、支援装置の機能のすべてを、無人飛行体２、および作業機械３のいずれかに設けてもよい。また、支援装置の機能を飛行制御装置１、無人飛行体２、および作業機械３のうちの任意の２つまたは３つに分離して設けることもできる。

また、支援装置の機能の一部またはすべてを備える装置を、作業機械３に搭載してもよい。

図２に示すように、本実施例の支援装置を構成する飛行制御装置１は、作業機械３の状態を表す状態情報を取得する状態情報取得部１１と、無人飛行体２の目標位置と、この目標位置までの無人飛行体２の移動態様とを決定する決定部１２と、決定部１２により決定された移動態様に基づいて、目標位置までの無人飛行体２の移動を制御する制御部１３と、状態情報取得部１１により取得された状態情報に基づいて、無人飛行体２の現在位置から目標位置まで直線移動した場合の、無人飛行体２と作業機械３との干渉の可能性を表すパラメータの値を算出する算出部１４と、作業機械３の周辺環境を表す周辺環境情報を取得する周辺環境情報取得部１５と、決定部１２により上記の移動態様を決定できない場合に、所定情報を出力する情報出力部１６と、を備える。

無人飛行体２は、例えば、回転翼機であり、この場合、回転可能な複数の羽根と、当該複数の羽根を回転させるための電動モータ（アクチュエータ）と、電動モータ等に電力を供給するバッテリなどを備える。なお、かかるバッテリに代えて又は加えて、無人飛行体２に、地上から電力供給線が接続されてもよい。

また、無人飛行体２は、制御装置２１と、撮像装置２２と、を備える。

制御装置２１は、飛行制御装置１からの制御情報に応じて、無人飛行体２の飛行状態（前進状態、後進状態、上昇状態、下降状態、ホバリング等）を制御し、無人飛行体２を目標位置に導く。目標位置は、例えば、緯度、経度、及び高度で表現される。また、制御装置２１は、目標位置における無人飛行体２の姿勢を制御する。

制御装置２１は、無人飛行体２の機体に係る各種状態を表す機体情報を取得し、この機体情報に基づいて無人飛行体２の飛行状態を制御する。機体情報は、無人飛行体２の位置情報や、無人飛行体２の姿勢情報等を含んでいる。無人飛行体２の位置情報は、例えば、緯度、経度、及び高度で表現される。このような無人飛行体２の位置情報は、ＧＰＳセンサから取得可能である。無人飛行体２の姿勢情報は、例えば、無人飛行体２のヨー軸、ロール軸、及びピッチ軸の各軸まわりの回転に関する情報を含む。このような無人飛行体２の姿勢情報は、無人飛行体２に搭載される慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）のようなセンサから取得可能である。

また、制御装置２１は、撮像装置２２で取得される画像を、送信部（不図示）を介して作業機械３または飛行制御装置１に送信する送信機能、飛行制御装置１から送信された制御情報を受信部（不図示）を介して受信する受信機能を有する。

撮像装置２２は、無人飛行体２に取り付けられたカメラを含んで構成される。カメラの種類等は任意であり、例えば広角カメラであってもよい。撮像装置２２は、ＣＣＤ（ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ） やＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子により、無人飛行体２の機体前方の前方環境画像を取得する。撮像装置２２は、例えば、リアルタイムに前方環境画像を取得し、所定のフレーム周期のストリーム形式で制御装置２１に供給するものであってよい。

撮像装置２２は、好ましくは、ジンバル（不図示せず）を備える。ジンバルは、無人飛行体２の姿勢が変化しても、撮像装置２２の光軸が一定の向き（例えば水平面内の所定方向）に保つように機能する。

作業機械３は、無人飛行体２と連携しながら所定の作業を遂行する。作業機械３は、例えば解体作業等に好適な破砕機を備えた建設機械であり、クローラ式の下部走行体３１と、下部走行体３１に旋回可能に搭載される上部旋回体３２と、を備えている。上部旋回体３２の前方左側部にはキャブ（運転室）３４が設けられる。上部旋回体３２の前方中央部には作業機構３５が設けられている。なお、作業機械３は、クレーン機能を備える建設機械の形態であってもよいし、クローラクレーン等の他の形態であってもよい。

作業機構３５は、上部旋回体３２に起伏可能に装着されるブーム３５ａと、ブーム３５ａの先端に回動可能に連結されるアーム３５ｂと、アーム３５ｂの先端に取り付けられた破砕機３５ｃと、を備えている。周知のように、ブーム３５ａ、アーム３５ｂおよび破砕機３５ｃは、作業機構３５の一部として設けられた油圧シリンダ等により駆動される。

なお、作業機械３は、無人飛行体２が発着するベースメントを備えてもよい。

図３は、作業機械の制御系に係るハードウェア構成の一例を示す図である。

作業機械３は、図３に示すように、制御装置４０と、周辺機器５０とを備える。

制御装置４０は、バスＢで接続されたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４３、補助記憶装置４４、ドライブ装置４５、及び通信インターフェース４７、並びに、通信インターフェース４７に接続された有線送受信部４８及び無線送受信部４９を含む。

補助記憶装置４４は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

有線送受信部４８は、有線ネットワークを利用して通信可能な送受信部を含む。有線送受信部４８には、周辺機器５０が接続される。ただし、周辺機器５０の一部又は全部は、バスＢに接続されてもよいし、無線送受信部４９に接続されてもよい。

無線送受信部４９は、無線ネットワークを利用して通信可能な送受信部である。無線ネットワークは、携帯電話の無線通信網や、インターネット、ＶＰＮ、ＷＡＮ等を含んでよい。また、無線送受信部４９は、近距離無線通信（ＮＦＣ：Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）部、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ、登録商標）通信部、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ－Ｆｉｄｅｌｉｔｙ、登録商標）送受信部、赤外線送受信部などを含んでもよい。無線送受信部４９は、サーバの形態の飛行制御装置１との間で通信を実行できる。また、無線送受信部４９は、撮像装置２２で取得され、制御装置２１により送信された画像を受信する。

周辺機器５０は、作業機械３に搭載される電子制御可能な機器や各種センサ、操作部等である。周辺機器５０は、例えば、画像出力装置５１や、ブザー、音声出力装置（図示せず）、作業機構３５を作動させる油圧発生装置（図示せず）、各種操作部材の操作状態を検出する各種センサ類５２等、操作を受け付ける操作部５３を含んでよい。なお、油圧発生装置は、エンジン及び／又は電動モータにより駆動される油圧ポンプであってよい。電動モータにより駆動される油圧ポンプを利用する場合、油圧発生装置は、電動モータを駆動するためのインバータを含んでよい。

各種センサ類５２は、ジャイロセンサや、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサ、各種の角度センサ、加速度センサ（傾斜センサ）を含む。ＧＰＳセンサは、作業機械３の位置情報を取得する。作業機械３の位置情報は、緯度、経度、及び高度で表現される。なお、ＧＰＳセンサは、ＧＰＳ受信機を含み、衛星からの電波に基づいて、干渉測位等により、緯度、経度、及び高度を算出する。

また、各種センサ類５２には、作業機械３の姿勢に係るパラメータを取得する各種センサが含まれ、これらのパラメータを作業機械３の姿勢情報として取得する。この場合、姿勢に係るパラメータを取得する各種センサは、例えば、ブーム角度センサや、アーム角度センサ、バケット角度センサ、機体傾斜センサ等であってよい。なお、ブーム角度センサは、ブーム角度を取得するセンサであり、例えば、ブームフートピンの回転角度を検出する回転角センサ、ブームシリンダのストローク量を検出するストロークセンサ、ブーム３５ａの傾斜角度を検出する傾斜（加速度）センサ等を含む。また、アーム角度センサ及びバケット角度センサについても同様である。機体傾斜センサは、機体傾斜角度を取得するセンサであり、例えば、水平面に対する上部旋回体３２の傾斜角度を検出する。

また、各種センサ類５２には、作業機械３の姿勢情報としての、下部走行体３１に対する上部旋回体３２の回転角度に係るパラメータを取得する各種センサが含まれ、これらのセンサは、上部旋回体３２の回転角度を表す回転角度情報を取得する。この場合、上部旋回体３２の回転角度に係るパラメータを取得する各種センサは、例えば、地磁気センサや、下部走行体３１に対し、上部旋回体３２を旋回させる旋回機構の旋回軸まわりの回転角度を検出する回転角センサ（例えばレゾルバ等）、ジャイロセンサ等であってよい。

姿勢情報は、各種センサ類５２により得られるパラメータ以外の作業機械３のブーム長、ブームフットの位置、ジブ長さ、アーム長さなどの固定された（既知の）パラメータと、各種センサ類５２により得られるブーム角度、ジブ角度、アーム角度などの作業中に変化するパラメータとを含んでいる。

これら、作業機械３の位置情報および作業機械３の姿勢情報は、作業機械３の状態情報に対応する。

画像出力装置５１は、作業機械３の操作者が視認できるようにキャブ３４内に設けられる。画像出力装置５１には、撮像装置２２で取得され、無線送受信部４９により受信された画像が表示される。これにより、作業機械３の操作者は、画像出力装置５１上の前方環境画像から、例えば直視では見えない作業現場の状況等を把握できる。

画像出力装置５１の構成は、任意であるが、例えば液晶ディスプレイや、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等であってよい。なお、変形例では、画像出力装置５１は、作業機械３の操作者によりキャブ３４に持ち込まれうる携帯型の装置（例えばタブレット端末等）であってもよい。

また、画像出力装置５１に設けられた表示装置ではなく、画像出力装置５１から出力された画像を他の表示装置に表示させてもよい。この場合、画像出力装置５１の出力先は任意であるが、例えば、作業機械の運転室内に設けられたクラスタ等の表示装置や、操作者が所持しているタブレット等の端末装置、現場監督者が管理している管理画面等がある。

操作部５３は、キャブ３４内に設けられ、作業機械３の操作者による指示操作を受け付ける。この指示操作には、飛行制御装置１に対する指示操作を含めることができ、飛行制御装置１に対する指示操作は、無線送受信部４９を介して飛行制御装置１に向けて送信される。

なお、制御装置４０は、記録媒体４６と接続可能であってもよい。記録媒体４６は、所定のプログラムを格納する。この記録媒体４６に格納されたプログラムは、ドライブ装置４５を介して制御装置４０の補助記憶装置４４等にインストールされる。インストールされた所定のプログラムは、制御装置４０のＣＰＵ４１により実行可能となる。例えば、記録媒体４６は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等であってよい。なお、記録媒体４６には、搬送波は含まれない。

図４は、飛行制御装置の動作を示すフローチャートである。

図４のステップＳ１０２では、飛行制御装置１は、無人飛行体２の新たな目標位置の設定があったか否か判断し、判断が肯定されるのを待って、ステップＳ１０４へ処理を進める。ここでは、操作部５３への指示操作であって、目標位置の変更を指示する操作が受信された場合などに、ステップＳ１０２の判断が肯定される。

新たな目標位置の設定には、無人飛行体２の離陸時における新たな目標位置の設定が含まれる。また、新たな目標位置の設定には、無人飛行体２により撮影を行っている途中で目標位置が変更された場合における変更後の目標位置の設定が含まれる。さらに、無人飛行体２の着陸時における着陸地点を目標位置とする設定が含まれる。

ステップＳ１０４では、飛行制御装置１は、状態情報取得部１１の機能として、作業機械３の状態を表す状態情報を取得する。上記のように、作業機械３の状態情報は、作業機械３の位置情報および作業機械３の姿勢情報に対応する。

ステップＳ１０６では、飛行制御装置１は、算出部１４の機能として、無人飛行体２の現在位置を取得する。この現在位置は、例えば、無人飛行体２による撮影を開始する前の無人飛行体２の初期位置、無人飛行体２により撮影を行っている途中で目標位置が変更された場合における、変更前の目標位置に対応する。あるいは、この現在位置は、無人飛行体２による撮影を終了する場合における最後の撮影位置（目標位置）に対応する。現在位置を、制御装置２１から送信されてきた機体情報に基づいて把握してもよい。

ステップＳ１０８では、飛行制御装置１は、算出部１４の機能として、ステップＳ１０４で取得された作業機械３の状態情報に基づいて、無人飛行体２が現在位置から新たな目標位置まで直線移動した場合の、無人飛行体２と作業機械３との干渉の可能性を表すパラメータの値を算出する。ここでは、例えば、無人飛行体２が現在位置から新たな目標位置まで直線移動した場合の経路と、作業機構３５との間の最短距離（無人飛行体２が作業機構３５に最接近するときの上記経路と作業機構３５との間の距離）を上記パラメータとして算出することができる。

ここで、作業機構３５の位置（姿勢）は、作業機械３の状態情報、すなわち、作業機械３の位置情報と、作業機械３の姿勢情報とに基づいて算出される。したがって、例えば、撮像装置２２による撮影画像に対する画像処理などに依らなくても、作業機構３５の位置（姿勢）を、例えば、飛行経路と同様、緯度、経度、および高度に対応付けて把握できる。このため、上記パラメータを算出する処理の負荷を軽減できる。

ステップＳ１１０では、飛行制御装置１は、算出部１４の機能として、ステップＳ１０８で算出されたパラメータの値（最短距離）が所定の閾値以上か否か判断し、判断が肯定されればステップＳ１１２へ処理を進め、判断が否定されればステップＳ１１４へ処理を進める。

ステップＳ１１２では、飛行制御装置１は、決定部１２の機能として、無人飛行体２が現在位置から新たな目標位置まで直線移動する経路（第１移動態様での経路）を仮の飛行経路として選択し、ステップＳ１１６へ処理を進める。

ステップＳ１１４では、飛行制御装置１は、決定部１２の機能として、ステップＳ１０４で取得された状態情報に基づいて、無人飛行体２が現在位置から新たな目標位置まで移動する経路であって、無人飛行体２と作業機構３５との干渉が回避される経路を検索して抽出する。また、抽出された飛行経路の中から最適な経路と判断されるものを仮の飛行経路（第２移動態様での経路）として選択し、ステップＳ１１６へ処理を進める。

ステップＳ１１６では、飛行制御装置１は、周辺環境情報取得部１５の機能として、作業機械３の周辺環境を表す周辺環境情報を取得する。ここでは、例えば、飛行制御装置１は、制御装置２１により送信されてきた撮像装置２２で取得された画像を、画像処理装置１０（図１）に送信し、画像処理装置１０における画像処理の結果に基づいて周辺環境情報を取得することができる。周辺環境情報には、作業機械３の周辺に存在し、無人飛行体２の飛行を妨害しうる障害物の位置（座標）が含まれる。なお、画像処理装置１０を設ける場所は任意であり、例えば、飛行制御装置１、無人飛行体２、または作業機械３に設けてもよい。

周辺環境情報を取得するために、上記の画像処理装置１０に代えて、または上記の画像処理装置１０に加えて、無人飛行体２に、レーダやソナーセンサなどが設けられてもよい。この場合には、障害物で反射された電波や音波に基づいた解析を、例えば、無人飛行体２、飛行制御装置１または作業機械３などに設けた処理装置において実行することにより、障害物の位置（座標）を検知できる。

ステップＳ１１８では、飛行制御装置１は、決定部１２の機能として、ステップＳ１１６において取得された周辺環境情報に基づいて、ステップＳ１１２またはステップＳ１１４において選択された仮の飛行経路上に、無人飛行体２の飛行を妨害しうる障害物があるか否か判断し、判断が肯定されればステップＳ１２０へ処理を進め、判断が否定されればステップＳ１２４へ処理を進める。

ステップＳ１２０では、飛行制御装置１は、決定部１２の機能として、ステップＳ１０４で取得された状態情報と、ステップＳ１１６で取得された周辺環境情報とに基づいて、無人飛行体２と作業機械３との干渉および無人飛行体２と障害物との干渉が回避される飛行経路を検索し、抽出する。

ステップＳ１２２では、飛行制御装置１は、決定部１２の機能として、ステップＳ１２０における飛行経路の検索により、無人飛行体２と作業機械３との干渉および無人飛行体２と障害物との干渉が回避される飛行経路が抽出されたか否か判断し、判断が肯定されればステップＳ１２４へ処理を進め、判断が否定されればステップＳ１２６へ処理を進める。

ステップＳ１２４では、飛行制御装置１は、決定部１２の機能として、ステップＳ１１２またはステップＳ１１４において選択された仮の飛行経路、またはステップＳ１２０において抽出された飛行経路の中から選択した飛行経路を、最終的な飛行経路として設定し、ステップＳ１３０へ処理を進める。

一方、ステップＳ１２６では、飛行制御装置１は、情報出力部１６の機能として、設定すべき飛行経路がない旨を示す情報などを出力し、ステップＳ１０２へ処理を進める。情報出力部１６から出力される情報として、飛行経路が設定できない理由、例えば、障害物の存在により、作業機械３からの距離が所定の範囲に収まるような飛行経路が選択できないなどの情報を含むことができる。情報出力部１６から出力される情報は、例えば、画像出力装置５１などに表示されてもよく、音声出力情報を含んでもよい。

ステップＳ１３０では、飛行制御装置１は、制御部１３の機能として、ステップＳ１２４において設定された最終的な飛行経路を指定する制御情報を無人飛行体２に向けて送信し、ステップＳ１０２へ処理を進める。送信された制御情報は、制御装置２１により受信される。無人飛行体２は、制御装置２１の制御に従って、指定された飛行経路に沿って飛行し、新たな目標位置に向かう。

このように、本実施例では、目標位置が更新されるまで（ステップＳ１０２の判断が肯定されるまで）、無人飛行体２は更新前の目標位置に留まり、この目標位置において撮像装置２２による撮影が継続して行われる。目標位置において、無人飛行体２はホバリング状態を維持することで、適切な撮影位置から撮像装置２２により作業（例えば、解体作業）の状況を撮影し、撮像した画像を作業機械３の操作者が視認することができる。このため、無人飛行体２の揺れに起因する画質の低下がなく、視認性の高い撮像画像を操作者に提示でき、作業機械３による作業を効果的に支援できる。

また、新たな目標位置までの直線移動が可能な場合には、無人飛行体２を直線移動させる飛行経路が選択されるので、飛行経路の最短化および飛行時間の最短化を図ることができる。

さらに、作業機構３５との干渉により、新たな目標位置までの直線移動が選択できない場合には、作業機構３５を迂回する飛行経路が自動的に選択される。このため、操作者に負担を与えることなく、無人飛行体２を新たな目標位置に移動させることができる。

さらにまた、本実施例では、障害物を回避する飛行経路が自動的に選択される。このため、操作者に負担を与えることなく、無人飛行体２を新たな目標位置に移動させることができる。

次に、上記の現在位置（ステップＳ１０６）および目標位置（ステップＳ１０８）について説明する。

まず、無人飛行体２の離陸前の時点において、現在位置は無人飛行体２が設置される初期位置であり、新たな目標位置は最初の撮影位置である。

撮像装置２２による撮影が開始された後、撮影位置が変更される場合には、現在位置は変更前の撮影位置であり、新たな目標位置は、変更後の撮影位置である。

さらに、例えば、作業終了時には、無人飛行体２は最後の撮影位置から所定の位置、例えば、初期位置まで飛行し着陸する。この場合には、現在位置は最後の撮影位置であり、新たな目標位置は、無人飛行体２が着陸する位置、例えば初期位置である。

撮影位置として規定されるのは、作業機構３５の状態が撮影できる位置、または作業対象物、例えば解体作業の対象となる建物の少なくとも一部が撮影できる位置である。作業機構３５の状態と作業対象物の両者を撮影できる位置を撮影位置として規定してもよい。

撮影位置として、作業機構３５を作業機構３５の左側から撮像装置２２が撮像できる左側位置と、作業機構３５を作業機構３５の右側から撮像装置２２が撮像できる右側位置とを設定することができる。左側位置および右側位置のうちの一つが目標位置（撮影位置）として選択される。

左側位置および右側位置の組は、左側位置および右側位置を設定する時点における作業機構３５の状態（位置、方向）を基準に設定することができる。この場合、左側位置および右側位置を、作業機構３５に対して左右対称の位置に定めてもよい。

また、左側位置および右側位置の組は、下部走行体３１または上部旋回体３２の状態（位置、方向）を基準に設定することができる。この場合、左側位置および右側位置を、下部走行体３１または上部旋回体３２に対して左右対称の位置に定めてもよい。

また、左側位置および右側位置の組は、操作者の指示に従って、定めてもよい。

図５は、左側位置および右側位置を上方から視た図である。図５において、左側位置２Ｌおよび右側位置２Ｒは、ブーム３５ａの回転軸よりも前方、すなわち、作業機構３５が伸びる方向であって、作業開始時の作業機構３５に対して対称の位置に定められている。

左側位置および右側位置は、複数の位置の組として用意されてもよい。この場合、操作者の指示に応じて、あるいは、作業機械３の状態（作業機械３の各部の位置、方向）に応じて、複数の位置の組の中から一の組が選択されてもよい。

また、左側位置および右側位置の組は、作業機構３５の状態（位置、方向）または、下部走行体３１または上部旋回体３２の状態（位置、方向）に応じて、適時、変更されてもよい。この場合、作業機械３の状態に応じた適切な撮影位置を確保することができる。

左側位置および右側位置のうち、いずれかの位置を撮影位置として選択できる。例えば、操作者の指示に従っていずれかの位置を選択することができる。この場合、作業機械３の操作者は、例えば直視では見えない作業現場の状況等を把握するためにより有効な画像を選択できる。例えば、より有効な画像を得るために、操作者は、撮影位置を左側位置から右側位置に切り換えることができる。また、初期設定により、撮影位置を左側位置または右側位置に規定してもよく、初期設定により規定される撮影位置を、操作者の指示に従って切り替え可能としてもよい。

また、左側位置および右側位置のうちのいずれかを、作業機構３５の状態（位置、方向）または、下部走行体３１または上部旋回体３２の状態（位置、方向）に応じて、適時、選択してもよい。

撮影位置は、左側位置および右側位置に限定されることなく、左側位置および右側位置に代えて、または、左側位置および右側位置に付加するように、任意の位置に定めることができる。また、撮影位置の個数も任意であり、３か所以上の撮影位置を設け、操作者の指示に応じて、あるいは、作業機械３の状態（作業機械３の各部の位置、方向）に応じて撮影位置が、適時、選択されてもよい。

次に、無人飛行体２と作業機械３との干渉の可能性を表すパラメータの値（ステップＳ１０８）について説明する。

上記のパラメータの値を算出するにあたり、飛行制御装置１は、無人飛行体２が現在位置から新たな目標位置まで直線移動した場合の経路と、作業機構３５との間の最短距離（最小離間距離）を求める。作業機構３５の状態は、上記の作業機械３の状態情報、すなわち、作業機械３の位置情報と姿勢情報とに基づいて算出される。上記のように、作業機械３の姿勢情報は、作業機械３のブーム長、ブームフットの位置、ジブ長さ、アーム長さなどの固定された（既知の）パラメータと、ブーム角度、ジブ角度、アーム角度などの作業中に変化するパラメータとを含んでいる。

仮に、この最短距離が所定の閾値未満の場合には、無人飛行体２が現在位置から新たな目標位置まで直線移動する途中で、作業機構３５に接触する可能性がある。このため、このような場合（ステップＳ１０８の判断が否定される場合）には、直線移動する経路を選択せず、作業機構３５を回避して迂回するような経路を検索している（ステップＳ１１４）。一方、上記の最短距離が上記の所定の閾値以上である場合（ステップＳ１０８の判断が肯定される場合）には、無人飛行体２が直線移動する途中で作業機構３５に接触する可能性がないため、現在位置から新たな目標位置まで直線移動する経路を仮の飛行経路として選択している（ステップＳ１１２）。

本実施例では、上記パラメータの値として上記の最短距離を算出している。しかし、上記パラメータを、直線移動の可否を示す２値のパラメータとしてもよい。例えば、上記の最短距離を算出するまでもなく、直線経路上を飛行する無人飛行体２と作業機械３との干渉の可否を判定するアルゴリズムにより、上記パラメータの値（２値のうちのいずれか）を算出してもよい。この場合、とくに、直線移動が可能な場合には、飛行経路の選択に要する時間を短縮できる。

次に、直線移動する経路が選択できなかった場合（ステップＳ１１０の判断が否定された場合）に、無人飛行体２と作業機械３との干渉を回避する飛行経路（仮の飛行経路）の選択（ステップＳ１１４）について説明する。

無人飛行体２と作業機械３との干渉を回避する飛行経路は、飛行経路が作業機構３５から一定の距離を確保できるような経路として、抽出、選択される。この場合、飛行経路と、作業機構３５との間の最短距離は、例えば、上記の所定の閾値と同じか、より長い距離とすることができる。また、作業機構３５との間の最短距離に関し、ブーム３５ａやアーム３５ｂなどの異なる部位に応じた異なる下限値が設定され、各部位における最短距離が下限値を上回るような飛行経路を選択してもよい。例えば、通常、ブーム３５ａと比較してアーム３５ｂ（破砕機３５ｃ）の動きは速くなるため、アーム３５ｂ（破砕機３５ｃ）に対する最短距離については、その下限値をブーム３５ａに対する最短距離の下限値よりも大きい値に設定してもよい。

飛行経路の軌跡としては、例えば、当該飛行経路として、経由点を含み、現在位置、経由点、および目標位置までの間を、順に直線で結ぶ経路を設定することができる。経由点は、１つあるいは複数設けることができる。

図５Ａは、２つの経由点を介する飛行経路を示す図である。図５Ａの例では、無人飛行体２が左側位置２Ｌから、経由点２０１および経由点２０２を順次、経由して右側位置２Ｒに移動する飛行経路を示している。この場合、無人飛行体２は、左側位置２Ｌから経由点２０１まで直線的に上昇した後、経由点２０２まで直線的に水平に飛行し、さらに右側位置２Ｒまで直線的に下降することで、アーム５３ｂとの間の干渉を回避している。

図５Ｂは、１つの経由点を介する飛行経路を示す図である。図５Ｂの例では、無人飛行体２が左側位置２Ｌから、経由点２０３を経由して右側位置に移動する飛行経路を示している。この場合、無人飛行体２は、左側位置２Ｌから経由点２０３まで直線的に水平に飛行し、さらに右側位置まで直線的に水平に飛行することで、ブーム５３ａとの間の干渉を回避している。

また、当該飛行経路として、飛行経路の全体が作業機構３５から一定以上の距離を確保できるような曲線状、例えば、円弧状の経路を設定することもできる。例えば、図５に示す経路１０１のように、作業機構３５を回避するような円弧状の経路を設定することができる。図５に示す経路１０１は、無人飛行体２が左側位置２Ｌから右側位置２Ｒに水平に飛行する経路を示している。

図５Ｃは、作業開始時に設定される飛行経路の例を示す図である。図５Ｃでは、現在位置としての初期位置３０１にある無人飛行体２が目標位置としての左側位置２Ｌに移動する飛行経路１０２を示している。この例では、無人飛行体２は、初期位置３０１から上昇して経由点２０４に至り、さらに水平に飛行して経由点２０５に至る。さらに、無人飛行体２は、経由点２０５から上昇して左側位置２Ｌに到達する。この場合、仮に、無人飛行体２が初期位置３０１から直線移動して左側位置２Ｌに到達した場合には、ブーム５３ａに干渉する可能性がある。しかし、経由点２０４および経由点２０５を経由した飛行経路１０２を選択することにより、無人飛行体２がブーム５３ａに接触することを防止できる。この場合、選択される飛行経路１０２とブーム５３ａとの間には、接触を避けるために設定された最短距離の閾値（所定の閾値）以上の距離Δが確保される。

無人飛行体２と作業機械３との干渉を回避する飛行経路として、複数の飛行経路が選択可能となるが、飛行距離の短い経路または移動時間が短くなる経路を選択することが望ましい。

一つの選択方法として、無人飛行体２と作業機械３との干渉を回避する飛行経路のうち、最短となる飛行経路を選択することが考えられる。しかし、例えば、現在位置、経由点、および目標位置までの間を、順に直線で結ぶ経路を設定する場合、経由点の数を増やすことで、飛行距離の短縮化を図ることができる。しかし、一方で、経由点が増えると、経由点での方向転換や一時停止の回数が多くなり、移動時間がかかる。このため、要求される条件に合致した飛行経路を選択することが望ましい。例えば、移動時間を重視する場合には、無人飛行体２と作業機械３との干渉を回避する飛行経路のうち、移動時間を最短化する飛行経路を選択することができる。

次に、仮の飛行経路上に、無人飛行体２の飛行を妨害しうる障害物がある場合（ステップＳ１１８の判断が肯定された場合）における飛行経路の設定方法について説明する。

この場合、無人飛行体２と作業機械３との干渉を回避できる飛行経路であって、飛行経路と障害物との間の最短距離が、所定の閾値以上となるように飛行経路が設定される。これにより、無人飛行体２が障害物に接触するおそれを排除することができる。また、飛行経路は、例えば、飛行距離が短縮されるように、例えば、飛行距離が最短となるように設定されてもよく、あるいは、飛行時間が短縮されるように、例えば、飛行時間が最短となるように設定されてもよい。飛行経路は、経由点を結ぶ直線状の経路の組み合わせでもよく、曲線、例えば円弧状の曲線で構成されてもよい。

次に、無人飛行体２にケーブルが接続されている場合における飛行経路について説明する。

図６および図６Ａは、無人飛行体にケーブルが接続されている場合における飛行経路を例示する図である。ケーブル４００は、例えば、無人飛行体２に電力を供給するケーブルや無人飛行体２と作業機械３との間の通信に用いられるケーブルである。また、無人飛行体２を係留して飛行範囲を制限するためのワイヤーとしてケーブル４００を使用する場合も含まれる。

図６の例では、無人飛行体２が初期位置３０１から最初の撮影位置である右側位置２Ｒに移動する飛行経路を示している。この場合、無人飛行体２は、初期位置３０１から経由点２０７へ直線的に上昇した後、右側位置２Ｒに水平に直線的に飛行して右側位置２Ｒに到達する。この場合、飛行経路において、無人飛行体２のみならず、無人飛行体２から伸びたケーブル４００がブーム５３ａまたはアーム５３ｂに接触して絡まないように経由点２０７が設定される。

図６Ａの例では、無人飛行体２が左側位置２Ｌから右側位置２Ｒに移動する飛行経路を示している。この場合、無人飛行体２は、左側位置２Ｌから経由点２０８へ水平に直線的に飛行した後、右側位置２Ｒに水平に直線的に飛行して右側位置２Ｒに到達する。この場合、飛行経路において、無人飛行体２のみならず、無人飛行体２から伸びたケーブル４００がブーム５３ａまたはアーム５３ｂに接触して絡まないような位置に、経由点２０８が設定される。

このように、無人飛行体２にケーブル４００が接続されている場合には、現在位置から目標位置に無人飛行体２が直線移動した場合に、無人飛行体２自体が作業機構３５に干渉する可能性がなくても、ケーブル４００が作業機構３５に接触する可能性がある場合には、現在位置から目標位置まで迂回して接触を回避するような飛行経路が選択される。

なお、ケーブル４００の余分な弛みを抑制するため、ケーブル４００を、例えば一定のテンションで巻き取るリールなどの機構を設けてもよい。この場合、ケーブル４００が直線に近い形状をとることになるため、風などにより煽られたケーブル４００が、不用意に作業機構３５に接触するおそれを排除できる。

以上のように、本実施例では、目標位置が更新されるまで、無人飛行体２は更新前の目標位置に留まり、この目標位置において撮像装置２２による撮影が継続して行われる。このため、無人飛行体２の揺れに起因する画質の低下がなく、視認性の高い撮像画像を操作者に提示でき、作業機械３による作業を効果的に支援できる。

また、新たな目標位置までの直線移動が可能な場合には、無人飛行体２を直線移動させる飛行経路が選択されるので、飛行経路の最短化および飛行時間の最短化を図ることができる。さらに、作業機構３５との干渉により、新たな目標位置までの直線移動が選択できない場合には、作業機構３５を迂回する飛行経路が自動的に選択される。このため、操作者に負担を与えることなく、無人飛行体２を新たな目標位置に移動させることができる。

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。

例えば、上述した実施例では、作業機械１での作業を支援するための構成に関するが、作業機械１自体の点検や、作業機械１の走行や他の動作を支援するためにも適用できる。例えば、機械停止時におけるアタッチメント等の背の高い物の点検作業を支援したり、作業機械１の移動の為の走行時の周囲監視を支援したりする場合にも、適用可能である。このように、上述した実施例に係る内容は、作業機械１に係る各種支援に適用できる。

１ 飛行制御装置
２ 無人飛行体
３ 作業機械
１１ 状態情報取得部
１２ 決定部
１３ 制御部
１４ 算出部
１５ 周辺環境情報取得部
１６ 情報出力部

Claims (13)

1. 無人飛行体に搭載した撮像装置からの画像情報に基づいて作業機械を支援する支援装置であって、
   前記作業機械の状態を表す状態情報を取得する状態情報取得部と、
   前記無人飛行体の目標位置と、前記目標位置までの前記無人飛行体の移動態様とを決定する決定部と、
   前記決定部により決定された前記移動態様に基づいて、前記目標位置までの前記無人飛行体の移動を制御する制御部とを備え、
   前記決定部は、前記状態情報に基づいて、前記作業機械との干渉を回避するように前記移動態様を決定する、支援装置。
2. 前記作業機械は、下部走行体と、前記下部走行体に搭載される上部旋回体と、前記上部旋回体に設けられる作業機構と、を備え、
   前記状態情報は、前記作業機械及び前記作業機構の少なくともいずれか一方の姿勢を表す姿勢情報を含む、請求項１に記載の支援装置。
3. 前記状態情報に基づいて、前記無人飛行体の現在位置から前記目標位置まで直線移動した場合の、前記無人飛行体と前記作業機械との干渉の可能性を表すパラメータの値を算出する算出部を更に備え、
   前記決定部は、前記パラメータの値に基づいて、前記移動態様を決定する、請求項２に記載の支援装置。
4. 前記決定部は、前記作業機構を前記撮像装置が撮像できるように前記目標位置を決定する、請求項２又は３に記載の支援装置。
5. 前記決定部は、前記作業機構または作業対象物の一部を前記撮像装置が撮像できるように前記目標位置を決定する、請求項２又は３に記載の支援装置。
6. 前記目標位置は、前記作業機構を前記作業機構の左側から前記撮像装置が撮像できる左側位置と、前記作業機構を前記作業機構の右側から前記撮像装置が撮像できる右側位置とを含み、
   前記決定部は、前記左側位置と前記右側位置との間で前記目標位置が変化した場合に、前記移動態様を決定する、請求項４又は５に記載の支援装置。
7. 前記決定部は、前記目標位置が変化した場合に、元の前記目標位置から新たな前記目標位置までを直線的に移動する第１移動態様と、元の前記目標位置から新たな前記目標位置までを経由地点を経由して移動する第２移動態様のうちから、選択した一方を、前記移動態様として決定する、請求項１から６のうちのいずれか１項に記載の支援装置。
8. 前記第２移動態様は、元の前記目標位置から前記経由地点までの直線的な移動と、前記経由地点から新たな前記目標位置までの直線的な移動とを含む、請求項７に記載の支援装置。
9. 前記決定部は、前記第２移動態様を選択する場合に、前記状態情報に基づいて前記経由地点を決定する、請求項７又は８に記載の支援装置。
10. 前記決定部は、前記第２移動態様による移動時の前記無人飛行体と前記作業機械との間の最短距離が、前記第１移動態様による移動時の同最短距離よりも長くなるように、前記経由地点を決定する、請求項９に記載の支援装置。
11. 前記作業機械の周辺環境を表す周辺環境情報を取得する周辺環境情報取得部を更に備え、
    前記決定部は、前記状態情報及び前記周辺環境情報に基づいて、前記移動態様を決定する、請求項１から１０のうちのいずれか１項に記載の支援装置。
12. 前記決定部により前記移動態様を決定できない場合に、所定情報を出力する情報出力部を更に備える、請求項１から１１のうちのいずれか１項に記載の支援装置。
13. 請求項１から１２のうちのいずれか１項に記載の支援装置と、前記作業機械及び前記無人飛行体のうちの少なくともいずれか一方とを含む、システム。

Images