JP2019101765A

JP2019101765A - 移動体の追従画像提示システム

Info

Publication number: JP2019101765A
Application number: JP2017232209A
Authority: JP
Inventors: 允啓亀▲崎▼; Mitsuhiro Kamezaki; 雅博宮田; Masahiro Miyata; 重樹菅野; Shigeki Sugano
Original assignee: Waseda University
Current assignee: Waseda University
Priority date: 2017-12-02
Filing date: 2017-12-02
Publication date: 2019-06-24
Anticipated expiration: 2037-12-02
Also published as: JP7023492B2

Abstract

【課題】移動しながら所定の作業を行う移動体の全体若しくは一部をターゲットとした空間を撮像し、多種多様な作業環境で移動体の操作を行い易くする画像を提示すること。【解決手段】追従画像提示システム１０は、所定の空間を移動するロボット１１と、当該ロボット１１に追従しながら非接続状態で自律移動するとともに、ロボット１１の全体若しくは一部をターゲットにした対象空間を撮像する移動撮像装置１４と、移動撮像装置１４により取得した追従画像を表示する表示装置１５とを備えている。移動撮像装置１４は、ロボット１１の移動に関わらず、前記ターゲットが前記追従画像の一定領域に一定のアングルで表示されるように、ロボット１１に対する追従移動が制御される。【選択図】図１

Description

本発明は、移動しながら所定の作業を行う移動体をオペレータが遠隔操作する際に、当該移動体の移動に追従する遠隔操作用の追従画像をオペレータに提示するためのシステムに関する。

近年、人間が実際に搭乗せずに、遠隔操作によって自律移動する遠隔操作ロボットが種々出現しており、災害後の復旧作業等での活用が期待されている。ところが、遠隔操作ロボットのオペレータは、カメラで取得した遠隔操作ロボットの周囲の映像を見ながら操作するため、一般的に、遠隔操作ロボットの作業効率は、搭乗操作の場合よりも低くなることが多い。

そこで、オペレータが、遠隔操作ロボットを効率良く安全に操作するためには、映像を見て、ロボットを含めた現場状況を瞬時に把握でき、当該ロボットに設けられたマニピュレータの操作方向及び操作量を容易に判断できることが重要となる。

ところで、特許文献１には、遠隔操作される走行車両の視野の死角を減少させるための作業ロボットシステムが開示されている。この作業ロボットシステムは、走行車両に搭載されて前方空間を撮像する第１のカメラからの取得画像とともに、ケーブルを介して繋がるヘリコプターに搭載された第２のカメラからの取得画像がオペレータに提示されるようになっている。

特開２０１６−４９８６４号公報

しかしながら、前記特許文献１の作業ロボットシステムにあっては、ヘリコプターの第２のカメラにより、走行車両の上部の前方画像しか取得できず、走行車両の側方や後方等に依然死角が多く存在することになる。従って、当該作業ロボットシステムでは、オペレータにとって、ロボットを含めた現場状況を必ずしも十分に把握できる訳ではなく、多種多様な作業環境への適用が困難である。また、ヘリコプターは、ケーブルを介して走行車両に繋がる有線給電方式となっているため、その飛行範囲が限られるばかりか、走行車両の周囲に障害物が存在する場合に、当該障害物を回避しながら所望の画像を取得するには限界があり、この点においても、多種多様な作業環境への適用が困難である。

本発明は、このような課題に着目して案出されたものであり、その目的は、移動しながら所定の作業を行う移動体の全体若しくは一部をターゲットとした空間を撮像し、多種多様な作業環境で移動体の操作を行い易くする画像をオペレータに提示できる移動体の追従画像提示システムを提供することにある。

前記目的を達成するため、本発明は、主として、所定の空間を移動する移動体と、当該移動体に追従しながら非接続状態で自律移動するとともに、前記移動体の全体若しくは一部をターゲットにした対象空間を撮像する移動撮像装置と、当該移動撮像装置により取得した追従画像を表示する表示装置とを備え、前記移動撮像装置は、前記移動体の移動に関わらず、前記ターゲットが前記追従画像の一定領域に一定のアングルで表示されるように、前記移動体に追従移動する、という構成を採っている。

本発明によれば、予め指定した移動体の全体若しくは一部をターゲットとした空間が、移動撮像装置で移動体に追従しながら撮像されることで、得られた追従画像の一定領域に一定のアングルで表示される。このため、移動体を操作するオペレータに対し、移動体が移動しても、カメラの視点や撮像範囲が一貫しており、時間的接続性の高い連続性の有る追従画像が提示されることになり、当該追従画像を見ながらの操作が行い易くなる。加えて、移動撮像装置は、移動体に非接続状態で自律移動制御されるため、撮像範囲の自由度を高めることができる。以上により、多種多様な作業環境への適用が可能になる。

本実施形態に係る追従画像提示システムの概略構成図である。前記追従画像提示システムの全体構成を示すブロック図である。（Ａ）は、ロボットの平面視における相対撮像条件を説明するための図であり、（Ｂ）は、ロボットの側面視における相対撮像条件を説明するための図である。（Ａ）〜（Ｃ）は、障害物回避制御部での障害物の回避制御を説明するための図である。表示画面に表示される追従画像の一例を示す図である。

以下、本発明の実施形態について図面を参照しながら説明する。

図１には、本実施形態に係る移動体の追従画像提示システムの概略構成図が示されており、図２には、当該追従画像提示システムの全体構成を表すブロック図が示されている。これらの図において、前記追従画像提示システム１０は、遠隔操作により所定の空間を移動しながら所定の作業を行う移動体としての遠隔操作ロボット１１（以下、単に「ロボット１１」と称する）と、ロボット１１から離れた場所に設けられ、無線通信を利用してオペレータ（図示省略）がロボット１１に対して遠隔操作指令を行うための操作装置１２と、ロボット１１に追従しながら非接続状態で自律移動し、ロボット１１の全体若しくは一部をターゲットにした対象空間を撮像する移動撮像装置１４と、操作装置１２とセットで配置され、移動撮像装置１４により取得した追従画像を含む画像を表示可能な表示装置１５とを備えている。なお、以下の説明において、操作装置１２や表示装置１５が存在するオペレータ側の場所を「基地局Ｈ」と称する。

本実施形態において、前記ロボット１１は、無人でも動作可能な建設機械として構成されており、基地局Ｈからの遠隔操作により、オペレータが実際に搭乗せずに可動部位の動作指令を行えるようになっている。

前記ロボット１１は、所定範囲内で動作可能なブーム１８Ａ、アーム１８Ｂ及びアタッチメント１８Ｃ（図１参照）等からなるマニピュレータ１８と、ロボット１１全体を地面に沿って移動させるように動作するクローラ等の移動手段１９と、これらマニピュレータ１８及び移動手段１９をそれぞれ動作させるモータ等の駆動手段２１（図２参照）と、駆動手段２１の駆動を制御する動作制御手段２２（図２参照）と、基地局Ｈとの間で無線通信を行うための通信モジュール２３（図２参照）と、有人操作の際にオペレータの存在空間となるキャブ２５（図１参照）の内部に固定された固定カメラとしてのキャブカメラ２６とを含んで構成されている。

前記動作制御手段２２では、操作装置１２からの指令信号を通信モジュール２３で受信すると、当該指令信号に基づき、駆動手段２１の駆動を制御することで、オペレータの遠隔操作に対応したマニピュレータ１８及び移動手段１９の動作がなされることになる。

前記キャブカメラ２６は、ロボット１１と一体的に移動しながらその前方空間を撮像可能になっており、キャブ２５内でオペレータが操作しているときの視界と同様の映像を構成するキャブ画像を取得可能になっている。ここで取得されたキャブ画像は、通信モジュール２３から無線通信により表示装置１５に逐次送られる。

なお、その他のロボット１１の構成については、本発明の本質部分ではないため、詳細な説明を省略する。

前記操作装置１２は、レバー、ペダル、スティック、ハンドル等の入力機器からなり、基地局Ｈ側のオペレータが操作することで、動作制御手段２２への制御指令が通信モジュール２３に送信され、マニピュレータ１８と移動手段１９の遠隔操作を可能にする公知の構成となっている。

前記移動撮像装置１４は、ロボット１１に追従しながら相対移動可能な追従移動体として機能する無人飛行体（ドローン）２８と、ドローン２８に搭載され、ドローン２８とともに一体的に移動しながらロボット１１の全体若しくは一部をターゲットにした所定空間を撮像するための移動カメラ２９とにより構成される。

前記ドローン２８は、所定範囲の空間を飛行可能に動作するモータ及び各種機構等からなる動力ユニット３１と、自身の位置、姿勢、速度、進行方向等の情報を検出する自身情報検出手段３２と、移動撮像装置１４の周囲の情報を検出する周囲情報検出手段３３と、これらの検出結果に基づいて、ロボット１１に追従するように動力ユニット３１の動作制御を行う追従制御手段３５と、基地局Ｈとの間で無線通信を行うための通信モジュール３６とを備えている。

ここで、本実施形態では、同一構造のドローン２８を３台使って、各ドローン２８にそれぞれ１台ずつ設けられた移動カメラ２９で取得した映像である追従画像が、それぞれ基地局Ｈ側の表示装置１５に逐次送信されるようになっている。

前記自身情報検出手段３２は、ドローン２８の無人飛行に必要となるジャイロセンサ、測距センサ、加速度センサ等の公知の各種センサ類からなる。

前記周囲情報検出手段３３は、移動撮像装置１４に対するロボット１１の三次元の位置情報及び姿勢情報等を検出するロボット情報検出部３８（移動体情報検出部）と、移動撮像装置１４の周囲の障害物等の物体の存在情報等を検出する周囲物体情報検出部３９とを備えている。

前記ロボット情報検出部３８では、ドローン２８に一体的に取り付けられた移動カメラ２９の追従画像に基づいて、移動カメラ２９に対するロボット１１の位置及び姿勢が検出される。具体的に、本実施形態では、ロボット１１の複数箇所にマーカ（図示省略）が設けられ、移動カメラ２９による各マーカの撮像状況から、ロボット１１の相対的な位置及び姿勢と、ロボット１１から移動カメラ２９までの相対距離を導出する公知の手法が採用されている。なお、移動カメラ２９に対するロボット１１の位置及び姿勢と前記相対距離の検出は、種々のセンサ等を利用しても良い。

前記周囲物体情報検出部３３では、特に限定されるものではないが、レーザーレーダ等の物体検知装置を用い、移動撮像装置１４とその周囲の障害物等の物体との相対距離に基づいて、移動撮像装置１４の周囲の所定範囲内における物体の存在の有無を検知するようになっている。

前記追従制御手段３５は、ロボット情報検出部３８での検出結果に基づき、移動カメラ２９で所定の追従画像が得られる飛行ルートとなるように、ドローン２８の飛行を制御する基準制御部４２と、周囲物体情報検出部３９での検出結果に基づき、基準制御部４２で制御された飛行ルートでの飛行中に、追従画像の取得に障害となる障害物を回避するようにドローン２８の飛行を制御する障害物回避制御部４３とを備えている。

前記基準制御部４２では、ロボット１１の全体若しくは一部をターゲットとした対象空間における視点や撮像範囲を一定に保持するように、ドローン２８の追従制御を通じて移動カメラ２９の移動配置が制御されることになる。つまり、基準制御部４２では、ロボット１１の移動に関わらず、前記ターゲットが追従画像の一定領域に一定のアングルで表示されるように、ドローン２８の飛行制御を通じ、移動撮像装置１４をロボット１１に追従移動させるようになっている。

本実施形態では、移動撮像装置１４が３台用いられていることから、次のようにして、３台のドローン２８の飛行がそれぞれ制御される。

なお、以下の説明においては、３台のドローン２８を区別するために、適宜、第１〜第３のドローン２８Ａ〜２８Ｃと称する。また、適宜、第１のドローン２８Ａに取り付けられた移動カメラ２９を第１の移動カメラ２９Ａと称し、第２のドローン２８Ｂに取り付けられた移動カメラ２９を第２の移動カメラ２９Ｂと称し、第３のドローン２８Ｃに取り付けられた移動カメラ２９を第３の移動カメラ２９Ｃと称する。

第１のドローン２８Ａにおける基準制御部４２では、第１の移動カメラ２９Ａを利用し、上方から撮像されたロボット１１全体の俯瞰画像を追従画像として、一定のアングルにより取得可能な飛行ルートによる飛行制御が行われる。つまり、図３（Ａ），（Ｂ）に示されるように、ロボット１１と第１の移動カメラ２９Ａの相対距離Ｌ_１と、図３（Ａ）の平面視におけるロボット１１に対する第１の移動カメラ２９Ａの撮像方向を表す平面撮像角度θ_Ｈ１と、同図（Ｂ）の側面視におけるロボット１１に対する第１の移動カメラ２９Ａの撮像方向を表す側面撮像角度θ_Ｓ１とからなる相対撮像条件が、ロボット１１の移動に関わらずに一定に維持されるようになっている。

なお、以下の第２、第３の移動カメラ２９Ｂ，２９Ｃでの説明を含め、平面撮像角度θ_Ｈ＊及び側面撮像角度θ_Ｓ＊は、次のように定義される。すなわち、平面撮像角度θ_Ｈ＊は、図３（Ａ）の平面視におけるロボット１１の前後方向に沿う左右中心線（同図中一点鎖線）と移動カメラ２９の撮像方向に沿う撮像線Ｃとの間でなす角度を意味する。また、側面撮像角度θ_Ｓ＊は、図３（Ｂ）の側面視におけるロボット１１の前後方向に沿う上下中心線（同図中一点鎖線）と、移動カメラ２９の撮像方向に延びる撮像線Ｃとの間でなす角度を意味する。ここで、撮像線Ｃは、移動カメラ２９とその撮像のターゲットとを結んだ線となる。

第２のドローン２８Ｂにおける基準制御部４２では、第２の移動カメラ２９Ｂを利用し、真横から撮像されたマニピュレータ１８主体のマニピュレータ側面画像を追従画像として、一定のアングルにより取得可能な飛行ルートでの飛行制御が行われる。つまり、ロボット１１と第２の移動カメラ２９Ｂの相対距離Ｌ_２と、第２の移動カメラ２９Ｂの前記平面撮像角度θ_Ｈ２と、第２の移動カメラ２９Ｂの前記側面撮像角度θ_Ｓ２（図示省略）とが、ロボット１１が移動したときでも一定に維持されるようになっている。

第３のドローン２８Ｃにおける基準制御部４３では、第３の移動カメラ２９Ｃを利用し、後方から俯瞰的に撮像されたマニピュレータ１８主体のマニピュレータ背面画像を追従画像として、一定のアングルにより取得可能な飛行ルートでの飛行制御が行われる。つまり、ロボット１１と第３の移動カメラ２９Ｃの相対距離Ｌ_３と、第３の移動カメラ２９Ｃの前記平面撮像角度θ_Ｈ３（図示省略）、第３の移動カメラ２９Ｃの前記側面撮像角度θ_Ｓ３とが、ロボット１１が移動したときでも一定に維持されるようになっている。

ここで、前記各相対撮像条件は、特に限定されるものではなく、ロボット１１のサイズ等によって適宜設定される。例えば、ロボット１１が５ｍ級のハンドリング機の場合、第１の移動カメラ２９Ａによって撮像されるターゲットが、ロボット１１全体の中央部分になるように設定され、相対距離Ｌ_１が４０ｍ、平面撮像角度θ_Ｈ１が４５度、側面撮像角度θ_Ｓ１が４５度に設定される。また、第２の移動カメラ２９Ｂによって撮像されるターゲットが、アタッチメント１８Ｃの右側面側になるように設定され、相対距離Ｌ_２が１０ｍ、平面撮像角度θ_Ｈ２が９０度、側面撮像角度θ_Ｓ２（図示省略）が０度に設定される。更に、第３の移動カメラ２９Ｃによって撮像されるターゲットが、アタッチメント１８Ｃの背面側になるように設定され、相対距離Ｌ_３が１５ｍ、平面撮像角度θ_Ｈ３（図示省略）が０度、側面撮像角度θ_Ｓ３が４５度に設定される。

前記障害物回避制御部４３では、周囲物体情報検出部３９での検出結果により、次のようにして、前記各追従画像の撮像する際に障害となる木や瓦礫等の障害物を回避可能に各ドローン２８Ａ〜２８Ｃの飛行ルートが変更される。

第１に、前記基準制御部４２で設定された飛行ルートでのドローン２８の飛行となる通常飛行時において、その進行方向の前方に障害物が存在し、ドローン２８や移動カメラ２９が障害物に衝突する可能性がある場合に、ドローン２８の衝突回避制御が次のように行われる。

すなわち、この場合、図４（Ａ）に例示されるように、障害物Ｏとの衝突を回避可能な最低限の高さまで、移動カメラ２９を鉛直上方に移動させる。このとき、同図（Ｂ）に示されるように、障害物Ｏの高さによっては、移動カメラ２９が上昇し過ぎると、ロボット１１のターゲットを撮像できなくなる場合があるため、当該撮像可否の境界となるパラメータとして、許容角度θ_Ｋが予め定められ、許容角度θ_Ｋと実際の上昇角度θ_Ｃとの相対関係に応じて異なる制御が行われる。この許容角度θ_Ｋは、前記基準制御部４２で設定された飛行ルートにおける撮像線Ｃと、移動カメラ２９が上昇したときの撮像線Ｃとの間でなす上昇角度θ_Ｃのうち、前記ターゲットを撮像可能となる許容範囲に設定される。

図４（Ａ）のように、上昇角度θ_Ｃが許容角度θ_Ｋ以下のときには、前記ターゲットを撮像可能と判断され、このときの上昇状態が維持されたまま、移動カメラ２９により、ロボット１１の全体若しくは一部をターゲットにした対象空間の撮像が行われる。

一方、図４（Ｂ）のように、上昇角度θ_Ｃが許容角度θ_Ｋを超えるときには、ロボット１１のターゲットを撮像不可能と判断される。そして、ドローン２８の飛行制御により、図４（Ｃ）に示されるように、移動カメラ２９が、ロボット１１の直上の地点Ｐを経由してその反対側に回り込むように移動し、同一のターゲットを前記相対撮像条件にてロボット１１の反対側のポジションから撮像可能にする。なお、ロボット１１に対する地点Ｐは、予め一定となる相対位置に設定される。

そして、周囲物体情報検出部３３での検出結果により、回避対象の障害物Ｏが無くなったと判断されると、基準制御部４２で設定された通常飛行時のドローン２８の飛行ルートに逆の動作で戻り、基準制御部４２での追従制御により、移動カメラ２９が引き続きロボット１１に追従移動することになる。

第２に、前記通常飛行時に、ロボット１１と移動カメラ２９との間に障害物Ｏが存在し、所望とするターゲットが追従画像内で障害物Ｏにより遮蔽されるような場合にも、前述した衝突回避制御と同一の手法で、障害物Ｏによる追従画像の遮蔽を回避するための遮蔽回避制御が行われる。

前記第１〜第３の移動カメラ２９Ａ〜２９Ｃで取得された追従画像は、逐次、通信モジュール３６を使って表示装置１５に送信される。

前記表示装置１５では、各カメラ２６，２９からの４種の画像、すなわち、キャブカメラ２６で取得したキャブ画像と、前記第１〜第３の移動カメラ２９Ａ〜２９Ｃで取得した３種の追従画像とが、図５に示されるように、１つの表示画面Ｍ上に表示される。これら４種の画像は、長方形の表示画面Ｍを４等分に区分した領域Ｍ１〜Ｍ４に表示される。

具体的に、図５中左下の領域Ｍ１には、キャブカメラ２６によるキャブ画像が表示され、同左上の領域Ｍ２には、第１の移動カメラ２９Ａで取得したロボット１１全体の俯瞰画像が表示され、同右下の領域Ｍ３には、第２の移動カメラ２９Ｂで取得したマニピュレータ側面画像が表示され、同右上の領域Ｍ４には、第３の移動カメラ２９Ｃで取得したマニピュレータ背面画像が表示される。

なお、特に限定されるものではないが、本実施形態では、キャブカメラ２６の配置と、各移動カメラ２９の配置及び前述の追従制御とにより、各領域Ｍ１〜Ｍ４において、撮像のターゲットを含む所定部位が次のサイズで表示されることとなる。

前記領域Ｍ１では、搭乗操作時のオペレータの視野を模した画像となるように、アタッチメント１８Ｃの幅が画面幅の１／３程度となるキャブ画像が常時表示される。

前記領域Ｍ２では、ロボット１１全体及びその周囲環境が画面内で広く表示されるように、マニピュレータ１８の可動範囲の径が画面幅の１／５程度となる俯瞰画像が基本的に表示される。

前記領域Ｍ３では、マニピュレータ１８が画面の大部分を占める程度にズームされるように、マニピュレータ１８の幅が画面幅の４／５程度となるマニピュレータ側面画像が基本的に表示される。ここで、人間は、視界の右側から入ってくる情報が、同左側から入ってくる情報よりも認知し易いことを考慮し、マニピュレータ側面画像は、ロボット１１の進行方向が画面の右方となるように、マニピュレータ１８の右側方から撮像されるようになっている。

前記領域Ｍ４においても、マニピュレータ１８が画面の大部分を占める程度にズームされるように、マニピュレータ１８の可動範囲の径が画面幅の４／５程度となるマニピュレータ背面画像が基本的に表示される。なお、ここでの画像は、人間が視認した物体を頭の中で回転させる能力である心的回転が必要となる正面側からの撮像ではなく、背面側（後方上側）からの画像としている。

また、前述した障害物回避制御におけるドローン２８の移動時においては、当該障害物回避のために、基準制御部４２による通常飛行に対して、移動カメラ２９が変位して画像のアングルが変わることから、当該変位時における移動カメラ２９からの画像提示の際には、何等かのインジケータを画面内に表示して、オペレータに当該変位の旨を認識させるようになっている。

なお、前記表示画面Ｍにおける４画像は、次の知見に基づいて配置されている。

画像中の上視野部分は、普段見慣れている自分の視野ではなく別の視点からの画像認識に適しており、画像中の下視野部分は、普段の自分の視点からの画像認識に適しているとされている。この知見から、オペレータの自己視点に最も近いキャブ画像と、それと高さの等しいマニピュレータ側面画像とが、表示画面Ｍの下半分となる領域Ｍ１，Ｍ３に配置される。一方、上方から見たロボット１１の俯瞰画像とマニピュレータ背面画像とが、表示画面Ｍの上半分となる領域Ｍ２，Ｍ４に配置される。

また、領域Ｍ２のロボット１１の俯瞰画像と領域Ｍ４のマニピュレータ背面画像は、共に、ロボット１１を上方から撮像した画像であるため、画面の上半分に配置した方がオペレータの感覚的に好適となる。また、領域Ｍ３のマニピュレータ側面画像と領域Ｍ４のマニピュレータ背面画像は、共にマニピュレーション作業の際に合せて視認する必要性が有り得るため、それぞれ近い位置に配置することが好ましい。加えて、人間は、左から右に視線を動かすことを得意とし、作業は基本的に領域Ｍ１のキャブ画像を見ながら行われることから、補助的なマニピュレータ側面画像及びマニピュレータ背面画像は、画面の右半分となる領域Ｍ３、領域Ｍ４に配置される。

以上、このような実施形態によれば、ロボット１１の遠隔操作に必要となる複数の画像を同時にオペレータに提示することができ、しかも、当該各画像は、前記心的回転の要求が少なく、且つ、撮像のターゲットとなる撮像中心や撮像範囲が基本的に一定となる。従って、オペレータが当該各画像を見ながらロボット１１を遠隔操作する際に、ロボット１１の操作に必要な視覚情報を違和感なく作業現場から離れたオペレータに与えることができ、ロボット１１の移動やマニピュレータ１８の動作に係る遠隔操作をスムーズ且つ安全に行えることが期待できる。

詳述すると、４種の各画像を相互に関連性を有する所定の配置で同時に提示することにより、最小の画像数で最大限の環境把握性をもたらす画像の相補性を確保できる。また、表示される各画像は、カメラの視点や撮像範囲が基本的に一貫して提示されるため、時間的接続性の高い画像の連続性を確保することができる。従って、本実施形態の画像提示によれば、オペレータが作業フェーズに応じて各画像を効率的且つ効果的に利用することができる。つまり、例えば、作業計画のための環境把握の際には、表示画面Ｍの上半分の２画面領域Ｍ２、Ｍ４を中心に利用し、ロボット１１の移動の際には、表示画面Ｍの左半分の２画面領域Ｍ１、Ｍ２を中心に利用し、作業現場でのマニピュレーション作業の際には、表示画面Ｍの右半分の２画面領域Ｍ３、Ｍ４を中心に利用することができる。これにより、オペレータが各作業フェーズでの遠隔操作を行うときに、視線の移動負担が低減され、より効率的に作業目的の視覚情報を入手することができる。

また、障害物回避制御部によって障害物を回避する際にも、急激な画像の切り替わりや心的回転の少ない追従画像をオペレータに提示することができ、この点においても、作業性の向上に資することができる。

なお、前記実施形態では、移動撮像装置１４における移動カメラ２９の動力源として、３台のドローン２８を利用するマルチ飛行カメラシステムを採用したが、本発明はこれに限らず、必要に応じて移動撮像装置１４の台数を増減させることができる他、前述した追従制御により移動カメラ２９をロボット１１に追従移動させることができる限りにおいて、他の飛行体や走行体からなる種々の追従移動体を採用することができる。

また、移動撮像装置１４の追従対象となる移動体としては、前記実施形態で例示した建設機械に限らず、有人操作、無人操作を問わず、他のロボットを含めた種々の移動体に対して適用することができる。

その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。

１０追従画像提示システム
１１遠隔操作ロボット（移動体）
１４移動撮像装置
１５表示装置
３３周囲情報検出手段
３５追従制御手段
３８ロボット情報検出部（移動体情報検出部）
３９周囲物体情報検出部
４２基準制御部
４３障害物回避制御部

Claims

所定の空間を移動する移動体と、当該移動体に追従しながら非接続状態で自律移動するとともに、前記移動体の全体若しくは一部をターゲットにした対象空間を撮像する移動撮像装置と、当該移動撮像装置により取得した追従画像を表示する表示装置とを備え、
前記移動撮像装置は、前記移動体の移動に関わらず、前記ターゲットが前記追従画像の一定領域に一定のアングルで表示されるように、前記移動体に追従移動することを特徴とする移動体の追従画像提示システム。
前記移動撮像装置は、所定の空間を移動させるための動力ユニットと、前記移動体を含む周囲の情報を検出する周囲情報検出手段と、前記移動体に追従するように前記動力ユニットの動作制御を行う追従制御手段とを備え、
前記周囲情報検出手段は、前記移動撮像装置に対する前記移動体の位置情報及び姿勢情報を検出する移動体情報検出部と、前記移動撮像装置の周囲の物体の存在情報を検出する周囲物体情報検出部とを備え、
前記追従制御手段は、前記移動体情報検出部での検出結果に基づき、前記追従移動の制御を行う基準制御部と、前記周囲物体情報検出部での検出結果に基づき、前記追従画像を取得する際に障害となる障害物が存在するときでも、別のポジションから前記ターゲットを撮像可能に、前記障害物の回避のための移動制御を行う障害物回避制御部とを備えたことを特徴とする請求項１記載の移動体の追従画像提示システム。
前記障害物回避制御部では、前記障害物が存在する場合に、前記移動撮像装置を上昇するとともに、所定の高さ以上まで上昇しないと前記ターゲットを撮像できないときに、前記ターゲットを前記移動体の反対側から撮像可能にするように、前記移動撮像装置を前記反対側に回り込ませる移動制御を行うことを特徴とする請求項２記載の移動体の追従画像提示システム。
前記障害物回避制御部では、前記基準制御部での通常移動時に、前記移動撮像装置が前記障害物に衝突する可能性がある場合の衝突回避制御と、前記通常移動時に、前記移動体と前記移動撮像装置との間に前記障害物が存在し、前記追従画像内で前記ターゲットが前記障害物により遮蔽される場合の遮蔽回避制御とが行われることを特徴とする請求項２又は３記載の移動体の追従画像提示システム。