JP2018164223A - 表示システム - Google Patents

Abstract

【課題】無人移動装置に作業を行わせる場合に作業性の向上を図る。【解決手段】空中、地上、水中、水上の少なくともいずれかを航行する作業用無人移動装置１００に設けられたステレオカメラ２１及びこのステレオカメラ２１により撮像された映像データを送信する無線送受信部２２と、前記無線送受信部２２により送信された映像データを受信する無線送受信部５１と、前記作業用無人移動装置１００の作業に関する画像データを供給する画像供給手段と、映像データに基づく映像と画像データに基づく画像を表示するための画面５２と、前記無線送受信部５１により受信された映像データに基づくステレオ映像を前記画面５２に表示すると共に前記画像供給手段により供給された画像データに基づく画像を前記画面５２に表示する表示制御部５３とを具備する。【選択図】図２

Description

この発明は、空中、地上、水中、水上の少なくともいずれかを航行する作業用無人移動装置の航行操作をより的確に容易にするための表示システムに関するものである。

従来、ドローンで代表される無人移動装置は、物理的なスイッチ及びスティック等を有するリモートコントロール装置を用いて操作が行われている。この構成によれば、操作者は常に無人移動装置を目視して操作を行う必要があり、目視不能となると適切な操作を行うことができないという問題点がある。

また、この種の無人移動装置では、スマートフォンやタブレット端末等のスマートデバイスのソフトウエアにより実現される仮想コントローラを用いてスマートデバイスの画面に表示される無人移動装置のカメラによる映像を見ながら操作を行うように構成されているものもある。

上記のようにスマートデバイスを用いるシステムによれば、無人移動装置を直接目視できない場合にも画面を見ながら操作が可能であるが、画面に表示される映像は二次元映像であるため、距離感を把み難いという問題がある。特に、無人移動装置に作業を行わせる場合には奥行きのない二次元映像では作業性が悪い。また、無人移動装置を用いた作業を行う場合に、無人移動装置の目線による映像以外に操縦・運転作業や点検保守の場合に計測・測定作業に関係する画像の表示が要望されている。

上記のような無人移動装置の操作を、メガネ型表示デバイスを用いて行う方法が特許文献１に開示されている。この特許文献１のものは、スクリーン上に表示される操縦シンボルの位置を指でタッチすることにより、更に、スクリーン上においてタッチ状態の指を移動し、所要の操縦コマンドをアクティブ化するというものである。

２０１１−１８９９２９号公報

上記の特許文献１に開示された装置においても、画面に表示される映像は二次元映像であり、距離感を把み難い。また、無人移動装置に作業を行わせる場合には奥行きのない二次元映像では作業性が悪いという問題点は解決されない。更に、無人移動装置の目線による映像以外に作業に関係する画像を表示できることが望まれる点は、既に述べた通りである。

本発明は上記のような従来装置の問題点を改善し、このようなシステムに対する要望に応えんとしてなされたもので、その目的は、無人移動装置に作業を行わせる場合に作業性の向上を図ることが可能な表示システムを提供することである。また、無人移動装置の目線による映像以外に作業に関係する画像を表示できる表示システムを提供することを他の目的とする。

本発明に係る表示システムは、空中、地上、水中、水上の少なくともいずれかを航行する作業用無人移動装置に設けられたステレオカメラ及びこのステレオカメラにより撮像された映像データを送信する送信手段と、前記送信手段により送信された映像データを受信する受信手段と、前記作業用無人移動装置の作業に関する画像データを供給する画像供給手段と、映像データに基づく映像と画像データに基づく画像を表示するための表示手段と、前記受信手段により受信された映像データに基づくステレオ映像を前記表示手段に表示すると共に前記画像供給手段により供給された画像データに基づく画像を前記表示手段に表示する表示制御手段とを具備することを特徴とする。

本発明に係る表示システムでは、表示制御手段は、画像データに基づく画像をステレオ映像に代えて前記表示手段に表示することを特徴とする。

本発明に係る表示システムでは、表示制御手段は、画像データに基づく画像をステレオ映像に重畳させて、または、画像データに基づく画像とステレオ映像との表示領域を分けて、前記表示手段に表示することを特徴とする。

本発明に係る表示システムでは、前記作業用無人移動装置は、航行に必要な当該作業用無人移動装置の主に航行状態を示す情報を得るセンサ部を備え、前記画像供給手段は、このセンサ部により得られた情報に基づき航行状態を示す画像データを作成して供給することを特徴とする。

本発明に係る表示システムでは、前記ステレオカメラのズーム、パーン、チルトを行うカメラ制御部と、前記カメラ制御部へ前記ステレオカメラのズーム、パーン、チルトの制御信号を送出するカメラ操作手段とを具備することを特徴とする。

本発明に係る表示システムでは、操作者の視線の変位情報を検出する視線検出手段と、前記視線検出手段により検出された変位量をパーンとチルトの制御信号として前記カメラ制御部へ送信するパーン・チルト制御信号送信手段とを具備することを特徴とする。

本発明に係る表示システムでは、操作者の身体における所定部位の動き情報を検出する身体部位動作検出手段と、前記身体部位動作検出手段により検出された動き情報をパーンとチルトとズームの制御信号として前記カメラ制御部へ送信するパーン・チルト・ズーム制御信号送信手段とを具備することを特徴とする。

本発明に係る表示システムでは、作業用無人移動装置には、外的環境を測定する環境測定部が備えられ、前記画像供給手段は、前記環境測定部により得られた測定値の画像データを供給することを特徴とする。

本発明に係る表示システムでは、作業用無人移動装置には、ＧＰＳ機能部が備えられ、前記画像供給手段は、地図に前記ＧＰＳ機能部により得られた当該作業用無人移動装置の位置を表示した画像データを供給することを特徴とする。

本発明に係る表示システムでは、前記表示手段の位置情報を得るＧＰＳ機能部が備えられ、前記画像供給手段は、地図に前記ＧＰＳ機能部により得られた前記表示手段の位置を表示した画像データを供給することを特徴とする。

本発明に係る表示システムでは、作業用無人移動装置には、点検保守作業部が備えられ、前記画像供給手段は、前記対象機器の点検保守作業を行うための点検保守作業マニュアル画像の画像データを供給することを特徴とする。

本発明に係る表示システムでは、音声入力手段と音声認識手段とを備え、前記表示制御手段は、音声認識手段が画像データの表示と消去の音声入力を検出した場合に、画像データに基づく画像の表示と消去を行うことを特徴とする。

本発明に係る表示システムでは、表示手段は、透光性を有し、表示された映像或いは画像と共に、表示手段の前方を目視可能であることを特徴とする。

本発明に係る表示システムでは、表示手段は、眼鏡型或いはゴーグル型の機器における目視窓に設けられることを特徴とする。

本発明によれば、映像データに基づくステレオ映像を表示手段に表示するように構成されているので、無人移動装置に作業を行わせる場合に作業性の向上を図ることが可能である。

本発明によれば、作業用無人移動装置の作業に関する画像データに基づく画像を前記表示手段に表示するので、無人移動装置の目線による映像以外に作業に関係する画像を表示できるという利点がある。

本発明に係る作業用無人移動装置を用いる表示システムの第１の実施形態を示す斜視図。 本発明に係る作業用無人移動装置を用いる表示システムの第１の実施形態を示すブロック図。 本発明に係る作業用無人移動装置を用いる表示システムの第１の実施形態の動作を示すフローチャート。 本発明に係る作業用無人移動装置を用いる表示システムの第１の実施形態の動作を示すフローチャート。 本発明に係る作業用無人移動装置を用いる表示システムの第２の実施形態を示すブロック図。 本発明に係る作業用無人移動装置を用いる表示システムの第２の実施形態の動作を示すフローチャート。 本発明に係る作業用無人移動装置を用いる表示システムの第３の実施形態を示すブロック図。 本発明に係る作業用無人移動装置を用いる表示システムの第４の実施形態を示すブロック図。

以下添付図面を参照して本発明に係る作業用無人移動装置を用いる表示システムの実施形態を説明する。各図において、同一の構成要素には同一の符号を付し、重複する説明を省略する。実施形態に係る表示システムは、図１と図２に示すように、作業用無人移動装置１００と表示装置２００により構成される。この表示装置２００に操縦制御装置３００を加えて作業用無人移動装置の操縦システムが構成される。

作業用無人移動装置１００は、ここでは、空中を航行するドローンを示しているが、その他にも、空中を航行する無人航空機、水上を航行する船舶側の無人装置、水中を潜航する無人潜水艇、地上で作業を行うヒューマノイド、車両型のロボット等であっても良い。まとめると、空中、地上、水中、水上の少なくともいずれかを航行する作業用無人移動装置を許容する。作業用無人移動装置１００には、コンピュータにより構成される主制御部１０と、ステレオ映像の映像データを得るステレオカメラ２１及びカメラ制御部２１Ａと送受信手段である無線送受信部２２とが備えられている。ステレオカメラ２１がズーム、パーン、チルト機能を有するものであり、カメラ制御部２１Ａは、ステレオカメラ２１のズーム、パーン、チルトの動作制御を、操縦制御装置３００から送られる制御信号に基づき実行するものである。

作業用無人移動装置１００には、作業用無人移動装置１００を航行するための航行動作部２０と、対象物や対象機器の点検保守を行うための各種センサやロボットアームなどにより構成される点検保守作業部３０が備えられている。

航行動作部２０には、プロペラや方向舵などにより航行運動機構部２３と、航行運動機構部２３を動かすための駆動部２４と、駆動部２４を制御するための駆動制御部２５、センサ部２６が備えられている。

センサ部２６には、高度計、姿勢方位基準装置、速度計、旋回計、昇降計、燃料計（バッテリー残量計）など航行計器（航空計器）を含むものである。高度計は、作業用無人移動装置１００の高度を検出するものであり、姿勢方位基準装置は、いずれも三次元の、角度、角速度、加速度、磁気、ＧＰＳ機能付きのものでは、緯度経度高度を得ることができるものである。速度計は、速度を得るものであり、旋回計は、旋回率（機体の旋回の状態）と機体が横に滑っているのか否かについての情報を得るものである。また、昇降計は、昇降状態（１〜２メートル程度の僅かな高度変化）を検知するものである。このセンサ部２６により得られた情報は、作業用無人移動装置１００航行に必要な作業用無人移動装置１００の主に航行状態を示す情報であり、例えば主制御部１０の外部記憶部１３に備えられたプログラムによって、航空機のコックピットに備えられているモニタに表示されるいくつかの計器画像に変換されて無線送受信部２２から送信されるようにすると好適である。勿論、上記プログラムは主制御部４０が備えていても良い。

点検保守作業部３０は、対象物や対象機器の不具合や状態を点検するための各種センサや幾つかの部品により構成される点検用機器部３１と、点検用機器部３１を動作させて点検データを得る点検制御部３２、対象機器のメンテナンスを行うロボットアームなどを含む保守用機器部３３、保守用機器部３３を動かす駆動部３４及び駆動部３４を制御する駆動制御部３５を備えている。点検保守作業部３０は、点検のみ或いは保守のみを行う構成として、点検用機器部３１と点検制御部３２のみによって構成されるものであっても良い。

各種センサとしては、ひび割れなどを検出するための超音波検査装置、熱（発熱）を検出するための赤外線センサ、放射線量を検出するセンサなど、ステレオカメラ２１によって映し出された映像によっては確認できない事象を検出するものが通常は用意されるが、映像によって確認できる事象を検出するセンサであっても良い。

主制御部１０には、プロセッサ機能を有する中央制御部１１、中央制御部１１が実行時に用いるデータやプログラムを格納する主記憶部１２、中央制御部１１が実行するためのプログラムや参照するデータが記憶されている外部記憶部１３、映像データの圧縮処理などを行う映像データ処理部１４が備えられている。

表示装置２００には、主制御部４０と送受信手段である無線送受信部５１、表示部５０、音声入出力部６０が備えられている。音声入出力部６０は、音声入力である音声入力部６１及び音声出力手段である音声出力部６２により構成される。主制御部４０には、プロセッサ機能を有する中央制御部４１、中央制御部４１が実行時に用いるデータやプログラムを格納する主記憶部４２、中央制御部４１が実行するためのプログラムや参照するデータが記憶されている外部記憶部４３、映像データの伸長処理などを行う映像データ処理部４４、音声データの認識及び作成を行う音声データ処理部４５が備えられている。

本実施形態では、外部記憶部４３には、作業用無人移動装置の作業に関する画像データの現データとなる点検保守作業を行うための点検保守作業マニュアル画像情報が備えられている。中央制御部４１は、音声データ処理部４５が音声認識により音声入出力部６０から点検保守作業マニュアル画像が要求されると、これに応えて外部記憶部４３点検保守作業マニュアル画像情報を取り出し、映像データ処理部４４へ送って画像データに変換し、表示部５０へ供給する画像供給手段として機能する。

表示部５０には、映像データに基づく映像と画像データに基づく画像を表示するための表示手段としての画面部５２と、画面部５２に対して映像データに基づくステレオ映像の表示制御や画像データに基づく画像の表示制御を行うための表示制御手段である表示制御部５３が備えられている。

本実施形態の表示装置２００は、例えば図１に示されるように眼鏡型の機器であり、表示手段を構成する画面部５２が平面や曲面により構成される表示板５５に設けられる。つまり、表示手段である画面部５２は目視窓である表示板５５に設けられる。表示板５５の内側の画面部５２には、ステレオカメラ２１により撮像された映像と共に地図やセンサ部２６により得られて画像化された計器画面の画像或いは点検用機器部３１のセンサにより得られたデータの画像が表示される。なお、表示板５５は透光性を有し、表示された映像或いは画像と共に、表示手段を構成する画面部５２の前方を目視可能に構成しても良い。例えば、レンズ５５の画面部５２の領域の外側を介して前方を目視可能に構成することもできる。また、表示装置２００は、ゴーグル型の機器であっても良く、表示手段は、ゴーグル型の機器における目視窓に設けられる。

操縦制御装置３００には、無線送信部３０１、操作棹などの手によって動かすことで前後左右及び上下へ進行を指示するための操作入力部３０２、操作入力部３０２の動きを操縦信号に変換して無線送信部３０１へ送り出す操縦信号生成部３０３が備えられている。また、操縦制御装置３００には、ステレオカメラ２１のズーム、パーン、チルトの動作制御を行うための制御信号を送信するための、図示しないカメラ操作キーが備えられている。

以上のように構成されている表示システム及び操縦システムの動作を図３、図４のフローチャートにより説明する。操縦制御装置３００を用いて作業用無人移動装置１００を操縦する場合の動作は図３のフローチャートにより示されている。操作入力部３０２の操作により進行方向を指示し、カメラ操作キーによりカメラのズーム等の制御操作する（Ｓ１１）。操縦信号とカメラの制御信号が無線送信部３０１から作業用無人移動装置１００の無線送受信部２２へ送られる（Ｓ１２）。更に、無線送受信部２２から主制御部１０を介して航行動作部２０の駆動部２４へ操作信号が送られ、航行運動機構部２３が駆動部２４駆動されて所望の航行がなされ、また、カメラの制御信号が送られ、カメラ制御部２１Ａが動作されステレオカメラ２１のズーム等の制御がなされる（Ｓ１３）。

図４のフローチャートは、表示装置２００に対する表示動作を示すものである。ステレオカメラ２１による撮像により映像データを得て主制御部１０の映像データ処理部１４において左右映像データの一方と差分データとするなどの圧縮を行い、センサ部２６の情報に基づく計器画像や点検用機器部３１のセンサ情報を、無線送受信部２２から表示装置２００へ送信する（Ｓ２１）。

表示装置２００では、無線送受信部５１が映像データを受け取り、主制御部４０の映像データ処理部４４において伸長を行い、表示制御部５３へ送り、画面部５２においてステレオ映像を表示する一方、送られてきたセンサ部２６の情報に基づく計器画像や点検用機器部３１のセンサ情報を保持する（Ｓ２２）。

主制御部４０では、音声による指示入力があるかを検出しており（Ｓ２３）、指示入力があると音声データ処理部４５において音声認識により音声入出力部６０から、計器画像の表示要求がなされたか、点検保守作業マニュアル画像の要求がなされたか或いは点検用機器部３１のセンサ情報の表示要求がなされたかを認識し、これに応えて、要求に係る計器画像、外部記憶部４３から取り出した点検保守作業マニュアル画像情報、または、点検用機器部３１のセンサ情報の表示画像を、映像データ処理部４４へ送って表示用データに変換し、表示部５０の表示制御部５３へ供給する（Ｓ２４）。表示制御部５３は、画面部５２において現在表示している映像に代えて或いはその映像に重畳して、または画像データに基づく画像とステレオ映像との表示領域を分けて、計器画像、点検保守作業マニュアル画像、点検用機器部３１のセンサ情報の表示画像の少なくとも１種を表示する（Ｓ２５）。画像データに基づく画像とステレオ映像との表示領域を分けてとは、表示手段の一部に画像データに基づく画像を表示し、残りの領域にステレオ映像を表示することを意味する。

上記の表示の場合に、表示の変更や重畳に関するアナウンスを音声データ処理部４５において音声データとして生成し、音声出力部６２へ送って表示するようにしても良い。点検保守作業マニュアル画像の表示終了の指示も音声入力部６１から行い、主制御部４０では、音声による表示終了指示入力があるかを検出しており（Ｓ２６）、画像の表示終了指示に応じてステレオ映像のみの表示へ戻る。

以上のように本実施形態によれば、ステレオ映像を表示するので、遠近感のある映像によって作業対象や航行中の風景を見ることができ、効率的な作業や的確な操縦を行うことが可能である。また、ステレオカメラによる映像と共に、センサ部２６の情報に基づく計器画像や点検保守作業マニュアル画像更には点検用機器部３１のセンサ情報の表示画像を表示できるので、計器画像によってコックピットにおいて操縦しているような臨場感を得ることができ、マニュアル画像により作業内容を確認しながらステレオ映像で点検保守作業を誤りなく実行することが可能であり、点検用機器部３１のセンサ情報の表示画像によって数値でひび割れや発熱を想定しながらステレオカメラによる映像により確認を取ることが可能となる。以上のように本実施形態の表示システムは、作業用無人移動装置１００は、航行に必要な当該作業用無人移動装置１００の主に航行状態を示す情報を得るセンサ部２０６を備え、このセンサ部２０６により得られた情報に基づき航行状態を示す画像データを作成して供給する画像供給手段を備えている。また、画像供給手段は、点検用機器部３１のセンサにより得られた情報に基づき点検保守に必要な情報の画像データを作成して供給するものでもある。

次に第２の実施形態に係る表示システムを図５に示し、これを説明する。この第２の実施形態では、第１の実施形態の作業用無人移動装置１００と表示装置２００に代えて、作業用無人移動装置１００Ａ、表示装置２００Ａが備えられる。作業用無人移動装置１００Ａには、外的環境を測定する環境測定部７０が備えられ、点検保守作業部３０は備えられない。環境測定部７０には、センサａ〜ｅが備えられ、高度、温度、気圧（水圧）、障害物までの距離、進行方位を得る。センサ部２６の姿勢方位基準装置が備えるＧＰＳ機能により作業用無人移動装置１００Ａの現在位置の緯度経度を得る。これらの情報は、主制御部１０から無線送受信部２２を介して表示装置２００Ａへ送られる。

表示装置２００Ａには、ＧＰＳ機能部９０が備えられ、外部記憶部４３には、点検保守作業マニュアル画像情報に代えて地図情報が備えられている。ＧＰＳ機能部９０は、表示装置２００Ａの位置（操作者の位置）の緯度経度情報を取得する。本実施形態に係る表示システムは、作業用無人移動装置１００Ａと表示装置２００Ａと操縦制御装置３００により構成されて、図３と図４のフローチャートにより示した動作を行う他に、以下の動作を行うものである。

主制御部４０は、センサの情報の表示要求があると、センサａ〜ｅの情報を表示制御部５３へ送って、現在表示されている映像に代えて或いは映像に重畳させて（または、画像データに基づく画像とステレオ映像との表示領域を分けて）センサの情報を画面部５２へ表示する。また、地図上で作業用無人移動装置１００Ａと操作者の現在位置表示が求められると、主制御部４０は、外部記憶部４３から地図情報を読み出し、この地図情報上に、センサ部２６の姿勢方位基準装置が備えるＧＰＳ機能から経度緯度情報を得て作業用無人移動装置１００Ａの位置画像を付加し、センサ部２６の姿勢方位基準装置が備えるＧＰＳ機能から経度緯度情報を得て操作者の位置画像を付加した画像データを作成し、表示制御部５３へ送って、対応する画像を現在表示されている映像に代えて或いは映像に重畳させて（または、画像データに基づく画像とステレオ映像との表示領域を分けて）表示する。

以上のように構成されている表示システム及び操縦システムの動作を説明する。操縦制御装置３００を用いて作業用無人移動装置１００Ａを操縦する場合の動作は、図３のフローチャートにより示されている。表示装置２００Ａに対する表示動作は、図６のフローチャートに示すようである。ステレオカメラ２１による撮像により映像データを得て主制御部１０の映像データ処理部１４において左右映像データの一方と差分データとするなどの圧縮を行い、無線送受信部２２から表示装置２００Ａへ送信する（Ｓ３１）。

表示装置２００Ａでは、無線送受信部５１が映像データを受け取り、主制御部４０の映像データ処理部４４において伸長を行い、表示制御部５３へ送り、画面部５２においてステレオ映像を表示する（Ｓ３２）。主制御部４０では、音声による入力があるかを検出しており（Ｓ３３）、入力があるとセンサの情報の表示要求であるか地図の表示要求であるかを検出する（Ｓ３４）。

ステップＳ３４においてセンサの情報の表示要求であることを検出すると、センサａ〜ｅの情報を表示制御部５３へ送って、現在表示されている映像に代えて或いは映像に重畳させて、または、画像データに基づく画像とステレオ映像との表示領域を分けてセンサの情報を画面部５２へ表示する（Ｓ３５）。上記のステップＳ３５における表示を行うと、音声による表示終了指示入力があるかを検出しており（Ｓ３６）、画像の表示終了指示に応じてステレオ映像のみの表示へ戻る。

ステップＳ３４において地図の表示要求であることを検出すると、外部記憶部４３から地図情報を読み出し、この地図情報上に、センサ部２６の姿勢方位基準装置が備えるＧＰＳ機能から経度緯度情報を得て作業用無人移動装置１００Ａの位置画像を付加し、センサ部２６の姿勢方位基準装置が備えるＧＰＳ機能から経度緯度情報を得て操作者の位置画像を付加した画像データを作成し、表示制御部５３へ送って、対応する画像を現在表示されている映像に代えて或いは映像に重畳させて（または、画像データに基づく画像とステレオ映像との表示領域を分けて）表示する（Ｓ３８（画像供給手段））。

上記のステップＳ３８における表示を行うと、音声による表示終了指示入力があるかを検出しており（Ｓ３９）、画像の表示終了指示に応じてステレオ映像のみの表示へ戻る（Ｓ３７）。

以上のように本実施形態によれば、ステレオ映像を表示しているときに、ステレオ映像に代えて或いは映像に重畳させて、または、画像データに基づく画像とステレオ映像との表示領域を分けて外的環境の測定結果の画像を適宜表示でき、必要なデータを得ることができる。また、ステレオ映像を表示しているときに、ステレオ映像に代えて或いは映像に重畳させて、または、画像データに基づく画像とステレオ映像との表示領域を分けて作業用無人移動装置１００Ａの位置と操作者の位置を地図上に示した画像を適宜表示でき、作業用無人移動装置１００Ａの航行位置や操作者の位置を地図上において確認でき、作業用無人移動装置１００Ａの移動位置を認識しながら操縦することが可能で便利である。

次に、第３の実施形態に係る表示システムを図７に示し、これを説明する。この第３の実施形態に係る表示システムでは、第１の実施形態に係る表示システムの表示装置２００Ｂに、操作者の視線の変位情報を検出する視線検出手段８０を設けたものである。視線検出手段８０は、眼鏡型の機器やゴーグル型の機器である表示装置２００Ｂに設けたセンサにより構成される。このセンサは、例えば、表示装置２００Ｂを装着した操作者の顔や頭の動きの変位量を検出するモーションセンサにより構成することができる。或いは、このセンサは、表示装置２００Ｂを装着した操作者の目（眼球）の上下左右の動きの変位量を検出する眼球動作センサにより構成することができる。勿論、上述のモーションセンサと眼球動作センサの両方を備えても良い。上述のモーションセンサと眼球動作センサの両方を備えるばあいには、モーションセンサにより検出された信号により大きな変位量を得て視線の基本変位を求め、眼球動作センサにより検出された信号により得られる変位量により視線の基本変位に対し加える小変位を求めるようにすることができる。

上記視線検出手段８０により検出される上下左右の動きの変位量は、パーンの角度情報とチルトの角度情報に変換されてパーンとチルトの制御信号として表示装置２００Ｂの主制御部４０から無線送受信部５１から作業用移動装置１００無線の送受信部２２と主制御部１０を介してカメラ制御部２１Ａへ送られる（パーン・チルト制御信号送信手段）。カメラ制御部２１Ａは、この制御信号に基づき、ステレオカメラ２１のパーンとチルトの制御を行う。

以上の構成により、操作制御装置３００からステレオカメラ２１のパーンとチルトの制御操作を行うこと無しに、操作者の顔や頭の動き或いは目の動きによってステレオカメラ２１の方向を制御することができ、操作性を極めて向上させることができる。

この実施形態においては、操作制御装置３００と視線検出手段８０の両方からパーンとチルトの制御信号が出力された場合には、いずれか一方を優先させるか又は両方の中間の値により制御を行うなど適宜に構成することができる。勿論、ズームの制御操作は操作制御装置３００から行うことになる。

上記第３の実施形態では、第１の実施形態に係る表示システムの表示装置２００に、視線検出手段８０を設けたが、第２の実施形態に係る表示システムの表示装置２００Ａに、上記と同じ視線検出手段８０を設けものとしても良い。この構成によっても、操作制御装置３００からステレオカメラ２１のパーンとチルトの制御操作を行うこと無しに、操作者の顔や頭の動き或いは目の動きによってステレオカメラ２１の方向を制御することができ、操作性を極めて向上させることができる。

次に、第４の実施形態に係る表示システムを図８に示し、これを説明する。この第３の実施形態に係る表示システムでは、第１の実施形態に係る表示システムの表示装置２００Ｃに、操作者の身体における所定部位の動き情報を検出する身体部位動作検出手段８５を設けたものである。身体部位動作検出手段８５は、眼鏡型の機器やゴーグル型の機器である表示装置２００Ｃまたは身体所定部位に設けたセンサにより構成される。このセンサは、例えば、表示装置２００Ｃを装着した操作者の顔や頭の動きを検出するモーションセンサにより構成することができる。

身体所定部位としては、頭及びまたは首を挙げることができる。首（頭）を左または右に振ると、センサがこれを検知して、左または右への動き情報（動き量を含む）とし、首（頭）を上または下に動かすと、センサがこれを検知して、上または下への動き情報（動き量を含む）とする。更に首（頭）を前方へ動かす（前方へ突き出すような動きをする）とズームインを指示するための前方への動き情報（動き量を含む）とし、首を後方へ動かす（後方へ引き戻すような動きをする）とズームアウトを指示するための後方への動き情報（動き量を含む）とする。

上記身体部位動作検出手段８５により検出される上下左右・前方後方の動きの情報は、パーンの方向及び角度情報とチルトの方向及び角度情報とズームイン及びズームアウトの情報に変換されてパーンとチルトとズームの制御信号として表示装置２００Ｃの主制御部４０から無線送受信部５１から作業用移動装置１００無線の送受信部２２と主制御部１０を介してカメラ制御部２１Ａへ送られる（パーン・チルト・ズーム制御信号送信手段）。カメラ制御部２１Ａは、この制御信号に基づき、ステレオカメラ２１のパーンとチルトとズームの制御を行う。

以上の構成により、操作制御装置３００からステレオカメラ２１のパーンとチルトとズームの制御操作を行うこと無しに、操作者の頭や首の動きによってステレオカメラ２１の方向を制御することができ、操作性を極めて向上させることができる。

この実施形態においては、操作制御装置３００と身体部位動作検出手段８５の両方からパーンとチルトとズームの制御信号が出力された場合には、いずれか一方を優先させるか又は両方の中間の値により制御を行うなど適宜に構成することができる。

上記第４の実施形態では、第１の実施形態に係る表示システムの表示装置２００に、身体部位動作検出手段８５を設けたが、第２の実施形態に係る表示システムの表示装置２００Ａに、上記と同じ身体部位動作検出手段８５を設けものとしても良い。この構成によっても、操作制御装置３００からステレオカメラ２１のパーンとチルトとズームの制御操作を行うこと無しに、操作者の顔や頭の動き或いは目の動きによってステレオカメラ２１の方向を制御することができ、操作性を極めて向上させることができる。また、第３の実施形態と第４の実施形態の動作の両方を行うシステムとしてよい。この場合には、第３の実施形態と第４の実施形態の動作のいずれを行うか音声やスイッチで制御することができる。この第４の実施形態は、視線移動でカバーできない範囲を見ようとする場合、首（頭）を見たい方向に向けるという人の行動をサーポートするようにしたシステムである。

なお、上記４つの実施形態において、表示装置２００、２００Ａ、２００Ｂ、２００Ｃへのコマンド入力を音声認識によって行うものであるが、これに限定されない。例えば、メガネのフレームやゴーグルに表示切り換え用のスイッチを設けて、このスイッチを操作することによってコマンドの入力を行っても良い。また、表示装置２００、２００Ａ、２００Ｂ、２００Ｃを通常のパネルタイプのディスプレイとしても良く、このように構成した場合には、画面をタッチパネルとして所定の位置を操作することによっても良い。

１０ 主制御部 １１ 中央制御部
１２ 主記憶部 １３ 外部記憶部
１４ 映像データ処理部 ２０ 航行動作部
２１ ステレオカメラ ２２ 無線送受信部
２３ 航行運動機構部 ２４ 駆動部
２５ 駆動制御部 ３０ 点検保守作業部
３１ 点検用機器部 ３２ 点検制御部
３３ 保守用機器部 ３４ 駆動部
３５ 駆動制御部 ４０ 主制御部
４１ 中央制御部 ４２ 主記憶部
４３ 外部記憶部 ４４ 映像データ処理部
４５ 音声データ処理部 ５０ 表示部
５１ 無線送受信部 ５２ 画面部
５３ 表示制御部 ５５ レンズ
６０ 音声入出力部 ６１ 音声入力部
６２ 音声出力部 ７０ 環境測定部
８０ 視野検出手段 ８５ 身体部位動作検出手段
９０ ＧＰＳ機能部
１００、１００Ａ 作業用無人移動装置
２００、２００Ａ、２００Ｂ 表示装置
３００ 操縦制御装置

Claims (14)

1. 空中、地上、水中、水上の少なくともいずれかを航行する作業用無人移動装置に設けられたステレオカメラ及びこのステレオカメラにより撮像された映像データを送信する送信手段と、
   前記送信手段により送信された映像データを受信する受信手段と、
   前記作業用無人移動装置の作業に関する画像データを供給する画像供給手段と、
   映像データに基づく映像と画像データに基づく画像を表示するための表示手段と、
   前記受信手段により受信された映像データに基づくステレオ映像を前記表示手段に表示すると共に前記画像供給手段により供給された画像データに基づく画像を前記表示手段に表示する表示制御手段と
   を具備することを特徴とする表示システム。
2. 表示制御手段は、画像データに基づく画像をステレオ映像に代えて前記表示手段に表示することを特徴とする請求項１に記載の表示システム。
3. 表示制御手段は、画像データに基づく画像をステレオ映像に重畳させて、または、画像データに基づく画像とステレオ映像との表示領域を分けて前記表示手段に表示することを特徴とする請求項１または２に記載の表示システム。
4. 前記作業用無人移動装置は、航行に必要な当該作業用無人移動装置の主に航行状態を示す情報を得るセンサ部を備え、
   前記画像供給手段は、このセンサ部により得られた情報に基づき航行状態を示す画像データを作成して供給することを特徴とする請求項１乃至３のいずれか１項に記載の表示システム。
5. 前記ステレオカメラのズーム、パーン、チルトを行うカメラ制御部と、
   前記カメラ制御部へ前記ステレオカメラのズーム、パーン、チルトの制御信号を送出するカメラ操作手段と
   を具備することを特徴とする請求項１乃至４のいずれか１項に記載の表示システム。
6. 操作者の視線の変位情報を検出する視線検出手段と、
   前記視線検出手段により検出された変位量をパーンとチルトの制御信号として前記カメラ制御部へ送信するパーン・チルト制御信号送信手段と
   を具備することを特徴とする請求項５に記載の表示システム。
7. 操作者の身体における所定部位の動き情報を検出する身体部位動作検出手段と、
   前記身体部位動作検出手段により検出された動き情報をパーンとチルトとズームの制御信号として前記カメラ制御部へ送信するパーン・チルト・ズーム制御信号送信手段と
   を具備することを特徴とする請求項５に記載の表示システム。
8. 作業用無人移動装置には、外的環境を測定する環境測定部が備えられ、前記画像供給手段は、前記環境測定部により得られた測定値を前記画像データとして供給することを特徴とする請求項１乃至７のいずれか１項に記載の表示システム。
9. 作業用無人移動装置には、ＧＰＳ機能部が備えられ、
   前記画像供給手段は、前記画像データとして、地図に前記ＧＰＳ機能部により得られた当該作業用無人移動装置の位置を表示した画像データを供給することを特徴とする請求項１乃至８のいずれか１項に記載の表示システム。
10. 前記表示手段の位置情報を得るＧＰＳ機能部が備えられ、
    前記画像供給手段は、前記画像データとして、地図に前記ＧＰＳ機能部により得られた前記表示手段の位置を表示した画像データを供給することを特徴とする請求項１乃至９のいずれか１項に記載の表示システム。
11. 作業用無人移動装置には、点検保守作業部が備えられ、
    前記画像供給手段は、前記対象機器の点検保守作業を行うための点検保守作業マニュアル画像の画像データを供給することを特徴とする請求項１乃至１０のいずれか１項に記載の表示システム。
12. 音声入力手段と音声認識手段とを備え、前記表示制御手段は、音声認識手段が画像データの表示と消去の音声入力を検出した場合に、画像データに基づく画像の表示と消去を行うことを特徴とする請求項１乃至１１のいずれか１項に記載の表示システム。
13. 表示手段は、透光性を有し、表示された映像或いは画像と共に、表示手段の前方を目視可能であることを特徴とする請求項１乃至１２のいずれか１項に記載の表示システム。
14. 表示手段は、眼鏡型或いはゴーグル型の機器における目視窓に設けられることを特徴とする請求項１乃至１３のいずれか１項に記載の表示システム。
    
    
    
    

Images