JP2007072733A - 遠隔指示システム及び遠隔指示方法 - Google Patents

Abstract

【課題】 作業者がその全体を一瞥することが容易でない作業対象に対して、遠隔地から作業指示を伝達することができる遠隔指示システムを提供する。
【解決手段】 遠隔指示システムは、作業対象を撮像するビデオカメラ２０と、作業対象に対して所定の画像を投影するプロジェクタ４０と、ビデオカメラ２０により撮像された撮像画像の情報を遠隔端末１００に送信すると共に、遠隔端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像をプロジェクタ４０により作業対象に投影させるサーバ５０とを有する。また、サーバ５０は、ビデオカメラ２０で撮像した撮像画像の情報を作業者が所有する携帯端末８０に送信する。これにより大型装置や生産設備などに対する作業を遠隔地から的確に支援することが可能になる。
【選択図】 図１

Description

本発明は、遠隔指示システム及び遠隔指示方法に関する。

従来、画像技術及び広域通信技術の発展に伴い、作業を行う作業者に対して作業上の指示を与える手法として種々のものが開発されている。画像を用いて遠隔地から作業者へ指示を与えるシステムとして、通常のテレビジョン会議をそのまま利用したものが提案されている。このシステムでは、作業の場である作業空間の様子を遠隔地にて容易に観察できる。しかし、作業対象の物体と同一の物体が指示側の遠隔地に存在しない場合、物体を利用して指示内容を直接説明できないため、指示内容は音声、身振り・手振り、図面などに頼らざるを得なくなり、的確な指示を出せないという問題がある。

このため、作業者が作業対象とする実物体の上に投射する方法で作業指示を伝達する方法が提案されている（特許文献１参照）。これは、物体の３次元形状をカメラ及びプロジェクタにて計測し、その計測結果に基づき、指示者が存する遠隔地のパーソナルコンピュータに物体のＣＧ画像を表示する。指示者が入力ツールを用いて物体の作業に関する指示を行った場合、その指示データは送信され、指示データに応じた指示画像がプロジェクタよって物体に投影されるため、作業者における指示の認識及び指示者における指示動作が正確かつ容易であり、作業者への負担がなくなる。
特開２００３−２７０７１９号公報

しかしながら、大型装置や生産設備などに対する作業を行う現場において、遠隔地から作業者に作業指示を行いたい場合がある。特許文献１に記載の技術は、作業対象が作業者の視界に一度に収まる場合を前提としているため、遠隔地からの指示が作業者の視界の外に及ぶ場合には対応できないという問題がある。

そこで、本発明は、上記問題点に鑑みてなされたもので、作業者がその全体を一瞥することが容易でない作業対象に対して、遠隔地から作業指示を伝達することができる遠隔指示システム及び遠隔指示方法を提供することを目的とする。

上記課題を解決するために、本発明の遠隔指示システムは、作業空間内の利用者に対して遠隔端末から指示を行なう遠隔指示システムであって、前記作業空間を撮像する撮像部と、前記利用者に対して作業指示を行なう指示部と、前記撮像部で撮像された撮像画像の情報を遠隔端末に送信すると共に、該遠隔端末でなされた前記撮像画像に基づく指示に基づいて前記指示部から前記利用者に対して作業指示を行なう制御部とを有する。本発明によれば、例えば工場現場のような広い空間内で作業する作業者に対して、遠隔地から位置を指示できる。これにより作業者がその全体を一瞥することが容易でない作業対象に対して、遠隔地から作業指示を伝達することができる。

前記指示部は、例えば前記遠隔端末でなされた前記撮像画像に基づく指示に応じたアノテーション画像を前記作業空間内に投影する投影手段である。本発明によれば、例えば工場現場のような広い空間内で作業する作業者に対して、プロジェクタなどの投影手段によって遠隔地から位置を指示できる。

前記指示部は、例えば前記遠隔端末でなされた前記撮像画像に基づく指示に応じて前記作業空間内を照明により照射する照明手段である。本発明によれば、例えば工場現場のような広い空間内で作業する作業者に対して、照明手段によって遠隔地から位置を指示できる。前記指示部は、例えば前記遠隔端末でなされた前記撮像画像に基づく指示に応じた音声を出力する音声出力手段である。本発明によれば、例えば工場現場のような広い空間内で作業する作業者に対して、音声によって遠隔地から指示を行うことができる。

前記制御部は、前記撮像部で撮像された撮像画像を表示し前記利用者が保持する表示装置に送信するとよい。本発明によれば、例えば工場現場のような広い空間内で作業する作業者は、撮像部で撮像した空間内の画像を携帯している表示装置を使って見ることができ、これによって作業対象を把握できる。前記表示装置は、例えばヘッドマウントディスプレイにより構成されている。

本発明の遠隔指示システムは、前記作業空間内の一部を撮像し前記利用者が保持する利用者撮像部をさらに有し、前記制御部は、前記利用者撮像部で撮像された撮像画像を前記遠隔端末に送信する。本発明によれば、作業者が携帯する作業者撮像部で撮像された撮像画像を遠隔端末に送信することにより、遠隔地で作業者の位置や作業対象を詳細に知ることができる。本発明の遠隔指示システムは、前記撮像部が撮像した画像データを記憶する記憶部をさらに有する。前記作業空間は、工場、駐車場、倉庫、店舗および手術室内のうちの少なくとも1つの空間である。

本発明は、作業空間内の利用者に対して遠隔端末から指示を行なう遠隔指示方法であって、前記作業空間を撮像手段により撮像する撮像ステップと、前記撮像ステップで撮像された撮像画像の情報を遠隔端末に送信する送信ステップと、前記遠隔端末でなされた前記撮像画像に基づく指示に基づいて、指示部より前記利用者に対して作業指示を行なう指示ステップとを有する。本発明によれば、例えば工場現場のような広い空間内で作業する作業者に対して、遠隔地から位置を指示できる。これにより作業者がその全体を一瞥することが容易でない作業対象に対して、遠隔地から作業指示を伝達することができる。

本発明によれば、作業者がその全体を一瞥することが容易でない作業対象に対して、遠隔地から作業指示を伝達することができる遠隔指示システム及び遠隔指示方法を提供することができる。

以下、本発明を実施するための最良の形態について説明する。図１は、本発明の遠隔指示システムの一実施形態を示す構成図である。図１に示すように、この遠隔指示システムは、作業空間内の利用者に対して遠隔端末から指示を行なうものである。遠隔端末から作業現場の作業対象を指示するものである。この遠隔指示システムは、被写体側装置１０及び遠隔端末１００等を備えている。被写体側装置１０と遠隔端末１００とはネットワーク３００により相互に通信可能に接続されている。尚、図１においては、遠隔端末１００を一台のみ示しているが、複数の遠隔端末１００をネットワーク３００を通じて被写体側装置１０の後述するサーバ５０へ接続可能である。

被写体側装置１０は、ビデオカメラ（撮像部）２０、照明装置（指示部：照明手段）３０、プロジェクタ（指示部：投影手段）４０、サーバ（制御部）５０及び移動部７０及び携帯端末８０等から構成されている。ビデオカメラ２０は、作業空間を撮像し遠隔制御が可能なもので、例えばＣＣＤカメラで構成されている。ビデオカメラ２０で、広い作業現場内を撮像した撮像画像の情報はサーバ５０に取り込まれる。照明装置３０は、利用者に対して作業指示を行うものであり、作業現場内の位置を指示することができる。この照明装置３０は、例えば首を振ることが可能なスポットライトで構成されている。この照明装置３０は、遠隔端末１００でなされた撮像画像に基づく指示に応じて作業空間内を照明により照射する。これにより作業者は広い作業現場内の作業位置を容易に把握できる。

プロジェクタ４０は、利用者に対して作業指示を行なうものである。詳細には、プロジェクタ４０は、サーバ５０から送信された、遠隔端末１００でなされた投影画像に基づく指示に応じたアノテーション画像を作業空間内に投影する。このプロジェクタ４０は、例えば液晶プロジェクタ等で構成されている。尚、アノテーション画像には、線、文字、図形等のあらゆる形態の画像が含まれる。

移動部７０は、サーバ５０により制御され、ビデオカメラ２０、照明装置３０及びプロジェクタ４０を作業場内で三次元に移動させるものである。これにより、広い作業現場の中で、ビデオカメラ２０、照明装置３０及びプロジェクタ４０を作業対象に近づけることができる。なお、移動部７０は、ビデオカメラ２０、照明装置３０、プロジェクタ４０のそれぞれに対して独立に設けるようにしてもよい。また、サーバ５０は、無線によりビデオカメラ２０、照明装置３０及びプロジェクタ４０とデータの送受信を行うようにしてもよい。

サーバ５０は、ビデオカメラ２０、照明装置３０、プロジェクタ４０および移動部７０の動作を制御すると共に、ネットワーク３００を介して遠隔端末１００との間で各種情報を授受する。このサーバ５０は、ビデオカメラ２０が撮像した画像データを記憶する記憶部を有する。また、サーバ５０はビデオカメラ２０で撮像された撮像画像の情報を遠隔端末１００へ送信する。また、サーバ５０は遠隔端末１００でなされた撮像画像に基づく指示に基づいて照明装置３０やプロジェクタ４０から作業空間内内の利用者に対して作業指示を行なう。より詳細には、サーバ５０は遠隔端末１００でなされた投影画像に基づく指示に応じたアノテーション画像を作業空間内に投影するようプロジェクタ４０を制御する。サーバ５０は作業現場内で位置を照明するよう照明装置３０を制御する。さらに、サーバ５０はビデオカメラ２０で撮像された撮像画像を作業者が携帯する携帯端末（表示装置）８０に送信する。

携帯端末８０は、作業空間内で作業する利用者が保持するものであり、ビデオカメラ２０で撮像された撮像画像を表示する表示部８１、データの送受信部８２及び作業空間内の一部を撮像する撮影部（利用者撮影部）８３等を備える。携帯端末８０は、例えば頭にかぶるタイプのディスプレイであるＨＭＤ（Head Mounted Display）、ＰＤＡ（Personal Digital(Data) Assistants）などにより構成され、ビデオカメラ２０で撮像した撮像画像の情報をサーバ５０から送受信部８２を介して受信すると、受信した撮像画像を表示部８１から表示する。また携帯端末８０は撮像部８３で撮像した撮像画像の情報をサーバ５０に送信し、サーバ５０はこの撮像画像の情報を遠隔端末１００に送信する。これにより遠隔端末１００側では作業者と同じ目線で作業対象を把握できる。なお、携帯端末８０は、音声出力手段としてのスピーカを備え、このスピーカから遠隔端末１００でなされた撮像画像に基づく指示に応じた音声を出力してもよい。

遠隔端末１００は、液晶表示装置、ＣＲＴ等からなる表示装置１１０、ネットワーク３００に接続されたコンピュータ１２０、コンピュータ１２０に接続されたポインティングデバイス（マウス）１３０等から構成されている。表示装置１１０は、その表示画面に被写体側装置１０から送信される画像を表示する。ポインティングデバイス（マウス）１３０は、撮像画像が表示された表示画面においてポインタで各種ボタン等を操作することにより、照明装置３０の照明位置、プロジェクタ４０の投影位置、作業対象へ投影するアノテーション画像に関する指示を形成すると共に、移動部７０の移動を指示するのに用いられる。

図２は、コンピュータ１２０に接続された表示装置１１０の表示例である。表示装置１１０には、ビデオカメラ２０で撮像された作業現場の撮像画像が表示されている。図３は、プロジェクタ４０からアノテーション画像を作業現場内の作業対象に投影したときの表示装置１１０の表示例である。図３において、参照符号１１２はプロジェクタ４０から投影されたアノテーション画像である。サーバ５０は、プロジェクタ４０でアノテーション画像１１２を作業現場内の作業対象に投影する。サーバ５０は同時に、誘導情報を含む遠景画像を作業者の携帯端末８０に送信し位置を指示する。これにより現場の作業者が作業対象の位置を理解できない場合、作業者を作業対象に誘導できる。

図４は照明装置３０から作業対象に照射したときの表示装置１１０の表示例である。図４において、参照符号１１３は照明装置３０から作業現場内の作業対象に対して照射されている照明光を示す。サーバ５０は首振りスポットライト（照明装置３０）で照明することにより作業者を作業対象に誘導する。サーバ５０は同時に、誘導情報を含む遠景画像を作業者の携帯端末８０に送信し位置を指示する。これにより現場の作業者が作業対象の位置を理解できない場合、作業者を作業対象に誘導できる。さらに、遠隔地の作業者は、携帯端末８０を介して作業者と交信し、作業指示を伝達する。

図５は、プロジェクタ４０からアノテーション画像を投影しているときの表示装置１１０の表示例である。図５において、参照符号１１４は作業対象を指し示す画像（矢印）、１１５は作業対象への作業内容を表す文字画像をそれぞれ示す。

次に、上記構成の遠隔指示システムの動作について説明する。図６は、被写体側装置のサーバにおける処理の一例を示すフローチャートである。被写体側装置１０側のサーバ５０では、ビデオカメラ２０の撮像画像の取り込みを開始し（ステップＳＴ１）、遠隔端末１００のコンピュータ１２０から接続要求があるかを判断する（ステップＳＴ２）。サーバ５０は、コンピュータ１２０からの接続要求がある場合には、ビデオカメラ２０の撮像画像をネットワーク３００を通じて遠隔端末のコンピュータ１２０へ伝送する（ステップＳＴ３）。

次いで、サーバ５０は、コンピュータ１２０から制御信号の送信があるか否かを判断する（ステップＳＴ４）。この制御信号は、アノテーション画像の描画に関する情報である描画信号、照明装置３０を制御するための信号、移動部７０を移動させるための位置制御信号などである。サーバ５０は、上記の制御信号を受信した場合には、その制御信号の内容に応じた制御信号処理を行う（ステップＳＴ５）。具体的には、サーバ５０は、制御信号に基づいて、移動部７０を作業対象の近傍に移動させる。またサーバ５０はビデオカメラ２０を制御してビデオ画像を取得する。またサーバ５０は、作業現場内の位置を指示するために、アノテーション画像をプロジェクタ４０から作業対象に投影する。またサーバ５０は、作業現場内の位置を指示するために、照明装置３０を制御して作業対象に対して照明を行う。さらにサーバ５０はビデオカメラ２０の撮影画像を携帯端末８０に送る。

一方、サーバ５０は、上記の制御信号を受信しない場合には、コンピュータ１２０から切断要求があるかを判断し（ステップＳＴ６）、切断要求が無い場合には、ステップＳＴ３に戻って新たな撮像画像をネットワーク３００を通じて遠隔端末１００のコンピュータ１２０へ伝送し、切断要求があった場合には、ビデオカメラ２０の撮像画像の伝送を停止する（ステップＳＴ７）。そして、サーバ５０は、処理の終了要求があるかを判断し（ステップＳＴ８）、終了要求がない場合には、ステップＳＴ２に戻って上記の処理を繰り返し、終了要求があった場合には処理を終了する。

次に、遠隔端末１００の動作について説明する。図７は遠隔端末のコンピュータにおける処理の一例を示すフローチャートである。遠隔端末１００のコンピュータ１２０は、サーバ５０に対して接続要求を行う（ステップＳＴ１１）。次いで、コンピュータ１２０は、接続が完了した後、例えば図２に示すように、被写体側のサーバ５０から伝送される撮像画像を表示装置１１０の表示画面１１１に表示する（ステップＳＴ１２）。これによりビデオカメラ２０によって撮像された対象物の全体を表示装置１１０によって確認できる。

次いで、コンピュータ１２０は、表示装置１１０の表示画面１１１に表示した撮像画像に対する操作者からの注目領域の指示があるかを判断し（ステップＳＴ１３）、注目領域の指示がある場合には、指示に応じた処理を行う（ステップＳＴ１６）。具体的には、遠隔端末１００の操作者は、図２に示すような表示装置１１０の表示画面１１１の画像を見ながら、表示されている画像にプロジェクタ４０からアノテーション画像を投影したい領域や照明装置３０により照明したい領域がある場合には、ポインティングデバイス１３０を操作して表示画面１１１上のポインタＰｔを移動させながら注目領域を指示する。注目領域は、プロジェクタ４０からアノテーション画像を投影する投影位置を規定する領域、又は照明装置３０から光を照射する領域である。

またこのとき、同時に、注目領域に投影するアノテーション画像に関する情報や照明に関する情報を指示する。例えば、ポインティングデバイス１３０を用いて表示画面１１１上に形成された各種ボタンＢＴ等を操作することにより、描画された矩形や円などの図形情報、あらかじめ用意されたビットマップ画像、キーボードなどから入力したテキスト情報をアノテーション画像に関する情報として指示し、照明パターンを照明に関する情報として指示する。そして、コンピュータ１２０は、特定された各種情報をサーバ５０へ伝送する（ステップＳＴ１７）。これにより、図３に示すように、プロジェクタ４０からアノテーション画像が作業現場内の作業対象に投影される。また図４に示すように、照明装置３０から作業現場内の作業対象に照明光が照射される。

次いで、コンピュータ１２０は、遠隔端末１００でなされたビデオカメラ２０の撮像画像に基づく操作者による指示が完了したかを判断し（ステップＳＴ１８）、終了した場合には、サーバ５０に対して切断要求を行い（ステップＳＴ１９）、処理を終了する。遠隔端末１００の操作者による指示操作が終了していない場合には、ステップＳＴ１２に戻って上記の処理を繰り返す。ここで、遠隔端末１００の操作者が移動部７０を移動させたい場合には、操作者は、例えば、図２に示すような表示画面１１１の画像を見ながら、移動部７０を移動させるための移動用ボタンＲ１、Ｒ２を操作して、移動部７０の移動方向及び移動量を指示する。これにより作業対象に対してアノテーション画像を投影したり、照明光を照射することができる。またこのとき遠隔地の作業者は、携帯端末８０等を介して作業者と交信し、作業指示を伝達することもできる。また誘導情報を含む遠景画像を作業者の携帯端末８０に送信する。

そして、コンピュータ１２０は、注目領域の指示がない（アノテーション画像に関する指示又は照明に関する指示がない）場合には、遠隔端末１００の操作者により、移動部７０の移動の指示がされると判断して移動部７０の移動に関する処理をする（ステップＳＴ１４）。次いで、コンピュータ１２０は、移動部７０の移動に関する処理により得られた移動量情報等を被写体側のサーバ５０へ伝送する（ステップＳＴ１５）。これにより、移動部７０が作業対象の近傍に移動されて、遠隔端末１００の表示装置１１０には新たな撮像画像が表示される。

本実施形態によれば、大型の作業対象を遠景から確認し、コンピュータ１２０より作業者の誘導情報を与える。そして、被写体側装置１０は、プロジェクタ４０により誘導情報を投射によって表示し、作業者を作業対象に適切に誘導できる。また、コンピュータ１２０を操作する操作者は、無線端末８０あるいはカメラ画像等を利用して現場の状況及び作業指示を伝達する。これにより、大型装置や生産設備などに対する作業を遠隔地から的確に支援することが可能になる。なお、本発明による遠隔指示方法は、遠隔指示システムによって実現される。

以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。上記実施形態では、指示部の例として照明装置３０とプロジェクタ４０を挙げたが、指示部は空間内を指示することができるものであればこれに限定されるものではない。また、本実施形態では照明装置３０とプロジェクタを両方備えている例を説明したが、いずれか一方のみを備える構成によっても本発明を実現することができる。また本実施形態では作業現場を例にとって説明したが、本発明はこれに限定されることはない。上記作業空間は、例えば工場、駐車場、倉庫、店舗および手術室内などが含まれる。

本発明の遠隔指示システムの一実施形態を示す構成図である。 コンピュータに接続された表示装置の表示例である。 プロジェクタからアノテーション画像を作業対象に投影したときの表示装置の表示例である。 照明装置から作業対象に照射したときの表示装置の表示例である。 プロジェクタからアノテーション画像を投影しているときの表示装置の表示例である。 被写体側装置のサーバにおける処理の一例を示すフローチャートである。 遠隔端末のコンピュータにおける処理の一例を示すフローチャートである。

符号の説明

１ 遠隔指示システム
１０ 被写体側装置
２０ ビデオカメラ
３０ 照明装置
４０ プロジェクタ
５０ サーバ
７０ 移動部
８０ 携帯端末
１００ 遠隔端末
１１０ 表示装置
１２０ コンピュータ
１３０ ポインティングデバイス
３００ ネットワーク

Claims (10)

1. 作業空間内の利用者に対して遠隔端末から指示を行なう遠隔指示システムであって、
   前記作業空間を撮像する撮像部と、
   前記利用者に対して作業指示を行なう指示部と、
   前記撮像部で撮像された撮像画像の情報を遠隔端末に送信すると共に、該遠隔端末でなされた前記撮像画像に基づく指示に基づいて前記指示部から前記利用者に対して作業指示を行なう制御部と
   を有することを特徴とする遠隔指示システム。
2. 前記指示部は、前記遠隔端末でなされた前記撮像画像に基づく指示に応じたアノテーション画像を前記作業空間内に投影する投影手段であることを特徴とする請求項１に記載の遠隔指示システム。
3. 前記指示部は、前記遠隔端末でなされた前記撮像画像に基づく指示に応じて前記作業空間内を照明により照射する照明手段であることを特徴とする請求項１に記載の遠隔指示システム。
4. 前記指示部は、前記遠隔端末でなされた前記撮像画像に基づく指示に応じた音声を出力する音声出力手段であることを特徴とする請求項１に記載の遠隔指示システム。
5. 前記制御部は、前記撮像部で撮像された撮像画像を表示し前記利用者が保持する表示装置に送信することを特徴とする請求項１に記載の遠隔指示システム。
6. 前記表示装置は、ヘッドマウントディスプレイであることを特徴とする請求項５に記載の遠隔指示システム。
7. 前記作業空間内の一部を撮像し前記利用者が保持する利用者撮像部をさらに有し、
   前記制御部は、前記利用者撮像部で撮像された撮像画像を前記遠隔端末に送信することを特徴とする請求項１に記載の遠隔指示システム。
8. 前記撮像部が撮像した画像データを記憶する記憶部をさらに有することを特徴とする請求項１に記載の遠隔指示システム。
9. 前記作業空間は、工場、駐車場、倉庫、店舗および手術室内のうちの少なくとも1つの空間であることを特徴とする請求項１に記載の遠隔指示システム。
10. 作業空間内の利用者に対して遠隔端末から指示を行なう遠隔指示方法であって、
    前記作業空間を撮像手段により撮像する撮像ステップと、
    前記撮像ステップで撮像された撮像画像の情報を遠隔端末に送信する送信ステップと、
    前記遠隔端末でなされた前記撮像画像に基づく指示に基づいて、指示部より前記利用者に対して作業指示を行なう指示ステップとを有することを特徴とする遠隔指示方法。
    

Images