JP2006260191A - 遠隔指示システム - Google Patents

Abstract

【課題】離れた場所にいる者どうしにおいて、一方が行った指示情報が他方の実視野内に重畳的に表示される遠隔指示システムを提供すること。
【解決手段】携帯情報端末１００は、コップ１５０を含む画像を撮像する撮像部１０４と、所定情報を表示する電子情報表示部１０１と、電子情報表示部１０１による画像を実視野中に重畳的に表示する半透過光学素子１０２と、観察対象ＯＢＪの画像を指示端末２００へ送信する通信部１０７とを有し、指示端末２００は、観察対象ＯＢＪの画像を表示する電子情報表示部２０１と、コップ１５０を指示すると共に、指示されたコップ１５０に関する指示情報を生成する撮像部２０４と、指示情報を携帯情報端末１００へ送信する通信部２０７とを有し、電子情報表示部２０１は、半透過光学素子２０２により実視野内のコップ１５０上に左手ＨＤｂの画像を重畳的に表示する。
【選択図】 図１

Description

本発明は、遠隔指示システム、特に携帯情報端末を用いて離れた場所で情報のやり取りを行う遠隔指示システムに関するものである。

従来、離れた場所どうしで情報のやり取りを行うシステムが提案されている。例えば特許文献１には、海底や宇宙空間などにおける作業者に対して遠隔地から作業指示を行う作業遠隔指示装置が提案されている。また、例えば特許文献２には、プラント監視または遠隔会議等のように、離れた場所で意思決定を行う遠隔ポインティング装置が提案されている。

特開平７−９３５０８号公報 特開平５−２０４５３４号公報

特許文献１に開示された構成では、例えば２つの離れた位置の会議室どうしの遠隔会議において、一方の会議室の映像をカメラで撮影する。そして、撮影された映像を他方の会議室で見ることができる。同様に、他方の会議室で撮影された映像を一方の会議室で見ることができる。このように、双方向に情報のやり取りを行うことができる。しかしながら、ディスプレイに示されている映像を見るシステムである。このように、現実の画像、即ち実視野の画像に基づいていないため、リアリティ感が乏しいという問題を有する。また、特許文献２に開示された構成では、保守員が目視している物体をカメラが撮影する。保守員と離れた場所にいる監視者は、撮影された画像を認識しながら、所定の指示を行う。そして、保守員側では、監視者の指示に応じて、実視野の物体にライトからの光を照射する（ポインティング）。これにより、保守員は、物体の指示された部分を認識できる。しかしながら、この構成では保守員は監視者からの指示を直接実視野内に重畳して見ることができない。このため、リアリティ感に欠けてしまうという問題を有している。

本発明は、上記に鑑みてなされたものであって、離れた場所にいる者どうしにおいて、一方が行った指示情報が他方の実視野内に重畳的に表示される遠隔指示システムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明によれば、携帯情報端末と指示端末とを備える遠隔指示システムであって、携帯情報端末は、指示対象を含む観察対象の画像を撮像する撮像部と、所定の情報を表示する電子情報表示部と、電子情報表示部に表示された画像を実視野中に重畳的に表示する半透過光学素子と、観察対象の画像を指示端末へ送信する通信部とを有し、指示端末は、観察対象の画像を表示する電子情報表示部と、観察対象の画像から任意の指示対象を指示すると共に、指示された前記指示対象に関する指示情報を生成する指示手段と、指示部材の位置座標を検出する座標検出部と、指示情報を携帯情報端末へ送信する通信部とを有し、携帯情報端末の電子情報表示部は、半透過光学素子を介して、実視野内の指示対象上に指示情報に基づく指示表示を重畳的に表示することを特徴とする遠隔指示システムを提供できる。

また、本発明の好ましい態様によれば、携帯情報端末は、方位及び位置を検出する方位・位置検出手段、記憶部及び位置座標換算部とをさらに有し、記憶部は、方位・位置検出手段が検出した指示対象を含む画像を指示端末へ送信したときの携帯情報端末の第１の位置及び第１の方位を記憶し、指示端末側では、携帯情報端末が第１の位置及び第１の方位のときに撮像した画像において指示対象を指示し、方位・位置検出手段は、実視野内の指示手段により指示された指示対象上に指示情報に基づく指示表示を重畳的に表示するときの携帯情報端末の第２の位置及び第２の方位を検出し、記憶部に記憶された第１の位置及び第１の方位と第２の位置及び第２の方位との全部又は一部が重複する場合に、位置座標換算部は、第２の位置及び第２の方位にある携帯情報端末に対し実視野内の指示対象上に指示情報を重畳的に表示するように位置座標を変換することが望ましい。

また、本発明の好ましい態様によれば、指示手段は、観察対象の画像上において、指示部材により任意の指示対象の選択及び指示決定を行う画像決定部を有し、携帯情報端末と指示端末とのいずれか一方は、指示決定したときの画像に対応する携帯情報端末の第３の位置及び第３の方位を記憶する記憶部を有し、携帯情報端末は、記憶部と位置座標換算部とを有し、携帯情報端末の記憶部は、実視野内の指示対象上に指示情報を重畳的に表示するときの携帯情報端末の第４の位置及び第４の方位を記憶し、位置座標換算部は、携帯情報端末において実視野内の指示対象上に前記指示情報に基づく指示表示を重畳的に表示するように位置座標を変換することが望ましい。

また、本発明の好ましい態様によれば、指示端末は、電子情報表示部に表示された画像を実視野中に重畳的に表示する半透過光学素子を有し、指示端末は、指示対象を含む画像を虚像として表示することが望ましい。

また、本発明の好ましい態様によれば、指示端末の電子情報表示部は、虚像として表示される画像よりも指示端末の使用者側に指示部材が認識されるように画像を表示することが望ましい。

また、本発明の好ましい態様によれば、指示端末は、観察対象の画像を実像として表示する電子情報表示部を有することが望ましい。

また、本発明の好ましい態様によれば、指示端末の撮像部は、指示部材の動きを撮像し、携帯情報端末の電子情報表示部は、動いている状態の指示部材を表示することが望ましい。

また、本発明の好ましい態様によれば、指示端末は、他の指示対象を含む他の観察対象の画像を撮像する撮像部と、所定の情報を表示する電子情報表示部と、電子情報表示部に表示された画像を実視野中に重畳的に表示する半透過光学素子と、他の観察対象の画像を携帯情報端末へ送信する通信部とを有し、携帯情報端末の電子情報表示部は、半透過光学素子を介して、実視野内の他の指示対象上に指示表示を重畳的に表示し、指示端末の電子情報表示部は、半透過光学素子を介して、実視野内の指示対象上に指示表示を重畳的に表示することが望ましい。

本発明に係る遠隔指示システムは、携帯情報端末と指示端末とを備えている。携帯情報端末の撮像部は、指示対象を含む観察対象の画像を撮像する。電子情報表示部は、所定の情報を表示する。半透過光学素子は、電子情報表示部に表示された画像を実視野中に重畳的に表示する。さらに、通信部は、観察対象の画像を指示端末へ送信する。そして、指示端末の電子情報表示部は、観察対象の画像を表示する。指示端末の使用者は、指示部材を用いて指示対象を含む観察対象の画像において指示対象を指示する。ここで、指示手段は、指示された指示対象に関する指示情報を生成する。指示端末の通信部は、指示情報を携帯情報端末へ送信する。そして、携帯情報端末の電子情報表示部は、半透過光学素子を介して、位置座標に基づいて実視野内の指示手段により指示された指示対象上に指示情報に基づく指示表示を重畳的に表示する。かかる構成により、指示端末の使用者は、携帯情報端末の使用者が見ている実視野の画像中で指示対象を指示できる。そして、携帯情報端末の使用者は、半透過光学素子を介して実視野内に指示情報に基づく指示表示を重畳して表示できる。この結果、離れた場所にいる者どうしにおいて、一方の指示端末の使用者が行った指示情報に基づく指示表示が、他方の携帯情報端末の実視野内に重畳的に表示される遠隔指示システムを提供できる。

以下に、本発明に係る遠隔指示システムの実施例を図面に基づいて詳細に説明する。なお、この実施例により、この発明が限定されるものではない。

図１は、本発明の実施例１に係る遠隔指示システムの概略構成を示す。使用者ＯＢＳａは、携帯情報端末１００を用いて観察対象ＯＢＪを観察している。観察対象ＯＢＪは、机の上に載置されているコップ１５０と皿１５１とビン１５２である。使用者ＯＢＳｂは、指示端末２００を用いて使用者ＯＢＳａが観察している観察対象ＯＢＪの画像データを受け取り、観察対象ＯＢＪの中の任意の対象を選択して指示する。使用者ＯＢＳａは、本遠隔指示システムにより、遠隔地に居る使用者ＯＢＳｂから、観察対象ＯＢＪのうちコップ１５０と皿１５１とビン１５２とのいずれを選択するかの指示を受ける。例えば、使用者ＯＢＳａは子供であり、使用者ＯＢＳｂはその子供の母親であるとする。そして、使用者ＯＢＳｂは、携帯情報端末１００と同一の構成の指示端末２００を使用している。

携帯情報端末１００は、撮像部１０４と、電子情報表示部１０１と、半透過光学素子１０２とカーソル移動部１０５とを有する。撮像部１０４として、小型カメラを用いることができる。電子情報表示部１０１として、液晶表示パネルや有機ＥＬパネルを用いることができる。また、半透過光学素子１０２は、ハーフミラーやホログラム素子を用いることができる。

図２−１、図２−２は、携帯情報端末１００の斜視図である。半透過光学素子１０２は、観察対象ＯＢＪからの光を透過し、電子情報表示部１０１からの光を使用者ＯＢＳａの方向へ反射する。これにより、半透過光学素子１０２は、電子情報表示部１０１に表示された後述する指示情報に基づく指示表示を観察対象ＯＢＪの実視野に重畳的に表示する。また、使用者ＯＢＳａは、カーソル移動部１０５により、電子情報表示部１０１に表示されているカーソル（不図示）の位置を所望の位置へ移動させることができる。

図３−１は、携帯情報端末１００を上面からみた構成を示す。図３−２は、携帯情報端末１００の断面構成を示す。図３−３は、携帯情報端末１００を底面から見た構成を示す。図３−１、図３−３に示すように、撮像部１０４は、光学レンズと、撮像デバイスとから構成されている。撮像デバイスは、例えば２次元ＣＣＤを用いることができる。

また、図３−２に示すように、使用者ＯＢＳは、半透過光学素子１０２を透過して観察対象ＯＢＪを実視野で観察する。同時に、電子情報表示部１０１に表示された指示情報に基づく指示表示の像は、半透過光学素子１０２により使用者ＯＢＳａの方向へ反射される。これにより、使用者ＯＢＳａは、観察対象ＯＢＪを実視野で観察しつつ、重畳して指示情報に基づく指示表示を認識できる。

図６は、本遠隔指示システムの機能ブロックを示す。例として、子供である使用者ＯＢＳａが見ている画像の中から、母親である使用者ＯＢＳｂがコップ１５０を指示する場合について説明する。使用者ＯＢＳａが有する携帯情報端末１００と使用者ＯＢＳｂが有する指示端末２００とは無線通信可能に構成されている。携帯情報端末１００の撮像部１０４は、観察対象ＯＢＪを撮像する。そして、携帯情報端末１００の通信部１０７は、指示端末２００へ画像データの送受信を行なう。撮像部１０４で撮像された観察対象ＯＢＪの画像データは、指示端末２００へ送信される。

指示端末２００は、基本的な構成が携帯情報端末１００と同様のシースルービュアーである。撮像部２０４は、指示部材２１０を撮像する。指示部材２１０は、使用ＯＢＳｂの身体部分、例えば手の指等、または後述する指示具に対応する。

携帯情報端末１００からの観察対象ＯＢＪの画像データは、通信部２０７へ送信される。電子情報表示部２０１は、指示対象であるコップ１５０を含む観察対象ＯＢＪの画像を表示する。半透過光学素子２０２は、使用者ＯＢＳｂの実視野内に指示対象であるコップ１５０を含む観察対象ＯＢＪの画像を重畳的に表示する。

図４の（ａ）は、使用者ＯＢＳｂが指示端末２００を使用している状態を示す。使用者ＯＢＳｂは、重畳的に表示されている虚像である観察対象ＯＢＪを見ながら、身体部分である左手ＨＤｂで指示対象を指示する。左手ＨＤｂは、指示部材に対応する。図４の（ｂ）は、使用者ＯＢＳｂが見ている画像を示す。虚像である観察対象ＯＢＪの画像のうち、指示対象であるコップ１５０を左手ＨＤｂで指示している。

指示端末２００の撮像部２０４は、左手ＨＤｂを撮像する。図４の（ｃ）は、撮像部２０４が撮像する左手ＨＤｂを示す。座標検出部２２０は、画像処理により、左手ＨＤｂの位置座標を検出する。撮像部２００と座標検出部２２０は、指示手段に対応する。検出された位置座標は、制御部２０６を介して電子情報表示部２０１へ送られる。電子情報表示部２０１は、虚像として表示される観察対象ＯＢＪの画像よりも指示端末２００の使用者ＯＢＳｂ側に左手ＨＤｂが認識されるように画像を表示する。例えば、電子情報表示部２０１は、左手ＨＤｂの画像と重複する領域には観察対象ＯＢＪの画像を表示しない。これにより、使用者ＯＢＳｂは、図４の（ｂ）に示すように、常に虚像よりも手前に左手ＨＤｂを認識できる。

指示端末２００の通信部２０７は、撮像された使用者ＯＢＳｂの左手ＨＤｂの画像データとその位置座標を携帯情報端末１００へ送信する。左手ＨＤｂの画像データとその位置座標は、指示情報に対応する。使用者ＯＢＳａの携帯情報端末１００の電子情報表示部１０１は、半透過光学素子１０２を介して、送信された位置座標に基づいて実視野内の指示対象であるコップ１５０上に使用者ＯＢＳｂの左手ＨＤｂの画像を重畳的に表示する。このときの「左手ＨＤｂの画像」は、指示表示に対応する。

図７は、本遠隔指示システムのシーケンスを示す。シーケンス７０１において、携帯情報端末１００の撮像部１０４は、子供である使用者ＯＢＳａの実視野に見えている観察対象ＯＢＪを撮像する。シーケンス７０２において、携帯情報端末１００の通信部１０７は、撮像された観察対象ＯＢＪの画像データを指示端末２００へ送信する。

シーケンス７０３において、指示端末２００の通信部２０７は、携帯情報端末１００からの画像データを受信する。シーケンス７０４において、指示端末２００の電子情報表示部２０１は、コップ１５０を含む画像を表示する。これにより、使用者ＯＢＳｂは、指示対象であるコップ１５０を含む画像の虚像を認識できる。そして、使用者ＯＢＳｂは、虚像を観察しながら左手ＨＤｂで指示対象であるコップ１５０を指示する。

シーケンス７０５において、指示端末２００の撮像部２０４は、使用者ＯＢＳｂの左手ＨＤｂを含む実視野の画像を撮像する。シーケンス７０６において、座標検出部２２０は、指示部材である左手ＨＤｂを画像処理、例えば、パターンマッチングや輪郭抽出などにより認識する。シーケンス７０７において、座標検出部２２０は、左手ＨＤｂの位置座標を検出する。シーケンス７０８において、指示端末２００の電子情報表示部２０１は、上述したように、常に虚像よりも手前、即ち使用者ＯＢＳｂ側に左手ＨＤｂを認識できるように画像を表示する。シーケンス７０９において、指示端末２００の通信部２０７は、左手ＨＤｂの画像データとその位置座標データ、即ち指示情報を携帯情報端末１００へ送信する。

携帯情報端末１００の通信部１０７は、指示端末２００からの左手ＨＤｂの画像データとその位置座標データを受信する。シーケンス７１１において、携帯情報端末１００の電子情報表示部１０１は、使用者ＯＢＳｂの左手ＨＤｂの画像（指示表示）を位置座標に対応した位置に表示する。

図５は、子供である使用者ＯＢＳａが認識する画像を示す。使用者ＯＢＳａは、実視野で見ている観察対象ＯＢＪに重畳して使用者ＯＢＳｂの左手ＨＤｂの虚像を認識できる。使用者ＯＢＳｂの左手ＨＤｂは、指示端末２００から送信された位置座標に対応した位置に重畳的に表示される。これにより、使用者ＯＢＳａは、コップ１５０を指示する左手ＨＤｂを認識できる。この結果、離れた場所にいる者ＯＢＳａ、ＯＢＳｂどうしにおいて、一方の使用者ＯＢＳｂが行った指示情報が他方の使用者ＯＢＳａの実視野内に重畳的に表示される遠隔指示システムを得ることができる。

図８は、本発明の実施例２に係る遠隔指示システムの機能ブロックを示す。上記実施例１では、使用者ＯＢＳａが見ている実視野の画像と、使用者ＯＢＳｂが指示を行う虚像の画像とが同じ画像である。これに対して、本実施例では、使用者ＯＢＳｂは、携帯情報端末１００から送信された画像において指示を行う。このとき、使用者ＯＢＳｂが指示端末２００側で指示行為を行っているときに、使用者ＯＢＳａは携帯情報端末１００を介して見ている実視野の方向を変えてしまうことがある。本実施例は、このようなときでも正確に指示対象に指示情報を重畳的に表示できるものである。上記実施例１と同一の部分には同一の符号を付し、重複する説明は省略する。

上記実施例１と同様に、子供である使用者ＯＢＳａが見ている画像の中から、母親である使用者ＯＢＳｂがコップ１５０を指示する場合について説明する。使用者ＯＢＳａが有する携帯情報端末３００と使用者ＯＢＳｂが有する指示端末４００とは無線通信可能に構成されている。携帯情報端末３００の撮像部１０４は、観察対象ＯＢＪを撮像する。そして、携帯情報端末３００の通信部１０７は、指示端末４００へデータの送受信を行なう。撮像部１０４で撮像された観察対象ＯＢＪの画像データは、指示端末４００へ送信される。

指示端末４００は、実施例１の指示端末２００と同様のシースルービュアーである。撮像部２０４は、使用者ＯＢＳｂの左手ＨＤｂを撮像する。使用者ＯＢＳｂの身体部分である左手ＨＤｂは、指示部材に対応する。

携帯情報端末４００からの観察対象ＯＢＪの画像データは、通信部２０７へ送信される。電子情報表示部２０１は、指示対象であるコップ１５０を含む観察対象ＯＢＪの画像を表示する。半透過光学素子２０２は、使用者ＯＢＳｂの実視野内に指示対象であるコップ１５０を含む観察対象ＯＢＪの画像を重畳的に表示する。

図１０−１は、使用者ＯＢＳｂが見ている画像を示す。使用者ＯＢＳｂは、指示端末４００の半透過光学素子２０２を介して実視野のシーン１００１を見ている。虚像である観察対象ＯＢＪの画像は、シーン１００１の右下の一部の領域に重畳的に表示される。そして、使用者ＯＢＳｂは、重畳された画像のうち指示対象であるコップ１５０を左手ＨＤｂで指示している。

指示端末４００の撮像部２０４は、左手ＨＤｂを撮像する。座標検出部２２０は、画像処理により、左手ＨＤｂの位置座標を検出する。検出された位置座標は、制御部２０６を介して電子情報表示部２０１へ送られる。電子情報表示部２０１は、虚像として表示される観察対象ＯＢＪの画像よりも指示端末４００の使用者ＯＢＳｂ側に左手ＨＤｂが認識されるように画像を表示する。例えば、電子情報表示部２０１は、左手ＨＤｂの画像と重複する領域には観察対象ＯＢＪの画像を表示しない。これにより、使用者ＯＢＳｂは、図１０−１に示すように、常に虚像よりも手前に左手ＨＤｂを認識できる。

指示端末４００の通信部２０７は、撮像された使用者ＯＢＳｂの左手ＨＤｂの画像データとその位置座標を携帯情報端末３００へ送信する。そして、携帯情報端末３００の通信部１０７が、指示端末４００から画像データと位置座標を受信したとき、使用者ＯＢＳａは携帯情報端末３００を使って見ている実視野の方向を変えたときを考える。

図１０−２は、使用者ＯＢＳａが見ている方向を変えたときの、実視野のシーン１００２を示す。観察対象ＯＢＪは、シーン１００２の中心から図中の右方向へシフトした位置に見えている。使用者ＯＢＳａの携帯情報端末３００の電子情報表示部１０１は、観察対象ＯＢＪの位置が移動したときでも。後述するシーケンスにより、指示対象であるコップ１５０上に使用者ＯＢＳｂの左手ＨＤｂを重畳的に表示する。

図９は、本遠隔指示システムのシーケンスを示す。シーケンス９０１において、携帯情報端末３００の撮像部１０４は、子供である使用者ＯＢＳａの実視野に見えている観察対象ＯＢＪを撮像する。シーケンス９０２において、方位・位置検出部１０８（図８）は、観察対象ＯＢＪを撮像したときの携帯情報端末３００の第１の位置と第１の方位とを検出する。携帯情報端末３００の位置は、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）による絶対的な位置座標を用いることができる。また、携帯情報端末３００の方位とは、携帯情報端末３００の向きや傾斜をいう。向きや傾斜は、方位・位置検出部１０８が備えているジャイロセンサで検出できる。そして、携帯情報端末３００の第１の位置、第１の方位は、記憶部３０２に記憶される。シーケンス９０３において、携帯情報端末３００の通信部１０７は、撮像された観察対象ＯＢＪの画像データを指示端末４００へ送信する。

シーケンス９０４において、指示端末４００の通信部２０７は、携帯情報端末３００からの画像データを受信する。シーケンス９０５において、指示端末４００の電子情報表示部２０１は、図１０−１に示すように、コップ１５０を含む画像を表示する。これにより、使用者ＯＢＳｂは、指示対象であるコップ１５０を含む画像の虚像をシーン１００１の一部の領域に認識できる。そして、使用者ＯＢＳｂは、虚像を観察しながら左手ＨＤｂで指示対象であるコップ１５０を指示する。

シーケンス９０６において、指示端末４００の撮像部２０４は、使用者ＯＢＳｂの左手ＨＤｂを含む実視野の画像を撮像する。シーケンス９０７において、座標検出部２２０は、指示部材である左手ＨＤｂを画像処理、例えば、パターンマッチングや輪郭抽出などにより認識する。シーケンス９０８において、座標検出部２２０は、左手ＨＤｂの位置座標を検出する。シーケンス９０９において、指示端末４００の電子情報表示部２０１は、上述したように、常に虚像よりも手前、即ち使用者ＯＢＳｂ側に左手ＨＤｂを認識できるように画像を表示する。シーケンス９１０において、指示端末４００の通信部２０７は、左手ＨＤｂの画像データとその位置座標データ、即ち指示情報を携帯情報端末３００へ送信する。

シーケンス９１１において、携帯情報端末３００の通信部１０７は、指示端末４００からの左手ＨＤｂの画像データとその位置座標データを受信する。シーケンス９１２において、方位・位置検出部１０８は、左手ＨＤｂの画像データとその位置座標データを受信したとき、換言するとコップ１５０上に指示情報に基づく左手ＨＤｂの画像データ（指示表示）を重畳的に表示するときの、携帯情報端末３００の第２の位置と第２の方位とを検出する。そして、携帯情報端末３００の記憶部３０２は、第２の位置と第２の方位とを記憶する。

シーケンス９１３において、位置座標変換部３０１は、記憶部３０２に記憶された第１の位置及び第１の方位と第２の位置及び第２の方位との全部又は一部が重複する場合に、第２の位置及び第２の方位にある携帯情報端末３００に対し実視野のシーン１００２内のコップ１５０を使用者ＯＢＳｂの左手ＨＤｂが指示するように、指示端末４００から送信された左手ＨＤｂの位置座標を変換する。シーケンス９１４において、携帯情報端末３００の電子情報表示部１０１は、使用者ＯＢＳａの実視野内のコップ１５０を指示するように左手ＨＤｂの画像を表示する。使用者ＯＢＳａは、半透過光学素子１０２を介して、第２の位置及び第２の方位にある携帯情報端末３００の実視野のシーン１００２において、コップ１５０を指示する左手ＨＤｂを重畳的に認識できる。この結果、離れた場所にいる者ＯＢＳａ、ＯＢＳｂどうしにおいて、一方の使用者ＯＢＳｂが行った指示情報が他方の使用者ＯＢＳａの実視野内に重畳的に表示される遠隔指示システムを得ることができる。

図１１は、本発明の実施例３に係る遠隔指示システムの機能ブロックを示す。上記実施例２では、使用者ＯＢＳａが指示端末４００へ送信した画像と、使用者ＯＢＳｂが指示を行う虚像の画像とが同じ画像である。これに対して、本実施例では、使用者ＯＢＳｂは、携帯情報端末１００から次々に送信されてくる複数の画像、例えば動画のうちから、特定の画像において指示を行う。そして、実施例２と同様に、使用者ＯＢＳｂが指示端末側で指示行為を行っているときに、使用者ＯＢＳａは携帯情報端末を介して見ている実視野の方向を変える。本実施例は、このようなときでも正確に指示対象に指示情報を重畳的に表示できるものである。上記実施例１、実施例２と同一の部分には同一の符号を付し、重複する説明は省略する。

上記実施例１、実施例２と同様に、子供である使用者ＯＢＳａが見ている画像の中から、母親である使用者ＯＢＳｂがコップ１５０を指示する場合について説明する。使用者ＯＢＳａが有する携帯情報端末５００と使用者ＯＢＳｂが有する指示端末６００とは無線通信可能に構成されている。携帯情報端末５００の撮像部１０４は、観察対象ＯＢＪを撮像する。そして、携帯情報端末５００の通信部１０７は、指示端末６００へデータの送受信を行なう。撮像部１０４で撮像された観察対象ＯＢＪの画像データは、指示端末６００へ送信される。また、方位・位置検出部１０８は、画像データを撮像したときの、携帯情報端末５００の第３の位置、第３の方位のデータを検出する。そして、携帯情報端末５００の第３の位置、第３の方位のデータは、画像データと共に指示端末６００へ送信される。

指示端末６００は、実施例１の指示端末２００と同様のシースルービュアーである。撮像部２０４は、使用者ＯＢＳｂの左手ＨＤｂを撮像する。使用者ＯＢＳｂの身体部分である左手ＨＤｂは、指示部材に対応する。

携帯情報端末５００からの観察対象ＯＢＪの画像データと、第３の位置、第３の方位のデータとは、通信部２０７へ次々と送信される。使用者ＯＢＳｂは、携帯情報端末５００から次々と送信されてくる画像の中から任意の画像を選択して、コップ１５０に対する指示行為を行う。

電子情報表示部２０１は、指示対象であるコップ１５０を含む観察対象ＯＢＪの画像を表示する。半透過光学素子２０２は、使用者ＯＢＳｂの実視野内に指示対象であるコップ１５０を含む観察対象ＯＢＪの画像を重畳的に表示する。そして、使用者ＯＢＳｂは、重畳された画像のうち指示対象であるコップ１５０を左手ＨＤｂで指示する。

指示端末６００の撮像部２０４は、左手ＨＤｂを撮像する。座標検出部２２０は、画像処理により、左手ＨＤｂの位置座標を検出する。検出された位置座標は、制御部２０６を介して電子情報表示部２０１へ送られる。電子情報表示部２０１は、虚像として表示される観察対象ＯＢＪの画像よりも指示端末６００の使用者ＯＢＳｂ側に左手ＨＤｂが認識されるように画像を表示する。例えば、電子情報表示部２０１は、左手ＨＤｂの画像と重複する領域には観察対象ＯＢＪの画像を表示しない。これにより、使用者ＯＢＳｂは、図１０−１に示すように、常に虚像よりも手前に左手ＨＤｂを認識できる。

使用者ＯＢＳｂは、画像決定部６０１により、複数の画像の中からコップ１５０を左手ＨＤｂで指示する画像を選択、決定する。画像決定部６０１は、例えば指示端末６００が備えるシャッターである。使用者ＯＢＳｂは、シャッターボタン（不図示）を押すことにより、電子情報表示部２０１に表示されている画像を選択、決定する。撮像部２０４と画像決定部６０１とは、指示手段に対応する。

そして、記憶部６０２は、左手ＨＤｂの画像データとその位置座標を記憶する。また、記憶部６０２は、選択、決定された画像に対応する携帯情報端末５００の第３の位置、第３の方位のデータも記憶する。

指示端末６００の通信部２０７は、撮像された使用者ＯＢＳｂの左手ＨＤｂの画像データとその位置座標と携帯情報端末５００の第３の位置、第３の方位のデータとを携帯情報端末５００へ送信する。携帯情報端末５００の通信部１０７が、指示端末６００から画像データと位置座標と第３の位置、第３の方位のデータを受信したとき、使用者ＯＢＳａは携帯情報端末５００を使って見ている実視野の方向を変えたときを考える。

上述した実施例２と同様に、図１０−２は、使用者ＯＢＳａが見ている方向を変えたときの、実視野のシーン１００２を示す。観察対象ＯＢＪは、シーン１００２の中心から図中の右方向へシフトした位置に見えている。使用者ＯＢＳａの携帯情報端末５００の電子情報表示部１０１は、観察対象ＯＢＪの位置が移動したときでも。後述するシーケンスにより、指示対象であるコップ１５０上に使用者ＯＢＳｂの左手ＨＤｂを重畳的に表示する。

図１２は、本遠隔指示システムのシーケンスを示す。シーケンス１２０１において、携帯情報端末５００の撮像部１０４は、子供である使用者ＯＢＳａの実視野に見えている観察対象ＯＢＪを撮像する。シーケンス１２０２において、携帯情報端末５００の通信部１０７は、撮像された観察対象ＯＢＪの画像データと、画像データを撮像したときの携帯情報端末５００の第３の位置、第３の方位のデータとを指示端末６００へ送信する。

シーケンス１２０３において、指示端末６００の通信部２０７は、携帯情報端末５００からの画像データと第３の位置、第３の方位のデータとを受信する。シーケンス１２０４において、指示端末６００の電子情報表示部２０１は、図１０−１に示すように、コップ１５０を含む画像を表示する。これにより、使用者ＯＢＳｂは、指示対象であるコップ１５０を含む画像の虚像をシーン１００１の一部の領域に認識できる。そして、使用者ＯＢＳｂは、虚像を観察しながら左手ＨＤｂで指示対象であるコップ１５０を指示する。

シーケンス１２０５において、指示端末６００の撮像部２０４は、使用者ＯＢＳｂの左手ＨＤｂを撮像する。シーケンス１２０６において、座標検出部２２０は、指示部材である左手ＨＤｂを画像処理、例えば、パターンマッチングや輪郭抽出などにより認識する。シーケンス１２０７において、座標検出部２２０は、左手ＨＤｂの位置座標を検出する。シーケンス１２０８において、指示端末６００の電子情報表示部２０１は、上述したように、常に虚像よりも手前、即ち使用者ＯＢＳｂ側に左手ＨＤｂを認識できるように画像を表示する。

シーケンス１２０９において、使用者ＯＢＳｂは、シャッター等の画像決定部６０１を用いて、指示行為をする画像を選択、決定する。シーケンス１２１０において、記憶部６０２は、選択、決定された画像を撮像したときの携帯情報端末５００の第３の位置、第３の方位のデータを記憶する。

シーケンス１２１１において、指示端末６００の通信部２０７は、左手ＨＤｂの画像データとその位置座標データと携帯情報端末５００の第３の位置、第３の方位のデータとを携帯情報端末５００へ送信する。

シーケンス１２１２において、携帯情報端末５００の通信部１０７は、指示端末６００からの左手ＨＤｂの画像データと、その位置座標データと、携帯情報端末５００の第３の位置、第３の方位のデータとを受信する。シーケンス１２１３において、方位・位置検出部１０８は、左手ＨＤｂの画像データと、その位置座標データと、携帯情報端末５００の第３の位置、第３の方位のデータとを受信したときの、姿勢を変えた後の状態の携帯情報端末５００の第４の位置と第４の方位とを検出する。そして、携帯情報端末５００の記憶部３０２は、第４の位置と第４の方位とを記憶する。

シーケンス１２１４において、位置座標変換部３０１は、第４の位置及び第４の方位にある携帯情報端末５００に対し、撮像したときの携帯情報端末５００の第３の位置、第３の方位に基づいて、指示端末６００から送信された左手ＨＤｂの位置座標を変換する。これにより、実視野のシーン１００２内のコップ１５０を使用者ＯＢＳｂの左手ＨＤｂが指示するように表示できる。

シーケンス１２１５において、携帯情報端末５００の電子情報表示部１０１は、使用者ＯＢＳａの実視野内のコップ１５０を指示するように左手ＨＤｂの画像を表示する。使用者ＯＢＳａは、半透過光学素子１０２を介して、第４の位置及び第４の方位にある携帯情報端末５００に対し、実視野のシーン１００２において、コップ１５０を指示する左手ＨＤｂを重畳的に認識できる。この結果、離れた場所にいる者ＯＢＳａ、ＯＢＳｂどうしにおいて、一方の使用者ＯＢＳｂが行った指示情報が他方の使用者ＯＢＳａの実視野内に重畳的に表示される遠隔指示システムを得ることができる。

本実施例では、選択、決定された画像を撮像したときの携帯情報端末５００の第３の位置、第３の方位を指示端末６００の記憶部６０３が記憶している。しかしながら、これに限られず、第３の位置、第３の方位を携帯情報端末５００側において記憶する構成でも良い。この構成では、指示端末６００は、選択、決定された画像に関する指示情報（画像データとその位置座標）を携帯情報端末５００へ送る。次に、携帯情報端末５００は、選択、決定された画像と、記憶部３０２に格納されている、この画像に対応する携帯情報端末５００の第３の位置、第３の方位とを関連付ける。

そして、位置座標変換部３０１は、第４の位置及び第４の方位にある携帯情報端末５００に対して、選択、決定された画像を撮像したときの携帯情報端末５００の第３の位置、第３の方位に基づいて、指示端末６００から送信された左手ＨＤｂの位置座標を変換する。これにより、実視野のシーン１００２内のコップ１５０を使用者ＯＢＳｂの左手ＨＤｂが指示するように表示できる。

（実施例１、２、３の変形例）
次に、上記実施例１、２、３の変形例について説明する。上記実施例１、２、３では使用者ＯＢＳｂは、指示端末２００、４００、６００として、携帯情報端末１００等と同じシースルービュアーを用いている。本変形例では、使用者ＯＢＳｂの指示端末は、指示対象を含む画像を実像として表示する電子情報表示部を有している。

図１３−１は、指示端末７００の概略構成を示す。電子情報表示部７０１は、指示対象であるコップ１５０を含む観察対象ＯＢＪの画像を実像として表示する。電子情報表示部７０１は液晶パネルや有機ＥＬ素子を用いることができる。

本変形例では、使用者ＯＢＳｂは、指示部材として身体部分の代わりに、棒状の指示具７０２を用いる。使用者ＯＢＳｂは、指示具７０２により、電子情報表示部７０１に表示されているコップ１５０を略円形の軌跡７０３を描くように指示する。電子情報表示部７０１のカバーガラス（不図示）には、接触センサが設けられている。そして、接触センサは、指示具７０２の先端とカバーガラスとが接触している部分を検出する。これにより、指示具７０２の先端の軌跡７０３を検出できる。

軌跡７０３の情報は、携帯情報端末１００、３００、５００へ送られる。そして、図１３−２に示すように、上記実施例１、２、３と同様にして、使用者ＯＢＳａは、実視野のコップ１０５に重畳して軌跡７０３を認識できる。

また、指示端末７００の撮像部（不図示）により、指示具７０２を撮像しても良い。このときは、上記各実施例と同様に、使用者ＯＢＳａは、携帯情報端末１００、３００、５００において、左手ＨＤｂの代わりに、指示具７０２の画像を実視野のシーン１３００に重畳して認識できる。

さらに、左手ＨＤｂや指示具７０２を用いることなく、例えば、カーソル移動部１０５（図２−１参照）により、指示端末の電子情報表示部２０１においてカーソルを移動させても良い。これにより、カーソルによっても指示対象であるコップ１５０を指示することができる。

また、指示端末２００、４００、６００の撮像部２０４は、使用者ＯＢＳｂが指示行為を行っている身体部分の動きや指示具の動きを撮像してもよい。そして、携帯情報端末１００、３００、５００と指示端末２００、４００、６００とは、動いている状態の画像のデータを送受信する。これより、例えば、使用者ＯＢＳａは、使用者ＯＢＳｂの左手ＨＤｂがビン１５２の蓋を開ける動作等を認識することができる。

上記実施例１、２、３は、使用者ＯＢＳｂが指示端末を用いて行った指示行為の情報を、遠隔地に居る使用者ＯＢＳａが実視野内で重畳的に認識できるものである。即ち、指示情報は、指示端末２００から携帯情報端末１００へ一方的に送られている。これに対して、本実施例では、指示情報が双方向に送られる構成である。

携帯情報端末の電子情報表示部は、半透過光学素子を介して、実視野内の他の指示対象上に指示情報に基づく指示表示を重畳的に表示する。また、指示端末の電子情報表示部は、半透過光学素子を介して、実視野内の指示対象上に指示情報に基づく指示表示を重畳的に表示する。このことを図１４−１、１４−２を用いて説明する。

図１４−１は、携帯情報端末を用いている使用者ＯＢＳｂが見ているシーン１４００を示す。使用者ＯＢＳｂは、実視野でコップ１５０、皿１５１、ビン１５２を見ている。図１４−２は、指示端末を用いている使用者ＯＢＳａが見ているシーン１５００を示す。使用者ＯＢＳａは、実視野で椅子１６０、机１６１を見ている。

使用者ＯＢＳｂが見ている実視野のシーン１４００の右下の領域にはシーン１４０１が重畳的に虚像として表示されている。シーン１４０１は、使用者ＯＢＳａの実視野の画像である。

また、使用者ＯＢＳａが見ている実視野のシーン１５００の右下の領域にはシーン１５０１が重畳的に虚像として表示されている。シーン１５０１は、使用者ＯＢＳｂの実視野の画像である。

そして、図１４−２のように、使用者ＯＢＳａは、左手ＨＤａで椅子１６０を指示する。また、図１４−１のように、使用者ＯＢＳｂは、左手ＨＤｂでコップ１５０を指示する。これらの指示情報が使用者ＯＢＳａの携帯情報端末と、使用者ＯＢＳｂの携帯情報端末との間で双方向に送受信される。これにより、図１４−１、１４−２に示すように、それぞれ相手側の画像を実視野に重畳的に虚像として認識できる。そして、双方の通信相手側の左手ＨＤａ、ＨＤｂを、それぞれの端末において相互に認識できる。

以上説明したように、携帯情報端末として、シースルービュアーを用いている。また、指示端末として、シースルービュアーまたは実像を表示する表示端末を用いることができる。そして、携帯情報端末と指示端末とをいずれの装置を用いて組み合わせる場合でも、上記実施例１、２、３でそれぞれ説明したシステム構成を実現することができる。

また、上記各実施例において、携帯情報端末と指示端末とは、さらに電話機能を有していても良い。これにより、身体部分や指示具に加えて、音声による指示情報を送受信できる。

また、本発明は、上述のシースルービュアー、指示端末に限られず、例えば、公知のヘッド・マウント・ディスプレイ、フェイス・マウント・ディスプレイ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ）等に適用できる。このように、本発明は、その趣旨を逸脱しない範囲で種々の変形例をとることができる。

以上のように、本発明に係る遠隔指示システムは、いわゆるシースルービュアーを用いるシステムに適している。

実施例１に係る遠隔指示システムの概略構成図である。 携帯情報端末の斜視構成図である。 携帯情報端末の他の斜視構成図である。 携帯情報端末の上面図である。 携帯情報端末の断面図である。 携帯情報端末の底面図である。 指示する他方の使用者が認識する画面等を示す図である。 一方の使用者が認識する画面を示す図である。 実施例１の遠隔指示システムの機能ブロック図である。 実施例１の遠隔指示システムのシーケンスを示す図である。 実施例２の遠隔指示システムの機能ブロック図である。 実施例２の遠隔指示システムのシーケンスを示す図である。 実施例２の他方の使用者が認識する画面等を示す図である。 実施例２の一方の使用者が認識する画面を示す図である。 実施例３の遠隔指示システムの機能ブロック図である。 実施例３の遠隔指示システムのシーケンスを示す図である。 変形例の指示端末の概略構成を示す図である。 変形例の一方の使用者が認識する画面を示す図である。 実施例４の一方の使用者が認識する画面等を示す図である。 実施例４の他方の使用者が認識する画面を示す図である。

符号の説明

１００ 携帯情報端末
１０１ 電子情報表示部
１０２ 半透過光学素子
１０４ 撮像部
１０５ カーソル移動部
１０７ 通信部
１０８ 方位・位置検出部
１５０ コップ
１５１ 皿
１５２ ビン
１６０ 椅子
１６１ 机
２００ 指示端末
２０１ 電子情報表示部
２０２ 半透過光学素子
２０４ 撮像部
２０６ 制御部
２０７ 通信部
２２０ 座標検出部
３００ 携帯情報端末
３０１ 位置座標変換部
３０２ 記憶部
４００ 指示端末
５００ 携帯情報端末
６００ 指示端末
６０１ 画像決定部
６０２ 記憶部
７００ 指示端末
７０１ 電子情報表示部
７０２ 指示具
１００１、１００２、１３００、１４００、１５００ シーン
ＯＢＪ 観察対象
ＯＢＳａ、ＯＢＳｂ 使用者
ＨＤａ、ＨＤｂ 左手

Claims (8)

1. 携帯情報端末と指示端末とを備える遠隔指示システムであって、
   前記携帯情報端末は、
   指示対象を含む観察対象の画像を撮像する撮像部と、
   所定の情報を表示する電子情報表示部と、
   前記電子情報表示部に表示された画像を実視野中に重畳的に表示する半透過光学素子と、
   前記観察対象の画像を前記指示端末へ送信する通信部とを有し、
   前記指示端末は、
   前記観察対象の画像を表示する電子情報表示部と、
   前記観察対象の画像から任意の前記指示対象を指示すると共に、指示された前記指示対象に関する指示情報を生成する指示手段と、
   前記指示情報を前記携帯情報端末へ送信する通信部とを有し、
   前記携帯情報端末の電子情報表示部は、前記半透過光学素子を介して、実視野内の前記指示対象上に前記指示情報に基づく指示表示を重畳的に表示することを特徴とする遠隔指示システム。
2. 前記携帯情報端末は、方位及び位置を検出する方位・位置検出手段、記憶部及び位置座標換算部をさらに有し、
   前記記憶部は、前記方位・位置検出手段が検出した前記指示対象を含む画像を前記指示端末へ送信したときの前記携帯情報端末の第１の位置及び第１の方位を記憶し、
   前記指示端末側では、前記携帯情報端末が前記第１の位置及び第１の方位のときに撮像した画像において前記指示対象を指示し、
   前記方位・位置検出手段は、実視野内の前記指示手段により指示された前記指示対象上に前記指示情報に基づく指示表示を重畳的に表示するときの前記携帯情報端末の第２の位置及び第２の方位を検出し、
   前記記憶部に記憶された前記第１の位置及び第１の方位と前記第２の位置及び第２の方位との全部又は一部が重複する場合に、前記位置座標換算部は、前記第２の位置及び第２の方位にある前記携帯情報端末に対し実視野内の前記指示対象上に前記指示情報を重畳的に表示するように前記位置座標を変換することを特徴とする請求項１に記載の遠隔指示システム。
3. 前記指示手段は、前記観察対象の画像上において、指示部材により任意の前記指示対象の選択及び指示決定を行う画像決定部を有し、
   前記携帯情報端末と前記指示端末とのいずれか一方は、前記指示決定したときの画像に対応する前記携帯情報端末の第３の位置及び第３の方位を記憶する記憶部を有し、
   前記携帯情報端末は、記憶部と位置座標換算部とを有し、
   前記携帯情報端末の前記記憶部は、実視野内の前記指示対象上に前記指示情報を重畳的に表示するときの前記携帯情報端末の第４の位置及び第４の方位を記憶し、
   前記位置座標換算部は、前記携帯情報端末において実視野内の前記指示対象上に前記指示情報に基づく指示表示を重畳的に表示するように前記位置座標を変換することを特徴とする請求項１に記載の遠隔指示システム。
4. 前記指示端末は、
   前記電子情報表示部に表示された画像を実視野中に重畳的に表示する半透過光学素子を有し、
   前記指示端末は、前記指示対象を含む画像を虚像として表示することを特徴とする請求項１〜３のいずれか一項に記載の遠隔指示システム。
5. 前記指示端末の前記電子情報表示部は、虚像として表示される画像よりも前記指示端末の使用者側に前記指示部材が認識されるように画像を表示することを特徴とする請求項４に記載の遠隔指示システム。
6. 前記指示端末は、前記観察対象の画像を実像として表示する電子情報表示部を有することを特徴とする請求項１〜３のいずれか一項に記載の遠隔指示システム。
7. 前記指示端末の前記撮像部は、前記指示部材の動きを撮像し、
   前記携帯情報端末の前記電子情報表示部は、動いている状態の前記指示部材を表示することを特徴とする請求項３〜６のいずれか一項に記載の遠隔指示システム。
8. 前記指示端末は、
   他の指示対象を含む他の観察対象の画像を撮像する撮像部と、
   所定の情報を表示する電子情報表示部と、
   前記電子情報表示部に表示された画像を実視野中に重畳的に表示する半透過光学素子と、
   前記他の観察対象の画像を前記携帯情報端末へ送信する通信部とを有し、
   前記携帯情報端末の電子情報表示部は、前記半透過光学素子を介して、実視野内の前記他の指示対象上に指示表示を重畳的に表示し、
   前記指示端末の電子情報表示部は、前記半透過光学素子を介して、実視野内の前記指示対象上に指示表示を重畳的に表示することを特徴とする請求項１に記載の遠隔指示システム。
   

Images