JP2006180278A - 遠隔コミュニケーションシステムとこのシステムで使用される方向提示方法及び方向提示プログラム - Google Patents

Abstract

【課題】話し手と聞き手との間で互いの視認対象を容易に一致させることができるようにし、これによりコミュニケーションをよりスムーズに行えるようにする。
【解決手段】サポート側システム２において、認識部２４により、現場側システム１から伝送された全方位カメラ１５の撮影画像情報からカメラ１１の撮影範囲Ｅｃ及び現場作業員の目視範囲Ｅｐをそれぞれ認識してその座標中心を算出する。そして、その算出結果をもとに表示処理部２５でカメラ１１の撮影範囲Ｅｃから現場作業員の目視範囲Ｅｐへの方向を示す方向提示コンテンツ画像Ｉｃを生成して、サポート側システム２の表示部２２に表示する。またそれと共に、現場側システム１の表示処理部１８により、現場作業員の目視範囲Ｅｐからカメラ１１の撮影範囲Ｅｃへの方向を示す方向提示コンテンツ画像Ｉｐを生成して、これをプロジェクタ１７により現場作業員の目視範囲Ｅｐへ投影する。
【選択図】 図３

Description

この発明は、例えば現場作業員の作業を遠隔地から画像通信を使用して支援する遠隔コミュニケーションシステムと、このシステムで使用される方向提示方法及び方向提示プログラムに関する。

例えば、現場作業員とその支援者との間で通信を利用して会話を行っている場合に、聞き手が題材となる対象物の形状や存在位置を把握することは、話し手の意図を理解する上で非常に重要である。しかし、対象物の形状や存在位置を話し手が口頭で正確に伝えることは一般に難しい。

そこで、聞き手側にカメラとレーザポインタを設置し、カメラにより聞き手側の実空間の状態を撮像してこれを音声画像通信により話し手側に送ってモニタ表示すると共に、その表示画像を見ながら話し手がレーザポインタの指示位置を遠隔操作して対象物又はそれを含む範囲をポインティングすることにより、聞き手が対象物を直に視認してその形状等を把握できるようにした技術が提案されている（例えば、特許文献１を参照）。
この技術を用いれば、話し手と聞き手との間で互いの視認対象物又は範囲を容易に一致させることができ、これにより話し手の説明負担が軽減されてよりスムーズな支援のためのコミュニケーションが可能となる。
特開２００２−１２５０２４公報

ところが、前述した技術では、聞き手がポインティング対象物又は範囲から目をそらしている間に、話し手が別の対象物又は範囲にポインティング位置を移動させると、聞き手はポインティング位置を探し直さなければならなくなり、その間コミュニケーションの中断を余儀なくされるという問題がある。また、一般にカメラによる撮像範囲は聞き手側の実空間の一部に限られる。このため、聞き手が別の方向を向きその視野がカメラの撮像範囲から外れると、話し手は聞き手の視野をモニタ画面から把握することができなくなり、この場合にもコミュニケーションがスムーズに行えなくなる。

この発明は上記事情に着目してなされたもので、その目的とするところは、話し手と聞き手との間で互いの視認対象を容易に一致させることができるようにし、これによりコミュニケーションをよりスムーズに行えるようにした遠隔コミュニケーションシステムとこのシステムで使用される方向提示方法及びプログラムを提供することにある。

上記目的を達成するために第１の発明は、異なる空間に存在する第１の話者と第２の話者が、第１の話者が存在する空間内の任意の対象を撮影手段により撮影してその撮影画像情報を第２の話者が存在する空間に設置された表示手段に表示することにより、上記対象を共に目視しながらコミュニケーションを行う遠隔コミュニケーションシステムにおいて、第１の話者が存在する空間内における、上記撮影手段の撮影範囲及び第１の話者の目視範囲をそれぞれ検出する。そして、この検出された撮影範囲及び目視範囲をもとに当該目視範囲から撮影範囲への方向を判定し、この判定された方向を表す画像情報を生成して、この生成された画像情報を上記第１の話者の目視範囲内に投影するようにしたものである。

したがって第１の発明によれば、第１の話者が、第２の話者に提示されている撮像範囲とは異なる範囲を目視している場合に、当該目視範囲から撮影範囲への方向を表す画像情報が生成されてこの画像情報が第１の話者の目視範囲に投影される。このため、第１の話者は目前に投影された画像により、第２の話者が目視している撮像範囲の方向を容易に認識することができ、この認識結果をもとに自身の位置又は姿勢を変えることで、自身の目視範囲を第２の話者が目視している撮像範囲と円滑に一致させることが可能となる。

また第１の発明は、上記検出された撮影範囲及び目視範囲をもとに当該撮影範囲と目視範囲との距離をさらに算出し、上記判定された方向と上記算出された距離を表す画像情報を生成して、この生成された画像情報を上記第１の話者の目視範囲内に投影することも特徴とする。
このようにすると第１の話者は、第２の話者が目視している撮像範囲の方向と共に、現在の自身の目視範囲から上記撮像範囲までの距離を認識することが可能となる。したがって、この認識結果をもとに第１の話者は自身の位置又は姿勢を迅速かつ正確に変えることが可能となり、これにより自身の目視範囲を第２の話者が目視している撮像範囲に対しより一層スムーズに一致させることが可能となる。

一方、上記目的を達成するために第２の発明は、異なる空間に存在する第１の話者と第２の話者が、第１の話者が存在する空間内の任意の対象を撮影手段により撮像してその撮影画像情報を上記第２の話者が存在する空間に設置された表示手段に表示することにより、上記対象を共に目視しながらコミュニケーションを行う遠隔コミュニケーションシステムにおいて、上記第１の話者が存在する空間内における上記撮影手段の撮影範囲及び第１の話者の目視範囲をそれぞれ検出する。そして、この検出された撮影範囲及び目視範囲をもとに当該撮影範囲から目視範囲への方向を判定し、この判定された方向を表す画像情報を生成して、この生成された画像情報を上記撮影手段により得られる撮影画像情報と共に上記表示手段に表示させるようにしたものである。

したがって第２の発明によれば、撮影手段が、第１の話者の目視範囲とは異なる範囲を撮影している場合に、当該撮影範囲から第１の話者の目視範囲への方向を表す画像情報が生成されて、この画像情報が第２の話者が視認している表示手段に表示される。このため、第２の話者は表示された上記画像情報により、第１の話者の目視範囲の方向を容易に認識することができる。そして、この認識結果をもとに、例えば上記撮像手段の姿勢を遠隔的に制御することで、撮像手段の撮像範囲を第１の話者の目視範囲と円滑に一致させることが可能となる。

また第２の発明は、上記検出された撮影範囲及び目視範囲をもとに、当該撮影範囲と目視範囲との距離をさらに算出し、上記判定された方向と上記算出された距離を表す画像情報を生成して、この生成された画像情報を上記撮影手段により得られる撮影画像情報と共に上記表示手段に表示させることも特徴とする。

このようにすると、第２の話者は、第１の話者の目視範囲の方向と同時に、撮影手段による現在の撮影範囲から上記第１の話者の目視範囲までの距離を認識することができる。したがって、この認識結果をもとに第２の話者は撮影手段の姿勢を迅速かつ正確に変えることが可能となり、これにより撮影手段の撮影範囲を第１の話者の目視範囲に対しより一層スムーズに一致させることが可能となる。

さらに第１及び第２の発明において、上記検出手段は、上記第１の話者が存在する空間に上記撮影手段による撮影範囲を表す撮影範囲提示画像を投射する手段と、上記第１の話者が存在する空間に、当該第１の話者の目視範囲を表す目視範囲提示画像を投射する手段と、上記第１の話者が存在する空間を撮影する全方位撮影手段と、上記全方位撮影手段により得られる撮影画像情報から、上記撮影範囲提示画像及び目視範囲提示画像を検出する手段とを備えるように構成することも特徴とする。
このようにすると、第１の話者の目視範囲及び撮影手段の撮影範囲が、第１の話者が存在する空間内のどこにあっても、これらの位置を確実に検出することが可能となる。

要するにこの発明では、第１の話者が存在する空間内における上記撮影手段の撮影範囲及び第１の話者の目視範囲をそれぞれ検出し、この検出された撮影範囲及び目視範囲をもとに当該撮影範囲から目視範囲への方向を判定して、この判定された方向を表す画像情報を第１の話者の目視範囲内に投影するか、又は上記撮影手段により得られる撮影画像情報と共に上記表示手段に表示させるようにしている。

したがってこの発明によれば、話し手と聞き手との間で互いの視認対象を容易に一致させることができるようにし、これによりコミュニケーションをよりスムーズに行えるようにした遠隔コミュニケーションシステムとこのシステムで使用される方向提示方法及び方向提示プログラムを提供することができる。

以下、図面を参照してこの発明に係わる遠隔コミュニケーションシステムの一実施形態を説明する。この実施形態では、現場作業員の作業をサポート要員が遠隔地から通信ネットワークを介して支援する、いわゆる遠隔作業支援システムを例にとって説明する。
図１はこの実施形態に係わる遠隔作業支援システムの概要を説明するための図である。図示するごとくこのシステムは、現場側システム１とサポート側システム２との間を、通信ネットワークＮＷを介して接続したものである。

現場側システム１には撮影装置ＣＭが設置されている。この撮影装置ＣＭは撮影姿勢を可変することが可能な構成になっており、現場の作業空間の任意の範囲Ｅｃを撮影してその撮影画像情報を通信ネットワークＮＷを介してサポートシステム２へ伝送するために使用される。また現場作業員の例えば頭部には投影装置ＰＪが取着されている。この投影装置ＰＪは、例えばサポート側システム２から送られる作業支援のための画像情報や文字情報を、現場作業員の目視範囲Ｅｐに投影するために使用される。

一方、サポート側システム２には支援用端末ＭＴが設置されている。支援用端末ＭＴは、例えばワークステーション又はパーソナル・コンピュータにより構成され、上記現場側システム１の撮影装置ＣＭから通信ネットワークＮＷを介して伝送された撮影画像情報を受信して表示部に表示する。また、上記表示された撮影画像情報を見ながらサポート要員が入力した支援情報を、通信ネットワークＮＷを介して上記現場側システム１の投影装置ＰＪに伝送し、これにより現場作業員の目視範囲Ｅｐに投影させる。

さらに、上記現場側システム１及びサポート側システム２はそれぞれ音声通話機能（図示せず）を備えており、これらの音声通話機能を使用して現場作業員とサポート要員との間で音声通話が可能となっている。この音声通話機能は、現場側システム１では例えば現場作業員が携帯する音声通信端末に設けられ、又サポート側システム２では例えば支援用端末ＭＴに設けられる。

ところで、このような遠隔作業支援システムでは、現場作業員とサポート要員との間で音声通話が行われるとはいえ、現場作業員の目視範囲Ｅｐと撮影装置ＣＭの撮影範囲Ｅｃとは常に一致するとは限らない。
そこで、この実施形態に係わる遠隔作業支援システムは、現場作業員の目視方向及び撮影装置ＣＭによる撮影方向を、それぞれ相手側のサポート要員及び現場作業員に知らせるための方向提示機能を備えている。

この方向提示機能は、例えば図２に示すように、現場側システムでは、投影装置ＰＪにより現場作業員の目視範囲Ｅｐに方向提示コンテンツの画像Ｉｐを投影することにより実現される。一方サポート側システム２では、支援用端末ＭＴの表示部２２に撮影装置ＣＭの撮影画像情報ＧＳに重ねて方向提示コンテンツの画像Ｉｃを表示することにより実現される。方向提示コンテンツの画像Ｉｐ，Ｉｃはいずれも、図示するごとく楕円型をなす横長の表示範囲３１，４１内に黒円３２，４２を表示したものであり、表示範囲３１，４１内における黒円３２，４２の位置により撮影装置ＣＭによる撮影方向Ｆｃ及び現場作業員の目視方向Ｆｐをそれぞれ提示する。

図３は、この実施形態に係わる遠隔作業支援システムを実現するための具体的な構成を示すブロック図である。
先ず現場側システム１には、撮影装置ＣＭと、投影装置ＰＪと、全方位カメラ１５と、表示処理部１８と、ネットワークインタフェース（ネットワークＩ／Ｆ）１９が設けてある。撮影装置ＣＭは、カメラ１１と、カメラ１１の撮影姿勢を可変するカメラ駆動部１２と、駆動制御部１３と、撮影範囲提示機１４とを備える。このうち駆動制御部１３は、支援用端末ＭＴから送られる姿勢制御信号に従い上記カメラ駆動部１２を駆動制御する。撮影範囲提示機１４は例えばレーザポインタ又はプロジェクタからなり、上記カメラ１１とともに一体動作する。そして、カメラ１１の撮影範囲を示す枠パターンを撮影対象物Ｑに対し投影する。

投影装置ＰＪは、プロジェクタ１６と、投影範囲提示機１７とを備える。プロジェクタ１６は、現場作業員の目視範囲Ｅｐに画像情報又は文字情報を空間に投影する。投影範囲提示機１７は例えばレーザポインタからなり、上記プロジェクタ１６による投影範囲Ｅｐを表す枠パターンを空間に投影する。なお、上記枠パターンは上記プロジェクタ１６から画像情報又は文字情報に重ねて投影するようにしてもよい。この場合には投影範囲提示機１７を不要にできる。

全方位カメラ１５は、現場の作業空間を全方位にわたり撮影する。図１５はこの全方位カメラ１５の概略構成図である。全方位カメラ１５は、全周囲を写すことが可能な円錐形ミラー５１と、この円錐形ミラー５１により反射された全周囲画像を受光する受光部５２とから構成される。そして、受光された全周囲画像を、図１６に示すように円錐形ミラー５１の角度αずつパノラマ化することにより全方位のパノラマ画像を得る。なお、全方位カメラとしては、必ずしも３６０°にわたり撮影が可能なものでなくてもよく、例えば１８０°にわたり撮影が可能なものでもよい。要するに、全方位カメラの撮像範囲は、現場システムの作業空間の範囲に応じて任意に選択可能である。

表示処理部１８は、支援用端末ＭＴから伝送された作業支援のための表示情報を上記プロジェクタ１６に供給して投影させる。また、支援用端末ＭＴからカメラ１１の撮像範囲Ｅｃの中心座標値及びプロジェクタ１６の投影範囲Ｅｐの中心座標値が送られた場合に、これらの中心座標値をもとに、プロジェクタ１６の投影範囲Ｅｐからカメラ１１の撮像範囲Ｅｃへの方向を表す方向提示コンテンツ画像Ｉｐを生成する。そして、この生成された方向提示コンテンツ画像Ｉｐを上記作業支援のための表示情報に合成したのち、上記プロジェクタ１６に供給して投影させる。

一方、サポート側システム２に設置された支援用端末ＭＴは、キーボードやマウス、ジョイスティック等を使用した入力部２１と、液晶表示器（ＬＣＤ）を使用した表示部２２と、画像切替部２６と、ネットワークインタフェース（ネットワークＩ／Ｆ）２７とを備え、さらに入力データ処理部２３と、認識部２４と、表示処理部２５とを備えている。このうち、入力データ処理部２３、認識部２４及び表示処理部２５はいずれも、プログラムをマイクロコンピュータに実行させることにより実現される。

入力データ処理部２３は、入力部２１においてサポート要員がカメラの駆動操作を行った場合に、その操作に応じてカメラの姿勢を制御するためのカメラ駆動制御情報を生成する。そして、このカメラ駆動制御情報を通信ネットワークＮＷを介して現場側システム１の駆動制御部１３に送信する。

認識部２４は、現場側システム１から伝送された全方位カメラ１５の撮影画像情報（パノラマ画像情報）を取り込み、このパノラマ画像情報中において、カメラ１１の撮像範囲Ｅｃを表す画像パターンと、プロジェクタ１６の投影範囲Ｅｐを表す画像パターンをそれぞれ認識する。そして、この認識されたカメラ１１の撮像範囲Ｅｃを表す画像パターンの中心座標値ＣＯ（Ｘ１，Ｙ１）を算出すると共に、プロジェクタ１６の投影範囲Ｅｐを表す画像パターンの中心座標値ＰＯ（Ｘ２，Ｙ２）を算出する。そして、この算出された各中心座標値ＣＯ（Ｘ１，Ｙ１）、ＰＯ（Ｘ２，Ｙ２）を表示処理部２５に与えると共に、通信ネットワークＮＷを介して現場側システム１の表示処理部１８へ送信する。

表示処理部２５は、上記与えられた中心座標値ＣＯ（Ｘ１，Ｙ１）、ＰＯ（Ｘ２，Ｙ２）をもとに、カメラ１１の撮像範囲Ｅｃからプロジェクタ１６の投影範囲Ｅｐへの方向を表す方向提示コンテンツ画像Ｉｃを生成する。そして、この生成された方向提示コンテンツ画像Ｉｃを、画像切替部２６を介して表示部２２に供給し表示させる。

画像切替部２６は、カメラ１１からの撮影画像情報と、全方位カメラ１５からの撮影画像情報（パノラマ画像）とを択一的に切り替えて表示部２２に供給するもので、入力部２１においてサポート要員が切り替え操作を行うことで切り替わる。一般に、定常状態ではカメラ１１側に固定され、サポート要員が作業空間全体の様子を確認したい場合や全方位カメラ１５の動作点検を行う場合等、必要時にのみ全方位カメラ１５側に切り替わる。

なお、ネットワークＩ／Ｆ１９及び２７は、現場側システム１とサポート側システム２７との間で、通信ネットワークＮＷを介して撮影画像情報、表示情報及び制御情報の送受信を行う。通信ネットワークＮＷとしては、例えばＩＰ（Internet Protocol）網と、このＩＰ網にアクセスするための複数のアクセス網とから構成される。アクセス網としては、例えばＤＳＬ（Digital Subscriber Line）や光伝送路を使用する固定網、無線ＬＡＮ網、ＰＨＳ（Personal Handyphone System）（登録商標）網、ＰＤＣ（Personal Digital Cellular）網やＩＭＴ２０００（International Mobile Telecommunication 2000）網等の移動通信網が想定される。

次に、以上のように構成された遠隔作業支援システムの動作を説明する。図４はその制御手順と制御内容を示すフローチャートである。
支援用端末ＭＴは、ステップ４ａでサポート要員による終了イベントの入力を監視している。この状態で、終了イベントの入力がなければステップ４ｂに移行し、ここで画像切替部２６が全方位カメラ１５からの撮影画像情報を選択しているか、或いはカメラ１１からの撮影画像情報を選択しているかを判定する。この判定の結果、画像切替部２６がカメラ１１からの撮影画像情報を選択している場合には、ステップ４ｃに移行してここで方向提示コンテンツ画像Ｉｐ，Ｉｃの表示処理を実行する。そして、この表示処理に続いてステップ４ｄにより入力部２１の入力操作を監視し、入力操作を検出するとステップ４ｅに移行してここで入力操作に応じたカメラ１１の駆動制御処理を実行する。

一方、画像切替部２６が全方位カメラ１５からの撮影画像情報を選択している場合には、上記方向提示コンテンツ画像Ｉｐ，Ｉｃの表示処理を省略してステップ４ｄに移行する。そして、このステップ４ｄにより入力部２１の入力操作を監視し、入力操作を検出するとステップ４ｅにおいて上記入力操作に応じたカメラ１１の駆動制御処理を実行する。

さて、上記方向提示コンテンツ画像Ｉｐ，Ｉｃの表示処理は次のように実行される。図５はその制御手順及び制御内容を示すフローチャートである。
現場側システム１では、作業空間に対しカメラ１１の撮影範囲Ｅｃを表す画像パターンが撮影範囲提示機１４により投影され、さらにプロジェクタ１６の投影範囲Ｅｐを表す画像パターンが投影提示機１７により投影される。そして、これらの画像パターンが投影された作業空間が全方位カメラ１５により撮影され、その撮影画像情報、つまりパノラマ画像情報が通信ネットワークＮＷを介してサポート側システム２の支援用端末ＭＴに伝送される。

支援用端末ＭＴは、先ず現場側システム１から全方位カメラ１５により撮影されたパノラマ画像情報を通信ネットワークＮＷを介して取得する。そして、認識部２４により、上記取得されたパノラマ画像情報において例えばパターン認識処理を行うことで、カメラ１１の撮影範囲Ｅｃをステップ５ａで認識すると共に、プロジェクタ１６の投影範囲Ｅｐをステップ５ｂで認識する。

続いてステップ５ｃ，５ｄにおいて、認識部２４により上記認識されたカメラ１１の撮影範囲Ｅｃと、プロジェクタ１６の投影範囲Ｅｐとが重なっているか否かを判定する。そして、重なっていると判定された場合には、その旨の情報を現場側システム１の表示処理部１８及びサポート側システム２の表示処理部２５にそれぞれ通知する。表示処理部１８，２５は、ステップ５ｊにおいて上記通知された情報をもとにカメラ１１の撮影範囲Ｅｃと、プロジェクタ１６の投影範囲Ｅｐとが重なっていることを表す方向提示コンテンツ画像Ｉｐ，Ｉｃを生成する。そして、生成された方向提示コンテンツ画像Ｉｐをプロジェクタ１６に供給して投影範囲Ｅｐに投影させ、また生成された方向提示コンテンツ画像Ｉｃを表示部２２に供給して表示させる。このとき生成される方向提示コンテンツ画像Ｉｐ，Ｉｃは、例えば図１３（ｂ）の二点鎖線３２′に示すように、黒円３２を楕円範囲３１の中央に配置したものとなる。

一方、上記認識されたカメラ１１の撮影範囲Ｅｃと、プロジェクタ１６の投影範囲Ｅｐとが、図２に示すように重なっていなかったとする。この場合支援用端末ＭＴは、ステップ５ｅに移行して、認識部２４により上記認識されたカメラ１１の撮像範囲Ｅｃを表す画像パターンの中心座標値ＣＯ（Ｘ１，Ｙ１）を算出すると共に、プロジェクタ１６の投影範囲Ｅｐを表す画像パターンの中心座標値ＰＯ（Ｘ２，Ｙ２）を算出する。

上記各中心座標値ＣＯ（Ｘ１，Ｙ１）、ＰＯ（Ｘ２，Ｙ２）の算出は次のように行われる。
すなわち、先ず全方位カメラ１５の撮影範囲Ｅｏを図１１に示すように空間座標系Ｘ，Ｙで表す。このような空間座標系Ｘ，Ｙにより表されるパノラマ画像情報において、いま仮にカメラ１１の撮像範囲Ｅｃ及びプロジェクタ１６の投影範囲Ｅｐがそれぞれ図１２（ａ）に示す位置に撮影されていたとする。

このとき、パノラマ画像の水平方向の長さをＬＸ、垂直方向の長さをＬＹとし、さらに空間座標の基準点からカメラ１１の撮像範囲Ｅｃの端部までの距離をＬ１、プロジェクタの投影範囲Ｅｐの端部までの距離をＬ２とすると共に、カメラ１１の撮像範囲Ｅｃの水平方向の長さをＬＣ、プロジェクタの投影範囲Ｅｐの水平方向の長さをＬＰとすると、カメラ１１の撮像範囲Ｅｃの中心座標値ＣＯ（Ｘ１，Ｙ１）のＸ１と、プロジェクタ１６の投影範囲Ｅｐの中心座標値ＰＯ（Ｘ２，Ｙ２）のＸ２はそれぞれ、以下の式により算出される。
Ｘ１＝Ｌ１＋（ＬＣ／２）
Ｘ２＝Ｌ２＋（ＬＰ／２）
また、カメラ１１の撮像範囲Ｅｃの中心座標値ＣＯ（Ｘ１，Ｙ１）のＹ１と、プロジェクタ１６の投影範囲Ｅｐの中心座標値ＰＯ（Ｘ２，Ｙ２）のＹ２についても、同様に算出される。

かくして、カメラ１１の撮像範囲Ｅｃの中心座標値ＣＯ（Ｘ１，Ｙ１）と、プロジェクタ１６の投影範囲Ｅｐの中心座標値ＰＯ（Ｘ２，Ｙ２）が算出される。図１２（ｂ）にその算出結果の一例を示す。なお、上記空間座標上で表される各長さは、画像の大きさを表すものであるためここではピクセルにより表すが、画像の大きさを表す単位を統一的に用いるのであれば、如何なる単位を用いても問題はない。

次に、支援用端末ＭＴはステップ５ｆに移行し、認識部２４により上記算出された各中心座標値ＣＯ（Ｘ１，Ｙ１）、ＰＯ（Ｘ２，Ｙ２）を表示処理部２５に供給すると共に、通信ネットワークＮＷを介して現場側システム１の表示処理部１８へ送信する。上記各中心座標値ＣＯ（Ｘ１，Ｙ１）、ＰＯ（Ｘ２，Ｙ２）を受け取ると、現場側システム１の表示処理部１８はステップ５ｇにより方向提示コンテンツ画像Ｉｐを生成してプロジェクタ１６に供給する。また、サポート側システムの表示処理部２５は、ステップ５ｈにより方向提示コンテンツ画像Ｉｃを生成して表示部２２に供給する。

以下、図１３を用いて上記方向提示コンテンツ画像Ｉｐ，Ｉｃの生成手法を説明する。先ずプロジェクタ１６の投影範囲Ｅｐにおける方向提示コンテンツ画像Ｉｐの表示位置とその大きさ、及び表示部２２のカメラ画像表示領域における方向提示コンテンツ画像Ｉｃの表示位置とその大きさは、予め設定される。

例えば、図１３（ａ），（ｂ）に示すように方向提示コンテンツ画像Ｉｐの表示位置はプロジェクタ１６の投影範囲Ｅｐの中央上端部に設定される。また、方向提示コンテンツ画像Ｉｐの形状は人の目を模した楕円形状に設定される。方向提示コンテンツ画像Ｉｐは、楕円形の範囲３１内を白く描画し、その内部に人の目の黒目を模した黒円３２を配置する。そして、提示方向に応じて、この黒円３２の中心３３が上記楕円範囲３１内に設定された楕円軌跡３４に沿って移動するように描画する。図１４はその一例を示すもので、黒円３２はその中心３３が、白く描画した楕円形の中心（長軸と短軸との交点）Ｏ（Ｏｘ，Ｏｙ）とカメラ１１撮影範囲Ｅｃの座標中心ＣＯ（Ｘ１，Ｙ１）とを結ぶ直線と、上記楕円形の軌跡３４とが交差する点に位置するように描画される。

そして、上記のように生成された方向提示コンテンツ画像Ｉｐは、ステップ５ｉにおいてプロジェクタ１６により現場作業員の目視範囲Ｅｐに投影される。図９（ａ）は、その表示結果の一例を示すもので、カメラ１１の撮影範囲Ｅｃが現場作業員の目視範囲Ｅｐの右方向に位置する場合を示している。

したがって、現場作業員は上記方向提示コンテンツ画像Ｉｐによりカメラ１１の撮影範囲Ｅｃの方向を把握することができる。そして、自身の頭の向きを右方向に回転させるか又は体ごと右方向へ平行移動すれば、自身の目視範囲Ｅｐをカメラ１１の撮影範囲Ｅｃに一致させることができる。図９（ｂ）は上記移動に伴う方向提示コンテンツ画像Ｉｐの変化の例を示すものである。

また、このときサポート側システム２の支援用端末ＭＴにおいては、表示処理部２５により黒円３２の位置が左寄りに位置する方向提示コンテンツ画像Ｉｃが生成され、この生成された方向提示コンテンツ画像Ｉｃが表示部２２の表示画面ＧＳに表示される。図１０（ａ）にその表示結果の一例を示す。そして、この状態で上記したように現場作業員が頭の向きを右方向に回転させるか又は体ごと右方向へ平行移動すると、この移動に伴い方向提示コンテンツ画像Ｉｃは図１０（ｂ）のように変化する。

一方、支援用端末ＭＴの表示部２２に、例えば図８（ａ）のように黒円３２が楕円範囲３１の左寄りに位置した方向提示コンテンツ画像Ｉｃが表示されると、サポート要員は上記方向提示コンテンツ画像Ｉｃにより、現場作業員の目視範囲Ｅｐがカメラ１１の撮影範囲Ｅｃの左方向にあると把握できる。

そして、この状態でサポート要員が入力部２１のジョイスティックを操作すると、支援用端末ＭＴは図４に示すようにステップ４ｄからステップ４ｅに移行し、ここで次のようにカメラ１１の姿勢制御処理を実行する。図６はその制御手順と制御内容を示すフローチャートである。

すなわち、上記入力部２１のジョイスティックが操作されると、入力データ処理部２５において上記操作方向と操作量に応じてカメラ制御情報が生成される。このカメラ制御情報はステップ６ａにより通信ネットワークＮＷを介して現場側システム１の駆動制御部１３に伝送される。駆動制御部１３は、上記伝送されたカメラ制御情報をもとにカメラの姿勢を可変制御するための駆動信号を発生し、この駆動信号をカメラ駆動部１２に供給する（ステップ６ｂ）。カメラ駆動部１２は、ステップ６ｃにおいて上記駆動信号により動作してカメラ１１の姿勢を変化させる。

かくして、カメラ１１の撮影方向は左方向に移動し、この結果カメラ１１の撮影範囲Ｅｃは現場作業員の目視範囲Ｅｐと一致する。図８（ｂ）は上記カメラ１１の姿勢の変化に伴う方向提示コンテンツ画像Ｉｃの変化の例を示すものである。
また、このとき現場側システム１では、上記サポート要員によるカメラ１１の左旋回操作Ａにより、方向提示コンテンツ画像Ｉｐは図７（ａ）に示す状態から図７（ｂ）に示す状態に変化する。

以上述べたようにこの実施形態では、現場側システム１において、作業空間に、カメラ１１の撮影範囲Ｅｃを表す画像を撮影範囲提示機１４により投影すると共に、現場作業員の目視範囲Ｅｐを示す画像を投影範囲提示機１７により投影し、これらの画像が投影された作業空間を全方位カメラ１５により撮影してその撮影画像情報を通信ネットワークＮＷを介してサポート側システム２へ伝送する。サポート側システム２では、認識部２４により、上記伝送された全方位カメラ１５の撮影画像情報から上記カメラ１１の撮影範囲Ｅｃ及び現場作業員の目視範囲Ｅｐをそれぞれ認識してその座標中心を算出する。そして、その算出結果をもとに表示処理部２５でカメラ１１の撮影範囲Ｅｃから現場作業員の目視範囲Ｅｐへの方向を示す方向提示コンテンツ画像Ｉｃを生成し、この生成された方向提示コンテンツ画像Ｉｃを表示部２２に表示する。またそれと共に、上記座標中心の算出結果を通信ネットワークＮＷを介して現場側システム１の表示処理部１８に伝送し、この表示処理部１８により現場作業員の目視範囲Ｅｐからカメラ１１の撮影範囲Ｅｃへの方向を示す方向提示コンテンツ画像Ｉｐを生成し、この生成された方向提示コンテンツ画像Ｉｐをプロジェクタ１７により現場作業員の目視範囲Ｅｐへ投影するようにしている。

したがって、現場作業員は自身の目視範囲Ｅｐに投影された方向提示コンテンツ画像Ｉｐによりカメラ１１の撮影範囲Ｅｃの方向をスムーズに把握することができ、これにより例えば自身の頭の向きを右方向に回転させるか又は体ごと右方向へ平行移動することで、自身の目視範囲Ｅｐをカメラ１１の撮影範囲Ｅｃに迅速に一致させることができる。

また、サポート要員は上記表示部２２に表示された方向提示コンテンツ画像Ｉｃにより、現場作業員の目視範囲Ｅｐの方向をスムーズに把握することができ、これにより例えばカメラ１１の姿勢を遠隔操作することでカメラ１１の撮影範囲Ｅｃを現場作業員の目視範囲Ｅｐに迅速に一致させることができる。

さらにこの実施形態では、全方位カメラ１５の撮影画像情報をもとにカメラ１１の撮影範囲Ｅｃ及び現場作業員の目視範囲Ｅｐをそれぞれ認識するようにしているので、現場作業員が作業空間のどの方向を向いていても、またカメラ１１が作業空間のどの方向を撮影していても、その方向を確実に検出して提示することができる。

なお、この発明は上記実施形態に限定されるものではない。例えば、全方位カメラ１５の撮影画像情報から求めたカメラ１１の撮影範囲Ｅｃ及び現場作業員の目視範囲Ｅｐの座標中心をもとに、カメラ１１の撮影範囲Ｅｃと現場作業員の目視範囲Ｅｐとの距離を算出する。そして、方向と上記算出された距離を表す方向提示コンテンツ画像を生成して投影及び表示するようにしてもよい。例えば、図１３等に示したように人の目を模した方向提示コンテンツ画像Ｉｐ，Ｉｃを生成する場合には、楕円形範囲３１の中心から黒丸３２中心までの距離を上記算出された距離に比例して設定することにより、上記距離を表現する。なお、方向については前記実施形態と同じである。

このようにすると、現場作業員及びサポート要員はともに目視方向と同時に、カメラ１１の撮影範囲Ｅｃまでの距離、及び現場作業員の目視範囲Ｅｐまでの距離を認識することが可能となり、これにより現場作業員の目視範囲Ｅｐ及びカメラ１１の撮影範囲Ｅｃを迅速かつ正確に修正することが可能となる。

また、前記実施形態では人の目を模した方向提示コンテンツ画像Ｉｃ，Ｉｐを生成し投影及び表示するようにしたが、矢印等の他のマークを用いてもよく、また文字による方向提示メッセージを生成して投影及び表示するようにしてもよい。さらに前記実施形態では、現場側システム１及びサポート側システム２の両方において方向提示コンテンツ画像Ｉｃ，Ｉｐを投影及び表示するようにしたが、いずれか一方のみで投影又は表示するようにしてもよい。

さらに、現場作業員の目視範囲を検出する手段としては、例えば位置センサやジャイロなどを使用した方向センサを現場作業員に取着し、この方向センサにより現場作業員の目視方向を検出してその検出情報を通信ネットワークを介してサポート側システムに伝送するようにしてもよい。

さらに前記実施形態では、サポート側システム２の支援用端末ＭＴにおいてカメラ１１の撮影範囲Ｅｃ及び現場作業員の目視範囲Ｅｐをそれぞれ認識するようにしたが、例えば現場作業員が携帯する情報端末や、撮像装置或いは投影装置において認識するようにしてもよい。また方向提示コンテンツ画像Ｉｃ，Ｉｐは、現場側システム１及びサポート側システム２で別々に生成せずに、現場側システム１またはサポート側システム２のいずれか一方で統括的に生成するようにしてもよい。

その他、遠隔コミュニケーションの目的や種類、システム構成、撮像装置の種類や構成、投影装置の種類や構成、通信ネットワークの種類や構成、方向判定手段等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

この発明に係わる遠隔コミュニケーションシステムの一実施形態を示す概略構成図。 図１に示したシステムの要部を説明するための図。 図１に示したシステムを実現する構成の一例を示すブロック図。 図３に示したシステムによる方向提示制御の手順と内容を示すフローチャート。 図４に示した方向提示制御のうち表示処理の手順と内容を示すフローチャート。 図４に示した方向提示制御のうちカメラ駆動制御処理の手順と内容を示すフローチャート。 図３に示したシステムの現場側における方向提示動作の一例を説明するための図。 図３に示したシステムによるサポート側における方向提示動作の一例を説明するための図。 図３に示したシステムの現場側における方向提示動作の別の例を説明するための図。 図３に示したシステムのサポート側における方向提示動作の別の例を説明するための図。 図３に示したシステムにおける全方位カメラの撮影範囲を説明するための図。 図１１に示した全方位カメラにより撮像された画像からカメラ撮影範囲及びプロジェクタ投影範囲の座標位置を計算する手法を説明するための図。 図１２に示した方法により計算された座標値をもとに、方向提示コンテンツの投影画像及び表示画像を生成する動作を説明するための図。 図１３により生成される方向提示コンテンツの投影画像及び表示画像における黒円の位置の設定手法を説明するための図。 図３に示したシステムで使用する全方位カメラの概略構成を説明するための図。 図３に示したシステムで使用する全方位カメラの動作原理を説明するための図。

符号の説明

１…現場側システム、２…サポート側システム、ＮＷ…通信ネットワーク、ＣＭ…撮影装置、ＰＪ…投影装置、ＭＴ…支援用端末、１１…カメラ、１２…カメラ駆動部、１３…駆動制御部、１４…撮影範囲提示機、１５…全方位カメラ、１６…プロジェクタ、１７…投影範囲提示機、１８…表示処理部、１９…現場システムのネットワークＩ／Ｆ、２１…入力部、２２…表示部、２３…入力データ処理部、２４…認識部、２５…表示処理部、２６…画像切替部、２７…サポート側システムのネットワークＩ／Ｆ。

Claims (10)

1. 異なる空間に存在する第１の話者と第２の話者が、第１の話者が存在する空間内の任意の対象を撮影手段により撮影してその撮影画像情報を第２の話者が存在する空間に設置された表示手段に表示することにより、上記対象を共に目視しながらコミュニケーションを行う遠隔コミュニケーションシステムにおいて、
   前記第１の話者が存在する空間内における、前記撮影手段の撮影範囲及び第１の話者の目視範囲をそれぞれ検出する検出手段と、
   前記検出された撮影範囲及び目視範囲をもとに、当該目視範囲から撮影範囲への方向を判定する判定手段と、
   前記判定された方向を表す画像情報を生成し、この生成された画像情報を前記第１の話者の目視範囲内に投影する投影手段と
   を具備することを特徴とする遠隔コミュニケーションシステム。
2. 前記検出された撮影範囲及び目視範囲をもとに、当該撮影範囲と目視範囲との距離を算出する手段を、さらに具備し、
   前記投影手段は、前記判定された方向と前記算出された距離を表す画像情報を生成し、この生成された画像情報を前記第１の話者の目視範囲内に投影することを特徴とする請求項１記載の遠隔コミュニケーションシステム。
3. 異なる空間に存在する第１の話者と第２の話者が、第１の話者が存在する空間内の任意の対象を撮影手段により撮像してその撮影画像情報を前記第２の話者が存在する空間に設置された表示手段に表示することにより、上記対象を共に目視しながらコミュニケーションを行う遠隔コミュニケーションシステムにおいて、
   前記第１の話者が存在する空間内における、前記撮影手段の撮影範囲及び第１の話者の目視範囲をそれぞれ検出する検出手段と、
   前記検出された撮影範囲及び目視範囲をもとに、当該撮影範囲から目視範囲への方向を判定する判定手段と、
   前記判定された方向を表す画像情報を生成し、この生成された画像情報を前記撮影手段により得られる撮影画像情報と共に前記表示手段に表示させる表示制御手段と
   を具備することを特徴とする遠隔コミュニケーションシステム。
4. 前記検出された撮影範囲及び目視範囲をもとに、当該撮影範囲と目視範囲との距離を算出する手段を、さらに具備し、
   前記表示制御手段は、前記判定された方向と前記算出された距離を表す画像情報を生成し、この生成された画像情報を前記撮影手段により得られる撮影画像情報と共に前記表示手段に表示させることを特徴とする請求項３記載の遠隔コミュニケーションシステム。
5. 前記検出手段は、
   前記第１の話者が存在する空間に、前記撮影手段による撮影範囲を表す撮影範囲提示画像を投射する手段と、
   前記第１の話者が存在する空間に、当該第１の話者の目視範囲を表す目視範囲提示画像を投射する手段と、
   前記第１の話者が存在する空間を撮影する全方位撮影手段と、
   前記全方位撮影手段により得られる撮影画像情報から、前記撮影範囲提示画像及び目視範囲提示画像を検出する手段と
   を備えることを特徴とする請求項１又は３記載の遠隔コミュニケーションシステム。
6. 異なる空間に存在する第１の話者と第２の話者が、第１の話者が存在する空間内の任意の対象を撮影手段により撮影してその撮影画像情報を第２の話者が存在する空間に設置された表示手段に表示することにより、上記対象を共に目視しながらコミュニケーションを行う際に、
   前記第１の話者が存在する空間内における、前記撮影範囲及び第１の話者の目視範囲をそれぞれ検出する過程と、
   前記検出された撮影範囲及び目視範囲をもとに、当該目視範囲から撮影範囲への方向を判定する過程と、
   前記判定された方向を表す画像情報を生成し、この生成された画像情報を前記第１の話者の目視範囲内に投影する過程と
   を具備することを特徴とする方向提示方法。
7. 異なる空間に存在する第１の話者と第２の話者が、第１の話者が存在する空間内の任意の対象を撮影手段により撮影してその撮影画像情報を第２の話者が存在する空間に設置された表示手段に表示することにより、上記対象を共に目視しながらコミュニケーションを行う際に、
   前記第１の話者が存在する空間内における、前記撮影手段の撮影範囲及び第１の話者の目視範囲をそれぞれ検出する過程と、
   前記検出された撮影範囲及び目視範囲をもとに、当該撮影範囲から目視範囲への方向を判定する過程と、
   前記判定された方向を表す画像情報を生成し、この生成された画像情報を前記撮影画像情報と共に前記表示手段に表示させる過程と
   を具備することを特徴とする方向提示方法。
8. 前記検出する過程は、
   前記第１の話者が存在する空間に、前記撮影範囲を表す撮影範囲提示画像を投射する過程と、
   前記第１の話者が存在する空間に、当該第１の話者の目視範囲を表す目視範囲提示画像を投射する過程と、
   前記第１の話者が存在する空間の全方位を撮影する過程と、
   前記全方位の撮影により得られる撮影画像情報から、前記撮影範囲提示画像及び目視範囲提示画像を認識する過程と
   を備えることを特徴とする請求項６又は７記載の方向提示方法。
9. 異なる空間に存在する第１の話者と第２の話者が、第１の話者が存在する空間内の任意の対象を撮影手段により撮影してその撮影画像情報を第２の話者が存在する空間に設置された表示手段に表示することにより、上記対象を共に目視しながらコミュニケーションを行い、かつ前記第１の話者の目視範囲に画像を投影する投影手段と、コンピュータとを備えた遠隔コミュニケーションシステムで使用される方向提示プログラムであって、
   前記第１の空間内における、前記撮影範囲及び第１の話者の目視範囲をそれぞれ検出する処理と、
   前記検出された撮影範囲及び目視範囲をもとに、当該目視範囲から撮影範囲への方向を判定する処理と、
   前記判定された方向を表す画像情報を生成する処理と、
   前記生成された画像情報を、前記投影手段により第１の話者の目視範囲に投影させる処理と
   を、前記コンピュータに実行させることを特徴とする方向提示プログラム。
10. 異なる空間に存在する第１の話者と第２の話者が、第１の話者が存在する空間内の任意の対象を撮影手段により撮影してその撮影画像情報を第２の話者が存在する空間に設置された表示手段に表示することにより、上記対象を共に目視しながらコミュニケーションを行う、コンピュータを備えた遠隔コミュニケーションシステムで使用される方向提示プログラムであって、
    前記第１の空間内における、前記撮影手段の撮影範囲及び第１の話者の目視範囲をそれぞれ検出する処理と、
    前記検出された撮影範囲及び目視範囲をもとに、当該撮影範囲から目視範囲への方向を判定する処理と、
    前記判定された方向を表す画像情報を生成する処理と、
    前記生成された画像情報を、前記撮影手段により得られる撮影画像情報と共に前記表示手段に表示させる処理と
    を、前記コンピュータに実行させることを特徴とする方向提示プログラム。

Images