JP2004062756A

JP2004062756A - 情報提示装置および情報処理方法

Info

Publication number: JP2004062756A
Application number: JP2002223279A
Authority: JP
Inventors: Toshihiro Kobayashi; 小林　俊広; Masakazu Fujiki; 藤木　真和
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-07-31
Filing date: 2002-07-31
Publication date: 2004-02-26
Anticipated expiration: 2022-07-31
Also published as: JP4065507B2; US20040145594A1; US20050280661A1; US7053916B2

Abstract

【課題】現実世界および仮想世界を合成した映像においてアノテーションを合成することにより、所定の情報を利用者に提供する。
【解決手段】操作入力部と、利用者の視点の位置姿勢を計測する検出部と、仮想世界モデルデータ、現実世界モデルデータ、仮想世界映像を生成するために必要なデータを蓄積するモデルデータ蓄積部と、現実世界および仮想世界に付加して表示するために必要なデータを蓄積するアノテーションデータ蓄積部と、前記ユーザ視点位置姿勢検出部、前記仮想世界データ蓄積部、前記アノテーションデータ蓄積部の情報を使用して仮想世界の映像を生成する仮想映像生成部と、利用者の視点から見た現実世界の映像を撮像するユーザ視点映像入力部と、前記仮想映像生成部、前記ユーザ視点映像入力部で得られた映像を合成した映像、あるいは前記ユーザ視点映像入力部で得られた映像を利用者の映像表示装置に表示する映像表示部とを具備する。
【選択図】　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、現実世界および仮想世界を合成した映像を提示するものに関する。
【０００２】
【従来の技術】
現実世界と仮想世界とを違和感なく自然に結合する複合現実感（ＭＲ：　Ｍｉｘｅｄ　Ｒｅａｌｉｔｙ）の技術を応用した装置が盛んに提案されている。中でもヘッドマウントディスプレイ（ＨＭＤ：　Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）を装着したユーザが観測している現実世界や仮想世界に対して、仮想の情報を重畳してユーザに提示するような装置では、工事やメンテナンスなどの作業性を向上させることが期待できる。例えば、ユーザが装着したＨＭＤ上に、現実世界の映像に重畳して仮想の旗を表示することで、測量作業を支援する方法が提案されている。しかし、そのような装置の多くは、単一のユーザのみが使用することを前提としており、複数人が一つの複合現実空間（ＭＲ空間）を共有するような、会議や講演、協調を必要とする作業などには、必ずしも適したものであるとは言えなかった。
【０００３】
【発明が解決しようとする課題】
複数人が一つのＭＲ空間を共有するかたちで会議や講演を行ったり、協調を必要とする作業などを行う際には、複数人で同一の対象を観測し、その対象物に関する情報を共有することが必要である。
【０００４】
本発明は、現実世界および仮想世界を合成した映像においてアノテーションを合成することにより、所定の情報を利用者に提供できるようにすることを目的とする。
【０００５】
例えば、あるユーザが他のユーザに注目させたい対象を伝える手段、ユーザが注目すべき対象の場所やその方向を知る手段、あるいは、あるユーザが現在注目している対象が他のユーザから観測されているか否かを知る手段を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するために本発明は以下の構成を有する。
【０００７】
本願請求項１の発明は、利用者の操作を入力するユーザ操作入力部と、利用者の視点の位置姿勢を計測するユーザ視点位置姿勢検出部と、仮想世界モデルデータ、現実世界モデルデータ、仮想世界映像を生成するために必要なデータを蓄積するモデルデータ蓄積部と、
現実世界および仮想世界に付加して表示するために必要なデータを蓄積するアノテーションデータ蓄積部と、前記ユーザ視点位置姿勢検出部、前記仮想世界データ蓄積部、前記アノテーションデータ蓄積部の情報を使用して仮想世界の映像を生成する仮想映像生成部と、
利用者の視点から見た現実世界の映像を撮像するユーザ視点映像入力部と、前記仮想映像生成部、前記ユーザ視点映像入力部で得られた映像を合成した映像、あるいは前記ユーザ視点映像入力部で得られた映像を利用者の映像表示装置に表示する映像表示部とを具備することを特徴とする。
【０００８】
本願請求項２３の発明は、利用者の視点情報を入力し、予め保持されている仮想世界データを用いて、前記視点情報に応じて仮想世界映像を生成し、注目対象に関するアノテーションを生成し、現実画像の映像、前記生成された仮想世界映像および前記生成されたアノテーションが合成された映像を生成することを特徴とする。
【０００９】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な実施形態について説明する。
【００１０】
図１には、本実施形態の情報提示装置、および情報提示方法が適用される一実施の形態の全体構成を示す。
【００１１】
ユーザ操作入力部１０１は、例えば押しボタンスイッチ、マウス、ジョイスティックなどの入力装置からなり、情報提示装置１００の使用者であるユーザが操作することによって、操作内容に応じた制御情報を仮想映像生成部１０５へ送る。
【００１２】
ユーザ視点位置姿勢計測部１０２は、例えば磁気センサや光学式センサなどの位置姿勢計測装置からなり、ユーザの視点の位置姿勢を６自由度で計測し、仮想映像生成部１０５へ送る。位置姿勢計測装置をユーザの視点に設置することは一般的に困難であるため、ユーザ視点位置姿勢計測部１０２は、位置姿勢計測装置の出力結果をもとに、ユーザの視点の位置姿勢を算出する機能を持つ。例えば、位置姿勢計測装置をユーザの頭部に固定することによって、位置姿勢計測装置の出力とユーザの視点での位置姿勢との関係は、常に一定に保たれ、定式で表現される。この定式をあらかじめ求めておくことにより、位置姿勢計測装置の出力からユーザ視点での位置姿勢を算出する。また，ユーザ視点映像入力部１０６によって現実世界の映像を取り込み、位置姿勢計測装置の出力結果の誤差を補正するための画像処理を行ってもよい。この画像処理は、例えば、現実空間上で三次元座標が既知である複数の特徴点について、画像上での位置を検出し、位置姿勢計測装置の出力結果から計算される特徴点の画像上の位置との比較を行うことで、位置姿勢計測装置の誤差を算出し、その誤差を打ち消すように位置姿勢計測装置の出力結果を補正する処理である。また，この画像処理のみからユーザの視点の位置姿勢を算出してもよい。
【００１３】
モデルデータ蓄積部１０３は、例えばハードディスクやＣＤ−ＲＯＭ等の補助記憶装置または媒体からなり、仮想世界をコンピュータグラフィックス（ＣＧ：Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）で描画するために必要な仮想世界モデルデータと、現実世界と仮想世界とを正しく合成するために必要な現実世界モデルデータと、仮想世界映像を生成するために必要なデータを保持し、蓄積する。仮想世界モデルデータには、仮想世界上に配置される仮想のＣＧ物体のポリゴンを構成する頂点の三次元座標、面の構成情報、ＣＧ物体の識別情報、色情報、テクスチャ情報、ＣＧ物体の大きさ、ＣＧ物体が仮想世界中に配置される位置姿勢情報等が含まれる。現実世界モデルデータには、仮想世界と融合する現実世界に存在する物体のポリゴンを構成する頂点の三次元座標、面の構成情報、識別情報、物体の大きさや配置される位置姿勢情報等が含まれる。仮想世界映像を生成するために必要なデータには、ユーザ視点映像取得部１０６が備える撮像装置の撮像素子の大きさや角度、レンズの画角や歪み係数等の内部パラメータ等が含まれる。撮像装置モデルデータ蓄積部１０３に蓄積されている情報は仮想映像生成部１０５に送られる。モデルデータ蓄積部１０３は情報提示装置１００の内部に備えられるのに限定されず、情報提示装置１００の外部に備え、伝送路２００を通じて仮想映像生成部１０５にデータを伝送する構成でもよい。
【００１４】
アノテーションデータ蓄積部１０４は、例えばハードディスクやＣＤ−ＲＯＭ等の補助記憶装置または媒体からなり、現実世界や仮想世界に表示する付加情報であるアノテーションデータを保持し、蓄積する。アノテーションデータには現実世界および仮想世界の物体が配置されている位置や姿勢の情報、物体の識別情報、物体の情報をユーザに示すためのテキストや記号、画像等のデータが含まれる。アノテーションデータ蓄積部１０４は情報提示装置１００の内部に備えられるのに限定されず、情報提示装置１００の外部に備え、伝送路２００を通じて仮想映像生成部１０５にデータを伝送する構成でもよい。
【００１５】
仮想映像生成部１０５は、コンピュータのＣＰＵやＭＰＵ等で実現され、ユーザ視点位置姿勢獲得部１０２から得られるユーザの視点の位置姿勢情報に基づき、仮想世界でのユーザの視点を設定し、その視点からモデルデータ蓄積部１０３が保持するモデルデータをＣＧで描画して、ユーザ視点から見た仮想世界の映像を生成する。さらに、仮想映像生成部１０５は伝送路２００にデータを送信する機能および伝送路２００からデータを受信する機能を持ち、伝送路２００を通じて、他の情報提示装置１００の仮想映像生成部１０５と相互に接続し、必要な情報の交換を行う。複数のユーザがそれぞれ情報提示装置１００を利用することにより、複数人が同一のＭＲ空間を共有することが可能である。図２は複数のユーザが情報提示装置１００を利用する場合の構成を示した図である。仮想映像生成部１０５は、ユーザ視点位置姿勢計測部１０２から得られたユーザの視点の位置姿勢や、伝送路２００から得た他のユーザの視点の位置姿勢をもとに、アノテーションデータ蓄積部１０４で保持されているアノテーションデータに基づいて、ユーザに提示するべきアノテーションを生成し、仮想世界の画像上に重畳して表示する。生成されるアノテーションは二次元のものに限られない。三次元形状を有するアノテーションを生成し、モデルデータ蓄積部１０３が保持している仮想世界モデルと共にＣＧとして描画してもよい。また、仮想映像生成部１０５はユーザ操作入力部１０１から送られるユーザの操作情報に従って仮想世界を操作したり、生成されるアノテーションを制御する機能を持つ。
【００１６】
ユーザ視点映像入力部１０６は、ＣＣＤカメラなどの１つまたは２つの撮像装置を持ち、画像取り込み装置を介してユーザの目に映る現実世界の映像を獲得し、映像表示部１０７へ送られる。映像表示部１０７に光学シースルー型のＨＭＤを備える場合においては、ユーザは現実世界を直接観測することが可能であり、ユーザ視点映像入力部１０６は不要となる。
【００１７】
映像表示部１０７は、ＨＭＤやディスプレイなどの映像表示装置を備え、ユーザ視点映像獲得部１０６によって獲得されたユーザが見る現実世界の映像と、仮想映像生成部１０５によって生成された仮想世界の映像とを合成して、その合成映像をユーザの目の前に表示する。画像表示装置に光学シースルー型のＨＭＤを用いる場合においては、仮想映像生成部１０５によって生成された仮想世界の映像をユーザの目の前に表示する。
【００１８】
伝送路２００は、有線または無線のコンピュータネットワークを実現する媒体からなり、複数の情報提示装置１００を接続し、情報提示装置１００が相互に交換するデータが流される。
【００１９】
以上の様な構成を備えた本実施形態の制御について、以下説明する。図３は本実施形態の情報提示装置における処理の手順を説明するフローチャートである。
【００２０】
ステップＳ０００において情報提示装置が起動され、初期化のために必要な処理が行われる。
【００２１】
ステップＳ１００では、ユーザがユーザ操作入力部１０１に対して行った操作が認識され、操作内容に応じた制御信号に変換された上で仮想画像描画部１０５へと送られる。
【００２２】
ステップＳ２００では、ユーザの視点での位置姿勢情報がユーザ視点位置姿勢計測部１０２において計測され、仮想画像描画部１０５へと送られる。
【００２３】
ステップＳ３００では、ユーザ視点映像入力部１０６において、ユーザの視点から見える現実世界の映像が取り込まれ、画像描画部１０７に送られる。画像描画部１０７の画像表示装置に光学シースルー型のＨＭＤを備える場合には、ステップＳ２００の処理は不要となる。
【００２４】
ステップＳ４００では、仮想映像生成部１０５において、伝送路２００から通信データを受信する。この通信データには、例えば情報提示装置１００を使用している各ユーザの識別番号、各ユーザを識別できる名前、各ユーザ視点の位置姿勢情報、各ユーザの操作情報、アノテーションデータなどが含まれる。
【００２５】
ステップＳ５００では、仮想映像生成部１０５において、ステップＳ１００において得られたユーザの操作情報、ステップＳ２００において獲得されたユーザ視点の位置姿勢情報、ステップＳ４００において得られた他のユーザに関する情報をもとに、ユーザに提示するアノテーションを決定する。
【００２６】
ステップＳ５００において、ユーザが注目している現実世界あるいは仮想世界の対象物を他のユーザに伝え、その対象物を注目させるようにすると、複数のユーザがＭＲ空間内で情報を共有し、会議や講演、協調を必要とする作業などを行う上で非常に有用である。以下にその手段を示す。
【００２７】
まず、アノテーションデータ蓄積部１０４に蓄積されている現実世界および仮想世界の物体の情報から、現在ユーザが注目している対象物に関するデータを検索し、選択する。ユーザが注目している対象物を、情報提示装置１００が自動的に認識して選択してもよいし、またはユーザが入力装置１０１を操作して選択してもよい。
【００２８】
ユーザが注目している対象を自動で認識する方法として、ステップＳ２００で取得されたユーザ視点の位置姿勢情報と、モデルデータ蓄積部１０３が保持している撮像装置の内部パラメータを用いることが考えられる。
【００２９】
ステップＳ５００において、撮像装置の内部パラメータと、ユーザの視点の位置姿勢情報をもとに、アノテーションデータ蓄積部１０４からユーザの視界の内側に存在する対象物の候補すべてを取り出す。これらの候補について、ユーザの視線と対象物を代表する点とのユークリッド距離を算出し、ユークリッド距離を最小とするような候補を注目対象と見なすことができる。
【００３０】
ある対象がユーザの視界の内側にあるかどうかの判定には、例えば、ユーザ視点位置姿勢計測部１０２から得られたユーザの視点の位置姿勢情報と、ユーザ視点映像取得部１０６が備える撮像装置の内部パラメータから算出する方法が考えられる。ユーザの視点の位置姿勢から、撮像装置の内部パラメータを用いて、対象を画像面上に射影する。画像面上に射影した対象の座標が、画像の大きさで規定されるある範囲内に存在すれば、ユーザの視界の内側にあることがわかる。
【００３１】
撮像装置の内部パラメータから作られる行列を
【外１】

とする。ここでα_ｕ，α_Ｖは撮像装置の画素の大きさ、θは撮像素子の縦軸と横軸のなす角、ｕ_０，ｖ_０は画像中心の座標を表している。ユーザの視点の位置姿勢から作られる行列を
Ｐ＝（Ｒｔ）
とする。Ｒはユーザの視点の姿勢を表す３行３列の回転行列、ｔはユーザの視点の位置を表す３次元のベクトルを表している。対象の３次元座標を同次座標による表現を用いてｘ＝（Ｘ，Ｙ，Ｚ，１）^Ｔ、対象の画像面上に射影された点の座標を同次座標による表現を用いてｕ＝（ｕ，ｖ，ｗ）^Ｔとする。
【００３２】
ｕ＝ＫＰ^−１ｘ
を計算することによってｕを得ることができる。画像のｕ軸方向の範囲を［ｕ_ｍｉｎ，ｕ_ｍａｘ］、ｖ軸方向の範囲を［ｖ_ｍｉｎ，ｖ_ｍａｘ］とすると、ｕに関して、
【００３３】
【外２】

【００３４】
【外３】

【００３５】
を満たせば、対象がユーザの視界の内側にあることがわかる。
【００３６】
ユーザの視点の位置姿勢から作られる直線と対象物を代表する点との距離を算出するためには、対象物を代表する点を通りユーザの視線と交わるベクトルを求め、そのベクトルの長さの最小値を計算する方法が考えられる。
【００３７】
ユーザの視線を
ｖ＝ｔ＋ｋｐ
と表現する。ｔはユーザの視点の位置を表す３次元ベクトル、ｐはユーザの視点での姿勢を表す３次元ベクトル、ｋは０でない実数である。
【００３８】
また、対象物を代表する点を３次元ベクトルで表現し、これをｂとする。ｂを通り、視線と直交するベクトルが視線と交わる点をｔ＋ｍｐとすると、ｔ＋ｍｐとｂとの距離を最小にするようなｍを求めればよく、このときの
【外４】

【００３９】
が視線と対象物を代表する点との距離となる。
【００４０】
これを計算すると
【外５】

となる。
【００４１】
ユーザが注目している対象物を、ユーザ操作入力部１０１が備える入力装置を操作することによって選択する方法として、マウスやジョイスティックなどの入力装置を用い、注目ユーザが映像表示部１０７で表示される合成映像を見ながら入力装置を操作する方法が考えられる。例えばマウスを操作して、カーソルを注目対象物が表示されている箇所に動かし、ボタンを押すことによって、所望の対象物を選択する。ユーザが操作したカーソルが、アノテーションデータ蓄積部１０４に保持されている物体が表示されている箇所に達したときには、その物体に関するアノテーションを生成することによって、ユーザはその物体のデータがアノテーションデータ蓄積部１０４に保持されているかどうかを確認することが可能である。
【００４２】
ユーザが注目している対象物について、対象物の識別番号は、ステップＳ６００において伝送路２００に伝送される。このとき同時に、ユーザの識別番号、位置姿勢情報についても送信される。また、ステップＳ４００において、伝送路２００から他のユーザが注目している対象物の識別番号と他のユーザの識別番号および位置姿勢情報が受信される。
【００４３】
あるユーザ（被注目ユーザと呼ぶ）が利用している情報提示装置１００の仮想映像生成部１０５において、他のユーザ（注目ユーザと呼ぶ）が注目している対象物が、被注目ユーザの視界の外側にある場合には、その対象物の方向を示すアノテーションを生成する。このアノテーションには、記号、文字列、画像などが含まれる。どの注目ユーザが注目している対象物なのかを容易に理解できるように、色、形状、字体などの属性を注目ユーザごとに変えたアノテーションや、注目ユーザを識別できる名前を示すアノテーションを生成するようにしてもよい。被注目ユーザはアノテーションで示される方向を向くことにより、注目ユーザが観測している対象物を見ることができるようになる。
【００４４】
注目ユーザが注目している対象物が被注目ユーザの視界の内側にある場合には、その対象物の情報を示すアノテーションを生成する。この際、他のアノテーションと色、形状、字体などの属性を変えることにより、目立ちやすくなる。
【００４５】
また、被注目ユーザがユーザ操作入力部１０１が備える入力装置を利用することで、生成するアノテーションの対象を制御することも可能である。例えば、ある特定の注目ユーザを選択し、その注目ユーザが注目している対象物に関するアノテーションだけを生成するようにしてもよいし、すべての注目ユーザが注目している対象物に関するアノテーションを生成するようにしてもよい。この選択は、被注目ユーザが入力装置を用いて行うのみに限られず、ステップＳ０００の前に、あらかじめ入力しておくようにしてもよい。
【００４６】
図４では、注目ユーザであるユーザ１がある建物を観測しており、その建物が被注目ユーザであるユーザ２の視界の外側にある場合において、ユーザ２に提示する画面には、その建物の方向を示す矢印と、ユーザ１の名前を示すアノテーションを生成して表示する様子を示している。
【００４７】
図５では、注目ユーザであるユーザ１がある建物を注目しており、その建物が被注目ユーザであるユーザ２の視界の内側にある場合において、ユーザ２に提示する画面には、建物の名前を示す黒字に白のテキストのアノテーションを生成し、他のアノテーション（黒地に白のテキスト）と異なる属性を持たせることによって、対象を目立ちやすくしている様子を示している。
【００４８】
注目ユーザが利用している情報提示装置１００において、注目対象物に関する情報のアノテーションを生成する際に、他のアノテーションとは色、形状、字体などの属性を変えることにより、目立ちやすくする。また、注目している対象物を被注目ユーザが観測しているか否かを示す情報のアノテーションを生成して、注目ユーザに提示する。
【００４９】
図６では、注目ユーザであるユーザ１がある建物を注目しており、ユーザ１に提示する画面には、建物の名前を示す黒地に白のテキストのアノテーションを生成し、他のアノテーションと異なる属性を持たせることによって、対象を目立ちやすくしている様子を示している。また、被注目ユーザが建物を観測しているか否かを示す情報のアノテーションを生成して表示している様子を示している。
【００５０】
また、各ユーザの情報提示装置１００において、現実世界においてユーザの視界の内側に他のユーザが存在する場合には、そのユーザを識別できる名前を示すアノテーションを生成する。存在しない場合には各ユーザが存在する方向を示す矢印と、そのユーザを識別できる名前を示すアノテーションを生成する。
【００５１】
図７はユーザ１の視界の内側に存在するユーザ４についてはその位置を示すアノテーションを生成し、視界の外側に存在するユーザ２とユーザ３については、存在する方向を示す矢印およびユーザを識別できる名前を示すアノテーションを生成して、ユーザ１の画面に表示している様子を示している。
【００５２】
ステップＳ６００では、仮想映像生成部１０５において、伝送路２００へ通信データを送信する。この通信データには、例えば情報提示装置１００を使用している各ユーザの識別番号、各ユーザを識別できる名前、各ユーザ視点の位置姿勢情報、各ユーザの操作情報、アノテーションデータなどが含まれる。
【００５３】
ステップＳ７００では、モデルデータ蓄積部１０３に蓄積されているモデルデータを、ステップＳ２００において獲得されたユーザ視点の位置姿勢情報に基づいてユーザの視点を設定し、その視点から見える仮想世界を描画する。さらにステップＳ６００において決定されたアノテーションを、仮想世界の映像上に重畳して描画する。
【００５４】
ステップＳ７００において、まず、ステップＳ２００において得られたユーザの視点位置からの現実世界の映像を背景として描画し、その上から仮想世界およびアノテーションを描画しても構わない。このとき、ステップＳ８００では、描画結果の映像を映像表示装置に出力するだけの処理を行う。
【００５５】
ステップＳ８００では、ステップＳ２００によって得られたユーザの視点位置からの現実世界の映像と、ステップＳ７００において生成された仮想世界の映像とを合成した映像を描画し、画像表示装置に出力する。映像表示部１０７が備える映像表示装置に光学シースルー型のＨＭＤを備えている場合には、仮想世界の映像を描画し、映像表示装置に出力する。
【００５６】
ステップＳ９００では、情報提示装置１００はステップＳ１００に戻る、もしくは終了する。
【００５７】
本実施形態によれば、あるユーザが他のユーザに注目させたい対象を伝えること、ユーザが注目すべき対象の場所やその方向を知ること、あるユーザが現在注目している対象が、他のユーザから観測されているか否かを知ることが可能となり、複数人が一つの複合現実空間を共有するかたちで会議や講演を行ったり、協調を必要とする作業などを行うことが容易になる。
【００５８】
（他の実施形態）
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６０】
【発明の効果】
本発明によれば、現実世界および仮想世界を合成した映像においてアノテーションを合成することにより、所定の情報を利用者に提供することができる。
【図面の簡単な説明】
【図１】実施形態による情報提示装置の概略構成を示すブロック図である。
【図２】実施形態において、複数の情報提示装置が伝送路を介して相互接続される場合の構成を示すブロック図である。
【図３】情報提示装置における処理の手順を説明するフローチャートである。
【図４】実施形態における、注目ユーザの注目している対象が被注目ユーザの視界の外にある場合において、被注目ユーザに対象の位置を知らしめる手段を説明する図である。
【図５】実施形態における、注目ユーザの注目している対象が被注目ユーザの視界の内にある場合において、被注目ユーザに対象とそれに関する情報を知らしめる手段を説明する図である。
【図６】実施形態における、注目ユーザの注目している対象が各被注目ユーザの視界の内にあるかどうかを注目ユーザに示す手段を説明する図である。
【図７】実施形態における、他のユーザが存在する場所をユーザに示す手段を説明する図である。

Claims

利用者の操作を入力するユーザ操作入力部と、
利用者の視点の位置姿勢を計測するユーザ視点位置姿勢検出部と、
仮想世界モデルデータ、現実世界モデルデータ、仮想世界映像を生成するために必要なデータを蓄積するモデルデータ蓄積部と、
現実世界および仮想世界に付加して表示するために必要なデータを蓄積するアノテーションデータ蓄積部と、
前記ユーザ視点位置姿勢検出部、前記仮想世界データ蓄積部、前記アノテーションデータ蓄積部の情報を使用して仮想世界の映像を生成する仮想映像生成部と、
利用者の視点から見た現実世界の映像を撮像するユーザ視点映像入力部と、
前記仮想映像生成部、前記ユーザ視点映像入力部で得られた映像を合成した映像、あるいは前記ユーザ視点映像入力部で得られた映像を利用者の映像表示装置に表示する映像表示部とを具備することを特徴とする情報提示装置。
前記情報提示装置は複数台備えられ、前記情報提示装置は、他の前記情報提示装置と伝送路を通じて接続され、通信データの交換を行うことを特徴とする、請求項１に記載の情報提示装置。
前記通信データは、前記情報提示装置を利用している各利用者の識別番号、各利用者を識別する名前、各利用者の視点の位置姿勢情報、各利用者の操作情報、アノテーションデータを含むことを特徴とする、請求項２に記載の情報提示装置。
前記モデルデータ蓄積部は、仮想世界モデルデータ、現実世界モデルデータ、仮想世界映像をするために必要なデータを蓄積できることを特徴とする、請求項１に記載の情報提示装置。
前記仮想世界モデルデータには、仮想世界上に配置される仮想のＣＧ物体のポリゴンを構成する頂点の三次元座標、面の構成情報、ＣＧ物体の識別情報、色情報、テクスチャ情報、ＣＧ物体の大きさ、ＣＧ物体が仮想世界中に配置される位置姿勢情報が含まれることを特徴とする、請求項４に記載の情報提示装置。
前記現実世界モデルデータには、仮想世界と融合する現実世界に存在する物体のポリゴンを構成する頂点の三次元座標、面の構成情報、識別情報、物体の大きさや配置される位置姿勢情報が含まれることを特徴とする、請求項４に記載の情報提示装置。
前記仮想世界映像を生成するために必要なデータには、前記視点映像取得部が備える撮像装置の撮像素子の大きさや角度、レンズの画角や歪み係数等の内部パラメータが含まれることを特徴とする、請求項４に記載の情報提示装置。
前記アノテーションデータ蓄積部は、現実世界や仮想世界に表示する付加情報であるアノテーションデータを蓄積できることを特徴とする、請求項１に記載の情報提示装置。
前記アノテーションデータには、現実世界および仮想世界の物体が配置されている位置姿勢の情報、物体の識別情報、物体の情報を利用者に示すためのテキスト・記号・画像情報が含まれることを特徴とする、請求項８に記載の情報提示装置。
前記仮想映像生成部は、前記ユーザ視点位置姿勢獲得部から得られる利用者の視点の位置姿勢情報を用いて、当該視点から前記モデルデータ蓄積部が保持する情報をコンピュータグラフィックスで描画することによって、利用者視点から見た仮想世界の映像を生成することを特徴とする、請求項１に記載の情報提示装置。
前記仮想映像生成部は、伝送路にデータを送信する機能および伝送路からデータを受信する機能を有することを特徴とする、請求項１０に記載の情報提示装置。
前記仮想映像生成部は、前記ユーザ視点位置姿勢計測部から得られた利用者の視点の位置姿勢や、伝送路から得た他の利用者の視点の位置姿勢をもとに、前記アノテーションデータ蓄積部が保持しているアノテーションデータの中から利用者に提示するべき情報を選択してアノテーションを生成し、当該アノテーションを仮想世界の映像に重畳する機能を有することを特徴とする、請求項１０に記載の情報提示装置。
前記アノテーションには、記号、文字列、画像情報が含まれることを特徴とする、請求項１２に記載の情報提示装置。
前記仮想映像生成部は、利用者が注目している対象を自動的に認識する機能を有することを特徴とする、請求項１０に記載の情報提示装置。
前記仮想映像生成部は、前記ユーザ操作入力部に入力された利用者の操作によって、当該利用者が注目している対象を認識する機能を有することを特徴とする、請求項１０に記載の情報提示装置。
前記仮想映像生成部は、他の一名以上の利用者が注目している対象物が、利用者の視界の外側にある場合に、当該対象物の方向を示すアノテーションを生成する機能を有することを特徴とする、請求項１０に記載の情報提示装置。
前記仮想映像生成部は、他の一名以上の利用者が注目している対象物が、利用者の視界の内側にある場合に、当該対象物の情報を示すアノテーションを生成する機能を有することを特徴とする、請求項１０に記載の情報提示装置。
前記仮想映像生成部は、色、形状、字体の属性を利用者ごとに変えたアノテーションおよび利用者を識別する名前を示すアノテーションを生成する機能を有することを特徴とする、請求項１０に記載の情報提示装置。
前記仮想映像生成部は、前記ユーザ操作入力部に入力された利用者の操作によって、生成するアノテーションを制御できる機能を有することを特徴とする、請求項１０に記載の情報提示装置。
前記仮想映像生成部は、利用者が注目している対象物の情報を示すアノテーションを、他のアノテーションと色、形状、字体の属性を変えて生成する機能を有することを特徴とする請求項１０に記載の情報提示装置。
前記仮想映像生成部は、利用者の視界の外側に存在する、他の利用者の方向を示すアノテーションを生成する機能を有することを特徴とする、請求項１０に記載の情報提示装置。
前記仮想映像生成部は、利用者の視界の内側に存在する、他の利用者の位置を示すアノテーションを生成する機能を有することを特徴とする、請求項１０に記載の情報提示装置。
利用者の視点情報を入力し、
予め保持されている仮想世界データを用いて、前記視点情報に応じて仮想世界映像を生成し、
注目対象に関するアノテーションを生成し、
現実画像の映像、前記生成された仮想世界映像および前記生成されたアノテーションが合成された映像を生成することを特徴とする情報処理方法。
前記注目対象が前記合成された映像外に存在する場合は、該注目対象が存在する方向を示すアノテーションが生成され合成されることを特徴とする請求項２３記載の情報処理方法。
前記注目対象が前記合成された映像内に存在する場合は、該注目対象に対する付加情報を示し、他のアノテーションとは属性が異なるアノテーションが生成され合成されることを特徴とする請求項２３記載の情報処理方法。
前記注目対象を他の利用者が観測しているかどうかを示すアノテーションが生成され合成されることを特徴とする請求項２３記載の情報処理方法。
他の利用者の位置を示すアノテーションが生成され合成されることを特徴とする請求項２３記載の情報処理方法。
請求項２３乃至２７のいずれかに記載の情報処理方法を実現するためのプログラム。