JP2007219082A - 複合現実感表示システム - Google Patents

Abstract

【課題】 ビデオシースルー型ＨＭＤと仮想空間画像生成装置との間の伝送回路規模の削減および伝送ケーブル本数の削減を図った複合現実感を利用した表示システムを得ること。
【解決手段】 ビデオシースルー型ＨＭＤを使用した複合現実感表示システムにおいて、仮想空間画像生成装置で生成した仮想空間画像とビデオシースルー型ＨＭＤで撮影した画像とを合成する合成処理部をビデオシースルー型ＨＭＤ側に備え、撮影画像の一部のみを指標検出のために仮想空間画像生成装置に伝送すること。
【選択図】図１

Description

本発明は、ビデオカメラ等で撮影して得た現実空間画像と、コンピュータグラフィックス（ＣＧ）等で生成した仮想空間画像とを合成した合成画像を表示ユニットに表示し、観察する際に好適な表示システムに関するものである。

従来、現実空間を映し出した現実空間画像と、ＣＧ等で生成した仮想空間画像とを合成した合成画像を表示する複合現実感（Mixed Reality）を利用した表示システムが種々と提案されている（特許文献１，２）。

この複合現実感を利用した表示システムでは、撮像手段と表示手段を備えたビデオシースルー型の頭部装着型表示装置（ＨＭＤ）で画像を合成している。

合成に際しては、画像を合成する際の基準となる指標（マーカー）を含む現実空間画像を映し出した撮影画像データを作成する。この画像データの全てを、コンピューター等の仮想空間画像生成装置に送る。

そしてそこで指標を検出し、指標の大きさや位置座標等を利用して生成した仮想空間画像と現実空間画像との合成を行なう。そして合成画像をビデオシースルー型の頭部装着型表示装置の表示手段に送ることで複合現実感を利用した表示システムを実現している。

特許文献１では、ビデオカメラで得た実画像中の映像を分解し、この映像とコンピュータグラフィックスとを頭部装着型ディスプレイ側の画像合成装置で合成を行なっている。そしてこの合成画像を観察する構成を開示している。

また、特許文献２では現実空間画像と仮想空間画像とを合成する際に生じる双方の画像の時間遅れによる位置ずれを補正した複合現実感提示装置を開示している。
特開平６−２６８９４３号公報 特開２００３−２１５４９４号公報

複合現実感を利用した表示システムで使用されるビデオシースルー型のＨＭＤもしくは双眼鏡型の表示装置では、リアルタイム性と現実味が重視される。

そのため広画角で高解像度の表示画像と高解像度の撮影画像が要求される。この結果、処理する画像データの容量が増大してくる。

画像データの容量の増大に対する解決策として、画像データを圧縮する方法がある。しかしながら映像データの圧縮方式の１つであるＭＰＥＧ圧縮やフレーム毎に映像を圧縮するＭｏｔｉｏｎＪＰＥＧなどでは展開時間を要する。又ディレイが大きい画像圧縮技術やノイズ等の画質劣化のある画像圧縮技術の使用はリアルタイム性と現実味の点から適さない。

また、現状では、仮想空間画像を作り出すための仮想空間画像生成装置には、高速演算処理可能なコンピュータが用いられている。このコンピュータは、とても容易に持ち運びできる大きさと重さではなく、ビデオシースルー型のＨＭＤ等にコンパクトに内蔵することは現在では難しい。

したがって、ビデオシースルー型のＨＭＤなどのビデオシースルー型の表示装置と仮想空間画像生成装置との間においては圧縮していない画像データを取り扱う必要がある。

このとき、撮像画像（現実空間画像）と合成画像（仮想空間画像）の全ての画像データを転送する必要があるため、無線方式でなければケーブル本数が多くなるという課題が生じてくる。しかしながら、現状の無線方式において、複合現実感表示システムの性能を十分満たすＳＸＧＡ程度の解像度（周波数）を得ようとすると、帯域が足りていないので無線方式を採用することは難しい。

一般に、現実空間画像と仮想空間画像とを合成するときには、画像データの全てをコンピュータ処理し、現実空間画像に含まれる指標の位置情報を検出し、この指標の位置情報を用いて合成している。

このため、現実空間画像の送信時間及び現実空間画像の中から指標の位置情報を検出するための処理時間が長くなってしまうという問題があった。

本発明は、現実空間画像の中から指標を短い処理時間で検出し、現実空間画像と仮想空間画像を迅速に合成することができる表示システムの提供を目的とする。

本発明の表示システムは、仮想空間画像を生成する仮想空間画像生成装置と、
撮像ユニットで得た、指標を含む現実空間画像と該仮想空間画像生成装置で生成した仮想空間画像とを画像合成処理部で合成し、合成した画像情報を表示ユニットに表示する表示装置と、を有する表示システムであって、
該表示装置は、該撮像ユニットからの画像情報のうちの一部であって、該現実空間画像内の指標の位置情報を認識するのに必要な画像データを該仮想空間画像生成装置に送信し、該仮想空間画像生成装置は、該指標の位置情報を認識し、該認識した指標の位置情報を利用して、該仮想空間画像を生成し、生成した画像情報を該表示装置に送信していることを特徴としている。

本発明によれば、現実空間画像の中から指標を短い処理時間で検出し、現実空間画像と仮想空間画像を迅速に合成することができる表示システムが得られる。

以下、本発明の実施例を図面を参照して説明する。以下の実施例では頭部装着型の表示装置を例にとっているが、特にこれに限ったものではなく、双眼鏡型の表示装置等においても同じである。

図１は、本発明の複合現実感を利用した表示システムの実施例１の要部概略図である。最初に頭部装着型又は携帯型の表示装置と仮想空間画像生成装置の各構成要素について説明する。その後、画像合成処理の動作について説明する。

図１において、頭部装着型の表示装置１００は、左右眼用として撮像ユニット１０１Ｌ，１０１Ｒ、表示ユニット１０２Ｌ，１０２Ｒ、画像合成処理部１０３Ｌ，１０３Ｒを有している。更に左右眼用の撮像画像出力部１０５Ｌ，１０５Ｒ，表示画像入力部１０４Ｌ，１０４Ｒを有している。この他、位置姿勢センサ１２０を有している。

表示ユニット１０２Ｌ，１０２Ｒは、例えば液晶モジュール１０２ａＬ，１０２ａＲと拡大光学系１０２ｂＬ，１０２ｂＲから構成されている。

観察者は拡大光学系１０２ｂＬ，１０２ｂＲを通して液晶モジュール１０２ａＬ，１０２ａＲ上の画像を観察する。

ここで液晶モジュールとは、ｐ−ＳｉＴＦＴやＬＣＯＳなどの液晶パネルとその周辺回路、光源（バックライト、フロントライト）の一体を示す。

撮像ユニット１０１Ｌ，１０１Ｒは、撮像モジュール１０１ａＬ，１０１ａＲと光学系（撮影系）１０１ｂＬ，１０１ｂＲから構成されている。撮像系１０１ｂＬ，１０１ｂＲの光軸と表示ユニット１０２Ｌ，１０２Ｒの表示系の光軸が一致して配置される。

撮像モジュールとは、ＣＣＤやＣＭＯＳセンサなどの撮像デバイスとそれらのアナログ信号からＹＵＶ（輝度信号を含む色信号）などのデジタル信号に変換するＩＣなどのデバイスを含んでいる。

画像合成処理部１０３Ｌ，１０３Ｒは、仮想空間画像生成装置１０６Ｌ，１０６Ｒからの合成画像制御信号に基づいて、現実空間画像と仮想空間画像を合成する。具体的には撮像ユニット１０１Ｌ，１０１Ｒから伝送されてきた撮像画像データ信号（現実空間画像）と、仮想空間画像生成装置１０６Ｌ，１０６Ｒから送られてきたコンピュータグラフィックス（ＣＧ）などの生成画像信号とを選択し、合成する。

そして表示ユニット１０２Ｌ，１０２Ｒに合成画像信号を伝送する。画像合成処理部１０３Ｌ，１０３Ｒには、撮像ユニット１０１Ｌ，１０１Ｒから送られてくる画像が表示画像の解像度とフレームレートが一致していない場合には、フレームレート変換、スケーリング機能等を設けても良い。

次に仮想空間画像生成装置１０６Ｌ，１０６Ｒの構成について説明する。

仮想空間画像生成装置１０６Ｌ，１０６Ｒは、仮想空間画像信号を生成する画像生成部１１０Ｌ，１１０Ｒ、仮想空間画像信号を出力する表示画像信号出力部１１１Ｌ，１１１Ｒを有している。更に表示装置１００からの撮影画像データが入力される撮影画像信号入力部１０７Ｌ，１０７Ｒ、現実空間の指標を検出する指標検出部１０８Ｌ，１０８Ｒ、位置姿勢計測部１０９Ｌ，１０９Ｒなどから構成されている。例えば、これらの手段は全て汎用のコンピュータ装置などで実現している。

表示画像信号出力部１１１Ｌ，１１１Ｒは，例えばコンピュータ内に装備されているグラフィックカードなどがその役目を果たしている。そして、ＲＧＢデータ信号と同期信号（垂直、水平同期信号、クロック），画像合成制御信号のデジタル信号を高速の信号伝達を実現するためのＬＶＤＳなどの高速伝送用信号にして表示装置１００側へ出力する。

撮影画像信号入力部１０７Ｌ，１０７Ｒは、データ伝達路であるＵＳＢや高速シリアルインターフェースであるＩＥＥＥ１３９４などの汎用コンピュータ装置に付属のインターフェースＩ／Ｆがその役目を果たしている。

位置姿勢センサ１２０からの出力信号は例えば米国電子工業会の標準化されたシリアル通信方式のＲＳ-２３２Ｃのようなコンピュータの汎用インターフェースを使用している。

指標検出部１０８Ｌ，１０８Ｒ，位置姿勢計測部１０９Ｌ，１０９Ｒ，画像生成部１１０Ｌ，１１０Ｒは、汎用のコンピュータ内のソフトウェアで実現している。

表示画像入力部１０４Ｌ，１０４Ｒは、高速伝送用信号から一般のデジタル信号へ変換するレシーバーに相当する。

例えばＬＶＤＳやＴＭＤＳなどのインターフェース（Ｉ／Ｆ）が該当する。撮影画像出力部１０５Ｌ，１０５Ｒも同様に高速伝送可能なインターフェースＩ／Ｆであり、例えばＬＶＤＳやＵＳＢ，ＩＥＥＥ１３９４などのドライバが該当する。

頭部装着型の表示装置１００には、その位置姿勢を計測するために位置姿勢センサ１２０が装着されている。位置姿勢センサ１２０は、磁気センサの他に光学式センサ、超音波センサ，機械式センサなど用途に応じて適した手段を任意に選択している。

次に現実空間画像と仮想空間画像との画像合成の動作概要について説明する。

本実施例において、表示装置１００は、撮像ユニット１０１Ｌ，１０１Ｒからの画像情報のうちの一部であって、現実空間画像内の指標の位置情報を認識するのに必要な画像データを仮想空間画像生成装置１０６Ｌ，１０６Ｒに送信している。

仮想空間画像生成装置１０６Ｌ，１０６Ｒは、指標の位置情報を指標検出部１０８Ｌ，１０８Ｒで認識している。そして画像生成部１１０Ｌ，１１０Ｒでは認識した指標の位置情報を利用して、仮想空間画像を生成している。そして生成した画像情報を表示画像信号出力部１１１Ｌ，１１１Ｒを介して表示装置１００の表示画像入力部１０４Ｌ，１０４Ｒに送信している。

次に各構成要件の詳細を説明する。

撮像ユニット１０１Ｌ，１０１Ｒにて撮影されＹＵＶ等のデジタル信号に変換された画像信号は、画像合成処理部１０３Ｌ，１０３Ｒに入力される。

一方、撮像ユニット１０１Ｌ，１０１Ｒで撮影された指標を画像処理により検出するために、撮影画像データの一部（例えば輝度データ（Y信号）のみ）を撮影画像出力部１０５Ｌ，１０５Ｒから仮想空間画像生成装置１０６Ｌ，１０６Ｒの撮影画像信号入力部１０７Ｌ，１０７Ｒに伝送する。

尚、ここで撮影画像データの一部とは撮像ユニット１０１Ｌ，１０１Ｒで撮影された指標を画像処理により検出するのに必要なデータであった。例えば色データのデータ量の一部である。

この例では、輝度データ（Ｙ信号）のみとしたが、必ずしもそれに限ったことではなく、色データのビット数を削減した色データとすることでも良い。

指標が画像処理にて識別可能であれば、輝度データの全てのデータビットを送る必要性もないため、データビットを間引いて伝送しても良い。また、指標として、色、輝度の他に形状を変えることでデータビットは更に削減することができる。

尚、画像上のうちの一部としては、画面内の位置情報が既知の画像の一部分を切り抜いた一部分であっても撮像ユニット１０１Ｌ，１０１Ｒで撮影された指標を画像処理により検出することができるものであれば良い。

撮影画像出力部１０５Ｌ，１０５Ｒから撮影画像信号入力部１０７Ｌ，１０７Ｒに送られた指標識別用の画像データから画像認識などの技術により指標検出部１０８Ｌ，１０８Ｒにて指標の位置情報を検出する。

頭部装着型の表示装置１００の位置姿勢センサ１２０からの出力信号は位置姿勢計測部１０９Ｌ，１０９Ｒに入力され撮像部（頭部装着型表示装置１００）の位置と姿勢を推定する。

仮想空間画像を生成する画像生成部１１０Ｌ，１１０Ｒでは、指標検出部１０８Ｌ，１０８Ｒと位置姿勢計測部１０９Ｌ，１０９Ｒからの情報を基に、検出された現実空間画像内の指標の座標上に所定のＣＧ（仮想空間画像）などを生成、配置する。

そしてこの仮想空間画像をグラフィックボード等の表示画像信号出力部１１１Ｌ，１１１Ｒから頭部装着型の表示装置１００の表示画像入力部１０４Ｌ，１０４Ｒに送信する。

画像合成処理部１０３Ｌ、１０３Ｒは、図２に示すようにＹＵＶ−ＲＧＢ変換等を行う画像データ変換部２０３と、ＦＩＦＯやＳＤＲＡＭなどのフレームメモリ（記憶手段）２０１との読み書きを制御するメモリ制御部２０２を有している。更に出力データを合成制御信号に従って選択する出力画像セレクタ部２０４を有している。

ここで記憶手段２０１は撮像ユニットからの現実空間の画像データを記憶している。

撮像ユニット１０１Ｌ，１０１Ｒから送られてくる撮像画像信号は、まず画像データ変換部２０３にて表示用にあわせたデジタルＲＧＢなどのデータフォーマットに変換される。ここで撮像系と表示系とで解像度が異なる場合には画像データ変換部２０３でスケーリングなどの画像処理を行っている。

画像データ変換部２０３にて変換された画像データは、撮像画像の同期信号によってメモリ制御部２０２により逐次、フレームメモリ２０１（２０１Ｌ，２０１Ｒ）に１フレーム分格納される。

格納される画像データは、基本的には指標検出のために仮想空間画像生成装置１０６Ｌ，１０６Ｒに送られた指標データと同じ画像情報としている。これにより、撮像画像の指標と生成されるＣＧ画像との位置ずれを無くしている。

そして出力画像セレクタ部２０４は仮想空間画像生成装置１０６Ｌ，１０６Ｒから入力された合成制御信号によってフレームメモリ２０１内の撮影画像データ（現実空間画像）と仮想空間画像データ（仮想空間画像）とを選択して読み込む。そして表示ユニット１０２Ｌ，１０２Ｒに表示画像信号を出力する。

ここで、表示画像信号出力部１１１Ｌ，１１１Ｒから出力される合成制御信号は、図３のように仮想空間画像生成装置１０６Ｌ，１０６Ｒによって生成されたＣＧの有無（３０１）を識別する制御信号（３０２）である。

ここではＣＧを有する場合にはＨｉｇｈとなり、無い場合にはＬｏｗとなるような仕様である。

画像合成処理部１０３Ｌ，１０３Ｒでは、Ｈｉｇｈの場合には仮想空間画像側のデータ（仮想空間画像）を選択し、Ｌｏｗの場合にはフレームメモリ２０１Ｌ，２０１Ｒ内の撮影画像のデータ（現実空間画像）を選択する。

合成制御信号は、通常のグラフィックボード上では出力されない。しかし、色データの１ビットを合成制御信号として使用することも可能である。これにより、色数が減る不利な点はあるが、青色のデータビットを合成制御信号に使用することで色数が減ったことを目立たなくすることができる。

表示ユニット１０２Ｌ，１０２Ｒは画像合成処理部１０３Ｌ，１０３Ｒから出力された合成画像信号に基づいて合成画像を液晶モジュール１０２ａＬ，１０２ａＲに表示する。観察者は拡大光学系１０２ｂＬ，１０２ｂＲを介して液晶モジュール１０２ａＬ，１０２ａＲに表示された合成画像を観察している。

以上のように本実施例では、圧縮画像を使用しないことが望ましい複合現実感を用いた表示システムにおいて、ビデオシースルーで頭部装着型の表示装置内に撮影画像と仮想空間画像を合成する画像合成処理部を設けている。

これによって撮像ユニットで撮影された画像データを全て仮想空間画像生成装置に伝送する必要がないようにしている。

そして仮想空間画像と現実空間画像を合成するときに用いる現実空間画像に含まれる指標の位置情報を検出するのに必要な画像データのみを仮想空間画像表示生成装置に送信するだけでよいようにしている。これによって画像信号のデータ長を短くでき伝送経路の回路規模やケーブル本数を減らしている。

図４は実施例２のメモリ空間のイメージ図である。

図５は実施例２の画像合成処理部のブロック図である。

実施例１では画像合成を仮想空間画像生成装置から出力される合成制御信号を使用した。実施例２では、別の合成方法として座標アドレスと色情報というデータ形式で行っている。そして頭部装着型の表示装置１００に転送する方式を用いている。以下、実施例１と異なる点のみを説明していく。

頭部装着型の表示装置１００と仮想空間画像生成装置１０６Ｌ，１０６Ｒの構成要素として実施例１と異なる点は、画像合成処理部１０３Ｌ，１０３Ｒ、表示画像入力部１０４Ｌ，１０４Ｒ、表示画像信号出力部１１１Ｌ，１１１Ｒである。その他の構成要素は同様なので省略する。

表示画像入力部１０４Ｌ，１０４Ｒ、表示画像信号出力部１１１Ｌ，１１１ＲのＩ／Ｆに関しては、仮想空間画像部分のメモリのアドレスと色データを送信できるようなＩ／Ｆを備える必要がある。

画像の解像度などデータの容量にも依存するが、例えばＵＳＢやＩＥＥＥ１３９４等の伝送路がそれに相当する。図５に示すように画像合成処理部１０３Ｌ，１０３Ｒでは、アドレスを指定して格納できるメモリを使用する。そのため、メモリ制御部２０２ではＲＧＢ同期信号を使用したＩ／Ｆからアドレスを使用したメモリ２０１のＩ／ＦへのＩ／Ｆ変換を備えている。

画像合成の動作は、図４のようにＣＧ画像（仮想空間画像）４０２をメモリアドレスと色情報のデータをもとに撮像画像４０１が書き込まれているメモリ（ＲＡＭ）に上書きをしていく。そして撮像画像（現実空間画像）にＣＧ画像が埋め込まれた画像４０３がメモリ２０１に生成される。書き込まれた個所から順次、読み出していき、液晶等の表示ユニット１０２Ｌ，１０２Ｒにデータを送信することで、合成画像が表示される。

本発明の実施例１の概略構成図 本発明の実施例１の画像合成処理部のブロック図 本発明の実施例１の合成制御信号の説明図 本発明の実施例２のメモリ空間イメージ図 本発明の実施例２の画像合成処理部のブロック図

符号の説明

１００・・・・頭部装着型の表示装置
１０１Ｌ・・・左眼用撮像ユニット
１０１Ｒ・・・右眼用撮像ユニット
１０２Ｌ・・・左眼用表示ユニット
１０２Ｒ・・・右眼用表示ユニット
１０３Ｌ・・・左眼用画像合成処理部
１０３Ｒ・・・右眼用画像合成処理部
１０４Ｌ・・・左眼用表示画像入力部
１０４Ｒ・・・右眼用表示画像入力部
１０５Ｌ・・・左眼用撮影画像出力部
１０５Ｒ・・・右眼用撮影画像出力部
１０６Ｌ・・・左眼用仮想画像生成装置
１０６Ｒ・・・右眼用仮想画像生成装置
１０７Ｌ・・・左眼撮影画像信号入力部
１０７Ｒ・・・右眼撮影画像信号入力部
１０８Ｌ・・・左眼用指標検出部
１０８Ｒ・・・右眼用指標検出部
１０９Ｌ・・・左眼用位置姿勢計測部
１０９Ｒ・・・右眼用位置姿勢計測部
１１０Ｌ・・・左眼用画像生成部
１１０Ｒ・・・右眼用画像生成部
１１１Ｌ・・・左眼表示画像信号出力部
１１１Ｒ・・・右眼表示画像信号出力部
１２０・・・・位置姿勢センサ
２０１Ｌ・・・左眼用フレームメモリ
２０１Ｒ・・・右眼用フレームメモリ
２０２・・・・メモリ制御部
２０３・・・・ＹＵＶ−ＲＧＢ変換及びスケーリング処理部
２０４・・・・出力画像セレクタ部
３０１・・・・実施例１の合成制御信号説明図
３０２・・・・実施例１の合成制御信号説明図
４０１・・・・実施例２のメモリ空間イメージ図
４０２・・・・実施例２のメモリ空間イメージ図
４０３・・・・実施例２のメモリ空間イメージ図

Claims (3)

1. 仮想空間画像を生成する仮想空間画像生成装置と、
   撮像ユニットで得た、指標を含む現実空間画像と該仮想空間画像生成装置で生成した仮想空間画像とを画像合成処理部で合成し、合成した画像情報を表示ユニットに表示する表示装置と、を有する表示システムであって、
   該表示装置は、該撮像ユニットからの画像情報のうちの一部であって、該現実空間画像内の指標の位置情報を認識するのに必要な画像データを該仮想空間画像生成装置に送信し、該仮想空間画像生成装置は、該指標の位置情報を認識し、該認識した指標の位置情報を利用して、該仮想空間画像を生成し、生成した画像情報を該表示装置に送信していることを特徴とする表示システム。
2. 前記表示装置は、前記撮像ユニットからの現実空間画像の画像データを記憶する記憶手段を有し、
   該画像合成処理部は前記仮想空間画像生成装置からの合成制御信号を用いて、該記憶手段に記憶している現実空間画像と、該仮想空間画像生成装置からの仮想空間画像とを合成していることを特徴とする請求項１の表示システム。
3. 前記表示装置の位置姿勢を計測する位置姿勢センサーを有しており、前記仮想空間画像生成装置は、該位置姿勢センサーからの位置姿勢情報を用いて仮想空間画像を生成していることを特徴とする請求項１又は２の表示システム。