JP2007097129A - ステレオ表示装置及びその制御方法 - Google Patents

Abstract

【課題】 ステレオ表示装置に表示するステレオ画像を、左右が正しく表示されるように容易に入力可能とすること。
【解決手段】 表示画像入力部１３１Ｒ、１３１Ｌで、表示画像から、左右の方向性を表す付加情報を検出する。そして、ステレオ表示装置が有する右眼用表示装置と左眼用表示装置に対し、正しい表示画像が与えられるように、入出力の接続関係を切替可能なスイッチャー１３２を制御する。
【選択図】 図１

Description

本発明は、ステレオ表示装置及びその制御方法に関し、特に、頭部装着型のステレオ表示装置及びその制御方法に関する。

近年、現実世界と仮想世界をリアルタイムかつシームレスに融合させる技術として、複合現実感（MR:Mixed Reality）技術が知られている。

また、複合現実感を体感するための装置として、ステレオビデオシースルーＨＭＤ（Head Mounted Display）が知られている。ステレオビデオシースルーＨＭＤは、装着者の眼前にステレオ映像を提示する装置である。装着者がＨＭＤ非装着時に視認するのとほぼ同じステレオビデオ映像に、装着者の視点位置から見た３次元仮想物体の画像を重畳した合成画像を生成し、ＨＭＤに提示すると、装着者にあたかも現実空間中に仮想物体が存在しているかのような感覚が生じる。これが複合現実感である。

なお、一般に仮想物体の画像はＣＧ（Computer Graphics）で表現されることが多い。また、ステレオビデオ映像は、ＨＭＤに装着したステレオビデオカメラにより撮影することが多い。

図２は、ステレオビデオシースルーＨＭＤ４００を装着した状態を模式的に示す図である。ビデオシースルーＨＭＤ４００は眼鏡又はゴーグルに似た外観形状を有し、その内部に例えばＬＣＤである右眼用表示デバイス４０２Ｒと、左眼用表示デバイス４０２Ｌが配置されている。また、ステレオビデオ映像をＨＭＤに装着したビデオカメラにより取得する場合には、例えば装着者の視点位置に近い位置にステレオビデオカメラ４０１Ｒ、４０１Ｌが設けられる。

特開２００３−２２８１１５号公報

このように、複合現実感を体感させるためには、３次元映像の提示が必要である。そのためには、左右２台のビデオカメラで撮影した画像を画像処理装置に入力し、仮想物体画像を重畳合成して生成した右眼用、左眼用合成画像を、正しくＨＭＤの右表示装置、左表示装置に入力する必要がある。

しかし、実際の環境では画像処理装置とＨＭＤとの間には映像信号用のケーブル以外のケーブル（例えば、ＨＭＤの電源供給用ケーブルや位置姿勢センサ用ケーブルなど）も存在するため、左右のそれぞれのケーブルの接続を間違えることもある。

ステレオ画像の場合、右眼用画像と左眼用画像が逆に表示されると、３次元映像として認識出来ないばかりか、目が疲れる原因ともなる。例えば、一眼レフカメラの分野においては、装着されたレンズが正規の適合性を有するものかどうかを判別する技術が提案されている（特許文献１）。しかし、一眼レフカメラはステレオＨＭＤとは大きく異なり、左右が異なるという問題は発生しない。また、レンズ交換とビデオ入力の接続とはその機構も趣旨も全く異なる。

このように、従来は、頭部装着型ステレオ表示装置に、正しく左右の画像信号が入力されるようにユーザを支援するための機構は存在していなかった。
本発明はこのような従来技術の問題点に鑑みなされたものである。

上述の目的は、右眼用表示装置及び左眼用表示装置を有するステレオ表示装置であって、一対の表示用画像からなるステレオ画像を受信する受信手段と、一対の表示用画像の各々について、右眼用表示画像であるか左眼用表示画像であるか判別する判別手段と、一対の表示用画像を入力とし、その一方を右眼用表示装置へ、他方を左眼用表示装置へ出力可能な出力手段を有し、判別手段による判別結果に基づいて、右眼用表示画像を右眼用表示装置へ、左眼用表示画像を左眼用表示装置へ出力するよう、出力手段を制御する制御手段を有することを特徴とするステレオ表示装置によって達成される。

また、上述の目的は、右眼用画像、及び左眼用画像をそれぞれ外部装置に送信する送信手段と、一対の表示用画像からなるステレオ画像を外部装置から受信する受信手段と、一対の表示用画像の各々について、右眼用表示画像であるか左眼用表示画像であるか判別する判別手段と、一対の表示用画像を入力とし、その一方を右眼用表示装置へ、他方を左眼用表示装置へ出力する出力手段を有し、判別手段による判別結果に基づいて、右眼用表示画像を右眼用表示装置へ、左眼用表示画像を左眼用表示装置へ送信するよう、出力手段を制御する制御手段を有することを特徴とするステレオ表示装置によっても達成される。

また、上述の目的は、右眼用表示装置及び左眼用表示装置を有するステレオ表示装置であって、右眼用画像及び左眼用画像を撮像する右眼用撮像装置及び左眼用撮像装置を有するステレオ撮像手段と、右眼用画像及び左眼用画像をそれぞれ外部装置に送信する送信手段と、一対の表示用画像からなるステレオ画像を外部装置から受信する受信手段と、一対の表示用画像の各々について、右眼用表示画像であるか左眼用表示画像であるか判別する判別手段と、一対の表示用画像を入力とし、その一方を右眼用表示装置へ、他方を左眼用表示装置へ出力可能な出力手段を有し、判別手段による判別結果に基づいて、右眼用表示画像を右眼用表示装置へ、左眼用表示画像を左眼用表示装置へ出力するよう、出力手段を制御する制御手段を有することを特徴とするステレオ表示装置によっても達成される。

また、上述の目的は、右眼用表示装置と、左眼用表示装置と、一対の表示用画像を入力とし、その一方を右眼用表示装置へ、他方を左眼用表示装置へ出力可能な出力手段とを有するステレオ表示装置の制御方法であって、一対の表示用画像からなるステレオ画像を受信する受信工程と、一対の表示用画像の各々について、右眼用表示画像であるか左眼用表示画像かを判別する判別工程と、判別工程による判別結果と、出力手段の現在の入出力関係とに基づいて、一対の表示用画像のうち、右眼用表示画像を右眼用表示装置へ、左眼用表示画像を左眼用表示装置へ出力するよう、出力手段を制御する制御工程とを有することを特徴とするステレオ表示装置の制御方法によっても達成される。

また、上述の目的は、右眼用画像と左眼用画像を外部装置に送信する送信工程と、一対の表示用画像を入力とし、その一方を右眼用表示装置へ、他方を左眼用表示装置へ送信可能な送信手段とを有するステレオ表示装置の制御方法であって、一対の表示用画像からなるステレオ画像を外部装置から受信する受信工程と、一対の表示用画像の各々について、右眼用表示画像であるか左眼用表示画像かを判別する判別工程と、判別工程による判別結果と、出力手段の現在の入出力関係とに基づいて、一対の表示用画像のうち、右眼用表示画像を右眼用表示装置へ、左眼用表示画像を左眼用表示装置へ送信するよう、送信手段を制御する制御工程とを有することを特徴とするステレオ表示装置の制御方法によっても達成される。

このような構成により、本発明のステレオ表示装置によれば、ユーザは画像信号が右眼用であるか左眼用であるかを意識することなく画像入力ケーブルを接続可能となる。

以下、添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
＜第１の実施形態＞
図１は、本実施形態に係る複合現実感提示システムの構成例を示すブロック図である。
図１において、複合現実感提示システムは、頭部装着型のステレオ画像撮影表示装置（以下ビデオシースルーＨＭＤまたは単にＨＭＤと呼ぶ）１００と、画像処理ユニット２００とから構成される。

ビデオシースルーＨＭＤ１００は、右撮像ユニット１１０Ｒ、左撮像ユニット１１０Ｌ、画像情報判読ユニット１３０、右表示ユニット１２０Ｒ、左表示ユニット１２０Ｌ、ＭＰＵ１４０とから構成される。

右撮像ユニット１１０Ｒにおいて、撮像素子１１１ＲはＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどであり、映像を電気信号に変換する。タイミングジェネレータ（以下ＴＧと呼ぶ）１１６Ｒは、撮像素子１１１Ｒを駆動する信号を生成する。また、Ｖ−Ｄｒ（Ｖドライバ）１１７Ｒは、ＴＧ１１６Ｒからの信号を受けて、撮像素子１１１Ｒの垂直方向の制御を行なう信号を生成する。ＣＤＳ／ＡＧＣ部１１２Ｒは、撮像素子１１１Ｒから出力されるアナログ信号に対し、ＣＤＳ（相関２重サンプリング）、ゲイン調整などを行う。

ＡＤ変換部１１３Ｒは、ＣＤＳ／ＡＧＣ部１１２Ｒの出力するアナログ信号をデジタル信号に変換する。デジタル信号処理部１１４Ｒは、ＡＤ変換部１１３Ｒの出力するデジタル信号に対してゲイン制御、色味制御、輝度制御、ガンマ補正などを行い、撮影画像信号を出力する。撮像画像出力部１１５Ｒは、撮像画像信号をＵＳＢやＩＥＥＥ１３９４などのデジタルインタフェースで送信するためのデータフォーマットに変換し、画像処理ユニット２００に出力する。

左撮像ユニット１１０Ｌは、ＨＭＤ装着者の左眼視点近傍から撮像した撮影画像を出力する点を除き、右撮像ユニット１１０Ｒと構成、動作において共通である。また、右撮影ユニット１１０Ｒ、左撮像ユニット１１０Ｌは、例えば小型のビデオカメラにより実現することができる。そして、図２においてステレオビデオカメラ４０１Ｒ、４０１Ｌとして示したすように、ＨＭＤ４００の、装着者（観察者）の両目に近い部分で、ＨＭＤを正しく装着した際に観察者の視線と一致する向きとなるように固定される。右及び左撮像ユニット１１０Ｒ、１１０Ｌで撮影された現実空間画像は、ケーブル１５１Ｒ、１５１Ｌを通じて画像処理ユニット２００へ入力される。

画像情報判読ユニット１３０は、画像処理ユニット２００が生成する一対の表示用画像である右眼用合成画像、左眼用合成画像を、ケーブル１５３、１５４を通じて受信する。画像情報判読ユニット１３０は、表示画像入力部１３１Ｒ、１３１Ｌと、スイッチャー１３２で構成される。

スイッチャー１３２は、２入力２出力のマトリックススイッチであり、その入力には画像入力部１３１Ｒ、１３１Ｌが出力する合成画像が、出力には右表示ユニット１２０Ｒと左表示ユニット１２０Ｌが接続される。表示画像入力部１３１Ｒ、１３１Ｌは、合成画像に含まれる、表示画像の左右を判別するための情報を判読し、ＭＰＵ１４０へ通知する。ＭＰＵ１４０は、右眼用合成画像が右表示ユニット１２０Ｒへ、左眼用合成画像が左表示ユニット１２０Ｌへ出力されるよう、必要に応じてスイッチャー１３２の入力と出力との接続関係を切り替える。

右表示ユニット１２０Ｒは、右眼用表示デバイス１２１Ｒと、その駆動を行なう表示駆動部１２２Ｒとを有する。同様に、左表示ユニット１２０Ｌは、左眼用表示デバイス１２１Ｌと、その駆動を行なう表示駆動部１２２Ｌとを有する。表示デバイス１２１Ｒ、１２１Ｌは、ＬＣＤディスプレイや有機ＥＬディスプレイ等の小型、軽量な表示デバイスであることが好ましい。

ＭＰＵ１４０は、例えばＣＰＵと、その制御プログラムを格納するＲＯＭと、ＣＰＵのワークエリアとして用いられるＲＡＭとを内蔵するマイクロプロセッサである。ＭＰＵ１４０は、ＣＰＵがＲＯＭ内の制御プログラムを実行することにより、ビデオシースルーＨＭＤ内の各部を制御し、後述する各種動作を実現する。

（画像処理ユニットの構成）
図８は、本実施形態における画像処理ユニットの構成例を示すブロック図である。
なお、以下では、説明及び理解を簡単にするため、右撮像ユニット１１０Ｒと左撮像ユニット１１０Ｌが撮影した一対の画像に対してそれぞれ行われる処理であっても、１つの画像に対する処理として説明することがある。しかし、実際には各撮像ユニットが撮影した画像についてそれぞれ同様の処理が行われ、一対の合成画像が生成され、ＨＭＤ１００が有する右眼用表示デバイス１２１Ｒ、左眼用表示デバイス１２１Ｌに独立して表示される。

撮像画像出力部１１５Ｒ、Ｌに対応したデジタルインタフェースである画像入力部４０２は、撮像ユニット１１０Ｒ，Ｌからの撮影画像を受信し、画像合成部４０７及びマーカ検出部４０３に供給する。

マーカ検出部４０３は画像入力部４０２から供給される撮影画像から、例えば予め現実空間中に配置された２次元マーカを検出する。２次元マーカは、現実空間上の絶対位置が既知の、画像から抽出可能な特徴（色、形、パターンなど）を有する指標である。従って、マーカ検出部４０３は、２次元マーカの有する特徴に合致する領域を画像中から探索することにより２次元マーカを検出する。

視点位置姿勢算出部４０４は、マーカ検出部４０３が検出したマーカ情報（画像中の位置やマーカの向き、面積など）と、マーカの特徴点のマーカ座標系における位置及び撮像ユニット１１０のカメラパラメータなどを用いて、ＨＭＤ１００の３次元位置、姿勢を算出する。視点位置姿勢算出部４０４が行なう処理についてはマーカを用いた位置姿勢測定技術として当該技術分野において周知であり、また本発明と直接関係しないため詳細な説明は省略する。
仮想空間データベース４０６は、例えばハードディスクドライブであり、仮想物体の３次元ＣＧモデルデータを格納する。

画像生成部４０５は、仮想空間データベース４０６に格納されている３次元ＣＧモデルデータと、視点位置姿勢算出部４０４で算出したＨＭＤ４００の位置姿勢データを元に、観察者の右眼及び左目の各視点から観察されるべき３次元ＣＧ画像を生成する。生成したＣＧ画像は画像合成部４０７へ供給する。画像生成部４０５におけるＣＧ画像の生成においては、仮想空間データベース４０６に含まれるＣＧモデルの幾何情報、色やテクスチャなどの属性情報、および照明情報が用いられる。なお、３次元ＣＧ画像の生成は既知の技術であるのでその詳細についての説明は省略する。

画像合成部４０７は、画像入力部４０２からの撮像画像と、画像生成部４０５からのＣＧ画像（仮想物体の画像）とを合成し、右眼用合成画像と、左目用合成画像を生成する。画像出力部４０８は、例えばＤＶＩインタフェース等のディスプレイインタフェースであり、画像合成部４０７が出力する右眼用合成画像と左目用合成画像を、ケーブル１５３、１５４を通じてＨＭＤ１００の画像情報判読ユニット１３０へ出力する。

なお、このような画像処理ユニットは、市販されている汎用コンピュータ装置によって実現することが可能である。従って、以下に説明する画像処理ユニット内の処理は、少なくともその一部をＣＰＵが制御プログラムを実行することによってソフトウェア的に実現することが可能である。

（撮影処理）
次に、本実施形態のビデオシースルーＨＭＤ１００における撮影画像データの処理について、図６に示すフローチャートを参照して説明する。
まず、ステップＳ１０１において、現実空間の視差画像の撮影を開始する。各撮像ユニット１１０Ｒ、１１０Ｌは、ＨＭＤ１００を正しく装着した際に装着者の視点（瞳）位置近傍に位置するよう、ＨＭＤ１００に取り付けられている。従って、各撮像ユニット１１０Ｒ、１１０Ｌの撮像素子１１１Ｒ、１１１Ｌは、ＨＭＤ１００の装着者の瞳位置から観察される画像に概略一致する画像、つまり、左右の瞳位置に対応した基線長分だけ異なる視差画像を撮影する。

この撮像素子１１１Ｒ、１１１Ｌで撮影された物体像はアナログ信号としてそれぞれのＣＤＳ／ＡＧＣ部１１２Ｒ、１１２Ｌに入力され、ＣＤＳ（相関２重サンプリング）、ゲイン調整などの処理が行われる。その後、ＡＤ変換部１１３Ｒ、１１３Ｌでデジタル信号に変換される（ステップＳ１０２）。

次に、ＡＤ変換部１１３Ｒ、１１３Ｌでデジタル信号に変換された撮像信号は、デジタル信号処理部１１４Ｒ、１１４Ｌに入力され、ゲイン制御、色味制御、輝度制御、ガンマ補正などが行われて撮影画像データが生成される（ステップＳ１０３）。

さらに、デジタル信号処理部１１４Ｒ、１１４Ｌは、ステップＳ１０３で生成された左右の撮像画像データの各フレームに、付加情報を例えば不可視な電子透かしとして合成する。付加情報は、少なくとも左右の画像を区別できる情報（画像の方向性を表す情報）により構成する（ステップＳ１０４）。

付加情報には、左右の画像を区別可能な情報に加え、例えば、ＨＭＤ固有の情報、例えば撮像レンズ情報や、シャッタースピードや撮影者情報などを含むこともできる。
また、撮像画像の全フレームに、画像付加情報を電子透かしとして挿入する代わりに、所定フレーム毎に挿入するようにしてもよい。

図３は、撮像ユニット１１０Ｒ、１１０Ｌが生成した撮像画像データに、左右の画像を区別可能な情報として、右眼用画像を表す情報、左目用画像を表す情報を、電子透かし画像（１６０Ｒ、１６０Ｌ）として合成した例を示す図である。図３では、可視の電子透かし画像として合成した例を示しているが、不可視な電子透かし画像として撮像画像データに埋め込んでもよい。また、画像ではなく、コード情報の形式で撮像画像データに埋め込んでも良い。さらに、電子透かしではなく、画像データのヘッダ情報等、一般的に用いられる付加情報の一部として、左右の画像を区別可能な情報を付加しても良い。また、画像の端１ドットに情報を付加したり、表示されない領域に情報を付加してもよい。

ステップＳ１０５で、電子透かしが埋め込まれた撮像画像データは、撮像画像出力部１１５Ｒ、１１５Ｌ及び撮像画像出力インタフェース・ケーブル１５１Ｒ、１５１Ｌを介して、画像処理ユニット２００に出力される。

画像処理ユニット２００では、埋め込まれた電子透かしを意識することなく、上述したような合成処理を行ない、右眼用合成画像と、左目用合成画像を生成する。そして、画像出力部４０８及びケーブル１５３、１５４を通じてＨＭＤ１００の画像情報判読ユニット１３０へ出力する。

（表示制御処理）
図７は、ＨＭＤ１００の画像情報判読ユニットの動作を説明するためのフローチャートである。
ステップＳ２０１で、画像情報判読ユニット１３０は、画像処理ユニット２００からケーブル１５３、１５４を通じ、右眼用合成画像及び左目用合成画像を表示画像入力部１３１Ｒ、１３１Ｌにおいて受信する。この段階では、受信した２つの合成画像のどちらが右眼用であるのか、また左眼用であるのかについて、画像情報判読ユニット１３０は分っていない。そして、ステップＳ２０２で、表示画像入力部１１３Ｒ、１１３Ｌは、受信した合成画像から、左右いずれの画像であるのかを示す付加情報を抽出し、判読する。判読結果はＭＰＵ１４０へ通知する。

ＭＰＵ１４０は、判読結果に基づいて、右眼用合成画像が右表示ユニット１２０Ｒへ、左眼用合成画像が左表示ユニット１２０Ｌへ出力されるよう、必要に応じてスイッチャー１３２の入力と出力との接続関係を切り替える。

すなわち、ステップＳ２０３において、ＭＰＵ１４０は、表示画像入力部１３１Ｒ、１３１Ｌの判別結果を受信する。そして、ステップＳ２０４において、受信時におけるスイッチャー１３２の接続関係と、判別結果とから、スイッチャー１３２の接続関係を変更する必要があるかどうか判定する（ステップＳ２０３）。

現在の接続関係により、右眼用合成画像が右表示ユニット１２０Ｒへ、左眼用合成画像が左表示ユニット１２０Ｌへ出力される場合には、変更の必要なしと判定し、ステップＳ２０１へ戻る。一方、逆転して入力されてしまうと判定された場合には、ステップＳ２０４でスイッチャー１３２の接続関係を逆転させ、ステップＳ２０１へ戻る。

以上説明したように、本実施形態によれば、右眼用表示装置と左眼用表示装置とを有する頭部装着型表示装置において、一対の表示用画像と一対の表示装置の接続関係を変更可能なスイッチを設ける。そして、受信した表示用画像の方向性を判別し、判別結果に応じてスイッチの接続関係を切り替えることにより、ＨＭＤに合成画像を入力するためのケーブルの接続に際してその方向性を意識する必要が無くなる。従って、ＨＭＤと、表示用画像を供給する装置との接続が容易になる。

なお、表示画像入力部１３１Ｒ、１３１Ｌは、付加情報が検出された全フレームについて判別やＭＰＵ１４０への通知を行なわなくても良い。例えば、所定時間毎や、所定フレーム毎にのみ判別結果を通知しても良いし、直近の判別結果を保持しておき、変化があった場合にのみ判別結果を通知するようにしてもよい。

また、表示画像入力部１３１Ｒ、１３１Ｌは、不可視な情報として左右いずれの画像であるのかを示す付加情報が埋め込まれている場合に、付加情報を可視情報として合成画像に付加するようにしてもよい。例えばＨＭＤ１００に設けられた確認用ボタン（図示せず）の入力に応答して、可視、不可視を切替可能に構成することにより、ＨＭＤ１００を装着した状態で、左右の画像が正しく表示されているかどうかを確認することができる。

さらに、ここではＭＰＵ１４０がスイッチャー１３２の接続関係の切替要否判断及び切替制御を行なったが、表示画像入力部１３１Ｒ、１３１Ｌのいずれかが切替を行なうようにしても良い。

また、本実施形態では、撮像ユニットが設けられたＨＭＤについて説明したが、ＨＭＤに撮像ユニットを設けることは必須でない。撮像ユニット１１０Ｒ、１１０Ｌは、ＨＭＤとは個別の構成であっても良い。

＜第２の実施形態＞
第１の実施形態においては、撮像ユニット１１０Ｒ、１１０Ｌに含まれるデジタル信号処理部１１４Ｒ、１１４Ｌにおいて、画像の左右を表す付加情報を合成していた。しかしながら、付加情報の合成は画像処理ユニットにおいて実行するようにしても良い。

図４は、本発明の第２の実施形態に係る複合現実感提示システムにおける、画像処理ユニット２００’の構成例を示すブロック図である。図８と同じ構成には同じ参照数字を付し、説明を省略する。

本実施形態では、右撮像ユニット１１０Ｒ、左撮像ユニット１１０Ｌにおいては、画像の左右を表す付加情報の合成は行なわず、画像処理ユニット２００’の画像合成部４０７’において付加情報を合成する。

合成する付加情報は、付加情報記憶部４０９に記憶されており、画像合成部４０７’は、右撮像ユニット１１０Ｒから入力される映像に対しては右眼用画像であることを表す付加情報を合成する。また、左撮像ユニット１１０Ｌから入力される映像に対しては左眼用画像であることを表す付加情報を合成する。

本実施形態においても、付加情報を電子透かし画像として付加したり、ヘッダ情報として付加したりすることができる。また、付加情報には、左右の画像を区別可能な情報に加え、例えば、ＨＭＤ固有の情報、例えば撮像レンズ情報や、シャッタースピードや撮影者情報などを含むこともできる。
また、撮像画像の全フレームに、画像付加情報を電子透かしとして挿入する代わりに、所定フレーム毎に挿入するようにしてもよい。

本実施形態によっても、第１の実施形態と同様の効果が達成できる。また、画像処理ユニットが付加情報を合成するので、付加情報の合成機能がない撮像ユニットを用いる複合現実感提示システムに対して適用可能である。

＜第３の実施形態＞
上述の実施形態では、左右の実写映像に対する仮想物体画像や付加情報の合成処理を、１つの画像処理ユニットにより実行していた。
それに対し、本実施形態では、画像処理ユニットを２つに増やし、それぞれ右眼用画像、左眼用画像の処理専用とすることにより、処理を高速化することが可能である。

図５は、本実施形態に係る複合現実感提示システムの構成例を示すブロック図である。 このような構成とすることで、処理負荷の高い動画像に対しても、仮想物体画像の合成や、仮想物体画像及び付加情報の合成を高速に処理可能となる。

＜第４の実施形態＞
上述の実施形態においては、主に画像処理ユニットとＨＭＤとの間の画像入力の容易化に着目したものであった。しかし、撮像ユニットと画像処理ユニットとの間における画像入力についても同様の課題が存在する場合がある。

このような場合には、第１の実施形態の構成において、画像情報判読ユニット１３０と同等の機構を画像処理ユニットに付加しても良い。具体的には、画像入力部４０２の前段に画像情報判読ユニット１３０と同等の構成を付加し、撮像ユニット１１０Ｒ、１１０Ｌからの入力画像と、画像入力部４０２の入力における左右関係が正しくなるようにスイッチャー１３２の接続関係を制御する。

スイッチャー１３２の接続関係切替要否及び切替制御は、図示しない画像処理ユニットの制御部が行なっても良いし、画像情報判読ユニット１３０内の表示画像入力部１３１が行なっても良い。

仮想物体画像の合成は、左右正しい実写画像上に行なわないと正しい合成画像が得られないため、右眼用画像の処理系と、左眼用画像の処理系とに正しく左右の実写画像が入力される必要がある。従って、撮像ユニット１１０Ｒ、１１０Ｌと画像処理ユニット２００との間の接続において、取り違える可能性がある場合には、本実施形態の構成が有用である。

＜第５の実施形態＞
第４の実施形態までは、撮像画像に付加情報を埋め込むことで、ケーブル接続の判定を行い、右眼用表示画像を右眼用表示装置に、左眼用表示画像を左眼用表示装置に正しく表示するようにした。
本実施形態では、撮像ユニットを制御することで、ケーブル接続の判定を行う構成について説明する。

図９は、本実施形態に係る複合現実感提示システムの構成例を示すブロック図である。
本実施形態においても、複合現実感提示システムは、ＨＭ５００と、画像処理ユニット６００とから構成される。

ＨＭＤ５００において、左撮像ユニット５１０Ｌ、右撮像ユニット５１０Ｒは、ＨＭＤの左表示ユニット５２０Ｌ，右表示ユニット５２０Ｒに表示する画像をそれぞれ撮像する。左表示ユニット５２０Ｌ，右表示ユニット５２０Ｒは、画像処理ユニット６００から供給される、撮像画像とＣＧ画像の合成画像（左眼用及び右眼用）を表示する。送受信Ｉ／Ｆ５５０は、画像処理ユニット６００との間で画像や信号を送受信するためのインタフェースである。判定器５４０は、受信した合成画像の判定を行なう。スイッチャー５３０は、受信した合成画像を表示する表示ユニットを決定する。ＭＰＵ５６０は、例えばＣＰＵと、その制御プログラムを格納するＲＯＭと、ＣＰＵのワークエリアとして用いられるＲＡＭとを内蔵するマイクロプロセッサである。

画像処理ユニット６００は、例えばパーソナルコンピュータ（ＰＣ）やワークステーションなどで構成される。画像処理ユニット６００において、送受信Ｉ／Ｆ６１０は、ＨＭＤ５００からの撮像画像信号やデータ信号を受信したり、ＨＭＤ５００へ合成画像信号やデータ信号を送信したりするためのインタフェースである。画像合成部６２０は、送受信Ｉ／Ｆ６１０で受信した撮像画像に対し、ＣＧ画像を重畳描画し、合成画像を生成する。そして、合成画像を送受信Ｉ／Ｆ６１０を通じてＨＭＤ５００へ送信する。

次に、本実施形態における撮像ユニットの制御について、図１０に示すフローチャートを参照して説明する。
Ｓ３０１において、ＭＰＵ５６０は、左及び右撮像ユニット５１０Ｌ、５１０Ｒを制御し、撮像画像の輝度値を変更させる。例えば、左及び右撮像ユニット５１０Ｌ、５１０Ｒのシャッター速度や、ゲイン値を制御することにより、撮像画像の輝度値を変更させることができる。

Ｓ３０２において、ＭＰＵ５６０は、輝度値を変化させて得られた左右の撮像画像を、送受信Ｉ／Ｆ５５０を用いて画像処理ユニット６００に送信する。その後、ＭＰＵ５６０はＳ３０３で、各撮像ユニット５１０Ｌ，５１０Ｒの設定値を元に戻し、撮像画像の輝度制御を解除する。

なお、両方の撮像ユニット５１０Ｌ，５１０Ｒに対して撮像画像の輝度を変更させても、どちらか一方についてのみ変更させても良い。また、左右の撮像ユニット５１０Ｌ，５１０Ｒで撮像画像の輝度を異ならせても良い。

図１１は、判定部５４０の動作を説明するフローチャートである。
Ｓ４０１において、判定器５４０は、送受信Ｉ／Ｆ５５０を介して画像処理ユニット６００から２つの合成画像を受信する。Ｓ４０２で、判定器５４０は、受信した合成画像の輝度値を判定する。上述のように、ＭＰＵ５６０が事前に左右の撮像ユニット５１０Ｌ，５１０Ｒを制御して、撮像画像の輝度値を変化させている。そのため、判定器５４０は、受信する合成画像の輝度値を予測することが可能である。

例えば、図１０のＳ３０１において、ＭＰＵ５６０が、左撮像ユニット５１０Ｌに対しては撮像画像の輝度値が高くなるように、また、右撮像ユニット５１０Ｒに対しては撮像画像の輝度値が低くなるように制御したとする。この場合、判定器５４０においては、受信する画像処理ユニットから受信する２つの合成画像のうち、左眼用合成画像の輝度値が高く、右眼用合成画像の輝度値が低くなることが予測できる。
そのため、判定器５４０は、Ｓ４０２において、受信した２つの合成画像の輝度を比較することにより、受信した合成画像のどちらが右眼用で、どちらが左眼用であるかの判定を行なう。

そして、Ｓ４０３において、スイッチャー５３０の状態と、判定器５４０の出力する画像の関係から、出力経路の変更が必要かどうか判定する。現在のスイッチャー５３０の状態で、左表示ユニット５２０Ｌに左眼用合成画像が、右表示ユニット５２０Ｒに右眼用合成画像がそれぞれ入力される場合には、出力経路の変更は不要である。合成画像と表示ユニットとの左右関係が逆転している場合には、出力経路の変更が必要である。
Ｓ４０４において、判定器５４０からＭＰＵ５６０へ出力経路の変更を要求し、ＭＰＵ５６０がスイッチャー５３０の入力と出力との接続関係を切り替える。

以上の構成により、本実施形態によっても、左眼用合成画像を左表示ユニットへ、右眼用合成画像を右表示ユニットへ装置へ正しく表示することが可能となる。
なお、図１１のフローチャートでは、説明及び理解を容易にするため、１組の合成画像に基づいて出力経路の要否を決定した。しかし、判定精度を向上させるため、複数組の合成画像について判定を行なった結果に基づいて出力経路の変更要否を決定してもよい。

図１２は、判定処理を複数回行なう場合の処理について説明するフローチャートである。図１２において、図１０及び図１１で説明した処理ステップと同様の処理を行なうステップについては同じ参照数字を付した。

Ｓ３０１で、ＭＰＵ５６０が、各撮像ユニット５１０Ｌ，５１０Ｒを制御し、撮像画像の輝度値を変化させる。Ｓ４０２において、判定器５４０は、受信した１組の合成画像の輝度値の計測等から、受信した合成画像の左右を判定する。Ｓ５０３では、判定回数が既定回数（Ｎ回）に達したかどうかを判定し、Ｎ回に達していなければ判定回数を１増加させる（Ｓ５０４）。Ｓ５０３で判定回数がＮ回に達した場合、Ｓ３０３で、ＭＰＵ５６０は、撮像ユニット５１０Ｌ，５１０Ｒの設定を元に戻す。

Ｓ４０３では、出力経路の変更が必要かどうかを判定する。例えば、Ｓ４０２における輝度値に基づく左右判定の結果、高確率で得られた判定結果に基づいて出力経路の変更有無を判定することができる。
出力経路の変更が必要と判定されれば、Ｓ４０４で出力経路の変更を行なう。

図１２の処理によれば、輝度値の変更、合成画像の左右判定を複数回繰り返して最終的な経路変更要否判定を行なうため、より判定精度が向上する。
なお、本実施形態において、上述した接続判定処理を行なうタイミングについては特に制限はなく、ＨＭＤ５００の起動時、システムの起動時、任意のタイミングにおけるユーザ操作等に基づいて行なうことができる。

なお、合成画像の左右判定処理中は、撮像画像の輝度値を変更するため、表示ユニット５１０Ｌ，５１０Ｒの電源をＯＦＦにする等により、表示画像を表示させないようにしてもよい。また、本実施形態では各表示ユニット５２０Ｌ，５２０Ｒの前にスイッチャー５３０を配置して経路制御を行なったが、スイッチャーを各撮像ユニット５１０Ｌ，５１０Ｒと送受信Ｉ／Ｆ５５０の間に配置して同様の制御を行なうことも可能である。

また、本実施形態では、ＨＭＤ５００のＭＰＵ５６０により撮像ユニット５１０Ｌ，５１０Ｒを制御したが、画像処理ユニット６００から撮像ユニット５１０Ｌ，５１０Ｒを制御してもよい。この場合、輝度値の変更量は、予め定められた値、またはＨＭＤ５００と画像処理ユニット６００との任意のタイミングの通信によって決定した値で行なうことができる。

本実施形態では、撮像画像に付加情報を埋め込むのではなく、撮像画像自体の輝度値を変化させることで接続判定を行なうことが可能である。そのため、撮像画像に付加情報を埋め込むための回路や処理が不要となり、装置コスト及び処理負荷を低減できる。

＜第６の実施形態＞
第５の実施形態では撮像画像の輝度値を変化させることで、ケーブル接続の判定を行う構成について説明した。本実施形態では、撮像画像の輝度値ではなく色味を変化させて同様の判定を行なう構成について説明する。なお、本実施形態も第５の実施形態で説明した複合現実感提示システムに適用可能であるため、同様の構成を有するものとして処理の内容を説明する。

次に、本実施形態における撮像ユニットの制御について、図１３に示すフローチャートを参照して説明する。
Ｓ６０１において、ＭＰＵ５６０は、左及び右撮像ユニット５１０Ｌ、５１０Ｒを制御し、撮像画像の色味を変更させる。例えば、左及び右撮像ユニット５１０Ｌ、５１０Ｒのホワイトバランスの値を制御することにより、撮像画像の色味を変更させることができる。例えば、ＭＰＵ５６０は、左撮像ユニット５１０Ｌのホワイトバランス値を制御し、赤を強く、青、緑を弱く制御する。また、右撮像ユニット５１０Ｒのホワイトバランス値を制御し、青を強く、赤と緑を弱く制御する。

Ｓ６０２において、ＭＰＵ５６０は、輝度値を変化させて得られた左右の撮像画像を、送受信Ｉ／Ｆ５５０を用いて画像処理ユニット６００に送信する。その後、ＭＰＵ５６０はＳ６０３で、各撮像ユニット５１０Ｌ，５１０Ｒの設定値を元に戻し、撮像画像の輝度制御を解除する。

なお、両方の撮像ユニット５１０Ｌ，５１０Ｒに対して撮像画像の色味を変更させても、どちらか一方についてのみ変更させても良い。また、左右の撮像ユニット５１０Ｌ，５１０Ｒで撮像画像の色味を異ならせても良い。

図１４は、本実施形態における判定部５４０の動作を説明するフローチャートである。
Ｓ７０１において、判定器５４０は、送受信Ｉ／Ｆ５５０を介して画像処理ユニット６００から２つの合成画像を受信する。Ｓ７０２で、判定器５４０は、受信した合成画像の色味を判定する。上述のように、ＭＰＵ５６０が事前に左右の撮像ユニット５１０Ｌ，５１０Ｒを制御して、撮像画像の色味を変化させている。そのため、判定器５４０は、受信する合成画像の色味を予測することが可能である。

例えば、図１３のＳ６０１において、ＭＰＵ５６０が、左撮像ユニット５１０Ｌの撮像画像の赤が強く、青、緑が弱くなるように、右撮像ユニット５１０Ｒの撮像画像の青が強く、赤と緑が弱くなるようにそれぞれ制御すると仮定する。
この場合、判定器５４０においては、受信する画像処理ユニットから受信する２つの合成画像のうち、左眼用合成画像は赤みがかり、右眼用合成画像は青みがかることが予測できる。

そのため、判定器５４０は、Ｓ７０２において、受信した２つの合成画像の色味を比較することにより、受信した合成画像のどちらが右眼用で、どちらが左眼用であるかの判定を行なう。

そして、Ｓ７０３において、スイッチャー５３０の状態と、判定器５４０の出力する画像の関係から、出力経路の変更が必要かどうか判定する。現在のスイッチャー５３０の状態で、左表示ユニット５２０Ｌに左眼用合成画像が、右表示ユニット５２０Ｒに右眼用合成画像がそれぞれ入力される場合には、出力経路の変更は不要である。合成画像と表示ユニットとの左右関係が逆転している場合には、出力経路の変更が必要である。

Ｓ７０４において、判定器５４０からＭＰＵ５６０へ出力経路の変更を要求し、ＭＰＵ５６０がスイッチャー５３０の入力と出力との接続関係を切り替える。
以上の構成により、本実施形態によっても、左眼用合成画像を左表示ユニットへ、右眼用合成画像を右表示ユニットへ装置へ正しく表示することが可能となる。

本実施形態でも、第５の実施形態と同様、図１２を用いて説明した処理に従って、複数組の合成画像に対して判定を行なうことが可能である。具体的には、図１２におけるＳ３０１の代りにＳ６０１の処理を、Ｓ４０３に代えてＳ７０３の処理を実行すればよい。
さらに、第５の実施形態と本実施形態とを組み合わせ、輝度値の制御による判定と、色味の制御による判定とを組合わせて最終的な接続判定を行なってもよい。

また、色味の変更制御としては、赤、青、緑の相対強度を変更する以外に、例えば一方の撮像画像のみをモノクロ画像になるように制御する等であってもよい。
また、撮像画像として、撮像ユニット等が保有している単色チャートを出力させるように制御しても、色味に基づく接続判定が可能である。
なお、本実施形態において、上述した接続判定処理を行なうタイミングについては特に制限はなく、ＨＭＤ５００の起動時、システムの起動時、任意のタイミングにおけるユーザ操作等に基づいて行なうことができる。

なお、合成画像の左右判定処理中は、撮像画像の色味を変更するため、表示ユニット５１０Ｌ，５１０Ｒの電源をＯＦＦにする等により、表示画像を表示させないようにしてもよい。また、本実施形態では各表示ユニット５２０Ｌ，５２０Ｒの前にスイッチャー５３０を配置して経路制御を行なったが、スイッチャーを各撮像ユニット５１０Ｌ，５１０Ｒと送受信Ｉ／Ｆ５５０の間に配置して同様の制御を行なうことも可能である。

また、本実施形態では、ＨＭＤ５００のＭＰＵ５６０により撮像ユニット５１０Ｌ，５１０Ｒを制御したが、画像処理ユニット６００から撮像ユニット５１０Ｌ，５１０Ｒを制御してもよい。この場合、色味の変更方法や変更量は、予め定められた値、またはＨＭＤ５００と画像処理ユニット６００との任意のタイミングの通信によって決定した値で行なうことができる。

本実施形態では、撮像画像に付加情報を埋め込むのではなく、撮像画像自体の色味を変化させることで接続判定を行なうことが可能である。そのため、撮像画像に付加情報を埋め込むための回路や処理が不要となり、装置コスト及び処理負荷を低減できる。また、撮像ユニットが保持している単色チャートを用いた場合には、判定がより確実となる。

＜第７の実施形態＞
第５、第６の実施形態ではＨＭＤの撮像ユニットを制御することでケーブル接続の判定を行なった。本実施形態では、画像処理ユニットが生成する合成画像の解像度を左右で変化させることにより、ケーブル接続の判定を行なう。なお、本実施形態も第５の実施形態で説明した複合現実感提示システムに適用可能であるため、同様の構成を有するものとして処理の内容を説明する。

接続判定処理時に画像処理ユニット６００がＨＭＤ５００に対して送信する合成画像の解像度を、左眼用合成画像と、右眼用合成画像とで異ならせる。左右の解像度は予め決められた解像度でも、またはＨＭＤ５００と画像処理ユニット６００との任意のタイミングの通信によって決定してもよい。

図１５は本実施形態に係る複合現実感提示システムにおける、判定器５４０の処理動作を説明するフローチャートである。
Ｓ８０１において、判定器５４０は、送受信Ｉ／Ｆ５５０を介して画像処理ユニット６００から２つの合成画像を受信する。Ｓ８０２で、判定器５４０は、受信した合成画像の解像度を判定する。例えば、判定処理中においては、画像処理ユニット６００が、左眼用合成画像の解像度をＸＧＡ（１０２４×７６８）、右眼用合成画像の解像度をＳＸＧＡ（１２８０×１０２４）で生成するものと設定されているとする。

Ｓ８０２において、判定器５４０は、スイッチャー５３０の状態を考慮し、接続判定を行なう。すなわち、左眼用合成画像の出力経路にＳＸＧＡの解像度を有する合成画像が、右眼用合成画像の出力経路にＸＧＡの解像度を有する合成画像が受信されている場合、Ｓ８０３において出力先変更が必要であると判定する。

Ｓ８０４において、判定器５４０からＭＰＵ５６０へ出力経路の変更を要求し、ＭＰＵ５６０がスイッチャー５３０の入力と出力との接続関係を切り替える。また、必要に応じてＭＰＵ５６０は、接続判定処理の終了を画像処理ユニット６００へ通知する。これに応じて画像処理ユニット６００は、以降、本来の解像度を有する合成画像を生成し、ＨＭＤ５００に対して送信する。

本実施形態も、撮像画像に付加情報を埋め込む必要がないため、撮像画像に付加情報を埋め込むための回路や処理が不要となり、装置コスト及び処理負荷を低減できる。また、本実施形態によれば、撮像画像の輝度や色味は変更されないため、接続判定処理の間、表示ユニットの電源をＯＦＦする等、表示を停止するための操作が不要である。

＜第８の実施形態＞
次に、第５〜第７の実施形態において、第３の実施形態（図５）に示すように、画像処理ユニットが複数存在する構成について説明する。
図１６は、図９に示した構成に基づいて、画像処理ユニットを２つ設けた場合の構成例を示すブロック図である。

図１６においては、右眼用の撮像画像を処理する右画像処理ユニット６００Ｒ、左眼用の撮像画像を処理する左画像処理ユニット６００Ｌが設けられている。各画像処理ユニッ６００Ｒ，６００Ｌの構成は、画像合成部６２０が処理する撮像画像が１系統となったこと、ＬＡＮと接続するためのＩ／Ｆ６３０が設けられていることを除き、図９における画像処理ユニット６００と同一である。

図１７は、図１６の構成において、表示ケーブルが左右逆に接続された状態を示すブロック図である。
この場合、画像処理ユニット６００Ｒは右撮像画像を、画像処理ユニット６００Ｌは左撮像画像を受信し、それぞれの画像合成部６２０で撮像画像に対してＣＧ画像を合成し、右眼用合成画像及び左眼用合成画像を生成する。

図２０は画像処理ユニット６００Ｒ及び６００Ｌが、受信する撮像画像が左眼用であるか右眼用であるかを判定する処理を説明するフローチャートである。
この処理は、画像合成部６２０に含まれる制御部（図示せず）によって実行される。制御部は例えばＨＭＤのＭＰＵ５６０と同様、ＣＰＵ，ＲＯＭ，ＲＡＭ等を有し、ＣＰＵによりプログラムを実行することで、画像合成処理及び以下に説明する判定処理を実現する。

Ｓ９０１において画像合成部６２０は撮像画像を受信し、Ｓ９０２で撮像画像の左右判定を行なう。ここでの左右判定に、第５の実施形態や第６の実施形態で説明した手法を用いることができる。つまり、少なくとも一方の画像合成部６２０に、判定器５４０の機能を設けることができる。ただし、本実施形態においては、合成画像部６２０が左右一方の撮像ユニットからのみ撮像画像を受信するため、左右の撮像画像の輝度や色味に基づく判定を行なうことはできない。

例えば撮像画像の色味を変更する場合、赤が強く、その後青が強くなるものが左撮像画像とし、青が強く、その後緑が強くなるものが右撮像画像とする。このように、同じ撮像ユニットの撮像画像の色味や輝度の制御対象や制御量を時刻と共に変化させ、その変化を左右の撮像画像で異ならせることで、１つの撮像画像に基づいて左右判定を行なうことが可能となる。左右の撮像ユニットをどのように制御するかについては、予め設定しておくことも可能であるし、ＨＭＤ５００と各画像処理ユニット６００Ｒ，６００Ｌ間での任意のタイミングにおける通信により画像合成部６２０に設定しても良い。

このように、輝度や色味の相対的な変化に基づいて左右判定を行なうため、複数回の判定を行ない、判定精度を向上させることが好ましい。なお、本実施形態においては、１回の判定で、第１の状態の画像（上述の例であれば、左撮像画像では赤が強い状態）と第２の状態の画像（同、青が強い状態）の比較判定を行なう。

Ｓ９０３、Ｓ９０６では、判定回数が予め定めた複数回（Ｎ回）に達したかどうかを判定し、判定していなければ判定回数を１増加させる。判定回数がＮ回に達した場合、Ｓ９０４において、正しい撮像ユニットからの撮像画像を受信しているかどうかを判定する。ここでは、例えば、Ｓ９０２における左右判定の結果、高確率で得られた判定結果に基づいて接続の正誤を判定することができる。

図１６の状態では、表示ケーブル、撮像ケーブルとも正しく接続されているため、Ｓ９０４では合成処理を変更する必要がないと判定される。また、図１７の場合、表示ケーブルの接続関係が逆転しているが、撮像ケーブルは正しく接続されているため、合成画像は正しく生成されている。つまり、撮像画像の左右関係と、合成するＣＧ画像の左右関係は正しい。従って、Ｓ９０５の合成処理変更は実施されない。

しかし、画像処理ユニット６００Ｒ、６００ＬからＨＭＤ５００に対して送信する合成画像の左右関係は、ＨＭＤ５００の表示ユニットの左右関係とは逆転している。そのため、上述した各実施形態を用い、ＨＭＤ５００において、入力の左右関係と表示ユニットへの出力の左右関係を整合させる必要がある。
これにより、正しく左眼用合成画像を左表示ユニットに、右眼用合成画像を右表示ユニットに表示することが可能となる。

図１８は、図１６の構成において、撮像ケーブルが左右逆に接続された状態を示すブロック図である。
この場合は、右画像処理ユニット６００Ｒは左撮像画像を、左画像処理ユニット６００Ｌは右撮像画像を受信し、各画像合成部６２０で撮像画像に対してＣＧ画像を合成する。つまり、左の撮像画像に対して右眼用の、右の撮像画像に対して左眼用のＣＧ画像合成処理がぞれぞれ行なわれることとなる。

図２０で説明した判定処理において、画像合成部６２０は、受信している撮像画像が左右逆転していることを判別することができる。従って、Ｓ９０４において、合成処理の変更が必要であるとの判定を行ない、Ｓ９０５で画像合成処理の変更を行なう。
これにより、画像処理ユニット６００Ｒの画像合成部６２０は右眼用ではなく左眼用のＣＧ画像合成を行い、画像処理ユニット６００Ｌの画像合成部も同様に右眼用のＣＧ画像合成を行なうように処理を変更する。

この場合も図１７の場合と同様、画像処理ユニット６００Ｒ、６００ＬからＨＭＤ５００に対して送信する合成画像の左右関係は、ＨＭＤ５００の表示ユニットの左右関係とは逆転している。そのため、上述した各実施形態を用い、ＨＭＤ５００において、入力の左右関係と表示ユニットへの出力の左右関係を整合させる必要がある。
これにより、正しく左眼用合成画像を左表示ユニットに、右眼用合成画像を右表示ユニットに表示することが可能となる。

図１９は、図１６の構成において、撮像ケーブル及び表示ケーブルの両方が左右逆に接続された状態を示すブロック図である。
この場合も、左右の画像処理ユニット６００Ｌ，Ｒが受信する撮像画像の左右関係が逆転しているため、画像合成処理の変更が必要である。しかし、表示ケーブルが逆に接続されていることで、ＨＭＤ５００へ入力される合成画像の左右関係は表示ユニットの左右関係と正しい。そのため、ＨＭＤ５００の判定器５４０、スイッチャー５３０で表示画像の出力先を切替える制御は必要ない。
これにより、正しく左眼用合成画像を左表示ユニットに、右眼用合成画像を右表示ユニットに表示することが可能となる。

本実施形態では画像処理ユニットが２台設けられている構成において、表示ケーブルや撮像ケーブルの接続が正しく行なわれていない場合の制御について説明した。
このように、本実施形態によれば、撮像及び／又は表示ケーブルの接続が違っていても、左眼用合成画像を左表示ユニットに、右眼用合成画像を右表示ユニットに表示することが可能となる。

＜他の実施形態＞
なお、上述の実施形態では、ステレオビデオシースルーＨＭＤの応用例としての複合現実感提示システムについて説明した。しかし、本発明は表示される画像に依存しないため、ステレオ画像を正しく表示することが必要な任意のシステムにおけるステレオビデオシースルーＨＭＤに対して適用可能である。これは、本発明が任意のステレオビデオシースルーＨＭＤに対して適用可能であることと等価である。また、ユーザが手に持って眼前にて映像を観察するハンドヘルドタイプのディスプレイにおいても、同様に適用することができる。

上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるコンピュータプログラム自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

この場合、本発明の機能処理をコンピュータで実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）をサーバに記憶しておく。プログラムデータファイルとしては、実行形式のものであっても、ソースコードであっても良い。

そして、このサーバにアクセスしたクライアントコンピュータに、プログラムデータファイルをダウンロードすることによって供給する。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルをクライアントコンピュータに提供するサーバ装置も本発明に含む。

また、本発明のコンピュータプログラムを暗号化して格納した記憶媒体をユーザに配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを可能とすることも可能である。鍵情報は例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。

また、コンピュータにより実施形態の機能を実現するためのコンピュータプログラムが、実施形態の機能を、すでにコンピュータ上で稼働するＯＳの機能を利用して実現しても良い。

さらに、本発明を構成するコンピュータプログラムの少なくとも一部が、コンピュータに装着される拡張ボード等のファームウェアとして提供され、拡張ボード等が備えるＣＰＵを利用して上述の実施形態の機能を実現しても良い。

本発明の第１の実施形態に係る複合現実感提示システムの構成例を示すブロック図である。 ステレオビデオシースルーＨＭＤを装着した状態を模式的に示す図である。 撮像ユニット１１０Ｒ、１１０Ｌが生成した撮像画像データに、左右の画像を区別可能な情報として、右眼用画像を表す情報、左目用画像を表す情報を、電子透かし画像（１６０Ｒ、１６０Ｌ）として合成した例を示す図である。 本発明の第２の実施形態に係る複合現実感提示システムにおける、画像処理ユニット２００’の構成例を示すブロック図である。 本発明の第３の実施形態に係る複合現実感提示システムの構成例を示すブロック図である。 実施形態に係るビデオシースルーＨＭＤにおける撮影画像データの処理を示すフローチャートである。 実施形態に係るビデオシースルーＨＭＤにおける画像表示処理を示すフローチャートである。 本発明の第１の実施形態に係る複合現実感提示システムにおける、画像処理ユニット２００の構成例を示すブロック図である。 本発明の第５の実施形態に係る本実施形態に係る複合現実感提示システムの構成例を示すブロック図である。 本発明の第５の実施形態に係る複合現実感提示システムにおける、接続判定処理時の撮像処理を説明するフローチャートである。 本発明の第５の実施形態に係る複合現実感提示システムにおける、判定部の処理を説明するフローチャートである。 本発明の第５の実施形態に係る複合現実感提示システムにおける、接続判定処理の別の例を説明するフローチャートである。 本発明の第６の実施形態に係る複合現実感提示システムにおける、接続判定処理時の撮像処理を説明するフローチャートである。 本発明の第６の実施形態に係る複合現実感提示システムにおける、判定部の処理を説明するフローチャートである。 本発明の第７の実施形態に係る複合現実感提示システムにおける、判定部の処理を説明するフローチャートである。 本発明の第８の実施形態に係る複合現実感提示システムの構成例を示すブロック図である。 図１６の構成において、表示ケーブルが左右逆に接続された状態を示すブロック図である。 、図１６の構成において、撮像ケーブルが左右逆に接続された状態を示すブロック図である。 図１６の構成において、撮像ケーブル及び表示ケーブルの両方が左右逆に接続された状態を示すブロック図である。 本発明の第８の実施形態に係る複合現実感提示システムの画像処理ユニット６００Ｒ及び６００Ｌが行なう、受信撮像画像の左右判別処理を説明するフローチャートである。

Claims (17)

1. 右眼用表示装置及び左眼用表示装置を有するステレオ表示装置であって、
   一対の表示用画像からなるステレオ画像を受信する受信手段と、
   前記一対の表示用画像の各々について、右眼用表示画像であるか左眼用表示画像であるか判別する判別手段と、
   前記一対の表示用画像を入力とし、その一方を前記右眼用表示装置へ、他方を前記左眼用表示装置へ出力可能な出力手段を有し、
   前記判別手段による判別結果に基づいて、前記右眼用表示画像を前記右眼用表示装置へ、前記左眼用表示画像を前記左眼用表示装置へ出力するよう、前記出力手段を制御する制御手段を有することを特徴とするステレオ表示装置。
2. 右眼用画像、及び左眼用画像をそれぞれ外部装置に送信する送信手段と、
   一対の表示用画像からなるステレオ画像を前記外部装置から受信する受信手段と、
   前記一対の表示用画像の各々について、右眼用表示画像であるか左眼用表示画像であるか判別する判別手段と、
   前記一対の表示用画像を入力とし、その一方を前記右眼用表示装置へ、他方を前記左眼用表示装置へ出力する出力手段を有し、
   前記判別手段による判別結果に基づいて、前記右眼用表示画像を前記右眼用表示装置へ、前記左眼用表示画像を前記左眼用表示装置へ送信するよう、前記出力手段を制御する制御手段を有することを特徴とするステレオ表示装置。
3. 右眼用表示装置及び左眼用表示装置を有するステレオ表示装置であって、
   右眼用画像及び左眼用画像を撮像する右眼用撮像装置及び左眼用撮像装置を有するステレオ撮像手段と、
   前記右眼用画像及び前記左眼用画像をそれぞれ外部装置に送信する送信手段と、
   一対の表示用画像からなるステレオ画像を前記外部装置から受信する受信手段と、
   前記一対の表示用画像の各々について、右眼用表示画像であるか左眼用表示画像であるか判別する判別手段と、
   前記一対の表示用画像を入力とし、その一方を前記右眼用表示装置へ、他方を前記左眼用表示装置へ出力可能な出力手段を有し、
   前記判別手段による判別結果に基づいて、前記右眼用表示画像を前記右眼用表示装置へ、前記左眼用表示画像を前記左眼用表示装置へ出力するよう、前記出力手段を制御する制御手段を有することを特徴とするステレオ表示装置。
4. 前記判別手段が、前記一対の表示用画像に含まれる付加情報から前記判別を行なうことを特徴とする請求項１乃至請求項３のいずれか１項に記載のステレオ表示装置。
5. 前記付加情報が電子透かしとして前記一対の表示用画像に埋め込まれていることを特徴とする請求項４記載のステレオ表示装置。
6. 前記付加情報が前記一対の表示画像中の表示されないエリアに埋め込まれていることを特徴とする請求項４記載のステレオ表示装置。
7. 前記判別手段が、前記一対の表示用画像を比較することにより前記判別を行なうことを特徴とする請求項１乃至請求項３のいずれか１項に記載のステレオ表示装置。
8. 前記判別手段が、前記一対の表示画像中の特定の領域内の輝度を比較することによって前記判別を行なうことを特徴とする請求項７記載のステレオ表示装置。
9. 前記判別手段が、前記一対の表示用画像中の特定の領域内の色味を比較することによって前記判別を行なうことを特徴とする請求項７記載のステレオ表示装置。
10. 前記判別手段が、前記一対の表示画像中の特定の領域内の解像度を比較することによって前記判別を行なうことを特徴とする請求項７記載のステレオ表示装置
11. 前記左眼用画像に左眼用画像であることを表す情報を、前記右眼用画像に右眼用画像であることを表す情報をそれぞれ付加した合成画像を生成する合成手段をさらに有することを特徴とする請求項２又は請求項３記載のステレオ表示装置。
12. 請求項１１記載のステレオ表示装置と、
    前記合成画像を受信し、前記合成画像に対して予め定められた画像処理を行い、前記受信手段へ前記一対の表示用画像として出力する前記外部装置としての画像処理手段とを有することを特徴とするステレオ表示システム。
13. 前記ステレオ撮像手段を制御して、前記右眼用画像及び前記左眼用画像とで異なる撮像処理を行なわせる撮像制御手段をさらに有することを特徴とする請求項３記載のステレオ表示装置。
14. 請求項１乃至請求項１３のいずれか１項に記載のステレオ表示装置と、
    前記右眼用画像及び前記左眼用画像を受信する受信手段と、
    前記右眼用画像及び前記左眼用画像を用いて前記ステレオ画像を生成し、前記ステレオ表示装置へ送信する送信手段、
    を有する、前記外部装置としての画像処理装置と、
    前記判別手段の判別結果に基づいて、前記右眼用表示画像を前記右眼用表示装置へ、前記左眼用表示画像を前記左眼用表示装置に出力するように、前記出力手段を制御する制御装置、
    とを有することを特徴とするステレオ表示システム。
15. 前記画像処理装置が、前記右眼用画像から前記右眼用表示画像を生成する第１の画像処理手段と、前記左眼用画像から前記左眼用表示画像を生成する第２の画像処理手段とを有することを特徴する請求項１４記載のステレオ表示システム。
16. 右眼用表示装置と、
    左眼用表示装置と、
    一対の表示用画像を入力とし、その一方を前記右眼用表示装置へ、他方を前記左眼用表示装置へ出力可能な出力手段とを有するステレオ表示装置の制御方法であって、
    前記一対の表示用画像からなるステレオ画像を受信する受信工程と、
    前記一対の表示用画像の各々について、右眼用表示画像であるか左眼用表示画像かを判別する判別工程と、
    前記判別工程による判別結果と、前記出力手段の現在の入出力関係とに基づいて、前記一対の表示用画像のうち、前記右眼用表示画像を前記右眼用表示装置へ、前記左眼用表示画像を前記左眼用表示装置へ出力するよう、前記出力手段を制御する制御工程とを有することを特徴とするステレオ表示装置の制御方法。
17. 右眼用画像と左眼用画像を外部装置に送信する送信工程と、
    一対の表示用画像を入力とし、その一方を右眼用表示装置へ、他方を左眼用表示装置へ送信可能な送信手段とを有するステレオ表示装置の制御方法であって、
    前記一対の表示用画像からなるステレオ画像を前記外部装置から受信する受信工程と、
    前記一対の表示用画像の各々について、右眼用表示画像であるか左眼用表示画像かを判別する判別工程と、
    前記判別工程による判別結果と、前記出力手段の現在の入出力関係とに基づいて、前記一対の表示用画像のうち、前記右眼用表示画像を前記右眼用表示装置へ、前記左眼用表示画像を前記左眼用表示装置へ送信するよう、前記送信手段を制御する制御工程とを有することを特徴とするステレオ表示装置の制御方法。

Images