JP2008277920A - システム - Google Patents

Abstract

【課題】右目用カメラと左目用カメラと画像処理装置の接続関係をより簡便に得、仮想空間と現実空間との合成画像をユーザに提供する。
【解決手段】識別情報取得部３１７（３１８）にて、右カメラ１０１Ｒ（左カメラ１０１Ｌ）より取得した識別情報を制御部３０３（３１２）に送出する。制御部３０３（３１２）は識別情報取得部３１７（３１８）から受けた識別情報に基づいて接続状態を判断する。位置姿勢情報送信部３０５は、右カメラ１０１Ｒの位置姿勢情報を画像処理装置２０６に送信する。画像出力部３０８は、位置姿勢情報に基づいて生成された仮想空間画像と現実画像入力部３０２が入力した撮像画像とを合成した合成画像を出力する。画像出力部３１６は、位置姿勢算出部３１３により求められたの位置姿勢に基づいて生成される仮想空間画像と、現実画像入力部３１１が入力した撮像画像とを合成した合成画像を出力する。
【選択図】図３

Description

本発明は、立体視の為の技術に関するものである。

ＶＲ（バーチャルリアリティ）システムは、コンピュータにより作り出された三次元ＣＧ（Computer Graphic）映像をユーザに提示することにより、仮想空間をあたかも現実空間であるかのように、ユーザに感じさせるシステムである。

また近年では、現実空間の映像に三次元ＣＧを合成することにより、現実空間にはない情報をユーザに提示する技術が開発されており、このような技術は、ＭＲ（Mixed Reality：複合現実感）システムと呼ばれている。このＭＲシステムは、現実空間と切り離された状況のみにおいて体験することが可能であった仮想空間と、現実空間との共存を目的とし、仮想空間を増強する技術として注目されている。

仮想空間と現実空間とを共存させるためのシステム（ＶＲ／ＭＲシステム）を実現する代表的な装置として、ヘッドマウントディスプレイ（ＨＭＤ）がある。ＶＲ／ＭＲシステムにおいては、ＨＭＤに仮想空間や現実空間を表示することにより、ＨＭＤを装着したユーザに対して仮想空間および複合現実空間を提示することができる（特許文献１参照）。

図１は、ユーザがステレオビデオシースルーＨＭＤ１００（以下、単にＨＭＤ１００と呼称する）を装着した状態を模式的に示す図である。ＨＭＤ１００は、眼鏡又はゴーグルに似た外観形状を有し、その内部には、例えばＬＣＤで構成されている右目用表示デバイス１０２Ｒと、左眼用表示デバイス１０２Ｌが配置されている。以下、右目用表示デバイス１０２Ｒは右表示装置１０２Ｒ、左眼用表示デバイス１０２Ｌは左表示装置１０２Ｌと呼称する。また、ステレオビデオ映像をＨＭＤ１００に装着したビデオカメラにより取得する場合には、例えばユーザ（装着者）の視点位置の近傍位置に右目用ステレオビデオカメラ１０１Ｒ、左目用ステレオビデオカメラ１０１Ｌが設けられる。以下、右目用ステレオビデオカメラ１０１Ｒは右カメラ１０１Ｒ、左目用ステレオビデオカメラ１０１Ｌは左カメラ１０１Ｌと呼称する。

立体視を実現する（ステレオ画像をユーザに提示する）為には、右目用画像及び左目用画像といった視差のある１対の画像を生成し、各画像を右目用表示デバイス及び左目用表示デバイスに表示させる必要がある。視差のある画像を生成するためには、右目と左目の視差、つまり一方のカメラから見た他方のカメラの位置姿勢を求める必要がある。これを求める方法として、複数のテスト画像を右目用カメラ及び左目用カメラで撮影を行い、取得した撮影画像からそれぞれのカメラの位置姿勢関係を求めるといったことが知られている。
特開２００２−１５９０１９号公報

従来は、一台の画像処理装置を用いて右目用画像と左目用画像を生成したいた。しかし、画像生成の速度の向上等のため、右目用画像と左目用画像をそれぞれ別の画像処理装置で生成することが考えられている。この様な構成において、右目用カメラと左目用カメラの位置姿勢を求めるために、それぞれのカメラに接続される画像処理装置の接続関係は予めユーザが定めておく必要がある。しかし、実際にそれぞれの画像処理装置を接続する際に、ユーザが接続関係を誤ってしまった場合、右目用カメラ、左目用カメラのそれぞれの位置姿勢を、接続されたそれぞれの画像処理装置は正しく求めることはできないことになる。

本発明は以上の問題に鑑みて成されたものであり、右目用カメラと左目用カメラとそれぞれに接続される画像処理装置の接続関係をより簡便に得、得た接続関係を用いて仮想空間と現実空間との合成画像をユーザに提供する為の技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明のシステムは以下の構成を備える。

即ち、頭部装着型表示装置が有する第一のカメラが撮像する現実空間の画像を受信する第一の画像処理装置と、当該頭部装着型表示装置が有する第二のカメラが撮像する現実空間の画像を受信する第二の画像処理装置と、を備えるシステムであって、
前記第一の画像処理装置は、
前記第一のカメラがマスタであるか否かを判断する判断手段と、
前記判断手段の判断の結果、マスタである場合は前記第一のカメラの位置姿勢情報を取得し、マスタでない場合は前記第二の画像処理装置から前記第二のカメラの位置姿勢情報とを取得する手段と、
前記判断手段の判断の結果、マスタである場合、前記第一のカメラの位置姿勢情報を前記第二の画像処理装置に対して出力する手段と、
前記判断手段の判断の結果、マスタでない場合、前記第一のカメラと前記第二のカメラとの位置姿勢関係を示す位置姿勢関係情報を取得する手段と、
前記判断手段の判断の結果、マスタでない場合、前記第二のカメラの位置姿勢情報と前記位置姿勢関係情報に基づいて前記第一のカメラの位置姿勢情報を求める手段と、
前記第一の位置姿勢情報に基づいて仮想空間画像を生成する手段と、
前記第一のカメラが撮像した現実空間の画像を取得する手段と、
前記現実空間の画像と前記仮想空間画像とを合成した第一の合成画像を生成する手段と、
前記第一の合成画像を前記頭部装着型表示装置に対して出力する手段とを備え、
前記第二の画像処理装置は、
前記第二のカメラがマスタであるか否かを判断する判断手段と、
前記判断手段の判断の結果、マスタである場合は前記第二のカメラの位置姿勢情報を取得し、マスタでない場合は前記第一の画像処理装置から前記第一のカメラの位置姿勢情報を取得する手段と、
前記判断手段の判断の結果、マスタである場合、前記第二のカメラの位置姿勢情報を前記第一の画像処理装置に対して出力する手段と、
前記判断手段の判断の結果、マスタでない場合、前記第一のカメラと前記第二のカメラとの位置姿勢関係を示す位置姿勢関係情報を取得する手段と、
前記判断手段の判断の結果、マスタでない場合、前記第一のカメラの位置姿勢情報と前記位置姿勢関係情報とに基づいて前記第二のカメラの位置姿勢情報を求める手段と、
前記第二のカメラの位置姿勢情報に基づいて仮想空間画像を生成する手段と、
前記第二のカメラが撮像した現実空間の画像を取得する手段と、
前記第二のカメラが撮像した現実空間の画像と、前記第二のカメラの位置姿勢情報に基づいて生成した仮想空間画像と、を合成した第二の合成画像を生成する手段と、
前記第二の合成画像を前記頭部装着型表示装置に対して出力する手段と
を備えることを特徴とする。

本発明の構成によれば、右目用カメラと左目用カメラと、それぞれに接続される画像処理装置の接続関係をより簡便に得、そして得た接続関係を用いて、仮想空間と現実空間との合成画像をユーザに提供することができる。

以下、添付図面を参照し、本発明の好適な実施形態について詳細に説明する。

［第１の実施形態］
図２は、本実施形態に係るシステムの機能構成を示すブロック図である。図２に示す如く、本実施形態に係るシステムは、頭部装着型表示装置としてのＨＭＤ１００、画像処理装置２０５，２０６で構成されている。画像処理装置２０５は、ＨＭＤ１００が有する後述の右目用のユニットに、ユーザがケーブルを接続することにより接続されている。また、画像処理装置２０６は、ＨＭＤ１００が有する後述の左目用のユニットに、ユーザがケーブルを接続することにより接続されている。即ち、図１の構成においては、画像処理装置２０５は、右目用画像処理装置であり、画像処理装置２０６は、左目用画像処理装置である。また、画像処理装置２０５と画像処理装置２０６は、ＬＡＮやインターネットなどのネットワーク２０２により互いに通信可能に接続されている。

先ず、ＨＭＤ１００について説明する。ＨＭＤ１００は、右カメラ（右目用カメラ）１０１Ｒ、右表示装置１０２Ｒ、撮像画像出力部２０３Ｒ、表示画像入力部２０４Ｒで構成されている右目用のユニットを有する。同様に、ＨＭＤ１００は、左カメラ（左目用カメラ）１０１Ｌ、左表示装置１０２Ｌ、撮像画像出力部２０３Ｌ、表示画像入力部２０４Ｌで構成されている左目用のユニットを有する。

右カメラ１０１Ｒは、図１に示す如く、ＨＭＤ１００を頭部に装着したユーザの右目の位置近傍から見える現実空間の動画像を撮像するビデオカメラである。右カメラ１０１Ｒが撮像した各フレームの画像（撮像画像、若しくは現実空間画像と呼称する）のデータは、撮像画像出力部２０３Ｒ、Ｉ／Ｆ（インターフェース）２０１を介して画像処理装置２０５に送出される。なお、本実施の形態では、右カメラ１０１Ｒが第一のカメラとして機能する。

左カメラ１０１Ｌは、図１に示す如く、ＨＭＤ１００を頭部に装着したユーザの左目の位置近傍から見える現実空間の動画像を撮像するビデオカメラである。左カメラ１０１Ｌが撮像した各フレームの画像（撮像画像、若しくは現実空間画像と呼称する）のデータは、撮像画像出力部２０３Ｌ、Ｉ／Ｆ（インターフェース）２０１を介して画像処理装置２０６に送出される。なお、本実施の形態では、左カメラ１０１Ｌが第二のカメラとして機能する。

ＭＰＵ２００は、ＣＰＵ、ＲＯＭ、ＲＡＭ等により構成されており、ＨＭＤ１００を構成する各部の動作制御を行う。また、係るＲＯＭには、右カメラ１０１Ｒと左カメラ１０１Ｌとの位置姿勢関係を示す位置姿勢関係情報が登録されている。なお、係る位置姿勢関係情報については、画像処理装置２０５や画像処理装置２０６が保持するようにしても良い。ＭＰＵ２００は係る位置姿勢関係情報を適宜画像処理装置２０５や画像処理装置２０６に送出する。

右表示装置１０２Ｒは、例えばＬＣＤディスプレイや有機ＥＬディスプレイ等の小型、軽量な表示デバイス（右目用表示装置）であり、ＨＭＤ１００を頭部に装着したユーザの右目の眼前に位置するように、ＨＭＤ１００に取り付けられているものである。なお、本実施の形態では、右表示装置１０２Ｒが第一の表示装置として機能する。

左表示装置１０２Ｌは、例えばＬＣＤディスプレイや有機ＥＬディスプレイ等の小型、軽量な表示デバイス（左目用表示装置）であり、ＨＭＤ１００を頭部に装着したユーザの左目の眼前に位置するように、ＨＭＤ１００に取り付けられているものである。なお、本実施の形態では、左表示装置１０２Ｌが第二の表示装置として機能する。

撮像画像出力部２０３Ｒは、右カメラ１０１Ｒから受けた撮像画像のデータをＩ／Ｆ２０１を介して画像処理装置２０５に送出する。

撮像画像出力部２０３Ｌは、左カメラ１０１Ｌから受けた撮像画像のデータをＩ／Ｆ２０１を介して画像処理装置２０６に送出する。

表示画像入力部２０４Ｒは、画像処理装置２０５からＩ／Ｆ２０１を介して受信した画像を右表示装置１０２Ｒに対して送出する。

表示画像入力部２０４Ｌは、画像処理装置２０６からＩ／Ｆ２０１を介して受信した画像を左表示装置１０２Ｌに対して送出する。

Ｉ／Ｆ２０１は、ビデオ画像入出力端子、例えばＤＶＩ、Ｓ−ＶＩＤＥＯ、ＩＥＥＥ１３９４等で構成されており、ＨＭＤ１００に画像処理装置２０５、２０６を接続するためのものである。

次に、画像処理装置２０５について説明する。画像処理装置２０５は、Ｉ／Ｆ２０５ａを介してＨＭＤ１００とのデータ通信を行う。画像処理装置２０５は後述する処理により、右カメラ１０１Ｒから見える現実空間の画像と仮想空間の画像との合成画像（右目用合成画像）を生成し、ＨＭＤ１００に送出する。なお、本実施の形態では、画像処理装置２０５が第一の画像処理装置として機能する。

次に、画像処理装置２０６について説明する。画像処理装置２０６は、Ｉ／Ｆ２０６ａを介してＨＭＤ１００とのデータ通信を行う。画像処理装置２０６は後述する処理により、左カメラ１０１Ｌから見える現実空間の画像と仮想空間の画像との合成画像（左目用合成画像）を生成し、ＨＭＤ１００に送出する。なお、本実施の形態では、画象処理装置２０６が第二の画像処理装置として機能する。

以下の説明では一例として、右カメラ１０１Ｒを「マスターカメラ」、左カメラ１０１Ｌを「スレイブカメラ」とする。また、マスターカメラを含む右目用のユニット用に設けられている画像処理装置２０５を「マスター画像処理装置」、スレイブカメラを含む左目用のユニット用に設けられている画像処理装置２０６を「スレイブ画像処理装置」とする。係る説明では、右目についての構成をマスター、左目についての構成をスレイブとしているが、逆にしてもシステムの動作は実質的には同じである。

ユーザは、本システムを使用するときに、ＨＭＤ１００と画像処理装置２０５、２０６をケーブルで接続し、システムの電源を投入する。電源投入後の立上げ処理の中で、ＨＭＤ１００の右目用ユニット及び左目用ユニットそれぞれは、接続されたそれぞれの画像処理装置に対して、右目用ユニット、左目用ユニットであることを示す情報を送信する。この情報をそれぞれ受けた画像処理装置２０５、２０６は、下記の機能構成で動作する。

図３は、画像処理装置２０５，２０６の機能構成を示すブロック図である。なお、図３においては、マスター画像処理装置２０５とスレーブ画像処理装置２０６の構成が異なっているように記載されているが、右目用ユニットに画像処理装置２０６が接続され、左目用ユニットに画像処理装置２０５が接続されることもある。この場合においても、それぞれの画像処理装置が動作可能なような構成をそれぞれの画像処理装置は有する。

先ず、画像処理装置２０５について説明する。

識別情報取得部３１７は、接続している右カメラ１０１Ｒから識別情報を取得する。取得した識別情報は、制御部３０３に送出される。

位置姿勢情報取得部３０１は、ネットワーク２０２に接続された外部の不図示のセンサシステムが計測した、右カメラ１０１Ｒの位置姿勢を示すデータ（位置姿勢情報）を、ネットワーク２０２を介して取得する。係るセンサシステムには磁気センサ、光学式センサ、超音波式センサなど様々なセンサが適用できるが、右カメラ１０１Ｒの位置姿勢を計測可能なセンサであれば、如何なるセンサを用いても良い。また、カメラの位置姿勢を計測するためのセンサシステムについては周知の技術であるので、係るセンサシステムについての説明は省略する。位置姿勢情報取得部３０１は、取得した位置姿勢情報を後段の位置姿勢算出部３０４に送出する。

現実画像入力部３０２は、右カメラ１０１Ｒから順次送出される各フレームの撮像画像を取得し、画像合成部３０７に送出する。

位置姿勢算出部３０４は、位置姿勢情報取得部３０１から受けた位置姿勢情報を位置姿勢情報送信部３０５、仮想画像作成部３０６に対して送出する。なお、右カメラ１０１Ｒの位置姿勢情報は、現実画像入力部３０２が入力した撮像画像を併用して求めることもできる。この場合、現実画像入力部３０２は、入力した撮像画像を位置姿勢算出部３０４にも送出する。従って位置姿勢算出部３０４は、センサシステムから取得する位置姿勢情報をそのまま用いても良いし、係る位置姿勢情報を、撮像画像を用いて補正するようにしても良い。即ち、位置姿勢算出部３０４は、右カメラ１０１Ｒの位置姿勢情報を取得することができるのであれば、如何なる方法を用いても良い。なお、右カメラ１０１Ｒが撮像した撮像画像から右カメラ１０１Ｒの位置姿勢を推定する為の技術については周知の技術であるので、これについての説明は省略する。

そして如何なる方法でもって右カメラ１０１Ｒの位置姿勢情報を取得しても、位置姿勢算出部３０４は、係る位置姿勢情報を、位置姿勢情報送信部３０５、仮想画像作成部３０６に送出する。

制御部３０３は、識別情報取得部３１７から受けた識別情報に基づいて接続状態の判断を実施し、判断結果に基づいて、マスター画像装置として動作するのか、スレーブ画像処理装置として動作するのかを決定する。また、画像処理装置２０５を構成する各部の動作制御を行うとともに、画像処理装置２０６とのデータ通信を制御する。

位置姿勢情報送信部３０５は、位置姿勢算出部３０４から受けた位置姿勢情報を画像処理装置２０６側に送信する。

仮想画像作成部３０６は、位置姿勢算出部３０４から受けた位置姿勢情報が示す位置姿勢を有する視点から見える仮想空間の画像（仮想空間画像）を作成する。係る仮想空間画像の作成方法については周知の技術であるので、これについての説明は省略する。そして作成した仮想空間画像は、後段の画像合成部３０７に送出する。

画像合成部３０７は、現実画像入力部３０２から受けた現実空間の画像上に、仮想画像作成部３０６から受けた仮想空間画像を重畳（合成）し、合成画像（右目用合成画像）を作成する。現実空間の画像と仮想空間画像とを合成した合成画像の作成方法については様々な技術があり、画像合成部３０７は如何なる技術を用いて合成画像を作成しても良い。そして画像合成部３０７は作成した合成画像を、後段の画像出力部３０８に送出する。

画像出力部３０８は、画像合成部３０７から受けた合成画像を、ＨＭＤ１００が有するＩ／Ｆ２０１に対して送出する。係る合成画像は、Ｉ／Ｆ２０１、表示画像入力部２０４Ｒを介して右表示装置１０２Ｒに送出され、そこで表示される。これにより、ＨＭＤ１００を頭部に装着したユーザの右目の眼前には、係る合成画像が表示されることになる。

次に、画像処理装置２０６について説明する。

識別情報取得部３１８は、接続している左カメラ１０１Ｌから識別情報を取得する。取得した識別情報は、制御部３１２に送出される。

位置姿勢情報受信部３１０は、上記位置姿勢情報送信部３０５によって送信された位置姿勢情報を受信すると、これを後段の位置姿勢算出部３１３に送出する。また、位置姿勢情報受信部３１０は、ＭＰＵ２００が保持している上記位置姿勢関係情報を、このＭＰＵ２００からＩ／Ｆ２０１を介して受信すると、これを後段の位置姿勢算出部３１３に送出する。

現実画像入力部３１１は、左カメラ１０１Ｌから順次送出される各フレームの撮像画像を取得し、画像合成部３１５に送出する。

位置姿勢算出部３１３は、位置姿勢情報受信部３１０から受けた位置姿勢情報と、位置姿勢関係情報とを用いて、左カメラ１０１Ｌの位置姿勢を求める。そして求めた左カメラ１０１Ｌの位置姿勢を示すデータを、後段の仮想画像作成部３１４に送出する。なお、画像処理装置２０５側と同様の理由で、位置姿勢算出部３１３が求めた位置姿勢を、撮像画像を用いて補正するなど、位置姿勢の算出に撮像画像を用いる場合には、現実画像入力部３１１は、入力した撮像画像を位置姿勢算出部３１３にも送出する。

そして如何なる方法でもって左カメラ１０１Ｌの位置姿勢を求めても、位置姿勢算出部３１３は、求めた位置姿勢を示すデータを、仮想画像作成部３１４に送出する。

制御部３１２は、識別情報取得部３１８から受けた識別情報に基づいて接続状態の判断を実施し、判断結果に基づいて、マスター画像装置として動作するのか、スレーブ画像処理装置として動作するのかを決定する。また、画像処理装置２０６を構成する各部の動作制御を行うとともに、画像処理装置２０５とのデータ通信を制御する。

仮想画像作成部３１４は、位置姿勢算出部３１３から受けたデータが示す位置姿勢を有する視点から見える仮想空間の画像（仮想空間画像）を作成する。係る仮想空間画像の作成方法については周知の技術であるので、これについての説明は省略する。そして作成した仮想空間画像は、後段の画像合成部３１５に送出する。

画像合成部３１５は、現実画像入力部３１１から受けた現実空間の画像上に、仮想画像作成部３１４から受けた仮想空間画像を重畳（合成）し、合成画像（左目用合成画像）を作成する。現実空間の画像と仮想空間画像とを合成した合成画像の作成方法については様々な技術があり、画像合成部３１５は如何なる技術を用いて合成画像を作成しても良い。そして画像合成部３１５は作成した合成画像を、後段の画像出力部３１６に送出する。

画像出力部３１６は、画像合成部３１５から受けた合成画像を、ＨＭＤ１００が有するＩ／Ｆ２０１に対して送出する。係る合成画像は、Ｉ／Ｆ２０１、表示画像入力部２０４Ｌを介して左表示装置１０２Ｌに送出され、そこで表示される。これにより、ＨＭＤ１００を頭部に装着したユーザの左目の眼前には、係る合成画像が表示されることになる。

図４は、画像処理装置２０５、画像処理装置２０６のそれぞれが行う処理のフローチャートである。なお、各ステップにおいて行う処理の詳細については上述の通りであるので、ここでは簡単に説明する。

ステップＳ４０１では、識別情報取得部３１７は、接続している右カメラ１０１Ｒから識別情報を取得する。そして、識別情報取得部３１７は、取得した識別情報を制御部３０３に送出する。制御部３０３は、接続状態を判断し、この後の動作を決定する。この例では、マスター画像装置として動作することを決定する。

ステップＳ４０２では、位置姿勢情報取得部３０１は、右カメラ１０１Ｒの位置姿勢を示す位置姿勢情報を取得する。そして位置姿勢情報取得部３０１は、取得した位置姿勢情報を後段の位置姿勢算出部３０４に送出する。

ステップＳ４０３では、位置姿勢算出部３０４は、位置姿勢情報取得部３０１から受けた位置姿勢情報、若しくは何れかの方法でもって求めた位置姿勢情報を、位置姿勢情報送信部３０５、仮想画像作成部３０６に対して送出する。位置姿勢情報送信部３０５は、位置姿勢算出部３０４から受けた位置姿勢情報を画像処理装置２０６側に送信する。

ステップＳ４０４では、現実画像入力部３０２は、右カメラ１０１Ｒから順次送出される各フレームの撮像画像を取得し、画像合成部３０７に送出する。なお、ステップＳ４０４における処理は、ステップＳ４０３の前で行っても良いので、この場合、ステップＳ４０３で位置姿勢情報を撮像画像を用いて補正するなどの処理を行う場合には、係る撮像画像は位置姿勢算出部３０４に対しても送出する。これにより、ステップＳ４０３では、係る撮像画像を用いて位置姿勢情報を求めることができる。

ステップＳ４０５では、仮想画像作成部３０６は、位置姿勢算出部３０４から受けた位置姿勢情報が示す位置姿勢を有する視点から見える仮想空間の画像（仮想空間画像）を作成する。そして作成した仮想空間画像は、後段の画像合成部３０７に送出する。

ステップＳ４０６では、画像合成部３０７は、現実画像入力部３０２から受けた現実空間の画像上に、仮想画像作成部３０６から受けた仮想空間画像を重畳（合成）し、合成画像（右目用合成画像）を作成する。そして画像合成部３０７は作成した合成画像を、後段の画像出力部３０８に送出する。

ステップＳ４０７では、画像出力部３０８は、画像合成部３０７から受けた合成画像を、ＨＭＤ１００が有するＩ／Ｆ２０１に対して送出する。

最後にステップＳ４０８では、制御部３０３は、本処理の終了条件が満たされたか否か、本処理の終了指示が外部から入力されたか否かを判断する。係る判断の結果、本処理の終了条件が満たされた、若しくは、本処理の終了指示が外部から入力された場合には、本処理を終了する。一方、本処理の終了条件は満たされていないし、本処理の終了指示が外部から入力されていない場合には、処理をステップＳ４０２に戻し、次のフレームについて以降の処理を行う。

ステップＳ４５１では、識別情報取得部３１８は、接続している左カメラ１０１Ｌから識別情報を取得する。そして、識別情報取得部３１８は、取得した識別情報を制御部３１２に送出する。制御部３１２は接続状態を判断し、この後の動作を決定する。この例では、スレーブ画像装置として動作することを決定する。

一方、ステップＳ４５２では、位置姿勢情報受信部３１０は、ＭＰＵ２００が保持している上記位置姿勢関係情報を、このＭＰＵ２００からＩ／Ｆ２０１を介して受信（取得）すると、これを後段の位置姿勢算出部３１３に送出する。

ステップＳ４５３では、位置姿勢情報受信部３１０は、上記位置姿勢情報送信部３０５によって送信された位置姿勢情報を受信すると、これを後段の位置姿勢算出部３１３に送出する。

ステップＳ４５４では、位置姿勢算出部３１３は、位置姿勢情報受信部３１０から受けた位置姿勢情報と位置姿勢関係情報とを用いて、左カメラ１０１Ｌの位置姿勢を求める。そして求めた左カメラ１０１Ｌの位置姿勢を示すデータを、後段の仮想画像作成部３１４に送出する。

ステップＳ４５５では、現実画像入力部３１１は、左カメラ１０１Ｌから順次送出される各フレームの撮像画像を取得し、画像合成部３１５に送出する。なお、ステップＳ４５５における処理は、ステップＳ４５４の前で行っても良いので、この場合、ステップＳ４５４で位置姿勢を撮像画像を用いて補正するなどの処理を行う場合には、係る撮像画像は位置姿勢算出部３１３に対しても送出する。これにより、ステップＳ４５４では、係る撮像画像を用いて位置姿勢を求めることができる。

ステップＳ４５６では、仮想画像作成部３１４は、位置姿勢算出部３１３から受けたデータが示す位置姿勢を有する視点から見える仮想空間の画像（仮想空間画像）を作成する。そして作成した仮想空間画像は、後段の画像合成部３１５に送出する。

ステップＳ４５７では、画像合成部３１５は、現実画像入力部３１１から受けた現実空間の画像上に、仮想画像作成部３１４から受けた仮想空間画像を重畳（合成）し、合成画像（左目用合成画像）を作成する。そして画像合成部３１５は作成した合成画像を、後段の画像出力部３１６に送出する。

ステップＳ４５８では、画像出力部３１６は、画像合成部３１５から受けた合成画像を、ＨＭＤ１００が有するＩ／Ｆ２０１に対して送出する。

最後にステップＳ４５９では、制御部３１２は、本処理の終了条件が満たされたか否か、本処理の終了指示が外部から入力されたか否かを判断する。係る判断の結果、本処理の終了条件が満たされた、若しくは、本処理の終了指示が外部から入力された場合には、本処理を終了する。一方、本処理の終了条件は満たされていないし、本処理の終了指示が外部から入力されていない場合には、処理をステップＳ４５３に戻し、次のフレームについて以降の処理を行う。

以上の説明により、本実施形態によれば、右カメラ１０１Ｒの位置姿勢を求めれば、左カメラ１０１Ｌの位置姿勢は、係る位置姿勢と上記位置姿勢関係情報とを用いて求めることができる。従って、それぞれのカメラの位置姿勢をそれぞれの画像処理装置で求めるので、それぞれのカメラの位置姿勢の精度はより高くなり、また、計測の手間もより軽減される。そして、本実施形態によれば、このように従来よりも精度の高い左右のカメラの位置姿勢を求めることができるので、より精度の高い立体視をユーザに提供することができる。また、ユーザは、画像処理装置の接続を意識することなく行うことができる。

＜変形例１＞
本実施形態では、右目用ユニット、左目用ユニットであることを示す情報を送信することを説明した。この情報の具体的な内容として、右目用ユニットと左目用ユニットが、それぞれに固有の識別情報（デバイス名など）を、それぞれの画像処理装置に対して送信する。画像処理装置側では、識別情報と、この識別情報を有するデバイスがマスターかスレイブかを示すフラグ情報と、をセットにして、複数セット保持している。

従って、画像処理装置２０５は、送信された識別情報を受けると、この識別情報に対応するフラグ情報を参照し、接続されているカメラがマスターかスレイブかを認識する。そして係るカメラがマスターであると認識すると、画像処理装置２０５はマスター画像処理装置として動作する。一方、このカメラがスレイブであると認識すると、画像処理装置２０５はスレイブ画像処理装置として動作する。

＜変形例２＞
第１の実施形態では、右カメラ１０１Ｒと左カメラ１０１Ｌとの位置姿勢関係を示す位置姿勢関係情報は、ＨＭＤ１００側に保持されていた。しかし、画像処理装置２０５、２０６側に保持させておいても良い。この場合、スレイブ画像処理装置として動作する側の装置は、位置姿勢関係情報が必要なときに、自身若しくは他の画像処理装置から取得すれば良い。

［第２の実施形態］
第１の実施形態では、図３に示した画像処理装置２０５、２０６を構成する各部は全てハードウェアでもって構成されているものとして説明した。しかし、その一部をコンピュータプログラムでもって実装し、係るコンピュータプログラムを一般のＰＣ（パーソナルコンピュータ）に実行させても、同様の結果が得られる。

図５は、画像処理装置２０５、２０６それぞれに適用可能なコンピュータのハードウェア構成を示すブロック図である。

ＣＰＵ５０１は、ＲＡＭ５０２やＲＯＭ５０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、コンピュータを適用した画像処理装置２０５や画像処理装置２０６が行う上述の各処理を実行する。例えば、本コンピュータを画像処理装置２０５に適用する場合には、ＣＰＵ５０１は制御部３０３として機能することになる。また、例えば、本コンピュータを画像処理装置２０６に適用する場合には、ＣＰＵ５０１は制御部３１２として機能することになる。

ＲＡＭ５０２は、外部記憶装置５０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ５０７を介して外部から受信したデータ等を一時的に記憶するためのエリアを有する。更にＲＡＭ５０２は、ＣＰＵ５０１が各種の処理を実行する際に用いるワークエリアも有する。即ち、ＲＡＭ５０２は各種のエリアを適宜提供することができる。

ＲＯＭ５０３には、ブートプログラムや本コンピュータの設定データ等が格納されている。

操作部５０４は、キーボードやマウスなどにより構成されており、本コンピュータの操作者が操作することで、各種の指示をＣＰＵ５０１に対して入力することができる。

表示部５０５は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ５０１による処理結果を画像や文字などでもって表示することができる。

外部記憶装置５０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置５０６には、ＯＳ（オペレーティングシステム）や、画像処理装置２０５や画像処理装置２０６が行う上述の各処理をＣＰＵ５０１に実行させるためのコンピュータプログラムやデータが保存されている。

例えば、本コンピュータを画像処理装置２０５に適用する場合には、係るコンピュータプログラムには次のようなコンピュータプログラムが含まれていることになる。即ち、位置姿勢算出部３０４、仮想画像作成部３０６、画像合成部３０７の各部の機能をＣＰＵ５０１に実行させるためのコンピュータプログラムが含まれている。

また、例えば、本コンピュータを画像処理装置２０６に適用する場合には、係るコンピュータプログラムには次のようなコンピュータプログラムが含まれていることになる。即ち、位置姿勢算出部３１３、仮想画像作成部３１４、画像合成部３１５の各部の機能をＣＰＵ５０１に実行させるためのコンピュータプログラムが含まれている。

また、外部記憶装置５０６に保存されているデータには、仮想空間の画像を生成するためのデータや、既知のデータとして説明したものが含まれる。

外部記憶装置５０６に保存されているコンピュータプログラムやデータは、ＣＰＵ５０１による制御に従って適宜ＲＡＭ５０２にロードされ、ＣＰＵ５０１による処理対象となる。

Ｉ／Ｆ５０７は、本コンピュータと外部装置とを接続するためのもので、例えば、係るＩ／Ｆ５０７には、上記ネットワーク２０２や、Ｉ／Ｆ２０１が接続されることになる。本コンピュータを画像処理装置２０５に適用する場合には、係るＩ／Ｆ５０７は、位置姿勢情報取得部３０１、現実画像入力部３０２、位置姿勢情報送信部３０５、画像出力部３０８に対応するものである。また、本コンピュータを画像処理装置２０６に適用する場合には、係るＩ／Ｆ５０７は、位置姿勢情報受信部３１０、現実画像入力部３１１、画像出力部３１６に対応するものである。

５０８は上述の各部を繋ぐバスである。

なお、ここでは画像処理装置２０５と画像処理装置２０６には、同じハードウェア構成を有するコンピュータを適用したが、異なるハードウェア構成を有するコンピュータを適用しても良い。

［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

ユーザがステレオビデオシースルーＨＭＤ１００を装着した状態を模式的に示す図である。 本実施形態に係るシステムの機能構成を示すブロック図である。 画像処理装置２０５，２０６の機能構成を示すブロック図である。 画像処理装置２０５、画像処理装置２０６のそれぞれが行う処理のフローチャートである。 画像処理装置２０５、２０６に適用可能なコンピュータのハードウェア構成を示すブロック図である。

Claims (3)

1. 頭部装着型表示装置が有する第一のカメラが撮像する現実空間の画像を受信する第一の画像処理装置と、当該頭部装着型表示装置が有する第二のカメラが撮像する現実空間の画像を受信する第二の画像処理装置と、を備えるシステムであって、
   前記第一の画像処理装置は、
   前記第一のカメラがマスタであるか否かを判断する判断手段と、
   前記判断手段の判断の結果、マスタである場合は前記第一のカメラの位置姿勢情報を取得し、マスタでない場合は前記第二の画像処理装置から前記第二のカメラの位置姿勢情報とを取得する手段と、
   前記判断手段の判断の結果、マスタである場合、前記第一のカメラの位置姿勢情報を前記第二の画像処理装置に対して出力する手段と、
   前記判断手段の判断の結果、マスタでない場合、前記第一のカメラと前記第二のカメラとの位置姿勢関係を示す位置姿勢関係情報を取得する手段と、
   前記判断手段の判断の結果、マスタでない場合、前記第二のカメラの位置姿勢情報と前記位置姿勢関係情報に基づいて前記第一のカメラの位置姿勢情報を求める手段と、
   前記第一のカメラの位置姿勢情報に基づいて仮想空間画像を生成する手段と、
   前記第一のカメラが撮像した現実空間の画像を取得する手段と、
   前記現実空間の画像と前記仮想空間画像とを合成した合成画像を生成する生成手段と、
   前記合成画像を前記頭部装着型表示装置に対して出力する手段とを備え、
   前記第二の画像処理装置は、
   前記第二のカメラがマスタであるか否かを判断する判断手段と、
   前記判断手段の判断の結果、マスタである場合は前記第二のカメラの位置姿勢情報を取得し、マスタでない場合は前記第一の画像処理装置から前記第一のカメラの位置姿勢情報を取得する手段と、
   前記判断手段の判断の結果、マスタである場合、前記第二のカメラの位置姿勢情報を前記第一の画像処理装置に対して出力する手段と、
   前記判断手段の判断の結果、マスタでない場合、前記第一のカメラと前記第二のカメラとの位置姿勢関係を示す位置姿勢関係情報を取得する手段と、
   前記判断手段の判断の結果、マスタでない場合、前記第一のカメラの位置姿勢情報と前記位置姿勢関係情報とに基づいて前記第二のカメラの位置姿勢情報を求める手段と、
   前記第二のカメラの位置姿勢情報に基づいて仮想空間画像を生成する手段と、
   前記第二のカメラが撮像した現実空間の画像を取得する手段と、
   前記第二のカメラが撮像した現実空間の画像と、前記第二のカメラの位置姿勢情報に基づいて生成した仮想空間画像と、を合成した合成画像を生成する生成手段と、
   前記合成画像を前記頭部装着型表示装置に対して出力する手段と
   を備えることを特徴とするシステム。
2. 前記頭部装着型表示装置は、更に、
   前記第一の画像処理装置の生成手段が生成した合成画像を表示する第一の表示装置と、
   前記第二の画像処理装置の生成手段が生成した合成画像を表示する第二の表示装置とを備える
   ことを特徴とする請求項１に記載のシステム。
3. 前記第一の画像処理装置の判断手段と、前記第二の画像処理装置の判断手段は、前記第一のカメラと前記第二のカメラのそれぞれから送信される識別情報に基づきマスタであるか否かを判断する
   ことを特徴とする請求項１に記載のシステム。

Images