JP2007034628A - 画像処理方法及び装置 - Google Patents

Abstract

【課題】 立体視可能なヘッドマウントディスプレイで複合現実感映像を表示する場合に、観察者の視点の位置姿勢補正を正確に行う。またそのために必要な作業および管理を軽減し容易に行うことが可能な方法を提案する。
【解決手段】 観察者の利き目を判定し、利き目が左右どちらの目であるかという情報を設定可能な複合現実感システムを提供する。設定はシステム上で動作するプログラムとは独立し、かつすべてのプログラムから共有される。
位置姿勢補正プログラムは利き目に対応する現実空間映像で表示装置の位置姿勢を補正し、複合現実感映像生成プログラムは位置あわせの結果を利き目に対応する現実空間映像で表示し、センサ校正プログラムは利き目に対応する現実空間映像で校正を行う。
【選択図】 図５

Description

本発明は、複数の指標を配置した現実空間の画像を用いて、この画像を撮像した撮像装置の位置姿勢を求める為の技術に関するものである。

カメラの焦点距離、主点、レンズ歪みといったカメラ内部に存在するカメラ固有のカメラ内部パラメータ、もしくは、カメラの位置姿勢といったカメラが外界に対してどのように存在しているかを表すカメラ外部パラメータを校正する技術が知られている。例えば、３次元空間座標内に置かれた座標値が既知の複数の指標をカメラで撮像して指標画像を生成し、各指標の空間座標値と指標の画像座標値を用いて、カメラ校正アルゴリズムに基づき推定する。

カメラ校正アルゴリズムには、すべての指標が１平面上に分布していない（３次元的に分布した）指標を基にする方法、２次元的（平面上）に分布した指標を基にする方法があり、指標を空間に配置する容易さや、非線形な内部パラメータであるレンズ歪みの校正も行える方法へ発展できるなどの利点から広く一般的に利用されている。

これは、古くはロジャー・ツサイらの提案（非特許文献１参照）をはじめとして、数多くの提案がなされている。

一方、このような提案を利用して、カメラ外部パラメータの校正を行い、任意の位置姿勢における現実空間映像とそれに対応した仮想空間映像を重畳して複合現実感を観察者に提示するソフトウェアが提案されている。

例えば、ARツールキット（非特許文献２参照）やMRプラットフォーム（非特許文献３参照）等が存在する。

これらは複合現実感システムを構築する上で必要な観察者の位置姿勢情報等の獲得手段をソフトウェアライブラリとして提供しており、複合現実感システムの開発者は、自らが構築するプログラムにこれらのライブラリを組み込むことにより、目的とする複合現実感アプリケーションを構築することが可能となる。
Roger Y. Tsai, A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Metrology Using Off-the Shelf TV Cameras and Lenses. IEEE J. Robotics and Automation, Vol.RA-3, No.4, pp.323-344, 1987 H. Kato, M. Billinghurst, I. Poupyrev, K. Imamoto, K. Tachibana. Virtual Object Manipulation on a Table-Top AR Environment. In Proceedings of ISAR 2000, Oct 5th-6th, 2000. 内山, 武本, 山本, 田村：MRシステム構築基盤「MRプラットフォーム」の開発, 日本バーチャルリアリティ学会第6回大会論文集, pp.457-460, September 2001.

従来の方法では、複合現実感システムを実現するために提供されたライブラリを、コンパイラを利用してプログラムに組み込んで利用している。そのため、２つのカメラと表示装置を有し、立体視可能な複合現実空間映像を提供するヘッドマウントディスプレイ（HMD）の位置姿勢補正処理を行う際、HMDに搭載されている２つのカメラのうち、どちらのカメラを使用して位置あわせを行うかはプログラム上に記述していた。よって使用するカメラを変更する毎に(1)複合現実感アプリケーションプログラムの変更、(2)再コンパイル、(3)複合現実感アプリケーションプログラムの実行という一連の作業を必要としていた。

さらに、複合現実感アプリケーションプログラムで位置補正処理を行うカメラは、アプリケーションプログラムの実行に先立ってあらかじめ初期校正用アプリケーションプログラムで校正用のパラメータを取得する必要がある。このため、複合現実感アプリケーションプログラムで位置姿勢補正処理に使用するカメラを変更した場合には、初期校正用プログラムにおいても(1)初期校正用プログラムの変更、(2)再コンパイル、(3)初期校正用プログラムの実行、(4)校正用パラメータの取得という一連の作業が必要となった。複合現実感アプリケーションプログラムの利用者はこれらの作業とデータの管理を行わなければならなかった。

一方、観察者の利き目に対応するカメラをＨＭＤの位置姿勢補正に利用することで、体感上、位置あわせ精度が向上することが経験的に知られている。しかしながら上記のように観察者の利き目に対応して位置あわせに利用するカメラを容易に変更、管理することが実現されていなかった。

本発明は上記課題を鑑みてなされたものであり、複合現実感アプリケーションプログラムを利用するユーザの利き目を判定し、複合現実感システムを構成するすべてのアプリケーションプログラム（初期校正用プログラム）においてユーザの利き目に関する情報を共有し、かつ利き目を変更する場合においても再コンパイルのような作業を必要とせず、容易に管理することが可能な方法を提案するものである。

本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。

上記目的を達成するために、本願請求項１記載の発明は、任意の位置姿勢における現実空間映像とそれに対応した仮想空間映像を重畳して観察者に提示する画像処理方法であって、観察者の利き目を判定する判定工程と、観察者の利き目を設定する設定工程とを有し、前記設定工程で利き目として設定された目に対応する現実空間映像を画像処理することによって、表示装置の位置姿勢を計測する計測工程を有することを特徴とする。

本発明によれば、プログラムがどちらの目に対応する現実映像で動作しているのかを管理する必要が無くなるばかりでなく、利き目を変更する場合の作業を軽減し、容易に管理することができる。

さらに利き目で位置姿勢補正処理を行うようにしたため、位置姿勢の精度が向上し、より品質の高い複合現実映像を提供することを可能にする。

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。

［第１の実施形態］
本実施形態では、使用者がを入力することで利き目の判定を半自動的に行う。そして、利き目に対応する現実空間映像を使用して、複合現実感システムを構成するプログラムが統一的に動作する処理について説明する。具体的には利き目の現実空間映像が位置あわせのための初期設定、位置あわせ処理、処理経過表示に使用される。

図１は、本実施形態に係る画像処理装置として機能するコンピュータおよび周辺機器のハードウェア構成を示すブロック図である。このコンピュータには一般のＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）等が用いられる。なお番号の後に「Ｒ」とつくものは観察者の右目用、「Ｌ」とつくものは左目用を表す。特に特定する必要のない場合、文中ではＲ、Ｌを省略して表記することにする。

コンピュータ１１０はＣＰＵ１２１、メモリ１２２、ＨＤＤ（ハードディスクドライブ）１２３、画像取得部（ビデオキャプチャボード）１３２，画像生成部（グラフィックボード）１３０、表示装置１４０、キーボード１２４、マウス１２５、シリアルＩ／Ｆ１２６により構成されている。

ＣＰＵ１２１は本コンピュータ全体の制御を行うと共に、本コンピュータが行う後述の各処理を実行する。

メモリ１２２は、１２３からロードされたプログラムやデータを一時的に記憶する為のエリア、ＣＰＵ１２１が各処理を実行する際に用いるエリアなど、様々なエリアを提供することができる。

ＨＤＤ１２３にはＯＳ（オペレーティングシステム）や、本コンピュータが行う後述の各処理をＣＰＵ１２１に実行させるためのプログラムやデータが保存されており、これらの一部若しくは全部はＣＰＵ１２１による制御に従ってメモリ１２２にロードされ、ＣＰＵ１２１による処理対象となる。

画像取得部（キャプチャーカード）１３２は、コンピュータ１１０とＨＭＤ４００のＣＣＤ４１６とを接続するためのインターフェースとして機能し、ＣＣＤ４１６により撮像された各フレームの現実空間の画像がこれを介してメモリ１２２に転送される。

グラフィックカード１３０は、コンピュータ１１０による処理結果である画像や文字を示す信号を表示装置１４０とＨＭＤ４００のＬＣＤ４１４に出力する。

画像取得部１３２、グラフィックカード１３０、ＨＭＤ４００のＣＣＤ４１６，ＬＣＤ４１４は観察者の右目、左目用に二系統用意されており、それぞれ右目、左目用の複合現実空間映像を提供する。

キーボード１２４、マウス１２５は本コンピュータの操作者が操作することで、各種の指示をＣＰＵ１２１に対して入力することができる。

シリアルインターフェース１２６には位置姿勢センサ本体３００が接続されている。位置姿勢センサ本体３００は位置姿勢センサ送信機３１０と観察者が頭部に装着しているＨＭＤ４００に内蔵されている位置姿勢センサ受信機３２０とにより得られる磁気の強度に基づいて位置姿勢センサ受信機３２０の位置姿勢を求める。そして、位置姿勢センサ受信機３２０の位置姿勢をシリアルインターフェース１２６を介してコンピュータ１１０に送信する。

次にＨＭＤ４００の構成について図２〜４を用いて説明する。

図２はＨＭＤの内部構成を示す図であり、図３，４はＨＭＤ４００の外観図である。３２０は位置方向センサ受信機で、観察者の視点位置近傍に設けられており、位置姿勢センサ発信機３１０、本体３００と共に動作し、位置センサ発信機３１０で定義されている座標軸における観察者の視点位置および姿勢を常時計測している。

４１０，４１４，４１５は夫々表示系を構成しており、カラー液晶ディスプレイ４１４が表示する画像が光学プリズム４１５によって導かれ、表示部４１０に表示される。

４１２、４１６、４１７は撮像系を構成しており、入力部４１２を介してＨＭＤの外部から入力された光が光学プリズム４１７によってＨＭＤ内部に導かれ、ＣＣＤ４１６で受光される。

光学プリズム４１５の出力光と光学プリズム４１７の入力光は観察者の瞳の光軸と一致しており、ＣＣＤ４１６は、観察者の視点位置、姿勢の現実空間画像を撮像し、カラー液晶ディスプレイ４１４は、ＣＣＤ４１６によって取得された現実空間画像と、位置姿勢センサ本体３００で算出される観察者の視点位置、姿勢に応じて生成された仮想空間画像とを合成した複合現実空間画像を表示する。

４２１〜４２５は頭部装着用の構成部材である。ＨＭＤ４００を頭部に装着するには、まず、アジャスタ４２２で長さ調整部４２３を緩めた状態で頭にかぶる。そして、額装着部４２５を額に密着させてから側頭装着部４２１と後頭装着部４２４を各々側頭部、後頭部に密着させるように、アジャスタ４２２で長さ調整部４２３を絞める。

４２６はカラー液晶ディスプレイ４１４、ＣＣＤ４１６、位置姿勢センサ受信機３２０のための電源および信号線をまとめたものである。

観察者の視点位置、姿勢の計測は、図１内の位置姿勢センサ本体３００、位置姿勢センサ発信機３１０、位置姿勢センサ受信機３２０により構成される位置姿勢取得装置で行われる。

位置姿勢センサ受信機３２０、位置姿勢センサ発信機３１０は位置姿勢センサ本体３００に接続されている。位置姿勢センサ発信機３１０からは磁気が発信されており、位置姿勢センサ受信機３２０がこの磁気を受信する。位置姿勢センサ本体３００は位置姿勢センサ受信機３２０が受信した磁気の強度から位置姿勢センサ受信機３２０の位置、姿勢を公知の技術を用いて算出する。

なお、本実施形態では位置姿勢取得装置として米国Polhemus社製FASTRAKや米国Ascension Technology社製Flock of Birdsなどを利用することを想定しているが、これに限定されるものではなく他の市販されている超音波式、光学式位置姿勢センサも利用可能である。

位置センサ系３００，３１０，３２０を利用することで、観察者１００は視点位置、視線方向を自由に変更して、それに応じた複合現実空間画像を、ＨＭＤ４００を介して観察することができる。

次に、このような構成を備えるコンピュータ１１０上で動作するプログラムについて図５を用いて説明する。

１０は複合現実感映像をＨＭＤ４００に表示するためのアプリケーションプログラム、２０はアプリケーション10が必要とする現実映像、ＨＭＤの位置姿勢情報を提供する複合現実感情報生成プログラムである。４０は位置姿勢センサの配置情報を校正するセンサ初期校正プログラム、５０は機器固有の設定や初期情報等の設定を行う設定プログラム、６０は観察者の利き目を判定するための利き目判定プログラムである。３０は設定データであり、センサ初期校正プログラム４０で取得されたパラメータや、設定プログラム５０で設定された値、効き目判定プログラム６０で求められた情報が含まれる。

複合現実感情報生成プログラム２０は、設定データ３０にしたがって本実施形態の画像処理装置を構成する各機器を制御し、現実映像の取得、位置姿勢センサ装置の計測値を世界座標系上の値に変換する。そして、これらの情報をアプリケーションプログラム１０に、メモリ１２２を介して提供する。

アプリケーション１０は、メモリ１２２にアクセスし、仮想環境を生成するために必要なＨＭＤの位置姿勢情報や現実空間映像を取得し、処理を行う。このような構成により、システムを構成する各機器の設定や利き目情報などを変更した場合でも(1)アプリケーションプログラムの変更、(2)再コンパイル、(3)アプリケーションプログラムの実行という一連の作業を不要とすることができる。

複合現実感情報生成プログラム２０は、現実映像から位置姿勢補正処理をう。位置姿勢補正処理では、現実映像上から位置姿勢補正の情報となる特徴（マーカ）を検出し、その部分にコンピュータグラフィックス（ＣＧ）を重畳表示する。この表示画像により位置姿勢補正処理が動作していることを確認することができる。この時使用する現実映像は、観察者の利き目に対応したカメラの現実映像であり、観察者のどちらの目が利き目かという情報は、利き目判定プログラム６０で判定、選択され、設定データ３０として保存されている。

センサ初期校正プログラム４０は、複合現実感情報生成プログラム２０が世界座標系におけるＨＭＤの位置姿勢を計算するために必要であるセンサ計測点の位置姿勢をＨＭＤの位置姿勢に変換する座標変換パラメータと、センサの座標系における位置姿勢を世界座標系における位置姿勢に変換する座標変換パラメータとを計測（初期校正）する。

具体的には、例えば特開２００４−１５１０８５号公報に記載されている方法を使用すればよい。初期校正において、ＨＭＤに搭載されているどちらのカメラの映像を使用するかという問題がある。本実施形態では、センサ初期校正プログラム４０が起動時に設定データ３０を参照し、利き目判定プログラム６０で利き目を判定する。そして、選択された観察者の利き目に対応するカメラの映像を自動的に使用する。

次に、利き目判定プログラム６０が行う利き目を判定する処理について、図６のフローチャートと図７、８に示される画面例とを用いて説明する。

なお、図６のフローチャートに従った処理をＣＰＵ１１０に実行させるためのプログラムやデータはＨＤＤ１３０に保存されており、これは必要に応じてＣＰＵ１１０による制御に従って適宜メモリ１２０にロードされるので、ＣＰＵ１１０がロードされたプログラムやデータを用いて処理を行うことで、本コンピュータは以下説明する各処理を実行することになる。

先ず、ＨＭＤのカメラ、表示装置、画像処理装置のキャプチャボード、グラフィックボードを利用して、ＨＭＤ装着者の前方の現実映像をＨＭＤ装着者に提供する（Ｓ５０２）。

続いてＨＭＤを装着した観察者が遠くに存在するものを見るように誘導する（Ｓ５１０）。誘導の方法は音声によるガイダンスや画面上にテキストで表示するなど特に限定されないものとする。

図７(a)は初め観察者が立体視で見ていた映像で、図７(b)は誘導にしたがって観察者が注目するものを遠くの物体２００に変更した立体視の映像である。

注目物体を変更したとき、眼球の向きを変更するのではなく、首により頭部の向きを変更するのが通常のため、注目物体は図７(b)のように画面中央に表示されるようになる。

誘導にしたがって視線位置方向を変更したら、観察者は利き目判定プログラム６０にその旨を伝える操作を行う。操作方法は例えばキーボード１２４やマウス１２５の押下などで、特に限定されないものとする。

続いて指標物体を注目物体に重なって見えるように視野内に移動するよう誘導する（Ｓ５１５）。指標物体は観察者と注目物体との間にある現実物体である。ここで指標物体としては例えば観察者自身の身体の一部を利用すればよい。

図７(c)は観察者が右手２１０を指を立てた状態でＨＭＤの前に出した様子を立体視で見た様子を示したものである。このように指標物体となる現実物体と注目物体が一致するように見えたら、観察者は利き目判定プログラム６０にその旨を伝える操作を行う。

ここまで作業が終了すると、利き目判定プログラム６０は、あらかじめ設定されている時間間隔で、右目用の映像出力と、左目用の映像出力を交互に黒一面で塗りつぶされた映像（ブラックアウト）に切り替える（Ｓ５２０）。観察者の利き目側の映像がブラックアウトする場合、すなわち利き目ではない目のみで映像を見ると、図７(d)のように指標物体と注目物体が一致しないように見える。逆に利き目と逆の映像がブラックアウトすると、指標物体と注目物体は一致して見える。

指標物体と注目物体とが一致して見える場合、観察者は利き目判定プログラム６０にその旨を伝える操作を行う（Ｓ５２５）。利き目判定プログラム６０はその時点でブラックアウトしている表示装置と逆の表示装置に対応する目を観察者の効き目として判定する（Ｓ５３０）。

判定結果の表示はテキストでも音でもよく、特に限定されないものとする。

図８は判定結果表示の例であり、ラジオボタンを持ったウインドウである。利き目として判定された目に対応するラジオボタンが押下された状態となり、ＯＫボタンをマウスクリックすることで、利き目判定プログラム６０は設定データ３０にどちらが利き目かという情報を保存する。

利き目を手動で選択する場合はこのウインドウで、対応するラジオボタンをマウスで押下してＯＫをマウスクリックすればよい（Ｓ５３５）。利き目判定プログラム６０の結果を保存しない場合はキャンセルボタンをマウスクリックすればよい。再度設定処理を行う場合は再設定ボタンをマウスクリックすればよい（Ｓ５４０）。ＯＫボタンまたはキャンセルボタンをマウスクリックすると利き目判定プログラム６０は現実映像の表示を中止し（Ｓ５４５）、終了する。

以上の説明により、本実施形態によって、利き目判定プログラム６０で判定、選択された観察者の利き目に対応するカメラの映像が、複合現実感システムを構成するアプリケーションプログラム、複合現実感情報生成プログラム、センサ初期校正プログラムなどのプログラムで使用される。

利き目に対応するカメラの映像の切り替えには(1)プログラムの変更、(2)再コンパイル、(3)プログラムの再実行が不要であり、利き目の設定に応じてプログラムが動作するため、ユーザは簡単に利き目画像を用いた処理を行うことができる。

また利き目の判定、設定は簡単な処理で実現することができ、観察者ごとにこの処理を行うことで、より位置姿勢補正の精度を向上させることが可能になる。

なお、本実施形態で説明したＧＵＩの操作方法については上記限定するものではない。また、本実施形態では現実空間モデルはポリゴンでもって構成されているとして説明したが、これに限定するものではない。

［第２の実施形態］
本実施形態では、第１の実施形態で説明した利き目の判定に観察者の手を使用せず、仮想物体のみで行う例について説明する。現実空間映像を使用せずに仮想空間映像のみで利き目判定を行うことが可能となる。

機器構成やプログラム構成は実施例１と同様であり、利き目判定プログラム６０の動作のみ異なる。

本実施形態の利き目判定プログラム６０が行う利き目を判定する処理について、図９のフローチャートと図10に示される画面例を用いて説明する。

先ず、利き目判定プログラム６０は、ＨＭＤの表示装置、画像処理装置のグラフィックボードを利用して、仮想空間映像をＨＭＤ装着者に提供する（Ｓ１００２）。ここで提供される仮想映像は画面全体が同じ色に塗りつぶされていて、観察者は前後関係を認識できない。

続いて図10（ａ）に図示するように、利き目判定プログラム６０は、無遠限の位置に注目物体１００を表示する（Ｓ１００４）。なお、本実施例では無遠限を擬似的に実現するために画面の水平中心位置に仮想物体を描いたものを左右両方の画面に表示することで代用している。観察者は注目物体を注視し、目の焦点を注目物体にあわせるようにする。

次に、利き目判定プログラム６０は、指標物体１１０を仮想空間における注目物体１００と観察者の間に表示する（Ｓ１００６）。図10(ｂ)、（ｃ）、（ｄ）はそれぞれ注目物体を観察者が立体視で見たときに左方に見える場合、中央に見える場合、右方に見える場合のそれぞれの画面を図示したものである。Ｓ１００６では図１１（ｂ）のように表示されるものとする。

そして利き目判定プログラム６０は、指標物体１１０の仮想空間中の位置を変更して、画面上の水平位置を図１１（ｂ）（ｃ）（ｄ）に示すように連続的に左右に変化するように表示することを繰り返し行う（Ｓ１００６〜Ｓ１０１０）。この間、観察者が注目物体と指標物が一致して見えたとき（Ｓ１００８）、キーボードの何らかのキーを押すと、利き目判定プログラム６０は、その時点における画像上の指標物体と注目物体の位置の差を計算し、差が少ないほうの画面に対応する目を観察者の利き目と判断する（Ｓ１０１２）。そして判断結果を例えば実施例１のように表示する。

判断結果を受け入れる場合、観察者は利き目判定プログラム６０にその旨を伝える操作を行う。すると利き目判定プログラム６０は終了処理を行い（Ｓ１０１６）、仮想映像表示を中止する（Ｓ１０１８）。判断結果を受け入れない場合、観察者は利き目判定プログラム６０にその旨を伝える操作を行う。する利き目判定プログラム６０は再度Ｓ１００４に戻って処理を繰り返す。

なお、本実施例では注目物体１００と指標物体１１０の奥行き関係を注目物体と観察者の間に指標物体があるように記述したが、逆に指標物体と観察者の間に注目物体があるように処理しても良い。

また指標物体は自動的に仮想空間中の位置を左右に移動するよう処理していたが、自動的に移動するのではなく観察者の指示によりその画面上の位置を指定できるようにしても良い。

そしてこれらの処理を観察者の個人的特性や嗜好に合わせて自由に選択するように実現しても良い。

［第３の実施形態］
本実施形態では、第１および第２の実施形態によって設定された利き目情報の使用方法の１例を説明する。本実施形態では、利き目の現実空間映像を、観察者以外の人が参照可能なようにＨＭＤ以外の表示装置に出力する。

図11は図１の画像処理装置にシリアルインターフェース１２６により切り替え可能な切替器１４２と分配器１４４を加えたものである。それ以外は図１の画像処理装置と同様である。

複合現実感情報生成プログラム２０は、動作開始時に設定データ３０から利き目情報を読み取って、切替器１４２を制御して、観察者の利き目の複合現実感映像をモニタ１４０に出力する。モニタ１４０は観察者以外の人が、観察者がどのような映像を見ているのか知るための表示装置である。

観察者は主に利き目で複合現実空間を見ているため、利き目と逆の目の複合現実映像が表示されていると、観察者とモニタを見ている人と見ている物についての認識がずれることがある。これは観察者と注目物体との距離が短い場合に顕著に発生する。

切替器１４２で利き目の映像をモニタ出力することでこのような事態が生じる可能性を低減する。

［第４の実施形態］
本実施形態では、第１の実施形態で説明したセンサ初期校正プログラム４０の処理を、利き目に対応する現実映像に限定せず、画像処理装置が取得可能なすべての現実映像、つまり左右両眼に対応する現実映像について同時に処理を行う例である。

センサ初期校正プログラム４０は、すべてのカメラについて校正処理を同時に行い、すべてのカメラの校正結果を設定データ３０に保存する。

利き目判定プログラム６０は設定された利き目に対応するカメラの校正結果を設定データ３０から読み出すよう処理する。

本実施例により、一度の校正処理で左右の両方の目に対応するカメラについて、センサ計測点の位置姿勢をＨＭＤの位置姿勢に変換する座標変換パラメータを取得可能であり、利き目を変更した場合でも再度校正処理を行う手間が削減できる。

また、実施例１のように利き目に対応するカメラのみ校正を行う設定と、実施例４のように両目のカメラに対応するカメラの校正を同時に行う設定を、設定プログラム５０と設定データ３０で管理し、設定プログラム５０で動作を選択できるようにしても良い。

第１の実施形態に係る画像処理装置として機能するコンピュータのハードウェア構成を示すブロック図である。 表示装置（ＨＭＤ）の内部構成図である。 表示装置（ＨＭＤ）の外部構成図である。 表示装置（ＨＭＤ）の外部構成図である。 第１の実施形態に係る画像処理装置として機能するコンピュータで動作するソフトウェアの構成を示す図である。 第１の実施形態における観察者の利き目を判定する処理のフローチャートである。 第１の実施形態における観察者の利き目を設定中の観察者が見ている画面の例である。 第１の実施形態における観察者の利き目を設定するユーザーインターフェースの例である。 第２の実施形態における観察者の利き目を判定する処理のフローチャートである。 第２の実施形態における観察者の利き目を設定中の観察者が見ている画面の例である。 第３の実施形態に係る画像処理装置として機能するコンピュータのハードウェア構成を示すブロック図である。

Claims (10)

1. 任意の位置姿勢における現実空間映像とそれに対応した仮想空間映像を重畳して観察者に提示する画像処理方法であって、
   観察者の利き目を判定する判定工程と、
   観察者の利き目を設定する設定工程とを有し、
   前記設定工程で利き目として設定された目に対応する現実空間映像を画像処理することによって、表示装置の位置姿勢を計測する計測工程を有することを特徴とする情報処理方法。
2. 前記現実空間映像を利用して、前記計測工程の初期校正を行うことを特徴とする請求項１記載の情報処理方法。
3. 前記計測工程の初期校正時には、取得可能なすべての現実空間映像ごとに、同時に処理を行う請求項１記載の情報処理装置。
4. 前記現実空間映像を利用して、前記計測工程の処理状態を表示することを特徴とする請求項１記載の情報処理方法。
5. 前記設定工程の設定値に連動して、外部出力する現実空間映像を切り替えることを特徴とする請求項１記載の情報処理方法。
6. 前記設定工程は手動であることを特徴とする請求項１の情報処理方法。
7. 右目用画像および左目用画像を用いてユーザに立体視画像を提供する情報処理方法であって、
   観察者の利き目を設定する設定工程と、
   前記設定された観察者の利き目に対応する画像を用いて、処理条件を算出する算出工程とを有することを特徴とする情報処理方法。
8. 任意の位置姿勢における現実空間映像とそれに対応した仮想空間映像を重畳して観察者に提示する画像処理装置であって、
   観察者の利き目を判定する判定手段と、
   観察者の利き目を設定する設定手段とを有し、
   前記設定工程で利き目として設定された目に対応する現実空間映像を画像処理することによって、表示装置の位置姿勢を計測する計測手段を有することを特徴とする画像処理装置。
9. コンピュータに請求項１〜７の何れか１項に記載の画像処理方法を実行させるためのプログラム。
10. 請求項９に記載のプログラムを格納することを特徴とする、コンピュータ読み取り可能な記憶媒体。

Images