JP2006041795A - 画像表示装置 - Google Patents

Abstract

【課題】 ＨＭＤに表示される画像と、ＨＭＤ装着者以外の第３者が観察するための外部モニタに表示される画像が一致しない。
【解決手段】 外部モニタに表示する画像を、ＨＭＤ光学系の歪み逆補正やγ補正を行う画像補正部を介して出力する。また、ＨＭＤに表示される画像がオーバーラップ部分を持つ視差画像である場合には、その視差画像を合成し２次元画像として出力する画像合成部を介して出力する。
【選択図】 図１

Description

本発明は、複数の画像表示装置に表示する画像を一致させる画像表示装置に関するものである。

近年、従来にない臨場感溢れる画像を表示するシステムとして、立体画像の形成が可能な頭部装着型の画像表示システム、いわゆるＨＭＤ（Head Mounted Display）システムが知られている（例えば、特許文献１）。図９は、一般的なＨＭＤの構成を示す構成図である。ＨＭＤは、右目用、左目用の小型の液晶ディスプレイなどからなる表示素子１と、それらに表示された右目用、左目用の画像を拡大表示するためのプリズムなどの光学素子２とで構成されている。表示素子１に表示された画像は、光学素子２により拡大され、ＨＭＤ装着者の瞳位置３に画像が形成される。図１０は、ＨＭＤシステムの構成図である。ＨＭＤシステムは、ＨＭＤに表示される３次元画像を生成する画像生成装置１１、生成された画像をＨＭＤに表示するために変換する画像変換装置１２、３次元画像を表示するＨＭＤ１３、ＨＭＤ装着者以外がＨＭＤに表示されている画像を観察するための外部モニタ１４などから構成される。画像生成装置１１は、左右１対の視差画像を生成、提供するＰＣなどからなる。画像変換装置１２は、フォーマットや解像度などを変換するスケーラチップなどからなる。外部モニタ１４は、プラズマディスプレイなどからなる。ＨＭＤ１３には画像変換装置１２から３次元画像を提供され、外部モニタ１４には画像生成装置１１から左右１対の視差画像のいずれか一方が提供される。

これにより、ＨＭＤ装着者は３次元画像が観察でき、ＨＭＤ装着者以外の第３者は、ＨＭＤ装着者が体験している３次元画像と略一致した２次元画像を観察することができた。
特許第２９１１７５０号明細書

しかしながら、このようなＨＭＤシステムにおいて次のような問題があった。図１１は、ＨＭＤ及び外部モニタに表示される画像を示した説明図である。外部モニタ１４にはＰＣなどからなる画像生成装置１１から生成された元画像２１がそのまま外部モニタ表示画像２４として表示されている。一方ＨＭＤ１３には、画像生成装置１１から出力されたの画像２１に対して、まず、スケーラチップなどの画像変換装置により解像度変換、フォーマット変換などの画像処理が行われた変換画像２２が生成され、さらにＨＭＤ光学系の収差による光学歪みの影響を受けた画像がＨＭＤ表示画像２３として表示されている。そのために、ＨＭＤ１３と外部モニタ１４に表示される表示画像の解像度、フォーマット、色味や歪みの程度などが異なっていた。

ＨＭＤシステムを試作品のデザイン検証アプリケーションなどのデモンストレーションとして利用する場合、ＨＭＤ装着者が観察している画像をできるだけ忠実にＨＭＤ装着者以外の第３者に表示して適切な評価をする必要がある。しかし、上記問題点により、ＨＭＤ装着者とＨＭＤ装着者以外の第３者が観察する画像が異なるため、適切なデザイン評価ができないという問題があった。

図１２は、ＨＭＤ及び外部モニタに表示されるオーバーラップ領域を持つ視差画像を示した説明図である。画像生成装置１１においてオーバーラップ部分を持つ左右１対の視差画像３１、３２を生成しＨＭＤ１３に表示させる場合、外部モニタ１４には画像生成装置１１から左右１対の視差画像のいずれか一方が表示されているため、オーバーラップ部分が少なくなるほどＨＭＤ表示画像３３の表示領域と外部モニタ表示画像３４の表示領域とが異なっている。そのために、上記試作品のデザイン検証アプリケーションなどのデモンストレーションでは、ＨＭＤ装着者が注目しているデザインをＨＭＤ装着者以外の第３者が特定できず、観察画像の共有ができないという問題があった。

本発明の請求項１に係わる画像表示装置は、左右１対の視差画像を生成する画像生成手段と、前記画像生成手段で生成された画像の解像度、フォーマットを変換する画像変換手段と、前記画像変換手段で変換された画像を表示する画像表示手段１と、前記画像変換手段で変換された画像の補正を行う画像補正手段と、前記画像補正手段で補正された画像を表示する画像表示手段２とを有することを特徴とする。

本発明の請求項２に係わる画像表示装置は、請求項１に記載の画像表示装置において、前記画像表示手段１が、３次元画像が表示できる頭部装着型の表示装置を備えることを特徴とする。

本発明の請求項３に係わる画像表示装置は、請求項１に記載の画像表示装置において、前記画像補正手段が、前記画像表示手段１が有する光学歪みを付加する処理を前記画像変換手段で変換された画像に対して行うことを特徴とする。

本発明の請求項４に係わる画像表示装置は、請求項１に記載の画像表示装置において、前記画像補正手段が、前記画像表示手段１及び前記画像表示手段２に表示された画像を撮影する撮像手段１及び撮像手段２の出力画像から、前記画像表示手段１及び前記画像表示手段２に表示される画像の色味が等しくなるようにγ値の初期設定を行うことを特徴とする。

本発明の請求項５に係わる画像表示装置は、請求項１に記載の画像表示装置において、前記画像補正手段は、オーバーラップ部分を持つ左右１対の視差画像の合成処理を行い、２次元画像を生成することを特徴とする。

以上のように本発明の画像表示方法、及び画像表示装置では、各請求項において以下の効果が得られる。

本発明の請求項１、２、３においては、スケーラチップなどの画像変換部からの画像をＨＭＤ及び画像補正部に出力し、画像補正部においてＨＭＤ光学歪みを付加することで、従来以上にＨＭＤ装着者とＨＭＤ装着者以外の第３者が観察する画像が一致し、画像共有ができる効果が得られる。

本発明の請求項４においては、スケーラチップなどの画像変換部からの画像をＨＭＤ及び画像補正部に出力し、画像補正部においてＨＭＤ光学系の歪み付加とγ補正を行うことで、外部モニタの種類に依らず、従来以上に色味の等しい画像を、ＨＭＤ装着者とＨＭＤ装着者以外の第３者が観察でき、画像共有感が一層高まる効果が得られる。

本発明の請求項５においては、スケーラチップなどの画像変換部からの左右１対の視差画像をＨＭＤ及び画像補正部に出力し、画像補正部において１対の視差画像から２次元画像を生成する処理を行うことで、ＨＭＤ装着者とＨＭＤ装着者以外の第３者が観察する画像領域が一致する効果が得られる。

以下、添付の図面を参照して本発明の好適な実施形態について説明する。

図１は本発明の第１の実施例による画像表示システムの構成図である。

４１は画像生成部であり、例えばＰＣからなる。画像生成部４１は、ＨＭＤ４２において立体視が可能となる右目用および左目用の３次元画像を生成する。また、カメラを内蔵したＨＭＤ４２を使用する場合は、左右それぞれのカメラが画像生成部となる構成も可能である。なお、本発明の第１の実施例では画像生成部４１において３次元画像の生成を前提としているが、例えばレーザディスクプレーヤ、ビデオディスクプレーヤ、家庭用ゲーム機などからなる２次元画像を生成する装置でも良い。

４２はＨＭＤであり、例えば右目用、左目用の小型の液晶ディスプレイなどからなる表示系と、それらに表示された右目用、左目用の画像を拡大表示するための自由曲面プリズムなどの光学系とで構成されている。

４３は外部モニタであり、例えばＣＲＴ、液晶ディスプレイ、プラズマディスプレイなどの２次元ディスプレイである。

４４は画像変換部であり、例えばスケーラチップからなる。画像変換部４４は、画像生成部４１からの入力画像に対してフォーマット変換や解像度変換などの画像処理を行う。これにより、フォーマットや解像度の異なる様々なＨＭＤ４２の使用が可能となる。

４５は画像補正部であり、例えばスケーラチップや１つ以上の画像処理ＩＣからなる。画像補正部４５では、画像変換部４４からの入力画像に対してＨＭＤ光学系の歪みを付加する処理を行う。

以上の構成を備えた第１の実施例の動作フローについて以下説明する。

画像生成部４１では、右目用画像及び左目用画像が生成される。これらの画像は、ＨＭＤ４２において３次元表示可能な左右１対の視差画像であり、画像生成部４１の構成装置の種類により任意のフォーマットや解像度で生成される。生成画像は、ＤＶＩなどのインタフェースを介して画像変換部４４に入力される。画像変換部４４では、使用するＨＭＤ４２のフォーマット、解像度などに合わせて、入力された左右１対の視差画像のフォーマット、解像度などを変換され、ＨＭＤ４２及び画像補正部４５に出力される。画像補正部４５に入力された変換画像は、ＨＭＤ光学系の歪みを付加する処理が行われ、外部モニタ４３に出力される。このとき、外部モニタ４３に出力される画像は、歪みが付加された左右１対の視差画像のいずれか１つである。これにより外部モニタ４３に表示される画像は、ＨＭＤ４２に表示される画像とフォーマット、解像度などが等価となる

図２は、本発明の第２の実施例による画像表示システムの構成図である。

画像生成部４１、ＨＭＤ４２、外部モニタ４３、画像変換部４４は、上記第１の実施例における図１の構成図に示し、説明したものと同様である。

画像補正部４６は、上記第一の実施例における図１の構成図に示し、説明した画像補正部４５の機能に加え、γ値の補正機能をもつ。画像補正部４６で使用する補正γ値は初期化処理により決定される。これにより、外部モニタ４３の種類に依らず、ＨＭＤ４２の表示画像と外部モニタ４３の表示画像の色味が等価となる。

４７、４８は撮像部であり、例えばカメラからなる。撮像部４７は、ＨＭＤ４２の右目用画像、もしくは左目用画像を撮影する。撮像部４８は、外部モニタ４３の表示画像を撮影する。撮像部４７及び撮像部４８は、解像度などの撮像素子特性が全く同等の撮像装置であり、ゲイン、ホワイトバランス、シャッタースピードなどの撮影条件も全く同等の設定である。

以上の構成を備えた第２の実施例の動作フローについて以下説明する。

図３は本発明の第２の実施例における画像補正部４６の補正γ値決定のための初期化処理手順を説明する図である。また、図４は本発明の第２の実施例における画像補正部４６の補正γ値決定のための初期化処理手順を説明するフローチャートである。

ステップＳ１で、画像生成部４１では、図５に示すグラデーション画像５１が生成される。グラデーション画像５１は、 ＤＶＩなどのインタフェースを介して画像変換部４４に出力される。

ステップＳ２で、画像変換部４４では、使用するＨＭＤ４２のフォーマット、解像度などに合わせて、入力された画像のフォーマット、解像度などが変換され、変換画像が生成される。変換画像は、ＨＭＤ４２及び画像補正部４６に出力される。

ステップＳ３で、ステップＳ２で生成された変換画像が、ＨＭＤ４２の右目用及び左目用の表示系に表示される。

ステップＳ４で、撮像部４７は、ＨＭＤの右目用画像、もしくは左目用画像を撮影し、図６に示すＨＭＤ撮影画像５２が画像補正部４６に出力される。

ステップＳ５で、γ値が補正された画像が生成される。補正γ値の初期値としては任意の値、例えばγ＝１。００が設定されている。

ステップＳ６で、ステップＳ５で生成されたγ値補正後の画像が、外部モニタ４３に表示される。

ステップＳ７で、撮像部４８は、外部モニタ４３に表示されている画像を撮影し、図６に示す外部モニタ撮影画像５３が画像補正部４６に出力される。

ステップＳ８で、図６に示す差分γ値算出処理を行う。画像補正部４６では、まず、入力されたＨＭＤ撮影画像５２と外部モニタ撮影画像５３の差分画像５４を生成する。そして、差分画像５４から差分γ値を算出する。ここで、ＨＭＤ撮影画像５２及び外部モニタ撮影画像５３は、撮像部４７、４８での光学歪みの影響で周辺部が歪む可能性がある。また、ＨＭＤ撮影画像５２は、ＨＭＤ光学系の歪みで周辺部が歪む可能性がある。そのため、差分画像５４から差分γ値を算出する際は、図７に示す差分画像５４の垂直方向に対して中心付近の水平ライン（ａ−ａ’）を利用することが望ましい。

ステップＳ９で、ステップＳ８で算出された差分γ値があらかじめ定めた範囲外ならば、差分画像５４から得られた差分γ値が１より大きいか小さいかを判断し、その結果により補正γ値を正方向もしくは負方向にあらかじめ設定した値、例えば０。０１だけ変化させる。そして、ステップＳ５に戻り処理を繰り返す。ステップＳ８で算出された差分γ値があらかじめ定めた範囲内ならばステップＳ１０に進み初期化処理を終了する。これにより、以降の処理で使用される補正γ値が設定される。

上記補正γ地決定のための初期化処理は、例えばＲＧＢフォーマットを使用する際には、Ｒ、Ｇ、Ｂそれぞれに対して行うことができる。

以上の初期化処理後の動作フローについて以下説明する。

画像生成部４１では、右目用画像及び左目用画像が生成される。これらの画像は、ＨＭＤ４２において３次元表示可能な左右１対の視差画像であり、画像生成部４１の構成装置の種類により任意のフォーマットや解像度で生成される。生成画像は、ＤＶＩなどのインタフェースを介して画像変換部４４に入力される。画像変換部４４では、使用するＨＭＤ４２のフォーマット、解像度などに合わせて、入力された左右１対の視差画像のフォーマット、解像度などが変換され、ＨＭＤ４２及び画像補正部４６に出力される。画像補正部４６に入力された変換画像は、ＨＭＤ光学系の歪みを付加する処理が行われ、されに、初期化処理により設定されたγ値を用いてγ補正処理が行われる。そして、γ補正処理後の画像が外部モニタ４３に出力される。このとき、外部モニタ４３に出力される画像は、γ補正処理された左右１対の視差画像のいずれか１つである。これにより外部モニタ４３に表示される画像は、ＨＭＤ４２に表示される画像とフォーマット、解像度、色味などが等価となる

図８は、本発明の第３の実施例による画像表示システムの構成図である。

本発明の第３の実施例では、画像生成部４１で生成される画像が、特に、オーバーラップ部分を持つ視差画像である場合について記す。

画像生成部４１、ＨＭＤ４２、外部モニタ４３、画像変換部４４は、上記第１の実施例における図１の構成図に示し、説明したものと同様である。

画像合成部４９では、画像変換部４４からの入力視差画像から２次元画像を生成する処理を行う。視野の差、或いは、撮影対象の移動により、オーバーラップ領域が完全に一致しない画像に対するパノラマ画像作成装置が、特開平１０−１７８５６４号公報などに開示されている。ここに開示されている手法と同等の手法により、画像変換部４４からの入力視差画像から２次元パノラマ画像を生成することが可能である。

以上の構成を備えた第３の実施例の動作フローについて以下説明する。

画像生成部４１では、右目用画像及び左目用画像が生成される。これらの画像は、ＨＭＤ４２において３次元表示可能なオーバーラップ部分を持つ視差画像であり、画像生成部４１の構成装置の種類により任意のフォーマットや解像度で生成される。生成画像は、ＤＶＩなどのインタフェースを介して画像変換部４４に入力される。画像変換部４４では、使用するＨＭＤ４２のフォーマット、解像度などに合わせて、入力された左右１対の視差画像のフォーマット、解像度などが変換され、 ＨＭＤ４２及び画像合成部４９に出力される。画像合成部４９では、入力された左右１対の視差画像から前記パノラマ画像生成手法により生成されたパノラマ２次元画像が生成され、外部モニタ４３に出力される。これにより外部モニタ４３に表示される画像とＨＭＤ４２に表示される画像は同―領域となる。

本発明の第１の実施例による画像表示システムの構成図である。 本発明の第２の実施例による画像表示システムの構成図である。 本発明の第２の実施例における画像補正部４６の補正γ値決定のための初期化処理手順を説明する図である。 本発明の第２の実施例による補正γ値決定のための初期化処理手順を説明するフローチャートである。 本発明の第３の実施例による初期化処理で使用するグラデーション画像を示した図である。 本発明の第３の実施例による初期化処理において、差分γ値算出処理を説明する図である。 本発明の第３の実施例による初期化処理において、差分画像５４から補正γ値算出に利用する水平ラインを示した図である。 本発明の第３の実施例による画像表示システムの構成図である。 ＨＭＤの構成図である。 ＨＭＤシステムの構成図である。 ＨＭＤ及び外部モニタに表示される画像を示した説明図である。 ＨＭＤ及び外部モニタに表示されるオーバーラップ領域を持つ視差画像を示した説明図である。

符号の説明

１ ＨＭＤ表示素子
２ ＨＭＤ光学素子
３ ＨＭＤ装着者の瞳位置
１１ 画像生成装置
１２ 画像変換装置
１３ ＨＭＤ
１４ 外部モニタ
２１ 元画像
２２ 解像度変換後の画像
２３ ＨＭＤ表示画像
２４ 外部モニタ表示画像
３１ オーバーラップ部分を持つ視差画像におけるＬ画像
３２ オーバーラップ部分を持つ視差画像におけるＲ画像
３３ ＨＭＤ表示画像
３４ 外部モニタ表示画像
４１ 画像生成部
４２ ＨＭＤ
４３ 外部モニタ
４４ 画像変換部
４５ 画像補正部
４６ 画像補正部
４７ 撮像部
４８ 撮像部
４９ 画像合成部
５１ グラデーション画像
５２ ＨＭＤ撮影画像
５３ 外部モニタ撮影画像
５４ 差分画像
Ｓ１ 初期化処理用画像生成
Ｓ２ 画像変換処理
Ｓ３ ＨＭＤに表示
Ｓ４ ＨＭＤ画像撮影
Ｓ５ 補正画像生成処理
Ｓ６ 外部モニタに表示
Ｓ７ 外部モニタ画像撮影
Ｓ８ 差分γ値処理
Ｓ９ 初期化終了判断
Ｓ１０ 初期化終了処理

Claims (5)

1. 左右１対の視差画像を生成する画像生成手段と、
   前記画像生成手段で生成された画像の解像度、フォーマットを変換する画像変換手段と、
   前記画像変換手段で変換された画像を表示する画像表示手段１と、
   前記画像変換手段で変換された画像の補正を行う画像補正手段と、
   前記画像補正手段で補正された画像を表示する画像表示手段２とを有することを特徴とする画像表示装置。
2. 前記画像表示手段１は、３次元画像が表示できる頭部装着型の表示装置を備えることを特徴とする請求項１に記載の画像表示装置。
3. 前記画像補正手段は、前記画像表示手段１が有する光学歪みを付加する処理を、前記画像変換手段で変換された画像に対して行うことを特徴とする請求項１に記載の画像表示装置。
4. 前記画像補正手段は、前記画像表示手段１及び前記画像表示手段２に表示された画像を撮影する撮像手段１及び撮像手段２の出力画像から、前記画像表示手段１及び前記画像表示手段２に表示される画像の色味が等しくなるようにγ値の初期設定を行うことを特徴とする請求項１に記載の画像表示装置。
5. 前記画像補正手段は、オーバーラップ部分を持つ左右１対の視差画像の合成処理を行い、２次元画像を生成することを特徴とする請求項１に記載の画像表示装置。

Images