JP2006215766A - 画像表示装置、画像表示方法及び画像表示プログラム - Google Patents

Abstract

【課題】 従来は、曲面スクリーンに投影する画像の歪みを補正する際に、三次元オブジェクトの頂点計算に非常に時間がかるか、高性能な演算ハードが要求される。また、透視変換後の画像生成において補正画像に透視変換の影響による誤差が生じることがある。
【解決手段】 画像計算部３は、画像入力部１から入力した画像を記憶部２から取得した三次元空間における仮想平面を定義する平面ポリゴンオブジェクトにテクスチャとして貼りこみ、その平面ポリゴンオブジェクトの任意のポリゴン分割数に対応したポリゴン頂点座標を、記憶部２から取得したパラメータを含む所定の計算式により曲面スクリーン形状に対応する平面ポリゴンオブジェクトと同一平面上のポリゴン頂点座標へと変換する。更に、画像計算部３は、座標変換されたポリゴン頂点座標を含む三次元空間を、画像生成用の空間に透視変換した後、曲面スクリーンにおける補正画像を生成する。
【選択図】 図１

Description

本発明は画像表示装置、画像表示方法及び画像表示プログラムに係り、特に広角レンズを通して曲面スクリーンに画像を投影するための画像表示装置、画像表示方法及び画像表示プログラムに関する。

従来から、広角レンズを通して画像を投影する画像表示装置において、画像表示装置の投影方向に正対した長方形の平面スクリーン以外のスクリーンへの投影における画像の歪みを補正するような各種の画像表示装置が開示されている（例えば、特許文献１及び特許文献２参照）。これらの特許文献１及び特許文献２には、非平面スクリーンに画像を表示する際に、スクリーン上に投影された画像が正常に表示されるように、予め非平面スクリーンに投影される画像の歪みと反対方向に歪ませた画像を生成して非平面スクリーンに投影することにより、非平面スクリーン上の画像の表示の歪みを補正する構成が開示されている。

また、三次元空間に配置した三次元オブジェクトを非平面スクリーンに表示する場合に、歪んだ結果正常な表示内容となるように三次元オブジェクトの頂点座標を演算し、補正画像を出力する構成の画像表示装置も従来から知られている（例えば、特許文献３参照）。

更に、歪んだ結果正常な表示内容となるように予め反対方向に歪んだ画像を生成するために、三次元空間における仮想スクリーン上の三次元オブジェクトの頂点座標を、歪んだ結果正常な表示内容となるように演算し、演算結果の頂点座標をテクスチャ座標とし、元の入力画像をテクスチャとして三次元オブジェクトに貼り込むことで補正画像を生成し、投影するようにした画像表示装置も従来知られている（例えば、特許文献４参照）。

特開平９−８１７８５号公報 特開平３−８２４９３号公報 特開２００２−２０３２５７号公報 特開２００４−０７２５５３号公報

しかしながら、特許文献１及び２記載の従来の画像表示装置では、光学的補正の場合はスクリーンの形状が変わった場合に対応できず、電子的補正の場合は計算処理に時間がかかるという課題がある。また、上記の特許文献３記載の従来の画像表示装置では、頂点計算に非常に時間がかるか、高性能な演算ハードが要求される。更に、上記の特許文献４記載の従来の画像表示装置では、三次元オブジェクトが奥行き方向（画像表示装置の投影方向）に対して垂直な仮想スクリーン平面上に無い場合、透視変換後の画像生成において補正画像に透視変換の影響による誤差が生じる。

本発明は以上の点に鑑みなされたもので、スクリーンの形状変化に対応でき、また透視変換後の画像生成において透視変換の影響による誤差が少なく、しかも高速な画像生成ができる画像表示装置、画像表示方法及び画像表示プログラムを提供することを目的とする。

上記の目的を達成するため、第１の発明は、広角レンズを通して仮想的な三次元空間に配置された三次元オブジェクトの画像を曲面スクリーンに投影する画像表示装置であって、補正対象となる画像を入力する入力手段と、三次元空間における観察者の位置、注視点の位置、画像表示装置の位置、画像表示装置の投影方向、画角、曲面スクリーンの形状、三次元空間における仮想平面を定義する平面ポリゴンオブジェクトの任意のポリゴン分割数をパラメータとして記憶する記憶手段と、入力手段から入力した画像を記憶手段から取得した平面ポリゴンオブジェクトにテクスチャとして貼りこみ、平面ポリゴンオブジェクトのポリゴン分割数に対応したポリゴン頂点座標を、記憶手段から取得したパラメータを含む所定の計算式により曲面スクリーン形状に対応する平面ポリゴンオブジェクトと同一平面上のポリゴン頂点座標へと変換する座標変換処理手段と、座標変換処理手段により座標変換されたポリゴン頂点座標を含む三次元空間を、画像生成用の空間に透視変換する透視変換処理手段と、透視変換後のポリゴン頂点座標、及びテクスチャ座標から曲面スクリーンにおける補正画像を生成する画像生成手段と、画像生成手段により生成された補正画像を曲面スクリーンに投影する補正画像として出力する出力手段とを備えることを特徴とする。

この発明では、入力手段から入力した画像を記憶手段から取得した平面ポリゴンオブジェクトにテクスチャとして貼りこみ、その平面ポリゴンオブジェクトの、記憶手段から取得したポリゴン分割数に対応したポリゴン頂点座標を、記憶手段から取得したパラメータを含む所定の計算式により曲面スクリーン形状に対応する平面ポリゴンオブジェクトと同一平面上のポリゴン頂点座標へと変換し、その変換後のポリゴン頂点座標を含む三次元空間を透視変換するようにしたため、平面ポリゴンオブジェクトを任意の数のポリゴン分割数のポリゴン頂点座標で示すことができ、また、曲面スクリーン形状に対応する平面ポリゴンオブジェクトと同一平面上のポリゴン頂点座標に変換してから透視変換を行うことができる。

また、上記の目的を達成するため、第２の発明は、広角レンズを通して仮想的な三次元空間に配置された三次元オブジェクトの画像を曲面スクリーンに投影する画像表示方法であって、三次元空間における観察者の位置、注視点の位置、画像表示装置の位置、画像表示装置の投影方向、画角、曲面スクリーンの形状、三次元空間における仮想平面を定義する平面ポリゴンオブジェクトの任意のポリゴン分割数をパラメータとして取得する第１のステップと、補正対象となる画像を第１のステップで取得した平面ポリゴンオブジェクトにテクスチャとして貼りこむ第２のステップと、第２のステップにおける平面ポリゴンオブジェクトの、第１のステップで取得したポリゴン分割数に対応したポリゴン頂点座標を、パラメータを含む所定の計算式により曲面スクリーン形状に対応する平面ポリゴンオブジェクトと同一平面上のポリゴン頂点座標へと変換する第３のステップと、座標変換されたポリゴン頂点座標を含む三次元空間を、画像生成用の空間に透視変換する第４のステップと、透視変換後のポリゴン頂点座標、及びテクスチャ座標から曲面スクリーンにおける補正画像を生成する第５のステップと、生成された補正画像を曲面スクリーンに投影する補正画像として出力する第６のステップとを含むことを特徴とする。

この発明では、補正対象の画像を平面ポリゴンオブジェクトにテクスチャとして貼りこみ、その平面ポリゴンオブジェクトの、第１のステップで取得したポリゴン分割数に対応したポリゴン頂点座標を、第１のステップで取得したパラメータを含む所定の計算式により曲面スクリーン形状に対応する平面ポリゴンオブジェクトと同一平面上のポリゴン頂点座標へと変換し、その変換後のポリゴン頂点座標を含む三次元空間を透視変換するようにしたため、平面ポリゴンオブジェクトを任意の数のポリゴン分割数のポリゴン頂点座標で示すことができ、また、曲面スクリーン形状に対応する平面ポリゴンオブジェクトと同一平面上のポリゴン頂点座標に変換してから透視変換を行うことができる。

また、上記の目的を達成するため、第３の発明は、広角レンズを通して仮想的な三次元空間に配置された三次元オブジェクトの画像を曲面スクリーンに投影する画像表示方法をコンピュータにより実行させるための画像表示プログラムであって、コンピュータに第２の発明の第１乃至第６のステップを順次実行させることを特徴とする。

本発明によれば、広角レンズを通して画像を曲面スクリーンに投影するに際し、投影すべき補正対象の画像を平面ポリゴンオブジェクトにテクスチャとして貼りこみ、その平面ポリゴンオブジェクトを任意の数のポリゴン分割数に対応したポリゴン頂点座標で表わし、平面ポリゴンオブジェクトをポリゴン分割数のポリゴンオブジェクトとするようにしたため、分割数に応じて計算処理の量を調節でき、これにより曲面スクリーンに画像を投影した際の画像の歪み補正のための計算を従来よりも高速に実行できる。

また、本発明によれば、透視変換前に所定の計算式により曲面スクリーン形状に対応する平面ポリゴンオブジェクトと同一平面上のポリゴン頂点座標へと変換するようにしたため、透視変換前に仮想スクリーン平面への転写を行いｚ値を揃えておくことができ、これにより、従来より正確な補正画像を得ることができる。

次に、本発明の一実施の形態について図面と共に説明する。図１は本発明になる画像表示装置の一実施の形態のブロック図を示す。本実施の形態の画像表示装置は、補正対象となる画像信号を入力する画像入力部１と、観察者の位置、注視点の位置、画像表示装置の位置、画像表示装置の投影方向、画角、投影する曲面スクリーンの形状、三次元空間における仮想平面スクリーンを定義する平面ポリゴンオブジェクトのポリゴン分割数などのパラメータを記憶する記憶部２と、画像入力部１から入力した画像信号に対して、記憶部２に記憶したパラメータを含む所定の式により演算を行い、曲面スクリーンに対しての補正、及び画像生成を行う画像計算部３と、画像計算部３により補正生成された画像信号を出力する画像出力部４とから構成されている。

画像計算部３は、画像入力部１から入力した画像信号に、三次元空間における仮想スクリーンを定義する平面ポリゴンオブジェクトのポリゴン分割数に応じたポリゴン頂点座標に対応したテクスチャ座標を割り当て、平面ポリゴンオブジェクトのポリゴン頂点座標を、記憶部２に記憶したパラメータを含む所定の式によって曲面スクリーンオブジェクト上の頂点座標に変換させ、曲面スクリーンオブジェクト上の頂点座標からさらに平面ポリゴンオブジェクトと同じ平面上の頂点座標へと変換し、透視変換を行い、塗りつぶし処理をして表示すべき画像信号を生成する。

次に、図２を併せ参照しながら、画像計算部３が行う処理の一例を説明する。画像計算部３は、まず、三次元空間における視点、注視点、曲面スクリーン形状、仮想スクリーンを定義する平面ポリゴンオブジェクト情報（ポリゴン分割数）、三次元空間の原点（通常はユーザの眼の位置）に対する相対的な位置である映像表示装置位置、映像表示装置が映像を投影している方向を単位ベクトルで表わす映像表示装置投影方向などのパラメータを、記憶部２から取得する（ステップＳ０）。

続いて、画像計算部３は、ステップＳ０において取得した平面ポリゴンオブジェクトのポリゴン分割数に応じたポリゴン頂点座標に基づいて、画像入力部１から入力した画像をテクスチャとしたテクスチャ座標を平面ポリゴンオブジェクトの各ポリゴン頂点座標に割り当てる（ステップＳ１）。

続いて、画像計算部３は、ステップＳ０において取得した視点、注視点、映像表示装置位置、映像表示装置投影方向に基づいて、ステップＳ１で割り当てた仮想スクリーンを定義する平面ポリゴンオブジェクトのポリゴン頂点座標をあおり補正して、視点、注視点に応じた平面ポリゴン座標と同一平面上のポリゴン頂点座標へと変換する（ステップＳ２）。

続いて、画像計算部３は、ステップＳ０において取得した視点、注視点、曲面スクリーン形状から、ステップＳ２処理後のポリゴン頂点座標を、対応する曲面スクリーン形状上のポリゴン頂点座標へと変換する（ステップＳ３）。

続いて、画像計算部３は、ステップＳ０において取得した映像表示装置位置、映像表示装置投影方向から、ステップＳ３において取得した曲面スクリーン形状上のポリゴン頂点座標を、ステップＳ０において取得した平面ポリゴンオブジェクトと同一平面上の対応するポリゴン頂点座標へと変換する（ステップＳ４）。

そして、画像計算部３は、ステップＳ４処理後のポリゴン頂点座標を含む三次元空間を、画像生成用の空間に透視変換処理した後（ステップＳ５）、最後に、ステップＳ５において透視変換した画像生成用三次元空間に基づいて画像を生成する（ステップＳ６）。

上記の画像計算部３の処理について更に具体的に説明する。図３（Ａ）に示した例は、三次元空間における視点を原点座標（０，０，０）、注視点座標を（０，１，２）、曲面スクリーン形状をｘ^２＋ｚ^２＝４（ただし、ｚ≧０）で表わされる半円状の形状とし、更に、仮想平面を定義するポリゴンオブジェクトのポリゴン座標を下記のようにした例である。
（−２，３，０），（−１，３，０），（−１，２，０），（−２，２，０）
（−１，３，０），（０，３，０），（０，２，０），（−１，２，０）
（０，３，０），（１，３，０），（１，２，０），（０，２，０）
（１，３，０），（２，３，０），（２，２，０），（１，２，０）
（−２，２，０），（−１，２，０），（−１，１，０），（−２，１，０）
（−１，２，０），（０，２，０），（０，１，０），（−１，１，０）
（０，２，０），（１，２，０），（１，１，０），（０，１，０）
（１，２，０），（２，２，０），（２，１，０），（１，１，０）
（−２，１，０），（−１，１，０），（−１，０，０），（−２，０，０）
（−１，１，０），（０，１，０），（０，１，０），（−１，０，０）
（０，１，０），（１，１，０），（１，０，０），（０，０，０）
（１，１，０），（２，１，０），（２，０，０），（１，０，０）
また、図３（Ａ）は画像表示装置位置座標を（０，１，−６）、画像表示装置投影方向をｚ軸の正方向とした場合における画像計算部３の処理のイメージ図を示しており、図２におけるステップＳ２のポリゴン座標変換を図３に１１で示している。この場合は同一平面上での単純なｙ軸方向のみのあおり補正であるため、計算結果は容易に求められ、図３（Ｂ）に示す矩形の平面ポリゴンオブジェクト頂点座標は、あおり補正により同図（Ｃ）に示すような頂点座標に変換される。

続いて、画像計算部３は、図３に１２で示すように、図２におけるステップＳ３の処理を行い、ステップＳ２処理後のポリゴン頂点座標を対応する曲面スクリーン形状上の座標へ変換する。この結果、図３（Ｃ）、（Ｄ）に示す変換前のポリゴン頂点座標は、そのポリゴン頂点座標と視点とを結ぶ直線と、曲面スクリーン形状との交点が新たなポリゴン座標となるため、図３（Ｅ）の形状を示す座標に変換される。

続いて、画像計算部３は、図３に１３で示すように、図２におけるステップＳ４の、ステップＳ３処理後のポリゴン頂点座標を平面ポリゴンオブジェクトと同一平面上の座標へ変換する処理を行う。この結果、図３（Ｅ）、（Ｆ）に示す形状を示すステップＳ３処理後のポリゴン頂点座標は、変換前のポリゴン頂点座標と画像表示装置位置とを結ぶ直線と、平面ポリゴンオブジェクトと同一の平面との交点が新たなポリゴン座標となるため、図３（Ｇ）の形状を示す座標に変換される。

画像計算部３は、以上のような処理を画像入力部１が入力する全ての画像についてリアルタイムに順次処理を行う。

図３から分かるように、図２のステップＳ２，Ｓ３，Ｓ４の座標変換を行い、最終的なポリゴン座標を平面ポリゴンオブジェクトと同一平面上の座標に変換することで、その後の透視変換、画像生成の過程において図２のステップＳ３の変換結果の曲面スクリーン形状上のポリゴン座標を使用するよりも奥行き方向に誤差の少ない画像生成を行うことができる。

以上の説明から明らかなように、本実施の形態による画像表示装置においては、画像計算部３が、画像入力部１から入力された入力画像をテクスチャとして三次元空間における仮想スクリーンとしての平面ポリゴンオブジェクトに貼りこみ、その平面ポリゴンオブジェクトのポリゴン頂点座標に曲面スクリーン形状に応じた補正変換を行い、補正変換後のポリゴン頂点座標を平面ポリゴンオブジェクトと同一平面上の座標のポリゴンオブジェクトに変換し、そのポリゴンオブジェクトを透視変換し、画像の生成を行う。

このような本実施の形態によれば、図１の画像出力部４から出力された画像は広角レンズを通して曲面スクリーン（いずれも図示せず）に画像を投影する画像表示装置において、画像入力部１から入力された画像から高速で誤差の少ない補正画像を生成し、曲面スクリーンヘ画像を投影することができる。

すなわち、本実施の形態では、スクリーン定義を任意の分割数のポリゴンオブジェクトにしていることで、分割数に応じて計算処理の量を調節することができ、従って、従来の歪み補正よりも高速な処理ができる。

また、図２のステップＳ４を省略し、ステップＳ３における頂点座標で透視変換を行ってしまうと、ｚ値が頂点座標によって異なるので、透視変換後のｚ値も異なることとなり、また、ｘ，ｙの変換式もｚ値によって異なるため、ｚ値の揃ったオブジェクトと異なるｘ，ｙ値となり、誤差が生じる。これは、本来、透視変換が遠近を表現するために行われているためである。これに対し、本実施の形態では、図２のステップＳ４の処理により、ステップＳ３で処理したポリゴン頂点座標を平面ポリゴンオブジェクトと同一平面上の座標に変換することで、ステップＳ５での透視変換前の頂点のｚ値を揃えておくようにしたため、三次元空間での歪み補正画像を誤差少なく正確に得ることができる。

次に、本発明の他の実施の形態について説明する。図４は本発明になる画像表示装置の他の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。図４に示す画像表示装置は、仮想スクリーンとしての平面ポリゴンオブジェクトのポリゴン分割数を任意の分割数とし、パラメータ入力部５から記憶部２にパラメータを記憶する構成とし、画像表示装置の画像計算部３の性能に応じて任意に平面ポリゴンオブジェクトのポリゴン分割数を変えることで、より高速な処理や、より高精細な補正画像の生成を可能にしたものである。また、曲面スクリーン形状には様々な形状が想定され、形状に応じた補正処理を行うことができる。

以上、本発明の実施の形態を詳細に説明したが、本発明は、その精神または主要な特徴から逸脱しない範囲であれば、以上の実施の形態に限定されるものではない。また、本発明は上記の画像表示装置の各機能をコンピュータにより実行させるコンピュータプログラム（画像表示プログラム）も含むものである。この画像表示プログラムは、記録媒体に記録されてコンピュータに取り込まれてもよいし、通信ネットワークを介してコンピュータにダウンロードされるようにしてもよい。

本発明の画像表示装置の一実施の形態のブロック図である。 図１に示す画像表示装置において、画像計算部が実行する補正画像生成の処理手順を示すフローチャートである。 図１に示す画像表示装置における、補正画像生成の一例を示すイメージ図である。 本発明の画像表示装置の他の実施の形態のブロック図である。

符号の説明

１ 画像入力部
２ 記憶部
３ 画像計算部
４ 画像出力部
５ パラメータ入力部

Claims (3)

1. 広角レンズを通して仮想的な三次元空間に配置された三次元オブジェクトの画像を曲面スクリーンに投影する画像表示装置であって、
   補正対象となる画像を入力する入力手段と、
   前記三次元空間における観察者の位置、注視点の位置、前記画像表示装置の位置、前記画像表示装置の投影方向、画角、前記曲面スクリーンの形状、前記三次元空間における仮想平面を定義する平面ポリゴンオブジェクトの任意のポリゴン分割数をパラメータとして記憶する記憶手段と、
   前記入力手段から入力した画像を前記記憶手段から取得した前記平面ポリゴンオブジェクトにテクスチャとして貼りこみ、前記平面ポリゴンオブジェクトの前記ポリゴン分割数に対応したポリゴン頂点座標を、前記記憶手段から取得した前記パラメータを含む所定の計算式により前記曲面スクリーン形状に対応する前記平面ポリゴンオブジェクトと同一平面上のポリゴン頂点座標へと変換する座標変換処理手段と、
   前記座標変換処理手段により座標変換された前記ポリゴン頂点座標を含む前記三次元空間を、画像生成用の空間に透視変換する透視変換処理手段と、
   前記透視変換後のポリゴン頂点座標、及びテクスチャ座標から前記曲面スクリーンにおける補正画像を生成する画像生成手段と、
   前記画像生成手段により生成された前記補正画像を前記曲面スクリーンに投影する補正画像として出力する出力手段と
   を備えることを特徴とする画像表示装置。
2. 広角レンズを通して仮想的な三次元空間に配置された三次元オブジェクトの画像を曲面スクリーンに投影する画像表示方法であって、
   前記三次元空間における観察者の位置、注視点の位置、前記画像表示装置の位置、前記画像表示装置の投影方向、画角、前記曲面スクリーンの形状、前記三次元空間における仮想平面を定義する平面ポリゴンオブジェクトの任意のポリゴン分割数をパラメータとして取得する第１のステップと、
   補正対象となる画像を前記第１のステップで取得した前記平面ポリゴンオブジェクトにテクスチャとして貼りこむ第２のステップと、
   前記第２のステップにおける前記平面ポリゴンオブジェクトの、前記第１のステップで取得した前記ポリゴン分割数に対応したポリゴン頂点座標を、前記パラメータを含む所定の計算式により前記曲面スクリーン形状に対応する前記平面ポリゴンオブジェクトと同一平面上のポリゴン頂点座標へと変換する第３のステップと、
   座標変換された前記ポリゴン頂点座標を含む前記三次元空間を、画像生成用の空間に透視変換する第４のステップと、
   前記透視変換後のポリゴン頂点座標、及びテクスチャ座標から前記曲面スクリーンにおける補正画像を生成する第５のステップと、
   生成された前記補正画像を前記曲面スクリーンに投影する補正画像として出力する第６のステップと
   を含むことを特徴とする画像表示方法。
3. 広角レンズを通して仮想的な三次元空間に配置された三次元オブジェクトの画像を曲面スクリーンに投影する画像表示方法をコンピュータにより実行させるための画像表示プログラムであって、
   前記コンピュータに、
   前記三次元空間における観察者の位置、注視点の位置、前記画像表示装置の位置、前記画像表示装置の投影方向、画角、前記曲面スクリーンの形状、前記三次元空間における仮想平面を定義する平面ポリゴンオブジェクトの任意のポリゴン分割数をパラメータとして取得する第１のステップと、
   補正対象となる画像を前記第１のステップで取得した前記平面ポリゴンオブジェクトにテクスチャとして貼りこむ第２のステップと、
   前記第２のステップにおける前記平面ポリゴンオブジェクトの、前記第１のステップで取得した前記ポリゴン分割数に対応したポリゴン頂点座標を、前記パラメータを含む所定の計算式により前記曲面スクリーン形状に対応する前記平面ポリゴンオブジェクトと同一平面上のポリゴン頂点座標へと変換する第３のステップと、
   座標変換された前記ポリゴン頂点座標を含む前記三次元空間を、画像生成用の空間に透視変換する第４のステップと、
   前記透視変換後のポリゴン頂点座標、及びテクスチャ座標から前記曲面スクリーンにおける補正画像を生成する第５のステップと、
   生成された前記補正画像を前記曲面スクリーンに投影する補正画像として出力する第６のステップと
   を実行させることを特徴とする画像表示プログラム。
   
   
   
   

Images