JP2008249952A - 画像表示システムおよび画像表示プログラム - Google Patents

Abstract

【課題】画像表示システムの表示面の質感を環境に調和させる。
【解決手段】Ａ／Ｄコンバータ２１６はビデオカメラ１２０に接続され、ビデオカメラ１２０のアナログ信号をデジタル信号に変換する。ビデオカメラ１２０は、表示装置１００の前方を望むように、表示装置１００に固定され、表示装置１００周囲の光源情報を取得する光源情報取得手段として機能する。ＣＰＵ２０２には、ビデオカメラ１２０の出力信号が入力される。ＣＰＵ２０２は、撮影された画像の明るさの分布を算出し、最も明るさの高い位置に対応した位置に光源が存在すると仮定する手法によって、光源を設定する。画像等の生成に際して、ＣＰＵ２０２、システムメモリ２０４、ビデオディスプレイプロセッサ２１４、グラフィックメモリ２２２は、協働して、前記画像に前記光源に対応した陰影及び反射光等を付した輝度画像を生成する画像処理手段として機能する。
【選択図】図１

Description

本発明は、画像表示システムおよび画像表示プログラムに関する。

汎用の液晶表示装置等に特定のコンテンツを表示する画像表示システムが種々提案されている。

特許文献１には、通常モードにおいて疑似水族館の画像を表示し、イベントモードにおいてゲーム等よりインタラクティブな画像を表示する映像表示システムが開示されている。

特許文献２には、ビデオカメラによって表示装置周辺の光情報を取得し、画面内の仮想の物体に対して、その光情報に対応した陰影付けを行う画像処理装置が開示されている。

特開２００１−３６８９７号公報 特開平８−６３６１８号公報

特許文献１のような画像表示システムは、大型の表示面に表示する映像を変化に富んだものとすることによって見る人に飽きを少なくしているが、変化を追及するあまりに他の壁面等の装飾との調和がとれなくなってしまい、空間演出の阻害要因となってしまうこともある。

特許文献２の画像処理装置は、実空間における光源情報に基づいて画面内の仮想物体の陰影を表現し得るが、視点方向を１つしか考慮しておらず、また、その視点方向は表示装置を見つめる視点であり、したがって表示装置を観察者が意識しないようにすることはできないものであった。

本発明は、このような従来の問題点を解消すべく創案されたもので、画像表示システムの表示面の質感を環境に調和させることを目的とする。

本発明に係る画像表示システムは、複数の観察方向に対応して異なる平面画像を同時に表示し得る方向別画像表示装置と、前記方向別画像表示装置の周囲の光源情報を取得する光源情報取得手段と、前記光源情報取得手段の出力信号に基づいて、前記平面画像の光源データを作成する光源データ作成手段と、前記光源データと、前記観察方向のそれぞれとに基づいて、前記方向別画像表示装置に表示される前記の観察方向のそれぞれに対する輝度画像を作成する画像処理手段とを備える。
これによって、方向別画像表示装置の表示面の質感を環境に調和させることができる。

なお、本発明に係る画像表示システムにおいて、前記光源情報取得手段は、例えば、ＣＣＤやＣＭＯＳ等の撮像素子を備えたデジタルカメラやビデオカメラ等のカメラである。

本発明は、複数の観察方向に対応して異なる平面画像を同時に表示し得る方向別画像表示装置と、前記方向別画像表示装置の周囲の光源情報を取得する光源情報取得手段とを備えた画像表示システムのための画像表示プログラムであって、前記光源情報取得手段の出力信号に基づいて、前記平面画像の光源データを作成する光源データ作成ステップと、前記光源データと、前記観察方向のそれぞれとに基づいて、前記方向別画像表示装置に表示される前記観察方向のそれぞれに対する輝度画像を作成する画像処理ステップとを備える。

本発明によれば、光源データに基づいて陰影や反射等の画像処理が施された面画像を多方向に同時に表示することによって、表示装置の表示面の質感を環境に調和させることが可能となる。

次に本発明に係る画像表示システムおよび画像表示プログラムの実施例を説明する。

［画像表示システム］

図１は、本発明に係る画像表示システムの実施例１を示すブロック図である。

図１において、画像表示システムは、複数の観察方向に対応して異なる平面画像を表示し得る方向別画像表示装置等の表示装置１００と、表示装置１００に接続された制御部２００とを備え、表示装置１００にはビデオカメラ１２０が設けられている。

制御部２００には、制御部２００全体を制御するＣＰＵ２０２が設けられ、ＣＰＵ２０２には、システムメモリ２０４、ＲＯＭ２０６、記憶部２０８、操作入力部２１０、通信装置２１２、ビデオディスプレイプロセッサ２１４、Ａ／Ｄコンバータ２１６、タイマ２２４が接続され、これらのコンポーネントの相互通信はバスアービタ２１８によって制御されている。

ＣＰＵ２０２はＲＯＭ２０６に記憶された起動プログラムによって起動され、ＲＯＭ２０６やシステムメモリ２０４に記憶されたプログラムを実行する。

操作入力部２１０は、ユーザが画像表示システムに対する種々の操作入力を実行するためのキーボード、マウス等である。

通信装置２１２は、画像表示システムをパーソナルコンピュータ、サーバその他の機器に接続し、画像表示システムへのデータ提供、画像表示システムの遠隔制御等を可能とする。また通信装置によってテレビジョン放送その他の信号を取得し得る。

ビデオディスプレイプロセッサ２１４は、ビデオコンバータ２２０を介して表示装置１００に接続され、さらにビデオディスプレイプロセッサ２１４にはグラフィックメモリ２２２が接続されている。

ＣＰＵ２０２は、ビデオディスプレイプロセッサ２１４を制御して所定の画像を生成し、生成した画像の信号をビデオコンバータ２２０によって、表示装置１００に適合した信号に変換する。ビデオディスプレイプロセッサ２１４における画像生成に際しては、適宜グラフィックメモリ２２２に記憶された画像を使用する。またＣＰＵ２０２は、ビデオディスプレイプロセッサ２１４の画像生成のためにシステムメモリ２０４、ＲＯＭ２０６あるいは記憶部２０８に記憶された画像その他のデータをビデオディスプレイプロセッサ２１４に供給する。

Ａ／Ｄコンバータ２１６はビデオカメラ１２０に接続され、ビデオカメラ１２０のアナログ信号をデジタル信号に変換する。ビデオカメラ１２０は、表示装置１００の前方を望むように、表示装置１００に固定され、表示装置１００周囲の光源情報を取得する光源情報取得手段として機能する。

ＣＰＵ２０２には、ビデオカメラ１２０の出力信号が入力される。ＣＰＵ２０２は、撮影された画像の明るさの分布を算出し、最も明るさの高い位置に対応した位置に光源が存在すると仮定する手法によって、光源を設定する。光源設定の処理については、特許文献２等に記載されている。

光源データ作成に関して、撮像素子としてＣＣＤを備えたビデオカメラ１２０、ＣＰＵ２０２、システムメモリ２０４は、表示装置１００周囲の光源情報を取得する光源情報取得手段として機能する。なお、ビデオカメラ１２０からの出力信号と無関係に、タイマ２２４に内蔵されたカレンダやタイマによって光源を設定し、あるいは、あらかじめ設定されたスケジュールに基づいて、光源データ作成手段において光源データ作成してもよい。この場合、ＣＰＵ２０３およびシステムメモリ２０４が光源データ作成手段として機能する。また、光源の位置、方向、色、明るさ等が照明装置によってコンピュータ制御される場合、この照明装置とＣＰＵ２０２とで情報の授受を行い、取得した情報を基にＣＰＵ２０２が光源データを作成してもよい。

図２に示すように、表示装置１００は、例えば大理石の表面の画像ＩＭＧ１を表示装置１００の表示面に表示する。画像ＩＭＧ１には、ビデオカメラ１２０によって取得した表示装置１００周囲の光源に対応した陰影及び反射光等が付されて質感が与えられる。

画像ＩＭＧ１等の生成に関して、ＣＰＵ２０２およびシステムメモリ２０４は、協働して、表示装置１００に表示すべき画像の光源を設定する光源設定手段として機能し、ＣＰＵ２０２、システムメモリ２０４、ビデオディスプレイプロセッサ２１４、グラフィックメモリ２２２は、協働して、前記画像に前記光源に対応した陰影及び反射光等を付した画像（以下、輝度画像という。）を生成する画像処理手段として機能する。

［画像生成アルゴリズム］
画像処理手段における画像生成アルゴリズムは、例えば、以下のとおりである。

画像生成は、「光源情報」、「テクスチャ情報」、「質感情報」等の３次元情報に基づいて生成される。光源情報は、一般に、光源の「位置」、「輝度」、「色」等の情報であり、テクスチャ情報は表示される面画像の模様に関する情報である。

質感情報は、画像に質感を与える質感演算のための情報であり、質感演算のアルゴリズムとしては、例えば、プラスチックの質感に好適な「Ｐｈｏｎｇシェーディング」がある。Ｐｈｏｎｇシェーディングでは、質感情報として「ディヒューズ色」、「スペキュラーパワー（ハイライトの鋭さ）」等の、ある種のプラスチックの質感に普遍的なパラメータが採用される。

画像に質感を与える質感演算は、表示面上の点に対する法線、光源色、光源位置に基づいて、その点を所定の方向から見たときの色を決定する。

質感演算において、波紋のゆらぎのような複雑な効果を生じさせる際には、カラーマップ（色を変化させる）、スペキュラーマスクマップ（ハイライトの明るさを増減させる）、スペキュラーパワーマップ（ハイライトの鋭さを増減させる）、バンプマップ（法線方向を変化させて凹凸を表現する）等が使用され、さらに鏡面反射面への写り込みの表現のためのリフレクションマップ、透明物体を透過して見える物体を表現するリフラクションマップ等、種々のテクスチャマップが使用される。さらに、物体表面の反射率を一般化したＢＲＤＦ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｒｅｆｌｅｃｔａｎｃｅ Ｄｉｓｔｒｉｂｕｔｉｏｎ）による質感表現も可能である。ＢＲＤＦの演算結果は球面調和関数の係数の形で保持される。

質感演算では、表現したい質感、目的とする効果に応じて、いずれかの１個あるいは複数のアルゴリズムを選択して適用する。

表示装置１００としては、レンチキュラ・ディスプレイ（特開平１０−５６６５４号公報参照）や視界制御フィルムを用いたディスプレイ等の独立した画像を多方向に同時に表示できる方向別画像表示装置を用いる。

図３〜図５に示すように、表示装置１００は、例えばレンチキュラレンズ１０２を液晶デバイス１０４の前面に配置し、レンチキュラレンズ１０２における個々のレンズ１０２Ｌ後方で、液晶デバイス１０４に観察方向ＤＲ、ＤＦ、ＤＬごとの画素を表示する。

図５において、レンズ１０２Ｌ左後方の画素Ｐａはレンズ１０２Ｌ右前方ＤＲに投影され、レンズ１０２Ｌ後方中央の画素Ｐｂは前方ＤＦに投影され、レンズ１０２Ｌ右後方の画素Ｐｃはレンズ１０２Ｌ左前方ＤＬに投影される。

画像処理手段は、観察方向のそれぞれに対する質感演算を行い、各方向に投影すべき画素を同時に生成して、表示装置１００の液晶デバイス１０４の所定位置に表示する。

表示装置１００として方向別画像表示装置を採用することによって、大理石の表面の画像を表示した場合、見る方向によって大理石の表面の光沢等の質感の状態を徐々に変化させることが可能である。

［画像表示プログラム］
画像表示システムは、ＲＯＭ２０６やシステムメモリ２０４に格納された画像表示プログラムを実行して以上の画像を表示する。図６において、画像表示プログラムは、例えば、以下の各ステップによって構成される。

ステップＳ６０１：まず、ビデオカメラ１２０、タイマ２２４、あるいは、ＲＯＭに記憶されたスケジュールに基づいて、光源情報取得手段によって光源情報を取得し、ステップＳ６０２に進む。

ステップＳ６０２：ステップＳ６０１で取得した光源情報に基づいて、画像生成手段によって観察方向のそれぞれに対する質感演算を実行し、ステップＳ６０３に進む。

ステップＳ６０３：ステップＳ６０２の質感演算に基づいて、画像生成手段によって観察方向のそれぞれに対する各画像を生成し、ステップＳ６０４に進む。

ステップＳ６０４：観察方向のそれぞれに対する画像を観察方向のそれぞれに投影すべき画素に分解し１つの画像として再構成したものを、表示装置１００に転送し、表示し、そのまま処理を終了する。

図７において、以上の処理における、質感演算（ステップＳ６０２）は、例えば、以下の各ステップによって実行される。

ステップＳ７０１：まず、大理石の表面等の凹凸表現のためのバンプマップを生成し、ステップＳ７０２に進む。

ステップＳ７０２：物体表面の法線方向を、観察方向のそれぞれに対する各画像における画像面各点の法線方向に設定する。

ステップＳ７０３：ステップＳ７０２で設定した法線方向、およびそれに対応した接線方向に基づいて、ディスプレイ表面における反射効果、屈折効果のいずれを表現すべきか判断する。反射効果を表現すべきときはステップＳ７０４に進み、屈折効果を表現すべきときはステップＳ７０５に進む。

ステップＳ７０４：リフレクションマップを生成し、ステップＳ７０６に進む。

ステップＳ７０５：リフラクションマップを生成し、ステップＳ７０６に進む。

ステップＳ７０６：リフレクションマップまたはリフラクションマップを参照して、画像面各点の色を決定し、そのまま処理を終了する。

図８に示すように、屋内の壁面５２０に取り付けられた表示装置１００に壁面の壁紙の表面を模した画像に上記の処理を施した画像ＩＭＧ５を表示することによって、どの方向の観察者から見ても違和感がないように表示装置１００を壁面５２０に同化させ、室内の美観を高めることができる。

［画像表示システム］

図９は、本発明に係る画像表示システムの実施例２を示すブロック図である。

実施例２は、ビデオカメラ１２０を表示装置１００の背面に設け、ビデオカメラ１２０の周囲に照明装置２２８（図１０）を設けている。また制御部２００には、実施例１の構成に加え、照明コントローラ２２６が設けられている。

図１０に示すように、照明装置２２８は複数の発光体（ＬＥＤ等）２３０をビデオカメラ１２０の周囲に等間隔で配列してなり、表示装置１００背面を、種々の方向の光源によって照明する。これによって、ビデオカメラ１２０は、表示装置１００背面の状況を複数方向の光源によって撮影できる。

照明コントローラ２２６はＣＰＵ２０２の制御によって、照明装置２２８の発光体２３０を順次発光させる。

画像生成手段は、多方向の光源により撮影した画像を、対応した視方向の画像として表示装置１００に表示する。これによって、図１１に示すように、表示装置１００が設置された壁面５００の表面を模した画像ＩＭＧ４を表示装置１００に表示し得る。これによって、表示装置１００を周囲の環境に同化させることができ、例えば、表示装置１００に情報を表示していない状態で、暗転画面が景観を損なうような場合に、表示装置１００の存在を抹消して、景観を維持することができる。

なお、上記実施形態では、表示装置１００の表示面は平面であったが、表示面の形状はこれに限らない。例えば、表示面を、画像表示システムを展示する壁や柱等の表面と同じ局率を持った曲面とすることによって、壁や柱と調和する効果を高めることができる。

また、本発明を用いることによって、上記とは異なる効果を得ることが出来る。

図１２は、画像表示システムを移動物体、例えばトラック３００に搭載し、表示装置１００を荷台３２０の側面に装着したものである。ビデオカメラ１２０で取得した光源情報に基づいて光源設定を行い、種々のメッセージ（例えば、運送会社の社名「○○引越センタ」）を水面の波紋の背景上に表示する。このような画像の表示において、波紋の陰影や反射をビデオカメラ１２０で検出した外光の方向に応じて変化させれば、環境にリアルタイムに調和した質感表現が可能である。また、荷台３２０側面に実際の波紋が生じているような画像表示によって、観察者の注意を引き、広告効果を高める効果も得られる。

図１３は、画像表示システムを公共施設、例えば地下街の壁面４００に設置し、表示装置１００を壁面に展示したものである。タイマ２２４に基づいて、あらかじめ記憶された画像（例えば、地上の街の風景）に対して、その季節、時刻に応じた陰影や反射を付して、画像ＩＭＧ３を表示する。このような画像表示によって、展示場所における時刻や季節に調和した質感表現が行われる。また、地下街にいながら地上のリアルな雰囲気を感じることができ、地下街の閉塞感を払拭して、通行者に安らぎを与えることができる。

本発明に係る画像表示システムの実施例１を示すブロック図である。 図１の画像表示システムによって表示された画像の例を示す正面図である。 図１の画像表示システムにおける方向別画像表示装置の例を示す斜視図である。 図３の画像表示システムの縦断面図である。 図４の画像表示システムの拡大図である。 図１の画像表示システムで実行される処理を示すフローチャートである。 図６の処理における質感演算を示すフローチャートである。 図１の画像表示システムによって表示された画像の他の例を示す正面図である。 本発明に係る画像表示システムの実施例２を示すブロック図である。 図９の画像表示システムにおける照明装置を示す正面図である。 図９の画像表示システムによって表示された画像の例を示す正面図である。 図１の画像表示システムによって表示された画像の他の例を示す正面図である。 図１の画像表示システムによって表示された画像のさらに他の例を示す正面図である。

符号の説明

１００ 表示装置
１０２ レンチキュラレンズ
１０２Ｌ レンズ
１０４ 液晶デバイス
１２０ ビデオカメラ
２００ 制御部
２０２ ＣＰＵ
２０４ システムメモリ
２０６ ＲＯＭ
２０８ 記憶部
２１０ 操作入力部
２１２ 通信装置
２１４ ＶＤＰ（ビデオディスプレイプロセッサ）
２１６ Ａ／Ｄコンバータ
２１８ バスアービタ
２２０ ビデオコンバータ
２２２ グラフィックメモリ
２２４ タイマ
２２６ 照明コントローラ
２２８ 照明装置
２３０ 発光部
Ｐａ、Ｐｂ、Ｐｃ 画素
ＤＲ、ＤＦ、ＤＬ 観察方向

Claims (4)

1. 複数の観察方向に対応して異なる平面画像を同時に表示し得る方向別画像表示装置と、
   前記方向別画像表示装置の周囲の光源情報を取得する光源情報取得手段と、
   前記光源情報取得手段の出力信号に基づいて、前記平面画像の光源データを作成する光源データ作成手段と、
   前記光源データと、前記観察方向のそれぞれとに基づいて、前記方向別画像表示装置に表示される前記観察方向のそれぞれに対する輝度画像を作成する画像処理手段と、
   を備えた画像表示システム。
2. 前記光源情報取得手段は撮像素子を備えたカメラである請求項１記載の画像表示システム。
3. 複数の観察方向に対応して異なる平面画像を同時に表示し得る方向別画像表示装置と、前記方向別画像表示装置の周囲の光源情報を取得する光源情報取得手段とを備えた画像表示システムのための画像表示プログラムであって、
   前記光源情報取得手段の出力信号によって光源情報を取得するステップと、
   前記光源情報に基づいて、観察方向のそれぞれに対する質感演算を実行するステップと、
   前記質感演算に基づいて、画像生成手段によって観察方向のそれぞれに対する各画像を生成するステップと、
   観察方向のそれぞれに対する画像を観察方向のそれぞれに投影すべき画素に分解し１つの画像として再構成したものを、前記方向別表示装置に転送し、表示するステップと、
   を備えた画像表示プログラム。
4. 請求項３記載の画像表示プログラムが記憶されたコンピュータ読み取り可能な記憶媒体。
   
   

Images