JP2008180797A - 画像表示装置、画像表示装置の制御方法、及びコンピュータプログラム - Google Patents
画像表示装置、画像表示装置の制御方法、及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2008180797A JP2008180797A JP2007012808A JP2007012808A JP2008180797A JP 2008180797 A JP2008180797 A JP 2008180797A JP 2007012808 A JP2007012808 A JP 2007012808A JP 2007012808 A JP2007012808 A JP 2007012808A JP 2008180797 A JP2008180797 A JP 2008180797A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display device
- light
- image display
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】 画像表示装置の周囲の光による影響を、その画像表示装置により表示される画像に適切に反映させる。
【解決手段】 センサー信号処理部11は、二次元光センサー3〜6で得られた画像31〜34の光強度が最大値を示す位置を表すベクトルv1〜v4と、画像31〜34における光強度分布の偏りを示すパラメータc1〜c4とを算出する。照明条件計算部12は、パラメータc1〜c4を用いて、画像表示装置1の表示画面における光の強度分布(コントラスト)cLを算出する。照明条件計算部12は、センサー信号処理部11で算出されたベクトルv1〜v4に基づいて、各オブジェクトの位置から光源2の位置に向かうベクトルを算出する。画像処理部13は、算出したベクトルと、照明条件計算部12で算出されたコントラストcLとに基づいて、各オブジェクトに対して影画像を生成する。
【選択図】 図1
【解決手段】 センサー信号処理部11は、二次元光センサー3〜6で得られた画像31〜34の光強度が最大値を示す位置を表すベクトルv1〜v4と、画像31〜34における光強度分布の偏りを示すパラメータc1〜c4とを算出する。照明条件計算部12は、パラメータc1〜c4を用いて、画像表示装置1の表示画面における光の強度分布(コントラスト)cLを算出する。照明条件計算部12は、センサー信号処理部11で算出されたベクトルv1〜v4に基づいて、各オブジェクトの位置から光源2の位置に向かうベクトルを算出する。画像処理部13は、算出したベクトルと、照明条件計算部12で算出されたコントラストcLとに基づいて、各オブジェクトに対して影画像を生成する。
【選択図】 図1
Description
本発明は、画像表示装置、画像表示装置の制御方法、及びコンピュータプログラムに関し、特に、周囲の光による影響を調整して画像表示装置に画像を表示するために用いて好適なものである。
従来から、画像表示装置が置かれている周囲の光による影響を調整して画像を表示することが行われていた。
特許文献1には、画像表示装置の周囲に光の強度を測定する光センサーを設ける技術が開示されている。かかる技術では、光センサーの検出結果と、利用者が設定したコントラストや輝度とを学習することにより、利用者の嗜好を反映した表示状態を再現するようにしている。例えば、晴天時等の日中で周囲が明るい場合には周囲の明るさに負けないだけの輝度で画像を表示する。また、薄暗い部屋等の周囲が位場合には必要最小限の輝度で画像を表示する。このようにすることにより、目の疲労を防止したり、部屋の雰囲気を落ち着かせたりすることが可能になる。
特許文献1には、画像表示装置の周囲に光の強度を測定する光センサーを設ける技術が開示されている。かかる技術では、光センサーの検出結果と、利用者が設定したコントラストや輝度とを学習することにより、利用者の嗜好を反映した表示状態を再現するようにしている。例えば、晴天時等の日中で周囲が明るい場合には周囲の明るさに負けないだけの輝度で画像を表示する。また、薄暗い部屋等の周囲が位場合には必要最小限の輝度で画像を表示する。このようにすることにより、目の疲労を防止したり、部屋の雰囲気を落ち着かせたりすることが可能になる。
また、特許文献2には、画像表示装置の周囲に光の色温度を検知するセンサーを設ける技術が開示されている。かかる技術では、センサーの検出結果により画像表示装置の周囲の光の色温度を判別し、判別した結果に応じて、ディスプレイの色温度を調節するようにしている。
ところで、画像表示装置が置かれている周囲の光は、多くの場合方向性を有する。例えば、部屋の中で一方から強い光が画像表示装置に照明されている場合や、外部からそのような光が画像表示装置に飛び込んでいる場合、その光の色温度によって、画像表示装置に表示されているそれぞれの物体の色味が変わって見える。特に、強く光があたっている部分ほどその光による影響が大きい。
しかしながら、前述した従来の技術では、周囲の色温度や光の強度を測定しているに過ぎないので、例えば一方から強い光が画像表示装置に照明された場合に、その光による影響を画像表示装置に表示される画像に反映することが困難であった。
また、前述した従来の技術では、画像表示装置が置かれている空間の光の影響を、画像表示装置に表示されている画像の陰影の位置に反映していない。
従って、色温度の異なる光が画像表示装置にあたる場合、特に、光が強くあたる部分における色調の分布が、画像表示装置に表示される画像と、周囲の現実空間とで整合しないことがある。
従って、色温度の異なる光が画像表示装置にあたる場合、特に、光が強くあたる部分における色調の分布が、画像表示装置に表示される画像と、周囲の現実空間とで整合しないことがある。
例えば、比較的大きな画面に表示されている動画像を没入した状態で鑑賞する場合、画像表示装置に表示される画像の色調と、画像表示装置の周囲の現実空間における照明による色調とが不一致であると、画像を鑑賞するユーザに違和感を与えることがある。また、バーチャルリアリティー等の分野において没入した状態で何らかの作業をする場合にもユーザに違和感を与えることがある。この他、イベント会場等で大画面の画像表示装置を用いて画像を表示する場合や、ステージ上の実演とその実演の画像表示装置による表示とが併用される場合にもユーザに違和感を与えることがある。
以上のように従来の技術では、画像表示装置の周囲の光による影響を、その画像表示装置により表示される画像に適切に反映させることが困難であり、実在感、現実感、臨場感のある画像の表示を行うことが困難であるという問題点があった。
本発明は、このような問題点に鑑みてなされたものであり、画像表示装置の周囲の光による影響を、その画像表示装置により表示される画像に適切に反映させることを目的とする。
本発明の画像表示装置は、周囲の少なくとも一部の方向を撮像する撮像手段を備える画像表示装置であって、前記撮像手段によって撮像された画像に基づいて周囲からもたらされる光の照明条件を導出する導出手段と、前記導出手段によって導出された光の照明条件に基づいて表示画像を生成して表示する表示手段とを有する。
本発明の画像表示装置の制御方法は、周囲の少なくとも一部の方向を撮像する撮像手段を備える画像表示装置の制御方法であって、前記撮像手段によって撮像された画像に基づいて周囲からもたらされる光の照明条件を導出する導出工程と、前記導出工程で導出された光の照明条件に基づいて表示画像を生成して表示する表示工程とを有する。
本発明のコンピュータプログラムは、周囲の少なくとも一部の方向を撮像する撮像手段を備える画像表示装置の制御方法をコンピュータに実行させるプログラムであって、前記撮像手段によって撮像された画像に基づいて周囲からもたらされる光の照明条件を導出する導出工程と、前記導出工程で導出された光の照明条件に基づいて表示画像を生成して表示する表示工程とをコンピュータに実行させる。
本発明によれば、画像表示装置が置かれている現実の空間の光の状態に合わせて、画像表示装置に表示される画像を調整することが可能になる。
(第1の実施形態)
以下に、図面を参照しながら、本発明の第1の実施形態について説明する。
本実施形態では、画像表示装置の所定の位置に設置された複数の二次元光センサーによって、画像表示装置の周囲を撮像する。そして、撮像された画像に基づいて画像表示装置の周囲の光の分布を導出し、その光の分布に基づいて、画像表示装置で表示する表示画像にレンダリング処理を施す。また、本実施形態では、二次元光センサーとしてカラーセンサーを用いるようにしている。従って、レンダリング処理もカラーで行われる。
以下に、図面を参照しながら、本発明の第1の実施形態について説明する。
本実施形態では、画像表示装置の所定の位置に設置された複数の二次元光センサーによって、画像表示装置の周囲を撮像する。そして、撮像された画像に基づいて画像表示装置の周囲の光の分布を導出し、その光の分布に基づいて、画像表示装置で表示する表示画像にレンダリング処理を施す。また、本実施形態では、二次元光センサーとしてカラーセンサーを用いるようにしている。従って、レンダリング処理もカラーで行われる。
図1は、画像処理システムの構成の一例を示す図である。
図1において、画像処理システムは、画像表示装置1と、二次元光センサー3〜6と、処理制御装置10とを備えて構成される。
図1において、画像処理システムは、画像表示装置1と、二次元光センサー3〜6と、処理制御装置10とを備えて構成される。
ここで処理制御装置10は、例えばパーソナルコンピュータを用いることにより実現される。また、画像表示装置1は、処理制御装置10と相互に接続されるLCDやCRT等のディスプレイ装置を用いることにより実現される。また、処理制御装置10は、二次元光センサー3〜6と例えば通信ケーブルを介して相互に接続され、二次元光センサー3〜6で得られた情報を、インターフェースを介して入力することができる。
更に処理制御装置10は、3次元情報を含む画像コンテンツ100を入力し、入力した画像コンテンツ100を画像表示装置1で表示する。尚、画像コンテンツ100は、例えば、DVDやCD−ROM等の記憶媒体に記憶されている。この場合、処理制御装置10は、記憶媒体から画像コンテンツ100を読み出すことにより、画像コンテンツ100を入力することになる。また、画像コンテンツ100には、3次元情報が含まれている。
二次元光センサー3〜6は、CCD等の撮像素子を有する撮像装置を備える。二次元光センサー3〜6は、画像表示装置1の周囲の少なくとも一部の領域の画像を撮像する。図2及び図6に示すように、二次元センサー3〜6は、画像表示装置1の表示画面側における四隅の部分に設けられる。
次に、処理制御装置10が有する機能の一例について説明する。かかる機能は、CPUがROMに記憶されているプログラムを、RAM等を用いて実行すること等によって実現される。
まず、センサー信号処理部11は、二次元光センサー3〜6で得られた画像情報に基づいて、ベクトルv1、v2、v3、v4とパラメータc1、c2、c3、c4とを算出する。ここで、ベクトルv1〜v4はそれぞれ、二次元光センサー3〜6の感光面に結像された画像の光強度が最大値の位置もしくは明部の重心位置を示すベクトルである(図3を参照)。
まず、センサー信号処理部11は、二次元光センサー3〜6で得られた画像情報に基づいて、ベクトルv1、v2、v3、v4とパラメータc1、c2、c3、c4とを算出する。ここで、ベクトルv1〜v4はそれぞれ、二次元光センサー3〜6の感光面に結像された画像の光強度が最大値の位置もしくは明部の重心位置を示すベクトルである(図3を参照)。
また、パラメータc1〜c4はそれぞれ、二次元光センサー3〜6の感光面に結像された画像における光強度分布の偏りを示すパラメータである。具体的にパラメータc1〜c4にはそれぞれ、二次元光センサー3〜6の感光面に結像された画像の最大強度を示す部分と、その周辺の部分との強度比が含まれる。更に、パラメータc1〜c4にはそれぞれ、二次元光センサー3〜6の感光面に結像された画像の最大強度を示す部分の先鋭度が含まれる。
照明条件計算部12は、センサー信号処理部11によって算出されたベクトルv1〜v4とパラメータc1〜c4とに基づいて、光源2による光の照明条件に関わる情報を算出する。本実施形態では、照明条件計算部12は、光源2の相対的な三次元の位置を示す情報と、光源2から発せられた光の拡散の程度を示す情報とを、光源2による光の照明条件に関わる情報として算出する。ここで、光源2の相対的な三次元の位置とは、例えば、画像表示装置1を基準とした光源2の位置を三次元座標で表したものである。
画像処理部13は、光源2の相対的な三次元の位置を示す情報と、光源2から発せられた光の拡散の程度を示す情報とが照明条件計算部12で求められると、求められた情報に基づいて、レンダリング処理を施す。このレンダリング処理によって、画像コンテンツ100に対して影画像を付加する等の処理が行われる。
次に、画像処理システムの具体例について説明する。
図2は、光源2から発せられた光が画像表示装置1に照射される様子の第1の例を示した図である。
図2に示すように、二次元光センサー3〜6は、画像表示装置1の表示画面側における四隅の部分に設置されている。二次元光センサー3〜6は、画像表示装置1の周囲の一部の領域を撮像し、画像表示装置1の周囲の光の分布を検出する。
図2は、光源2から発せられた光が画像表示装置1に照射される様子の第1の例を示した図である。
図2に示すように、二次元光センサー3〜6は、画像表示装置1の表示画面側における四隅の部分に設置されている。二次元光センサー3〜6は、画像表示装置1の周囲の一部の領域を撮像し、画像表示装置1の周囲の光の分布を検出する。
[センサー信号処理部11の処理]
前述したように、センサー信号処理部11は、二次元光センサー3〜6の検出結果から、ベクトルv1〜v4とパラメータc1〜c4とを算出する。
図3は、二次元光センサー3〜6で取得された画像に、その画像に所定の処理を施することにより算出されるベクトルv1〜v4を重ねて示した図である。
図2に示したようにして画像処理装置1と光源2と二次元光センサー3〜6とが配置されている場合、図3に示すような画像が、二次元光センサー3〜6でそれぞれ撮像される。尚、前述したように本実施形態では、二次元光センサー3〜6としてカラーセンサーを用いているので、撮像は色毎に行われる。また、図3に示す画像31〜34は、二次元光センサー3〜6の感光面の前方側から見た画像である。
前述したように、センサー信号処理部11は、二次元光センサー3〜6の検出結果から、ベクトルv1〜v4とパラメータc1〜c4とを算出する。
図3は、二次元光センサー3〜6で取得された画像に、その画像に所定の処理を施することにより算出されるベクトルv1〜v4を重ねて示した図である。
図2に示したようにして画像処理装置1と光源2と二次元光センサー3〜6とが配置されている場合、図3に示すような画像が、二次元光センサー3〜6でそれぞれ撮像される。尚、前述したように本実施形態では、二次元光センサー3〜6としてカラーセンサーを用いているので、撮像は色毎に行われる。また、図3に示す画像31〜34は、二次元光センサー3〜6の感光面の前方側から見た画像である。
図3(a)に示す画像31は、二次元光センサー3で取得された画像であり、図3(b)に示す画像32は、二次元光センサー4で取得された画像である。また、図3(c)に示す画像33は、二次元光センサー5で取得された画像であり、図3(d)に示す画像34は、二次元光センサー6で取得された画像である。
図3において、斜線で示される部分31a〜34aが光源2の影響で輝度が高くなっていることを示している。即ち斜線で示される部分31a〜34aは、明るくなっている部分である。尚、前述したように本実施形態では、二次元光センサー3〜6としてカラーセンサーを用いるようにしているようにしているので、実際の画像は図3のような2値画像ではなく、階調を持った画像である。
センサー信号処理部11は、夫々の画像31〜34において、光強度が最大値を示す位置を表すベクトルv1〜v4と、光強度分布の偏りを示すパラメータc1〜c4とを算出する。前述したように、パラメータc1〜c4には、最大強度を示す部分とその周辺の部分との強度比と、最大強度を示す部分の先鋭度とが含まれる。
[照明条件計算部12の処理]
図4は、光源2の位置(点L)と、画像表示装置1の表示画面の中心位置(点O)と、表示されるオブジェクトの位置(点D)との関係の一例を示す図である。
照明条件計算部12は、センサー信号処理部11で算出されたベクトルv1〜v4に基づいて、画像表示装置1の表示画面の中心位置(点O)を原点にした場合の光源2の位置を示すベクトル(点Oから点Lに向かうベクトル(O→L))を求める。これにより、光源2の相対的な三次元の位置が求められる。尚、このような処理を行うために、照明条件計算部12は、例えば、画像表示装置1の表示画面の位置情報と、二次元光センサー3〜6の位置情報とを予め記憶している。
図4は、光源2の位置(点L)と、画像表示装置1の表示画面の中心位置(点O)と、表示されるオブジェクトの位置(点D)との関係の一例を示す図である。
照明条件計算部12は、センサー信号処理部11で算出されたベクトルv1〜v4に基づいて、画像表示装置1の表示画面の中心位置(点O)を原点にした場合の光源2の位置を示すベクトル(点Oから点Lに向かうベクトル(O→L))を求める。これにより、光源2の相対的な三次元の位置が求められる。尚、このような処理を行うために、照明条件計算部12は、例えば、画像表示装置1の表示画面の位置情報と、二次元光センサー3〜6の位置情報とを予め記憶している。
更に照明条件計算部12は、センサー信号処理部11で算出されたパラメータc1〜c4を用いて、画像表示装置1の表示画面における光の強度分布cLを算出する。これにより、光源2から発せられた光の拡散の程度が求められる。尚、以下の説明では、画像表示装置1の表示画面における光の強度分布をコントラストcLと称する。
尚、前述したように本実施形態では、二次元光センサー3〜6としてカラーセンサーを用いるようにしている。従って、照明条件計算部12は、光源2の位置を示すベクトル(O→L)と、コントラストcLとを色毎に算出する。
尚、前述したように本実施形態では、二次元光センサー3〜6としてカラーセンサーを用いるようにしている。従って、照明条件計算部12は、光源2の位置を示すベクトル(O→L)と、コントラストcLとを色毎に算出する。
[画像処理部13の処理]
光源2が点灯すると、画像表示装置1の表示画面のうち、光源2からの光が強くあたる部分が、その光源2の色温度の影響を強く受ける。従って画像処理部13は、画像表示装置1に表示される画像のうち、光源2からの光が強くあたる部分が、その光の色温度の影響を強く受けるという考えに基づいてレンダリング処理を色毎に実行する。即ち、画像処理部13は、光源2からの光により現実の空間で生じる視覚上の色温度の分布(変化)と、画像表示装置1に表示される画像の各部分における色温度の分布(変化)とが出来るだけ一致するように演算処理する。
光源2が点灯すると、画像表示装置1の表示画面のうち、光源2からの光が強くあたる部分が、その光源2の色温度の影響を強く受ける。従って画像処理部13は、画像表示装置1に表示される画像のうち、光源2からの光が強くあたる部分が、その光の色温度の影響を強く受けるという考えに基づいてレンダリング処理を色毎に実行する。即ち、画像処理部13は、光源2からの光により現実の空間で生じる視覚上の色温度の分布(変化)と、画像表示装置1に表示される画像の各部分における色温度の分布(変化)とが出来るだけ一致するように演算処理する。
具体的に画像処理部13は、画像コンテンツ100における各オブジェクトの位置(図4の座標(Xd、−Yd))と、照明条件計算部12で算出されたベクトル(O→L)とを考慮して、各オブジェクトに対する光源2の相対位置を算出する。即ち、画像処理部13は、各オブジェクトの位置(点D)から光源2の位置(点L)に向かうベクトル(D→L)を算出する。
そして、画像処理部13は、算出したベクトル(D→L)と、照明条件計算部12で算出されたコントラストcLとに基づいて、入力した画像コンテンツ100のオブジェクトに対して影画像を生成する画像処理を行う。即ち、画像処理部13は、画像表示装置1に表示された画像の中の仮想的な照明に基づく色調の分布が、現実の空間の光源2に基づく色調の分布に一致する(又は近づく)ように画像処理を行う。このようにすることにより、光源2の位置に対応したレンダリング処理を、入力した画像コンテンツ100に対して施すことができる。
図5、図6は、光源2からの光が画像表示装置1に照射される様子の第2、第3の例を示した図である。これら図5、図6に示す場合でも、図2〜図4を用いて説明したのと同様な処理を行うことができる。この処理により、現実の空間の光源2が強くあたる部分と弱くあたる部分の色温度の分布(変化)と、画像表示装置1に表示される画像の中の仮想的な照明が強くあたる部分と弱くあたる部分の色温度の分布(変化)とを出来るだけ一致させることが可能になる。
例えば、図6に示す例では、光源2の光源が画像表示装置1の略正面方向にあり、画像表示装置1の表示画面の左右にオブジェクトが表示されている。よって、現実の空間の光源2が強くあたる部分と弱くあたる部分の色温度の分布(変化)と、画像表示装置1に表示される画像の中の仮想的な照明が強くあたる部分と弱くあたる部分の色温度の分布(変化)とを出来るだけ一致させるためのレンダリング処理を行う。即ち、光源2からの光が強くあたるところは、色温度に基づく補正を強く施し、弱くあたるところは、色温度に基づく補正を弱く施す。
例えば、図6において、画像表示装置1に表示されている右側のオブジェクトと左側のオブジェクトとのそれぞれの内側の部分が特に光源2の色温度の影響が大きくなるようにレンダリング処理が施される。また、右側のオブジェクトと左側のオブジェクトとのそれぞれの外側の部分が光源2の色温度の影響が小さくなるようにレンダリング処理が施される。更に、オブジェクトの下にあるシート状の部分が、光源2の色温度の影響を相当程度受けるようにレンダリングが施される。
以上のように本実施形態では、センサー信号処理部11は、4個の二次元光センサー3〜6で得られた画像31〜34の光強度が最大値を示す位置を表すベクトルv1〜v4と、画像31〜34における光強度分布の偏りを示すパラメータc1〜c4とを算出する。照明条件計算部12は、センサー信号処理部11で算出されたパラメータc1〜c4を用いて、画像表示装置1の表示画面における光の強度分布(コントラスト)cLを算出する。また、照明条件計算部12は、センサー信号処理部11で算出されたベクトルv1〜v4に基づいて、画像表示装置1の表示画面の中心位置(点O)を原点にした場合の光源2の位置を示すベクトル(点Oから点Lに向かうベクトル(O→L))を求める。画像処理部13は、夫々のオブジェクトの位置(図4の座標(Xd、−Yd))と、照明条件計算部12で算出されたベクトル(O→L)とに基づいて、各オブジェクトの位置から光源2の位置に向かうベクトル(D→L)を算出する。そして、画像処理部13は、算出したベクトル(D→L)と、照明条件計算部12で算出されたコントラストcLとに基づいて、入力した画像コンテンツ100の各オブジェクトに対して影画像を生成する。
以上のように本実施形態では、二次元光センサー3〜6を4個用いることにより、画像表示装置1に表示された画像コンテンツ100の各オブジェクトから見た光源2の三次元的な相対位置と、画像表示装置1の表示画面における照明光の強度分布とを求めた。従って、画像表示装置1に表示される画像内に仮想的に設定される照明の位置に基づいて、画像コンテンツ100のオブジェクト毎に、画像コンテンツ100の色温度(色調)の制御を、光源2の色温度の影響の大小に合わせて行うことができる。これにより、実在感、現実感、臨場感のある色調で画像の表示を行うことが可能になる。
また、二次元光センサー3〜6は、画像処理部13で実行されるレンダリング処理を行うための情報を取得できればよい。即ち、二次元光センサー3〜6は、高解像度を有している必要はない。従って、画素数や光学系の分解能がそれほど高くない二次元光センサーを用いることができ、装置を安価にすることができる。
尚、本実施形態では、二次元光センサー3〜6を、画像表示装置1の表示画面側の四隅にそれぞれ設置するようにした。しかしながら、各オブジェクトの位置から光源2の位置に向かうベクトルを算出することができるような検出を行えれば、二次元光センサーの個数や設置位置はこれに限定されない。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。前述した第1の実施形態では、4個の二次元光センサー3〜6を用いて、画像表示装置1に対する光源2の三次元的な相対位置(三次元的な相対座標)を求めるようにした。
これに対して本実施形態では、1個の2次元センサーを用いて、画像表示装置1に対する光源2の方向を求めるようにする。即ち、本実施形態では、画像表示装置1の表示画面が、1個の2次元センサーで検出される1つの(共通の)光学的環境にあることを前提とする。そして、光源2から発せられる光が平行光であると近似してレンダリング処理を施す。光源2が画像表示装置1の遠方にあればこのような前提が有効に成り立つので、第1の実施形態よりもシンプルな構成でレンダリング処理を施すことができる。
次に、本発明の第2の実施形態について説明する。前述した第1の実施形態では、4個の二次元光センサー3〜6を用いて、画像表示装置1に対する光源2の三次元的な相対位置(三次元的な相対座標)を求めるようにした。
これに対して本実施形態では、1個の2次元センサーを用いて、画像表示装置1に対する光源2の方向を求めるようにする。即ち、本実施形態では、画像表示装置1の表示画面が、1個の2次元センサーで検出される1つの(共通の)光学的環境にあることを前提とする。そして、光源2から発せられる光が平行光であると近似してレンダリング処理を施す。光源2が画像表示装置1の遠方にあればこのような前提が有効に成り立つので、第1の実施形態よりもシンプルな構成でレンダリング処理を施すことができる。
以上のように、本実施形態と第1の実施形態とは、二次元光センサーの数及び設置位置と、処理制御装置10における処理の一部とが主として異なる。従って、以下の説明において第1の実施形態と同一の部分については、図1〜図6に付した符号と同一の符号を付す等して詳細な説明を省略する。
図7は、光源2からの光が画像表示装置1に照射される様子の一例を示した図である。
本実施形態では、図7に示すように、1個の2次元光センサー9が、画像表示装置1の上面中央部に上向きに設置される。2次元光センサー9は、比較的広角な光学系の撮像素子を有するものであるのが望ましい。また、本実施形態でも、第1の実施形態と同様に、二次元光センサー9としてカラーセンサーを用いるようにしている。従って、以下に述べる処理は、色毎に行うことが可能である。
本実施形態では、図7に示すように、1個の2次元光センサー9が、画像表示装置1の上面中央部に上向きに設置される。2次元光センサー9は、比較的広角な光学系の撮像素子を有するものであるのが望ましい。また、本実施形態でも、第1の実施形態と同様に、二次元光センサー9としてカラーセンサーを用いるようにしている。従って、以下に述べる処理は、色毎に行うことが可能である。
図7に示す位置に光源2が配置された場合、図8に示すような画像81が2次元光センサー9で得られる。図8は、二次元光センサー9で取得された画像に、その画像に所定の処理を施することにより算出されるベクトルv0を重ねて示した図である。尚、図8に示す画像81は、二次元光センサー9の感光面の前方側から見た画像である。
図8において、斜線で示される部分81aは、光源2の影響で輝度が高くなっていることを示し、その斜線で示される部分81aの中の白抜きの部分は、より輝度が高くなっていることを示している。即ち斜線で示される部分81aは、明るくなっている部分であり、その斜線で示される部分81aの中の白抜きの部分は、より明るくなっている部分である。
図8において、斜線で示される部分81aは、光源2の影響で輝度が高くなっていることを示し、その斜線で示される部分81aの中の白抜きの部分は、より輝度が高くなっていることを示している。即ち斜線で示される部分81aは、明るくなっている部分であり、その斜線で示される部分81aの中の白抜きの部分は、より明るくなっている部分である。
第1の実施形態と同様に、センサー信号処理部11は、画像81において、光強度が最大値を示す位置を表すベクトルv0と、光強度分布の偏りを示すパラメータc0とを算出する。
図9は、画像表示装置1の位置と、二次元光センサー9の位置(点S)と、光源2の位置(点L)との関係の一例を示す図である。
本実施形態では、二次元光センサー9が1つなので、点Lの位置(画像表示装置1を基準とした光源2の位置を示す三次元座標)を特定することはできない。そこで、照明条件計算部12は、二次元光センサー9から見た点Lの方向(点Sから点Lに向かうベクトル(S→L)の方向)と、画像表示装置1の表示画面における光の強度分布(コントラスト)cLのみを算出することができる。
そして、画像処理部13は、照明条件計算部12で算出されたベクトル(S→L)の方向及びコントラストcLに基づいて、入力した画像コンテンツ100のオブジェクトに対して影画像を生成するレンダリング処理を施す。
本実施形態では、二次元光センサー9が1つなので、点Lの位置(画像表示装置1を基準とした光源2の位置を示す三次元座標)を特定することはできない。そこで、照明条件計算部12は、二次元光センサー9から見た点Lの方向(点Sから点Lに向かうベクトル(S→L)の方向)と、画像表示装置1の表示画面における光の強度分布(コントラスト)cLのみを算出することができる。
そして、画像処理部13は、照明条件計算部12で算出されたベクトル(S→L)の方向及びコントラストcLに基づいて、入力した画像コンテンツ100のオブジェクトに対して影画像を生成するレンダリング処理を施す。
具体的に説明すると例えば、画像処理部13は、夫々のオブジェクトの位置と、照明条件計算部12で算出されたベクトル(S→L)の方向とに基づいて、各オブジェクトの位置から光源2の位置に向かうベクトルの方向を算出する。そして、画像処理部13は、算出したベクトルの方向と、照明条件計算部12で算出されたコントラストcLとに基づいて、入力した画像コンテンツ100の各オブジェクトに対して影画像を生成する等してレンダリング処理を施す。
ここで、画像処理装置13は、光源2から画像処理装置1に照射される光の方向が一様であり、画像表示装置1の表示画面における光の強度分布(コントラスト)cLが一様であることを前提として、レンダリング処理を施す。そして、画像表示装置1に表示される画像における色温度(色調)の分布(変化の程度)も、その光の方向及びコントラストの状態に合わせて調整される。
以上のように本実施形態では、画像表示装置1に表示された画像コンテンツ100の各オブジェクトから見た光源2の方向と、画像表示装置1の表示画面における照明光の強度分布とに基づいて、レンダリング処理(影画像を生成する画像処理等)を施した。従って、画像表示装置1に表示される画像内に仮想的に設定される照明の方向に基づいて、画像コンテンツ100のオブジェクト毎に、画像コンテンツ100の色温度(色調)の制御を、光源2の色温度の影響の大小に合わせて行うことができる。
このように、光源2から画像表示装置1に照射される光の方向と、画像表示装置1の表示画面における光強度分布とが同じであると見なせる場合には、第1の実施形態よりも簡単な構成で、画像コンテンツ100の色温度(色調)を適切に制御できる。
尚、本実施形態では、1個の2次元光センサー9が、画像表示装置1の上面中央部に上向きに設置される場合を例に挙げて示した。しかしながら、各オブジェクトの位置から見た光源2の方向を算出することができるような検出を行えれば、二次元光センサーの個数や設置位置はこれに限定されない。
(本発明の他の実施形態)
前述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給してもよい。そのシステムあるいは装置のコンピュータ(CPUあるいはMPU)に格納されたコンピュータプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
前述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給してもよい。そのシステムあるいは装置のコンピュータ(CPUあるいはMPU)に格納されたコンピュータプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
また、この場合、前記ソフトウェアのプログラムコード自体が前述した実施形態の機能を実現することになる。また、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけでない。そのプログラムコードがコンピュータにおいて稼働しているオペレーティングシステムあるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれる。
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードに備わるCPUが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれる。
また、供給されたプログラムコードがコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいて機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれる。
また、供給されたプログラムコードがコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいて機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれる。
尚、前述した各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
1 画像処理装置
2 照明
3〜6、9 二次元光センサー
10 処理制御装置
100 画像コンテンツ
2 照明
3〜6、9 二次元光センサー
10 処理制御装置
100 画像コンテンツ
Claims (6)
- 周囲の少なくとも一部の方向を撮像する撮像手段を備える画像表示装置であって、
前記撮像手段によって撮像された画像に基づいて周囲からもたらされる光の照明条件を導出する導出手段と、
前記導出手段によって導出された光の照明条件に基づいて表示画像を生成して表示する表示手段とを有することを特徴とする画像表示装置。 - 前記照明条件は、前記周囲からもたらされる光の光源の方向に関わる情報を含むことを特徴とする請求項1に記載の画像表示装置。
- 前記導出手段は、前記照明条件を色毎に導出し、
前記表示手段は、前記色毎の照明条件に基づいて前記表示画像を生成して表示することを特徴とする請求項1に記載の画像表示装置。 - 前記撮像手段は複数あり、前記導出手段は、前記複数の撮像手段によってそれぞれ撮像された画像から、前記周囲からもたらされる光の光源の方向を導出することを特徴とする請求項1に記載の画像表示装置。
- 周囲の少なくとも一部の方向を撮像する撮像手段を備える画像表示装置の制御方法であって、
前記撮像手段によって撮像された画像に基づいて周囲からもたらされる光の照明条件を導出する導出工程と、
前記導出工程で導出された光の照明条件に基づいて表示画像を生成して表示する表示工程とを有することを特徴とする画像表示装置の制御方法。 - 周囲の少なくとも一部の方向を撮像する撮像手段を備える画像表示装置の制御方法をコンピュータに実行させるコンピュータプログラムであって、
前記撮像手段によって撮像された画像に基づいて周囲からもたらされる光の照明条件を導出する導出工程と、
前記導出工程で導出された光の照明条件に基づいて表示画像を生成して表示する表示工程とを備えたことを特徴とするコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007012808A JP2008180797A (ja) | 2007-01-23 | 2007-01-23 | 画像表示装置、画像表示装置の制御方法、及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007012808A JP2008180797A (ja) | 2007-01-23 | 2007-01-23 | 画像表示装置、画像表示装置の制御方法、及びコンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008180797A true JP2008180797A (ja) | 2008-08-07 |
Family
ID=39724763
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007012808A Pending JP2008180797A (ja) | 2007-01-23 | 2007-01-23 | 画像表示装置、画像表示装置の制御方法、及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008180797A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009112089A1 (en) * | 2008-03-12 | 2009-09-17 | Sony Ericsson Mobile Communications Ab | Three-dimensional user interface and a method for controlling it |
JP2010193295A (ja) * | 2009-02-19 | 2010-09-02 | Nippon Hoso Kyokai <Nhk> | コンテンツ提示システム及びコンテンツ提示プログラム |
JP2011188167A (ja) * | 2010-03-08 | 2011-09-22 | Seiko Epson Corp | 色補正システムおよび色補正方法 |
WO2017154046A1 (ja) * | 2016-03-10 | 2017-09-14 | パナソニックIpマネジメント株式会社 | 表示装置 |
EP3319076A1 (en) * | 2016-11-07 | 2018-05-09 | Samsung Electronics Co., Ltd. | Display device and displaying method |
KR20180068604A (ko) * | 2016-12-14 | 2018-06-22 | 삼성전자주식회사 | 디스플레이 장치 및 이의 제어 방법 |
CN110036365A (zh) * | 2016-12-14 | 2019-07-19 | 三星电子株式会社 | 显示装置及其控制方法 |
US10939083B2 (en) | 2018-08-30 | 2021-03-02 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004088757A (ja) * | 2002-07-05 | 2004-03-18 | Toshiba Corp | 3次元画像表示方法、及びその装置、光方向検出器、光方向検出方法 |
-
2007
- 2007-01-23 JP JP2007012808A patent/JP2008180797A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004088757A (ja) * | 2002-07-05 | 2004-03-18 | Toshiba Corp | 3次元画像表示方法、及びその装置、光方向検出器、光方向検出方法 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009112089A1 (en) * | 2008-03-12 | 2009-09-17 | Sony Ericsson Mobile Communications Ab | Three-dimensional user interface and a method for controlling it |
JP2010193295A (ja) * | 2009-02-19 | 2010-09-02 | Nippon Hoso Kyokai <Nhk> | コンテンツ提示システム及びコンテンツ提示プログラム |
JP2011188167A (ja) * | 2010-03-08 | 2011-09-22 | Seiko Epson Corp | 色補正システムおよび色補正方法 |
WO2017154046A1 (ja) * | 2016-03-10 | 2017-09-14 | パナソニックIpマネジメント株式会社 | 表示装置 |
JP2020513581A (ja) * | 2016-11-07 | 2020-05-14 | サムスン エレクトロニクス カンパニー リミテッド | ディスプレイ装置及びディスプレイ方法 |
EP3319076A1 (en) * | 2016-11-07 | 2018-05-09 | Samsung Electronics Co., Ltd. | Display device and displaying method |
CN108062933A (zh) * | 2016-11-07 | 2018-05-22 | 三星电子株式会社 | 显示设备和显示方法 |
US10685608B2 (en) | 2016-11-07 | 2020-06-16 | Samsung Electronics Co., Ltd. | Display device and displaying method |
US10395605B2 (en) | 2016-11-07 | 2019-08-27 | Samsung Electronics Co., Ltd. | Display device and displaying method |
KR20180068604A (ko) * | 2016-12-14 | 2018-06-22 | 삼성전자주식회사 | 디스플레이 장치 및 이의 제어 방법 |
JP2020513584A (ja) * | 2016-12-14 | 2020-05-14 | サムスン エレクトロニクス カンパニー リミテッド | ディスプレイ装置及びその制御方法 |
CN110036365A (zh) * | 2016-12-14 | 2019-07-19 | 三星电子株式会社 | 显示装置及其控制方法 |
KR102651417B1 (ko) | 2016-12-14 | 2024-03-27 | 삼성전자주식회사 | 디스플레이 장치 및 이의 제어 방법 |
US10939083B2 (en) | 2018-08-30 | 2021-03-02 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7395577B2 (ja) | 再投影フレームのモーションスムージング | |
JP2008180797A (ja) | 画像表示装置、画像表示装置の制御方法、及びコンピュータプログラム | |
JP5266954B2 (ja) | 投写型表示装置および表示方法 | |
US9953556B2 (en) | Color correction method for optical see-through displays | |
JP5266953B2 (ja) | 投写型表示装置および表示方法 | |
US9459820B2 (en) | Display processing apparatus, display processing method, and computer program product | |
CN108525298B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
US8139059B2 (en) | Object illumination in a virtual environment | |
JP7031697B2 (ja) | 情報処理装置および認識支援方法 | |
JP4910975B2 (ja) | 情報処理装置、指示システム及び制御プログラム | |
US10095940B2 (en) | Image processing apparatus, image processing method and non-transitory computer readable medium | |
JP2022000778A (ja) | 画像処理装置、その制御方法、プログラム | |
Zheng | Spatio-temporal registration in augmented reality | |
JP2020523957A (ja) | マルチ・ビュー・コンテンツを観察するユーザに情報を提示する方法及び機器 | |
JP4816928B2 (ja) | 画像生成用のプログラム及び当該プログラムを記録したコンピュータ読み取り可能な記録媒体、画像処理装置、画像処理方法 | |
JP2017059041A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6155547B2 (ja) | 投影装置、投影方法及びプログラム | |
US20200118258A1 (en) | Information processing device, information processing system, and image processing method | |
US20200244937A1 (en) | Image processing apparatus and method, and program | |
CN112819929B (zh) | 渲染水面方法及装置、电子设备、存储介质 | |
US11354821B2 (en) | Image processing method and apparatus | |
KR101488647B1 (ko) | 모바일 단말의 가상 조명 동작방법 및 장치 | |
US10902669B2 (en) | Method for estimating light for augmented reality and electronic device thereof | |
JP2010068059A (ja) | 映像データ生成プログラム | |
JP2017050689A (ja) | 画像投影装置および画像投影方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120515 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120516 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120918 |