JP2011076167A - 画像表示装置及び方法並びにプログラム - Google Patents

Abstract

【課題】鑑賞者に現実感のある自然な画像の提示を可能にする画像表示装置を提供すること。
【解決手段】装置の撮影部２２は、表示部２１を視認する鑑賞者１１が存在し得る場所の画像を撮影する。装置は、その撮影画像から鑑賞者１１の顔を検出する。装置は、検出された顔の顔位置と、光源１２の光源位置とをそれぞれ決定する。装置は、顔位置及び光源位置に基づいて、表示画像（時計のオブジェクト３１を含む画像）の中から反射領域６１を検出する。次に、装置は、反射領域６１に対して反射効果を付加する画像処理を、表示画像のデータに対して実行する。そして、装置は、当該画像処理後のデータが表わす表示画像を表示部２１に表示させる。
【選択図】図１

Description

本発明は、画像処理技術に関し、例えば、鑑賞者に現実感のある自然な画像を提示することができる画像表示装置及び方法並びにプログラムに関する。

従来より、画像に反射光と陰影を付加して三次元の効果を演出する画像処理が存在する（例えば、特許文献１参照）。

特開２００７−３２８４６０号公報

しかしながら、従来の画像処理では、画像に反射光と陰影を付加する際に、画像を鑑賞する鑑賞者の存在については何ら考慮されていなかった。このため、従来の画像処理で三次元の効果を演出した画像は、実際の環境とは無関係に表示される反射光又は陰影によって、鑑賞者にとって、違和感のある不自然な画像として視認される場合があった。

そこで、本発明は、上記課題に鑑みてなされたものであり、鑑賞者に現実感のある自然な画像を提示することを目的とする。

本発明の第１の観点によると、表示部に表示される表示画像を鑑賞する鑑賞者を撮影する撮影部と、前記撮影部により撮影された前記画像から、顔を検出する顔検出部と、前記顔検出部により検出された前記顔の位置を決定する顔位置決定部と、光源の位置を決定する光源位置決定部と、前記顔位置決定部により決定された前記顔の位置、及び、前記光源位置決定部により決定された前記光源の位置に基づいて、前記表示画像から、前記光源から入射した光が前記顔の方向に反射する反射領域を検出する反射領域検出部と、前記反射領域検出部により検出された前記反射領域に対して反射効果を付加する画像処理を、前記表示画像のデータに対して実行する反射効果処理部と、前記反射効果処理部により前記画像処理が実行された前記データに基づいて、前記表示画像を前記表示部に表示させる表示制御部と、を備える画像表示装置を提供する。

本発明の第２の観点によると、前記光源は仮想光源であり、前記光源位置決定部は、前記顔の位置に基づいて前記仮想光源の位置を決定する画像表示装置を提供する。

本発明の第３の観点によると、前記光源は実光源であり、前記撮影画像の輝度分布を測定する輝度測定部をさらに備え、前記光源位置決定部は、前記輝度測定部の測定結果に基づいて前記実光源の位置を決定する画像表示装置を提供する。

本発明の第４の観点によると、前記反射領域検出部は、さらに、前記表示画像から、陰影が存在する影領域を検出し、前記反射効果処理部は、さらに、前記反射領域検出部により検出された前記影領域に対して影効果を付加する画像処理を、前記表示画像の前記データに対して実行する画像表示装置を提供する。

本発明の第５の観点によると、前記顔位置決定部は、前記検出部により複数の顔が検出された場合、前記複数の顔の中から所定の１つを処理対象の顔として設定し、前記処理対象の顔の位置を決定する画像表示装置を提供する。

本発明の第６の観点によると、前記検出部により顔が検出されなかった場合、前記反射効果処理部は前記画像処理の実行を禁止する画像表示装置を提供する。

本発明の第７の観点によると、画像の撮影を制御して表示部に表示される表示画像を鑑賞する鑑賞者を撮影する撮影制御ステップと、前記撮影制御ステップの制御処理により撮影された前記画像から、顔を検出する顔検出ステップと、前記顔検出ステップの処理により検出された前記顔の位置を決定する顔位置決定ステップと、光源の位置を決定する光源位置決定ステップと、前記顔位置決定ステップの処理により決定された前記顔の位置、及び、前記光源位置決定ステップの処理により決定された前記光源の位置に基づいて、前記表示画像の中から、前記光源から入射した光が前記顔の方向に反射する反射領域を検出する反射領域検出ステップと、前記反射領域検出ステップの処理により検出された前記反射領域に対して反射効果を付加する画像処理を、前記表示画像のデータに対して実行する反射効果処理ステップと、前記反射効果処理ステップにより前記画像処理が実行された前記データに基づいて、前記表示画像を前記表示部に表示させる表示制御ステップと、を含む画像表示方法を提供する。

本発明の第８の観点によると、画像処理を制御するコンピュータに、画像の撮影を制御して表示部に表示される表示画像を鑑賞する鑑賞者を撮影する撮影制御ステップと、前記撮影制御ステップの制御処理により撮影された前記画像から、顔を検出する顔検出ステップと、前記顔検出ステップの処理により検出された前記顔の位置を決定する顔位置決定ステップと、光源の位置を決定する光源位置決定ステップと、前記顔位置決定ステップの処理により決定された前記顔の位置、及び、前記光源位置決定ステップの処理により決定された前記光源の位置に基づいて、前記表示画像の中から、前記光源から入射した光が前記顔の方向に反射する反射領域を検出する反射領域検出ステップと、前記反射領域検出ステップの処理により検出された前記反射領域に対して反射効果を付加する画像処理を、前記表示画像のデータに対して実行する反射効果処理ステップと、前記反射効果処理ステップにより前記画像処理が実行された前記データに基づいて、前記表示画像を前記表示部に表示させる表示制御ステップと、を含む制御処理を実行させるプログラムを提供する。

本発明によれば、鑑賞者に現実感のある自然な画像の提示を可能にすることができる。

本発明の一実施の形態に係る画像表示装置を構成するデジタルフォトフレームの外観構成を示す正面図である。 図１のデジタルフォトフレームの機能的構成を示す機能ブロック図である。 図１のデジタルフォトフレームの外観構成を示す正面図であって、光源が仮想光源である場合の例を説明する図である。 図１のデジタルフォトフレームの外観構成を示す上面図であって、光源顔角度算出部の処理の例を説明する図である。 図１のデジタルフォトフレームの外観構成を示す上面図であって、反射効果処理部の処理の例を説明する図である。 図１のデジタルフォトフレームのハードウェアの構成を示すブロック図である。 図１のデジタルフォトフレームにおける画像表示処理の流れの一例を示すフローチャートである。 本発明の変形態様に係る画像表示装置を構成するデジタルフォトフレームの外観構成を示す上面図である。 図８のデジタルフォトフレームが演出する反射効果と影効果を説明する図である。

以下、本発明の実施の形態を図面に基づいて説明する。

本発明の画像表示装置は、例えばデジタルフォトフレームやパーソナルコンピュータ等により構成することができる。以下、画像表示装置をデジタルフォトフレーム１として構成した場合について説明する。図１は、デジタルフォトフレーム１の外観構成例を示す正面図である。

デジタルフォトフレーム１の正面には、例えば、液晶ディスプレイ等で構成される表示部２１が設けられている。本実施の形態では、表示部２１に表示される画像（以下、「表示画像」と呼ぶ）は、時計のオブジェクト３１を含むものとする。したがって、デジタルフォトフレーム１の表示画像を観賞する鑑賞者１１は、表示部２１に表示される時計のオブジェクト３１を見ることによって、現在の時刻を知ることができる。

さらに、デジタルフォトフレーム１には、例えばデジタルカメラ等として構成される撮影部２２が設けられている。撮影部２２は、デジタルフォトフレーム１の正面（表示部２１の表示面）から前方に向かう方向に対して、画角の範囲内にある画像を撮影する。以下、撮影部２２により撮影された画像を、「撮影画像」と呼ぶ。換言すると、撮影部２２は、表示部２１を鑑賞する鑑賞者１１が存在し得る場所の画像を、撮影画像として撮影して、撮影画像の画像データを出力する。なお、本実施の形態では、図４を参照して後述するが、表示部２１の中央から表示画像を観賞する鑑賞者を撮影できるように、撮影部２２は表示部２１の後部に配置するものとして説明するが、その配置位置は特に限定されず、例えば表示部２１の表示範囲外に配置してもよい。

デジタルフォトフレーム１は、撮影部２２から出力された画像データに基づいて、撮影画像に含まれる鑑賞者１１の顔の検出を試みる。ここで、顔が検出された場合、デジタルフォトフレーム１は、顔の位置を特定する情報、例えば、撮影部２２を基準とする顔までの距離及び方向に関する情報を決定する。このようにして得られた顔の位置を特定する情報を以下、「顔位置」と呼ぶ。ここで、時計のオブジェクト３１を見るために鑑賞者１１の顔が存在し得る位置の範囲を予め予想しておき、撮影部２２は、この予想される範囲を十分に撮影できるように設計しておくことが好ましい。本実施の形態では、オブジェクトとして時計のオブジェクト３１を用いて説明するが、オブジェクトはこれに限定されない。

また、デジタルフォトフレーム１は、光源１２の位置を特定する情報、例えば、撮影部２２を基準とする光源１２までの距離及び方向に関する情報を決定する。このようにして得られた光源１２の位置を特定する情報を以下、「光源位置」と呼ぶ。本実施の形態では、光源１２として、実光源と仮想光源とを選択的に採用することができる。したがって、光源位置の決定手法は、実光源と仮想光源とで異なるが、それらの具体例については後述する。

次に、デジタルフォトフレーム１は、検出した顔位置及び光源位置に基づいて、表示画像の中から、光源１２から入射した光が鑑賞者１１の顔の方向に反射すると想定される領域（以下、「反射領域」と呼ぶ）を検出する。そして、デジタルフォトフレーム１は、例えば、反射領域の輝度を上げるなどして、反射領域において光があたかも反射しているように演出する効果（以下、「反射効果」と呼ぶ）を付加する画像処理を、表示画像の画像データに対して実行する。さらに、デジタルフォトフレーム１は、検出した顔位置及び光源位置に基づいて、表示画像の中の反射領域を除く領域から、鑑賞者１１に陰影として見えると想定される領域（以下、「影領域」と呼ぶ）を検出する。そして、デジタルフォトフレーム１は、例えば、影領域の輝度を下げるなどして、影領域には光が反射せずにあたかも陰影が存在しているように演出する効果（以下、「影効果」と呼ぶ）を付加する画像処理を、表示画像の画像データに対して実行する。

デジタルフォトフレーム１は、このような画像処理を実行して生成した画像データに基づいて、表示画像を表示部２１に表示する。こうして得られる表示画像は、実際の鑑賞者１１の環境に合わせて、反射領域には反射光（若しくは拡散光）が存在し、影領域には陰影が存在する画像となる。例えば図１の例では、時計のオブジェクト３１の長針３２の一部の領域６１が、反射領域として検出されて、反射光（若しくは拡散光）が表示されている。このように、デジタルフォトフレーム１は、鑑賞者１１にとって現実感のある自然な画像を、表示画像として表示部２１に表示させることができる。

図２は、デジタルフォトフレーム１の機能的構成例を示す機能ブロック図である。図２を参照して、本実施の形態のデジタルフォトフレーム１の機能的構成について説明する。

デジタルフォトフレーム１はより詳細には、上述した表示部２１及び撮影部２２に加えてさらに、データ記憶部５１と、顔検出部５２と、顔位置決定部５３と、輝度測定部５４と、光源位置決定部５５と、光源顔角度算出部５６と、反射領域検出部５７と、反射効果処理部５８と、表示制御部５９と、を備える。

データ記憶部５１は、表示画像の画像データや、該表示画像の三次元情報である三次元データ（以下、まとめて、表示画像のデータと呼ぶ）を記憶している。例えば本実施の形態では、図１の時計のオブジェクト３１を構成する長針３２等の各構成要素のデータも、データ記憶部５１に記憶されている。また、仮想光源の種類や位置等を特定可能なデータ（以下、仮想光源データと呼ぶ）も、データ記憶部５１に記憶されている。

顔検出部５２は、撮影部２２から出力された画像データに基づいて、撮影画像に含まれる人物の顔の検出を試みる。１以上の人物の顔が検出された場合、顔検出部５２の検出結果は、顔位置決定部５３に供給される。顔位置決定部５３は、顔検出部５２により検出された１以上の顔の中から所定の１つを、処理対象の顔として設定する。顔位置決定部５３は、こうして設定された処理対象の顔位置を決定する。図１の例では、一人の鑑賞者１１のみが存在することから、鑑賞者１１の顔が処理対象の顔となるので、顔位置決定部５３は、鑑賞者１１の顔位置を決定する。顔位置決定部５３により決定された顔位置は、光源位置決定部５５、光源顔角度算出部５６、及び反射領域検出部５７に供給される。

輝度測定部５４は、撮影部２２から出力された画像データに基づいて、撮影画像の輝度分布を測定する。輝度測定部５４が測定した輝度分布の情報は、撮影画像の画像データとともに、光源位置決定部５５に供給される。

光源位置決定部５５は、仮想光源を採用する場合は、仮想光源データをデータ記憶部５１から取得する。そして、光源位置決定部５５は、仮想光源データに基づいて、仮想光源の光源位置を決定する。

本実施の形態では、図１に示すように、表示部２１の中心に対して紙面に向かって左側に鑑賞者１１の顔が存在する場合、表示部２１の中心に対して紙面に向かって右側に仮想光源である光源１２が位置するように、光源位置が決定される。これに対して、図３に示すように、表示部２１の中心に対して紙面に向かって右側に鑑賞者１１の顔が存在する場合、表示部２１の中心に対して紙面に向かって左側に仮想光源である光源１２が位置するように、光源位置が決定される。鑑賞者１１にとって好適な反射効果や影効果を付加するためには、鑑賞者１１の顔位置に基づいて仮想光源の光源位置を決定することが好ましいと考えられる。なお、仮想光源の光源位置は、仮想光源データに基づく手法に限定されない。本発明によると、実装に応じて、光源位置を任意の位置及び方向に設定して画像処理することが可能である。

図２に戻り、光源位置決定部５５は、実光源を採用する場合、輝度測定部５４が測定した輝度分布の情報を取得する。光源位置決定部５５は、この輝度分布の情報に基づいて、撮影画像のうち一定以上の輝度を有する領域を、実光源として決定する。そして、光源位置決定部５５は、撮影画像の画像データに基づいて、決定した実光源の光源位置を決定する。

このようにして光源位置決定部５５により決定された光源位置は、光源顔角度算出部５６及び反射領域検出部５７に供給される。

光源顔角度算出部５６は、例えば図４に示すように、処理対象の顔（図４の例では鑑賞者１１の顔）と撮影部２２とを通る直線と、光源１２と撮影部２２とを通る直線とがなす角度θα（以下、「顔光源角度θα」と呼ぶ）を算出する。顔光源角度θαは、図２の顔位置決定部５３により決定された顔位置、光源位置決定部５５により決定された光源位置、及び、撮影部２２の画角に基づいて算出される。顔光源角度θαは、光源顔角度算出部５６から反射領域検出部５７に供給される。

反射領域検出部５７は、表示画像のデータをデータ記憶部５１から取得する。また、反射領域検出部５７は、顔光源角度θαを光源顔角度算出部５６から取得し、顔位置を顔位置決定部５３から取得し、光源位置を光源位置決定部５５から取得する。そして、反射領域検出部５７は、こうして取得した各種データに基づいて、表示画像における反射領域を検出する。

本実施の形態では、説明を容易にするため、時計のオブジェクト３１の表面は凹凸が無い平面であるものとし、時計のオブジェクト３１のうちの針にのみ反射効果が付加されるものとして説明する。この場合、例えば図５に示すように、反射領域検出部５７は、表示画像を構成する領域毎に、想定される光源１２からの光の入射角θinと、その光の反射角θout（＝入射角θin）を求める。そして、反射領域検出部５７は、例えば、表示画像の時計のオブジェクト３１の針を構成する領域の中で、顔光源角度θαが、反射角θoutの略２倍の角度（入射角θin＋反射角θoutとほぼ同一の角度）となる領域を、反射領域として検出する。図５の例では、時計のオブジェクト３１の長針３２の一部の領域６１が、反射領域として検出される。なお、反射領域の検出手法は、本実施の形態の手法に特に限定されず、例えば、表示画像の各領域の撮影部２２との距離毎に顔光源角度θαを補正するなど、実装に応じて好適な手法を採用してもよい。

図２に戻り、反射領域検出部５７は、さらに、表示画像の中から、検出された反射領域以外の所定の領域を影領域として検出する。反射領域検出部５７により検出された反射領域及び影領域を特定する情報が、反射領域検出部５７の検出結果として反射効果処理部５８に供給される。

反射効果処理部５８は、データ記憶部５１から表示画像のデータを取得する。反射効果処理部５８は、反射領域検出部５７の検出結果に基づいて、反射領域に対して反射効果を付加する画像処理を、かつ影領域に対して影効果を付加する画像処理を、表示画像のデータに対して実行する。反射効果や影効果が付加された表示画像のデータは、表示制御部５９に供給される。

表示制御部５９は、反射効果処理部５８から供給されたデータに基づいて、反射効果や影効果が付加された表示画像を表示部２１に表示させる。図１の例では、時計のオブジェクト３１の長針３２の一部の領域６１が、反射領域として、反射効果が付加されて表示される。その結果、鑑賞者１１は、時計のオブジェクト３１の長針３２の一部の領域６１において光が反射している様子を鑑賞することができる。また、図１には図示はしないが、例えば時計のオブジェクト３１の別の部分は影領域として、影効果が付加されて表示される。その結果、鑑賞者１１は、時計のオブジェクト３１の影領域においてあたかも陰影が存在している様子を鑑賞することができる。さらに、図示はしないが、時計のオブジェクト３１の長針３２は時間の経過とともに回転移動していくので、表示画像の長針３２構成する領域の中に、顔光源角度θαと、反射角θoutの略２倍の角度とが一致する領域が存在しなくなる時間帯がある。このような時間帯では、反射領域は検出されずに、長針３２は反射効果が付加されずに表示される。したがって、鑑賞者１１は、時間帯に応じて、長針３２が反射したり、反射しなかったりする様子を鑑賞することができる。さらに、図示はしないが、鑑賞者１１は、このような様子を短針や秒針についても鑑賞することができる。このようにして、鑑賞者１１にとって現実感のある自然な画像が、表示画像として表示部２１に表示される。

図６は、デジタルフォトフレーム１のハードウェアの構成例を示すブロック図である。

デジタルフォトフレーム１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、バス１０４と、入出力インターフェース１０５と、入力部１０６と、出力部１０７と、記憶部１０８と、通信部１０９と、ドライブ１１０と、上述した撮影部２２と、を備えている。

ＣＰＵ１０１は、ＲＯＭ１０２に記録されているプログラムに従って各種の処理を実行する。又は、ＣＰＵ１０１は、記憶部１０８からＲＡＭ１０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１０３にはまた、ＣＰＵ１０１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

例えば本実施の形態では、図２の顔検出部５２乃至表示制御部５９の各機能を実行するプログラムが、ＲＯＭ１０２や記憶部１０８に記憶されている。従って、ＣＰＵ１０１が、このプログラムに従った処理を実行することで、顔検出部５２乃至表示制御部５９の各機能を実現することができる。なお、以下、このプログラムに従った処理を、画像表示処理と呼ぶ。画像表示処理の一例については、図７のフローチャートを参照して後述する。

ＣＰＵ１０１、ＲＯＭ１０２、及びＲＡＭ１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インターフェース１０５も接続されている。

入出力インターフェース１０５には、入力部１０６、図２の表示部２１を含む出力部１０７、及び、ハードディスク等より構成される記憶部１０８が接続されている。記憶部１０８には、図２のデータ記憶部５１が含まれている。入出力インターフェース１０５にはまた、モデム、ターミナルアダプタ等より構成される通信部１０９や、図２の撮影部２２が接続されている。通信部１０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

入出力インターフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア１１１が適宜装着される。そして、それらから読み出されたプログラムが、必要に応じて記憶部１０８にインストールされる。また、リムーバブルメディア１１１は、図２の例ではデータ記憶部５１に記憶されている画像データや三次元データ等の各種データも記憶することができる。

図７は、図６のデジタルフォトフレーム１による画像表示処理の流れの一例を示すフローチャートである。

ステップＳ１において、ＣＰＵ１０１は、撮影部２２を制御して、表示部２１の前方を撮影する。具体的には例えば、図１の例では、鑑賞者１１と、光源１２が実光源の場合さらに光源１２を含む撮影画像が撮影される。

ステップＳ２において、ＣＰＵ１０１は、撮影部２２から出力された画像データに基づいて、撮影画像に含まれる人物の顔の検出を試みる。

ステップＳ３において、ＣＰＵ１０１は、１以上の顔が存在するか否かを判定する。

ステップＳ２の処理で１つの顔も検出されなかった場合、又は、ステップＳ２の処理で検出された顔の全てが一定距離以上離間していると判断される場合（例えば全ての顔の領域が一定面積以下である場合）、ステップＳ３の処理でＮＯであると判定される。その結果、後述するステップＳ４乃至Ｓ９の処理は実行されずに、すなわち、反射効果や影効果を付加する画像処理は実行されずに、処理はステップＳ１０に進む。ステップＳ１０において、ＣＰＵ１０１は、反射効果や影効果が付加されていない表示画像を表示部２１に表示させる。これにより、画像表示処理は終了となる。

これに対して、ステップＳ２の処理で、一定距離内に存在する１以上の顔が検出された場合（例えば１以上の顔の領域が一定面積よりも大きい場合）、ステップＳ３の処理でＹＥＳであると判定されて、処理はステップＳ４に進む。具体的には例えば、図１の例では、鑑賞者１１の顔が検出されるので、ステップＳ３の処理でＹＥＳであると判定されて、処理はステップＳ４に進む。

ステップＳ４において、ＣＰＵ１０１は、１以上の顔のうち１つを処理対象の顔に設定する。すなわち、複数の顔が検出された場合には、複数の顔の全てにとって適切な反射効果や影効果を付加することは非常に困難である。そこで、ＣＰＵ１０１は、複数の顔のうちの所定の１つを処理対象の顔に設定する。ＣＰＵ１０１は、こうして設定した処理対象の顔にとって適切な反射効果や影効果が付加されるように、ステップＳ５以降の処理を実行する。複数の顔の中から処理対象の顔を一つ選択する手法は、特に限定されず、例えば、顔検出部５２が画像の中央に検出した顔を処理対象の顔に選択する手法、あるいは、予め特徴を記憶してあるユーザの顔を処理対象の顔に選択する手法など、実装に応じて決定してよい。図１の例では、鑑賞者１１の顔が処理対象の顔に設定されたものとして説明を続ける。

ステップＳ５において、ＣＰＵ１０１は、処理対象の顔の顔位置を決定する。具体的には例えば、図１の例では、ステップＳ１の処理で撮影された撮影画像データに基づいて、鑑賞者１１の顔位置が決定される。

ステップＳ６において、ＣＰＵ１０１は、光源位置を決定する。なお、上述したように、本実施の形態では、仮想光源と実光源とを選択的に採用することができるが、何れを光源として選択するかによって、光源位置を決定する手法が異なることになる。具体的には例えば、図１の例では、光源１２の光源位置が決定される。

ステップＳ７において、ＣＰＵ１０１は、撮影部２２の画角並びに顔位置及び光源位置に基づいて、顔と光源の角度を算出する。具体的には例えば、図４に示すように、顔光源角度θαが算出される。

ステップＳ８において、ＣＰＵ１０１は、算出された角度に基づいて、表示画像における反射領域及び影領域を検出する。ここでは、表示画像の時計のオブジェクト３１の針を構成する領域毎に、想定される光源１２からの光の入射角θinと反射角θout（＝入射角θin）が求められる。そして、この時点で、表示画像の中で、顔光源角度θαが、反射角θoutの略２倍の角度（入射角θin＋反射角θoutとほぼ同一の角度）となる針の領域が、反射領域として検出される。図５の例では、時計のオブジェクト３１の長針３２の一部の領域６１が、反射領域として検出される。また、表示画像の中から、検出された反射領域以外の所定の領域が影領域として検出される。

ステップＳ９において、ＣＰＵ１０１は、反射領域に対する反射効果及び影領域に対する影効果を付加する画像処理を、表示画像のデータに対して実行する。

ステップＳ１０において、ＣＰＵ１０１は、ステップＳ９の画像処理が実行された画像データに基づいて、反射領域に対する反射効果及び影領域に対する影効果が付加された画像を、表示画像として表示部２１に表示させる。具体的には例えば、図１の例では、時計のオブジェクト３１の長針３２の一部の領域６１が、反射領域として、反射効果が付加されて表示される。また図示はしないが、例えば時計のオブジェクト３１の別の部分は影領域として、影効果が付加されて表示される。

これにより、画像表示処理が終了となる。

以上説明したように、本実施の形態の画像表示装置は、撮影画像から鑑賞者の顔を検出して、その顔の顔位置を決定する。また、本実施の形態の画像表示装置は、仮想光源又は実光源の光源位置を決定する。すると、本実施の形態の画像表示装置は、決定した顔位置及び光源位置に基づいて、表示画像における反射領域及び影領域を検出する。本実施の形態の画像表示装置は、こうして検出した反射領域には反射効果を付加しかつ影領域には影効果を付加する画像処理を、表示画像の画像データに対して実行する。これにより、本実施の形態の画像表示装置は、反射領域に対しては反射効果が付加されかつ影領域に対しては影効果が付加された画像を、表示画像として表示することができる。すなわち、本実施の形態の画像表示装置は、鑑賞者に現実感のある画像を表示することができる。

なお、本発明は本実施の形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

例えば、本実施の形態では、デジタルフォトフレーム１が表示する時計のオブジェクト３１の表面を凹凸の無い平面として説明したが、本発明はこれに限定されない。時計のオブジェクト３１は、実装に応じて様々な立体的形状を表す三次元オブジェクトから構成されてもよい。

例えば、図８に示すように、時計のオブジェクト３１の長針３２を、鑑賞者１１から見た表面に対して垂直に切った断面の形状が三角形となるような、三次元オブジェクトとして構成してもよい。換言すると、鑑賞者１１側から見た長針３２の表面は、中央の部分を境に傾斜した形状になっていてもよい。この場合、図２の反射領域検出部５７は、表示画像のうち長針３２を示す領域については、想定される光源１２からの光の入射角θinと反射角θout（＝入射角θin）を、長針３２の表面の傾斜角を考慮して求める。そして、反射領域検出部５７は、長針３２を示す領域の中に、例えば、顔光源角度θαが反射角θoutの略２倍の角度（入射角θin＋反射角θoutとほぼ同一の角度）となる領域がある場合、その領域を反射領域として検出する。このとき、顔光源角度θαは、長針３２の表面の傾斜角を考慮して補正されていてもよい。

図８の例では、時計のオブジェクト３１の長針３２の一斜面の領域７１が、反射領域として検出される。この場合、図９に示されるように、時計のオブジェクト３１の長針３２を示す領域のうち、中央の部分を境にして、鑑賞者１１側の斜面（図９中左側の斜面）の領域７１が反射領域として検出されたので、例えば、その反対側の斜面（図９中右側の斜面）の領域７２が影領域として検出される。この結果、図９に示されるように、長針３２の領域７１には反射効果が付加される。従って、鑑賞者１１は、領域７１からはあたかも光が反射している様子を鑑賞することができる。一方、長針３２の領域７２には影効果が付加される。従って、鑑賞者１１は、領域７２からはあたかも陰影が存在する様子を鑑賞することができる。このように、鑑賞者１１にとってより一段と現実感のある自然な画像が、表示画像として表示部２１に表示される。

例えば、本実施の形態では、時計のオブジェクト３１のうちの針にのみ反射効果又は影効果が付加されるものとして説明したが、本発明はこれに限定されない。例えば時計のオブジェクト３１全体に反射効果又は影効果が付加されるようにしてもよい。この場合、時計のオブジェクト３１を構成する領域のうち、顔光源角度θαが反射角θoutの略２倍の角度（入射角θin＋反射角θoutとほぼ同一の角度）となる領域を文字盤などの針以外の領域も含めて反射領域とする。影領域も反射領域に応じて決定することができる。また、針と、針以外の領域、例えば、文字盤とを視覚的に区別する場合は、例えば針と文字盤との各々の領域の反射率を変化させるなどして、画像表示装置が、反射率を考慮した反射効果を付加する画像処理を実行して、明るさを変化させたることも可能である。

なお、本実施の形態では、説明を容易にするため、演出効果を付加する表示画像として、時計のオブジェクト３１を含む画像を例に説明したが、当然ながら本発明はこれに限定されない。換言すると、演出効果を付加する表示画像に含まれるオブジェクトは、時計のオブジェクト３１に特に限定されず、二次元又は三次元を問わない様々なオブジェクトを採用することが可能である。

また、本実施の形態では、デジタルフォトフレーム１が光源１２として仮想光源と実光源とを選択的に用いることができるものとして説明したが、本発明はこれに限定されない。例えば、本発明は、仮想光源と実光源とのうちの何れか一方のみを固定して用いても適用可能である。これによって、例えば、仮想光源のみを用いる場合には、図２の輝度測定部５４を省略することができる。同様に、例えば、実光源のみを用いる場合には、図２の仮想光源データをデータ記憶部５１に記憶させておく必要は特に無くなる。

本実施の形態では、デジタルフォトフレーム１が、図９等を参照して説明したように、反射効果と影効果の両効果を付加する画像処理を実行することができるものとしたが、本発明はこれに限定されない。例えば、本発明は、反射効果と影効果のうちの何れか一方の効果のみを付加する画像処理に対しても適用可能である。或いはまた、本発明は、反射効果と影効果のうちの少なくとも一方の効果を付加する画像処理に加えて、さらに、他の任意の画像処理を組み合わせたものに対しても適用可能である。

また、本実施の形態では、デジタルフォトフレーム１が、図２の顔検出部５２乃至表示制御部５９は、ソフトウェアとハードウェア（ＣＰＵ１０１）の組み合せで構成するものとして説明したが、かかる構成は当然ながら例示に過ぎない。例えば、図２の顔検出部５２乃至表示制御部５９のそれぞれを、実装に応じて、専用のハードウェアで構成してもよいし、ソフトウェアで構成してもよい。

ところで、上述したように、本発明に係る一連の処理は、ハードウェアにより実行させることも、ソフトウェアにより実行させることもできる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムを、記録媒体から、或いは、ネットワークを介してコンピュータにインストールすることができる。コンピュータは、専用のハードウェアを組み込んだコンピュータであってもよいし、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータであってもよい。

本発明に係わる一連の処理を実行するための各種プログラムを含む記録媒体は、画像表示装置本体とは別に、ユーザにプログラムを提供するために配布されるリムーバブルメディアでもよく、或いは、画像表示装置本体に予め組み込まれた記録媒体等でもよい。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた記録媒体としては、例えば、プログラムが記録されている図６のＲＯＭ１０２や、図示せぬハードディスク等でもよい。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

１・・・画像表示装置、２１・・・表示部、２２・・・撮影部、５１・・・データ記憶部、５２・・・顔検出部、５３・・・顔位置決定部、５４・・・輝度測定部、５５・・・光源位置決定部、５６・・・光源顔角度算出部、５７・・・反射領域検出部、５８・・・反射効果処理部、５９・・・表示制御部、１０１・・・ＣＰＵ、１０２・・・ＲＡＭ、１０３・・・ＲＯＭ、１０７・・・表示部、１０８・・・記憶部、１１１・・・リムーバブルメディア

Claims (8)

1. 表示部に表示される表示画像を鑑賞する鑑賞者を撮影する撮影部と、
   前記撮影部により撮影された前記画像から、顔を検出する顔検出部と、
   前記顔検出部により検出された前記顔の位置を決定する顔位置決定部と、
   光源の位置を決定する光源位置決定部と、
   前記顔位置決定部により決定された前記顔の位置、及び、前記光源位置決定部により決定された前記光源の位置に基づいて、前記表示画像から、前記光源から入射した光が前記顔の方向に反射する反射領域を検出する反射領域検出部と、
   前記反射領域検出部により検出された前記反射領域に対して反射効果を付加する画像処理を、前記表示画像のデータに対して実行する反射効果処理部と、
   前記反射効果処理部により前記画像処理が実行された前記データに基づいて、前記表示画像を前記表示部に表示させる表示制御部と、
   を備える画像表示装置。
2. 前記光源は仮想光源であり、
   前記光源位置決定部は、前記顔の位置に基づいて前記仮想光源の位置を決定する、
   請求項１に記載の画像表示装置。
3. 前記光源は実光源であり、
   前記撮影画像の輝度分布を測定する輝度測定部をさらに備え、
   前記光源位置決定部は、前記輝度測定部の測定結果に基づいて前記実光源の位置を決定する、
   請求項１に記載の画像表示装置。
4. 前記反射領域検出部は、さらに、前記表示画像から、陰影が存在する影領域を検出し、
   前記反射効果処理部は、さらに、前記反射領域検出部により検出された前記影領域に対して影効果を付加する画像処理を、前記表示画像の前記データに対して実行する、
   請求項１乃至３の何れか１項に記載の画像表示装置。
5. 前記顔位置決定部は、前記検出部により複数の顔が検出された場合、前記複数の顔の中から所定の１つを処理対象の顔として設定し、前記処理対象の顔の位置を決定する、
   請求項１乃至４の何れか１項に記載の画像表示装置。
6. 前記検出部により顔が検出されなかった場合、前記反射効果処理部は前記画像処理の実行を禁止する、
   請求項１乃至４の何れか１項に記載の画像表示装置。
7. 画像の撮影を制御して表示部に表示される表示画像を鑑賞する鑑賞者を撮影する撮影制御ステップと、
   前記撮影制御ステップの制御処理により撮影された前記画像から、顔を検出する顔検出ステップと、
   前記顔検出ステップの処理により検出された前記顔の位置を決定する顔位置決定ステップと、
   光源の位置を決定する光源位置決定ステップと、
   前記顔位置決定ステップの処理により決定された前記顔の位置、及び、前記光源位置決定ステップの処理により決定された前記光源の位置に基づいて、前記表示画像の中から、前記光源から入射した光が前記顔の方向に反射する反射領域を検出する反射領域検出ステップと、
   前記反射領域検出ステップの処理により検出された前記反射領域に対して反射効果を付加する画像処理を、前記表示画像のデータに対して実行する反射効果処理ステップと、
   前記反射効果処理ステップにより前記画像処理が実行された前記データに基づいて、前記表示画像を前記表示部に表示させる表示制御ステップと、
   を含む画像表示方法。
8. 画像処理を制御するコンピュータに、
   画像の撮影を制御して表示部に表示される表示画像を鑑賞する鑑賞者を撮影する撮影制御ステップと、
   前記撮影制御ステップの制御処理により撮影された前記画像から、顔を検出する顔検出ステップと、
   前記顔検出ステップの処理により検出された前記顔の位置を決定する顔位置決定ステップと、
   光源の位置を決定する光源位置決定ステップと、
   前記顔位置決定ステップの処理により決定された前記顔の位置、及び、前記光源位置決定ステップの処理により決定された前記光源の位置に基づいて、前記表示画像の中から、前記光源から入射した光が前記顔の方向に反射する反射領域を検出する反射領域検出ステップと、
   前記反射領域検出ステップの処理により検出された前記反射領域に対して反射効果を付加する画像処理を、前記表示画像のデータに対して実行する反射効果処理ステップと、
   前記反射効果処理ステップにより前記画像処理が実行された前記データに基づいて、前記表示画像を前記表示部に表示させる表示制御ステップと、
   を含む制御処理を実行させるプログラム。

Images