JP2010044539A - 画像再生装置、画像再生方法、およびプログラム - Google Patents

Abstract

【課題】簡単な操作でテレビ等での鑑賞にも耐えられるような画像を再生できる画像再生装置、画像再生方法、およびプログラムを提供する。
【解決手段】デジタル画像から、所定以上の明るさで、かつ周辺に所定明るさ以上の部分がない複数の候補部の位置を抽出する候補抽出部４と、複数の候補部の位置から選択した位置を決定する移動制御部５ａと、決定された候補部の各位置において、その候補部の位置を中心に、その周囲の明るさを明るくする合成用画像を生成する周辺光量アップ部５ｂと、合成用画像を元のデジタル画像に合成する合成制御部７を備える。
【選択図】 図１

Description

本発明は、画像再生装置、画像再生方法、およびプログラムに関し、詳しくは、デジタルカメラやビデオカメラ等の撮影装置によって撮影した画像、特に明るさの変化の大きい画像を効果的に再生する画像再生装置、画像再生方法、およびプログラムに関する。

近年、デジタルカメラやビデオカメラ等によるデジタル画像の撮影や画像処理技術が向上し、デジタルカメラとビデオカメラの境界がなくなりつつあり、大量の画像を取り扱うことが容易になってきている。また、カメラは単に撮影するだけの機器であったが、画像信号がデジタル化されることにより、パーソナルコンピュータやテレビ等の多くの機器の間でデータの受け渡しが簡単になってきている。

このように、デジタルカメラやビデオカメラ等の撮影装置で取得した画像の再生環境は、多様化している。しかし、これまでの再生装置では、撮影した画像をそのまま再生するような場合が多く、プロが丁寧に撮影、編集した画像と比較すると、はなはだ見劣りするものが多かった。

そこで、静止画で撮影した画像に動的効果を加えることで見栄えのよい再生画像を得られるようにした画像処理装置が提案されている。例えば、特許文献１には、静止画に動的処理を施すにあたって、記憶を小容量で済むようにするために、静止画のファイルと動画を生成するための画像オブジェクトをそれぞれ別に記憶し、再生時に両者を合成することにより動画像を生成する画像処理装置が開示されている。
特開２００６−１３３８９７号公報

また、特許文献２には、写真立ての装飾としてエレクトロルミネッセンスシートを前面に配置し、エレクトロルミネッセンスランプを点灯または点滅させるようにした装飾品が開示されている。
特開２００２−１４００２５号公報

特許文献１に示されるように、静止画に動画の動きを付加し、楽しめる再生画像とすることは従来から、種々提案されている。しかし、このような編集作業は面倒であり、一般のユーザーにとって困難であった。また、明るさの変化の大きい静止画像において、変化部分の明かりを点滅させることにより、動的要素を加えることを考えた場合、特許文献２に開示の装飾品では、エレクトロルミネセンス等が点滅するが、写真全体をきらきらさせるだけであり、不自然である。

本発明は、このような事情を鑑みてなされたものであり、簡単な操作でテレビ等での鑑賞にも耐えられるような画像を再生できる画像再生装置、画像再生方法、およびプログラムを提供することを目的とする。

上記目的を達成するため第１の発明に係わる画像再生装置は、デジタル画像から、所定以上の明るさで、かつ周辺に上記所定明るさ以上の部分がない複数の光点面積拡大候補位置を判定する候補位置判定部と、上記複数の候補位置から選択した位置を決定する位置選択部と、上記選択位置を中心に、上記所定の明るさ以上の部分を形成する光点面積拡大制御部と、を具備する。

第２の発明に係わる画像再生装置は、上記第１の発明において、上記画像再生装置は、さらに所定時間をカウントするタイマー手段を有し、上記選択した位置に光点拡大制御を行った後であって、上記所定時間の経過後に、上記位置選択部が、別の上記候補位置から選択位置を決定して、上記光点面積拡大制御を行う。

第３の発明に係わる画像再生装置は、上記第２の発明において、上記画像再生装置は、さらに画像内の人物の顔パターンやコントラストを判定する画像特徴判定部を有し、上記所定時間は、上記選択位置と顔位置やコントラストの関係で、上記所定時間を決定する。
第４の発明に係わる画像再生装置は、上記第１の発明において、上記候補位置判定部は、さらに、判定された上記複数の光点面積拡大候補位置から、隣接する候補位置が所定の範囲内にあることを判定することによって、候補位置を絞り込む第２の候補判定部を有する。

第５の発明に係わる画像再生装置は、デジタル画像から、所定以上の明るさで、周辺に上記所定以上の明るさ部分がなく、かつ、上記所定以上の明るさ部の位置が隣接した、複数の光点面積拡大候補位置を判定する候補位置判定部と、上記選択位置を中心に、上記所定の明るさ以上の部分を形成する光点面積拡大制御部と、を具備する。

第６の発明に係わる画像再生装置は、撮影画像の画像中において所定輝度より明るい候補部を検出する候補検出部と、上記候補部の周囲を所定輝度よりも更に明るい合成用画像を生成する合成画像生成部と、上記合成画像と、元の撮影画像とを合成し、この画像を再生する再生表示部と、を具備する。

第７の発明に係わる画像再生装置は、上記第６の発明において、上記候補検出部は、上記所定輝度よりも明るく、かつその周囲の全てが所定輝度よりも明るくない場合に、上記候補部として検出する。
第８の発明に係わる画像再生装置は、上記第６の発明において、上記候補検出部は、所定範囲内に上記候補部が隣接している場合にのみ、候補部として最終決定する。
第９の発明に係わる画像再生装置は、上記第６の発明において、上記再生表示部は、上記撮影画像の特徴に応じて、上記合成画像を合成し再生表示する間隔を変更する。

第１０の発明に係わる画像再生方法は、撮影画像の画像中において所定輝度より明るい候補部を検出し、上記候補部の周囲を所定輝度よりも更に明るい合成用画像を生成し、上記合成画像と、元の撮影画像とを合成し、この画像を再生する。
第１１の発明に係わる画像再生方法は、上記第１０の発明において、上記候補部の検出にあたって、上記所定輝度よりも明るく、かつその周囲の全てが所定輝度よりも明るくない場合に、上記候補部として検出する。

第１２の発明に係わるプログラムは、撮影画像の画像中において所定輝度より明るい候補部を検出するステップと、上記候補部の周囲を所定輝度よりも更に明るい合成用画像を生成するステップと、上記合成画像と、元の撮影画像とを合成し、この画像を再生するステップと、コンピュータに実行させる。
第１３の発明に係わるプログラムは、上記第１２の発明において、上記候補部を検出するステップは、上記所定輝度よりも明るく、かつその周囲の全てが所定輝度よりも明るくない場合に、上記候補部として検出する。

本発明によれば、簡単な操作でテレビ等での再生にも耐えられるような画像を再生できる画像再生装置、画像再生方法、およびプログラムを提供することができる。

以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の第１実施形態に係わるカメラ１０はデジタルカメラであり、静止画を撮影し、画像データを記録媒体に記録する。また、再生にあたっては、静止画像の中で明るさが変化する部分を候補部として抽出し、この候補部を中心に光点拡大画像を生成し、撮影した元の静止画像に合成し、光点が流れるように移動する合成画像を再生表示することが可能である。これによって、従来通りの写真撮影になれたカメラユーザーが、これまで通りの簡単な操作で撮影でき、しかも、テレビ等の外部機器と接続し鑑賞する場合にも耐えられる内容の画像を得ることができる。

本実施形態に係わるカメラ１０の構成を説明するに先立って、本発明に係わる画像再生装置を搭載したカメラ１０における画像再生の考え方を、図２および図３を用いて説明する。

最近のデジタルカメラ等の撮影装置では、カメラ内蔵の液晶や有機ＥＬ等の表示部に、または、出力部を介して接続されたテレビやパーソナルコンピュータ等の外部表示装置に、撮影前や撮影後の画像を簡単に表示することができる。

また、最近のデジタルカメラ等の撮影装置では、動画撮影なども簡単に行うことができる。しかし、一般の人には他人に見せるほどの作品を動画で撮影することは困難である。それに対して、静止画は、撮影した瞬間を作品化するという効果があるので、撮影した時点で完成したものとなり、それ以上の手間が不要である。

しかし、図３に示すように、大画面テレビ等で画像を再生表示する場合には、全く何も変化しない画像では単調で飽きてしまうので、いくらか変化があった方がよい。例えば、図２に示すような激しい明るさの差異がある雄大な風景などの場合、雲３０にあたる太陽の光のきらめきなどは、光る部分が時間的に移動するように変化させてみるとよい。すなわち、雲３０の縁３１に沿ってきらめく光点部３２ａ、３２ｂ、３２ｃが移動するように再生表示すると、雄大な風景の雰囲気を醸し出すことができる。このような光の変化は、雲の動きや太陽の角度などは時々刻々、変化しているので、さっと一瞬光るように変化をつけることは、何度繰り返されても特に違和感がない。

本実施形態においては、図４（ａ）に示すような静止画を元に、雲３０の縁３１などの明るさが変化する明るさ変化部を検出し、この明るさ変化部から選択された候補部について光点拡大処理を行って、図２（ａ）→（ｂ）→（ｃ）と、順次、光点を点滅させることにより、光のきらめきが移動していく画像を再生するようにしている。

このように、静止画であってあまり大きな変化がない画像でありながら、テレビ２０等の画面に表示し続けても（図３参照）、明るさ変化部の中の候補部の周囲の明るさを明るく（光点）、この光点が移動するような画像を合成表示することにより、窓の外の風景がそのまま写っているような再生が可能となる。

このような考え方にしたがって、本実施形態における画像再生装置では、撮影時点で完成された静止画に対して、図２に示すように、光がきらめく変化を、不自然にならないように画像合成して表示する。なお、撮影と同時に、集音部で鳥のさえずり等の音声を記録しておき、再生表示の際に、繰り返し再生するようにしてもよい。

次に、上述した画像を再生表示できるカメラの構成について説明する。図１は、第１実施形態に係わるカメラ１０の電気的構成を示すブロック図である。カメラ１０は、制御部１、撮影部２、ストロボ２ａ、記録部３、圧縮保存部３ｂ、候補抽出部４、移動制御部５ａ、周辺光量アップ部５ｂ、集音部６、合成制御部７、出力部８、液晶表示部８ａ、操作部９を有している。

制御部１は、ＣＰＵ（Central Processing Unit）等によって構成され、このカメラ１０の各部と接続され、プログラムに従って全体制御を行う。撮影部２は、被写体像を結像するための光学系、被写体像を光電変換する撮像素子、撮像素子から出力される画像信号を処理する画像処理部等を含み、画像データを出力する。なお、この撮影部２は静止画、動画（連写も含む）の画像データを出力可能である。

集音部６は、マイク等によって音声を電気信号に変換し、音声信号を出力する。記録部３は、制御部１からの制御信号に応じて、撮影部２から出力される静止画、動画の画像データを記録する。また、画像データの記録に併せて、集音部６から出力される音声データの記録も行う。さらに、記録された画像データや音声データを制御信号に応じて出力する。

候補抽出部４は、記録部３に記録された静止画の画像データの中から強い光でコントラストがつけられた部分を、候補部として抽出する。本実施形態は、直射日光などで激しいコントラストがあり、眩しく光る部分を持った風景に対して、光のきらめきを付与することによって静止画に変化をつけた画像を再生するようにしている。このような風景画像に対して、候補抽出部４は、光の変化をつける部分を選択する。

候補抽出部４は、例えば、図２の例では、雲３０の縁３１の中から候補部を抽出する。すなわち、雲３０の縁３１は、雲の縁に沿った線分であり、候補抽出部４は、この縁３１の中の一部分を候補部として抽出する。なお、画像としては、風景画像に限らず、太陽に照らされた人物画像でも良く、この場合には、候補抽出部４は輝いた頬の部分を抽出し、後述するように、きらりと光るようなシーンを再生することができる。

周辺光量アップ部５ｂは、候補抽出部４によって抽出された候補部の周囲の明るさを高くする画像処理を行う。すなわち、周辺光量アップ部５ｂは、候補部の周囲がきらめいてさっと明るくなるような画像を合成用画像として生成する。さっと明るくなるような合成画像としては、光っている部分の面積を広げることによって、きらめきを表現するようにしている。この面積拡張は、候補部を円形に拡張したり、星型、十字型に拡張する等、種々の面積拡張が可能である。また、周辺光量アップ部５ｂは、さっと明るくなるように画像処理した後に、再び元の光量に戻るようにする。

移動制御部５ａは、周辺光量アップ部５ｂによって光量アップされた合成用画像を時間とともに移動させる。すなわち、図２（ａ）→（ｂ）→（ｃ）に示すように、きらめき３２ａ、３２ｂ、３２ｃがあたかも移動していくように見えるように、移動制御部５ａは、光量アップする部分を移動させる。

合成制御部７は、記録部３に記録されている元の静止画像に、周辺光量アップ部５ｂによって周辺光量がアップされ、移動制御部５ａによって時間とともに移動する合成用画像に、元の静止画を合成し、図２（ａ）〜（ｃ）に示すような画像を生成する。すなわち、周辺光量アップ部５ｂと移動制御部５ａによって、光量アップ部が時間と共に移動する合成用画像を順次、生成するので、合成制御部７は、これら順次生成された複数の合成用画像に元の静止画を合成する。

圧縮保存部３ｂは、記録部３で記録される画像データを圧縮保存し、また、合成制御部７において合成された画像データを圧縮し、これを保存する。

出力部８は、記録部３に記録された静止画、動画をテレビ等の外部表示装置に出力し、また液晶表示部８ａに出力する。また、合成制御部７において合成された画像も外部表示装置や液晶表示部８ａに出力する。外部表示装置としては、例えば、薄型のテレビ２０等であり、外部表示装置へは有線接続以外にも、赤外線や電波で出力してもよく、また無線ＬＡＮ等によって、特定のサーバーに送信するようにしてもよい。

液晶表示部８ａは、カメラ１０上に設けられており、記録部３の記録画像を再生表示し、撮影前に被写体像をライブビュー表示する。また、合成制御部７による合成画像を再生表示する。また、撮影前の撮影部２からの画像データを用いて、合成制御部７によって合成処理を行い、光点部が移動する画像を表示する。撮影前に合成処理を行った場合の画像を表示することにより、撮影を楽しむことができる。

操作部９は、レリーズ釦や、メニュー釦等の操作部材を含み、ユーザーが操作部９を操作すると、制御部１は操作に応じて各部に制御信号を出力する。ストロボ２ａは、被写体に対して照明光を照射する人工照明装置である。

次に図４を用いて、本実施形態における画像合成のプロセスについて説明する。図４（ａ）は、撮影した風景の一例を示している。この例示した風景では、雲３０の縁３１が太陽光によって明るく光っている。この図４（ａ）に示す画像を、Ｘ軸方向に沿う横線３５ａに沿って明るさの分布をとると、図４（ｂ）のようになる。図示されるように、雲３０の端３１の太陽光の反射が強い部分が特に明るく、この端３１に隣接する部分はそれほど明るくない。

本実施形態においては、この雲３０の端３１から候補部を選択し、この候補部の周囲が明るくなるような強調処理を行う。すなわち、図４（ｂ）で示すように、所定明るさＢよりも明るい部分より候補部を選択し、この候補部を含む範囲３３ａ（破線で挟まれる部分）について、図４（ｂ）中の矢印で示すように、周囲の雲３０の端３１の明るさよりも、もっと明るくなるようにする。このような処理を行うと、図４（ｃ）に示すように、局所的に明るくきらめく、光点３２ａのある画像となる。

また、図４（ｄ）に示すように、Ｘ軸に沿う横線３５ｂに沿って明るさ分布をとり、所定明るさＢよりも明るい部分より候補部を選択し、この候補部を含む範囲３３ｂ（破線で挟まれる部分）について、図４（ｅ）中の矢印で示すように、周囲の雲３０の端３１の明るさよりも、もっと明るくなるようにする。このような処理を行うと、図４（ｆ）に示すように、局所的に明るくきらめく光点３２ｂのある画像となる。

なお、候補部の周囲Ａを明るくするにあたって、図４（ｂ）（ｅ）に示すように、範囲３２ａ、３２ｂについて、一定の明るさとなるように画像処理を行っており、言い換えると、元の画像の明るさのピークに対し、更に明るい部分を生成し、その面積を増加させている。

このように、同じ画像でも、図４（ａ）および（ｄ）に示すように、明るさ分布の判定位置を変更することにより（横線３５ａ、３５ｂの切り換え）、所定の明るさＢ以上の部分が変化する。したがって、候補部の位置を順次変更していくことにより、光点３２ａ、３２ｂの位置が変化し、煌き感のある画像表現ができる。

なお、図４（ｃ）（ｆ）では、光点３２ａ、３２ｂは、候補部の周辺の丸い範囲で行ったが、これに限らず、例えば、図５に示すように、星型にしてもよく、また他の形状でもよい。強調部分の形状を変化させることにより、丸型とは異なった雰囲気できらめき感を与えることができる。このような強調部分の形状の変化は、周辺光量アップ部５ｂに強調部分のパターンのデータを記憶しておき、順次切り換えたり、またユーザーの選択に応じて切り換えるようにしても良い。

このような明るい部分の強調する光点強調表示を実行するための動作を、図６に示すフローチャートを用いて説明する。このフローは、制御部１が記録部３に記録された画像データを基にして、候補抽出部４や周辺光量アップ部５ｂや移動制御部５ａ等と連携して実行される。

光点強調のフローに入ると、まず、変数Ｙに０を設定する（Ｓ１）。続いて、この変数ＹにΔＹを加算し（Ｓ２）、この変数ＹがＹの限界値Ｙ１と等しいか否かの判定を行う（Ｓ３）。ステップＳ３における判定の結果、変数Ｙが限界値Ｙ１に達していなかった場合には、次に、変数Ｘに０を設定し（Ｓ４）、この変数ＸにΔＸを加算し（Ｓ６）、この変数ＸがＸの限界値Ｘ１と等しいか否かの判定を行う（Ｓ６）。

これらのステップＳ１〜Ｓ３は、図４（ａ）に示すＸ・Ｙ軸を設定した際、Ｙ軸に沿ってＹ軸の限界値Ｙ１まで、ΔＹ間隔で順次明るさ判定の領域を変更するステップである。また、ステップＳ４〜Ｓ６は、Ｘ座標を変えながら、Ｘ軸の限界値Ｘ１に達するまで、画面内の明るさ判定領域を変更するステップである。ここで、ΔＹおよびΔＸは、連続する画素ごとに明るさ判定を行うと、判定対象の画素が細かすぎ又多すぎることから、画面を５０分割程度に分割できる程度の画素間隔に設定する。

ステップＳ６における判定の結果、変数Ｘが限界値Ｘ１に達していなかった場合には、次に、座標（Ｘ，Ｙ）における明るさが、所定の明るさＢ１よりも明るいか否かの判定を行う（Ｓ７）。この判定の結果、明るくなかった場合には、ステップＳ５に戻り、Ｘ座標にΔＸを加算して、次の座標で明るさがＢ１より明るいか否かの判定を行う。

ステップＳ７における判定の結果、座標（Ｘ、Ｙ）における明るさがＢ１よりも明るかった場合には、周囲Ａ部の明るさの判定を行う（Ｓ１１）。ここで、周囲Ａ部は、図４（ｃ）（ｆ）の丸印や、図５の星印の領域に相当する。続いて、周囲Ａ部の領域内の全ての画素が明るさＢ１以上であるか否かの判定を行う（Ｓ１２）。この判定の結果、周囲Ａ部内の全ての画素の明るさがＢ１以上である場合には、ステップＳ５に戻る。

一方、ステップＳ１２における判定の結果、全ての画素が明るさＢ１以上でなかった場合には、候補部として、その座標（Ｘ、Ｙ）を抽出し記録する(Ｓ１３)。これらの抽出作業は、候補抽出部４によって行われる。ここで、明るさがＢ１以上であった場合にはステップＳ５に戻るのは、周囲Ａ部の内部の全て画素が明るい場合には、丸印や星印の部分を明るくしても、目立つことがないことから、候補部から外している。一方、一部でも暗い場合には、丸印や星印の部分を明るくすることにより、目立ち、きらめきを表現することができるからである。

ステップＳ１２においてＹで抜けるか、またはＳ１３において座標（Ｘ、Ｙ）を記録すると、ステップＳ５に戻り、Ｘ座標が限界値Ｘ１に達するまで、横方向にΔＸ間隔で、明るさ判定を実行する。これらの一連の処理を実行することにより、Ｘ軸に沿った１つのライン上で判定が終了し、明るさがＢ１以上明るいけれども、その周囲がＢ１より暗い部分(候補部)の全ての座標（Ｘ，Ｙ）が記録される。

ステップＳ６において、Ｘ座標が限界値Ｘ１に達すると、ステップＳ２に進み、変数ＹにΔＹを加算したＹ座標で、Ｘ座標を変化させながら所定の明るさＢ１より明るく、かつその周囲がＢ１より暗い部分（候補部）を検出し、その座標（Ｘ，Ｙ）を記録する。

Ｙ軸方向に沿って、上述の明るさ判定が隅から隅まで終わると、ステップＳ３における判定において、変数Ｙが限界値Ｙ１になる。これらの一連の処理を実行することにより、全画面での判定が終了し、明るさがＢ１以上明るいけれども、その周囲がＢ１より暗い部分(候補部)の全ての座標（Ｘ，Ｙ）が記録される。

変数Ｙが限界値Ｙ１になると、次に、候補数が５より小さいか否かの判定を行う（Ｓ１５）。このステップでは、ステップＳ１３において記録された候補部の数が所定数（ここでは「５」）より小さいか否かを判定する。なお、この所定数は５に限られず、適宜、光点強調表示を行うにあたって、効果を生ずる程度の数とすれば良い。

ステップＳ１５における判定の結果、候補数が５より少なかった場合には、判定のエリアを拡大する（Ｓ１６）。すなわち、候補部の数が少ないと強調表示の効果が分かりにくいので、ステップＳ１１において行う周囲Ａ部の範囲を広げる。周囲Ａ部の範囲を広げることにより、ステップＳ１２において全てＢ１以上と判定される可能性が高まり、候補部の数が増えるからである。なお、候補部の数が多すぎる場合には、逆に、強調表示される部分が多すぎ、煩わしい画像となる可能性がある。そこで、その場合には、一定の法則に従って候補部の数を間引いたり、エリアＡの範囲を狭くするようにしても良い。

ステップＳ１５における判定の結果、候補部の数が５より少なくなかった場合には、すなわち５以上あった場合には、次に、この候補部とその周囲Ａ部の範囲内で、煌き効果を生ずるための画像処理を行う。まず、煌き効果を状況によって切り換えるために、画像の中に顔があるか否かの判定を行う（Ｓ２１）。

ステップＳ２１における判定の結果、画像中に顔が含まれていた場合には、所定時間をｔ１０とし（Ｓ２２）、一方、画像中に顔が含まれていなかった場合には、所定時間をｔ２０とする（Ｓ２３）。この所定時間は、候補部の明るさを変化させてから次に明るさを変化させるまでの時間である。

本実施形態においては、図７（ａ）に示すように顔の部分の明るさを変化させきらめかせるのは、目立たないように素早く（ｔ１０）、明るさの切り換えを行う。一方、図７（ｂ）に示すように顔以外の部分では、ゆっくり（ｔ２０）、変化させるようにしている。なお、本実施形態では、候補部の座標（Ｘ、Ｙ）におけるポイントが顔画像であるか否かで判定しているが、画像のコントラストを反映するようにしても良い。

所定時間の設定を行うと、次に、記録された座標（Ｘ、Ｙ）を中心に、その周囲Ａ部の明るさをアップさせた画像を生成し表示する（Ｓ２４）。明るさをアップしてから、ステップＳ２２、Ｓ２３において設定された所定時間が経過すると、明るくした部分を元の明るさに戻す（Ｓ２５）。続いて、光点強調表示を終了するか否かの判定を行う（Ｓ２６）。操作部９には、光点強調表示を開始させ、また終了させるための操作部材が設けてあり、ステップＳ２６では、この操作部材の操作状態を判定する。また、終了は、レリーズ釦の操作によっても実行され、この場合には、終了時点での光点強調画像が撮影されるようにしても良い。

ステップＳ２６における判定の結果、終了であった場合には、後述するカメラ制御のフローにリターンする。一方、終了でなかった場合には、ステップＳ１３において記録された別の候補部の座標（Ｘ、Ｙ）を選択する（Ｓ２７）。別の候補部の座標を選択すると、ステップＳ２１に戻り、前述の動作を実行する。

このように光点強調表示のフローにおいては、ステップＳ１〜Ｓ１３において、所定の明るさＢ１より明るく、かつその周囲Ａ部の明るさの全てがＢ１より明るくない候補部（座標（Ｘ、Ｙ））を検出し、これを記録している。続いて、この記録された候補部について、順次、その周囲Ａ部も含めて明るさをアップし、所定時間後に元の明るさに戻している。この動作を繰り返すことにより、図２や図７に示すように、静止画を基調にしながら、動画的な効果を奏する画像表現が可能となる。

なお、候補部の周囲Ａ部も含めて明るくしているが、この周囲Ａ部は、予め煩わしくなく、しかし、表示の際に見える大きさとして、全画面の１／３０程度の大きさに相当する円形部をデフォルト値として設定しておく。但し、この形状はユーザーの選択操作によって、同じ大きさ相当の星型やひし形等の他の形状としてもよく、また、大きさも１／３０に限らず、適宜変更可能としても良い。また、画像部分の特徴に応じて、大きさや色等を変更するようにしても良い。光点強調を行う候補部やその周囲が決定された後は、合成制御部７によって制御されるが、ステップＳ２１〜Ｓ２３における所定時間の決定は、制御部１によって行っても良い。

次に、画像合成を実行する合成制御部７の具体的な構成について図９を用いて説明する。合成制御部７は、ゲイン付与部７ａ、乗算器７ｂ、７ｃ、および加算器７ｄから構成される。

すなわち、乗算器７ｂは記録部３の出力とゲイン付与部７ａの出力に接続され、これらの乗算結果を加算器７ｄに出力するように接続される。乗算器７ｃはゲイン付与部７ａの出力と光量アップ部５ｂの出力に接続され、乗算結果を加算器７に出力するように接続される。ゲイン付与部７ａは、光量アップ部５ｂの出力に接続され、また制御部１からの合成タイミング信号を入力する。光量アップ部５ｂの出力に基づいてゲインを生成し、このゲインを乗算器７ｂ、７ｃに出力するように接続される。加算器７ｄは乗算器７ｂ、７ｃからの各出力を入力するように接続され、これらの加算結果を出力部８に出力するように接続される。

記録部３から読み出された静止画像データは、加算器７ｂと候補抽出部５に出力される。候補抽出部４で抽出された候補部の座標情報は、周辺光量アップ部５と移動制御部５ａに出力される。周辺光量アップ部５ｂは、候補抽出部４から候補部の位置情報と移動制御部５ａから移動情報を入力し、周辺光量がアップした画像を生成して、ゲイン付与部７ａと乗算器７ｃに出力する。

次に、このように構成された合成制御部７の動作を説明する。まず、候補抽出部４は、記録部３から画像データを入力し、光量アップ効果のある候補部を抽出する。この抽出された候補部に基づいて周辺光量をアップした画像と、元の静止画像を、画素ごとに加算器７ｄにおいて加算する。この際、元の静止画像における光量アップ部分に相当する画素については、ゲイン０で乗算器７ｂにおいて乗算し、合成する光量アップ画像はゲイン１で乗算器７ｃにおいて乗算した上で、加算する。

この画像合成は合成タイミング信号によって制御され、開始後、所定時間が経過すると終了し、このとき、光量アップ画像のゲインは０とし、元の静止画像３８のゲインは１となるようにする。したがって、合成タイミング信号に従って、ゲイン付与部７ａはゲインを０と１の間で変化させる。このゲインの変化としては、図８（ａ）（ｂ）のように、合成用ゲイン３７をＴ１からＴ２までの期間は大きくして光点を強調し、Ｔ２からＴ３までの期間は０に戻すようにして表示画像を元の画像に戻している。

このゲインの変化は種々、変形例があるが、例えば、図８（ａ）に示すように、徐々に明るくなるパターンや、図８（ｂ）に示すように、さっと明るくなるパターンを選択できるようにしても良い。この場合、顔画像なら図８（ｂ）に示すパターン、その他なら図８（ａ）のパターンを自動的に選択するようにしても良い。ここで示したゲイン変化のパターンは、１箇所の候補部における光の変化のタイミングチャートであるが、表示中の候補部の座標から次の候補部の座標に移る際の時間は、前述した所定時間ｔ１０、ｔ２０に基づいて切り換えを行う。

この変化タイミングは選択できるようにしても良いし、ランダムに切り換えるようにしても良い。また、画像に応じて切り替えても良い。たとえば、コントラストが高い部分は速く、コントラストが低い部分は遅くなるようにしても良い。画像の雰囲気に相応しい表示が可能となる。

ここで、コントラストの求め方としては、図４（ｂ）（ｅ）に示す図において、明るさの所定明るさＢ１からピークまでの高さ等を利用して判定したり、このピーク部の傾き等に基づいて判定しもて良い。また、ステップＳ２１（図６）において、コントラストを加味して所定時間を変更しても良い。コントラストが高い場合には、光点の面積を更に拡大すれば更に効果的となる。さらに、画像の色調に応じて、例えば、青味を帯びていたり、白や灰色を帯びていている場合には、画面上方に雲があると判定して、光点の拡大にあたって、大きさやタイミング等の変更するようにしても良い。

次に、このような再生表示を可能としたカメラのカメラ制御の動作を、図１０に示すフローチャートを用いて説明する。

カメラ制御のフローに入ると、まず、撮影モードか否かの判定を行う（Ｓ１０１）。このカメラ１０は、撮影モードか再生モードの２つのモードが設定可能である。ステップＳ１０１の判定の結果、撮影モードであった場合には、撮影の準備に移る。なお、本実施形態においては、撮影準備時におけるライブビュー表示の際に光点強調による表示を可能としている。

撮影準備に移ると、まず、画像の取り込みを行う（Ｓ１０２）。このステップでは、撮影部２によって画像データを取り込み、この画像データに基づいて、液晶表示部８ａにライブビュー表示を行う。また、取り込まれた画像データを用いて顔の部分が存在するか否か、また存在する場合には画面中のどの位置にあるかについて検出する。ここで検出した顔に関する情報は撮影時に併せて記録するようにしても良い。記録しておけば、再生時に光点強調表示する際に、顔の位置の判定を不要とすることができる。

続いて、光点強調表示を行うか否かの判定を行う（Ｓ１０３）。このステップでは、操作部９内の光点強調操作部材を操作されたか否かの判定を行う。この判定の結果、光点強調でなかった場合には、取り込んだ画像データに基づいて通常のライブビュー表示を行う（Ｓ１０４）。一方、ステップＳ１０３における判定の結果、光点強調表示の操作がなされた場合には、光点強調表示を行う（Ｓ１０５）。

この光点強調表示は、図６を用いて説明したフローチャートを実行する。光点強調表示のフローを実行することにより、図７に示すように、きらめきのある画像が表示され、撮影が楽しくなる。また、撮影前に光点強調表示の効果がある画像か否かを、直接見ながら確認することができる。

画像表示または光点強調表示を行うと、次に、レリーズ操作がなされたか否かの判定を行う（Ｓ１０６）。このステップでは、操作部９内のレリーズ釦が操作されたか否かを判定する。

ステップＳ２における判定の結果、レリーズでなかった場合には、ステップＳ１０１に戻り、前述の動作を行う。一方、判定の結果、レリーズされた場合には、撮影と記録を開始する（Ｓ１０７）。ここで、撮影は、撮影部２によってなされる静止画撮影や、動画撮影である。レリーズ釦が操作されたままである場合には、動画撮影であると判定しても良く、また、動画や静止画の撮影にあたって、集音部６によって音声を記録するようにしても良い。画像の再生時に、音声も併せて再生することが可能となる。撮影・記録が終わると、このフローを終了し、再び、ステップＳ１０１に戻る。

ステップＳ１０１における判定の結果、撮影モードでなかった場合には、再生モードが否かの判定を行う（Ｓ１１１）。この判定の結果、再生モードでない場合には、ステップＳ１０１に戻る。一方、判定の結果、再生モードであった場合には、画像選択を行う（Ｓ１１２）。このステップでは、例えば、サムネイル表示を行い、ユーザーによって選択された画像を再生候補とする。

続いて、ステップＳ１０３と同様、光点強調表示を行うか否かの判定を行う（Ｓ１１３）。この判定の結果、光点強調表示でなかった場合には、ステップＳ１１２で選択された画像の通常再生を行う。この場合、選択画像が動画の場合には、撮影された連続画像をそのまま動画として再生し、選択画像が静止画の場合には、静止画のまま再生表示を行う。

また、ステップＳ１１３における判定の結果、光点強調表示が選択された場合には、図６を用いて説明した光点強調表示のフローを実行する。これによって、前述したように、明るさが所定以上明るく、かつ周辺に所定以上の明るさの部分がない候補部について、順次、明るくなるように画像の合成処理を行うことにより、光のきらめきが移動していく動画風の画像を再生表示することができる。光点強調表示または通常表示を行うと、終了し、再び、ステップＳ１０１から実行する。

以上、説明したように、本発明の第１実施形態においては、雲の縁が太陽光で輝いているように、周囲から際立って明るくなっている部分を候補部として抽出し、この抽出された候補部を所定の明るさ以上に明るくし、再び、元の明るさに戻している。複数の候補部について、順次、この明るさ変更の画像処理を施すことにより、光のきらめきが、順次、移動していく。このため、単なる静止画とは異なり、動画風の再生となり変化に富んだ画像となる。画像が変化することから、あたかも窓の外の風景が広がっているように見える。

次に、本発明の第２実施形態について、図１１ないし図１３を用いて説明する。第１実施形態においては、候補部はランダムに選択されており、言い換えると、必ずしも連続線に沿って候補部が選択されるとは限らなかった。これに対して、第２実施形態においては、帯状に連続する明るい部分であるかどうかを判定し、連続的に存在する候補部を選択することにより、帯状に明るい部分に、光点を付加していく光点強調表示を行うようにしている。

本発明の第２実施形態における構成は、第１実施形態における図６において示した光点強調表示のフローチャートを図１３に示すフローチャートに置き換える以外は、第１実施形態と同様であるので、相違点を中心に説明する。

まず、第２実施形態における候補部の選択について、図１１および図１２を用いて説明する。図１１（ａ）に示すような雲３０の縁３１の煌きが印象的な画像においては、この縁３１の部分を強調したきらめき効果を奏させると、さらに印象が強まる。

図１１（ａ）に示すように、Ｘ軸Ｙ軸をとり、Ｙ軸に沿う横線３６ａ〜３６ｃに沿って明るさ分布をとると、図１１（ｂ）〜（ｄ）に示すようになる。第１実施形態と同様に、明るさＢより明るい部分を取り出し、その部分の中心の位置３９ａ〜３９ｄをＸＹ座標軸上にプロットすると、図１２に示すようになる。

ここで、位置３９ａ〜３９ｃは所定幅ｘ２の範囲内に連続的に並んでいることが分かる。すなわち、位置３９ａ〜３９ｃは連続した帯状の明るさ部と判断することができる。一方、位置３９ｄは所定幅ｘ２内に他の明るい部分の中心点は存在しておらず、帯状の明るさ部とは判断されない。本実施形態においては、図１１（ａ）における位置３９ｄの明るい部分（図１１（ｄ）の右側のピークに相当する）は、複数のポイントが所定の幅ｘ２内に並んではいないので、このようなポイントは候補部として選択しないし、光点として合成用画像を生成しない。

次に、本実施形態を実行するための光点強調表示のフローを、図１３を用いて説明する。本実施形態における光点強調表示のフローに入ると、第１実施形態と同様に、ステップＳ１〜Ｓ７までは、Ｘ軸およびＹ軸方向にそれぞれ判定領域を移動させる。ステップＳ７において、座標（Ｘ，Ｙ）における明るさが、明るさＢ１よりも明るいと判定された場合には、座標（Ｘ，Ｙ）の左右の明るさの判定を行う（Ｓ１１Ａ）。

なお、第１実施形態においては、周囲Ａの明るさ判定を行っていたが、第２実施形態においては、簡単化するために周囲Ａの範囲内に入る左右の明るさのみを判定している。勿論、第１実施形態と同様、左右に限らず、周囲の明るさを判定するようにしても良い。この場合には、次のステップでは、周囲Ａ全体がＢ１より暗いかを判定する。

ステップＳ１１Ａにおける明るさ判定を基にして、次に、左右の両方の明るさがＢ１以下であるか否かの判定を行う（Ｓ１２Ａ）。なお、ここでの左右の明るさとしては、直ぐ隣の画素に限らず、周囲Ａ内の画素の明るさを判定する。このステップＳ１２Ａにおける判定の結果、周囲Ａ内に含まれる左右両方の明るさがＢ１以下でなかった場合には、ステップＳ５に戻る。

一方、ステップＳ１２Ａにおける判定の結果、両方の明るさがＢ１以下であった場合には、座標（Ｘ，Ｙ）を仮記録する（Ｓ１７）。仮記録すると、次に、座標Ｘが前回仮記録されたＸ±Ｘ２の範囲か否かを判定する（Ｓ１８）。図１２において説明したように、帯状の範囲内にあるか否かの判定である。ここで、Ｘ２は誤差も考慮して、例えば、ΔＸやΔＹの数倍くらいの値とする。この判定の結果、範囲内になかった場合には、ステップＳ５に戻る。

一方、ステップＳ１８における判定の結果、所定の範囲内にあった場合には、候補部として座標（Ｘ，Ｙ）を最終的に記録する（Ｓ１９）。記録を行うと、再びステップＳ５に戻る。ステップＳ２〜Ｓ１９を繰り返し実行することにより、画面内において、帯状に明るい部分の中に存在する候補部の座標を記録することができる。

ステップＳ３における判定の結果、Ｙが限界値Ｙ１に達すると、全画面内での判定が終了したので、次に、光点の生成を行う。本実施形態においては、画面の上から下に（図１１のＹ軸方向）に、光が流れるような演出すべく、ステップＳ３１以下において、Ｙのデータが若い順に候補部を光点強調していく。

まず、Ｙの若い順に、記録された座標（Ｘ、Ｙ）の読出しを行う（Ｓ３１）。ここでは、ステップＳ１９において記録された座標の読出しを行う。続いて、読み出した座標（Ｘ、Ｙ）部を中心に周辺Ａ部の明るさをアップした画像を生成し表示する（Ｓ３２）。周辺Ａ部は第１実施形態と同様に円形部でよいが、その他、星型等の形状でも良い。

続いて、光点強調表示を終了するか否かの判定を行う（Ｓ３３）。操作部９には、光点強調表示を開始させ、また終了させるための操作部材が設けてあり、ステップＳ３３では、この操作部材の操作状態を判定する。

ステップＳ３３における判定の結果、終了であった場合には、カメラ制御のフローにリターンする。一方、終了でなかった場合には、所定時間、経過するのを待つ（Ｓ３４）。所定時間経過すると、ステップＳ３１に戻り、次の座標（Ｘ、Ｙ）の読出しを行い、光点の表示を行う。第２実施形態においては、特に、顔の有無やコントラストについて判定していなかったが、第１実施形態と同様に顔の有無やコントラストを判定し、ステップＳ３４における所定時間を切り換えるようにしても勿論かまわない。

このように、本発明の第２実施形態においては、候補部が帯状の範囲内に有るか否かを判定し（Ｓ１８）、帯状の範囲内に入っている場合のみ、最終的に候補部として記録している。このため、光点が流れるような再生を行うことができる。

以上説明したように、本発明の各実施形態においては、撮影画像の画像中において所定輝度Ｂ１より明るい候補部を検出し、候補部の周囲Ａを所定輝度よりも更に明るい合成用画像を生成し、この合成画像と、元の撮影画像とを合成し、この画像を再生するようにしている。このため、簡単な操作でテレビ等での再生にも耐えられるような画像を再生することができる。すなわち、簡単な構成で、撮影した瞬間に完成される静止画像に、光のきらめき効果を付加することにより、撮影画像は静止画でありながら、より変化をつけた画像を再生表示することができる。

なお、本発明の各実施形態においては、所定以上の明るさの中から候補部を選択していたが、単に画像の明るさが飽和している部分を検出しこれを候補部として選択して画像処理を行うようにしても良い。また、明るさの判定にあたっては、実際の明るさに限らず、カメラの絞りなどを考慮し撮像素子に入った光の強さや、露出時間や撮像素子の感度を考慮した明るさ等、種々の明るさを用いても良いことは勿論である。

さらに、本発明の各実施形態において、候補部の選択にあたっては、第１所定以上の明るさで、かつ範囲Ａ内の明るさの全てが第２所定以上の明るさでないとし、この第１及び第２の所定の明るさは共に同じ明るさとしていた。しかし、第１および第２の所定の明るさを異ならせても勿論かまわない。

さらに、本発明の各実施形態において、候補部の選択にあたっては、所定以上の明るさで、かつ範囲Ａ内の明るさの全ての明るさを判定していたが、範囲Ａ内の明るさを考慮しないようにしても良い。この場合には、光点を生成しても目立たないおそれがあるが、光点を充分明るくすることにより、ある程度は目立たせることができる。

さらに、本発明の各実施形態においては、カメラ１０が撮影を行い、このカメラ１０を外部のテレビ２０等に接続し、これを画像再生装置として利用していたが、これに限らず、例えば、カメラ１０で撮影した画像データをパーソナルコンピュータ等にインストールし、この画像データに基づいて、画像を合成したものを、パーソナルコンピュータの表示部や、また外部のテレビ等の表示装置で再生表示するようにしても良い。

さらに、本発明の各実施形態においては、再生のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、また、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも構わない。いずれにしても、静止画の画像を再生可能な機器であれば良い。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１実施形態に係わるカメラの電気回路を示すブロック図である。 本発明の第１実施形態に係るカメラにおいて、画像を合成処理して再生表示する様子を示す図である。 本発明の第１実施形態に係わるカメラから画像をテレビに出力し、鑑賞している様子を示す図である。 本発明の第１実施形態に係わるカメラで撮影した画像の合成処理を示し、（ａ）は撮影画像を示す図であり、（ｂ）は横線３５ａに沿って明るさ分布を示す図であり、（ｃ）は合成処理された再生画像を示す図であり、（ｄ）は撮影画像を示す図であり、（ｅ）は横線３５ｂに沿って明るさ分布を示す図であり、（ｆ）は合成処理された再生画像を示す図である。 本発明の第１実施形態におけるカメラで撮影した画像を元に生成した合成用画像の他の例を示す。 本発明の第１実施形態におけるカメラにおける光点強調表示の動作を示すフローチャートである。 本発明の第１実施形態におけるカメラで撮影した画像に元に生成した合成画像であり、（ａ）は顔に光点を表示する場合を示し、（ｂ）は顔以外の場所で光点を表示する場合を示す。 本発明の第１実施形態におけるカメラにおける合成制御部のゲインの特性図であり、（ａ）と（ｂ）はそれぞれ異なるゲイン特性を有する場合である。 本発明の第１実施形態におけるカメラの合成制御部とその周辺の構成を示すブロック図である。 本発明の第１実施形態におけるカメラにおけるカメラ制御の動作を示すフローチャートである。 本発明の第２実施形態に係わるカメラで撮影した画像の合成処理を示し、（ａ）は撮影画像を示す図であり、（ｂ）は横線３６ａに沿って明るさ分布を示す図であり、（ｃ）は横線３６ｂに沿って明るさ分布を示す図であり、（ｃ）は横線３６ｃに沿って明るさ分布を示す図である。 本発明の第２実施形態に係わるカメラで撮影した画像から候補部の選択の条件を説明する図である。 本発明の第２実施形態におけるカメラにおける合成表示の動作を示すフローチャートである。

符号の説明

１・・・制御部、２・・・撮影部、２ａ・・・ストロボ、３・・・記録部、３ａ・・・圧縮保存部、４・・・候補抽出部、５ａ・・・移動制御部、５ｂ・・・周辺光量アップ部、６・・・集音部、７・・・合成制御部、８・・・出力部、８ａ・・・液晶表示部、９・・・操作部、１０・・・カメラ、２０・・・テレビ、３０・・・雲、３１・・・縁、３２ａ〜３２ｃ・・・光点、３３ａ〜３３ｂ・・・範囲、３５ａ〜３５ｂ横線、３６ａ〜３６ｄ・・・横線、３７・・・合成用ゲイン、３８・・・元画像ゲイン、３９ａ〜３９ｄ・・・位置

Claims (13)

1. デジタル画像から、所定以上の明るさで、かつ周辺に上記所定明るさ以上の部分がない複数の光点面積拡大候補位置を判定する候補位置判定部と、
   上記複数の候補位置から選択した位置を決定する位置選択部と、
   上記選択位置を中心に、上記所定の明るさ以上の部分を形成する光点面積拡大制御部と、
   を具備したことを特徴とする画像再生装置。
2. 上記画像再生装置は、さらに所定時間をカウントするタイマー手段を有し、
   上記選択した位置に光点拡大制御を行った後であって、上記所定時間の経過後に、上記位置選択部が、別の上記候補位置から選択位置を決定して、上記光点面積拡大制御を行うことを特徴とする請求項１に記載の画像再生装置。
3. 上記画像再生装置は、さらに画像内の人物の顔パターンやコントラストを判定する画像特徴判定部を有し、
   上記所定時間は、上記選択位置と顔位置やコントラストの関係で、上記所定時間を決定することを特徴とする請求項２に記載の画像再生装置。
4. 上記候補位置判定部は、さらに、判定された上記複数の光点面積拡大候補位置から、隣接する候補位置が所定の範囲内にあることを判定することによって、候補位置を絞り込む第２の候補判定部を有することを特徴とする請求項1に記載の画像再生装置。
5. デジタル画像から、所定以上の明るさで、周辺に上記所定以上の明るさ部分がなく、かつ、上記所定以上の明るさ部の位置が隣接した、複数の光点面積拡大候補位置を判定する候補位置判定部と、
   上記選択位置を中心に、上記所定の明るさ以上の部分を形成する光点面積拡大制御部と、
   を具備したことを特徴とする画像再生装置。
6. 撮影画像の画像中において所定輝度より明るい候補部を検出する候補検出部と、
   上記候補部の周囲を所定輝度よりも更に明るい合成用画像を生成する合成画像生成部と、
   上記合成画像と、元の撮影画像とを合成し、この画像を再生する再生表示部と、
   を具備したことを特徴とする画像再生装置。
7. 上記候補検出部は、上記所定輝度よりも明るく、かつその周囲の全てが所定輝度よりも明るくない場合に、上記候補部として検出することを特徴とする請求項６に記載の画像再生装置。
8. 上記候補検出部は、所定範囲内に上記候補部が隣接している場合にのみ、候補部として最終決定することを特徴とする請求項６に記載の画像再生表示装置。
9. 上記再生表示部は、上記撮影画像の特徴に応じて、上記合成画像を合成し再生表示する間隔を変更することを特徴とする請求項６に記載の画像再生表示装置。
10. 撮影画像の画像中において所定輝度より明るい候補部を検出し、
    上記候補部の周囲を所定輝度よりも更に明るい合成用画像を生成し、
    上記合成画像と、元の撮影画像とを合成し、この画像を再生する、
    ことを特徴とする画像再生方法。
11. 上記候補部の検出にあたって、上記所定輝度よりも明るく、かつその周囲の全てが所定輝度よりも明るくない場合に、上記候補部として検出することを特徴とする請求項１０に記載の画像再生方法。
12. 撮影画像の画像中において所定輝度より明るい候補部を検出するステップと、
    上記候補部の周囲を所定輝度よりも更に明るい合成用画像を生成するステップと、
    上記合成画像と、元の撮影画像とを合成し、この画像を再生するステップと、
    コンピュータに実行させることを特徴とするプログラム。
13. 上記候補部を検出するステップは、上記所定輝度よりも明るく、かつその周囲の全てが所定輝度よりも明るくない場合に、上記候補部として検出することを特徴とする請求項１２に記載のプログラム。