以下、図示の実施の形態によって本発明を説明する。
以下に説明する各実施形態は、例えば光学レンズにより形成される光学像を固体撮像素子を用いて光電変換し、これによって得られる画像信号を静止画像や動画像を表わすデジタル画像データとして記録媒体に記録し、また記録媒体に記録されたデジタル画像データに基いて静止画像や動画像を表示装置に再生表示し得るように構成される撮影機器(以下、単にカメラという)に対し、本発明を適用した場合の例示である。
なお、以下の説明に用いる各図面においては、各構成要素を図面上で認識可能な程度の大きさとするため、各構成要素毎に縮尺を異ならせて示している場合がある。したがって、本発明は、これらの図面に記載された構成要素の数量,構成要素の形状,構成要素の大きさの比率及び各構成要素の相対的な位置関係は、図示の形態のみに限定されるものではない。
図1は、本発明の一実施形態の撮影機器(カメラ)の内部構成の概略を示すブロック構成図である。図2〜図5は、本実施形態の撮影機器(カメラ)における作用を示す図である。このうち、図2は、本実施形態の撮影機器(カメラ)の表示部を操作している様子を示す概念図である。図3は、本実施形態の撮影機器(カメラ)の表示部に表示される画像であって、図2の操作結果によって変化した後の画像の表示例を示す図である。図4は、図2のスライド操作時のスライド軌跡(仮想直線L)に対応する画像の輝度分布を示すグラフである。図5は、本実施形態の撮影機器(カメラ)の作用の概略を示すメインフローチャートである。
まず、本実施形態の撮影機器であるカメラの内部構成の概略について、図1を用いて以下に説明する。
本実施形態の撮影機器(以下、単にカメラというものとする)1は、図1に示すように、撮影光学系41と、絞り機構42と、レンズドライバ43と、絞りドライバ44と、シャッタ機構51と、撮像素子52と、アナログ処理部53と、アナログデジタル変換部(以下、AD変換部と略称する)54と、AE処理部55と、AF処理部56と、画像処理部57と、画像圧縮展開部58と、表示駆動部(以下、表示ドライバと略記する)59と、表示部60と、メモリインターフェース(以下、メモリIFと略記する)61と、記録媒体62と、SDRAM63と、フラッシュメモリ64と、操作部65と、制御部66と、タッチスライド判定部67と、明るさ(輝度)分布判定部68と、顔検出部69と、明るさ(輝度)分布強調部70と、シャッタドライバ71と、電源回路72と、通信用バス73等を具備して構成されている。
撮影光学系41は、被写体からの光束を透過させて被写体像を形成し、その被写体像を撮像素子52の受光面上に結像させるユニットである。撮影光学系41は、例えば光軸Oに沿って並べて配設される複数の光学レンズと、これら複数の光学レンズをそれぞれ支持するレンズ枠等によって構成される。撮影光学系41は、レンズドライバ43を介して制御部66によって駆動制御される。
レンズドライバ43は、上記撮影光学系41の少なくとも一部の光学レンズ(を支持するレンズ枠)を光軸Oに沿う方向に進退移動させるためのユニットである。レンズドライバ43は、アクチュエータ等の駆動源や、この駆動源からの駆動力を伝達する駆動機構等の構成要素と、上記駆動源を駆動制御するための電気回路等を含んで構成される。
絞り機構42は、上記撮影光学系41内に配設されており、この撮影光学系41を通過する被写体からの光量を調節するユニットである。絞り機構42は、絞りドライバ44を介して制御部66によって駆動制御される。
絞りドライバ44は、例えばステッピングモータ等の駆動源や、この駆動源からの駆動力を伝達する駆動機構等の構成要素と、上記駆動源を駆動制御するための電気回路等を含んで構成される。
シャッタ機構51は、撮像素子52の受光面上に結像される被写体像の露出時間を制御するユニットである。シャッタ機構51は、シャッタドライバ71を介して制御部66によって駆動制御される。
シャッタドライバ71は、シャッタ機構51を制御部66の制御下で駆動制御する制御ユニットである。
撮像素子52は、撮影光学系41によって形成され自身の受光面上に受光された光学像(被写体像)を光電変換処理することによって、その被写体像の光量を電荷量を表わすアナログ信号へと変換する光電変換素子である。撮像素子52は、例えばCMOS,CCD等の光電変換素子が適用される。撮像素子52によって生成された電気信号(アナログ画像信号)はアナログ処理部53へと出力される。
なお、上記撮影光学系41,絞り機構42,シャッタ機構51,撮像素子52等によって、本カメラ1の撮像部が構成されている。
アナログ処理部53は、撮像素子52から出力された電気信号(アナログ画像信号)を受けて、リセットノイズ等を低減した上で波形整形を行った後、所望の明るさとなるようにゲインアップ処理等を行う信号処理部である。アナログ処理部53による処理済み信号は、AD変換部54へと出力される。
AD変換部54は、アナログ処理部53から出力されたアナログ画像信号を受けて、これをデジタル画像データに変換する信号処理部である。AD変換部54から出力された画像データは、通信用バス73を介してSDRAM63へと送られ、これに一時的に記憶される。
AE処理部55は、SDRAM63に一時的に記憶されたAD変換後の画像データに基いて画像内の被写体輝度を算出するデータ処理部であり、また画像内の光源を検出する光源検出部でもある。なお、AE処理部55において扱うデータ、即ち被写体輝度算出用データとしては、上記の画像データ以外に、例えば専用測光センサを設け、この専用測光センサからの出力データとしてもよい。
AF処理部56は、上記画像データから高周波成分の信号を取り出して、AF(Auto Focus;オートフォーカス)積算処理を行って合焦評価値を取得するデータ処理部である。
画像処理部57は、上記SDRAM63から読み出した画像データに対して様々な画像処理を施すデータ処理部である。この画像処理部57において各種の処理が行われた後の画像データは、再度SDRAM63に一時的に記憶される。
画像圧縮展開部58は、所定の圧縮方式による画像データの圧縮処理や、所定の圧縮方式により圧縮された圧縮画像データの展開(伸長)処理等を行うデータ処理部である。この画像圧縮展開部58において取り扱う画像データが静止画像データである場合には、例えばJPEG規格に準拠した方式等による圧縮及び展開処理を行う。また、画像圧縮展開部58において取り扱う画像データが動画像データである場合には、例えばMotion−JPEG規格やH.264規格等に準拠した各種方式等による圧縮及び展開処理を行う。なお、静止画に係る画像データの記録を行う場合には、画像圧縮展開部58は、SDRAM63から画像データを読み出し、読み出した画像データを、例えばJPEG圧縮方式に従った圧縮処理を施して、圧縮処理済みのJPEG画像データを、再度SDRAM63に一時記憶するという、一連の処理が実行される。
表示部60は、撮像素子52等の撮像部によって取得された画像データに基く画像を表示するために、例えば液晶表示装置(LCD)等、各種形態の表示装置によって構成される。表示部60は、制御部66の制御下で表示ドライバ59を介して駆動制御される。表示部60には、例えば、撮影動作直後の画像データを受けて所定の短い時間だけ撮影取得結果としての画像表示を行うレックビュー表示、記録媒体62に記録済みの画像データ(JPEGファイル等)に基く画像の再生表示、スルー画像表示(ライブビュー表示ともいう)等の動画表示が行われる。
ここで、例えば記録媒体62に記録済みの画像データ(JPEGファイル)に基いて画像再生を行う場合には、制御部66は、画像圧縮展開部58を介して記録媒体62に記録済みの画像データ(JPEGファイル)の中から所望のデータを読み出して伸張処理(展開処理)を施す。画像圧縮展開部58において伸張処理された画像データはSDRAM63に一時記憶される。続いて、制御部66は、表示ドライバ59を介して上記伸張処理済み画像データをSDRAM63から読み出し、表示部60を用いて表示可能な映像信号に変換処理した後、表示部60へと出力する。これにより、表示部60には、画像表示がなされる。
表示ドライバ59は、制御部66の制御下で上記表示部60を駆動制御するユニットである。
メモリIF61は、制御部66の制御下で記録媒体62をドライブし、該記録媒体62に記録済みの画像データファイルを読み込んだり、所定形式の画像データを記録媒体62に記録する等の処理を行う際のインターフェースである。
記録媒体62は、画像データ等を記録するための媒体であって、例えばカメラ本体50に対して着脱自在に配設されるカード形状の半導体メモリ、いわゆるメモリカード等が適用される。なお、記録媒体62の形態は、この形態に限られることはなく、他の形態、例えばカメラ本体50内に固定される媒体としてもよいし、半導体メモリ以外にも、光学板媒体,磁気媒体等、様々な形態のものを適用し得る。なお、メモリIF61と、記録媒体62とによって、記録部が構成される。
SDRAM63は、AD変換部54において生成された画像データや、画像処理部57,画像圧縮展開部58において処理された画像データ等の各種データを一時的に記憶する揮発性メモリからなる記憶部である。
フラッシュメモリ64は、ホワイトバランスモードに応じたホワイトバランスゲイン,ローパスフィルタ係数等のカメラ動作に必要となる各種パラメータ,銀塩粒子による粒状感に似せた粒状パターンの画像データ,カメラ1を特定するための固有情報、例えば製品名,製造番号等の各種の情報が予め記憶されている不揮発性メモリからなる記憶部である。さらに、フラッシュメモリ64には、制御部66にて実行される各種プログラム等も予め記憶されている。したがって、制御部66は、フラッシュメモリ64に記憶されているプログラムを適宜のタイミングで読み込んで実行する。その際、制御部66は、各種シーケンス処理に必要となる各種のパラメータ等を、フラッシュメモリ64から読み込む。
操作部65は、本カメラ1に対する各種操作を行うための複数の操作部材及び対応する操作スイッチ等によって構成される。使用者が操作部65のうちの所定の操作部材を操作すると、対応する操作スイッチより所定の指示信号が発生し、その指示信号は、制御部66へと伝達されるようになっている。この指示信号を受けて、制御部66は、適宜操作に応じた各種シーケンスを実行する。操作部65としては、具体的には例えば電源ボタン,レリーズボタン,再生ボタン,メニューボタン,動画ボタン,モード切換ボタン等の機械的スイッチに連動する操作部材ほか、タッチパネル等の指示入力を行うための入力用操作部材等が含まれる。
制御部66は、当該カメラ本体50の各種シーケンスを統括的に制御する制御手段である。また、制御部66は、SDRAM63に一時記憶されたJPEG画像データに対して、必要となるJPEGヘッダ情報等を付加してJPEGファイルを作成し、作成されたJPEGファイルをメモリIF61を介して記録媒体62へと記録する処理等をも行う。制御部66には、操作部65と、フラッシュメモリ64と、タッチスライド判定部67と、明るさ分布判定部68と、顔検出部69と、明るさ分布強調部70とが、直接接続されている。
タッチスライド判定部67は、操作部65に含まれるタッチパネルに対するタッチ操作やスライド操作を検出すると共に、検出されたタッチ操作,スライド操作の表示画面上における位置や操作量(操作範囲,操作時間等)等を検出する操作入力判定部を構成する回路部である。タッチスライド判定部67による判定結果は制御部66へと出力される。
明るさ分布判定部68は、上記タッチスライド判定部67の判定結果を受けて、表示画面上の表示画像のうちの上記タッチ操作及びスライド操作がなされた範囲の画像信号に関し、輝度信号の分布を判定する回路部である。
顔検出部69は、撮像動作の結果表示画面上に表示されている画像中に含まれる所定の特徴を有する顔画像、例えば人物やペット等の顔画像の形態,大きさ等の情報を、所定の画像解析処理に基いて検出すると共に、その検出された顔画像が画面内で移動する時には、これを追尾し続ける機能,画面外に出ても再度画面内に入った時には続けて追尾する機能等を実現する回路部である。
明るさ分布強調部70は、上記明るさ分布判定部68による判定結果と上記タッチスライド判定部67による判定結果とに基いて、所定の範囲の画像信号についての明るさ分布(輝度信号の分布)を強調処理する画像処理を行う回路部である。
電源回路72は、バッテリ等の電源と、この電源を制御する回路等によって構成され、制御部66の制御下で、本カメラ1内の各構成ユニットや回路ユニットに対し必要となる電力を適宜供給する回路部である。
通信用バス73は、カメラ1の内部で発生した各種データ等を、本カメラ1を構成する内部構成ユニットの各部へと転送するための転送路である。通信用バス73は、AD変換部54,AE処理部55,AF処理部56,画像処理部57,画像圧縮展開部58,表示ドライバ59,メモリIF61,SDRAM63,制御部66,レンズドライバ43,絞りドライバ44,シャッタドライバ71等に接続されている。その他の構成は、従来一般の撮影機器(カメラ)と同様の構成を有するものとして、その図示を省略している。また、図1に示された構成要素について、本発明に直接関連しないものについては、簡略な説明に留めた。
このように構成された本実施形態のカメラ1の作用を、図2〜図5を用いて以下に説明する。
本実施形態においては、使用者が表示部60の表示画面を手指等によるタッチ操作とスライド操作等を行うと、カメラ1は制御部66の制御下で適宜所定の画像処理を行い、使用者の意図する画像効果(本実施形態では明るさ強調効果)を得るという具体例を示すものである。なお、これら一連の操作は、所望の画像効果を得るための設定操作であり、以下に、その画像効果設定操作を、具体的に説明する。
例えば、図2に示すように、カメラ1の表示部60の表示画面に、スルー画像(ライブビュー画像;撮影モード時)若しくは撮影済みの画像(再生モード時)が表示されているものとする。この状態において、使用者が手100の指100aを表示部60の表示画面上(に設けられたタッチパネルのタッチ面)における任意の点をタッチ操作し、これに続けてスライド操作を行って、手100を図2の[A]で示す位置から[B]で示す位置へ移動させたものとする。
この場合、指100aが表示部60の表示画面上の所定の位置で、例えば画面内の太陽等の光源101をタッチ操作したものとする。このときのタッチ位置P1を座標(X1,Y1)で示す。なお、表示画面中において光源101を含む部位に、指標110が表示されている。この指標110は、タッチ操作によるシャッタレリース操作が無効となる画面領域を明示するために表示される指標である。この指標110は、次のようにして表示される。例えばスルー画像表示がなされた時、若しくは再生画像が表示された時に、カメラ1の制御部66は、AE処理部55等を制御して表示画像中の光源位置を検出し、その光源位置を囲むように指標110を表示させる。そして、この指標110内の領域がタッチ操作された場合には、通常のシャッタレリース動作ではなく、後述する本実施形態の画像効果設定動作が行われるようにしている。
続いて、そのタッチ位置P1(X1,Y1)から指100aを所定の方向、例えば人物102の顔のある方向(矢印S方向)へ向けて所定の距離だけ離れた所定の位置、即ち人物102の顔のうち上記光源101寄りの部位までスライド操作し、その位置で指100aを表示部60の表示画面上から離したものとする。ここで指100aを離した位置P2を座標(X2,Y2)で示す。
このときのスライド操作の方向、即ち矢印Sに沿う直線を画面周縁部まで延長した仮想直線を符号Lで示す。そして、この直線L上の点であって、表示部60の画面周縁部で交わる二つの点をそれぞれ座標(X0,Y0),(X3,Y3)で示す。
上記のように、所定領域(光源位置)に対するタッチ操作に続けてスライド操作が行われると、つまり、連続するタッチ&スライド操作が検出されると、その場合には、オートフォーカス動作,シャッターリリース動作等が起動することなく、本実施形態で説明する画像効果設定操作であるものと判断されるようになっている。
したがって、上述のように、タッチ操作&スライド操作が検出された場合には、指標110を含む領域をタッチ操作してもシャッターリリース動作等が起動しない。そして、この状態にあるときは、シャッターリリース動作等を行うためには、指標110以外の領域をタッチ操作する。
なお、上述のように、連続するタッチ操作&スライド操作を検出して画像効果設定操作であると判断する代わりに、表示部60の表示画面に対する最初のタッチ操作のタッチ時間等を判定することで、そのタッチ操作がオートフォーカス動作を実行するための操作か、シャッターリリース動作を実行するための操作か、画像効果設定操作であるかを判断するようにしてもよい。
以上の操作を行うことにより本実施形態のカメラ1においては、使用者によるタッチ&スライド操作で指定された領域(上記の例では、直線L上のタッチ位置P1(X1、Y1)からP2(X2、Y2)までの間の線分)を含む所定範囲の画像領域の輝度(明るさ)を強調する画像処理、即ち指定領域の輝度(明るさ)を引き上げる(より明るくさせる)画像処理が行われる。
即ち、画像(スルー画像若しくは再生画像)が表示された状態の表示部60の表示画面に対し使用者がタッチ&スライド操作を行って所望の領域を指定することによって、カメラ1は、AE処理部55に基いて設定した露出値等の露出情報に対して、使用者の意図を反映させた部分的な露出の修正を加えることができる。これによって使用者の意図を反映した画像効果を得ることができる。
通常の場合、カメラ1のAE処理部55は、画面全体の輝度(明るさ情報)を勘案して、適正と思われる露出値を決定する。この場合、例えば、図2に示すように太陽等のような極めて高輝度な光源101が表示画像中に含まれているような状況では、同一画面内の対象物(図2に示す場合は人物102)はいわゆる逆光状態となってしまうことから、そのほとんどの画像領域が暗いシルエット状の低輝度領域(図2の符号102b)となってしまうことが多い。
ここで、図4は上記仮想直線L上の輝度分布を示す図である。図4で示す実線(符号[2]で示すグラフ線)は、図2の画像の直線L上の輝度分布を示している。図4に示すように、光源101上のP1(X1,Y1)では高輝度であり、光源101から離れるに従って輝度は低下している。そして、光源101からの光を受けている顔領域のうち光源101寄りの一部領域、即ち顔の輪郭102c近傍において若干高輝度となり、そこから徐々に暗いシルエット状の低輝度(図2の符号102b)へと変位する。
そこで、暗いシルエット状の低輝度部分を部分的に修正するために、例えば上述のようなタッチ&スライド操作を行い、画面中の一部の領域を指定することによって、図3に示すような画像、即ち光源101を含む指定領域101a近傍の輝度をさらに引き上げると共に、暗いシルエットとなっていた対象物の一部、即ち人物102の顔領域のうちの一部であって、上記光源101寄りの所定範囲の領域102aの輝度(明るさ)を引き上げる画像処理が行われる。その結果の輝度分布は、図4において符号[3]で示すグラフ線(一点鎖線)である。なお、この場合において、人物102の顔領域のうちの一部であり上記光源101寄りの所定範囲の領域102aと、顔領域のうちの暗いシルエット状の低輝度部分102bとの境界部分を、図2において符号102dで示すものとする。この境界102dは明確な線で示されるものではないが、図示の簡略化のために図面上では実線で示している。
このような一連の作用を簡略的にまとめたものが、図5のフローチャートである。本実施形態のカメラ1における作用のうち、主に画像効果設定操作に伴う処理の流れを、図5のフローチャートによって以下に説明する。
まず、カメラ1の電源がオン状態となり、動作可能に起動している状態にあるものとする。この状態にあるとき、図5のステップS1において、制御部66は、現在設定されている動作モードが撮影モードであるか否かの確認を行う。ここで、撮影モードに設定されている場合には、次のステップS2の処理に進む。また、撮影モード以外の動作モードに設定されている場合には、ステップS21の処理に進む。
ステップS2において、制御部66は、撮像素子52を駆動制御すると共に、表示ドライバ59を介して表示部60を制御してスルー画表示処理(若しくはライブビュー表示処理ともいう)を実行する。このスルー画表示処理は、撮像素子52によって取得されアナログ処理部53を介してAD変換部54から出力される画像信号を受けて、表示ドライバ59を介して表示部60へと伝送し、この表示部60の表示画面に画像を連続的に表示させ続ける表示処理である。その後、ステップS3の処理に進む。
ステップS3において、制御部66は、操作部65からの指示信号を監視して、撮影操作、即ちシャッターリリース操作がなされたか否かの確認を行う。ここで、本カメラ1におけるシャッターリリース操作は、上述したように操作部65に含まれるタッチパネルに対するタッチ操作である。また、これとは別に、別途シャッターリリースボタンを設けることにより、このシャッターリリースボタンの押圧操作を、シャッターリリース操作としてもよいが、以下の説明においては、本カメラ1のシャッターリリース操作はタッチ操作であるものとして説明する。
このステップS3の処理において、制御部66が操作部65に含まれるタッチパネルに対するタッチ操作を確認した場合には、そのタッチ操作の指示信号をタッチスライド判定部67によって判定処理する。ここで、タッチ操作がシャッターリリース指示信号であることが確認された場合には、次のステップS4の処理に進む。
また、上述のステップS3の処理にて、タッチ操作以外の操作が確認された場合、若しくはタッチ操作が確認された場合であって、そのタッチ操作がシャッターリリース指示信号ではないと判断された場合には、ステップS11の処理に進む。
ここで、タッチスライド判定部67によるシャッターリリース指示信号であるか否かの判定処理は、例えば上述したように、例えばタッチパネルに対するタッチ操作の時間を判定したり、当該タッチ操作に続くスライド操作の有無の確認(後述のステップS11のスライド判定処理)によって判断する。
上述のステップS3の処理にて、シャッタリリース指示信号が確認されてステップS4の処理に進むと、このステップS4において、制御部66は、通常の撮影処理を実行する。この撮影処理は、AF処理部56と連繋してレンズドライバ43を介して行う撮影光学系41の駆動制御(AF制御動作等)や、AE処理部55と連繋して絞りドライバ44を介して行う絞り機構42の駆動制御及びシャッタドライバ71を介して行うシャッタ機構51の駆動制御(露出制御動作),撮像素子52を駆動制御する撮像動作等、一連の制御処理である。なお、このステップS4の処理にて実行される撮影処理自体は、従来一般の撮影機器(カメラ)と同様の処理であるものとして、その詳細説明は省略する。この撮影処理の結果取得された画像信号は、AD変換部54からの出力されSDRAM63に一時的に記憶される。その後、ステップS5の処理に進む。
ステップS5において、制御部66は、通常の記録処理を実行する。この記録処理は、画像圧縮展開部58において、上記SDRAM63に一時記憶された画像信号を所定の形態の信号圧縮処理を施して画像データを生成し、その画像データをメモリIF61を介して記録媒体62の所定領域に記録する一連の制御処理である。なお、このステップS5の処理にて実行される記録処理自体も従来一般の撮影機器(カメラ)と同様の処理であるので、その詳細説明は省略する。その後、上述のステップS1の処理に戻り、以降の処理を繰り返す。
一方、上述のステップS3の処理にて、シャッタリリース指示信号が確認されずにステップS11の処理に進むと、このステップS11において、制御部66は、タッチスライド判定部67によってスライド操作がなされたか否かの判定を行う。ここで、スライド操作が確認された場合には、上述のステップS3の処理においてはタッチ操作が必ず確認されているはずである。したがって、タッチ操作に続くスライド操作がなされたものとして、次のステップS12の処理に進む。また、スライド操作が確認されない場合には、上述のステップS1の処理に戻り、以降の処理を繰り返す。
ステップS12において、制御部66は、輝度分布判定処理を実行する。即ち、上述のステップS3,S11の処理によるタッチ&スライド操作によって指定された領域に関し、明るさ分布判定部68によって輝度分布を判定する(図4に示すようなグラフを作成する)。そして、この輝度分布について、所定のパターン、即ち高輝度部分から低輝度部分を経て再度高輝度部分が表れるパターンとなっているか否かの確認を行う。ここで、所定のパターンの輝度分布であると判定された場合には、次のステップS13の処理に進む。また、所定のパターンの輝度分布ではないと判定された場合には、ステップS1の処理に戻り、以降の処理を繰り返す。
ステップS13において、制御部66は、AE処理部55を制御して、設定された露出値をプラス(+)側へ補正する処理を実行する。その後、ステップS1の処理に戻り、以降の処理を繰り返す。
他方、上述のステップS1の処理にて、撮影モード以外の動作モードが設定されているものと判断されてステップS21の処理に進むと、このステップS21において、制御部66は、現在設定されている動作モードが再生モードであるか否かの確認を行う。ここで、再生モードに設定されている場合には、次のステップS22の処理に進む。また、再生モード以外のその他の動作モード、例えば通信モード,データストレージモード等に設定されている場合には、ステップS31の処理に進み、このステップS31において、設定されている動作モードについての動作処理が実行される。
なお、撮影モード,再生モード以外のその他の動作モード時の動作は本実施形態に直接関連しない部分である。したがって、その他の動作モード時の動作については、従来一般のカメラと同様の動作が行われるものとして、その詳細説明は省略する。その後、上述のステップS1の処理に戻り、以降の処理を繰り返す。
上述のステップS21の処理にて、再生モードが設定されているものと判断されて、次のステップS22の処理に進むと、このステップS22において、制御部66は、選択画像再生処理を実行する。
カメラ1が再生モードにある時には、表示部60の表示画面に記録媒体62に記録済みの画像データに基く画像が表示された状態にある。このとき使用者は、所定の操作を行うことで、記録媒体62に記録済みの複数の画像データを順々に切り換えて表示部60に表示させることができる。選択画像再生処理は、使用者の操作によって選択された画像を、記録媒体62から読み込んで表示部60に再生表示させるための一連の処理である。この選択画像再生処理自体も従来一般のカメラと同様の動作であるものとして、その詳細説明は省略する。その後、上述のステップS23の処理に進む。
ステップS23において、制御部66は、操作部65のタッチパネルからの指示信号を監視し、タッチスライド判定部67によってタッチ&スライド操作が行われたか否かの確認をする。ここで、タッチ&スライド操作が行われたことが確認された場合には、次のステップS24の処理に進む。また、タッチ&スライド操作が確認されない場合には、ステップS27の処理に進む。
ステップS24において、制御部66は、輝度分布判定処理を実行する。即ち、上述のステップS23の処理によるタッチ&スライド操作によって指定された領域に関し、明るさ分布判定部68によって輝度分布を判定する(図4に示すようなグラフを作成する)。そして、上述のステップS12の処理と同様に、この輝度分布について、所定のパターン(例えば、高輝度部分から低輝度部分を経て再度高輝度部分が表れる輝度パターン)を有するか否かの確認を行う。ここで、上記所定のパターンの輝度分布であると判定された場合には、次のステップS25の処理に進む。また、上記所定のパターンの輝度分布ではないと判定された場合には、ステップS27の処理に進む。
ステップS25において、制御部66は、明るさ分布強調部70を制御して明るさ強調処理を実行する。この明るさ強調処理は、上記明るさ分布判定部68による判定結果と、上記タッチスライド判定部67による判定結果とに基いて、所定の範囲の画像信号についての明るさ分布(輝度信号の分布)を強調処理する画像処理である。その後、ステップS26の処理に進む。
この明るさ強調処理とは、例えば通常撮影による撮影画像中において光源から発する光の範囲を広げて強調し、光線の長さや到達距離等を拡張すると共に、光源に対峙する人物等の撮影対象物のコントラストを向上させた強調表示を行う画像処理である。このような画像処理を施すことによって、よりドラマチックで神神しい画像効果を得ることができるというものである。
ここで行われる明るさ強調処理は、上述のステップS23の処理によるタッチ&スライド操作におけるタッチ開始点(図2のタッチ位置P1(X1,Y1))からスライド方向(図2の矢印S方向)に向けて徐々に明るさを強調する処理である。このとき、上述のスライド操作では、矢印S方向の直線を指定するのみであるが、この矢印Sに沿う直線を含む所定の領域を明るさ強調処理の対象とする。
さらに、スライド操作の終点(図2のP2(X2、Y2))近くの明るい部分(高輝度部分)、具体的には図2に示す人物102が光源101からの光を受けている顔領域のうち光源101寄りの顔の輪郭102c近傍と、この明るい部分に隣接する暗い部分(低輝度部分)、具体的には図2の人物102の顔の輪郭102c近傍からスライド方向(図2の直線L上を矢印Sに沿う方向)に光源から遠ざかる方向に隣り合っている部分近傍の明るさのレベルや、その部分を含む所定領域の明るさを強調する処理も含まれる。
ステップS26において、制御部66は、上記明るさ強調処理の結果得られた画像データを保存するか否かの確認を行う。この確認処理は、例えば表示部60の表示画面上に表示されている画像(処理の施された画像)に重畳させて、画像を保存するか否かの質問表示を出す。この表示を見て、使用者は所定の操作部材を用いて(例えばタッチパネルでもよい)保存するか否かの選択指示を行う。その指示信号を確認することで保存か否かを判断する。ここで、保存を指示する指示信号が確認された場合には、上述のステップS5の処理に進み、このステップS5において、制御部66は記録処理を実行する。また、保存を指示する指示信号が確認されない場合には、ステップS27の処理に進む。
ステップS27において、制御部66は、操作部65からの指示信号を監視して、再生モード終了を指示する信号の有無を確認する。ここで、再生モード終了指示信号が確認された場合には、上述のステップS1の処理に戻り、以降の処理を繰り返す。また、再生モード終了指示信号が確認されない場合には、上述のステップS23の処理に戻り、以降の処理を繰り返す。
次に、上述の画像効果設定操作、即ちタッチ&スライド操作を行うことによって実行される画像処理の詳細を以下に説明する。図6は、本実施形態のカメラによる画像効果設定操作の結果なされる画像処理を説明する図であって、図6(A)は画像処理結果を示す表示画面の例示であり、図6(B)は図6(A)の一部を拡大して示す要部拡大図である。なお、図6は、上述の図2,図3に相当している。図7は、本実施形態のカメラ1の作用(主に画像効果設定操作に伴う処理の流れ)を示すフローチャートである。図8は、図7のフローチャートに並行して実行される表示処理の流れを示すフローチャートである。
まず、カメラ1の表示部60の表示画面上に所望の再生画像を表示させる(再生モード)か、若しくは撮影モードでスルー画像(ライブビュー画像)を表示させた状態にする。なお、図7で説明するフローチャートでは、撮影モード時のスルー画像(ライブビュー画像)表示に対して操作を行なう場合の処理を例示している。
即ち、図7に示すステップS100において、制御部66は、スルー画像表示処理を実行する。
続いて、ステップS101において、制御部66は、AD変換部54から出力される画像信号に基いて表示されるスルー画像中に含まれる光源に関する情報、例えば位置情報等を取得する。その後、ステップS102の処理に進む。
ステップS102において、制御部66は、上述のステップS101の処理にて取得した光源情報に基いて光源枠表示処理、即ち光源位置を示すために、例えば光源を囲む枠状のマークを表示させる処理である。この光源枠表示処理を行うことにより、光源枠が表示されている領域をタッチ操作したときには、レリーズ操作を禁止して、本実施形態の画像効果設定操作を優先して行なうことができるようになる。
ここで、カメラ1は引き続きスルー画像表示状態(光源枠表示を含む)であり、撮影待機状態にある。この状態において、使用者は表示部60の表示画面上における光源をタッチ操作する。
ステップS103において、制御部66は、操作部65からの出力信号を監視しており、タッチパネルからのタッチ信号が出力されたか否かを検出する。ここで、タッチ信号が検出された場合には、次のステップS110の処理に進む。また、タッチ信号が検出されない場合には、ステップS101の処理に戻り、以降の処理を繰り返す。
ステップS110において、制御部66は、検出されたタッチ信号のタッチ位置の表示画面上の座標P1(X1,Y1)の情報を取得する。その後、ステップS111の処理に進む。
ステップS111において、制御部66は、検出されたタッチ位置が表示部60の表示画面内の光源位置と略一致しているか否かの確認を行う。ここで、タッチ位置と光源位置とが略一致していることが確認された場合には、次のステップS112の処理に進む。また、タッチ位置と光源位置とが略一致していないことが確認された場合には、ステップS113の撮影処理に進む。このステップS113にて実行される撮影処理は、通常行われる一般的な撮影動作処理である。なお、通常一般の撮影処理の詳細は省略する。
上述のステップS113にて撮影処理が実行された後は、上述のステップS101の処理に戻り、以降の処理を繰り返す。
一方、上述のステップS111の処理にてタッチ位置と光源位置とが略一致した場合にステップS112の処理に進むと、このステップS112において、制御部66は、内部カウンタ(不図示)を用いてタッチ回数のカウントを開始する。その後、ステップS114の処理に進む。
ステップS114において、制御部66は、タッチ位置座標P1における光源情報、例えば位置,範囲,色,輝度等の各種情報を取得する。
続いて、ステップS115において、制御部66は、操作部65からの出力信号を監視してタッチパネルからのタッチ操作が解除されたか否か、即ちタッチ操作中の使用者の指がタッチパネルから離れたか否かを検出する(タッチ離し検出)。ここで、タッチ操作解除信号が検出された場合には、上述のステップS101の処理に戻り、以降の処理を繰り返す。また、タッチ操作解除信号が検出されない場合には、次のステップS120の処理に進む。
ステップS120において、制御部66は、移動検出処理を行う。この移動検出処理は、上述のステップS103にて検出したタッチ操作に続いて、そのタッチ操作が維持された状態で使用者が指100aを表示画面上にてスライド移動させたか否かの確認である。ここで、スライド移動が検出された場合には、次のステップS121の処理に進む。また、スライド移動が検出されない場合には、上述のステップS115の処理に戻り以降の処理を繰り返す。
ステップS121において、制御部66は、顔検出部69を用いて顔検出処理を行い、現在表示中のスルー画像に検出される顔情報を取得する。これと共に、検出した顔を囲む枠表示をスルー画像(ライブビュー画像)に重畳させて表示するようにしてもよい。
続いて、ステップS122において、制御部66は、移動後のタッチ解除位置の座標P2(X2,Y2)の情報を取得する。
ステップS123において、制御部66は、上記座標P1,P2間の距離、即ち表示部60の表示画面上において行われたスライド操作の距離等の操作情報に基いてハイライト演算範囲を算出する処理を実行する。このハイライト演算範囲算出処理は、タッチ&スライド操作によって指定された位置を含む所定の範囲の画像領域の明るさを強調するための画像処理である。
続いて、ステップS124において、制御部66は、ハイライト演算範囲算出結果を保持する処理を実行する。
さらに、ステップS125において、制御部66は、スルー画像表示パラメータの変更を行う。その後、上述のステップS115の処理に戻り以降の処理を繰り返す。
本実施形態のカメラ1においては、上述の図7のフローチャートと並行して、図8に示すフローチャートが作用している。この図8の表示処理フローチャートが並行して実行されていることにより、操作に伴うパラメータの変更がスルー画像表示にその都度反映するようになっている。したがって、これにより、操作によって変更されるべき画像表示をリアルタイムで観察できるようになっている。
まず、上述の図7のフローチャートにおけるステップS100のスルー画像表示処理が開始されると、これと同時に並行して、図8のフローチャートが開始する。
図8のステップS200において、制御部66は、内部カウンタによるタッチ回数(図7のステップS112)を参照し、演算回数Nがタッチ回数に一致するか否かを確認する。一致した場合には、一連の処理を終了し、元の処理ステップに復帰する。一致しない場合には、次のステップS201の処理に進む。
ステップS201において、制御部66は、内部カウンタの演算回数Nを1回加算(インクリメント)する(N=N+1)。
続いて、ステップS202において、制御部66は、顔情報(図7のステップS121)から輪郭情報を取得する。ここで、輪郭とは、顔検出によって検出された顔画像のうち、同様の色,輝度情報を有する画素が連続して線状をなす部分をいう(以下、輪郭線という)。
次いで、ステップS203において、制御部66は、顔の輪郭線より内側(顔側)の全ての画素についての演算が完了したか否かの確認を行う。ここで演算完了を確認したら、上記ステップS200の処理に戻り、以降の処理を繰り返す。また、完了が確認されないうちは、次のステップS210の処理に進む。
続いて、ステップS210において、制御部66は、顔の輪郭線より内側(顔側)の1画素の情報を取得する。
次いで、ステップS211において、制御部66は、上記顔輪郭線より内側(顔側)の1画素がハイライト演算範囲内にあるか否かの確認を行う。ここで、演算範囲内にあることが確認されたら、次のステップS212の処理に進む。また、演算範囲内にない場合には、ステップS203の処理に戻り、以降の処理を繰り返す。
ステップS212において、制御部66は、スライド距離に応じて光源の色合成処理(10%〜0%)を行う。その後、ステップS203の処理に戻り、以降の処理を繰り返す。
ここで、光源の色合成処理について、簡単に説明する。まず、上記ステップS101にて取得した光源情報に基いて光源の色情報(RGB)の平均値を100%とする。また、上記ステップS202にて取得した輪郭情報に基いて顔の輪郭線よりも顔側の1画素の色情報、即ち図2に示すシルエット状の領域の色情報を0%とする。
そして、上記ステップS210にて取得した輪郭線の内側(顔側)の1画素と、上記ステップS101にて取得した光源の中心点とを結ぶ直線を仮定する(図6参照)。この場合において、光源のRGB値とピクセルのRGB値とを合成する。このときの合成度は、上記輪郭線(ステップS202)と、上記輪郭線の内側(顔側)の1画素(ステップS210)との間の上記直線上における距離を鑑みて設定される。
例えば、輪郭線上の1画素(即ち、距離=0)の合成度は、タッチの回数に応じて0〜100%の間で10%づつ増加するように設定される。つまり、タッチ回数が増えるほど徐々に光源の色に近づくように設定される。
輪郭線からの距離の最大値は、タッチ操作による座標P1,P2間の距離で決定する。つまり、演算を行う距離の最大にある1画素の合成度を0%とし、輪郭線上の1画素の合成度から、最大距離にある1画素までの合成度を補完する。
このように、タッチ&スライド操作においては、例えば光源をタッチ操作する回数によってハイライトの強さを調整し、スライド移動の距離によってハイライトの回り込み量、即ち被写体の顔の輪郭線上から顔の内側へ向かう距離(明るさ強調を行う領域)を調節する。その結果は、表示部60の表示画面上に即座に反映されるので、使用者は、表示部60の表示画面を見ながら、複数回のタッチ操作とスライド移動操作を繰り返す。これによって、所望の画像が生成されるまで調整する。
なお、明るさ強調を行う範囲は、上述したようにスライド移動の距離によって設定される。つまり、スライド移動の距離と、顔検出によって検出された顔画像の面積,顔画像の幅等を勘案して設定される。
具体的には、例えば、スライド移動の距離が光源から顔の輪郭線までの距離とした場合には、明るさ強調を行う顔の所定範囲としては、顔画像の輪郭線から顔画像の幅の1/4程度の長さの範囲を設定する。
また、表示部60の表示画面内に複数の光源が存在するような場合にも、各光源に対して同様の操作を繰り返し行うことによって、同様の合成処理が可能である。
以上説明したように上記一実施形態によれば、カメラ1が撮影モードにあってスルー画像表示がなされている時には、使用者が表示部60上のタッチパネルに対してタッチ&スライド操作を行って領域指定を行なうと、その指定範囲の輝度分布を判定して、判定されてた輝度分布が上記所定のパターンの輝度分布である場合には、自動的に露出のプラス(+)補正を行うことで、AE処理部55の算出した通常の露出値に対して、より明るさの強調された画像を自動的に得ることができる。このことは、露出補正操作や、露出に関する知識を有していなくても、タッチ&スライド操作によって領域指定を行う直感的な操作のみで、より効果的な画像を誰でも気軽に取得することができる。
これとは別に、本実施形態においては、カメラ1を再生モードに設定して、記録媒体62に記録済みの画像データに基く画像を表示部60に表示している時、若しくはカメラ1を撮影モードに設定してスルー画像(ライブビュー画像)表示を行っている時に、所望の領域に対して上記同様のタッチ&スライド操作を行うと、表示画像中の任意の部分の明るさを強調させる明るさ強調処理を実行することができ、その処理済み画像を容易に記録することができる。その場合において、通常処理による画像とは別に、明るさ画像処理を施した画像データを別途記録することが可能である。
以上のように、カメラ1や撮影技術に関する専門的な知識を持たない一般ユーザであっても、撮影操作若しくは画像再生操作に伴う直感的な操作を行うことによって、複雑な露出や色,輝度等の適切な設定変更を自動的に実行させることができる。これにより、通常撮影とは異なる劇的でドラマチックな明るさ強調効果を持たせた所望の写真を、簡単に撮影し取得することができる。
上述の各実施形態で説明した各処理シーケンスは、その性質に反しない限り、手順の変更を許容し得る。したがって、上述の処理シーケンスに対して、例えば各処理ステップの実行順序を変更したり、複数の処理ステップを同時に実行させたり、一連の処理シーケンスを実行する毎に、各処理ステップの順序が異なるようにしてもよい。
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施し得ることが可能であることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。