以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。本実施の形態では、本発明のカメラを適用したデジタルカメラについて説明する。なお、この実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
(実施の形態)
図1は、デジタルカメラ1の背面図である。図1に示すように、デジタルカメラ1は、カメラ本体2の上面に配設された撮影タイミングを指示するためのレリーズスイッチ(シャッタースイッチ)3、カメラ本体2の背面に配設されたパワースイッチ4やメニュースイッチ5、上下左右の各方向スイッチ(上スイッチ、下スイッチ、左スイッチおよび右スイッチ)を有する十字キー6、操作内容を確定する等のためのOKスイッチ7、撮影モードと再生モードとを切り換えるための再生スイッチ8、各種画面を表示する表示部23等を備えている。パワースイッチ4は、デジタルカメラ1の電源投入/電源遮断を切り換えて入力するためのものであり、例えばスライドスイッチを用いて実現される。レリーズスイッチ3は、例えば二段階式の押下ボタンであり、半押しされるとファーストレリーズスイッチがONし、全押しされるとセカンドレリーズスイッチがONするようになっている。また、図示しないが、カメラ本体2の前面には、フラッシュや撮像レンズ等が配設されている。
このデジタルカメラ1においてパワースイッチ4をスライドさせて電源投入を指示すると、デジタルカメラ1は撮影可能な状態(撮影モード)となる。撮影モードでは、撮像レンズを通して入射する被写体像が1フレーム(例えば1/30秒)毎に出力され、ライブビュー画像として表示部23にリアルタイムに連続表示されるようになっており、ユーザは、ライブビュー画像を見ながらレリーズスイッチ3を押下して静止画や動画の撮影を行う。一方、電源投入時、再生スイッチ8の押下操作に応じて撮影モードと再生モードとが切り換わるようになっている。この再生モードでは、ユーザは、デジタルカメラ1で撮影された静止画や動画を表示部23に表示(再生)して楽しむ。
図2は、このデジタルカメラ1のシステム構成を示すブロック図である。図2に示すように、デジタルカメラ1は、撮像素子11と、レンズ系ユニット12と、レンズ駆動回路13と、撮像回路14と、SDRAM(Synchronous Dynamic Random Access Memory)15と、AE部16と、AF部17と、画像処理部18と、器官検出部20と、CPU21と、内蔵メモリ22と、表示部23と、表示駆動回路24と、通信I/F25と、操作部26と、記録部の一例である着脱メモリ27と、電源回路28と、電池29とを備える。そして、撮像回路14、SDRAM15、AE部16、AF部17、画像処理部18、器官検出部20、CPU21、表示駆動回路24および着脱メモリ27がバス30を介して接続されて構成されている。また、撮像素子11やレンズ系ユニット12、レンズ駆動回路13、撮像回路14は、被写体像を光電変換して撮影画像の画像データを生成する撮像部10を構成する。
撮像素子11は、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサであって、レンズ系ユニット12を通して入射する被写体像をフレーム単位で光電変換し、アナログ電気信号を出力する。レンズ系ユニット12は、AF(Auto-Focus)用レンズやズーム用レンズ等を含む撮像レンズ、絞り、シャッター等を含み、レンズ駆動回路13は、レンズ系ユニット12を駆動する。
撮像回路14は、撮像素子11から出力されたアナログ電気信号に対してCDS(Correlated Double Sampling)やAGC(Automatic Gain Control)等のアナログ信号処理を行った後、デジタル電気信号に変換するとともに、このデジタル電気信号に対して画素補間処理や色補正処理等のデジタル信号処理を行い、画像データとして出力する。この画像データは、SDRAM15に一時的に記録される。
SDRAM15は、撮像回路14から出力される画像データや、画像処理部18による処理中の画像データ等の一時記録用に使用される。例えば、1フレーム毎に撮像回路14から出力される表示用の撮影画像(以下、「ライブビュー画像」と称す。)の画像データや、撮影タイミングで撮像回路14から出力される記録用の撮影画像(以下、単に「撮影画像」と称す。)の画像データ等が一時的に記録される。デジタルカメラ1の動作モードの一つである撮影モードでは、撮像素子11に結像されている被写体像が連続的(動画的)にリアルタイムに表示部23に更新表示されるようになっており、ライブビュー画像とは、この画像のことをいう。
AE部16は、撮像回路14から出力された画像データをもとに、自動露出を行う。AF部17は、撮像回路14から出力された画像データをもとに、自動焦点調節を行う。
画像処理部18は、撮像回路14から出力された画像データに対して各種の画像処理を施すとともに、記録用、表示用等に適した画像データに変換する処理を行う。例えば、撮影画像の画像データを記録する際、あるいは記録されている画像データを表示する際等に、JPEG(Joint Photographic Experts Group)方式等に基づく画像データの圧縮処理や伸張処理を行う。また、画素数を増減させて画像データを拡縮させるリサイズ処理、画像データから一部分を切り出すトリミング処理、各画素の輝度成分や色成分を調整する明るさ調整処理や色調整処理、透明処理等、画像データに対する各種の画像処理を必要に応じて行う。
この画像処理部18は、画像補正部としての顔画像補正部181を含む。顔画像補正部181は、撮影モードに関する設定として撮影画像中の顔を補正する補正モードが選択されている場合であって、器官検出部20によって撮影画像中の顔が検出された場合に、撮影画像やこの撮影画像を縮小処理した表示用の小画像(サムネイル:以下、「表示用小画像」と称す。)に対し、その顔領域を加工する補正処理を行う。以下、顔画像補正部181が撮影画像に対して行う補正処理を「本画像補正処理」、顔画像補正部181が表示用小画像に対して行う補正処理を「小画像補正処理」と称す。また、本画像補正処理を行った撮影画像を「補正付き撮影画像」と称す。また、補正処理の詳細については後述するが、本実施の形態では、撮影画像および表示用小画像に対して行う補正処理の内容自体は同一とする。ただし、撮影画像と表示用小画像とでは画像サイズが大きく異なるため、小画像補正処理は、本画像補正処理のように時間がかからず、短時間で実現できる。なお、表示用小画像に対して行う補正処理を、撮影画像に対して行う補正処理を簡略化した処理(例えば粗い処理)としてもよい。これによれば、小画像補正処理の処理時間の短時間化がより一層図れる。
器官検出部20は、撮影画像の画像データをもとに、周知技術であるパターンマッチングを適用してこの画像データ中の顔の領域(顔領域)を検出し、左右の目や鼻、唇等の各顔パーツを検出する。検出された人物画像中の顔領域の位置座標、各パーツの位置座標等のデータは、SDRAM15に記録される。
CPU21は、操作部26からの操作信号等に応じて内蔵メモリ22からカメラプログラムを読み出して実行し、デジタルカメラ1を構成する各部に対する指示やデータの転送等を行ってデジタルカメラ1の動作を統括的に制御する。例えば、CPU21は、記録制御部として、撮影画像や補正付き撮影画像を記録画像とし、この記録画像の画像データを着脱メモリ27に記録するための制御を行う。
このCPU21は、ソフトウェアによる処理機能として、補正制御部211と、表示制御部213とを備える。補正制御部211は、顔画像補正部181が行う本画像補正処理の中断および再開を制御する。表示制御部213は、ライブビュー画像や確認画像、記録画像を表示部23に表示する制御を行うとともに、本画像補正処理が終了していない撮影画像(以下、「処理中画像」と称す。)がある場合に、前述のライブビュー画像や記録画像とともに処理中画像を示す補助画像を表示部23に表示する制御を行う。
内蔵メモリ22は、例えばフラッシュメモリ等の電気的に書き換えが可能な不揮発性メモリであり、この内蔵メモリ22には、デジタルカメラ1を動作させ、このデジタルカメラ1が備える種々の機能を実現するための各種のカメラプログラムや、このカメラプログラムの実行中に使用されるデータ等が予め記録されている。なお、これらカメラプログラムやカメラプログラムの実行中に使用されるデータを記録する記録媒体はフラッシュメモリに限定されるものではなく、CD−ROMやDVD−ROM等の光学記録媒体、MD等の磁気記録媒体、テープ媒体、ICカードなどの半導体メモリを用いることができる。
表示部23は、ライブビュー画像や確認画像、記録画像の他、デジタルカメラ1の各種設定情報等を表示するためのものであり、LCD(Liquid Crystal Display)やELディスプレイ(Electroluminescence Display)等の表示装置で実現される。表示駆動回路24は、表示部23を駆動する。この表示部23には、撮影モード中は所定の表示フレームレートでライブビュー画像が動画的に連続表示され、再生モード中は着脱メモリ27に記録されている記録画像が表示される。
操作部26は、例えば撮影指示、再生指示、電源投入指示、電源遮断指示といったデジタルカメラ1の動作指示、補正モードを含む各種の撮影モードや再生モードといったデジタルカメラ1の動作モードに関する設定操作、あるいは撮影条件の設定操作等、ユーザによる各種操作を入力するためのものであり、操作入力に応じた操作信号をCPU21に通知する。この操作部26は、各種機能が割り当てられたボタンスイッチやスライドスイッチ、ダイヤル等で実現され、図1のレリーズスイッチ3、パワースイッチ4、メニュースイッチ5、十字キー6、OKスイッチ7および再生スイッチ8を含む。
通信I/F25は、例えばUSB(Universal Serial Bus)等の通信規格によってデジタルカメラ1を例えばパソコン等の外部機器と接続するためのインターフェースである。
着脱メモリ27は、例えばxD−ピクチャーカード(登録商標)やコンパクトフラッシュ(登録商標)カード等のデジタルカメラ1に着脱自在なメモリカードである。この着脱メモリ27には、その種類に応じた図示しない読み書き装置によって記録画像の画像データが書き込まれ、または読み書き装置によって着脱メモリ27に記録された画像データが読み出される。
電源回路28は、装填されている電池29によって供給される電力を、所定の電力に変換してデジタルカメラ1の各部へと供給する。
ここで、以上のように構成されるデジタルカメラ1の機能の一つである補正モードの概要について説明する。上記のように、本実施の形態のデジタルカメラ1は、撮影モードに関する設定として補正モードが選択されている場合に、顔または顔を構成する各顔パーツの領域の補正処理を行う。
ここで、補正処理は、人物等の被写体の顔を美しく表現するための処理であり、処理内容は特に限定されるものではないが、例としては、肌を滑らかに加工するスムージング処理や、肌を白く加工する美白処理、瞳にキャッチライトを合成するキャッチライト処理、唇の明るさや色を調整して艶感や立体感を発生させる艶処理等が挙げられる。スムージング処理では、例えば、肌の領域からシワやシミの部分を検出して周囲の肌の状態に置き換える補正を行う。美白処理では、例えば、肌の赤み部分を検出して周辺の肌の色と置き換える補正や、肌の白みを増すための補正、あるいは肌を日焼け色に補正する処理を行う。なお、例示した補正処理の他にも、例えば、目の開き具合を調整することによって目を大きく見せるような補正を行うこととしてもよい。これらの補正処理は、例えば、特開2004−180114号公報や特開2004−222118号公報、特開2004−318205号公報等に開示されている公知技術を用いることで実現できる。ただし、これらの文献に開示されている公知技術に限定されるものではなく、必要に応じた補正処理を適宜選択して用いることができる。また、これらの補正処理のうちの1つを行うこととしてもよいし、複数を組み合わせて行うこととしてもよい。
ところで、撮影画像に対して前述の各種補正処理を行うためには、ある程度の時間を要する。そこで本実施の形態のデジタルカメラ1は、撮影の後、補正処理(本画像補正処理)の終了を待たずに次の撮影に移ってライブビュー画像の表示を再開する。そして、新たなユーザ操作が入力されるまでの間は、このライブビュー画像の表示と並行し、本画像補正処理を継続して行う。そして、例えばレリーズスイッチ3やパワースイッチ4、メニュースイッチ5、十字キー6、OKスイッチ7、再生スイッチ8が押下され、撮影指示や再生指示といったデジタルカメラ1の動作指示を含む何らかのユーザ操作が入力された時点で本画像補正処理を中断する。また、入力されたユーザ操作に応じた処理を行った後、新たに別のユーザ操作が入力されなければ本画像補正処理を再開する。これによれば、本画像補正処理として所要時間の長い補正処理を行う場合であっても、例えば次の撮影や記録画像の再生といった通常のカメラ動作に影響を与えない。したがって、ユーザにとっては、撮影の後直ぐに次の撮影に移れるので、補正処理によって例えばシャッターチャンスを逃すといった事態は発生しない。
さらに、本実施の形態のデジタルカメラ1は、このように通常のカメラ動作と並行して補正処理を行う場合に、その進行状況をユーザに提示するための表示を行う。具体的には、デジタルカメラ1は、通常のカメラ動作中、処理中画像を示す補助画像を表示部23に表示する。
図3は、本画像補正処理の実行中または本画像補正処理を中断している場合における撮影モード中の画面構成例を示す図である。図3に示すように、本画像補正処理の実行中または中断中における撮影モードの表示画面は、画面中央にライブビュー画像を表示するメイン画面Wmが配置され、メイン画面Wmの下方に処理中画像を示す補助画像Ws(Ws−1,2,・・・)が配置されて構成される。ここで、処理中画像を示す補助画像Wsは、例えば、処理中画像である本画像補正処理が終了していない撮影画像の表示用小画像に対して補正処理(小画像補正処理)を施したもの(以下、「処理小画像」と称す。)である。処理中画像に対する本画像補正処理を終えると、対応する補助画像Wsは画面上から消去される。例えば、複数の処理中画像を示す補助画像Wsが表示されている場合には、本画像補正処理を終えたものから順番にその補助画像Wsが消去されていく。そして、最終的に全ての処理中画像についての本画像補正処理が終えると、画面中央のメイン画面Wmが全画面表示されるようになっている。一方、新たに処理中画像が追加された場合には、対応する補助画像Wsが追加される。
なお、図3では、補助画像をメイン画面の下方に配置することとしたが、配置位置はメイン画面Wmの上方あるいは側方であってもよい。また、ここでは撮影モード中の画面構成例を示したが、再生モード中においても、本画像補正処理の実行中または中断中であれば、同様の画面構成で記録画像の再生を行う。すなわち、再生モード中では、図3に示した画面構成と同様に、画面中央において着脱メモリ27に記録されている記録画像を再生(表示)するメイン画面を配置し、メイン画面の下方に処理中画像を示す補助画像(例えば処理小画像)を配置する。
これによれば、撮影モード中や再生モード中において、本画像補正処理の実行中または本画像補正処理を中断している処理中画像をユーザに提示できる。そしてこのとき、本実施の形態のように、処理小画像を補助画像として用いれば、処理中画像の補正イメージを提示できる。したがって、ユーザは、ライブビュー画像を見ながら、あるいは記録画像を見ながら処理中画像の有無や数を確認でき、本画像補正処理の進行状況を把握できる。また、これと併せて処理小画像によって処理中画像の補正イメージを確認できる。
図4は、補正モードが選択されている場合の撮影モード中の表示画面の遷移例を示す図である。図4(a)に示すように、撮影モード中、本画像補正処理の実行中または中断中でなければ、メイン画面Wm1が全画面表示され、このメイン画面Wm1にライブビュー画像が表示される。
例えば、図4(a)に示す状態でレリーズスイッチ3が押下され、セカンドレリーズスイッチがONされたとする。この場合には、ライブビュー画像の表示が一旦停止され、図4(a)のメイン画面Wm1に示すライブビュー画像の被写体範囲を撮影範囲とした撮影が行われる。そして、撮影画像中の顔検出が実行され、撮影画像中の顔を補正するための本画像補正処理が開始される。
その後、ライブビュー画像の表示が復帰するが、この時点で、図4(a)の後撮影された撮影画像に対する本画像補正処理を終えていない場合には、ライブビュー画像は、図3に示した画面構成で補助画像とともに表示される。すなわち、図4(b)に示すように、画面中央のメイン画面Wm2にライブビュー画像が表示される。そして、メイン画面Wm2の下方に処理中画像を示す補助画像Ws21として、図4(a)の後の撮影で得られた撮影画像の処理小画像が表示される。
ここで、さらに図4(b)に示す状態でレリーズスイッチ3が押下され、セカンドレリーズスイッチがONされたとする。この場合には、補助画像Ws21が示す処理中画像に対する本画像補正処理が中断される。そして、図4(b)のメイン画面Wm2に示すライブビュー画像の被写体範囲を撮影範囲とした撮影が行われ、その後、ライブビュー画像の表示が復帰する。例えばこの時点で、図4(a)の後撮影された撮影画像に対する本画像補正処理を終えていないとすると、この撮影画像および図4(b)の後に撮影された撮影画像の2枚の撮影画像に対する本画像補正処理を終えていないことになる。したがって、続く表示画面では、図4(c)に示すように、メイン画面Wm3の下方に前述の2枚の撮影画像の処理小画像である補助画像Ws31,Ws32が配置される。
そして、この状態でユーザ操作が入力されない状態が続けば、中断されていた本画像補正処理が再開され、各処理中画像に対する本画像補正処理が順次行われる。そして、最初に撮影された撮影画像に対する本画像補正処理を終えたならば、対応する補助画像が消去される。例えば図4(d)に示すように、メイン画面Wm4の下方には、2番目に撮影された撮影画像を処理中画像として示す補助画像Ws41のみが配置される。そして、2番目に撮影された撮影画像に対する本画像補正処理を終えれば、その補助画像も消去され、図4(e)に示すように、ライブビュー画像が表示されるメイン画面Wm5が全画面表示される。
次に、デジタルカメラ1の動作について説明する。図5および図6は、デジタルカメラ1の基本動作を示すフローチャートである。図5に示すように、デジタルカメラ1は、パワースイッチ4がスライドされて電源投入(パワースイッチON)が指示されるまで待機状態となり、パワースイッチがOFFの間は(ステップa1:No)、スリープ状態を継続して(ステップa3)、ステップa1に戻る。
そして、パワースイッチがONされた場合には(ステップa1:Yes)、電源回路28による各部への電源供給が開始され(ステップa5)、先ず、撮影モード設定を行う(ステップa7)。例えば、測光や露出演算に関する設定、AE/AF動作に関する設定等、撮影モードに関する各種設定を行う。本実施の形態では、このとき、撮影画像中で顔が検出された場合に顔を補正する補正モードの設定を行う。その後、測光・演算処理を行う(ステップa9)。
続いて、補正処理中フラグが「ON」なのか「OFF」なのかに応じて処理を分岐する。ここで、補正処理中フラグは、後述する撮影処理(図6のステップa33)中で設定されるフラグ情報であり、本画像補正処理を開始した時点でセット(ON)され、本画像補正処理を終了するとクリア(OFF)されるようになっている。そして、この補正処理中フラグがOFFの場合には(ステップa11:No)、表示制御部213が、ライブビュー画像を取り込んで表示部23に通常表示する(ステップa13)。ここでの処理によって、撮像素子11に結像されている被写体像の画像データがSDRAM15に一時的に記録され、ライブビュー画像として表示部23に表示される。このライブビュー画像は、所定のフレームレートで更新され、動画的に連続表示されるようになっている。一方、補正処理中フラグがONの場合にも(ステップa11:Yes)、表示制御部213は、ステップa13と同様にしてライブビュー画像を取り込むが、取り込んだライブビュー画像を、図3に示して説明した画面構成で補助画像とともに表示部23に表示する(ステップa15)。
続いて、CPU21が、ユーザ操作の有無を判定する。そして、何らかのユーザ操作が入力された場合には(ステップa17:Yes)、ステップa29に移行し、先ず補正制御部211が、実行中の本画像補正処理を中断させる。これに応答して顔画像補正部181が、実行中の本画像補正処理を中断する。ここで、本画像補正処理は、撮影処理(図6のステップa33)中で開始される処理であり、本画像補正処理の実行中でない場合には、特に処理を行わない。その後は、図6のステップa31に移行し、入力されたユーザ操作に応じた処理を行う。
一方、ステップa17において操作入力がない場合には(ステップa17:No)、CPU21は、続いて補正処理中フラグを判定し、補正処理中フラグがOFFの場合には(ステップa19:No)、ステップa9に戻る。一方、補正処理中フラグがONの場合には(ステップa19:Yes)、本画像補正再開処理に移る(ステップa21)。なお、本画像補正再開処理の詳細は後述するが、この本画像補正再開処理では、中断している本画像補正処理が再開される。そして、ユーザ操作が入力されない間は本画像補正処理が継続され、本画像補正処理を終了した時点で本画像補正再開処理を終えるようになっている。また、再開された本画像補正処理の実行中にユーザ操作が入力された場合には、本画像補正処理が再び中断され、本画像補正再開処理を終えるようになっている。
そして、ステップa21の本画像補正再開処理で本画像補正処理を終えた場合には(ステップa23:Yes)、CPU21は、補正処理中フラグをクリアし(ステップa25)、記録画像(ここでは補正付き撮影画像)の画像データを着脱メモリ27に記録する(ステップa27)。その後、ステップa9に戻る。また、ステップa21の本画像補正再開処理で本画像補正処理を終えていない場合、すなわちユーザ操作が入力されたことによって本画像補正再開処理を終えた場合には(ステップa23:No)、ステップa9に戻り、その後のステップで操作入力に応じた処理が行われることとなる。
また、図6に示すように、ステップa31では、レリーズスイッチ3が一段階押下され、ファーストレリーズスイッチがONされたか否かを判定する。ファーストレリーズスイッチがONされた場合には(ステップa31:Yes)、撮影処理を行う(ステップa33)。ONされなければ(ステップa31:No)、ステップa35に移行する。そして、再生スイッチ8がONされて再生指示が入力された場合には(ステップa35:Yes)、再生モードとなって再生処理を行う(ステップa37)。再生スイッチ8がONされなければ(ステップa35:No)、ステップa39に移行する。そして、メニュースイッチ5がONされた場合には(ステップa39:Yes)、設定変更処理を行う(ステップa41)。メニュースイッチ5がONされなければ(ステップa39:No)、ステップa43に移行する。
そして、ステップa43では、電源遮断指示を判定し、パワースイッチ4がスライドされて電源遮断(パワースイッチOFF)が指示された場合でなければ(ステップa43:No)、図5のステップa9に戻る。パワースイッチ4がOFFされて電源遮断指示が入力された場合には(ステップa43:Yes)、CPU21は、補正処理中フラグを判定する。補正処理中フラグがOFFの場合には(ステップa45:No)、電源回路28による各部の電源供給が停止され(ステップa55)、基本動作を終える。
一方、補正処理中フラグがONの場合には(ステップa45:Yes)、本画像補正再開処理に移る(ステップa47)。すなわち、この本画像補正再開処理では、図5のステップa21と同様に、中断している本画像補正処理が再開される。そして、ユーザ操作が入力されない間は本画像補正処理が継続され、本画像補正処理を終了した時点で本画像補正再開処理を終える。また、再開された本画像補正処理の実行中にユーザ操作が入力された場合には、本画像補正処理が再び中断され、本画像補正再開処理を終える。
そして、ステップa47の本画像補正再開処理で本画像補正処理を終えた場合には(ステップa49:Yes)、CPU21は、補正処理中フラグをクリアし(ステップa51)、記録画像(ここでは補正付き撮影画像)の画像データを着脱メモリ27に記録する(ステップa53)。その後、電源回路28による各部の電源供給が停止され(ステップa55)、基本動作を終える。
また、ステップa47の本画像補正再開処理で本画像補正処理を終えていない場合、すなわちユーザ操作が入力されたことによって本画像補正再開処理を終えた場合には(ステップa49:No)、ステップa43に戻り、その後のステップで操作入力に応じた処理が行われることとなる。
次に、図6に示した基本動作においてファーストレリーズスイッチがONされた場合に行う撮影処理(ステップa33)について説明する。図7および図8は、撮影処理の詳細な処理手順を示すフローチャートである。
図7に示すように、撮影処理では、先ず撮影準備動作として、AF部17がAF(自動焦点)動作を行い(ステップb1)、AE部16がAE(自動露出)動作を行う(ステップb3)。その後、セカンドレリーズスイッチがONされず(ステップb5:No)、ファーストレリーズスイッチがONされたままの間は(ステップb7:Yes)、待機状態となる。ファーストレリーズスイッチがOFFされた場合には(ステップb7:No)、リターンして図6のステップa35に進む。
そして、レリーズスイッチ3が二段階押下され、セカンドレリーズスイッチがONされて撮影指示が入力された場合には(ステップb5:Yes)、表示制御部213が、ライブビュー画像の表示部23への表示を一旦停止させる(ステップb8)。その後、CPU21が、撮像部10を駆動して撮影処理時の露出を制御し(ステップb9)、画像データの読み出し処理を行う(ステップb11)。ここでの処理によって、セカンドレリーズスイッチがONされたタイミングの撮影範囲の画像が撮影画像として生成され、その画像データがSDRAM15に一時的に記録される。
続いて、画像処理部18が、撮影画像に対して必要な画像処理を行う(ステップb13)。このとき、画像処理部18は、撮影画像を縮小処理して表示用小画像(サムネイル)を生成する処理を行う。そして、CPU21が、補正モードを選択した撮影モードが設定されているか否かを判定する。補正モードが選択されていなければ(ステップb15:No)、図8のステップb25に移行する。一方、補正モードが選択されている場合には(ステップb15:Yes)、器官検出部20が顔検出を実行する(ステップb17)。器官検出部20は、撮影画像からそれぞれ顔領域を検出し、この顔領域の検出結果をもとに、顔領域中の各顔パーツを検出する。
その後、CPU21が、ステップb17の顔検出で顔を検出したか否かを判定する。顔を検出しなかった場合には(ステップb19:No)、図8のステップb25に移行する。一方、顔を検出したならば(ステップb19:Yes)、続いて画像処理部18の顔画像補正部181が、図8のステップb37で開始する本画像補正処理に先立って小画像補正処理を行い、表示用小画像中の顔領域を補正処理する(ステップb21)。そして、CPU21が補正処理中フラグをセット(ON)した後(ステップb23)、図8のステップb25に移行する。
すなわち、ステップb25では、表示制御部213が、確認画像を表示部23に表示する制御(レックビュー)を開始する。ここで、確認画像は、撮影の結果生成されて着脱メモリ27に記録される記録画像の内容をユーザに提示するための確認用の表示である。例えば補正モードが選択されていない場合や、補正モードが選択されているものの撮影画像中で顔が検出されない場合には、通常の画像処理後の撮影画像が確認画像として表示部23に表示される。一方、補正モードが選択されており、撮影画像中で顔が検出された場合には、顔領域を補正処理した小画像補正処理後の処理小画像が確認画像として表示部23に表示される。
続いて、CPU21は、タイマーを起動して所定時間(確認画像の表示時間)の計時を開始し(ステップb27)、補正処理中フラグを判定する。補正処理中フラグがOFFであれば(ステップb29:No)、記録画像の画像データを着脱メモリ27に記録する(ステップb31)。このステップb31では、例えば、補正モードが選択されていない場合や、補正モードが選択されているものの補正画像中で顔が検出されない場合の通常の画像処理後の撮影画像を記録画像としてその画像データを着脱メモリ27に記録する。あるいは、本画像補正処理が終了した未記録の画像データがあれば、その補正付き撮影画像を記録画像としてその画像データを着脱メモリ27に記録する。
その後、CPU21は、タイマーの計時を監視し、タイマーの計時が確認画像の表示時間を超過せず、タイムアップしない間は(ステップb33:No)、ユーザ操作の有無を判定する。操作入力がなければ(ステップb35:No)、ステップb33に戻る。そして、タイマーの計時が所定時間を超過し、タイムアップした場合(ステップb33:Yes)、あるいはユーザ操作が入力された場合には(ステップb35:Yes)、ステップb49に移行し、表示制御部213が、確認画像の表示部23への表示(レックビュー)を終了する。そして、図6のステップa35に進む。
一方、ステップb29で判定した補正処理中フラグがONの場合には(ステップb29:Yes)、顔画像補正部181が本画像補正処理を開始する(ステップb37)。ここで開始される本画像補正処理によって、撮影画像中の顔領域が補正処理され、最終的に本画像補正処理を終えたときに補正付き撮影画像が得られる。なお、例えば前回撮影した撮影画像に対する本画像補正処理を終えていない場合等、この時点で本画像補正処理を中断している場合には、補正制御部211は、今回撮影された撮影画像を処理中画像に追加し、中断していた本画像補正処理を再開させる。
その後、CPU21は、タイマーがタイムアップしない間は(ステップb39:No)、本画像補正処理を終了したか否かを判定する。そして、確認画像の表示中に本画像補正処理を終了した場合には(ステップb41:Yes)、補正処理中フラグをクリア(OFF)した後(ステップb43)、ステップb31に移行する。また、本画像補正処理を終了しない場合には(ステップb41:No)、ユーザ操作の有無を判定し、操作入力がなければ(ステップb45:No)、ステップb39に戻る。
そして、ユーザ操作が入力されないままタイマーがタイムアップした場合には(ステップb39:Yes)、ステップb49に移行し、表示制御部213が、確認画像の表示部23への表示(レックビュー)を終了する。そして、図6のステップa35に進む。
一方、確認画像の表示中に何らかのユーザ操作が入力された場合には(ステップb45:Yes)、補正制御部211が、実行中の本画像補正処理を中断させる(ステップb47)。その後ステップb49に移行し、表示制御部213が、確認画像の表示部23への表示(レックビュー)を終了する。そして、図6のステップa35に進む。なお、図6のステップa35に進んだ後、その後のステップ(具体的には図5のステップa13またはステップa15)で、撮影の間一旦停止されていたライブビュー画像の表示が開始される。これにより、顔画像補正部181による本画像補正処理の終了を待たずにライブビュー画像の表示を再開する制御が実現される。そして、さらにその後のステップで操作入力に応じた処理が行われることとなる。
次に、図6に示した基本動作において再生スイッチ8がONされた場合に行う再生処理(ステップa37)について説明する。図9は、再生処理の詳細な処理手順を示すフローチャートである。
図9に示すように、再生処理では先ず、CPU21が、着脱メモリ27から記録画像を読み込む処理を行う(ステップc1)。続いて、CPU21は、補正処理中フラグを判定する。そして、補正処理中フラグがOFFの場合には(ステップc3:No)、表示制御部213は、読み込んだ記録画像を表示部23に表示する制御を行って再生する(ステップc5)。一方、補正処理中フラグがONの場合にも(ステップc3:Yes)、読み込んだ記録画像を表示部23に表示する制御を行って再生するが、このとき、表示制御部213が、図3に示して説明したライブビュー画像の表示と同様に読み込んだ記録画像を補助画像とともに表示部23に表示する制御を行って再生する(ステップc7)。なお、記録画像の再生は、例えば、過去に撮影されて着脱メモリ27に記録されている記録画像の画像データを撮影順に1枚ずつ順番に読み込んで表示する構成としてもよいし、複数の記録画像のサムネイルデータを読み出して一覧表示する制御を行い、ユーザ操作に従って一覧の中から選択した記録画像の画像データを表示する構成としてもよい。
続いて、例えば十字キー6がONされ、再生中の記録画像の切り換え操作が入力された場合には(ステップc9:Yes)、CPU21は、指定された記録画像を着脱メモリ27から読み込む処理を行って(ステップc11)、ステップc3に戻る。
一方、十字キー6がONされない場合には(ステップc9:No)、CPU21は、補正処理中フラグを判定し、補正処理中フラグがOFFであれば(ステップc13:No)、ステップc23に移行する。一方、補正処理中フラグがONの場合には(ステップc13:Yes)、本画像補正再開処理を行う(ステップc15)。すなわち、この本画像補正再開処理では、図5のステップa21や図6のステップa47と同様に、中断している本画像補正処理が再開される。そして、ユーザ操作が入力されない間は本画像補正処理が継続され、本画像補正処理を終了した時点で本画像補正再開処理を終える。また、再開された本画像補正処理の実行中にユーザ操作が入力された場合には、本画像補正処理が再び中断され、本画像補正再開処理を終える。
そして、ステップc15の本画像補正再開処理で本画像補正処理を終えた場合には(ステップc17:Yes)、CPU21は、補正処理中フラグをクリアし(ステップc19)、記録画像(ここでは補正付き撮影画像)の画像データを着脱メモリ27に記録する(ステップc21)。その後、ステップc23に移行する。また、ステップc15の本画像補正再開処理で本画像補正処理を終えていない場合、すなわちユーザ操作が入力されたことによって本画像補正再開処理を終えた場合には(ステップc17:No)、ステップc23に移行し、その後のステップで操作入力に応じた処理が行われることとなる。
すなわち、ステップc23では、電源遮断指示の有無を判定し、パワースイッチ4がスライドされて電源遮断(パワースイッチOFF)が指示された場合でなければ(ステップc23:No)、ステップc25に移る。パワースイッチ4がOFFされて電源遮断指示が入力された場合には(ステップc23:Yes)、図6のステップa39に進む。例えば、ステップc15の本画像補正再開処理中にユーザ操作が入力されて本画像補正処理を中断した場合であって、このときに入力されたユーザ操作が電源遮断指示の場合、図6のステップa39に進む。
また、ステップc25では、再生スイッチ8がONされたか否かを判定する。再生スイッチ8がONされていなければ(ステップc25:No)、ステップc9に戻る。そして、再生スイッチ8がONされた場合には(ステップc25:Yes)、再生処理を終了し、図6のステップa39に進む。例えば、ステップc15の本画像補正再開処理中にユーザ操作が入力されて本画像補正処理を中断した場合であって、このときに入力されたユーザ操作が再生スイッチのON操作の場合、図6のステップa39に進む。ここでの処理により、デジタルカメラ1は、再生モードから撮影モードとなる。
次に、図6に示した基本動作においてメニュースイッチ5がONされた場合に行う設定変更処理(ステップa41)について説明する。図10は、設定変更処理の詳細な処理手順を示すフローチャートである。
図10に示すように、設定変更処理では先ず、CPU21が、各種設定メニューを提示した操作画面とともに設定・変更依頼の通知を表示部23に表示する制御を行う(ステップd1)。そして、CPU21は、この設定・変更依頼の通知に応答して入力された設定・変更操作に応じて各種動作モードの設定変更等を行うための処理を実行する(ステップd3)。ここでの設定変更処理によって、撮影モードや再生モードに関する各種設定を変更することができ、例えば撮影モードとして、補正モードを選択するか否かの設定を変更する(切り換える)ことができる。
続いて、CPU21は、補正処理中フラグを判定し、補正処理中フラグがOFFであれば(ステップd5:No)、ステップd15に移行する。一方、補正処理中フラグがONの場合には(ステップd5:Yes)、本画像補正再開処理を行う(ステップd7)。すなわち、この本画像補正再開処理では、図5のステップa21や図6のステップa47、図9のステップc15と同様に、中断している本画像補正処理が再開される。そして、ユーザ操作が入力されない間は本画像補正処理が継続され、本画像補正処理を終了した時点で本画像補正再開処理を終える。また、再開された本画像補正処理の実行中にユーザ操作が入力された場合には、本画像補正処理が再び中断され、本画像補正再開処理を終える。
そして、ステップd7の本画像補正再開処理で本画像補正処理を終えた場合には(ステップd9:Yes)、CPU21は、補正処理中フラグをクリアし(ステップd11)、記録画像(ここでは補正付き撮影画像)の画像データを着脱メモリ27に記録する(ステップd13)。その後、ステップd15に移行する。また、ステップd7の本画像補正再開処理で本画像補正処理を終えていない場合、すなわちユーザ操作が入力されたことによって本画像補正再開処理を終えた場合には(ステップd9:No)、ステップd15に移行し、その後のステップで操作入力に応じた処理が行われることとなる。
そして、ステップd15では、電源遮断指示の有無を判定し、パワースイッチ4がスライドされて電源遮断(パワースイッチOFF)が指示された場合でなければ(ステップd15:No)、ステップd17に移る。パワースイッチ4がOFFされて電源遮断指示が入力された場合には(ステップd15:Yes)、図6のステップa43に進む。例えば、ステップd7の本画像補正再開処理中にユーザ操作が入力されて本画像補正処理を中断した場合であって、このときに入力されたユーザ操作が電源遮断指示の場合、図6のステップa43に進む。
また、ステップd17では、設定終了操作が入力されたか否かを判定する。設定終了操作が入力されていなければ(ステップd17:No)、ステップd3に戻る。一方、設定終了操作が入力された場合には(ステップd17:Yes)、設定変更処理を終了し、図6のステップa43に進む。例えば、ステップd7の本画像補正再開処理中にユーザ操作が入力されて本画像補正処理を中断した場合であって、このときに入力されたユーザ操作が設定終了操作の場合、図6のステップa43に進む。
次に、図5のステップa21や図6のステップa47、図9のステップc15、図10のステップd7で行う本画像補正再開処理について説明する。図11は、本画像補正再開処理の詳細な処理手順を示すフローチャートである。
図11に示すように、本画像補正再開処理では、先ず補正制御部211が、中断中の本画像補正処理を再開させる(ステップe1)。これに応答して顔画像補正部181は、中断中の本画像補正処理を前回の中断位置から実行する(ステップe3)。そして、CPU21が、ユーザ操作の有無を判定する。そして、操作入力がない場合であって(ステップe5:No)、本画像補正処理を終了するまでの間は(ステップe7:No)、ステップe3に戻って本画像補正処理を継続して行う。そして、本画像補正処理を終了したならば(ステップe7:Yes)、処理を終える(図5のステップa23や図6のステップa49、図9のステップc17、図10のステップd9に進む)。
一方、何らかのユーザ操作が入力された場合には(ステップe5:Yes)、補正制御部211が、実行中の本画像補正処理を中断させる(ステップe9)。これに応答して顔画像補正部181が、実行中の本画像補正処理を中断する。その後、処理を終える(図5のステップa23や図6のステップa49、図9のステップc17、図10のステップd9に進む)。
以上説明したように、本実施の形態によれば、撮影指示に応じて記録用の撮影画像を生成した後、この記録用の撮影画像に対する補正処理を開始するが、この補正処理の終了を待たずにライブビュー画像の表示を再開することができる。そして、デジタルカメラ1の動作指示を含む何らかのユーザ操作が入力された時点で実行中の補正処理を中断し、入力されたユーザ操作に応じた処理を優先して行うことができる。さらに、ユーザ操作に応じた処理の後、新たな操作入力がなければ補正処理を再開することができる。したがって、撮影の後、通常のカメラ動作に影響を与えることなく撮影画像に対する補正処理を行うことができる。
また、本画像補正処理の実行中または中断中にパワースイッチがOFFされて電源遮断指示が入力された場合には、電源を遮断する前に実行中または中断中の本画像補正処理を最後まで行うことができる。したがって、処理中画像に対する補正処理を確実に終えてから、電源を遮断することができる。
なお、上記した実施の形態では、記録用の撮影画像に対して行う補正処理として、撮影画像中に含まれる顔領域の補正処理を例示したが、顔領域以外の領域に補正処理する場合にも同様に適用できる。例えば、撮像レンズにクロスフィルターを装着して撮影したような演出効果を画像全体に施すといった各種のフィルタ処理を補正処理として行う場合等にも適用できる。
また、上記した実施の形態では、補助画像や確認画像として表示用小画像に対して小画像補正処理を施した処理小画像を用いることとしたが、これに限定されない。例えば、表示用小画像を補助画像や確認画像として用いてもよい。
また、本発明は、上記した実施の形態そのままに限定されるものではなく、上記した実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を除外して形成してもよい。
また、補正制御部211や表示制御部213が行う処理等、上記した実施の形態でCPU21が行うこととして説明した処理は、CPU21がプログラムを実行することによってソフトウェアとして実現する場合に限定されるものではなく、一部または全部をハードウェアで構成してもよい。一方、画像処理部18や顔画像補正部181、器官検出部20等をハードウェアで実現する構成について説明したが、所定のプログラムを実行することによってソフトウェアとして実現することとしてもよい。
また、上記実施の形態では、本発明のカメラの具体例としてデジタルカメラを例にとって説明したが、これに限定されるものではなく、携帯電話のカメラ部やPC付属のカメラ部に適用してもよい。そして、静止画像データを加工して補正処理する場合について説明したが、補正処理の対象は静止画像データに限定されるものではなく、動画像データに対しても同様に適用できる。