以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係わるカメラは、デジタルカメラであり、撮像素子103等を含む撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置したLCD135からなる表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ釦の操作時には、静止画画像データが記録媒体131に記録され、また動画釦の操作時には動画画像データが記録媒体に記録される。
また、ユーザの設定により、撮影モードとしてHDRモードが設定されている場合には、露出条件の異なる複数の画像データを取得し、この複数の画像データを用いて、ダイナミックレンジを広げたHDR画像を合成する。また、ユーザの設定により、クロスフィルタ効果、線画効果、シェーディング効果、スポットカラー効果等の特殊効果モードが設定されている場合には、取得した画像データに対して、これらの画像処理を施す。さらに、HDRモードと特殊効果モードの両方が設定されている場合には、HDR効果処理前の画像を用いて特殊効果処理に必要となる合成前処理を行い、HDR効果処理後の画像に対して特殊効果を適用することで、HDR効果と特殊効果の双方の効果が適切に付加された画像を合成する。
図1は、本発明の一実施形態に係わるカメラの主として電気的構成を示すブロック図である。このカメラは、カメラ本体100と、これに脱着可能な交換式レンズ200とから構成される。なお、本実施形態においては、撮影レンズは交換レンズ式としたが、これに限らず、カメラ本体に撮影レンズが固定されるタイプのデジタルカメラであっても勿論かまわない。
交換式レンズ200は、撮影レンズ201、絞り203、ドライバ205、マイクロコンピュータ207、フラッシュメモリ209から構成され、後述するカメラ本体100との間にインターフェース(以後、I/Fと称す)300を有する。
撮影レンズ201は、被写体像を形成するための複数の光学レンズから構成され、単焦点レンズまたはズームレンズである。この撮影レンズ201の光軸の後方には、絞り203が配置されており、絞り203は口径が可変であり、撮影レンズ201を通過した被写体光束の光量を制限する。また、撮影レンズ201はドライバ205によって光軸方向に移動可能であり、マイクロコンピュータ207からの制御信号に基づいて、撮影レンズ201のピント位置が制御され、ズームレンズの場合には、焦点距離も制御される。また、ドライバ205は、絞り203の口径の制御も行う。
ドライバ205に接続されたマイクロコンピュータ207は、I/F300およびフラッシュメモリ209に接続されている。マイクロコンピュータ207は、フラッシュメモリ209に記憶されているプログラムに従って動作し、後述するカメラ本体100内のマイクロコンピュータ121と通信を行い、マイクロコンピュータ121からの制御信号に基づいて交換式レンズ200の制御を行う。
フラッシュメモリ209には、前述したプログラムの他、交換式レンズ200の光学的特性や調整値等の種々の情報が記憶されている。交換レンズ200の光学的特性としては、例えば、焦点距離情報、開放絞り値、シェーディング情報等がある。I/F300は、交換式レンズ200内のマイクロコンピュータ207とカメラ本体100内のマイクロコンピュータ121の相互間の通信を行うためのインターフェースである。
カメラ本体100内であって、撮影レンズ201の光軸上には、メカシャッタ101が配置されている。このメカシャッタ101は、被写体光束の通過時間を制御し、公知のフォーカルプレーンシャッタ等が採用される。このメカシャッタ101の後方であって、撮影レンズ201によって被写体像が形成される位置には、撮像素子103が配置されている。
撮像素子103は、撮影レンズ201によって形成された被写体像の画像データを取得する撮像部として機能する。撮像素子103は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ―配列のRGBフィルタが配置されている。なお、撮像素子103はベイヤ配列に限定されず、例えばFovionのような形式でも勿論かまわない。また、撮像素子103は電子シャッタを有しており、電気的に撮像時間を制御する露出制御部としても機能する。
撮像素子103はアナログ処理部105に接続されており、このアナログ処理部105は、撮像素子103から読み出した光電変換信号(アナログ画像信号)に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。アナログ処理部105はA/D変換部107に接続されており、このA/D変換部107は、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号(以後、画像データという)をバス110に出力する。なお、本明細書においては、画像処理部109において画像処理される前の生の画像データをRAWデータと称する。
バス110は、カメラ本体100の内部で読み出され若しくは生成された各種データをカメラ本体100の内部に転送するための転送路である。バス110には、前述のA/D変換部107の他、画像処理部109、AE(Auto Exposure)処理部111、AF(Auto Focus)処理部113、HDR合成処理部115、画像圧縮展開部117、マイクロコンピュータ121、SDRAM(Synchronous DRAM)127、メモリインターフェース(以後、メモリI/Fという)129、液晶ディスプレイ(以後、LCDという)ドライバ133が接続されている。
画像処理部109は、基本的な画像処理を行う基本画像処理部109aと、特殊効果モード(アートフィルタとも言う)が設定された場合に特殊効果を施すための特殊画像処理部109bを有している。基本画像処理部109aは、RAWデータに対して、オプティカルブラック(OB)減算処理、ホワイトバランス(WB)補正、ベイヤデータの場合に行う同時化処理、ガンマ・色再現処理、カラーマトリックス演算、ノイズリダクション(NR)処理、エッジ強調処理等を行う。また、基本画像処理部109aは、上記ガンマ・色再現処理において、特殊効果モードに対応したガンマ補正(階調変換)を行う階調変換部として機能する。なお、色再現処理(色補正、彩度補正)についても特殊効果に対応した処理を行う。
また、特殊画像処理部109bは、後述するHDR合成処理部115によって生成されたHDR画像データに対して特殊効果を適用する特殊効果処理部としての機能を有する。具体的には、特殊画像処理部109bは、設定された特殊効果モードに応じて、クロスフィルタ効果付加、線画効果、シェーディング付加、スポットカラー効果等の種々の視覚的な特殊効果を付与する特殊画像処理を行う。これらの種々の画像処理を行うために、画像処理部109は、SDRAM127に一時記憶された画像データを読出し、この画像データに対して画像処理を施し、画像処理を施した画像データをバス110に出力する。
画像処理部109は、撮像部として機能する撮像素子103から得た複数の画像データの少なくとも1枚の画像データに対して合成前処理を行う合成前処理部としての機能を有する。また、画像処理部109は、合成前処理部の機能として、さらにHDR合成前の少なくとも1つの画像データから特徴量を抽出する特徴量抽出部としての機能も果たし、この抽出された特徴量に基づいて特殊画像処理部109bは、HDR画像データに対して特殊効果を適用する。
特徴量については、詳しくは後述するが、クロスパターン描画の場合には、高輝度点情報であり、線画効果の場合にはエッジ成分の抽出であり、スポットカラー効果の場合には色を残す領域等である。特徴量抽出部は複数の画像データのおけるいずれか1つの画像データから特徴量を抽出する。合成前処理部は、撮影時のレンズシェーディングを補正するシェーディング補正部としての機能を有する。なお、本実施形態においては、合成前処理部は、画像処理部109の機能として説明したが、画像処理部109と別に設けてもよく、また画像処理部109やマイクロコンピュータ121等が共同して機能するようにしてもよい。
AE処理部111は、バス110を介して入力した画像データに基づいて被写体輝度を測定し、この被写体輝度情報を、バス110を介してマイクロコンピュータ121に出力する。被写体輝度の測定のために専用の測光センサを設けても良いが、本実施形態においては、画像データに基づいて被写体輝度を算出する。
AF処理部113は、画像データから高周波成分の信号を抽出し、積算処理により合焦評価値を取得し、バス110を介してマイクロコンピュータ121に出力する。本実施形態においては、いわゆるコントラスト法によって撮影レンズ201のピント合わせを行う。
HDR合成処理部115は、複数枚の画像データを合成し、ダイナミックレンジを広げ、高階調のHDR画像データを生成する。具体的には、撮影モードとして、HDRモードが設定された場合には、撮像部が露出条件を変えて複数の画像データを取得し、SDRAM127に一時記憶する。HDR合成処理部115は、一時記憶された複数の画像データを用いて、HDR合成を行う。HDR合成処理部115は、また、特徴量抽出部として機能する画像処理部109において特徴量の抽出を行った画像データに対して合成処理における画像位置の位置合わせを行う。
画像圧縮展開部117は、画像データの記録媒体131への記録時に、SDRAM127から読み出した画像データを、静止画の場合にはJPEG圧縮方式等、また動画の場合にはMPEG等の各種圧縮方式に従って圧縮する。マイクロコンピュータ121は、JPEG画像データやMPEG画像データに対して、JPEGファイルやMPOファイル、MPEGファイルを構成するために必要なヘッダを付加してJPEGファイルやMPOファイル、MPEGファイルを作成し、この作成したファイルをメモリI/F129を介して記録媒体131に記録する。
また、画像圧縮展開部117は、画像再生表示用にJPEG画像データやMPEG画像データの伸張も行う。伸張にあたっては、記録媒体131に記録されているファイルを読み出し、画像圧縮展開部117において伸張処理を施した上で、伸張した画像データをSDRAM127に一時記憶する。なお、本実施形態においては、画像圧縮方式としては、JPEG圧縮方式やMPEG圧縮方式を採用するが、圧縮方式はこれに限らずTIFF、H.264等、他の圧縮方式でも勿論かまわない。
マイクロコンピュータ121は、このカメラ全体の制御部としての機能を果たし、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ121には、前述のI/F300以外に、操作部123およびフラッシュメモリ125が接続されている。
操作部123は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字釦、OK釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマイクロコンピュータ121に出力する。マイクロコンピュータ121は、操作部123からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。
電源釦は、当該デジタルカメラの電源のオン/オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該デジタルカメラの電源はオフとなる。
レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチからなる。マイクロコンピュータ121は、ファーストレリーズスイッチがオンとなると、AE動作やAF動作等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ101等を制御し、撮像素子103等から被写体画像に基づく画像データを取得し、この画像データを記録媒体131に記録する一連の撮影シーケンスを実行して撮影を行う。
動画釦は、動画の撮影を開始させ、また終了させるための釦である。初期状態では動画未撮影状態であるので、この状態で動画釦を押すと動画の撮影を開始し、動画撮影中に動画釦を押すと、動画の撮影を終了する。従って、動画釦を押すたびに、動画の撮影開始と終了を交互に繰り返す。再生釦は、再生モードの設定と解除するための操作釦であり、再生モードが設定されると、記録媒体131から撮影画像の画像データを読み出し、LCD135に撮影画像を再生表示する。
メニュー釦は、メニュー画面をLCD135に表示させるための操作釦である。メニュー画面上では、各種のカメラ設定を行うことができる。カメラ設定としては、特殊効果モード(アートフィルタとも言う)の設定がある。特殊効果としては、前述したように、クロスフィルタ効果付加、線画効果、シェーディング付加、スポットカラー効果等、種々の特殊効果が設定可能である。
また、メニュー画面上では、撮影モードとして、複数の画像を合成して輝度レンジの広い画像を生成するHDRモードの設定も行うことができる。なお、本実施形態においては、特殊効果モードおよびHDRモードをメニュー画面上で設定するようにしているが、専用の操作釦等、他の操作部材を設けるようにしても勿論かまわない。
フラッシュメモリ125は、マイクロコンピュータ121の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ121はこのプログラムに基づいてカメラ全体の制御を行う。また、フラッシュメモリ125は、カラーマトリックス係数、ホワイトバランスモードに応じたRゲインとBゲイン、ガンマテーブル、露出条件決定テーブル等の種々の調整値を記憶している。これらの係数は、設定される特殊効果モードに応じて異なる値を記憶している。
SDRAM127は、画像データ等の一時記憶用の電気的書き換え可能な揮発性メモリである。このSDRAM127は、A/D変換部107から出力された画像データや、画像処理部109や画像圧縮展開部117等において処理された画像データを一時記憶する。前述したように、HDRモードが設定された場合には、撮像素子103から出力される露出条件の異なる複数の画像データが一時記憶される。
メモリI/F129は、記録媒体131に接続されており、画像データや画像データに添付されたヘッダ等のデータを、記録媒体131に書き込みおよび読出しの制御を行う。記録媒体131は、例えば、カメラ本体100に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体100に内蔵されたハードディスク等であっても良い。
LCDドライバ133は、LCD135に接続されており、SDRAM127や記録媒体131から読み出され、画像圧縮展開部117によって伸張された画像データに基づいて画像をLCD135において表示させる。LCD135は、カメラ本体100の背面等に配置された液晶パネルを含み、画像表示を行う。画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体131に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。なお、表示部としては、LCDに限らず、有機EL等、他の表示パネルを採用しても勿論かまわない。
次に、図2および図3に示すフローチャートを用いて、本実施形態におけるカメラのメイン処理について説明する。なお、図2ないし図6に示すフローチャートはフラッシュメモリ125に記憶されているプログラムに従ってマイクロコンピュータ121が実行する。
操作部123の内の電源釦が操作され、電源オンとなると、図2に示すメインフローが動作を開始する。動作を開始すると、まず、初期化を実行する(S1)。初期化としては、機械的初期化や各種フラグ等の初期化等の電気的初期化を行う。例えば、各種フラグの1つとして動画記録中かを示す記録中フラグをオフにリセットする。
初期化を行うと、次に、再生釦が押されたか否かを判定する(S3)。ここでは、操作部123内の再生釦の操作状態を検知し、判定する。この判定の結果、再生釦が押された場合には、再生モードを実行する(S5)。ここでは、記録媒体131から画像データを読み出し、LCD135に静止画と動画の一覧を表示する。ユーザは十字釦を操作することにより、一覧の中から画像を選択し、OK釦により画像を確定する。画像が確定されると、LCD135に画像が再生表示される。再生が終わると、ステップS3に戻る。
ステップS3における判定の結果、再生釦が押されていなかった場合には、次に、メニュー釦が操作されたか否かを判定する(S7)。ここでは、操作部123内のメニュー釦の操作状態を検知し、判定する。
ステップS7における判定の結果、メニュー釦が押された場合には、カメラ設定を行う(S9)。前述したように、種々のカメラ設定をメニュー画面で行うことができる。カメラ設定としては、例えば、撮影モードとして通常モードとHDRモードの設定がある。撮影モードとしては、デフォルトとしては通常モードが設定されており、ユーザは、メニュー画面で、複数の画像を合成し輝度レンジの広い画像を得たい場合にはHDRモードを設定すればよい。また、撮影モード以外にも、静止画記録モードとして、JPEG記録、JPEG+RAW記録、RAW記録の設定を行うことができ、動画記録モードとして、Motion−JPEG記録、H.264記録等、種々のカメラ設定が可能である。カメラ設定を行うと、ステップS3に戻る。
ステップS7における判定の結果、メニュー釦が押されていなかった場合には、次に、動画釦が押されたか否かの判定を行う(S11)。ここでは、操作部123内の動画釦の操作状態を検知し、判定する。
ステップS25における判定の結果、動画釦が押された場合には、次に、記録中フラグの反転を行う(S13)。前述したように、動画釦は押されるたびに、動画撮影開始と終了を交互に繰り返すので、このステップでは、記録中フラグがオフであった場合にはオンに、またオンであった場合にはオフに、記録中フラグを反転させる。
記録中フラグを反転させると、次に、動画記録中か否かの判定を行う(S15)。記録中フラグが動画の記録状態を示しているので、このステップでは、記録中フラグがオンであるか否かの判定を行う。
ステップS15における判定の結果、動画記録中であった場合には、動画ファイルの作成を行う(S17)。動画釦が押され、記録中フラグを反転させた結果、動画記録中であることから、動画記録を開始したタイミングである。そこで、このステップでは、動画の記録用の新しい動画ファイルを生成する。
ステップS17において動画ファイルを生成すると、またはステップS15における判定の結果、動画記録中でなかった場合には、またはステップS11における判定の結果、動画釦が押されていなかった場合には、次に、ステップS15と同様に、動画記録中であるか否かの判定を行う(S21)。
ステップS21における判定の結果、動画記録中でなかった場合には、次に、レリーズ釦が半押しされたか否か、言い換えると、ファーストレリーズスイッチがオフからオンとなったか否かの判定を行う(S23)。この判定は、レリーズ釦に連動するファーストレリーズスイッチの状態を操作部123によって検知し、この検知結果に基づいて行う。検知の結果、ファーストレリーズスイッチがオフからオンに遷移した場合には判定結果はYesとなり、一方、オン状態またはオフ状態が維持されている場合には、判定結果はNoとなる。
ステップS23における判定の結果、レリーズ釦が半押しされ、オフからファーストレリーズに遷移した場合には、AE・AF動作を実行する(S25)。ここでは、AE処理部111が、撮像素子103によって取得された画像データに基づいて被写体輝度を検出し、この被写体輝度に基づいて、適正露出となるシャッタ速度、絞り値等を算出する。
また、AF処理部113によって取得された合焦評価値がピーク値となるように、交換式レンズ200内のマイクロコンピュータ207を介してドライバ205が撮影レンズ201のピント位置を移動させる。したがって、動画撮影を行っていない場合に、レリーズ釦が半押しされると、その時点で、撮影レンズ201のピント合わせを行う。
ステップS23における判定の結果、レリーズ釦がオフからファーストレリーズに遷移しなかった場合には、次に、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになったか否かの判定を行う(S31)。このステップでは、レリーズ釦に連動するセカンドレリーズスイッチの状態を操作部123によって検知し、この検知結果に基づいて判定を行う。
ステップS31における判定の結果、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになった場合には、HDRモードか否かの判定を行う(S33)。前述したように、HDRモードは、メニュー画面において設定されるので、ここでは、メニュー画面における設定状態に基づいて判定する。
ステップS33における判定の結果、HDRモードでなかった場合には、通常撮影モードであることから、通常の静止画撮影を行う(S35)。ここでは、ステップS25において演算された絞り値で絞り203が制御され、また演算されたシャッタ速度でメカシャッタ101のシャッタ速度が制御される。そして、シャッタ速度に応じた露光時間が経過すると、撮像素子103から画像信号が読み出され、アナログ処理部105およびA/D変換部107によって処理された画像データがバス110に出力される。なお、本実施形態においては、シャッタ速度はメカシャッタ101によって制御していたが、撮像素子103の電子シャッタによってシャッタ速度の制御を行うようにしても勿論かまわない。
撮影を行うと、次に、画像処理を行う(S39)。ここでは、ステップS35において取得した画像データに対して、基本画像処理部109aがオプティカルブラック(OB)減算、ホワイトバランス(WB)補正、同時化処理、カラーマトリックス演算、ガンマ変換、色補正等の画像処理を施す。この画像処理の詳細については、図6を用いて後述する。
一方、ステップS33における判定の結果、HDRモードであった場合には、HDRモードにおける撮影を行う(S37)。ここでは、階調の異なる複数の画像を撮影し、この複数の画像を合成することにより、輝度レンジの広いHDR画像を生成する。また、特殊効果モードが設定されている場合には、特殊効果を施し、かつ輝度レンジの広いHDR画像を生成する。このHDRモード撮影の詳しい処理については、図4を用いて後述する。
ステップS37においてHDRモード撮影を行うと、またはステップS39において画像処理を行うと、次に静止画記録を行う(S41)。ここでは、ステップS37またはS39において画像処理を行った静止画の画像データを、メニュー画面において設定したJPEG記録モード等の静止画記録モードに従い、画像圧縮展開部117において画像圧縮処理を行った後に、記録媒体131に記録を行う。
ステップS31における判定の結果、レリーズ釦が全押しされていない場合には、またはステップS21(図2参照)における判定の結果、動画記録中でなかった場合には、次に、ステップS33と同様に、HDRモードか否かの判定を行う(S43)。このステップS43における判定を行う場合は、動画記録中(ステップS21Yes)の場合か、またはライブビュー表示中(ステップS21No→S23No→S27No)のいずれかである。
ステップS43における判定の結果、HDRモードでなかった場合には、通常撮影時におけるライブビュー表示または動画記録中の場合である。まず、AE・AFを行う(S45)。ここでは、撮影レンズ201のピント合わせを行うと共に、被写体輝度を測光し、適正露光となる露出制御値の算出を行う。ライブビュー表示または動画記録用であることから、メカシャッタ101は開放したままとし、撮像素子103の電子シャッタによるシャッタ速度およびISO感度、絞り値等の露出制御値の算出を行う。
AE・AFを行うと、次に、電子シャッタによる撮影を行う(S47)。ここでは、動画撮影用またはライブビュー表示用に撮像素子103によって画像データを取得する。この撮影にあたっては、ステップ45において算出した露出条件に従って撮影を行う。
電子シャッタによる撮影を行うと、次に、画像処理を行う(S49)。ここでは、取得した画像データに対して、動画用の画像処理を施す。ステップS49における画像処理の詳しい動作については、図6を用いて後述する。
ステップS43における判定の結果、HDRモードであった場合には、ステップS45と同様に、AE・AFを行う(S51)。AE・AFを行うと、次に、ステップS37と同様に、HDRモード撮影を行う(S53)。なお、ステップS37は、静止画撮影におけるHDRモード撮影であるのに対して、ステップS53は、動画撮影(記録用またはライブビュー表示用)であるために、処理時間を考慮して、HDR画像を得るために撮影する撮影枚数は、静止画の場合に比較して、少なくしている。このHDRモード撮影の詳しい動作については、図4を用いて後述する。
ステップS53においてHDRモード撮影を行うと、またはステップS49において画像処理を行うと、次に、ライブビュー表示を行う(S55)。ここでは、ステップS49またはS53において処理された画像データを用いてLCD135にライブビュー表示を行う。動画記録中の場合には、撮影画像の確認を行うことができる。また、HDRモードが設定されている場合には、ステップS53において生成されたHDR画像に基づいてライブビュー表示がなされる。同様に、特殊効果モードが設定されている場合には、特殊効果が施された画像がライブビュー表示される。なお、ライブビュー表示にあたって、特殊効果やHDR効果を付加する前の画像を表示するようにしても、勿論かまわない。
ライブビュー表示を行うと、次に、ステップS15、S21と同様に、動画記録中か否かの判定を行う(S57)。この判定の結果、動画記録中であった場合には、動画記録を行う(S59)。ここでは、ステップS17において生成した動画ファイルに、通常撮影の場合には、ステップS49において画像処理された画像データを圧縮処理し、またHDR撮影の場合には、ステップS53において画像処理された画像データを圧縮処理し、記録媒体131に動画の画像データを記録する。この記録にあたっては、メニュー画面において設定した動画の記録モードに従って行う。
ステップS59において動画記録を行うと、またはステップS57における判定の結果、動画記録中でなかった場合には、またはステップS41において静止画記録を行うと、またはステップS25においてAE・AFを行うと、電源オフか否かの判定を行う(図2のS27)。このステップでは、操作部123の電源釦が再度、押されたか否かを判定する。この判定の結果、電源オフではなかった場合には、ステップS3に戻る。一方、判定の結果、電源オフであった場合には、メインのフローの終了動作を行ったのち、メインフローを終了する。
このように本発明の一実施形態におけるメインフローにおいては、HDRモードが設定されている場合には、ステップS37またはS53におけるHDRモード撮影において複数の画像を取得し、輝度レンジの広いHDR画像を生成する。
次に、ステップS37およびS53におけるHDRモード撮影の動作の詳細について、図4に示すフローチャートを用いて説明する。
HDRモードのフローに入ると、まず、露出条件の変更を行う(S61)。前述したように、HDRモード撮影においては、露出条件の異なる複数の画像データを取得し、これらの画像データを用いて輝度レンジの広い画像を生成する。このステップでは、複数の異なる露出条件の撮影を行うために露出条件の変更を行う。
露出条件の変更として、ステップS37における静止画撮影の際のHDRモードの撮影の場合には、ステップS25において取得した適正露光となる露出条件を基にし、静止画の1枚目は適正露出条件とし、2枚目は適正露光条件から1段分オーバーな露出条件とし、3枚目は適正露出条件から1段分アンダーな露出条件に変更する。また、ステップS53における動画撮影の際のHDRモードの撮影の場合には、ステップS51において取得した適正露出条件を基準とし、動画の1枚目は適正露出条件から0.5段分オーバーな露出条件に、2枚目は適正露出上から0.5段アンダーな露出条件に変更する。
本実施形態においては、静止画の場合には3枚の撮影を行い、動画の場合には2枚の撮影を行っているが、この枚数は例示であり、これと異なる枚数としてもよい。また、処理時間を考慮して、動画の撮影枚数を静止画の場合よりも少なくしているが、処理時間が早い場合には、静止画と動画の撮影枚数を同数としても、勿論かまわない。
ステップS61において、露出条件の変更を行うと、次に、撮影を行う(S63)。ここでは、ステップS61において設定した露出条件で撮影を行う。露出条件の内のシャッタ速度は、撮像素子103の電子シャッタまたはメカシャッタ101で制御を行う。ただし、動画記録時またはライブビュー表示時には、メカシャッタ101による制御は困難であることから、電子シャッタによる制御を行う。露光時間が経過すると、画像データ(ベイヤデータ)を読出し、SDRAM127に一時記憶する。
撮影を行うと、次に、HDRモード撮影終了か否かの判定を行う(S65)。ここでは、HDRモードとして必要な撮影枚数の全てを完了したか否かを判定する。本実施形態における例では、静止画の場合には3枚であり、動画(ライブビュー表示を含む)の場合には2枚である。この判定の結果、撮影終了でなかった場合には、ステップS61に戻り、露出条件を変更して次の撮影を行う。この間、異なる露出条件で画像データが順次取得され、この取得された複数の画像データが順次SDRAM127に一時記憶される。
ステップS65における判定の結果、HDRモード撮影終了であった場合には、次に、特殊効果処理が有るか否かの判定を行う(S67)。前述したように、クロスフィルタ効果、線画効果、シェーディング効果、スポットカラー効果等の特殊効果モードは、メニュー画面において設定するので、このステップにおいては、メニュー画面における設定に基づいて判定する。
ステップS67における判定の結果、特殊効果処理がない場合には、画像処理を行う(S69)。ここでは、ステップS63における撮影において取得した複数の画像データ(ベイヤーデータ)の内の1つの画像データをSDRAM127から読出し、基本画像処理部109aにおいてOB減算、WB補正等の種々の画像処理を施し、YCデータを生成する。ここでは、例えば、画像処理を行う画像ごとに輝度ガンマやNRのような画像処理パラメータを変えるようにしてもよい。
ステップS69において画像処理を行うと、次に、全画像について画像処理が終了したか否かを判定する(S71)。ステップS65において撮影終了するまでに撮影した枚数の画像データについて、画像処理を行ったか否かを判定する。本実施形態においては、静止画の場合には3枚、動画の場合には2枚である。この判定の結果、全画像について処理が終わっていなかった場合には、ステップS69に戻り、次の画像データ(ベイヤ―データ)を読出し、画像処理を施す。
ステップS71における判定の結果、全画像について画像処理が終了すると、次に、HDR合成を行う(S73)。ここでは、ステップS69において画像処理された複数の画像データを用いて、HDR合成処理部115が、輝度レンジの広いHDR画像を生成する。これにより、階調特性が拡大した効果を有する画像が生成される。
ステップS67における判定の結果、特殊効果処理が有る場合には、次にHDR・特殊画像処理を行う(S75)。ここでは、SDRAM127に一時記憶されている複数の画像データの内、少なくとも1枚の画像データに対して合成前処理を行い、SDRAM127に一時記憶されている複数の画像データを合成しダイナミックレンジを広げたHDR画像データを生成し、この生成されたHDR画像データに対して特殊効果を適用する。このHDR・特殊画像処理の詳しい動作については、図5を用いて後述する。
ステップS75におけるHDR・特殊画像処理を行うと、またはステップS73におけるHDR合成を行うと、HDRモード撮影のフローを終了し、元のフローに戻る。
このように、本実施形態におけるHDRモード撮影のフローにおいては、特殊効果処理がない場合には、複数の撮影を行った後、各画像に対して画像処理を行ってからHDR合成を行うようにしている。
次に、ステップS75におけるHDR・特殊画像処理の動作の詳細について、図5に示すフローチャートを用いて説明する。
HDR・特殊画像処理のフローに入ると、まず、HDR合成前処理を行う(S81)。ここでは、画像処理部109内の合成前処理部が、HDR合成を行う前段階の少なくとも1枚の画像からデータを抽出し、または画像処理を施す等の前処理を行う。
例えば、特殊効果モードとしてクロスフィルタ効果が設定されている場合には、クロスパターンを施す位置やその周辺の色情報を検出するために画像データ内の検索を行う。HDR合成後には、階調特性が変更されてしまい、適正な位置や色情報を検索することができなくなる。そこで、本実施形態においては、特徴量抽出部は、HDR合成を行う前の画像データに基づいて、高輝度点の位置の検索を行い、高輝度点の明るさと色情報を取得する。特に、露出条件がもっとも低い画像データで行う方が高輝度部の階調特性が豊富に残っていて最適なため、検索対象とする基準画像はHDR用に撮影した複数の画像の中で露出条件がもっとも低く撮影された、例えば露光時間がもっとも短い時間で撮影された画像データとする。
また、特殊効果モードとして、例えば、線画効果が設定されている場合には、特徴量抽出部は、画像内のエッジ成分の抽出を行う。抽出する基準画像はHDR合成時に位置合わせを行う画像データとする。これによってHDR合成処理の画像に対してエッジ成分を合成した際に位置ズレが発生することがない。
また、特殊効果モードとして、例えば、周辺減光効果が設定されている場合には、撮影した全ての画像データに対してレンズシェーディング除去を行う。撮影レンズ201には光軸から離れた周辺の光量が低下するレンズシェーディング特性を有し、しかもレンズ機種ごとに異なった特性を有している。レンズシェーディングを除去しないままで周辺減光効果を付与すると、機種によって周辺の光量が極端に減少する場合がある。そこで、本実施形態においては、HDR合成の前段階として、シェーディング補正部が、個々の画像データに対してレンズシェーディング除去を行うようにしている。なお、レンズシェーディング除去のためのデータは交換式レンズ200から通信によって取得するが、撮影レンズが固定式の場合には、このデータをカメラ本体内に記憶しておけばよい。
また、特殊効果モードとして、例えば、スポットカラー効果が設定されている場合には、ユーザが指定した色彩を残す領域の抽出が必要である。この合成前処理において、特徴量抽出部が、抽出する基準画像として適正露出条件で撮影された画像データを選択し、領域を抽出する。なお、スポットカラー効果は、特定の領域のみ色彩を残し、特定領域以外は、特定の色、例えば無彩色とする特殊効果である。
ステップS81においてHDR合成前処理を行うと、次に、ステップS69と同様に、画像処理を行う(S83)。ここでは、ステップS63において取得した複数の画像データ(ベイヤーデータ)の内の1つの画像データをSDRAM127から読出し、基本画像処理部109aにおいてOB減算、WB補正等の種々の画像処理を施し、YCデータを生成する。画像処理を行う画像ごとに輝度ガンマやNRのような画像処理パラメータを変えるようにしてもよい。
画像処理を行うと、次に、ステップS71と同様に、全画像の画像処理が終了したか否かを判定する(S85)。この判定の結果、全画像の画像処理が終了していなかった場合には、ステップS83に戻り、次の画像データ(ベイヤ―データ)をSDRAM127から読出し、画像処理を施す。
ステップS85における判定の結果、全画像について画像処理が終了した場合には、次に、HDR合成を行う(S87)。ここでは、ステップS83において画像処理を行った複数の画像データを用いて、HDR合成処理部115が輝度レンジの広い画像を生成し、階調特性が拡大する効果が生ずる。
HDR合成を行うと、次に、HDR合成後特殊効果処理を行う(S89)。ここでは、HDR合成を行った画像データに対して、設定された特殊効果モードに従って、特殊画像処理部109bが特殊効果を施す。
例えば、特殊効果モードとしてクロスフィルタ効果が設定されている場合には、特殊画像処理部109bが、HDR合成前処理における画像データ内の高輝度部の位置とこの位置の明るさや周辺の色情報の検索結果に基づいて、ステップS87において生成したHDR画像に対して、クロスパターンを描画し、このクロスパターンをHDR画像に重畳する。HDR合成後の画像データを用いて、高輝度部の位置と周辺の色情報の検索を行うと、HDR合成の影響で色情報が変更される場合があるが、HDR合成前のデータを用いているために、HDR合成による悪影響を除去することができる。
また、特殊効果モードとして、例えば、線画効果が設定されている場合には、特殊効果処理部109bが、HDR合成で生成されたHDR画像に対してぼかし効果を施し、ステップS81において取得したHDR合成前のエッジ抽出結果を用いて、ぼかし効果を施した画像に対して太いエッジを位置合わせの上、重畳させることにより、線画効果を施す。
また、特殊効果モードとして、例えば、周辺減光効果が設定されている場合には、シェーディング除去された複数の画像がステップS87においてHDR合成されていることから、特殊効果処理部109bがこのHDR画像に対して周辺減光効果を施す。
また、特殊効果モードとして、例えば、スポットカラー効果が設定されている場合には、特殊画像処理部109bが、ステップS81における前処理で抽出した領域と、HDR合成で生成されたHDR画像の位置合わせを行い、再度領域設定を行い、抽出した領域以外の色再現を無彩色とする特殊効果を施す。
HDR合成後特殊効果処理を行うと、元のフローに戻る。各特殊効果モードを設定した場合の画像効果については、図7ないし図10を用いて後述する。
このように、本実施形態におけるHDR特殊画像処理のフローにおいては、複数の画像データに対する画像処理(S83)に先だって、HDR合成前処理を行っている(S81)。HDR合成前処理としては、具体的には、予め高輝度位置やエッジ成分等の特徴量を求め、またシェーディング補正等の画像処理を施している。また複数の画像データを用いて、HDR合成を行うと、予め求めた特徴量を用いて、HDR画像に対して特殊効果を施すようにしている。このため、HDR効果と特殊効果の双方の効果が適切に付加された画像を生成することができる。
次に、ステップS39、S49、S69、S83における画像処理の動作の詳細について、図6に示すフローチャートを用いて説明する。
画像処理のフローに入ると、まず、オプティカルブラック(OB)演算を行う(S101)。このステップでは、基本画像処理部109a内のOB演算部によって、画像データを構成する各画素の画素値から、撮像素子103の暗電流等に起因するオプティカルブラック値をそれぞれ減算する。
OB演算を行うと、次に、ホワイトバランス(WB)補正を行う(S103)。このステップでは、基本画像処理部109a内のWB補正部によって、設定されているホワイトバランスモードに応じて、画像データに対してWB補正を行う。具体的には、ベイヤ配列の画像データに対して、ユーザが設定したホワイトバランスモードに応じたRゲインとBゲインをカメラ本体のフラッシュメモリ125から読み出し、その値を乗じることで補正を行う。またはオートホワイトバランスの場合には、RAWデータからRゲインおよびBゲインを算出し、これらを用いて補正する。
続いて、同時化処理を行う(S105)。このステップでは、ホワイトバランス補正を行った画像データに対して、基本画像処理部109a内の同時化処理部によって、各画素がRGBデータで構成されるデータに変換する。具体的には、その画素にないデータを周辺から補間によって求め、RGBデータに変換する。
同時化処理を行うと、次に、カラーマトリックス演算を行う(S107)。このステップでは、基本画像処理部109a内のカラーマトリックス演算部によって、画像データに対して設定されているホワイトバランスモードに応じたカラーマトリックス係数を乗じる線形変換を行って画像データの色を補正する。カラーマトリックス係数はフラッシュメモリ125に記憶されているので、読み出して使用する。
カラーマトリックス演算を行うと、次に、ガンマ変換および色補正を行う(S109)。このステップでは、基本画像処理部109a内のガンマ処理部によって、フラッシュメモリ125に記憶されているガンマテーブルを読み出し、画像データに対してガンマ補正処理を行う。ガンマテーブルは、仕上がりの設定に応じて設計した値がフラッシュメモリ125に記憶されている。
ガンマ変換および色補正を行うと、次に、エッジ強調を行う(S111)。このステップでは、ガンマ変換および色補正の行われた画像データに対して、基本画像処理部109a内のエッジ強調処理部が、バンドパスフィルタによりエッジ成分を抽出し、エッジ強調度に応じて係数を乗じて画像データに加算することにより、画像データのエッジを強調する。
次にNR(ノイズ除去)を行う(S113)。このステップでは、画像を周波数分解し、周波数に応じてコアリング処理等を行うことによりノイズを低減する。NR処理を行うと、画像処理のフローを終了し、元のフローに戻る。
次に、特殊効果モードに応じた画像効果の例について、図7ないし図11を用いて説明する。まず、特殊効果モードとしてクロスフィルタ効果が設定されている場合について、図7を用いて説明する。前述したように、クロスフィルタ効果は、高輝度点を検出し、検出された高輝度点の位置にクロスパターンを重畳させる特殊効果である。図7(a)は、HDR合成前に、高輝度点を検出する際に使用する基準画像を示す。本実施形態においては、基準画像は最も低い露出で撮影された画像を用いる。最も低い露出で撮影されていることから、輝度の絶対値が高くないと高輝度点として検出されない。
図7(b)はHDR合成後の画像を示す。前述したように、本実施形態の静止画においては、適正露光の画像、1段分オーバーの画像、および1段分アンダーの画像の合計3枚、動画においては、適正より0.5段分オーバーの画像、および0.5段分アンダーの画像の合計2枚の画像を用いて、HDR画像を合成している。
図7(c)は、図7(b)に示したHDR画像に対して、図7(a)に示した基準画像から高輝度点を検出して、クロスパターンを重畳させた画像を示す。また、図7(d)は図7(b)に示したHDR合成を行った後のHDR画像から高輝度点を検出して、クロスパターンを重畳させた画像を示す。両者を対比すると分かるように、図7(d)に示すHDR合成後に高輝度点を検出するやり方では、クロスパターンの数が過剰となってしまう。HDR画像から高輝度点を検出すると、もともと輝度が高くない点についても高輝度点と判定するために、必要以上にクロスパターンが描画されてしまう。
次に、クロスフィルタ効果の変形例として、被写体認識、例えば顔認識やペット動物認識と組み合わせた例について図8を用いて説明する。この例では、図1に示すブロック図において、画像データに基づいて、顔が存在するか否かを検出する顔検出部を設け、バス110に接続する。
特殊効果モードとしてクロスフィルタ効果が設定されると、顔検出部によって顔があると判定された場合には、顔の領域にクロスパターンが重畳しないように制御する。顔認識機能は、適正露出で撮影された画像で最も認識性能が発揮されるように設計されているために、顔認識機能は、階調変換が行われる前であるHDR合成前処理において行うのが最適である。そのため、顔認識は、HDR合成前の適正露出で撮影された画像を基準画像とし、また高輝度点検出はHDR合成前の最も低い露出で撮影された画像を基準画像とする。
図8(a)は、HDR合成前の適正露光で撮影され、顔認識検索の対象となる基準画像を示す。図8(b)は、顔認識を行わず、高輝度点にクロスパターンを重畳させた例を示す。図8(b)から分かるように、顔の部分にクロスパターンが重畳しており、クロスパターンが過剰な印象を与える画像となる。一方、図8(c)は、顔認識を行い、顔の部分には、クロスパターンを重畳しないようにした画像を示す。クロスパターンが適正な位置に配置されている。なお、目、歯、眼鏡のように、反射しやすい部分はクロスパターンとの相性がよいことから、顔検出部がこれらの部分を検出した場合には、クロスパターンを重畳させるようにしてもよい。
次に、特殊効果モードとして線画効果が設定されている場合について、図9を用いて説明する。線画効果では、前述したように、画像データからエッジ成分を抽出する必要がある。HDR合成処理後のHDR画像に線画特殊効果を付加した場合に、エッジの位置ズレを発生させないようにするために、エッジを抽出する基準画像は、HDR合成前のHDR合成の位置合わせの目標となる画像データとする。HDR合成処理後のHDR画像は、ガンマ処理による階調変換やHDR合成処理での階調変換が行われるため、明部のエッジ部分が正確に抽出することができない。そこで、ステップS81(図5参照)のHDR合成前処理において、HDR合成前の画像を用いてエッジを抽出するようにしている。
図9(a)〜(c)は、ステップS63(図4参照)において撮影した3枚の画像を示し、図9(a)は適正露光の画像、図9(b)は1段分アンダーの画像、図9(c)は1段分オーバーの画像である。図9(c)は、図9(a)を基準画像として、HDR合成処理前の位置合わせの基準画像からエッジ部を抽出し、このエッジ部を太く強調した線画を示す。
図9(e)は図9(a)〜(c)に示した露出の異なる3枚の画像からHDR合成処理を行い生成したHDR画像を示す。図9(f)は、図9(e)に示したHDR画像に、図9(d)に示した線画を重畳し、線画効果を付加した画像を示す。HDR処理前の画像(図9(a)に示す画像)を用いて、エッジ部を抽出していることから、明部のエッジ成分を正確に抽出することができる。
次に、特殊効果モードとして周辺減光効果が設定されている場合について、図10を用いて説明する。周辺減光効果は、通常、レンズシェーディング+周辺減光変更効果を合わせたシェーディングテーブルを作成し、このテーブルに従い周辺減光特殊効果を画像に付加することにより得ている。HDR処理を行うと、レンズシェーディングは処理前とは異なることから、HDR処理後に周辺減光効果を付加すると、周辺減光の効果量が安定しない。そこで、本実施形態においては、HDR合成処理前にレンズシェーディングを除去し、除去した後に、HDR合成処理を行い、周辺効果のみのシェーディングテーブルを作成し、周辺減光効果を付加するようにしている。このため、周辺減光の効果量を安定させることができる。
図10(a)は、適正露光で撮影された画像を示しており、この画像はレンズシェーディングによって周辺光量が減光している。図10(b)は、図10(a)に示す画像においてレンズシェーディングを除去することなく、周辺減光効果を付加した画像を示す。図10(c)は、レンズシェーディングを除去しない複数の画像を用いて、HDR合成処理を行い、さらに周辺減光効果を付加した画像を示す。レンズシェーディングと周辺減光効果の両方が重畳しているために、画面周辺の光量の落ち込みが大きい。
図10(d)は、レンズシェーディングを除去した複数の画像を用いて、HDR合成処理を行い、さらに周辺減光効果を付加した画像を示す。レンズシェーディングを除去していることから、1枚の画像で周辺減光効果を施した場合と同等の周辺減光効果を安定して付加することができる。
次に、特殊効果モードとしてスポットカラー効果が設定されている場合について、図11を用いて説明する。スポットカラー効果では、前述したように、ユーザが指定した色のみを残して残りの色は無彩色にする。HDR合成を行うと、階調特性が変更されるに伴い色再現がHDR合成前の画像から変化することがある。そこで、本実施形態においては、ステップS81(図5参照)のHDR合成前処理において、適正露出の画像を基準画像としてスポットカラー効果の色を残す領域を抽出しておくことにより、HDR合成によって色再現が変化した場合であっても、ユーザが指定した色の領域を正確に残すことができるようにしている。
図11(a)は、適正露光で撮影された基準画像を示す。図11(b)は複数の画像を用いて生成されたHDR画像を示す。このHDR画像は、HDR合成処理を行うことにより、色再現が少し変化している。図11(c)は、適正露光で撮影された基準画像の単体に対してスポットカラー効果を施した場合の画像を示す。本実施形態に示す例では、ユーザは家の屋根の部分をスポットカラー効果の色を残す領域として指定しており、この部分のみに色が残され、他の部分は無彩色になっている。
図11(d)は、HDR合成前処理において、ユーザの指定領域を抽出し、この抽出された領域を用いて、HDR合成後にHDR画像から指定された領域(家の屋根の部分)の色を残し、他の領域を無彩色した様子を示す。ただし、HDR画像は色再現が変化することにより、指定領域の色再現はオリジナルの色とは変化し、HDR画像の色となっている。
図11(e)は、HDR合成処理後、HDR画像からユーザ指定の色を抽出しようとした場合を示している。この場合には、HDR合成により色再現が変化してしまった影響で、ユーザが指定した色がなくなり、全ての領域(ユーザが指定した家の屋根の部分を含む)が無彩色となってしまう。
このように、HDR合成前にユーザ指定の色の領域を抽出しておくことにより、HDR画像に対してユーザが指定した色の領域を的確に残すことが可能となる。
以上、説明したように、本発明の一実施形態においては、HDRモードが設定されると、撮像部で複数の画像を取得し、このうちの少なくとも1枚の画像データに対して合成前処理を行い、高輝度点、エッジ部等の特徴量の抽出を行い、複数の画像データを合成してダイナミックレンジを広げたHDR画像を生成し、このHDR画像に対して抽出した特徴量を用いて特殊効果を適用するようにしている。このため、HDR効果と特殊効果の双方の効果が適切に付加された画像を得ることができる。
また、本実施形態においては、HDRモードが設定されると、撮像部で複数の画像を取得し、レンズシェーディング補正処理等を行ってから、複数の画像データを合成してダイナミックレンジを広げたHDR画像を生成している。このため、HDR効果と特殊効果の双方の効果が適切に付加された画像を得ることができる。
次に、本実施形態の図4に示したHDRモード撮影と、図5に示したHDR・特殊画像処理の変形例を図12および図13に示すフローチャートを用いて説明する。本発明の一実施形態においては、画像処理を行ってからHDR合成を行っていたが(図4のS69およびS73、図5のS83およびS87参照)、本変形例においては、HDR合成を行ってから画像処理を行う点で相違している。
図4に示したHDRモード撮影のフローの変形例は図12に示すフローが対応し、図5に示したHDR・特殊画像処理のフローの変形例は図13に示すフローが対応する。なお、本変形例においても、フラッシュメモリ125に記憶されているプログラムに従ってマイクロコンピュータ121が実行する。また、本変形例においては、画像処理部109内にHDR画像データから特徴量抽出部によって検出した高輝度点の座標位置に対応する位置近傍の色情報を検索するHDR合成後処理部を有する。
図12に示すHDRモード撮影のフローの内、複数の画像を得るステップS61〜S67は、図4に示したフローと同様であることから、詳しい説明を省略する。ステップS67における特殊効果処理が有るか否かの判定の結果、特殊効果処理がない場合には、HDR合成を行う(S73)。ここでは、ステップS63において取得した複数の画像データを用いて、HDR合成処理部115がHDR合成を行う。一実施形態におけるステップS73においては、基本画像処理部109aによって画像処理されたYCデータを用いてHDR合成を行ったが、本変形例においては、複数の画像のベイヤデータを合成することにより、階調特性を拡大したHDR画像を合成する。
ステップS73においてHDR合成を行うと、次に、画像処理を行う(S77)。ここでの画像処理は、図6に示したフローに沿って行う。但し、一実施形態における画像処理は、基本画像処理部109aは複数の画像データ(ベイヤデータ)ごとに画像処理を行い、それぞれYCデータを出力していたが、本変形例においては、ステップS73において生成された1つのベイヤデータのHDR画像のデータに対して画像処理を行う点で相違する。
ステップS67における判定の結果、特殊効果処理が有る場合には、HDR・特殊画像処理を行う(S79)。ここでは、先に各画像に対して前処理を行ってから、複数の画像を用いてHDR合成を行い、このHDR合成により取得したHDR画像に対して画像処理を行い、その後、特殊効果処理を施す。すなわち、一実施形態においては、複数の画像に対して先に画像処理を行ってからHDR合成を行っていたが、本変形例においては先に複数の画像を用いてHDR合成を行い、その後、画像処理を行い、特殊効果処理を行う点で相違呈している。このHDR・特殊画像処理の詳しい動作については、図13を用いて後述する。
ステップS77において画像処理を行うと、またはステップS79においてHDR・特殊画像処理を行うと、HDRモード撮影のフローを終了し、元のフローに戻る。
次に、ステップS79におけるHDR・特殊画像処理の動作の詳細について、図13に示すフローチャートを用いて説明する。HDR・特殊画像処理のフローに入ると、図5の場合と同様、まずHDR合成前処理を行う(S81)。このステップにおける処理は、図5に示した一実施形態における処理と同様であることから、詳しい説明を省略する。
HDR合成前処理を行うと、次に、ステップS73(図12参照)と同様に、HDR合成を行う(S91)。ここでは、ステップS63において取得した複数の画像データ(ベイヤデータ)を用いて、HDR合成処理部115はHDR画像(ベイヤデータ)を生成する。これにより、階調特性が拡大した画像データを生成できる。
HDR合成を行うと、次にステップS77(図12参照)と同様に、画像処理を行う(S93)。ここでは、前述したように、HDR合成されたベイヤデータに対して、基本画像処理部109aが、図6に示す画像処理のフローに沿って処理する。
画像処理を行うと、次に、HDR合成後処理を行う(S95)。ここでは、画像処理部109内のHDR合成後処理部が、HDR合成を行った後の段階で画像からデータを取得したり、画像データに対して処理等を行う。例えば、クロスパターンを描画する特殊効果では画像データ内の高輝度部周辺の色情報の検索が必要となる。HDR合成によって色情報も変更されることもあるため、HDR合成処理後の画像データから検索する方が理想的であることから、このステップで、検索を行う。
HDR合成後処理を行うと、次に、特殊効果処理を行う(S97)。ここでは、設定された特殊効果モードに従った特殊効果処理を行う。例えば、クロスパターン効果が設定されている場合には、ステップS81のHDR合成前処理において取得した高輝度点の情報と、ステップS95のHDR合成後処理において取得した色情報を用いて、ステップS91において取得されたHDR画像に対して、クロスパターンを重畳させる。線画効果、周辺減光効果、スポットカラー処理については、一実施形態におけるステップS89における処理と同様であることから、詳しい説明は省略する。
このように、本変形例においては、先にHDR合成を行ってから画像処理を実行するようにしている。このため、複数の画像データに対してそれぞれ画像処理を行う一実施形態に比較し、処理時間を短縮することが可能となる。
以上説明したように、本発明の一実施形態や変形例においては、撮像部で得た画像の少なくとも1枚の画像データに対して合成前処理を行い、また複数の画像データを合成しダイナミックレンジを広げたHDR画像データを生成し、この生成されたHDR画像データに対して特殊効果を適用するようにしている。このため、HDR効果と特殊効果の双方の効果が適切に付加された画像を生成することができる。
なお、本発明の一実施形態や変形例においては、HDR合成を行う前に合成前処理を行い特徴量の抽出等を行っていたが、この合成前処理は、必ずしもHDR合成前に行わなくてもよい。たとえば、HDR合成中も複数の画像データを一時記憶しておき、HDR合成後に合成前処理で特徴量の抽出等を行い、この特徴量を用いて、HDR画像データに対して特殊効果を適用するようにしてもよい。これ以外にも、HDR効果および特殊効果を施す順番は、実施形態における例以外にも適宜変更しても勿論かまわない。
また、本発明の一実施形態や変形例においては、特殊効果として、クロスフィルタ効果付加、線画効果、シェーディング付加、スポットカラー効果を用いた例を挙げて説明したが、特殊効果としては、これ以外の効果についても本発明を適用することが可能である。
また、本発明の一実施形態や変形例においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォーンや携帯情報端末(PDA:Personal Digital Assist)、ゲーム機器等に内蔵されるカメラでも構わない。
また、本発明の一実施形態や変形例には、カメラで撮像を行うと共に、HDR効果と特殊効果を付与する画像処理を行っていた。しかし、カメラで撮像した複数の画像データをパーソナルコンピュータ等の画像処理装置に記憶させ、この複数の画像データに対して、HDR効果と特殊効果を付与する画像処理を行うようにしても勿論かまわない。
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。