JP2017135755A

JP2017135755A - 電子カメラ及び画像処理装置

Info

Publication number: JP2017135755A
Application number: JP2017089930A
Authority: JP
Inventors: 貴志皆川; Takashi Minagawa
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2017-04-28
Filing date: 2017-04-28
Publication date: 2017-08-03

Abstract

【課題】従来は、連写撮影時に全画像に対して現像処理を行うので、高解像度の画像の場合、リアルタイムで現像処理を行うことができないという問題があった。【解決手段】本発明では、繰り返し第１画像データを入力する入力部と、前記第１画像データに対して評価を行う評価部と、前記第１画像データに現像処理を行って第２画像データを作成する現像部と、前記評価部の評価結果に基づいて、前記現像部により前記第１画像データに現像処理を行って前記第２画像データを生成するか否かを制御する制御部と、を備え、前記現像部は、前記第２画像データよりもサイズの小さい第３画像データを生成する。【選択図】図６

Description

本発明は、電子カメラ及び画像処理装置に関する。

一般的な電子カメラでは、撮像センサが出力するＲＡＷデータに色補間処理やホワイトバランス処理などのデジタル現像処理を行った後、ＪＰＥＧ規格などに基づく画像圧縮処理を行ってメモリに保存する一連の処理が画像を撮影する度に行われている。一方、連写された画像の中から最良の画像を選択して表示する技術が検討されている（例えば、特許文献１参照）。

特開２０１１−０１８９８９号公報

ところが、連写された全画像に対してデジタル現像処理や画像圧縮処理を施す場合、連写された画像が高速に連続してバッファに取り込まれるため、滞りなく全画像に対してデジタル現像処理や画像圧縮処理を行うには、これらの処理を高速に行わなければならない。このために、高い処理能力を有する高価で回路規模が大きい画像処理エンジンを搭載しなければならず、消費電力、回路規模、部品コストなどの点で大きな問題があった。

本発明の目的は、連写や高解像度の画像を続けて撮影する場合に、画像処理エンジンの処理能力に応じて滞りなくデジタル現像処理や画像圧縮処理などを行うことができる電子カメラ及び画像処理装置を提供することである。

本発明に係る画像処理装置は、繰り返し第１画像データを入力する入力部と、前記第１画像データに対して評価を行う評価部と、前記第１画像データに現像処理を行って第２画像データを作成する現像部と、前記評価部の評価結果に基づいて、前記現像部により前記第１画像データに現像処理を行って前記第２画像データを生成するか否かを制御する制御部と、を備え、前記現像部は、前記第２画像データよりもサイズの小さい第３画像データを生成する。
また、前記現像部は、前記評価部の評価結果にかかわらず前記第３画像データを生成する。
また、前記制御部は、前記現像部により現像処理を行わずに前記第１画像データを記憶部に記憶する場合に、前記評価結果に基づいた優先順位を前記第１画像データに付加して前記記憶部に記憶する。

また、前記評価部は、明るさ変化、動きベクトルの変化、顔の状態、ブレの状態、フォーカス状態、ホワイトバランス状態、露出状態の少なくとも１つを評価する。
また、前記制御部は、前記評価結果に基づいて現像処理を行うと判定された前記第１画像データが連続する場合、当該第１画像データの現像処理を行わずに前記記憶部に記憶する。
また、前記現像部により単位時間当たりに現像処理を行うことができる画像枚数が、前記入力部により単位時間当たりに入力される画像枚数より多いか否かを判別する判別部を更に設け、前記制御部は、前記評価結果に基づいて現像処理を行うと判定された前記第１画像データが連続する場合、前記判別部の判別結果に基づいて、当該第１画像データの現像処理を行うか否かを制御する。

また、前記制御部は、前記入力部が前記第１画像データを入力していない期間に、前記記憶部に記憶された現像処理が施されていない前記第１画像データに対して現像処理を行って前記第２画像データを生成し、当該第２画像データを前記記憶部に記憶する。
また、前記制御部は、前記記憶部に記憶されている現像処理が施されていない前記第１画像データに対して、前記第１画像データに付加されている前記優先順位が高い画像から前記現像部により現像処理を行って前記第２画像データを生成し、当該第２画像データを前記記憶部に記憶する。

また、前記制御部は、前記記憶部に記憶されている画像の再生時に、再生する画像が現像処理が施されていない前記第１画像データの場合、当該第１画像データに前記現像部により現像処理を行って前記第２画像データを作成し、当該第２画像データを前記記憶部に記憶する。
また、電源のオンオフ操作を行う操作部を更に設け、前記制御部は、前記操作部により電源をオフする操作が行われた場合に、前記記憶部に記憶された現像処理が行われていない前記第１画像データを読み出し、当該第１画像データに前記現像部により現像処理を行って前記第２画像データを作成し、当該第２画像データを前記記憶部に記憶する。

本発明に係る電子カメラは、前記画像処理装置を搭載し、被写体を撮像し、前記第１画像データを生成して前記入力部に出力する撮像部と、前記撮像部に撮像指示を与える撮像指示部と、を有する。

本発明に係る電子カメラ及び画像処理装置は、連写や高解像度の画像を続けて撮影する場合に、画像処理エンジンの処理能力に応じて滞りなくデジタル現像処理や画像圧縮処理などを行うことができる。

本実施形態に係る電子カメラ１０１の構成例を示すブロック図である。画像処理モジュール１５１の評価処理の構成例を示すブロック図である。画像処理モジュール１５１のフルサイズ画像の現像処理を行う場合の構成例を示すブロック図である。画像処理モジュール１５１のフルサイズ画像の現像処理を行わない場合の構成例を示すブロック図である。画像ファイルの構成例を示す図である。連写モードの処理例を示すフローチャートである。連写モードで撮影される画像例を示す図である。連写モードの他の処理例を示すフローチャートである。メモリカード１０６ａの画像例を示す図である。再生モードの処理例を示すフローチャートである。メモリカード１０６ａの他の画像例を示す図である。電源ＯＦＦ時の処理例を示すフローチャートである。

以下、本発明に係る電子カメラ及び画像処理装置の実施形態について図面を用いて詳しく説明する。尚、以下の実施形態では、本発明に係る画像処理装置が搭載された電子カメラの例を挙げて説明するが、撮影済みの画像を入力して画像処理を行うパソコンのプログラムや単体の画像処理装置であっても構わない。
［電子カメラ１０１の構成例］
図１は電子カメラ１０１の構成例を示すブロック図である。図１において、電子カメラ１０１は、撮像部１０２と、画像バッファ１０３と、画像処理部１０４と、制御部１０５と、メモリカードＩＦ（インターフェース）１０６と、表示部１０７と、操作部１０８と、不揮発性メモリ１０９とで構成される。

撮像部１０２は、光学レンズ、撮像素子、Ａ／Ｄ変換器などを有する。撮像部１０２は、光学レンズにより撮像素子の受光面に結像される被写体像を光量に応じた電気信号に変換し、Ａ／Ｄ変換器でデジタルの画像データに変換して画像バッファ１０３に取り込む。尚、撮像素子は、行列状に配置された複数の画素（例えば１６００万画素）で構成され、各画素にはＲＧＢ３色のいずれか１色のカラーフィルタがベイヤー配列で配置されている。そして、撮影毎に各画素からＲＧＢのいずれかの色成分のＲＡＷデータ（撮像素子が出力する加工されていない生の画像データ）が読み出され、画像バッファ１０３に取り込まれる。

ここで、ＲＡＷデータは、各画素に１つの色成分の情報しか持たないので、一般的なカメラでは、ＲＡＷデータを各画素にＲＧＢ３色の情報を有するＲＧＢデータやＹＣｂＣｒデータなどの輝度／色差データに変換する色補間処理を行っている。尚、本実施形態に係る電子カメラ１０１では、色補間処理、ホワイトバランス処理、ガンマ補正処理、輪郭強調処理などを行う画像処理をデジタル現像処理と称する。また、デジタル現像処理が施された後、メモリカード１０６ａに保存するためにＪＰＥＧ規格などによる画像圧縮処理が行われる。ここで、以降の説明において、デジタル現像処理および画像圧縮処理を含めて現像処理と記載するが、画像圧縮処理を行わずにＲＧＢデータやＹＣｂＣｒデータの画像をメモリカード１０６ａに保存するようにしてもよい。

画像バッファ１０３は、高速で読み書きが可能なＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などが用いられ、撮影画像を一時的に記憶する。また、画像バッファ１０３は、画像処理部１０４や制御部１０５により、現像処理を行う際に一時的に処理結果を記憶するためのバッファメモリとしても使用される。尚、画像バッファ１０３に記憶される情報については後で詳しく説明する。

画像処理部１０４は、撮像部１０２で撮像されたＲＡＷデータの画像に現像処理を行う。ここで、本実施形態に係る電子カメラ１０１では、本撮影された高解像度（１６００万画素程度）のフルサイズ画像と、表示部１０７などに表示するための低解像度（６４０×４８０画素程度）のサムネイル画像とに対して、それぞれ現像処理が行われる。尚、画像処理部１０４の詳細な構成については後で詳しく説明する。

制御部１０５は、ＣＰＵ（Central Processing Unit）、インターフェース回路などで
構成され、不揮発性メモリ１０９に予め記憶されたプログラムコードに従って動作する。例えば制御部１０５は、撮像部１０２の露光時間の制御や撮影後の画像データを画像バッファ１０３に読み出す時のタイミングなどを制御する。また、制御部１０５は、操作部１０８から入力する操作情報に基づいて、電源のオンオフや動作モードの設定、或いは撮像部１０２への撮影指示、画像処理部１０４への画像処理の指示などを行う。さらに、制御部１０５は、表示部１０７への撮影画像の表示や操作メニューの表示などを行う。

メモリカードＩＦ１０６は、メモリカード１０６ａを接続するためのインターフェース回路である。制御部１０５は、メモリカードＩＦ１０６を介してメモリカード１０６ａへの画像ファイルの書き込みや読み出しを行う。

表示部１０７は、液晶モニタなどが用いられ、制御部１０５が出力する画像や操作メニューが表示される。尚、表示部１０７に表示される画像は、６４０×４８０画素程度のサムネイル画像である。

操作部１０８は、電源をＯＮ／ＯＦＦするための電源ボタン、撮影指示を行うためのレリーズボタン、撮影モードを選択するための選択ダイヤル、などの操作部材を有する。そして、操作部１０８は、これらの操作部材が操作された場合の操作情報を制御部１０５に出力する。本実施形態に係る電子カメラ１０１では、選択ダイヤルで連写モードを選択する場合の処理に特徴がある。連写モードは、複数枚の画像を時間的に連続して撮影する撮影モードで、例えば１６００万画素の画像が１秒間に１０枚撮影することができる。

不揮発性メモリ１０９は、電源ＯＦＦ時でも記憶内容を保持可能な不揮発性のメモリが用いられる。不揮発性メモリ１０９は、制御部１０５のプログラムコードや動作に必要なパラメータ、操作メニューで設定された設定内容が記憶される。例えば、撮影する画像の画素数や感度、連写モードの撮影枚数などが設定される。尚、不揮発性メモリ１０９は、メモリカード１０６ａと同様に、撮影された画像の画像ファイルも記憶することができる。

ここで、図１において、本実施形態に係る電子カメラ１０１では、画像処理部１０４と制御部１０５とは、画像処理モジュール１５１として一体化されている。

以上が電子カメラ１０１の構成および基本動作である。尚、電子カメラ１０１ではなく、本発明に係る単体の画像処理装置を構成する場合は、図１において、撮像部１０２を取り除いた装置とし、制御部１０５（画像処理装置の制御部に相当）が撮影済みの未現像の画像ファイルをメモリカード１０６ａから画像バッファ１０３に読み出して、画像処理部１０４により現像処理が実行される。或いは、本実施形態で説明する画像処理モジュール１５１により行われる一連の画像処理をパソコン（パーソナルコンピュータ）上で動作可能なアプリケーションプログラムとして提供してもよい。

次に、画像処理部１０４と制御部１０５とを有する画像処理モジュール１５１の詳細な構成および動作について説明する。

ここで、先に説明したように、連写モードでは、例えば１６００万画素のフルサイズ画像を１秒間に１０枚撮影するので、次の画像が画像バッファ１０３に取り込まれる前に現像処理を終了するには、単純計算で１／１０秒間に１枚のフルサイズ画像に対する現像処理を行う必要がある。但し、画像処理モジュール１５１の現像処理能力（現像処理枚数／秒）が連写能力（撮影枚数／秒）を上回るのは理想的な場合で、民生用のカメラでは現像処理能力は連写能力より低い場合が多い。このため、撮影終了後に現像処理を行うための時間が必要になる。また、連写モードでなくとも高解像度の画像を複数回連続して撮影する場合などにおいて、次の画像を撮影するレスポンスが遅くなるという問題が生じる。

そこで、本実施形態に係る電子カメラ１０１は、連写時に撮影される画像を評価して、評価結果に基づいて現像処理を行うか行わないかを判定し、現像処理を行わなかった画像については撮影後に現像する。これにより、高解像度の画像を連写した場合でもレスポンスが低下することなく、撮影することができる。

尚、サムネイル画像も同時に現像処理されるが、サムネイル画像は低解像度なので処理時間は小さく、ここではサムネイル画像の処理時間を省略して説明する。また、本実施形態に係る電子カメラ１０１では、撮影された全てのサムネイル画像について現像処理を行う。
［現像処理を行うか否かの判定処理］
図２は、図１の画像処理モジュール１５１で行われる処理の一部と、画像バッファ１０３に一時的に保持される情報の一部とを示した図である。画像処理モジュール１５１は、図２の処理により、連写時に、フルサイズ画像に対して現像処理を行うか否かを判定する。本実施形態に係る電子カメラ１０１は、時間的に連続する画像フレーム間の変化が少ない時、各画像フレームが失敗画像である時、これらのいずれかに該当する場合は、基本的に現像処理を行わない。例えば、変化が少ないか否かの判別は、動きベクトルの大きさや明るさの変化などにより行うことができる。また、失敗画像であるか否かの判別は、例えば、顔検出して目を閉じているか否か、ブレの大きさ、フォーカスずれ、露出の過不足、などにより行うことができる。

図２の例では、画像処理モジュール１５１は、時間的に連続する画像フレーム間の変化を動きベクトルの大きさや明るさの変化により判定し、失敗写真であるか否かは顔検出して目を閉じているか否かにより判定する。

図２において、画像処理部１０４は、センサ補正処理２０１と、評価用画像生成処理２０２と、動き検出処理２０３と、顔検出処理２０４とを有する。また、画像バッファ１０３には、動き検出用画像３０１と、動き検出結果３０２と、顔検出用画像３０３と、顔検出結果３０４と、明るさ検出用画像３０５とが一時的に保持される。さらに、制御部１０５は、評価判定処理２０５を有する。

センサ補正処理２０１は、撮像部１０２により画像バッファ１０３に取り込まれたＲＡＷデータの画像を読み出して、補正処理を行う。補正処理は、例えば撮像素子の画素不良などによる欠陥画素の補間処理や、画素回路や読み出し回路などのばらつきなどによるシェーディング補正処理、光学系の特性による周辺減光補正処理、などである。尚、図２では、センサ補正処理２０１が処理した補正後のＲＡＷデータの画像を直接、評価用画像生成処理２０２に出力しているが、画像バッファ１０３に一時的に保持するようにしてもよい。

ここで、撮像部１０２が出力するＲＡＷデータの画像と、センサ補正処理２０１が処理した補正後のＲＡＷデータの画像とは厳密には異なるが、本実施形態では、色補間処理などの現像処理が行われていないベイヤー配列の画像データをＲＡＷデータと称する。また、ＲＡＷデータの画像は、適宜、省略してＲＡＷ画像とも称する。

評価用画像生成処理２０２は、現像処理を行うか否かの評価を行うための前処理を行う。先に説明したように、本実施形態に係る電子カメラ１０１では、現像処理を行うか否かの評価として、例えば動き検出、顔検出、明るさ検出を行う。そこで、評価用画像生成処理２０２は、動き検出に適した画像を生成して、画像バッファ１０３に一時的に記憶する（動き検出用画像３０１）。例えば、動き検出用画像３０１は、動き検出のためのブロックマッチング処理が行い易いようなブロックサイズに変換された画像である。また、評価用画像生成処理２０２は、顔検出に適した画像を生成して、画像バッファ１０３に一時的に記憶する（顔検出用画像３０３）。例えば、顔検出用画像３０３は、顔検出のためのテンプレートマッチング処理を行い易いようにエッジ強調された画像である。さらに、評価用画像生成処理２０２は、明るさの変化を検出するのに適した画像を生成して、画像バッファ１０３に一時的に記憶する（明るさ検出用画像３０５）。ここで、明るさ検出用画像３０５は、時間的に連続する２つの画像の明るさの変化を判別し易いように、例えば、画面を大きなブロックに分けて各ブロック毎に画素値を平均化した画像が用いられる。

動き検出処理２０３は、画像バッファ１０３に作成された動き検出用画像３０１から動きベクトルを求め、求めた動きベクトルの大きさを画像バッファ１０３に一時的に記憶する（動き検出結果３０２）。尚、動きベクトルは、時間的に連続する２つの画像を用いて、ブロックマッチングなどの一般的な手法により求めることができる。

顔検出処理２０４は、画像バッファ１０３に作成された顔検出用画像３０３から顔が写っているか否かを検出する。そして、顔が写っている場合は、目を閉じているか否かを検出し、顔の有無と目を閉じているか否かを画像バッファ１０３に一時的に記憶する（顔検出結果３０４）。尚、顔検出は、例えば顔の輪郭と目および鼻の位置をテンプレートマッチングで検出する一般的な手法により行うことができる。

評価判定処理２０５は、画像バッファ１０３に一時的に記憶されている動き検出結果３０２および顔検出結果３０４と、明るさ検出用画像３０５とを用いて、フルサイズ画像の現像処理を行うか否かの評価および判定を行う。ここで、評価判定処理２０５は、明るさ検出用画像３０５として一時的に記憶されている時間的に連続する２つの画像の差分を求めて明るさの変化を比較する処理を行う。また、図２では、制御部１０５で明るさの変化を比較する処理を行うようにしたが、画像処理部１０４で行うようにしてもよい。或いは、明るさの変化の比較結果を画像バッファ１０３に明るさ検出結果として一時的に記憶するようにしてもよい。ここでは、動き検出処理および顔検出処理に比べて明るさの変化の検出処理は軽いので、画像処理専用の画像処理部１０４ではなく制御部１０５で行っている。

そして、評価判定処理２０５は、動きベクトルの大きさが予め設定した閾値未満の場合、目を閉じている場合、明るさの変化が予め設定した閾値未満の場合、の３つの評価結果を総合的に判断して、フルサイズ画像の現像処理を行うか否かの判定を行う。

ここで、上記の３つの評価結果を総合的に判断する方法として、例えば３つの評価条件を全てを満たしている場合に、評価判定処理２０５は、現フレームの画像の現像処理を行わないように制御する。尚、現フレームの画像とは、最新のフレームの画像であり、動きベクトルの検出や明るさの変化を検出する場合は、１つ前のフレームの画像と組み合わせて処理する。

或いは、３つの評価条件の少なくとも１つを満たしている場合に、評価判定処理２０５は、現フレームの画像の現像処理を行わないように制御してもよい。または、目を閉じている場合は、他の条件に依らず必ず現像処理を行わないようにしてもよい。

さらに、画像処理モジュール１５１の現像処理能力が設計時にわかっているので、現像処理能力を予め不揮発性メモリ１０９に記憶しておき、評価判定処理２０５は、総合判定時に、現像処理能力を参照して現像処理が可能であれば、評価結果が悪い画像であっても現像処理を行うようにしてもよい。例えば、同じ現像処理能力であれば、撮影画像の解像度が１６００万画素の場合と８００万画素の場合とで１秒間に現像処理可能な枚数が異なるので、解像度設定に応じて評価結果の判定基準を変えるようにしてもよい。

尚、本実施形態に係る電子カメラ１０１は、動きベクトル、目を閉じている、明るさの変化、の３つを評価項目としたが、色の変化、笑顔の度合い、手ブレの大きさ、露出の過不足、などを評価項目にしてもよいし、これらの評価項目を組み合わせてもよい。

いずれの場合でも、評価判定処理２０５は、フルサイズ画像の現像処理を行うと判定した場合、画像処理部１０４に現フレームの画像に対してフルサイズ画像の現像処理を行うように指令する。また、評価判定処理２０５は、フルサイズ画像の現像処理を行わないと判定した場合、フルサイズのＲＡＷ画像を現像処理せずにそのままメモリカード１０６ａに記録する処理を行う。尚、サムネイル画像については、全て現像処理を行ってメモリカード１０６ａに記録する。
［フルサイズ画像の現像処理を行う場合］
次に、画像処理モジュール１５１がフルサイズ画像の現像処理を行う場合の処理について、図３を用いて説明する。図３において、画像処理部１０４は、フルサイズ画像とサムネイル画像の両方のＲＡＷ画像（センサ補正処理２０１が処理した補正後のＲＡＷデータの画像）に対して、デジタル現像処理と画像圧縮処理とを行い、制御部１０５は画像圧縮処理されたフルサイズ画像とサムネイル画像とをメモリカード１０６ａに記録する処理を行う。尚、図３において、図２と同符号のブロックは同様の機能を有する。

図３において、画像処理部１０４は、センサ補正処理２０１と、リサイズ処理２０６と、デジタル現像処理２０７と、画像圧縮処理２０８とを有する。また、画像バッファ１０３には、フルサイズＲＡＷ画像３０６と、サムネイルＲＡＷ画像３０７と、フルサイズ画像３０８と、サムネイル画像３０９と、フルサイズ圧縮画像３１０と、サムネイル圧縮画像３１１とが一時的に保持される。さらに、制御部１０５は、記録処理２０９を有する。

センサ補正処理２０１は、図２で説明した通り、撮像部１０２により画像バッファ１０３に取り込まれたＲＡＷ画像を読み出して、補正処理を行う。但し、図２で処理済なので、センサ補正処理２０１は、実際には図２で評価用画像生成処理２０２に補正後のフルサイズのＲＡＷ画像を出力する時に、図３のリサイズ処理２０６にも出力する。さらに、センサ補正処理２０１は、補正後のフルサイズのＲＡＷ画像を画像バッファ１０３に一時的に記憶する（フルサイズＲＡＷ画像３０６）。

リサイズ処理２０６は、センサ補正処理２０１が出力する補正後のフルサイズ画像からサムネイル画像を生成して、画像バッファ１０３に記憶する（サムネイルＲＡＷ画像３０７）。尚、フルサイズ画像からサムネイル画像を作成する方法は、例えば単純画素間引きでもよいし、フィルタ処理を行って縮小してもよい。このようにして、リサイズ処理２０６は、例えば１６００万画素のフルサイズ画像から６４０×４８０画素のサムネイル画像を生成し、サムネイルＲＡＷ画像３０７として一時的に記憶する。

デジタル現像処理２０７は、画像バッファ１０３に一時的に記憶されているフルサイズＲＡＷ画像３０６およびサムネイルＲＡＷ画像３０７に対して、デジタル現像処理を行う。そして、デジタル現像処理２０７は、フルサイズＲＡＷ画像３０６をデジタル現像処理したフルサイズ画像を画像バッファ１０３にフルサイズ画像３０８として一時的に記憶する。同様に、デジタル現像処理２０７は、サムネイルＲＡＷ画像３０７をデジタル現像処理したサムネイル画像を画像バッファ１０３にサムネイル画像３０９として一時的に記憶する。

画像圧縮処理２０８は、画像バッファ１０３に一時的に記憶されているフルサイズ画像３０８およびサムネイル画像３０９に対して、ＪＰＥＧなどの画像圧縮処理を行う。そして、画像圧縮処理２０８は、フルサイズ画像３０８を画像圧縮処理したフルサイズ圧縮画像３１０を画像バッファ１０３に一時的に記憶する。同様に、画像圧縮処理２０８は、サムネイル画像３０９を画像圧縮処理したサムネイル圧縮画像３１１を画像バッファ１０３に一時的に記憶する。

記録処理２０９は、画像バッファ１０３に一時的に記憶されているフルサイズ圧縮画像３１０およびサムネイル圧縮画像３１１を読み出して、ファイル名を付加してメモリカードＩＦ１０６に接続されているメモリカード１０６ａに保存する。
［フルサイズ画像の現像処理を行わない場合］
次に、画像処理モジュール１５１がフルサイズ画像の現像処理を行わない場合の処理について、図４を用いて説明する。尚、図４において、画像処理部１０４および制御部１０５の構成は図３と同じである。図４の場合は、サムネイル画像に対して、デジタル現像処理と画像圧縮処理とを行い、制御部１０５は画像圧縮処理されたサムネイル画像と、現像処理されていないフルサイズのＲＡＷ画像とをメモリカード１０６ａに記録する処理を行う。尚、図４において、図３と同符号のブロックは同様の機能を有する。

図４において、センサ補正処理２０１およびリサイズ処理２０６は、図３と同様の処理を行い、画像バッファ１０３に、フルサイズＲＡＷ画像３０６およびサムネイルＲＡＷ画像３０７とが一時的に保持される。

デジタル現像処理２０７は、画像バッファ１０３に一時的に記憶されているサムネイルＲＡＷ画像３０７に対してデジタル現像処理を行い、フルサイズＲＡＷ画像３０６に対してはデジタル現像処理を行わない。そして、デジタル現像処理２０７は、サムネイルＲＡＷ画像３０７をデジタル現像処理したサムネイル画像を画像バッファ１０３にサムネイル画像３０９として一時的に記憶する。

画像圧縮処理２０８は、画像バッファ１０３に一時的に記憶されているサムネイル画像３０９に対して、ＪＰＥＧなどの画像圧縮処理を行う。そして、画像圧縮処理２０８は、サムネイル画像３０９を画像圧縮処理したサムネイル圧縮画像３１１を画像バッファ１０３に一時的に記憶する。

記録処理２０９は、画像バッファ１０３に一時的に記憶されているフルサイズＲＡＷ画像３０６およびサムネイル圧縮画像３１１を読み出し、ファイル名を付加してメモリカードＩＦ１０６に接続されているメモリカード１０６ａに保存する。

ここで、記録処理２０９は、メモリカード１０６ａに保存する画像データに現像処理を行ったか否かを示す情報を付加する。図５（ａ）は、画像データをメモリカード１０６ａに保存する際のファイル構成を示す図である。図５（ａ）において、ファイル３５１は、画像データ３５２と、ヘッダ３５３とを有する。そして、ヘッダ３５３には、ファイル名、撮影日、現像処理の有無を示す情報、フルサイズ画像であるかサムネイル画像であるかを示す情報などが記憶される。ファイル名は、例えば画像データがＪＰＥＧ画像の場合はａｂｃ．ＪＰＧ、画像データがＲＡＷ画像の場合はａｂｃ．ＲＡＷのように自動的に付加される。撮影日は、例えば２０１２／５／２１などのように記載される。特に、本実施形態に係る電子カメラ１０１では、現像処理を実行済みであるか否かを示す情報をヘッダ３５３に記憶する。これにより、その画像ファイルが未現像のＲＡＷ画像であるか否かを判別できる。尚、現像処理後にＲＡＷ画像のファイルを削除するルールを決めておく場合は、残っているＲＡＷ画像のファイルが全て未現像であることがわかるが、ＲＡＷ画像として保存する場合もあるので、ファイル毎に未現像であるか否かの情報を付加しておくのが好ましい。この場合、例えばフルサイズのＲＡＷ画像のファイル（ａｂｃ．ＲＡＷ）と、フルサイズ画像の現像処理後のファイル（ａｂｃ．ＪＰＧ）と、サムネイル画像の現像処理後のファイル（ａｂｃ−ｓ．ＪＰＧ）とが、１つの撮影画像に対して作成され、メモリカード１０６ａに保存される。

また、フルサイズのＲＡＷ画像に対応するサムネイル画像のヘッダに、対応するフルサイズのＲＡＷ画像が未現像であるか否かを示す情報を付加してもよい。これにより、サムネイル画像を再生する時に、対応する未現像のフルサイズのＲＡＷ画像の現像処理が行われているか否かを容易に確認できる。尚、サムネイル画像のファイルとフルサイズのＲＡＷ画像のファイルとの対応は、互いのファイルのヘッダ３５３に対応するファイル名を記憶しておくようにしてもよいし、互いのファイルの対応を示すテーブルを画像ファイルの保存時に自動的に作成して管理するようにしてもよい。

このようにして、本実施形態に係る電子カメラ１０１では、フルサイズのＲＡＷ画像を現像処理しない場合は、フルサイズのＲＡＷ画像のファイルに現像処理無しを示す情報が記録されるので、撮影後に未現像であるか否かを容易に判別することができる。
［連写モード時の処理］
次に、本実施形態に係る電子カメラ１０１において、連写モードで撮影する場合の処理について図６のフローチャートを用いて説明する。尚、図６のフローチャートは、画像処理モジュール１５１の画像処理部１０４および制御部１０５を中心に実行される処理である。

（ステップＳ１０１）画像処理部１０４は、撮像部１０２により撮影され、画像バッファ１０３に取り込まれたＲＡＷ画像を入力する。

（ステップＳ１０２）画像処理部１０４および制御部１０５は、入力されたＲＡＷ画像に対する評価処理を行う。図２の例では、動きベクトル、目を閉じている、明るさの変化、の３つの評価項目で評価する。

（ステップＳ１０３）制御部１０５は、ステップＳ１０２の評価結果により、現像処理を行うか否かの判定を行う。そして、現像処理を行う場合はステップＳ１０４の処理に進み、現像処理を行わない場合はステップＳ１０６の処理に進む。

（ステップＳ１０４）画像処理部１０４は、フルサイズのＲＡＷ画像に対して、デジタル現像処理および画像圧縮処理を行う。尚、画像圧縮処理を行わずにデジタル現像処理後のＲＧＢデータの画像やＹＣｒＣｂデータの画像をメモリカード１０６ａに保存する場合は、デジタル現像処理のみを実行する。

（ステップＳ１０５）制御部１０５は、現像処理後のフルサイズの画像（ＪＰＥＧ画像など）をメモリカード１０６ａに保存する。

（ステップＳ１０６）制御部１０５は、未現像のフルサイズＲＡＷ画像にステップＳ１０２に基づいた優先順位を付加する。優先順位は、撮影後に現像処理を行う場合の順番を示し、例えば優先順位が低い未現像のフルサイズＲＡＷ画像は、優先順位が高い未現像のフルサイズＲＡＷ画像よりも後で現像処理される。

優先順位を決める方法として、例えば、動きベクトルの大きさを示す閾値を決めておき、閾値の大きい順番に閾値１から閾値４までの４段階を設ける。そして、閾値１以上の画像を優先順位１、閾値１未満で閾値２以上の画像を優先順位２のように分類する。同様に、閾値２未満で閾値３以上の画像は優先順位３、閾値３未満で閾値４以上の画像は優先順位４、閾値４未満の画像は優先順位５となる。尚、明るさの変化の場合も同様に、明るさの変化の大きさに応じて優先順位を分けることができる。また、動きベクトルや明るさの変化など複数の評価項目に重み付けを行って優先順位を決めてもよいし、目を閉じている場合は優先順位を５に固定するなどの分類を行ってもよい。

このようにして、分類された優先順位は、未現像のフルサイズＲＡＷ画像の画像ファイルに付加される。例えば図５（ｂ）の場合、制御部１０５は、先に説明した図５（ａ）のファイル３５１のヘッダ３５３に優先順位を付加したヘッダ３５３ａを有するファイル３５１ａを作成する。

尚、優先順位を付加しない場合は、ステップＳ１０６を省略してもよい。

（ステップＳ１０７）制御部１０５は、未現像のフルサイズのＲＡＷ画像をメモリカード１０６ａに記憶する。尚、制御部１０５は、ステップＳ１０６で優先順位を付加する場合は、図５（ｂ）に示したように、ヘッダ３５３ａに優先順位が付加されたファイル３５１ａをメモリカード１０６ａに記憶し、優先順位を付加しない場合は、図５（ａ）に示したように、ヘッダ３５３に現像処理の有無を示す情報が付加されたファイル３５１をメモリカード１０６ａに記憶する。

（ステップＳ１０８）画像処理部１０４および制御部１０５は、サムネイル画像についてもデジタル現像処理および画像圧縮処理を行い、サムネイル圧縮画像としてメモリカード１０６ａに保存する。

（ステップＳ１０９）制御部１０５は、連写が終了したか否かを判別する。例えば、連写枚数が決められている場合は、連写枚数に達したか否かを判別する。そして、制御部１０５は、連写を終了しない場合はステップＳ１０１に戻って同様の処理を繰り返す。

このようにして、本実施形態に係る電子カメラ１０１では、連写モードで時間的に連続して撮影される画像を評価して、評価結果に応じてフルサイズ画像の現像処理を行うか否かを判別し、現像処理を行わない場合はＲＡＷ画像をメモリカード１０６ａに記憶する。この時、メモリカード１０６ａに記憶されるＲＡＷ画像のファイルに現像処理の有無を示す情報を付加するので、撮影後に読み出した時に未現像であるか否かを容易に判別することができる。

さらに、本実施形態に係る電子カメラ１０１は、未現像である場合に、後で実行する現像処理の優先順位を評価結果に応じて決めておき、ＲＡＷ画像のファイルに優先順位を付加してメモリカード１０６ａに記憶する。これにより、撮影後に読み出した時に未現像であるか否かの情報と共に優先順位を確認して、優先順位が高いＲＡＷ画像から順番に現像処理を行うことができる。例えば目を閉じた顔が写っている画像や露出の過不足がある画像、手ブレの有る画像、などの失敗画像の優先順位を低くしておくことができる。これにより、撮影の合間のメニュー操作時などの短い時間にメモリカード１０６ａに記憶された未現像のＲＡＷ画像を読み出して現像処理を行う場合、きれいに撮影された画像を優先的に現像処理することができる。尚、現像処理を行うタイミングについては後で詳しく説明する。

［連写モードの撮影例］
次に、図６のフローチャートで処理する場合の具体例について図７を用いて説明する。図７は、紙面上から下に向けて連写された７枚の画像例を示している。

図７において、先ず、フルサイズ画像２５１は、連写モードで撮影される最初の画像なので、現像処理を行う。

フルサイズ画像２５２は、例えば、前のフレームのフルサイズ画像２５１に対する変化（動きベクトルの大きさや明るさの変化）が少ないので（実際には動きベクトルの大きさの閾値および明るさの変化の閾値と比較して閾値未満と判定）、現像処理を行わない。

フルサイズ画像２５３は、例えば、前のフレームのフルサイズ画像２５２に対する変化が大きいので（実際には動きベクトルの大きさの閾値および明るさの変化の閾値と比較して閾値以上と判定）、現像処理を行う。例えば図７では、フルサイズ画像２５２に写っていなかった自動車が画面に入っている。

フルサイズ画像２５４は、例えば、前のフレームのフルサイズ画像２５３に対する変化が大きいが、前のフレームのフルサイズ画像２５３の現像処理を行っており、連続フレームなので現像処理を行わない。尚、先に説明したように、画像処理モジュール１５１の現像処理能力に余裕がある場合は、現像処理を行うようにしてもよい。或いは、例えば画像処理モジュール１５１の動作周波数を可変できる場合は、この時だけ、動作周波数を上げるようにしてもよい。これにより、消費電力を抑えながら評価結果が良好な画像の現像処理を行うことができる。または、評価結果が良好な画像であるが連続フレームのために現像できなかった画像については図６のステップＳ１０６で優先順位を最優先に設定するようにしてもよい。

フルサイズ画像２５５は、例えば、前のフレームのフルサイズ画像２５４に対する変化が大きいので、現像処理を行う。例えば図７では、フルサイズ画像２５２に写っていた自動車が画面から無くなっている。

フルサイズ画像２５６は、前のフレームとの比較ではなく、例えば、現フレームに手ブレが生じているので、失敗写真として現像処理を行わない。

フルサイズ画像２５７は、例えば、現フレームに写っている顔の目が閉じているので、失敗写真として現像処理を行わない。

尚、フルサイズ画像２５１からフルサイズ画像２５７の７枚の全画像のサムネイル画像２５１ｓからサムネイル画像２５７ｓについては全て現像処理を行う。

このようにして、本実施形態に係る電子カメラ１０１では、連写モードで時間的に連続して撮影される画像を評価して、評価結果に応じてフルサイズ画像の現像処理を行うか否かを判別し、フレーム間で変化が少ない場合や失敗画像の場合は現像処理を行わないようにすることができる。これにより、画像処理モジュール１５１の現像処理能力が低い場合でも、高解像度の画像を連写することができる。つまり、安価で回路規模が小さい画像処理モジュール１５１を使用することができ、電子カメラ１０１のコストを低減できる。

［画像処理モジュール１５１の現像処理能力に応じた現像処理］
次に、画像処理モジュール１５１の現像処理能力に応じた現像処理を行う例について図８のフローチャートを用いて説明する。尚、図８のフローチャートにおいて、図６のフローチャートと同符号の処理は、同様の処理内容であることを示すので重複する説明は省略する。

図６のフローチャートとの違いは、ステップＳ１０３とステップＳ１０４との間にステップＳ１５１の処理が挿入され、ステップＳ１０３とステップＳ１０６との間にステップＳ１５２の処理が挿入されていることである。

（ステップＳ１５１）制御部１０５は、現像処理を行う画像が連続フレームであるか否かを判別する。そして、連続フレームである場合はステップＳ１５２の処理に進み、連続フレームではない場合はステップＳ１０４の処理に進む。

（ステップＳ１５２）制御部１０５は、先に説明したように、画像処理モジュール１５１の現像処理能力を超えるか否かを判別する。例えば画像処理モジュール１５１の現像処理能力の限界値を連写能力の０．８倍としてメニュー画面などで設定しておく。この場合、連写時の解像度に応じて画像処理モジュール１５１の現像処理能力と連写能力との関係が変わるので、制御部１０５は、連写時に現像処理能力を計算する。そして、上記の例では、画像処理モジュール１５１の現像処理能力が連写能力の０．８倍以上の場合は、現像処理能力を超えないと判断し、０．８倍未満の場合に現像処理能力を超えると判断する。例えば現像処理能力が４枚／秒で、連写能力が５枚／秒の場合は少し処理が後れるが現像処理を実行し、現像処理能力が３枚／秒で、連写能力が５枚／秒の場合は現像処理を行わない。尚、上記の例では限界値を０．８倍としたので、連写速度よりも現像処理速度が少し遅くなるが、限界値を１．０倍とすれば、連写される画像の間隔時間内に現像処理を終了することができる。

そして、制御部１０５は、現像処理能力を超えると判断した場合はステップＳ１０６の処理に進み、現像処理能力を超えないと判断した場合はステップＳ１０４の処理に進む。以降、ステップＳ１０４およびステップＳ１０６の処理は、図６と同様なので、重複する説明は省略する。

このようにして、現像処理能力を超える場合は現像処理を行わずにメモリカード１０６ａに保存し、現像処理能力を超えない場合は連続フレームであっても現像処理を行うことができる。これにより、画像処理モジュール１５１の処理能力を最大限に活かした現像処理を行うことが可能になる。

［未現像画像の現像処理を行うタイミング］
次に、撮影時に未現像画像としてメモリカード１０６ａに保存されたＲＡＷ画像の現像処理を行うタイミングについて、いくつかの例を挙げて説明する。

ここで、本実施形態に係る電子カメラ１０１は、先に説明したように、撮影時に、連写モードで時間的に連続して撮影される画像を評価して、評価結果に応じてフルサイズ画像の現像処理を行うか否かを判別し、フレーム間で変化が少ない場合や失敗画像の場合は現像処理を行わずにメモリカード１０６ａに保存する。図７の例では、図９に示すように、フルサイズ画像２５２、フルサイズ画像２５４、フルサイズ画像２５６およびフルサイズ画像２５７の４枚の画像が未現像のＲＡＷ画像としてメモリカード１０６ａに保存されている。

そして、本実施形態に係る電子カメラ１０１は、未現像のＲＡＷ画像に対して、撮影後の様々なタイミングで現像処理を行う。

（再生時の現像処理）
先ず、未現像のＲＡＷ画像を再生時に現像処理する一例について説明する。図１０は、メモリカード１０６ａに保存されている撮影済のＲＡＷ画像を操作部１０８のモード選択ダイヤルなどで再生モードを選択した時の処理を示したフローチャートである。尚、図１０の処理は、制御部１０５のプログラムに従って、制御部１０５および画像処理部１０４により実行される処理である。

（ステップＳ２０１）制御部１０５は、メモリカード１０６ａに保存されているサムネイル画像を読み出す。尚、読み出されたサムネイル画像は、画像バッファ１０３に一時的に保持される。

ここで、本実施形態に係る電子カメラ１０１では、表示部１０７の画面に表示する画像は、サムネイル画像のファイルを用いる。先に説明したように、本実施形態では、サムネイルのＲＡＷ画像は全て現像処理されているので、未現像のフルサイズのＲＡＷ画像がある場合でも対応するサムネイル画像として表示することができる。

（ステップＳ２０２）制御部１０５は、画像バッファ１０３に読み出されたサムネイル画像を表示部１０７に表示する。

（ステップＳ２０３）制御部１０５は、表示部１０７に表示しているサムネイル画像に対応するフルサイズのＲＡＷ画像が未現像であるか否かを判別する。

ここで、サムネイル画像に対応するフルサイズのＲＡＷ画像またはフルサイズの現像済の画像の判別は、先に説明したように、ヘッダ３５３に書き込まれた互いに関連付ける情報（例えばファイル名など）により認識できる。また、サムネイル画像のファイルのヘッダ３５３に、サムネイル画像に対応するフルサイズのＲＡＷ画像が未現像であるか否かを書き込んでおいてもよい。

（ステップＳ２０４）制御部１０５は、表示部１０７に表示しているサムネイル画像に対応するフルサイズのＲＡＷ画像を画像バッファ１０３に読み出す。そして、ステップＳ１０４と同様に、画像処理部１０４は、フルサイズのＲＡＷ画像に対して、デジタル現像処理および画像圧縮処理を行う。尚、画像圧縮処理を行わずにデジタル現像処理後のＲＧＢデータの画像やＹＣｒＣｂデータの画像をメモリカード１０６ａに保存する場合は、デジタル現像処理のみを実行する。

（ステップＳ２０５）制御部１０５は、ステップＳ１０５と同様に、現像処理後のフルサイズの画像（ＪＰＥＧ画像など）をメモリカード１０６ａに保存する。

（ステップＳ２０６）制御部１０５は、画像の再生を終了するか否かを判別する。例えば、制御部１０５は、ユーザーが操作部１０８のモード選択ダイヤルなどで再生モードを終了したか否かの判別を行う。或いは、スライドショーなどで再生している場合、制御部１０５は、メモリカード１０６ａ全体または選択されたフォルダ内に記憶されている全画像の表示を終了した時に、再生終了と判断する。そして、制御部１０５は、再生モードを終了しない場合は、ステップＳ２０１の処理に戻って、同様の処理を繰り返し実行する。

このようにして、本実施形態に係る電子カメラ１０１は、再生時に未現像のフルサイズのＲＡＷ画像がある場合に、撮影時に実行できなかった現像処理を行ってメモリカード１０６ａに保存することができる。この場合、ユーザーは、表示部１０７で閲覧している画像に対応するフルサイズのＲＡＷ画像の現像処理が行われていることを認識する必要がなく、電子カメラ１０１側で自動的に実行される。これにより、閲覧後の印刷時にフルサイズ画像が必要になった時には、現像処理されたフルサイズ画像がメモリカード１０６ａに作成されており、使用上の支障になることはない。

また、画像を再生せずに印刷する場合でも、印刷するフルサイズ画像を読み出しながら当該画像が未現像であるか否かを確認し、未現像である場合は現像処理を行ってから印刷するようにしてもよい。この場合でも、一般的なインクジェットプリンタの印刷時間に比べると、現像処理時間は無視できるほど短いので、使用上の支障になることは少ない。

（優先順位を付けて現像処理）
次に、優先順位を付けて現像処理する例について説明する。上記の例では、再生時や印刷時など、ユーザーがメモリカード１０６ａに保存されている撮影済みの画像を読み出す操作を行った場合に、表示部１０７に表示されるサムネイル画像に対応するフルサイズ画像や印刷しようとするフルサイズ画像が未現像のＲＡＷ画像である場合に、当該画像対して現像処理を行うようにしていた。ここでは、ユーザーがメモリカード１０６ａに保存されている撮影済みの画像を読み出す操作を行っていない空き時間に未現像のＲＡＷ画像の現像処理を行う場合の一例を示す。例えば、電源は入っているが何も操作していない時やメニュー画面で設定を行っている時などの空き時間に未現像のＲＡＷ画像の現像処理が自動的に実行される。

特に、本実施形態に係る電子カメラ１０１は、メモリカード１０６ａに複数の未現像のＲＡＷ画像が保存されている場合に、優先順位を付けて現像処理を行う。尚、優先順位は、先に説明した図６のフローチャートのステップＳ１０６において、未現像のＲＡＷ画像のファイルに付加されている。

図１１は、先に説明した図９に対応する図で、メモリカード１０６ａに記憶されている未現像のフルサイズ画像に優先順位が付加されている様子を示している。図１１において、例えば、フルサイズ画像２５２の優先順位はランク１、フルサイズ画像２５４の優先順位はランク２、フルサイズ画像２５６の優先順位はランク５、フルサイズ画像２５７の優先順位はランク４、である。ここで、本実施形態に係る電子カメラ１０１では、優先順位を最高のランク１から最低のランク５までの５段階に分けている。また、優先順位は、予め設定されたルールに従って割り振られている。例えば手ブレや露出の過不足など撮影自体に問題がある画像のランクを低くし、次に目閉じなど被写体に問題がある画像をランク付けし、撮影自体や被写体に問題がないが処理能力の問題で未現像になっていた画像のランクを高く設定する。

このようにして、撮影自体に問題がある画像や被写体に問題がある画像など失敗画像の優先順位を低くすることで、印刷など使用される可能性が高い撮影自体や被写体に問題がない画像の現像処理を優先して行うことができる。

（電源ＯＦＦ時に現像処理）
次に、電子カメラ１０１の電源をＯＦＦする時に、メモリカード１０６ａに保存されている未現像のＲＡＷ画像を現像処理する一例について説明する。図１２は、ユーザが操作部１０８の電源ボタンを押下して電子カメラ１０１の電源をＯＦＦする時に現像処理を行う処理例を示すフローチャートである。尚、図１２の処理は、制御部１０５のプログラムに従って、制御部１０５および画像処理部１０４により実行される処理である。

一般的な電子カメラ１０１では、電子カメラ１０１の電源がＯＮの状態で操作部１０８の電源ボタンが押下された場合、制御部１０５は、電子カメラ１０１の電源をＯＦＦにする処理を開始する。これに対して、本実施形態に係る電子カメラ１０１の場合、制御部１０５は、電源をＯＦＦにする処理を行う前に、以下の処理を実行する。

（ステップＳ３０１）制御部１０５は、メモリカード１０６ａから優先順位の高い未現像のフルサイズ画像を検索する。具体的には、制御部１０５は、メモリカード１０６ａに記憶されている全てのフルサイズＲＡＷ画像の画像ファイル３５１のヘッダ３５３を参照して、未現像のＲＡＷ画像の優先順位を抽出する。

例えば、図１１の場合、メモリカード１０６ａに保存されている未現像のＲＡＷ画像は、フルサイズ画像２５２、フルサイズ画像２５４、フルサイズ画像２５６およびフルサイズ画像２５７の４つの画像が参照される。そして、これらの画像の優先順位が抽出される。図１１の例では、フルサイズ画像２５２の優先順位がランク１、フルサイズ画像２５４の優先順位がランク２、フルサイズ画像２５６の優先順位がランク５、フルサイズ画像２５７の優先順位がランク４である。

（ステップＳ３０２）制御部１０５は、未現像のＲＡＷ画像のうち優先順位が最も高い画像をメモリカード１０６ａから画像バッファ１０３に読み出す。図１１の例では、優先順位がランク１のフルサイズ画像２５２が読み出される。尚、同じランクの画像がある場合は、他の条件で読み出す順番を並び替えるようにしてもよい。例えば、撮影日時で並べ替えて撮影日時が新しい画像から読み出すようにする。

（ステップＳ３０３）画像処理部１０４は、ステップＳ１０４と同様に、画像バッファ１０３に読み出された未現像のフルサイズのＲＡＷ画像に対して、デジタル現像処理および画像圧縮処理を行う。図１１の例では、フルサイズ画像２５２に対してデジタル現像処理および画像圧縮処理が行われる。尚、画像圧縮処理を行わずにデジタル現像処理後のＲＧＢデータの画像やＹＣｒＣｂデータの画像をメモリカード１０６ａに保存する場合は、デジタル現像処理のみを実行する。

（ステップＳ３０４）制御部１０５は、ステップＳ１０５と同様に、現像処理後のフルサイズの画像（ＪＰＥＧ画像など）をメモリカード１０６ａに保存する。図１１の例では、現像処理後のフルサイズ画像２５２をメモリカード１０６ａに保存する。尚、この時に、フルサイズ画像２５２のＲＡＷ画像のファイルを削除するようにしてもよいし、ＲＡＷ画像の画像ファイル３５１のヘッダ３５３の現像処理無しを有りに変更してもよい。

（ステップＳ３０５）制御部１０５は、メモリカード１０６ａに未現像のＲＡＷ画像があるか否かを判別する。未現像のＲＡＷ画像が残っている場合は処理をステップＳ３０１に戻し、未現像のＲＡＷ画像が残っていない場合は処理をステップＳ３０５に進める。図１１の例では、フルサイズ画像２５２の現像処理が終了したので、フルサイズ画像２５４、フルサイズ画像２５６およびフルサイズ画像２５７の３つの画像が残っている。

（ステップＳ３０６）制御部１０５は、電子カメラ１０１の電源をＯＦＦする。例えば、操作部１０８の電源ボタンの操作を検出して制御部１０５を起動する回路以外の回路の動作を停止する。

このようにして、本実施形態に係る電子カメラ１０１は、ユーザが操作部１０８の電源ボタンを押下して電子カメラ１０１の電源をＯＦＦする時に自動的に未現像のＲＡＷ画像の現像処理を行うことができる。これにより、ユーザが意識することなく、撮影時に未現像であったＲＡＷ画像の現像処理を行うことができる。特に、本実施形態に係る電子カメラ１０１は、未現像のＲＡＷ画像に優先順位を付加しておき、使用される可能性が高いと思われるＲＡＷ画像から先に現像処理を行うので、使用時に未現像のまま残っていて直ぐに使用できなかったり、現像する時間だけ待たされるなどの問題を回避できる。

尚、上記の例では、電源ＯＦＦ時にメモリカード１０６ａに保存されている未現像の全ての画像を現像するようにしたが、優先順位の高いものから予め設定された枚数（例えば１０枚）だけを現像するようにしてもよい。これにより、未現像の画像が極端に多い場合に電源がＯＦＦするのが遅くなるという問題を回避できる。

また、上記の例では、制御部１０５は、電源ＯＦＦ時に現像処理を行うようにしたが、撮影時以外の未操作時やメニュー画面を表示している期間に優先順位の高い画像から順番に現像処理を行うようにしてもよい。この場合、制御部１０５は、操作部１０８の何らかのボタンが押下された時点で現像処理を中断し、当該操作に応じた処理を優先させる。これにより、操作遅延などの問題が発生せず、ユーザは現像処理が行われていることを意識することがない。或いは、制御部１０５が画像処理部１０４の処理負荷をモニタして、処理負荷が予め設定された閾値未満の場合に未現像のＲＡＷ画像の現像処理を行い、閾値以上の場合に現像処理を停止するようにしてもよい。この場合、例えば画像処理部１０４の最大処理能力を１００％として、閾値を６０％に設定しておき、画像処理部１０４の処理が６０％未満の場合に未現像のＲＡＷ画像の現像処理を実行する。もちろん、この場合でも優先順位に応じた現像を行うことで、利用される可能性が高い良好な画像から現像処理を行うことができる。

このように、本実施形態に係る電子カメラ１０１では、画像処理モジュール１５１は、連続して撮影される画像のうち最初の画像や大きな変化があった画像のみをリアルタイムで現像するので、画像処理モジュール１５１に要求される処理能力、回路規模およびコストなどを低く抑えることができる。また、画像処理モジュール１５１の動作頻度が低くなり、消費電力を低減することができる。さらに、画像処理モジュール１５１の処理能力に見合うだけの現像処理を行うことで、待たされることなく直ぐに次の画像の撮影を行うことができ、前に撮影された画像の現像処理が完了するまで撮影操作を行えないという問題を回避できる。また、本実施形態に係る電子カメラ１０１は、解像度が低く処理負荷が小さいサムネイル画像については、撮影される全画像について現像処理を行うので、再生時に表示部１０７に表示する際の問題はない。

また、撮影時に未現像のままメモリカード１０６ａに保存したＲＡＷ画像に対して、撮影後の画像処理モジュール１５１の処理能力に余裕がある時に自動的に現像処理を行うので、ユーザが気づかないうちに現像処理を完了することができる。ここで、上記の実施例では、未現像のＲＡＷ画像をそのままメモリカード１０６ａに保存するようにしたが、制御部１０５は、ＲＡＷ画像に対してデジタル現像処理を行わずに圧縮処理だけを行ってメモリカード１０６ａに保存するようにしてもよい。これにより、ファイル容量が大きいＲＡＷ画像を効率良くメモリカード１０６ａに保存することができる。また、デジタル現像処理後のＲＧＢデータの画像やＹＣｒＣｂデータの画像に対して、ＪＰＥＧなどの画像圧縮処理を行わずにメモリカード１０６ａに保存するようにしてもよい。この場合、先の実施形態で説明したように、電子カメラ１０１の空き時間に応じて、画像圧縮処理を自動的に行うようにしてもよい。

以上、いくつかの例を挙げて説明してきたように、本実施形態に係る電子カメラ１０１は、連写や高解像度の画像を続けて撮影する場合に、撮影画像の評価結果に応じて撮影時に現像するか否かを判別し、撮影時に現像する画像の枚数を間引くことにより、処理能力が低い安価な画像処理モジュール１５１を搭載するカメラでも高解像度の画像を連続して撮影することができる。

また、電子カメラ１０１の例を挙げて説明してきたが、単独の画像処理装置（例えば画像処理デバイスなど）において、上記で説明した画像処理モジュール１５１で行う現像処理を実行するようにしてもよい。そして、このような画像処理デバイスをカメラ付携帯電話やスマートホン、ビデオカメラなどに搭載してもよい。

尚、本発明に係る電子カメラおよび画像処理装置について、各実施形態で例を挙げて説明してきたが、その精神またはその主要な特徴から逸脱することなく他の多様な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

１０１・・・電子カメラ；１０２・・・撮像部；１０３・・・画像バッファ；１０４・・・画像処理部；１０５・・・制御部；１０６・・・メモリカードＩＦ；１０６ａ・・・メモリカード；１０７・・・表示部；１０８・・・操作部；１０９・・・不揮発性メモリ；１５１・・・画像処理モジュール；２０１・・・センサ補正処理；２０２・・・評価用画像生成処理；２０３・・・動き検出処理；２０４・・・顔検出処理；２０５・・・評価判定処理；３０１・・・動き検出用画像；３０２・・・動き検出結果；３０３・・・顔検出用画像；３０４・・・顔検出結果；３０５・・・明るさ検出用画像；２０６・・・リサイズ処理；２０７・・・デジタル現像処理；２０８・・・画像圧縮処理；２０９・・・記録処理

Claims

繰り返し第１画像データを入力する入力部と、
前記第１画像データに対して評価を行う評価部と、
前記第１画像データに現像処理を行って第２画像データを作成する現像部と、
前記評価部の評価結果に基づいて、前記現像部により前記第１画像データに現像処理を行って前記第２画像データを生成するか否かを制御する制御部と、を備え、
前記現像部は、前記第２画像データよりもサイズの小さい第３画像データを生成する画像処理装置。
請求項１に記載の画像処理装置において、
前記現像部は、前記評価部の評価結果にかかわらず前記第３画像データを生成する画像処理装置。
請求項１または２に記載の画像処理装置において、
前記制御部は、前記現像部により現像処理を行わずに前記第１画像データを記憶部に記憶する場合に、前記評価結果に基づいた優先順位を前記第１画像データに付加して前記記憶部に記憶する画像処理装置。
請求項３に記載の画像処理装置において、
前記評価部は、明るさ変化、動きベクトルの変化、顔の状態、ブレの状態、フォーカス状態、ホワイトバランス状態、露出状態の少なくとも１つを評価する画像処理装置。
請求項３または４に記載の画像処理装置において、
前記制御部は、前記評価結果に基づいて現像処理を行うと判定された前記第１画像データが連続する場合、当該第１画像データの現像処理を行わずに前記記憶部に記憶する画像処理装置。
請求項３から５のいずれか一項に記載の画像処理装置において、
前記現像部により単位時間当たりに現像処理を行うことができる画像枚数が、前記入力部により単位時間当たりに入力される画像枚数より多いか否かを判別する判別部を更に設け、
前記制御部は、前記評価結果に基づいて現像処理を行うと判定された前記第１画像データが連続する場合、前記判別部の判別結果に基づいて、当該第１画像データの現像処理を行うか否かを制御する画像処理装置。
請求項３から６のいずれか一項に記載の画像処理装置において、
前記制御部は、前記入力部が前記第１画像データを入力していない期間に、前記記憶部に記憶された現像処理が施されていない前記第１画像データに対して現像処理を行って前記第２画像データを生成し、当該第２画像データを前記記憶部に記憶する画像処理装置。
請求項３から７のいずれか一項に記載の画像処理装置において、
前記制御部は、前記記憶部に記憶されている現像処理が施されていない前記第１画像データに対して、前記第１画像データに付加されている前記優先順位が高い画像から前記現像部により現像処理を行って前記第２画像データを生成し、当該第２画像データを前記記憶部に記憶する画像処理装置。
請求項３から８のいずれか一項に記載の画像処理装置において、
前記制御部は、前記記憶部に記憶されている画像の再生時に、再生する画像が現像処理が施されていない前記第１画像データの場合、当該第１画像データに前記現像部により現像処理を行って前記第２画像データを作成し、当該第２画像データを前記記憶部に記憶する画像処理装置。
請求項３から８のいずれか一項に記載の画像処理装置において、
電源のオンオフ操作を行う操作部を更に設け、
前記制御部は、前記操作部により電源をオフする操作が行われた場合に、前記記憶部に記憶された現像処理が行われていない前記第１画像データを読み出し、当該第１画像データに前記現像部により現像処理を行って前記第２画像データを作成し、当該第２画像データを前記記憶部に記憶する画像処理装置。
請求項１から１０のいずれか一項に記載の画像処理装置を搭載し、
被写体を撮像し、前記第１画像データを生成して前記入力部に出力する撮像部と、
前記撮像部に撮像指示を与える撮像指示部と、
を更に設けた電子カメラ。