JP2010035177A - 画像撮影装置及び画像処理システム - Google Patents

Abstract

【課題】デジタルカメラ等の画像撮影装置において撮影画像を自動的に評価可能にする。
【解決手段】デジタルカメラ１は、被写体が撮影されると、撮影画像を自動的に評価（露出条件評価、コントラスト評価、ボケ、ブレ具合の評価）する画像評価処理を実行する。撮影モードが指定されたときに、撮影画像を記録する記録媒体（メモリー）の残り容量が予め設定された容量以下である場合、既に記録済みの各撮影画像の評価結果に基づいて、記録媒体から削除する画像の候補を決定し、決定された削除候補の中から、ユーザによって指定された画像を削除する画像削除処理を実行する。
【選択図】 図２

Description

本発明は、画像撮影装置及び画像処理システムに関する。

静止画像や動画像を撮像し、メモリーカード等の記録媒体に記録するデジタルカメラでは、フィルム代や現像代などを気にすることなく撮影画像を記録することができる。最近では、記録媒体の価格が下がり、記録容量が大幅に増え、多数の画像が記録可能になっている（例えば、特許文献１参照。）。記録媒体の容量が一杯になった場合は、記録媒体に記録された画像データをＰＣ（Personal Computer）等に転送してから記録媒体を空にするか、記録済みの画像の中から、ユーザが画像の良し悪しを判断して不要な画像を消去するなどして、記録媒体の空き領域が確保されている。

また、最近では、カメラ内で撮影画像の補正や画質の調整などを行わず、ＣＣＤ（Charge Coupled Device）等により撮像された画像信号をそのまま出力できるＲＡＷ記録モード機能を搭載したデジタルカメラが普及している。ＲＡＷデータ（生データ）は、本来の画像情報を多く含んでいるため、ＰＣ（Personal Computer）やレタッチ・ソフトにより、好みの画質補正や二次加工を施すことができ、プロのカメラマン用や業務用に便利である。

特許第２７８７７８１号公報

しかしながら、従来、デジタルカメラの記録媒体に記録された画像の中から不要な画像を消去する場合、ユーザが記録済み画像の画質等を目視で評価し、その評価結果に基づいて不要な画像を決めて削除していたため、画像の評価及び削除操作をしていると、シャッターチャンスを逃す恐れがあった。また、ＲＡＷデータを用いた画質補正には、熟練したＰＣ操作や画像修正技術を必要としているため、一般ユーザが、ＲＡＷデータから画質を評価して、満足な画像を得るのは困難であるとい問題があった。

本発明の課題は、デジタルカメラ等の画像撮影装置において撮影画像を自動的に評価することである。

上記課題を解決するため、請求項１に記載の発明は、被写体を撮影して撮影画像を取得する撮像手段と、前記取得された撮影画像の画質を評価する評価手段と、前記取得された撮影画像を記録媒体に記録する記録手段と、前記記録媒体の残り容量が予め設定された容量以下であるか否かを判定する判定手段と、前記判定手段により、前記記録媒体の残り容量が予め設定され容量以下であると判定された場合、前記評価手段による撮影画像の評価結果に基づいて、前記記録媒体から削除する画像の候補を決定する決定手段と、を備えることを特徴としている。

請求項２に記載の発明は、請求項１に記載の画像撮影装置において、前記評価手段は、撮影画像の輝度又は濃度のヒストグラム分布に基づいて、当該撮影画像の画質を評価することを特徴としている。

請求項３に記載の発明は、請求項１に記載の画像撮影装置において、前記評価手段は、撮影画像の周波数特性に基づいて、当該撮影画像の画質を評価することを特徴としている。

請求項４に記載の発明は、請求項１に記載の画像撮影装置において、前記評価手段は、撮影画像のブレの具合又はボケの度合いに基づいて、当該撮影画像の画質を評価することを特徴としている。

請求項５に記載の発明は、請求項１〜４の何れか一項に記載の画像撮影装置において、撮影画像毎に、前記記録媒体に記録された他の撮影画像との類似度を算出する算出手段を備え、前記決定手段は、前記評価手段による評価結果又は前記算出手段の算出結果に基づいて、前記記録媒体から削除する画像の候補を決定することを特徴としている。

請求項６に記載の発明は、請求項１〜５の何れか一項に記載の画像撮影装置において、撮影画像の評価項目を１又は複数設定する評価項目設定手段を備え、前記評価手段は、前記評価項目設定手段により設定された評価項目別に撮影画像を評価することを特徴としている。

請求項７に記載の発明は、請求項６に記載の画像撮影装置において、前記設定された評価項目別に、画像削除の基準となる基準値を設定する基準値設定手段を備え、前記決定手段は、前記評価手段による評価結果及び前記基準値設定手段により設定された基準値に基づいて、前記記録媒体から削除する画像の候補を決定することを特徴としている。

請求項８に記載の発明は、画像撮影装置と、当該画像撮影装置に接続される画像処理装置により構成される画像処理システムにおいて、前記画像撮影装置は、被写体を撮影して撮影画像を取得する撮像手段と、前記撮影画像の画質を評価することにより、当該撮影画像の評価値を取得する評価手段と、前記撮影画像のデータと、前記評価手段による当該撮影画像の画質の評価値を前記画像処理装置に送信する送信手段と、を備え、前記画像処理装置は、前記画像撮影装置から、撮影画像のデータと、当該撮影画像の画質の評価値を受信する受信手段と、前記受信手段により受信された撮影画像の評価値が予め設定された値より小さいか否かを判定する判定手段と、前記判定手段により、前記受信された撮影画像の評価値が予め設定された値より小さいと判定された場合、当該評価値に基づいて当該撮影画像を補正する補正手段と、を備えることを特徴としている。

本発明の画像撮影装置によれば、自動的に撮影画像の画質を評価する機能を設け、記録媒体の残り容量が予め設定された容量以下である場合、撮影画像の評価結果に基づいて、記録媒体から削除する画像の候補を決定するようにしたことにより、画質の悪い画像を迅速に削除して、新規撮影用に記録媒体の空き領域を確実に確保することができ、シャッターチャンスを逃すことが少なくなる。

また、記録媒体に記録された他の画像との類似度を算出し、類似度の高い画像を記録媒体から削除するようにしたことにより、類似した画像を迅速に削除して、新規撮影用に記録媒体の空き領域を確実に確保することができ、シャッターチャンスを逃すことが少なくなる。

更に、評価項目別に画像削除の基準となる基準値を設定し、評価項目別に画質を評価することにより、ユーザの用途や好みに合わせて、記録媒体から削除する画像が決定され、画像撮影装置の利便性を向上させることができる。

また、本発明の画像処理システムによれば、画像撮影装置に接続された画像処理装置にて、画像撮影装置から送信された撮影画像データ及びその画像の画質評価値に基づいて当該画像を自動的に補正するようにしたことにより、画像修正技術に習熟していない一般ユーザであっても、高度な補正が施された画像を得ることができる。

本発明の画像撮影装置を適用したデジタルカメラの回路構成を示すブロック図。 実施形態１のデジタルカメラにおいて実行される画像撮影・削除処理を示すフローチャート。 図２における画像削除処理の詳細を示すフローチャート。 デジタルカメラの表示部における画面表示例を示す図。 画像の輝度ヒストグラム分布から画像を評価する方法の一例を示す図。 画像の輝度ヒストグラム分布から画像を評価する方法の一例を示す図。 画像の周波数特性により画像を評価する方法の一例を示す図。 画像の周波数特性により画像を評価する方法の一例を示す図。 画像の周波数特性により画像を評価する方法の一例を示す図。 画像の直線ブレ、焦点ボケの度合いの測定による画像評価方法の一例を示す図。 直線ブレの方向の角度（θ）の算出方法と、直線ブレの距離（Ｌ）の算出方法を示す図。 焦点ボケの広がり半径（ｒ）の算出方法を示す図。 ハフ（Ｈｏｕｇｈ）変換を説明するための図。 多階調ハフ変換を説明するための図。 画像間の類似度により画像を評価する方法の一例を示す図。 本発明の実施形態２のデジタルカメラにおいて実行される画像撮影・削除処理を示すフローチャート。 図１６における画像削除処理の詳細を示すフローチャート。 図１７における画像評価処理の詳細を示すフローチャート。 デジタルカメラの表示部における画面表示例を示す図。 本発明の実施形態３に係る画像処理システムの全体構成を示す図。 実施形態３のデジタルカメラにおいて実行される画像撮影・送信処理を示すフローチャート（ａ）と、外部機器において実行される画像補正・出力処理を示すフローチャート（ｂ）。

以下、図面を参照して、本発明の実施形態を詳細に説明する。

（実施形態１）
図１〜図１５を参照して、本発明の実施形態１について説明する。まず、実施形態１における構成について説明する。

図１に、本発明の画像撮影装置を適用した実施形態１に係るデジタルカメラ１の回路構成を示す。デジタルカメラ１は、図１に示すように、モータ（Ｍ）２１、レンズ光学系２２、ＣＣＤ２３、ＴＧ（タイミング発生器）２４、垂直ドライバ２５、Ｓ／Ｈ（サンプルホールド回路）２６、Ａ／Ｄ変換器２７、カラープロセス回路２８、ＤＭＡ（Direct Memory Access）コントローラ２９、ＤＲＡＭ（Dynamic RAM） I／Ｆ（ＤＲＡＭインターフェース）３０、ＤＲＡＭ３１、制御部３２、ＶＲＡＭ（Video RAM）コントローラ３３、ＶＲＡＭ３４、デジタルビデオエンコーダ３５、キー入力部３６、ＪＰＥＧ（Joint Photograph coding Experts Group）回路３７、フラッシュメモリ３８、通信部３９、表示部１３により構成される。

モータ（Ｍ）２１は、制御部３２から入力される制御信号に従って駆動し、レンズ光学系２２の絞り位置を移動させる。

ＣＣＤ２３は、撮像素子が平面状（２次元）に配列された構造を有し、光入力を電気信号に変換して蓄積する光電変換部、蓄積された電荷を読み出す走査部、電気信号として出力する出力部により構成され、撮影モードでのモニタリング状態において、タイミング発生器（ＴＧ）２４、垂直ドライバ２５によって駆動される。

ＣＣＤ２３の出力部から出力された電気信号は、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整され、Ｓ／Ｈ（サンプルホールド回路）２６は、このゲイン調整された信号をサンプルホールドする。Ａ／Ｄ変換器２７は、Ｓ／Ｈ（サンプルホールド回路）２６から出力されたアナログ信号をデジタル信号に変換し、カラープロセス回路２８に出力する。

カラープロセス回路２８は、Ａ／Ｄ変換器２７から出力されたデジタル信号に対して画素補間処理及びγ補正処理を含むカラープロセス処理を施し、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを生成し、ＤＭＡコントローラ２９に出力する。

ＤＭＡコントローラ２９は、カラープロセス回路２８から出力された輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを、同じくカラープロセス回路２８から出力された複合同期信号、メモリ書込みイネーブル信号及びクロック信号を用いて一度ＤＭＡコントローラ２９内部のバッファに書込み、ＤＲＡＭ Ｉ／Ｆ３０を介してバッファメモリとして使用されるＤＲＡＭ３１にＤＭＡ転送を行う。

制御部３２は、ＣＰＵ（Central Processing Unit）、ＣＰＵで実行される動作プログラムを固定的に記憶したＲＯＭ（Read Only Memory）及びワークメモリとして使用されるＲＡＭ（Random Access Memory）等により構成され、デジタルカメラ１の各部の動作を制御する。以下、制御部３２による制御動作について説明する。

制御部３２は、撮影された画像の画質を評価する画像評価処理を実行する。また、制御部３２は、撮影モードが指定されると、フラッシュメモリ３８（記録媒体）の残り容量が予め設定された容量以下であるか否かを判定し、記録媒体の残り容量が予め設定され容量以下であると判定された場合、画像評価処理による撮影画像の評価結果に基づいて、記録媒体から削除する画像の候補を決定する。そして、制御部３２は、削除画像の候補の中から、キー入力部３６の操作により指定された画像を記録媒体から削除する処理を行う。以下の、実施形態１及び実施形態２において、記録媒体に記録済みのデータを消去する場合だけでなく、記録済みのデータに新しいデータを上書きする場合も、記録済みのデータが「削除」されたものとみなすことにする。

画像評価の方法としては、撮影画像の輝度又は濃度のヒストグラム分布から評価する方法と（画像評価方法１：図５及び図６参照）、撮影画像の周波数特性に基づいて評価する方法と（画像評価方法２：図７〜図９参照）、撮影画像のブレ又は焦点ボケの度合いに基づいて評価する方法（画像評価方法３：図１０〜図１４）等がある。本実施形態１の画像評価処理では、これら複数の画像評価方法の全てが適用される場合を示すが、これら画像評価方法１〜３のうちの何れか一つ又は２つ以上を組み合わせた画像評価方法であってもよい。

また、上述では、画像の画質の評価結果に基づいて、記録媒体から削除する画像の候補を決定する場合を示したが、記録媒体に記録された各撮影画像毎に、他の撮影画像との類似度を算出し、類似度の算出結果に基づいて、記録媒体から削除する画像の候補を決定するようにしてもよい。類似度に基づく画像評価方法（画像評価方法４）は、後に図１５を参照して説明する。

ＶＲＡＭコントローラ３３は、制御部３２の制御により、ＤＲＡＭ３１に一時記憶されている画像データ（輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒ）を、ＤＲＡＭ３１からＤＲＡＭ Ｉ／Ｆ３０を介して読出し、ＶＲＡＭ３４に書込む。また、再生モード時、制御部３２により伸長された画像データをＶＲＡＭ３４に展開して記憶させる。

デジタルビデオエンコーダ３５は、ＶＲＡＭ３４に記憶されている画像データを、ＶＲＡＭ３４からＶＲＡＭコントローラ３３を介して定期的に読出し、これらのデータを元にビデオ信号を生成して表示部１３に出力する。

キー入力部３６は、電源キー、シャッターキー、モードスイッチ、メニューキー及び十字キー等の各種キーにより構成され、それらのキー操作に応じた信号を制御部３２に出力する。キー入力部３６のシャッターキーは、２段階のストロークで動作し、一般的に「半押し」と表現されている第１段階の操作状態でＡＥ（自動露光）処理やＡＦ（オートフォーカス）処理を始めとする撮影の準備を行い、一般的に「全押し」と表現されている、より強く押圧操作した第２段階の操作状態で撮影を実行する。

ＪＰＥＧ回路３７は、ＣＣＤ２３から取り込まれ、ＤＲＡＭ３１に一時的に記憶されている画像信号を、ＡＤＣＴ（Adaptive Discrete Cosine Transform：適応離散コサイン変換）、エントロピー符号化方式であるハフマン符号化などの処理によりデータ圧縮する。

フラッシュメモリ３８は、デジタルカメラ１の記録媒体として着脱自在に装着されるメモリーカード内に封入された不揮発性メモリであり、ＪＥＰＧ回路３７により符号化された画像信号が記録される。なお、フラッシュメモリ３８は、デジタルカメラ１に内蔵されていてもよい。

通信部３９は、外部機器とケーブルを介したデータ通信を行うためのインターフェースを備える。例えば、通信部３９は、ＩＥＥＥ１３９４やＵＳＢ（Universal Serial Bus）等により通信を行うためのインターフェースを備える。なお、外部機器と無線通信手段により通信可能としてもよい。

表示部１３は、撮影モード時にはモニタ表示部（電子ファインダ）として機能し、デジタルビデオエンコーダ３５からのビデオ信号に基づいた表示を行うことで、その時点でＶＲＡＭコントローラ３３から取込んでいる画像情報に基づくスルー画像をリアルタイムに表示する。

次に、実施形態１における動作について説明する。
まず、図２のフローチャートを参照して、実施形態１のデジタルカメラ１において実行される画像撮影・削除処理について説明する。

まず、表示部１３に、図４（ａ）に示すようなメニュー画面が表示される（ステップＳ１）。図４（ａ）に示すメニュー画面には、撮影モードを指定するための「撮影モード」ボタン、撮影画像の再生を指定するための「再生モード」ボタン、撮影画像の削除を指定するための「画像の削除」ボタン、その他の各種の設定を指定するための「各種の設定」ボタン等が表示されている。

メニュー画面において、「撮影モード」ボタンが指定された場合（ステップＳ２；ＹＥＳ）、デジタルカメラ１のレンズ位置等の初期設定が行われ（ステップＳ３）、記録媒体（フラッシュメモリ３８）の残り容量が設定容量以下であるか否かが判定される（ステップＳ４）。

ステップＳ４において、記録媒体の残り容量が設定容量以下であると判定された場合（ステップＳ４；ＹＥＳ）、各撮影画像の評価値に基づいて記録媒体から画像データを削除する画像削除処理が行われる（ステップＳ５）。画像削除処理の詳細は、後に図３を参照して説明する。

ステップＳ４において、記録媒体の残り容量が設定容量より大きいと判定された場合（ステップＳ４；ＮＯ）又はステップＳ５の画像削除処理の終了後、キー入力部３６によりズーム操作が指定されると（ステップＳ６；ＹＥＳ）、ズーム処理が行われ（ステップＳ７）、オートフォーカス処理が行われる（ステップＳ８）。ズーム操作が指定されなかった場合は（ステップＳ６；ＮＯ）、ズーム処理が行われずにオートフォーカス処理が行われる（ステップＳ８）。

表示部１３に、図４（ｃ）に示すような撮影スルー画像が表示され（ステップＳ９）、キー入力部３６のシャッターキーの押下により撮影が指示されると（ステップＳ１０；ＹＥＳ）、撮影処理が行われ（ステップＳ１１）、撮影画像データが取得される。撮影処理後、撮影処理で取得された撮影画像データの画像評価処理が行われる（ステップＳ１２）。画像評価処理の詳細は、後に図５〜図１５を参照して説明する。シャッターキーが押されなかった場合には（ステップＳ１０；ＮＯ）、その他（撮影モード以外）のキー入力処理、表示処理等が行われ（ステップＳ１５）、本画像撮影・削除処理が終了する。

撮影画像データの画像評価処理が終了すると、撮影画像データとその評価値が対応付けて記録媒体に記録され（ステップＳ１３）、撮影画像データ及びその評価値が表示部１３に表示される（ステップＳ１４）。そして、その他（撮影モード以外）のキー入力処理、表示処理等が行われ（ステップＳ１５）、本画像撮影・削除処理が終了する。なお、ステップＳ１４において、図４（ｄ）に示すように、画像データのサイズ、撮影条件、画質評価値等の画像の詳細データを表示するようにしてもよい。また、画質評価値の各項目や総合評価値は、５点法や１０点法又は％に換算して表示するようにしてもよい。

メニュー画面において、「画像の削除」ボタンが指定された場合（ステップＳ１６；ＹＥＳ）、図４（ｂ）に示すような削除モード画面が表示される（ステップＳ１７）。削除モード画面において、キー入力部３６の操作により、撮影画像の自動削除機能を有効（ＯＮ）にするか無効（ＯＦＦ）にするかが指定されると、その指定内容が設定され（ステップＳ１８）、ステップＳ１に戻る。メニュー画面において、「撮影モード」ボタン及び「画像の削除」ボタン以外のボタンが指定された場合（ステップＳ１６；ＮＯ）、その指定されたモードに対応する処理が行われ（ステップＳ１９）、ステップＳ１に戻る。

なお、ステップＳ１２における画像評価処理は、１枚撮影される度に行うようにしてもよいし、一連の撮影処理の終了後に全画像分の処理をまとめて行うようにしてもよい。特に、連写撮影や動画撮影では、撮影性能を保つため、後者の方法を用いるのが好ましい。

次に、図３のフローチャートを参照して、図２に示した画像削除処理の詳細について説明する。

まず、画像データの自動削除設定がＯＮであるか否か（画像データの自動削除機能が有効であるか否か）が判定される（ステップＳ２０）。ステップＳ２０において、自動削除設定がＯＮであると判定された場合（ステップＳ２０；ＹＥＳ）、表示部１３に、図４（ｅ）に示すように、記録媒体（メモリー）の容量がない旨と、削除候補の画像を検索する旨が表示され（ステップＳ２１）、記録媒体に記録済みの画像は画像評価処理済であるか否かが判定される（ステップＳ２２）。

ステップＳ２２において、記録済み画像が画像評価処理済でないと判定された場合（ステップＳ２２；ＮＯ）、記録済み画像の画像評価処理が行われ（ステップＳ２３）、後述のステップＳ２４に移行する。ステップＳ２３の画像評価処理の詳細は、後に図５〜図１５を参照して説明する。

ステップＳ２２において、記録済み画像が画像評価処理済であると判定された場合（ステップＳ２２；ＹＥＳ）又は画像評価処理が終了すると、評価値の条件が設定されているか否かが判定される（ステップＳ２４）。ステップＳ２４において、評価値の条件が設定されていると判定された場合（ステップＳ２４；ＹＥＳ）、評価値が所定値以下の画像が、撮影日時又は画像容量の順に削除候補として決定される（ステップＳ２５）。

ステップＳ２４において、評価値の条件が設定されていないと判定された場合（ステップＳ２４；ＮＯ）、評価値が最も低い画像から順に削除候補として決定される（ステップＳ２６）。なお、ステップＳ２３又は図２のステップＳ１２の画像評価処理が、撮影画像の類似度に基づく画像評価である場合、ステップＳ２５、Ｓ２６では、評価値が所定値より大きい（即ち、類似度が高い）画像が削除候補として決定される。

画像の削除候補が決定されると、表示部１３には、図４（ｆ）に示すように、削除確認プロンプト画面が表示される（ステップＳ２７）。削除確認プロンプト画面には、該当する画像と、「この画像を削除してもよろしいですか？（Ｙ/Ｎ）」というメッセージが表示される。

削除確認プロンプト画面において、該当する画像の削除が指定されなかった場合（ステップＳ２８；ＮＯ）、記録媒体に記録済みの画像の中から、次の削除候補が検索され（ステップＳ３１）、ステップＳ２５（評価値条件ありの場合）又はステップＳ２６（評価値条件なしの場合）に戻る。削除確認プロンプト画面において、該当する画像の削除が指定された場合（ステップＳ２８；ＹＥＳ）、該当画像が記録媒体から削除され（ステップＳ２９）、現在の記録媒体の残り容量が新規撮影で得られる画像データを保存するのに十分であるか否かが判定される（ステップＳ３０）。

ステップＳ３０において、記録媒体の残り容量が新規撮影の画像データを保存するのに十分であると判定された場合（ステップＳ３０；ＹＥＳ）、本画像削除処理が終了する。ステップＳ３０において、記録媒体の残り容量が新規撮影の画像データを保存するのに十分でないと判定された場合（ステップＳ３０；ＮＯ）、次の削除候補が検索され（ステップＳ３１）、ステップＳ２５（評価値条件ありの場合）又はステップＳ２６（評価値条件なしの場合）に戻る。

ステップＳ２０において、自動削除設定がＯＦＦである場合（ステップＳ２０；ＮＯ）、表示部１３に、記録媒体の残り容量がなくなっている旨が表示されるとともに（ステップＳ３２）、マニュアル操作での画像削除を確認するための確認プロンプト画面が表示される（ステップＳ３３）。

表示部１３に表示された確認プロンプト画面上において、マニュアル操作での画像削除が指定されると（ステップＳ３４；ＹＥＳ）、マニュアル操作による画像の削除モードに移行し（ステップＳ３５）、本画像削除処理が終了する。ステップＳ３５では、ユーザは、記録媒体の容量を確認しながら画像を削除する。マニュアル操作での画像削除が指定されなかった場合（ステップＳ３４；ＮＯ）、本画像削除処理が終了する。

次に、図２及び図３の画像評価処理で適用される各画像評価方法の詳細を説明する。

＜画像評価方法１：輝度ヒストグラム分布に基づく評価＞
まず、図５及び図６を参照して、撮影画像の輝度又は濃度のヒストグラム分布から画質を評価する方法について説明する。

２次元画像データの各点（ｉ、ｊ）の輝度値をｆ（ｉ、ｊ）＝ｘとし、輝度値別に画素数を集計することにより、図５に示すような輝度分布図（輝度のヒストグラム分布）Ｐ（ｘ）が作成される。一般に、輝度のヒストグラム分布が中央からはずれて右端側（輝度値大：濃度のヒストグラム分布では左端側）に偏ると、露出オーバーで、高輝度領域が飽和したり、いわゆる「白飛び」した画像になる。逆に、輝度ヒストグラム分布が左端側（濃度ヒストグラム分布では右端側）に偏ると、露出アンダーで、低輝度領域が飽和したり、「黒つぶれ」した画像になる。また、分布が中央に集中していても、その分布幅が狭くて一様に広く分布していない場合には、ダイナミックレンジが狭く、中間諧調や細かな濃淡に欠けた画像となる。これらの何れも、撮影時の露出条件が悪く、写りの良くない画像の典型である。撮影画像の輝度又は濃度分布特性の指標値や統計量から、露出条件の良し悪しを評価できる。最近のデジタルカメラの多くは、この輝度値を集計演算して、ヒストグラム（頻度分布図）をグラフ表示したりできる機種が多いので、この機能を流用すれば、比較的容易に画像評価を行うことができる。

本実施形態１では、撮影画像の輝度又は濃度のヒストグラム分布から、輝度又は濃度の最頻値（最も頻度数が多い輝度値又は濃度値）、平均値、中央値（分布の頻度数の順位が中央にある輝度値又は濃度値）等の分布の代表値、分布の最大値、最小値、分散、標準偏差、歪み度、尖り度等を算出し、算出結果から、画像評価のための評価値が決定される。

輝度又は濃度のヒストグラム分布の平均値ｘ_M、分散（Variance）σ²、標準偏差（Standard Deviation）σ、歪み度（Skewness）Ｓkew、尖り度（Kurtosis）Ｋurtは、画素ｉの輝度値をｘ_i、評価対象の画像の総画素数をＮとすると、それぞれ、式（１）〜（５）のように表される。

ここで、分布の歪み度Ｓkewは、分布が左右対称かどうかの非対称性を示す。分布が左右対称であれば０、右に大きなはずれ値があれば（露出オーバーの場合）正、左に大きなはずれ値があれば（露出アンダーの場合）負となる。また、分布の尖り度Ｋurtは、分布が正規分布ならば０、正規分布より広がりが大きければ（ダイナミックレンジが広い場合）正、正規分布より広がりが小さければ（ダイナミックレンジが狭い場合）負となる。

このように、輝度又は濃度のヒストグラム分布の統計量に基づいて、分布の幅や広がり、その偏り、分布曲線の形状や特徴を判別し、画質の評価が可能となり、これらを元に画質の評価値が決定される。

撮影画像がカラー画像である場合、図６に示すように、ＲＧＢの各色毎に、輝度又は濃度のヒストグラム分布Ｐ_R（ｘ）、Ｐ_G（ｘ）、Ｐ_B（ｘ）を作成し、色毎に、分布の平均値、分散、標準偏差、歪み度、尖り度、変動係数ＣＶ等の統計量を算出し、算出された色毎の統計量の違いや比較によって、画質の評価値を決定するようにしてもよい。ここで、変動係数ＣＶは、式（６）のように定義される。

＜画像評価方法２：周波数特性に基づく評価＞
次に、図７〜図９を参照して、撮影画像の周波数特性から画質を評価する方法について説明する。

撮影画像（２次元画像データ）の各点の輝度値又は濃度値ｆ（ｘ，ｙ）を周波数変換したＦ（ｕ，ｖ）を算出し、周波数毎の振幅値や係数から、画像の周波数特性、画像全体に占める高周波成分や低周波成分の比率等から、画像のボケの程度や、鮮明度（シャープネス）、コントラスト等を評価することができる。周波数変換としては、フーリエ変換、離散フーリエ変換（ＤＦＴ：Discrete Fourier Transform）、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）、それらを高速計算する高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）アルゴリズム等を用いることができる。最近のデジタルカメラは、ＪＰＥＧ等の圧縮符号化のためにＤＣＴ用のＤＳＰ（Digital Signal Processor）やソフトウェアを内蔵しているものが多いので、この機能を流用すれば、比較的容易に画像評価を行うことができる。

２次元画像データの輝度値又は濃度値ｆ（ｘ，ｙ）の離散フーリエ変換式は、式（７）のように表される。

また、２次元画像データの輝度値又は濃度値ｆ（ｘ，ｙ）の離散コサイン変換式は、式（８）のように表される。

このように、２次元画像ｆ（ｘ、ｙ）を周波数空間に変換して周波数成分Ｆ（ｕ、ｖ）を算出し、全周波数成分に占める高周波成分の比率、全周波数成分に占める低周波成分の比率に基づいて画像の評価値を決定することができる。また、図７に示すように、予め、撮影画像を順次走査して１次元信号に並び替えてから周波数変換を施して、評価値を算出してもよいし、図８に示すように、撮影画像を周波数変換したＦ（ｕ、ｖ）の振幅値を、ジグザグ走査などで１次元に並び替えてから、評価値を算出するようにしてもよい。

本実施形態１では、全周波数成分に占める高周波成分の比率を画質評価値とし、全周波数成分に占める低周波成分の比率をボケ評価値とする。即ち、画質評価値、ボケ評価値は、それぞれ、式（９）、式（１０）のように表すことができる。
画質評価値＝（高周波成分の振幅値合計）／（全周波数成分の振幅値合計） （９）
ボケ評価値＝（全周波数成分の振幅値合計−高周波成分の振幅値合計）／（全周波数成分の振幅値合計） （１０）

また、図９に示すように、撮影画像の輝度値又は濃度値ｆ（ｘ、ｙ）の周波数分布（振幅（度数）−周波数の関係）を求め、画像評価方法１と同様に、この周波数分布の平均値、分散、標準偏差等の統計量を算出し、算出された統計量に基づいて画質の評価値を決定するようにしてもよい。周波数成分ｉの振幅値をＦ[ｉ]、周波数成分の合計をＮとすると、この分布の平均値ｆ_M、分散σ²、標準偏差σは、それぞれ、以下の式（１１）〜式（１３）のように表すことができる。

＜画像評価方法３：画像のブレの具合又はボケの度合いに基づく評価＞
次に、図１０〜図１４を参照して、撮影画像のブレの具合又はボケの度合いに基づいて画質を評価する方法について説明する。

図１０に、画像の変換や復元等に用いるＰＳＦ（Point Spread Function：点像分布関数、点広がり関数）法等を利用して、ブレやボケを判別評価する方法について示す。一般に、ＰＳＦ法による画像復元では、ブレやボケのない本来の画像i（ｘ，ｙ）と、ブレやボケを生じさせる成分ｐ（ｘ，ｙ）により、劣化した劣化画像ｇ（ｘ，ｙ）を表す。即ち、劣化画像ｇ（ｘ，ｙ）は、式（１４）のように表される。
ｇ（ｘ，ｙ）＝ｐ（ｘ，ｙ）＊ｉ（ｘ，ｙ） （１４）
ここで、＊は、コンボリューション（畳み込み積分）演算を表す。

ｐ（ｘ，ｙ）を、ＰＳＦ、ＬＳＦ（Line Spread Function：線像分布関数）として、劣化させたｐ（ｘ，ｙ）を算出することができれば、本来の画像ｉ（ｘ，ｙ）を、デコンボリューション（逆畳み込み積分）演算により求めることができる。以下、本来の画像ｉ（ｘ，ｙ）の算出方法を説明する。

まず、式（１４）に示す劣化画像ｇ（ｘ、ｙ）を、フーリエ変換等により周波数軸に変換する。周波数変換された劣化画像をＧ（ｕ、ｖ）とすると、Ｇ（ｕ、ｖ）は、式（１５−１）のように表される。

また、ｐ（ｘ、ｙ）、ｉ（ｘ、ｙ）を周波数変換したものを、それぞれＰ（ｕ、ｖ）、Ｉ（ｕ、ｖ）とすると、Ｇ（ｕ、ｖ）は、式（１５−２）のように表すこともできる。
Ｇ（ｕ、ｖ）＝Ｐ（ｕ、ｖ）・Ｉ（ｕ、ｖ） （１５−２）
ここで、コンボリューションは、周波数軸上では、フーリエ変換同士の掛け算となる。周波数領域で、式（１５−２）のＰ（ｕ、ｖ）が算出できれば、逆フィルターとして１／Ｐ（ｕ、ｖ）を計算し、本来の画像ｉ（ｘ、ｙ）を復元することができる。即ち、Ｉ（ｕ、ｖ）＝Ｇ（ｕ、ｖ）／Ｐ（ｕ、ｖ）（フーリエ変換同士の割り算）を算出し、これを逆フーリエ変換してｉ（ｘ、ｙ）を求めればよい。式（１６）にＩ（ｕ、ｖ）の逆フーリエ変換式を示す。

本実施形態１では、このＰＳＦ法におけるＰＳＦやＰ（ｕ、ｖ）の算出方法を、一般のアマチュアの撮影画像で、露出設定の失敗と並んで多い、「焦点ボケ」画像や「直線ブレ」画像の判別や評価に適用する。一般に、直線ブレした画像をフーリエ変換したＧ（ｕ、ｖ）の振幅値の分布は、図１０（ｂ）に示すような直線ブレのパターンとなり、中央付近の高周波成分がブレ角度に従って数本の細長い筋や傾斜した楕円形状に抜けて歪んだパターンが現れる。また、焦点ボケした画像をフーリエ変換したＧ（ｕ、ｖ）は、図１０（ｄ）に示すような焦点ボケの画像パターンとなり、中央部の高周波成分が同心円状に抜けて歪んだパターンとなる。また、直線ブレと焦点ボケが共に生じると、図１０（ｃ）に示すような、両方の特徴を合せもったパターンとなる。

本実施形態１では、直線ブレの評価値は、Ｇ（ｕ、ｖ）の振幅値が周期1/Ｌでゼロ交差する方向のブレ方向角度（θ）と、ブレの距離又はその画素数（Ｌ）に基づいて決定されるものとする。また、焦点ボケの評価値は、Ｇ（ｕ，ｖ）の振幅値が周期１．０１π/ｒでゼロ交差する同心円状の焦点の広がり半径又はその画素数（ｒ）に基づいて決定されるものとする。ブレ方向角度（θ）、ブレの距離（Ｌ）、焦点の広がり半径（ｒ）を算出するには、ＰＳＦ法、多階調Ｈｏｕｇｈ変換法、逆フィルター法等を適用できるが、以下では、ＰＳＦ法と多階調Ｈｏｕｇｈ変換を用いた算出方法について説明する。

まず、図１１（ａ）に示すように、直線ブレ等の劣化画像をフーリエ変換したＧ（ｕ，ｖ）のフーリエ・スペクトルの中央部の円内を、（複数点を通る直線の推定や検出等に広く用いられる）Ｈｏｕｇｈ変換により、θ―ρ空間上の多階調の２次元画像Ｈ（θ、ρ）に変換し、Ｈ（θ、ρ）値の角度θ毎に切り出したＨθ（ρ）波形を比較し、各角度θ（０°≦θ＜180°）におけるエントロピーＥ（θ）を求める。エントロピーＥ（θ）は、式（１７）のように表される。

式（１７）のＨsum(θ)は、劣化画像Ｇ（ｕ，ｖ）のフーリエ・スペクトルが示す円内の画素値の合計である。式（１７）に示すエントロピーＥ（θ）が最小となる角度θを、直線ブレ方向（θ）とみなすことができる。また、図１１（ｂ）に示すように、直線ブレ方向（θ）のＨθ（ρ）波形の極小点の周期（ＴＬ）を求めると、ブレ距離（Ｌ）＝1／ＴＬが求まる。

焦点ボケの広がり半径（ｒ）を算出するには、まず、図１２に示すように、Ｈ（θ、ρ）をθ軸方向に０°〜１７９°まで平均化したＣ（ρ）波形を作成する。Ｃ（ρ）は、式（１８）のように表される。

Ｃ（ρ）波形の極小点の周期（Ｔｒ）から、焦点ボケの広がり半径（ｒ）は、半径（ｒ）＝１．０１×π／Ｔｒより求まる。

図１３及び図１４に、上記の方法で用いたＨｏｕｇｈ変換（ハフ変換）の原理を示す。Ｈｏｕｇｈ変換では、ρ＝ｘcosθ＋ｙsinθの変換式により、一般の２次元座標（ｘ−ｙ平面上の点）はθ‐ρ平面上の曲線に変換され、ｘ−ｙ平面上の直線は、θ‐ρ平面上の点に逆変換できる。例えば、ｘ−ｙ平面上の点Ａ、Ｂ、Ｃを通る直線Ｌを求める場合には、図１３に示すように、点Ａ、Ｂ、ＣをＨｏｕｇｈ変換した、θ‐ρ平面上の曲線Ａ’、Ｂ’、Ｃ’が交差する交点Ｐ（θ_L、ρ_L）を求める。そして、その交点Ｐ（θ_L、ρ_L）をｘ−ｙ平面上にＨｏｕｇｈ逆変換し、ゼロ点から下ろした垂線の長さがρ_Lで、垂線の角度がθ_Lとなる直線Ｌが、求める直線となる。

Ｈｏｕｇｈ変換の配列Ｈ（θ、ρ）の明度（多階調を有する輝度又は濃度）をＨ（θ、ρ）＝ｆ（ｘ、ｙ）として多階調の２次元画像として定義し、図１３に示すような複数曲線の交点を求める場合には、図１４に示すように、明度（階調値）を加算して、階調値が最も大きくなる点（図１４の斜線部分）を交点として、近似計算で迅速に求めることができる。

以上のように、画像を劣化させたＰＳＦ関数を算出する方法、ゼロクロス法、多階調Ｈｏｕｇｈ変換等により、劣化画像ｇ（ｘ、ｙ）を周波数軸上にフーリエ変換したＧ（ｕ，ｖ）から、直線ブレ画像の方向（角度θ）、直線ブレの距離（画素数Ｌ）、焦点ボケ画像の焦点広がり半径（画素数ｒ）を算出し、これらθ、Ｌ、ｒに基づいて画像の評価値が決定される。

＜画像評価方法４：類似度に基づく評価＞
次に、図１５を参照して、撮影画像の類似度から画像を評価する方法について説明する。画像評価方法４では、画像評価方法１〜３と異なり、画質そのものでなく、画像が既に記録済みの他の画像と比べてどの程度類似しているかを判別して、画像削除の基準となる評価値を算出する方法を示す。

図１５に、入力画像（着目画像）ｆ（ｘ、ｙ）と、既に記録済みの参照画像ｔ（ｘ、ｙ）との類似度を算出する３つの方法を示す。図１５（ａ）は、輝度又は濃度の２次元分布における相関係数Ｒを、類似度の評価値としたものである。相関係数Ｒは、ピアソンの積率相関係数を用いて算出することができる。入力画像ｆ（ｘ、ｙ）の輝度値の平均値をｆ_AV、参照画像ｔ（ｘ、ｙ）の輝度値の平均値をｔ_AV、両画像の画素数をｎ×ｍとすると、２次元輝度分布における相関係数Ｒは、式（１９）のように表される。

図１５（ｂ）は、入力画像ｆ（ｘ、ｙ）及び参照画像ｔ（ｘ、ｙ）のエッジ抽出、２値化処理等により、それぞれの画像の輪郭線を抽出し、輪郭画像の相関係数Ｒ'を類似度の評価値としたものである。入力画像ｆ（ｘ、ｙ）の輪郭画像をｆ'（ｘ、ｙ）、参照画像ｔ（ｘ、ｙ）の輪郭画像をｔ'（ｘ、ｙ）とすると、相関係数Ｒ'は、式（２０）のように表される。
Ｒ'＝（輪郭画像ｆ'と輪郭画像ｔ'の共分散）／（輪郭画像ｆ'の標準偏差）・（輪郭画像ｔ'の標準偏差） （２０）

図１５（ｃ）は、入力画像ｆ（ｘ、ｙ）及び参照画像ｔ（ｘ、ｙ）の輝度又は濃度のヒストグラム分布の相関係数Ｒ"を、類似度の評価値としたものである。入力画像ｆ（ｘ、ｙ）の輝度のヒストグラム分布図を画像ｆ"（ｘ、ｙ）とし、参照画像ｔ（ｘ、ｙ）のヒストグラム分布図を画像t"（ｘ、ｙ）とすると、相関係数Ｒ"は、式（２１）のように表される。
Ｒ"＝（ヒストグラム画像ｆ"とヒストグラム画像ｔ"の共分散）／（ヒストグラム画像ｆ"の標準偏差）・（ヒストグラム画像ｔ"の標準偏差） （２１）
このように、相関係数を求めると、記録済みの他の画像に類似した画像パターン、輪郭画像又は露出特性が類似した画像を、削除候補として優先して選択することができる。

画像評価方法１〜３は、実施形態２及び実施形態３においても適用され、画像評価方法４は、実施形態２においても適用される。

以上のように、本実施形態１のデジタルカメラ１によれば、記録媒体の残り容量が予め設定された容量以下である場合、撮影画像の評価結果に基づいて、記録媒体から削除する画像の候補を決定するようにしたことにより、画質の悪い画像を迅速に削除して、新規撮影用に記録媒体の空き領域を確実に確保することができ、シャッターチャンスを逃すことが少なくなる。

また、記録媒体に記録された他の画像との類似度（相関係数）を算出し、類似度の高い画像を記録媒体から優先的に削除するようにしたことにより、類似した画像を迅速に削除して、新規撮影用に記録媒体の空き領域を確実に確保することができ、シャッターチャンスを逃すことが少なくなる。

（実施形態２）
図１６〜図１９を参照して、本発明の実施形態２について説明する。まず、実施形態２における構成について説明する。実施形態２におけるデジタルカメラの回路構成は、実施形態１において図１に示したデジタルカメラ１と同一であるため、その図示を省略し、同一符号を用いるものとする。以下、実施形態１のデジタルカメラ１と異なる点のみを説明する。

制御部３２は、ＣＰＵ（Central Processing Unit）、ＣＰＵで実行される動作プログラムを固定的に記憶したＲＯＭ（Read Only Memory）及びワークメモリとして使用されるＲＡＭ（Random Access Memory）等により構成され、デジタルカメラ１の各部の動作を制御する。以下、制御部３２による制御動作について説明する。

実施形態２の制御部３２は、キー入力部３６の操作により、画像の評価方法（画質優先の評価方法、類似度に基づく評価方法）を設定するとともに、画像の評価項目を設定する。また制御部３２は、画像削除の基準となる基準値を評価項目別に設定する。例えば、画像の評価方法が画質優先の評価方法である場合、画質の評価を行うための評価項目には、露出条件評価、コントラスト評価、ボケ・ブレ評価等がある。制御部３２は、評価項目別に画像を評価する画像評価処理を実行する（図１８参照）。また、制御部３２は、撮影モードが指定されると、記録媒体の残り容量が予め設定された容量以下であるか否かを判定し、記録媒体の残り容量が予め設定され容量以下であると判定された場合、画像評価処理による撮影画像の評価値と、設定された基準値とを比較することによって、記録媒体から削除する画像の候補を決定する（図１７参照）。

次に、実施形態２における動作について説明する。
まず、図１６のフローチャートを参照して、実施形態２のデジタルカメラ１において実行される画像撮影・削除処理について説明する。

まず、表示部１３に、図４（ａ）に示すようなメニュー画面が表示される（ステップＳ１０１）。図４（ａ）に示すメニュー画面には、撮影モードを指定するための「撮影モード」ボタン、撮影画像の再生を指定するための「再生モード」ボタン、撮影画像の削除を指定するための「画像の削除」ボタン、その他の各種の設定を指定するための「各種の設定」ボタン等が表示されている。

メニュー画面において、「撮影モード」ボタン及び「画像の削除」ボタン以外のボタンが指定された場合（ステップＳ１１６；ＮＯ）、その指定されたモードに対応する処理が行われ（ステップＳ１２２）、ステップＳ１０１に戻る。

メニュー画面において、「画像の削除」ボタンが指定された場合（ステップＳ１１６；ＹＥＳ）、図１９（ａ）に示すような削除モード画面が表示される（ステップＳ１１７）。図１９（ａ）に示す削除モード画面において、キー入力部３６の操作により、「自動削除の設定」ボタンが指定されると（ステップＳ１１８；ＹＥＳ）、表示部１３には、図１９（ｂ）に示すような自動削除設定画面が表示される（ステップＳ１１９）。

自動削除設定画面には、図１９に示すように、設定項目として、撮影画像の自動削除機能を有効（ＯＮ）にするか無効（ＯＦＦ）にするかを設定するための「自動削除」欄と、画像の評価方法を設定するための「評価方法」欄と、各評価機能を有効（ＯＮ）にするか無効（ＯＦＦ）にするかを設定するための「評価項目」欄（例えば、「露出条件評価」項目、「コントラスト」項目、「ボケ・ブレ」項目）が表示されている。また、各評価項目欄には、評価項目の基準値を設定するための「基準値」欄が表示されている。ここで、評価項目の基準値とは、画像削除の基準となる値であり、この基準値と画像評価値との比較により、対象とする画像が削除候補となるか否かが決定される。

自動削除設定画面において、キー入力部３６の操作により、撮影画像の自動削除機能を有効にするか否か（ＯＮ／ＯＦＦ）、評価方法、各評価項目の機能を有効にするか否か（ＯＮ／ＯＦＦ）、評価項目別の基準値が指定され（ステップＳ１２０）、「ＯＫ」ボタンが指定されると、ステップＳ１２０で指定された内容の設定が完了し（ステップＳ１２１；ＹＥＳ）、ステップＳ１０１に戻る。なお、評価項目別に設定された基準値に基づいて、通常撮影時の露出条件を自動的に設定するようにしてもよい。また、ユーザ毎に、過去に設定した基準値の履歴を保存しておき、その履歴に基づいて基準値を自動的に設定するようにしてもよい。

メニュー画面において、「撮影モード」ボタンが指定された場合（ステップＳ１０２；ＹＥＳ）、デジタルカメラ１のレンズ位置等の初期設定が行われ（ステップＳ１０３）、記録媒体（フラッシュメモリ３８）の残り容量が設定容量以下であるか否かが判定される（ステップＳ１０４）。

ステップＳ１０４において、記録媒体の残り容量が設定容量以下であると判定された場合（ステップＳ１０４；ＹＥＳ）、各撮影画像の評価値に基づいて記録媒体から画像データを削除する画像削除処理が行われる（ステップＳ１０５）。画像削除処理の詳細は、後に図１７を参照して説明する。

ステップＳ１０４において、記録媒体の残り容量が設定容量より大きいと判定された場合（ステップＳ１０４；ＮＯ）又はステップＳ１０５の画像削除処理の終了後、キー入力部３６によりズーム操作が指定されると（ステップＳ１０６；ＹＥＳ）、ズーム処理が行われ（ステップＳ１０７）、オートフォーカス処理が行われる（ステップＳ１０８）。ズーム操作が指定されなかった場合は（ステップＳ１０６；ＮＯ）、ズーム処理が行われずにオートフォーカス処理が行われる（ステップＳ１０８）。

表示部１３に、図４（ｃ）に示すような撮影スルー画像が表示され（ステップＳ１０９）、キー入力部３６のシャッターキーの押下により撮影が指示されると（ステップＳ１１０；ＹＥＳ）、撮影処理が行われ（ステップＳ１１１）、撮影画像データが取得される。撮影処理後、撮影処理で取得された撮影画像データの画像評価処理が行われる（ステップＳ１１２）。画像評価処理は、実施形態１において示した画像評価方法１〜４が適用され、ステップＳ１２０において設定された基準値に基づいて、評価項目別に画像評価が行われる。シャッターキーが押されなかった場合には（ステップＳ１１０；ＮＯ）、その他（撮影モード以外）のキー入力処理、表示処理等が行われ（ステップＳ１１５）、本画像撮影・削除処理が終了する。

撮影画像データの画像評価処理が終了すると、撮影画像データとその評価値が対応付けて記録媒体に記録され（ステップＳ１１３）、撮影画像データ及びその評価値が表示部１３に表示される（ステップＳ１１４）。そして、その他（撮影モード以外）のキー入力処理、表示処理等が行われ（ステップＳ１１５）、本画像撮影・削除処理が終了する。なお、ステップＳ１１４において、図４（ｄ）に示すように、画像データのサイズ、撮影条件、画質評価値等の画像の詳細データを表示するようにしてもよい。また、画質評価値の各項目や総合評価値は、５点法や１０点法又は％に換算して表示するようにしてもよい。

なお、ステップＳ１１２における画像評価処理は、１枚撮影される度に行うようにしてもよいし、一連の撮影処理の終了後に全画像分の処理をまとめて行うようにしてもよい。特に、連写撮影や動画撮影では、撮影性能を保つため、後者の方法を用いるのが好ましい。

次に、図１７のフローチャートを参照して、図１６に示した画像削除処理の詳細について説明する。

まず、画像データの自動削除設定がＯＮであるか否か（画像データの自動削除機能が有効であるか否か）が判定される（ステップＳ１３０）。ステップＳ１３０において、自動削除設定がＯＮであると判定された場合（ステップＳ１３０；ＹＥＳ）、表示部１３に、図４（ｅ）に示すように、記録媒体（メモリー）の容量がない旨と、削除候補の画像を検索する旨が表示され（ステップＳ１３１）、記録媒体に記録済み画像は画像評価処理済であるか否かが判定される（ステップＳ１３２）。

ステップＳ１３２において、記録済み画像が画像評価処理済でないと判定された場合（ステップＳ１３２；ＮＯ）、記録済み画像の画像評価処理が行われ（ステップＳ１３３）、後述のステップＳ１３４に移行する。ステップＳ１３３の画像評価処理の詳細は、後に図１８を参照して説明する。

ステップＳ１３２において、記録済み画像が画像評価処理済であると判定された場合（ステップＳ１３２；ＹＥＳ）又は画像評価処理が終了すると、ステップＳ１２０で設定された画像の評価方法が判別される（ステップＳ１３４）。ステップＳ１３４において、評価方法が「画質優先」の評価方法である場合（ステップＳ１３４；画質優先）、評価値が基準値以下の画像が、撮影日時又は画像容量の順に削除候補として決定される（ステップＳ１３５）。

ステップＳ１３４において、評価方法が「類似度」に基づく評価方法である場合（ステップＳ１３４；類似度）、評価値が、設定された基準値より大きい画像が、評価値が高い順に削除候補として決定される（ステップＳ１３６）。

画像の削除候補が決定されると、表示部１３には、図４（ｆ）に示すように、削除確認プロンプト画面が表示される（ステップＳ１３７）。削除確認プロンプト画面には、該当する画像と、「この画像を削除してもよろしいですか？（Ｙ/Ｎ）」というメッセージが表示される。

削除確認プロンプト画面において、該当する画像の削除が指定されなかった場合（ステップＳ１３８；ＮＯ）、記録媒体に記録済みの画像の中から、次の削除候補が検索され（ステップＳ１４１）、ステップＳ１３５（評価方法が「画質優先」の場合）又はステップＳ１３６（評価方法が「類似度」の場合）に戻る。削除確認プロンプト画面において、該当する画像の削除が指定された場合（ステップＳ１３８；ＹＥＳ）、該当画像が記録媒体から削除され（ステップＳ１３９）、現在の記録媒体の残り容量が新規撮影の画像データを保存するのに十分であるか否かが判定される（ステップＳ１４０）。

ステップＳ１４０において、記録媒体の残り容量が新規撮影の画像データを保存するのに十分であると判定された場合（ステップＳ１４０；ＹＥＳ）、本画像削除処理が終了する。ステップＳ１４０において、記録媒体の残り容量が新規撮影の画像データを保存するのに十分でないと判定された場合（ステップＳ１４０；ＮＯ）、次の削除候補が検索され（ステップＳ１４１）、ステップＳ１３５（評価方法が「画質優先」の場合）又はステップＳ１３６（評価方法が「類似度」の場合）に戻る。

ステップＳ１３０において、自動削除設定がＯＦＦである場合（ステップＳ１３０；ＮＯ）、表示部１３に、記録媒体の残り容量がなくなっている旨が表示されるとともに（ステップＳ１４２）、マニュアル操作での画像削除を確認するための確認プロンプトが表示される（ステップＳ１４３）。

表示部１３に表示された確認プロンプト上において、マニュアル操作での画像削除が指定されると（ステップＳ１４４；ＹＥＳ）、マニュアル操作による画像の削除モードに移行し（ステップＳ１４５）、本画像削除処理が終了する。ステップＳ１４５では、ユーザは、記録媒体の容量を確認しながら画像を削除する。マニュアル操作での画像削除が指定されなかった場合（ステップＳ１４４；ＮＯ）、本画像削除処理が終了する。

なお、削除した画像の評価値の履歴を保存し、削除画像の評価値の頻度を集計する手段を設け、累計頻度の多い評価値の画像を優先的に削除候補して決定するようにしてもよい。

次に、図１８のフローチャートを参照して、図１７に示した画像評価処理の詳細について説明する。

まず、画像の評価方法が画質優先の評価方法であるか類似度に基づく評価方法であるかが判別される（ステップＳ２００）。ステップＳ２００において、画像の評価方法が画質優先の評価方法であると判別された場合（ステップＳ２００；画質優先）、画質の評価項目として、露出条件評価が設定されているか否かが判別される（ステップＳ２０１）。

ステップＳ２０１において、評価項目として露出条件評価が設定されていると判別された場合（ステップＳ２０１；ＹＥＳ）、記録媒体に記録済みの未評価の画像から評価対象の画像が選択される（ステップＳ２０２）。そして、ステップＳ２０２で選択された画像について、画像評価方法１による画像評価が行われる。即ち、該当画像の輝度又は濃度のヒストグラム分布の統計量（平均値、分散、標準偏差、歪み度、尖り度等）が算出され（ステップＳ２０３）、算出された統計量に基づいて露出条件の評価値が決定される（ステップＳ２０４）。

次いで、ステップＳ２０４で決定された評価値が、該当画像に対応付けて記録媒体に記録される（ステップＳ２０５）。次いで、ステップＳ２０２〜Ｓ２０５において評価対象であった画像が最後の画像であるか、即ち、未評価の記録済み画像が他にあるか否かが判定される（ステップＳ２０６）。

ステップＳ２０６において、未評価の記録済み画像が他にあると判定された場合（ステップＳ２０６；ＮＯ）、ステップＳ２０２に戻り、該当する未評価の記録済み画像について、ステップＳ２０２〜Ｓ２０５の処理が繰り返される。ステップＳ２０６において、未評価の記録済み画像が他にないと判定された場合（ステップＳ２０６；ＹＥＳ）、画像評価方法１による画像評価が終了し、ステップＳ２０７に移行する。ステップＳ２０１において、画質の評価項目として露出条件評価が設定されていないと判別された場合（ステップＳ２０１；ＮＯ）、画質の評価項目としてコントラスト評価が設定されているか否かが判定される（ステップＳ２０７）。

ステップＳ２０７において、画質の評価項目としてコントラスト評価が設定されていると判定された場合（ステップＳ２０７；ＹＥＳ）、記録媒体に記録済みの未評価画像（コントラスト評価が行われていない画像）の中から評価対象の画像が選択される（ステップＳ２０８）。そして、ステップＳ２０８で選択された画像について、画像評価方法２による画像評価が行われる。即ち、該当画像が、ＤＦＴ、ＤＣＴ等により周波数変換され（ステップＳ２０９）、周波数変換後の画像から、式（９）に示す画質評価値、式（１０）に示すボケ評価値等が算出され、該当画像の評価値として決定される（ステップＳ２１０）。

次いで、ステップＳ２１０で決定された評価値が、該当画像に対応付けて記録媒体に記録される（ステップＳ２１１）。次いで、ステップＳ２０８〜Ｓ２１１において、コントラスト評価の対象であった画像が最後の画像であるか、即ち、未評価の記録済み画像が他にあるか否かが判定される（ステップＳ２１２）。

ステップＳ２１２において、未評価の記録済み画像が他にあると判定された場合（ステップＳ２１２；ＮＯ）、ステップＳ２０８に戻り、該当する未評価の記録済み画像について、ステップＳ２０８〜Ｓ２１１の処理が繰り返される。ステップＳ２１２において、未評価の記録済み画像が他にないと判定された場合（ステップＳ２１２；ＹＥＳ）、画像評価方法２による画像評価が終了し、ステップＳ２１３に移行する。ステップＳ２０７において、画質の評価項目としてコントラスト評価が設定されていないと判別された場合（ステップＳ２０７；ＮＯ）、画質の評価項目としてボケ・ブレ評価が設定されているか否かが判定される（ステップＳ２１３）。

ステップＳ２１３において、画像の評価項目としてボケ・ブレ評価が設定されていると判定された場合（ステップＳ２１３；ＹＥＳ）、記録媒体に記録済みの未評価画像（ボケ・ブレ評価が行われていない画像）の中から評価対象の画像が選択される（ステップＳ２１４）。そして、ステップＳ２１４で選択された画像について、画像評価方法３による画像評価が行われる。即ち、該当画像が、フーリエ変換、ＤＣＴ等により周波数変換され（ステップＳ２１５）、周波数変換後の画像から、直線ブレの方向角度（θ）距離（Ｌ）、焦点ボケの広がり半径（ｒ）が算出され、該当画像の評価値として決定される（ステップＳ２１６）。

次いで、ステップＳ２１６で決定された評価値が、該当画像に対応付けて記録媒体に記録される（ステップＳ２１７）。次いで、ステップＳ２１４〜Ｓ２１７において、ボケ・ブレ評価の対象であった画像が最後の画像であるか、即ち、未評価の記録済み画像が他にあるか否かが判定される（ステップＳ２１８）。

ステップＳ２１８において、未評価の記録済み画像が他にあると判定された場合（ステップＳ２１８；ＮＯ）、ステップＳ２１４に戻り、該当する未評価の記録済み画像について、ステップＳ２１４〜Ｓ２１７の処理が繰り返される。ステップＳ２１８において、未評価の記録済み画像が他にないと判定された場合（ステップＳ２１８；ＹＥＳ）、本画像評価処理が終了する。

ステップＳ２１３において、画像の評価項目としてボケ・ブレ評価が設定されていないと判定された場合（ステップＳ２１３；ＮＯ）、その他の評価処理が行われ（ステップＳ２１９）、本画像評価処理が終了する。

ステップＳ２００において、画像の評価方法が類似度に基づく評価方法であると判別された場合（ステップＳ２００；類似度）、記録媒体に記録済みの未評価画像の中から評価対象の画像が選択される（ステップＳ２２０）。そして、ステップＳ２２０で選択された画像について、画像評価方法４による画像評価が行われる。即ち、他の記録済み画像との類似度として、２次元輝度分布の相関係数Ｒ（式（１９））、輪郭画像の相関係数Ｒ'（式（２０））、ヒストグラム分布の相関係数Ｒ"（式（２１））の何れかが算出され、算出された相関係数が評価値として決定される（ステップＳ２２１）。

次いで、ステップＳ２２１で決定された評価値が、該当画像に対応付けて記録媒体に記録される（ステップＳ２２２）。次いで、ステップＳ２２０〜Ｓ２２２において、評価対象であった画像が最後の画像であるか、即ち、未評価の記録済み画像が他にあるか否かが判定される（ステップＳ２２３）。

ステップＳ２２３において、未評価の記録済み画像が他にあると判定された場合（ステップＳ２２３；ＮＯ）、ステップＳ２２０に戻り、該当する未評価の記録済み画像について、ステップＳ２２０〜Ｓ２２２の処理が繰り返される。ステップＳ２２３において、未評価の記録済み画像が他にないと判定された場合（ステップＳ２２３；ＹＥＳ）、本画像評価処理が終了する。

以上のように、本実施形態２のデジタルカメラ１によれば、記録媒体の残り容量が予め設定された容量以下である場合、撮影画像の評価結果に基づいて、記録媒体から削除する画像の候補を決定するようにしたことにより、画質の悪い画像を迅速に削除して、新規撮影用に記録媒体の空き領域を確実に確保することができ、シャッターチャンスを逃すことが少なくなる。

また、記録媒体に記録された他の画像との類似度（相関係数）を算出し、類似度の高い画像を記録媒体から優先的に削除するようにしたことにより、類似した画像を迅速に削除して、新規撮影用に記録媒体の空き領域を確実に確保することができ、シャッターチャンスを逃すことが少なくなる。

また、評価項目別に画像削除の基準となる基準値を設定し、評価項目別に画質を評価することにより、ユーザの用途や好みに合わせて、記録媒体から削除する画像が決定され、デジタルカメラ１の利便性を向上させることができる。

（実施形態３）
図２０及び図２１を参照して、本発明の実施形態３について説明する。まず、実施形態３における構成について説明する。

図２０に、本発明の実施形態３に係る画像処理システム１００の全体構成を示す。図２０に示すように、画像撮影装置としてのデジタルカメラ１と外部機器３により構成され、デジタルカメラ１と外部機器３は、通信ケーブルにより接続される。外部機器２は、図２０に示すように、画像処理装置３、表示装置４、印刷装置５により構成される。

実施形態３におけるデジタルカメラの回路構成は、実施形態１及び２において図１に示したデジタルカメラ１と同一であるため、その図示を省略し、同一符号を用いるものとする。以下、実施形態１と異なる点のみを説明する。

実施形態３のデジタルカメラ１の制御部３２は、ＣＰＵ（Central Processing Unit）、ＣＰＵで実行される動作プログラムを固定的に記憶したＲＯＭ（Read Only Memory）及びワークメモリとして使用されるＲＡＭ（Random Access Memory）等により構成され、デジタルカメラ１の各部の動作を制御する。以下、実施形態３の制御部３２による制御動作について説明する。

制御部３２は、撮影された画像の画質を評価する画像評価処理を実行し、撮影画像のデータと、その評価値を対応付けて記録媒体に記録する。また、制御部３２は、撮影画像を外部機器に送信する場合、当該撮影画像のデータを評価値とともに、外部機器に送信する（図２１（ａ）参照）。実施形態３における画像評価処理は、実施形態１又は実施形態２に示した画像評価処理を適用することができる。

外部機器２の画像処理装置３は、例えば、ＰＣ（Personal Computer）であり、デジタルカメラ１から受信された画像データの評価値が設定値より小さいか否かを判定し、設定値より小さいと判定した場合、その評価値に基づいて当該画像データを補正する処理を行う（図２１（ｂ）参照）。

例えば、デジタルカメラ１から受信された画像データの評価値が、ブレ方向角度（θ）及びブレの距離（Ｌ）に基づく評価値である場合、受信された画像データには、θ方向に周期１/Ｌでゼロ交差する直線ブレが生じているとみなされ、式（１５−２）のＰ（ｕ、ｖ）は、下記の式（２２）のように表される。
Ｐ（ｕ、ｖ）＝sin(πｆＬ)／πｆＬ （２２）
ここで、ｆ＝ｕcosθ＋ｖsinθである。そして、受信された画像データをフーリエ変換したＧ（ｕ、ｖ）と、式（２２）のＰ（ｕ、ｖ）から、ブレの無い本来の画像のフーリエ変換画像Ｉ（ｕ、ｖ）＝Ｇ（ｕ、ｖ）／Ｐ（ｕ、ｖ）を求め、このＩ（ｕ、ｖ）を式（１６）に示すように逆フーリエ変換して本来の画像ｉ（ｘ、ｙ）を求めることにより、デジタルカメラ１から受信された画像データの直線ブレを補正することができる。

デジタルカメラ１から受信された画像データの評価値が、焦点の広がり半径（ｒ）に基づく評価値である場合、受信された画像データには、周期１．０１π/ｒで同心円状のゼロ交差をする焦点ボケが生じているとみなされ、式（１５−２）のＰ（ｕ、ｖ）は、下記の式（２３）のように表される。
Ｐ（ｕ、ｖ）＝２・Ｊ１（ｒ・Ｒ）／ｒ・Ｒ （２３）
ここで、式（２３）のＪ１は、１次の第１種ベッセル関数である。そして、上述と同様に、受信された画像データをフーリエ変換したＧ（ｕ、ｖ）と、式（２３）のＰ（ｕ、ｖ）から、焦点ボケの無い本来の画像のフーリエ変換画像Ｉ（ｕ、ｖ）＝Ｇ（ｕ、ｖ）／Ｐ（ｕ、ｖ）を求め、このＩ（ｕ、ｖ）を式（１６）に示すように逆フーリエ変換して本来の画像ｉ（ｘ、ｙ）を求めることにより、デジタルカメラ１から受信された画像データの焦点ボケを補正することができる。

表示装置４は、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）等の表示ディスプレイを備え、画像処理装置３から入力された表示制御信号に従って表示処理を行う。

印刷装置５は、レーザプリンタ、インクジェット式プリンタ、昇華型プリンタ等のプリンタであり、画像処理装置３から入力される印刷制御信号に従って印刷出力を行う。

次に、実施形態３における動作について説明する。
図２１（ａ）のフローチャートを参照して、実施形態３のデジタルカメラ１において実行される画像撮影・送信処理について説明する。

図４（ａ）に示すようなメニュー画面において撮影モードが指定されると（ステップＳ３００；ＹＥＳ）、撮影スルー画像が表示部１３に表示される（ステップＳ３０１）。そして、キー入力部３６のシャッターキーの操作により撮影が指示されると（ステップＳ３０２；ＹＥＳ）、撮影処理が行われ（ステップＳ３０３）、撮影画像データが取得される。ステップＳ３００において、撮影モード以外の他のモードが指定された場合は、そのモードに対応する処理が行われ、後述のステップＳ３０６に移行する。また、ステップＳ３０２において、撮影が指示されなかった場合も、ステップＳ３０６に移行する。

撮影処理が終了すると、撮影画像の画像評価処理が行われ（ステップＳ３０４）、撮影画像のデータと、その評価値が対応付けて記録媒体に記録される（ステップＳ３０５）。ステップＳ３０４における画像評価処理は、実施形態１において図２のステップＳ１２に示した画像評価処理又は実施形態２において図１６のステップＳ１１２に示した画像評価処理を適用することができる。

次いで、キー入力部３６の操作により、記録媒体に記録された撮影画像の中から、外部機器２に送信する画像が選択され、送信が指示されると（ステップＳ３０６；ＹＥＳ）、通信部３９により外部機器２と通信接続され（ステップＳ３０７）、外部機器２から、機能の仕様や容量情報が取得される（ステップＳ３０８）。

次いで、選択された画像データが送信データとして設定され（ステップＳ３０９）、当該画像データがその評価値とともに外部機器２に送信される（ステップＳ３１０）。ステップＳ３０９及びＳ３１０の処理は、選択された各々のデータについて行われ、選択された全ての画像データの送信が終了すると（ステップＳ３１１；ＹＥＳ）、外部機器２との通信接続が切断される（ステップＳ３１２）。そして、撮影以外のその他のキー入力処理、表示処理が行われ（ステップＳ３１３）、本画像撮影・送信処理が終了する。

次に、図２１（ｂ）のフローチャートを参照して、外部機器２において実行される画像補正・出力処理について説明する。

画像処理装置３がデジタルカメラ１と通信接続されると（ステップＴ１）、デジタルカメラ１から、機能の仕様や容量情報が取得され（ステップＴ２）、デジタルカメラ１から受信された画像データの一覧データが取得され（ステップＴ３）、これらの画像データの内容情報が引き出される（ステップＴ４）。また、画像データ及びその評価値が取得され（ステップＴ５）、画像処理装置３のメモリ（図示略）に記録される。

ステップＴ３〜Ｔ５の処理は、画像データ及びその評価値の受信中に行われ、画像受信が終了すると（ステップＴ６；ＹＥＳ）、デジタルカメラ１との通信接続が切断される（ステップＴ７）。

画像処理装置３のキー入力部（図示略）により、デジタルカメラ１から取得された画像データの再生、編集、印刷の何れかが指示されると（ステップＴ８；ＹＥＳ）、該当する画像データとともにその評価値が読み出され（ステップＴ９）、その読み出された評価値が設定値より小さいか否かが判定される（ステップＴ１０）。

ステップＴ１０において、画像データの評価値が設定値以上であると判定された場合（ステップＴ１０；ＮＯ）、その画像データがそのまま、指定された出力先（表示装置４又は印刷装置５）に出力され（再生処理、編集処理、印刷処理の何れか）（ステップＴ１１）、本画像補正・出力処理が終了する。

ステップＴ１０において、画像データの評価値が設定値より小さいと判定された場合（ステップＴ１０；ＹＥＳ）、該当する画像データに対し、その評価値に基づいて補正処理が行われる（ステップＴ１２）。ステップＴ１２の補正処理が終了すると、補正済み画像データが、指定された出力先（表示装置４又は印刷装置５）に出力され（再生処理、編集処理、印刷処理の何れか）（ステップＴ１３）、本画像補正・出力処理が終了する。

なお、本実施形態３では、デジタルカメラ１から受信された画像データを画像処理装置３が補正する場合を示したが、例えば、プリンタ５に画像補正機能を搭載させ、デジタルカメラ１とプリンタ５を直接接続（有線接続又は無線接続）させて、デジタルカメラ１から直接、プリンタ５に画像データ及びその評価値を送信し、プリンタ５で画像補正後、印刷処理を行うようにしてもよい。

以上のように、本実施形態３の画像処理システム１００によれば、デジタルカメラ１に接続された外部機器２において、デジタルカメラ１から送信された撮影画像データ及びその画像の画質評価値に基づいて当該画像を自動的に補正するようにしたことにより、ＰＣ操作やレタッチ・ソフトに習熟していない一般ユーザであっても、高度な補正が施された画像を得ることができる。

なお、上記各実施形態における記述内容は、本発明の趣旨を逸脱しない範囲で適宜変更可能である。

１ デジタルカメラ（画像撮影装置）
２ 外部機器
３ 画像処理装置
４ 表示装置
５ 印刷装置
１３ 表示部
２１ モータ（Ｍ）
２２ レンズ光学系
２３ ＣＣＤ
２４ ＴＧ（タイミング発生器）
２５ 垂直ドライバ
２６ Ｓ／Ｈ（サンプルホールド回路）
２７ Ａ／Ｄ変換器
２８ カラープロセス回路
２９ ＤＭＡコントローラ
３０ ＤＲＡＭＩ／Ｆ
３１ ＤＲＡＭ
３２ 制御部
３３ ＶＲＡＭコントローラ
３４ ＶＲＡＭ
３５ デジタルビデオエンコーダ
３６ キー入力部
３７ ＪＰＥＧ回路
３８ フラッシュメモリ
３９ 通信部
１００ 画像処理システム

Claims (8)

1. 被写体を撮影して撮影画像を取得する撮像手段と、
   前記取得された撮影画像の画質を評価する評価手段と、
   前記取得された撮影画像を記録媒体に記録する記録手段と、
   前記記録媒体の残り容量が予め設定された容量以下であるか否かを判定する判定手段と、
   前記判定手段により、前記記録媒体の残り容量が予め設定され容量以下であると判定された場合、前記評価手段による撮影画像の評価結果に基づいて、前記記録媒体から削除する画像の候補を決定する決定手段と、
   を備えることを特徴とする画像撮影装置。
2. 前記評価手段は、撮影画像の輝度又は濃度のヒストグラム分布に基づいて、当該撮影画像の画質を評価することを特徴とする請求項１に記載の画像撮影装置。
3. 前記評価手段は、撮影画像の周波数特性に基づいて、当該撮影画像の画質を評価することを特徴とする請求項１に記載の画像撮影装置。
4. 前記評価手段は、撮影画像のブレの具合又はボケの度合いに基づいて、当該撮影画像の画質を評価することを特徴とする請求項１に記載の画像撮影装置。
5. 撮影画像毎に、前記記録媒体に記録された他の撮影画像との類似度を算出する算出手段を備え、
   前記決定手段は、前記評価手段による評価結果又は前記算出手段の算出結果に基づいて、前記記録媒体から削除する画像の候補を決定することを特徴とする請求項１〜４の何れか一項に記載の画像撮影装置。
6. 撮影画像の評価項目を１又は複数設定する評価項目設定手段を備え、
   前記評価手段は、前記評価項目設定手段により設定された評価項目別に撮影画像を評価することを特徴とする請求項１〜５の何れか一項に記載の画像撮影装置。
7. 前記設定された評価項目別に、画像削除の基準となる基準値を設定する基準値設定手段を備え、
   前記決定手段は、前記評価手段による評価結果及び前記基準値設定手段により設定された基準値に基づいて、前記記録媒体から削除する画像の候補を決定することを特徴とする請求項６に記載の画像撮影装置。
8. 画像撮影装置と、当該画像撮影装置に接続される画像処理装置により構成される画像処理システムにおいて、
   前記画像撮影装置は、
   被写体を撮影して撮影画像を取得する撮像手段と、
   前記撮影画像の画質を評価することにより、当該撮影画像の評価値を取得する評価手段と、
   前記撮影画像のデータと、前記評価手段による当該撮影画像の画質の評価値を前記画像処理装置に送信する送信手段と、を備え、
   前記画像処理装置は、
   前記画像撮影装置から、撮影画像のデータと、当該撮影画像の画質の評価値を受信する受信手段と、
   前記受信手段により受信された撮影画像の評価値が予め設定された値より小さいか否かを判定する判定手段と、
   前記判定手段により、前記受信された撮影画像の評価値が予め設定された値より小さいと判定された場合、当該評価値に基づいて当該撮影画像を補正する補正手段と、を備えることを特徴とする画像処理システム。

Images