JP2011186715A - 写真画像評価方法、及び写真画像評価装置 - Google Patents

Abstract

【課題】多数の写真画像から様々なテーマに沿った品質の高い好適な写真画像を選択することができる写真画像評価方法、及び写真画像評価装置を提供する。
【解決手段】入力部から入力され記憶部に記憶された複数枚の写真画像に対応する各画像データを評価する基準となる評価値を付与する写真画像評価方法であって、各画像データからシーンを判別してシーン毎に設定した特徴量を抽出し、当該特徴量に基づいて各画像データに評価値を付与する写真画像評価ステップと、写真画像評価ステップで付与された評価値の最大値及び最小値が所定の基準範囲の最大値及び最小値となるように正規化した最終評価値を生成する評価値正規化ステップと、最終評価値を各画像データに関連付けて前記記憶部に記憶する評価値記憶ステップと、を含むステップが演算部により実行される。
【選択図】図6

Description

本発明は、入力部から入力され記憶部に記憶された複数枚の写真画像に対応する各画像データを評価してその良否を判定する基準となる評価値を付与する写真画像評価方法、及び写真画像評価装置に関し、好ましくは、アルバムの各ページに割り付ける写真画像及びそのサイズを選択する基準となる評価値を付与する写真画像評価方法、及び写真画像評価装置に関する。

近年、カメラで撮影された複数の写真画像を編集して紙や電子メディア等の記録媒体に記録するアルバムプリントやアルバムＣＤ等のサービスが提供されている。

このようなサービスは、例えば、ラボショップの店頭に設置されたプリント注文装置を介して受付けられる。プリント注文装置には、注文を受付処理するプロセッサ、注文者とプリント注文装置とのインタフェースを実現する表示装置や入力装置、複数種類のメディアに対応した複数のメディアリーダが組み込まれている。

表示装置に表示されたガイダンスメッセージに従って、利用者が定型サイズの写真プリント、アルバムプリント、アルバムＣＤ等のサービス種別を選択し、デジタルカメラで撮影された複数枚の写真画像に対応する各画像データが記憶されたカードメモリ等の記憶媒体をメディアリーダに装着すると、プリント注文装置によって各画像データが読み込まれて、記憶部に記憶される。

そして、利用者は表示装置に表示された各写真画像に対応したサムネイル画像を目視確認して、入力装置を操作して必要とする写真画像を選択する。つまり、プリント注文装置がアルバム作成装置となり、アルバム作成装置により所定のアルバム作成方法が実行される。

特許文献１には、旅行計画の過程で無理なく事前のレイアウト設定を可能とし、事後の分類、整理を容易化した、電子アルバム作成支援装置を提供することを目的として、端末装置を介して行程情報の基本要素を取り込み、当該基本要素に基づき事前に用意されたシナリオ作成用素材データから電子アルバム形式の行程シナリオを生成する行程シナリオ生成部と、前記行程を消化中に撮影した写真画像およびその撮影時点の位置情報および時刻情報を受信し、前記生成された行程シナリオと関連付けて所望の電子アルバムを生成する電子アルバム生成部を備えた電子アルバム作成支援装置が提案されている。

また、特許文献２には、画像データに関するフォトアルバム作成時に、画像データに含まれる顔画像から重要度を算出し、この重要度から画像データを好適なレイアウトで出力することができる画像出力技術を実現することを目的として、複数の画像データを入力する入力手段と、前記入力手段により入力した個々の画像データから顔画像を検出する顔画像検出手段と、前記顔画像検出手段により検出された顔画像から特徴情報を取得し、当該特徴情報を顔画像に対応付けて登録する登録手段と、前記登録手段に登録された前記特徴情報を用いて、前記画像データに含まれる顔画像の被写体としての主要度を算出する主要度算出手段と、前記主要度算出手段により算出された前記顔画像の主要度に基づいて、前記画像データの重要度を算出する重要度算出手段と、前記重要度算出手段により算出され
た前記画像データの重要度に基づいて、個々の画像データのレイアウトを決定する決定手段と、前記決定手段により決定されたレイアウトで前記複数の画像データを出力する出力手段を備えた画像出力装置が提案されている。

特開２００５−６３３０２号公報 特開２００７−４９３８７号公報

しかし、特許文献１に記載された技術によれば、旅行行程を消化中に撮影した写真画像およびその撮影時点の位置情報および時刻情報を受信して、電子アルバム生成部が、行程シナリオ生成部で生成された行程シナリオと関連付けて所望の電子アルバムを生成するように構成されているため、旅行後の写真画像の整理等が容易になるが、受信された写真画像の良し悪しまで自動評価するものではないため、送信者が選別しなかった不適切な構図や照明条件で撮影された画像もアルバムに組み込まれる虞があった。

また、特許文献２に記載された技術によれば、人物の顔画像が含まれる画像データがその他の画像データより優先され、また、人物の個別の顔画像を識別して、その顔画像の出現頻度により重要度が評価されるものであり、写真画像としての良否が評価されるものではなかった。そのような重要度に基づいて編集されるアルバムであるため、変化に富んだ写真画像を選択する余地が無く、面白みに欠け、写真画像に顕著に高い重要度の写真画像が存在しない場合には、意図するアルバムを構成することができないという問題もあった。

さらに、顧客は、旅行、結婚式、運動会、登山等の様々なテーマに基づいて複数の写真画像を一冊のアルバムに編集することを望む場合が多く、従来のように一律に評価された評価値に基づいてアルバムに組み込む写真画像を選択すると、テーマに即したアルバムを作成できないという問題もあった。

本発明の目的は、上述の問題に鑑み、多数の写真画像から様々なテーマに沿った品質の高い好適な写真画像を選択することができる写真画像評価方法、及び写真画像評価装置を提供する点にある。

上述の目的を達成するため、本発明による写真画像評価方法の第一の特徴構成は、特許請求の範囲の書類の請求項１に記載した通り、入力部から入力され記憶部に記憶された複数枚の写真画像に対応する各画像データを評価する基準となる評価値を付与する写真画像評価方法であって、各画像データから撮影シーンを判別して撮影シーン毎に設定した特徴量を抽出し、当該特徴量に基づいて各画像データに評価値を付与する写真画像評価ステップと、前記写真画像評価ステップで付与された評価値の最大値及び最小値が所定の基準範囲の最大値及び最小値となるように正規化した最終評価値を生成する評価値正規化ステップと、前記最終評価値を各画像データに関連付けて前記記憶部に記憶する評価値記憶ステップと、を含むステップが演算部により実行される点にある。

写真画像評価ステップでは、多数の写真画像に対して撮影シーン毎に抽出された特徴量に基づいて評価値が付与されるので、例えば、風景撮影シーンや人物撮影シーンに対してそれぞれ適切な評価値が得られる。また、例えば人物撮影シーンであっても、ポートレート写真、ツーショット写真、集合写真、家族写真等様々な撮影シーンがあるが、それらに対しても適切な評価値が得られるようになる。そして、このような評価値が、評価値正規化ステップで所定の基準範囲に正規化されるので、どのような写真画像であっても一定の基準で客観的にその良し悪しが判定できるようになる。

同第二の特徴構成は、同請求項２に記載した通り、上述の第一特徴構成に加えて、評価テーマを設定するテーマ設定ステップをさらに含み、前記評価値正規化ステップは、各画像データの撮影シーンを判別して、各画像データに付与された評価値を、前記テーマに基づいて設定された撮影シーン毎に異なる基準範囲に正規化する点にある。

上述の構成によれば、写真画像の撮影シーン毎に評価テーマに沿って適切な基準範囲で正規化されるので、そのような正規化された評価値に基づけば、評価テーマにマッチした良好な写真画像を選択することができ、目的に沿ってフレキシブルに対応できるようになる。

同第三の特徴構成は、同請求項３に記載した通り、上述の第二特徴構成に加えて、前記テーマが人物を主要被写体とするテーマであると、人物撮影シーンに対応する画像データの基準範囲の最大値が風景撮影シーンに対する画像データの基準範囲の最大値より大きく設定され、前記テーマが風景を主要被写体とするテーマであると、風景撮影シーンに対応する画像データの基準範囲の最大値が人物撮影シーンに対する画像データの基準範囲の最大値より大きく設定されている点にある。

上述の構成によれば、人物を主要被写体とするテーマであれば、正規化された評価値が、風景撮影シーンよりも人物撮影シーンの方が高くなる確率が大きくなり、それだけ人物撮影シーンの方が良好な画像であると判定されるようになり、風景を主要被写体とするテーマであれば、正規化された評価値が、人物撮影シーンよりも風景撮影シーンの方が高くなる確率が大きくなり、それだけ風景撮影シーンの方が良好な画像であると判定されるようになる。

同第四の特徴構成は、同請求項４に記載した通り、上述の第一から第三の何れかの特徴構成に加えて、前記最終評価値が低い画像データより前記最終評価値が高い画像データを優先してアルバムの各ページに割り付ける写真画像として選択する写真画像選択ステップと、前記最終評価値が低い画像データより前記最終評価値が高い画像データをサイズの大きな写真画像として割り付けるサイズ設定ステップをさらに備えている点にある。

正規化された最終評価値に基づいて各写真画像の良し悪しが客観的に判断できるようになる。そのような写真画像をアルバム編集する場合には、写真画像選択ステップによって、最終評価値が高い画像データが優先してアルバムの各ページに割り付ける写真画像として選択されるので、品質の高い好適な写真画像が選択される確率が極めて高くなる。そして、サイズ設定ステップによって、最終評価値が高い画像データに対応する写真画像が大きなサイズでアルバムに割付けられるようになり、見栄えのするアルバムを作成することができるようになる。

同第五の特徴構成は、同請求項５に記載した通り、上述の第一から第四の何れかの特徴構成に加えて、前記写真画像評価ステップは、前記画像データが風景撮影シーンであるときに、少なくとも前記画像データの明度、彩度、及び明度分布に基づいて推定した構図を前記特徴量として抽出し、各特徴量に対する評価点と各特徴量に付与した重み係数との積和で前記評価値を算出する点にある。

これまで風景撮影シーンの画像データに対して部分的にその良し悪しを判断する指標は幾つか提案されているが、明度、彩度を特徴量とすることにより、画像データ全体に対して明暗のバランス、色合いバランスを客観的に評価できるようになる。また、明度分布に基づいて撮影シーンの構図を推定することにより非常に困難な構図の良し悪しも客観的に評価できるようになる。このような特徴量に対する評価点と、各特徴点に付与した重み係数との積和により、明暗のバランス、色合いバランス、構図の良し悪しを統合することによって、画像データ全体に対してその良し悪しの総合評価が行なえる効果的な指標が得られるようになる。

同第六の特徴構成は、同請求項６に記載した通り、上述の第一から第五の何れかの特徴構成に加えて、前記写真画像評価ステップは、前記画像データが人物撮影シーンであるときに、少なくとも前記画像データに含まれる顔領域から笑顔度、顔領域サイズ、顔領域明度を前記特徴量として抽出し、各特徴量に対する評価点と各特徴量に付与した重み係数との積和で前記評価値を算出する点にある。

これまで、笑顔度等、個別の評価値で写真画像の良し悪しを評価する技術はあったが、笑顔度、顔領域サイズ、顔領域明度それぞれの評価点と、各特徴量に付与した重み係数との積和により、人物画像の良し悪しを総合評価できるようになる。

同第七の特徴構成は、同請求項７に記載した通り、上述の第六特徴構成に加えて、前記写真画像評価ステップは、前記画像データが人物撮影シーンであるときに、前記画像データに含まれる顔領域の特徴及び数から親子撮影シーン、一組の男女撮影シーン、複数人の集合撮影シーン、または乳幼児撮影シーンであるか否かを判別し、それらに該当すると前記評価値を所定値上昇させる点にある。

上述の構成によれば、様々な人物撮影画像に対して、撮影シーンの特性が加味されることにより、その良否がさらに精細に評価できるようになる。

同第八の特徴構成は、同請求項８に記載した通り、上述の第六または第七特徴構成に加えて、前記写真画像評価ステップは、前記画像データが人物撮影シーンであるときに、前記画像データに含まれる顔領域の特徴から目の開閉状態または合焦状態を判別し、目が閉じまたは焦点がずれていると前記評価値を所定値下降させる点にある。

ピントがずれた写真画像や、目を閉じた人物が撮影された画像は、その他の要素が優れていても価値が低減する。そこで、人物撮影シーンの写真画像の評価値をこれらのネガティブ要素で下降させることにより、真に好適な人物撮影画像を外れなく選択することができるようになる。

本発明による写真画像評価装置の特徴構成は、同請求項９に記載した通り、上述の第一から第八の何れかの特徴構成を備えた写真画像評価方法を実行するアルバム作成装置であって、複数枚の写真画像に対応する各画像データを入力する入力部と、前記入力部に入力された画像データを記憶する記憶部と、各画像データを評価する基準となる評価値を付与する演算部とを備え、前記演算部は、各画像データから撮影シーンを判別して撮影シーン毎に設定した特徴量を抽出し、当該特徴量に基づいて各画像データに評価値を付与する写真画像評価部と、前記写真画像評価部で付与された評価値の最大値及び最小値が所定の基準範囲の最大値及び最小値となるように正規化した最終評価値を生成する評価値正規化部と、前記最終評価値を各画像データに関連付けて前記記憶部に記憶する評価値記憶処理部と、を備えている点にある。

以上説明した通り、本発明によれば、多数の写真画像から様々なテーマに沿った品質の高い好適な写真画像を選択することができる写真画像評価方法、及び写真画像評価装置を提供することができるようになった。

本発明による写真画像評価装置の構成図 本発明による写真画像評価方法に基づいて作成されるアルバムの説明図 画像データに対する評価値の算出手順を示すフローチャート 評価値の正規化処理手順を示すフローチャート 割付編集処理の手順を示すフローチャート アルバムの中ページのフレームサイズ及びフレーム数が異なるテンプレートの説明図

以下、本発明による写真画像評価方法、及び写真画像評価装置を、アルバム作成装置を例に説明する。
図１に示すように、アルバム作成装置１は、ラボショップの店頭に配置された１台または複数台のプリント注文装置として実現され、複数種類のメディアに対応した複数のメディアリーダ／ライタを備えた入力部２、画像データを記憶するハードディスクや各種の画像処理や注文処理でワーキング領域として使用する半導体メモリ等を備えた記憶部３、注文を受付処理するプロセッサや周辺回路を備えた演算部４、注文者とプリント注文装置とのインタフェースを実現する液晶表示装置等でなる表示部５、マウスやキーボード等の入力装置６等が組み込まれている。

利用者である顧客が、表示部５に表示されたガイダンスメッセージに従って、マウスを操作して、定型サイズの写真プリント、アルバムプリント、アルバムＣＤ等のサービス種別を選択すると、表示部５に画像データの入力メッセージが表示される。

顧客が、デジタルカメラで撮影された複数枚の写真画像に対応する各画像データが記憶されたカードメモリ等の記憶媒体を対応するメディアリーダに装着すると、メディアリーダによってカードメモリに記憶された各画像データが読み込まれて、ハードディスク等の記憶部３に記憶される。

ハードディスクには、プロセッサの実行環境を整えるＯＳプログラムや注文処理用のアプリケーションプログラム、さらには、複数種類のアルバム等のテンプレートデータや後述する顔検出用の基準顔データ等が格納されている。

表示部５には、顧客により選択されたサービス種別に対応して必要な入力操作に関するガイダンスメッセージが表示され、顧客がガイダンスメッセージに従って必要な操作入力を行なうと、演算部４がその入力情報に従って出力ファイルを生成し、当該出力ファイルをアルバム作成装置１と通信線で接続された写真プリンタに送信する。

具体的にアルバム注文を例に説明すると、予め準備されている複数種類のアルバム（１ページのサイズや、１ページに割り付けられる写真画像のサイズ等により複数の型式が記憶部３に格納されている）から所望のアルバムを選択する操作、アルバムのタイトル等の文字列を入力する操作、結婚式、運動会、家族旅行等のアルバムのテーマを入力する操作の他、顧客の氏名や住所等の個人識別情報等の入力操作が要求される。

顧客が必要な入力操作を終了すると、アルバム作成装置１に組み込まれた熱転写プリンタ等から注文受付伝票が出力される。顧客は、当該注文受付伝票を受け取り、注文受付伝票に記載された商品引渡し時刻になると、受付カウンタで料金を精算後に商品を受け取る。

写真プリンタは、インクジェット方式の両面プリンタで構成され、製本機能が組み込まれている。写真プリンタは、アルバム作成装置１から入力された出力ファイルに基づいて記録紙に写真画像をプリントして、製本したアルバムを出力する。

アルバム作成装置１の演算部４は、顧客の注文処理を受付ける受付画面を介して対話形式で注文入出力処理を行なう注文受付部４０と、顧客の操作によって入力され、記憶部３に記憶された各画像データから所定の特徴量を抽出し、抽出した特徴量に基づいて各写真画像の良否を判定して、各画像データに評価値を付与する写真画像評価部４１と、評価値に基づいて所定の画像データを選択して、対応する写真画像を所定のページに割付編集し、当該割付編集情報を記憶部３に記憶する編集部４２と、記憶部３に記憶された割付編集情報に基づいて出力ファイルであるアルバムファイルを生成するファイル生成部４３等の機能ブロックを備えている。

写真画像評価部４１として機能する部位によって、本発明による写真画像評価装置が構成され、写真画像評価部４１により実行される処理手順が本発明による写真画像評価方法となる。

これらの機能ブロックは、予め記憶部３に記憶された注文処理用のアプリケーションプログラムを演算部４のプロセッサが実行することにより具現化される。

図２に示すように、アルバムは、上述した写真プリンタによって、両面または片面に写真画像がプリントされた記録媒体である所定サイズの記録紙の複数枚が一冊のアルバムに製本されたもので、表紙、表側扉ページ、複数の中ページ、裏側扉ページ、裏表紙で構成されている。

例えば、表紙ページには、アルバムのテーマに対応する代表画像やアルバムのタイトル等がプリントされる。複数の中ページには、１ページ当たり１枚から３枚程度のコマ画像がプリントされる。表側扉ページには、中ページに割り付けられた各コマ画像に対する目次情報として位置付けられる目次画像がプリントされる。

演算部４は、複数の写画像データの何れかをアルバムに割り付ける写真画像として自動選択して、選択した画像データに対応する写真画像をアルバムの各ページに割り付け、当該割付情報と割り付けられる写真画像に対応する画像データとを関連付けたアルバムファイルを生成する。

以下、演算部４によって実行される本発明による写真画像評価方法を含むアルバム作成方法について詳述する。演算部４は、顧客操作に基づいて入力部２から入力され記憶部３に記憶された複数枚の写真画像に対応する各画像データから所定の画像データを選択して、アルバムを構成する記録媒体の所定のページに割付編集する。

写真画像評価部４１は、各画像データから抽出した特徴量に基づいて各写真画像の良否を判定して、各画像データに評価値を付与する写真画像評価ステップと、写真画像評価ステップで付与された評価値の最大値及び最小値が所定の基準範囲の最大値及び最小値となるように正規化した最終評価値を生成する評価値正規化ステップと、最終評価値を各画像データに関連付けて記憶部に記憶する評価値記憶ステップを実行する。

編集部４２は、記憶部に記憶された最終評価値に基づいて複数の画像データを選択して、対応する写真画像を複数の中ページに割付編集する第１編集ステップと、最終評価値に基づいて一枚の画像データを選択して、対応する写真画像を表紙に割付編集する第２編集ステップと、アルバム作成装置１に入力された各画像データから、第１編集ステップにより各中ページに割り付けられた写真画像に関連する画像データを選択して、対応する写真画像を扉ページに割付編集する第３編集ステップを実行する。

第１編集ステップは、最終評価値に基づいて複数の画像データを選択して、対応する写真画像を最終評価値に基づいて予め設定されたフレームサイズ及びフレーム数を含むテンプレートに割付編集する。

第２編集ステップは、入力された全ての画像データから最終評価値が最も高い画像データを選択して、対応する写真画像を表紙に割付編集する。

第３編集ステップは、例えば、第１編集ステップにより中ページに割り付けられた写真画像から所定のページ数毎に最終評価値が最も高い画像データをそれぞれ選択して、対応する写真画像を目次情報として扉ページに割付編集する。

ファイル生成部４３は、編集部４２による割付編集情報に基づいて出力ファイルでとなるアルバムファイルを生成し、当該アルバムファイルを写真プリンタに出力する。

記憶部３に記憶された各画像データは、撮影日時等、画像に関する付加情報と、サムネイル画像データを含むＥｘｉｆ規格に基づき生成された画像ファイルの形式で記憶されている。勿論各画像データはＪＰＥＧ等の圧縮アルゴリズムで圧縮された画像であるので、以下に説明する各処理は伸張された後の画像に対して行なわれる。尚、以下に説明する各処理では、その演算負荷を軽減するために、高解像度の画像データに替えてサムネイル画像の画像データに対して実行されるように構成してもよい。

図３に示すように、写真画像評価部４１は、先ず、各画像ファイルから読み出した画像データを伸張して半導体メモリに展開し（ＳＡ１）、当該画像データに対して所定の顔検出アルゴリズムを実行し、対応する写真画像が人物撮影シーンであるのか風景撮影シーンであるのかを判別する（ＳＡ２）。人物の顔が検知されると人物撮影シーンであると判定し、人物の顔が検知されないと風景撮影シーンであると判定するのである（ＳＡ３）。

顔検出アルゴリズムとして公知の種々のアルゴリズムを採用することができる。例えば、一例として、予め様々な年代、性別に対応した人物の顔画像が撮影された多数のサンプル画像データに対してエッジ抽出処理を実行し、エッジ画像から顔画像の目、鼻、口、輪郭等の特徴量を抽出し、特徴点毎に平均的な位置を求めて合成した標準顔データベースを作成しておき、撮影シーン判定対象画像データから抽出したエッジ画像と標準顔データベースに格納された標準顔データとの一致度をパターン認識手法を用いて評価することにより、撮影シーン判定対象画像データに人物の顔画像が含まれているか否か、人物の顔画像が含まれている場合には、人物の顔画像の数、年齢、性別等を判定することができる。

人物撮影シーンであると判定された画像データに対して（ＳＡ３）、抽出された顔の特徴量から画像データサイズに対する顔領域サイズの比率である顔サイズ、顔の数、年齢、性別、笑顔度、明るさ、合焦状態等の特徴が求められる（ＳＡ４）。

写真画像評価部４１は、標準顔データベースに格納された標準顔の特徴量に対する撮影シーン判定対象画像データに含まれる顔画像の各特徴量の歪度合いを歪ベクトルで表わし、当該歪ベクトルに基づいて笑顔度を求める（ＳＡ５）。標準顔の特徴量に対する対象画像の顔の特徴量の歪（標準顔からのズレ方向とズレ量）を歪ベクトルで表わすと、笑顔、怒り顔、泣顔等により歪ベクトルの方向、歪量に一定の相関パターンが表れる。そのような相関の程度を０から１００の間で数値評価することにより笑顔度を示す評価点を得ることができる。当該手法は一例であり、笑顔度の判定手法はニューラルネットワーク等の他の公知の技術を用いて実現してもよい。

また、例えば画像データサイズ（画素数）に対する顔領域サイズ（画素数）の比率を０から１００の間で数値評価することにより顔サイズを示す評価点を得ることができる（ＳＡ６）。フレーム内に存在する顔領域が大きいほど人物を重視した写真画像であると判断できる。

さらに、例えば画像データ全体の平均明度に対する顔領域の平均明度の比率を０から１００の間で数値評価することにより顔の明るさに対する評価点を得ることができる（ＳＡ７）。背景の明度と比較して顔領域の明度が高いほど人物を重視した写真画像であると判断できる。明度として、ＲＧＢ−ＹＣＣ変換した輝度値Ｙを採用することができる。また、ＲＧＢの各成分の平均値を各画素の明度平均値とすることも可能である。さらには、ＲＧＢ−ＨＳＶ変換した明度Ｖを採用してもよい。

年齢、性別は上述の標準顔データベースに格納された年齢、性別毎の標準顔との一致度により推定される（ＳＡ８）。さらに顔領域の総画素数と、顔領域に対して実行されるエッジ抽出処理で抽出されるエッジ画素の画素数との比率を０から１００の間で数値評価することにより合焦状態を示す評価点が得られる（ＳＡ９）。エッジ画素の比率が大きいほど合焦度合いが高いと判定され、低い評価点が設定される。つまり、エッジ画素の比率が大きな合焦画像であれば０点に、エッジ画素の比率が小さな非合焦画像（ピンボケ画像）であれば１００点に設定される。

ステップＳＡ８では、他に、目の形状から目の開閉状態が判定され、人物の顔の特徴量から、集合写真であるのか、男女のカップル撮影シーンの写真であるのか、親子撮影シーンの写真であるのか等の判定が行なわれる。

写真画像評価部４１は、画像データが人物撮影シーンである場合に、写真画像評価ステップとしてこのような処理を実行することにより、各画像データの個別評価点を算出し、個別評価点と個別評価対象毎に設定された重み係数の積和により各写真画像の評価値を０点から１００点の間の数値として評価値を算出する（ＳＡ１０）。

評価値の算出式の基本形を以下に示す。
評価値 ＝
笑顔度×Ｗｓｍｌ＋顔サイズ×Ｗｓｉｚ＋顔明度×Ｗｂｒｔ
Ｗｓｍｌ＋Ｗｓｉｚ＋Ｗｂｒｔ＝１．０
Ｗｓｍｌは笑顔度に対する重み係数で、本実施形態では０．４に設定される。Ｗｓｉｚは顔サイズに対する重み係数で、本実施形態では０．３に設定される。Ｗｂｒｔは顔の明るさに対する重み係数で、本実施形態では０．３に設定される。つまり、０点から１００点の間の数値を取る笑顔度、顔サイズ、顔明度のそれぞれと重み係数との積和で、各画像データの良し悪しを判断する評価値が０点から１００点の間の数値として求められる。勿論、評価値１００が最高の画像データとして評価される。

即ち、写真画像評価ステップは、画像データが人物撮影シーンであるときに、少なくとも画像データに含まれる顔領域から笑顔度、顔領域サイズ、顔領域明度を特徴量として抽出し、各特徴量に対する評価点と各特徴量に付与した重み係数との積和で前記評価値を算出するように構成されている。

さらに、画像データが人物撮影シーンであるときに、写真画像評価ステップで、画像データに含まれる顔領域の特徴及び数から親子撮影シーン、一組の男女撮影シーン、複数人の集合撮影シーン、または赤ん坊や幼児を撮影した乳幼児撮影シーンであるか否かを判別し、それらに該当すると評価値を所定値上昇させるように構成し、画像データに含まれる顔領域の特徴から目の開閉状態または合焦状態を判別し、目が閉じまたは焦点がずれていると前記評価値を所定値下降させるように構成してもよい。尚、目の開閉状態を減点項目として用いる例を説明したが、目の開閉状態を加点項目として用いてもよい。これらの場合、上述の数式の合計値が１００点未満となるように各重み係数を調整し、最高点と１００点の差の範囲で評価値を調整すればよい。

このようにして、人物撮影シーンに対する画像データの評価値が算出される。評価点が高いほど写真画像の評価が高く、当該評価値がアルバムに割り付ける際の基準値として用いられる。上述した二つの式の何れを用いた評価値を採用してもよいが、後者の方が評価項目が多く好適に用いることができる。

さて、記憶部３から読み出された画像データに人物の顔が検知されず、風景撮影シーンであると判定されると（ＳＡ３）、写真画像評価部４１は、少なくとも画像データの明度、彩度、及び明度分布に基づいて推定した構図を特徴量として抽出し、各特徴量に対する評価点を算出し（ＳＡ１２，ＳＡ１３，ＳＡ１４）、各特徴量に付与した重み係数との積和で前記評価値を算出する（ＳＡ１６）。

写真画像評価部４１は、画像データが風景撮影シーンである場合に、写真画像評価ステップとして、このような処理を実行することにより、各画像データの個別評価点を算出し、個別評価点と個別評価対象毎に設定された重み係数の積和により各写真画像の評価値を０点から１００点の間の数値として評価値を算出する。

評価値の算出式の基本形を以下に示す。
評価値 ＝
明度×Ｗｖ＋彩度×Ｗｓ＋構図×Ｗｃ
Ｗｖ＋Ｗｓ＋Ｗｓ＝１．０
Ｗｖは明度に対する重み係数で、本実施形態では０．５に設定される。Ｗｓは彩度に対する重み係数で、本実施形態では０．４に設定される。Ｗｃは構図に対する重み係数で、本実施形態では０．１に設定される。つまり、０点から１００点の間の数値を取る明度、彩度、構図のそれぞれと重み係数との積和で、各画像データの良し悪しを判断する評価値が０点から１００点の間の数値として求められる。勿論、評価値１００が最高の画像データとして評価される点は上述と同様である。また、各重み係数の値も上述の例に制限されるものではないことも同様である。

このようにして、写真画像評価部４１によって、記憶部３に記憶された全ての画像データに対する評価値の算出処理、つまり写真画像評価ステップを実行し、各画像データに対する評価値を記憶部３に記憶すると（ＳＡ１１）、処理を終了する。

写真画像評価ステップで各画像データに付与された評価値が高い値であるほど、アルバムに割り付ける写真画像として好ましい画像であると判断できるため、評価値が高い画像データに対応する写真画像を優先的にアルバムに割り付ける写真画像として自動選択すれば、顧客が表示部５に表示された複数のサムネイル画像を目視して、迷いながらアルバムに割り付ける写真画像を選択する場合に比べて遥かに効率的に、且つ良好で高品質な写真画像を選択できる。

しかし、上述の評価値に基づいて自動的に選択する場合に、選択基準に見合う評価値の画像データが存在する必要があるが、顧客から入力された画像データは撮影条件や構図等が区々であるため、大半の画像データの評価値が低い場合には適切な画像データを選択することが困難となり、反対に大半の画像データの評価値が高い場合にも適切な画像データを選択することが困難となる。

また、評価テーマの一例であるアルバムのテーマに沿った適切な写真画像が選択できる保証が無いという問題もある。例えば、人物を重視するアルバムに評価値が高い風景撮影シーンが多く選択されたり、風景を重視するアルバムに評価値が高い人物撮影シーンが多く選択されるという不都合な事態を招く虞がある。

そこで、写真画像評価部４１は、次に上述した評価値正規化ステップを実行することにより、写真画像評価ステップで付与された評価値の最大値及び最小値を所定の基準範囲の最大値（例えば１００点）及び最小値（例えば０点）となるように正規化した最終評価値を生成する。

このような評価値正規化ステップを実行することにより、選択基準に見合う評価値の画像データを確実に選択できるようになる。さらには、評価値正規化ステップの実行前にアルバムのテーマを設定するテーマ設定ステップを実行することが好ましい。テーマ設定ステップで設定したアルバムのテーマに基づいて、各画像データの撮影シーンを判別して、各画像データに付与された評価値を撮影シーン毎に異なる基準範囲に正規化することにより、人物撮影シーンや風景撮影シーンが混在する画像データであっても、適切な画像データを自動選択することができるようになる。

具体的には、複数のテーマと各テーマに対応する撮影シーン毎の基準範囲を関連付けた基準範囲テーブルデータを記憶部３に構築しておき、設定したテーマに対応する基準範囲を基準範囲テーブルデータから読み出して、正規化すればよい。

ここでは、上述した表示部５に表示されるガイダンスメッセージに従って顧客が入力したアルバムのタイトルまたはテーマが、テーマ設定ステップでアルバムのテーマとして設定されるが、予め設定したテーマ推定パターンデータを記憶部に記憶しておき、テーマ推定パターンデータと各画像データの撮影シーンを比較して自動的にテーマが設定されるように構成してもよい。例えば、運動会シーンや結婚式シーン等、特徴的な構図のパターンや人物の服装等のパターンをテーマ推定パターンデータとして記憶部に記憶し、各画像データから抽出した構図や服装等の特徴量と比較して一致度を判定してテーマを推定するように構成してもよい。

評価値の正規化について詳述する。
図４に示すように、テーマ設定ステップで設定されたテーマを判定して、各テーマ毎の正規化のための基準範囲データを基準範囲テーブルデータから読み出し（ＳＢ１）、風景を重視するアルバムでは、各画像データの撮影シーンを判定して（ＳＢ６）、風景撮影シーンの画像データであれば、写真画像評価ステップで付与された風景撮影シーンに対する評価値を例えば最小値４０点から最大値１００点の間で正規化し（ＳＢ７）、人物撮影シーンの画像データであれば、人物撮影シーンに対する評価値を例えば最小値０点から最大値７５点の間で正規化する（ＳＢ８）。このようにして相対的に風景撮影シーンの評価値を人物撮影シーンに対する評価値よりも高くすることができる。

また、人物を重視するアルバムでは、各画像データのシーンを判定して（ＳＢ２）、人物撮影シーンの画像データであれば、写真画像評価ステップで付与された人物撮影シーンに対する評価値を例えば最小値４０点から最大値１００点の間で正規化し（ＳＢ３）、風景撮影シーンの画像データであれば、風景撮影シーンに対する評価値を例えば最小値０点から最大値７５点の間で正規化する（ＳＢ５）。このようにして相対的に人物撮影シーンの評価値を風景撮影シーンに対する評価値よりも高くすることができる。

このような処理を、全画像データに対して実行すると正規化処理を終了する（ＳＢ４）。尚、各画像データの撮影シーン判定は、上述した写真画像評価部４１によるシーン判定結果を用いればよい。

さらに、人物を重視するアルバムでも、新婚旅行等、男女のカップルを重視するテーマでは、男女のカップルの撮影シーンに対する評価値を最小値６０点から最大値１００点の間で正規化し、他の人物撮影シーンに対する評価値を最小値４０点から最大値８０点の間で正規化すれば、アルバムに割り付ける写真画像として男女のカップルの撮影シーンを優先的に選択することができるようになる。

親子のカップル写真等も同様である。また、卒業旅行のような集団旅行では、集合写真のシーンを他のシーンよりも高い評価値に正規化することも可能である。テーマに相応しい撮影シーンの画像データの評価値が相対的に高くなるように正規化するのである。

このようにして正規化された最終評価値は、アルバムのテーマに即したベストショット度合いを示す指標として各画像データに付与され、評価値記憶ステップによって、当該最終評価値が各画像データに関連付けられて記憶部３に記憶される。

つまり、評価値正規化ステップでは、各画像データの撮影シーンが判別され、各画像データに付与された評価値が、アルバムのテーマに基づいて設定されたシーン毎に異なる基準範囲に正規化され、テーマが人物を主要被写体とするテーマであると、人物撮影シーンに対応する画像データの基準範囲の最大値が風景撮影シーンに対する画像データの基準範囲の最大値より大きく設定され、テーマが風景を主要被写体とするテーマであると、風景撮影シーンに対応する画像データの基準範囲の最大値が人物撮影シーンに対する画像データの基準範囲の最大値より大きく設定される。

写真画像評価部４１による評価値正規化ステップ、評価値記憶ステップが終了すると、編集部４２によって、上述の第１編集ステップから第３編集ステップが実行される。

図５に示すように、第１編集ステップでは、記憶部３に記憶された画像データを撮影時刻の順番に配列して（ＳＣ１）、最終評価値が６５点以上（この値は例示であり、この値に制限されるものではない）の画像を中ページに割り付ける画像として選択し（ＳＣ２）、選択した画像データをその最終評価値に基づいて選択したテンプレートのフレームに割付編集する（ＳＣ３）。

図６に示すように、複数の中ページは、予め設定されたフレームサイズ及びフレーム数を含むテンプレートが準備されており、最終評価値に従って対応する写真画像を割付編集する。１ページに大きな１枚のフレームサイズＬを備えたテンプレート（図６上段参照）には、最終評価値が比較的高い画像データが割り付けられ、１ページに小さな２枚のフレームサイズＳと１枚の中程度のフレームサイズＭを備えたテンプレート（図６下段参照）には、最終評価値が比較的低い画像データが割り付けられ、１ページに中程度の２枚のフレームサイズＭを備えたテンプレート（図６中段参照）には、最終評価値がそれらの中間の値を示す画像データが割り付けられる。尚、これらの画像は基本的に撮影時刻順に中ページに割り付けられる。

つまり、第１編集ステップでは、最終評価値が小さな画像データより最終評価値が大きな画像データをサイズの大きな写真画像として割り付けるサイズ設定ステップが実行される。例えば、最終評価値が９５点以上の写真画像を１ページに１フレームの大きな写真画像として割り付け、最終評価値が８５点から９４点までの写真画像を１ページに２フレームの中程度の写真画像として割り付け、最終評価値が６５点から８４点までの写真画像を１ページに２フレームの小さな写真画像、１フレームの小さな写真画像として割り付け、或は、最終評価値が６５点から８４点までの写真画像を１ページに３〜４フレームの小さな写真画像として割り付けることにより、メリハリを利かせることができる。尚、最終評価値が６４点以下の画像データは選択対象から除去される。

第２編集ステップでは、最終評価値が最大値となる画像データを選択して（ＳＣ４）、対応する写真画像を表紙テンプレートのフレームに割付編集する（ＳＣ５）。また、表紙のタイトルは、顧客から操作入力された文字データが採用される。尚、Ｅｘｉｆファイルに設定されたタイトルがアルバムのタイトルに採用されるように構成してもよい。

第３編集ステップでは、複数の中ページの区切りを検出して（ＳＣ６）、アルバム作成装置１に入力された各画像データのうち、第１編集ステップにより各中ページに割り付けられた写真画像に関連する画像データ、ここでは最も高い最終評価値に対応する画像が選択され（ＳＣ７）、対応する写真画像が表側扉ページに目次画像として割付編集される（ＳＣ８）。

上述した実施形態では、写真画像評価部４１による評価値正規化ステップ、評価値記憶ステップが終了すると、編集部４２によって、直ちに第１編集ステップから第３編集ステップが実行される例を説明した。この場合、最終評価値が所定の閾値以上となる画像データをアルバムの中ページに割り付ける写真画像として選択すると、アルバムの中ページのページ数が増加する虞もある。

そこで、顧客から入力された画像データの数が多い場合や、多くの類似画像が含まれる場合には、編集部４２に、撮影時刻順に配列された画像データから類似画像を除去し、複数の撮影イベントに対応する写真画像が中ページに均等に割り付けられるように、グルーピング処理を施した後に第１編集ステップから第３編集ステップを実行するように構成して、一定のページ数のアルバムを作成できるように構成してもよい。

このようにして、アルバム編集が終了すると、ファイル生成部４３によりアルバムファイルが生成されて、当該アルバムファイルが写真プリンタに出力され、顧客に伝票が発行される。

上述した実施形態では、写真画像をプリントした記録紙で構成されるアルバムを例にアルバム作成方法を説明したが、写真画像を電子的なメディアに記録するフォトＣＤ等の電子アルバムで構成される場合にも適用できることは言うまでもない。

上述した実施形態では、本発明による写真画像評価方法、及び評価装置がアルバム作成装置上で実現される例を説明したが、本発明による写真画像評価方法、及び評価装置は、アルバム作成装置に好適であるが、その他の用途にも用いることができる。例えば、パーソナルコンピュータ上で管理される写真画像データベースを、本発明による写真画像評価方法を用いて、評価テーマに沿った良好な画像のみ保存することができるようになる。尚、評価テーマはアルバムのテーマに限るものでないことは言うまでもなく、好みの画像を選択する際に適宜設定できるものである。

尚、上述した実施形態は、本発明の一例に過ぎず、本発明の作用効果を奏する範囲において各ブロックの具体的構成等を適宜変更設計できることは言うまでもない。

１：アルバム作成装置
２：入力部
３：記憶部
４：演算部
５：表示部
６：入力装置
４１：写真画像評価部
４２：編集部
４３：ファイル生成部

Claims (9)

1. 入力部から入力され記憶部に記憶された複数枚の写真画像に対応する各画像データを評価する基準となる評価値を付与する写真画像評価方法であって、
   各画像データから撮影シーンを判別して撮影シーン毎に設定した特徴量を抽出し、当該特徴量に基づいて各画像データに評価値を付与する写真画像評価ステップと、
   前記写真画像評価ステップで付与された評価値の最大値及び最小値が所定の基準範囲の最大値及び最小値となるように正規化した最終評価値を生成する評価値正規化ステップと、
   前記最終評価値を各画像データに関連付けて前記記憶部に記憶する評価値記憶ステップと、
   を含むステップが演算部により実行される写真画像評価方法。
2. 評価テーマを設定するテーマ設定ステップをさらに含み、
   前記評価値正規化ステップは、各画像データの撮影シーンを判別して、各画像データに付与された評価値を、前記テーマに基づいて設定された撮影シーン毎に異なる基準範囲に正規化する請求項１記載の写真画像評価方法。
3. 前記テーマが人物を主要被写体とするテーマであると、人物撮影シーンに対応する画像データの基準範囲の最大値が風景撮影シーンに対する画像データの基準範囲の最大値より大きく設定され、前記テーマが風景を主要被写体とするテーマであると、風景撮影シーンに対応する画像データの基準範囲の最大値が人物撮影シーンに対する画像データの基準範囲の最大値より大きく設定されている請求項２記載の写真画像評価方法。
4. 前記最終評価値が低い画像データより前記最終評価値が高い画像データを優先してアルバムの各ページに割り付ける写真画像として選択する写真画像選択ステップと、前記最終評価値が低い画像データより前記最終評価値が高い画像データをサイズの大きな写真画像として割り付けるサイズ設定ステップをさらに備えている請求項１から３の何れかに記載の写真画像評価方法。
5. 前記写真画像評価ステップは、前記画像データが風景撮影シーンであるときに、少なくとも前記画像データの明度、彩度、及び明度分布に基づいて推定した構図を前記特徴量として抽出し、各特徴量に対する評価点と各特徴量に付与した重み係数との積和で前記評価値を算出する請求項１から４の何れかに記載の写真画像評価方法。
6. 前記写真画像評価ステップは、前記画像データが人物撮影シーンであるときに、少なくとも前記画像データに含まれる顔領域から笑顔度、顔領域サイズ、顔領域明度を前記特徴量として抽出し、各特徴量に対する評価点と各特徴量に付与した重み係数との積和で前記評価値を算出する請求項１から５の何れかに記載の写真画像評価方法。
7. 前記写真画像評価ステップは、前記画像データが人物撮影シーンであるときに、前記画像データに含まれる顔領域の特徴及び数から親子撮影シーン、一組の男女撮影シーン、複数人の集合撮影シーン、または乳幼児撮影シーンであるか否かを判別し、それらに該当すると前記評価値を所定値上昇させる請求項６記載の写真画像評価方法。
8. 前記写真画像評価ステップは、前記画像データが人物撮影シーンであるときに、前記画像データに含まれる顔領域の特徴から目の開閉状態または合焦状態を判別し、目が閉じまたは焦点がずれていると前記評価値を所定値下降させる請求項６または７記載の写真画像評価方法。
9. 請求項１から８の何れかに記載の写真画像評価方法を実行する写真画像評価装置であって、
   複数枚の写真画像に対応する各画像データを入力する入力部と、前記入力部に入力された画像データを記憶する記憶部と、各画像データを評価する基準となる評価値を付与する演算部とを備え、
   前記演算部は、各画像データから撮影シーンを判別して撮影シーン毎に設定した特徴量を抽出し、当該特徴量に基づいて各画像データに評価値を付与する写真画像評価部と、前記写真画像評価部で付与された評価値の最大値及び最小値が所定の基準範囲の最大値及び最小値となるように正規化した最終評価値を生成する評価値正規化部と、
   前記最終評価値を各画像データに関連付けて前記記憶部に記憶する評価値記憶処理部と、
   を備えている写真画像評価装置。

Images