JP2008282085A - シーン識別装置、及び、シーン識別方法 - Google Patents

Abstract

【課題】シーンの識別速度を向上させる。
【解決手段】
識別対象画像の一部を構成する部分画像の特徴を示す部分特徴量を取得する特徴量取得部と、前記特徴量取得部によって取得された前記部分特徴量に基づいて前記部分画像が特定のシーンに属するか否かの評価を行う部分評価部と、画像全体領域を分割して得られたＮ個の部分領域のうちの、予め定められたＭ個（Ｍ＜Ｎ）の前記部分領域に各々対応する前記部分画像のみについての前記部分評価部による評価結果を用いることによって、前記識別対象画像が前記特定のシーンに属するか否かを判断する判断部と、を有する。
【選択図】図５

Description

本発明は、シーン識別装置、及び、シーン識別方法に関する。

識別対象画像からその画像の全体的な特徴を示す特徴量に基づいて識別対象画像の属するシーンを識別し、識別したシーンに適する処理（例えば画質調整処理）を行う装置が提案されている（特許文献１を参照。）。
国際公開第２００４／３０３７３号パンフレット

この種の識別装置では、特定のシーンの特徴が部分的に表れているような識別対象画像に対しては、識別精度が低下する虞がある。そこで、このような識別対象画像に対する識別精度を高めるため、識別対象画像における一部分の特徴量に基づき、識別対象画像の識別を行うことが考えられる。この場合、識別対象画像を構成する部分毎に識別処理を行う必要があり、識別処理の速度を向上させることが困難であるという問題点があった。

本発明は、上記のような課題に鑑みてなされたものであり、その目的は、従来よりもシーンの識別処理の速度を向上させることにある。

前記目的を達成するための主たる発明は、
（Ａ）識別対象画像の一部を構成する部分画像の特徴を示す部分特徴量を取得する特徴量取得部と、
（Ｂ）前記特徴量取得部によって取得された前記部分特徴量に基づいて前記部分画像が特定のシーンに属するか否かの評価を行う部分評価部と、
（Ｃ）画像全体領域を分割して得られたＮ個の部分領域のうちの、予め定められたＭ個（Ｍ＜Ｎ）の前記部分領域に各々対応する前記部分画像のみについての前記部分評価部による評価結果を用いることによって、前記識別対象画像が前記特定のシーンに属するか否かを判断する判断部と、
を有するシーン識別装置である。

本発明の他の特徴は、本明細書、及び添付図面の記載により、明らかにする。

本明細書の記載、及び添付図面の記載により少なくとも次のことが明らかにされる。
すなわち、（Ａ）識別対象画像の一部を構成する部分画像の特徴を示す部分特徴量を取得する特徴量取得部と、（Ｂ）前記特徴量取得部によって取得された前記部分特徴量に基づいて前記部分画像が特定のシーンに属するか否かの評価を行う部分評価部と、（Ｃ）画像全体領域を分割して得られたＮ個の部分領域のうちの、予め定められたＭ個（Ｍ＜Ｎ）の前記部分領域に各々対応する前記部分画像のみについての前記部分評価部による評価結果を用いることによって、前記識別対象画像が前記特定のシーンに属するか否かを判断する判断部と、を有するシーン識別装置を実現できることが明らかにされる。
このようなシーン識別装置によれば、部分評価部による部分画像の評価の回数を減らすことができるので、シーンの識別処理の速度を向上させることができる。

かかるシーン識別装置であって、前記Ｍの値は、前記識別対象画像が前記特定のシーンに属すると前記判断部によって判断された場合に、その判断が正しい確率である正答率と、前記特定のシーンに属している前記識別対象画像が、前記判断部によって前記特定のシーンに属すると判断される確率である再現率と、に基づいて定められることが好ましい。
このようなシーン識別装置によれば、識別処理の精度と速度を調和させた適切なＭの値を定めることができる。

かかるシーン識別装置であって、Ｍ個の前記部分領域は、前記部分領域に前記特定のシーンの特徴が表れる確率である存在確率と、前記部分画像が前記特定のシーンに属することを示す評価結果が前記部分評価部によって得られた場合に、その評価結果が正しい確率である部分正答率と、の少なくとも一方に基づいてＮ個の前記部分領域から選ばれたものであることが好ましい。
このようなシーン識別装置によれば、無作為にＭ個の部分領域を選択するよりも、特定のシーンであることを示す評価結果が得られる確率を高くすることができるので、評価を効率的に行うことができる。

かかるシーン識別装置であって、前記判断部は、前記特定のシーンに属することを示す評価結果が得られた前記部分画像の個数が所定の閾値を超えた場合に、前記識別対象画像が前記特定のシーンに属すると判断することが好ましい。
このようなシーン識別装置によれば、所定の閾値の設定によって識別精度を調整することができる。

かかるシーン識別装置であって、前記判断部は、前記特定のシーンに属することを示す評価結果が得られた前記部分画像の個数と、Ｍ個の前記部分画像のうち前記部分評価部によって評価が行われていない前記部分画像の個数と、の加算値が前記所定の閾値に達しない場合、前記識別対象画像が前記特定のシーンに属さないと判断することが好ましい。
このようなシーン識別装置によれば、判断部が特定のシーンに属さないと判断した時点で、その特定のシーンに対する識別処理を打ち切ることができる。よって、識別処理の高速化を図ることができる。

かかるシーン識別装置であって、識別対象となる前記特定のシーンの種類毎に前記部分評価部を有することが好ましい。
このようなシーン識別装置によれば、部分評価部毎に特性を最適化できる。

かかるシーン識別装置であって、前記Ｍの値は、前記特定のシーンに対する前記正答率と前記再現率に基づいて、前記特定のシーンの種類毎に定められていることが好ましい。
このようなシーン識別装置によれば、特定のシーンの種類毎の識別処理を効率的に行うことができる。

かかるシーン識別装置であって、前記判断部は、前記特定のシーンに属することを示す評価結果が得られた前記部分画像の個数が所定の閾値を超えた場合に、前記識別対象画像が前記特定のシーンに属すると判断し、前記所定の閾値は、複数の前記特定のシーンに対してそれぞれ設定されていることが好ましい。
このようなシーン識別装置によれば、それぞれの特定のシーンに適した識別を行うことができる。

かかるシーン識別装置であって、前記判断部は、或る部分評価部による評価結果を用いることによって、前記識別対象画像が或る特定のシーンに属すると判断できなかった場合、他の部分評価部による評価結果を用いることによって、前記識別対象画像が他の特定のシーンに属するか否かを判断することが好ましい。
このようなシーン識別装置によれば、部分評価部毎に識別を行えるので、識別の確実性を高めることができる。

かかるシーン識別装置であって、前記特徴量取得部は、前記識別対象画像の特徴を示す全体特徴量をさらに取得し、前記部分評価部は、前記部分特徴量と前記全体特徴量とに基づいて、前記部分画像が前記特定のシーンに属するか否かを評価することが好ましい。
このようなシーン識別装置によれば、識別精度をより高めることができる。

また、次のシーン識別方法を実現できることも明らかにされる。
すなわち、（Ａ）識別対象画像の一部を構成する部分画像の特徴を示す部分特徴量を取得するステップと、（Ｂ）前記部分特徴量に基づいて前記部分画像が特定のシーンに属するか否かの評価を行うステップと、（Ｃ）画像全体領域を分割して得られたＮ個の部分領域のうちの、予め定められたＭ個（Ｍ＜Ｎ）の前記部分領域に各々対応する前記部分画像のみについての評価結果を用いることによって、前記識別対象画像が前記特定のシーンに属するか否かを判断するステップと、を有するシーン識別方法を、実現できることも明らかとされる。

かかるシーン識別方法であって、前記識別対象画像が前記特定のシーンに属すると判断された場合に、その判断が正しい確率である正答率と、前記特定のシーンに属している前記識別対象画像が、当該特定のシーンに属すると判断される確率である再現率と、に基づいて前記Ｍの値を定めるステップを有することが好ましい。

かかるシーン識別方法であって、サンプル画像におけるＮ個の前記部分領域に各々対応する前記部分画像のうちの、Ｍ´個（Ｍ´＜Ｎ）の前記部分画像を仮評価個数として定めるステップと、前記サンプル画像が前記特定のシーンに属するか否かを判断するための、前記特定のシーンに属する評価結果が得られた前記部分画像の個数に対する閾値として、前記Ｍ´個以下の複数の閾値を設定し、前記閾値毎に前記正答率と前記再現率を求めるステップと、前記正答率と前記再現率によって規定される関数値を前記閾値毎に算出し、前記仮評価個数における前記関数値の最大値を求めるステップと、前記Ｎ個以下の範囲で、前記Ｍ´の値を変化させたときの各仮評価個数について求められた前記関数値の最大値のうち、前記関数値の最大値が最も大きくなるときの前記Ｍ´の値を、前記Ｍの値として定めるステップと、を有することが好ましい。
このようなシーン識別方法によれば、評価個数を最適化することができる。

＝＝＝第１実施形態＝＝＝
以下、本発明の実施の形態について説明する。なお、以下の説明は、図１に示す複合機１を例に挙げて行う。この複合機１は、媒体に印刷された画像を読み取って画像データを取得する画像読み取り部１０と、画像データに基づいて媒体へ画像を印刷する画像印刷部２０とを有している。画像印刷部２０では、例えば、デジタルスチルカメラＤＣによる撮影で得られた画像データや画像読み取り部１０で得られた画像データに基づき、画像を媒体に印刷する。加えて、この複合機１では、識別対象画像についてシーンの識別を行い、識別結果に応じて画像データを補正したり、補正した画像データをメモリカードＭＣ等の外部メモリに記憶したりする。ここで、複合機１は、未知の識別対象画像のシーンを識別するシーン識別装置として機能する。また、複合機１は、識別されたシーンに基づいて画像データを補正するデータ補正装置や、補正後の画像データを外部メモリに記憶するデータ記憶装置としても機能する。

＜複合機１の構成＞
図２Ａに示すように、画像印刷部２０は、プリンタ側コントローラ３０と印刷機構４０とを有する。

プリンタ側コントローラ３０は、印刷機構４０の制御など印刷に関する制御を行う部分である。図２Ａに例示したプリンタ側コントローラ３０は、メインコントローラ３１と、制御ユニット３２と、駆動信号生成部３３と、インタフェース３４と、メモリ用スロット３５とを有する。そして、これらの各部がバスＢＵを介して通信可能に接続されている。

メインコントローラ３１は、制御の中心となる部分であり、ＣＰＵ３６とメモリ３７とを有する。ＣＰＵ３６は、中央演算装置として機能し、メモリ３７に格納された動作用プログラムに従って種々の制御動作を行う。従って、この動作用プログラムは、制御動作を実現させるためのコードを有する。メモリ３７には種々の情報が記憶される。例えば図２Ｂに示すように、メモリ３７の一部分には、動作用プログラムを記憶するプログラム記憶部３７ａ、識別処理で用いられる閾値（後述する。）を含む制御用パラメータを記憶するパラメータ記憶部３７ｂ、画像データを記憶する画像記憶部３７ｃ、Ｅｘｉｆの付属情報を記憶する付属情報記憶部３７ｄ、特徴量を記憶する特徴量記憶部３７ｅ、確率情報を記憶する確率情報記憶部３７ｆ、計数用カウンタとして機能するカウンタ部３７ｇ、肯定フラグを記憶する肯定フラグ記憶部３７ｈ、否定フラグを記憶する否定フラグ記憶部３７ｉ、識別結果を記憶する結果記憶部３７ｊ、及び後述する部分画像識別処理で部分画像を選択する順序を決めるための選択情報（後述する乗算値情報あるいは乗算値順位情報）が記憶される選択情報記憶部３７ｋが設けられている。なお、メインコントローラ３１によって構成される各部については、後で説明する。

制御ユニット３２は、印刷機構４０に設けられているモータ４１等を制御する。駆動信号生成部３３は、ヘッド４４が有する駆動素子（図示せず）に印加される駆動信号を生成する。インタフェース３４は、パーソナルコンピュータなどの上位装置と接続するためのものである。メモリ用スロット３５は、メモリカードＭＣを装着するための部分である。メモリカードＭＣがメモリ用スロット３５に装着されると、メモリカードＭＣとメインコントローラ３１とが通信可能に接続される。これに伴い、メインコントローラ３１は、メモリカードＭＣに記憶された情報を読み出したり、情報をメモリカードＭＣに記憶させたりできる。例えばデジタルスチルカメラＤＣの撮影によって生成された画像データを読み出したり、補正等の処理を施した後の補正後画像データを記憶させたりできる。

印刷機構４０は、用紙等の媒体に対して印刷を行う部分である。例示した印刷機構４０は、モータ４１と、センサ４２と、ヘッド制御部４３と、ヘッド４４とを有する。モータ４１は、制御ユニット３２からの制御信号に基づいて動作する。モータ４１としては、例えば、媒体を搬送するための搬送モータやヘッド４４を移動させるための移動モータがある（何れも図示せず）。センサ４２は、印刷機構４０の状態を検出するためのものである。センサ４２としては、例えば、媒体の有無を検出するための媒体検出センサ、媒体の搬送センサがある（何れも図示せず）。ヘッド制御部４３は、ヘッド４４が有する駆動素子への駆動信号の印加を制御するためのものである。この画像印刷部２０では、印刷対象となる画像データに応じ、メインコントローラ３１がヘッド制御信号を生成する。そして、生成したヘッド制御信号をヘッド制御部４３へ送信する。ヘッド制御部４３は、受信したヘッド制御信号に基づいて、駆動信号の印加を制御する。ヘッド４４は、インクを吐出するための動作をする駆動素子を複数有する。これらの駆動素子には、ヘッド制御部４３を通過した駆動信号の必要部分が印加される。そして、駆動素子は、印加された必要部分に応じてインクを吐出するための動作をする。これにより、吐出されたインクが媒体に着弾し、媒体に画像が印刷される。

＜プリンタ側コントローラ３０によって実現される各部の構成＞
次に、プリンタ側コントローラ３０によって実現される各部について説明する。プリンタ側コントローラ３０のＣＰＵ３６は、動作プログラムを構成する複数の動作モジュール（プログラムユニット）毎に、異なる動作をする。このとき、ＣＰＵ３６とメモリ３７を有するメインコントローラ３１は、単体で、或いは制御ユニット３２や駆動信号生成部３３と組になって、動作モジュール毎に異なる機能を発揮する。便宜上、以下の説明では、プリンタ側コントローラ３０を、動作モジュール毎の装置として表現することにする。

図３に示すように、プリンタ側コントローラ３０は、画像記憶部３７ｃと、付属情報記憶部３７ｄと、選択情報記憶部３７ｋと、顔識別部３０Ａと、シーン識別部３０Ｂと、画像補正部３０Ｃと、機構制御部３０Ｄとを有する。画像記憶部３７ｃは、シーンの識別処理や補正処理の対象となる画像データを記憶する。この画像データは、識別対象となる識別対象データの一種である（以下、対象画像データとする。）本実施形態の対象画像データは、ＲＧＢ画像データによって構成されている。このＲＧＢ画像データは、色情報を有する複数の画素によって構成される画像データの一種である。付属情報記憶部３７ｄは、画像データに付加されるＥｘｉｆの付属情報を記憶する。選択情報記憶部３７ｋは、識別対象画像を複数の領域に分割した部分画像毎の評価を行う際に、部分画像を選択する順序を決めるための選択情報を記憶する。顔識別部３０Ａは、対象画像データについて、人物の顔画像の有無、及び、対応するシーンを識別する。例えば、顔識別部３０Ａは、ＱＶＧＡ（３２０×２４０画素＝７６８００画素）サイズのデータに基づいて、人物の顔画像の有無を判断する。そして、顔画像が検出された場合には、顔画像の総面積に基づいて、識別対象画像を人物のシーン或いは記念写真のシーンに分類する（後述する）。シーン識別部３０Ｂは、顔識別部３０Ａではシーンが決定されなかった識別対象画像について、属するシーンを識別する。画像補正部３０Ｃは、顔識別部３０Ａやシーン識別部３０Ｂでの識別結果に基づき、識別対象画像の属するシーンに応じた補正を行う。機構制御部３０Ｄは、対象画像データに基づいて印刷機構４０を制御する。ここで、画像補正部３０Ｃによる対象画像データの補正がなされた場合には、機構制御部３０Ｄは、補正後画像データに基づいて印刷機構４０を制御する。これらの各部において、顔識別部３０Ａ、シーン識別部３０Ｂ、及び、画像補正部３０Ｃは、メインコントローラ３１によって構成される。機構制御部３０Ｄは、メインコントローラ３１、制御ユニット３２、及び、駆動信号生成部３３によって構成される。

＜シーン識別部３０Ｂの構成＞
次に、シーン識別部３０Ｂについて説明する。本実施形態のシーン識別部３０Ｂは、顔識別部３０Ａではシーンが決定されなかった識別対象画像について、風景のシーン、夕景のシーン、夜景のシーン、花のシーン、紅葉のシーン、及び、その他のシーンの何れかに属するのかを識別する。図４に示すように、このシーン識別部３０Ｂは、特徴量取得部３０Ｅと、全体識別器３０Ｆと、部分画像識別器３０Ｇと、統合識別器３０Ｈと、結果記憶部３７ｊとを有する。これらの中で、特徴量取得部３０Ｅ、全体識別器３０Ｆ、部分画像識別器３０Ｇ、及び、統合識別器３０Ｈは、メインコントローラ３１によって構成される。そして、全体識別器３０Ｆ、部分画像識別器３０Ｇ、及び、統合識別器３０Ｈは、部分特徴量及び全体特徴量の少なくとも一方に基づき、識別対象画像の属するシーンの識別処理を行う識別処理部３０Ｉを構成する。

＜特徴量取得部３０Ｅについて＞
特徴量取得部３０Ｅは、識別対象画像の特徴を示す特徴量を対象画像データに基づいて取得する。この特徴量は、全体識別器３０Ｆや部分画像識別器３０Ｇでの識別で用いられる。図５に示すように、特徴量取得部３０Ｅは、部分特徴量取得部５１と全体特徴量取得部５２とを有する。

部分特徴量取得部５１は、対象画像データ（全体画像）を分割して得られた部分画像データのそれぞれについて部分特徴量を取得する。すなわち、部分特徴量取得部５１は、画像全体領域を複数に分割した部分領域に含まれる複数画素のデータを、部分画像データとして取得する。なお、画像全体領域は、対象画像データにおける画素の形成範囲を意味する。そして、部分特徴量取得部５１は、取得した部分画像データの特徴を示す部分特徴量を取得する。従って、部分特徴量は、部分画像データに対応する部分画像についての特徴を示す。具体的には、図７に示すように対象画像データを、縦と横とにそれぞれ８等分した範囲に対応する部分画像、すなわち、対象画像データを格子状に分割して得られる１／６４サイズの部分画像の特徴量を示す。なお、本実施形態における対象画像データは、ＱＶＧＡサイズのデータである。このため、部分画像データは、その１／６４サイズのデータ（４０×３０画素＝１２００画素）となる。

そして、部分特徴量取得部５１は、部分画像の特徴を示す部分特徴量として、部分画像データを構成する各画素の色平均、及び、色の分散を取得する。各画素の色は、ＹＣＣやＨＳＶなどの色空間にて数値で表すことができる。このため、色平均は、この数値を平均化することで取得できる。また、分散は、各画素の色についての平均値からの広がり度合いを示す。

全体特徴量取得部５２は、対象画像データに基づいて全体特徴量を取得する。この全体特徴量は、識別対象における全体の特徴を示す。全体特徴量としては、例えば、対象画像データを構成する各画素の色平均、色の分散、及びモーメントがある。このモーメントは、色についての分布（重心）を示す特徴量である。モーメントは、本来的には対象画像データから直接的に取得される特徴量である。しかし、本実施形態の全体特徴量取得部５２では、これらの特徴量を、部分特徴量を用いて取得している（後述する。）。また、対象画像データがデジタルスチルカメラＤＣの撮影で生成されたものである場合、全体特徴量取得部５２は、付属情報記憶部３７ｄからＥｘｉｆの付属情報も全体特徴量として取得する。例えば、絞りを示す絞り情報、シャッタースピードを示すシャッタースピード情報、ストロボのオンオフを示すストロボ情報といった撮影情報も、全体特徴量として取得する。

＜特徴量の取得について＞
次に、特徴量の取得について説明する。本実施形態の複合機１では、部分特徴量取得部５１は、部分画像データ毎に部分特徴量を取得し、取得した部分特徴量を、メモリ３７の特徴量記憶部３７ｅに記憶する。全体特徴量取得部５２は、特徴量記憶部３７ｅに記憶された複数の部分特徴量を読み出して全体特徴量を取得する。そして取得した全体特徴量を特徴量記憶部３７ｅに記憶する。このような構成をとることで、対象画像データに対する変換等の回数を抑えることができ、部分特徴量と全体特徴量を取得する構成に比べて、処理を高速化することができる。また、展開用のメモリの容量も必要最小限に抑えることができる。

＜部分特徴量の取得について＞
次に、部分特徴量取得部５１による部分特徴量の取得について説明する。図６に示すように、部分特徴量取得部５１は、まず、対象画像データの一部を構成する部分画像データを、メモリ３７の画像記憶部３７ｃから読み出す（Ｓ１１）。この実施形態において、部分特徴量取得部５１は、ＱＶＧＡサイズの１／６４サイズのＲＧＢ画像データを部分画像データとして取得する。なお、対象画像データがＪＰＥＧ形式等の圧縮された画像データの場合、部分特徴量取得部５１は、対象画像データを構成する一部分のデータを画像記憶部３７ｃから読み出し、読み出したデータを展開することで部分画像データを取得する。部分画像データを取得したならば、部分特徴量取得部５１は、色空間の変換を行う（Ｓ１２）。例えば、ＲＧＢ画像データをＹＣＣ画像に変換する。

次に、部分特徴量取得部５１は、読み出した部分画像データから部分特徴量を取得する（Ｓ１３）。この実施形態において、部分特徴量取得部５１は、部分画像データの色平均と色の分散とを部分特徴量として取得する。便宜上、部分画像データにおける色平均を部分色平均ともいう。また、便宜上、部分画像データにおける色分散を部分色分散ともいう。図７のように、識別対象画像を６４個のブロックの部分画像に分割し、それぞれの部分画像に任意の順番を設けた場合、或るｊ番目（ｊ＝１〜６４）の部分画像データにおいて、ｉ番目〔ｉ＝１〜７６８００〕の画素の色情報（例えばＹＣＣ空間で表した数値）をｘ_ｉとする。この場合、ｊ番目の部分画像データにおける部分色平均ｘ_ａｖｊは、次式（１）で表すことができる。

また、この実施形態における分散Ｓ^２は、次式（２）で定義されているものを用いている。このため、ｊ番目の部分画像データにおける部分色分散Ｓ_ｊ ^２は、式（２）を変形して得られた次式（３）で表すことができる。

従って、部分特徴量取得部５１は、式（１）及び式（３）の演算を行うことにより、対応する部分画像データについての部分色平均ｘ_ａｖｊと部分色分散Ｓ_ｊ ^２とを取得する。そして、これらの部分色平均ｘ_ａｖｊ及び部分色分散Ｓ_ｊ ^２は、それぞれメモリ３７の特徴量記憶部３７ｅに記憶される。

部分色平均ｘ_ａｖｊと部分色分散Ｓ_ｊ ^２とを取得したならば、部分特徴量取得部５１は、未処理の部分画像データの有無を判断する（Ｓ１４）。未処理の部分画像データがあると判断した場合、部分特徴量取得部５１は、ステップＳ１１に戻り、次の部分画像データについて同様の処理を行う（Ｓ１１〜Ｓ１３）。一方、ステップＳ１４にて、未処理の部分画像データはないと判断した場合には、部分特徴量取得部５１による処理は終了する。この場合、ステップＳ１５にて全体特徴量取得部５２による全体部分特徴量の取得が行われる。

＜全体特徴量の取得について＞
次に、全体特徴量取得部５２による全体特徴量の取得（Ｓ１５）について説明する。全体特徴量取得部５２は、特徴量記憶部３７ｅに記憶された複数の部分特徴量に基づき、全体特徴量を取得する。前述したように、全体特徴量取得部５２は、対象画像データの色平均と色の分散とを全体特徴量として取得する。便宜上、対象画像データにおける色平均を、全体色平均ともいう。また、便宜上、対象画像データにおける色の分散を、全体色分散ともいう。そして、前述したｊ番目（ｊ＝１〜６４）の部分画像データにおける部分色平均をｘ_ａｖｊとした場合、全体色平均ｘ_ａｖは、次式（４）で表すことができる。この式（４）において、ｍは部分画像の数を示す。また、全体色分散Ｓ^２は、次式（５）で表すことができる。この式（５）により、全体色分散Ｓ^２は、部分色平均ｘ_ａｖ、部分色分散Ｓ_ｊ ^２、及び、全体色平均ｘ_ａｖに基づいて取得できることが判る。

従って、全体特徴量取得部５２は、式（４）及び式（５）の演算を行うことにより、対象画像データについての全体色平均ｘ_ａｖと全体色分散Ｓ^２とを取得する。そして、これらの全体色平均ｘ_ａｖ及び全体色分散Ｓ^２は、それぞれメモリ３７の特徴量記憶部３７ｅに記憶される。

また、全体特徴量取得部５２は、他の全体特徴量としてモーメントを取得する。この実施形態では、識別対象が画像であるので、モーメントによって、色の位置的な分布を定量的に取得できる。この実施形態において全体特徴量取得部５２は、部分画像データ毎の色平均ｘ_ａｖｊに基づいてモーメントを取得している。ここで、図７に示す６４個の部分画像のうち縦位置Ｊ（Ｊ＝１〜８）、横位置Ｉ（Ｉ＝１〜８）で特定される部分画像を、座標（Ｉ，Ｊ）で表すことにする。この座標（Ｉ，Ｊ）で特定される部分画像における部分画像データの部分色平均をＸ_ＡＶ（Ｉ，Ｊ）で表すと、部分色平均に関する横方向のｎ次モーメントｍ_ｎｈは、次式（６）で表すことができる。

ここで、単純な１次モーメントを部分色平均Ｘ_ＡＶ（Ｉ，Ｊ）の総和で除算した値を、１次の重心モーメントという。この１次の重心モーメントは、次式（７）で表されるものであり、部分色平均という部分特徴量の横方向の重心位置を示す。この重心モーメントを一般化したｎ次の重心モーメントは、次式（８）で表される。ｎ次の重心モーメントの中で、奇数次（ｎ＝１，３・・・）の重心モーメントは、一般に重心の位置を示すと考えられている。また、偶数次の重心モーメントは、一般に重心付近における特徴量の広がり度合いを示すと考えられている。

本実施形態の全体特徴量取得部５２は、６種類のモーメントを取得している。具体的には、横方向の１次モーメント、縦方向の１次モーメント、横方向の１次重心モーメント、縦方向の１次重心モーメント、横方向の２次重心モーメント、及び、縦方向の２次重心モーメントを取得している。なお、モーメントの組み合わせは、これらに限定されない。例えば、横方向の２次モーメントと縦方向の２次モーメントを加えた８種類としてもよい。

これらのモーメントを取得することにより、色の重心や重心付近における色の広がり度合いを認識することができる。例えば、「画像における上部に赤い領域が広がっている」とか「中心付近に黄色い領域がまとまっている」といった情報が得られる。そして、識別処理部３０Ｉ（図４を参照。）における識別処理で、色の重心位置や局在性が考慮できるため、識別の精度を高めることができる。

＜特徴量の正規化について＞
ところで、識別処理部３０Ｉの一部を構成する全体識別器３０Ｆ及び部分画像識別器３０Ｇでは、サポートベクターマシン（ＳＶＭとも記す。）を用いて識別を行っている。サポートベクターマシンについては後で説明するが、このサポートベクターマシンは、分散の大きな特徴量ほど識別に対する影響力（重み付けの度合い）が大きくなるという特性を有する。そこで、部分特徴量取得部５１、及び、全体特徴量取得部５２では、取得した部分特徴量及び全体特徴量について正規化を行っている。すなわち、それぞれの特徴量について平均と分散とを算出し、平均が値〔０〕となり、分散が値〔１〕となるように、正規化を行っている。具体的には、ｉ番目の特徴量ｘ_ｉにおける平均値をμ_ｉとし、分散をσ_ｉとした場合、正規化後の特徴量ｘ_ｉ´は、次式（９）で表すことができる。

従って、部分特徴量取得部５１、及び、全体特徴量取得部５２は、式（９）の演算を行うことにより、各特徴量を正規化する。正規化された特徴量は、それぞれメモリ３７の特徴量記憶部３７ｅに記憶され、識別処理部３０Ｉでの識別処理に用いられる。これにより、識別処理部３０Ｉでの識別処理において、各特徴量を均等な重み付けで扱うことができる。その結果、識別精度を高めることができる。

＜特徴量取得部３０Ｅのまとめ＞
部分特徴量取得部５１は、部分特徴量として部分色平均と部分色分散とを取得し、全体特徴量取得部５２は、全体特徴量として全体色平均と全体色分散とを取得している。これらの特徴量は、識別処理部３０Ｉによる識別対象画像の識別処理で用いられる。このため、識別処理部３０Ｉにおける識別精度を高めることができる。これは、識別処理において、識別対象画像の全体と部分画像のそれぞれで取得された、色合いの情報と色の局在化度合いの情報とが加味されるからである。

＜識別処理部３０Ｉについて＞
次に、識別処理部３０Ｉについて説明する。まず、識別処理部３０Ｉの概略について説明する。図４及び図５に示すように、識別処理部３０Ｉは、全体識別器３０Ｆと、部分画像識別器３０Ｇと、統合識別器３０Ｈとを有する。全体識別器３０Ｆは、全体特徴量に基づいて、識別対象画像のシーンを識別する。部分画像識別器３０Ｈは、部分特徴量に基づいて、識別対象画像のシーンを識別する。統合識別器３０Ｈは、全体識別器３０Ｆと部分画像識別器３０Ｇでシーンが確定されなかった識別対象画像について、シーンを識別する。このように、識別処理部３０Ｉは、特性の異なる複数種類の識別器を有している。これは、識別性を高めるためである。すなわち、識別対象画像の全体に特徴が表れがちなシーンについては、全体識別器３０Ｆによって精度良く識別ができる。一方、識別対象画像の一部分に特徴が表れがちなシーンについては、部分画像識別器３０Ｇによって精度良く識別ができる。その結果、識別対象画像の識別性を高めることができる。さらに、全体識別器３０Ｆと部分画像識別器３０Ｇでシーンが確定しなかった識別対象画像については、統合識別器３０Ｈによってシーンを識別できる。この点でも識別対象画像の識別性を高めることができる。

＜全体識別器３０Ｆについて＞
全体識別器３０Ｆは、識別可能なシーンに応じた種類の数のサブ識別器（便宜上、全体サブ識別器ともいう。）を有する。図５に示すように、全体識別器３０Ｆは、全体サブ識別器として、風景識別器６１と、夕景識別器６２と、夜景識別器６３と、花識別器６４と、紅葉識別器６５とを有する。各全体サブ識別器は、全体特徴量に基づいて、識別対象画像が特定のシーンに属することを識別する。また、各全体サブ識別器は、識別対象画像が特定のシーンに属さないことも識別する。

これらの全体サブ識別器は、サポートベクターマシンと判断部とをそれぞれ有する。すなわち、風景識別器６１は、風景用サポートベクターマシン６１ａと風景用判断部６１ｂとを有し、夕景識別器６２は、夕景用サポートベクターマシン６２ａと夕景用判断部６２ｂとを有する。また、夜景識別器６３は、夜景用サポートベクターマシン６３ａと夜景用判断部６３ｂとを有し、花識別器６４は、花用サポートベクターマシン６４ａと花用判断部６４ｂとを有し、紅葉識別器６５は、紅葉用サポートベクターマシン６５ａと紅葉用判断部６５ｂとを有する。なお、各サポートベクターマシンは、後述するように、識別対象（評価対象）となる識別対象画像が入力される毎に、識別対象画像が特定カテゴリー（シーン）に属する度合いに応じた識別関数値（確率情報）を算出する。そして、各サポートベクターマシンで求められた識別関数値は、それぞれメモリ３７の確率情報記憶部３７ｆに記憶される。

各判断部は、対応するサポートベクターマシンで取得された識別関数値に基づいて、識別対象画像が対応する特定のシーンに属することを判断する。そして、各判断部は識別対象画像が対応する特定のシーンに属すると判断した場合、肯定フラグ記憶部３７ｈの対応する領域に肯定フラグを記憶する。また、各判断部は、サポートベクターマシンで取得された識別関数値に基づいて、識別対象画像が特定のシーンに属さないことも判断する。そして、各判断部は、識別対象画像が特定のシーンに属さないと判断した場合、否定フラグ記憶部３７ｉの対応する領域に否定フラグを記憶する。なお、サポートベクターマシンは部分画像識別器３０Ｇでも用いられている。このため、サポートベクターマシンについては部分画像識別器３０Ｇとともに説明する。

＜部分画像識別器３０Ｇについて＞
部分画像識別器３０Ｇは、識別可能なシーンに応じた種類の数のサブ識別器（便宜上、部分サブ識別器とする。）を有する。各部分サブ識別器は、識別対象画像が特定のシーンに属するか否かを部分特徴量に基づいて識別する。つまり、各部分サブ識別器は、部分特徴量に基づいて部分画像毎に評価を行い、その評価結果に応じて識別対象画像が特定のシーンに属するか否かを識別する。

図５に示すように部分画像識別器３０Ｇは、夕景部分サブ識別器７１、花部分サブ識別器７２、紅葉部分サブ識別器７３を有する。夕景部分サブ識別器７１は、識別対象画像が夕景のシーンに属するか否かを識別し、花部分サブ識別器７２は、識別対象画像が花のシーンに属するか否かを識別し、紅葉部分サブ識別器７３は、識別対象画像が紅葉のシーンに属するか否かを識別する。全体識別器３０Ｆの識別対象となるシーンの種類の数と、部分画像識別器３０Ｇの識別対象となるシーンの種類の数とを比較すると、部分画像識別器３０Ｇの識別対象となるシーンの種類の数の方が少ない。これは、部分画像識別器３０Ｇが、全体識別器３０Ｆを補完する目的を有しているからである。つまり、部分画像識別器３０Ｇは、全体識別器３０Ｆでは精度が得られ難いシーンに対して設けられている。

ここで、部分画像識別器３０Ｇでの識別に適する識別対象画像について考察する。まず、花のシーンと紅葉のシーンについて考察する。これらのシーンは、いずれもそのシーンの特徴が局所的に表れ易いといえる。例えば、花をアップで撮影した識別対象画像では、画像における中央部分に花のシーンの特徴が表れ、周辺部分に風景のシーンに近い特徴が表れる。紅葉のシーンも同様である。すなわち、山肌の一部分に表れた紅葉を撮影した場合、識別対象画像の特定部分に紅葉が集まった状態となる。この場合も、山肌の一部分に紅葉のシーンの特徴が表れ、他の部分は風景のシーンの特徴が表れる。従って、部分サブ識別器として花部分サブ識別器７２と紅葉部分サブ識別器７３とを用いることにより、全体識別器３０Ｆでは識別し難い花のシーンと紅葉のシーンであっても、識別性を高めることができる。すなわち、部分画像毎に識別を行うので、識別対象画像の一部分に花や紅葉などの主要被写体の特徴が表れている場合であっても、精度良く識別することができる。次に夕景のシーンについて考察する。夕景のシーンも、夕景の特徴が局所的に表れる場合がある。例えば水平線に沈む夕日を撮影した画像であって、完全に沈む直前のタイミングで撮影した画像を考える。このような画像では、夕日が沈む部分に夕日のシーンの特徴が表れ、他の部分には夜景のシーンの特徴が表れる。従って、部分サブ識別器として夕景識別器７１を用いることで、全体識別器３０Ｆでは識別し難い夕景のシーンであっても識別性を高めることができる。なお、部分的に特徴の出やすいこれらのシーンにおいて、そのシーンの特徴の表れる確率の高い位置は、特定のシーン毎に一定の傾向がある。以下、各部分画像の位置毎に、特定のシーンの特徴が表れる確率のことを存在確率ともいう。

このように、部分画像識別器３０Ｇは、主として全体識別器３０Ｆでは精度が得られ難い画像を対象として識別を行っている。すなわち、全体識別器３０Ｆによって十分な精度を得られる識別対象については、部分サブ識別器を設けていない。このような構成を採ることで、部分画像識別器３０Ｇの構成を簡素化できる。ここで、部分画像識別器３０Ｇはメインコントローラ３１によって構成されているので、構成の簡素化とは、ＣＰＵ３６が実行する動作プログラムのサイズや必要なデータのサイズを小さくすることが該当する。構成の簡素化により、必要とされるメモリの容量を小さくできたり、処理を高速化できたりする。

ところで、部分画像識別器３０Ｇでの識別の対象となる識別対象画像は、前述したように部分的に特徴の出やすいものである。すなわち、識別対象画像において、その部分以外には、対象となる特定のシーンの特徴が現れていない場合も多々ある。よって、識別対象画像から得られる全ての部分画像について、特定のシーンに属するか否かの評価を行うことは、必ずしもシーン識別の精度を向上させることにはならず、また、識別処理の速度の低下を招く虞もある。言い換えれば、評価を行う部分画像の個数（以下、評価個数ともいう）を最適化することにより、全ての部分画像について評価を行わなくても、識別の精度を低下させることなく、識別処理の高速化を図ることが可能である。そこで、本実施形態では、各特定のシーンに最適な部分画像の評価個数を予め定めて、その評価個数の部分画像のみについての評価結果を用いることによって、識別対象画像が特定のシーンに属するか否かの識別を行っている。以下、この点を中心に説明をする。

＜部分サブ識別器の構成について＞
まず、部分サブ識別器（夕景部分サブ識別器７１、花部分サブ識別器７２、紅葉部分サブ識別器７３）の構成について説明する。図５に示すように、各部分サブ識別器は、部分サポートベクターマシンと検出数カウンタと判断部をそれぞれ有する。すなわち、夕景部分サブ識別器７１は、夕景用部分サポートベクターマシン７１ａと夕景検出数カウンタ７１ｂと夕景判断部７１ｃを有し、花部分サブ識別器７２は、花用部分サポートベクターマシン７２ａと花検出数カウンタ７２ｂと花判断部７２ｃを有する。また、紅葉部分サブ識別器７３は、紅葉用部分サポートベクターマシン７３ａと紅葉検出数カウンタ７３ｂと紅葉判断部７３ｃを有する。

これらの各部分サブ識別器において、部分サポートベクターマシンと検出数カウンタは、部分特徴量に基づいて各部分画像が特定のシーンに属するか否かの評価を行う部分評価部に相当する。そして、各判断部は、この部分評価部による評価結果を用いて、識別対象画像が特定のシーンに属するか否かを判断する。すなわち、各判断部は、識別対象画像の画像全体領域を分割して得られるＮ個の部分領域のうちの、予め定められたＭ個（Ｍ＜Ｎ）の部分領域に対応する部分画像についての部分評価部による評価結果を用いることによって、識別対象画像が特定のシーンに属するか否かを判断する。具体的には、識別対象画像が、図７に示すような６４個の部分画像で構成される場合、画像全体領域を構成する部分領域の数（Ｎ個の数）は６４個となる。そして、判断部は、そのうちの、予め定められた評価個数（例えば１０個，Ｍ個に相当する。）の部分領域について、対応する部分画像のみの部分評価部による評価結果を用いて判断を行う。つまり、全ての部分画像の評価結果を用いることなく、識別対象画像が特定のシーンに属するか否かを判断する。こうすると、部分評価部による識別の回数を減らすことができるので、シーンの識別処理の速度を向上させることができる。なお、評価個数（Ｍ個）は、各判断部によるシーンの識別の精度を示す尺度である正答率（Precisionともいう）と再現率（Recallともいう）に基づいて定められる（後述する。）。

また、評価の対象となるＭ個の部分領域は、後述するように、部分領域に特定のシーンの特徴が表れる確率である存在確率と、部分評価部による部分画像毎の評価結果が正しい確率である部分正答率と、の少なくとも一方に基づいて選ぶことが好ましい。

各部分サブ識別器が有する部分サポートベクターマシン（夕景用部分サポートベクターマシン７１ａ〜紅葉用部分サポートベクターマシン７３ａ）は、各全体サブ識別器が有するサポートベクターマシン（風景用サポートベクターマシン６１ａ〜紅葉用サポートベクターマシン６５ａ）と同様のものである。以下サポートベクターマシンについて説明する。

＜サポートベクターマシンについて＞
サポートベクターマシンは、識別対象の特徴を示す特徴量に基づき、その識別対象が或るカテゴリーに属する確率の大小を示す確率情報を取得する。このサポートベクターマシンの基本形は、線形サポートベクターマシンである。線形サポートベクターマシンは、例えば、図８に示すように、２クラス分類トレーニングで定められる線形の識別関数であり、マージン（即ち、学習データとしてのサポートベクターが存在しない領域）が最大となるように定められた識別関数である。この図８において、白抜きの丸のうち分離超平面の決定に寄与する点（例えばＳＶ１１）が或るカテゴリーＣＡ１に属するサポートベクターであり、斜線を付した丸のうち分離超平面の決定に寄与する点（例えばＳＶ２２）が他のカテゴリーＣＡ２に属するサポートベクターである。カテゴリーＣＡ１に属するサポートベクターとカテゴリーＣＡ２に属するサポートベクターとを分離する分離超平面では、この分離超平面を定める識別関数（確率情報）が値[０]を示す。図８では、分離超平面の候補として、カテゴリーＣＡ１に属するサポートベクターＳＶ１１及びＳＶ１２を通る直線に平行な分離超平面ＨＰ１と、カテゴリーＣＡ２に属するサポートベクターＳＶ２１及びＳＶ２２を通る直線に平行な分離超平面ＨＰ２とを示している。この例では、分離超平面ＨＰ１の方が分離超平面ＨＰ２よりもマージン（サポートベクターから分離超平面までの間隔）が大きいので、線形サポートベクターマシンとして、分離超平面ＨＰ１に対応する識別関数が定められる。

ところで、線形サポートベクターマシンでは、線形分離ができない識別対象については識別の精度が低くなってしまう。なお、この複合機１で扱われる識別対象画像も、線形分離ができない識別対象に相当する。そこで、このような識別対象については、特徴量を非線形変換し（すなわち、高次元空間に写像し）、その空間で線形の識別を行う非線形サポートベクターマシンが用いられる。この非線形サポートベクターマシンでは、例えば、任意の数の非線形関数によって定義される新たな関数を、非線形サポートベクターマシン用のデータとする。図９に模式的に示すように、非線形サポートベクターマシンでは、識別境界ＢＲが曲線状になる。この例では、四角で示す各点のうち識別境界ＢＲの決定に寄与する点（例えばＳＶ１３、ＳＶ１４）がカテゴリーＣＡ１に属するサポートベクターであり、丸で示す各点のうち識別境界ＢＲの決定に寄与する点（例えばＳＶ２３〜ＳＶ２６）がカテゴリーＣＡ２に属するサポートベクターである。そして、これらのサポートベクターを用いた学習により、識別関数のパラメータが定められる。なお、他の点は、学習には用いられるが、最適化の過程で対象から外される。このため、識別にサポートベクターマシンを用いることで、識別時に用いられる学習データ（サポートベクター）の数を抑えることができる。その結果、限られた学習データであっても、取得される確率情報の精度を高めることができる。

＜部分サポートベクターマシンについて＞
各部分サブ識別器に備えられる部分サポートベクターマシン（風景用部分サポートベクターマシン７１ａ、花用部分サポートベクターマシン７２ａ、紅葉部分サポートベクターマシン７３ａ）は、前述したような非線形サポートベクターマシンである。そして、各部分サポートベクターマシンは、異なるサポートベクターに基づく学習で、識別関数におけるパラメータが定められる。その結果、部分サブ識別器毎に特性を最適化でき、部分画像識別器３０Ｇにおける識別性を向上させることができる。各部分サポートベクターマシンは、入力された画像に応じた数値、すなわち識別関数値を出力する。

なお、各部分サポートベクターマシンは、学習データが部分画像データである点が、全体サブ識別器が有するサポートベクターマシンと異なっている。つまり、各部分サポートベクターマシンは、識別対象となる部分の特徴を示す部分特徴量に基づく演算を行う。各部分サポートベクターマシンによる演算結果、すなわち識別関数値は、部分画像が識別対象である或るシーンの特徴を多く有するほど、値が大きくなる。反対に、この部分画像が、識別対象でない他のシーンの特徴を多く有するほど、値が小さくなる。また、この部分画像が、或るシーンの特徴と他のシーンの特徴のそれぞれを均等に有する場合には、この部分サポートベクターマシンで得られる識別関数値は値[０]になる。

従って、部分サポートベクターマシンで得られた識別関数値が正の値になった部分画像に関しては、その部分サポートベクターマシンが対象とするシーンの方が、他のシーンよりも多くの特徴が表れている、つまり対象とするシーンに属する確率が高いといえる。このように、部分評価部の一部を構成する各部分サポートベクターマシンによって識別関数値の演算を行うことは、部分画像が特定のシーンに属するか否かの評価に相当する。また、その識別関数値が正であるか否かに応じて部分画像を特定のシーンに属するか否かに分類することは識別に相当する。本実施形態において、各部分評価部（各部分サポートベクターマシン，各検出数カウンタ）は、部分特徴量に基づいて部分画像毎に特定のシーンに属するか否かの評価を行う。各部分サポートベクターマシンで求められた確率情報は、それぞれメモリ３７の確率情報記憶部３７ｆに記憶される。

本実施形態の各部分サブ識別器は、それぞれ対応する特定のシーン毎に設けられている。各部分サブ識別器は、部分評価部としての部分サポートベクターマシンと検出数カウンタの組を、それぞれ有している。従って、部分評価部は、特定のシーンの種類毎に設けられているといえる。そして、各部分評価部では、部分サポートベクターマシンによる評価に基づいて、対応する特定のシーンに属するか否かの識別を行う。このため、各部分サポートベクターマシンの設定に応じて、部分評価部毎に特性を最適化することができる。

なお、本実施形態の各部分サポートベクターマシンは、部分特徴量に加えて、全体特徴量を加味して演算を行なっている。これは部分画像の識別精度を高めるためである。以下、この点について説明する。部分画像は、全体画像に比べて情報量が少ない。このため、シーンの識別が困難になる場合がある。例えば、或る部分画像が、或るシーンと他のシーンとで共通する特徴を有していた場合には、識別が困難になる。仮に、部分画像が赤みの強い画像であったとする。この場合、部分特徴量だけでは、その部分画像が夕景のシーンに属するのか、紅葉のシーンに属するのか、識別し難いことがある。このような場合に、全体特徴量を加味することで、その部分画像の属するシーンを識別できることがある。例えば、全体特徴量が全体的に黒味を帯びた画像を示す場合、赤みの強い部分画像は、夕景のシーンに属する確率が高くなる。また、全体特徴量が全体的に緑色や青色を帯びた画像を示す場合、赤みの強い部分画像は、紅葉のシーンに属する確率が高くなる。このように、各部分サポートベクターマシンにおいて、全体特徴量を加味して演算を行い、その演算結果に基づいて識別を行うことによって、識別精度をより高めることができることになる。

＜検出数カウンタについて＞
各検出数カウンタ（夕景検出数カウンタ７１ｂ〜紅葉検出数カウンタ７３ｂ）は、メモリ３７のカウンタ部３７ｇにより機能するものである。また、各検出数カウンタは、対応する部分サポートベクターマシンによって特定のシーンであることを示す評価結果が得られた部分画像の個数をカウントするカウンタ（便宜上、評価用カウンタとする）と、評価対象となる部分画像のうち識別が行われていない部分画像数の個数をカウントするカウンタ（便宜上、残数用カウンタとする）をそれぞれ有する。例えば、図５に示すように夕景検出数カウンタ７１ｂは、評価用カウンタ７１ｄと、残数用カウンタ７１ｅを有している。なお、図５では図示していないが、花検出数カウンタ７２ｂおよび紅葉検出数カウンタ７３ｂも、夕景検出数カウンタ７１ｂと同様に評価用カウンタと残数用カウンタとをそれぞれ有している。

各評価用カウンタは、初期値が、例えば値[０]である。そして、対応する部分サポートベクターマシンで得られた識別関数値が正の値である評価結果（対応するシーンの特徴が他のシーンの特徴よりも強く表れている評価結果）が得られるごとに、すなわち、部分画像が特定のシーンに属する旨の評価がされるごとに、カウントアップ（＋１）する。このカウントアップのことを、インクリメントともいう。要するに、各評価用カウンタは、識別対象である特定のシーンに属すると識別（検出）された部分画像の数をカウントしているといえる。そして、各評価用カウンタによるカウント値は、部分サポートベクターマシンでなされた評価を定量的に示すものである。以下の説明において、各評価用カウンタのカウント値のことを検出画像数ともいう。

各残数用カウンタには、初期値に、各シーンに対応して定められた評価個数を示す値が設定されている。そして、各残数用カウンタは、１個の部分画像の評価が行われるごとにカウントダウン（−１）する。このカウントダウンのことを、デクリメントともいう。例えば、夕景のシーンでの部分画像の評価個数を１０個とする場合、夕景検出数カウンタ７１ｂの残数用カウンタ７１ｅには初期値に値[１０]が設定される。そして残数用カウンタ７１ｅは、夕景用部分サポートベクターマシン７１ａで１個の部分画像の評価が行われるごとにカウントダウンする。要するに各残数用カウンタは、予め定められた評価個数の部分画像のうちの、評価が行われていない部分画像の個数をカウントする。以下の説明において、各残数用カウンタのカウント値のことを残り画像数ともいう。

評価用カウンタ及び残数用カウンタのカウント値は、例えば新たな識別対象画像についての処理を行う際にリセットされ初期値に戻る。

＜判断部について＞
各判断部（夕景判断部７１ｃ、花判断部７２ｃ、紅葉判断部７３ｃ）は、例えばメインコントローラ３１のＣＰＵ３６によって構成され、対応する評価用カウンタの検出画像数（部分評価部によって得られた評価結果）に応じて、識別対象画像が特定のシーンに属するか否かを判断する。このように、識別対象画像が特定のシーンに属するか否かを、検出画像数に応じて判断することにより、識別対象画像の一部分に特定のシーンの特徴が表れているような場合でも精度良く識別を行うことができる。よって識別精度を向上させることができる。なお、具体的には、各判断部は、検出画像数（特定のシーンに属することを示す評価結果が得られた部分画像の個数）が、メモリ３７の制御用パラメータ記憶部３７ｂに記憶された所定の閾値を超えた場合、その識別対象画像が特定のシーンに属すると判断する。この所定の閾値は、識別対象画像が部分サブ識別器で扱われるシーンに属するとの肯定的な判断を与えるものである。従って、以下の説明において、このような肯定的な判断を与えるための閾値のことを肯定閾値（Positive Threshold）ともいう。この肯定閾値の値は、識別対象画像が特定のシーンであると判断されるのに必要な検出画像数を示す。従って、肯定閾値が決まると、部分画像の評価個数に対する検出画像数の割合が決まる。そして、肯定閾値の設定によって識別の精度を調整することができる。なお、この判断を行うのに最適な検出画像数の個数は、処理速度および識別精度の点から、識別対象となるシーンの種類に応じて異なることが考えられる。そこで、肯定閾値は、各部分サブ識別器における識別対象となる特定のシーン毎にそれぞれ値が設定されている。このように、特定のシーン毎に肯定閾値を設定しているので、それぞれのシーンに適した識別を行うことができる
また、各判断部は、評価用カウンタでカウントされた検出画像数と残数用カウンタで検出された残り画像数との加算値を算出する。この加算値が肯定閾値よりも小の場合、残り画像が全て特定のシーンに属すると識別されたとしても、最終的な検出画像数は、その特定のシーンに設定された肯定閾値には達しないことになる。そこで、各判断部は、検出画像数と残り画像数との加算値が肯定閾値よりも小である場合、その識別対象画像が特定のシーンに属さないと判断する。これにより、評価個数の最後となる部分画像の識別を行う前に、途中で識別対象画像が特定のシーンに属さないことを判断できる。すなわち、その特定のシーンに対する識別処理を、途中で終了すること（打ち切ること）ができる。よって、識別処理の高速化を図ることができる。

また、前述したように、この複合機１では、各判断部による判断の正確さ（精度）を示す尺度として、再現率と正答率が用いられている。

再現率は、或るシーンに属すると判断しなければならない識別対象画像について、そのシーンに属すると判断した割合を示す。すなわち、再現率は、特定のシーンに属している識別対象画像が、その特定のシーンに対応する判断部によって、特定のシーンに属すると判断される確率である。具体例を挙げると、夕景のシーンに属する複数の識別対象画像を夕景部分サブ識別器７１で識別させた場合において、夕景のシーンに属すると識別された識別対象画像の割合が該当する。従って、再現率は、そのシーンに属する確率が多少低い識別対象画像についても、そのシーンに属すると判断部に判断させることで、高くすることができる。なお、再現率の最大値は値[１]であり、最小値は値[０]である。

正答率は、或る判断部にて、対応するシーンに属すると判断した識別対象画像における、正しい判断をした識別対象画像の割合を示す。すなわち、正答率は、対応する判断部によって、識別対象画像が特定のシーンに属すると判断された場合に、その判断が正しい確率である。具体例を挙げると、夕景部分サブ識別器７１によって夕景のシーンに属すると識別された複数の画像の中で、実際に夕景のシーンに属する識別対象画像の割合が該当する。従って、正答率は、そのシーンに属する可能性が高い識別対象画像を選択的にそのシーンに属すると判断部に判断させることで、高くすることができる。なお、正答率の最大値は値[１]であり、最小値は値[０]である。

図１０は、夕景部分サブ識別器７１による正答率と再現率の特性を示すものであり、図１１は、花部分サブ識別器７２による正答率と再現率の特性を示すものである。なお、図１０、図１１の横軸は肯定閾値を示し、縦軸は再現率と正答率の値を示す。これらの図から判るように、正答率と再現率は、肯定閾値に対して、互いに相反関係にある。例えば、正答率は、肯定閾値を大きくするほど高くなる傾向がある。このため、肯定閾値を大きくするほど、例えば夕景のシーンに属すると判断された識別対象画像が、本当に夕景のシーンに属している確率が高くなる。一方、再現率は、肯定閾値を大きくするほど低くなる傾向がある。例えば、夕景部分サブ識別器７１で夕景のシーンであると識別されるべき夕景のシーンの識別対象画像であっても、夕景のシーンに属すると正しく識別されにくくなる。ここで、本実施形態の場合、肯定閾値は、識別対象画像が特定のシーンであると判断されるのに必要な、検出画像の個数である。従って、特定のシーンである旨の評価結果が得られた部分画像の個数が肯定閾値を超えるか否かで、識別対象画像がその特定のシーンであるか否かが判断される。つまり、肯定閾値を小さくするほど特定のシーンであるとの判断を早く得ることが可能であり、識別処理の速度を向上させることができることになる。しかし、この場合、正答率が低くなるので誤識別の可能性が高くなる。逆に肯定閾値を大きくするほど、識別の精度は高くなる。しかしこの場合、その特定のシーンであると判断されにくくなり識別処理の速度が低下することになる。このように、識別処理の精度および速度は、正答率と再現率の値に依存することになる。なお、図１０、図１１に示すＦ値（F-Value）は、正答率と再現率とによって規定される関数値であり、調和平均ともいわれる。Ｆ値は、正答率（Precision）と再現率（Recall）を用いて次式（１０）で表される。

このＦ値は、互いに相反関係にある指標（本実施形態の場合、正答率と再現率）をバランスよく最適化するための関数値として知られている。Ｆ値は、正答率と再現率のクロス点付近で最大となり、正答率、再現率のいずれかが一方が小さくなると、それに伴って小さくなる。つまり、Ｆ値の値が大きいことは、正答率と再現率のバランスが良いことを示し、Ｆ値の値が小さいことは正答率と再現率のバランスが悪い（何れかが小さい）ことを示す。よって、Ｆ値を用いることで正答率と再現率を総合的に評価することができる。また、本実施形態では、このＦ値を用いて各シーンの評価個数を定めているので識別処理の精度と速度を調和させた評価個数を定めることができる。

＜部分画像について＞
本実施形態の場合、部分画像識別器３０Ｇの各部分サブ識別器で識別を行う部分画像は、図７で説明したように、識別対象画像の１／６４サイズ（１２００画素）である。すなわち、識別対象画像は、６４個の部分画像を有する。なお、以下の説明でも、縦位置Ｊ（Ｊ＝１〜８）、横位置Ｉ（Ｉ＝１〜８）で特定される部分画像を、座標（Ｉ，Ｊ）で表す。

本実施形態の各部分サブ識別器は、識別対象画像から得られるＮ個（本実施形態では６４個）の部分画像のうちから、予め定められたＭ個の識別対象（評価対象）となる部分画像を選択する。そして、選択した部分画像について識別を行う。本実施形態では、後述するように、存在確率と部分画像毎の正答率（以下、部分正答率ともいう）との乗算値の高い順に部分画像を選択し、識別を行う。

以下、図１２〜図１６Ｄを用いて存在確率、部分正答率について説明する。図１２は、実際のシーンと部分識別器での識別結果との一例を示した図であり、図１３は、各部分画像の存在確率と部分正答率の算出方法を説明するための図である。図１４Ａ〜図１６Ｄは、存在確率等のデータの一例である。なお、図１２では、便宜上、サンプル画像の全体を６４分割した６４ブロックのうちの１６ブロック（I＝１〜４,J＝１〜４）について示している。部分画像識別器３０Ｇで識別が行われる識別対象画像は、部分的にシーンの特徴が表れている。例えば夕景のシーンのサンプル画像において、図１２に示すように夕景のシーンだけでなく他のシーン（例えば花、夜景、風景）の特徴が表れた部分画像が存在している。なお、図１２に示す実際のシーンとは、サンプル画像の各部分領域を、例えば評価者による目視によって、特定のシーンに分類した結果である。これに対し識別結果は、同じサンプル画像を、夕景部分サブ識別器７１の部分評価部（夕景用部分サポートベクターマシン７１ａ及び夕景検出数カウンタ７１ｂ）によって、部分画像毎に夕景のシーンであるか否かを識別した結果である。この識別結果において、灰色で塗り潰した部分は夕景に属する（Positive）と識別された部分画像を示し、白抜きの部分は夕景には属さない（Negative）と識別された部分画像を示している。また、識別結果が実際のシーンと同じ（正解（True）ともいう）部分領域には丸印を記し、識別結果が実際のシーンと異なる（不正解（False）ともいう）部分領域には罰点を記している。

＜存在確率について＞
存在確率は、画像全体領域内の各部分領域毎に、特定のシーンの特徴が表れる確率である。この存在確率は、各部分領域において、実際に特定のシーンの特徴が表れている部分画像の個数を、サンプル画像の総数（部分画像の総数ｎ個）で除算することで求められる。よって、サンプル画像において、特定のシーンの特徴が表れている部分画像が無い部分領域では、存在確率は最小値[０]となる。一方、全ての部分画像に特定のシーンの特徴が表れている部分領域では、存在確率は最大値[１]となる。サンプル画像はそれぞれ構図が異なっているので、存在確率の精度はサンプル画像の枚数に依存する。つまりサンプル画像の数が少ないと、特定のシーンの表れる領域の傾向を正確に求めることが出来ない可能性がある。本実施形態では、各部分画像の存在確率を求める際、構図の異なるｎ枚（例えば数千枚）のサンプル画像を用いているので、特定のシーンの特徴が表れやすい部分領域の位置の傾向をより正確に求めることができ、各部分領域毎の存在確率の精度を高めることができる。このようにして、サンプル画像から得られた各部分領域毎の存在確率を示すデータの一例を図１４Ａ〜図１６Ａに示す。なお、この６４個の各部分領域は、図７に示す各部分画像にそれぞれ対応している。よって、各部分領域を部分画像と同じ座標（Ｉ，Ｊ）で表している。

図１４Ａは、夕景のシーンの各部分領域における存在確率を示したデータであり、図１５Ａは、花のシーンの各部分領域における存在確率を示したデータである。また、図１６Ａは、紅葉のシーンの各部分領域における存在確率を示したデータである。

例えば夕景のシーンの場合、画像全体における中央付近から上半分に夕景の空が広がっていることが多い。すなわち、図１４Ａに示すように全体領域の中央付近から上半分の部分領域において存在確率が高く、それ以外（下半分）の部分領域では存在確率が低くなる。また、例えば、花のシーンの場合、図７のように花を全体領域の中央に配置させるような構図が多い。すなわち、図１５Ａに示すように全体領域における中央部分の部分領域では存在確率が高く、全体領域の周辺部分の部分領域では存在確率が低くなる。また、例えば、紅葉のシーンの場合、山の一部分に表れた紅葉を撮影することが多く、図１６Ａに示すように画像の中央から下部にかけて存在確率が高くなる。このように、部分画像識別器３０Ｇで識別を行うような主要被写体の一部分に特徴の表れやすい夕景、花、紅葉のシーンにおいて、存在確率の高い部分領域は各シーンで一定の傾向があることが判る。

＜部分正答率について＞
部分正答率は、各部分サブ識別器の部分評価部（部分サポートベクターマシン及び検出数カウンタ）による部分画像の評価結果が正しい確率である。すなわち、部分評価部によって、対応する特定のシーンに属する確率が高いことを示す正の値の識別関数値が得られた部分画像に対し、実際にその特定のシーンの特徴が表れている確率を示すものである。

各部分領域の部分正答率は、各部分評価部が、複数のサンプル画像の部分画像について、特定のシーンに属しているか否かを識別した際に、特定のシーンに属すると識別された部分画像のうちの、実際に特定のシーンの特徴が表れていた部分画像の個数を、特定のシーンに属すると識別された部分画像の個数で除算することで求められる。例えば夕景部分サブ識別器７１で識別を行った場合、各部分領域毎の部分正答率は、夕景と識別して正解（TruePositive ：以下、ＴＰともいう）した部分画像の個数を、夕景と識別した部分画像の個数で除算した値である。なお、夕景と識別した個数は、正解した部分画像の個数（ＴＰ）に、夕景と識別して不正解（FalsePositive：以下、ＦＰともいう）であった個数を加算した値である。すなわち、部分正答率は、ＴＰ＝０（ＦＰ＞０）のとき最小値[０]となり、ＦＰ＝０（ＴＰ＞０）のとき最大値[１]となる。

例えば、図１３に示す３枚のサンプル画像（サンプル１〜サンプル３）について考える。この場合、座標（１，１）の部分領域では、夕景と識別された部分画像の個数が２個であり、そのうち１個が正解（ＴＰ＝１及びＦＰ＝１）なので、この場合の座標（1，１）の部分領域における部分正答率は値[１／２]となる。また、座標（２，１）及び座標（３，１）では、夕景と識別された部分画像が２個であり、共に正解（ＴＰ＝２及びＦＰ＝０）なので、この場合の座標（２，１）の部分領域における部分正答率は値[１]となる。本実施形態では、各部分画像の正答率を求める際、存在確率と同様に、構図の異なるｎ枚（例えば数千枚）のサンプル画像を用いているので、部分領域毎の傾向をより正確に求めることができ、部分正答率の精度を高めることができる。

図１４Ｂ、図１５Ｂ、図１６Ｂは、それぞれ複数枚のサンプル画像を用いて夕景、花、紅葉の各シーンの各部分領域毎に算出した部分正答率の一例を示したものである。これらから判るように、部分正答率の高さの順位の傾向は、存在確率の高さの順位の傾向とは異なる。これは、各シーン間における存在確率の高さの傾向と、それらのシーンの特徴とによるものである。例えば、或るシーンと他のシーンとにおいて、存在確率の高い部分領域が同じであり、且つ、その両シーンの特徴が似ている場合、正確な識別を行うことが困難な場合がある。具体的には、図１４Ａ、図１６Ａに示すように、座標（５，４）の部分領域は、夕景のシーン、紅葉のシーンで共に存在確率が高い。つまり、座標（５，４）の部分画像には、夕景のシーンの特徴、紅葉のシーンの特徴が共に表れやすい。ところが、紅葉のシーンと夕景のシーンは、共に赤みが強いという特徴を有している。このため、例えば夕景部分サブ識別器７１で識別を行う場合、例えば座標（５，４）の部分領域が紅葉のシーンであっても、夕景のシーンであると誤識別する可能性が高くなる。紅葉部分サブ識別器７３で識別を行う場合も同様に、例えば座標（５，４）の部分領域が夕景のシーンであっても、紅葉のシーンであると誤識別する可能性が高くなる。これにより、夕景のシーンおよび紅葉のシーンにおいて座標（５，４）の部分領域では、他の部分領域と比べて、存在確率は高いが、部分正答率は低くなっている。

このように、部分正答率の高さの順位は、存在確率の高さの順位とは異なる。つまり、画像全体領域内において、相対的に、存在確率が高くても、部分正答率の低い部分領域があり、逆に存在確率が低くても、部分正答率の高い部分領域があることになる。

＜部分画像の識別順序について＞
各部分サブ識別器の各判断部は、Ｎ個の部分画像のうちの一部である、Ｍ個の部分画像のみの評価結果から、識別対象画像が特定のシーンに属するか否かを判断する。よって、Ｍ個の部分画像は、評価を効率的に行うことができるものであることが望ましい。例えば、花をアップで撮影した画像では、前述したように画像全体における中央部分に花のシーンの特徴が表れ、周辺部分に風景のシーンに近い特徴が表れることが多い。この場合に、画像の周辺から（例えば１０個の）部分画像を選択すると、識別対象画像のシーンが花のシーンであっても、花のシーンと判断される可能性が低くなる。また、同じ位置に同じような特徴の出やすいシーンが複数ある場合において、その位置の部分画像を選択して特定のシーンに属するか否かを評価すると、正しい評価結果の得られる可能性が低くなる。これにより、識別対象画像のシーンが正しく判断される可能性は低くなる。そこで、評価の対象となるＭ個の部分領域は、部分領域に特定のシーンの特徴が表れる確率である存在確率と、部分評価部による部分画像毎の評価結果が正しい確率である部分正答率と、の少なくとも一方に基づいて選ぶことが好ましい。例えば存在確率の高い部分領域から順に評価を行うと、識別対象画像において、そのシーンの特徴の表れる確率の高い位置（座標）から評価を行うことができる。つまり、特定のシーンの特長が表れる確率が低い部分領域は、評価の対象から外れる可能性が高い。また、部分正答率の高い部分領域から順に評価を行うと、部分評価部によって正しい評価結果が得られる可能性の高い部分領域から、順に評価を行うことができる。つまり、評価を誤りやすい部分領域は、評価の対象から外れる可能性が高い。よって、これらの場合、選択方法を定めずに（無作為に）Ｍ個の部分領域を選択する場合に比べて、少ない評価個数で、識別対象画像の属するシーンを正しく判断することが可能となる。なお、本実施形態では、存在確率と、正答率とが加味される。例えば、各部分評価部では、存在確率と正答率との乗算値の高い部分領域に対応する部分画像から順に、評価及び識別を行う。言い換えれば、各部分サブ識別器において、対応する特定のシーンの特徴が表れる確率が高く、且つ、その特定のシーンであると識別した識別結果が正しい確率の高い、部分領域に対応する部分画像から順に、評価と識別を行う。これによって、より適切な部分画像を対象にでき、各特定のシーンに対する識別をさらに効率化させることができる。

図１４Ｃは、夕景のシーンでの各部分領域毎の存在確率（図１４Ａ）と部分正答率（図１４Ｂ）を乗算して得られた乗算値を示すデータ（以下、乗算値情報ともいう）であり、図１４Ｄは、各部分領域に対する乗算値の順位を示すデータ（以下、乗算値順位情報ともいう）である。また、図１５Ｃは、花のシーンの存在確率（図１５Ａ）と部分正答率（図１５Ｂ）を部分領域毎に乗算した乗算値情報であり、図１５Ｄは、その乗算値順位情報である。また、図１６Ｃは、紅葉のシーンの存在確率（図１６Ａ）と部分正答率（図１６Ｂ）を乗算した乗算値情報であり、図１６Ｄは、その乗算値順位情報である。これらの各特定のシーンに対する乗算値情報及び乗算値順位情報の何れか一方は、選択情報としてメモリ３７の選択情報記憶部３７ｋに記憶されている。そして、選択情報は、各座標を示す値と対応付けられたテーブルデータとして選択情報記憶部３７ｋに記憶されている。なお、図１４Ｄ、図１５Ｄ、図１６Ｄでは、存在確率と部分正答率の乗算値の高い部分領域の分布を判りやすくするため、それぞれ乗算値の高い上位１０個（１位〜１０位）を濃い灰色で塗り潰し、次の１０個（１１位〜２０位）を薄い灰色で塗り潰している。

各部分サブ識別器の判断部で、識別対象画像が特定のシーンに属するか否かの判断を行う際には、この乗算値の高い上位側から選ばれた評価個数（Ｍ個）の部分画像についての評価結果が用いられる。例えば、各部分評価部において、乗算値の高い順の部分画像から順に評価が行われる。そして、予め定められた評価個数までの評価結果を用いて、各判断部によって、識別対象画像が特定のシーンに属するか否か（つまり、特定のシーンであることを示す評価結果が得られた部分画像の個数が、肯定閾値に達したか否か）が判断される。

例えば、夕景部分サブ識別器７１にて識別を行う場合には、夕景のシーンの選択情報（図１４Ｃに示す乗算値情報及び図１４Ｄに示す乗算値順位情報の何れか一方）に基づいて、夕景のシーンにおける乗算値の最も高い座標（１，３）の部分画像が最初に選択される。そして、座標（１，３）の部分画像の識別処理後には、２番目に乗算値の高い座標（２，４）の部分画像が選択される。以下、同様に乗算値の高い順に部分画像が選択される。そして、例えば評価個数が１０個の場合、最後（１０番目）には、座標（５，４）の部分画像が選択される。

また、花識別器７２にて識別を行う場合には、花のシーンの選択情報（図１５Ｃ及び図１５Ｄの何れか一方）に基づいて、花のシーンに対する存在確率と部分正答率との乗算値の高い部分領域に対応する部分画像から順に選択される。また、紅葉識別器７３にて識別を行う場合には、紅葉のシーンの選択情報（図１６Ｃ及び図１６Ｄの何れか一方）に基づいて、紅葉のシーンに対する存在確率と部分正答率との乗算値の高い部分領域に対応する部分画像から順に選択される。

＜部分画像の評価個数の選定について＞
次に、図１７を用いて各シーンにおける部分画像の評価個数の選定方法の一例について説明する。なお、図１７に示すフローチャートは、予め複数のサンプル画像を用いることにより、各部分サブ識別器毎に行われるものである。また、このフローチャートは、例えば複合機１のメインコントローラ３１のＣＰＵ３６及びメモリ３７の機能によって実行される。例えばこのフローチャートを実行するプログラムは、メモリ３７の、プログラム記憶部３７ａに記憶されており、各種の演算はＣＰＵ３６によって行われる。また、肯定閾値は、例えば制御用パラメータ３７ｂに記憶され、評価個数は、例えば各検出数カウンタ部に設定される。

図１７に示すように、まず、サンプル画像における評価順序を決定する（Ｓ２０）。これは、ＣＰＵ３６が、選択情報記憶部３７ｋに記憶された選択情報を読み込むことでなされる。本実施形態の場合、前述したように選択情報記憶部３７ｋには、選択情報として、存在確率と部分正答率を乗算した乗算値情報及び乗算値の順位を示す乗算値順位情報の何れか一方が記憶される。従って、選択情報記憶部３７ｋから読み出される選択情報に基づいて、存在確率と部分正答率の乗算値の高い部分画像の順に評価が行われる。

評価順序を決定したならば、評価個数を初期化し（Ｓ２１）、サンプル画像の６４個の分領域のうち評価を行う部分領域の評価個数を仮決めする。この仮決めした評価個数（仮評価個数ともいう）は、Ｍ´個に相当する。仮評価個数を０とした場合、部分評価部による識別は行われないことになるので、説明の便宜上、仮評価個数が１０個である場合から説明する。この場合、サンプル画像を分割して得られる６４個の部分画像のうち存在確率と部分正答率の高い順に１０個の部分画像が評価の対象となる。

続いて、肯定閾値を初期化（例えば値[０]）して（Ｓ２２）、複数のサンプル画像の部分画像の評価結果から、設定された肯定閾値における、正答率と再現率を算出する。そして、算出された正答率と再現率を用いて、前述した（１０）式よりＦ値を算出する（Ｓ２３）。Ｆ値を算出したならば、肯定閾値を例えば１個インクリメントし（Ｓ２４）、その肯定閾値が仮評価個数と等しいか否か判断する（Ｓ２５）。この場合、インクリメントした肯定閾値（現在の肯定閾値とする）が１０個であるか否かが判断される。現在の肯定閾値が仮評価個数と等しくない場合（Ｓ２５でＮＯ）には、その肯定閾値について、Ｆ値を算出するステップＳ２３を再度実行する。一方、現在の肯定閾値が仮評価個数と等しい場合（Ｓ２５でＹＥＳ）、その仮評価個数（この場合１０個）におけるＦ値の最大値を算出し、例えばメモリ３７のパラメータ記憶部３７ｂに、制御用パラメータとして記憶する（Ｓ２６）。例えば、評価結果が図１０の場合（評価個数が１０個）には、肯定閾値が値[６]のときのＦ値の値［０．８２］が、最大値として選ばれる。パラメータ記憶部３７ｂには、このときの仮評価個数（例えば１０個）の値とＦ値の最大値が対応付けられて記憶される。Ｆ値の最大値を記憶したならば、仮評価個数を所定数だけインクリメントする（Ｓ２７）。本実施形態において、所定数は１０個に定められている。このため、それまでの仮評価個数（Ｍ´個）が１０個であった場合、次の仮評価個数は２０個となる。

インクリメント後の仮評価個数が、部分画像の総数（６４個）以下の場合（Ｓ２８でＮＯ）、ステップＳ２２に移行して上述した処理を再度実行する。一方、インクリメント後の仮評価個数が、部分画像の総数より大の場合（Ｓ２８でＹＥＳ）、ＣＰＵ３６は、制御用パラメータ３７ｂに保存された、各仮評価個数に対して求められたＦ値の最大値を参照する。そして、得られたＦ値の最大値のうち値が最も大きくなるときの仮評価個数を、そのシーンの評価個数に定める（Ｓ２９）。以上のフローチャートによって求められた各仮評価個数に対するＦ値の最大値の一例を図１８、図１９に示す。

図１８は、夕景のシーンにおける、各仮評価個数に対するＦ値の最大値の変化の一例を示す図であり、図１９は、花のシーンにおける、各仮評価個数に対するＦ値の最大値の変化の一例を示す図である。図１８、図１９の横軸は仮評価個数（Ｍ´個）であり、縦軸は各仮評価個数におけるＦ値の最大値である。夕景のシーンでは、図１８に示すように、Ｆ値の最大値は、仮評価個数が１０個のときに最も大きい値［０．８３５］となっている。また、花のシーンでは、図１９に示すように、Ｆ値の最大値は、仮評価個数が２０個のときに最も大きい値［０．７４５］となっている。

ここで、例えば図１８において、仮評価個数が１０個の場合のＦ値の最大値と、仮評価個数が２０個の場合のＦ値の最大値を比べると、仮評価個数が２０個の場合のＦ値の最大値の方が小さい。つまり、仮評価個数を増やすことによってＦ値の最大値が小さくなっている。これは、仮評価個数を増やすことによって、誤った判断が増える場合があることによる。例えば、或る肯定閾値が設定されている場合において、仮評価個数１０個でその肯定閾値に達する場合と、仮評価個数１０個ではその肯定閾値に達せずに、仮評価個数が２０個ではその肯定閾値に達する場合がある。しかし、後者の場合に、肯定閾値に達することによって、識別対象画像が特定のシーンに属するとした判断が誤っていることがある。このような場合が多いと、その肯定閾値において、Ｆ値の値が評価個数１０個の場合より低くなることがある。

このようにして、各仮評価個数で得られた、Ｆ値の最大値のうち最も値の大きいときの仮評価個数（Ｍ´個）を、そのシーンの評価個数（Ｍ個）として定める。すなわち、夕景のシーンでは、評価個数は１０個に定め、花のシーンでは、評価個数は２０個に定めている。また、図示を省略するが、紅葉のシーンも、同様にして評価個数を１０個に定めている。このように各シーンにおいて最適な評価個数は、それぞれ異なる。本実施形態では、上述した評価個数の選定を特定のシーン毎に行うことによって、各判断部による正答率と再現率に基づいて、評価個数を特定のシーン毎に定めている。これにより、特定のシーン毎の識別処理を効率的に行うことができる。なお、特定のシーン毎に最適な評価個数が異なるのは各シーンの構図の特徴や識別の困難性等によると考えられる。例えば、花のシーンにおいて、他のシーン（夕景のシーン、紅葉のシーン）よりも評価個数が多いのは、花のシーンでは、例えば花をアップで中央に撮影した画像や、一面に花が映っている花畑の画像など、色々な構図の画像があり、少ない評価個数ではシーンの識別が困難である（精度が低くなる）ためと考えられる。

以上説明したように、本実施形態では、サンプル画像の評価個数を仮決めした仮評価個数の範囲で、肯定閾値を複数設定することにより、閾値毎のＦ値を求め、仮評価個数でのＦ値の最大値を求める。そして、仮評価個数を変化させて同様にＦ値の最大値を求め、得られたＦ値の最大値のうちで最も値が大きいときの仮評価個数をそのシーンの評価個数に定める。このように、Ｆ値の最大値を、仮評価個数を変化させることにより、その仮評価個数毎に求めて、得られたＦ値の最大値のうちの最大の値が得られるときの仮評価個数を特定のシーンの評価個数と定めているので、特定のシーン毎についての評価個数を最適化することができる
また、定められた評価個数での正答率と再現率に基づいて、各シーンに対して肯定閾値がそれぞれ設定されている。この実施形態では、図２０に示すように、夕景のシーンについて値[６]が、花のシーンについて値[７]が、紅葉のシーンについて[６]が設定されている。この肯定閾値は、例えば、そのシーンに定められた評価個数でのＦ値の値が最大となるときの値（例えば図１０、図１１参照）、として、選ばれたものである。

夕景のシーンでは評価個数として値[１０]が定められるので、夕景判断部７１ｃは、６４個の部分画像のうち１０個のみの部分画像の評価結果を用いて、夕景検出数カウンタ７１ｂ（評価用カウンタ７１ｄ）の検出画像数が値[６]を超える場合に、その識別対象画像が夕景のシーンに属すると判断する。また、花のシーンでは評価個数として値[２０]が定められるので、花判断部７２ｃは、２０個のみの部分画像の評価結果を用いて、花検出数カウンタ７２ｂの検出画像数が値[７]を超える場合に、その識別対象画像が花のシーンに属すると判断する。すなわち、このように、特定のシーン毎に肯定閾値を設定しているので、それぞれのシーンに適した識別を行うことができる。

本実施形態の部分画像識別器３０Ｇでは、まず、夕景部分サブ識別器７１で識別が行われる。夕景部分サブ識別器７１の夕景用部分サポートベクターマシン７１ａは、選択情報に基づいて選択された部分画像の部分特徴量に基づいて識別関数値を取得する。すなわち部分画像の評価をする。夕景検出数カウンタ７１ｂの評価用カウンタ７１ｄは、夕景用部分サポートベクターマシン７１ａで取得される識別関数値が正となる識別結果を検出画像数としてカウントする。夕景判断部７１ｃは、評価用カウンタ７１ｄの検出画像数に応じて識別対象画像が夕景のシーンに属するか否かを識別する。この結果、識別対象画像が夕景のシーンに属することを判別できなかった場合、後段の花部分サブ識別器７２の花判断部７２ｃは、花用部分サポートベクターマシン７２ａと花検出数カウンタ７１ｂを用いて、各部分画像が花のシーンに属するか否かを識別する。さらに、この結果、識別対象画像が花のシーンに属することを判別できなかった場合、花判断部７２ｃの後段の紅葉部分サブ識別器７３の紅葉判断部７３ｃは、紅葉部分サポートベクターマシン７２ａと紅葉検出数カウンタ７１ｂを用いて、各部分画像が紅葉のシーンに属するか否かを識別する。

このように、部分画像識別器３０Ｇの各判断部は、或る部分評価部による評価結果を用いることによって、前記識別対象画像が或る特定のシーンに属すると識別できなかった場合、他の部分評価部による評価結果を用いることによって、前記識別対象画像が他の特定のシーンに属するか否かを識別している。このように、識別を部分サブ識別器毎に行うように構成したので、識別の確実性を高めることができる。

＜統合識別器３０Ｈについて＞
統合識別器３０Ｈは、前述したように、全体識別器３０Ｆと部分画像識別器３０Ｇのそれぞれでシーンが確定されなかった識別対象画像について、シーンを識別する。この実施形態における統合識別器３０Ｈは、各全体サブ識別器（各サポートベクターマシン）で求められた確率情報に基づいてシーンを識別する。具体的には、統合識別器３０Ｈは、メモリ３７の確率情報記憶部３７ｆに全体識別器３０Ｆによる全体識別処理で記憶された複数の確率情報の中から、正の値の確率情報を選択的に読み出す。そして、読み出した確率情報の中から最も高い値を示すものを特定し、対応するシーンをその識別対象画像のシーンとする。このような統合識別器３０Ｈを設けることにより、属するシーンについての特徴がそれほど表れていない識別対象画像であっても、妥当なシーンに識別できる。すなわち、識別性を高めることができる。

＜結果記憶部３７ｊについて＞
結果記憶部３７ｊは、識別処理部３０Ｉによる識別対象の識別結果を記憶する。例えば、全体識別器３０Ｆや部分画像識別器３０Ｇによる識別結果に基づき、肯定フラグ記憶部３７ｈに肯定フラグが記憶された場合には、その識別対象が肯定フラグに対応するシーンに属する旨を記憶する。仮に、識別対象画像について、風景のシーンに属する旨を示す肯定フラグが設定された場合には、風景のシーンに属する旨の結果情報を記憶する。同様に、識別対象画像について、夕景のシーンに属する旨を示す肯定フラグが設定されていた場合には、夕景のシーンに属する旨の結果情報を記憶する。なお、全てのシーンについて否定フラグが記憶された識別対象画像については、その他のシーンに属する旨を示す結果情報を記憶する。結果情報記憶部３７ｊに記憶された識別結果は、事後の処理で参照される。この複合機１では、画像補正部３０Ｃ（図３を参照。）にて参照されて画像補正に使用される。例えば、識別されたシーンに応じて、コントラストや明るさ、カラーバランスなどが調整される。

＜画像識別処理について＞
次に、画像識別処理について説明する。この画像識別処理の実行において、プリンタ側コントローラ３０は、顔識別部３０Ａ、及び、シーン識別部３０Ｂ（特徴量取得部３０Ｅ、全体識別器３０Ｆ、部分画像識別器３０Ｇ、統合識別器３０Ｈ、結果記憶部３７ｊ）として機能する。この場合において、メインコントローラ３１のＣＰＵ３６はメモリ３７に記憶されたコンピュータプログラムを実行する。従って、画像識別処理をメインコントローラ３１の処理として説明する。そして、メインコントローラ３１によって実行されるコンピュータプログラムは、画像識別処理を実現するためのコードを有する。

図２１に示すように、メインコントローラ３１は、対象画像データを読み込み、顔画像の有無を判断する（Ｓ３１）。顔画像の有無は種々の方法で判断できる。例えば、メインコントローラ３１は、肌色の標準色の領域の有無、及び、この領域内における目画像及び口画像の有無に基づいて、顔画像の有無を判断する。本実施形態では、一定面積以上（例えば、２０×２０画素以上）の顔画像を検出対象とする。顔画像があると判断した場合、メインコントローラ３１は、識別対象画像における顔画像の面積の割合を取得し、この割合が所定の閾値（例えば３０％とする。）を超えているかを判断する（Ｓ３２）。そして３０％を超えていた場合、メインコントローラ３１は、識別対象画像を人物のシーンに識別する（Ｓ３２でＹＥＳ）。また、３０％を超えていなかった場合、メインコントローラ３１は、この識別対象画像を記念写真のシーンに識別する（Ｓ３２でＮＯ）。これらの識別結果は、結果記憶部３７ｊに記憶される。

識別対象画像中に顔画像が無かった場合（Ｓ３１でＮＯ）、メインコントローラ３１は、特徴量取得処理を行う（Ｓ３３）。特徴量取得処理では、対象画像データに基づいて特徴量が取得される。すなわち、識別対象画像の全体的な特徴を示す全体特徴量と、識別対象画像の部分的な特徴を示す部分特徴量とを取得する。なお、各特徴量の取得については既に説明したので（Ｓ１１〜Ｓ１５，図６を参照。）、ここでは説明を省略する。そして、メインコントローラ３１は、取得した各特徴量を、メモリ３７の特徴量記憶部３７ｅにそれぞれ記憶する。

特徴量を取得したならば、メインコントローラ３１は、シーン識別処理を行う（Ｓ３４）。このシーン識別処理において、メインコントローラ３１は、まず全体識別器３０Ｆとして機能し、全体識別処理（Ｓ３４ａ）を行う。この全体識別処理では、全体特徴量に基づく識別が行われる。そして、全体識別処理で識別対象画像の識別ができたならば、メインコントローラ３１は、識別対象画像のシーンを、識別されたシーンに決定する（Ｓ３４ｂでＹＥＳ）。例えば、全体識別処理で肯定フラグが記憶されたシーンに決定する。そして、識別結果を結果記憶部３７ｊに記憶する。全体識別処理でシーンが決定しなかった場合、メインコントローラ３１は、部分画像識別器３０Ｇとして機能し、部分画像識別処理を行う（Ｓ３４ｃ）。この部分画像識別処理では、部分特徴量に基づく識別が行われる。そして、部分画像識別処理で識別対象画像の識別ができたならば、メインコントローラ３１は、識別対象画像のシーンを識別されたシーンに決定し（Ｓ３４ｃでＹＥＳ）、識別結果を結果記憶部３７ｊに記憶する。なお、部分画像識別処理の内容については後で説明する。部分画像識別器３０Ｇでもシーンが決定しなかった場合、メインコントローラ３１は、統合識別器３０Ｈとして機能し、統合識別処理を行う（Ｓ３４ｅ）。この統合識別処理でメインコントローラ３１は、前述したように確率情報記憶部３７ｆから、全体識別処理で算出された確率情報のうち正の値のものを読み出し、最も値の大きい確率情報に対応するシーンに決定する。そして、統合識別処理で識別対象画像の識別ができたならば、メインコントローラ３１は、識別対象画像のシーンを、識別されたシーンに決定する（Ｓ３４ｆでＹＥＳ）。一方、統合識別処理でも識別対象画像の識別ができなかった場合（全体識別処理で算出された確率情報に正の値が無い場合）、および、全てのシーンについて否定フラグが記憶された場合には、その識別対象画像はその他のシーンに識別される（Ｓ３４ｆでＮＯ）。なお、統合識別器３０Ｈとしてのメインコントローラ３１は、統合処理において、まず、全てのシーンについて否定フラグが記憶されているかを判断する。そして、全てのシーンについて否定フラグが記憶されていると判断した場合には、この判断に基づいてその他のシーンに識別する。この場合、否定フラグの確認だけで処理ができるので、処理の高速化が図れる。

＜部分画像識別処理について＞
次に、部分画像識別処理について説明する。前述したように、この部分画像識別処理は、全体識別処理で識別対象画像の識別ができなかった場合に行なわれるものである。従って、部分画像識別処理が行われる段階で、肯定フラグ記憶部３７ｈには肯定フラグが記憶されていないことになる。また、全体識別処理で識別対象画像が属さないと判断されたシーンには、否定フラグ記憶部３７ｉの対応する領域に否定フラグが記憶されている。また、選択情報記憶部３７ｋには、複数のサンプル画像を用いて求められた存在確率と部分正答率を部分領域毎に乗算した乗算値を示す乗算値情報（図１４Ｃ、図１５Ｃ、図１６Ｃを参照）及び複数の部分領域に対する乗算値の順位を示す乗算値順位情報（図１４Ｄ、図１５Ｄ、図１６Ｄを参照）の何れか一方が、特定のシーン毎に予め記憶されている。

図２２に示すように、メインコントローラ３１は、まず、識別を行う部分サブ識別器を選択する（Ｓ４１）。本実施形態の部分画像識別器３０Ｇでは、図５に示すように、夕景部分サブ識別器７１、花部分サブ識別器７２、紅葉部分サブ識別器７３の順に優先度が定められている。従って、初回の選択処理では、最も優先度の高い夕景部分サブ識別器７１が選択される。そして、夕景部分サブ識別器７１による識別が終了すると、２番目に優先度の高い花部分サブ識別器７２が選択され、花部分サブ識別器７２の次には最も優先度の低い紅葉部分サブ識別器７３が選択される。

部分サブ識別器を選択したならば、メインコントローラ３１は、選択した部分サブ識別器で識別するシーンが、識別処理の対象となるシーンであるかを判断する（Ｓ４２）。この判断は、全体識別器３０Ｆによる全体識別処理で否定フラグ記憶部３７ｉに記憶された否定フラグに基づいて行われる。これは、全体識別器３０Ｆで肯定フラグが設定されると、全体識別処理でシーンが確定し、部分画像処理は行われないのと、後述するように、部分画像処理で肯定フラグが記憶されると、シーンが確定し、識別処理が終了するからである。識別処理の対象でないシーン、すなわち全体識別処理で否定フラグが設定されたシーン、である場合には、識別処理がスキップされる（Ｓ４２でＮＯ）。このため、無駄な識別処理を行わなくて済み、処理の高速化が図れる。

一方、ステップＳ４２で処理の対象であると判断された場合（Ｓ４２でＹＥＳ）、メインコントローラ３１は、選択情報記憶部３７ｋから、対応する特定のシーンの選択情報を読み出す（Ｓ４３）。ここで、選択情報記憶部３７ｋから取得した選択情報が乗算値情報の場合、メインコントローラ３１は、例えば部分画像の各座標を示す値を各乗算値の値と対応付けたまま、乗算値の高い順に並び替え（ソート）を行う。一方、選択情報記憶部３７ｋに乗算値順位情報が記憶されている場合には、順位情報の高い順に並び替えを行う。次に、メインコントローラ３１は、部分画像の選択を行う（Ｓ４４）。選択情報が乗算値情報の場合、メインコントローラ３１は、乗算値が最も高い座標に対応する部分画像から順に選択を行う。また、選択情報が乗算値順位情報の場合、順位が最も高い座標に対応する部分画像から順に選択を行う。これにより、ステップＳ４４では、識別処理が行われていない部分画像のうち、存在確率と部分正答率との乗算値が最も高い部分領域に対応する部分画像が選択されることになる。

そして、メインコントローラ３１は、選択した部分画像の部分画像データに対応した部分特徴量をメモリ３７の特徴量記憶部３７ｅから読み出す。この部分特徴量に基づいて、部分サポートベクターマシンによる演算が行われる（Ｓ４５）。言い換えれば、部分特徴量に基づき、部分画像に対する確率情報の取得が行われる。なお、本実施形態では、部分特徴量のみでなく全体特徴量も特徴量記憶部３７ｅから読み出し、全体特徴量を加味して演算を行うようにしている。このとき、メインコントローラ３１は、処理対象のシーンに対応する部分評価部として機能し、部分色平均、及び、部分色分散などに基づく演算により、確率情報としての識別関数値を取得する。そして、メインコントローラ３１は、取得した識別関数値によって部分画像が特定のシーンに属するか否かの識別を行う（Ｓ４６）。具体的には、取得した或る部分画像に対する識別関数値が正の値である場合には、その部分画像を特定のシーンに属すると識別する(Ｓ４６でＹＥＳ)。そして、対応する評価用カウンタのカウント値（検出画像数）をインクリメント（＋１）する（Ｓ４７）。また、識別関数値が正の値でなかった場合には、その部分画像が特定のシーンに属さないと識別し、評価用カウンタのカウント値はそのままとする（Ｓ４６でＮＯ）。このように、識別関数値を取得することにより、部分画像が特定のシーンに属するか否かの識別を、識別関数値が正であるか否かに応じて行うことができる。

部分画像に対する確率情報の取得及びカウンタの処理を行ったならば、メインコントローラ３１は、各判断部として機能し、検出画像数が肯定閾値より大であるかを判断する（Ｓ４８）。例えば、メモリ３７の制御用パラメータ３７ｂに記憶される肯定閾値が図２０に示す値である場合、夕景部分サブ識別器７１の夕景判断部７１ｃは検出画像数が値[６]を超えると、識別対象画像が夕景のシーンであると判断し、夕景のシーンに対応する肯定フラグを肯定フラグ記憶部３７ｈに記憶する（Ｓ４９）。また、花部分サブ識別器７２の花判断部７２ｃは検出画像数が値[７]を超える場合に、識別対象画像が花のシーンであると判断し、花のシーンに対応する肯定フラグを肯定フラグ記憶部３７ｈに記憶する。肯定フラグを記憶すると、残りの識別処理は行わず識別の処理を終了する。

検出画像数が肯定閾値を超えない場合(Ｓ４８でＮＯ)には、メインコントローラ３１は、残数用カウンタの残り画像数をデクリメント（−１）する（Ｓ５０）。そして、検出画像数と残り画像数との加算値が、肯定閾値よりも小であるかを判断する（Ｓ５１）。前述したように、この加算値が肯定閾値よりも小の場合、各評価個数に対する残り画像が全て特定のシーンに属すると識別されたとしても、最終的な検出画像数は、その特定のシーンに設定された肯定閾値には達しないことになる。従ってこの加算値が肯定閾値よりも小の場合、評価対象となる部分画像の最後の識別を行うよりも前に、識別対象画像が特定のシーンには属さないと判断できる。そこで、メインコントローラ３１は、検出画像数と残り画像数との加算値が、肯定閾値よりも小の場合（Ｓ５１でＹＥＳ）、識別対象画像が特定のシーンには属さないと判断して、その特定のシーンに対する部分サブ識別器としての識別処理を終了し、後述するステップＳ５３にて次の部分サブ識別器の有無の判断が行われる。

検出画像数と残り画像数との加算値が、肯定閾値よりも小でない場合（Ｓ５１でＮＯ）には、評価を行った部分画像が最後のものであるかを判断する（Ｓ５２）。つまり、残数用カウンタのカウント値が値[０]であるかを判断する。例えば夕景部分サブ識別器７１の場合、評価個数として設定された１０個の部分画像の評価が終わったかが判断される。ここで、まだ最後でないと判断した場合（Ｓ５２でＮＯ）には、ステップＳ４４に移行して前述した処理を繰り返し行う。一方、ステップＳ５２で最後であると判断された場合（Ｓ５２でＹＥＳ）、或いは、ステップＳ５１で、検出画像数と残り画像数の加算値が肯定閾値より小の場合（Ｓ５１でＹＥＳ）、或いは、ステップＳ４２で処理対象と判断されなかった場合（Ｓ４２でＮＯ）には、次の部分サブ識別器の有無を判断する（Ｓ５３）。ここでは、メインコントローラ３１は、最も優先度の低い紅葉部分サブ識別器７３まで処理が終わったかを判断する。そして、紅葉部分サブ識別器７３まで処理が終わっている場合には、次の識別器は無いと判断し（Ｓ５３でＮＯ）、一連の部分識別処理を終了する。一方、紅葉識別器７３まで処理が終わっていないと判断した場合（Ｓ５３でＹＥＳ）、次に優先度の高い部分サブ識別器を選択し（Ｓ４１）、前述した処理を繰り返し行う。

＜まとめ＞
本実施形態における部分画像識別器３０Ｇの各判断部は、識別対象画像から得られる６４個の部分画像のうちの所定の評価個数（例えば１０個）のみについての部分評価部の評価結果を用いて、識別対象画像が特定のシーンに属するか否かの判断を行っている。これによりシーン識別処理の速度を向上させることができる。

また、各判断部による識別対象画像の識別の精度を示す尺度である正答率と再現率とに基づいて、評価個数を定めている。これにより、特定のシーンに対して最適な評価個数を定めることができる。

また、各部分評価部で評価が行われる部分画像は、存在確率と部分正答率とを前記部分領域毎に乗算した乗算値の高い前記部分領域から順に選ばれている。これにより、対象となるシーンの特徴が表れ易く、かつ、正確な評価が得られる部分領域から順に評価されるので、評価を効率的に行うことができる。

なお、前述した実施形態では、部分画像の識別に関し、選択情報記憶部３７ｋに記憶された選択情報に基づき、存在確率と部分正答率の乗算値が高い部分領域から順に、部分画像の識別を行っていた。このように構成すると、複数の部分領域の中から、対象となるシーンの特徴が表れ易く、かつ、正確な評価が得られる部分領域を、優先順位をつけて効率よく選択できるという利点を有する。しかし、部分領域の選択方法は、この例に限定されるものではない。例えば、存在確率または部分正答率の何れか一方の高い順から部分領域を選択してもよい。この場合も、無作為に部分画像を選択して評価を行うよりも、効率よく評価を行うことが可能になる。

また、部分画像識別器３０Ｇの各判断部は、各検出数カウント部で得られる検出画像数が肯定閾値を越えた場合に、識別対象画像が特定のシーンに属すると判断しているので、肯定閾値の設定によって識別精度を調整することができる。さらに、各判断部は、検出画像数と残り画像数の加算値が肯定閾値に達しない場合に、識別対象画像が特定のシーンに属さないと判断している。これにより、評価個数の最後まで評価を行うことなく、識別処理を打ち切ることができるので、さらに識別処理の高速化を図ることができる。
また、部分画像識別器３０Ｇは、識別対象となる特定のシーンの種類毎に部分評価部（部分サポートベクターマシン及び検出数カウンタ）を有している。これにより、部分評価部毎に特性を最適化でき、部分画像識別器３０Ｇにおける識別性を向上させることができる。

さらに、複数の特定のシーンに対して肯定閾値がそれぞれ設定されている。これにより、各部分サブ識別器において特定のシーンにそれぞれ適した識別を行うことができる。

また、評価対象の特定のシーン毎に、評価個数を定めている。これにより、特定のシーンの識別を効率的に行うことができる。

また、部分画像識別器３０Ｇの各判断部は、前段の部分サブ識別器の部分評価部（部分サポートベクターマシン，検出数カウンタ）による評価結果を用いることによって、識別対象画像が或る特定のシーンに属すると判断できなかった場合、後段の部分評価部による評価結果を用いることによって、識別対象画像が他の特定のシーンに属するか否かを判断している。これにより、部分サブ識別部毎に評価を行えるので、評価の確実性を高めることができる。

また、各部分サポートベクターマシンの演算において、部分特徴量に加え、全体特徴量を加味している。このように、部分特徴量に全体特徴量を加味して演算を行うことで、識別精度をより高めることができる。

また、サンプル画像を用いて仮評価個数を決め、その仮評価個数以下の範囲で肯定閾値を複数設定し、その肯定閾値毎に正答率と再現率で規定されるＦ値を求め、さらにその仮評価個数におけるＦ値の最大値を求めている。そして、仮評価個数を変化させることで得られた各Ｆ値の最大値のうち、値が最も大きいときの仮評価個数を対応するシーンの評価個数としている。これにより、特定のシーン毎に最適な評価個数を定めることができる。

＝＝＝その他の実施形態＝＝＝
前述した実施形態において、識別対称は画像データに基づく画像であり、識別装置は複合機１である。ここで、画像を識別対象とする識別装置は、複合機１に限定されるものではない。例えば、デジタルスチルカメラＤＣ、スキャナ、画像処理用のコンピュータプログラム（例えば、レタッチソフトウェア）を実行可能なコンピュータであってもよい。また、画像データに基づく画像を表示可能な画像表示装置、画像データを記憶する画像データ記憶装置であってもよい。

また、前述した実施形態は、識別対象画像のシーンを識別する複合機１について記載されているが、その中には、シーン識別装置、シーン識別方法、識別したシーンを利用する方法（例えば、シーンに基づく画像補正方法、印刷方法及び液体吐出方法）、コンピュータプログラム、コンピュータプログラムやコードを記憶した記憶媒体等の開示も含まれる。

また、識別器に関し、前述した実施形態では、サポートベクターマシンを例示したが、識別対象画像のシーンを識別できるものであれば、サポートベクターマシンに限られない。例えば、識別器として、ニューラルネットワークを用いてもよいし、アダブーストを用いてもよい。

複合機及びデジタルスチルカメラを説明する図である。 図２Ａは、複合機が有する印刷機構の構成を説明する図である。図２Ｂは、メモリが有する記憶部を説明する図である。 プリンタ側コントローラによって実現される機能を説明するブロック図である。 シーン識別部の概略構成を説明する図である。 シーン識別部の具体的な構成を説明する図である。 部分特徴量の取得を説明するフローチャートである。 部分画像を説明するための図である。 線形サポートベクターマシンを説明するための図である。 非線形サポートベクターマシンを説明するための図である。 夕景部分サブ識別器における正答率、再現率の特性を示す図である。 花部分サブ識別器における正答率、再現率の特性を示す図である。 実際のシーンと識別結果の一例を示した図である。 存在確率、部分正答率の算出方法を説明するための図である。 図１４Ａは、夕景のシーンの存在確率を示す図である。図１４Ｂは、夕景のシーンの部分正答率を示す図である。図１４Ｃは、夕景のシーンの乗算値情報を示す図である。図１４Ｄは、夕景のシーンの乗算値順位情報を示す図である。 図１５Ａは、花のシーンの存在確率を示す図である。図１５Ｂは、花のシーンの部分正答率を示す図である。図１５Ｃは、花のシーンの乗算値情報を示す図である。図１５Ｄは、花のシーンの乗算値順位情報を示す図である。 図１６Ａは、紅葉のシーンの存在確率を示す図である。図１６Ｂは、紅葉のシーンの部分正答率を示す図である。図１６Ｃは、紅葉のシーンの乗算値情報を示す図である。図１６Ｄは、紅葉のシーンの乗算値順位情報を示す図である。 部分画像の評価個数の選定方法を説明するためのフローチャートである。 夕景のシーンにおける、各評価個数に対するＦ値の最大値の変化を示す図である。 花のシーンにおける、各評価個数に対するＦ値の最大値の変化を示す図である。 肯定閾値を説明するための図である。 画像識別処理を説明するためのフローチャートである。 部分画像識別処理を説明するためのフローチャートである。

符号の説明

１ 複合機，１０ 画像読み取り部，２０ 画像印刷部，
３０ プリンタ側コントローラ，３０Ａ 顔識別部，３０Ｂ シーン識別部，
３０Ｃ 画像補正部，３０Ｄ 機構制御部，３０Ｅ 特徴量取得部，
３０Ｆ 全体識別器，３０Ｇ 部分画像識別器，３０Ｈ 統合識別器，
３０Ｉ 識別処理部，３１ メインコントローラ，３２ 制御ユニット，
３３ 駆動信号生成部，３４ インタフェース，３５ メモリ用スロット，
３６ ＣＰＵ，３７ メモリ，３７ａ プログラム記憶部，
３７ｂ パラメータ記憶部，３７ｃ 画像記憶部，３７ｄ 付属情報記憶部，
３７ｅ 特徴量記憶部，３７ｆ 確率情報記憶部，３７ｇ カウンタ部，
３７ｈ 肯定フラグ記憶部，３７ｉ 否定フラグ記憶部，３７ｊ 結果記憶部，
３７ｋ 選択情報記憶部，４０ 印刷機構，４１ モータ，４２ センサ，
４３ ヘッド制御部，４４ ヘッド，５１ 部分特徴量取得部，
５２ 全体特徴量取得部，６１ 風景識別器，６１ａ 風景用サポートベクターマシン，
６１ｂ 風景用判断部，６２ 夕景識別器，
６２ａ 夕景用サポートベクターマシン，６２ｂ 夕景用判断部，
６３ 夜景識別器，６３ａ 夜景用サポートベクターマシン，
６３ｂ 夜景用判断部，６４ 花識別器，６４ａ 花用サポートベクターマシン，
６４ｂ 花用判断部，６５ 紅葉識別器，
６５ａ 紅葉用サポートベクターマシン，６５ｂ 紅葉用判断部，
７１ 夕景部分サブ識別器，７１ａ 夕景用部分サポートベクターマシン，
７１ｂ 夕景検出数カウンタ，７１ｃ 夕景判断部，７１ｄ 評価用カウンタ，
７１ｅ 残数用カウンタ，７２ 花部分サブ識別器，
７２ａ 花用部分サポートベクターマシン，７２ｂ 花検出数カウンタ，
７２ｃ 花判断部，７３ 紅葉部分サブ識別器，
７３ａ 紅葉用部分サポートベクターマシン，７３ｂ 紅葉検出数カウンタ，
７３ｃ 紅葉判断部，ＤＣ デジタルスチルカメラ，
ＭＣ メモリカード，ＢＵ バス

Claims (13)

1. （Ａ）識別対象画像の一部を構成する部分画像の特徴を示す部分特徴量を取得する特徴量取得部と、
   （Ｂ）前記特徴量取得部によって取得された前記部分特徴量に基づいて前記部分画像が特定のシーンに属するか否かの評価を行う部分評価部と、
   （Ｃ）画像全体領域を分割して得られたＮ個の部分領域のうちの、予め定められたＭ個（Ｍ＜Ｎ）の前記部分領域に各々対応する前記部分画像のみについての前記部分評価部による評価結果を用いることによって、前記識別対象画像が前記特定のシーンに属するか否かを判断する判断部と、
   を有するシーン識別装置。
2. 請求項１に記載のシーン識別装置であって、
   前記Ｍの値は、
   前記識別対象画像が前記特定のシーンに属すると前記判断部によって判断された場合に、その判断が正しい確率である正答率と、
   前記特定のシーンに属している前記識別対象画像が、前記判断部によって前記特定のシーンに属すると判断される確率である再現率と、
   に基づいて定められる、シーン識別装置。
3. 請求項１または２に記載のシーン識別装置であって、
   Ｍ個の前記部分領域は、
   前記部分領域に前記特定のシーンの特徴が表れる確率である存在確率と、
   前記部分画像が前記特定のシーンに属することを示す評価結果が前記部分評価部によって得られた場合に、その評価結果が正しい確率である部分正答率と、
   の少なくとも一方に基づいてＮ個の前記部分領域から選ばれたものである、シーン識別装置。
4. 請求項１から３の何れかに記載のシーン識別装置であって、
   前記判断部は、
   前記特定のシーンに属することを示す評価結果が得られた前記部分画像の個数が所定の閾値を超えた場合に、
   前記識別対象画像が前記特定のシーンに属すると判断する、シーン識別装置。
5. 請求項４に記載のシーン識別装置であって、
   前記判断部は、
   前記特定のシーンに属することを示す評価結果が得られた前記部分画像の個数と、Ｍ個の前記部分画像のうち前記部分評価部によって評価が行われていない前記部分画像の個数と、の加算値が前記所定の閾値に達しない場合、前記識別対象画像が前記特定のシーンに属さないと判断する、シーン識別装置。
6. 請求項１から５の何れかに記載のシーン識別装置であって、
   識別対象となる前記特定のシーンの種類毎に前記部分評価部を有する、シーン識別装置。
7. 請求項６に記載のシーン識別装置であって、
   前記Ｍの値は、
   前記特定のシーンに対する前記正答率と前記再現率に基づいて、前記特定のシーンの種類毎に定められている、シーン識別装置。
8. 請求項６または７に記載のシーン識別装置であって、
   前記判断部は、
   前記特定のシーンに属することを示す評価結果が得られた前記部分画像の個数が所定の閾値を超えた場合に、
   前記識別対象画像が前記特定のシーンに属すると判断し、
   前記所定の閾値は、
   複数の前記特定のシーンに対してそれぞれ設定されている、シーン識別装置。
9. 請求項６から８の何れかに記載のシーン識別装置であって、
   前記判断部は、
   或る部分評価部による評価結果を用いることによって、前記識別対象画像が或る特定のシーンに属すると判断できなかった場合、他の部分評価部による評価結果を用いることによって、前記識別対象画像が他の特定のシーンに属するか否かを判断する、シーン識別装置。
10. 請求項１から９の何れかに記載のシーン識別装置であって、
    前記特徴量取得部は、
    前記識別対象画像の特徴を示す全体特徴量をさらに取得し、
    前記部分評価部は、
    前記部分特徴量と前記全体特徴量とに基づいて、前記部分画像が前記特定のシーンに属するか否かを評価する、シーン識別装置。
11. （Ａ）識別対象画像の一部を構成する部分画像の特徴を示す部分特徴量を取得するステップと、
    （Ｂ）前記部分特徴量に基づいて前記部分画像が特定のシーンに属するか否かの評価を行うステップと、
    （Ｃ）画像全体領域を分割して得られたＮ個の部分領域のうちの、予め定められたＭ個（Ｍ＜Ｎ）の前記部分領域に各々対応する前記部分画像のみについての評価結果を用いることによって、前記識別対象画像が前記特定のシーンに属するか否かを判断するステップと、
    を有するシーン識別方法。
12. 請求項１１に記載のシーン識別方法であって、
    前記識別対象画像が前記特定のシーンに属すると判断された場合に、その判断が正しい確率である正答率と、
    前記特定のシーンに属している前記識別対象画像が、当該特定のシーンに属すると判断される確率である再現率と、
    に基づいて前記Ｍの値を定めるステップ、を有するシーン識別方法。
13. 請求項１２に記載のシーン識別方法であって、
    サンプル画像におけるＮ個の前記部分領域に各々対応する前記部分画像のうちの、Ｍ´個（Ｍ´＜Ｎ）の前記部分画像を仮評価個数として定めるステップと、
    前記サンプル画像が前記特定のシーンに属するか否かを判断するための、前記特定のシーンに属する評価結果が得られた前記部分画像の個数に対する閾値として、前記Ｍ´個以下の複数の閾値を設定し、前記閾値毎に前記正答率と前記再現率を求めるステップと、
    前記正答率と前記再現率によって規定される関数値を前記閾値毎に算出し、前記仮評価個数における前記関数値の最大値を求めるステップと、
    前記Ｎ個以下の範囲で、前記Ｍ´の値を変化させたときの各仮評価個数について求められた前記関数値の最大値のうち、前記関数値の最大値が最も大きくなるときの前記Ｍ´の値を、前記Ｍの値として定めるステップと、
    を有するシーン識別方法。