JP2008269027A - シーン識別装置、及び、シーン識別方法 - Google Patents

Abstract

【課題】シーンの識別速度を向上させる。
【解決手段】識別対象画像の一部を構成する部分画像の部分特徴量を取得する特徴量取得部と、部分特徴量に基づいて部分画像が特定のシーンに属するか否かの評価を行う部分評価部と、部分評価部によって得られた評価値に応じて、前記識別対象画像が前記特定のシーンに属するか否かを判断する判断部と、画像全体領域内の部分領域毎に、当該部分領域に前記特定のシーンの特徴が表れる確率である存在確率と、当該部分領域に対応する部分画像が特定のシーンに属することを示す評価が部分評価部によって得られた場合に、その評価が正しい確率である正答率とを、演算した演算値を示す演算値情報、及び、演算値の高さの順位を示す演算値順位情報、の何れか一方（選択情報）が記憶される記憶部と、を備えたシーン識別装置であって、部分評価部は、選択情報に基づいて定めた部分画像について、評価を行う。
【選択図】図５

Description

本発明は、シーン識別装置、及び、シーン識別方法に関する。

識別対象画像からその画像の全体的な特徴を示す特徴量を抽出し、識別対象画像の属するシーンを識別する識別装置が知られている（特許文献１を参照。）。このような識別装置を用いれば、識別対象画像が属する特定のシーンを自動的に識別することができ、その識別結果に基づいて、例えば、特定のシーンに適した画像処理（画質調整）を行うことが可能となる。ところが、この種の識別装置では、特定のシーンの特徴が識別対象画像に部分的に表れているような場合、識別精度が低下する虞がある。そこで、識別対象画像を複数の部分（以下、部分画像ともいう）に分割し、その部分画像の特徴量に基づいて、部分画像毎に、識別を行うシーン識別装置が提案されている（特許文献２を参照。）。
特開２００３−１２３０７２号公報 特開２００４−６２６０５号公報

しかしながら、部分画像毎に識別を行うことは、識別処理の回数が増加することになるため、分割数を多くするほど（部分画像の数が多くなるほど）、識別対象画像が特定のシーンに属しているか否かの判断が行われるまでに時間がかかる虞がある。すなわち、従来のシーン識別装置では、識別処理の速度を向上させることが困難であるという問題点があった。

本発明は、上記のような課題に鑑みてなされたものであり、その目的は、従来よりもシーンの識別処理の速度を向上させることにある。

前記目的を達成するための主たる発明は、
（Ａ）識別対象画像の一部を構成する部分画像の特徴を示す部分特徴量を取得する特徴量取得部と、
（Ｂ）前記特徴量取得部で取得された前記部分特徴量に基づいて、前記部分画像が特定のシーンに属するか否かの評価を行う部分評価部と、
（Ｃ）前記部分評価部によって得られた評価値に応じて、前記識別対象画像が前記特定のシーンに属するか否かを判断する判断部と、
（Ｄ）画像全体領域内の部分領域毎に、
（Ｄ１）当該部分領域に前記特定のシーンの特徴が表れる確率である存在確率と、
当該部分領域に対応する前記部分画像が前記特定のシーンに属することを示す評価結果が前記部分評価部によって得られた場合に、前記評価結果が正しい確率である正答率とを、
演算した演算値を示す演算値情報、及び、
（Ｄ２）前記演算値の高さの順位を示す演算値順位情報、
（Ｄ３）の何れか一方が記憶される記憶部と、
（Ｅ）を備えたシーン識別装置であって、
（Ｆ）前記部分評価部は、
前記記憶部から読み出される前記演算値情報及び前記演算値順位情報の何れか一方に基づいて定めた前記部分画像について評価を行う、シーン識別装置である。

本発明の他の特徴は、本明細書、及び添付図面の記載により、明らかにする。

本明細書の記載、及び添付図面の記載により少なくとも次のことが明らかにされる。

すなわち、（Ａ）識別対象画像の一部を構成する部分画像の特徴を示す部分特徴量を取得する特徴量取得部と、（Ｂ）前記特徴量取得部で取得された前記部分特徴量に基づいて、前記部分画像が特定のシーンに属するか否かの評価を行う部分評価部と、（Ｃ）前記部分評価部によって得られた評価値に応じて、前記識別対象画像が前記特定のシーンに属するか否かを判断する判断部と、（Ｄ）画像全体領域内の部分領域毎に、（Ｄ１）当該部分領域に前記特定のシーンの特徴が表れる確率である存在確率と、当該部分領域に対応する前記部分画像が前記特定のシーンに属することを示す評価結果が前記部分評価部によって得られた場合に、前記評価結果が正しい確率である正答率とを、演算した演算値を示す演算値情報、及び、（Ｄ２）前記演算値の高さの順位を示す演算値順位情報、（Ｄ３）の何れか一方が記憶される記憶部と、（Ｅ）を備えたシーン識別装置であって、（Ｆ）前記部分評価部は、前記記憶部から読み出される前記演算値情報及び前記演算値順位情報の何れか一方に基づいて定めた前記部分画像について、評価を行う、シーン識別装置を実現できることが明らかにされる。

このようなシーン識別装置によれば、複数の部分画像の中から評価対象となる部分画像を定めるに際し、特定のシーンの特徴が表れる確率である存在確率と、評価結果が正しい確率である正答率とが加味される。このため、適切な部分画像を評価対象にでき、シーンの識別処理の速度を向上させることができる。

かかるシーン識別装置であって、前記部分評価部は、前記演算値の高い前記部分領域に対応する前記部分画像から順に評価を行うことが好ましい。
このようなシーン識別装置によれば、存在確率と正答率の演算値が高い部分領域の部分画像から順に評価されるので、評価を効率よく行うことができる。

かかるシーン識別装置であって、前記演算値は、前記部分領域毎に前記存在確率と前記正答率とを乗算した値であることが好ましい。
このようなシーン評価装置によれば、対象となるシーンの特徴が表れ易く、かつ、正確な評価が得られる部分領域を、効率よく選択できる。

かかるシーン識別装置であって、前記正答率は、複数のサンプル画像における、或る部分領域の部分画像について、前記特定のシーンに属することを示す評価結果が得られた部分画像の個数に対する、実際に前記特定のシーンに属する部分画像の個数の比率であることが好ましい。
このようなシーン識別装置によれば、複数のサンプル画像における部分画像の評価結果を用いて正答率を求めるので、正答率の精度を高めることができる。

かかるシーン識別装置であって、前記判断部は、前記特定のシーンに属することを示す評価結果が得られた部分画像の個数が、所定の閾値を超えた場合に、前記識別対象画像が前記特定のシーンに属すると判断することが好ましい。
このようなシーン識別装置によれば、所定の閾値の設定によって識別精度を調整することができる。

かかるシーン識別装置であって、前記記憶部には、前記演算値情報及び前記演算値順位情報のいずれか一方が、識別対象となる前記特定のシーンの種類毎に記憶されることが好ましい。
このようなシーン識別装置によれば、各特定のシーンに対する識別を効率的に行うことができる。

かかるシーン識別装置であって、前記特定のシーンの種類毎に前記部分評価部を有し、各々の前記部分評価部は、前記特定のシーンに対応して前記記憶部から読み出される前記演算値情報及び前記演算値順位情報のいずれか一方に基づき定められた前記部分画像について、評価を行うことが好ましい。
このようなシーン識別装置によれば、部分評価部毎に評価対象となる部分画像を最適化することができる。

かかるシーン識別装置であって、複数の前記特定のシーンに対して、所定の閾値がそれぞれ設定され、前記判断部は、前記特定のシーンに属することを示す評価結果が得られた部分画像の個数が、当該特定のシーンに設定された前記所定の閾値を超えた場合に、前記識別対象画像が当該特定のシーンに属すると判断することが好ましい。
このようなシーン識別装置によれば、特定のシーン毎に適した識別を行うことができる。

かかるシーン識別装置であって、前記判断部は、或る部分評価部による評価値に基づいて、前記識別対象画像が或る特定のシーンに属することを判断できなかった場合に、他の部分評価部に当該識別対象画像の評価を行わせることが好ましい。
このようなシーン識別装置によれば、部分評価部毎に識別を行えるので、識別の確実性を高めることができる。

かかるシーン識別装置であって、前記特徴量取得部は、前記識別対象画像の特徴を示す全体特徴量をさらに取得し、前記部分評価部は、前記部分特徴量と前記全体特徴量とに基づいて、前記部分画像が前記特定のシーンに属するか否かを識別することが好ましい。
このようなシーン識別装置によれば、識別精度をより高めることができる。

また、次のシーン識別方法を実現できることも明らかにされる。
すなわち、（Ａ）画像全体領域内の部分領域毎に、（Ａ１）当該部分領域に前記特定のシーンの特徴が表れる確率である存在確率と、当該部分領域に対応する前記部分画像が前記特定のシーンに属することを示す評価結果が得られた場合に、前記評価結果が正しい確率である正答率とを、演算した演算値を示す演算値情報、及び、（Ａ２）前記演算値の高さの順位を示す演算値順位情報、（Ａ３）の何れか一方を求めるステップと、（Ｂ）識別対象画像の一部を構成する部分画像の特徴を示す部分特徴量を取得するステップと、（Ｃ）前記部分画像が前記特定のシーンに属するか否かの、前記部分特徴量に基づく評価を、前記演算値情報及び前記演算値順位情報の何れか一方に基づいて定めた前記部分画像について行うステップと、（Ｄ）前記評価に応じて、前記識別対象画像が前記特定のシーンに属するか否かを判断するステップと、を有するシーン識別方法を、実現できることも明らかとされる。

かかるシーン識別方法であって、複数のサンプル画像を用いて、前記画像全体領域内の前記部分領域毎に、前記存在確率を求めるステップを有することが好ましい。
このようなシーン識別方法によれば、複数のサンプル画像を用いて存在確率を求めることにより、存在確率の精度を高めることができる。

かかるシーン識別方法であって、複数のサンプル画像における、或る部分領域に対応する部分画像について、当該部分画像が特定のシーンに属するか否かの評価を行ない、前記特定のシーンに属することを示す評価結果が得られた部分画像の個数に対する、実際に前記特定のシーンに属する部分画像の個数の比率を求めることで、前記正答率を求めるステップを有することが好ましい。
このようなシーン識別方法によれば、複数のサンプル画像における部分画像の評価結果を用いて正答率を求めるので、正答率の精度を高めることができる。

＝＝＝第１実施形態＝＝＝
以下、本発明の実施の形態について説明する。なお、以下の説明は、図１に示す複合機１を例に挙げて行う。この複合機１は、媒体に印刷された画像を読み取って画像データを取得する画像読み取り部１０と、画像データに基づいて媒体へ画像を印刷する画像印刷部２０とを有している。画像印刷部２０では、例えば、デジタルスチルカメラＤＣによる撮影で得られた画像データや画像読み取り部１０で得られた画像データに基づき、画像を媒体に印刷する。加えて、この複合機１では、識別対象画像についてシーンの識別を行い、識別結果に応じて画像データを補正したり、補正した画像データをメモリカードＭＣ等の外部メモリに記憶したりする。ここで、複合機１は、未知の識別対象画像のシーンを識別するシーン識別装置として機能する。また、複合機１は、識別されたシーンに基づいて画像データを補正するデータ補正装置や、補正後の画像データを外部メモリに記憶するデータ記憶装置としても機能する。

＜複合機１の構成＞
図２Ａに示すように、画像印刷部２０は、プリンタ側コントローラ３０と印刷機構４０とを有する。

プリンタ側コントローラ３０は、印刷機構４０の制御など印刷に関する制御を行う部分である。図２Ａに例示したプリンタ側コントローラ３０は、メインコントローラ３１と、制御ユニット３２と、駆動信号生成部３３と、インタフェース３４と、メモリ用スロット３５とを有する。そして、これらの各部がバスＢＵを介して通信可能に接続されている。

メインコントローラ３１は、制御の中心となる部分であり、ＣＰＵ３６とメモリ３７とを有する。ＣＰＵ３６は、中央演算装置として機能し、メモリ３７に格納された動作用プログラムに従って種々の制御動作を行う。従って、この動作用プログラムは、制御動作を実現させるためのコードを有する。メモリ３７には種々の情報が記憶される。例えば図２Ｂに示すように、メモリ３７の一部分には、動作用プログラムを記憶するプログラム記憶部３７ａ、識別処理で用いられる閾値（後述する。）を含む制御用パラメータを記憶するパラメータ記憶部３７ｂ、画像データを記憶する画像記憶部３７ｃ、Ｅｘｉｆの付属情報を記憶する付属情報記憶部３７ｄ、特徴量を記憶する特徴量記憶部３７ｅ、確率情報を記憶する確率情報記憶部３７ｆ、計数用カウンタとして機能するカウンタ部３７ｇ、肯定フラグを記憶する肯定フラグ記憶部３７ｈ、否定フラグを記憶する否定フラグ記憶部３７ｉ、識別結果を記憶する結果記憶部３７ｊ、及び後述する部分画像識別処理で部分画像を選択する順序を決めるための選択情報（後述する乗算値情報あるいは乗算値順位情報）が記憶される選択情報記憶部３７ｋが設けられている。そして、選択情報記憶部３７ｋは、乗算値情報及び乗算値順位情報の何れか一方が記憶される記憶部に相当する。なお、メインコントローラ３１によって構成される各部については、後で説明する。

制御ユニット３２は、印刷機構４０に設けられているモータ４１等を制御する。駆動信号生成部３３は、ヘッド４４が有する駆動素子（図示せず）に印加される駆動信号を生成する。インタフェース３４は、パーソナルコンピュータなどの上位装置と接続するためのものである。メモリ用スロット３５は、メモリカードＭＣを装着するための部分である。メモリカードＭＣがメモリ用スロット３５に装着されると、メモリカードＭＣとメインコントローラ３１とが通信可能に接続される。これに伴い、メインコントローラ３１は、メモリカードＭＣに記憶された情報を読み出したり、情報をメモリカードＭＣに記憶させたりできる。例えばデジタルスチルカメラＤＣの撮影によって生成された画像データを読み出したり、補正等の処理を施した後の補正後画像データを記憶させたりできる。

印刷機構４０は、用紙等の媒体に対して印刷を行う部分である。例示した印刷機構４０は、モータ４１と、センサ４２と、ヘッド制御部４３と、ヘッド４４とを有する。モータ４１は、制御ユニット３２からの制御信号に基づいて動作する。モータ４１としては、例えば、媒体を搬送するための搬送モータやヘッド４４を移動させるための移動モータがある（何れも図示せず）。センサ４２は、印刷機構４０の状態を検出するためのものである。センサ４２としては、例えば、媒体の有無を検出するための媒体検出センサ、媒体の搬送センサがある（何れも図示せず）。ヘッド制御部４３は、ヘッド４４が有する駆動素子への駆動信号の印加を制御するためのものである。この画像印刷部２０では、印刷対象となる画像データに応じ、メインコントローラ３１がヘッド制御信号を生成する。そして、生成したヘッド制御信号をヘッド制御部４３へ送信する。ヘッド制御部４３は、受信したヘッド制御信号に基づいて、駆動信号の印加を制御する。ヘッド４４は、インクを吐出するための動作をする駆動素子を複数有する。これらの駆動素子には、ヘッド制御部４３を通過した駆動信号の必要部分が印加される。そして、駆動素子は、印加された必要部分に応じてインクを吐出するための動作をする。これにより、吐出されたインクが媒体に着弾し、媒体に画像が印刷される。

＜プリンタ側コントローラ３０によって実現される各部の構成＞
次に、プリンタ側コントローラ３０によって実現される各部について説明する。プリンタ側コントローラ３０のＣＰＵ３６は、動作プログラムを構成する複数の動作モジュール（プログラムユニット）毎に、異なる動作をする。このとき、ＣＰＵ３６とメモリ３７を有するメインコントローラ３１は、単体で、或いは制御ユニット３２や駆動信号生成部３３と組になって、動作モジュール毎に異なる機能を発揮する。便宜上、以下の説明では、プリンタ側コントローラ３０を、動作モジュール毎の装置として表現することにする。

図３に示すように、プリンタ側コントローラ３０は、画像記憶部３７ｃと、付属情報記憶部３７ｄと、選択情報記憶部３７ｋと、顔識別部３０Ａと、シーン識別部３０Ｂと、画像補正部３０Ｃと、機構制御部３０Ｄとを有する。画像記憶部３７ｃは、シーンの識別処理や補正処理の対象となる画像データを記憶する。この画像データは、識別対象となる識別対象データの一種である（以下、対象画像データとする。）本実施形態の対象画像データは、ＲＧＢ画像データによって構成されている。このＲＧＢ画像データは、色情報を有する複数の画素によって構成される画像データの一種である。付属情報記憶部３７ｄは、画像データに付加されるＥｘｉｆの付属情報を記憶する。選択情報記憶部３７ｋは、識別対象画像を複数の領域に分割した部分画像毎の評価を行う際に、部分画像を選択する順序を決めるための選択情報を記憶する。顔識別部３０Ａは、対象画像データについて、人物の顔画像の有無、及び、対応するシーンを識別する。例えば、顔識別部３０Ａは、ＱＶＧＡ（３２０×２４０画素＝７６８００画素）サイズのデータに基づいて、人物の顔画像の有無を判断する。そして、顔画像が検出された場合には、顔画像の総面積に基づいて、識別対象画像を人物のシーン或いは記念写真のシーンに分類する（後述する）。シーン識別部３０Ｂは、顔識別部３０Ａではシーンが決定されなかった識別対象画像について、属するシーンを識別する。画像補正部３０Ｃは、顔識別部３０Ａやシーン識別部３０Ｂでの識別結果に基づき、識別対象画像の属するシーンに応じた補正を行う。機構制御部３０Ｄは、対象画像データに基づいて印刷機構４０を制御する。ここで、画像補正部３０Ｃによる対象画像データの補正がなされた場合には、機構制御部３０Ｄは、補正後画像データに基づいて印刷機構４０を制御する。これらの各部において、顔識別部３０Ａ、シーン識別部３０Ｂ、及び、画像補正部３０Ｃは、メインコントローラ３１によって構成される。機構制御部３０Ｄは、メインコントローラ３１、制御ユニット３２、及び、駆動信号生成部３３によって構成される。

＜シーン識別部３０Ｂの構成＞
次に、シーン識別部３０Ｂについて説明する。本実施形態のシーン識別部３０Ｂは、顔識別部３０Ａではシーンが決定されなかった識別対象画像について、風景のシーン、夕景のシーン、夜景のシーン、花のシーン、紅葉のシーン、及び、その他のシーンの何れかに属するのかを識別する。図４に示すように、このシーン識別部３０Ｂは、特徴量取得部３０Ｅと、全体識別器３０Ｆと、部分画像識別器３０Ｇと、統合識別器３０Ｈと、結果記憶部３７ｊとを有する。これらの中で、特徴量取得部３０Ｅ、全体識別器３０Ｆ、部分画像識別器３０Ｇ、及び、統合識別器３０Ｈは、メインコントローラ３１によって構成される。そして、全体識別器３０Ｆ、部分画像識別器３０Ｇ、及び、統合識別器３０Ｈは、部分特徴量及び全体特徴量の少なくとも一方に基づき、識別対象画像の属するシーンの識別処理を行う識別処理部３０Ｉを構成する。

＜特徴量取得部３０Ｅについて＞
特徴量取得部３０Ｅは、識別対象画像の特徴を示す特徴量を対象画像データに基づいて取得する。この特徴量は、全体識別器３０Ｆや部分画像識別器３０Ｇでの識別で用いられる。図５に示すように、特徴量取得部３０Ｅは、部分特徴量取得部５１と全体特徴量取得部５２とを有する。

部分特徴量取得部５１は、対象画像データ（全体画像）を分割して得られた部分画像データのそれぞれについて部分特徴量を取得する。すなわち、部分特徴量取得部５１は、画像全体領域を複数に分割した部分領域に含まれる複数画素のデータを、部分画像データとして取得する。なお、画像全体領域は、対象画像データにおける画素の形成範囲を意味する。そして、部分特徴量取得部５１は、取得した部分画像データの特徴を示す部分特徴量を取得する。従って、部分特徴量は、部分画像データに対応する部分画像についての特徴を示す。具体的には、図７に示すように対象画像データを、縦と横とにそれぞれ８等分した範囲に対応する部分画像、すなわち、対象画像データを格子状に分割して得られる１／６４サイズの部分画像の特徴量を示す。なお、本実施形態における対象画像データは、ＱＶＧＡサイズのデータである。このため、部分画像データは、その１／６４サイズのデータ（４０×３０画素＝１２００画素）となる。

そして、部分特徴量取得部５１は、部分画像の特徴を示す部分特徴量として、部分画像データを構成する各画素の色平均、及び、色の分散を取得する。各画素の色は、ＹＣＣやＨＳＶなどの色空間にて数値で表すことができる。このため、色平均は、この数値を平均化することで取得できる。また、分散は、各画素の色についての平均値からの広がり度合いを示す。

全体特徴量取得部５２は、対象画像データに基づいて全体特徴量を取得する。この全体特徴量は、識別対象における全体の特徴を示す。全体特徴量としては、例えば、対象画像データを構成する各画素の色平均、色の分散、及びモーメントがある。このモーメントは、色についての分布（重心）を示す特徴量である。モーメントは、本来的には対象画像データから直接的に取得される特徴量である。しかし、本実施形態の全体特徴量取得部５２では、これらの特徴量を、部分特徴量を用いて取得している（後述する。）。また、対象画像データがデジタルスチルカメラＤＣの撮影で生成されたものである場合、全体特徴量取得部５２は、付属情報記憶部３７ｄからＥｘｉｆの付属情報も全体特徴量として取得する。例えば、絞りを示す絞り情報、シャッタースピードを示すシャッタースピード情報、ストロボのオンオフを示すストロボ情報といった撮影情報も、全体特徴量として取得する。

＜特徴量の取得について＞
次に、特徴量の取得について説明する。本実施形態の複合機１では、部分特徴量取得部５１は、部分画像データ毎に部分特徴量を取得し、取得した部分特徴量を、メモリ３７の特徴量記憶部３７ｅに記憶する。全体特徴量取得部５２は、特徴量記憶部３７ｅに記憶された複数の部分特徴量を読み出して全体特徴量を取得する。そして取得した全体特徴量を特徴量記憶部３７ｅに記憶する。このような構成をとることで、対象画像データに対する変換等の回数を抑えることができ、部分特徴量と全体特徴量を取得する構成に比べて、処理を高速化することができる。また、展開用のメモリの容量も必要最小限に抑えることができる。

＜部分特徴量の取得について＞
次に、部分特徴量取得部５１による部分特徴量の取得について説明する。図６に示すように、部分特徴量取得部５１は、まず、対象画像データの一部を構成する部分画像データを、メモリ３７の画像記憶部３７ｃから読み出す（Ｓ１１）。この実施形態において、部分特徴量取得部５１は、ＱＶＧＡサイズの１／６４サイズのＲＧＢ画像データを部分画像データとして取得する。なお、対象画像データがＪＰＥＧ形式等の圧縮された画像データの場合、部分特徴量取得部５１は、対象画像データを構成する一部分のデータを画像記憶部３７ｃから読み出し、読み出したデータを展開することで部分画像データを取得する。部分画像データを取得したならば、部分特徴量取得部５１は、色空間の変換を行う（Ｓ１２）。例えば、ＲＧＢ画像データをＹＣＣ画像に変換する。

次に、部分特徴量取得部５１は、読み出した部分画像データから部分特徴量を取得する（Ｓ１３）。この実施形態において、部分特徴量取得部５１は、部分画像データの色平均と色の分散とを部分特徴量として取得する。便宜上、部分画像データにおける色平均を部分色平均ともいう。また、便宜上、部分画像データにおける色分散を部分色分散ともいう。図７のように、識別対象画像を６４個のブロックの部分画像に分割し、それぞれの部分画像に任意の順番を設けた場合、或るｊ番目（ｊ＝１〜６４）の部分画像データにおいて、ｉ番目〔ｉ＝１〜７６８００〕の画素の色情報（例えばＹＣＣ空間で表した数値）をｘ_ｉとする。この場合、ｊ番目の部分画像データにおける部分色平均ｘ_ａｖｊは、次式（１）で表すことができる。

また、この実施形態における分散Ｓ^２は、次式（２）で定義されているものを用いている。このため、ｊ番目の部分画像データにおける部分色分散Ｓ_ｊ ^２は、式（２）を変形して得られた次式（３）で表すことができる。

従って、部分特徴量取得部５１は、式（１）及び式（３）の演算を行うことにより、対応する部分画像データについての部分色平均ｘ_ａｖｊと部分色分散Ｓ_ｊ ^２とを取得する。そして、これらの部分色平均ｘ_ａｖｊ及び部分色分散Ｓ_ｊ ^２は、それぞれメモリ３７の特徴量記憶部３７ｅに記憶される。

部分色平均ｘ_ａｖｊと部分色分散Ｓ_ｊ ^２とを取得したならば、部分特徴量取得部５１は、未処理の部分画像データの有無を判断する（Ｓ１４）。未処理の部分画像データがあると判断した場合、部分特徴量取得部５１は、ステップＳ１１に戻り、次の部分画像データについて同様の処理を行う（Ｓ１１〜Ｓ１３）。一方、ステップＳ１４にて、未処理の部分画像データはないと判断した場合には、部分特徴量取得部５１による処理は終了する。この場合、ステップＳ１５にて全体特徴量取得部５２による全体部分特徴量の取得が行われる。

＜全体特徴量の取得について＞
次に、全体特徴量取得部５２による全体特徴量の取得（Ｓ１５）について説明する。全体特徴量取得部５２は、特徴量記憶部３７ｅに記憶された複数の部分特徴量に基づき、全体特徴量を取得する。前述したように、全体特徴量取得部５２は、対象画像データの色平均と色の分散とを全体特徴量として取得する。便宜上、対象画像データにおける色平均を、全体色平均ともいう。また、便宜上、対象画像データにおける色の分散を、全体色分散ともいう。そして、前述したｊ番目（ｊ＝１〜６４）の部分画像データにおける部分色平均をｘ_ａｖｊとした場合、全体色平均ｘ_ａｖは、次式（４）で表すことができる。この式（４）において、ｍは部分画像の数を示す。また、全体色分散Ｓ^２は、次式（５）で表すことができる。この式（５）により、全体色分散Ｓ^２は、部分色平均ｘ_ａｖ、部分色分散Ｓ_ｊ ^２、及び、全体色平均ｘ_ａｖに基づいて取得できることが判る。

従って、全体特徴量取得部５２は、式（４）及び式（５）の演算を行うことにより、対象画像データについての全体色平均ｘ_ａｖと全体色分散Ｓ^２とを取得する。そして、これらの全体色平均ｘ_ａｖ及び全体色分散Ｓ^２は、それぞれメモリ３７の特徴量記憶部３７ｅに記憶される。

また、全体特徴量取得部５２は、他の全体特徴量としてモーメントを取得する。この実施形態では、識別対象が画像であるので、モーメントによって、色の位置的な分布を定量的に取得できる。この実施形態において全体特徴量取得部５２は、部分画像データ毎の色平均ｘ_ａｖｊに基づいてモーメントを取得している。ここで、図７に示す６４個の部分画像のうち縦位置Ｊ（Ｊ＝１〜８）、横位置Ｉ（Ｉ＝１〜８）で特定される部分画像を、座標（Ｉ，Ｊ）で表すことにする。この座標（Ｉ，Ｊ）で特定される部分画像における部分画像データの部分色平均をＸ_ＡＶ（Ｉ，Ｊ）で表すと、部分色平均に関する横方向のｎ次モーメントｍ_ｎｈは、次式（６）で表すことができる。

ここで、単純な１次モーメントを部分色平均Ｘ_ＡＶ（Ｉ，Ｊ）の総和で除算した値を、１次の重心モーメントという。この１次の重心モーメントは、次式（７）で表されるものであり、部分色平均という部分特徴量の横方向の重心位置を示す。この重心モーメントを一般化したｎ次の重心モーメントは、次式（８）で表される。ｎ次の重心モーメントの中で、奇数次（ｎ＝１，３・・・）の重心モーメントは、一般に重心の位置を示すと考えられている。また、偶数次の重心モーメントは、一般に重心付近における特徴量の広がり度合いを示すと考えられている。

本実施形態の全体特徴量取得部５２は、６種類のモーメントを取得している。具体的には、横方向の１次モーメント、縦方向の１次モーメント、横方向の１次重心モーメント、縦方向の１次重心モーメント、横方向の２次重心モーメント、及び、縦方向の２次重心モーメントを取得している。なお、モーメントの組み合わせは、これらに限定されない。例えば、横方向の２次モーメントと縦方向の２次モーメントを加えた８種類としてもよい。

これらのモーメントを取得することにより、色の重心や重心付近における色の広がり度合いを認識することができる。例えば、「画像における上部に赤い領域が広がっている」とか「中心付近に黄色い領域がまとまっている」といった情報が得られる。そして、識別処理部３０Ｉ（図４を参照。）における識別処理で、色の重心位置や局在性が考慮できるため、識別の精度を高めることができる。

＜特徴量の正規化について＞
ところで、識別処理部３０Ｉの一部を構成する全体識別器３０Ｆ及び部分画像識別器３０Ｇでは、サポートベクターマシン（ＳＶＭとも記す。）を用いて識別を行っている。サポートベクターマシンについては後で説明するが、このサポートベクターマシンは、分散の大きな特徴量ほど識別に対する影響力（重み付けの度合い）が大きくなるという特性を有する。そこで、部分特徴量取得部５１、及び、全体特徴量取得部５２では、取得した部分特徴量及び全体特徴量について正規化を行っている。すなわち、それぞれの特徴量について平均と分散とを算出し、平均が値〔０〕となり、分散が値〔１〕となるように、正規化を行っている。具体的には、ｉ番目の特徴量ｘ_ｉにおける平均値をμ_ｉとし、分散をσ_ｉとした場合、正規化後の特徴量ｘ_ｉ´は、次式（９）で表すことができる。

従って、部分特徴量取得部５１、及び、全体特徴量取得部５２は、式（９）の演算を行うことにより、各特徴量を正規化する。正規化された特徴量は、それぞれメモリ３７の特徴量記憶部３７ｅに記憶され、識別処理部３０Ｉでの識別処理に用いられる。これにより、識別処理部３０Ｉでの識別処理において、各特徴量を均等な重み付けで扱うことができる。その結果、識別精度を高めることができる。

＜特徴量取得部３０Ｅのまとめ＞
部分特徴量取得部５１は、部分特徴量として部分色平均と部分色分散とを取得し、全体特徴量取得部５２は、全体特徴量として全体色平均と全体色分散とを取得している。これらの特徴量は、識別処理部３０Ｉによる識別対象画像の識別処理で用いられる。このため、識別処理部３０Ｉにおける識別精度を高めることができる。これは、識別処理において、識別対象画像の全体と部分画像のそれぞれで取得された、色合いの情報と色の局在化度合いの情報とが加味されるからである。

＜識別処理部３０Ｉについて＞
次に、識別処理部３０Ｉについて説明する。まず、識別処理部３０Ｉの概略について説明する。図４及び図５に示すように、識別処理部３０Ｉは、全体識別器３０Ｆと、部分画像識別器３０Ｇと、統合識別器３０Ｈとを有する。全体識別器３０Ｆは、全体特徴量に基づいて、識別対象画像のシーンを識別する。部分画像識別器３０Ｈは、部分特徴量に基づいて、識別対象画像のシーンを識別する。統合識別器３０Ｈは、全体識別器３０Ｆと部分画像識別器３０Ｇでシーンが確定されなかった識別対象画像について、シーンを識別する。このように、識別処理部３０Ｉは、特性の異なる複数種類の識別器を有している。これは、識別性を高めるためである。すなわち、識別対象画像の全体に特徴が表れがちなシーンについては、全体識別器３０Ｆによって精度良く識別ができる。一方、識別対象画像の一部分に特徴が表れがちなシーンについては、部分画像識別器３０Ｇによって精度良く識別ができる。その結果、識別対象画像の識別性を高めることができる。さらに、全体識別器３０Ｆと部分画像識別器３０Ｇでシーンが確定しなかった識別対象画像については、統合識別器３０Ｈによってシーンを識別できる。この点でも識別対象画像の識別性を高めることができる。

＜全体識別器３０Ｆについて＞
全体識別器３０Ｆは、識別可能なシーンに応じた種類の数のサブ識別器（便宜上、全体サブ識別器ともいう。）を有する。図５に示すように、全体識別器３０Ｆは、全体サブ識別器として、風景識別器６１と、夕景識別器６２と、夜景識別器６３と、花識別器６４と、紅葉識別器６５とを有する。各全体サブ識別器は、全体特徴量に基づいて、識別対象画像が特定のシーンに属することを識別する。また、各全体サブ識別器は、識別対象画像が特定のシーンに属さないことも識別する。

これらの全体サブ識別器は、サポートベクターマシンと判断部とをそれぞれ有する。すなわち、風景識別器６１は、風景用サポートベクターマシン６１ａと風景用判断部６１ｂとを有し、夕景識別器６２は、夕景用サポートベクターマシン６２ａと夕景用判断部６２ｂとを有する。また、夜景識別器６３は、夜景用サポートベクターマシン６３ａと夜景用判断部６３ｂとを有し、花識別器６４は、花用サポートベクターマシン６４ａと花用判断部６４ｂとを有し、紅葉識別器６５は、紅葉用サポートベクターマシン６５ａと紅葉用判断部６５ｂとを有する。なお、各サポートベクターマシンは、後述するように、識別対象（評価対象）となる画像が入力される毎に、識別対象となる画像が特定カテゴリー（シーン）に属する度合いに応じた識別関数値（確率情報）を算出する。そして、各サポートベクターマシンで求められた識別関数値は、それぞれメモリ３７の確率情報記憶部３７ｆに記憶される。

各判断部は、対応するサポートベクターマシンで取得された識別関数値に基づいて、識別対象画像が対応する特定のシーンに属することを判断する。そして、各判断部は識別対象画像が対応する特定のシーンに属すると判断した場合、肯定フラグ記憶部３７ｈの対応する領域に肯定フラグを記憶する。また、各判断部は、サポートベクターマシンで取得された識別関数値に基づいて、識別対象画像が特定のシーンに属さないことも判断する。そして、各判断部は、識別対象画像が特定のシーンに属さないと判断した場合、否定フラグ記憶部３７ｉの対応する領域に否定フラグを記憶する。なお、サポートベクターマシンは部分画像識別器３０Ｇでも用いられている。このため、サポートベクターマシンについては部分画像識別器３０Ｇとともに説明する。

＜部分画像識別器３０Ｇについて＞
部分画像識別器３０Ｇは、識別可能なシーンに応じた種類の数のサブ識別器（便宜上、部分サブ識別器とする。）を有する。各部分サブ識別器は、識別対象画像が特定のシーンに属するか否かを部分特徴量に基づいて識別する。

図５に示すように部分画像識別器３０Ｇは、夕景部分サブ識別器７１、花部分サブ識別器７２、紅葉部分サブ識別器７３を有する。夕景部分サブ識別器７１は、識別対象画像が夕景のシーンに属するか否かを識別し、花部分サブ識別器７２は、識別対象画像が花のシーンに属するか否かを識別し、紅葉部分サブ識別器７３は、識別対象画像が紅葉のシーンに属するか否かを識別する。全体識別器３０Ｆの識別対象となるシーンの種類の数と、部分画像識別器３０Ｇの識別対象となるシーンの種類の数とを比較すると、部分画像識別器３０Ｇの識別対象となるシーンの種類の数の方が少ない。これは、部分画像識別器３０Ｇが、全体識別器３０Ｆを補完する目的を有しているからである。つまり、部分画像識別器３０Ｇは、全体識別器３０Ｆでは精度が得られ難いシーンに対して設けられている。

ここで、部分画像識別器３０Ｇでの識別に適する画像について考察する。まず、花のシーンと紅葉のシーンについて考察する。これらのシーンは、いずれもそのシーンの特徴が局所的に表れ易いといえる。例えば、花をアップで撮影した画像では、画像における中央部分に花のシーンの特徴が表れ、周辺部分に風景のシーンに近い特徴が表れる。紅葉のシーンも同様である。すなわち、山肌の一部分に表れた紅葉を撮影した場合、画像の特定部分に紅葉が集まった状態となる。この場合も、山肌の一部分に紅葉のシーンの特徴が表れ、他の部分は風景のシーンの特徴が表れる。従って、部分サブ識別器として花部分サブ識別器７２と紅葉部分サブ識別器７３とを用いることにより、全体識別器３０Ｆでは識別し難い花のシーンと紅葉のシーンであっても、識別性を高めることができる。すなわち、部分画像毎に識別を行うので、画像の一部分に花や紅葉などの主要被写体の特徴が表れている画像であっても、精度良く識別することができる。次に夕景のシーンについて考察する。夕景のシーンも、夕景の特徴が局所的に表れる場合がある。例えば水平線に沈む夕日を撮影した画像であって、完全に沈む直前のタイミングで撮影した画像を考える。このような画像では、夕日が沈む部分に夕日のシーンの特徴が表れ、他の部分には夜景のシーンの特徴が表れる。従って、部分サブ識別器として夕景識別器７１を用いることで、全体識別器３０Ｆでは識別し難い夕景のシーンであっても識別性を高めることができる。なお、部分的に特徴の出やすいこれらのシーンにおいて、そのシーンの特徴の表れる確率の高い位置は、特定のシーン毎に一定の傾向がある。以下、各部分画像の位置毎に、特定のシーンの特徴が表れる確率のことを存在確率ともいう。

このように、部分画像識別器３０Ｇは、主として全体識別器３０Ｆでは精度が得られ難い画像を対象として識別を行っている。すなわち、全体識別器３０Ｆによって十分な精度を得られる識別対象については、部分サブ識別器を設けていない。このような構成を採ることで、部分画像識別器３０Ｇの構成を簡素化できる。ここで、部分画像識別器３０Ｇはメインコントローラ３１によって構成されているので、構成の簡素化とは、ＣＰＵ３６が実行する動作プログラムのサイズや必要なデータのサイズを小さくすることが該当する。構成の簡素化により、必要とされるメモリの容量を小さくできたり、処理を高速化できたりする。

＜部分サブ識別器の構成について＞
次に、部分サブ識別器（夕景部分サブ識別器７１、花部分サブ識別器７２、紅葉部分サブ識別器７３）の構成について説明する。図５に示すように、各部分サブ識別器は、部分サポートベクターマシンと検出数カウンタと判断部をそれぞれ有する。すなわち、夕景部分サブ識別器７１は、夕景用部分サポートベクターマシン７１ａと夕景検出数カウンタ７１ｂと夕景判断部７１ｃを有し、花部分サブ識別器７２は、花用部分サポートベクターマシン７２ａと花検出数カウンタ７２ｂと花判断部７２ｃを有する。また、紅葉部分サブ識別器７３は、紅葉用部分サポートベクターマシン７３ａと紅葉検出数カウンタ７３ｂと紅葉判断部７３ｃを有する。

これらの各部分サブ識別器において、部分サポートベクターマシンと検出数カウンタは、部分特徴量に基づいて各部分画像が特定のシーンに属するか否かの評価を行う部分評価部に相当する。そして、各判断部は、対応する部分評価部によって得られた評価値に応じて識別対象画像が特定のシーンに属するか否かを判断する。なお、本実施形態における評価値は、検出数カウンタのカウント値である。そして、評価値としては、各部分サポートベクターマシンで算出された識別関数値の加算値を用いることもできる。

各部分サブ識別器が有する部分サポートベクターマシン（夕景用部分サポートベクターマシン７１ａ〜紅葉用部分サポートベクターマシン７３ａ）は、各全体サブ識別器が有するサポートベクターマシン（風景用サポートベクターマシン６１ａ〜紅葉用サポートベクターマシン６５ａ）と同様のものである。以下サポートベクターマシンについて説明する。

＜サポートベクターマシンについて＞
サポートベクターマシンは、識別対象の特徴を示す特徴量に基づき、その識別対象が或るカテゴリーに属する確率の大小を示す確率情報を取得する。このサポートベクターマシンの基本形は、線形サポートベクターマシンである。線形サポートベクターマシンは、例えば、図８に示すように、２クラス分類トレーニングで定められる線形の識別関数であり、マージン（即ち、学習データとしてのサポートベクターが存在しない領域）が最大となるように定められた識別関数である。この図８において、白抜きの丸のうち分離超平面の決定に寄与する点（例えばＳＶ１１）が或るカテゴリーＣＡ１に属するサポートベクターであり、斜線を付した丸のうち分離超平面の決定に寄与する点（例えばＳＶ２２）が他のカテゴリーＣＡ２に属するサポートベクターである。カテゴリーＣＡ１に属するサポートベクターとカテゴリーＣＡ２に属するサポートベクターとを分離する分離超平面では、この分離超平面を定める識別関数（確率情報）が値[０]を示す。図８では、分離超平面の候補として、カテゴリーＣＡ１に属するサポートベクターＳＶ１１及びＳＶ１２を通る直線に平行な分離超平面ＨＰ１と、カテゴリーＣＡ２に属するサポートベクターＳＶ２１及びＳＶ２２を通る直線に平行な分離超平面ＨＰ２とを示している。この例では、分離超平面ＨＰ１の方が分離超平面ＨＰ２よりもマージン（サポートベクターから分離超平面までの間隔）が大きいので、線形サポートベクターマシンとして、分離超平面ＨＰ１に対応する識別関数が定められる。

ところで、線形サポートベクターマシンでは、線形分離ができない識別対象については識別の精度が低くなってしまう。なお、この複合機１で扱われる識別対象画像も、線形分離ができない識別対象に相当する。そこで、このような識別対象については、特徴量を非線形変換し（すなわち、高次元空間に写像し）、その空間で線形の識別を行う非線形サポートベクターマシンが用いられる。この非線形サポートベクターマシンでは、例えば、任意の数の非線形関数によって定義される新たな関数を、非線形サポートベクターマシン用のデータとする。図９に模式的に示すように、非線形サポートベクターマシンでは、識別境界ＢＲが曲線状になる。この例では、四角で示す各点のうち識別境界ＢＲの決定に寄与する点（例えばＳＶ１３、ＳＶ１４）がカテゴリーＣＡ１に属するサポートベクターであり、丸で示す各点のうち識別境界ＢＲの決定に寄与する点（例えばＳＶ２３〜ＳＶ２６）がカテゴリーＣＡ２に属するサポートベクターである。そして、これらのサポートベクターを用いた学習により、識別関数のパラメータが定められる。なお、他の点は、学習には用いられるが、最適化の過程で対象から外される。このため、識別にサポートベクターマシンを用いることで、識別時に用いられる学習データ（サポートベクター）の数を抑えることができる。その結果、限られた学習データであっても、取得される確率情報の精度を高めることができる。

＜部分サポートベクターマシンについて＞
各部分サブ識別器に備えられる部分サポートベクターマシン（風景用部分サポートベクターマシン７１ａ、花用部分サポートベクターマシン７２ａ、紅葉部分サポートベクターマシン７３ａ）は、前述したような非線形サポートベクターマシンである。そして、各部分サポートベクターマシンは、異なるサポートベクターに基づく学習で、識別関数におけるパラメータが定められる。その結果、部分サブ識別器毎に特性を最適化でき、部分画像識別器３０Ｇにおける識別性を向上させることができる。各部分サポートベクターマシンは、入力された画像に応じた数値、すなわち識別関数値を出力する。

なお、各部分サポートベクターマシンは、学習データが部分画像データである点が、全体サブ識別器が有するサポートベクターマシンと異なっている。つまり、各部分サポートベクターマシンは、識別対象となる部分の特徴を示す部分特徴量に基づく演算を行う。各部分サポートベクターマシンによる演算結果、すなわち識別関数値は、部分画像が識別対象である或るシーンの特徴を多く有するほど、値が大きくなる。反対に、この部分画像が、識別対象でない他のシーンの特徴を多く有するほど、値が小さくなる。また、この部分画像が、或るシーンの特徴と他のシーンの特徴のそれぞれを均等に有する場合には、この部分サポートベクターマシンで得られる識別関数値は値[０]になる。

従って、部分サポートベクターマシンで得られた識別関数値が正の値になった部分画像に関しては、その部分サポートベクターマシンが対象とするシーンの方が、他のシーンよりも多くの特徴が表れている、つまり対象とするシーンに属する確率が高いといえる。このように、部分サポートベクターマシンで得られた識別関数値は、その部分画像が或るシーンに属する確率の大小を示す確率情報に相当するものである。よって、部分評価部を構成する各部分サポートベクターマシンによって識別関数値の演算を行うことは、部分画像が特定のシーンに属するか否かの評価に相当する。また、その識別関数値が正であるか否かに応じて部分画像を特定のシーンに属するか否かに分類することは識別に相当する。本実施形態において、各部分評価部は、部分特徴量に基づいて部分画像毎に特定のシーンに属するか否かの識別を行う。

各部分サポートベクターマシンで求められた確率情報は、それぞれメモリ３７の確率情報記憶部３７ｆに記憶される。本実施形態の各部分サブ識別器の部分評価部は、それぞれ対応する特定のシーン毎に設けられており、また、対応する特定のシーンに属するか否かの識別を行う部分サポートベクターマシンをそれぞれ有しているので、各部分サポートベクターマシンの設定に応じて、部分評価部毎に特性を最適化することができる。さらに、部分評価部毎に部分画像の評価順序が定められるので、評価順序を最適化することもできる（後述する）。

なお、本実施形態の各部分サポートベクターマシンは、部分特徴量に加えて、全体特徴量を加味して演算を行なっている。これは部分画像の識別精度を高めるためである。以下、この点について説明する。部分画像は、全体画像に比べて情報量が少ない。このため、シーンの識別が困難になる場合がある。例えば、或る部分画像が、或るシーンと他のシーンとで共通する特徴を有していた場合には、識別が困難になる。仮に、部分画像が赤みの強い画像であったとする。この場合、部分特徴量だけでは、その部分画像が夕景のシーンに属するのか、紅葉のシーンに属するのか、識別し難いことがある。このような場合に、全体特徴量を加味することで、その部分画像の属するシーンを識別できることがある。例えば、全体特徴量が全体的に黒味を帯びた画像を示す場合、赤みの強い部分画像は、夕景のシーンに属する確率が高くなる。また、全体特徴量が全体的に緑色や青色を帯びた画像を示す場合、赤みの強い部分画像は、紅葉のシーンに属する確率が高くなる。このように、各部分サポートベクターマシンにおいて、全体特徴量を加味して演算を行い、その演算結果に基づいて識別を行うことによって、識別精度をより高めることができることになる。

＜検出数カウンタについて＞
各検出数カウンタ（夕景検出数カウンタ７１ｂ〜紅葉検出数カウンタ７３ｂ）は、メモリ３７のカウンタ部３７ｇにより機能するものである。
各検出数カウンタは、初期値が、例えば値[０]である。そして、対応するサポートベクターマシンで得られた識別関数値が正の値である評価結果（対応するシーンの特徴が他のシーンの特徴よりも強く表れている評価結果）が得られるごと、すなわち、部分画像が特定のシーンに属する旨の評価がされるごとに、カウントアップ（＋１）する。要するに、各検出数カウンタは、識別対象である特定のシーンに属すると識別された部分画像の数をカウントしているといえる。そして、各検出数カウンタによるカウント値は、部分サポートベクターマシンでなされた評価を定量的に示す。このため、部分評価部によって得られた評価値に相当する。各検出数カウンタのカウント値は、例えば新たな識別対象画像についての処理を行う際にリセットされる。以下の説明において、各検出数カウンタのカウント値のことを検出画像数ともいう。

＜判断部について＞
各判断部（夕景判断部７１ｃ、花判断部７２ｃ、紅葉判断部７３ｃ）は、例えばメインコントローラ３１のＣＰＵ３６によって構成され、対応する検出数カウンタの検出画像数（部分評価部によって得られた評価値）に応じて、識別対象画像が特定のシーンに属するか否かを判断する。このように、識別対象画像が特定のシーンに属するか否かを、検出画像数に応じて判断することにより、識別対象画像の一部分に特定のシーンの特徴が表れているような場合でも精度良く識別を行うことができる。よって識別精度を向上させることができる。なお、具体的には、各判断部は、検出画像数が、メモリ３７の制御用パラメータ記憶部３７ｂに記憶された所定の閾値を超えた場合、その識別対象画像が特定のシーンに属すると判断する。この所定の閾値は、識別対象画像が部分サブ識別器で扱われるシーンに属するとの肯定的な判断を与えるものである。従って、以下の説明において、このような肯定的な判断を与えるための閾値のことを肯定閾値（Positive Threshold）ともいう。この肯定閾値の値に応じて、識別対象画像が特定のシーンであると判断されるのに必要な部分画像数、つまり識別対象画像中における特定シーンの領域の割合が決まるので、肯定閾値の設定によって識別精度を調整することができる。なお、この判断を行うのに最適な検出画像数の個数は、処理速度および識別精度の点から、特定のシーン毎に異なることが考えられる。そこで、肯定閾値は、各部分サブ識別器における識別対象となる特定のシーンに応じて、それぞれ値が設定されている。この実施形態では、図１０に示すように、夕景のシーンについて値[５]が、花のシーンについて[９]が、紅葉のシーンについて[６]が設定されている。すなわち、例えば夕景部分サブ識別器７１において、夕景判断部７１ｃは、夕景検出数カウンタ７１ｂの検出画像数が値[５]を超えると、その識別対象画像が夕景のシーンに属すると判断する。このように、特定のシーン毎に肯定閾値を設定しているので、それぞれの特定のシーンに適した識別を行うことができる。

＜部分画像について＞
本実施形態の場合、部分画像識別器３０Ｇの各部分サブ識別器で識別を行う部分画像は、図７で説明したように、識別対象画像の１／６４サイズ（１２００画素）である。すなわち、識別対象画像は、６４個の部分画像を有する。なお、以下の説明でも、縦位置Ｊ（Ｊ＝１〜８）、横位置Ｉ（Ｉ＝１〜８）で特定される部分画像を、座標（Ｉ，Ｊ）で表す。

各部分サブ識別器は、存在確率と正答率とを用いた演算値に基づき、６４個の部分画像のうちから、識別対象（評価対象）となる部分画像を選択する。本実施形態では、演算値として存在確率と正答率を乗算した値（以下、乗算値とする）を用いる。具体的には、存在確率と正答率との乗算値の高い順に部分画像を選択し、識別を行う。

以下、図１１、図１２を用いて存在確率と正答率について説明する。図１１は、実際のシーンと部分識別器での識別結果との一例を示した図であり、図１２は、各部分画像の存在確率と正答率の算出方法を説明するための図である。なお、図１１では、便宜上、サンプル画像の全体を６４分割した６４ブロックのうちの１６ブロック（I＝１〜４,J＝１〜４）について示している。部分画像識別器３０Ｇで識別が行われる画像は、部分的にシーンの特徴が表れている。例えば夕景のシーンのサンプル画像において、図１１に示すように夕景のシーンだけでなく他のシーン（例えば花、夜景、風景）の特徴が表れた部分画像が存在している。なお、図１１に示す実際のシーンとは、サンプル画像の各部分領域を、例えば評価者による目視によって、特定のシーンに分類した結果である。これに対し識別結果は、同じサンプル画像を、夕景部分サブ識別器７１の部分評価部（夕景用部分サポートベクターマシン７１ａ及び夕景検出数カウンタ７１ｂ）によって、部分画像毎に夕景のシーンであるか否かを識別した結果である。この識別結果において、灰色で塗り潰した部分は夕景に属する（Positive）と識別された部分画像を示し、白抜きの部分は夕景には属さない（Negative）と識別された部分画像を示している。また、識別結果が実際のシーンと同じ（正解（True）ともいう）部分領域には丸印を記し、識別結果が実際のシーンと異なる（不正解（False）ともいう）部分領域には罰点を記している。

＜存在確率について＞
存在確率は、画像全体領域内の各部分領域毎に、特定のシーンの特徴が表れる確率である。この存在確率は、各部分領域において、実際に特定のシーンの特徴が表れている部分画像の個数を、サンプル画像の総数（部分画像の総数ｎ個）で除算することで求められる。よって、サンプル画像において、特定のシーンの特徴が表れている部分画像が無い部分領域では、存在確率は最小値 [０]となる。一方、全ての部分画像に特定のシーンの特徴が表れている部分領域では、存在確率は最大値 [１]となる。サンプル画像はそれぞれ構図が異なっているので、存在確率の精度はサンプル画像の枚数に依存する。つまりサンプル画像の数が少ないと、特定のシーンの表れる領域の傾向を正確に求めることが出来ない可能性がある。本実施形態では、各部分画像の存在確率を求める際、構図の異なるｎ枚（例えば数千枚）のサンプル画像を用いているので、特定のシーンの特徴が表れやすい部分領域の位置の傾向をより正確に求めることができ、各部分領域毎の存在確率の精度を高めることができる。このようにして、サンプル画像から得られた各部分領域毎の存在確率を示すデータの一例を図１３Ａ〜図１５Ａに示す。なお、この６４個の各部分領域は、図７に示す各部分画像にそれぞれ対応している。よって、各部分領域を部分画像と同じ座標（Ｉ，Ｊ）で表している。

図１３Ａは、夕景のシーンの各部分領域における存在確率を示したデータであり、図１４Ａは、花のシーンの各部分領域における存在確率を示したデータである。また、図１５Ａは、紅葉のシーンの各部分領域における存在確率を示したデータである。

例えば夕景のシーンの場合、画像の中央付近から上半分に夕景の空が広がっていることが多い。すなわち、図１３Ａに示すように全体領域の中央付近から上半分の部分領域において存在確率が高く、それ以外（下半分）の部分領域では存在確率が低くなる。また、例えば、花のシーンの場合、図７のように花を全体領域の中央に配置させるような構図が多い。すなわち、図１４Ａに示すように全体領域における中央部分の部分領域では存在確率が高く、全体領域の周辺部分の部分領域では存在確率が低くなる。また、例えば、紅葉のシーンの場合、山の一部分に表れた紅葉を撮影することが多く、図１５Ａに示すように画像の中央から下部にかけて存在確率が高くなる。このように、部分画像識別器３０Ｇで識別を行うような主要被写体の一部分に特徴の表れやすい夕景、花、紅葉のシーンにおいて、存在確率の高い部分領域は各シーンで一定の傾向があることが判る。

＜正答率について＞
正答率（Precisionともいう）は、各部分サブ識別器の部分評価部（部分サポートベクターマシン及び検出数カウンタ）による評価結果が正しい確率である。すなわち、部分評価部によって、対応する特定のシーンに属する確率が高いことを示す正の値の識別関数値（評価結果）が得られた部分画像に対し、実際にその特定のシーンの特徴が表れている確率を示すものである。

各部分領域の正答率は、各部分評価部が、複数のサンプル画像の部分画像について、特定のシーンに属しているか否かを識別した際に、特定のシーンに属すると識別された部分画像のうちの、実際に特定のシーンの特徴が表れていた部分画像の個数を、特定のシーンに属すると識別された部分画像の個数で除算することで求められる。例えば夕景部分サブ識別器７１で識別を行った場合、各部分領域毎の正答率は、夕景と識別して正解（TruePositive ：以下ＴＰともいう）した部分画像の個数を、夕景と識別した部分画像の個数で除算した値である。なお、夕景と識別した個数は、正解した部分画像の個数に、夕景と識別して不正解（FalsePositive：以下ＦＰともいう）であった個数を加算した値である。すなわち、ＴＰ＝０（ＦＰ＞０）のとき正答率は最小値[０]となり、ＦＰ＝０（ＴＰ＞０）のとき正答率は最大値[１]となる。

例えば、図１２に示す３枚のサンプル画像（サンプル１〜サンプル３）について考える。この場合、座標（１，１）の部分領域では、夕景と識別された部分画像の個数が２個であり、そのうち１個が正解（ＴＰ＝１及びＦＰ＝１）なので、この場合の座標（1，１）の部分領域における正答率は値[０．５]となる。また、座標（２，１）及び座標（３，１）では、夕景と識別された部分画像が２個であり、共に正解（ＴＰ＝２及びＦＰ＝０）なので、この場合の座標（２，１）の部分領域における正答率は値[１]となる。本実施形態では、各部分画像の正答率を求める際、存在確率と同様に、構図の異なるｎ枚（例えば数千枚）のサンプル画像を用いているので、部分領域毎の傾向をより正確に求めることができ、正答率の精度を高めることができる。

図１３Ｂ、図１４Ｂ、図１５Ｂは、それぞれ複数枚のサンプル画像を用いて夕景、花、紅葉の各シーンの各部分領域毎に算出した正答率の一例を示したものである。これらから判るように、正答率の高さの順位の傾向は、存在確率の高さの順位の傾向とは異なる。これは、各シーン間における存在確率の高さの傾向と、それらのシーンの特徴とによるものである。例えば、或るシーンと他のシーンとにおいて、存在確率の高い部分領域が同じであり、且つ、その両シーンの特徴が似ている場合、正確な識別を行うことが困難な場合がある。具体的には、図１３Ａ、図１５Ａに示すように、座標（５，４）の部分領域は、夕景のシーン、紅葉のシーンで共に存在確率が高い。つまり、座標（５，４）の部分画像には、夕景のシーンの特徴、紅葉のシーンの特徴が共に表れやすい。ところが、紅葉のシーンと夕景のシーンは、共に赤みが強いという特徴を有している。このため、例えば夕景部分サブ識別器７１で識別を行う場合、例えば座標（５，４）の部分領域が紅葉のシーンであっても、夕景のシーンであると誤識別する可能性が高くなる。紅葉部分サブ識別器７３で識別を行う場合も同様に、例えば座標（５，４）の部分領域が夕景のシーンであっても、紅葉のシーンであると誤識別する可能性が高くなる。これにより、夕景のシーンおよび紅葉のシーンにおいて座標（５，４）の部分領域では、他の部分領域と比べて、存在確率は高いが、正答率は低くなっている。

このように、正答率の高さの順位は、存在確率の高さの順位とは異なる。つまり、画像全体領域内において、相対的に、存在確率が高くても、正答率の低い部分領域があり、逆に存在確率が低くても、正答率の高い部分領域があることになる。

＜部分画像の識別順序について＞
本実施形態の各部分サブ識別器の部分評価部では、存在確率と正答率とを部分領域毎に乗算した乗算値に基づき、特定のシーンに属するか否かの評価の対象となる部分画像を定める。例えば、乗算値の高い部分領域に対応する部分画像から、特定のシーンに属するか否かの評価を行う。なお、前述したように、本実施形態の各部分評価部は、部分特徴量に基づいて部分画像が特定のシーンに属するか否かを識別する。

図１３Ｃは、夕景のシーンでの各部分領域毎の存在確率（図１３Ａ）と正答率（図１３Ｂ）を乗算して得られた乗算値を示すデータ（以下、乗算値情報ともいう）であり、図１３Ｄは、各部分領域に対する乗算値の順位を示すデータ（以下、乗算値順位情報ともいう）である。なお、乗算値情報は、存在確率と正答率とを部分領域毎に演算した演算値を示す演算値情報に相当し、乗算値順位情報は、演算値の高さの順位を示す演算値順位情報に相当する。

また、図１４Ｃは、花のシーンの存在確率（図１４Ａ）と正答率（図１４Ｂ）を部分領域毎に乗算した乗算値情報であり、図１４Ｄは、その乗算値順位情報である。また、図１５Ｃは、紅葉のシーンの存在確率（図１５Ａ）と正答率（図１５Ｂ）を乗算した乗算値情報であり、図１５Ｄは、その乗算値順位情報である。これらの各特定のシーンに対する乗算値情報及び乗算値順位情報の何れか一方は、選択情報としてメモリ３７の選択情報記憶部３７ｋに記憶されている。そして、選択情報は、各座標を示す値と対応付けられたテーブルデータとして選択情報記憶部３７ｋに記憶されている。なお、図１３Ｄ、図１４Ｄ、図１５Ｄでは、存在確率と正答率の乗算値の高い部分領域の分布を判りやすくするため、それぞれ乗算値の高い上位１０個（１位〜１０位）を濃い灰色で塗り潰し、次の１０個（１１位〜２０位）を薄い灰色で塗り潰している。

各部分サブ識別器の部分評価部は、選択情報記憶部３７ｋから読み出される選択情報に基づいて、存在確率と正答率との乗算値の高い部分領域に対応する部分画像から順に識別を行う。例えば、夕景部分サブ識別器７１にて識別を行う場合には、夕景のシーンの選択情報（図１３Ｃに示す乗算値情報及び図１３Ｄに示す乗算値順位情報の何れか一方）に基づいて、夕景のシーンにおける乗算値の最も高い座標（１，３）の部分画像が最初に選択される。そして、座標（１，３）の部分画像の識別処理後には、２番目に乗算値の高い座標（２，４）の部分画像が選択される。以下、同様に乗算値の高い順に部分画像が選択され、最後（６４番目）には、最も乗算値の低い座標（５，８）の部分画像が選択される。

また、花識別器７２にて識別を行う場合には、花のシーンの選択情報（図１４Ｃ及び図１４Ｄの何れか一方）に基づいて、花のシーンに対する存在確率と正答率との乗算値の高い部分領域に対応する部分画像から順に選択される。また、紅葉識別器７３にて識別を行う場合には、紅葉のシーンの選択情報（図１５Ｃ及び図１５Ｄの何れか一方）に基づいて、紅葉のシーンに対する存在確率と正答率との乗算値の高い部分領域に対応する部分画像から順に選択される。

このように、本実施形態の各部分サブ識別器の部分評価部では、複数の部分画像の中から評価対象となる部分画像を定めるに際し、特定のシーンの特徴が表れる確率である存在確率と、評価結果が正しい確率である正答率とが加味される。例えば、部分評価部では、存在確率と正答率との乗算値の高い部分領域に対応する部分画像から順に、評価及び識別を行っている。言い換えれば、各部分サブ識別器において、対応する特定のシーンの特徴が表れる確率が高く、且つ、その特定のシーンであると識別した識別結果が正しい確率の高い、部分領域に対応する部分画像から順に、評価と識別を行っている。これにより、適切な部分画像を対象にでき、肯定閾値に達するまでに要する部分画像の識別等の回数を減少させることができる。よって、識別等の処理にかかる時間を短縮することができる。従って、シーンの識別処理の速度を向上させることができる。また、本実施形態では、選択情報記憶部３７ｋに、識別対象となる特定のシーンの種類毎に選択情報が予め記憶されている。これにより、特定のシーンの種類毎に適した順に識別が行われることとなり、各特定のシーンに対する識別を効率的に行うことができる。

本実施形態の部分画像識別器３０Ｇでは、まず、夕景部分サブ識別器７１で識別が行われる。夕景部分サブ識別器７１の夕景用部分サポートベクターマシン７１ａは、選択情報に基づいて選択された部分画像の部分特徴量に基づいて識別関数値を取得する。すなわち部分画像の評価をする。夕景検出数カウンタ７１ｂは、夕景用部分サポートベクターマシン７１ａで取得される識別関数値が正となる識別結果を検出画像数としてカウントする。すなわち評価値を記憶する。夕景判断部７１ｃは、夕景検出数カウンタ７１ｂの検出画像数に応じて識別対象画像が夕景のシーンに属するか否かを判断する。この識別の結果、識別対象画像が夕景のシーンに属することを判別できなかった場合、夕景判断部７１ｃは、後段の花部分サブ識別器７２の花判断部７２ｃに、花用部分サポートベクターマシン７２ａと花検出数カウンタ７１ｂを用いて、各部分画像が花のシーンに属するか否かを識別させる。さらに、この識別の結果、識別対象画像が花のシーンに属することを判別できなかった場合、花判断部７２ｃは、後段の紅葉部分サブ識別器７３の紅葉判断部７３ｃに、紅葉部分サポートベクターマシン７２ａと紅葉検出数カウンタ７１ｂを用いて、各部分画像が紅葉のシーンに属するか否かを識別させる。

このように、部分画像識別器３０Ｇの各判断部は、或る部分評価部による評価値に基づいて、前記識別対象画像が或る特定のシーンに属することを判断できなかった場合に、他の部分評価部に当該識別対象画像の評価を行わせている。言い換えれば、各判断部は、或る部分評価部を用いた識別に基づいて、識別対象画像が或る特定のシーンに属することを判断できなかった場合、他の部分評価部を用いて、識別対象画像が他の特定のシーンに属するか否かを識別させている。このように、識別を部分サブ識別器毎に行うように構成したので、識別の確実性を高めることができる。

＜統合識別器３０Ｈについて＞
統合識別器３０Ｈは、前述したように、全体識別器３０Ｆと部分画像識別器３０Ｇのそれぞれでシーンが確定されなかった識別対象画像について、シーンを識別する。この実施形態における統合識別器３０Ｈは、各全体サブ識別器（各サポートベクターマシン）で求められた確率情報に基づいてシーンを識別する。具体的には、統合識別器３０Ｈは、メモリ３７の確率情報記憶部３７ｆに全体識別器３０Ｆによる全体識別処理で記憶された複数の確率情報の中から、正の値の確率情報を選択的に読み出す。そして、読み出した確率情報の中から最も高い値を示すものを特定し、対応するシーンをその識別対象画像のシーンとする。このような統合識別器３０Ｈを設けることにより、属するシーンについての特徴がそれほど表れていない識別対象画像であっても、妥当なシーンに識別できる。すなわち、識別性を高めることができる。

＜結果記憶部３７ｊについて＞
結果記憶部３７ｊは、識別処理部３０Ｉによる識別対象の識別結果を記憶する。例えば、全体識別器３０Ｆや部分画像識別器３０Ｇによる識別結果に基づき、肯定フラグ記憶部３７ｈに肯定フラグが記憶された場合には、その識別対象が肯定フラグに対応するシーンに属する旨を記憶する。仮に、識別対象画像について、風景のシーンに属する旨を示す肯定フラグが設定された場合には、風景のシーンに属する旨の結果情報を記憶する。同様に、識別対象画像について、夕景のシーンに属する旨を示す肯定フラグが設定されていた場合には、夕景のシーンに属する旨の結果情報を記憶する。なお、全てのシーンについて否定フラグが記憶された識別対象画像については、その他のシーンに属する旨を示す結果情報を記憶する。結果情報記憶部３７ｊに記憶された識別結果は、事後の処理で参照される。この複合機１では、画像補正部３０Ｃ（図３を参照。）にて参照されて画像補正に使用される。例えば、識別されたシーンに応じて、コントラストや明るさ、カラーバランスなどが調整される。

＜画像識別処理について＞
次に、画像識別処理について説明する。この画像識別処理の実行において、プリンタ側コントローラ３０は、顔識別部３０Ａ、及び、シーン識別部３０Ｂ（特徴量取得部３０Ｅ、全体識別器３０Ｆ、部分画像識別器３０Ｇ、統合識別器３０Ｈ、結果記憶部３７ｊ）として機能する。この場合において、メインコントローラ３１のＣＰＵ３６はメモリ３７に記憶されたコンピュータプログラムを実行する。従って、画像識別処理をメインコントローラ３１の処理として説明する。そして、メインコントローラ３１によって実行されるコンピュータプログラムは、画像識別処理を実現するためのコードを有する。

図１６に示すように、メインコントローラ３１は、対象画像データを読み込み、顔画像の有無を判断する（Ｓ２１）。顔画像の有無は種々の方法で判断できる。例えば、メインコントローラ３１は、肌色の標準色の領域の有無、及び、この領域内における目画像及び口画像の有無に基づいて、顔画像の有無を判断する。本実施形態では、一定面積以上（例えば、２０×２０画素以上）の顔画像を検出対象とする。顔画像があると判断した場合、メインコントローラ３１は、識別対象画像における顔画像の面積の割合を取得し、この割合が所定の閾値（例えば３０％とする。）を超えているかを判断する（Ｓ２２）。そして３０％を超えていた場合、メインコントローラ３１は、識別対象画像を人物のシーンに識別する（Ｓ２２でＹＥＳ）。また、３０％を超えていなかった場合、メインコントローラ３１は、この識別対象画像を記念写真のシーンに識別する（Ｓ２２でＮＯ）。これらの識別結果は、結果記憶部３７ｊに記憶される。

識別対象画像中に顔画像が無かった場合（Ｓ２１でＮＯ）、メインコントローラ３１は、特徴量取得処理を行う（Ｓ２３）。特徴量取得処理では、対象画像データに基づいて特徴量が取得される。すなわち、識別対象画像の全体的な特徴を示す全体特徴量と、識別対象画像の部分的な特徴を示す部分特徴量とを取得する。なお、各特徴量の取得については既に説明したので（Ｓ１１〜Ｓ１５，図６を参照。）、ここでは説明を省略する。そして、メインコントローラ３１は、取得した各特徴量を、メモリ３７の特徴量記憶部３７ｅにそれぞれ記憶する。

特徴量を取得したならば、メインコントローラ３１は、シーン識別処理を行う（Ｓ２４）。このシーン識別処理において、メインコントローラ３１は、まず全体識別器３０Ｆとして機能し、全体識別処理（Ｓ２４ａ）を行う。この全体識別処理では、全体特徴量に基づく識別が行われる。そして、全体識別処理で識別対象画像の識別ができたならば、メインコントローラ３１は、識別対象画像のシーンを、識別されたシーンに決定する（Ｓ２４ｂでＹＥＳ）。例えば、全体識別処理で肯定フラグが記憶されたシーンに決定する。そして、識別結果を結果記憶部３７ｊに記憶する。全体識別処理でシーンが決定しなかった場合、メインコントローラ３１は、部分画像識別器３０Ｇとして機能し、部分画像識別処理を行う（Ｓ２４ｃ）。この部分画像識別処理では、部分特徴量に基づく識別が行われる。そして、部分画像識別処理で識別対象画像の識別ができたならば、メインコントローラ３１は、識別対象画像のシーンを識別されたシーンに決定し（Ｓ２４ｃでＹＥＳ）、識別結果を結果記憶部３７ｊに記憶する。なお、部分画像識別処理の内容については後で説明する。部分画像識別器３０Ｇでもシーンが決定しなかった場合、メインコントローラ３１は、統合識別器３０Ｈとして機能し、統合識別処理を行う（Ｓ２４ｅ）。この統合識別処理でメインコントローラ３１は、前述したように確率情報記憶部３７ｆから、全体識別処理で算出された確率情報のうち正の値のものを読み出し、最も値の大きい確率情報に対応するシーンに決定する。そして、統合識別処理で識別対象画像の識別ができたならば、メインコントローラ３１は、識別対象画像のシーンを、識別されたシーンに決定する（Ｓ２４ｆでＹＥＳ）。一方、統合識別処理でも識別対象画像の識別ができなかった場合（全体識別処理で算出された確率情報に正の値が無い場合）、および、全てのシーンについて否定フラグが記憶された場合には、その識別対象画像はその他のシーンに識別される（Ｓ２４ｆでＮＯ）。なお、統合識別器３０Ｈとしてのメインコントローラ３１は、統合処理において、まず、全てのシーンについて否定フラグが記憶されているかを判断する。そして、全てのシーンについて否定フラグが記憶されていると判断した場合には、この判断に基づいてその他のシーンに識別する。この場合、否定フラグの確認だけで処理ができるので、処理の高速化が図れる。

＜部分画像識別処理について＞
次に、部分画像識別処理について説明する。前述したように、この部分画像識別処理は、全体識別処理で識別対象画像の識別ができなかった場合に行なわれるものである。従って、部分画像識別処理が行われる段階で、肯定フラグ記憶部３７ｈには肯定フラグが記憶されていないことになる。また、全体識別処理で識別対象画像が属さないと判断されたシーンには、否定フラグ記憶部３７ｉの対応する領域に否定フラグが記憶されている。また、選択情報記憶部３７ｋには、複数のサンプル画像を用いて求められた存在確率と正答率を部分領域毎に乗算した乗算値を示す乗算値情報（図１３Ｃ、図１４Ｃ、図１５Ｃ参照）及び複数の部分領域に対する乗算値の順位を示す乗算値順位情報（図１３Ｄ、図１４Ｄ、図１５Ｄ参照）の何れか一方が、特定のシーン毎に予め記憶されている。

図１７に示すように、メインコントローラ３１は、まず、識別を行う部分サブ識別器を選択する（Ｓ３１）。本実施形態の部分画像識別器３０Ｇでは、図５に示すように、夕景部分サブ識別器７１、花部分サブ識別器７２、紅葉部分サブ識別器７３の順に優先度が定められている。従って、初回の選択処理では、最も優先度の高い夕景部分サブ識別器７１が選択される。そして、夕景部分サブ識別器７１による識別が終了すると、２番目に優先度の高い花部分サブ識別器７２が選択され、花部分サブ識別器７２の次には最も優先度の低い紅葉部分サブ識別器７３が選択される。

部分サブ識別器を選択したならば、メインコントローラ３１は、選択した部分サブ識別器で識別するシーンが、識別処理の対象となるシーンであるかを判断する（Ｓ３２）。この判断は、全体識別器３０Ｆによる全体識別処理で否定フラグ記憶部３７ｉに記憶された否定フラグに基づいて行われる。これは、全体識別器３０Ｆで肯定フラグが設定されると、全体識別処理でシーンが確定し、部分画像処理は行われないのと、後述するように、部分画像処理で肯定フラグが記憶されると、シーンが確定し、識別処理が終了するからである。識別処理の対象でないシーン、すなわち全体識別処理で否定フラグが設定されたシーン、である場合には、識別処理がスキップされる（Ｓ３２でＮＯ）。このため、無駄な識別処理を行わなくて済み、処理の高速化が図れる。

一方、ステップＳ３２で処理の対象であると判断された場合（Ｓ３２でＹＥＳ）、メインコントローラ３１は、選択情報記憶部３７ｋから、対応する特定のシーンの選択情報を読み出す（Ｓ３３）。ここで、選択情報記憶部３７ｋから取得した選択情報が乗算値情報の場合、メインコントローラ３１は、例えば部分画像の各座標を示す値を各乗算値の値と対応付けたまま、乗算値の高い順に並び替え（ソート）を行う。一方、選択情報記憶部３７ｋに乗算値順位情報が記憶されている場合には、順位情報の高い順に並び替えを行う。次に、メインコントローラ３１は、部分画像の選択を行う（Ｓ３４）。選択情報が乗算値情報の場合、メインコントローラ３１は、乗算値が最も高い座標に対応する部分画像から順に選択を行う。また、選択情報が乗算値順位情報の場合、順位が最も高い座標に対応する部分画像から順に選択を行う。これにより、ステップＳ３４では、識別処理が行われていない部分画像のうち、存在確率と正答率との乗算値が最も高い部分領域に対応する部分画像が選択されることになる。

そして、メインコントローラ３１は、選択した部分画像の部分画像データに対応した部分特徴量をメモリ３７の特徴量記憶部３７ｅから読み出す。この部分特徴量に基づいて、部分サポートベクターマシンによる演算が行われる（Ｓ３５）。言い換えれば、部分特徴量に基づき、部分画像に対する確率情報の取得が行われる。なお、本実施形態では、部分特徴量のみでなく全体特徴量も特徴量記憶部３７ｅから読み出し、全体特徴量を加味して演算を行うようにしている。このとき、メインコントローラ３１は、処理対象のシーンに対応する部分評価部として機能し、部分色平均、及び、部分色分散などに基づく演算により、確率情報としての識別関数値を取得する。そして、メインコントローラ３１は、取得した識別関数値によって部分画像が特定のシーンに属するか否かの識別を行う（Ｓ３６）。具体的には、取得した或る部分画像に対する識別関数値が正の値である場合には、その部分画像を特定のシーンに属すると識別する(Ｓ３６でＹＥＳ)。そして、対応する識別用カウンタのカウント値（検出画像数）をカウントアップ（＋１）する（Ｓ３７）。また、識別関数値が正の値でなかった場合には、その部分画像が特定のシーンに属さないと識別し、識別用カウンタのカウント値はそのままとする（Ｓ３６でＮＯ）。このように、識別関数値を取得することにより、部分画像が特定のシーンに属するか否かの識別を、識別関数値が正であるか否かに応じて行うことができる。

部分画像に対する確率情報の取得及びカウンタの処理を行ったならば、メインコントローラ３１は、各判断部として機能し、検出画像数が肯定閾値より大であるかを判断する（Ｓ３８）。例えば、図１０に示す肯定閾値がメモリ３７の制御用パラメータ３７ｂに記憶され、夕景部分サブ識別器７１で識別が行われる場合、夕景判断部７１ｃは検出画像数が値[５]を超えると、識別対象画像が夕景のシーンであると判断し、夕景のシーンに対応する肯定フラグを肯定フラグ記憶部３７ｈに記憶する（Ｓ３９）。また、花部分サブ識別器７２で識別が行われる場合、花判断部７２ｃは検出画像数が値[９]を超えた場合に、識別対象画像が花のシーンであると判断し、花のシーンに対応する肯定フラグを肯定フラグ記憶部３７ｈに記憶する。肯定フラグを記憶すると、残りの識別処理は行わず識別の処理を終了する。

検出画像数が、肯定閾値よりも大でない場合（Ｓ３８でＮＯ）には、識別を行った部分画像が最後のものであるかを判断する（Ｓ４０）。例えば図７のように識別対象となる部分画像が６４個の場合、６４番目のものであるかを判断する。この判断は、識別を行った部分画像の個数に基づいて行うことができる。

ここで、まだ最後でないと判断した場合（Ｓ４０でＮＯ）には、ステップＳ３４に移行して、存在確率情報及び存在確率順位情報の何れか一方に基づいて、次に乗算値の高い座標の領域に対応する部分画像、つまり、識別処理が行われていない部分画像のうち最も乗算値の高い部分領域に対応する部分画像について、前述した処理を繰り返し行う。一方、ステップＳ４０で最後であると判断された場合（Ｓ４０でＹＥＳ）、或いは、ステップＳ３２で処理対象と判断されなかった場合（Ｓ３２でＮＯ）には、次の部分サブ識別器の有無を判断する（Ｓ４１）。ここでは、メインコントローラ３１は、最も優先度の低い紅葉部分サブ識別器７３まで処理が終わったかを判断する。そして、紅葉部分サブ識別器７３まで処理が終わっている場合には、次の識別器は無いと判断し（Ｓ４１でＮＯ）、一連の部分識別処理を終了する。一方、紅葉識別器７３まで処理が終わっていないと判断した場合（Ｓ４１でＹＥＳ）、次に優先度の高い部分サブ識別器を選択し（Ｓ３１）、前述した処理を繰り返し行う。

なお、前述した実施形態では、識別関数値に応じて特定のシーンに属すると識別された部分画像の個数を、各部分サブ識別器の検出数カウンタを用いてカウントすることとしたが、識別関数値そのものを、検出数カウンタを用いて加算（カウント）するようにしてもよい。そして、肯定閾値を識別関数用に設定しておき、識別関数値の加算値と、識別関数値用の肯定閾値との比較に応じて、識別対象画像が特定のシーンに属するか否かを、対応する判断部で判断するようにしてもよい。この場合、識別関数値の加算値が、部分評価部によって得られた評価値となる。

また、前述した実施形態では、部分画像の識別に関し、選択情報記憶部３７ｋに記憶された選択情報に基づき、存在確率と正答率の乗算値が高い部分領域から順に、部分画像の識別を行っていた。このように構成すると、複数の部分領域の中から、対象となるシーンの特徴が表れ易く、かつ、正確な評価が得られる部分領域を、優先順位をつけて効率よく選択できるという利点を有する。しかし、部分領域の選択は、この例に限定されるものではない。要するに、存在確率と正答率の演算値に基づいて定められた部分領域が選択されていればよい。例えば、存在確率と正答率の演算値が所定の閾値以上の部分領域を対象にして、部分画像の識別を行うようにしてもよい。このように構成しても、対象となるシーンの特徴が表れ易く、かつ、正確な評価が得られる部分領域を対象に識別を行うことができる。また、演算値としては、例えば、存在確率と正答率にそれぞれ重み付けを与えて加算した重み付け和を用いてもよい。例えば、部分領域の存在確率の値（Ｅとする）と正答率の値（Ｐとする）に対する重み付け係数をそれぞれａ、ｂとしたとき、重み付け和は、（ａ×Ｅ＋Ｂ×Ｐ）で表される。この重み付け和を各部分領域毎に求めて、その値の高い順に、部分領域を選択するようにしてもよい。要するに、存在確率と正答率を用いた演算値に基づいて部分領域を選択するようにすればよい。この場合においても、対象となるシーンが表れやすく、かつ、正確な評価が得られる部分領域を優先的に選択することができる。

＜まとめ＞
本実施形態における各部分サブ識別器の部分評価部は、メモリ３７の選択情報記憶部３７から読み出される選択情報（乗算値情報及び乗算値順位情報の何れか一方）に基づいて、存在確率と正答率の乗算値の高い部分領域に対応する部分画像から順に、特定のシーンに属するか否かの評価を行っている。これによりシーン識別処理の速度を向上させることができる。

また、部分画像識別器３０Ｇの各判断部は、各検出数カウント部で得られる検出画像数が肯定閾値を越えた場合に識別対象画像が特定のシーンに属すると判断しているので、肯定閾値の設定によって識別精度を調整することができる。

また、メモリ３７の選択情報記憶部３７ｋには、選択情報としての乗算値情報又は乗算値順位情報が、識別対象となる特定のシーンの種類毎（例えば、夕景、花、紅葉毎）に記憶されている。これにより、各特定のシーン毎における識別処理を効率的に行うことができる。

また、部分画像識別器３０Ｇは、識別対象となる特定のシーンの種類毎に部分評価部（部分サポートベクターマシン及び検出数カウンタ）を有している。これにより、部分評価部毎に特性を最適化でき、部分画像識別器３０Ｇにおける識別性を向上させることができる。さらに、複数の特定のシーンに対して肯定閾値がそれぞれ設定されている。これにより、各部分サブ識別器において特定のシーンにそれぞれ適した識別を行うことができる。

また、部分画像識別器３０Ｇでは、前段の部分サブ識別器の部分評価部（部分サポートベクターマシン，検出数カウンタ）による評価結果が、対象となるシーンに属する旨のものでなかった場合に、後段の部分サブ識別器の部分評価部によって評価を行う。これにより、部分サブ識別部毎に評価を行えるので、評価の確実性を高めることができる。

また、各部分サポートベクターマシンの演算において、部分特徴量に加え、全体特徴量を加味している。このように、部分特徴量に全体特徴量を加味して演算を行うことで、識別精度をより高めることができる。

また、構図の異なる複数のサンプル画像を用いて各部分領域毎の存在確率および正答率をそれぞれ求めているので、存在確率および正答率の精度を高めることができる。

＝＝＝その他の実施形態＝＝＝
前述した実施形態において、識別対称は画像データに基づく画像であり、識別装置は複合機１である。ここで、画像を識別対象とする識別装置は、複合機１に限定されるものではない。例えば、デジタルスチルカメラＤＣ、スキャナ、画像処理用のコンピュータプログラム（例えば、レタッチソフトウェア）を実行可能なコンピュータであってもよい。また、画像データに基づく画像を表示可能な画像表示装置、画像データを記憶する画像データ記憶装置であってもよい。

また、前述した実施形態は、識別対象画像のシーンを識別する複合機１について記載されているが、その中には、シーン識別装置、シーン識別方法、識別したシーンを利用する方法（例えば、シーンに基づく画像補正方法、印刷方法及び液体吐出方法）、コンピュータプログラム、コンピュータプログラムやコードを記憶した記憶媒体等の開示も含まれる。

また、識別器に関し、前述した実施形態では、サポートベクターマシンを例示したが、識別対象画像のシーンを識別できるものであれば、サポートベクターマシンに限られない。例えば、識別器として、ニューラルネットワークを用いてもよいし、アダブーストを用いてもよい。

複合機１及びデジタルスチルカメラを説明する図である。 図２Ａは、複合機１が有する印刷機構の構成を説明する図である。図２Ｂは、メモリが有する記憶部を説明する図である。 プリンタ側コントローラによって実現される機能を説明するブロック図である。 シーン識別部の概略構成を説明する図である。 シーン識別部の具体的な構成を説明する図である。 部分特徴量の取得を説明するフローチャートである。 部分画像を説明するための図である。 線形サポートベクターマシンを説明するための図である。 非線形サポートベクターマシンを説明するための図である。 肯定閾値を説明するための図である。 実際のシーンと識別結果の一例を示した図である。 存在確率、正答率の算出方法を説明するための図である。 図１３Ａは、夕景のシーンの存在確率を示す図である。図１３Ｂは、夕景のシーンの正答率を示す図である。図１３Ｃは、夕景のシーンの乗算値情報を示す図である。図１３Ｄは、夕景のシーンの乗算値順位情報を示す図である。 図１４Ａは、花のシーンの存在確率を示す図である。図１４Ｂは、花のシーンの正答率を示す図である。図１４Ｃは、花のシーンの乗算値情報を示す図である。図１４Ｄは、花のシーンの乗算値順位情報を示す図である。 図１５Ａは、紅葉のシーンの存在確率を示す図である。図１５Ｂは、紅葉のシーンの正答率を示す図である。図１５Ｃは、紅葉のシーンの乗算値情報を示す図である。図１５Ｄは、紅葉のシーンの乗算値順位情報を示す図である。 画像識別処理を説明するためのフローチャートである。 部分画像識別処理を説明するためのフローチャートである。

符号の説明

１ 複合機，１０ 画像読み取り部，２０ 画像印刷部，
３０ プリンタ側コントローラ，３０Ａ 顔識別部，３０Ｂ シーン識別部，
３０Ｃ 画像補正部，３０Ｄ 機構制御部，３０Ｅ 特徴量取得部，
３０Ｆ 全体識別器，３０Ｇ 部分画像識別器，３０Ｈ 統合識別器，
３０Ｉ 識別処理部，３１ メインコントローラ，３２ 制御ユニット，
３３ 駆動信号生成部，３４ インタフェース，３５ メモリ用スロット，
３６ ＣＰＵ，３７ メモリ，３７ａ プログラム記憶部，
３７ｂ パラメータ記憶部，３７ｃ 画像記憶部，３７ｄ 付属情報記憶部，
３７ｅ 特徴量記憶部，３７ｆ 確率情報記憶部，３７ｇ カウンタ部，
３７ｈ 肯定フラグ記憶部，３７ｉ 否定フラグ記憶部，３７ｊ 結果記憶部，
３７ｋ 選択情報記憶部，４０ 印刷機構，４１ モータ，４２ センサ，
４３ ヘッド制御部，４４ ヘッド，
５１ 部分特徴量取得部，５２ 全体特徴量取得部，
６１ 風景識別器，６１ａ 風景用サポートベクターマシン，
６１ｂ 風景用判断部，６２ 夕景識別器，
６２ａ 夕景用サポートベクターマシン，６２ｂ 夕景用判断部，
６３ 夜景識別器，６３ａ 夜景用サポートベクターマシン，
６３ｂ 夜景用判断部，６４ 花識別器，６４ａ 花用サポートベクターマシン，
６４ｂ 花用判断部，６５ 紅葉識別器，
６５ａ 紅葉用サポートベクターマシン，６５ｂ 紅葉用判断部，
７１ 夕景部分サブ識別器，７１ａ 夕景用部分サポートベクターマシン，
７１ｂ 夕景検出数カウンタ，７１ｃ 夕景判断部，７２ 花部分サブ識別器，
７２ａ 花用部分サポートベクターマシン，７２ｂ 花検出数カウンタ，
７２ｃ 花判断部，７３ 紅葉部分サブ識別器，
７３ａ 紅葉用部分サポートベクターマシン，７３ｂ 紅葉検出数カウンタ，
７３ｃ 紅葉判断部，ＤＣ デジタルスチルカメラ，
ＭＣ メモリカード，ＢＵ バス

Claims (13)

1. （Ａ）識別対象画像の一部を構成する部分画像の特徴を示す部分特徴量を取得する特徴量取得部と、
   （Ｂ）前記特徴量取得部で取得された前記部分特徴量に基づいて、前記部分画像が特定のシーンに属するか否かの評価を行う部分評価部と、
   （Ｃ）前記部分評価部によって得られた評価値に応じて、前記識別対象画像が前記特定のシーンに属するか否かを判断する判断部と、
   （Ｄ）画像全体領域内の部分領域毎に、
   （Ｄ１）当該部分領域に前記特定のシーンの特徴が表れる確率である存在確率と、
   当該部分領域に対応する前記部分画像が前記特定のシーンに属することを示す評価結果が前記部分評価部によって得られた場合に、前記評価結果が正しい確率である正答率とを、
   演算した演算値を示す演算値情報、及び、
   （Ｄ２）前記演算値の高さの順位を示す演算値順位情報、
   （Ｄ３）の何れか一方が記憶される記憶部と、
   （Ｅ）を備えたシーン識別装置であって、
   （Ｆ）前記部分評価部は、
   前記記憶部から読み出される前記演算値情報及び前記演算値順位情報の何れか一方に基づいて定めた前記部分画像について、評価を行う、シーン識別装置。
2. 請求項１に記載のシーン識別装置であって、
   前記部分評価部は、
   前記演算値の高い前記部分領域に対応する前記部分画像から順に評価を行う、シーン識別装置。
3. 請求項１または２に記載のシーン識別装置であって、
   前記演算値は、
   前記部分領域毎に前記存在確率と前記正答率とを乗算した値である、シーン識別装置。
4. 請求項１から３の何れかに記載のシーン識別装置であって、
   前記正答率は、
   複数のサンプル画像における、或る部分領域の部分画像について、
   前記特定のシーンに属することを示す評価結果が得られた部分画像の個数に対する、実際に前記特定のシーンに属する部分画像の個数の比率である、シーン識別装置。
5. 請求項１から４の何れかに記載のシーン識別装置であって、
   前記判断部は、
   前記特定のシーンに属することを示す評価結果が得られた部分画像の個数が、所定の閾値を超えた場合に、
   前記識別対象画像が前記特定のシーンに属すると判断する、シーン識別装置。
6. 請求項１から５の何れかに記載のシーン識別装置であって、
   前記記憶部には、前記演算値情報及び前記演算値順位情報のいずれか一方が、識別対象となる前記特定のシーンの種類毎に記憶される、シーン識別装置。
7. 請求項６に記載のシーン識別装置であって、
   前記特定のシーンの種類毎に前記部分評価部を有し、
   各々の前記部分評価部は、
   前記特定のシーンに対応して前記記憶部から読み出される前記演算値情報及び前記演算値順位情報のいずれか一方に基づき定められた前記部分画像について、評価を行う、シーン識別装置。
8. 請求項７に記載のシーン識別装置であって、
   複数の前記特定のシーンに対して、所定の閾値がそれぞれ設定され、
   前記判断部は、
   前記特定のシーンに属することを示す評価結果が得られた部分画像の個数が、当該特定のシーンに設定された前記所定の閾値を超えた場合に、
   前記識別対象画像が当該特定のシーンに属すると判断する、シーン識別装置。
9. 請求項７または８に記載のシーン識別装置であって、
   前記判断部は、
   或る部分評価部による評価値に基づいて、前記識別対象画像が或る特定のシーンに属することを判断できなかった場合に、
   他の部分評価部に当該識別対象画像の評価を行わせる、シーン識別装置。
10. 請求項１から９の何れかに記載のシーン識別装置であって、
    前記特徴量取得部は、
    前記識別対象画像の特徴を示す全体特徴量をさらに取得し、
    前記部分評価部は、
    前記部分特徴量と前記全体特徴量とに基づいて、前記部分画像が前記特定のシーンに属するか否かを識別する、シーン識別装置。
11. （Ａ）画像全体領域内の部分領域毎に、
    （Ａ１）当該部分領域に前記特定のシーンの特徴が表れる確率である存在確率と、
    当該部分領域に対応する前記部分画像が前記特定のシーンに属することを示す評価結果が得られた場合に、前記評価結果が正しい確率である正答率とを、
    演算した演算値を示す演算値情報、及び、
    （Ａ２）前記演算値の高さの順位を示す演算値順位情報、
    （Ａ３）の何れか一方を求めるステップと、
    （Ｂ）識別対象画像の一部を構成する部分画像の特徴を示す部分特徴量を取得するステップと、
    （Ｃ）前記部分画像が前記特定のシーンに属するか否かの、前記部分特徴量に基づく評価を、前記演算値情報及び前記演算値順位情報の何れか一方に基づいて定めた前記部分画像について行うステップと、
    （Ｄ）前記評価に応じて、前記識別対象画像が前記特定のシーンに属するか否かを判断するステップと、
    を有するシーン識別方法。
12. 請求項１１に記載のシーン識別方法であって、
    複数のサンプル画像を用いて、前記画像全体領域内の前記部分領域毎に、前記存在確率を求めるステップを有するシーン識別方法。
13. 請求項１１または１２に記載のシーン識別方法であって、
    複数のサンプル画像における、或る部分領域に対応する部分画像について、当該部分画像が特定のシーンに属するか否かの評価を行ない、
    前記特定のシーンに属することを示す評価結果が得られた部分画像の個数に対する、実際に前記特定のシーンに属する部分画像の個数の比率を求めることで、
    前記正答率を求めるステップを有するシーン識別方法。