JP2009044249A - 画像識別方法、画像識別装置及びプログラム - Google Patents

Abstract

【課題】誤識別を防止しつつ識別処理の速度を向上させる。
【解決手段】
画像データの示す画像が特定のシーンに属する確率に応じた値になる評価値と、前記シーンに予め定められた閾値とを比較し、前記評価値に対応する前記確率が、前記閾値に対応する確率よりも大きい場合に、前記画像が前記シーンに属すると識別する識別処理を、複数の前記シーン毎に順に行い、ある前記識別処理で前記画像が当該識別処理に対応する前記シーンに属すると識別されると、まだ行われていない前記識別処理が省略され、前記識別処理の結果に基づいて前記画像の属するシーンを識別する画像識別方法において、前記画像データに付加されている付加データから、前記画像が属する前記シーンに関するシーン情報を取得し、対応する前記確率が下がるように、前記シーン情報の示す前記シーンの前記閾値を変更する。
【選択図】図２２

Description

本発明は、画像識別方法、画像識別装置及びプログラムに関する。

デジタルスチルカメラには撮影モードを設定するモード設定ダイヤルを持つものがある。ユーザがダイヤルで撮影モードを設定すると、デジタルスチルカメラは、撮影モードに応じた撮影条件（露光時間等）を決定し、撮影を行う。撮影が行われると、デジタルスチルカメラは、画像ファイルを生成する。この画像ファイルには、撮影した画像の画像データに撮影時の撮影条件等の付加データが付加されている。

この付加データを用いて、画像データに画像処理することが行われている。例えば、プリンタが画像ファイルに基づいて印刷を行うとき、付加データの示す撮影条件（例えばシーンの情報：以下シーン情報ともいう）に応じて画像データを補正し、補正した画像データに従って印刷することが行われている（特許文献１参照）。しかし、付加データが常に正しいとは限らない。例えば、ユーザが撮影時にモード設定ダイヤルを誤って設定したり、モード設定ダイヤルの設定を忘れて以前の撮影条件のまま撮影したりする場合もある。

そこで、画像データを解析することによって、画像データの示す画像のシーンを識別することも行われている（特許文献２、３参照）。
特開２００１−２３８１７７号公報 特開平１０−３０２０６７号公報 特開２００６−５１１０００号公報

画像データの示す画像が特定のシーンに属するか否かを識別する識別処理を、シーン毎に順に行うことによって、画像の属するシーンを識別する画像識別方法がある。このように、複数の識別処理を順に行う場合、ある識別処理で画像の属するシーンが特定されると、まだ行われていない識別処理を省略するようにすれば、識別処理の速度を速められると考えられる。なお、各シーンの識別処理は、画像が特定のシーンに属する確率に応じた値になる評価値と、そのシーンに予め定められた閾値（肯定閾値）との比較によって行うことができる。この評価値としては、例えば、画像が特定のシーンに属する確率を示す値（確信度）がある。

上述した画像識別方法において、誤識別を防止するために各シーンの肯定閾値が高めに定められると、識別処理の速度が低下するおそれがある。しかし、各シーンの肯定閾値を単に下げたのでは、誤識別をするおそれがある。

本発明は、上記のような課題に鑑みてなされたものであり、その目的は、誤識別を防止しつつ識別速度の向上を図ることにある。

前記目的を達成するための主たる発明は、画像データの示す画像が特定のシーンに属する確率に応じた値になる評価値と、前記シーンに予め定められた閾値とを比較し、前記評価値に対応する前記確率が、前記閾値に対応する確率よりも大きい場合に、前記画像が前記シーンに属すると識別する識別処理を、複数の前記シーン毎に順に行い、ある前記識別処理で前記画像が当該識別処理に対応する前記シーンに属すると識別されると、まだ行われていない前記識別処理が省略され、前記識別処理の結果に基づいて前記画像の属するシーンを識別する画像識別方法において、前記画像データに付加されている付加データから、前記画像が属する前記シーンに関するシーン情報を取得し、対応する前記確率が下がるように、前記シーン情報の示す前記シーンの前記閾値を変更する、ことを特徴とする。
本発明の他の特徴は、本明細書、及び添付図面の記載により、明らかにする。

＝＝＝開示の概要＝＝＝
本明細書及び添付図面の記載により、少なくとも以下の事項が明らかになる。

すなわち、画像データの示す画像が特定のシーンに属する確率に応じた値になる評価値と、前記シーンに予め定められた閾値とを比較し、前記評価値に対応する前記確率が、前記閾値に対応する確率よりも大きい場合に、前記画像が前記シーンに属すると識別する識別処理を、複数の前記シーン毎に順に行い、ある前記識別処理で前記画像が当該識別処理に対応する前記シーンに属すると識別されると、まだ行われていない前記識別処理が省略され、前記識別処理の結果に基づいて前記画像の属するシーンを識別する画像識別方法において、前記画像データに付加されている付加データから、前記画像が属する前記シーンに関するシーン情報を取得し、対応する前記確率が下がるように、前記シーン情報の示す前記シーンの前記閾値を変更する、ことを特徴とする画像識別方法が明らかになる。
このような画像識別方法によれば、誤識別を防止しつつシーンの識別処理の速度を向上させることができる。

かかる画像識別方法であって、前記シーン情報の示すシーン毎に、前記閾値を変更する値がそれぞれ定められていることが好ましい。
このような画像識別方法によれば、シーン毎に識別精度と識別処理の速度を調整することができる。

かかる画像識別方法であって、前記画像が前記シーン情報の示す前記シーンに属すると識別されない場合、前記評価値と、前記閾値とは別の閾値との比較が行われ、その比較結果に応じて、前記シーン情報の示す前記シーンに対応する前記識別処理とは別の識別処理が省略されることが好ましい。
このような画像識別方法によれば、識別処理の速度を向上させることができる。

かかる画像識別方法であって、前記識別処理は、前記画像の全体の特徴を示す全体特徴量に基づいて、前記画像が特定のシーンに属することを複数の前記シーン毎に順に識別する全体識別処理と、前記全体識別処理において前記画像データの示す画像のシーンを識別できない場合に、前記画像の部分の特徴を示す部分特徴量に基づいて、前記画像が特定のシーンに属することを複数の前記シーン毎に順に識別する部分識別処理と、を有し、前記シーン情報に応じて、前記全体識別処理及び前記部分識別処理の少なくとも一方の前記シーンに対応する前記閾値を変更することが好ましい。
このような画像識別方法によれば、全体識別処理又は部分識別処理において処理の速度を速めることができる。

かかる画像識別方法であって、前記全体識別処理における前記評価値は、前記全体特徴量に基づいて算出された値であって、前記画像データの示す前記画像が前記特定のシーンに属する確率を示す値であることが好ましい。
このような画像識別方法によれば、全体識別処理による識別精度を高めることができる。

かかる画像識別方法であって、前記部分識別処理における前記評価値は、前記部分特徴量に基づいて前記部分に対応する部分画像が前記特定のシーンに属するか否かを評価した評価結果を、前記部分画像毎に加算した値であることが好ましい。
このような画像識別方法によれば、部分識別処理による識別精度を高めることができる。

かかる画像識別方法であって、前記シーン情報の示す前記シーンに対応する前記識別処理の順番を先にすることが好ましい。
このような画像識別方法によれば、識別処理の速度をより向上させることができる。

また、画像データの示す画像が特定のシーンに属する確率に応じた評価値と、前記シーンに予め定められた閾値とを比較し、前記評価値に対応する前記確率が、前記閾値に対応する確率よりも大きい場合に前記画像が前記シーンに属すると識別する識別処理を、複数の前記シーン毎に順に行い、ある前記識別処理で前記画像が当該識別処理に対応する前記シーンに属すると識別すると、まだ行われていない前記識別処理を省略し、前記識別処理の結果に基づいて前記画像の属するシーンを識別するコントローラを備えた画像識別装置であって、前記コントローラは、前記画像データに付加されている付加データから、前記画像が属する前記シーンに関するシーン情報を取得し、対応する前記確率が下がるように、前記シーン情報の示す前記シーンの前記閾値を変更する、ことを特徴とする画像識別装置が明らかとなる。

また、画像識別装置に、画像データの示す画像が特定のシーンに属する確率に応じた値になる評価値と、前記シーンに予め定められた閾値とを比較させ、前記評価値に対応する前記確率が前記閾値に対応する確率よりも大きい場合に、前記画像が前記シーンに属すると識別する識別処理を、複数の前記シーン毎に順に行わせ、ある前記識別処理で前記画像が当該識別処理に対応する前記シーンに属すると識別されると、まだ行われていない前記識別処理を省略させ、前記識別処理の結果に基づいて前記画像の属するシーンを識別させるプログラムであって、前記画像識別装置に、前記画像データに付加されている付加データから、前記画像が属する前記シーンに関するシーン情報を取得させ、対応する前記確率が下がるように、前記シーン情報の示す前記シーンの前記閾値を変更させる、ことを特徴とするプログラムが明らかとなる。
＝＝＝全体構成＝＝＝
図１は、画像処理システムの説明図である。この画像処理システムは、デジタルスチルカメラ２と、プリンタ４とを備える。
デジタルスチルカメラ２は、被写体をデジタルデバイス（ＣＣＤなど）に結像させることによりデジタル画像を取得するカメラである。デジタルスチルカメラ２には、モード設定ダイヤル２Ａが設けられている。ユーザは、ダイヤル２Ａによって、撮影条件に応じた撮影モードを設定することができる。例えば、ダイヤル２Ａによって、「夜景」モードが設定されると、デジタルスチルカメラ２は、シャッター速度を遅くしたり、ＩＳＯ感度を高くしたりして、夜景撮影に適した撮影条件にて撮影を行う。
デジタルスチルカメラ２は、ファイルフォーマット規格に準拠して、撮影により生成した画像ファイルをメモリカード６に保存する。画像ファイルには、撮影した画像のデジタルデータ（画像データ）だけでなく、撮影時の撮影条件（撮影データ）等の付加データも保存される。画像ファイルの構成については後述する。
プリンタ４は、画像データの示す画像を紙に印刷する印刷装置である。プリンタ４には、メモリカード６を挿入するスロット２１が設けられている。ユーザは、デジタルスチルカメラ２で撮影した後、デジタルスチルカメラ２からメモリカード６を取り出し、スロット２１にメモリカード６を挿入することができる。

図２はプリンタ４の構成の説明図である。プリンタ４は、印刷機構１０と、この印刷機構１０を制御するプリンタ側コントローラ２０とを備える。印刷機構１０は、インクを吐出するヘッド１１と、ヘッド１１を制御するヘッド制御部１２と、紙を搬送するため等のモータ１３と、センサ１４とを有する。プリンタ側コントローラ２０は、メモリカード６からデータを送受信するためのメモリ用スロット２１と、ＣＰＵ２２と、メモリ２３と、モータ１３を制御する制御ユニット２４と、駆動信号（駆動波形）を生成する駆動信号生成部２５とを有する。
メモリカード６がスロット２１に挿入されると、プリンタ側コントローラ２０は、メモリカード６に保存されている画像ファイルを読み出してメモリ２３に記憶する。そして、プリンタ側コントローラ２０は、画像ファイルの画像データを印刷機構１０で印刷するための印刷データに変換し、印刷データに基づいて印刷機構１０を制御し、紙に画像を印刷する。この一連の動作は、「ダイレクトプリント」と呼ばれている。
なお、「ダイレクトプリント」は、メモリカード６をスロット２１に挿入することによって行われるだけでなく、デジタルスチルカメラ２とプリンタ４とをケーブル（不図示）で接続することによっても可能である。

＝＝＝画像ファイルの構造＝＝＝
メモリカード６に記憶される画像ファイルは、画像データと、付加データを有している。画像データは、複数の画素データから構成されている。画素データは、画素の色情報（階調値）を示すデータである。画素がマトリクス状に配置されることによって、画像が構成される。このため、画像データは、画像を示すデータである。付加データには、画像データの特性を示すデータや、撮影データや、サムネイル画像データ等が含まれる。

以下、画像ファイルの具体的な構造について説明する。
図３は、画像ファイルの構造の説明図である。図中の左側には画像ファイルの全体構成が示されており、右側にはＡＰＰ１領域の構成が示されている。
画像ファイルは、ＳＯＩ（Start of Image）を示すマーカで始まり、ＥＯＩ（End of Image）を示すマーカで終わる。ＳＯＩを示すマーカの後に、ＡＰＰ１のデータ領域の開始を示すＡＰＰ１マーカがある。ＡＰＰ１マーカの後ろのＡＰＰ１データ領域には、撮影データやサムネイル画像等の付加データが含まれている。また、ＳＯＳ（Start of Stream）を示すマーカの後には、画像データが含まれている。
ＡＰＰ１マーカの後、ＡＰＰ１のデータ領域のサイズを示す情報があり、ＥＸＩＦヘッダとＴＩＦＦヘッダが続き、ＩＤＦ領域となる。

各ＩＤＦ領域は、複数のディレクトリエントリと、次のＩＦＤ領域の位置を示すリンクと、データエリアとを有する。例えば、最初のＩＦＤ０（IFD of main image）では次のＩＦＤ１（IFD of thumbnail image）の位置がリンクされる。但し、ここでは、ＩＦＤ１の次のＩＦＤが存在しないので、ＩＦＤ１では他のＩＦＤへのリンクは行われない。各ディレクトリエントリには、タグとデータ部が含まれる。格納すべきデータ量が小さい場合にはデータ部に実際のデータがそのまま格納され、データ量が多い場合には実際のデータはＩＦＤ０データエリアに格納されて、データ部にはデータの格納場所を示すポインタが格納される。なお、ＩＦＤ０には、ＥｘｉｆＳｕｂＩＦＤの格納場所を意味するタグ（Exif IFD Pointer）と、ＥｘｉｆＳｕｂＩＦＤの格納場所を示すポインタ（オフセット値）とが格納されているディレクトリエントリがある。

ＥｘｉｆＳｕｂＩＦＤ領域は、複数のディレクトリエントリを有する。このディレクトリエントリにも、タグとデータ部が含まれる。格納すべきデータ量が小さい場合には、データ部に実際のデータが格納され、データ量が多い場合には、実際のデータはＥｘｉｆＳｕｂＩＦＤデータエリアに格納されて、データ部にはデータの格納場所を示すポインタが格納される。なお、ＥｘｉｆＳｕｂＩＦＤの中には、ＭａｋｅｒｎｏｔｅＩＦＤの格納場所を意味するタグと、ＭａｋｅｒｎｏｔｅＩＦＤの格納場所を示すポインタとが格納されている。

ＭａｋｅｒｎｏｔｅＩＦＤ領域は、複数のディレクトリエントリを有する。このディレクトリエントリにも、タグとデータ部が含まれる。格納すべきデータ量が小さい場合にはデータ部に実際のデータがそのまま格納され、データ量が多い場合には実際のデータはＭａｋｅｒｎｏｔｅＩＦＤデータエリアにデータが格納されて、データ部にはデータの格納場所を示すポインタが格納される。但し、ＭａｋｅｒｎｏｔｅＩＦＤ領域ではデータの格納形式を自由に定義できるので、必ずしもこの形式でデータを格納しなくても良い。以下の説明では、ＭａｋｅｒｎｏｔｅＩＦＤ領域に格納されるデータのことを「Ｍａｋｅｒｎｏｔｅデータ」と呼ぶ。

図４Ａは、ＩＦＤ０で使われるタグの説明図である。図に示す通り、ＩＦＤ０には一般的なデータ（画像データの特性を示すデータ）が格納され、詳細な撮影データは格納されていない。

図４Ｂは、ＥｘｉｆＳｕｂＩＦＤで使われるタグの説明図である。図に示す通り、ＥｘｉｆＳｕｂＩＦＤには詳細な撮影データが格納されている。なお、シーン識別処理の際に抽出される撮影データの大部分は、ＥｘｉｆＳｕｂＩＦＤに格納されている撮影データである。なお、撮影シーンタイプタグ（Scene Captuer Type）は、撮影シーンのタイプを示すタグである。また、Ｍａｋｅｒｎｏｔｅタグは、ＭａｋｅｒｎｏｔｅＩＦＤの格納場所を意味するタグである。

ＥｘｉｆＳｕｂＩＦＤ領域の撮影シーンタイプタグに対するデータ部（撮影シーンタイプデータ）が「ゼロ」ならば「標準」を意味し、「１」ならば「風景」を意味し、「２」ならば「人物」を意味し、「３」ならば「夜景」を意味する。なお、ＥｘｉｆＳｕｂＩＦＤに格納されたデータは規格化されているため、この撮影シーンタイプデータの内容を誰でも知ることが可能である。

本実施形態では、Ｍａｋｅｒｎｏｔｅデータの一つに、撮影モードデータが含まれている。この撮影モードデータでは、モード設定ダイヤル２Ａで設定されたモード毎に異なる値を示す。但し、Ｍａｋｅｒｎｏｔｅデータはメーカ毎に形式が異なるため、Ｍａｋｅｒｎｏｔｅデータの形式が分からなければ、撮影モードデータの内容を知ることはできない。

図５は、モード設定ダイヤル２Ａの設定とデータとの対応表である。ＥｘｉｆＳｕｂＩＦＤで使われる撮影シーンタイプタグは、ファイルフォーマット規格に準拠しているため、特定できるシーンが限定されており、「夕景」等のシーンを特定するデータをデータ部に格納することはできない。一方、Ｍａｋｅｒｎｏｔｅデータは自由に定義できるので、Ｍａｋｅｒｎｏｔｅデータの一つである撮影モードタグにより、モード設定ダイヤル２Ａの撮影モードを特定するデータをデータ部に格納できる。

前述のデジタルスチルカメラ２は、モード設定ダイヤル２Ａの設定に応じた撮影条件にて撮影を行った後、上記の画像ファイルを作成し、メモリカード６に保存する。この画像ファイルには、モード設定ダイヤル２Ａに応じた撮影シーンタイプデータ及び撮影モードデータが、画像データに付加されるシーン情報として、それぞれＥｘｉｆＳｕｂＩＦＤ領域及びＭａｋｅｒｎｏｔｅＩＦＤ領域に格納される。

＝＝＝自動補正機能の概要＝＝＝
「人物」の写真を印刷するときには、肌色をきれいにしたいという要求がある。また、「風景」の写真を印刷するときには、空の青色を強調し、木や草の緑色を強調したいという要求がある。そこで、本実施形態のプリンタ４は、画像ファイルを分析して自動的に適した補正処理を行う自動補正機能を備えている。

図６は、プリンタ４の自動補正機能の説明図である。図中のプリンタ側コントローラ２０の各要素は、ソフトウェアとハードウェアによって実現される。
記憶部３１は、メモリ２３の一部の領域及びＣＰＵ２２によって実現される。メモリカード６から読み出された画像ファイルの画像データは、記憶部３１の画像記憶部３１Ａに展開され、画像ファイルの付加データは、記憶部３１の付加情報記憶部３１Ａ´に格納される。また、プリンタ側コントローラ２０の各要素の演算結果は、記憶部３１の結果記憶部３１Ｂに格納される。
顔識別部３２は、ＣＰＵ２２と、メモリ２３に記憶された顔識別プログラムとによって実現される。顔識別部３２は、画像記憶部３１Ａに記憶された画像データを分析し、顔の有無を確認する。顔識別部３２によって顔が有ると識別された場合、識別対象となる画像が「人物」のシーンに属すると識別される。この場合、シーン識別部３３によるシーン識別処理は行われない。顔識別部３２による顔識別処理は、既に広く行われている処理と同様なので、詳細な説明は省略する。
シーン識別部３３は、ＣＰＵ２２と、メモリ２３に記憶されたシーン識別プログラムとによって実現される。シーン識別部３３は、画像記憶部３１Ａに記憶された画像ファイルを分析し、画像データの示す画像のシーンを識別する。シーン識別部３３によるシーン識別処理は、顔識別部３２によって顔がない（「人物」のシーンでない）と識別された場合に行われる。後述するように、シーン識別部３３は、識別対象となる画像が「風景」、「夕景」、「夜景」、「花」、「紅葉」、「その他」のいずれの画像であるかを識別する。

図７は、画像のシーンと補正内容との関係の説明図である。
画像補正部３４は、ＣＰＵ２２と、メモリ２３に記憶された画像補正プログラムとによって実現される。画像補正部３４は、記憶部３１の結果記憶部３１Ｂ（後述）に記憶されている識別結果（顔識別部３２やシーン識別部３３の識別結果）に基づいて、画像記憶部３１Ａの画像データを補正する。例えば、シーン識別部３３の識別結果が「風景」である場合には、青色を強調し、緑色を強調するような補正が行われる。なお、画像補正部３４は、シーンの識別結果だけでなく、画像ファイルの撮影データの内容も反映して、画像データを補正しても良い。例えば、露出補正がマイナスの場合、暗い雰囲気の画像を明るくしないように画像データを補正してもよい。
プリンタ制御部３５は、ＣＰＵ２２、駆動信号生成部２５、制御ユニット２４及びメモリ２３に記憶されたプリンタ制御プログラムによって、実現される。プリンタ制御部３５は、補正後の画像データを印刷データに変換し、印刷機構１０に画像を印刷させる。

＝＝＝シーン識別処理＝＝＝
図８は、シーン識別部３３によるシーン識別処理のフロー図である。図９は、シーン識別部３３の機能の説明図である。図中のシーン識別部３３の各要素は、ソフトウェアとハードウェアによって実現される。シーン識別部３３は、図９に示す特徴量取得部４０と、全体識別器５０と、部分識別器６０と、統合識別器７０とを備えている。

最初に、特徴量取得部４０が、記憶部３１の画像記憶部３１Ａに展開された画像データを分析し、部分特徴量を取得する（Ｓ１０１）。具体的には、特徴量取得部４０は、画像データを８×８の６４ブロックに分割し、各ブロックの色平均と分散を算出し、この色平均と分散を部分特徴量として取得する。なお、ここでは各画素はＹＣＣ色空間における階調値のデータをもっており、各ブロックごとに、Ｙの平均値、Ｃｂの平均値及びＣｒの平均値がそれぞれ算出され、Ｙの分散、Ｃｂの分散及びＣｒの分散がそれぞれ算出される。つまり、各ブロックごとに３つの色平均と、３つの分散が部分特徴量として算出される。これらの色平均や分散は、各ブロックにおける部分画像の特徴を示すものである。なお、ＲＧＢ色空間における平均値や分散を算出してもよい。
ブロックごとに色平均と分散が算出されるので、特徴量取得部４０は、画像記憶部３１Ａには画像データのすべてを展開せずに、ブロック分の画像データをブロック順に展開する。このため、画像記憶部３１Ａは、必ずしも画像ファイルの全てを展開できるだけの容量を備えていなくとも良い。

次に、特徴量取得部４０が、全体特徴量を取得する（Ｓ１０２）。具体的には、特徴量取得部４０は、画像データの全体の色平均、分散、重心及び撮影情報を全体特徴量として取得する。なお、これらの色平均や分散は、画像の全体の特徴を示すものである。画像データ全体の色平均、分散及び重心は、先に算出した部分特徴量を用いて算出される。このため、全体特徴量を算出する際に画像データを展開する必要がないので、全体特徴量の算出速度が速くなる、全体識別処理（後述）は、部分識別処理（後述）よりも先に行われるにも関わらず、全体特徴量が部分特徴量よりも後に求められるのは、このように算出速度を速めるためである。なお、撮影情報は、画像ファイルの撮影データから抽出される。具体的には、絞り値、シャッター速度、フラッシュ発光の有無などの情報が全体特徴量として用いられる。但し、画像ファイルの撮影データの全てが全体特徴量として用いられるわけではない。

次に、全体識別器５０が、全体識別処理を行う（Ｓ１０３）。全体識別処理とは、全体特徴量に基づいて、画像データの示す画像のシーンを識別（推定）する処理である。全体識別処理の詳細については、後述する。

全体識別処理によってシーンの識別が出来る場合（Ｓ１０４でＹＥＳ）、シーン識別部３３は、記憶部３１の結果記憶部３１Ｂに識別結果を記憶することによってシーンを決定し（Ｓ１０９）、シーン識別処理を終了する。つまり、全体識別処理によってシーンの識別ができた場合（Ｓ１０４でＹＥＳ）、部分識別処理や統合識別処理が省略される。これによりシーン識別処理の速度が速くなる。
全体識別処理によってシーンの識別ができない場合、（Ｓ１０４でＮＯ）、次に部分識別器６０が、部分識別処理を行う（Ｓ１０５）。部分識別処理とは、部分特徴量に基づいて、画像データの示す画像全体のシーンを識別する処理である。部分識別処理の詳細については後述する。

部分識別処理によってシーンの識別ができる場合（Ｓ１０６でＹＥＳ）、シーン識別部３３は、記憶部３１の結果記憶部３１Ｂに識別結果を記憶することによってシーンを決定し（Ｓ１０９）、シーン識別処理を終了する。つまり、部分識別処理によってシーンの識別ができた場合（Ｓ１０６でＹＥＳ）、統合識別処理が省略される。これにより、シーン識別処理の速度が速くなる。
部分識別処理によってシーンの識別ができない場合（Ｓ１０６でＮＯ）、次に統合識別器７０が、統合識別処理を行う（Ｓ１０７）。統合識別処理の詳細については後述する。

統合識別処理によってシーンの識別ができる場合（Ｓ１０８でＹＥＳ）、シーン識別部３３は、記憶部３１の結果記憶部３１Ｂに識別結果を記憶することによってシーンを決定し（Ｓ１０９）、シーン識別処理を終了する。一方、統合識別処理によってシーンの識別ができない場合（Ｓ１０８でＮＯ）、画像データの示す画像が「その他」のシーン（「風景」、「夕景」、「夜景」、「花」又は「紅葉」以外のシーン）である旨の識別結果を結果記憶部３１Ｂに記憶する（Ｓ１１０）。

＝＝＝全体識別処理＝＝＝
図１０は、全体識別処理のフロー図である。ここでは、図９も参照しながら全体識別処理について説明する。

まず、全体識別器５０は、複数のサブ識別器５１の中から１つのサブ識別器５１を選択する（Ｓ２０１）。全体識別器５０には、識別対象となる画像（識別対象画像）が特定のシーンに属するか否かを識別するサブ識別器５１が５つ設けられている。５つのサブ識別器５１は、それぞれ風景、夕景、夜景、花、紅葉のシーンを識別する。ここでは、全体識別器５０は、風景→夕景→夜景→花→紅葉の順に、サブ識別器５１を選択する。このため、最初には、識別対象画像が風景のシーンに属するか否かを識別するサブ識別器５１（風景識別器５１Ｌ）が選択される。

次に、全体識別器５０は、識別対象テーブルを参照し、選択したサブ識別器５１を用いてシーンを識別すべきか否かを判断する（Ｓ２０２）。
図１１は、識別対象テーブルの説明図である。この識別対象テーブルは、記憶部３１の結果記憶部３１Ｂに記憶される。識別対象テーブルは、最初の段階では全ての欄がゼロに設定される。Ｓ２０２の処理では、「否定」欄が参照され、ゼロであればＹＥＳと判断され、１であればＮＯと判断される。ここでは、全体識別器５０は、識別対象テーブルにおける「風景」欄の「否定」欄を参照し、ゼロであるのでＹＥＳ（Ｓ２０２でＹＥＳ）と判断する。

次に、サブ識別器５１は、識別対象画像が特定のシーンに属すか否かを評価する。具体的には、サブ識別器５１は、全体特徴量に基づいて、識別対象画像が特定のシーンに属する確率（確信度）を算出する（Ｓ２０３）。本実施形態のサブ識別器５１には、サポートベクタマシン（ＳＶＭ）による識別手法が用いられている。なお、サポートベクタマシンについては、後述する。識別対象画像が特定のシーンに属する場合、サブ識別器５１で算出される判別式（評価値に相当する）は、プラスの値になりやすい。識別対象画像が特定のシーンに属しない場合、サブ識別器５１で算出される判別式は、マイナスの値になりやすい。また、判別式は、識別対象画像が特定のシーンに属する確信度が高いほど、大きな値になる。このため、判別式の値が大きければ、識別対象画像が特定のシーンに属する確率が高くなり、判別式の値が小さければ、識別対象画像が特定のシーンに属する確率が低くなる。

次に、サブ識別器５１は、判別式の値が肯定閾値より大きいか否かを判断する（Ｓ２０４）。判別式の値が肯定閾値よりも大きければ、サブ識別器５１は、識別対象画像が特定のシーンに属すると判断することになる。

図１２は、全体識別処理の肯定閾値の説明図である。同図において、横軸は肯定閾値を示し、縦軸はRecall又はPrecisionの確率を示す。図１３は、RecallとPrecisionの説明図である。判別式の値が肯定閾値以上の場合には識別結果はPositiveであり、判別式の値が肯定閾値以上でない場合には識別結果はNegativeである。

Recallは、再現率や検出率を示すものである。Recallは、特定のシーンの画像の総数に対する、特定のシーンに属すると識別された画像の割合である。言い換えると、Recallは、特定のシーンの画像をサブ識別器５１に識別させたときに、サブ識別器５１がPositiveと識別する確率（特定のシーンの画像が特定のシーンに属すると識別される確率）を示すものである。例えば、風景画像を風景識別器５１Ｌに識別させたときに、風景のシーンに属すると風景識別器５１Ｌが識別する確率を示すものである。

Precisionは、正答率や正解率を示すものである。Precisionは、Positiveと識別された画像の総数に対する、特定のシーンの画像の数の割合である。言い換えると、Precisionは、特定のシーンを識別するサブ識別器５１がPositiveと判断したときに、識別対象の画像が特定のシーンである確率を示すものである。例えば、風景識別器５１Ｌが風景のシーンに属すると識別したときに、その識別した画像が本当に風景画像である確率を示すものである。

図１２から分かる通り、肯定閾値を大きくするほど、Precisionが大きくなる。このため、肯定閾値を大きくするほど、例えば風景のシーンに属すると識別された画像が風景画像である確率が高くなる。つまり、肯定閾値を大きくするほど、誤識別の確率が低くなる。
一方、肯定閾値を大きくするほど、Recallは小さくなる。この結果、例えば、風景画像を風景識別器５１Ｌで識別した場合であっても、風景のシーンに属すると正しく識別しにくくなる。ところで、識別対象画像が風景のシーンに属すると識別できれば（Ｓ２０４でＹＥＳ）、残りの別のシーン（夕景など）の識別を行わないようにして全体識別処理の速度を速めている。このため、肯定閾値を大きくするほど、全体識別処理の速度は低下することになる。また、全体識別処理によってシーンが識別できれば部分識別処理を行わないようにしてシーン識別処理の速度を速めているため（Ｓ１０４）、肯定閾値を大きくするほど、シーン識別処理の速度は低下することになる。
つまり、肯定閾値が小さすぎると誤識別の確率が高くなり、大きすぎると処理速度が低下することになる。本実施形態では、正答率（Precision）を９７．５％に設定するため、風景の肯定閾値は１．２７に設定されている。
このように、判別式の値及び肯定閾値は、それぞれ、識別対象が特定のシーンに属する確率に応じた値を示すものである。よって、判別式の値が肯定閾値よりも大きいことは、判別式に対応する確率が、肯定閾値に対応する確率よりも大きいことと等価である。

判別式の値が肯定閾値より大きければ（Ｓ２０４でＹＥＳ）、サブ識別器５１は、識別対象画像が特定のシーンに属すると判断し、肯定フラグを立てる（Ｓ２０５）。「肯定フラグを立てる」とは、図１１の「肯定」欄を１にすることである。この場合、全体識別器５０は、次のサブ識別器５１による識別を行わずに全体識別処理を終了する。例えば、風景画像であると識別できれば、夕景などの識別を行わずに、全体識別処理を終了する。この場合、次のサブ識別器５１による識別を省略しているので、全体識別処理の速度を速めることができる。
判別式の値が肯定閾値より大きくなければ（Ｓ２０４でＮＯ）、サブ識別器５１は、識別対象画像が特定のシーンに属すると判断できず、次のＳ２０６の処理を行う。

次にサブ識別器５１は、判別式の値と否定閾値とを比較する（Ｓ２０６）。これにより、サブ識別器５１は、識別対象画像が所定のシーンに属しないかを判断する。このような判断としては、２種類ある。第１に、ある特定のシーンのサブ識別器５１の判別式の値が第１否定閾値よりも小さければ、その特定のシーンに識別対象画像が属しないと判断されることになる。例えば、風景識別器５１Ｌの判別式の値が第１否定閾値よりも小さければ、識別対象画像が風景のシーンに属しないと判断されることになる。第２に、ある特定のシーンのサブ識別器５１の判別式の値が第２否定閾値よりも大きければ、その特定のシーンとは別のシーンに識別対象画像が属しないと判断されることになる。例えば、風景識別器５１Ｌの判別式の値が第２否定閾値よりも大きければ、識別対象画像が夜景のシーンに属しないと判断されることになる。

図１４は、第１否定閾値の説明図である。同図において、横軸は第１否定閾値を示し、縦軸は確率を示す。グラフの太線は、True Negative Recallのグラフであり、風景画像以外の画像を風景画像ではないと正しく識別する確率を示している。グラフの細線は、False Negative Recallのグラフであり、風景画像なのに風景画像ではないと誤って識別する確率を示している。

図１４から分かる通り、第１否定閾値を小さくするほど、False Negative Recallが小さくなる。このため、第１否定閾値を小さくするほど、例えば風景のシーンに属しないと識別された画像が風景画像である確率が低くなる。つまり、誤識別の確率が低くなる。
一方、第１否定閾値を小さくするほど、True Negative Recallも小さくなる。この結果、風景画像以外の画像を風景画像ではないと識別しにくくなる。その一方、識別対象画像が特定のシーンでないことを識別できれば、部分識別処理の際に、その特定のシーンのサブ部分識別器６１による処理を省略してシーン識別処理速度を速めている（後述、図１７のＳ３０２）。このため、第１否定閾値を小さくするほど、シーン識別処理速度は低下する。
つまり、第１否定閾値が大きすぎると誤識別の確率が高くなり、小さすぎると処理速度が低下することになる。本実施形態では、False Negative Recallを２．５％に設定するため、第１否定閾値は−１．１０に設定されている。

ところで、ある画像が風景のシーンに属する確率が高ければ、必然的にその画像が夜景のシーンに属する確率は低くなる。このため、風景識別器５１Ｌの判別式の値が大きい場合には、夜景ではないと識別できる場合がある。このような識別を行うために、第２否定閾値が設けられている。

図１５は、第２否定閾値の説明図である。同図において、横軸は風景の判別式の値を示し、縦軸は確率を示す。同図には、図１２のRecallとPrecisionのグラフとともに、夜景のRecallのグラフが点線で描かれている。この点線のグラフに注目すると、風景の判別式の値が−０．４５よりも大きければ、その画像が夜景画像である確率は２．５％である。言い換えると、風景の判別式の値が−０．４５よりも大きい場合にその画像が夜景画像でないと識別しても、誤識別の確率は２．５％にすぎない。そこで、本実施形態では、第２否定閾値が−０．４５に設定されている。

そして、判別式の値が第１否定閾値より小さい場合、又は、判別式の値が第２否定閾値より大きい場合（Ｓ２０６でＹＥＳ）、サブ識別器５１は、識別対象画像が所定のシーンに属しないと判断し、否定フラグを立てる（Ｓ２０７）。「否定フラグを立てる」とは、図１１の「否定」欄を１にすることである。例えば、第１否定閾値に基づいて識別対象画像が風景のシーンに属しないと判断された場合、「風景」欄の「否定」欄が１になる。また、第２否定閾値に基づいて識別対象画像が夜景のシーンに属しないと判断された場合、「夜景」欄の「否定」欄が１になる。

図１６Ａは、閾値テーブルの説明図である。この閾値テーブルは、記憶部３１に記憶されていても良いし、全体識別処理を実行させるプログラムの一部に組み込まれていても良い。閾値テーブルには、前述の肯定閾値や否定閾値に関するデータが格納されている。

図１６Ｂは、上記で説明した風景識別器５１Ｌにおける閾値の説明図である。風景識別器５１Ｌには、肯定閾値及び否定閾値が予め設定されている。肯定閾値として１．２７が設定されている。否定閾値には第１否定閾値と第２否定閾値とがある。第１否定閾値として−１．１０が設定されている。また、第２否定閾値として、風景以外の各シーンにそれぞれ値が設定されている。

図１６Ｃは、上記で説明した風景識別器５１Ｌの処理の概要の説明図である。ここでは、説明の簡略化のため、第２否定閾値については夜景についてのみ説明する。風景識別器５１Ｌは、判別式の値が１．２７よりも大きければ（Ｓ２０４でＹＥＳ）、識別対象画像が風景のシーンに属すると判断する。また、判別式の値が１．２７以下であり（Ｓ２０４でＮＯ）、−０．４５よりも大きければ（Ｓ２０６でＹＥＳ）、風景識別器５１Ｌは、識別対象画像が夜景のシーンに属しないと判断する。また、判別式の値が−１．１０よりも小さければ（Ｓ２０６でＹＥＳ）、風景識別器５１Ｌは、識別対象画像が風景のシーンに属しないと判断する。なお、風景識別器５１Ｌは、夕景や花や紅葉についても、第２否定閾値に基づいて、識別対象画像がそのシーンに属しないかを判断する。但し、これらの第２否定閾値は肯定閾値よりも大きいため、識別対象画像がこれらのシーンに属しないことを風景識別器５１Ｌが判断することはない。

Ｓ２０２においてＮＯの場合、Ｓ２０６でＮＯの場合、又はＳ２０７の処理を終えた場合、全体識別器５０は、次のサブ識別器５１の有無を判断する（Ｓ２０８）。ここでは風景識別器５１Ｌによる処理を終えた後なので、全体識別器５０は、Ｓ２０８において、次のサブ識別器５１（夕景識別器５１Ｓ）があると判断する。
そして、Ｓ２０５の処理を終えた場合（識別対象画像が特定のシーンに属すると判断された場合）、又は、Ｓ２０８において次のサブ識別器５１がないと判断された場合（識別対象画像が特定のシーンに属すると判断できなかった場合）、全体識別器５０は、全体識別処理を終了する。

なお、既に説明した通り、全体識別処理が終了すると、シーン識別部３３は、全体識別処理によってシーンの識別ができたか否かを判断する（図８のＳ１０４）。このとき、シーン識別部３３は、図１１の識別対象テーブルを参照し、「肯定」欄に１があるか否かを判断することになる。
全体識別処理によってシーンの識別ができた場合（Ｓ１０４でＹＥＳ）、部分識別処理や統合識別処理が省略される。これによりシーン識別処理の速度が速くなる。

ところで、上記の説明には無いが、全体識別器５０は、サブ識別器５１によって判別式の値を算出したときには、判別式の値に対応するPrecisionを、確信度に関する情報として結果記憶部３１Ｂに記憶する。もちろん、判別式の値そのものを確信度に関する情報として記憶しても良い。

＝＝＝部分識別処理＝＝＝
図１７は、部分識別処理のフロー図である。部分識別処理は、全体識別処理によってシーンの識別ができなかった場合（図８のＳ１０４でＮＯ）に行われる。以下に説明するように、部分識別処理は、分割された部分画像のシーンをそれぞれ識別することによって、画像全体のシーンを識別する処理である。ここでは、図９も参照しながら部分識別処理について説明する。

まず、部分識別器６０は、複数のサブ部分識別器６１の中から１つのサブ部分識別器６１を選択する（Ｓ３０１）。部分識別器６０には、サブ部分識別器６１が３つ設けられている。各サブ部分識別器６１は、８×８の６４ブロックに分割された部分画像がそれぞれ特定のシーンに属するか否かを識別する。ここでの３つのサブ部分識別器６１は、それぞれ、夕景、花、紅葉のシーンを識別する。ここでは、部分識別器６０は、夕景→花→紅葉の順に、サブ部分識別器６１を選択する（なお、サブ部分識別器６１の選択順序については、後述する）。このため、最初には、部分画像が夕景のシーンに属するか否かを識別するサブ部分識別器６１（夕景部分識別器６１Ｓ）が選択される。

次に、部分識別器６０は、識別対象テーブル（図１１）を参照し、選択したサブ部分識別器６１を用いてシーンを識別すべきか否かを判断する（Ｓ３０２）。ここでは、部分識別器６０は、識別対象テーブルにおける「夕景」欄の「否定」欄を参照し、ゼロであればＹＥＳと判断し、１であればＮＯと判断する。なお、全体識別処理の際に、夕景識別器５１Ｓが第１否定閾値により否定フラグを立てたとき、又は、他のサブ識別器５１が第２否定閾値により否定フラグを立てたとき、このＳ３０２でＮＯと判断される。仮にＮＯと判断されると夕景の部分識別処理は省略されることになるので、部分識別処理の速度が速くなる。但し、ここでは説明の都合上、ＹＥＳと判断されるものとする。

次に、サブ部分識別器６１は、８×８の６４ブロックに分割された部分画像の中から、1つの部分画像を選択する（Ｓ３０３）。

図１８は、夕景部分識別器６１Ｓが選択する部分画像の順番の説明図である。部分画像から画像全体のシーンを特定するような場合、識別に用いられる部分画像は被写体が存在する部分であることが望ましい。そこで、本実施形態では、数千枚のサンプルの夕景画像を用意し、各夕景画像を８×８の６４ブロックに分割し、夕景部分画像（夕景の太陽と空の部分画像）を含むブロックを抽出し、抽出されたブロックの位置に基づいて各ブロックにおける夕景部分画像の存在確率を算出した。そして、本実施形態では、存在確率の高いブロックから順番に、部分画像が選択される。なお、図に示す選択順序の情報は、プログラムの一部としてメモリ２３に格納されている。

なお、夕景画像の場合、画像の中央付近から上半分に夕景の空が広がっていることが多いため、中央付近から上半分のブロックにおいて存在確率が高くなる。また、夕景画像の場合、画像の下１／３では逆光で陰になり、部分画像単体では夕景か夜景か区別がつかないことが多いため、下１／３のブロックにおいて存在確率が低くなる。花画像の場合、花を中央に配置させる構図にすることが多いため、中央付近における花部分画像の存在確率が高くなる。

次に、サブ部分識別器６１は、選択された部分画像の部分特徴量に基づいて、その部分画像が特定のシーンに属するか否かを判断する（Ｓ３０４）。サブ部分識別器６１には、全体識別器５０のサブ識別器５１と同様に、サポートベクタマシン（ＳＶＭ）による判別手法が用いられている。なお、サポートベクタマシンについては、後述する。判別式の値が正の値であれば、部分画像が特定のシーンに属すると判断し、サブ部分識別器６１は正カウント値（評価値に相当する）をインクリメントする。また、判別式の値が負の値であれば、部分画像が特定のシーンに属しないと判断し、サブ部分識別器６１は負カウント値をインクリメントする。

次に、サブ部分識別器６１は、正カウント値が肯定閾値よりも大きいか否かを判断する（Ｓ３０５）。なお、正カウント値は、特定のシーンに属すると判断された部分画像の数を示すものであり、識別対象画像が特定のシーンに属する確率に応じた値である。つまり、正カウント値が大きければ、識別対象画像が特定のシーンに属する確率が高くなり、正カウント値が小さければ、識別対象画像が特定のシーンに属する確率が低くなる。

正カウント値が肯定閾値よりも大きければ（Ｓ３０５でＹＥＳ）、サブ部分識別器６１は、識別対象画像が特定のシーンに属すると判断し、肯定フラグを立てる（Ｓ３０６）。この場合、部分識別器６０は、次のサブ部分識別器６１による識別を行わずに部分識別処理を終了する。この場合、次のサブ部分識別器６１による識別を省略しているので、部分識別処理の速度を速めることができる。
正カウント値が肯定閾値より大きくなければ（Ｓ３０５でＮＯ）、サブ部分識別器６１は、識別対象画像が特定のシーンに属すると判断できず、次のＳ３０７の処理を行う。

サブ部分識別器６１は、正カウント値と残りの部分画像数との和が肯定閾値よりも小さければ（Ｓ３０７でＹＥＳ）、Ｓ３０９の処理へ進む。正カウント値と残りの部分画像数との和が肯定閾値よりも小さい場合、残り全ての部分画像によって正カウント値がインクリメントされても、正カウント値が肯定閾値よりも大きくなることがないので、Ｓ３０９に処理を進めることによって、残りの部分画像についてサポートベクタマシンによる識別を省略する。これにより識別処理の速度を速めることができる。

サブ部分識別器６１がＳ３０７でＮＯと判断した場合、サブ部分識別器６１は、次の部分画像の有無を判断する（Ｓ３０８）。なお、本実施形態では、６４個に分割された部分画像の全てを順に選択していない。図１８において、太枠で示された上位１０番目までの１０個の部分画像だけを順に選択している。このため、１０番目の部分画像の識別を終えれば、サブ部分識別器６１は、Ｓ３０８において次の部分画像はないと判断する（この点を考慮して、Ｓ３０７の「残り部分画像数」も決定される。）。

図１９は、６４個に分割された部分画像のうち、上位１０番目までの１０個の部分画像だけで夕景画像を識別したときのRecall及びPrecisionのグラフである。図に示すような肯定閾値を設定すれば、正答率（Precision）を８０％程度に設定でき、再現率（Recall）を９０％程度に設定でき、精度の高い識別が可能である。

本実施形態では、１０個の部分画像だけで夕景画像の識別を行っている。このため、本実施形態では、６４個の全ての部分画像を用いて夕景画像の識別を行うよりも、部分識別処理の速度を速めることができる。

また、本実施形態では、夕景部分画像の存在確率の高い上位１０番目の部分画像を用いて夕景画像の識別を行っている。このため、本実施形態では、存在確率を無視して抽出された１０個の部分画像を用いて夕景画像の識別を行うよりも、RecallやPrecisionをともに高く設定することが可能になる。

また、本実施形態では、夕景部分画像の存在確率の高い順に部分画像を選択している。この結果、早い段階でＳ３０５の判断がＹＥＳになりやすくなる。このため、本実施形態では、存在確率の高低を無視した順で部分画像を選択したときよりも、部分識別処理の速度を速めることができる。

Ｓ３０７においてＹＥＳと判断された場合、又は、Ｓ３０８において次の部分画像がないと判断された場合、サブ部分識別器６１は、負カウント値が否定閾値よりも大きいか否かを判断する（Ｓ３０９）。この否定閾値は、前述の全体識別処理における否定閾値（図１０のＳ２０６）とほぼ同様の機能を果たすものなので、詳しい説明は省略する。Ｓ３０９でＹＥＳと判断された場合、図１０のＳ２０７と同様に否定フラグを立てる。

Ｓ３０２においてＮＯの場合、Ｓ３０９でＮＯの場合、又はＳ３１０の処理を終えた場合、部分識別器６０は、次のサブ部分識別器６１の有無を判断する（Ｓ３１１）。夕景部分識別器６１Ｓによる処理を終えた後の場合、サブ部分識別器６１として花部分識別器６１Ｆや紅葉部分識別器６１Ｒがまだあるので、部分識別器６０は、Ｓ３１１において、次のサブ部分識別器６１があると判断する。

そして、Ｓ３０６の処理を終えた場合（識別対象画像が特定のシーンに属すると判断された場合）、又は、Ｓ３１１において次のサブ部分識別器６１がないと判断された場合（識別対象画像が特定のシーンに属すると判断できなかった場合）、部分識別器６０は、部分識別処理を終了する。

なお、既に説明した通り、部分識別処理が終了すると、シーン識別部３３は、部分識別処理によってシーンの識別ができたか否かを判断する（図８のＳ１０６）。このとき、シーン識別部３３は、図１１の識別対象テーブルを参照し、「肯定」欄に１があるか否かを判断することになる。
部分識別処理によってシーンの識別ができた場合（Ｓ１０６でＹＥＳ）、統合識別処理が省略される。これにより、シーン識別処理の速度が速くなる。

ところで、上記の説明では、夕景部分識別器６１Ｓは、１０個の部分画像を用いて夕景画像の識別を行っているが、識別に用いられる部分画像の数は１０個に限られるものではない。また、他のサブ部分識別器６１が、夕景部分識別器６１Ｓとは異なる数の部分画像を用いて画像を識別しても良い。本実施形態では、花部分識別器６１Ｆは２０個の部分画像を用いて花画像を識別し、また、紅葉部分識別器６１Ｒは、１５個の部分画像を用いて紅葉画像を識別するものとする。

＝＝＝サポートベクタマシン＝＝＝
統合識別処理について説明する前に、全体識別処理のサブ識別器５１や部分識別処理のサブ部分識別器６１において用いられているサポートベクタマシン（ＳＶＭ）について説明する。

図２０Ａは、線形サポートベクタマシンによる判別の説明図である。ここでは、２つの特徴量ｘ１、ｘ２によって、学習用サンプルを２次元空間に示している。学習用サンプルは２つのクラスＡ、Ｂに分けられている。図中では、クラスＡに属するサンプルは丸で示されており、クラスＢに属するサンプルは四角で示されている。
学習用サンプルを用いた学習によって、２次元空間を２つに分ける境界が定義される。境界は、＜ｗ・ｘ＞＋ｂ＝０で定義される（なお、ｘ＝（ｘ１，ｘ２）であり、ｗは重みベクトルであり、＜ｗ・ｘ＞はｗとｘの内積である）。但し、境界は、マージンが最大になるように、学習用サンプルを用いた学習によって定義される。つまり、図の場合、境界は、太点線ではなく、太実線のようになる。

判別は、ｆ（ｘ）＝＜ｗ・ｘ＞＋ｂを用いて行われる。ある入力ｘ（この入力ｘは、学習用サンプルとは別である）について、ｆ（ｘ）＞０であればクラスＡに属すると判別され、ｆ（ｘ）＜０であればクラスＢに属すると判別される。
ここでは２次元空間を用いて説明しているが、これには限定されない（つまり特徴量は２以上でも良い）。この場合、境界は超平面で定義される。

ところで、２つのクラスに線形関数で分離できないことがある。このような場合に線形サポートベクタマシンによる判別を行うと、判別結果の精度が低下する。そこで、入力空間の特徴量を非線形変換すれば、すなわち入力空間からある特徴空間へ非線形写像すれば、特徴空間において線形関数で分離することができるようになる。非線形サポートベクタマシンでは、これを利用している。

図２０Ｂは、カーネル関数を用いた判別の説明図である。ここでは、２つの特徴量ｘ１、ｘ２によって、学習用サンプルを２次元空間に示している。図２０Ｂの入力空間からの非線形写像が図２０Ａのような特徴空間になれば、線形関数で２つのクラスに分離することが可能になる。この特徴空間においてマージンが最大になるように境界が定義されれば、特徴空間における境界の逆写像が、図２０Ｂに示す境界になる。この結果、図２０Ｂに示すように、境界は非線形になる。

本実施形態では、ガウスカーネルを利用することにより、判別式ｆ（ｘ）は次式のようになる（なお、Ｍは特徴量の数であり、Ｎは学習用サンプルの数（若しくは境界に寄与する学習用サンプルの数）であり、ｗ_ｉは重み係数であり、ｙ_ｉは学習用サンプルの特徴量であり、ｘ_ｉは入力ｘの特徴量である）。

ある入力ｘ（この入力ｘは学習用サンプルとは別である）について、ｆ（ｘ）＞０であればクラスＡに属すると判別され、ｆ（ｘ）＜０であればクラスＢに属すると判別される。また、ｆ（ｘ）の値が大きい値になるほど、入力ｘ（この入力ｘは学習用サンプルとは別である）がクラスＡに属する確率が高くなる。逆に、判別式ｆ（ｘ）の値が小さい値になるほど、入力ｘ（この入力ｘは学習用サンプルとは別である）がクラスＡに属する確率が低くなる。前述の全体識別処理のサブ識別器５１や部分識別処理のサブ部分識別器６１では、上記のサポートベクタマシンの判別式ｆ（ｘ）の値を用いている。サポートベクタマシンによる判別式ｆ（ｘ）の値の算出には、学習用サンプルの数（本実施形態では数万個）が多くなると時間がかかる。このため、判別式ｆ（ｘ）の値を複数回算出する必要があるサブ部分識別器６１は、判別式ｆ（ｘ）の値を１回算出すれば済むサブ識別器５１よりも処理時間がかかる。

なお、学習用サンプルとは別に評価用サンプルが用意されている。前述のRecallやPrecisionのグラフは、評価用サンプルに対する識別結果（判別式ｆ（ｘ）の値）に基づくものである。

＝＝＝統合識別処理＝＝＝
前述の全体識別処理や部分識別処理では、サブ識別器５１やサブ部分識別器６１における肯定閾値を比較的高めに設定し、Precision（正解率）を高めに設定している。なぜならば、例えば全体識別器５１の風景識別器５１Ｌの正解率が低く設定されると、風景識別器５１が紅葉画像を風景画像であると誤識別してしまい、紅葉識別器５１Ｒによる識別を行う前に全体識別処理を終えてしまう事態が発生してしまうからである。本実施形態では、Precision（正解率）が高めに設定されることにより、特定のシーンに属する画像が特定のシーンのサブ識別器５１（又はサブ部分識別器６１）に識別されるようになる（例えば、紅葉画像が紅葉識別器５１Ｒ（又は紅葉部分識別器６１Ｒ）によって識別されるようになる）。

但し、全体識別処理や部分識別処理のPrecision（正解率）を高めに設定すると、全体識別処理や部分識別処理ではシーンの識別ができなくなる可能性が高くなる。そこで、本実施形態では、全体識別処理及び部分識別処理によってシーンの識別ができなかった場合、以下に説明する統合識別処理が行われる。

図２１は、統合識別処理のフロー図である。以下に説明するように、統合識別処理は、全体識別処理の各サブ識別器５１の判別式の値に基づいて、最も確信度の高いシーンを選択する処理である。

まず、統合識別器７０は、５つのサブ識別器５１の判別式の値に基づいて、正となるシーンを抽出する（Ｓ４０１）。このとき、全体識別処理の際に各サブ識別器５１が算出した判別式の値が用いられる。

次に、統合識別器７０は、判別式の値が正のシーンが存在するか否かを判断する（Ｓ４０２）。判別式の値が正のシーンが存在する場合（Ｓ４０２でＹＥＳ）、最大値のシーンの欄に肯定フラグを立てて（Ｓ４０３）、統合識別処理を終了する。これにより、最大値のシーンに識別対象画像が属すると判断される。
一方、判別式の値が正であるシーンが存在しない場合（Ｓ４０２でＮＯ）、肯定フラグを立てずに、統合識別処理を終了する。これにより、図１１の識別対象テーブルの肯定欄において、１のシーンが無いままの状態になる。つまり、識別対象画像が、どのシーンに属するか識別できなかったことになる。

なお、既に説明した通り、統合識別処理が終了すると、シーン識別部３３は、統合識別処理によってシーンの識別ができたか否かを判断する（図８のＳ１０８）。このとき、シーン識別部３３は、図１１の識別対象テーブルを参照し、「肯定」欄に１があるか否かを判断することになる。Ｓ４０２でＮＯとの判断の場合、Ｓ１０８の判断もＮＯになる。

＝＝＝第１実施形態＝＝＝
＜概要＞
前述したように、全体識別処理の場合、各シーンの識別処理は、全体特徴量に基づいて算出された判別式の値（評価値に相当する）と、予めシーン毎に定められた肯定閾値（閾値に相当する）との比較によって行われる。そして、判別式の値が肯定閾値よりも大きい場合に、識別対象画像がそのシーンに属すると識別される。

従って、各シーンの肯定閾値を高めに定めることによって誤識別の確率が低くなる。しかし、肯定閾値を高めに定めると識別処理の速度が低下するおそれがある。例えば、全体識別器５０の夜景識別器５１Ｎで「夜景」のシーンの画像の識別を行う場合、算出された判別式の値が夜景の肯定閾値以下となって「夜景」のシーンであると識別されない可能性がある。その場合、「夜景」よりも後段の識別処理（「花」及び「紅葉」の全体識別処理、部分識別処理、および統合識別処理）が行われ、統合識別処理によって「夜景」のシーンであると識別されることになる。よって識別処理の速度が遅くなる。

一方、各シーンの肯定閾値を下げると、識別処理の速度は速くなるが、誤識別の確率が高くなる。例えば、肯定閾値を下げることによって、「夜景」のシーンの画像が風景識別器５１Lで「風景」のシーンであると誤識別されるおそれがある。その場合、風景の識別処理でシーンが特定されるので、実際のシーンである「夜景」の識別処理を行うことなく識別処理が終了してしまう。

ところで、画像ファイルの付加データにシーン情報が含まれている場合には、ユーザがシーン情報のシーンを意図して撮影した画像である可能性が高い。つまり、付加データにシーン情報が含まれている場合、その画像は、シーン情報のシーンに属している確率が高い。例えば、付加データに「夜景」を示すシーン情報が含まれている場合、その画像は「夜景」のシーンの画像である確率が高い。

そこで、本実施形態では、画像ファイルの付加データにシーン情報が含まれる場合に、シーン情報の示すシーンの識別処理においてシーンが識別されやすいように識別器の設定を変更する。具体的には、各シーンの肯定閾値を高めに定めておき、付加データにシーン情報が含まれる場合、そのシーン情報の示すシーンの肯定閾値を所定値下げるようにする。こうすることにより、誤識別を防止しつつ識別処理の速度の向上を図ることができる。第１実施形態では、シーン情報として画像ファイルの付加データのＥｘｉｆＳｕｂＩＦＤ領域に格納された撮影シーンタイプデータ（図５参照）を用いることにする。

＜撮影シーンタイプデータについて＞
ＥｘｉｆＳｕｂＩＦＤ領域の撮影シーンタイプデータには、図５に示すように、「標準」を意味する「ゼロ」、「人物」を意味する「２」、「風景」を意味する「１」、「夜景」を意味する「３」の４種類がある。

デジタルスチルカメラ２による撮影時にモード設定ダイヤル２Ａが「オート」、「花」、「スポーツ」、「夕景」の何れかに設定された場合には、ＥｘｉｆＳｕｂＩＦＤ領域に格納される撮影シーンタイプデータは「標準」を意味する「ゼロ」となる（図５参照）。よって、撮影シーンタイプデータが「ゼロ」の場合、識別対象画像がどのシーンに属する確率が高いかを判断することができない。

また、撮影シーンタイプデータが「２」の場合は、モード設定ダイヤル２Ａが「人物」に設定されて撮影されている。つまり、識別対象画像が「人物」のシーンである確率が高い。しかし、全体識別器５０のサブ識別器５１には「人物」のシーンに対応するサブ識別器が設けられていない。なお、撮影シーンタイプデータが「２」の場合は、顔識別部３２によって、識別対象画像が「人物」のシーンであると識別される可能性が高い。そして、顔識別部３２によって識別対象画像が「人物」のシーンである特定された場合には、シーン識別部３３による識別処理は行われないことになる。

撮影シーンタイプデータが「１」の場合は、モード設定ダイヤル２Ａが「風景」に設定された状態で撮影されていることになり、その画像は「風景」のシーンに属している確率が高い。この場合に、風景識別器５１Ｌで「風景」のシーンであると識別されやすいようにすれば、識別処理の速度を速めることができる。また、撮影シーンタイプデータが「３」の場合は、モード設定ダイヤル２Ａが「夜景」に設定された状態で撮影されていることになり、その画像は「夜景」のシーンに属している確率が高い。この場合に、夜景識別器５１Ｎで「夜景」のシーンであると識別されやすいようにすれば、識別処理の速度を速めることができる。

従って、肯定閾値を変更する対象となるのは、撮影シーンタイプデータが「風景」を意味する「１」の場合と、「夜景」を意味する「３」の場合である。なお、部分識別器６０には、「風景」及び「夜景」のシーンに対応するサブ部分識別器６１が設けられていないので、第１実施形態では、全体識別器５０のみの肯定閾値を変更する。

＜閾値の変更処理について＞
図２２は、第１実施形態にかかる閾値変更処理のフロー図の一例である。
まず、全体識別器５０は、識別処理を行う際に、画像データと対応して付加情報記憶部３１Ａ´に格納された付加データを読み出す。そして、付加データからＥｘｉｆＳｕｂＩＦＤ領域の撮影シーンタイプデータ（シーン情報に相当する）を取得する（Ｓ５０１）。そして、全体識別器５０は、取得した撮影シーンタイプデータが特定のシーンを示すものであるか否かを判断する（Ｓ５０２）。本実施形態の場合、「風景」を意味する「１」、又は「夜景」を意味する「３」であるか否かを判断する。

全体識別器５０は、取得した撮影シーンタイプデータが「１」又は「３」でないと判断した場合（Ｓ５０２でＮＯ）、つまり撮影シーンタイプデータが「ゼロ」又は「２」であると判断した場合には、肯定閾値の変更を行わずに処理を終了する。

一方、撮影シーンタイプデータが「１」又は「３」であると判断した場合（Ｓ５０２でＹＥＳ）、全体識別器５０は、対応するシーンに属する確率が若干低くても、そのシーンであると識別されるように（確率が下がるように）肯定閾値を変更する。つまり、撮影シーンタイプデータの示すシーンに対して定められている肯定閾値を所定値下げる（Ｓ５０３）。なお、この所定値は、例えばシーン識別プログラムに予め設定されており、本実施形態では、０．２であることとする。例えば、図１６Ａに示すように「風景」のシーンには、肯定閾値として１．２７が設定されている。全体識別器５０は、撮影シーンタイプデータが「風景」を意味する「１」であると判断すると、「風景」のシーンの肯定閾値の１．２７を０．２下げて１．０７に変更する。つまり、風景の識別処理において、算出された判別式の値が１．０７より大であれば「風景」のシーンであると識別されることになる。よって、肯定閾値が１．２７の場合と比べて「風景」のシーンであると識別されやすくなる。また、「風景」以外のシーンでは、肯定閾値が高めに設定されているので、誤識別を防止することができる。

撮影シーンタイプデータが「夜景」を意味する「３」の場合も同様にして夜景のシーンの肯定閾値を所定値下げるようにする。つまり、撮影シーンタイプデータが「３」の場合、全体識別器５０は「夜景」のシーンの肯定閾値の１．１４を０．２下げて０．９４に変更する。これにより「夜景」を示す撮影シーンタイプデータを含む画像が「夜景」のシーンであると識別されやすくなる。

なお、例えばユーザがモード設定ダイヤル２Ａを誤って設定したり、設定の変更を忘れたりして撮影することによって、画像の実際のシーンと、撮影シーンタイプデータの示すシーンとが異なっている場合がある。例えば、実際が「夜景」のシーンであるのに、撮影シーンタイプデータは「風景」を意味する「１」となっている場合がある。このような場合、風景の肯定閾値を下げすぎると、その画像が「風景」のシーンであると誤識別されるおそれがある。よって、例えば図１２に示すような肯定閾値と、Recall及びPrecisionの関係に基づいて、所望の正答率が得られるような肯定閾値の下限値を設定しておくことが望ましい。

そして、全体識別器５０は、肯定閾値を変更した後、識別処理が終了したか否かの判断を行い（Ｓ５０４）、識別処理が終了したと判断すると（Ｓ５０４でＹＥＳ）変更した肯定閾値を元の値に戻す（Ｓ５０５）。

このように、第１実施形態では、全体識別器５０において、撮影シーンタイプデータの示すシーンに対応する識別処理の肯定閾値を下げることにした。これにより、画像ファイルの付加データに撮影シーンタイプデータが含まれる場合、撮影シーンタイプデータのシーンであると識別されやすくなり、後段の識別処理を省略できる可能性が高くなる。例えば、従来では風景識別器５１Ｎで「風景」シーンの画像を扱う際に、算出された判別式の値が例えば１．２５だと、肯定閾値の１．２７よりも小さいので「風景」のシーンとは識別されなかった。そして、統合識別器まで識別処理を行うことによって「風景」のシーンの画像であると識別されていた。これに対し、本実施形態では、撮影シーンタイプデータに応じて「風景」の肯定閾値を１．２７から１．０７に下げることで、判別式の値が１．２７に近い（例えば１．２５）場合でも風景識別器５１Ｎで「風景」のシーンの画像であると確実に識別できることになる。よって風景識別器５１Ｎより後段の識別処理を省略することができ、識別処理の速度を速めることができる。

また、撮影シーンタイプデータのシーン以外のシーンの識別処理については肯定閾値を高めに設定したままとしている。よって、誤識別を防止しつつ識別処理の速度の向上を図ることができる。例えば、撮影シーンタイプデータが「夜景」の画像の場合、各シーンの肯定閾値は高めに定められているので、風景識別器５１Ｌや夕景識別器５１Ｓでシーンを特定することなく、夜景識別器５１Ｎによる識別処理まで行うようにすることができる。このように、誤識別を防止しつつ、識別処理の速度を向上させることができる。

本実施形態では、シーン情報の示すシーンに定められた肯定閾値を、シーンに関係なく所定値（０．２）下げることとしたが、例えば、前述した肯定閾値の下限値に基づいて、肯定閾値を変更する値（以下、変更値ともいう）を、シーン毎に定めておくようにしてもよい。例えば、前述した「風景」のシーンの識別処理と「夜景」のシーンの識別処理において肯定閾値の変更値を別々に設定しておいてもよい。そして、シーン情報の示すシーンに定められた肯定閾値を、そのシーンに設定された変更値だけ下げるようにしてもよい。これにより、シーン毎に識別精度と識別速度を調整することができる。

＝＝＝第２実施形態＝＝＝
＜概要＞
前述した実施形態では、シーン情報として画像データに付加される付加データのうちの撮影シーンタイプデータを用いていた。この撮影シーンタイプデータは、規格化されたデータであり、対応するシーンが「人物」、「風景」及び「夜景」と限定的であった。そのため、部分識別器６０には対応するシーンが無く、全体識別器５０による全体識別処理のみの肯定閾値を変更していた。

そこで、第２実施形態では、シーン情報としてＭａｋｅｒｎｏｔｅＩＦＤ領域に格納される撮影モードデータ（図５参照）を用いることにする。撮影モードデータは、メーカがデータの種類を自由に定義できるので、対応するシーンの種類を多くすることができる。但し、撮影モードデータは、メーカ毎に形式が異なるＭａｋｅｒｎｏｔｅデータであるため、プリンタ側コントローラ２０には、ＭａｋｅｒｎｏｔｅＩＦＤ領域のデータの格納形式を解析するための解析プログラムが必要となる。

＜撮影モードデータについて＞
図５に示すように、撮影モードデータは、デジタルスチルカメラ２のモード設定ダイヤル２Ａの各設定と対応している。具体的には、撮影モードデータの「１」は「人物」のシーン、「２」は「風景」のシーン、「３」は「花」のシーン、「４」は「スポーツ」のシーン、「５」は「夕景」のシーン、「６」は「夜景」のシーンとそれぞれ対応している。例えば、撮影モードデータが「３」の場合では、モード設定ダイヤル２Ａの設定が「花」で撮影されたことになり、識別対象画像が「花」のシーンを示す画像である確率が高いことになる。

なお、撮影モードデータが「０」の場合は、モード設定ダイヤル２Ａの設定が「オート」で撮影された画像であるので、このデータからは識別対象画像がどのシーンを示すものであるかを判断することができない。また、図５に示すように、撮影モードデータには「紅葉」を意味するデータは設定されていない。また、シーン識別部３３には、撮影モードデータが「１」と「４」、すなわち「人物」と「スポーツ」のシーンに対応するサブ識別器（サブ識別器５１、サブ部分識別器６１）は設けられていない。

従って、図５の撮影モードデータのうち、シーン識別部３３における識別処理（全体識別処理及び部分識別処理）と対応するのは、撮影モードデータが「風景」を意味する「２」、「花」を意味する「３」、「夕景」を意味する「５」、および「夜景」を意味する「６」の場合である。なお、全体識別器５０には、これらのシーン（「風景」、「花」、「夕景」、「夜景」の各シーン）に対応するサブ識別器５１が備えられており、部分識別器６０には、上述したシーンのうち「花」と「夕景」のシーンに対応するサブ部分識別器６１が備えられている。

＜閾値の変更処理について＞
撮影モードデータには全体識別器５０及び部分識別器６０に対応するシーンが設定されているので、撮影モードデータを用いることによって、全体識別処理及び部分識別処理の設定（肯定閾値）を変更することが可能である。

図２３は、第２実施形態にかかる閾値変更処理のフロー図の一例である。
まず、シーン識別部３３の全体識別器５０は、識別処理を行う際に画像データと対応して付加情報記憶部３１Ａ´に格納された付加データを読み出す。そして、付加データからＭａｋｅｒｎｏｔｅＩＦＤ領域に格納された撮影モードデータを取得し（Ｓ６０１）、その内容を解析する。そして、撮影モードデータの示すシーンが、全体識別器５０における識別処理に対応するものであるか否かを判断する（Ｓ６０２）。本実施形態の場合、撮影モードデータが前述した「２」、「３」、「５」、「６」の何れかであるか否かを判断する。全体識別器５０は、解析した撮影モードデータが上述した値でないと判断した場合（Ｓ６０２でＮＯ）、つまり、撮影モードデータが「ゼロ」、「１」、「４」の何れかであると判断した場合には、肯定閾値の変更処理は行わない。

一方、撮影モードデータが「２」、「３」、「５」、「６」の何れかであると判断した場合（Ｓ６０２でＹＥＳ）、全体識別器５０は、第１実施形態と同様に、対応する全体識別器５０のシーンの肯定閾値を所定値下げる（Ｓ６０３）。例えば、撮影モードデータが「２」の場合、「風景」のシーンに定められた肯定閾値を所定値（例えば、０．２）下げる。これにより、風景識別器５１Ｌによって、撮影モードデータの示すシーン（「風景」のシーン）であると識別されやすくなる。

続いて、シーン識別器３３の部分識別器６０は、撮影モードデータの示すシーンが、部分識別器６０の識別処理に対応するものであるか否かを判断する（Ｓ６０４）。本実施形態の場合、撮影モードデータが「花」を意味する「３」、「夕景」を意味する「５」であるか否かを判断する。

撮影モードデータが「３」、「５」以外であると判断した場合（Ｓ６０４でＮＯ）、すなわち、撮影モードデータが「０」、「１」、「２」、「４」の何れかであると判断した場合、部分識別器６０は部分識別器６０の肯定閾値の変更を行わずにステップＳ６０６を実行する。

一方、撮影モードデータが「３」又は「５」であると判断した場合、部分識別器６０は、対応するシーンに属している確率が若干低くても、そのシーンであると識別されるように（確率が下がるように）肯定閾値を変更する。つまり、撮影モードデータの示すシーンに定められている肯定閾値を所定数下げる（Ｓ６０５）。例えば、撮影モードデータが「３」の場合、部分識別器６０は、「花」のシーンに定められた肯定閾値を所定数下げる。ここで、部分識別処理の場合、部分特徴量に基づいて各シーンに属すると識別された部分画像の個数を加算した値がカウントされ、その正カウント値（評価値に相当する）と肯定閾値とが比較される。よって、撮影モードデータの示すシーンの識別処理において、そのシーンであると識別されるのに必要な部分画像の数が少なくなることになる。これにより、部分識別器６０による部分識別処理においても、撮影モードデータの示すシーンに対応する識別処理でシーンが識別されやすくなる。

そして、シーン識別部３３は、識別処理が終了したか否かの判断を行い（Ｓ６０６）、識別処理が終了したと判断すると(Ｓ６０６でＹＥＳ)、全体識別器５０及び部分識別器６０で変更した肯定閾値を元に戻して（Ｓ６０７）肯定閾値の変更処理を終了する。

このように、撮影モードデータを用いることによって、全体識別処理のみでなく部分識別処理の肯定閾値の変更を行うことが出来る。これにより、例えば、「花」のシーンの画像を扱う場合、付加データの撮影モードデータが「３」であれば、全体識別器５０の花識別器５１Ｆによって「花」のシーンであると識別されなくても、部分識別器６０の花部分識別器６１Ｆによって「花」のシーンであると識別できる可能性が高くなる。従って、後段の紅葉部分識別器６１Ｒ、および統合識別器７０の識別処理を省略できる可能性が高くなる。なお、部分識別処理では部分画像毎に識別を行うので、全体識別処理と比べて各シーンの識別の処理時間が長くなりがちである。よって、花部分識別器６１Ｆで「花」のシーンであると識別できると、紅葉部分識別器６１Ｒによる識別処理が省略できるので、紅葉部分識別器６１Ｒ、および統合識別器７０まで識別処理を行って「花」のシーンであると識別する場合に比べて、識別処理の速度を速めることができる。

また、部分識別器６０でも各シーンの肯定閾値が高めに定められているので、例えば「花」のシーンの画像の場合、夕景部分識別器６１Ｓで「夕景」のシーンであると誤識別されることを防止でき、花部分識別器６１Ｆによる識別処理を行うことができる。

＝＝＝第３実施形態＝＝＝
＜概要＞
前述したように、画像ファイルの付加データにシーン情報が含まれている場合には、その画像はシーン情報のシーンである確率が高い。しかし、全体識別器５０及び部分識別器６０では各シーンの識別処理の順序が予め設定されている。このため、画像のシーンである確率が高いシーンの識別処理を行う前に、別のシーンの識別処理が行われる場合があり、これにより識別処理の速度が低下するおそれがある。例えば、全体識別器５０の全体識別処理の場合、風景→夕景→夜景→花→紅葉の順序がデフォルトで定められている。ここで、「夜景」のシーン情報が含まれた画像を識別する場合、その画像は「夜景」のシーンである確率が高いにもかかわらず、「夜景」の識別処理の前に「風景」および「夕景」のシーンの識別処理が行われることになる。よって識別処理の速度が遅くなる。

そこで、第３実施形態では、シーン情報に応じて、肯定閾値とともに識別処理の順序を変更する。なお、第３実施形態では、シーン情報として第１実施形態と同様に撮影シーンタイプデータを用いることにする。

＜閾値の変更処理について＞
図２４は、第３実施形態にかかる閾値変更処理のフロー図の一例である。
まず、全体識別器５０は、識別処理を行う際に、画像データと対応して付加情報記憶部３１Ａ´に格納された付加データを読み出す。そして、付加データからＥｘｉｆＳｕｂＩＦＤ領域の撮影シーンタイプデータを取得する（Ｓ７０１）。そして、全体識別器５０は、取得した撮影シーンタイプデータが特定のシーンを示すものであるか否かを判断する（Ｓ７０２）。本実施形態の場合、「風景」を意味する「１」、又は「夜景」を意味する「３」であるか否かを判断する。

全体識別器５０は、取得した撮影シーンタイプデータが「１」又は「３」でないと判断した場合（Ｓ７０２でＮＯ）、つまり撮影シーンタイプデータが「ゼロ」又は「２」であると判断した場合には、設定の変更を行わずに処理を終了する。
一方、取得した撮影シーンタイプデータが「１」又は「３」であると判断した場合（Ｓ７０２でＹＥＳ）、そのシーンに対応する識別処理を最初に行うように識別処理の順序を変更する。（Ｓ７０３）。例えば、撮影シーンタイプデータが「３」の場合、夜景識別器５１Ｎによる「夜景」の識別処理を先（例えば最初）に行うように識別処理の順序を変更する。この場合、識別処理の順序は、デフォルト（風景→夕景→夜景→花→紅葉）から夜景→風景→夕景→花→紅葉に変更される。なお、撮影シーンタイプデータが「１」の場合、デフォルトで風景の識別処理が最初に行われるので、識別処理の順序を変更する必要はない。

次に、全体識別器５０は、撮影シーンタイプデータの示すシーンの肯定閾値を所定値下げる（Ｓ７０４）。例えば、撮影シーンタイプデータが「３」の場合、夜景のシーンの肯定閾値を第１実施形態と同様に変更する。
こうすることにより、例えば撮影シーンタイプデータが「３」の場合、「夜景」のシーンに対応する識別処理が先に行われるとともに、「夜景」のシーンの肯定閾値が低くなっているので、画像が「夜景」のシーンに属することをさらに速く識別できる。よって、識別処理の速度をさらに早めることができる。

次に、全体識別器５０は識別処理が終了したか否かの判断を行う（Ｓ７０５）。識別処理が終了したと判断した場合（Ｓ７０５でＹＥＳ）、変更した肯定閾値を元の値に戻し（Ｓ７０６）、識別処理の順序をデフォルトに戻す（Ｓ７０７）。
このように、撮影シーンタイプデータの示すシーンの識別処理が最初に行われ、また、そのシーンのみ肯定閾値が変更されるので、誤識別を防止しつつ識別処理の速度を速めることができる。本実施形態では、撮影シーンタイプデータを用いて全体識別処理の肯定閾値と識別順序を変更する場合について説明したが、第２実施形態のように、撮影モードデータを用いて、全体識別処理及び部分識別処理の肯定閾値と識別順序を変更するようにしてもいい。例えば撮影モードデータが「３」の場合、全体識別器５０及び部分識別器６０において「花」のシーンの識別処理を最初に行うように識別処理の順序を変更し、さらに、全体識別処理及び部分識別器処理に定められた「花」のシーンの肯定閾値を下げるようにしてもよい。
こうすることで、シーン情報の示すシーンの識別処理を優先的に行うことができ、また、その識別処理でシーンが特定される可能性が高くなる。よって、誤識別を防止しつつ、識別処理の速度をさらに速めることができる。

＝＝＝その他の実施の形態＝＝＝
一実施形態としてのプリンタ等を説明したが、上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは言うまでもない。特に、以下に述べる実施形態であっても、本発明に含まれるものである。

＜プリンタについて＞
前述の実施形態ではプリンタ４がシーン識別処理をしていたが、デジタルスチルカメラ２がシーン識別処理をしても良い。また、上記のシーン識別処理を行う画像識別装置は、プリンタ４やデジタルスチルカメラ２に限られるものではない。例えば、大量の画像ファイルを保存するフォトストレージのような画像識別装置が、上記のシーン識別処理を行っても良い。もちろん、パーソナルコンピュータやインターネット上に設置されたサーバーが、上記のシーン識別処理を行っても良い。

＜シーン情報について＞
前述の実施形態ではシーン情報として、撮影シーンタイプデータと撮影モードデータの場合について説明したが、シーン情報はこれに限定されず、画像の属するシーンを示す情報が含まれるものであればよい。

＜識別処理について＞
第２実施形態では、シーン情報に基づいて、全体識別処理と部分識別処理の順序を変更することとしたが、これに限定されない。例えば、シーン情報に基づいて、全体識別処理のみの肯定閾値を変更してもよいし、部分識別処理のみの肯定閾値を変更してもよい。何れの場合でも、肯定閾値を変更しない場合に比べて、識別処理の速度の向上を図ることができる。

画像処理システムの説明図である。 プリンタの構成の説明図である。 画像ファイルの構造の説明図である。 図４Ａは、ＩＦＤ０で使われるタグの説明図である。図４Ｂは、ＥｘｉｆＳｕｂＩＦＤで使われるタグの説明図である。 モード設定ダイヤルの設定とデータとの対応表である。 プリンタの自動補正機能の説明図である。 画像のシーンと補正内容との関係の説明図である。 シーン識別部によるシーン識別処理のフロー図である。 シーン識別部の機能の説明図である。 全体識別処理のフロー図である。 識別対象テーブルの説明図である。 全体識別処理の肯定閾値の説明図である。 RecallとPrecisionの説明図である。 第１否定閾値の説明図である。 第２否定閾値の説明図である。 図１６Ａは、閾値テーブルの説明図である。図１６Ｂは、風景識別器における閾値の説明図である。図１６Ｃは、風景識別器の処理の概要の説明図である。 部分識別処理のフロー図である。 夕景部分識別器が選択する部分画像の順番の説明図である。 上位１０番目までの１０個の部分画像だけで夕景画像の識別をしたときのRecall及びPrecisionのグラフである。 図２０Ａは、線形サポートベクタマシンによる判別の説明図である。図２０Ｂは、カーネル関数を用いた判別の説明図である。 統合識別処理のフロー図である。 第１実施形態にかかる閾値変更処理のフロー図である。 第２実施形態にかかる閾値変更処理のフロー図である。 第３実施形態にかかる閾値変更処理のフロー図である。

符号の説明

２ デジタルスチルカメラ、２Ａ モード設定ダイヤル、
４ プリンタ、６ メモリカード、１０ 印刷機構、
１１ ヘッド、１２ ヘッド制御部、１３ モータ、１４ センサ
２３ メモリ、２４ 制御ユニット、２５ 駆動信号生成部、
３１ 記憶部、３１Ａ 画像記憶部、３１Ａ´ 付加情報記憶部、３１Ｂ 結果記憶部、
３２ 顔識別部、３３ シーン識別部、３４ 画像補正部、３５ プリンタ制御部、
４０ 特徴量取得部、５０ 全体識別器、５１ サブ識別器、５１Ｌ 風景識別器、
５１Ｓ 夕景識別器、５１Ｎ 夜景識別器、５１Ｆ 花識別器、５１Ｒ 紅葉識別器、
６０ 部分識別器、６１ サブ部分識別器、６１Ｓ 夕景部分識別器、
６１Ｆ 花部分識別器、６１Ｒ 紅葉部分識別器、７０ 統合識別器

Claims (9)

1. 画像データの示す画像が特定のシーンに属する確率に応じた値になる評価値と、前記シーンに予め定められた閾値とを比較し、前記評価値に対応する前記確率が、前記閾値に対応する確率よりも大きい場合に、前記画像が前記シーンに属すると識別する識別処理を、複数の前記シーン毎に順に行い、
   ある前記識別処理で前記画像が当該識別処理に対応する前記シーンに属すると識別されると、まだ行われていない前記識別処理が省略され、
   前記識別処理の結果に基づいて前記画像の属するシーンを識別する
   画像識別方法において、
   前記画像データに付加されている付加データから、前記画像が属する前記シーンに関するシーン情報を取得し、
   対応する前記確率が下がるように、前記シーン情報の示す前記シーンの前記閾値を変更する、
   ことを特徴とする画像識別方法。
2. 請求項１に記載の画像識別方法であって、
   前記シーン情報の示すシーン毎に、前記閾値を変更する値がそれぞれ定められていることを特徴とする画像識別方法。
3. 請求項１又は２に記載の画像識別方法であって、
   前記画像が前記シーン情報の示す前記シーンに属すると識別されない場合、前記評価値と、前記閾値とは別の閾値との比較が行われ、
   その比較結果に応じて、前記シーン情報の示す前記シーンに対応する前記識別処理とは別の識別処理が省略される
   ことを特徴とする画像識別方法。
4. 請求項１〜３の何れかに記載の画像識別方法であって、
   前記識別処理は、
   前記画像の全体の特徴を示す全体特徴量に基づいて、前記画像が特定のシーンに属することを複数の前記シーン毎に順に識別する全体識別処理と、
   前記全体識別処理において前記画像データの示す画像のシーンを識別できない場合に、前記画像の部分の特徴を示す部分特徴量に基づいて、前記画像が特定のシーンに属することを複数の前記シーン毎に順に識別する部分識別処理と、
   を有し、
   前記シーン情報に応じて、前記全体識別処理及び前記部分識別処理の少なくとも一方の前記シーンに対応する前記閾値を変更する
   ことを特徴とする画像識別方法。
5. 請求項４に記載の画像識別方法であって、
   前記全体識別処理における前記評価値は、
   前記全体特徴量に基づいて算出された値であって、前記画像データの示す前記画像が前記特定のシーンに属する確率を示す値である
   ことを特徴とする画像識別方法。
6. 請求項４または５に記載の画像識別方法であって、
   前記部分識別処理における前記評価値は、
   前記部分特徴量に基づいて前記部分に対応する部分画像が前記特定のシーンに属するか否かを評価した評価結果を、前記部分画像毎に加算した値である
   ことを特徴とする画像識別方法。
7. 請求項１〜６の何れかに記載の画像識別方法であって、
   前記シーン情報の示す前記シーンに対応する前記識別処理の順番を先にする
   ことを特徴とする画像識別方法。
8. 画像データの示す画像が特定のシーンに属する確率に応じた評価値と、前記シーンに予め定められた閾値とを比較し、前記評価値に対応する前記確率が、前記閾値に対応する確率よりも大きい場合に前記画像が前記シーンに属すると識別する識別処理を、複数の前記シーン毎に順に行い、ある前記識別処理で前記画像が当該識別処理に対応する前記シーンに属すると識別すると、まだ行われていない前記識別処理を省略し、前記識別処理の結果に基づいて前記画像の属するシーンを識別するコントローラを備えた画像識別装置であって、
   前記コントローラは、
   前記画像データに付加されている付加データから、前記画像が属する前記シーンに関するシーン情報を取得し、
   対応する前記確率が下がるように、前記シーン情報の示す前記シーンの前記閾値を変更する、
   ことを特徴とする画像識別装置。
9. 画像識別装置に、
   画像データの示す画像が特定のシーンに属する確率に応じた値になる評価値と、前記シーンに予め定められた閾値とを比較させ、前記評価値に対応する前記確率が前記閾値に対応する確率よりも大きい場合に、前記画像が前記シーンに属すると識別する識別処理を、複数の前記シーン毎に順に行わせ、
   ある前記識別処理で前記画像が当該識別処理に対応する前記シーンに属すると識別されると、まだ行われていない前記識別処理を省略させ、
   前記識別処理の結果に基づいて前記画像の属するシーンを識別させる、
   プログラムであって、
   前記画像識別装置に、
   前記画像データに付加されている付加データから、前記画像が属する前記シーンに関するシーン情報を取得させ、
   対応する前記確率が下がるように、前記シーン情報の示す前記シーンの前記閾値を変更させる、
   ことを特徴とするプログラム。

Images