JP2009080556A - 設定方法、識別方法及びプログラム - Google Patents

Abstract

【課題】ユーザの好みに合わせた設定変更が容易なインターフェースを提供する。
【解決手段】本設定方法は、あるクラスに識別対象が属するか否かを識別する識別処理の設定方法であって、前記あるクラスに属するサンプルと、前記あるクラスとは別のクラスに属するサンプルとを抽出する抽出ステップと、抽出された複数の前記サンプルを表示部に並べて表示すると共に、前記あるクラスに属するサンプルと、前記別のクラスに属するサンプルとの間にマークを表示し、ユーザの指示に応じて前記マークの位置を移動することによって、別の前記サンプルと前記サンプルとの間に前記マークを表示する表示ステップと、前記ユーザの決定した前記マークの位置に応じて、前記あるクラスに識別対象が属するか否かを識別する識別処理の設定を変更する設定変更ステップとを備えることを特徴とする。
【選択図】図１９

Description

本発明は、設定方法、識別方法及びプログラムに関する。

デジタルスチルカメラには撮影モードを設定するモード設定ダイヤルを持つものがある。ユーザがダイヤルで撮影モードを設定すると、デジタルスチルカメラは撮影モードに応じた撮影条件（露光時間等）を決定し、撮影を行う。撮影が行われると、デジタルスチルカメラは、画像ファイルを生成する。この画像ファイルには、撮影した画像の画像データに、撮影時の撮影条件等の付加データが付加されている。

付加データを用いて画像データの示す画像のカテゴリ（クラス）を識別することも可能である。但し、この場合、識別可能なカテゴリは、付加データに記録されるデータの種類に限定されてしまう。そこで、画像データを解析し、画像データの示す画像のカテゴリを識別することも行われている（特許文献１、２参照）。
特開平１０−３０２０６７号公報 特表２００６−５１１０００号公報

識別処理の結果が、ユーザの好みと合わないことがある。このような場合、ユーザの好みに合わせて識別処理の設定を変更することが望ましい。
本発明は、ユーザの好みに合わせた設定変更が容易なインターフェースを提供することを目的とする。

上記目的を達成するための主たる発明は、あるクラスに識別対象が属するか否かを識別する識別処理の設定方法であって、前記あるクラスに属するサンプルと、前記あるクラスとは別のクラスに属するサンプルとを抽出する抽出ステップと、抽出された複数の前記サンプルを表示部に並べて表示すると共に、前記あるクラスに属するサンプルと、前記別のクラスに属するサンプルとの間にマークを表示し、ユーザの指示に応じて前記マークの位置を移動することによって、別の前記サンプルと前記サンプルとの間に前記マークを表示する表示ステップと、前記ユーザの決定した前記マークの位置に応じて、前記あるクラスに識別対象が属するか否かを識別する識別処理の設定を変更する設定変更ステップとを備えることを特徴とする設定方法である。
本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。

本明細書及び添付図面の記載により、少なくとも、以下の事項が明らかとなる。

あるクラスに識別対象が属するか否かを識別する識別処理の設定方法であって、
前記あるクラスに属するサンプルと、前記あるクラスとは別のクラスに属するサンプルとを抽出する抽出ステップと、
抽出された複数の前記サンプルを表示部に並べて表示すると共に、前記あるクラスに属するサンプルと、前記別のクラスに属するサンプルとの間にマークを表示し、ユーザの指示に応じて前記マークの位置を移動することによって、別の前記サンプルと前記サンプルとの間に前記マークを表示する表示ステップと、
前記ユーザの決定した前記マークの位置に応じて、前記あるクラスに識別対象が属するか否かを識別する識別処理の設定を変更する設定変更ステップと
を備えることを特徴とする設定方法が明らかになる。
この設定方法によれば、ユーザの好みに合わせた設定変更が容易なインターフェースを提供することができる。

前記設定変更ステップでは、前記マークと前記別のクラスに属するサンプルとの間に前記あるクラスに属するサンプルが位置する状態で、前記マークの位置が決定された場合、前記マークと前記別のクラスに属するサンプルとの間に位置する前記あるクラスに属するサンプルが、前記あるクラスに属さないものとして属性情報が変更され、前記マークと前記あるクラスに属するサンプルとの間に前記別のクラスに属するサンプルが位置する状態で、前記マークの位置が決定された場合、前記マークと前記あるクラスに属するサンプルとの間に位置する前記別のクラスに属するサンプルが、前記別のクラスに属さないものとして属性情報が変更され、変更後の前記属性情報に基づいて再学習が行われ、再学習の結果に応じて前記識別処理の設定が変更されることが望ましい。これにより、ユーザの好みに合わせて、矛盾の生じないように、属性情報を変更することができる。

前記抽出ステップでは、クラスタリングされた各クラスタの中から代表となるサンプルを抽出しており、前記設定変更ステップでは、代表となるサンプルの前記属性情報を変更するとき、そのサンプルと同じクラスタに属するサンプルの前記属性情報も変更することが望ましい。これにより、複数のサンプルの属性情報を、一括変更できる。

予め複数の識別処理が用意されており、前記設定変更ステップでは、複数の識別処理の中から、前記ユーザの決定した前記マークの位置に応じた識別処理が選択されることが望ましい。これにより、再学習をしなくて済む。

前記あるクラスに属するサンプルと、前記別のクラスに属するサンプルとを分離する超平面の法線に前記サンプルを投影し、前記法線上に投影された前記サンプルの位置に基づいて、抽出すべきサンプルを決定することが望ましい。これにより、確信度の高い順に、サンプルを抽出することができる。

前記識別処理は、前記識別対象を評価する評価関数の値と、所定の閾値とを比較し、比較結果に基づいて前記識別対象が前記クラスに属するか否かを識別するものであり、前記設定変更ステップでは、前記評価関数を変更することが望ましい。これにより、ユーザの好みを反映した識別処理を行うことができる。

前記識別処理は、前記識別対象を評価する評価関数の値と、所定の閾値とを比較し、比較結果に基づいて前記識別対象が前記クラスに属するか否かを識別するものであり、前記設定変更ステップでは、前記閾値を変更することが望ましい。これにより、ユーザの好みを反映した識別処理を行うことができる。

あるクラスに識別対象が属するか否かを識別する識別処理を行う識別方法であって、
前記あるクラスに属するサンプルと、前記あるクラスとは別のクラスに属するサンプルとを抽出する抽出ステップと、
抽出された複数の前記サンプルを表示部に並べて表示すると共に、前記あるクラスに属するサンプルと、前記別のクラスに属するサンプルとの間にマークを表示し、ユーザの指示に応じて前記マークの位置を移動することによって、別の前記サンプルと前記サンプルとの間に前記マークを表示する表示ステップと、
前記ユーザの決定した前記マークの位置に応じて、前記あるクラスに識別対象が属するか否かを識別する識別処理の設定を変更する設定変更ステップと、
設定の変更された前記識別処理によって、前記識別対象が前記あるクラスに属するか否かを識別する識別ステップと
を備えることを特徴とする識別方法も、明らかになる。
この識別方法によれば、ユーザの好みに合わせた設定変更が容易なインターフェースを提供することができる。

あるクラスに識別対象が属するか否かを識別する識別処理を行う識別装置に、
前記あるクラスに属するサンプルと、前記あるクラスとは別のクラスに属するサンプルとを抽出させ、
抽出された複数の前記サンプルを表示部に並べて表示させると共に、前記あるクラスに属するサンプルと、前記別のクラスに属するサンプルとの間にマークを表示させ、ユーザの指示に応じて前記マークの位置を移動することによって、別の前記サンプルと前記サンプルとの間に前記マークを表示させ、
前記ユーザの決定した前記マークの位置に応じて、前記あるクラスに識別対象が属するか否かを識別する識別処理の設定を変更させる
ことを特徴とするプログラムも、明らかになる。
このプログラムによれば、ユーザの好みに合わせた設定変更が容易なインターフェースを識別装置に実現させることができる。

＝＝＝全体説明＝＝＝
まず、識別処理の基本的な構成及び処理について説明する。この説明の後、本実施形態について詳しく説明する。

＜全体構成＞
図１は、画像処理システムの説明図である。この画像処理システムは、デジタルスチルカメラ２と、プリンタ４とを備える。

デジタルスチルカメラ２は、被写体をデジタルデバイス（ＣＣＤなど）に結像させることによりデジタル画像を取得するカメラである。デジタルスチルカメラ２には、モード設定ダイヤル２Ａが設けられている。ユーザは、ダイヤル２Ａによって、撮影条件に応じた撮影モードを設定することができる。例えば、ダイヤル２Ａによって「夜景」モードが設定されると、デジタルスチルカメラ２は、シャッター速度を遅くしたり、ＩＳＯ感度を高くしたりして、夜景撮影に適した撮影条件にて撮影を行う。

デジタルスチルカメラ２は、ファイルフォーマット規格に準拠して、撮影により生成した画像ファイルをメモリカード６に保存する。画像ファイルには、撮影した画像のデジタルデータ（画像データ）だけでなく、撮影時の撮影条件（撮影データ）等の付加データも保存される。

プリンタ４は、画像データの示す画像を紙に印刷する印刷装置である。プリンタ４には、メモリカード６を挿入するスロット２１が設けられている。ユーザは、デジタルスチルカメラ２で撮影した後、デジタルスチルカメラ２からメモリカード６を取り出し、スロット２１にメモリカード６を挿入することができる。

パネル部１５は、表示部１６と、各種のボタンを有する入力部１７とを備える。このパネル部１５はユーザインターフェースとして機能する。表示部１６は、液晶ディスプレイにより構成される。表示部１６がタッチパネルであれば、表示部１６は入力部１７としても機能する。表示部１６には、プリンタ４の設定を行うための設定画面や、メモリカードから読み取った画像データの画像や、ユーザへの確認や警告のための画面などが表示される。なお、表示部１６が表示する各種の画面については、後述する。

図２は、プリンタ４の構成の説明図である。プリンタ４は、印刷機構１０と、この印刷機構１０を制御するプリンタ側コントローラ２０とを備える。印刷機構１０は、インクを吐出するヘッド１１と、ヘッド１１を制御するヘッド制御部１２と、紙を搬送するため等のモータ１３と、センサ１４とを有する。プリンタ側コントローラ２０は、メモリカード６からデータを送受信するためのメモリ用スロット２１と、ＣＰＵ２２と、メモリ２３と、モータ１３を制御する制御ユニット２４と、駆動信号（駆動波形）を生成する駆動信号生成部２５とを有する。また、プリンタ側コントローラ２０は、パネル部１５を制御するパネル制御部２６も備えている。

メモリカード６がスロット２１に挿入されると、プリンタ側コントローラ２０は、メモリカード６に保存されている画像ファイルを読み出してメモリ２３に記憶する。そして、プリンタ側コントローラ２０は、画像ファイルの画像データを、印刷機構１０で印刷するための印刷データに変換し、印刷データに基づいて印刷機構１０を制御し、紙に画像を印刷する。この一連の動作は、「ダイレクトプリント」と呼ばれている。

なお、「ダイレクトプリント」は、メモリカード６をスロット２１に挿入することによって行われるだけでなく、デジタルスチルカメラ２とプリンタ４とをケーブル（不図示）で接続することによっても可能である。

メモリカード６に記憶される画像ファイルは、画像データと、付加データとから構成されている。画像データは、複数の画素データから構成されている。画素データは、画素の色情報（階調値）を示すデータである。画素がマトリクス状に配置されることによって、画像が構成される。このため、画像データは、画像を示すデータである。付加データには、画像データの特性を示すデータや、撮影データや、サムネイル画像データ等が含まれる。

＜自動補正機能の概要＞
「人物」の写真を印刷するときには、肌色をきれいにしたいという要求がある。また、「風景」の写真を印刷するときには、空の青色を強調し、木や草の緑色を強調したいという要求がある。そこで、プリンタ４は、画像ファイルを分析して自動的に適した補正処理を行う自動補正機能を備えている。

図３は、プリンタ４の自動補正機能の説明図である。図中のプリンタ側コントローラ２０の各要素は、ソフトウェアとハードウェアによって実現される。

記憶部３１は、メモリ２３の一部の領域及びＣＰＵ２２によって実現される。メモリカード６から読み出された画像ファイルの全部又は一部は、記憶部３１の画像記憶部３１Ａに展開される。また、プリンタ側コントローラ２０の各要素の演算結果は、記憶部３１の結果記憶部３１Ｂに格納される。

顔識別部３２は、ＣＰＵ２２と、メモリ２３に記憶された顔識別プログラムとによって実現される。顔識別部３２は、画像記憶部３１Ａに記憶された画像データを分析し、顔の有無を識別する。顔識別部３２によって顔が有ると識別された場合、識別対象となる画像が「人物」のシーンに属すると識別される。この場合、シーン識別部３３によるシーン識別処理は行われない。顔識別部３２による顔識別処理は、既に広く行われている処理と同様なので、詳細な説明は省略する。

シーン識別部３３は、ＣＰＵ２２と、メモリ２３に記憶されたシーン識別プログラムとによって実現される。シーン識別部３３は、画像記憶部３１Ａに記憶された画像ファイルを分析し、画像データの示す画像のシーンを識別する。顔識別部３２によって顔がないと識別された場合に、シーン識別部３３によるシーン識別処理が行われる。後述するように、シーン識別部３３は、識別対象となる画像が「風景」、「夕景」、「夜景」、「花」、「紅葉」、「その他」のいずれの画像であるかを識別する。

図４は、画像のシーンと補正内容との関係の説明図である。
画像補正部３４は、ＣＰＵ２２と、メモリ２３に記憶された画像補正プログラムとによって実現される。画像補正部３４は、記憶部３１の結果記憶部３１Ｂ（後述）に記憶されている識別結果（顔識別部３２やシーン識別部３３の識別結果）に基づいて、画像記憶部３１Ａの画像データを補正する。例えば、シーン識別部３３の識別結果が「風景」である場合には、青色を強調し、緑色を強調するような補正が行われる。なお、画像補正部３４は、シーンの識別結果だけでなく、画像ファイルの撮影データの内容も反映して、画像データを補正しても良い。例えば、露出補正がマイナスの場合、暗い雰囲気の画像を明るくしないように画像データを補正しても良い。

プリンタ制御部３５は、ＣＰＵ２２、駆動信号生成部２５、制御ユニット２４及びメモリ２３に記憶されたプリンタ制御プログラムによって、実現される。プリンタ制御部３５は、補正後の画像データを印刷データに変換し、印刷機構１０に画像を印刷させる。

＜シーン識別処理＞
図５は、シーン識別部３３によるシーン識別処理のフロー図である。図６は、シーン識別部３３の機能の説明図である。図中のシーン識別部３３の各要素は、ソフトウェアとハードウェアによって実現される。シーン識別部３３は、図６に示す特徴量取得部４０と、全体識別器５０と、部分識別器６０と、統合識別器７０とを備えている。

最初に、特徴量取得部４０が、記憶部３１の画像記憶部３１Ａに展開された画像データを分析し、部分特徴量を取得する（Ｓ１０１）。具体的には、特徴量取得部４０は、画像データを８×８の６４ブロックに分割し、各ブロックの色平均と分散を算出し、この色平均と分散を部分特徴量として取得する。なお、ここでは各画素はＹＣＣ色空間における階調値のデータをもっており、各ブロックごとに、Ｙの平均値、Ｃｂの平均値及びＣｒの平均値がそれぞれ算出され、Ｙの分散、Ｃｂの分散及びＣｒの分散がそれぞれ算出される。つまり、各ブロックごとに３つの色平均と３つの分散が部分特徴量として算出される。これらの色平均や分散は、各ブロックにおける部分画像の特徴を示すものである。なお、ＲＧＢ色空間における平均値や分散を算出しても良い。
ブロックごとに色平均と分散が算出されるので、特徴量取得部４０は、画像記憶部３１Ａには画像データの全てを展開せずに、ブロック分の画像データをブロック順に展開する。このため、画像記憶部３１Ａは、必ずしも画像ファイルの全てを展開できるだけの容量を備えていなくても良い。

次に、特徴量取得部４０が、全体特徴量を取得する（Ｓ１０２）。具体的には、特徴量取得部４０は、画像データの全体の色平均、分散、重心及び撮影情報を、全体特徴量として取得する。なお、これらの色平均や分散は、画像の全体の特徴を示すものである。画像データ全体の色平均、分散及び重心は、先に算出した部分特徴量を用いて算出される。このため、全体特徴量を算出する際に、画像データを再度展開する必要がないので、全体特徴量の算出速度が速くなる。全体識別処理（後述）は部分識別処理（後述）よりも先に行われるにも関わらず、全体特徴量が部分特徴量よりも後に求められるのは、このように算出速度を速めるためである。なお、撮影情報は、画像ファイルの撮影データから抽出される。具体的には、絞り値、シャッター速度、フラッシュ発光の有無などの情報が全体特徴量として用いられる。但し、画像ファイルの撮影データの全てが全体特徴量として用いられるわけではない。

次に、全体識別器５０が、全体識別処理を行う（Ｓ１０３）。全体識別処理とは、全体特徴量に基づいて、画像データの示す画像のシーンを識別（推定）する処理である。全体識別処理の詳細については、後述する。

全体識別処理によってシーンの識別ができる場合（Ｓ１０４でＹＥＳ）、シーン識別部３３は、記憶部３１の結果記憶部３１Ｂに識別結果を記憶することによってシーンを決定し（Ｓ１０９）、シーン識別処理を終了する。つまり、全体識別処理によってシーンの識別ができた場合（Ｓ１０４でＹＥＳ）、部分識別処理や統合識別処理が省略される。これにより、シーン識別処理の速度が速くなる。

全体識別処理によってシーンの識別ができない場合（Ｓ１０４でＮＯ）、次に部分識別器６０が、部分識別処理を行う（Ｓ１０５）。部分識別処理とは、部分特徴量に基づいて、画像データの示す画像全体のシーンを識別する処理である。部分識別処理の詳細については、後述する。

部分識別処理によってシーンの識別ができる場合（Ｓ１０６でＹＥＳ）、シーン識別部３３は、記憶部３１の結果記憶部３１Ｂに識別結果を記憶することによってシーンを決定し（Ｓ１０９）、シーン識別処理を終了する。つまり、部分識別処理によってシーンの識別ができた場合（Ｓ１０６でＹＥＳ）、統合識別処理が省略される。これにより、シーン識別処理の速度が速くなる。

部分識別処理によってシーンの識別ができない場合（Ｓ１０６でＮＯ）、次に統合識別器７０が、統合識別処理を行う（Ｓ１０７）。統合識別処理の詳細については、後述する。

統合識別処理によってシーンの識別ができる場合（Ｓ１０８でＹＥＳ）、シーン識別部３３は、記憶部３１の結果記憶部３１Ｂに識別結果を記憶することによってシーンを決定し（Ｓ１０９）、シーン識別処理を終了する。一方、統合識別処理によってシーンの識別ができない場合（Ｓ１０８でＮＯ）、画像データの示す画像が「その他」のシーン（「風景」、「夕景」、「夜景」、「花」又は「紅葉」以外のシーン）である旨の識別結果を結果記憶部３１Ｂに記憶する（Ｓ１１０）。

＜全体識別処理＞
図７は、全体識別処理のフロー図である。ここでは図６も参照しながら全体識別処理について説明する。

まず、全体識別器５０は、複数のサブ識別器５１の中から１つのサブ識別器５１を選択する（Ｓ２０１）。全体識別器５０には、識別対象となる画像（識別対象画像）が特定のシーンに属するか否かを識別するサブ識別器５１が５つ設けられている。５つのサブ識別器５１は、それぞれ風景、夕景、夜景、花、紅葉のシーンを識別する。ここでは、全体識別器５０は、風景→夕景→夜景→花→紅葉の順に、サブ識別器５１を選択する（なお、サブ識別器５１の選択順序については、後述する）。このため、最初には、識別対象画像が風景のシーンに属するか否かを識別するサブ識別器５１（風景識別器５１Ｌ）が選択される。

次に、全体識別器５０は、識別対象テーブルを参照し、選択したサブ識別器５１を用いてシーンを識別すべきか否かを判断する（Ｓ２０２）。

図８は、識別対象テーブルの説明図である。この識別対象テーブルは、記憶部３１の結果記憶部３１Ｂに記憶される。識別対象テーブルは、最初の段階では全ての欄がゼロに設定される。Ｓ２０２の処理では、「否定」欄が参照され、ゼロであればＹＥＳと判断され、１であればＮＯと判断される。ここでは、全体識別器５０は、識別対象テーブルにおける「風景」欄の「否定」欄を参照し、ゼロであるのでＹＥＳと判断する。

次に、サブ識別器５１は、全体特徴量に基づいて、識別対象画像が特定のシーンに属する確率（確信度）を算出する（Ｓ２０３）。サブ識別器５１には、サポートベクタマシン（ＳＶＭ）による識別手法が用いられている。なお、サポートベクタマシンについては、後述する。識別対象画像が特定のシーンに属する場合、サブ識別器５１の判別式は、プラスの値になりやすい。識別対象画像が特定のシーンに属しない場合、サブ識別器５１の判別式は、マイナスの値になりやすい。また、判別式は、識別対象画像が特定のシーンに属する確信度が高いほど、大きい値になる。このため、判別式の値が大きければ、識別対象画像が特定のシーンに属する確率（確信度）が高くなり、判別式の値が小さければ、識別対象画像が特定のシーンに属する確率が低くなる。

次に、サブ識別器５１は、判別式の値が肯定閾値より大きいか否かを判断する（Ｓ２０４）。判別式の値が肯定閾値より大きければ、サブ識別器５１は、識別対象画像が特定のシーンに属すると判断することになる。

図９は、全体識別処理の肯定閾値の説明図である。同図において、横軸は肯定閾値を示し、縦軸はRecall又はPrecisionの確率を示す。図１０は、RecallとPrecisionの説明図である。判別式の値が肯定閾値以上の場合には識別結果はPositiveであり、判別式の値が肯定閾値以上でない場合には識別結果はNegativeである。

Recallは、再現率や検出率を示すものである。Recallは、特定のシーンの画像の総数に対する、特定のシーンに属すると識別された画像の数の割合である。言い換えると、Recallは、特定のシーンの画像をサブ識別器５１に識別させたときに、サブ識別器５１がPositiveと識別する確率（特定のシーンの画像が特定のシーンに属すると識別される確率）を示すものである。例えば、風景画像を風景識別器５１Ｌに識別させたときに、風景のシーンに属すると風景識別器５１Ｌが識別する確率を示すものである。

Precisionは、正答率や正解率を示すものである。Precisionは、Positiveと識別された画像の総数に対する、特定のシーンの画像の数の割合である。言い換えると、Precisionは、特定のシーンを識別するサブ識別器５１がPositiveと識別したときに、識別対象の画像が特定のシーンである確率を示すものである。例えば、風景識別器５１Ｌが風景のシーンに属すると識別したときに、その識別した画像が本当に風景画像である確率を示すものである。

図９から分かる通り、肯定閾値を大きくするほど、Precisionが大きくなる。このため、肯定閾値を大きくするほど、例えば風景のシーンに属すると識別された画像が風景画像である確率が高くなる。つまり、肯定閾値を大きくするほど、誤識別の確率が低くなる。
一方、肯定閾値を大きくするほど、Recallは小さくなる。この結果、例えば、風景画像を風景識別器５１Ｌで識別した場合であっても、風景のシーンに属すると正しく識別しにくくなる。ところで、識別対象画像が風景のシーンに属すると識別できれば（Ｓ２０４でＹＥＳ）、残りの別のシーン（夕景など）の識別を行わないようにして全体識別処理の速度を速めている。このため、肯定閾値を大きくするほど、全体識別処理の速度は低下することになる。また、全体識別処理によってシーンが識別できれば部分識別処理を行わないようにしてシーン識別処理の速度を速めているため（Ｓ１０４）、肯定閾値を大きくするほど、シーン識別処理の速度は低下することになる。
つまり、肯定閾値が小さすぎると誤識別の確率が高くなり、大きすぎると処理速度が低下することになる。ここでは、正答率（Precision）を９７．５％に設定するため、風景の肯定閾値は１．２７に設定されている。

判別式の値が肯定閾値より大きければ（Ｓ２０４でＹＥＳ）、サブ識別器５１は、識別対象画像が特定のシーンに属すると判断し、肯定フラグを立てる（Ｓ２０５）。「肯定フラグを立てる」とは、図８の「肯定」欄を１にすることである。この場合、全体識別器５０は、次のサブ識別器５１による識別を行わずに、全体識別処理を終了する。例えば、風景画像であると識別できれば、夕景などの識別を行わずに、全体識別処理を終了する。この場合、次のサブ識別器５１による識別を省略しているので、全体識別処理の速度を速めることができる。

判別式の値が肯定閾値より大きくなければ（Ｓ２０４でＮＯ）、サブ識別器５１は、識別対象画像が特定のシーンに属すると判断できず、次のＳ２０６の処理を行う。

次に、サブ識別器５１は、判別式の値と否定閾値とを比較する（Ｓ２０６）。これにより、サブ識別器５１は、識別対象画像が所定のシーンに属しないかを判断する。このような判断としては、２種類ある。第１に、ある特定のシーンのサブ識別器５１の判別式の値が第１否定閾値より小さければ、その特定のシーンに識別対象画像が属しないと判断されることになる。例えば、風景識別器５１Ｌの判別式の値が第１否定閾値より小さければ、識別対象画像が風景のシーンに属しないと判断されることになる。第２に、ある特定のシーンのサブ識別器５１の判別式の値が第２否定閾値より大きければ、その特定のシーンとは別のシーンに識別対象画像が属しないと判断されることになる。例えば、風景識別器５１Ｌの判別式の値が第２否定閾値より大きければ、識別対象画像が夜景のシーンに属しないと判断されることになる。

図１１は、第１否定閾値の説明図である。同図において、横軸は第１否定閾値を示し、縦軸は確率を示す。グラフの太線は、True Negative Recallのグラフであり、風景画像以外の画像を風景画像ではないと正しく識別する確率を示している。グラフの細線は、False Negative Recallのグラフであり、風景画像なのに風景画像ではないと誤って識別する確率を示している。

図１１から分かる通り、第１否定閾値を小さくするほど、False Negative Recallが小さくなる。このため、第１否定閾値を小さくするほど、例えば風景のシーンに属しないと識別された画像が風景画像である確率が低くなる。つまり、誤識別の確率が低くなる。
一方、第１否定閾値を小さくするほど、True Negative Recallも小さくなる。この結果、風景画像以外の画像を風景画像ではないと識別しにくくなる。その一方、識別対象画像が特定シーンでないことを識別できれば、部分識別処理の際に、その特定シーンのサブ部分識別器６１による処理を省略してシーン識別処理速度を速めている（後述、図１４のＳ３０２）。このため、第１否定閾値を小さくするほど、シーン識別処理速度は低下する。
つまり、第１否定閾値が大きすぎると誤識別の確率が高くなり、小さすぎると処理速度が低下することになる。ここでは、False Negative Recallを２．５％に設定するため、第１否定閾値は−１．１０に設定されている。

ところで、ある画像が風景のシーンに属する確率が高ければ、必然的にその画像が夜景のシーンに属する確率は低くなる。このため、風景識別器５１Ｌの判別式の値が大きい場合には、夜景ではないと識別できる場合がある。このような識別を行うために、第２否定閾値が設けられる。

図１２は、第２否定閾値の説明図である。同図において、横軸は風景の判別式の値を示し、縦軸は確率を示す。同図には、図９のRecallとPrecisionのグラフとともに、夜景のRecallのグラフが点線で描かれている。この点線のグラフに注目すると、風景の判別式の値が−０．４５よりも大きければ、その画像が夜景画像である確率は２．５％である。言い換えると、風景の判別式の値が−０．４５より大きい場合にその画像が夜景画像でないと識別しても、誤識別の確率は２．５％にすぎない。そこで、ここでは、第２否定閾値が−０．４５に設定されている。

そして、判別式の値が第１否定閾値より小さい場合、又は、判別式の値が第２否定閾値より大きい場合（Ｓ２０６でＹＥＳ）、サブ識別器５１は、識別対象画像が所定のシーンに属しないと判断し、否定フラグを立てる（Ｓ２０７）。「否定フラグを立てる」とは、図８の「否定」欄を１にすることである。例えば、第１否定閾値に基づいて識別対象画像が風景のシーンに属しないと判断された場合、「風景」欄の「否定」欄が１になる。また、第２否定閾値に基づいて識別対象画像が夜景のシーンに属しないと判断された場合、「夜景」欄の「否定」欄が１になる。

図１３Ａは、閾値テーブルの説明図である。この閾値テーブルは、記憶部３１に記憶されていても良いし、全体識別処理を実行させるためのプログラムの一部に組み込まれていても良い。閾値テーブルには、前述の肯定閾値や否定閾値に関するデータが格納されている。

図１３Ｂは、上記で説明した風景識別器５１Ｌにおける閾値の説明図である。風景識別器５１Ｌには、肯定閾値及び否定閾値が予め設定されている。肯定閾値として１．２７が設定されている。否定閾値には第１否定閾値と第２否定閾値とがある。第１否定閾値として−１．１０が設定されている。また、第２否定閾値として、風景以外の各シーンにそれぞれ値が設定されている。

図１３Ｃは、上記で説明した風景識別器５１Ｌの処理の概要の説明図である。ここでは、説明の簡略化のため、第２否定閾値については夜景についてのみ説明する。風景識別器５１Ｌは、判別式の値が１．２７より大きければ（Ｓ２０４でＹＥＳ）、識別対象画像が風景のシーンに属すると判断する。また、判別式の値が１．２７以下であり（Ｓ２０４でＮＯ）、−０．４５より大きければ（Ｓ２０６でＹＥＳ）、風景識別器５１Ｌは、識別対象画像が夜景のシーンに属しないと判断する。また、判別式の値が−１．１０より小さければ（Ｓ２０６でＹＥＳ）、風景識別器５１Ｌは、識別対象画像が風景のシーンに属しないと判断する。なお、風景識別器５１Ｌは、夕景や花や紅葉についても、第２否定閾値に基づいて、識別対象画像がそのシーンに属しないかを判断する。但し、これらの第２否定閾値は肯定閾値よりも大きいため、識別対象画像がこれらのシーンに属しないことを風景識別器５１Ｌが判断することはない。

Ｓ２０２においてＮＯの場合、Ｓ２０６でＮＯの場合、又はＳ２０７の処理を終えた場合、全体識別器５０は、次のサブ識別器５１の有無を判断する（Ｓ２０８）。ここでは風景識別器５１Ｌによる処理を終えた後なので、全体識別器５０は、Ｓ２０８において、次のサブ識別器５１（夕景識別器５１Ｓ）があると判断する。

そして、Ｓ２０５の処理を終えた場合（識別対象画像が特定のシーンに属すると判断された場合）、又は、Ｓ２０８において次のサブ識別器５１がないと判断された場合（識別対象画像が特定のシーンに属すると判断できなかった場合）、全体識別器５０は、全体識別処理を終了する。

なお、既に説明した通り、全体識別処理が終了すると、シーン識別部３３は、全体識別処理によってシーンの識別ができたか否かを判断する（図５のＳ１０４）。このとき、シーン識別部３３は、図８の識別対象テーブルを参照し、「肯定」欄に１があるか否かを判断することになる。
全体識別処理によってシーンの識別ができた場合（Ｓ１０４でＹＥＳ）、部分識別処理や統合識別処理が省略される。これにより、シーン識別処理の速度が速くなる。

ところで、上記の説明には無いが、全体識別器５０は、サブ識別器５１によって判別式の値を算出したときには、判別式の値に対応するPrecisionを、確信度に関する情報として結果記憶部３１Ｂに記憶する。もちろん、判別式の値そのものを確信度に関する情報として記憶しても良い。

＜部分識別処理＞
図１４は、部分識別処理のフロー図である。部分識別処理は、全体識別処理によってシーンの識別ができなかった場合（図５のＳ１０４でＮＯ）に行われる。以下に説明するように、部分識別処理は、分割された部分画像のシーンをそれぞれ識別することによって、画像全体のシーンを識別する処理である。ここでは図６も参照しながら部分識別処理について説明する。

まず、部分識別器６０は、複数のサブ部分識別器６１の中から１つのサブ部分識別器６１を選択する（Ｓ３０１）。部分識別器６０には、サブ部分識別器６１が３つ設けられている。各サブ部分識別器６１は、８×８の６４ブロックに分割された部分画像がそれぞれ特定のシーンに属するか否かを識別する。ここでの３つのサブ部分識別器６１は、それぞれ夕景、花、紅葉のシーンを識別する。ここでは、部分識別器６０は、夕景→花→紅葉の順に、サブ部分識別器６１を選択する（なお、サブ部分識別器６１の選択順序については、後述する）。このため、最初には、部分画像が夕景のシーンに属するか否かを識別するサブ部分識別器６１（夕景部分識別器６１Ｓ）が選択される。

次に、部分識別器６０は、識別対象テーブル（図８）を参照し、選択したサブ部分識別器６１を用いてシーンを識別すべきか否かを判断する（Ｓ３０２）。ここでは、部分識別器６０は、識別対象テーブルにおける「夕景」欄の「否定」欄を参照し、ゼロであればＹＥＳと判断し、１であればＮＯと判断する。なお、全体識別処理の際に、夕景識別器５１Ｓが第１否定閾値により否定フラグを立てたとき、又は、他のサブ識別器５１が第２否定閾値により否定フラグを立てたとき、このＳ３０２でＮＯと判断される。仮にＮＯと判断されると夕景の部分識別処理は省略されることになるので、部分識別処理の速度が速くなる。但し、ここでは説明の都合上、ＹＥＳと判断されるものとする。

次に、サブ部分識別器６１は、８×８の６４ブロックに分割された部分画像の中から、１つの部分画像を選択する（Ｓ３０３）。
図１５は、夕景部分識別器６１Ｓが選択する部分画像の順番の説明図である。部分画像から画像全体のシーンを識別するような場合、識別に用いられる部分画像は、被写体が存在する部分であることが望ましい。そこで、数千枚のサンプルの夕景画像を用意し、各夕景画像を８×８の６４ブロックに分割し、夕景部分画像（夕景の太陽と空の部分画像）を含むブロックを抽出し、抽出されたブロックの位置に基づいて各ブロックにおける夕景部分画像の存在確率を算出した。そして、存在確率の高いブロックから順番に、部分画像が選択される。なお、図に示す選択順序の情報は、プログラムの一部としてメモリ２３に格納されている。

なお、夕景画像の場合、画像の中央付近から上半分に夕景の空が広がっていることが多いため、中央付近から上半分のブロックにおいて存在確率が高くなる。また、夕景画像の場合、画像の下１／３では逆光で陰になり、部分画像単体では夕景か夜景か区別がつかないことが多いため、下１／３のブロックにおいて存在確率が低くなる。花画像の場合、花を中央付近に配置させる構図にすることが多いため、中央付近における花部分画像の存在確率が高くなる。

次に、サブ部分識別器６１は、選択された部分画像の部分特徴量に基づいて、その部分画像が特定のシーンに属するか否かを判断する（Ｓ３０４）。サブ部分識別器６１には、全体識別器５０のサブ識別器５１と同様に、サポートベクタマシン（ＳＶＭ）による判別手法が用いられている。なお、サポートベクタマシンについては、後述する。判別式の値が正の値であれば、部分画像が特定のシーンに属すると判断し、サブ部分識別器６１は正カウント値をインクリメントする。また、判別式の値が負の値であれば、部分画像が特定のシーンに属しないと判断し、サブ部分識別器６１は負カウント値をインクリメントする。

次に、サブ部分識別器６１は、正カウント値が肯定閾値よりも大きい否かを判断する（Ｓ３０５）。なお、正カウント値は、特定のシーンに属すると判断された部分画像の数を示すものである。正カウント値が肯定閾値より大きければ（Ｓ３０５でＹＥＳ）、サブ部分識別器６１は、識別対象画像が特定のシーンに属すると判断し、肯定フラグを立てる（Ｓ３０６）。この場合、部分識別器６０は、次のサブ部分識別器６１による識別を行わずに、部分識別処理を終了する。例えば、夕景画像であると識別できれば、花や紅葉の識別を行わずに、部分識別処理を終了する。この場合、次のサブ部分識別器６１による識別を省略しているので、部分識別処理の速度を速めることができる。

正カウント値が肯定閾値より大きくなければ（Ｓ３０５でＮＯ）、サブ部分識別器６１は、識別対象画像が特定のシーンに属すると判断できず、次のＳ３０７の処理を行う。

サブ部分識別器６１は、正カウント値と残りの部分画像数との和が肯定閾値よりも小さければ（Ｓ３０７でＹＥＳ）、Ｓ３０９の処理へ進む。正カウント値と残りの部分画像数との和が肯定閾値よりも小さい場合、残り全ての部分画像によって正カウント値がインクリメントされても正カウント値が肯定閾値より大きくなることがないので、Ｓ３０９に処理を進めることによって、残りの部分画像についてサポートベクタマシンによる識別を省略する。これにより、部分識別処理の速度を速めることができる。

サブ部分識別器６１がＳ３０７でＮＯと判断した場合、サブ部分識別器６１は、次の部分画像の有無を判断する（Ｓ３０８）。なお、ここでは、６４個に分割された部分画像の全てを順に選択していない。図１５において太枠で示された上位１０番目までの１０個の部分画像だけを順に選択している。このため、１０番目の部分画像の識別を終えれば、サブ部分識別器６１は、Ｓ３０８において次の部分画像はないと判断する。（この点を考慮して、Ｓ３０７の「残りの部分画像数」も決定される。）
図１６は、上位１０番目までの１０個の部分画像だけで夕景画像の識別をしたときのRecall及びPrecisionのグラフである。図に示すような肯定閾値を設定すれば、正答率（Precision）を８０％程度に設定でき、再現率（Recall）を９０％程度に設定でき、精度の高い識別が可能である。

部分識別処理では、１０個の部分画像だけで夕景画像の識別を行っている。このため、６４個の全ての部分画像を用いて夕景画像の識別を行うよりも、部分識別処理の速度を速めることができる。
また、部分識別処理では、夕景部分画像の存在確率の高い上位１０番目の部分画像を用いて夕景画像の識別を行っている。このため、存在確率を無視して抽出された１０個の部分画像を用いて夕景画像の識別を行うよりも、Recall及びPrecisionをともに高く設定することが可能になる。
また、部分識別処理では、夕景部分画像の存在確率の高い順に部分画像を選択している。この結果、早い段階でＳ３０５の判断がＹＥＳになりやすくなる。このため、本実施形態では、存在確率の高低を無視した順で部分画像を選択したときよりも、部分識別処理の速度を速めることができる。

Ｓ３０７においてＹＥＳと判断された場合、又は、Ｓ３０８において次の部分画像がないと判断された場合、サブ部分識別器６１は、負カウント値が否定閾値よりも大きいか否かを判断する（Ｓ３０９）。この否定閾値は、前述の全体識別処理における否定閾値（図７のＳ２０６）とほぼ同様の機能を果たすものなので、詳しい説明は省略する。Ｓ３０９でＹＥＳと判断された場合、図７のＳ２０７と同様に、否定フラグを立てる。

Ｓ３０２においてＮＯの場合、Ｓ３０９でＮＯの場合、又はＳ３１０の処理を終えた場合、部分識別器６０は、次のサブ部分識別器６１の有無を判断する（Ｓ３１１）。夕景部分識別器６１Ｓによる処理を終えた後の場合、サブ部分識別器６１として花部分識別器６１Ｆや紅葉部分識別器６１Ｒがまだあるので、部分識別器６０は、Ｓ３１１において、次のサブ部分識別器６１があると判断する。

そして、Ｓ３０６の処理を終えた場合（識別対象画像が特定のシーンに属すると判断された場合）、又は、Ｓ３１１において次のサブ部分識別器６１がないと判断された場合（識別対象画像が特定のシーンに属すると判断できなかった場合）、部分識別器６０は、部分識別処理を終了する。

なお、既に説明した通り、部分識別処理が終了すると、シーン識別部３３は、部分識別処理によってシーンの識別ができたか否かを判断する（図５のＳ１０６）。このとき、シーン識別部３３は、図８の識別対象テーブルを参照し、「肯定」欄に１があるか否かを判断することになる。
部分識別処理によってシーンの識別ができた場合（Ｓ１０６でＹＥＳ）、統合識別処理が省略される。これにより、シーン識別処理の速度が速くなる。

ところで、上記の説明では、夕景部分識別器６１Ｓは、１０個の部分画像を用いて夕景画像の識別を行っているが、識別に用いられる部分画像の数は１０個に限られるものではない。また、他のサブ部分識別器６１が、夕景部分識別器６１Ｓとは異なる数の部分画像を用いて画像を識別しても良い。ここでは、花部分識別器６１Ｆは２０個の部分画像を用いて花画像を識別し、また、紅葉部分識別器６１Ｒは１５個の部分画像を用いて紅葉画像を識別するものとする。

＜サポートベクタマシン＞
統合識別処理について説明する前に、全体識別処理のサブ識別器５１や部分識別処理のサブ部分識別器６１において用いられているサポートベクタマシン（ＳＶＭ）について説明する。

図１７Ａは、線形サポートベクタマシンによる判別の説明図である。ここでは、２つの特徴量ｘ１、ｘ２によって、学習用サンプルを２次元空間に示している。学習用サンプルは２つのクラスＡ、Ｂに分けられている。図中では、クラスＡに属するサンプルは丸で示されており、クラスＢに属するサンプルは四角で示されている。
学習用サンプルを用いた学習によって、２次元空間を２つに分ける境界が定義される。境界は、＜ｗ・ｘ＞＋ｂ＝０で定義される（なお、ｘ＝（ｘ１，ｘ２）であり、ｗは重みベクトルであり、＜ｗ・ｘ＞はｗとｘの内積である）。但し、境界は、マージンが最大になるように、学習用サンプルを用いた学習によって定義される。つまり、図の場合、境界は、太点線ではなく、太実線のようになる。
判別は、判別式ｆ（ｘ）＝＜ｗ・ｘ＞＋ｂを用いて行われる。ある入力ｘ（この入力ｘは学習用サンプルとは別である）について、ｆ（ｘ）＞０であればクラスＡに属すると判別され、ｆ（ｘ）＜０であればクラスＢに属すると判別される。

ここでは２次元空間を用いて説明しているが、これに限られない（つまり、特徴量は２以上でも良い）。この場合、境界は超平面で定義される。

ところで、２つのクラスに線形関数で分離できないことがある。このような場合に線形サポートベクタマシンによる判別を行うと、判別結果の精度が低下する。そこで、入力空間の特徴量を非線形変換すれば、すなわち入力空間からある特徴空間へ非線形写像すれば、特徴空間において線形関数で分離することができるようになる。非線形サポートベクタマシンでは、これを利用している。

図１７Ｂは、カーネル関数を用いた判別の説明図である。ここでは、２つの特徴量ｘ１、ｘ２によって、学習用サンプルを２次元空間に示している。図１７Ｂの入力空間からの非線形写像が図１７Ａのような特徴空間になれば、線形関数で２つのクラスに分離することが可能になる。この特徴空間においてマージンが最大になるように境界が定義されれば、特徴空間における境界の逆写像が、図１７Ｂに示す境界になる。この結果、図１７Ｂに示すように、境界は非線形になる。

ここではガウスカーネルを利用することにより、判別式ｆ（ｘ）は次式のようになる（なお、Ｍは特徴量の数であり、Ｎは学習用サンプルの数（若しくは境界に寄与する学習用サンプルの数）であり、ｗ_ｉは重み係数であり、ｙ_ｊは学習用サンプルの特徴量であり、ｘ_ｊは入力ｘの特徴量である）。

ある入力ｘ（この入力ｘは学習用サンプルとは別である）について、ｆ（ｘ）＞０であればクラスＡに属すると判別され、ｆ（ｘ）＜０であればクラスＢに属すると判別される。また、判別式ｆ（ｘ）の値が大きい値になるほど、入力ｘ（この入力ｘは学習用サンプルとは別である）がクラスＡに属する確率が高くなる。逆に、判別式ｆ（ｘ）の値が小さい値になるほど、入力ｘ（この入力ｘは学習用サンプルとは別である）がクラスＡに属する確率が低くなる。

前述の全体識別処理のサブ識別器５１や部分識別処理のサブ部分識別器６１では、上記のサポートベクタマシンの判別式ｆ（ｘ）の値を用いている。サポートベクタマシンによる判別式ｆ（ｘ）の値の算出には、学習用サンプルの数が多くなると時間がかかる。このため、判別式ｆ（ｘ）の値を複数回算出する必要があるサブ部分識別器６１は、判別式ｆ（ｘ）の値を１回算出すれば済むサブ識別器５１よりも、処理時間がかかる。

なお、学習用サンプルとは別に評価用サンプルが用意されている。前述のRecallやPrecisionのグラフは、評価用サンプルに対する識別結果に基づくものである。

＜統合識別処理＞
前述の全体識別処理や部分識別処理では、サブ識別器５１やサブ部分識別器６１における肯定閾値を比較的高めに設定し、Precision（正解率）を高めに設定している。なぜならば、例えば全体識別器の風景識別器５１Ｌの正解率が低く設定されると、風景識別器５１Ｌが紅葉画像を風景画像であると誤識別してしまい、紅葉識別器５１Ｒによる識別を行う前に全体識別処理を終えてしまう事態が発生してしまうからである。ここではPrecision（正解率）が高めに設定されることにより、特定のシーンに属する画像が特定のシーンのサブ識別器５１（又はサブ部分識別器６１）に識別されるようになる（例えば紅葉画像が紅葉識別器５１Ｒ（又は紅葉部分識別器６１Ｒ）によって識別されるようになる）。

但し、全体識別処理や部分識別処理のPrecision（正解率）を高めに設定すると、全体識別処理や部分識別処理ではシーンの識別ができなくなる可能性が高くなる。そこで、全体識別処理及び部分識別処理によってシーンの識別ができなかった場合、以下に説明する統合識別処理が行われる。

図１８は、統合識別処理のフロー図である。以下に説明するように、統合識別処理は、全体識別処理の各サブ識別器５１の判別式の値に基づいて、最も確信度の高いシーンを選択する処理である。

まず、統合識別器７０は、５つのサブ識別器５１の判別式の値に基づいて、正となるシーンを抽出する（Ｓ４０１）。このとき、全体識別処理の際に各サブ識別器５１が算出した判別式の値が用いられる。

次に、統合識別器７０は、判別式の値が正のシーンが存在するか否かを判断する（Ｓ４０２）。
判別式の値が正のシーンが存在する場合（Ｓ４０２でＹＥＳ）、最大値のシーンの欄に肯定フラグを立てて（Ｓ４０３）、統合識別処理を終了する。これにより、最大値のシーンに識別対象画像が属すると判断される。
一方、判別式の値が正であるシーンが存在しない場合（Ｓ４０２でＮＯ）、肯定フラグを立てずに、統合識別処理を終了する。これにより、図８の識別対象テーブルの肯定欄において、１のシーンが無いままの状態になる。つまり、識別対象画像が、どのシーンに属するか識別できなかったことになる。

なお、既に説明した通り、統合識別処理が終了すると、シーン識別部３３は、統合識別処理によってシーンの識別ができたか否かを判断する（図５のＳ１０８）。このとき、シーン識別部３３は、図８の識別対象テーブルを参照し、「肯定」欄に１があるか否かを判断することになる。Ｓ４０２でＮＯとの判断の場合、Ｓ１０８の判断もＮＯになる。

＝＝＝本実施形態の概要説明＝＝＝
ユーザの好みには個人差があるため、ある画像が「風景」に識別されることを好む人もいれば、「夕景」に識別されることを好む人もいる。そこで、本実施形態では、ユーザの好みを識別処理に反映させることを可能にしている。

図１９は、設定画面の説明図である。この設定画面１６３は、プリンタ４の表示部１６に表示される画面である。設定画面１６３には、各シーンに対応して、それぞれ５個の画像が表示される。これらの画像は、いずれもサポートベクタマシン（ＳＶＭ）の学習用サンプルの画像である。ここでは、「風景」及び「夕景」に対応して最上段に表示される５個の画像ＬＳ１〜ＬＳ５について説明する。

５個の画像のうちの左側の画像ほど風景の特徴が濃く現れた画像になっており、右側の画像ほど夕景の特徴が濃く現れた画像になっている。言い換えると、５個の画像のうちの左から右へ順に、風景画像から夕景画像に移り変わるように、５個の画像ＬＳ１〜ＬＳ５が表示されるようになっている（後述）。そして、当初の設定では、３個の画像ＬＳ１〜画像ＬＳ３に対応する学習用サンプルは風景に属するとされており、２個の画像ＬＳ４及び画像ＬＳ５に対応する学習用サンプルは夕景に属するとされている。これに応じて、設定画面１６３の表示の当初は、風景に属する画像と夕景に属する画像との境界を示すように、境界設定バー１６３Ａが画像ＬＳ３と画像ＬＳ４との間に表示される。

この境界設定バー１６３Ａは、ユーザによってその位置を変更することが可能である。例えば、表示部１６に表示された画像ＬＳ３が風景画像ではなく夕景画像であるとユーザが判断した場合、ユーザは、パネル部１７を操作して、５個の境界設定バー１６３Ａのうち一番上の境界設定バー１６３Ａを選択し、その境界設定バー１６３Ａを一つ左に移動して画像ＬＳ２と画像ＬＳ３との間にする。

そして、設定された境界設定バー１６３Ａの位置に応じて、サブ識別器５１の処理が変更される（後述）。この結果、画像ＬＳ３の類似画像を風景識別器５１Ｌが識別したとき、当初の設定のままでは風景識別器５１Ｌは風景のシーンに属すると識別していたが、風景のシーンに属しないと識別できるようになる。また、画像ＬＳ３の類似画像を夕景識別器５１Ｓが識別したとき、当初の設定のままでは夕景識別器５１Ｓは夕景のシーンに属しないと識別していたが、夕景のシーンに属すると識別できるようになる。つまり、ユーザの好みが識別処理に反映されるようになる。

以下の説明では、まず、プリンタ４のメモリ２３に記憶されているデータについて説明する。次に、設定画面１６３をどのように表示するのかについて説明する。その次に、設定画面１６３にて境界が設定された後、サブ識別器５１の処理がどのように変更されるのかについて説明する。

＝＝＝第１実施形態＝＝＝
＜メモリに格納されている学習用サンプルのデータ＞
まず、プリンタ４のメモリ２３に記憶されているデータについて説明する。以下に説明するように、メモリ２３には、図２０Ａに示すデータ群と、図２０Ｂの白ドットで示す学習用サンプルの画像データが記憶されている。

図２０Ａは、メモリ２３に記憶されている学習用サンプルのデータ群である。
図に示すように、学習用サンプルの画像そのものの情報（画像データ）が記憶されるのではなく、学習用サンプルの全体特徴量がメモリ２３に記憶されている。また、各学習用サンプルに対応付けて、シーン毎の重み係数ｗもメモリ２３に記憶されている。この重み係数ｗは、学習用サンプルの全体特徴量のデータ群を用いて算出することが可能であるが、ここでは、重み係数ｗは予め算出されて、メモリ２３に記憶されているものとする。前述の判別式ｆ（ｘ）の値は、このデータ群の全体特徴量ｙと重み係数ｗ（例えば風景識別器５１Ｌの判別式ｆ（ｘ）の場合には添え字Ｌの重み係数）を用いて、前述の数１の式に基づいて算出される。なお、境界の決定に寄与しない学習用サンプルの重み係数はゼロとなるので、本来ならばその学習用サンプルの全体特徴量はメモリ２３に記憶する必要はないが、本実施形態では、全ての学習用サンプルの全体特徴量をメモリ２３に記憶しているものとする。

更に、本実施形態では、各学習用サンプルに対応付けて、どのシーンに属するかを示す情報（属性情報）も記憶されている。後述する通り、この属性情報は、図１９の設定画面１６３を表示する際に用いられると共に、図１９の境界設定バー１６３Ａの設定に応じて変更される。

図２０Ｂは、各学習用サンプルの分布の説明図である。ここでは説明の簡略化のため、２つの特徴量によって、２次元空間に学習用サンプルが分布している。各ドットは、学習用サンプルの２次元空間上での位置をそれぞれ示している。

各学習用サンプルは予めクラスタリングされており、図中では１３個のクラスタ（クラスタＡ〜クラスタＭ）にクラスタリングされている。ここでは、公知のｋ−ｍｅａｎｓ法により、クラスタリングがされている。ｋ−ｍｅａｎｓ法によるクラスタリングの手法は、以下の通りである。（１）まず、コンピュータは、クラスタの中心の位置が仮決めする。ここでは、１３個の中心の位置をランダムに仮決めする。（２）次に、コンピュータは、各学習用サンプルを、最も近い中心のクラスタに分類する。これにより、新しいクラスタが決定される。（３）次に、コンピュータは、各クラスタの学習用サンプルの特徴量の平均値を算出し、その平均値を新しいクラスタの中心の位置とする。（４）新しいクラスタの中心の位置が、元のクラスタの中心の位置と変化しなければクラスタリングを終了し、変化していれば（２）に戻る。

なお、同じクラスタ内には、似た性質の学習用サンプルが属することになる。例えば、青空の画像の学習用サンプルによってクラスタＡが構成されたり、新緑の画像の学習用サンプルによってクラスタＢが構成されたりする。なお、デフォルトの設定では、クラスタＡ〜Ｆに属する学習用サンプルは風景画像であり、クラスタＧ〜Ｋに属する学習用サンプルは夕景画像であり、クラスタＬ〜Ｍに属する学習用サンプルは夜景画像であるものとする（花画像及び紅葉画像の学習用サンプルについては不図示とする）。

図２０Ｂの白ドットは、各クラスタの中心の位置に最も近い学習用サンプルの位置を示している。この白ドットの学習用サンプルは、各クラスタを代表するサンプル（代表サンプル）となる。メモリ２３には、白ドットで示された代表サンプルの画像データが記憶されている。言い換えると、メモリ２３には、各クラスタを代表する画像の画像データが記憶される。後述する通り、この代表画像データは、図１９の設定画面１６３の表示に用いられる。

以上説明したように、プリンタ４のメモリ２３には、図２０Ａに示すデータ群と、図２０Ｂの白ドットで示す代表サンプルの画像データが記憶されている。なお、各学習用サンプルの属するクラスタを示すデータは、メモリ２３に格納されていても良いし、格納されていなくても良い。各学習用サンプルの属するクラスタを示すデータは、図２０Ａのデータ群を用いて求めることが可能だからである。

＜設定画面１６３を表示するまでの処理＞
次に、プリンタ側コントローラ２０が、図１９のような設定画面１６３をどのように表示するのかについて説明する。ここでは主に、設定画面１６３の一番上の５個の画像ＬＳ１〜ＬＳ５がどのように表示されるかについて説明する。

図２１Ａは、風景画像と夕景画像とを分離する境界Ｆ_ls（ｘ）＝０の説明図である。図中には、風景と夕景の学習用サンプルだけが示されており、他のシーン（例えば夜景）の学習用サンプルは示されていない。また、説明の簡略化のため、この２次元空間は、図１７Ａのように線形関数で分離可能な空間であるものとする。このため、風景画像のサンプルと、夕景画像のサンプルを分離する境界Ｆ_ls（ｘ）＝０は、直線で定義される。プリンタ側コントローラ２０は、この境界Ｆ_ls（ｘ）＝０を、風景と夕景の学習用サンプルを用いた学習によって求める。この学習の演算処理は、通常のサポートベクタマシンの学習の演算処理と同じなので、説明は省略する。

図２１Ｂは、境界（Ｆ_ls（ｘ）＝０）の法線に代表サンプルを投影する様子の説明図である。図中において、代表サンプルの２次元空間上の位置が白ドットで示されている。プリンタ側コントローラ２０は、境界に対する法線を一つ定義し、この法線上に、代表サンプルを投影する。投影される位置は、代表サンプルを通り境界と平行な直線（境界が超平面であれば超平面）と、法線との交点である。このようにして、１１個の代表サンプルが、法線上に投影される。言い換えると、１１個の代表サンプルが一直線上に並ぶことになる。なお、法線に投影される代表サンプルは、風景画像及び夕景画像の代表サンプルであり、それ以外のシーン（例えば夜景）の代表サンプルは含まれない。

図２１Ｃは、法線上に投影された代表サンプルの説明図である。風景画像の代表サンプルが図中の左側に位置するように、言い換えると、非風景画像の代表サンプルが図中の右側に位置するように、法線を水平にして、法線上に投影された代表サンプルの位置関係を示している。

次に、プリンタ側コントローラ２０は、法線上に５個の区間を定義する。図中には、第１区間〜第５区間が定義されている。各区間は、所定の長さになるように定義されている。また、図２１Ｂの法線と境界（Ｆ_ls（ｘ）＝０）との交点の位置が、２つの区間の境界になるように、５個の区間が定義される。ここでは、図２１Ｂの法線と境界（Ｆ_ls（ｘ）＝０）との交点の位置は、第３区間と第４区間の境界に相当する。なお、各区間には、複数の代表サンプルが存在することになる。

次に、プリンタ側コントローラ２０は、各区間の中心に位置する代表サンプルの画像データを抽出する。ここでは、第１区間から、クラスタＢの代表サンプルの画像データが抽出される。同様に、第２区間、第３区間、第４区間、第５区間から、クラスタＤ、Ｅ、Ｊ、Ｉの代表サンプルの画像データがそれぞれ抽出される。このとき、デフォルトの設定において風景のシーンに属しているとされる代表サンプルが、第１区間〜第３区間から抽出される。また、デフォルトの設定において夕景のシーンに属しているとされる代表サンプルが、第４区間及び第５区間から抽出される。抽出された画像データは、各区間を代表するものと考えられる。

プリンタ側コントローラ２０は、抽出した画像データを用いて、設定画面１６３をプリンタ４の表示部１６に表示する。第１区間から抽出されたクラスタＢの代表サンプルの画像データは、図１９の画像ＬＳ１の表示に用いられる。同様に、クラスタＤ、Ｅ、Ｊ、Ｉの代表サンプルの画像データは、それぞれ図１９の画像ＬＳ２、ＬＳ３、ＬＳ４、ＬＳ５の表示に用いられる。

また、図２１Ｂの法線と境界（Ｆ_ls（ｘ）＝０）との交点の位置が第３区間と第４区間の境界に相当しているので、プリンタ側コントローラ２０は、図１９の画像ＬＳ３（第３区間から抽出された代表サンプルの画像）と画像ＬＳ４（第４区間から抽出された代表サンプルの画像）との間に境界設定バー１６３Ａを表示する。ところで、画像ＬＳ１〜画像ＬＳ３は風景画像であり、画像ＬＳ４及び画像ＬＳ５は夕景画像であるので、境界設定バー１６３Ａは、風景画像と夕景画像との間に表示されることになる。

本実施形態では、上記のように、境界の法線に代表サンプルの位置が投影され、法線上に投影された代表サンプルの位置に基づいて、抽出すべき代表サンプルが決定される。これにより、本実施形態では、判別式Ｆ_ls（ｘ）の値が大きいものほど左側になるように、５個の代表サンプルの画像が表示される。言い換えると、風景のシーンに属する確信度の高い順に左から並ぶように、５個の代表サンプルの画像を表示できる。

そして、上記のように図１９の設定画面１６３が表示されるので、境界設定バー１６３Ａの左側には、デフォルトの設定では風景画像の代表サンプルが表示される。また、境界設定バー１６３Ａの右側には、デフォルトの設定では夕景画像の代表サンプルが表示される。そして、５個の画像のうちの左側の画像ほど風景の特徴が濃く現れた画像になっており、右側の画像ほど夕景の特徴が濃く現れた画像になっている。言い換えると、５個の画像のうちの左から右へ順に、風景画像から夕景画像に移り変わるように、５個の画像ＬＳ１〜ＬＳ５が表示されるようになっている。このため、境界設定バー１６３Ａの近くに表示される画像は、ユーザの好みによって風景画像か夕景画像かの判断が分かれやすい画像になる。

以上の説明では、設定画面１６３の一番上の５個の画像（風景画像と夕景画像）について説明したが、他のシーンについても、プリンタ側コントローラ２０は、同様の処理を行う。これにより、プリンタ側コントローラ２０は、図１９の設定画面１６３の画像ＬＳ１〜ＬＳ５以外の画像も表示できる。

＜設定画面１６３にて境界が設定された後の処理（その１）＞
次に、図１９に示すように、ユーザが境界設定バー１６３Ａを一つ左に移動して画像ＬＳ２と画像ＬＳ３との間に設定した後の処理について説明する。

境界設定バー１６３Ａの移動後、境界設定バー１６３Ａの右側において、境界設定バー１６３Ａと、デフォルトの設定では夕景画像である画像ＬＳ４との間に、デフォルトの設定では風景画像である画像ＬＳ３（クラスタＥの代表サンプルの画像であり、第３区間を代表する画像である）が位置する状態になる。ユーザが境界設定バー１６３Ａを画像ＬＳ３と画像ＬＳ４との間から画像ＬＳ２と画像ＬＳ３との間に移動したということは、図２１Ｃに示す第３区間に属するクラスタＥ、Ｆに属する学習用サンプルは風景画像ではないとユーザが考えていると想定できる（ここでは、クラスタＥ、Ｆに属する学習用サンプルは夕景画像であるとユーザが考えていると想定できる）。

図２２Ａは、変更後のデータ群の説明図である。図２２Ｂは、変更後の境界の説明図である。以下、これらの図を用いて、設定変更後のプリンタ側コントローラ２０の処理について説明する。

まず、プリンタ側コントローラ２０は、クラスタＥ、Ｆに属する学習用サンプルの属性情報を風景から夕景に変更する。例えば、仮に図２０Ａのサンプル番号３がクラスタＥ又はクラスタＦに属していれば、図２２Ａに示すように属性情報を風景から夕景に変更する。

本実施形態では、クラスタＥの代表サンプルの属性情報を変更するだけでなく、クラスタＥに属する学習用サンプルの全ての属性情報を変更している。これにより、ユーザによる一度の操作によって、風景に属さないことをユーザが望んだ画像と似た性質の学習用サンプルの属性情報を、一括して変更することができる。

また、本実施形態では、クラスタＥの代表サンプルの属性情報を変更するだけでなく、第３区間に属する学習用サンプル（例えばクラスタＦ）の全ての属性情報を変更している。これにより、ユーザによる一度の操作によって、風景に属さないことをユーザが望んだ画像と同程度に境界から離れた学習用サンプルの属性情報を、一括して変更することができる。

次に、プリンタ側コントローラ２０は、全体特徴量と変更後の属性情報とに基づいてサポートベクタマシンの再学習を行い、図２２Ｂに示すように境界を変更する。言い換えると、プリンタ側コントローラ２０は、全体特徴量と変更後の属性情報とに基づいて再学習を行い、図２０Ａの重み係数ｗを図２２Ｂに示すように変更する。ここでは、変更後の境界をｆ´（ｘ）＝０と表記し、変更後の重み係数をｗ´と表記している。なお、再学習の演算処理は通常のサポートベクタマシンの学習の演算処理と同じなので、再学習の説明は省略する。

なお、図１９に示すように、一番上の境界設定バー１６３Ａの位置が変更されると、風景の重み係数と夕景の重み係数とが変更されることになり、風景識別器５１Ｌの境界ｆ（ｘ）と夕景識別器５１Ｓの境界ｆ（ｘ）とが変更されることになる。風景識別器５１Ｌの境界ｆ（ｘ）を再学習により変更するときには、変更後の属性情報における風景と非風景（夕景・夜景・花・紅葉）とを分離できるように、学習用サンプルを用いた再学習が行われる。夕景識別器５１Ｓの境界ｆ（ｘ）を再学習により変更するときには、変更後の属性情報における夕景と非夕景（風景・夜景・花・紅葉）とを分離できるように、学習用サンプルを用いた再学習が行われる。

重み係数ｗ（又はｗ´）は、境界の決定に寄与しなければゼロになる。このため、図２０Ａではゼロであった重み係数ｗが、変更によってゼロ以外の値を持つこともある。逆に、図２０Ａではゼロ以外の値を持っていた重み係数ｗが、変更によってゼロになることもある。デフォルトの設定では境界の決定に寄与しない学習用サンプルのデータまでをも図２０Ａのデータ群で記憶しているのは、このためである。

識別対象画像が風景のシーンに属するか否かを風景識別器５１Ｌが判断するとき、風景識別器５１Ｌは、図２２Ｂのデータ群の学習用サンプルの全体特徴量と変更後の風景の重み係数ｗ´（添え字Ｌの重み係数）とに基づいて、前述の数１の判別式の値（変更後の判別式ｆ´（ｘ）の値）を算出する。なお、重み係数ｗ´がゼロの学習用サンプルは除外して、風景識別器５１Ｌは、前述の数１の判別式の値を算出する。これにより、全ての学習用サンプルを用いて判別式の値を求める場合よりも、演算速度が速くなる。

変更後の判別式ｆ´（ｘ）を用いることにより、ユーザの好みを反映した識別処理を行うことができる。例えば、仮に画像ＬＳ３（図１９参照）が赤みのある風景の画像だとすると、識別対象画像が赤みのある風景の画像である場合に、その識別対象画像が風景のシーンに属すると判断され難くなる。言い換えると、仮にクラスタＥ（図２２Ｂ参照）が赤みのある風景の画像の学習用サンプルから構成されていたとすると、識別対象画像が赤みのある風景の画像である場合に、その識別対象画像が風景のシーンに属すると判断され難くなる。

本実施形態では、ユーザの好みに合わせた設定変更を、容易に行うことができる。もし仮に、多数の学習用サンプルの画像を１個ずつ表示し、表示された学習用サンプルの画像のシーンをユーザが１個ずつ決定することにすると、ユーザは何度も決定作業を行う必要があるので不便である。

なお、上記の説明では、ユーザが境界設定バー１６３Ａを一つ左に移動した場合について説明した。これに対し、仮にユーザが境界設定バー１６３Ａを一つ右に移動した場合には、境界設定バー１６３Ａの左側において、境界設定バー１６３Ａと、デフォルトの設定では風景画像である画像ＬＳ３との間に、デフォルトの設定では夕景画像である画像ＬＳ４（クラスタＪの代表サンプルの画像であり、第４区間を代表する画像である）が位置する状態になる。このような場合には、プリンタ側コントローラ２０は、第４区間に属するクラスタＪ、Ｈ、Ｇに属する学習用サンプルの属性情報を夕景から風景に変更し、全体特徴量と変更後の属性情報とに基づいてサポートベクタマシンの再学習を行い、境界を変更する。この場合にも、ユーザの好みを反映した識別処理を行うことができる。

＜設定画面１６３にて境界が設定された後の処理（その２）＞
上記の説明では、１個の境界設定バーの位置だけが変更された場合について説明しているが、次に、２個の境界設定バーの位置が変更された場合について説明する。

図２３は、２個の境界設定バーの位置が変更される様子の説明図である。既に説明した処理によって設定画面１６３が表示部１６に表示された結果、最上段に表示される５個の画像ＬＳ１〜ＬＳ５（図１９参照）のうちのＬＳ３の位置に、クラスタＥの代表サンプルの画像が表示されている。また、同様の処理の結果、２段目に表示される５個の画像ＬＮ１〜ＬＮ５（図１９参照）のうちのＬＮ３の位置に、クラスタＥの代表サンプルの画像が表示されている。

図２３に示すように、ユーザが最上段の境界設定バー１６３Ａを一つ左に移動するとともに、２段目の境界設定バー１６３Ｂも一つ左に移動するとする。このような場合、最上段の境界設定バー１６３Ａの設定変更によって「画像Ｅが夕景画像である」とし、２段目の境界設定バー１６３Ｂの設定変更によって「画像Ｅが夜景画像である」としてしまうと、矛盾が生じてしまう。このように、境界設定バーの位置が変更された場合、変更前後の境界設定バーに挟まれた画像が「○○画像である」と扱うことにすると、矛盾が生じることがある。

そこで、図２３のように２個の境界設定バーの位置が変更された場合、最上段の境界設定バー１６３Ａの設定変更によって「画像Ｅは風景画像ではない」と考え、２段目の境界設定バー１６３Ｂの設定変更によって「画像Ｅは風景画像ではない」と考えれば、矛盾は生じない。このように、境界設定バーの位置が変更された場合、変更前後の境界設定バーに挟まれた画像は「○○画像ではない」と扱うこととする。（なお、位置の変更された境界設定バーが１個の場合も同様である。）
図２４Ａは、最上段の境界設定バー１６３Ａの位置変更結果の説明図である。最上段の境界設定バー１６３Ａが一つ左に移動した結果、変更前後の境界設定バーに挟まれた画像は「風景画像ではない」と扱うため、クラスタＥ、Ｆに属する学習用サンプルの属性情報が風景ではなくなる。
図２４Ｂは、２段目の境界設定バー１６３Ｂの位置変更結果の説明図である。２段目の境界設定バー１６３Ｂが一つ左に移動した結果、変更前後の境界設定バーに挟まれた画像は「風景画像ではない」と扱うため、クラスタＥに属する学習用サンプルの属性情報が風景ではなくなる。

次に、クラスタＥ、Ｆの属性情報をどのシーンにすべきかについて説明する。図２４Ｃは、２個の境界設定バーの位置変更結果の概念図である。
クラスタＦは、図２４Ａ〜図２４Ｃに示すとおり、最上段の境界設定バー１６３Ａの設定変更だけの影響を受け、２段目の境界設定バー１６３Ｂの設定変更の影響は受けていない。このため、プリンタ側コントローラ２０は、クラスタＦに属する学習用サンプルの属性情報を、夕景に変更する。

クラスタＥは、図２４Ａ〜図２４Ｃに示すとおり、最上段の境界設定バー１６３Ａの設定変更の影響だけでなく、２段目の境界設定バー１６３Ｂの設定変更の影響も受ける。このため、クラスタＥに属する学習用サンプルの属性情報を、夕景にすべきか、夜景にすべきか、問題になる。そこで、まずプリンタ側コントローラ２０は、図２４Ｃの空間上においてクラスタＥの代表サンプルに最も近い代表サンプルであって、風景以外のシーンの代表サンプル（クラスタＧ〜Ｍの代表サンプル）を抽出する。ここでは、クラスタＬの代表サンプルが抽出される。そして、プリンタ側コントローラ２０は、抽出された代表サンプルの属性情報と同じ属性情報になるように、クラスタＥに属する学習用サンプルの属性情報を変更する。つまり、クラスタＥに属する学習用サンプルの属性情報は、夜景に変更される。

なお、属性情報の変更後の処理は、既に説明した通りである。すなわち、全体特徴量と変更後の属性情報とに基づいてサポートベクタマシンの再学習を行い、重み係数ｗを変更することによって、判別式を変更する（境界を変更する）。

上記の処理によれば、２個の境界設定バーの位置が変更された場合においても、ユーザの設定に矛盾なく、ユーザの好みを反映した識別処理を行うことができる。

＝＝＝第２実施形態＝＝＝
前述の第１実施形態では、ユーザが図１９の境界設定バー１６３Ａの位置を変更したときに、サポートベクタマシンの再学習を行っていた。このような形態では、プリンタ側コントローラ２０が、学習処理を行うためのプログラムを実行する必要があり、また、再学習の処理時間も必要となる。そこで、第２実施形態では、予め複数の判別式が用意されており、境界設定バーの位置に応じて判別式が選択されることによって、プリンタ側コントローラ２０が再学習を行わなくても済むようにしている。なお、判別式は、識別対象画像を評価するための評価関数に相当する。

図２５は、第２実施形態の学習用サンプルのデータ群である。ここでは、風景識別器５１Ｌのサポートベクタマシンに用いられるデータ群だけが示されている。第１実施形態のデータ群（図２０Ａ参照）と比較すると、第２実施形態では各学習用サンプルに対して、各シーンごとに複数の重み係数ｗが対応付けられて記憶されている。ここでは、風景のシーンに対して、第１重み係数、第２重み係数、第３重み係数・・・が記憶されている。

各重み係数は、それぞれ境界設定バー１６３Ａの位置に対応付けられている。例えば、デフォルトの状態（図１９の設定変更前の状態）では第１重み係数が対応付けられており、図１９の設定変更後の状態では第２重み係数が対応付けられている。

ユーザが設定を変更する前では、プリンタ側コントローラ２０（風景識別器５１Ｌ）は、第１重み係数と全体特徴量とに基づいて、前述の数１の判別式の値を算出する。言い換えると、デフォルトの設定では第１重み係数を用いた判別式が選択され、この判別式によって風景識別器５１Ｌは識別処理を行う。なお、演算速度向上のため、重み係数ｗがゼロの学習用サンプルは除外して、判別式の値が算出される。第１重み係数は、第１実施形態のデフォルトの重み係数ｗ_L（図２０Ａ参照）と同じ値である。

ユーザが境界設定バー１６３Ａを一つ左に移動して画像ＬＳ２と画像ＬＳ３との間に設定した場合、風景識別器５１Ｌは、第２重み係数と全体特徴量とに基づいて、前述の数１の判別式の値を算出する。言い換えると、ユーザが境界設定バー１６３Ａを一つ左に移動して画像ＬＳ２と画像ＬＳ３との間に設定した場合、第２重み係数を用いた判別式が選択され、この判別式によって風景識別器５１Ｌが識別処理を行う。なお、演算速度向上のため、重み係数ｗがゼロの学習用サンプルは除外して、判別式の値が算出される。第２重み係数は、第１実施形態において再学習によって求められた重み係数ｗ_L´（図２２Ｂ参照）と同じである。

以上の説明では風景の学習用サンプルのデータ群について説明したが、他のシーンについても、同様のデータ群をメモリに記憶している。なお、ユーザが境界設定バー１６３Ａを一つ左に移動して画像ＬＳ２と画像ＬＳ３との間に設定した場合、風景識別器５１Ｌの判別式が変更されるだけでなく、夕景識別器５１Ｓの判別式も変更される（夕景を識別するための判別式が予め複数用意されており、境界設定バー１６３Ａの位置に応じた判別式が選択される）。

第２実施形態においても、第１実施形態と同様に、ユーザの好みを反映した識別処理を行うことができる。更に、第２実施形態では再学習を行わなくても良いので、サポートベクタマシンによる学習処理を行うプログラムを実行しなくても良い。また、再学習を行わなくても良いので、設定後のプリンタ側コントローラ２０の処理の負荷も軽減される。

＝＝＝第３実施形態＝＝＝
前述の第１実施形態及び第２実施形態では、ユーザの設定に応じて、判別式の内容を変更していた。第３実施形態では、肯定閾値を変更することによって、判別式の内容は変更せずに、ユーザの好みを反映した識別処理を行う。

この第３実施形態では、各シーンごとに、肯定閾値を予め複数メモリに記憶しておく。そして、プリンタ側コントローラ２０は、境界設定バーの位置に応じた肯定閾値を選択する。なお、図１９の設定変更に応じて、識別対象画像が風景のシーンに属すると識別される確率が低くなるようにするため、デフォルトの状態（図１９の設定変更前の状態）に対応する肯定閾値は、図１９の設定変更後の状態の肯定閾値よりも、値が大きい。

第１実施形態と比較すると、第３実施形態ではでは再学習を行わなくても良いので、サポートベクタマシンによる学習処理を行うプログラムを実行しなくても良い。また、再学習を行わなくても良いので、設定後のプリンタ側コントローラ２０の処理の負荷も軽減される。また、第２実施形態と比較すると、メモリに記憶すべき情報量を少なくすることができる。

＝＝＝第４実施形態＝＝＝
第４実施形態では、判別式も変更するし、肯定閾値も変更する。ここでも、ユーザが境界設定バー１６３Ａを一つ左に移動して画像ＬＳ２と画像ＬＳ３との間に設定した後の処理について説明する。

まず、プリンタ側コントローラ２０は、クラスタＥ、Ｆに属する学習用サンプルの属性情報を風景から夕景に変更する。この処理は、第１実施形態と同様である。

次に、プリンタ側コントローラ２０は、全体特徴量と変更後の属性情報とに基づいてサポートベクタマシンの再学習を行い、境界を変更する（判別式を変更する）。この処理も第１実施形態と同様である。ここでは、風景識別器５１Ｌの判別式と、夕景識別器５１Ｓの判別式が変更されることになる。

次に、プリンタ側コントローラ２０は、評価用サンプル（但し、この評価用サンプルの属性情報は、ユーザの境界設定バー１６３Ａの設定に応じて変更しておく）を用いて、変更後の判別式ｆ´（ｘ）による識別結果のPrecisionのグラフ（図９参照）を作成する。そして、再作成されたPrecisionが９７．５％になるような肯定閾値を特定する。これにより、風景識別器５１Ｌと夕景識別器５１Ｓの設定変更が終了する。

識別対象画像が風景のシーンに属するか否かを風景識別器５１Ｌが判断するとき、風景識別器５１Ｌは、識別対象画像の全体特徴量に基づいて、判別式の値を算出する。そして、判別式の値が変更後の肯定閾値より大きければ（図７のＳ２０４でＹＥＳ）、風景識別器５１Ｌは、識別対象画像が風景のシーンに属すると判断し、肯定フラグを立てる（Ｓ２０５）。

第４実施形態においても、第１実施形態と同様に、ユーザの好みを反映した識別処理を行うことができる。

＝＝＝その他の実施の形態＝＝＝
一実施形態としてのプリンタ等を説明したが、上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは言うまでもない。特に、以下に述べる実施形態であっても、本発明に含まれるものである。

＜プリンタについて＞
前述の実施形態ではプリンタ４がシーン識別処理をしていたが、デジタルスチルカメラ２がシーン識別処理をしても良い。また、上記のシーン識別処理を行う画像識別装置は、プリンタ４やデジタルスチルカメラ２に限られるものではない。例えば、大量の画像ファイルを保存するフォトストレージのような画像識別装置が、上記のシーン識別処理を行っても良い。もちろん、パーソナルコンピュータやインターネット上に設置されたサーバーが、上記のシーン識別処理を行っても良い。
なお、シーン識別装置に上記のシーン識別処理を実行させるプログラムも、本発明の範疇である。

＜サポートベクタマシンについて＞
前述のサブ識別器５１やサブ部分識別器６１には、サポートベクタマシン（ＳＶＭ）による識別手法が用いられている。しかし、識別対象画像が特定シーンに属するか否かの識別手法は、サポートベクタマシンを用いるものに限られるものではない。例えば、ニューラルネットワーク等のパターン認識を採用しても良い。

＜シーンの識別について＞
前述の実施形態では、サブ識別器５１やサブ部分識別器６１は、画像データの示す画像が特定のシーンに属するか否かを識別している。しかし、シーンの識別に限られず、何らかのクラスに属するか否かを識別するもので良い。例えば、画像データの示す画像が特定のパターン形状か否かを識別しても良い。

画像処理システムの説明図である。 プリンタの構成の説明図である。 プリンタの自動補正機能の説明図である。 画像のシーンと補正内容との関係の説明図である。 シーン識別部によるシーン識別処理のフロー図である。 シーン識別部の機能の説明図である。 全体識別処理のフロー図である。 識別対象テーブルの説明図である。 全体識別処理の肯定閾値の説明図である。 RecallとPrecisionの説明図である。 第１否定閾値の説明図である。 第２否定閾値の説明図である。 図１３Ａは、閾値テーブルの説明図である。図１３Ｂは、風景識別器における閾値の説明図である。図１３Ｃは、風景識別器の処理の概要の説明図である。 部分識別処理のフロー図である。 夕景部分識別器が選択する部分画像の順番の説明図である。 上位１０番目までの１０個の部分画像だけで夕景画像の識別をしたときのRecall及びPrecisionのグラフである。 図１７Ａは、線形サポートベクタマシンによる判別の説明図である。図１７Ｂは、カーネル関数を用いた判別の説明図である。 統合識別処理のフロー図である。 設定画面の説明図である。 図２０Ａは、メモリ２３に記憶されている学習用サンプルのデータ群である。図２０Ｂは、各学習用サンプルの分布の説明図である。 図２１Ａは、風景画像と夕景画像とを分離する境界Ｆ_ls（ｘ）＝０の説明図である。図２１Ｂは、境界（Ｆ_ls（ｘ）＝０）の法線に代表サンプルを投影する様子の説明図である。図２１Ｃは、法線上に投影された代表サンプルの説明図である。 図２２Ａは、変更後のデータ群の説明図である。図２２Ｂは、変更後の境界の説明図である。 ２個の境界設定バーの位置が変更される様子の説明図である。 図２４Ａは、最上段の境界設定バー１６３Ａの位置変更結果の説明図である。図２４Ｂは、２段目の境界設定バー１６３Ｂの位置変更結果の説明図である。図２４Ｃは、２個の境界設定バーの位置変更結果の概念図である。 第２実施形態の学習用サンプルのデータ群である。

符号の説明

２ デジタルスチルカメラ、２Ａ モード設定ダイヤル、４ プリンタ、
６ メモリカード、１０ 印刷機構、１１ ヘッド、１２ ヘッド制御部、
１３ モータ、１４ センサ、１５ パネル部、１６ 表示部、１７ 入力部、
２０ プリンタ側コントローラ、２１ スロット、２２ ＣＰＵ、２３ メモリ、
２４ 制御ユニット、２５ 駆動信号生成部、３１ 記憶部、
３１Ａ 画像記憶部、３１Ｂ 結果記憶部、３２ 顔識別部、３３ シーン識別部、
３４ 画像補正部、３５ プリンタ制御部、４０ 特徴量取得部、
５０ 全体識別器、５１ サブ識別器、５１Ｌ 風景識別器、５１Ｓ 夕景識別器、
５１Ｎ 夜景識別器、５１Ｆ 花識別器、５１Ｒ 紅葉識別器、６０ 部分識別器、
６１ サブ部分識別器、６１Ｓ 夕景部分識別器、６１Ｆ 花部分識別器、
６１Ｒ 紅葉部分識別器、７０ 統合識別器、
１６３ 設定画面、１６３Ａ 境界設定バー、１６３Ｂ 境界設定バー

Claims (9)

1. あるクラスに識別対象が属するか否かを識別する識別処理の設定方法であって、
   前記あるクラスに属するサンプルと、前記あるクラスとは別のクラスに属するサンプルとを抽出する抽出ステップと、
   抽出された複数の前記サンプルを表示部に並べて表示すると共に、前記あるクラスに属するサンプルと、前記別のクラスに属するサンプルとの間にマークを表示し、ユーザの指示に応じて前記マークの位置を移動することによって、別の前記サンプルと前記サンプルとの間に前記マークを表示する表示ステップと、
   前記ユーザの決定した前記マークの位置に応じて、前記あるクラスに識別対象が属するか否かを識別する識別処理の設定を変更する設定変更ステップと
   を備えることを特徴とする設定方法。
2. 請求項１に記載の設定方法であって、
   前記設定変更ステップでは、
   前記マークと前記別のクラスに属するサンプルとの間に前記あるクラスに属するサンプルが位置する状態で、前記マークの位置が決定された場合、前記マークと前記別のクラスに属するサンプルとの間に位置する前記あるクラスに属するサンプルが、前記あるクラスに属さないものとして属性情報が変更され、
   前記マークと前記あるクラスに属するサンプルとの間に前記別のクラスに属するサンプルが位置する状態で、前記マークの位置が決定された場合、前記マークと前記あるクラスに属するサンプルとの間に位置する前記別のクラスに属するサンプルが、前記別のクラスに属さないものとして属性情報が変更され、
   変更後の前記属性情報に基づいて再学習が行われ、再学習の結果に応じて前記識別処理の設定が変更される
   ことを特徴とする設定方法。
3. 請求項２に記載の設定方法であって、
   前記抽出ステップでは、クラスタリングされた各クラスタの中から代表となるサンプルを抽出しており、
   前記設定変更ステップでは、代表となるサンプルの前記属性情報を変更するとき、そのサンプルと同じクラスタに属するサンプルの前記属性情報も変更する
   ことを特徴とする設定方法。
4. 請求項１に記載の設定方法であって、
   予め複数の識別処理が用意されており、
   前記設定変更ステップでは、複数の識別処理の中から、前記ユーザの決定した前記マークの位置に応じた識別処理が選択される
   ことを特徴とする設定方法。
5. 請求項１〜４のいずれかに記載の設定方法であって、
   前記あるクラスに属するサンプルと、前記別のクラスに属するサンプルとを分離する超平面の法線に前記サンプルを投影し、前記法線上に投影された前記サンプルの位置に基づいて、抽出すべきサンプルを決定する
   ことを特徴とする設定方法。
6. 請求項１〜５のいずれかに記載の設定方法であって、
   前記識別処理は、前記識別対象を評価する評価関数の値と、所定の閾値とを比較し、比較結果に基づいて前記識別対象が前記クラスに属するか否かを識別するものであり、
   前記設定変更ステップでは、前記評価関数を変更する
   ことを特徴とする設定方法。
7. 請求項１〜６のいずれかに記載の設定方法であって、
   前記識別処理は、前記識別対象を評価する評価関数の値と、所定の閾値とを比較し、比較結果に基づいて前記識別対象が前記クラスに属するか否かを識別するものであり、
   前記設定変更ステップでは、前記閾値を変更する
   ことを特徴とする設定方法。
8. あるクラスに識別対象が属するか否かを識別する識別処理を行う識別方法であって、
   前記あるクラスに属するサンプルと、前記あるクラスとは別のクラスに属するサンプルとを抽出する抽出ステップと、
   抽出された複数の前記サンプルを表示部に並べて表示すると共に、前記あるクラスに属するサンプルと、前記別のクラスに属するサンプルとの間にマークを表示し、ユーザの指示に応じて前記マークの位置を移動することによって、別の前記サンプルと前記サンプルとの間に前記マークを表示する表示ステップと、
   前記ユーザの決定した前記マークの位置に応じて、前記あるクラスに識別対象が属するか否かを識別する識別処理の設定を変更する設定変更ステップと、
   設定の変更された前記識別処理によって、前記識別対象が前記あるクラスに属するか否かを識別する識別ステップと
   を備えることを特徴とする識別方法。
9. あるクラスに識別対象が属するか否かを識別する識別処理を行う識別装置に、
   前記あるクラスに属するサンプルと、前記あるクラスとは別のクラスに属するサンプルとを抽出させ、
   抽出された複数の前記サンプルを表示部に並べて表示させると共に、前記あるクラスに属するサンプルと、前記別のクラスに属するサンプルとの間にマークを表示させ、ユーザの指示に応じて前記マークの位置を移動することによって、別の前記サンプルと前記サンプルとの間に前記マークを表示させ、
   前記ユーザの決定した前記マークの位置に応じて、前記あるクラスに識別対象が属するか否かを識別する識別処理の設定を変更させる
   ことを特徴とするプログラム。

Images