JP2008269560A - シーン識別装置、及び、シーン識別方法 - Google Patents

シーン識別装置、及び、シーン識別方法 Download PDF

Info

Publication number
JP2008269560A
JP2008269560A JP2007315247A JP2007315247A JP2008269560A JP 2008269560 A JP2008269560 A JP 2008269560A JP 2007315247 A JP2007315247 A JP 2007315247A JP 2007315247 A JP2007315247 A JP 2007315247A JP 2008269560 A JP2008269560 A JP 2008269560A
Authority
JP
Japan
Prior art keywords
partial
scene
identification
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2007315247A
Other languages
English (en)
Inventor
Hirokazu Kasahara
広和 笠原
Yasuo Kasai
庸雄 河西
Yoshiori Matsumoto
佳織 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2007315247A priority Critical patent/JP2008269560A/ja
Priority to US12/052,632 priority patent/US20080232696A1/en
Publication of JP2008269560A publication Critical patent/JP2008269560A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】シーンの識別精度を向上させる。
【解決手段】
シーン識別装置は、識別対象画像の一部を構成する部分画像の特徴を示す部分特徴量を取得する特徴量取得部と、部分特徴量に基づいて、部分画像が所定のシーンに属するか否かを識別する部分識別部と、所定のシーンに属すると識別された前記部分画像の個数を検出する検出部と、検出部が検出した部分画像の個数に応じて、識別対象画像が所定のシーンに属するか否かを判断する判断部とを有している。
【選択図】図5

Description

本発明は、シーン識別装置、及び、シーン識別方法に関する。
識別対象画像からその画像の全体的な特徴を示す特徴量を抽出し、識別対象画像の属するシーンを識別する識別装置が提案されている(特許文献1を参照。)。このような識別装置を用いれば、識別対象画像が属する特定のシーンを自動的に識別することができ、その識別結果に基づいて、例えば、特定のシーンに適した画像処理(画質調整)を行うことが可能となる。
特開2003−123072号公報 特開2004−62605号公報
(1)この種の識別装置では、例えば画像処理を適正に行うため、識別精度の向上が求められる。しかしながら、前述したような識別装置では、特定のシーンの特徴が、識別対象画像に部分的に表れているような場合、識別精度が低下する虞がある。
(2)また、識別対象画像を複数の部分(以下、部分画像ともいう)に分割し、その部分画像の特徴量に基づいて、部分画像毎に、識別を行うことも提案されているが(特許文献2を参照)、部分画像毎に識別を行うことは、識別処理の回数が増加することになるため、分割数を多くするほど(部分画像の数が多くなるほど)、識別対象画像が特定のシーンに属しているか否かの判断が行われるまでに時間がかかる虞がある。特に、一部分に特徴が表れているような識別対象画像を、その特徴の表れている部分と離れた位置の部分画像から隣接する部分画像へと順に識別を行うと、識別対象画像が特定のシーンに属すると判断するまでにかなりの時間を要することになる。
本発明は、上記のような課題に鑑みてなされたものであり、その目的は、第1にシーンの識別精度を向上させることにある。また、第2に識別処理の速度を向上させることにある。
前記目的を達成するための主たる第1の発明は、
識別対象画像の一部を構成する部分画像の特徴を示す部分特徴量を取得する特徴量取得部と、
前記特徴量取得部で取得された前記部分特徴量に基づいて、前記部分画像が所定のシーンに属するか否かを識別する部分識別部と、
前記部分識別部によって前記所定のシーンに属すると識別された前記部分画像の個数を検出する検出部と、
前記検出部が検出した前記部分画像の個数に応じて、前記識別対象画像が前記所定のシーンに属するか否かを判断する判断部と、
を有するシーン識別装置である。
前記目的を達成するための主たる第2の発明は、
所定のシーンに属する画像の全体領域を分割した各部分領域毎に前記所定のシーンの特徴が表れる確率である存在確率を示す存在確率情報、及び、複数の前記部分領域に対する前記存在確率の高さの順位を示す存在確率順位情報、の少なくともいずれか一方が記憶される記憶部と、
識別対象画像のうちの前記部分領域に対応する部分画像の特徴を示す部分特徴量を取得する特徴量取得部と、
前記特徴量取得部で取得される前記部分特徴量に基づいて前記部分画像が前記所定のシーンに属するか否かを、前記記憶部から読み出される前記存在確率情報及び前記存在確率順位情報の少なくともいずれか一方に基づいて前記存在確率の高い前記部分画像から順に評価する部分評価部と、
前記部分評価部によって得られた評価値に応じて、前記識別対象画像が前記所定のシーンに属するか否かを判断する判断部と、
を有するシーン識別装置である。
本発明の他の特徴は、本明細書、及び添付図面の記載により、明らかにする。
本明細書の記載、及び添付図面の記載により少なくとも次のことが明らかにされる。
すなわち、識別対象画像の一部を構成する部分画像の特徴を示す部分特徴量を取得する特徴量取得部と、前記特徴量取得部で取得された前記部分特徴量に基づいて、前記部分画像が所定のシーンに属するか否かを識別する部分識別部と、前記部分識別部によって前記所定のシーンに属すると識別された前記部分画像の個数を検出する検出部と、前記検出部が検出した前記部分画像の個数に応じて、前記識別対象画像が前記所定のシーンに属するか否かを判断する判断部と、を有するシーン識別装置を実現できることが明らかにされる。
このようなシーン識別装置によれば、所定のシーンの特徴が、識別対象画像に部分的に表れているような場合でも、判断部は、所定のシーンに属すると識別された部分画像の個数に応じて判断しているので、識別精度を向上させることができる。
かかるシーン識別装置であって、前記判断部は、前記検出部が検出した前記部分画像の個数が所定の閾値を超えた場合、前記識別対象画像が前記所定のシーンに属すると判断することが好ましい。
このようなシーン識別装置によれば、所定の閾値の設定によって識別精度を調整することができる。
かかるシーン識別装置であって、前記検出部は、前記識別対象画像から得られる全ての前記部分画像のうち、前記部分識別部による識別が行われていない残り画像数を検出し、前記判断部は、前記検出部が検出した、前記残り画像数と、前記所定のシーンに属する前記部分画像の個数と、の加算値が前記所定の閾値に達しない場合、前記識別対象画像が前記所定のシーンに属さないと判断することが好ましい。
このようなシーン識別装置によれば、判断部が所定のシーンに属さないと判断した時点で、その特定のシーンに対する識別処理を打ち切ることができる。よって、識別処理の高速化を図ることができる。
かかるシーン識別装置であって、識別対象となる前記所定のシーンの種類毎に前記部分識別部を有することが好ましい。
このようなシーン識別装置によれば、部分識別部毎に特性を最適化でき、識別性を向上させることができる。
かかるシーン識別装置であって、複数の前記所定のシーンに対して、前記所定の閾値がそれぞれ設定されていることが好ましい。
このようなシーン識別装置によれば、それぞれの所定のシーンに適した識別を行うことができる。
かかるシーン識別装置であって、前記判断部は、第1の部分識別部を用いた識別によって、前記識別対象画像が第1の所定のシーンに属することが判断できなかった場合、前記第1の部分識別部とは異なる他の部分識別部を用いた識別によって、前記識別対象画像が前記第1の所定のシーンとは異なる他の所定のシーンに属するか否かを判断することが好ましい。
このようなシーン識別装置によれば、部分識別部毎に識別を行えるので、識別の確実性を高めることができる。
かかるシーン識別装置であって、前記部分識別部は、前記部分画像が前記所定のシーンに属する確率を示す確率情報を、前記部分画像に対応する前記部分特徴量から取得し、当該確率情報に基づいて前記部分画像が所定のシーンに属するか否かを識別することが好ましい。
かかるシーン識別装置であって、前記部分識別部は、前記部分特徴量から前記確率情報を取得するサポートベクターマシンであることが好ましい。
かかるシーン識別装置であって、前記特徴量取得部は、前記識別対象画像の特徴を示す全体特徴量を取得し、前記部分識別部は、前記特徴量取得部で取得された前記部分特徴量と前記全体特徴量とに基づいて、前記部分画像が前記所定のシーンに属するか否かを識別することが好ましい。
このようなシーン識別装置によれば、識別精度をより高めることができる。
また、次のシーン識別方法を実現できることも明らかにされる。
すなわち、識別対象画像の一部を構成する部分画像の特徴を示す部分特徴量を取得するステップと、取得された前記部分特徴量に基づいて、前記部分画像が所定のシーンに属するか否かを識別するステップと、前記所定のシーンに属すると識別された前記部分画像の個数を検出するステップと、検出した前記部分画像の個数に応じて、前記識別対象画像が前記所定のシーンに属するか否かを判断するステップと、を有するシーン識別方法を、実現できることも明らかとされる。
また、所定のシーンに属する画像の全体領域を分割した各部分領域毎に前記所定のシーンの特徴が表れる確率である存在確率を示す存在確率情報、及び、複数の前記部分領域に対する前記存在確率の高さの順位を示す存在確率順位情報、の少なくともいずれか一方が記憶される記憶部と、識別対象画像のうちの前記部分領域に対応する部分画像の特徴を示す部分特徴量を取得する特徴量取得部と、前記特徴量取得部で取得される前記部分特徴量に基づいて前記部分画像が前記所定のシーンに属するか否かを、前記記憶部から読み出される前記存在確率情報及び前記存在確率順位情報の少なくともいずれか一方に基づいて前記存在確率の高い前記部分画像から順に評価する部分評価部と、前記部分評価部によって得られた評価値に応じて、前記識別対象画像が前記所定のシーンに属するか否かを判断する判断部と、を有するシーン識別装置を実現できることが明らかにされる。
このようなシーン識別装置によれば、識別処理の速度を向上させることができる。
かかるシーン識別装置であって、前記部分評価部は、前記部分特徴量に基づいて前記部分画像が前記所定のシーンに属するか否かを識別し、前記判断部は、前記部分評価部によって前記所定のシーンに属すると識別された前記部分画像の個数が所定の閾値を超えた場合に、前記識別対象画像が前記所定のシーンに属すると判断することが好ましい。
このようなシーン識別装置によれば、所定の閾値の設定によって識別精度を調整することができる。
かかるシーン識別装置であって、前記記憶部には、前記存在確率情報及び前記存在確率順位情報の少なくともいずれか一方が、識別対象となる前記所定のシーンの種類毎に記憶されることが好ましい。
このようなシーン識別装置によれば、各所定のシーンに対する識別を効率的に行うことができる。
かかるシーン識別装置であって、前記所定のシーンの種類毎に前記部分評価部を有し、各々の前記部分評価部は、識別を行う前記所定のシーンに対応して前記記憶部から読み出される前記存在確率情報及び前記存在確率順位情報の少なくともいずれか一方に基づいて、当該所定のシーンにおける前記存在確率の高い前記部分画像から順に識別することが好ましい。
このようなシーン識別装置によれば、部分評価部毎に特性を最適化することができる。
かかるシーン識別装置であって、複数の前記所定のシーンに対して、前記所定の閾値がそれぞれ設定され、前記判断部は、前記部分評価部を用いた識別によって、対応する前記所定のシーンに属すると識別された前記部分画像の個数が当該所定のシーンに設定された前記所定の閾値を超えた場合に、前記識別対象画像が当該所定のシーンに属すると判断することが好ましい。
このようなシーン識別装置によれば、所定のシーン毎に適した識別を行うことができる。
かかるシーン識別装置であって、前記判断部は、第1の部分評価部を用いた識別に基づいて、前記識別対象画像が第1の所定のシーンに属することを判断できなかった場合、前記第1の部分評価部とは異なる他の部分評価部を用いて、前記部分画像が前記第1の所定のシーンとは異なる他の所定のシーンに属するか否かを識別することが好ましい。
このようなシーン識別装置によれば、部分評価部毎に識別を行えるので、識別の確実性を高めることができる。
かかるシーン識別装置であって、前記特徴量取得部は、前記識別対象画像の特徴を示す全体特徴量を取得し、前記部分評価部は、前記特徴量取得部で取得される前記部分特徴量と前記全体特徴量とに基づいて、前記部分画像が前記所定のシーンに属するか否かを、前記記憶部から読み出される前記存在確率情報及び前記存在確率順位情報の少なくともいずれか一方に基づいて前記存在確率の高い前記部分画像から順に評価することが好ましい。
このようなシーン識別装置によれば、識別精度をより高めることができる。
===(1)第1実施形態===
以下、本発明の実施の形態について説明する。なお、以下の説明は、図1に示す複合機1を例に挙げて行う。この複合機1は、媒体に印刷された画像を読み取って画像データを取得する画像読み取り部10と、画像データに基づいて媒体へ画像を印刷する画像印刷部20とを有している。画像印刷部20では、例えば、デジタルスチルカメラDCによる撮影で得られた画像データや画像読み取り部10で得られた画像データに基づき、画像を媒体に印刷する。加えて、この複合機1では、対象となる画像(識別対象画像)についてシーンの識別を行い、識別結果に応じて画像データを補正したり、補正した画像データをメモリカードMC等の外部メモリに記憶したりする。ここで、複合機1は、未知の識別対象画像のシーンを識別するシーン識別装置として機能する。また、複合機1は、識別されたシーンに基づいて画像データを補正するデータ補正装置や、補正後の画像データを外部メモリに記憶するデータ記憶装置としても機能する。
<(1)複合機1の構成>
図2Aに示すように、画像印刷部20は、プリンタ側コントローラ30と印刷機構40とを有する。
プリンタ側コントローラ30は、印刷機構40の制御など印刷に関する制御を行う部分である。図2Aに例示したプリンタ側コントローラ30は、メインコントローラ31と、制御ユニット32と、駆動信号生成部33と、インタフェース34と、メモリ用スロット35とを有する。そして、これらの各部がバスBUを介して通信可能に接続されている。
メインコントローラ31は、制御の中心となる部分であり、CPU36とメモリ37とを有する。CPU36は、中央演算装置として機能し、メモリ37に格納された動作用プログラムに従って種々の制御動作を行う。従って、この動作用プログラムは、制御動作を実現させるためのコードを有する。メモリ37には種々の情報が記憶される。例えば図2Bに示すように、メモリ37の一部分には、動作用プログラムを記憶するプログラム記憶部37a、識別処理で用いられる閾値(後述する。)を含む制御用パラメータを記憶するパラメータ記憶部37b、画像データを記憶する画像記憶部37c、Exifの付属情報を記憶する付属情報記憶部37d、特徴量を記憶する特徴量記憶部37e、確率情報を記憶する確率情報記憶部37f、計数用カウンタとして機能するカウンタ部37g、肯定フラグを記憶する肯定フラグ記憶部37h、否定フラグを記憶する否定フラグ記憶部37i、及び、識別結果を記憶する結果記憶部37jが設けられている。なお、メインコントローラ31によって構成される各部については、後で説明する。
制御ユニット32は、印刷機構40に設けられているモータ41等を制御する。駆動信号生成部33は、ヘッド44が有する駆動素子(図示せず)に印加される駆動信号を生成する。インタフェース34は、パーソナルコンピュータなどの上位装置と接続するためのものである。メモリ用スロット35は、メモリカードMCを装着するための部分である。メモリカードMCがメモリ用スロット35に装着されると、メモリカードMCとメインコントローラ31とが通信可能に接続されている。これに伴い、メインコントローラ31は、メモリカードMCに記憶された情報を読み出したり、情報をメモリカードMCに記憶させたりできる。例えばデジタルスチルカメラDCの撮影によって生成された画像データを読み出したり、補正等の処理を施した後の補正後画像データを記憶させたりできる。
印刷機構40は、用紙等の媒体に対して印刷を行う部分である。例示した印刷機構40は、モータ41と、センサ42と、ヘッド制御部43と、ヘッド44とを有する。モータ41は、制御ユニット32からの制御信号に基づいて動作する。モータ41としては、例えば、媒体を搬送するための搬送モータやヘッド44を移動させるための移動モータがある(何れも図示せず)。センサ42は、印刷機構40の状態を検出するためのものである。センサ42としては、例えば、媒体の有無を検出するための媒体検出センサ、媒体の搬送センサがある(何れも図示せず)。ヘッド制御部43は、ヘッド44が有する駆動素子への駆動信号の印加を制御するためのものである。この画像印刷部20では、印刷対象となる画像データに応じ、メインコントローラ31がヘッド制御信号を生成する。そして、生成したヘッド制御信号をヘッド制御部43へ送信する。ヘッド制御部43は、受信したヘッド制御信号に基づいて、駆動信号の印加を制御する。ヘッド44は、インクを吐出するための動作をする駆動素子を複数有する。これらの駆動素子には、ヘッド制御部43を通過した駆動信号の必要部分が印加される。そして、駆動素子は、印加された必要部分に応じてインクを吐出するための動作をする。これにより、吐出されたインクが媒体に着弾し、媒体に画像が印刷される。
<(1)プリンタ側コントローラ30によって実現される各部の構成>
次に、プリンタ側コントローラ30によって実現される各部について説明する。プリンタ側コントローラ30のCPU36は、動作プログラムを構成する複数の動作モジュール(プログラムユニット)毎に、異なる動作をする。このとき、CPU36とメモリ37を有するメインコントローラ31は、単体で、或いは制御ユニット32や駆動信号生成部33と組になって、動作モジュール毎に異なる機能を発揮する。便宜上、以下の説明では、プリンタ側コントローラ30を、動作モジュール毎の装置として表現することにする。
図3に示すように、プリンタ側コントローラ30は、画像記憶部37cと、付属情報記憶部37dと、顔識別部30Aと、シーン識別部30Bと、画像補正部30Cと、機構制御部30Dとを有する。画像記憶部37cは、シーンの識別処理や補正処理の対象となる画像データを記憶する。この画像データは、識別対象となる識別対象データの一種である(以下、対象画像データとする。)本実施形態の対象画像データは、RGB画像データによって構成されている。このRGB画像データは、色情報を有する複数の画素によって構成される画像データの一種である。付属情報記憶部37dは、画像データに付加されるExifの付属情報を記憶する。顔識別部30Aは、対象画像データについて、人物の顔画像の有無、及び、対応するシーンを識別する。例えば、顔識別部30Aは、QVGA(320×240画素=76800画素)サイズのデータに基づいて、人物の顔画像の有無を判断する。そして、顔画像が検出された場合には、顔画像の総面積に基づいて、識別対象画像を人物のシーン或いは記念写真のシーンに分類する(後述する)。シーン識別部30Bは、顔識別部30Aではシーンが決定されなかった識別対象画像について、属するシーンを識別する。画像補正部30Cは、顔識別部30Aやシーン識別部30Bでの識別結果に基づき、識別対象画像の属するシーンに応じた補正を行う。機構制御部30Dは、対象画像データに基づいて印刷機構40を制御する。ここで、画像補正部30Cによる対象画像データの補正がなされた場合には、機構制御部30Dは、補正後画像データに基づいて印刷機構40を制御する。これらの各部において、顔識別部30A、シーン識別部30B、及び、画像補正部30Cは、メインコントローラ31によって構成される。機構制御部30Dは、メインコントローラ31、制御ユニット32、及び、駆動信号生成部33によって構成される。
<(1)シーン識別部30Bの構成>
次に、シーン識別部30Bについて説明する。本実施形態のシーン識別部30Bは、顔識別部30Aではシーンが決定されなかった識別対象画像について、風景のシーン、夕景のシーン、夜景のシーン、花のシーン、紅葉のシーン、及び、その他のシーンの何れかに属するのかを識別する。図4に示すように、このシーン識別部30Bは、特徴量取得部30Eと、全体識別器30Fと、部分画像識別器30Gと、統合識別器30Hと、結果記憶部37jとを有する。これらの中で、特徴量取得部30E、全体識別器30F、部分画像識別器30G、及び、統合識別器30Hは、メインコントローラ31によって構成される。そして、全体識別器30F、部分画像識別器30G、及び、統合識別器30Hは、部分特徴量及び全体特徴量の少なくとも一方に基づき、識別対象画像の属するシーンの識別処理を行う識別処理部30Iを構成する。
<(1)特徴量取得部30Eについて>
特徴量取得部30Eは、識別対象画像の特徴を示す特徴量を対象画像データに基づいて取得する。この特徴量は、全体識別器30Fや部分画像識別器30Gでの識別で用いられる。図5に示すように、特徴量取得部30Eは、部分特徴量取得部51と全体特徴量取得部52とを有する。
部分特徴量取得部51は、対象画像データを分割して得られた部分画像データのそれぞれについて部分特徴量を取得する。この部分特徴量は、部分画像データに対応する識別対象の一部分についての特徴を示す。この実施形態では、識別対象が画像である。このため、部分特徴量は、識別対象画像を複数の領域に分割した範囲(便宜上、部分画像ともいう。)毎の特徴量を示す。具体的には、図7に示すように全体画像を、縦と横とにそれぞれ8等分した範囲に対応する部分画像、すなわち、全体画像を格子状に分割して得られる1/64サイズの部分画像の特徴量を示す。なお、本実施形態における対象画像データは、QVGAサイズのデータである。このため、部分画像データは、その1/64サイズのデータ(40×30画素=1200画素)となる。
そして、部分特徴量取得部51は、部分画像の特徴を示す部分特徴量として、部分画像データを構成する各画素の色平均、及び、色の分散を取得する。各画素の色は、YCCやHSVなどの色空間にて数値で表すことができる。このため、色平均は、この数値を平均化することで取得できる。また、分散は、各画素の色についての平均値からの広がり度合いを示す。
全体特徴量取得部52は、対象画像データに基づいて全体特徴量を取得する。この全体特徴量は、識別対象における全体の特徴を示す。この全体特徴量としては、例えば、対象画像データを構成する各画素の色平均、色の分散、及びモーメントがある。このモーメントは、色についての分布(重心)を示す特徴量である。モーメントは、本来的には対象画像データから直接的に取得される特徴量である。しかし、本実施形態の全体特徴量取得部52では、これらの特徴量を、部分特徴量を用いて取得している(後述する。)。また、対象画像データがデジタルスチルカメラDCの撮影で生成されたものである場合、全体特徴量取得部52は、付属情報記憶部37dからExifの付属情報も全体特徴量として取得する。例えば、絞りを示す絞り情報、シャッタースピードを示すシャッタースピード情報、ストロボのオンオフを示すストロボ情報といった撮影情報も、全体特徴量として取得する。
<(1)特徴量の取得について>
次に、特徴量の取得について説明する。本実施形態の複合機1では、部分特徴量取得部は、部分画像データ毎に部分特徴量を取得し、取得した部分特徴量を、メモリ37の特徴量記憶部37eに記憶する。全体特徴量取得部52は、特徴量記憶部37eに記憶された複数の部分特徴量を読み出して全体特徴量を取得する。そして取得した全体特徴量を特徴量記憶部37eに記憶する。このような構成をとることで、対象画像データに対する変換等の回数を抑えることができ、部分特徴量と全体特徴量を取得する構成に比べて、処理を高速化することができる。また、展開用のメモリ37の容量も必要最小限に抑えることができる。
<(1)部分特徴量の取得について>
次に、部分特徴量取得部51による部分特徴量の取得について説明する。図6に示すように、部分特徴量取得部51は、まず、対象画像データの一部を構成する部分画像データを、メモリ37の画像記憶部37cから読み出す(S11−1)。この実施形態において、部分特徴量取得部51は、QVGAサイズの1/64サイズのRGB画像データを部分画像データとして取得する。なお、対象画像データがJPEG形式等の圧縮された画像データの場合、部分特徴量取得部51は、対象画像データを構成する一部分のデータを画像記憶部37cから読み出し、読み出したデータを展開することで部分画像データを取得する。部分画像データを取得したならば、部分特徴量取得部51は、色空間の変換を行う(S12−1)。例えば、RGB画像データをYCC画像に変換する。
次に、部分特徴量取得部51は、読み出した部分画像データから部分特徴量を取得する(S13−1)。この実施形態において、部分特徴量取得部51は、部分画像データの色平均と色の分散とを部分特徴量として取得する。便宜上、部分画像データにおける色平均を部分色平均ともいう。また、便宜上、部分画像データにおける色分散を部分色分散ともいう。図7に例示するように識別対象画像が64個の部分画像に分割される場合、j番目(j=1〜64)の部分画像データにおいて、i番目〔i=1〜76800〕の画素の色情報(例えばYCC空間で表した数値)をxとする。この場合、j番目の部分画像データにおける部分色平均xavjは、次式(1)で表すことができる。
また、この実施形態における分散Sは、次式(2)で定義されているものを用いている。このため、j番目の部分画像データにおける部分色分散S は、式(2)を変形して得られた次式(3)で表すことができる。
従って、部分特徴量取得部51は、式(1)及び式(3)の演算を行うことにより、対応する部分画像データについての部分色平均xavjと部分色分散S とを取得する。そして、これらの部分色平均xavj及び部分色分散S は、それぞれメモリ37の特徴量記憶部37eに記憶される。
部分色平均xavjと部分色分散S とを取得したならば、部分特徴量取得部51は、未処理の部分画像データの有無を判断する(S14−1)。未処理の部分画像データがあると判断した場合、部分特徴量取得部51は、ステップS11−1に戻り、次の部分画像データについて同様の処理を行う(S11−1〜S13−1)。一方、ステップS14−1にて、未処理の部分画像データはないと判断した場合には、部分特徴量取得部51による処理は終了する。この場合、ステップS15−1にて全体特徴量取得部52による全体部分特徴量の取得が行われる。
<(1)全体特徴量の取得について>
次に、全体特徴量取得部52による全体特徴量の取得(S15−1)について説明する。全体特徴量取得部52は、特徴量記憶部37eに記憶された複数の部分特徴量に基づき、全体特徴量を取得する。前述したように、全体特徴量取得部52は、対象画像データの色平均と色の分散とを全体特徴量として取得する。便宜上、対象画像データにおける色平均を、全体色平均ともいう。また、便宜上、対象画像データにおける色の分散を、全体色分散ともいう。そして、図7に例示するような64個の部分画像データのうちj番目の部分画像データにおける部分色平均をxavjとした場合、全体色平均xavは、次式(4)で表すことができる。この式(4)において、mは部分画像の数を示す。また、全体色分散Sは、次式(5)で表すことができる。この式(5)により、全体色分散Sは、部分色平均xav、部分色分散S 、及び、全体色平均xavに基づいて取得できることが判る。
従って、全体特徴量取得部52は、式(4)及び式(5)の演算を行うことにより、対象画像データについての全体色平均xavと全体色分散Sとを取得する。そして、これらの全体色平均xav及び全体色分散Sは、それぞれメモリ37の特徴量記憶部37eに記憶される。
また、全体特徴量取得部52は、他の全体特徴量としてモーメントを取得する。この実施形態では、識別対象が画像であるので、モーメントによって、色の位置的な分布を定量的に取得できる。この実施形態において全体特徴量取得部52は、部分画像データ毎の色平均xavjに基づいてモーメントを取得している。ここで、図7に示す64個の部分画像のうち縦位置J(J=1〜8)、横位置I(I=1〜8)で特定される部分画像を、座標(I,J)で表すことにする。この座標(I,J)で特定される部分画像における部分画像データの部分色平均をXAV(I,J)で表すと、部分色平均に関する横方向のn次モーメントmnhは、次式(6)で表すことができる。
ここで、単純な1次モーメントを部分色平均XAV(I,J)の総和で除算した値を、1次の重心モーメントという、この1次の重心モーメントは、次式(7)で表されるものであり、部分色平均という部分特徴量の横方向の重心位置を示す。この重心モーメントを一般化したn次の重心モーメントは、次式(8)で表される。n次の重心モーメントの中で、奇数次(n=1,3・・・)の重心モーメントは、一般に重心の位置を示すと考えられている。また、偶数次の重心モーメントは、一般に重心付近における特徴量の広がり度合いを示すと考えられている。
本実施形態の全体特徴量取得部52は、6種類のモーメントを取得している。具体的には、横方向の1次モーメント、縦方向の1次モーメント、横方向の1次重心モーメント、縦方向の1次重心モーメント、横方向の2次重心モーメント、及び、縦方向の2次重心モーメントを取得している。なお、モーメントの組み合わせは、これらに限定されない。例えば、横方向の2次モーメントと縦方向の2次モーメントを加えた8種類としてもよい。
これらのモーメントを取得することにより、色の重心や重心付近における色の広がり度合いを認識することができる。例えば、「画像における上部に赤い領域が広がっている」とか「中心付近に黄色い領域がまとまっている」といった情報が得られる。そして、識別処理部30I(図4を参照。)における識別処理で、色の重心位置や局在性が考慮できるため、識別の精度を高めることができる。
<(1)特徴量の正規化について>
ところで、識別処理部30Iの一部を構成する全体識別器30F及び部分画像識別器30Gでは、サポートベクターマシン(SVMとも記す。)を用いて識別を行っている。サポートベクターマシンについては後で説明するが、このサポートベクターマシンは、分散の大きな特徴量ほど識別に対する影響力(重み付けの度合い)が大きくなるという特性を有する。そこで、部分特徴量取得部51、及び、全体特徴量取得部52では、取得した部分特徴量及び全体特徴量について正規化を行っている。すなわち、それぞれの特徴量について平均と分散とを算出し、平均が値〔0〕となり、分散が値〔1〕となるように、正規化を行っている。具体的には、i番目の特徴量xにおける平均値をμとし、分散をσとした場合、正規化後の特徴量x´は、次式(9)で表すことができる。
従って、部分特徴量取得部51、及び、全体特徴量取得部52は、式(9)の演算を行うことにより、各特徴量を正規化する。正規化された特徴量は、それぞれメモリ37の特徴量記憶部37eに記憶され、識別処理部30Iでの識別処理に用いられる。これにより、識別処理部30Iでの識別処理において、各特徴量を均等な重み付けで扱うことができる。その結果、識別精度を高めることができる。
<(1)特徴量取得部30Eのまとめ>
部分特徴量取得部51は、部分特徴量として部分色平均と部分色分散とを取得し、全体特徴量取得部52は、全体特徴量として全体色平均と全体色分散とを取得している。これらの特徴量は、識別処理部30Iによる識別対象画像の識別処理で用いられる。このため、識別処理部30Iにおける識別精度を高めることができる。これは、識別処理において、識別対象画像の全体と部分画像のそれぞれで取得された、色合いの情報と色の局在化度合いの情報とが加味されるからである。
<(1)識別処理部30Iについて>
次に、識別処理部30Iについて説明する。まず、識別処理部30Iの概略について説明する。図4及び図5に示すように、識別処理部30Iは、全体識別器30Fと、部分画像識別器30Gと、統合識別器30Hとを有する。全体識別器30Fは、全体特徴量に基づいて、識別対象画像のシーンを識別する。部分画像識別器30Hは、部分特徴量に基づいて、識別対象画像のシーンを識別する。統合識別器30Hは、全体識別器30Fと部分画像識別器30Gでシーンが確定されなかった識別対象画像について、シーンを識別する。このように、識別処理部30Iは、特性の異なる複数種類の識別器を有している。これは、識別性を高めるためである。すなわち、識別対象画像の全体に特徴が表れがちなシーンについては、全体識別器30Fによって精度良く識別ができる。一方、識別対象画像の一部分に特徴が表れがちなシーンについては、部分画像識別器30Gによって精度良く識別ができる。その結果、識別対象画像の識別性を高めることができる。さらに、全体識別器30Fと部分画像識別器30Gでシーンが確定しなかった識別対象画像については、統合識別器30Hによってシーンを識別できる。この点でも識別対象画像の識別性を高めることができる。
<(1)全体識別器30Fについて>
全体識別器30Fは、識別可能なシーンに応じた種類の数のサブ識別器(便宜上、全体サブ識別器ともいう。)を有する。各全体サブ識別器は、識別対象画像が特定のシーン(所定のシーンに相当する)に属することを全体特徴量に基づいて識別する。図5に示すように、全体識別器30Fは、全体サブ識別器として、風景識別器61と、夕景識別器62と、夜景識別器63と、花識別器64と、紅葉識別器65とを有する。各全体サブ識別器は、識別対象画像が特定のシーンに属することを識別する。また、各全体サブ識別器は、識別対象画像が特定のシーンに属さないことも識別する。
これらの全体サブ識別器は、サポートベクターマシンと判断部とをそれぞれ有する。すなわち、風景識別器61は、風景用サポートベクターマシン61aと風景用判断部61bとを有し、夕景識別器62は、夕景用サポートベクターマシン62aと夕景用判断部62bとを有する。また、夜景識別器63は、夜景用サポートベクターマシン63aと夜景用判断部63bとを有し、花識別器64は、花用サポートベクターマシン64aと花用判断部64bとを有し、紅葉識別器65は、紅葉用サポートベクターマシン65aと紅葉用判断部65bとを有する。なお、各サポートベクターマシンは、後述するように、サンプルが入力される毎に、識別対象となるサンプルが特定カテゴリーに属する度合いに応じた識別関数値(確率情報)を算出する。そして、各サポートベクターマシンで求められた識別関数値は、それぞれメモリ37の確率情報記憶部37fに記憶される。
各判断部は、対応するサポートベクターマシンで取得された識別関数値に基づいて、識別対象画像が対応する特定のシーンに属することを判断する。そして、各判断部は識別対象画像が対応する特定のシーンに属すると判断した場合、肯定フラグ記憶部37hの対応する領域に肯定フラグを記憶する。また、各判断部は、サポートベクターマシンで取得された識別関数値に基づいて、識別対象画像が特定のシーンに属さないことも判断する。そして、各判断部は、識別対象画像が特定のシーンに属さないと判断した場合、否定フラグ記憶部37iの対応する領域に否定フラグを記憶する。なお、サポートベクターマシンは部分画像識別器30Gでも用いられている。このため、サポートベクターマシンについては部分画像識別器30Gとともに説明する。
<(1)部分画像識別器30Gについて>
部分画像識別器30Gは、識別可能なシーンに応じた種類の数のサブ識別器(便宜上、部分サブ識別器ともいう。)を有する。各部分サブ識別器は、識別対象画像が特定のシーンに属するか否かを部分特徴量に基づいて識別する。すなわち、部分画像の特徴に基づいて識別する。そして、各部分サブ識別器において、識別対象画像が或るシーンに属すると判断した場合には肯定フラグ記憶部37hの対応する領域に肯定フラグを記憶する。また、各部分サブ識別器において、或るシーンに属さないと判断した場合には否定フラグ記憶部37iの対応する領域に否定フラグを記憶する。
図5に示すように、部分画像識別器30Gは、部分サブ識別器として夕景部分サブ識別器71、花部分サブ識別器72、紅葉部分サブ識別器73)を有する。夕景部分サブ識別器71は、識別対象画像が夕景のシーンに属するか否かを識別し、花部分サブ識別器72は、識別対象画像が花のシーンに属するか否かを識別し、紅葉部分サブ識別器73は、識別対象画像が紅葉のシーンに属するか否かを識別する。全体識別器30Fの識別対象となるシーンの種類の数と、部分画像識別器30Gの識別対象となるシーンの種類の数とを比較すると、部分画像識別器30Gの識別対象となるシーンの種類の数の方が少ない。これは、部分画像識別器30Gが、全体識別器30Fを補完する目的を有しているからである。
次に、部分画像識別器30Gでの識別に適する画像について考察する。まず、花のシーンと紅葉のシーンについて考察する。これらのシーンは、いずれもそのシーンの特徴が局所的に表れ易いといえる。例えば、花壇や花畑の画像では、画像の特定部分に複数の花が集まった状態となりやすい。この場合、複数の花が集まった部分に花のシーンの特徴が表れ、他の部分には風景のシーンに近い特徴が表れる。紅葉のシーンも同様である。すなわち、山肌の一部分に表れた紅葉を撮影した場合、画像の特定部分に紅葉が集まった状態となる。この場合も、山肌の一部分に紅葉のシーンの特徴が表れ、他の部分は風景のシーンの特徴が表れる。従って、部分サブ識別器として花部分サブ識別器72と紅葉部分サブ識別器73とを用いることにより、全体識別器30Fでは識別し難い花のシーンと紅葉のシーンであっても、識別性を高めることができる。すなわち、部分画像ごとに識別を行うので、画像の一部分に花や紅葉などの主要被写体の特徴が表れている画像であっても、精度良く識別することができる。次に夕景のシーンについて考察する。夕景のシーンも、夕景の特徴が局所的に表れる場合がある。例えば水平線に沈む夕日を撮影した画像であって、完全に沈む直前のタイミングで撮影した画像を考える。このような画像では、夕日が沈む部分に夕日のシーンの特徴が表れ、他の部分には夜景のシーンの特徴が表れる。従って、部分サブ識別器として夕景部分サブ識別器71を用いることで、全体識別器30Fでは識別し難い夕景のシーンであっても識別性を高めることができる。
このように、部分画像識別器30Gは、主として全体識別器30Fでは精度が得られ難い画像を対象として識別を行っている。すなわち、全体識別器30Fによって十分な精度を得られる識別対象については、部分サブ識別器を設けていない。このような構成を採ることで、部分画像識別器30Gの構成を簡素化できる。ここで、部分画像識別器30Gはメインコントローラ31によって構成されているので、構成の簡素化とは、CPU36が実行する動作プログラムのサイズや必要なデータのサイズを小さくすることが該当する。構成の簡素化により、必要とされるメモリの容量を小さくできたり、処理を高速化できたりする。
<(1)部分画像について>
本実施形態の場合、部分画像は、図7に示すように識別対象画像を格子状に、縦、横にそれぞれ8等分したものである。よって、識別対象画像は8×8の64ブロックの部分画像に分割される。前述したように、縦位置J(J=1〜8)、横位置I(I=1〜8)で特定される部分画像を、座標(I,J)で表す。
識別対象画像の画像データは、QVGAサイズのデータ(320×240画素=76800画素)である。このため、1ブロックにおける部分画像データは、その1/64サイズのデータ(40×30画素=1200画素)で構成される。
部分画像識別器30Gの各部分サブ識別器は、各部分画像に対応する座標の部分特徴量をメモリ37の特徴量記憶部37eから読み出す。そして、その部分特徴量に基づいて、各部分画像が特定のシーンに属するか否かを識別する。部分画像識別器30Gにおいて、各部分サブ識別器による識別は、部分画像毎に順番に行われる。例えば、図7に示すように、I,Jともに最小の値の座標(1,1)の部分画像から、Iの値を1つずつ大きくして横方向に隣接する部分画像について順に行う。そして、最終の横位置である座標(8,1)の部分画像の識別が終わると、J=2として1段下の部分画像である座標(1,2)の部分画像から、横方向に隣接する部分画像について順に行う。以下同様の動作を繰り返し、当該部分画像が特定のシーンに属するか否かを識別していく。すなわち、1番目に識別が行われるのは座標(1,1)の部分画像であり、64番目に識別が行われるのは座標(8,8)の部分画像ということになる。
この部分画像の識別の順序は、例えばメモリ37の動作用プログラム37aに記憶されている。なお、この識別の順序は1例を示したものであり、これには限定されない。
<(1)部分サブ識別器の構成について>
図5に示すように、各部分サブ識別器は、部分サポートベクターマシンと検出数カウンタと判断部をそれぞれ有する。各部分サブ識別器において、部分サポートベクターマシンは、部分特徴量に基づいて部分画像が特定のシーンに属するか否かを識別する部分識別部に相当し、検出数カウンタは、特定のシーンに属すると識別された部分画像の個数を検出する検出部に相当する。
夕景部分サブ識別器71は、夕景用部分サポートベクターマシン71aと夕景検出数カウンタ71bと夕景判断部71cを有し、花部分サブ識別器72は、花用部分サポートベクターマシン72aと花検出数カウンタ72bと花判断部72cを有する。また、紅葉部分サブ識別器73は、紅葉用部分サポートベクターマシン73aと紅葉検出数カウンタ73bと紅葉判断部73cを有する。なお、部分サポートベクターマシン(夕景用部分サポートベクターマシン71a〜紅葉用部分サポートベクターマシン73a)は、各全体サブ識別器が有するサポートベクターマシン(風景用サポートベクターマシン61a〜紅葉用サポートベクターマシン65a)と同様のものである。以下サポートベクターマシンについて説明する。
<(1)サポートベクターマシンについて>
サポートベクターマシンは、識別対象の特徴を示す特徴量に基づき、その識別対象が或るカテゴリーに属する確率の大小を示す確率情報を取得する。このサポートベクターマシンの基本形は、線形サポートベクターマシンである。線形サポートベクターマシンは、例えば、図8に示すように、2クラス分類トレーニングで定められる線形の識別関数であり、マージン(即ち、学習データとしてのサポートベクターが存在しない領域)が最大となるように定められた識別関数である。この図8において、白抜きの丸のうち分離超平面の決定に寄与する点(例えばSV11)が或るカテゴリーCA1に属するサポートベクターであり、斜線を付した丸のうち分離超平面の決定に寄与する点(例えばSV22)が他のカテゴリーCA2に属するサポートベクターである。カテゴリーCA1に属するサポートベクターとカテゴリーCA2に属するサポートベクターとを分離する分離超平面では、この分離超平面を定める識別関数(確率情報)が値[0]を示す。図8では、分離超平面の候補として、カテゴリーCA1に属するサポートベクターSV11及びSV12を通る直線に平行な分離超平面HP1と、カテゴリーCA2に属するサポートベクターSV21及びSV22を通る直線に平行な分離超平面HP2とを示している。この例では、分離超平面HP1の方が分離超平面HP2よりもマージン(サポートベクターから分離超平面までの間隔)が大きいので、線形サポートベクターマシンとして、分離超平面HP1に対応する識別関数が定められる。
ところで、線形サポートベクターマシンでは、線形分離ができない識別対象については識別の精度が低くなってしまう。なお、この複合機1で扱われる識別対象画像も、線形分離ができない識別対象に相当する。そこで、このような識別対象については、特徴量を非線形変換し(すなわち、高次元空間に写像し)、その空間で線形の識別を行う非線形サポートベクターマシンが用いられる。この非線形サポートベクターマシンでは、例えば、任意の数の非線形関数によって定義される新たな数を、非線形サポートベクターマシン用のデータとする。図9に模式的に示すように、非線形サポートベクターマシンでは、識別境界BRが曲線状になる。この例では、四角で示す各点のうち識別境界BRの決定に寄与する点(例えばSV13、SV14)がカテゴリーCA1に属するサポートベクターであり、丸で示す各点のうち識別境界BRの決定に寄与する点(例えばSV23〜SV26)がカテゴリーCA2に属するサポートベクターである。そして、これらのサポートベクターを用いた学習により、識別関数のパラメータが定められる。なお、他の点は、学習には用いられるが、最適化の過程で対象から外される。このため、識別にサポートベクターマシンを用いることで、識別時に用いられる学習データ(サポートベクター)の数を抑えることができる。その結果、限られた学習データであっても、取得される確率情報の精度を高めることができる。
<(1)部分サポートベクターマシンについて>
各部分サブ識別器が有する部分サポートベクターマシン(風景用部分サポートベクターマシン71a、花用部分サポートベクターマシン72a、紅葉用部分サポートベクターマシン73a)は、前述したような非線形サポートベクターマシンである。そして、各部分サポートベクターマシンは、異なるサポートベクターに基づく学習で、識別関数におけるパラメータが定められる。その結果、部分サブ識別器毎に特性を最適化でき、部分画像識別器30Gにおける識別性を向上させることができる。各部分サポートベクターマシンは、入力されたサンプルに応じた数値、すなわち識別関数値を出力する。
なお、各部分サポートベクターマシンは、学習データが部分画像データである点が、全体サブ識別器が有するサポートベクターマシンと異なっている。つまり、各部分サポートベクターマシンは、識別対象となる部分の特徴を示す部分特徴量に基づく演算を行う。各部分サポートベクターマシンによる演算結果、すなわち識別関数値は、部分画像が識別対象である或るシーンの特徴を多く有するほど、値が大きくなる。反対に、この部分画像が、識別対象でない他のシーンの特徴を多く有するほど、値が小さくなる。また、この部分画像が、或るシーンの特徴と他のシーンの特徴のそれぞれを均等に有する場合には、この部分サポートベクターマシンで得られる識別関数値は値[0]になる。
従って、部分サポートベクターマシンで得られた識別関数値が正の値になった部分画像に関しては、その部分サポートベクターマシンが対象とするシーンの方が、他のシーンよりも多くの特徴が表れている、つまり対象とするシーンに属する確率が高いといえる。このように、部分サポートベクターマシンで得られた識別関数値は、その部分画像が或るシーンに属する確率の大小を示す確率情報に相当するものである。各部分サポートベクターマシンで求められた確率情報は、それぞれメモリ37の確率情報記憶部37fに記憶される。
本実施形態の各部分サポートベクターマシンは、部分特徴量に加え、全体特徴量を加味して演算を行っている。これは部分画像の識別精度を高めるためである。以下、この点について説明する。部分画像は、全体画像に比べて情報量が少ない。このため、シーンの識別が困難になる場合がある。例えば、或る部分画像が、或るシーンと他のシーンとで共通する特徴を有していた場合には、識別が困難になる。仮に、部分画像が赤みの強い画像であったとする。この場合、部分特徴量だけでは、その部分画像が夕景のシーンに属するのか、紅葉のシーンに属するのか、識別し難いことがある。このような場合に、全体特徴量を加味することで、その部分画像の属するシーンを識別できることがある。例えば、全体特徴量が全体的に黒味を帯びた画像を示す場合、赤みの強い部分画像は、夕景のシーンに属する確率が高くなる。また、全体特徴量が全体的に緑色や青色を帯びた画像を示す場合、赤みの強い部分画像は、紅葉のシーンに属する確率が高くなる。このように、各部分サポートベクターマシンにおいて、全体特徴量を加味して演算を行うことで、識別精度を高めることができる。
<(1)カウンタについて>
各検出数カウンタ(夕景検出数カウンタ71b〜紅葉検出数カウンタ73b)は、メモリ37のカウンタ部37gにより機能するものである。また、各検出数カウンタは、特定のシーンに属すると識別された部分画像の個数をカウントするカウンタ(便宜上、識別用カウンタとする)と、識別対象画像を構成する全ての部分画像のうち識別が行われていない部分画像数の個数をカウントするカウンタ(便宜上、残数用カウンタとする)をそれぞれ有する。例えば、図5に示すように夕景検出数カウンタ71bは、識別用カウンタ71dと、残数用カウンタ71eを有している。
識別用カウンタ71dは、初期値が、例えば値[0]であり、夕景用部分サポートベクターマシン71aで得られた識別関数値が正の値である識別結果、言い換えれば夕景のシーンの特徴が他のシーンの特徴よりも強く表れている識別結果が得られるごとにカウントアップ(+1)する。要するに夕景のシーンに属すると識別された部分画像の数をカウントする。残数用カウンタ71eは、初期値が、全ての部分画像数を示す値(例えば値[64])であり、1つの部分画像の識別が行われるごとにカウントダウン(−1)する。これらのカウンタのカウント値は、例えば新たな識別対象画像についての処理を行う際にリセットされる。なお、図5では、便宜上図示していないが、花検出数カウンタ72bおよび紅葉検出数カウンタ73bも、夕景検出数カウンタ71bと同様に識別用カウンタと残数用カウンタとをそれぞれ有している。以下の説明において、各識別用カウンタのカウント値のことを検出画像数ともいう。また、各残数用カウンタのカウント値のことを残り画像数ともいう。
なお、本実施形態では、図5に示すように部分サブ識別器毎に検出数カウンタ(夕景検出数カウンタ71b〜紅葉検出数カウンタ73b)を設けているが、識別を行う部分サブ識別器が切り替えられるごとにカウント値をリセットすることにより、1つの検出数カウンタを全ての部分サブ識別器に共通して用いることもできる。
<(1)判断部について>
各判断部(夕景判断部71c、花判断部72c、紅葉判断部73c)は、例えばメインコントローラ31のCPU36によって構成され、対応する検出数カウンタの検出画像数に応じて識別対象画像が特定のシーンに属するか否かを判断する。このように、識別対象画像が特定のシーンに属するか否かを、検出画像数、つまり特定のシーンに属すると識別された部分画像の個数に応じて判断することにより、識別対象画像の一部分に特定のシーンの特徴が表れているような場合でも精度良く識別を行うことができる。よって識別精度を向上させることができる。なお、具体的には、夕景判断部71cは、夕景検出数カウンタ71bの検出画像数がメモリ37の制御用パラメータ記憶部37bに記憶された所定の閾値を超えた場合、その識別対象画像が夕景のシーンに属すると判断する。この所定の閾値は、識別対象画像が部分サブ識別器で扱われるシーンに属するとの肯定的な判断を与えるものである。従って、以下の説明において、このような肯定的な判断を与えるための閾値のことを肯定閾値(Positive Threshold)ともいう。この肯定閾値の値に応じて、識別対象画像が特定のシーンであると判断されるのに必要な部分画像数、つまり識別対象画像中における特定シーンの領域の割合が決まるので、肯定閾値の設定によって識別精度を調整することができる。なお、この判断を行うのに最適な検出画像数の個数は、処理速度および識別精度の点から、特定のシーン毎に異なることが考えられる。そこで、肯定閾値は、各部分サブ識別器における識別対象となる特定のシーンに応じて、それぞれ値が設定されている。この実施形態では、図10に示すように、夕景のシーンについて値[5]が、花のシーンについて値[9]が、紅葉のシーンについて値[6]が設定されている。例えば、夕景部分サブ識別器71において夕景判断部71cは、夕景検出数カウンタ71bの検出画像数が値[5]を超えると、その識別対象画像が夕景のシーンに属すると判断する。このように、特定のシーン毎に肯定閾値を設定しているので、それぞれの特定のシーンに適した識別を行うことができる。
また、各判断部は、識別用カウンタで検出された検出画像数と残数用カウンタで検出された残り画像数との加算値を算出する。この加算値が肯定閾値よりも小の場合、残り画像が全て特定のシーンに属すると識別されたとしても、最終的な検出画像数は、その特定のシーンに設定された肯定閾値には達しないことになる。例えば、夕景部分サブ識別器71において、図7に示すように64個の部分画像の識別を順番に行う場合、例えば座標(5,8)の部分画像の識別が終わった際には、残数用カウンタ72cの残り画像数は値[3]となる。このとき、識別用カウンタ71dの検出画像数が値[1]であると、残りの3個の部分画像が夕景のシーンであると判断されたとしても肯定閾値[5]には達しないことになる。従って、夕景判断部71cは、62番目以降の部分画像の識別処理を行うことなく、識別対象画像が夕景には属さないと判断することができる。そこで、各判断部は、検出画像数と残り画像数との加算値が肯定閾値よりも小である場合、その識別対象画像が特定のシーンに属さないと判断する。これにより、部分画像の識別の途中で識別対象画像が特定のシーンに属さないことを判断できるので、最後となる座標(8,8)の部分画像の識別を行う前に、その特定のシーンに対する識別処理を終了する(打ち切る)ことができる。よって、識別処理の高速化を図ることができる。
本実施形態の場合、まず、夕景部分サブ識別器71で識別が行われる。夕景部分サブ識別器71の夕景用部分サポートベクターマシン71aは、各部分画像の部分特徴量に基づいて識別関数値を取得する。識別用カウンタ71dは、夕景用部分サポートベクターマシン71aで取得される識別関数値が正となる識別結果を検出画像数としてカウントする。夕景判断部71cは、識別用カウンタ71dの検出画像数に応じて識別対象画像が夕景のシーンに属するか否かを判断する。この識別の結果、識別対象画像が夕景のシーンに属することを判別できなかった場合、夕景判断部71cは、後段の花部分サブ識別器72の花判断部72cに、花用部分サポートベクターマシン72aを用いて、各部分画像が花のシーンに属するか否かを識別させる。さらに、この識別の結果、識別対象画像が花のシーンに属することを判別できなかった場合、花判断部72cは、後段の紅葉部分サブ識別器73の紅葉判断部73cに、紅葉部分サポートベクターマシン72aを用いて、各部分画像が紅葉のシーンに属するか否かを識別させる。つまり、部分画像識別器30Gの各判断部は、或る部分サポートベクターマシンを用いた識別に基づいて、識別対象画像が或る特定のシーンに属することを判断できなかった場合、他の部分サポートベクターマシンを用いて、各部分画像が他の特定のシーンに属するか否かを識別させている。このように、識別を部分サポートベクターマシン毎に行うように構成したので、識別の確実性を高めることができる。
<(1)統合識別器30Hについて>
統合識別器30Hは、前述したように、全体識別器30Fと部分画像識別器30Gのそれぞれでシーンが確定されなかった識別対象画像について、シーンを識別する。この実施形態における統合識別器30Hは、各全体サブ識別器(各サポートベクターマシン)で求められた確率情報に基づいてシーンを識別する。具体的には、統合識別器30Hは、メモリ37の確率情報記憶部37fに全体識別器30Fによる全体識別処理で記憶された複数の確率情報の中から正の値の確率情報を選択的に読み出す。そして、読み出した確率情報の中から最も高い値を示すものを特定し、対応するシーンをその識別対象画像のシーンとする。このような統合識別器30Hを設けることにより、属するシーンについての特徴がそれほど表れていない識別対象画像であっても、妥当なシーンに識別できる。すなわち、識別性を高めることができる。
<(1)結果記憶部37jについて>
結果記憶部37jは、識別処理部30Iによる識別対象の識別結果を記憶する。例えば、全体識別器30Fや部分画像識別器30Gによる識別結果に基づき、肯定フラグ記憶部37hに肯定フラグが記憶された場合には、その識別対象画像が肯定フラグに対応するシーンに属する旨を記憶する。仮に、識別対象画像について、風景のシーンに属する旨を示す肯定フラグが設定された場合には、風景のシーンに属する旨の結果情報を記憶する。同様に、識別対象画像について、夕景のシーンに属する旨を示す肯定フラグが設定されていた場合には、夕景のシーンに属する旨の結果情報を記憶する。なお、全てのシーンについて否定フラグが記憶された識別対象画像については、その他のシーンに属する旨を示す結果情報を記憶する。結果情報記憶部37jに記憶された識別結果は、事後の処理で参照される。この複合機1では、画像補正部30C(図3を参照。)にて参照されて画像補正に使用される。例えば、識別されたシーンに応じて、コントラストや明るさ、カラーバランスなどが調整される。
<(1)画像識別処理について>
次に、画像識別処理について説明する。この画像識別処理の実行において、プリンタ側コントローラ30は、顔識別部30A、及び、シーン識別部30B(特徴量取得部30E、全体識別器30F、部分画像識別器30G、統合識別器30H、結果記憶部37j)として機能する。この場合において、メインコントローラ31のCPU36はメモリ37に記憶されたコンピュータプログラムを実行する。従って、画像識別処理をメインコントローラ31の処理として説明する。そして、メインコントローラ31によって実行されるコンピュータプログラムは、画像識別処理を実現するためのコードを有する。
図11に示すように、メインコントローラ31は、対象画像データを読み込み、顔画像の有無を判断する(S21−1)。顔画像の有無は種々の方法で判断できる。例えば、メインコントローラ31は、肌色の標準色の領域の有無、及び、この領域内における目画像及び口画像の有無に基づいて、顔画像の有無を判断する。本実施形態では、一定面積以上(例えば、20×20画素以上)の顔画像を検出対象とする。顔画像があると判断した場合、メインコントローラ31は、識別対象画像における顔画像の面積の割合を取得し、この割合が所定の閾値(例えば30%とする。)を超えているかを判断する(S22−1)。そして30%を超えていた場合、メインコントローラ31は、識別対象画像を人物のシーンに識別する(S22−1でYES)。また、30%を超えていなかった場合、メインコントローラ31は、この識別対象画像を記念写真のシーンに識別する(S22−1でNO)。これらの識別結果は、結果記憶部37jに記憶される。
識別対象画像中に顔画像が無かった場合(S21−1でNO)、メインコントローラ31は、特徴量取得処理を行う(S23−1)。特徴量取得処理では、対象画像データに基づいて特徴量が取得される。すなわち、識別対象画像の全体的な特徴を示す全体特徴量と、識別対象画像の部分的な特徴を示す部分特徴量とを取得する。なお、各特徴量の取得については既に説明したので(S11−1〜S15−1,図6を参照。)、ここでは説明を省略する。そして、メインコントローラ31は、取得した各特徴量を、メモリ37の特徴量記憶部37eにそれぞれ記憶する。
特徴量を取得したならば、メインコントローラ31は、シーン識別処理を行う(S24−1)。このシーン識別処理において、メインコントローラ31は、まず全体識別器30Fとして機能し、全体識別処理(S24a−1)を行う。この全体識別処理では、全体特徴量に基づく識別が行われる。そして、全体識別処理で識別対象画像の識別ができたならば、メインコントローラ31は、識別対象画像のシーンを、識別されたシーンに決定する(S24b−1でYES)。例えば、全体識別処理で肯定フラグが記憶されたシーンに決定する。そして、識別結果を結果記憶部37jに記憶する。全体識別処理でシーンが決定しなかった場合、メインコントローラ31は、部分画像識別器30Gとして機能し、部分画像識別処理を行う(S24c−1)。この部分画像識別処理では、部分特徴量に基づく識別が行われる。そして、部分画像識別処理で識別対象画像の識別ができたならば(S24d−1でYES)、メインコントローラ31は、識別対象画像のシーンを識別されたシーンに決定し、識別結果を結果記憶部37jに記憶する。なお、部分画像識別処理の内容については後で説明する。部分画像識別器30Gでもシーンが決定しなかった場合(S24d−1でNo)、メインコントローラ31は、統合識別器30Hとして機能し、統合識別処理を行う(S24e−1)。この統合識別処理でメインコントローラ31は、前述したように、確率情報記憶部37fから、全体識別処理で算出された確率情報のうち正の値の確率情報を読み出し、最も値の大きい確率情報に対応するシーンに決定する。そして、統合識別処理で識別対象画像の識別ができたならば、メインコントローラ31は、識別対象画像のシーンを、識別されたシーンに決定する(S24f−1でYES)。一方、統合識別処理でも識別対象画像の識別ができなかった場合、および、全てのシーンについて否定フラグが記憶された場合には、その識別対象画像はその他のシーンに識別される(S24f−1でNO)。なお、統合識別器30Hとしてのメインコントローラ31は、統合処理において、まず、全てのシーンについて否定フラグが記憶されているかを判断する。そして、全てのシーンについて否定フラグが記憶されていると判断した場合には、この判断に基づいてその他のシーンに識別する。この場合、否定フラグの確認だけで処理ができるので、処理の高速化が図れる。
<(1)部分画像識別処理について>
次に、部分画像識別処理について説明する。前述したように、この部分画像識別処理は、全体識別処理で識別対象画像の識別ができなかった場合に行なわれるものである。従って、部分画像識別処理が行われる段階で、肯定フラグ記憶部37hには肯定フラグが記憶されていないことになる。また、全体識別処理で識別対象画像が属さないと判断されたシーンには、否定フラグ記憶部37iの対応する領域に否定フラグが記憶されている。
図12に示すように、メインコントローラ31は、まず、識別を行う部分サブ識別器を選択する(S31)。図5に示すように、本実施形態の部分画像識別器30Gでは、夕景部分サブ識別器71、花部分サブ識別器72、紅葉部分サブ識別器73の順に優先度が定められている。従って、初回の選択処理では、最も優先度の高い夕景部分サブ識別器71が選択される。そして、夕景部分サブ識別器71による識別が終了すると、2番目に優先度の高い花部分サブ識別器72が選択され、花部分サブ識別器72の次には最も優先度の低い紅葉部分サブ識別器73が選択される。
部分サブ識別器を選択したならば、メインコントローラ31は、選択した部分サブ識別器で識別するシーンが、識別処理の対象となるシーンであるかを判断する(S32)。この判断は、全体識別器30Fによる全体識別処理で否定フラグ記憶部37iに記憶された否定フラグに基づいて行われる。これは、全体識別器30Fで肯定フラグが設定されると、全体識別処理でシーンが確定し、部分画像処理は行われないのと、後述するように、部分画像処理で肯定フラグが記憶されると、シーンが確定し、識別処理が終了するからである。識別処理の対象でないシーン、すなわち全体識別処理で否定フラグが設定されたシーン、である場合には、識別処理がスキップされる(S32でNO)。このため、無駄な識別処理を行わなくて済み、処理の高速化が図れる。
一方、ステップS32で別処理の対象であると判断された場合、メインコントローラ31は、識別対象画像の一部を構成する部分画像の1つを、例えば図7に示す順序で選択する(S33)。そして、選択した部分画像の部分画像データに対応した部分特徴量をメモリ37の特徴量記憶部37eから読み出す。この部分特徴量に基づいて、部分サポートベクターマシンによる演算が行われる(S34)。言い換えれば、部分特徴量に基づき、部分画像に対する確率情報の取得が行われる。なお、本実施形態では、部分特徴量のみでなく全体特徴量も特徴量記憶部37eから読み出し、全体特徴量を加味して演算を行うようにしている。そして、部分サポートベクターマシンは、部分色平均、及び、部分色分散などに基づく演算により、確率情報としての識別関数値を取得する。メインコントローラ31は、取得した識別関数値によって部分画像が特定のシーンに属するか否かの識別を行う(S35)。具体的には、取得した或る部分画像に対する識別関数値が正の値である場合には、その部分画像を特定のシーンに属すると識別する(S35でYES)。そして、対応する識別用カウンタのカウント値(検出画像数)をカウントアップ(+1)する(S36)。また、識別関数値が正の値でなかった場合には、その部分画像が特定のシーンに属さないと識別し、識別用カウンタのカウント値はそのままとする(S35でNO)。このように、識別関数値を取得することにより、部分画像が特定のシーンに属するか否かの識別を、識別関数値が正であるか否かに応じて行うことができる。
さらに、メインコントローラ31は、対応する残数用カウンタのカウント値(残り画像数)をカウントダウン(−1)する(S37)。なお、各検出数カウンタにおける識別用カウンタ及び残数用カウンタのカウント値は、新たな識別対象画像についての処理を行う際にリセットされ初期値に戻る。
部分画像に対する確率情報の取得及びカウンタの処理を行ったならば、メインコントローラ31は、各判断部として機能し、検出画像数が肯定閾値より大であるかを判断する(S38)。例えば夕景部分サブ識別器71において、図10に示す肯定閾値が設定されている場合、検出画像数が値[5]を超えた場合に、識別対象画像が夕景のシーンであると判断する。そして、夕景のシーンに対応する肯定フラグを肯定フラグ記憶部37hに記憶する(S39)。また、花部分サブ識別器72において、検出画像数が値[9]を超えた場合に、識別対象画像が花のシーンであると判断する。そして、花のシーンに対応する肯定フラグを肯定フラグ記憶部37hに記憶する。肯定フラグを記憶すると、残りの識別処理は行わず識別の処理を終了する。
検出画像数が肯定閾値を超えない場合(S38でNO)には、メインコントローラ31は、検出画像数と残り画像数との加算値が、肯定閾値よりも小であるかを判断する(S40)。
前述したように、この加算値が肯定閾値よりも小の場合、残り画像が全て特定のシーンに属すると識別されたとしても、最終的な検出画像数は、その特定のシーンに設定された肯定閾値には達しないことになる。従ってこの加算値が肯定閾値よりも小の場合、最後の部分画像の識別を行うよりも前に、識別対象画像が特定のシーンには属さないと判断できる。そこで、メインコントローラ31は、検出画像数と残り画像数との加算値が、肯定閾値よりも小の場合(S40でYES)、識別対象画像が特定のシーンには属さないと判断して、その特定のシーンに対する部分サブ識別器としての識別処理を終了し、後述するステップS42にて次の部分サブ識別器の有無の判断が行われる。
検出画像数と残り画像数との加算値が、肯定閾値よりも小でない場合(S40でNO)には、識別を行った部分画像が最後のものであるかを判断する(S41)。例えば図7のように識別対象となる部分画像が64個の場合、64番目のものであるかを判断する(S41)。この判断は、残り画像数に基づいて行うことができる。つまり、残り画像数が値[0]でなければ最後ではく、残り画像数が値[0]であれば最後であることになる。
ここで、まだ最後でないと判断した場合(S41でNO)には、ステップS33に移行して前述した処理を繰り返し行う。一方、ステップS41で最後であると判断された場合(S41でYES)、或いは、ステップS40で、検出画像数と残り画像数の加算値が肯定閾値より小の場合(S40でYES)、或いは、ステップS32で処理対象と判断されなかった場合(S32でNO)には、次の部分サブ識別器の有無を判断する(S42)。ここでは、メインコントローラ31は、最も優先度の低い紅葉部分サブ識別器73まで処理が終わったかを判断する。そして、紅葉部分サブ識別器73まで処理が終わっている場合には、次の識別器は無いと判断し(S42でNO)、一連の部分識別処理を終了する。一方、紅葉部分サブ識別器73まで処理が終わっていないと判断した場合(S42でYES)、次に優先度の高い部分サブ識別器を選択し(S31)、前述した処理を繰り返し行う。
<(1)まとめ>
本実施形態における部分画像識別器30Gの各部分サブ識別器は、部分特徴量から得られる確率情報に基づいて、対応する部分画像が特定のシーンに属するか否かを識別し、特定のシーンに属すると識別された部分画像の数(検出画像数)を対応する検出数カウンタでカウントしている。そしてこのカウント値に応じて、識別対象画像が特定のシーンに属するか否かを各判別部で判断している。このように、識別対象画像が特定のシーンに属するか否かを、特定のシーンであると識別された部分画像の数に応じて判断しているので、識別対象画像の一部分に特定のシーンの特徴が表れているような場合においても識別精度を向上させることができる。
また、部分画像識別器30Gの各判断部は、各検出数カウント部で得られる検出画像数が肯定閾値を越えた場合に識別対象画像が特定のシーンに属すると判断しているので、肯定閾値の設定によって識別精度を調整することができる。また、各判断部は、検出画像数と残り画像数の加算値を算出し、その加算値が肯定閾値に達しない場合は識別対象画像が特定のシーンに属さないと判断している。これにより、最終の部分画像の識別を行う前に、その特定のシーンに対する識別処理を打ち切ることができる。よって、識別処理の高速化を図ることができる。
また、部分画像識別器30Gは、識別対象となる特定のシーンの種類毎に部分サポートベクターマシンを有している。これにより、部分サポートベクターマシン毎に特性を最適化でき、部分画像識別器30Gにおける識別性を向上させることができる。
さらに、部分画像識別器30Gにおいて、複数の特定のシーンに対して肯定閾値がそれぞれ設定されている。これにより、各部分サブ識別器において特定のシーンにそれぞれ適した識別を行うことができる。
また、部分画像識別器30Gの各判断部は、前段の部分サブ識別器の部分サポートベクターマシンを用いた識別によって、識別対象画像が対応する特定のシーンに属することを判断できなかった場合には、後段の部分サブ識別器の部分サポートベクターマシンを用いて、対応するシーンに属するか否かの判断を行うようにしている。これにより、部分サブ識別器毎に識別を行えるので識別の確実性を高めることができる。
また、各部分サポートベクターマシンは、部分画像が特定のシーンに属する確率を示す識別関数値(確率情報)を部分特徴量から取得し、この識別関数値に基づいて識別を行っている。具体的には識別関数値が正の場合には、部分画像が特定のシーンに属すると識別し、識別関数値が正でない場合には、部分画像が特定のシーンには属さないと識別することができる。
また、各部分サブ識別器における部分サポートベクターマシンの演算において、部分特徴量に加え、全体特徴量を加味している。このように、部分特徴量に全体特徴量を加味して演算を行うことで、識別精度をより高めることができる。
===(2)第2実施形態===
以下、本発明の第2実施形態について説明する。なお、以下の説明は、図13に示す複合機1を例に挙げて行う。この複合機1は、媒体に印刷された画像を読み取って画像データを取得する画像読み取り部10と、画像データに基づいて媒体へ画像を印刷する画像印刷部20とを有している。画像印刷部20では、例えば、デジタルスチルカメラDCによる撮影で得られた画像データや画像読み取り部10で得られた画像データに基づき、画像を媒体に印刷する。加えて、この複合機1では、識別対象画像についてシーンの識別を行い、識別結果に応じて画像データを補正したり、補正した画像データをメモリカードMC等の外部メモリに記憶したりする。ここで、複合機1は、未知の識別対象画像のシーンを識別するシーン識別装置として機能する。また、複合機1は、識別されたシーンに基づいて画像データを補正するデータ補正装置や、補正後の画像データを外部メモリに記憶するデータ記憶装置としても機能する。
<(2)複合機1の構成>
図14Aに示すように、画像印刷部20は、プリンタ側コントローラ30と印刷機構40とを有する。
プリンタ側コントローラ30は、印刷機構40の制御など印刷に関する制御を行う部分である。図14Aに例示したプリンタ側コントローラ30は、メインコントローラ31と、制御ユニット32と、駆動信号生成部33と、インタフェース34と、メモリ用スロット35とを有する。そして、これらの各部がバスBUを介して通信可能に接続されている。
メインコントローラ31は、制御の中心となる部分であり、CPU36とメモリ37とを有する。CPU36は、中央演算装置として機能し、メモリ37に格納された動作用プログラムに従って種々の制御動作を行う。従って、この動作用プログラムは、制御動作を実現させるためのコードを有する。メモリ37には種々の情報が記憶される。例えば図14Bに示すように、メモリ37の一部分には、動作用プログラムを記憶するプログラム記憶部37a、識別処理で用いられる閾値(後述する。)を含む制御用パラメータを記憶するパラメータ記憶部37b、画像データを記憶する画像記憶部37c、Exifの付属情報を記憶する付属情報記憶部37d、特徴量を記憶する特徴量記憶部37e、確率情報を記憶する確率情報記憶部37f、計数用カウンタとして機能するカウンタ部37g、肯定フラグを記憶する肯定フラグ記憶部37h、否定フラグを記憶する否定フラグ記憶部37i、識別結果を記憶する結果記憶部37j、及び後述する部分画像識別処理で部分画像を選択する順序を決めるための情報が記憶される選択情報記憶部37kが設けられている。なお、メインコントローラ31によって構成される各部については、後で説明する。
制御ユニット32は、印刷機構40に設けられているモータ41等を制御する。駆動信号生成部33は、ヘッド44が有する駆動素子(図示せず)に印加される駆動信号を生成する。インタフェース34は、パーソナルコンピュータなどの上位装置と接続するためのものである。メモリ用スロット35は、メモリカードMCを装着するための部分である。メモリカードMCがメモリ用スロット35に装着されると、メモリカードMCとメインコントローラ31とが通信可能に接続されている。これに伴い、メインコントローラ31は、メモリカードMCに記憶された情報を読み出したり、情報をメモリカードMCに記憶させたりできる。例えばデジタルスチルカメラDCの撮影によって生成された画像データを読み出したり、補正等の処理を施した後の補正後画像データを記憶させたりできる。
印刷機構40は、用紙等の媒体に対して印刷を行う部分である。例示した印刷機構40は、モータ41と、センサ42と、ヘッド制御部43と、ヘッド44とを有する。モータ41は、制御ユニット32からの制御信号に基づいて動作する。モータ41としては、例えば、媒体を搬送するための搬送モータやヘッド44を移動させるための移動モータがある(何れも図示せず)。センサ42は、印刷機構40の状態を検出するためのものである。センサ42としては、例えば、媒体の有無を検出するための媒体検出センサ、媒体の搬送センサがある(何れも図示せず)。ヘッド制御部43は、ヘッド44が有する駆動素子への駆動信号の印加を制御するためのものである。この画像印刷部20では、印刷対象となる画像データに応じ、メインコントローラ31がヘッド制御信号を生成する。そして、生成したヘッド制御信号をヘッド制御部43へ送信する。ヘッド制御部43は、受信したヘッド制御信号に基づいて、駆動信号の印加を制御する。ヘッド44は、インクを吐出するための動作をする駆動素子を複数有する。これらの駆動素子には、ヘッド制御部43を通過した駆動信号の必要部分が印加される。そして、駆動素子は、印加された必要部分に応じてインクを吐出するための動作をする。これにより、吐出されたインクが媒体に着弾し、媒体に画像が印刷される。
<(2)プリンタ側コントローラ30によって実現される各部の構成>
次に、プリンタ側コントローラ30によって実現される各部について説明する。プリンタ側コントローラ30のCPU36は、動作プログラムを構成する複数の動作モジュール(プログラムユニット)毎に、異なる動作をする。このとき、CPU36とメモリ37を有するメインコントローラ31は、単体で、或いは制御ユニット32や駆動信号生成部33と組になって、動作モジュール毎に異なる機能を発揮する。便宜上、以下の説明では、プリンタ側コントローラ30を、動作モジュール毎の装置として表現することにする。
図15に示すように、プリンタ側コントローラ30は、画像記憶部37cと、付属情報記憶部37dと、選択情報記憶部37k(記憶部)と、顔識別部30Aと、シーン識別部30Bと、画像補正部30Cと、機構制御部30Dとを有する。画像記憶部37cは、シーンの識別処理や補正処理の対象となる画像データを記憶する。この画像データは、識別対象となる識別対象データの一種である(以下、対象画像データとする。)本実施形態の対象画像データは、RGB画像データによって構成されている。このRGB画像データは、色情報を有する複数の画素によって構成される画像データの一種である。付属情報記憶部37dは、画像データに付加されるExifの付属情報を記憶する。選択情報記憶部37kは、識別対象画像を複数の領域に分割した部分画像毎の評価を行う際に、部分画像を選択する順序を決めるための情報を記憶する。本実施形態の場合、順序を決めるための情報として、存在確率情報及び存在確率順位情報(図20A、図20Bを参照。後述する。)の少なくとも何れか一方が記憶される。顔識別部30Aは、対象画像データについて、人物の顔画像の有無、及び、対応するシーンを識別する。例えば、顔識別部30Aは、QVGA(320×240画素=76800画素)サイズのデータに基づいて、人物の顔画像の有無を判断する。そして、顔画像が検出された場合には、顔画像の総面積に基づいて、識別対象画像を人物のシーン或いは記念写真のシーンに分類する(後述する)。シーン識別部30Bは、顔識別部30Aではシーンが決定されなかった識別対象画像について、属するシーンを識別する。画像補正部30Cは、顔識別部30Aやシーン識別部30Bでの識別結果に基づき、識別対象画像の属するシーンに応じた補正を行う。機構制御部30Dは、対象画像データに基づいて印刷機構40を制御する。ここで、画像補正部30Cによる対象画像データの補正がなされた場合には、機構制御部30Dは、補正後画像データに基づいて印刷機構40を制御する。これらの各部において、顔識別部30A、シーン識別部30B、及び、画像補正部30Cは、メインコントローラ31によって構成される。機構制御部30Dは、メインコントローラ31、制御ユニット32、及び、駆動信号生成部33によって構成される。
<(2)シーン識別部30Bの構成>
次に、シーン識別部30Bについて説明する。本実施形態のシーン識別部30Bは、顔識別部30Aではシーンが決定されなかった識別対象画像について、風景のシーン、夕景のシーン、夜景のシーン、花のシーン、紅葉のシーン、及び、その他のシーンの何れかに属するのかを識別する。図16に示すように、このシーン識別部30Bは、特徴量取得部30Eと、全体識別器30Fと、部分画像識別器30Gと、統合識別器30Hと、結果記憶部37jとを有する。これらの中で、特徴量取得部30E、全体識別器30F、部分画像識別器30G、及び、統合識別器30Hは、メインコントローラ31によって構成される。そして、全体識別器30F、部分画像識別器30G、及び、統合識別器30Hは、部分特徴量及び全体特徴量の少なくとも一方に基づき、識別対象画像の属するシーンの識別処理を行う識別処理部30Iを構成する。
<(2)特徴量取得部30Eについて>
特徴量取得部30Eは、識別対象画像の特徴を示す特徴量を対象画像データに基づいて取得する。この特徴量は、全体識別器30Fや部分画像識別器30Gでの識別で用いられる。図17に示すように、特徴量取得部30Eは、部分特徴量取得部51と全体特徴量取得部52とを有する。
部分特徴量取得部51は、対象画像データを分割して得られた部分画像データのそれぞれについて部分特徴量を取得する。この部分特徴量は、部分画像データに対応する部分画像についての特徴を示す。具体的には、図19に示すように全体画像を、縦と横とにそれぞれ8等分した範囲に対応する部分画像、すなわち、全体画像を格子状に分割して得られる1/64サイズの部分画像の特徴量を示す。なお、本実施形態における対象画像データは、QVGAサイズのデータである。このため、部分画像データは、その1/64サイズのデータ(40×30画素=1200画素)となる。
そして、部分特徴量取得部51は、部分画像の特徴を示す部分特徴量として、部分画像データを構成する各画素の色平均、及び、色の分散を取得する。各画素の色は、YCCやHSVなどの色空間にて数値で表すことができる。このため、色平均は、この数値を平均化することで取得できる。また、分散は、各画素の色についての平均値からの広がり度合いを示す。
全体特徴量取得部52は、対象画像データに基づいて全体特徴量を取得する。この全体特徴量は、識別対象における全体の特徴を示す。この全体特徴量としては、例えば、対象画像データを構成する各画素の色平均、色の分散、及びモーメントがある。このモーメントは、色についての分布(重心)を示す特徴量である。モーメントは、本来的には対象画像データから直接的に取得される特徴量である。しかし、本実施形態の全体特徴量取得部52では、これらの特徴量を、部分特徴量を用いて取得している(後述する。)。また、対象画像データがデジタルスチルカメラDCの撮影で生成されたものである場合、全体特徴量取得部52は、付属情報記憶部37dからExifの付属情報も全体特徴量として取得する。例えば、絞りを示す絞り情報、シャッタースピードを示すシャッタースピード情報、ストロボのオンオフを示すストロボ情報といった撮影情報も、全体特徴量として取得する。
<(2)特徴量の取得について>
次に、特徴量の取得について説明する。本実施形態の複合機1では、部分特徴量取得部51は、部分画像データ毎に部分特徴量を取得し、取得した部分特徴量を、メモリ37の特徴量記憶部37eに記憶する。全体特徴量取得部52は、特徴量記憶部37eに記憶された複数の部分特徴量を読み出して全体特徴量を取得する。そして取得した全体特徴量を特徴量記憶部37eに記憶する。このような構成をとることで、対象画像データに対する変換等の回数を抑えることができ、部分特徴量と全体特徴量を取得する構成に比べて、処理を高速化することができる。また、展開用のメモリ37の容量も必要最小限に抑えることができる。
<(2)部分特徴量の取得について>
次に、部分特徴量取得部51による部分特徴量の取得について説明する。図18に示すように、部分特徴量取得部51は、まず、対象画像データの一部を構成する部分画像データを、メモリ37の画像記憶部37cから読み出す(S11−2)。この実施形態において、部分特徴量取得部51は、QVGAサイズの1/64サイズのRGB画像データを部分画像データとして取得する。なお、対象画像データがJPEG形式等の圧縮された画像データの場合、部分特徴量取得部51は、対象画像データを構成する一部分のデータを画像記憶部37cから読み出し、読み出したデータを展開することで部分画像データを取得する。部分画像データを取得したならば、部分特徴量取得部51は、色空間の変換を行う(S12−2)。例えば、RGB画像データをYCC画像に変換する。
次に、部分特徴量取得部51は、読み出した部分画像データから部分特徴量を取得する(S13−2)。この実施形態において、部分特徴量取得部51は、部分画像データの色平均と色の分散とを部分特徴量として取得する。便宜上、部分画像データにおける色平均を部分色平均ともいう。また、便宜上、部分画像データにおける色分散を部分色分散ともいう。図19のように、識別対象画像を64個のブロックの部分画像に分割し、それぞれの部分画像に任意の順番を設けた場合、或るj番目(j=1〜64)の部分画像データにおいて、i番目〔i=1〜76800〕の画素の色情報(例えばYCC空間で表した数値)をxとする。この場合、j番目の部分画像データにおける部分色平均xavjは、次式(1)で表すことができる。
また、この実施形態における分散Sは、次式(2)で定義されているものを用いている。このため、j番目の部分画像データにおける部分色分散S は、式(2)を変形して得られた次式(3)で表すことができる。
従って、部分特徴量取得部51は、式(1)及び式(3)の演算を行うことにより、対応する部分画像データについての部分色平均xavjと部分色分散S とを取得する。そして、これらの部分色平均xavj及び部分色分散S は、それぞれメモリ37の特徴量記憶部37eに記憶される。
部分色平均xavjと部分色分散S とを取得したならば、部分特徴量取得部51は、未処理の部分画像データの有無を判断する(S14−2)。未処理の部分画像データがあると判断した場合、部分特徴量取得部51は、ステップS11−2に戻り、次の部分画像データについて同様の処理を行う(S11−2〜S13−2)。一方、ステップS14−2にて、未処理の部分画像データはないと判断した場合には、部分特徴量取得部51による処理は終了する。この場合、ステップS15−2にて全体特徴量取得部52による全体部分特徴量の取得が行われる。
<(2)全体特徴量の取得について>
次に、全体特徴量取得部52による全体特徴量の取得(S15−2)について説明する。全体特徴量取得部52は、特徴量記憶部37eに記憶された複数の部分特徴量に基づき、全体特徴量を取得する。前述したように、全体特徴量取得部52は、対象画像データの色平均と色の分散とを全体特徴量として取得する。便宜上、対象画像データにおける色平均を、全体色平均ともいう。また、便宜上、対象画像データにおける色の分散を、全体色分散ともいう。そして、前述したj番目(j=1〜64)の部分画像データにおける部分色平均をxavjとした場合、全体色平均xavは、次式(4)で表すことができる。この式(4)において、mは部分画像の数を示す。また、全体色分散Sは、次式(5)で表すことができる。この式(5)により、全体色分散Sは、部分色平均xav、部分色分散S 、及び、全体色平均xavに基づいて取得できることが判る。
従って、全体特徴量取得部52は、式(4)及び式(5)の演算を行うことにより、対象画像データについての全体色平均xavと全体色分散Sとを取得する。そして、これらの全体色平均xav及び全体色分散Sは、それぞれメモリ37の特徴量記憶部37eに記憶される。
また、全体特徴量取得部52は、他の全体特徴量としてモーメントを取得する。この実施形態では、識別対象が画像であるので、モーメントによって、色の位置的な分布を定量的に取得できる。この実施形態において全体特徴量取得部52は、部分画像データ毎の色平均xavjに基づいてモーメントを取得している。ここで、図19に示す64個の部分画像のうち縦位置J(J=1〜8)、横位置I(I=1〜8)で特定される部分画像を、座標(I,J)で表すことにする。この座標(I,J)で特定される部分画像における部分画像データの部分色平均をXAV(I,J)で表すと、部分色平均に関する横方向のn次モーメントmnhは、次式(6)で表すことができる。
ここで、単純な1次モーメントを部分色平均XAV(I,J)の総和で除算した値を、1次の重心モーメントという、この1次の重心モーメントは、次式(7)で表されるものであり、部分色平均という部分特徴量の横方向の重心位置を示す。この重心モーメントを一般化したn次の重心モーメントは、次式(8)で表される。n次の重心モーメントの中で、奇数次(n=1,3・・・)の重心モーメントは、一般に重心の位置を示すと考えられている。また、偶数次の重心モーメントは、一般に重心付近における特徴量の広がり度合いを示すと考えられている。
本実施形態の全体特徴量取得部52は、6種類のモーメントを取得している。具体的には、横方向の1次モーメント、縦方向の1次モーメント、横方向の1次重心モーメント、縦方向の1次重心モーメント、横方向の2次重心モーメント、及び、縦方向の2次重心モーメントを取得している。なお、モーメントの組み合わせは、これらに限定されない。例えば、横方向の2次モーメントと縦方向の2次モーメントを加えた8種類としてもよい。
これらのモーメントを取得することにより、色の重心や重心付近における色の広がり度合いを認識することができる。例えば、「画像における上部に赤い領域が広がっている」とか「中心付近に黄色い領域がまとまっている」といった情報が得られる。そして、識別処理部30I(図16を参照。)における識別処理で、色の重心位置や局在性が考慮できるため、識別の精度を高めることができる。
<(2)特徴量の正規化について>
ところで、識別処理部30Iの一部を構成する全体識別器30F及び部分画像識別器30Gでは、サポートベクターマシン(SVMとも記す。)を用いて識別を行っている。サポートベクターマシンについては後で説明するが、このサポートベクターマシンは、分散の大きな特徴量ほど識別に対する影響力(重み付けの度合い)が大きくなるという特性を有する。そこで、部分特徴量取得部51、及び、全体特徴量取得部52では、取得した部分特徴量及び全体特徴量について正規化を行っている。すなわち、それぞれの特徴量について平均と分散とを算出し、平均が値〔0〕となり、分散が値〔1〕となるように、正規化を行っている。具体的には、i番目の特徴量xにおける平均値をμとし、分散をσとした場合、正規化後の特徴量x´は、次式(9)で表すことができる。
従って、部分特徴量取得部51、及び、全体特徴量取得部52は、式(9)の演算を行うことにより、各特徴量を正規化する。正規化された特徴量は、それぞれメモリ37の特徴量記憶部37eに記憶され、識別処理部30Iでの識別処理に用いられる。これにより、識別処理部30Iでの識別処理において、各特徴量を均等な重み付けで扱うことができる。その結果、識別精度を高めることができる。
<(2)特徴量取得部30Eのまとめ>
部分特徴量取得部51は、部分特徴量として部分色平均と部分色分散とを取得し、全体特徴量取得部52は、全体特徴量として全体色平均と全体色分散とを取得している。これらの特徴量は、識別処理部30Iによる識別対象画像の識別処理で用いられる。このため、識別処理部30Iにおける識別精度を高めることができる。これは、識別処理において、識別対象画像の全体と部分画像のそれぞれで取得された、色合いの情報と色の局在化度合いの情報とが加味されるからである。
<(2)識別処理部30Iについて>
次に、識別処理部30Iについて説明する。まず、識別処理部30Iの概略について説明する。図16及び図17に示すように、識別処理部30Iは、全体識別器30Fと、部分画像識別器30Gと、統合識別器30Hとを有する。全体識別器30Fは、全体特徴量に基づいて、識別対象画像のシーンを識別する。部分画像識別器30Hは、部分特徴量に基づいて、識別対象画像のシーンを識別する。統合識別器30Hは、全体識別器30Fと部分画像識別器30Gでシーンが確定されなかった識別対象画像について、シーンを識別する。このように、識別処理部30Iは、特性の異なる複数種類の識別器を有している。これは、識別性を高めるためである。すなわち、識別対象画像の全体に特徴が表れがちなシーンについては、全体識別器30Fによって精度良く識別ができる。一方、識別対象画像の一部分に特徴が表れがちなシーンについては、部分画像識別器30Gによって精度良く識別ができる。その結果、識別対象画像の識別性を高めることができる。さらに、全体識別器30Fと部分画像識別器30Gでシーンが確定しなかった識別対象画像については、統合識別器30Hによってシーンを識別できる。この点でも識別対象画像の識別性を高めることができる。
<(2)全体識別器30Fについて>
全体識別器30Fは、識別可能なシーンに応じた種類の数のサブ識別器(便宜上、全体サブ識別器ともいう。)を有する。各全体サブ識別器は、識別対象画像が特定のシーンに属することを全体特徴量に基づいて識別する。図17に示すように、全体識別器30Fは、全体サブ識別器として、風景識別器61と、夕景識別器62と、夜景識別器63と、花識別器64と、紅葉識別器65とを有する。各全体サブ識別器は、識別対象画像が特定のシーンに属することを識別する。また、各全体サブ識別器は、識別対象画像が特定のシーンに属さないことも識別する。
これらの全体サブ識別器は、サポートベクターマシンと判断部とをそれぞれ有する。すなわち、風景識別器61は、風景用サポートベクターマシン61aと風景用判断部61bとを有し、夕景識別器62は、夕景用サポートベクターマシン62aと夕景用判断部62bとを有する。また、夜景識別器63は、夜景用サポートベクターマシン63aと夜景用判断部63bとを有し、花識別器64は、花用サポートベクターマシン64aと花用判断部64bとを有し、紅葉識別器65は、紅葉用サポートベクターマシン65aと紅葉用判断部65bとを有する。なお、各サポートベクターマシンは、後述するように、サンプルが入力される毎に、識別対象となるサンプルが特定カテゴリー(シーン)に属する度合いに応じた識別関数値(確率情報)を算出する。そして、各サポートベクターマシンで求められた識別関数値は、それぞれメモリ37の確率情報記憶部37fに記憶される。
各判断部は、対応するサポートベクターマシンで取得された識別関数値に基づいて、識別対象画像が対応する特定のシーンに属することを判断する。そして、各判断部は識別対象画像が対応する特定のシーンに属すると判断した場合、肯定フラグ記憶部37hの対応する領域に肯定フラグを記憶する。また、各判断部は、サポートベクターマシンで取得された識別関数値に基づいて、識別対象画像が特定のシーンに属さないことも判断する。そして、各判断部は、識別対象画像が特定のシーンに属さないと判断した場合、否定フラグ記憶部37iの対応する領域に否定フラグを記憶する。なお、サポートベクターマシンは部分画像識別器30Gでも用いられている。このため、サポートベクターマシンについては部分画像識別器30Gとともに説明する。
<(2)部分画像識別器30Gについて>
部分画像識別器30Gは、識別可能なシーンに応じた種類の数のサブ識別器(便宜上、部分サブ識別器とする。)を有する。各部分サブ識別器は、識別対象画像が特定のシーンに属するか否かを部分特徴量に基づいて識別を行う。具体的には、各部分サブ識別器は、部分画像に対応する部分特徴量をメモリ37の特徴量記憶部37eから読み出し、その部分特徴量を用いて部分サポートベクターマシン(後述する。)で演算を行い、その演算結果に基づいて、各部分画像が特定のシーンに属するか否かを識別する。そして、各部分サブ識別器は、特定のシーンに属すると識別された部分画像の個数に応じて、識別対象画像が当該特定のシーンに属するか否かを識別する。
図5に示すように部分画像識別器30Gは、夕景部分サブ識別器71、花部分サブ識別器72、紅葉部分サブ識別器73を有する。夕景部分サブ識別器71は、識別対象画像が夕景のシーンに属するか否かを識別し、花部分サブ識別器72は、識別対象画像が花のシーンに属するか否かを識別し、紅葉部分サブ識別器73は、識別対象画像が紅葉のシーンに属するか否かを識別する。全体識別器30Fの識別対象となるシーンの種類の数と、部分画像識別器30Gの識別対象となるシーンの種類の数とを比較すると、部分画像識別器30Gの識別対象となるシーンの種類の数の方が少ない。これは、部分画像識別器30Gが、全体識別器30Fを補完する目的を有しているからである。つまり、部分画像識別器30Gは、全体識別器30Fでは精度が得られ難いシーンに対して設けられている。
ここで、部分画像識別器30Gでの識別に適する画像について考察する。まず、花のシーンと紅葉のシーンについて考察する。これらのシーンは、いずれもそのシーンの特徴が局所的に表れ易いといえる。例えば、花壇や花畑の画像では、画像の特定部分に複数の花が集まった状態となりやすい。この場合、複数の花が集まった部分に花のシーンの特徴が表れ、他の部分には風景のシーンに近い特徴が表れる。紅葉のシーンも同様である。すなわち、山肌の一部分に表れた紅葉を撮影した場合、画像の特定部分に紅葉が集まった状態となる。この場合も、山肌の一部分に紅葉のシーンの特徴が表れ、他の部分は風景のシーンの特徴が表れる。従って、部分サブ識別器として花部分サブ識別器72と紅葉部分サブ識別器73とを用いることにより、全体識別器30Fでは識別し難い花のシーンと紅葉のシーンであっても、識別性を高めることができる。すなわち、部分画像毎に識別を行うので、画像の一部分に花や紅葉などの主要被写体の特徴が表れている画像であっても、精度良く識別することができる。次に夕景のシーンについて考察する。夕景のシーンも、夕景の特徴が局所的に表れる場合がある。例えば水平線に沈む夕日を撮影した画像であって、完全に沈む直前のタイミングで撮影した画像を考える。このような画像では、夕日が沈む部分に夕日のシーンの特徴が表れ、他の部分には夜景のシーンの特徴が表れる。従って、部分サブ識別器として夕景識別器71を用いることで、全体識別器30Fでは識別し難い夕景のシーンであっても識別性を高めることができる。なお、部分的に特徴の出やすいこれらのシーンにおいて、そのシーンの特徴の表れる確率の高い位置は、特定のシーン毎に一定の傾向がある。以下、各部分画像毎に、特定のシーンの特徴が表れる確率のことを存在確率ともいう。
このように、部分画像識別器30Gは、主として全体識別器30Fでは精度が得られ難い画像を対象として識別を行っている。すなわち、全体識別器30Fによって十分な精度を得られる識別対象については、部分サブ識別器を設けていない。このような構成を採ることで、部分画像識別器30Gの構成を簡素化できる。ここで、部分画像識別器30Gはメインコントローラ31によって構成されているので、構成の簡素化とは、CPU36が実行する動作プログラムのサイズや必要なデータのサイズを小さくすることが該当する。構成の簡素化により、必要とされるメモリの容量を小さくできたり、処理を高速化できたりする。
<(2)部分画像について>
次に、部分画像識別器30Gの各部分サブ識別器で識別を行う部分画像について説明する。本実施形態の場合、部分画像は、図19に示すように識別対象画像を格子状に、縦、横にそれぞれ8等分したものである。よって、識別対象画像は8×8の64ブロックの部分画像に分割される。識別対象画像の対象画像データは、QVGAサイズのデータ(320×240画素=76800画素)であるので、1ブロックにおける部分画像データは、その1/64サイズのデータ(40×30画素=1200画素)で構成される。前述したように、図19の縦位置J(J=1〜8)、横位置I(I=1〜8)で特定される部分画像を、座標(I,J)で表すことにする。本実施形態の各部分サブ識別器では、選択情報記憶部37kから読み出される情報(後述する。)に基づいて、存在確率の高い部分画像から順に識別処理を行っている。
<(2)存在確率について>
存在確率は、例えば、複数枚(本実施形態の場合数千枚)の特定のシーンに属するサンプル画像を用いて、各サンプル画像の全体領域を複数の部分領域に分割し、各部分領域毎に特定のシーン特徴が表れていると検出された部分画像の個数を数えることに基づいて求められる。具体的には、存在確率は、特定のシーンの特徴が表れていると検出された各部分領域の部分画像の個数を、サンプル画像の総数で除算した値である。よって、或る部分領域において、特定のシーンの特徴が表れていると全く検出されなかった場合、存在確率は最小値 [0]となり、全てのサンプル画像で特定のシーンの特徴が表れていると検出された場合、存在確率は最大値 [1]となる。サンプル画像はそれぞれ構図が異なっているので、この存在確率の精度はサンプル画像の枚数に依存する。つまりサンプル画像の数が少ないと、特定のシーンの表れる位置の傾向を正確に求めることが出来ない。例えば1枚のサンプル画像を用いて存在確率を求めた場合、特定のシーンの表れている部分領域では存在確率が値[1]となり、それ以外の部分領域では存在確率が値[0]となる。その場合、識別対象画像がサンプル画像と構図が異なると、存在確率が値[1]の部分領域に特定のシーンの特徴が表れず、存在確率が値[0]の部分領域に特定のシーンの特徴が表れることになる。本実施形態では、各部分領域の存在確率を求める際、構図の異なる複数枚(例えば数千枚)のサンプル画像を用いているので、特定のシーンの特徴が表れる位置の傾向をより正確に求めることができ、各部分領域毎の存在確率の精度を向上させることができる。
識別対象画像を部分画像に分割するのと同様に、サンプル画像の全体領域を64個の部分領域に分割した場合の各部分領域の存在確率を示すデータの一例を図20〜図22に示す。なお、この64個の各部分領域は、例えば図19に示す各部分画像にそれぞれ対応するものである。よって、各部分領域を部分画像と同じ座標(I,J)で表している。
図20Aは、夕景のシーンでの各部分領域における存在確率を示したデータ(以下、存在確率情報ともいう)であり、図20Bは、夕景のシーンでの部分領域に対する存在確率の高さの順位を示したデータ(以下、存在確率順位情報ともいう)である。また、図21Aは、花のシーンの存在確率情報であり、図21Bは、花のシーンの存在確率順位情報である。さらに、図22Aは、紅葉のシーンの存在確率情報であり、図22Bは、紅葉のシーンの存在確率順位情報である。これらの各データの値は、各座標を示す値と対応付けられたテーブルデータとしてメモリ37の選択情報記憶部37kに記憶されている。なお、図20B、図21B、図22Bでは、存在確率の高い部分領域の分布を判りやすくするため、それぞれ存在確率の高い上位10個(1位〜10位)を濃い灰色で塗り潰し、次の10個(11位〜20位)を薄い灰色で塗り潰している。
例えば夕景のシーンの場合、画像の中央付近から上半分に夕景の空が広がっていることが多い。すなわち、図20A、Bに示すように全体領域の中央付近から上半分の部分領域において存在確率が高く、それ以外(下半分)の部分領域では存在確率が低くなる。また、例えば、花のシーンの場合、図19のように花を全体領域の中央に配置させるような構図が多い。すなわち、図21A、Bに示すように全体領域における中央部分の部分領域では存在確率が高く、全体領域の周辺部分の部分領域では存在確率が低くなる。また、例えば、紅葉のシーンの場合、山の一部分に表れた紅葉を撮影することが多く、図22A、Bに示すように画像の中央から下部にかけて存在確率が高くなる。このように、部分画像識別器30Gで識別を行うような主要被写体の一部分に特徴の表れやすい夕景、花、紅葉のシーンにおいても、識別対象画像において、存在確率の高い部分画像の位置(座標)の分布は異なっている。
<(2)部分画像の識別順序について>
各部分サブ識別器は、選択情報記憶部37kから読み出される存在確率情報及び存在確率順位情報の少なくとも何れか一方に基づいて、存在確率の高い部分画像から順に識別を行う。例えば、夕景部分サブ識別器71にて識別を行う場合には、図20Aに示す存在確率情報及び図20Bに示す存在確率順位情報の少なくとも何れか一方に基づいて、夕景のシーンの存在確率の高い順に部分画像が選択される。すなわち、夕景のシーンの存在確率の最も高い座標(4,4)の部分画像が最初に選択される。そして、その部分画像の識別処理後には、2番目に存在確率の高い座標(5,4)の部分画像が選択される。以下、同様に存在確率の高い順に部分画像が選択され、最後(64番目)には、最も存在確率の低い座標(2,8)の部分画像が選択される。
また、花識別器72にて識別を行う場合には、図21Aに示す存在確率情報及び図21Bに示す存在確率順位情報の少なくとも何れか一方に基づいて、花のシーンの存在確率の高い順に部分画像が選択される。また、紅葉識別器73にて識別を行う場合には、図22Aに示す存在確率情報及び図22Bに示す存在確率順位情報の少なくとも何れか一方に基づいて、紅葉のシーンの存在確率の高い順に部分画像が選択される。
また、本実施形態では、識別対象となる特定のシーンの種類毎に、存在確率情報及び存在確率順位情報の少なくとも何れか一方が、メモリ37の選択情報記憶部37kに予め記憶されている。これにより、特定のシーンの種類毎に適した順に識別が行われることとなり、各特定のシーンに対する識別を効率的に行うことができる。
<(2)部分サブ識別器の構成について>
次に、部分サブ識別器(夕景部分サブ識別器71、花部分サブ識別器72、紅葉部分サブ識別器73)の構成について説明する。図17に示すように、各部分サブ識別器は、部分サポートベクターマシンと検出数カウンタと判断部をそれぞれ有する。すなわち、夕景部分サブ識別器71は、夕景用部分サポートベクターマシン71aと夕景検出数カウンタ71bと夕景判断部71cを有し、花部分サブ識別器72は、花用部分サポートベクターマシン72aと花検出数カウンタ72bと花判断部72cを有する。また、紅葉部分サブ識別器73は、紅葉用部分サポートベクターマシン73aと紅葉検出数カウンタ73bと紅葉判断部73cを有する。
これらの各部分サブ識別器において、部分サポートベクターマシンと検出数カウンタは、各部分画像が特定のシーンに属するか否かを部分特徴量に基づいて評価する部分評価部に相当する。また、各判断部は、対応する部分評価部によって得られる評価値に応じて識別対象画像が特定のシーンに属するか否かを判断する。
各部分サブ識別器の、部分サポートベクターマシン(夕景用部分サポートベクターマシン71a〜紅葉用部分サポートベクターマシン73a)は、各全体サブ識別器が有するサポートベクターマシン(風景用サポートベクターマシン61a〜紅葉用サポートベクターマシン65a)と同様のものである。以下サポートベクターマシンについて説明する。
<(2)サポートベクターマシンについて>
サポートベクターマシンは、識別対象の特徴を示す特徴量に基づき、その識別対象が或るカテゴリーに属する確率の大小を示す確率情報を取得する。このサポートベクターマシンの基本形は、線形サポートベクターマシンである。線形サポートベクターマシンは、例えば、図23に示すように、2クラス分類トレーニングで定められる線形の識別関数であり、マージン(即ち、学習データとしてのサポートベクターが存在しない領域)が最大となるように定められた識別関数である。この図23において、白抜きの丸のうち分離超平面の決定に寄与する点(例えばSV11)が或るカテゴリーCA1に属するサポートベクターであり、斜線を付した丸のうち分離超平面の決定に寄与する点(例えばSV22)が他のカテゴリーCA2に属するサポートベクターである。カテゴリーCA1に属するサポートベクターとカテゴリーCA2に属するサポートベクターとを分離する分離超平面では、この分離超平面を定める識別関数(確率情報)が値[0]を示す。図23では、分離超平面の候補として、カテゴリーCA1に属するサポートベクターSV11及びSV12を通る直線に平行な分離超平面HP1と、カテゴリーCA2に属するサポートベクターSV21及びSV22を通る直線に平行な分離超平面HP2とを示している。この例では、分離超平面HP1の方が分離超平面HP2よりもマージン(サポートベクターから分離超平面までの間隔)が大きいので、線形サポートベクターマシンとして、分離超平面HP1に対応する識別関数が定められる。
ところで、線形サポートベクターマシンでは、線形分離ができない識別対象については識別の精度が低くなってしまう。なお、この複合機1で扱われる識別対象画像も、線形分離ができない識別対象に相当する。そこで、このような識別対象については、特徴量を非線形変換し(すなわち、高次元空間に写像し)、その空間で線形の識別を行う非線形サポートベクターマシンが用いられる。この非線形サポートベクターマシンでは、例えば、任意の数の非線形関数によって定義される新たな数を、非線形サポートベクターマシン用のデータとする。図24に模式的に示すように、非線形サポートベクターマシンでは、識別境界BRが曲線状になる。この例では、四角で示す各点のうち識別境界BRの決定に寄与する点(例えばSV13、SV14)がカテゴリーCA1に属するサポートベクターであり、丸で示す各点のうち識別境界BRの決定に寄与する点(例えばSV23〜SV26)がカテゴリーCA2に属するサポートベクターである。そして、これらのサポートベクターを用いた学習により、識別関数のパラメータが定められる。なお、他の点は、学習には用いられるが、最適化の過程で対象から外される。このため、識別にサポートベクターマシンを用いることで、識別時に用いられる学習データ(サポートベクター)の数を抑えることができる。その結果、限られた学習データであっても、取得される確率情報の精度を高めることができる。
<(2)部分サポートベクターマシンについて>
各部分サブ識別器に備えられる部分サポートベクターマシン(風景用部分サポートベクターマシン71a、花用部分サポートベクターマシン72a、紅葉部分サポートベクターマシン73a)は、前述したような非線形サポートベクターマシンである。そして、各部分サポートベクターマシンは、異なるサポートベクターに基づく学習で、識別関数におけるパラメータが定められる。その結果、部分サブ識別器毎に特性を最適化でき、部分画像識別器30Gにおける識別性を向上させることができる。各部分サポートベクターマシンは、入力されたサンプルに応じた数値、すなわち識別関数値を出力する。
なお、各部分サポートベクターマシンは、学習データが部分画像データである点が、全体サブ識別器が有するサポートベクターマシンと異なっている。つまり、各部分サポートベクターマシンは、識別対象となる部分の特徴を示す部分特徴量に基づく演算を行う。各部分サポートベクターマシンによる演算結果、すなわち識別関数値は、部分画像が識別対象である或るシーンの特徴を多く有するほど、値が大きくなる。反対に、この部分画像が、識別対象でない他のシーンの特徴を多く有するほど、値が小さくなる。また、この部分画像が、或るシーンの特徴と他のシーンの特徴のそれぞれを均等に有する場合には、この部分サポートベクターマシンで得られる識別関数値は値[0]になる。
従って、部分サポートベクターマシンで得られた識別関数値が正の値になった部分画像に関しては、その部分サポートベクターマシンが対象とするシーンの方が、他のシーンよりも多くの特徴が表れている、つまり対象とするシーンに属する確率が高いといえる。このように、部分サポートベクターマシンで得られた識別関数値は、その部分画像が或るシーンに属する確率の大小を示す確率情報に相当するものである。よって、部分評価部を構成する各部分サポートベクターマシンによって識別関数値の演算を行うことは、部分画像が特定のシーンに属するか否かを評価することに相当する。また、その識別関数値が正であるか否かに応じて部分画像を特定のシーンに属するか否かに分類することは識別に相当する。本実施形態では、各部分評価部は、部分特徴量に基づいて部分画像毎に特定のシーンに属するか否かの識別を行い、各判断部は、各部分評価部で特定のシーンに属すると識別された部分画像の個数に応じて識別対象画像が特定のシーンに属するか否かの判断を行うこととする。
各部分サポートベクターマシンで求められた確率情報は、それぞれメモリ37の確率情報記憶部37fに記憶される。本実施形態の各部分サブ識別器は、それぞれ対応する特定のシーン毎に設けられており、また各部分サブ識別器は、各部分サポートベクターマシンによって、対応する特定のシーンに属するか否かの識別を行うので、部分サブ識別器毎に特性を最適化することができる。
なお、本実施形態の各部分サポートベクターマシンは、部分特徴量に加えて、全体特徴量を加味して演算を行なっている。そして、各部分サブ識別器は、その演算結果に基づいて識別を行っている。これは部分画像の識別精度を高めるためである。以下、この点について説明する。部分画像は、全体画像に比べて情報量が少ない。このため、シーンの識別が困難になる場合がある。例えば、或る部分画像が、或るシーンと他のシーンとで共通する特徴を有していた場合には、識別が困難になる。仮に、部分画像が赤みの強い画像であったとする。この場合、部分特徴量だけでは、その部分画像が夕景のシーンに属するのか、紅葉のシーンに属するのか、識別し難いことがある。このような場合に、全体特徴量を加味することで、その部分画像の属するシーンを識別できることがある。例えば、全体特徴量が全体的に黒味を帯びた画像を示す場合、赤みの強い部分画像は、夕景のシーンに属する確率が高くなる。また、全体特徴量が全体的に緑色や青色を帯びた画像を示す場合、赤みの強い部分画像は、紅葉のシーンに属する確率が高くなる。このように、各部分サポートベクターマシンにおいて、全体特徴量を加味して演算を行い、その演算結果に基づいて各部分サブ識別器で識別を行うことによって、識別精度をより高めることができることになる。
<(2)検出数カウンタについて>
各検出数カウンタ(夕景検出数カウンタ71b〜紅葉検出数カウンタ73b)は、メモリ37のカウンタ部37gにより機能するものである。各検出数カウンタは、特定のシーンに属すると識別された部分画像の個数をカウントする。
各検出数カウンタは、初期値が、例えば値[0]であり、対応するサポートベクターマシンで得られた識別関数値が正の値である識別結果、言い換えれば対応するシーンの特徴が他のシーンの特徴よりも強く表れている識別結果が得られるごとにカウントアップ(+1)する。要するに識別対象である特定のシーンに属すると識別された部分画像の数をカウントする。各検出数カウンタのカウント値(評価値)は、例えば新たな識別対象画像についての処理を行う際にリセットされる。以下の説明において、各検出数カウンタのカウント値のことを検出画像数ともいう。
<(2)判断部について>
各判断部(夕景判断部71c、花判断部72c、紅葉判断部73c)は、例えばメインコントローラ31のCPU36によって構成され、対応する検出数カウンタの検出画像数に応じて、識別対象画像が特定のシーンに属するか否かを判断する。このように、識別対象画像が特定のシーンに属するか否かを、検出画像数に応じて判断することにより、識別対象画像の一部分に特定のシーンの特徴が表れているような場合でも精度良く識別を行うことができる。よって識別精度を向上させることができる。なお、具体的には、各判断部は、検出画像数が、メモリ37の制御用パラメータ記憶部37bに記憶された所定の閾値を超えた場合、その識別対象画像が特定のシーンに属すると判断する。この所定の閾値は、識別対象画像が部分サブ識別器で扱われるシーンに属するとの肯定的な判断を与えるものである。従って、以下の説明において、このような肯定的な判断を与えるための閾値のことを肯定閾値(Positive Threshold)ともいう。この肯定閾値の値に応じて、識別対象画像が特定のシーンであると判断されるのに必要な部分画像数、つまり識別対象画像中における特定シーンの領域の割合が決まるので、肯定閾値の設定によって識別精度を調整することができる。なお、この判断を行うのに最適な検出画像数の個数は、処理速度および識別精度の点から、特定のシーン毎に異なることが考えられる。そこで、肯定閾値は、各部分サブ識別器における識別対象となる特定のシーンに応じて、それぞれ値が設定されている。この実施形態では、図25に示すように、夕景のシーンについて値[5]が、花のシーンについて[9]が、紅葉のシーンについて[6]が設定されている。すなわち、例えば夕景部分サブ識別器71において、夕景判断部71cは、夕景検出数カウンタ71bの検出画像数が値[5]を超えると、その識別対象画像が夕景のシーンに属すると判断する。このように、特定のシーン毎に肯定閾値を設定しているので、それぞれの特定のシーンに適した識別を行うことができる。
本実施形態の場合、まず、夕景部分サブ識別器71で識別が行われる。夕景部分サブ識別器71の夕景用部分サポートベクターマシン71aは、各部分画像の部分特徴量に基づいて識別関数値を取得する。夕景検出数カウンタ71bは、夕景用部分サポートベクターマシン71aで取得される識別関数値が正となる識別結果を検出画像数としてカウントする。夕景判断部71cは、夕景検出数カウンタ71bの検出画像数に応じて識別対象画像が夕景のシーンに属するか否かを判断する。この識別の結果、識別対象画像が夕景のシーンに属することを判別できなかった場合、夕景判断部71cは、後段の花部分サブ識別器72の花判断部72cに、花用部分サポートベクターマシン72aと花検出数カウンタ71bを用いて、各部分画像が花のシーンに属するか否かを識別させる。さらに、この識別の結果、識別対象画像が花のシーンに属することを判別できなかった場合、花判断部72cは、後段の紅葉部分サブ識別器73の紅葉判断部73cに、紅葉部分サポートベクターマシン72aと紅葉検出数カウンタ71bを用いて、各部分画像が紅葉のシーンに属するか否かを識別させる。つまり、部分画像識別器30Gの各判断部は、或る部分評価部を用いた識別に基づいて、識別対象画像が或る特定のシーンに属することを判断できなかった場合、他の部分評価部を用いて、各部分画像が他の特定のシーンに属するか否かを識別させている。このように、識別を部分サブ識別器毎に行うように構成したので、識別の確実性を高めることができる。
また、本実施形態の各部分サブ識別器では、前述したように存在確率の高い部分画像から識別を行っている。このように、特定のシーン毎に存在確率の高い部分画像から識別を行うことによって、肯定閾値に達するまでに要する部分画像の識別の回数を少なくすることができ、識別処理にかかる時間を短縮することができる。よって、識別処理の高速化を図ることができる。
<(2)統合識別器30Hについて>
統合識別器30Hは、前述したように、全体識別器30Fと部分画像識別器30Gのそれぞれでシーンが確定されなかった識別対象画像について、シーンを識別する。この実施形態における統合識別器30Hは、各全体サブ識別器(各サポートベクターマシン)で求められた確率情報に基づいてシーンを識別する。具体的には、統合識別器30Hは、メモリ37の確率情報記憶部37fに全体識別器30Fによる全体識別処理で記憶された複数の確率情報の中から、正の値の確率情報を選択的に読み出す。そして、読み出した確率情報の中から最も高い値を示すものを特定し、対応するシーンをその識別対象画像のシーンとする。このような統合識別器30Hを設けることにより、属するシーンについての特徴がそれほど表れていない識別対象画像であっても、妥当なシーンに識別できる。すなわち、識別性を高めることができる。
<(2)結果記憶部37jについて>
結果記憶部37jは、識別処理部30Iによる識別対象の識別結果を記憶する。例えば、全体識別器30Fや部分画像識別器30Gによる識別結果に基づき、肯定フラグ記憶部37hに肯定フラグが記憶された場合には、その識別対象が肯定フラグに対応するシーンに属する旨を記憶する。仮に、識別対象画像について、風景のシーンに属する旨を示す肯定フラグが設定された場合には、風景のシーンに属する旨の結果情報を記憶する。同様に、識別対象画像について、夕景のシーンに属する旨を示す肯定フラグが設定されていた場合には、夕景のシーンに属する旨の結果情報を記憶する。なお、全てのシーンについて否定フラグが記憶された識別対象画像については、その他のシーンに属する旨を示す結果情報を記憶する。結果情報記憶部37jに記憶された識別結果は、事後の処理で参照される。この複合機1では、画像補正部30C(図15を参照。)にて参照されて画像補正に使用される。例えば、識別されたシーンに応じて、コントラストや明るさ、カラーバランスなどが調整される。
<(2)画像識別処理について>
次に、画像識別処理について説明する。この画像識別処理の実行において、プリンタ側コントローラ30は、顔識別部30A、及び、シーン識別部30B(特徴量取得部30E、全体識別器30F、部分画像識別器30G、統合識別器30H、結果記憶部37j)として機能する。この場合において、メインコントローラ31のCPU36はメモリ37に記憶されたコンピュータプログラムを実行する。従って、画像識別処理をメインコントローラ31の処理として説明する。そして、メインコントローラ31によって実行されるコンピュータプログラムは、画像識別処理を実現するためのコードを有する。
図26に示すように、メインコントローラ31は、対象画像データを読み込み、顔画像の有無を判断する(S21−2)。顔画像の有無は種々の方法で判断できる。例えば、メインコントローラ31は、肌色の標準色の領域の有無、及び、この領域内における目画像及び口画像の有無に基づいて、顔画像の有無を判断する。本実施形態では、一定面積以上(例えば、20×20画素以上)の顔画像を検出対象とする。顔画像があると判断した場合、メインコントローラ31は、識別対象画像における顔画像の面積の割合を取得し、この割合が所定の閾値(例えば30%とする。)を超えているかを判断する(S22−2)。そして30%を超えていた場合、メインコントローラ31は、識別対象画像を人物のシーンに識別する(S22−2でYES)。また、30%を超えていなかった場合、メインコントローラ31は、この識別対象画像を記念写真のシーンに識別する(S22−2でNO)。これらの識別結果は、結果記憶部37jに記憶される。
識別対象画像中に顔画像が無かった場合(S21−2でNO)、メインコントローラ31は、特徴量取得処理を行う(S23−2)。特徴量取得処理では、対象画像データに基づいて特徴量が取得される。すなわち、識別対象画像の全体的な特徴を示す全体特徴量と、識別対象画像の部分的な特徴を示す部分特徴量とを取得する。なお、各特徴量の取得については既に説明したので(S11−2〜S15−2,図18を参照。)、ここでは説明を省略する。そして、メインコントローラ31は、取得した各特徴量を、メモリ37の特徴量記憶部37eにそれぞれ記憶する。
特徴量を取得したならば、メインコントローラ31は、シーン識別処理を行う(S24−2)。このシーン識別処理において、メインコントローラ31は、まず全体識別器30Fとして機能し、全体識別処理(S24a−2)を行う。この全体識別処理では、全体特徴量に基づく識別が行われる。そして、全体識別処理で識別対象画像の識別ができたならば、メインコントローラ31は、識別対象画像のシーンを、識別されたシーンに決定する(S24b−2でYES)。例えば、全体識別処理で肯定フラグが記憶されたシーンに決定する。そして、識別結果を結果記憶部37jに記憶する。全体識別処理でシーンが決定しなかった場合、メインコントローラ31は、部分画像識別器30Gとして機能し、部分画像識別処理を行う(S24c−2)。この部分画像識別処理では、部分特徴量に基づく識別が行われる。そして、部分画像識別処理で識別対象画像の識別ができたならば(S24d−2でYES)、メインコントローラ31は、識別対象画像のシーンを識別されたシーンに決定し、識別結果を結果記憶部37jに記憶する。なお、部分画像識別処理の内容については後で説明する。部分画像識別器30Gでもシーンが決定しなかった場合(S24d−2でNo)、メインコントローラ31は、統合識別器30Hとして機能し、統合識別処理を行う(S24e−2)。この統合識別処理でメインコントローラ31は、前述したように確率情報記憶部37fから、全体識別処理で算出された確率情報のうち正の値のものを読み出し、最も値の大きい確率情報に対応するシーンに決定する。そして、統合識別処理で識別対象画像の識別ができたならば、メインコントローラ31は、識別対象画像のシーンを、識別されたシーンに決定する(S24f−2でYES)。一方、統合識別処理でも識別対象画像の識別ができなかった場合(全体識別処理で算出された確率情報に正の値が無い場合)、および、全てのシーンについて否定フラグが記憶された場合には、その識別対象画像はその他のシーンに識別される(S24f−2でNO)。なお、統合識別器30Hとしてのメインコントローラ31は、統合処理において、まず、全てのシーンについて否定フラグが記憶されているかを判断する。そして、全てのシーンについて否定フラグが記憶されていると判断した場合には、この判断に基づいてその他のシーンに識別する。この場合、否定フラグの確認だけで処理ができるので、処理の高速化が図れる。
<(2)部分画像識別処理について>
次に、部分画像識別処理について説明する。前述したように、この部分画像識別処理は、全体識別処理で識別対象画像の識別ができなかった場合に行なわれるものである。従って、部分画像識別処理が行われる段階で、肯定フラグ記憶部37hには肯定フラグが記憶されていないことになる。また、全体識別処理で識別対象画像が属さないと判断されたシーンには、否定フラグ記憶部37iの対応する領域に否定フラグが記憶されている。また、選択情報記憶部37kには、複数のサンプル画像を用いて求められた存在確率に基づいて、存在確率情報(図20A、図21A、図22A参照)及び存在確率順位情報(図20B、図21B、図22B参照)の少なくとも何れか一方(存在確率を示す情報ともいう)が予め記憶されていることとする。
図27に示すように、メインコントローラ31は、まず、識別を行う部分サブ識別器を選択する(S51)。図17に示すように、本実施形態の部分画像識別器30Gでは、夕景部分サブ識別器71、花部分サブ識別器72、紅葉部分サブ識別器73の順に優先度が定められている。従って、初回の選択処理では、最も優先度の高い夕景部分サブ識別器71が選択される。そして、夕景部分サブ識別器71による識別が終了すると、2番目に優先度の高い花部分サブ識別器72が選択され、花部分サブ識別器72の次には最も優先度の低い紅葉部分サブ識別器73が選択される。
部分サブ識別器を選択したならば、メインコントローラ31は、選択した部分サブ識別器で識別するシーンが、識別処理の対象となるシーンであるかを判断する(S52)。この判断は、全体識別器30Fによる全体識別処理で否定フラグ記憶部37iに記憶された否定フラグに基づいて行われる。これは、全体識別器30Fで肯定フラグが設定されると、全体識別処理でシーンが確定し、部分画像処理は行われないのと、後述するように、部分画像処理で肯定フラグが記憶されると、シーンが確定し、識別処理が終了するからである。識別処理の対象でないシーン、すなわち全体識別処理で否定フラグが設定されたシーン、である場合には、識別処理がスキップされる(S52でNO)。このため、無駄な識別処理を行わなくて済み、処理の高速化が図れる。
一方、ステップS52で別処理の対象であると判断された場合(S52でYES)、メインコントローラ31は、選択情報記憶部37kから、対応する特定のシーンの存在確率を示す情報(存在確率情報及び存在確率順位情報の何れか一方)を読み出す(S53)。そして、取得した存在確率を示す情報に基づいて、部分画像の選択を行う(S54)。ここで、選択情報記憶部37kから取得した情報が存在確率情報の場合には、メインコントローラ31は、例えば部分画像の各座標を示す値を各存在確率の値と対応付けたまま、存在確率の高い順に並び替え(ソート)を行う。そして、並び替えの結果、存在確率の値が最も高い側となる座標に対応する部分画像から順に選択を行う。一方、選択情報記憶部37kに存在確率順位情報が記憶されている場合には、存在確率の最も高い順位を示す値に対応する座標の部分画像から順に選択を行う。つまり、ステップS54では、識別処理が行われていない部分画像のうち最も存在確率の高い部分画像が選択されることになる。
そして、メインコントローラ31は、選択した部分画像の部分画像データに対応した部分特徴量をメモリ37の特徴量記憶部37eから読み出す。この部分特徴量に基づいて、部分サポートベクターマシンによる演算が行われる(S55)。言い換えれば、部分特徴量に基づき、部分画像に対する確率情報の取得が行われる。なお、本実施形態では、部分特徴量のみでなく全体特徴量も特徴量記憶部37eから読み出し、全体特徴量を加味して演算を行うようにしている。このとき、メインコントローラ31は、処理対象のシーンに対応する部分評価部として機能し、部分色平均、及び、部分色分散などに基づく演算により、確率情報としての識別関数値を取得する。そして、メインコントローラ31は、取得した識別関数値によって部分画像が特定のシーンに属するか否かの識別を行う(S56)。具体的には、取得した或る部分画像に対する識別関数値が正の値である場合には、その部分画像を特定のシーンに属すると識別する(S56でYES)。そして、対応する識別用カウンタのカウント値(検出画像数)をカウントアップ(+1)する(S57)。また、識別関数値が正の値でなかった場合には、その部分画像が特定のシーンに属さないと識別し、識別用カウンタのカウント値はそのままとする(S56でNO)。このように、識別関数値を取得することにより、部分画像が特定のシーンに属するか否かの識別を、識別関数値が正であるか否かに応じて行うことができる。
部分画像に対する確率情報の取得及びカウンタの処理を行ったならば、メインコントローラ31は、各判断部として機能し、検出画像数が肯定閾値より大であるかを判断する(S58)。例えば、図25に示す肯定閾値がメモリ37の制御用パラメータ37bに記憶され、夕景部分サブ識別器71で識別が行われている場合、夕景判断部71cは検出画像数が値[5]を超えると、識別対象画像が夕景のシーンであると判断し、夕景のシーンに対応する肯定フラグを肯定フラグ記憶部37hに記憶する(S59)。また、花部分サブ識別器72で識別が行われている場合、花判断部72cは検出画像数が値[9]を超えた場合に、識別対象画像が花のシーンであると判断し、花のシーンに対応する肯定フラグを肯定フラグ記憶部37hに記憶する。肯定フラグを記憶すると、残りの識別処理は行わず識別の処理を終了する。
検出画像数が、肯定閾値よりも大でない場合(S58でNO)には、識別を行った部分画像が最後のものであるかを判断する(S60)。例えば図19のように識別対象となる部分画像が64個の場合、64番目のものであるかを判断する。この判断は、識別を行った部分画像の個数に基づいて行うことができる。
ここで、まだ最後でないと判断した場合(S60でNO)には、ステップS54に移行して、存在確率情報及び存在確率順位情報の少なくとも何れか一方に基づいて、次に存在確率の高い部分画像、つまり、識別処理が未実行の部分画像のうち最も存在確率の高い部分画像について、前述した処理を繰り返し行う。一方、ステップS60で最後であると判断された場合(S60でYES)、或いは、ステップS52で処理対象と判断されなかった場合(S52でNO)には、次の部分サブ識別器の有無を判断する(S61)。ここでは、メインコントローラ31は、最も優先度の低い紅葉部分サブ識別器73まで処理が終わったかを判断する。そして、紅葉部分サブ識別器73まで処理が終わっている場合には、次の識別器は無いと判断し(S61でNO)、一連の部分識別処理を終了する。一方、紅葉識別器73まで処理が終わっていないと判断した場合(S61でYES)、次に優先度の高い部分サブ識別器を選択し(S51)、前述した処理を繰り返し行う。
なお、前述した実施形態では、各部分サブ識別器の検出数カウンタは、部分評価部で得られた識別関数値が正の値となることにより特定のシーンに属すると識別された部分画像の個数をカウントすることとしたが、識別関数値そのものを、検出数カウンタを用いて加算するようにしてもよい。そして、検出数カウンタのカウント値(評価値)と、識別関数値用に設定された肯定閾値との比較に応じて、識別対象画像が特定のシーンに属するか否かを、対応する判断部で判断するようにしてもよい。
<(2)まとめ>
本実施形態における各部分サブ識別器の部分評価部は、メモリ37の選択情報記憶部37から読み出される存在確率情報及び存在確率順位情報の少なくとも何れか一方に基づいて、存在確率の高い部分画像から順に、特定のシーンに属するか否かについて識別している。このように、存在確率の高い部分画像から順に識別を行うことによって、部分画像識別における識別処理の速度を向上させることができる
また、各部分サブ識別器の各判断部は、各検出数カウンタ部で得られる検出画像数が肯定閾値を越えた場合に識別対象画像が特定のシーンに属すると判断しているので、肯定閾値の設定によって識別精度を調整することができる。
また、メモリ37の選択情報記憶部37kには、存在確率情報及び存在確率順位情報の少なくとも何れか一方が、識別対象となる特定のシーンの種類毎(本実施形態では、夕景、花、紅葉毎)に記憶されている。これにより、各特定のシーン毎における識別処理を効率的に行うことができる。
また、部分画像識別器30Gは、識別対象となる特定のシーンの種類毎に部分評価部を有している。これにより、部分評価部毎に特性を最適化でき、部分サブ識別器における識別性を向上させることができる。さらに、複数の特定のシーンに対して肯定閾値がそれぞれ設定されている。これにより、各部分サブ識別器において特定のシーンにそれぞれ適した識別を行うことができる。
また、部分画像識別器30Gの各判断部は、前段の部分サブ識別器の部分評価部を用いた識別によって、識別対象画像が属するシーンを判断できなかった場合には、後段の部分サブ識別器の部分評価部を用いて、対応するシーンに属するか否かの判断を行うようにしている。これにより、部分サブ識別器毎に識別を行えるので識別の確実性を高めることができる。
また、各部分サブ識別器における各部分サポートベクターマシンの演算において、部分特徴量に加え、全体特徴量を加味している。このように、部分特徴量に全体特徴量を加味して演算を行うことで、識別精度をより高めることができる。
===その他の実施形態===
前述した実施形態において、識別対称は画像データに基づく画像であり、識別装置は複合機1である。ここで、画像を識別対象とする識別装置は、複合機1に限定されるものではない。例えば、デジタルスチルカメラDC、スキャナ、画像処理用のコンピュータプログラム(例えば、レタッチソフトウェア)を実行可能なコンピュータであってもよい。また、画像データに基づく画像を表示可能な画像表示装置、画像データを記憶する画像データ記憶装置であってもよい。
また、前述した実施形態は、識別対象画像のシーンを識別する複合機1について記載されているが、その中には、シーン識別装置、シーン識別方法、識別したシーンを利用する方法(例えば、シーンに基づく画像補正方法、印刷方法及び液体吐出方法)、コンピュータプログラム、コンピュータプログラムやコードを記憶した記憶媒体等の開示も含まれる。
また、識別器に関し、前述した実施形態では、サポートベクターマシンを例示したが、識別対象画像のシーンを識別できるものであれば、サポートベクターマシンに限られない。例えば、識別器として、ニューラルネットワークを用いてもよいし、アダブーストを用いてもよい。
複合機1及びデジタルスチルカメラを説明する図である。 図2Aは、複合機1が有する印刷機構の構成を説明する図である。図2Bは、メモリが有する記憶部を説明する図である。 プリンタ側コントローラによって実現される機能を説明するブロック図である。 シーン識別部の概略構成を説明する図である。 シーン識別部の具体的な構成を説明する図である。 部分特徴量の取得を説明するフローチャートである。 部分画像を説明するための図である。 線形サポートベクターマシンを説明するための図である。 非線形サポートベクターマシンを説明するための図である。 肯定閾値を説明するための図である。 画像識別処理を説明するためのフローチャートである。 部分画像識別処理を説明するためのフローチャートである。 複合機1及びデジタルスチルカメラを説明する図である。 図14Aは、複合機1が有する印刷機構の構成を説明する図である。図14Bは、メモリが有する記憶部を説明する図である。 プリンタ側コントローラによって実現される機能を説明するブロック図である。 シーン識別部の概略構成を説明する図である。 シーン識別部の具体的な構成を説明する図である。 部分特徴量の取得を説明するフローチャートである。 部分画像を説明するための図である。 図20Aは、夕景のシーンの存在確率情報を説明する図である。図20Bは、夕景のシーンの存在確率順位情報を説明する図である。 図21Aは、花のシーンの存在確率情報を説明する図である。図21Bは、花のシーンの存在確率順位情報を説明する図である。 図22Aは、紅葉のシーンの存在確率情報を説明する図である。図22Bは、紅葉のシーンの存在確率順位情報を説明する図である。 線形サポートベクターマシンを説明するための図である。 非線形サポートベクターマシンを説明するための図である。 肯定閾値を説明するための図である。 画像識別処理を説明するためのフローチャートである。 部分画像識別処理を説明するためのフローチャートである。
符号の説明
1 複合機,10 画像読み取り部,20 画像印刷部,
30 プリンタ側コントローラ,30A 顔識別部,30B シーン識別部,
30C 画像補正部,30D 機構制御部,30E 特徴量取得部,
30F 全体識別器,30G 部分画像識別器,30H 統合識別器,
30I 識別処理部,31 メインコントローラ,32 制御ユニット,
33 駆動信号生成部,34 インタフェース,35 メモリ用スロット,
36 CPU,37 メモリ,37a プログラム記憶部,
37b パラメータ記憶部,37c 画像記憶部,37d 付属情報記憶部,
37e 特徴量記憶部,37f 確率情報記憶部,37g カウンタ部,
37h 肯定フラグ記憶部,37i 否定フラグ記憶部,37j 結果記憶部,
37k 選択情報記憶部,40 印刷機構,41 モータ,42 センサ,
43 ヘッド制御部,44 ヘッド,51 部分特徴量取得部,
52 全体特徴量取得部,61 風景識別器,
61a 風景用サポートベクターマシン,61b 風景用判断部,
62 夕景識別器,62a 夕景用サポートベクターマシン,62b 夕景用判断部,
63 夜景識別器,63a 夜景用サポートベクターマシン,
63b 夜景用判断部,64 花識別器,64a 花用サポートベクターマシン,
64b 花用判断部,65 紅葉識別器,
65a 紅葉用サポートベクターマシン,65b 紅葉用判断部,
71 夕景部分サブ識別器,71a 夕景用部分サポートベクターマシン,
71b 夕景検出数カウンタ,71c 夕景判断部,71d 識別用カウンタ,
71e 残数用カウンタ,72 花部分サブ識別器,
72a 花用部分サポートベクターマシン,72b 花検出数カウンタ,
72c 花判断部,73 紅葉部分サブ識別器,
73a 紅葉用部分サポートベクターマシン,73b 紅葉検出数カウンタ,
73c 紅葉判断部,DC デジタルスチルカメラ,
MC メモリカード,BU バス

Claims (17)

  1. 識別対象画像の一部を構成する部分画像の特徴を示す部分特徴量を取得する特徴量取得部と、
    前記特徴量取得部で取得された前記部分特徴量に基づいて、前記部分画像が所定のシーンに属するか否かを識別する部分識別部と、
    前記部分識別部によって前記所定のシーンに属すると識別された前記部分画像の個数を検出する検出部と、
    前記検出部が検出した前記部分画像の個数に応じて、前記識別対象画像が前記所定のシーンに属するか否かを判断する判断部と、
    を有するシーン識別装置。
  2. 請求項1に記載のシーン識別装置であって、
    前記判断部は、
    前記検出部が検出した前記部分画像の個数が所定の閾値を超えた場合、前記識別対象画像が前記所定のシーンに属すると判断する、シーン識別装置。
  3. 請求項2に記載のシーン識別装置であって、
    前記検出部は、
    前記識別対象画像から得られる全ての前記部分画像のうち、前記部分識別部による識別が行われていない残り画像数を検出し、
    前記判断部は、
    前記検出部が検出した、前記残り画像数と、前記所定のシーンに属する前記部分画像の個数と、の加算値が前記所定の閾値に達しない場合、前記識別対象画像が前記所定のシーンに属さないと判断する、シーン識別装置。
  4. 請求項2または3に記載のシーン識別装置であって、
    識別対象となる前記所定のシーンの種類毎に前記部分識別部を有する、シーン識別装置。
  5. 請求項4に記載のシーン識別装置であって、
    複数の前記所定のシーンに対して、前記所定の閾値がそれぞれ設定されている、シーン識別装置。
  6. 請求項4または5に記載のシーン識別装置であって、
    前記判断部は、
    第1の部分識別部を用いた識別によって、前記識別対象画像が第1の所定のシーンに属することが判断できなかった場合、前記第1の部分識別部とは異なる他の部分識別部を用いた識別によって、前記識別対象画像が前記第1の所定のシーンとは異なる他の所定のシーンに属するか否かを判断する、シーン識別装置。
  7. 請求項1から6の何れかに記載のシーン識別装置であって、
    前記部分識別部は、
    前記部分画像が前記所定のシーンに属する確率を示す確率情報を、前記部分画像に対応する前記部分特徴量から取得し、当該確率情報に基づいて前記部分画像が所定のシーンに属するか否かを識別する、シーン識別装置。
  8. 請求項7に記載のシーン識別装置であって、
    前記部分識別部は、
    前記部分特徴量から前記確率情報を取得するサポートベクターマシンである、シーン識別装置。
  9. 請求項1から8の何れかに記載のシーン識別装置であって、
    前記特徴量取得部は、
    前記識別対象画像の特徴を示す全体特徴量を取得し、
    前記部分識別部は、
    前記特徴量取得部で取得された前記部分特徴量と前記全体特徴量とに基づいて、前記部分画像が前記所定のシーンに属するか否かを識別する、シーン識別装置。
  10. 識別対象画像の一部を構成する部分画像の特徴を示す部分特徴量を取得するステップと、
    取得された前記部分特徴量に基づいて、前記部分画像が所定のシーンに属するか否かを識別するステップと、
    前記所定のシーンに属すると識別された前記部分画像の個数を検出するステップと、
    検出した前記部分画像の個数に応じて、前記識別対象画像が前記所定のシーンに属するか否かを判断するステップと、
    を有するシーン識別方法。
  11. 所定のシーンに属する画像の全体領域を分割した各部分領域毎に前記所定のシーンの特徴が表れる確率である存在確率を示す存在確率情報、及び、複数の前記部分領域に対する前記存在確率の高さの順位を示す存在確率順位情報、の少なくともいずれか一方が記憶される記憶部と、
    識別対象画像のうちの前記部分領域に対応する部分画像の特徴を示す部分特徴量を取得する特徴量取得部と、
    前記特徴量取得部で取得される前記部分特徴量に基づいて前記部分画像が前記所定のシーンに属するか否かを、前記記憶部から読み出される前記存在確率情報及び前記存在確率順位情報の少なくともいずれか一方に基づいて前記存在確率の高い前記部分画像から順に評価する部分評価部と、
    前記部分評価部によって得られた評価値に応じて、前記識別対象画像が前記所定のシーンに属するか否かを判断する判断部と、
    を有するシーン識別装置。
  12. 請求項11に記載のシーン識別装置であって、
    前記部分評価部は、
    前記部分特徴量に基づいて前記部分画像が前記所定のシーンに属するか否かを識別し、
    前記判断部は、
    前記部分評価部によって前記所定のシーンに属すると識別された前記部分画像の個数が所定の閾値を超えた場合に、前記識別対象画像が前記所定のシーンに属すると判断する、シーン識別装置。
  13. 請求項12に記載のシーン識別装置であって、
    前記記憶部には、前記存在確率情報及び前記存在確率順位情報の少なくともいずれか一方が、識別対象となる前記所定のシーンの種類毎に記憶される、シーン識別装置。
  14. 請求項13に記載のシーン識別装置であって、
    前記所定のシーンの種類毎に前記部分評価部を有し、
    各々の前記部分評価部は、
    識別を行う前記所定のシーンに対応して前記記憶部から読み出される前記存在確率情報及び前記存在確率順位情報の少なくともいずれか一方に基づいて、当該所定のシーンにおける前記存在確率の高い前記部分画像から順に識別する、シーン識別装置。
  15. 請求項14に記載のシーン識別装置であって、
    複数の前記所定のシーンに対して、前記所定の閾値がそれぞれ設定され、
    前記判断部は、
    前記部分評価部を用いた識別によって、対応する前記所定のシーンに属すると識別された前記部分画像の個数が当該所定のシーンに設定された前記所定の閾値を超えた場合に、前記識別対象画像が当該所定のシーンに属すると判断する、シーン識別装置。
  16. 請求項14または15に記載のシーン識別装置であって、
    前記判断部は、
    第1の部分評価部を用いた識別に基づいて、前記識別対象画像が第1の所定のシーンに属することを判断できなかった場合、前記第1の部分評価部とは異なる他の部分評価部を用いて、前記部分画像が前記第1の所定のシーンとは異なる他の所定のシーンに属するか否かを識別する、シーン識別装置。
  17. 請求項11から16の何れかに記載のシーン識別装置であって、
    前記特徴量取得部は、
    前記識別対象画像の特徴を示す全体特徴量を取得し、
    前記部分評価部は、
    前記特徴量取得部で取得される前記部分特徴量と前記全体特徴量とに基づいて、前記部分画像が前記所定のシーンに属するか否かを、前記記憶部から読み出される前記存在確率情報及び前記存在確率順位情報の少なくともいずれか一方に基づいて前記存在確率の高い前記部分画像から順に評価する、シーン識別装置。
JP2007315247A 2007-03-23 2007-12-05 シーン識別装置、及び、シーン識別方法 Withdrawn JP2008269560A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007315247A JP2008269560A (ja) 2007-03-23 2007-12-05 シーン識別装置、及び、シーン識別方法
US12/052,632 US20080232696A1 (en) 2007-03-23 2008-03-20 Scene Classification Apparatus and Scene Classification Method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007077517 2007-03-23
JP2007083769 2007-03-28
JP2007315247A JP2008269560A (ja) 2007-03-23 2007-12-05 シーン識別装置、及び、シーン識別方法

Publications (1)

Publication Number Publication Date
JP2008269560A true JP2008269560A (ja) 2008-11-06

Family

ID=40048922

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007315247A Withdrawn JP2008269560A (ja) 2007-03-23 2007-12-05 シーン識別装置、及び、シーン識別方法

Country Status (1)

Country Link
JP (1) JP2008269560A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458047A (zh) * 2019-07-23 2019-11-15 北京理工大学 一种基于深度学习的越野环境场景识别方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004062605A (ja) * 2002-07-30 2004-02-26 Fuji Photo Film Co Ltd シーン識別方法および装置ならびにプログラム
JP2005310123A (ja) * 2004-03-24 2005-11-04 Fuji Photo Film Co Ltd 特定シーンの画像を選別する装置、プログラムおよびプログラムを記録した記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004062605A (ja) * 2002-07-30 2004-02-26 Fuji Photo Film Co Ltd シーン識別方法および装置ならびにプログラム
JP2005310123A (ja) * 2004-03-24 2005-11-04 Fuji Photo Film Co Ltd 特定シーンの画像を選別する装置、プログラムおよびプログラムを記録した記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458047A (zh) * 2019-07-23 2019-11-15 北京理工大学 一种基于深度学习的越野环境场景识别方法及系统

Similar Documents

Publication Publication Date Title
JP2008282267A (ja) シーン識別装置、及び、シーン識別方法
JP2008234623A (ja) カテゴリー識別装置、カテゴリー識別方法、及び、プログラム
US10127436B2 (en) Apparatus, image processing method and storage medium storing program
US20170337721A1 (en) Image processing apparatus and image processing method
US9436706B2 (en) Image processing apparatus, image processing method, and storage medium for laying out images
JP2008234627A (ja) カテゴリー識別装置、及び、カテゴリー識別方法
JP5040624B2 (ja) 情報処理方法、情報処理装置及びプログラム
JP2009093334A (ja) 識別方法及びプログラム
US20150062652A1 (en) Image processing apparatus, image processing method, and storage medium
JP4826531B2 (ja) シーン識別装置、及び、シーン識別方法
JP2009080557A (ja) 識別方法及びプログラム
US9509870B2 (en) Image processing apparatus, image processing method, and storage medium enabling layout varations
JP2008282085A (ja) シーン識別装置、及び、シーン識別方法
JP2007094840A (ja) 画像処理装置、及び画像処理方法
US20080199084A1 (en) Category Classification Apparatus and Category Classification Method
JP4946750B2 (ja) 設定方法、識別方法及びプログラム
US20080232696A1 (en) Scene Classification Apparatus and Scene Classification Method
JP2008269560A (ja) シーン識別装置、及び、シーン識別方法
JP4992646B2 (ja) 識別方法及びプログラム
JP4910821B2 (ja) 画像識別方法
JP2008204091A (ja) カテゴリー識別装置、及び、カテゴリー識別方法
JP2008284868A (ja) 印刷方法、印刷装置及びプログラム
JP2008204092A (ja) カテゴリー識別装置
US20080199085A1 (en) Category Classification Apparatus, Category Classification Method, and Storage Medium Storing a Program
JP4882927B2 (ja) カテゴリ識別方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120214

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20120417