JP2007048172A - 情報分類装置 - Google Patents

Abstract

【課題】 簡易な構成で、分類精度を向上できる情報分類装置を提供する。
【解決手段】 対象物を撮像した画像を利用して、前記対象物を予め定めた分類項目のいずれかに分類する情報分類装置であって、入力される画像と、分類項目との関係重みを学習する学習部を複数具備し、入力された学習用画像について、分類項目との関係において定められた特徴量情報を演算し、当該特徴量情報に基づいて、前記複数の学習部のうち一つを選択し、当該選択した学習部に出力して学習処理を実行させる情報分類装置である。
【選択図】 図１

Description

本発明は、例えば人物の顔写真から、当該人物の性別や年齢等といった属性を判別する情報分類装置に関する。

撮像された対象物の分類を行う技術として、例えば従来から、人物の顔の画像について、所定の学習処理を実行して得たデータベースを用いて照合し、当該顔の人物の性別や年齢を推定する技術がある。こうした技術は、例えば来店客を分類してマーケティング情報に用いるといった利用が考えられている。

なお、人物の撮像においては、人物の顔の向きが一定していないことに配慮して、顔の向きを判断に含めた技術が、特許文献１に開示されている。
特開２００３−２４２４８６号公報

しかしながら、上記従来の技術によっては、顔の向きだけでなく、例えば照明の条件の相違など、他の要因に対しても配慮しようとした場合に、各要因別に対処せざるを得なくなり、装置の構成が複雑化する。また、要因によっては、上記照明の条件のように、変化が複雑過ぎて事前に人間が分類を行うことが困難である場合もある。こうした理由から、従来の装置では、分類の対象となった画像と学習に用いた画像との双方の撮像条件が異なる場合の分類精度が低下することがあった。

本発明は上記実情に鑑みて為されたもので、簡易な構成で、分類精度を向上できる情報分類装置を提供することを、その目的の一つとする。

上記従来例の問題点を解決するための本発明は、対象物を撮像した画像を利用して、前記対象物を予め定めた分類項目のいずれかに分類する情報分類装置であって、入力される画像と、分類項目との関係重みを学習する学習部を複数具備し、入力された学習用画像について、分類項目との関係において定められた特徴量情報を演算する手段と、当該特徴量情報に基づいて、前記複数の学習部のうち一つを選択する手段と、当該選択した学習部に出力して学習処理を実行させる手段と、を含み、当該学習処理によって形成された関係重み情報が、対象物の分類に係る所定処理に供されることを特徴としている。

また、本発明の一態様に係る情報分類装置の製造方法は、対象物を撮像した画像を利用して、前記対象物を予め定めた分類項目のいずれかに分類する情報分類装置の製造方法であって、入力される画像と、分類項目との関係重みを学習する学習部を複数有する装置を用いて、入力された学習用画像について、分類項目との関係において定められた特徴量情報を演算する工程と、当該特徴量情報に基づくクラスタリング処理を行って、学習用画像を前記複数の学習部のいずれかに出力し、学習処理を実行させる工程と、を実行させることを特徴としている。

さらに、本発明の別の態様に係る情報分類装置は、対象物を撮像した画像を利用して、前記対象物を予め定めた分類項目のいずれかに分類する情報分類装置であって、入力される画像と、分類項目との関係重みを学習する複数の学習部を具備し、前記学習部の各々が、予め準備された複数の学習用画像のうち、前記分類項目と関係する所定特徴量情報に基づいて割り当てられた一部の学習用画像に基づいて前記関係重みを学習しており、分類処理の対象となった画像の入力を受けて、当該画像に係る前記所定特徴量を演算する手段と、当該特徴量情報に基づいて、前記複数の学習部のうち一つを選択する手段と、前記選択された学習部において学習された関係重みの情報を用いて、前記分類対象となった画像の分類処理を実行する手段と、を含むことを特徴としている。

これらにおいて、前記対象物は人物の顔であり、前記特徴量情報に、四方向面特徴情報を用いることとしてもよい。なお、分類項目としては人物の性別、見た目の年齢、実年齢、人種、眼鏡の有無、ひげの有無に関わる視覚的あるいは身体的属性に関する分類とすることが有効である。

また、本発明の別の態様は、プログラムであって、対象物を撮像した画像を利用して、前記対象物を予め定めた分類項目のいずれかに分類する情報分類装置であって、入力される画像と、分類項目との関係重みを学習する各学習部が、予め準備された複数の学習用画像のうち、所定特徴量情報に基づくクラスタリング処理によって割り当てられた学習用画像に基づいて前記関係重みを学習している情報分類装置を用い、分類処理の対象となった画像の入力を受けて、当該画像に係る前記所定特徴量を演算し、前記クラスタリング処理の結果を用いて、使用するべき学習部を選択する手順と、前記選択された学習部において学習された関係重みの情報を用いて、前記分類対象となった画像の分類処理を実行する手順と、を実行させることを特徴としている。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る情報分類装置１は、図１に示すように、制御部１１と、記憶部１２と、ストレージ部１３と、操作部１４と、表示部１５とを含み、インタフェースＩ／Ｆを介して、撮像部２に接続されている。

制御部１１は、ＣＰＵ等であり、記憶部１２に格納されているプログラムに従って動作する。この制御部１１は、学習時の処理と、分類処理時の処理とで異なる処理を実行する。この制御部１１の動作については、後に詳しく述べる。

記憶部１２は、ＲＡＭやＲＯＭ等の記憶素子を含んで構成されている。この記憶部１２には、制御部１１によって実行されるプログラムが保持される。また、この記憶部１２は、制御部１１のワークメモリとしても動作する。ストレージ部１３は、ハードディスク等であり、制御部１１の学習時処理によって生成される学習データベース等を記憶する。

操作部１４は、マウスやキーボード等を含んで構成される。この操作部１４は、利用者の指示操作を受け入れて、当該指示操作の内容を制御部１１に出力する。表示部１５は、ディスプレイ等であり、制御部１１から入力される指示に従って情報を表示する。

撮像部２は、例えばカメラであり、撮像した画像を情報分類装置１に出力する。ここでは撮像部２が人物の顔を含む画像を撮像するものとする。

本実施の形態において特徴的なことの一つは、制御部１１における学習時処理によって獲得される学習データベースが複数であることである。以下、まず制御部１１の学習時処理について説明する。制御部１１は、学習時には、学習用の画像データを複数受け入れる。この学習用の画像データは、分類の対象となる対象物（例えば、人物の顔を分類の対象とするのであれば、人物の顔）が撮像されているデータである。また、この学習用の画像データの各々には、予めどの分類項目に分類されるべきかを表す情報が関連づけられている。

制御部１１の学習時処理は、図２に機能的に示すように、前処理部２１と、特徴量演算部２２と、クラスタ判定部２３と、学習処理部２４とを含んで構成されている。ここで前処理部２１は、入力された複数の学習画像データから顔部分を認識し、当該顔部分の画像を予め定められた傾きや大きさに正規化する。この正規化の処理は、広く知られる処理であるので、ここでの詳細は省略する。

特徴量演算部２２は、前処理部２１が出力する画像に基づいて特徴量情報を演算する。ここで演算する特徴量情報は、分類項目との関係において定められるものとする。例えば分類項目が人物の性別や年齢層、人種である場合、この特徴量情報は、四方向面特徴情報などを用いる。

すなわち、人物の例えば性別を顔の特徴に求める場合、一般に女性は男性に比して眼が大きく、鼻は小さく、顎が細い、というような差があるとされる。ここで例えば顎の画像の各画素における濃淡値の水平、垂直、左下がり、右下がりの四方向のエッジ勾配をそれぞれ方向別に分解して４つの画像を生成し、この４つの画像を利用した線形判別分析による性別推定を行う例が、川野卓也、加藤邦人、山本和彦, 「四方向面特徴を用いた顔部品による性別推定性能の考察」， MIRU2004, Vol.I, pp.648-653 (2004.7)に開示されている。

本実施の形態の特徴量演算部２２では、各学習画像データについて、輝度補正（ヒストグラムイコライゼーション等）を行った後に、この四方向面特徴情報を生成して出力する。

クラスタ判定部２３は、例えばｋ−ｍｅａｎｓ法により、特徴量情報を用いた学習用画像データのクラスタ分類を行う。初めに、入力された複数の学習画像データに基づく特徴量情報のそれぞれについて、当該特徴量情報によって規定される特徴量空間（例えば四方向面特徴情報の各画像が、それぞれ８×８画素の画像として得られる場合、これらの画素の値を各成分とした８×８×４＝２５６次元の特徴量空間とすることができる）の座標値を演算して、記憶する。

次に、クラスタ生成部２３は、予め指定された個数の、各学習データベースに対応するクラスタ中心座標を決定する。このクラスタ生成部２３によるクラスタ中心座標の決定方法の例は次のようなものである。まず、初期値の中心座標を設定する。このとき中心座標は、当初はランダムでよい。もっとも、学習画像データから得られた特徴量情報の成分ごとの平均及び標準偏差を演算して、各クラスタ中心座標の各成分がいずれも成分ごとに演算した平均から標準偏差の範囲内に収まるようにランダムに配置することとしてもよい。

次に、各学習画像データから得られた特徴量情報を、それぞれ特徴量空間内で最も近いクラスタ中心に関連づける。そして各クラスタ中心ごとに、関連づけられた特徴量情報に係る特徴量空間の重心座標を演算して、この重心座標を、新たなクラスタ中心位置とする。これらの処理を、新たなクラスタ中心位置が、元のクラスタ中心位置と変化がなくなるまで、または指定された回数だけ繰り返す。これにより、学習データベースの数だけのクラスタ中心位置が決定されるとともに、各学習画像データに係る特徴量情報を、特徴量空間内で最も近いクラスタ中心に関連づける。

クラスタ生成部２３は、各クラスタ中心ごとに、クラスタ中心に関連づけられた特徴量情報を出力する。例えば、各特徴量情報を、関連づけられたクラスタ中心に対応する学習データベースを特定する情報とともに出力する。また、このクラスタ生成部２３は、各学習データベースを特定する情報と、特徴量空間内におけるクラスタ中心の座標値とを関連づけて、クラスタデータベースとして、ストレージ部１３に格納する。

学習処理部２４は、クラスタ生成部２３から、各学習画像データに係る特徴量情報について、特徴量情報と学習データベースを特定する情報とを関連づけた情報の入力を受けて、例えばサポートベクターマシン（ＳＶＭ）を利用して、上記情報で特定された学習データベースの学習を行う。例えばｉ番目の学習データベースを特定する情報とともにある特徴量情報Ｘが入力された場合、当該特徴量情報Ｘを用いて、ｉ番目の学習データベースの内容を学習する。

すなわち、この場合は、特徴量情報Ｘ（ベクトル量であるとする）に含まれる各成分と、当該特徴量情報Ｘに係る学習画像データに関連づけて入力された分類項目を特定する情報（例えば性別、年齢層などの情報）とを関連づける、ｉ番目の学習データベースでの関係重みの値を学習することになる。

ここでＳＶＭなどを利用した学習処理と、ＳＶＭで利用される学習結果（学習データベース）の内容については、広く知られているので、ここでの詳細な説明を省略する。なお、学習データベースは分類項目ごとの学習データベース要素を含んでもよい。この場合は、各学習データベース要素が、学習画像データと対応する分類項目との間の関係重みを学習することとなる。また分類項目には、複数の分類要素を含んでもよい。例えば、年齢層と、性別との各分類要素を組として、「１０代男性」、「１０代女性」などという分類項目としてもよい。

本実施の形態の学習処理では、以上のように学習が行われる結果、学習用に用意された複数の画像データについて、分類項目との関係において定められたクラスタに対応した複数の学習データベースが生成されることとなる。この学習データベースが本発明の学習部に相当する。

次に、本発明の実施の形態における制御部１１の分類処理について説明する。この分類処理は、機能的には、図３に示すように、前処理部２１と、特徴量演算部２２と、クラスタ判定部３１と、分類処理部３２とを含んで構成されている。ここで、図２に示した学習時処理と同様の処理を行うものについては同一の符号を付している。すなわち、本実施の形態では、分類の対象となった画像の入力を、撮像部２から受け入れる。ここで制御部１１は、撮像部２から入力される画像が一連の静止画像データを含む動画像である場合は、当該動画像に含まれる静止画像データの少なくとも一つについて選択的に分類処理を実行する。

制御部１１は、分類処理の対象となった画像データについて、前処理部２１の処理として顔部分を認識し、当該顔部分の画像を予め定められた傾きや大きさに正規化する。

また特徴量演算部２２は、前処理部２１が出力する画像に基づいて特徴量情報を演算する。ここで演算する特徴量情報は、学習時処理と同じものであり、ここでは四方向面特徴情報とする。

本実施の形態の特徴量演算部２２は、前処理部２１が出力した画像について、輝度補正（ヒストグラムイコライゼーション等）を行った後に、この四方向面特徴情報を生成して出力する。

クラスタ判定部３１は、ストレージ部１３に格納されているクラスタデータベースを読み出して、次の処理を行う。すなわち、クラスタ判定部３１は、クラスタデータベースに含まれるクラスタ中心のうち、特徴量演算部２２が出力する特徴量情報に対し、特徴量空間にて最も近くにあるクラスタ中心を見いだす。そして、当該見いだしたクラスタ中心に対応する学習データベースを特定する情報を出力する。

分類処理部３２は、クラスタ判定部３１が出力する情報で特定される学習データベースをストレージ部１３から読み出す。そして、分類処理の対象となった画像データについての分類項目を、当該読み出した学習データベースを用いて決定する。この処理は、ＳＶＭ等による学習処理で得られたデータベースを用い、分類を判断する処理として広く知られているので、詳細な説明を省略する。分類処理部３２は、決定した分類項目を特定する情報を出力する。

制御部１１は、この決定した分類項目の情報をストレージ部１３に蓄積してもよいし、表示部１４等に表示出力してもよい。また、ここで蓄積された分類項目の情報は、所定の集計処理等に供されて、当該集計処理等の結果が例えば表示部１４に表示出力される。

本実施の形態によると、分類項目との関係において定められた特徴量情報を用いてクラスタリングを行っておき、当該クラスタリングの結果によって、学習するデータベースを選択する。そして選択したデータベースを学習させて、情報分類装置を生成する。

そして、分類対象の画像についても同様にクラスタリングを行って利用するデータベースを選択し、当該選択したデータベースを参照して、分類処理を行う。

これにより、本実施の形態では、簡易な構成で、分類精度を向上できる。なお、ここではクラスタリングの方法としてｋ−ｍｅａｎｓ法を用いたが、ＳＯＭ（自己組織化マップ）など他のクラスタリング技術を用いてもよい。また、各学習画像データから得られた特徴量情報の距離関係に基づいてクラスタの数を自動的に決定しつつ、クラスタ化を行う手法(特開２００３−２２８７０６号公報に記載)を用いることもできる。また、学習データベースの生成においても、ＳＶＭの代わりに他の識別方法（線形判別分析など）を用いても構わない。また、ここでは、人物の顔を対象とする例について述べたが、これに限られない。

本実施の形態に係る情報分類装置を利用すると、例えば、カメラに写った人の顔から顔部分を検出し、性別や年齢を判定するシステムを構築できる。例えば複写機などのＯＡ機器近傍に設置しておき、顧客の性別や年齢をより正確に判断し、例えば老人には文字を大きく表示し子供にはひらがなで表示するなど、顧客の人物属性に応じて表示内容を制御してもよい。

さらに本実施の形態において、どのクラスタ中心からも所定しきい距離より遠い分類対象データについては、判定不可能であるとして学習データベースを参照した分類処理を行わないようにしてもよい。こうすることで、例えば、撮像部２で撮影される動画データから一定のフレームおきに画像データを取得し、画像中に含まれる人物の顔から当該人物の属性を判定する場合に、どのクラスタ中心からも所定しきい値以上遠いときに、推定が成功する可能性が低い顔画像を除外し、次に取得された顔画像で人物属性を判定することができ、精度を向上できる。

[実施例]
以下、照明条件の異なる２種類の顔画像データベースとして、顔向きは正面、照明は全て一定で室内で撮影され、背景は青に統一された研究用の画像データ（Ａ）と、ランダムに集められた通常のスナップ写真から既存の顔検出器を用いて顔画像を抽出して得た画像データ（Ｂ）と用意する。

これら画像データ群Ａ，Ｂ中のそれぞれの顔画像には、各々の性別に対応したフラグを付しておく。さらに多様な照明条件に対応したサンプルを得るため、これら画像データ群Ａ，Ｂを混合して、この中から所定人数分をランダムに選んでテスト用のサンプルとし、残りを学習画像データとして性別の認識率を行うという作業を行う。

そしてこの推定の成功率の平均値を性別認識率とした。推定の正否は付された性別フラグと判定の結果が合致すれば成功、合致しなければ不成功とした。

本実施例では、あらかじめ実験用に切り出された２７×２７画素の２５６階調グレースケールの顔画像を用いた。そして各学習画像データについて特徴量情報を生成し、ｋ−ｍｅａｎｓ法を用いて特徴量情報を２つのクラスタに分類する。この特徴量情報の分類結果により、各学習画像データを２つに分類し、各分類に対応する２つの学習データベースのそれぞれを対応する分類に分類された学習画像データを用いて学習させる。ここでは学習データベースとしてＳＶＭのサポートベクターおよび各種パラメータを記録したファイルを用いる。

こうして生成した学習データベースを用いて、テスト用サンプルの分類を試行する。また、対比のため、撮像条件に統一性のある画像データ群（Ａ）を用いて単独の学習データベースを作成して画像データ群（Ｂ）の性別認識を行った場合と、画像データ群Ａ，Ｂを混合した学習画像データを用いて単独の学習データベースを学習させた例（クラスタリングを行わない例）を併せて試行した。

この結果、画像データ群（Ａ）による単独の学習データベースを用いて画像データ群（Ｂ）の性別認識をおこなった例では５６．６％、混合した画像データによる単独の学習データベースを用いた例では、性別認識の正答率は、７８．７％にとどまったのに対して、２つの学習データベースを用いた場合は、性別認識の正答率は、９１．７％と飛躍的に向上した。

本発明の実施の形態に係る情報分類装置の一例を表す構成ブロック図である。 本発明の実施の形態に係る情報分類装置の学習処理の一例を表す機能ブロック図である。 本発明の実施の形態に係る情報分類装置の分類処理の一例を表す機能ブロック図である。

符号の説明

１ 情報分類装置、２ 撮像装置、１１ 制御部、１２ 記憶部、１３ ストレージ部、１４ 操作部、１５ 表示部。

Claims (5)

1. 対象物を撮像した画像を利用して、前記対象物を予め定めた分類項目のいずれかに分類する情報分類装置であって、
   入力される画像と、分類項目との関係重みを学習する学習部を複数具備し、
   入力された学習用画像について、分類項目との関係において定められた特徴量情報を演算する手段と、
   当該特徴量情報に基づいて、前記複数の学習部のうち一つを選択する手段と、
   当該選択した学習部に出力して学習処理を実行させる手段と、を含み、
   当該学習処理によって形成された関係重み情報が、対象物の分類に係る所定処理に供されることを特徴とする情報分類装置。
2. 対象物を撮像した画像を利用して、前記対象物を予め定めた分類項目のいずれかに分類する情報分類装置の製造方法であって、
   入力される画像と、分類項目との関係重みを学習する学習部を複数有する装置を用いて、
   入力された学習用画像について、分類項目との関係において定められた特徴量情報を演算する工程と、
   当該特徴量情報に基づくクラスタリング処理を行って、学習用画像を前記複数の学習部のいずれかに出力し、学習処理を実行させる工程と、
   を実行させることを特徴とする情報分類装置の製造方法。
3. 対象物を撮像した画像を利用して、前記対象物を予め定めた分類項目のいずれかに分類する情報分類装置であって、
   入力される画像と、分類項目との関係重みを学習する複数の学習部を具備し、
   前記学習部の各々が、予め準備された複数の学習用画像のうち、前記分類項目と関係する所定特徴量情報に基づいて割り当てられた一部の学習用画像に基づいて前記関係重みを学習しており、
   分類処理の対象となった画像の入力を受けて、当該画像に係る前記所定特徴量を演算する手段と、
   当該特徴量情報に基づいて、前記複数の学習部のうち一つを選択する手段と、
   前記選択された学習部において学習された関係重みの情報を用いて、前記分類対象となった画像の分類処理を実行する手段と、
   を含むことを特徴とする情報分類装置。
4. 請求項１または３に記載の情報分類装置であって、
   前記対象物は人物の顔であり、前記特徴量情報に、四方向面特徴情報を用いたことを特徴とする情報分類装置。
5. 対象物を撮像した画像を利用して、前記対象物を予め定めた分類項目のいずれかに分類する情報分類装置であって、入力される画像と、分類項目との関係重みを学習する各学習部が、予め準備された複数の学習用画像のうち、所定特徴量情報に基づくクラスタリング処理によって割り当てられた学習用画像に基づいて前記関係重みを学習している情報分類装置を用い、
   分類処理の対象となった画像の入力を受けて、当該画像に係る前記所定特徴量を演算し、前記クラスタリング処理の結果を用いて、使用するべき学習部を選択する手順と、
   前記選択された学習部において学習された関係重みの情報を用いて、前記分類対象となった画像の分類処理を実行する手順と、
   を実行させることを特徴とするプログラム。
   

Images