JP2006018707A - 被写体識別装置、その識別方法とその識別プログラム、および被写体識別器設定装置、その設定方法とその設定プログラム - Google Patents

Abstract

【課題】 自由に撮影した画像中から、任意の範囲の変動をもつ所望の被写体を、極めて少ない検出漏れや誤検出で検出することができる。
【解決手段】 被写体識別装置１０は、画像入力部１１と統合識別器１２から構成され、統合識別器１２は、複数の識別器１〜Ｎと識別結果統合部１３とを有し、統合識別器１２は、被写体識別器設定装置２０からの出力によって設定される。被写体識別器設定装置２０は、画像データ蓄積部２１、識別器仕様情報入力部２２、識別器仕様テーブル２３及び統合識別器設定部２０から構成される。画像データ蓄積部２１は、検出したい被写体の画像を蓄積し、識別器仕様情報入力部２２は、識別器仕様情報を入力し、その情報に基づき、識別器仕様テーブル２３を書き換え、統合識別器設定部２４は、識別器仕様テーブル２３に基づき、目的の被写体を識別する統合識別器１２を設定する。
【選択図】 図１

Description

本発明は、画像に含まれる被写体を、精度よく識別するための被写体識別装置、その識別方法とその識別プログラム、および被写体識別器設定装置、その設定方法とその設定プログラムに関するものである。

カメラ付き携帯電話やデジタルカメラの普及により、個人の扱う画像数は大きい。こうした画像中から目的とする被写体が写っている画像とそれ以外の画像に分類を行ったり、被写体の数による分類、検索を行うためには、画像中から目的の被写体のみを正確に検出する必要がある。

画像中から被写体を検出する画像処理の技術は、従来より研究されている。例えば、被写体の形状によるテンプレートを作成し、あるいは、被写体の形状を既定の形状に近似し、類似する形状をもつ被写体を検出する方法が知られている（例えば、特許文献１参照。）。

しかし、撮影環境が規定通りの条件下に設定されていない場合や、撮影角度により見え方の異なる被写体の場合、検出は困難である。

また、被写体の部位を検出する手法も提案されている。例えば、顔領域では、目、鼻、口等の顔部位を見つけることで顔領域を検出する方法がある（例えば、特許文献２参照。）。

さらに、顔と顔でないもの（以下、非顔と記述）を学習して顔を判別する方法（例えば、特許文献３参照。）が研究されており、予め検出したい被写体の向きごとに何らかの特徴を既定し、向きごとのデータを用意し、検出したい角度ごとに識別器を構成することによって、対応する手法が提案されている。
特開２００１−０５２１７６号公報 特開平０９−０７３５４４号公報 特開２００３−０４４８５３号公報

しかし、単一の識別器によって有限の範囲の角度変動をもつ被写体を検出しようとすると、検出漏れや誤検出が発生し易くなるという問題があった。

本発明の目的は、ユーザが被写体の有無、被写体の数、撮影環境、撮像機器等によらず、自由に撮影した画像中から、任意の範囲の変動をもつ所望の被写体を、極めて少ない検出漏れや誤検出で検出することができる被写体識別装置、その識別方法とその識別プログラム、および被写体識別器設定装置、その設定方法とその設定プログラムを提供することにある。

上記の課題を達成するために、本発明は、画像中から所定の被写体を識別する被写体識別装置において、識別対象となる画像を入力する画像入力手段と、入力された前記画像の中から所定の被写体を識別する複数の識別手段と、前記複数の識別手段の識別結果を統合する識別結果統合手段とを有することを特徴とする。

また、本発明は、前記複数の識別手段が、それぞれが前記所定の被写体の画像、もしくは前記所定の被写体の画像と該被写体以外の画像の双方に基づく学習データを学習することにより判別を行う学習判別型識別手段であり、それぞれが前記所定の被写体の画像、もしくは該被写体以外の画像であって、前記識別手段毎に互いに異なる画像を含む、１つ以上の画像に基づく学習データを学習することにより構成されていることを特徴とする。

また、本発明は、前記複数の識別手段が、それぞれが前記所定の被写体の画像であって、前記識別手段毎に互いに撮影角度が異なる画像を含む、１つ以上の画像に基づく学習データを学習することにより構成されていることを特徴とする。

また、本発明は、前記複数の識別手段が、それぞれが前記所定の被写体の画像、もしくは該被写体以外の画像であって、前記識別手段毎に互いに画像サイズが異なる画像を含む、１つ以上の画像に基づく学習データを学習することにより構成されていることを特徴とする。

また、本発明は、画像中から所定の被写体を識別する被写体識別方法において、識別対象となる画像を入力する画像入力手順と、入力された前記画像の中から所定の被写体を識別する複数の識別手順と、前記複数の識別手順の識別結果を統合する識別結果統合手順とを有することを特徴とする。

また、本発明は、前記複数の識別手順が、それぞれが前記所定の被写体の画像、もしくは前記所定の被写体の画像と該被写体以外の画像の双方に基づく学習データを学習することにより判別を行う学習判別型識別手順であり、それぞれが前記所定の被写体の画像、もしくは該被写体以外の画像であって、前記識別手順毎に互いに異なる画像を含む、１つ以上の画像に基づく学習データを学習することにより構成されていることを特徴とする。

また、本発明は、前記複数の識別手順が、それぞれが前記所定の被写体の画像であって、前記識別手順毎に互いに撮影角度が異なる画像を含む、１つ以上の画像に基づく学習データを学習することにより構成されていることを特徴とする。

また、本発明は、前記複数の識別手順が、それぞれが前記所定の被写体の画像、もしくは該被写体以外の画像であって、前記識別手順毎に互いに画像サイズが異なる画像を含む、１つ以上の画像に基づく学習データを学習することにより構成されていることを特徴とする。

また、本発明は、被写体識別方法における手順を、コンピュータに実行させるためのプログラムとしたことを特徴とする。

また、本発明は、識別対象となる画像を入力する画像入力手段と、入力された前記画像の中から所定の被写体を識別する複数の識別手段と、前記複数の識別手段の識別結果を統合する識別結果統合手段とを有する画像中から所定の被写体を識別する被写体識別装置における、前記複数の識別手段と前記識別結果統合手段とを設定する被写体識別器設定装置であって、前記所定の被写体を含む複数の画像を蓄積する画像データ蓄積手段と、前記複数の識別手段および前記識別結果統合手段を設定するための識別器仕様情報を入力する識別器仕様情報入力手段と、入力された前記識別器仕様情報を記憶する識別器仕様テーブルと、前記識別器仕様テーブルに記憶された識別器仕様情報と前記画像データ蓄積手段に蓄積された画像に基づき前記複数の識別手段と前記識別結果統合手段とを設定する統合識別器設定手段とを有することを特徴とする。

また、本発明は、前記識別器仕様テーブルは、前記複数の識別手段の利用個数を示す識別器利用個数と、利用する前記複数の識別手段のそれぞれの種類を表す識別器種別と、利用する前記複数の識別手段のそれぞれを構成するための変数の情報である識別器構成変数情報と、前記識別結果統合手段において用いられる、利用する前記複数の識別手段を統合する関数の情報である識別結果統合関数情報とを記憶することを特徴とする。

また、本発明は、前記識別器種別に基づき前記複数の識別手段のそれぞれに対して設定される当該識別手段が実行すべき処理手順の情報を記憶する識別器設定情報記憶手段をさらに有することを特徴とする。

また、本発明は、前記複数の識別手段が、それぞれが前記所定の被写体の画像、もしくは前記所定の被写体の画像と該被写体以外の画像の双方に基づく学習データを学習することにより判別を行う学習判別型識別手段であり、前記識別器設定変数情報は、前記複数の識別手段のそれぞれに対応する、前記所定の被写体の画像、もしくは該被写体以外の画像であって、前記識別手段毎に互いに異なる画像を含む、１つ以上の画像に基づく学習データに関する情報であり、前記統合識別器設定手段は、前記識別器設定変数情報に対応する学習データを前記画像データ蓄積手段から読出し、当該識別手段に学習させることを特徴とする。

また、本発明は、識別対象となる画像を入力する画像入力手順と、入力された前記画像の中から所定の被写体を識別する複数の識別手順と、前記複数の識別手順の識別結果を統合する識別結果統合手順とを有する画像中から所定の被写体を識別する被写体識別方法における、前記複数の識別手順と前記識別結果統合手順とを設定する被写体識別器設定方法であって、前記所定の被写体を含む複数の画像を蓄積する画像データ蓄積手順と、前記複数の識別手順および前記識別結果統合手順を設定するための識別器仕様情報を入力する識別器仕様情報入力手順と、入力された前記識別器仕様情報を記憶する識別器仕様テーブルと、前記識別器仕様テーブルに記憶された識別器仕様情報と前記画像データ蓄積手順に蓄積された画像に基づき前記複数の識別手順と前記識別結果統合手順とを設定する統合識別器設定手順とを有することを特徴とする。

また、本発明は、前記識別器仕様テーブルは、前記複数の識別手順の利用個数を示す識別器利用個数と、利用する前記複数の識別手順のそれぞれの種類を表す識別器種別と、利用する前記複数の識別手順のそれぞれを構成するための変数の情報である識別器構成変数情報と、前記識別結果統合手順において用いられる、利用する前記複数の識別手順を統合する関数の情報である識別結果統合関数情報とを記憶することを特徴とする。

また、本発明は、前記識別器種別に基づき前記複数の識別手順のそれぞれに対して設定される当該識別手順が実行すべき処理手順の情報を記憶する識別器設定情報記憶手順をさらに有することを特徴とする。

また、本発明は、前記複数の識別手順が、それぞれが前記所定の被写体の画像、もしくは前記所定の被写体の画像と該被写体以外の画像の双方に基づく学習データを学習することにより判別を行う学習判別型識別手順であり、前記識別器設定変数情報は、前記複数の識別手順のそれぞれに対応する、前記所定の被写体の画像、もしくは該被写体以外の画像であって、前記識別手順毎に互いに異なる画像を含む、１つ以上の画像に基づく学習データに関する情報であり、
前記統合識別器設定手順は、前記識別器設定変数情報に対応する学習データを前記画像データ蓄積手順から読出し、当該識別手順に学習させることを特徴とする。

また、本発明は、被写体識別器設定方法における手順を、コンピュータに実行させるためのプログラムとしたことを特徴とする。

以上説明したように、本発明によれば、ユーザが被写体の有無、被写体の数、撮影環境、撮像機器等によらず、自由に撮影した画像中から、任意の範囲の変動をもつ所望の被写体を、極めて少ない検出漏れや誤検出で検出することができる。

以下本発明の実施の形態を図面に基づいて説明する。図１は、本発明の実施の形態を示す被写体識別装置１０、および被写体識別器設定装置２０の概略構成を示す構成説明図である。

被写体識別装置１０は、画像入力部（画像入力手段）１１と統合識別器１２から構成され、統合識別器１２は、複数の識別器（識別手段）１，２…Ｎと識別結果統合部（識別結果統合手段）１３とから構成される。統合識別器１２における複数の識別器１，２…Ｎと識別結果統合部１３は、被写体識別器設定装置２０からの出力によって設定される。

画像入力部１１が、識別対象となる画像の入力を受け、被写体識別器設定装置２０の出力によって設定された統合識別器１２は、画像入力部１１が入力した画像の中から目的の被写体を識別器１，２…Ｎで識別し、その識別結果を、識別結果統合部１３で統合して被写体検出結果を出力する。

被写体識別器設定装置２０は、画像データ蓄積部（画像データ蓄積手段）２１、識別器仕様情報入力部（識別器仕様情報入力手段）２２、識別器仕様テーブル２３、および統合識別器設定部（統合識別器設定手段）２０から構成される。

画像データ蓄積部２１は、検出したい被写体の画像を蓄積する。識別器仕様情報入力部２２は、被写体識別装置１０における複数の識別器１，２…Ｎおよび識別結果統合部１３を設定するための情報である識別器仕様情報を入力し、入力された識別器仕様情報に基づき、識別器仕様テーブル２３を書き換える。統合識別器設定部２４は、識別器仕様テーブル２３に基づき、目的の被写体を識別する統合識別器１２を設定する。

識別器仕様テーブル２３には、被写体を識別する複数の識別器１，２…Ｎを組み合わせて、統合した統合識別器１２を設定するために必要な情報を記憶する。

識別器仕様テーブル２３の例を詳しく説明するために、以下に具体的な例を述べる。

識別器仕様テーブル２３には、統合識別器設定部２４で組み合わせる個々の識別器１，２…Ｎの種類を示す識別器種別と、組み合わせる識別器１，２…Ｎの利用個数を示す識別器利用個数と、識別器１，２…Ｎを構成する変数を示す識別器構成変数情報と、識別器１，２…Ｎを統合する関数を示す識別結果統合関数情報とが記憶されている。

識別器種別は、具体的には、テンプレートマッチングや学習判別法等の、識別器１，２…Ｎの種類を示す識別器１，２…Ｎの種別である。

識別器利用個数は、統合識別器１２を構成する際に、組み合わせる識別器１，２…Ｎの利用個数である。

識別器構成変数情報は、テンプレートマッチングのテンプレートや、学習判別法の学習データセット等の識別器１，２…Ｎを構成する変数の情報である。
識別結果統合関数情報は、識別器１，２…Ｎを統合する関数の情報である。

画像データ蓄積部２１は、検出したい被写体を含む画像群を蓄積している。
蓄積されている画像群は、順序関係をなすインデクスとなるような状態を表すパラメータで規定される変動について、検出したい被写体の取り得る変動の範囲を連続的にカバーした複数の画像を含んでいるものとする。

このパラメータは、具体的には、撮影された角度や画像中での大きさといったものであるとし、例えば、回転変動に対しては、検出したい被写体の一定の回転角度毎の画像を、取り得る回転変動の範囲をカバーできる枚数だけ蓄積してあるものとする。

識別器仕様情報は、入力された画像中から、目的とする被写体をどのように検出するかを示す情報であり、具体的には、識別器種別、識別器利用個数、識別器構成変数情報、識別結果統合関数情報等である。これらの識別器仕様情報に基づき、予め、識別器仕様テーブル２３を作成しておく。なお、こうした識別器仕様情報は、予め初期値を設定しておき、目的に応じて変更するものとしてもよい。

統合識別器設定部２４では、作成された識別器仕様テーブル２３を元に識別器１，２…Ｎを設定し、統合して、目的とする被写体を検出する統合識別器１２を設定する。識別器１，２…Ｎは、識別器仕様テーブル２３の識別器種別に従い、同じく識別器仕様テーブル２３の識別器構成変数情報から設定する。また、識別器１，２…Ｎをその利用個数、識別結果統合関数情報に従って組み合わせ、統合識別器１２とする。

図２は、被写体識別装置１０、および被写体識別器設定装置２０における処理の流れを示す流れ線図であり、各処理ステップに相当する処理の動作の主体及び対象は、図１に示すブロック構成説明図に相当する処理手段、設定手段、蓄積手段、テーブルである。図２における各ステップの具体的な処理の流れは、以下の通りである。
ステップ１：識別対象となる画像を入力する、
ステップ２：入力された識別器仕様情報に基づき、識別器仕様テーブル２３を作成する、
ステップ３：統合識別器設定部２４が、識別器仕様テーブル２３の設定値と画像データ蓄積部２１の画像データに基づき、識別器を設定する、
ステップ４：統合識別器設定部２４が、識別器仕様テーブル２３の設定値に基づき、識別結果統合部１３を設定する、
ステップ５：各識別器１，２…Ｎが、入力された画像の中から被写体を識別する、
ステップ６：識別結果統合部１３が、各識別器１，２…Ｎの識別結果を統合する、
ステップ７：各識別器１，２…Ｎ、および識別結果統合部１３の再調整を行う場合はステップ２へ、それ以外は処理を終了する。

図２の例では、識別結果により識別器仕様テーブル２３の再調整を行う場合を想定しているが（ステップ７）、識別器仕様テーブル２３の再調整を行わない場合には、ステップ１とステップ２〜４とを入れ替え、識別器１，２…Ｎおよび統合識別器１２の設定を終えた後で、識別対象となる画像を入力するようにしても構わない。

本発明の実施の形態によれば、このように、識別器仕様情報に基づき、所望の識別器１，２…Ｎと統合識別器１２とを設定することにより、検出したい被写体として、「カメラに向かって正面向きの人物のみを検出する」、「ある一定の大きさ以上の被写体領域のみを検出する」、等の検出条件を設定することができる。

図３は、被写体識別器設定装置２０の概略構成を示し、図１による被写体識別器設定装置２０における識別器仕様テーブル２３を元に識別器を設定する構成についてさらに詳しく説明した構成説明図である。

統合識別器設定部２４では、この識別器仕様テーブル２３を元に統合識別器１２を設定する。ここで、識別器種別の情報を元に識別器を設定するための情報は、識別器設定情報記憶部２５に記憶されているものとする。例えば、学習識別器で判別関数を設定し、被写体であるか否かを判断する場合、学習識別器により判別関数を設定するための処理手順もしくはプログラムなどの情報は、識別器設定情報記憶部２５に記憶されているものとする。

図４は、被写体識別器設定装置２０の識別器仕様テーブル２３の一例を示す説明図である。

識別器仕様テーブル２３には、識別する被写体、識別器利用個数、識別器構成変数情報、識別器種別、識別結果統合関数情報が記憶されているものとする。これらの項目を既定とし、その値を可変なものとする。

識別器利用個数は、最終的な識別器１，２…Ｎである統合識別器１２を設定するために、組み合わせる識別器１，２…Ｎの個数を示す。

識別器構成変数は、被写体を識別する際に用いる、検出したい被写体のうち、所望の検出条件に適合するものに共通する特徴（以下、共通特徴と記す）を示す。識別器１，２…Ｎとしてテンプレートマッチングを用いる場合には、被写体テンプレートとなり、学習判別型識別器を用いる場合には、被写体学習データのサイズ、あるいは学習する特徴量となる。

識別器種別は、識別器１，２…Ｎの種類を示す。具体例としては、テンプレートマッチングによる判別や、サポートベクターマシンによる学習判別手法（以下、ＳＶＭと記す）が挙げられる。（サポートベクターマシンについては、文献 "数理化学 No.444, JUNE 2000 赤穂ら" に詳しいので、詳細はこの文献を参照）ここで、指定する識別器１，２…Ｎは、学習による手法と、マッチングによる手法のように別種の組み合わせであってもよい。

また、識別器１，２…Ｎは、識別系の認識手法であれば、どのような手法を用いてもよく、これらの識別器１，２…Ｎを設定する処理手順もしくはプログラム等の情報は、識別器設定情報記憶部２５に記憶されているものとする。

識別結果統合関数情報は、複数の識別器１，２…Ｎをどのように組み合わせるかの方法を示す。例えば、識別器利用個数が２つの場合、この２つの識別器の組み合わせ方を指定する。具体的には、２つの識別器の検出結果の論理積を取り、どちらの識別器からも検出された被写体のみを最終的な識別結果とする等の方法を指定する。

識別器利用個数が３つの場合には、２つの識別器の検出結果の論理和から、別の識別器の検出結果を引き、前の２つの識別器どちらかから検出された結果から、後の１つの識別器で検出された結果を除いた被写体を、最終的な検出結果とする等、３つの識別器の組み合わせ方を指定する。ここで、組み合わせ方は、各識別器からの結果の論理積、論理和、排他的論理和、論理差（否定）、あるいは論理演算以外の関数であってもよい。また、各識別器からの結果をそのまま用いてもよいし、識別器ごとの結果を重み付けして用いてもよい。

なお、識別器利用個数の値をＮ個とした場合には、識別器構成変数情報、識別器種別もＮ個となり、識別結果統合関数はＮ個の識別器を組み合わせる関数となる。

また、初期設定として、識別器種別をＳＶＭ、識別器利用個数を１個、識別器構成変数情報を被写体の正面向きのものを検出できる特徴とするテーブルをあらかじめ用意しておき、識別器仕様情報により、テーブルの各項目を書き換えるものとしてもよい。

図５は、画像データ蓄積部２１に蓄積される画像群を、被写体を人物の顔とした例で一例を示した説明図である。

画像データ蓄積部２１には、蓄積画像群として、人物の画像を蓄積しているものとする。また、識別器種別が被写体とそれ以外の２クラスを学習する学習型判別手法である場合など、被写体以外のデータが必要な場合には、人物以外の風景等の画像を蓄積していてもよい。さらに、ここでは人物を例に説明したが、対象とする被写体は、その姿勢変動による変化が連続的なものであれば、顔に限るものでなくてよい。

図６は、識別器仕様テーブル２３の識別器構成変数情報を、被写体を人物の顔とした例で一例を示した説明図である。設定する識別器１，２…Ｎは、その仕様を識別器仕様テーブル２３に記述された仕様を満たすものであるとする。

識別器仕様テーブル２３に記憶される識別器構成変数情報は、あらかじめデフォルトで用意されていてもよいし、デフォルトで用意されているものをユーザからの識別器仕様情報入力により修正設定してもよいし、識別器仕様情報入力によりはじめて設定するものであってもよい。

識別器構成変数情報は、あらかじめ設定されているか、ユーザにより設定可能なものとする。例えば、検出したい被写体の各々により変化しない特徴、あるいは変化の少ない特徴を利用してもよい。例えば、被写体が人物である場合には、個人によらない部位特徴（濃淡情報や形状、配置）を利用する。

しかし、被写体によっては、形状は同じでも撮影角度によって、見え方が一定の形状のものと、撮影角度により、大きく見え方が異なるものとがある。

前者の場合、全領域のもつ特徴をそのまま使用できるが、後者の場合には、見え方が連続的に変化する特徴を利用する。検出角度を拡大する際には、こうした連続的に変化する特徴を段階的に使用する。

３次元物体が回転運動をするとき、回転軸が画像平面に平行な場合には、回転により見え方の変化量が少ない領域が存在する。よって、画像そのものを特徴として使用する場合には、画像中の被写体の領域のうち、撮影角度により、輝度値の変動が小さい領域を使用することができる。具体的には、検出対象が顔画像である場合は、左半面の目や口の形の形状は、多少の右回転変動による変動が小さい。また、頬の輝度値を基準としたときの目や口、鼻の輝度値の大きさも変化が少ない。

よって、画像データ蓄積部２１の顔画像において、目と口の位置で正規化した顔の左半面領域を切り出して、大きさや輝度分布による正規化を行い、作成したテンプレートは前記特徴となる。したがって、例えば正面向きから右３０度までの顔を検出したい場合には、被写人物の目、鼻、口を含む左反面をその特徴としてもよい。

こうした顔領域の大きさは、大きさの正規化の基準となり得る特徴点、例えば、目、眉、鼻、口の端点（以下、大きさを正規化することのできる特徴点と記述）等の存在を調べ、共通する特徴点のみが含まれるように、決定してもよい。

ここで、所望の範囲の変動の全てに対応できる共通特徴が存在しない場合には、当該範囲を複数に分割する。例えば、当該範囲が正面向き（０度）をはさんで、−１５度〜３０度という場合には、０度で分割し、−１５度〜０度、０度〜３０度というように分割する。

なお、ここでは、顔の部位の端点を利用した特徴点を例に説明したが、顔の領域輝度の空間周波数により領域を決定するなど、別の共通する特徴を抽出し、利用してもよい。

図７では、統合識別器設定部２４で複数の識別器の組み合わせ方を設定する手法について説明する。

検出条件として、正面向き（０度）を含まない範囲の角度の顔を検出したい場合（例：図中「ｅ」）において、「ｅ」が検出可能な共通特徴で構成した１つの識別器のみでは、正面向き（０度）を含む「ａ」の範囲が検出されてしまう。

これは、図６の方法により共通特徴を抽出した場合、右１０度では、例えば、図８における学習データサイズ２、右３０度では同じく学習データサイズ３を用いるため、双方の共通特徴は、学習データサイズ１にも含まれるものとなってしまい、学習データサイズ１により検出できる顔も検出されるからである。

そこで、正面向きから回転角度の絶対値が大きい向きの顔までを検出できる識別器（図中「ａ」）の検出結果から、正面向きから回転角度の絶対値が小さい向きの顔を検出できる識別器（図中「ｃ」）の検出結果を引き算する（論理差、否定を求める）関数を設定する。

このとき、「ａ」を検出する識別器として、正面向きから右３０度までの共通特徴により識別器を構成してもよいし、右１０度から右３０度までの共通特徴により識別器を構成してもよい。

具体的には、正面向きから右３０度までの共通特徴により識別器を構成する場合には、３０度右横向きの顔の顔領域の画像と、この顔領域の大きさに一致させて正面向きの顔から切り出した顔領域の画像（図８の学習データサイズ３に切り出した正面向きの顔に相当）とを学習データセットとして学習させた識別器を構成すればよい。

また、右１０度から右３０度までの共通特徴により識別器を構成する場合には、３０度右横向きの顔の顔領域の画像と、この顔領域の大きさに一致させて１０度右横向きの顔から切り出した顔領域の画像（図８の学習データサイズ３に切り出した１０度右横向きの顔に相当）とを学習データセットとして学習させた識別器を構成すればよい。

また、検出条件として、正面向き（０度）を含む範囲の角度の顔を検出したい場合（例：図中「ｆ」）において、全範囲をカバーできる共通特徴が見つからない場合には、正面向きから角度が負の角度の顔を検出できる識別器（図中「ｃ」）の検出結果と、正面向きから正の角度の顔を検出できる識別器（図中「ｄ」）の検出結果を足し算する（論理和を求める）関数を設定する。（例えば、図８の学習データサイズ３の画像と、学習データサイズ３の左右逆向き画像からの共通特徴を得ることはできない。）
このような場合には、「ｃ」を検出する識別器として、正面向きから右１０度までの共通特徴により構成した識別器と、「ｄ」を検出する識別器として、正面向きから左１５度までの共通特徴により構成した識別器の２つの識別器から検出された領域全てを顔とする統合識別器１２を設定すればよい。

さらに、横向きの変動のみならず、縦向の変動に対応させるためには、同様に複数の識別器を組み合わせ、最終的には、横向きと縦向きの変動を含む顔を検出できる統合識別器１２を設定することができる。

図９は、本発明による被写体識別器設定装置２０の統合識別器設定部２４における識別器の設定の例を示す説明図である。

顔画像を検出したい場合、例えば、学習により顔と非顔を分離する識別面を生成することにより、判別を行う識別器を設定するために、識別面を生成する方法としてサポートベクターマシーンによる手法を用いることを一例に説明する。

学習データとして、識別器仕様テーブル２３により決定された特徴をもつ顔画像あるいはその画像情報を学習顔データとし、それ以外の領域から学習非顔データを作成することによって識別面を生成するとし、顔と判別する特徴量の閾値として、０以上の正の値を定義し、特徴量がこの閾値以上であれば顔と判定し、閾値未満であれば非顔と判定する。この閾値を大きくすると顔の検出率は下がる（再現率の低下）が、誤検出は減る（適合率の向上）。逆に小さくすれば、再現率が向上し、適合率は低下する。よって、この閾値は、既定値としてもよいし、装置の使用目的により可変としてユーザが調整できるようにしても良い。

また、ここで用いる学習データは、画像データ蓄積部２１に予め蓄積されている画像を用いる。この画像データは後で追加できるようなものであってもよい。このとき、画像データ蓄積部２１に蓄積された画像データから顔検出を行い、検出された領域の正誤を判断した上で、それぞれの領域を再学習データとして使用し、より検出精度の高い識別器を構成する手段を複数回講じてもよい。

また、学習には画像そのものを用いても良いし、画像から得られる特徴量を利用してもよい。例えば、学習データとして、学習画像の輝度値を平均０、分散１になるように正規化した後、その正規化した輝度値をベクトル化したものを用いても良いし、学習画像の顔データと非顔データの集合に対して主成分分析を行い、固有値と固有ベクトルとを求めた後に、固有値の大きい方からその固有値に対応する固有ベクトルを複数選択し、その選択された固有値に対応する固有ベクトルを特徴として学習データとしてもよい。

また、ここではＳＶＭを用いた識別における説明を行ったが、識別器については、別の学習型の識別器を用いてもよいし、テンプレートマッチング等、別の識別手段を用いてもよい。テンプレートマッチングの場合には、学習データセットの代わりに、顔のテンプレートを１枚以上作成する。また、顔以外のテンプレートは作成しない。

図１０は、被写体識別器設定装置２０の統合識別器設定部２４において、ＳＶＭを例として識別器を設定する時の学習の流れを示す流れ線図である。具体的なステップは以下の通りである。

ステップ１：画像データ蓄積部２１に蓄積された顔と非顔の画像を学習データとした学習により識別器を構成し、
ステップ２：再学習により識別精度を向上させる場合はステップ３へ、それ以外は終了し、
ステップ３：ステップ１で構成した識別器により、画像データ蓄積部２１に蓄積された画像から顔領域を検出し、
ステップ４：ステップ３で検出された領域を顔と非顔とに正しく分類し、分類された画像を学習データとし、ステップ１へ戻る。

ここで、再学習を行う回数は規定していても良いし、可変としてもよい。また、再学習に使う画像は、予め画像データ蓄積部２１にある画像を学習用と再学習用に分けておき、学習用とは異なる画像を使用するようにしてもよいし、同一の画像を複数回利用してもよい。

図１１は、被写体識別器設定装置２０の統合識別器設定部２４における統合識別器１２の設定処理の流れを示す流れ線図である。具体的なステップは以下の通りである。

ステップ１：識別器で検出された領域の、他の識別器における判別関数の値を算出する、
ステップ２：各識別器の判別関数の値の、最終的な判別値に対する寄与率に基づき、識別結果統合関数の値を求める、
ステップ３：識別結果統合関数の値が所定の閾値以上であればステップ４へ、閾値未満であればステップ５へ、
ステップ４：当該検出領域は顔であると判定し、検出結果とする、
ステップ５：当該検出領域は非顔であると判定し、検出結果とする。

ここで、ステップ２で求める識別結果統合関数ｆ(ｘ，ｙ)は、２つの識別器により得られた識別関数の値ｘ、ｙから最終的な判別値を求める関数であり、例えば、
ｆ(ｘ，ｙ)＝ａｘ＋ｂｙ
のように表される。このとき、
ｆ(ｘ，ｙ)≧Ｔ１（Ｔ１：所定の閾値）
であれば、顔領域と判定する。

ここで、ａ、ｂはｘ、ｙの重み付けを決定する係数とし、識別結果統合関数情報としてユーザにより調整できる値であるとする。この重み付けは、各識別器の判別関数の値の、最終的な判別値に対する寄与率であるとする。この値は、入力された識別器仕様情報に基づいて識別結果統合関数情報として自動的に設定してもよいし、初期設定として、あるいはデフォルトで自動設定して後刻ユーザ設定により可変なものとしてもよい。

また、顔領域と判定するための条件としては、
ｆ(ｘ，ｙ)≧Ｔ１かつｘ≧Ｔ２、ｙ≧Ｔ３（Ｔ１、Ｔ２、Ｔ３：それぞれ所定の閾値）というように、ｘ、ｙに対する条件を追加してもよい。さらに、識別結果統合関数ｆ(ｘ，ｙ)は、２次以上の関数であってもよい。

図１２〜図１５は、被写体識別器設定装置２０において識別器を組み合わせる際に、２つの識別器を用いた場合の組み合わせ方の例を示し、図４の識別結果統合関数をさらに詳しく説明した分布図で、この図１２〜図１５の分布図は、学習テンプレートサイズが異なる２つの識別器による顔検出の結果である。

学習テンプレートサイズが異なる２つの識別器では、共通特徴の違いのため、再学習の過程において、再学習画像データとして追加される画像データが異なる結果となる。そこで、再学習用画像データとして、顔を含まないデータを用意することにより、再学習における非顔の学習データセットが異なる２つの識別器を構成することができる。

このような学習データセットから構成した２つの識別器では、顔領域はどちらの識別器からも検出されるが、顔領域として誤って検出される非顔領域は識別器ごとに異なるものとなる。このような性質を利用することにより、検出したい顔の角度範囲を制御するだけでなく、以下で説明するように、誤検出を低減させることもできるようになる。

図１２において、白色菱形記号は検出したい顔領域を示し、白色菱形記号及び黒色正方形記号は識別器１により検出された誤検出領域、白色菱形記号及び濃灰色三角形記号は識別器２により検出された誤検出領域であるとする。このように検出された領域のうち、できるだけ多くの白色菱形記号を識別結果とできるような検出結果統合処理を行う。

各識別器では、顔として検出する判別関数の最低値（以後閾値）は予め設定しておくものとする。設定の方法としては、例えばテスト画像を用いて作成した顔と非顔のサンプルの分布を調べ、ＫＬ展開した主軸に投影させる等の手段により、２種類を分類するために適当な閾値をデフォルトの値として定めておく。例えば、図１２中のｘ軸およびｙ軸をデフォルトの値としてもよい。ただし、識別結果統合関数情報としてユーザ可変のものとしてもよい。

ここで、使用する識別器を、識別器１、識別器２とし、２つの識別器での判別関数からの値をそれぞれ、ｘ、ｙとする。このとき、識別器１で検出された領域と識別器２で検出された領域において、ある一定の条件を満たした領域のみを検出領域として出力する。例えば、論理積をとり、図１３に示したように、ｙの閾値１以上、かつｘの閾値２以上である領域のみを顔としてもよい。

また、図１４に示したように、識別器１で検出された領域の分布する主軸（ＫＬ展開した主軸：直線１）と識別器２で検出された領域の分布する主軸（ＫＬ展開した主軸：直線２）が、それぞれの閾値で直交する直線を定義し、直線３、直線４とした場合、直線３と直線４の線分の組み合わせにより、識別境界（識別結果統合関数ｆ(ｘ，ｙ) ）を設定（図１４の点線）しても良いし、これらの線分を漸近線とする曲線により識別境界（図１４の破線）としてもよい。

さらには、図１４で示したような識別境界（識別結果統合関数ｆ(ｘ，ｙ) ）を設定し、一定値以上を示した領域を検出領域としてもよい。

以上の処理によって、図１５で示したような単一の識別器使用時には検出漏れをしていた顔領域を検出したり、誤検出していた領域を削減したりすることができるようになる。

図１６〜図１８は、被写体識別器設定装置２０における２つの識別器の組み合わせにより、検出を行った場合の結果の一例を示した説明図である。

２つの識別器の組み合わせにより、顔の向きを限定して検出を行う場合の例をＳＶＭによる学習判別型の識別器を用いて示す。

２つの識別器は、識別器構成変数が異なると、遮蔽や顔の向きに対するロバスト性が異なる。学習データに用いる共通特徴としての大きさが大きいと遮蔽に強く、小さいと弱い。また、学習データが大きいと顔の向きに対する許容度が狭く、小さいと広い。

よって、遮蔽の少ない正面向きの顔のみを検出したい場合、正面向きの顔のみ検出できる識別器（図１６）と顔が横向き３０度まで検出可能な識別器（図１７）とを組み合わせ、論理積をとることにより実現できる（図１８）。

同様に、遮蔽があっても横向きであっても取りたい場合には、同様の識別器で論理和を取ればよい（図１８）。

また、識別器を３つ以上組み合わせることにより、前髪や人物同士の重なり合い等で遮蔽された顔を検出するか否か等、さらに細かい検出条件も設定可能である。

以上では、顔画像を例に実施の形態を説明してきたが、本発明は、これらに限定されるものではない。本発明は、同様の共通特徴を選択することにより、回転その他の変動によって連続的に見え方が変化する対象に対し、適用可能である。

上述した、本発明の装置や方法は、コンピュータのプログラムで構成したり、あるいはフローチャートの処理ステップをコンピュータのプログラムで構成したりして、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータでその処理ステップを実行させるためのプログラムを、そのコンピュータが読み取りできる記録媒体、例えば、フレキシブルディスクや、ＣＤ，ＤＶＤ，ＭＯ，ＲＯＭ、メモリカード、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。

また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。これらの記録媒体からコンピュータに前記のプログラムをインストールすることにより、あるいはネットワークからダウンロードしてコンピュータに前記のプログラムをインストールすることにより、本発明を実施することが可能となる。

なお、上記実施の形態で、図１０及び図１１に示した流れ線図において、図２で示したように、各ステップに相当する処理の動作の主体及び対象は、図１と図３に示した装置のブロックの構成説明図における各ブロックの構成に相当する処理手段、設定手段、蓄積手段及びテーブルを用いるハードウェア資源を利用している。

本発明の実施の形態を示す被写体識別装置および被写体識別器設定装置の概略構成を示す構成説明図である。 被写体識別装置および被写体識別器設定装置における処理の流れを示す流れ線図である。 被写体識別器設定装置の概略構成を示す構成説明図である。 識別器仕様テーブルの一例を示す説明図である。 画像データ蓄積部に蓄積される画像群を、被写体を人物の顔とした例で一例を示す説明図である。 識別器仕様テーブルの識別器構成変数情報を、被写体を人物の顔とした例で一例を示す説明図である。 統合識別器設定部で複数の識別器の組み合わせ方を設定する手法についての説明図である。 学習データサイズ１の画像から異なる２つのサイズで切り出した学習データサイズ２および３の画像を示す説明図である。 本発明の実施の形態による被写体識別器設定装置の統合識別器設定部における識別器の設定の例を示す説明図である。 被写体識別器設定装置の統合識別器設定部において、ＳＶＭを例として識別器を設定する時の学習の流れを示す流れ線図である。 被写体識別器設定装置の統合識別器設定部における統合識別器の設定処理の流れを示す流れ線図である。 学習テンプレートサイズが異なる２つの識別器による顔検出の結果を示す分布図である。 学習テンプレートサイズが異なる２つの識別器による顔検出の結果を示す分布図である。 学習テンプレートサイズが異なる２つの識別器による顔検出の結果を示す分布図である。 学習テンプレートサイズが異なる２つの識別器による顔検出の結果を示す分布図である。 被写体識別器設定装置における２つの識別器の組み合せにより、検出を行った場合の結果の一例を示し、正面向きの顔のみ検出できるときの説明図である。 被写体識別器設定装置における２つの識別器の組み合せにより、検出を行った場合の結果の一例を示し、正面向きの顔と顔が横向き３０度まで検出できるときの説明図である。 被写体識別器設定装置における２つの識別器の組み合せにより、検出を行った場合の結果の一例を示し、正面向きの顔と顔が横向き３０度のときの論理積、論理和を採ったときの説明図である。

符号の説明

１〜Ｎ…識別器
１０…被写体識別装置
１１…画像入力部
１２…統合識別器
１３…識別結果統合部
２０…被写体識別器設定装置
２１…画像データ蓄積部
２２…識別器仕様情報入力部
２３…識別器仕様テーブル
２４…統合識別器設定部
２５…識別器設定情報記憶部

Claims (18)

1. 画像中から所定の被写体を識別する被写体識別装置において、
   識別対象となる画像を入力する画像入力手段と、
   入力された前記画像の中から所定の被写体を識別する複数の識別手段と、
   前記複数の識別手段の識別結果を統合する識別結果統合手段と
   を有することを特徴とする被写体識別装置。
2. 前記複数の識別手段は、
   それぞれが、前記所定の被写体の画像、もしくは前記所定の被写体の画像と該被写体以外の画像の双方に基づく学習データを学習することにより判別を行う学習判別型識別手段であり、
   それぞれが、前記所定の被写体の画像、もしくは該被写体以外の画像であって、前記識別手段毎に互いに異なる画像を含む、１つ以上の画像に基づく学習データを学習することにより構成されている
   ことを特徴とする請求項１に記載の被写体識別装置。
3. 前記複数の識別手段は、それぞれが、
   前記所定の被写体の画像であって、前記識別手段毎に互いに撮影角度が異なる画像を含む、１つ以上の画像に基づく学習データを学習することにより構成されている
   ことを特徴とする請求項２に記載の被写体識別装置。
4. 前記複数の識別手段は、
   それぞれが、前記所定の被写体の画像、もしくは該被写体以外の画像であって、前記識別手段毎に互いに画像サイズが異なる画像を含む、１つ以上の画像に基づく学習データを学習することにより構成されている
   ことを特徴とする請求項２または３に記載の被写体識別装置。
5. 画像中から所定の被写体を識別する被写体識別方法において、
   識別対象となる画像を入力する画像入力手順と、
   入力された前記画像の中から所定の被写体を識別する複数の識別手順と、
   前記複数の識別手順の識別結果を統合する識別結果統合手順と
   を有することを特徴とする被写体識別方法。
6. 前記複数の識別手順は、
   それぞれが、前記所定の被写体の画像、もしくは前記所定の被写体の画像と該被写体以外の画像の双方に基づく学習データを学習することにより判別を行う学習判別型識別手順であり、
   それぞれが、前記所定の被写体の画像、もしくは該被写体以外の画像であって、前記識別手順毎に互いに異なる画像を含む、１つ以上の画像に基づく学習データを学習することにより構成されている
   ことを特徴とする請求項５に記載の被写体識別方法。
7. 前記複数の識別手順は、
   それぞれが、前記所定の被写体の画像であって、前記識別手順毎に互いに撮影角度が異なる画像を含む、１つ以上の画像に基づく学習データを学習することにより構成されている
   ことを特徴とする請求項６に記載の被写体識別方法。
8. 前記複数の識別手順は、
   それぞれが、前記所定の被写体の画像、もしくは該被写体以外の画像であって、前記識別手順毎に互いに画像サイズが異なる画像を含む、１つ以上の画像に基づく学習データを学習することにより構成されている
   ことを特徴とする請求項６または７に記載の被写体識別方法。
9. 請求項５ないし８のいずれかに記載の被写体識別方法における手順を、コンピュータに実行させるためのプログラムとした
   ことを特徴とする被写体識別プログラム。
10. 識別対象となる画像を入力する画像入力手段と、
    入力された前記画像の中から所定の被写体を識別する複数の識別手段と、
    前記複数の識別手段の識別結果を統合する識別結果統合手段とを有する画像中から所定の被写体を識別する被写体識別装置における、
    前記複数の識別手段と前記識別結果統合手段とを設定する被写体識別器設定装置であって、
    前記所定の被写体を含む複数の画像を蓄積する画像データ蓄積手段と、
    前記複数の識別手段および前記識別結果統合手段を設定するための識別器仕様情報を入力する識別器仕様情報入力手段と、
    入力された前記識別器仕様情報を記憶する識別器仕様テーブルと、
    前記識別器仕様テーブルに記憶された識別器仕様情報と前記画像データ蓄積手段に蓄積された画像に基づき前記複数の識別手段と前記識別結果統合手段とを設定する統合識別器設定手段と
    を有することを特徴とする被写体識別器設定装置。
11. 前記識別器仕様テーブルは、
    前記複数の識別手段の利用個数を示す識別器利用個数と、
    利用する前記複数の識別手段のそれぞれの種類を表す識別器種別と、
    利用する前記複数の識別手段のそれぞれを構成するための変数の情報である識別器構成変数情報と、
    前記識別結果統合手段において用いられる、利用する前記複数の識別手段を統合する関数の情報である識別結果統合関数情報と
    を記憶することを特徴とする請求項１０に記載の被写体識別器設定装置。
12. 前記識別器種別に基づき前記複数の識別手段のそれぞれに対して設定される当該識別手段が実行すべき処理手順の情報を記憶する識別器設定情報記憶手段
    をさらに有することを特徴とする請求項１１に記載の被写体識別器設定装置。
13. 前記複数の識別手段は、
    それぞれが、前記所定の被写体の画像、もしくは前記所定の被写体の画像と該被写体以外の画像の双方に基づく学習データを学習することにより判別を行う学習判別型識別手段であり、
    前記識別器設定変数情報は、
    前記複数の識別手段のそれぞれに対応する、前記所定の被写体の画像、もしくは該被写体以外の画像であって、前記識別手段毎に互いに異なる画像を含む、１つ以上の画像に基づく学習データに関する情報であり、
    前記統合識別器設定手段は、
    前記識別器設定変数情報に対応する学習データを前記画像データ蓄積手段から読出し、当該識別手段に学習させる
    ことを特徴とする請求項１０ないし１２のいずれかに記載の被写体識別器設定装置。
14. 識別対象となる画像を入力する画像入力手順と、
    入力された前記画像の中から所定の被写体を識別する複数の識別手順と、
    前記複数の識別手順の識別結果を統合する識別結果統合手順とを有する画像中から所定の被写体を識別する被写体識別方法における、
    前記複数の識別手順と前記識別結果統合手順とを設定する被写体識別器設定方法であって、
    前記所定の被写体を含む複数の画像を蓄積する画像データ蓄積手順と、
    前記複数の識別手順および前記識別結果統合手順を設定するための識別器仕様情報を入力する識別器仕様情報入力手順と、
    入力された前記識別器仕様情報を記憶する識別器仕様テーブルと、
    前記識別器仕様テーブルに記憶された識別器仕様情報と前記画像データ蓄積手順に蓄積された画像に基づき前記複数の識別手順と前記識別結果統合手順とを設定する統合識別器設定手順と
    を有することを特徴とする被写体識別器設定方法。
15. 前記識別器仕様テーブルは、
    前記複数の識別手順の利用個数を示す識別器利用個数と、
    利用する前記複数の識別手順のそれぞれの種類を表す識別器種別と、
    利用する前記複数の識別手順のそれぞれを構成するための変数の情報である識別器構成変数情報と、
    前記識別結果統合手順において用いられる、利用する前記複数の識別手順を統合する関数の情報である識別結果統合関数情報と
    を記憶することを特徴とする請求項１４に記載の被写体識別器設定方法。
16. 前記識別器種別に基づき前記複数の識別手順のそれぞれに対して設定される当該識別手順が実行すべき処理手順の情報を記憶する識別器設定情報記憶手順
    をさらに有することを特徴とする請求項１５に記載の被写体識別器設定方法。
17. 前記複数の識別手順は、
    それぞれが、前記所定の被写体の画像、もしくは前記所定の被写体の画像と該被写体以外の画像の双方に基づく学習データを学習することにより判別を行う学習判別型識別手順であり、
    前記識別器設定変数情報は、
    前記複数の識別手順のそれぞれに対応する、前記所定の被写体の画像、もしくは該被写体以外の画像であって、前記識別手順毎に互いに異なる画像を含む、１つ以上の画像に基づく学習データに関する情報であり、
    前記統合識別器設定手順は、
    前記識別器設定変数情報に対応する学習データを前記画像データ蓄積手順から読出し、当該識別手順に学習させる
    ことを特徴とする請求項１４ないし１６のいずれかに記載の被写体識別器設定方法。
18. 請求項１４ないし１７のいずれかに記載の被写体識別器設定方法における手順を、コンピュータに実行させるためのプログラムとした
    ことを特徴とする被写体識別器設定プログラム。
    

Images