JP2004199200A - パターン認識装置、撮像装置、情報処理システム、パターン認識方法、記録媒体、及びプログラム - Google Patents

パターン認識装置、撮像装置、情報処理システム、パターン認識方法、記録媒体、及びプログラム Download PDF

Info

Publication number
JP2004199200A
JP2004199200A JP2002364369A JP2002364369A JP2004199200A JP 2004199200 A JP2004199200 A JP 2004199200A JP 2002364369 A JP2002364369 A JP 2002364369A JP 2002364369 A JP2002364369 A JP 2002364369A JP 2004199200 A JP2004199200 A JP 2004199200A
Authority
JP
Japan
Prior art keywords
feature
detecting
detection
pattern
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002364369A
Other languages
English (en)
Other versions
JP4298283B2 (ja
Inventor
Katsuhiko Mori
克彦 森
Masakazu Matsugi
優和 真継
Mie Ishii
美絵 石井
Hirosuke Mitarai
裕輔 御手洗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2002364369A priority Critical patent/JP4298283B2/ja
Priority to PCT/JP2003/016095 priority patent/WO2004055735A1/ja
Priority to US10/539,882 priority patent/US7577297B2/en
Priority to AU2003289116A priority patent/AU2003289116A1/en
Publication of JP2004199200A publication Critical patent/JP2004199200A/ja
Application granted granted Critical
Publication of JP4298283B2 publication Critical patent/JP4298283B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

【課題】対象画像中に存在する任意の領域を特定の認識対象として検出するにあたり、認識対象が如何なるものであっても、少ない処理コストで効率的に検出できるパターン認識装置を提供する。
【解決手段】特徴検出手段101〜104は、入力信号に含まれる所定パターンを構成する複数の特徴を階層的に検出する。基準データ保持手段122〜124は、複数の特徴に対応した複数の基準データを保持する。データ設定手段111〜114は、対象特徴の検出に使用するデータを、基準データ保持手段122〜124に保持されている基準データ、及び対象特徴の前段の特徴の検出結果に基づいて設定する。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、例えば、対象画像に対して階層的な演算処理を施すことで、対象画像でのパターン認識や特定被写体の検出等を行なう装置或いはシステムに用いられる、パターン認識装置、撮像装置、情報処理システム、パターン認識方法、それを実施するためのプログラムを記録したコンピュータ読み取り可能な記録媒体、及び当該プログラムに関するものである。
【0002】
【従来の技術】
従来より例えば、画像認識や音声認識の分野においては、特定の認識対象に特化した認識処理アルゴリズムを、コンピュータソフトウェア或いは専用並列画像処理プロセッサを用いたハードウェアにより実行することで、認識対象及び背景を含む画像から、認識対象を検出する技術が知られている。
【0003】
特に、対象画像中に存在する顔領域を特定の認識対象として検出するための構成としては、例えば、特許2767814号、特開平9−251534号、特開平9−44676号、特許2973676号、及び特開平11−283036号等に開示されているものがある。
【0004】
具体的には、まず、特開平9−251534号等に記載された構成は、入力画像(対象画像)に対して、標準顔と呼ばれるテンプレートを使用し、対象画像中の顔領域を探索し、その後、当該顔領域から、眼や、鼻孔、或いは口等の特徴点候補に対して部分テンプレートを使用することで、対象画像中の人物を認証するものである。
【0005】
特許2767814号等に記載された構成は、顔画像から眼と口候補群を求め、これらを組み合わせた顔候補群と、予め記録してある顔構造とを照合することで、顔画像中の眼と口に対応する領域を発見するものである。
【0006】
特開平9−44676号等に記載された構成は、対象画像から、眼、鼻、及び口候補をそれぞれ複数求め、これらの候補と、予め用意されている特徴点との間の位置関係から、対象画像中の顔領域を検出するものである。
【0007】
特許2973676号等に記載された構成は、顔の各部品の形状データと、入力画像との一致度を調べる際に、形状データを変更させるようになされており、また、各顔部品の探索領域を、以前に求めた部品の位置関係に基づき決定するものである。
【0008】
特開平11−283036号等に記載された構成は、複数の判定要素取得領域を設定した領域モデルを入力画像(対象画像)中で移動させ、各点で、それら判定要素取得領域内で、判定要素の有無を判定することで、対象画像における顔領域を認識するものである。
【0009】
【発明が解決しようとする課題】
しかしながら、上述したような従来の画像認識(パターン認識)のための構成は、以下のような問題があった。
【0010】
まず、特開平9−251534号等に記載された従来の構成では、対象画像に最初に標準顔と呼ばれるテンプレートを使用して、顔全体のマッチングを行うことで対象画像中の顔領域を探索するため、様々なサイズの顔や、顔の向きの変化に対応することが難しい。また、これに対応するためには、顔のサイズや顔の向きに対応した複数の標準顔を用意して、それぞれを使用して検出する必要があるため、顔全体のテンプレートのサイズが大きくなり、これに伴って、処理コストも大きくなる。
【0011】
特許2767814号等に記載された従来の構成では、顔画像から求めた眼と口候補群を組み合わせた顔候補群と、予め記録してある顔構造とを照合することで、顔画像中の眼と口に対応する領域を発見するが、例えば、対象画像から似顔絵を作成するという用途である場合、対象画像中の顔の数は通常1つ若しくは少数であり、その顔の大きさもある程度大きなサイズであり、対象画像中の大部分の領域は顔であり背景は少ないと考えられる。このような対象画像であれば、全ての眼及び口の候補群から、顔候補を作成しても顔候補の数は限定される。しかしながら、対象画像が、例えば、一般的なカメラやビデオで撮影して得られた画像である場合、対象画像中の顔のサイズが小さくなり、その分背景が多くなる場合等が考えられ、このような場合には、背景中で眼候補や口候補が多数誤検出され、このため、全ての眼と口候補群から顔候補を作成すると膨大な数になってしまい、顔構造との照合の処理コストが増大することになる。
【0012】
特開平9−44676号等に記載された従来の構成は、対象画像から、眼、鼻、及び口候補をそれぞれ複数求め、これらの候補と、予め用意されている特徴点との間の位置関係から、対象画像中の顔領域を検出するが、この構成においても、特許2767814号等に記載された構成と同様に、背景に眼、鼻、及び口の候補が多数存在した場合、これらの位置関係を照合するための処理コストが膨大になる。
【0013】
特許2973676号等に記載された従来の構成では、顔の各部品の形状データ(虹彩、口、鼻等の形状データ)を保持しておき、先ず、2つの虹彩を求め、続いて口及び鼻等を求める際に、虹彩の位置に基づいて、口及び鼻等の顔部品の探索領域を限定している。すなわち、当該構成のアルゴリズムでは、虹彩(眼)、口、及び鼻等の顔を構成する顔部品を並列的に検出するのではなく、虹彩(眼)を最初に検出し、この検出結果を使用して、順に口及び鼻等の顔部品を検出している。したがって、当該構成は、対象画像中に顔が1つしか存在せず、且つ虹彩が正確に求まった場合を想定したものであるため、検出された虹彩が誤検出であった場合、口や鼻等の他の特徴の探索領域を正しく設定できない。
【0014】
特開平11−283036号等に記載された従来の構成では、複数の判定要素取得領域を設定した領域モデルを入力画像(対象画像)中で移動させ、各点で、それら判定要素取得領域内で、判定要素の有無を判定することで、対象画像における顔領域を認識するが、多種の顔のサイズに対応させるためには、サイズの異なった領域モデルを用意する必要があり、実際に該当するサイズの顔が存在しない場合、無駄な処理を多数実行することになり非効率的である。
【0015】
そこで、本発明は、上記の欠点を除去するために成されたもので、対象画像中に存在する任意の領域を特定の認識対象として検出するにあたり、認識対象が如何なるものであっても、少ない処理コストで効率的に検出できる、パターン認識装置、撮像装置、情報処理システム、パターン認識方法、それを実施するためのプログラムを記録したコンピュータ読み取り可能な記録媒体、及び当該プログラムを提供することを目的とする。
【0016】
具体的には例えば、対象画像中にサイズの異なる複数の認識対象が存在する場合であっても、全ての認識対象を、少ない処理コストで抽出することを実現する。また、認識対象のパターンではないにも関わらず認識対象のパターンとして誤って検出してしまう誤検出を防ぐことを実現する。
【0017】
【課題を解決するための手段】
斯かる目的下において、本発明に係る、入力信号に含まれる所定パターンを検出するパターン認識装置は、上記所定パターンの複数の特徴を階層的に検出する特徴検出手段と、上記複数の特徴に対応した複数の基準データを保持する基準データ保持手段と、上記特徴検出手段で対象特徴の検出に使用するデータを、上記基準データ保持手段に保持されている基準データ、及び上記特徴検出手段で得られた対象特徴の前段の特徴の検出結果に基づいて設定するデータ設定手段とを備えることを特徴とする。
【0018】
また、本発明に係る、入力信号に含まれる所定パターンを検出するパターン認識装置は、上記所定パターンの複数の特徴を階層的に検出する特徴検出手段と、上記複数の特徴に対応した複数の基準データを保持する基準データ保持手段とを備え、上記特徴検出手段は、上記入力信号の所定の位置で高次の特徴を検出する際に、当該特徴検出に使用する前階層の検出結果からの入力範囲としての局所領域の大きさを、当該前階層の複数の特徴の検出結果に基づき設定することを特徴とする。
【0019】
また、本発明に係る、入力信号に含まれる所定パターンを検出するパターン認識装置は、上記所定パターンの複数の特徴を階層的に検出する特徴検出手段と、上記特徴検出手段で検出された結果を保持する保持手段と、上記保持手段に保持された検出結果に基づきパラメータを求めるパラメータ取得手段とを備え、上記パラメータ取得手段は得られたパラメータに基づき上記保持手段から読み出す検出結果を変更し、上記特徴検出手段は当該検出結果に基づき特徴検出を行うことを特徴とする。
【0020】
また、本発明に係る、入力信号中に含まれる所定パターンを検出するためのパターン認識方法は、上記所定パターンを構成する複数の特徴を階層的に検出する特徴検出ステップと、上記特徴検出ステップで複数特徴をそれぞれ検出するための基準データを複数保持する基準データ保持ステップと、上記特徴検出ステップで特徴検出するために使用するデータを、上記基準データ保持ステップにより保持された基準データに基づき設定するデータ設定ステップとを含み、上記データ設定ステップは、上記特徴検出ステップで特徴を検出するためのデータを設定する際に、上記基準データ保持ステップにより保持された基準データに基づいて、上記特徴検出ステップにより得られた検出対象特徴の前段特徴の検出結果から求めたパラメータを用いて設定するステップを含むことを特徴とする。
【0021】
また、本発明に係る、入力信号中に含まれる所定パターンを検出するためのパターン認識方法は、上記所定のパターンを構成する複数の特徴を階層的に検出する特徴検出ステップと、上記特徴検出ステップで複数の特徴をそれぞれ検出するための基準データを複数保持する基準データ保持ステップとを含み、上記特徴検出ステップは、上記入力信号の所定の位置で、より高次の特徴を検出する際に、検出に使用する前段の階層の検出結果からの入力範囲としての局所領域の大きさを、前段の階層の複数の特徴の検出結果から求めたパラメータを用いて設定するステップを含むことを特徴とする。
【0022】
また、本発明に係る、入力画像中に含まれる顔パターンを検出するためのパターン認識方法は、顔を構成する複数の特徴を階層的に検出する特徴検出ステップと、上記特徴検出ステップで複数の特徴をそれぞれ検出するための基準データを複数保持する基準データ保持ステップと、上記基準データ保持ステップにより典型的な顔パターンを検出するための基準顔データを保持し、上記特徴検出ステップにより検出した眼と口の位置関係に基づき当該基準顔データを変換し、当該変換後の基準顔データと上記入力画像との相関に基づいて、上記入力画像中の顔パターンの有無を確認する確認ステップとを含むことを特徴とする。
【0023】
また、本発明に係る、対象信号の中に含まれる所定パターンを検出するためのパターン認識方法は、上記所定パターンを構成する複数の特徴を階層的に検出する特徴検出ステップと、上記特徴検出ステップにおいて特徴検出するために使用するデータを、複数の特徴をそれぞれ検出するための基準データを基にして設定するデータ設定ステップとを含み、上記データ設定ステップは、特徴検出するためのデータを設定する際に、上記基準データに基づいて、前段の特徴の検出結果から求めたパラメータを用いて設定するステップを含むことを特徴とする。
【0024】
また、本発明に係る、入力信号中に含まれる所定パターンを検出するためのパターン認識方法は、上記所定パターンを構成する複数の特徴を階層的に検出するにあたり、上記入力信号の所定の位置で、より高次の特徴を検出する際に、検出に使用する前段の階層の検出結果からの入力範囲としての局所領域の大きさを、前段の階層の複数の特徴の検出結果から求めたパラメータを用いて設定する特徴検出ステップを含むことを特徴とする。
【0025】
また、本発明に係る、入力画像中に含まれる顔パターンを、所定の基準顔データを用いて検出するためのパターン認識方法は、顔を構成する複数の特徴を階層的に検出する特徴検出ステップと、上記特徴検出ステップにより得られた眼と口の位置関係に基づいて上記基準顔データを変換し、当該変換後の基準顔データと上記入力画像との相関に基づいて、上記入力画像中の顔パターンの有無を確認する確認ステップとを含むことを特徴とする。
【0026】
また、本発明に係る、コンピュータを所定の手段として機能させるためのプログラムは、上記所定の手段が、入力信号に含まれる所定パターンの複数の特徴を階層的に検出する特徴検出手段と、上記複数の特徴に対応した複数の基準データを保持する基準データ保持手段と、上記特徴検出手段で対象特徴の検出に使用するデータを、上記基準データ保持手段に保持されている基準データ、及び上記特徴検出手段で得られた対象特徴の前段の特徴の検出結果に基づいて設定するデータ設定手段とを備えることを特徴とする。
【0027】
また、本発明に係る、コンピュータを所定の手段として機能させるためのプログラムは、上記所定の手段が、入力信号に含まれる所定パターンの複数の特徴を階層的に検出する特徴検出手段と、上記複数の特徴に対応した複数の基準データを保持する基準データ保持手段とを備え、上記特徴検出手段が、上記入力信号の所定の位置で高次の特徴を検出する際に、当該特徴検出に使用する前階層の検出結果からの入力範囲としての局所領域の大きさを、当該前階層の複数の特徴の検出結果に基づき設定することを特徴とする。
【0028】
また、本発明に係る、コンピュータを所定の手段として機能させるためのプログラムは、上記所定の手段が、上記所定パターンの複数の特徴を階層的に検出する特徴検出手段と、上記特徴検出手段で検出された結果を保持する保持手段と、上記保持手段に保持された検出結果に基づきパラメータを求めるパラメータ取得手段とを備え、上記パラメータ取得手段は得られたパラメータに基づき上記保持手段から読み出す検出結果を変更し、上記特徴検出手段は当該検出結果に基づき特徴検出を行うことを特徴とする。
【0029】
また、本発明は、請求項21〜23の何れかに記載のプログラムをコンピュータ読み取り可能な記録媒体に記録したことを特徴とする。
【0030】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【0031】
[第1の実施の形態]
本発明は、例えば、図1に示すようなパターン認識装置100に適用される。
本実施の形態のパターン認識装置100は、撮像装置等に適用可能であり、対象画像中に存際する全ての認識対象(パターン)を検出するにあたり、対象画像から認識対象を構成する複数の特徴を階層的に検出するための基準データを複数保持し、当該基準データの基づき、前段の特徴の検出結果から求めたパラメータを用いて、対象とする特徴検出のためのデータを設定する構成により、対象画像中にサイズの異なる複数の認識対象が存在する場合であっても、全ての認識対象を少ない処理コストで効率的に検出するようになされている。
以下、本実施の形態のパターン認識装置100の構成及び動作について説明する。
【0032】
<パターン認識装置100の構成>
パターン認識装置100は、上記図1に示すように、信号入力部130、1次特徴検出部101、1次特徴検出フィルタ設定部111、2次特徴検出部102、2次特徴検出モデル設定部112、2次特徴基準モデル保持部122、3次特徴検出部103、3次特徴検出モデル設定部113、3次特徴基準モデル保持部123、4次特徴検出部104、4次特徴検出モデル設定部114、4次特徴基準モデル保持部124、パターン確認部105、確認パターン設定部115、及び基準確認パターン保持部125を備えている。
【0033】
信号入力部130は、画像信号や音声信号等の処理対象となる信号(ここでは、対象画像の信号)を入力する。
【0034】
1次特徴検出部101は、信号入力部130から入力された信号に対して、1次の特徴を検出するための処理を施し、この処理結果(1次特徴検出結果)を2次特徴検出部102に供給すると共に、当該1次特徴検出結果及びそのパラメータを2次特徴検出モデル設定部112に供給する。
【0035】
このとき、1次特徴検出フィルタ設定部111は、1次特徴検出部101で1次特徴を検出するためのフィルタ特性又はパラメータを設定する。
【0036】
2次特徴検出部102は、1次特徴検出部101からの1次特徴検出結果に対して、2次特徴検出モデル設定部112により設定された検出モデルを用いて、2次の特徴を検出する処理を施し、この処理結果(2次特徴検出結果)を3次特徴検出部103に供給すると共に、当該2次特徴検出結果及びそのパラメータを3次特徴検出モデル設定部113に供給する。
【0037】
このとき、2次特徴検出モデル設定部112は、2次特徴検出部102で2次特徴を検出する際に使用する、1次特徴それぞれの位置関係を示すモデルを、2次特徴基準モデル保持部122に保持された基準モデル、1次特徴検出部101からの1次特徴検出結果、及びそのパラメータを用いて設定する。
2次特徴基準モデル保持部122は、2次特徴検出モデル設定部112で設定する検出モデルの基準モデルを保持する。
【0038】
3次特徴検出部103は、2次特徴検出部102からの2次特徴検出結果に対して、3次特徴検出モデル設定部113により設定された検出モデルを用いて、3次の特徴を検出する処理を施し、この処理結果(3次特徴検出結果)を4次特徴検出部104に供給すると共に、当該3次特徴検出結果及びそのパラメータを4次特徴検出モデル設定部114に供給する。
【0039】
このとき、3次特徴検出モデル設定部113は、3次特徴検出部103で3次特徴を検出する際に使用する、2次特徴それぞれの位置関係を示すモデルを、3次特徴基準モデル保持部123に保持された基準モデル、及び2次特徴検出部102からの2次特徴検出結果及びそのパラメータとを用いて設定する。
3次特徴基準モデル保持部123は、3次特徴検出モデル設定部113で設定する検出モデルの基準モデルを保持する。
【0040】
4次特徴検出部104は、3次特徴検出部103からの3次特徴検出結果に対して、4次特徴検出モデル設定部114により設定された検出モデルを用いて、4次の特徴を検出する処理を施し、この処理結果(4次特徴検出結果)をパターン確認部105に供給すると共に、当該4次特徴検出結果及びそのパラメータを確認パターン設定部115に供給する。
【0041】
このとき、4次特徴検出モデル設定部114は、4次特徴検出部104で4次特徴を検出する際に使用する、3次特徴それぞれの位置関係を示すモデルを、4次特徴基準モデル保持部124に保持された基準モデル、及び3次特徴検出部103からの3次特徴検出結果及びそのパラメータとを用いて設定する。
4次特徴基準モデル保持部124は、4次特徴検出モデル設定部114で設定する検出モデルの基準モデルを保持する。
【0042】
パターン確認部105は、信号入力部130により入力された信号中に、確認パターン設定部115で設定された確認パターンが存在するか否かを確認する。
確認パターン設定部115は、基準確認パターン保持部125に保持された基準パターン、4次特徴検出部104からの4次特徴検出結果、及びそのパラメータを使用して、パターン確認部105で使用する確認パターンを設定する。
基準確認パターン保持部125は、確認パターン設定部115で設定する確認パターンの基準パターンを保持する。
【0043】
<パターン認識装置100の動作>
図2は、パターン認識装置100の動作をフローチャートにより示したものである。
【0044】
尚、ここではパターン認識処理の一例として、信号入力130からは画像信号が入力され、その画像中の顔領域を検出するものとする。
【0045】
ステップ201:
信号入力部130は、処理対象信号として画像信号を入力する。
【0046】
ステップS202:
1次特徴検出部101は、例えば、1次特徴検出フィルタ設定部111により設定されたフィルタを用いて、信号入力部130により入力された画像信号から構成される画像(対象画像)の各位置で1次特徴を検出する。
【0047】
具体的には例えば、図3(a)に示すように、1次特徴検出部101は、対象画像において、縦特徴大(1−1−1)、横特徴大(1−2−1)、右上がり斜め特徴大(1−3−1)、右下がり斜め特徴大(1−4−1)、縦特徴小(1−1−2)、横特徴小(1−2−2)、右上がり斜め特徴小(1−3−2)、及び右下がり斜め特徴小(1−4−2)等の異なる方向及び異なるサイズの特徴を検出し、この検出結果(1次特徴検出結果)を、各特徴毎に対象画像と同等の大きさの検出結果画像という形で出力する。
この結果、ここでは8種類の1次特徴の検出結果画像が得られることになる。これにより、各特徴の検出結果画像の各位置の値を参照することで、対象画像の該当する位置に各特徴が存在するか否かを判断できる。
【0048】
尚、1次特徴検出部101で使用するフィルタは、最初から複数用意するようにしてもよいし、或いは、方向やサイズをパラメータとして、1次特徴検出フィルタ設定部111で作成するようにしてもよい。
また、上記図3(b)〜(d)に示すように、後述する処理で検出する2次特徴は、右空きV字特徴(2−1)、左空きV字特徴(2−2)、水平平行線特徴(2−3)、及び垂直平行線特徴(2−4)であり、3次特徴は、眼特徴(3−1)及び口特徴(3−2)であり、4次特徴は、顔特徴(4−1)であるものとする。
【0049】
ステップS203:
2次特徴検出モデル設定部112は、2次特徴検出部102で2次特徴を検出するためのモデルを設定する。
【0050】
具体的には例えば、まず、上記図3(b)に示す右空きV字特徴(2−1)を検出するための検出モデルの設定を一例として挙げて考えるものとする。
右空きV字特徴(2−1)は、例えば、図4(A)に示すように、1次特徴である右上がり斜め特徴が上部に、右下がり斜め特徴が下部に存在している。すなわち、右空きV字特徴を検出するためには、ステップS202で求めた1次特徴検出の結果を利用して、上部に右上がり斜め特徴が存在し、下部に右下がり斜め特徴が存在する位置を求めればよく、その位置に、右空きV字特徴(2−1)が存在することになる。
このように、複数種類の1次特徴を組み合わせて、2次特徴を検出することができる。
【0051】
しかしながら、対象画像中に存在する顔のサイズは固定サイズではなく、また、個人によって眼や口の大きさが異なり、さらに、眼や口は開閉動作をするため、
右空きV字の大きさも変化する。
【0052】
そこで、本実施の形態では、上記図4(B)に示すような、右空きV字検出基準モデル400を用いる。
右空きV字検出基準モデル400において、403は右上がり斜め領域、404は右下がり斜め領域である。右上がり斜め領域403に対して、ステップS202で求めた1次特徴のうち、右上がり斜め特徴大、若しくは右上がり斜め特徴小のみが存在し、また、右下がり斜め領域404に対して、右下がり斜め特徴大、若しくは右下がり斜め特徴小のみが存在する場合に、その位置に右空きV次特徴(2−1)が存在するとする。このような構成することで、右空きV字について、ある程度の大きさや形状の変化に対して、頑健な処理を施すことができる。
【0053】
しかしながら、例えば、図5(A)及び(B)に示すように、大きさがかなり異なる右空きV字特徴の検出のためには、同じV字検出基準モデル400を使用しても検出が困難である。
【0054】
もちろん、上記図5(A)及び(B)に示すような、大きさがかなり異なる右空きV字特徴を同一のV字基準モデル400を用いて検出するために、例えば、図4(B)に示す右空きV字検出基準モデル400を非常に大きく設定し、その結果右上がり斜め領域403や右下がり斜め領域404を非常に広く取るようにすれば、大小のサイズの異なる右空きV字特徴の検出は可能である。
【0055】
しかしながら、各1次特徴の探索範囲が大きくなるため、例えば、右上がり斜め特徴のサイズは大であり、右下がり斜め特徴のサイズは小であり、さらに、それらの位置も大きくずれている、などという誤検出が起こりやすい。
【0056】
すなわち、右空きV字特徴であれば、右上がり斜め特徴も、右下がり斜め特徴も、それぞれ右空きV字特徴の1構成要素であり、これらの大きさは略同じであり、且つこれらは近傍に存在しており、右空きV字特徴のサイズが大きければ、右上がり斜め特徴のサイズも、右下がり斜め特徴のサイズも、大きくなる。
【0057】
したがって、2次特徴を検出するための基準モデルのサイズは、ステップS202で検出された1次特徴のサイズに合わせて適したものにする。
【0058】
また、1次特徴である、右上がり斜め特徴や右下がり斜め特徴に関しても、常に同じフィルタサイズでの検出は困難である。
【0059】
そこで、上記図5(A)に示すように、対象画像における顔のサイズが小さい場合、1次特徴を小さいサイズのフィルタで検出し、同図5(B)に示すように、対象画像における顔のサイズが大きい場合、1次特徴を大きいサイズのフィルタで検出し、上述したように2次特徴である右空きV字特徴を検出するモデルのサイズをも、1次特徴を検出したフィルタのサイズに依存して変更する。
【0060】
上述のように、本ステップS203では、1次特徴を検出したフィルタのサイズをパラメータとして、各2次特徴の検出のためのモデルを拡大或いは縮小して、各2次特徴を検出するための2次特徴の検出のためのモデルを設定する。
【0061】
上記図5(C)は、顔サイズが小さい場合の右空きV字検出用のモデルを示し、同図(D)は、顔サイズが大きい場合の右空きV字検出用のモデルを示したものである。
これらのモデルは、上記図4(B)に示した右空きV次検出基準モデル400を、それぞれ異なる倍率でサイズ変更したものである。
【0062】
もちろん、1次特徴を検出するために複数のサイズのフィルタを用意し、該当するサイズに合わせて複数の処理チャネルを用意し、それぞれのサイズの2次特徴、さらに3次特徴、…を、それぞれの処理チャネルで検出する方法は有効である。
ただし、対象画像中の顔のサイズの変動が大きい場合、各顔サイズに合わせた処理チャネルを用意すると、処理チャネルの数が多くなる。すなわち、処理コスト量が多くなる。
【0063】
そこで、本実施の形態では、2次特徴検出以降の特徴検出においては、検出モデルのサイズを、前段の階層の検出結果に応じて変更することで、上記の問題を解決している。
【0064】
尚、上記図4(B)に示したような、右空きV字検出基準モデル400、右上がり斜め領域403、及び右下がり斜め領域404は、予め検出すべき特徴に合わせて設定され、2次特徴基準モデル保持部122に保持されているものとする。
【0065】
また、上記図3に示したような各特徴はそれぞれ、前ステップ処理で検出された特徴の組み合わせで検出が可能である。
例えば、2次特徴に関しては、左空きV字特徴は右下がり斜め特徴及び右上がり斜め特徴から検出可能であり、水平平行線特徴は横特徴から検出可能であり、垂直平行線特徴は縦特徴から検出可能である。また、3次特徴に関しては、眼特徴は右空きV字特徴、左空きV字特徴、水平平行線特徴、及び垂直平行線特徴から検出可能であり、口特徴は右空きV字特徴、左空きV字特徴、及び水平平行線特徴から検出可能であり、4次特徴に関しては、顔特徴は眼特徴と口特徴から検出可能である。
【0066】
ステップS204:
2次特徴検出部102は、ステップS203で設定された2次特徴検出モデルを用いて、対象画像の2次特徴を検出する。
【0067】
具体的には例えば、まず、2次特徴の検出は、2次特徴を構成する各1次特徴の値を用いて行うが、例えば、各1次特徴の値が、任意のしきい値以上であるか否かで判断する。
【0068】
例えば、右空きV字検出モデルを用いて、所定の位置の2次特徴の右空きV字特徴を検出する場合で、右上がり斜め領域中に存在する各右上がり斜め特徴の値の最大値がしきい値より高く、且つ右下がり斜め領域中に存在する各右下がり斜め特徴の値の最大値がしきい値より高い場合、その位置に右空きV字特徴が存在するものとする。そして、その位置の値を、それら最大値の平均とする。逆に、各1次特徴の値がしきい値より低い場合、その位置には2次特徴が存在しないとして、その位置の値を“0”とする。
【0069】
上述のようにして求めた2次特徴検出結果は、各2次特徴毎に、対象画像と同等の大きさの検出結果画像という形で出力される。
すなわち、上記図3(b)に示すような2次特徴であれば、4種類の2次特徴検出結果の画像が得られることになる。これらの検出結果画像の各位置の値を参照することで、対象画像の該当する位置に各2次特徴が存在するか否かを判断できる。
【0070】
ところで、本ステップS204の処理では、2次特徴検出モデルの各領域で1次特徴を検出するのではない、ということに注意する必要がある。
【0071】
すなわち、例えば、2次特徴の1つである右空きV字特徴の検出では、右上がり斜め領域と右下がり斜め領域でそれぞれ、1次特徴である右上がり斜め特徴と右下がり斜め特徴を検出するのではない。これらの1次特徴の検出はステップS202で終了しており、したがって、本ステップS204では、これら領域に各1次特徴が存在するか否かを、しきい値を使用して判断している。そして、この結果、複数の1次特徴が、それぞれの領域に存在すると判断した場合に、その位置に2次特徴が存在するとする処理を実行する。このような特徴検出の処理方法は、次の3次特徴及び4次特徴に関しても同様である。
【0072】
また、本ステップS204の処理では、次の3次特徴検出モデルを設定するために使用するパラメータを求める。
例えば、図6に示すように、右空きV字特徴の検出と同時に、右上がり斜め特徴の最大値を示した点と、右下がり斜め特徴の最大値を示した点との距離をパラメータとして求めておく。そして、このパラメータを、各2次特徴検出結果と共に出力する。
【0073】
ステップS205:
3次特徴検出モデル設定部113は、3次特徴検出部103で3次特徴を検出する際に使用する、2次特徴それぞれの位置関係を示すモデルを、3次特徴基準モデル保持部123に保持された基準モデル、及び2次特徴検出部102からの2次特徴検出結果及びそのパラメータとを用いて設定する。
【0074】
具体的には例えば、ここでは説明の簡単のため、上記図3(c)に示すような眼特徴(3−1)を検出するための検出モデルの設定を考える。
図7は、眼を検出するための眼検出基準モデル700の一例を示したものである。眼検出基準モデル700では、2次特徴量である、右空きV字特徴(上記図3(b)の(2−1)参照)の存在する右空きV字領域701が左側に、左空きV字特徴(上記図3(b)の(2−2)参照)の存在する左空きV字領域702が右側に、そして水平平行線特徴(上記図3(b)の(2−3)参照)の存在する水平平行線領域703及び垂直平行線特徴(上記図3(b)の(2−4)参照)の存在する垂直平行線領域704が、これらV字特徴の中間に存在している。
【0075】
本ステップS205においても、ステップS203と同様に、サイズ変動に対応するために、この基準モデルを拡大或いは縮小して3次特徴を検出するのに適した3次特徴検出モデルを設定する。当該基準モデルの拡大或いは縮小に使用するのが、ステップS204で求めたパラメータである。
【0076】
例えば、右空きV字エッジを検出する際に求めた右上がり斜め特徴と右下がり斜め特徴の最大値を示す位置間の距離は、眼の大きさに依存する。そこで、この距離をパラメータとして、眼の基準モデルを基に眼特徴検出モデルを設定する。
【0077】
上述のようにして、各3次特徴に対して、各基準モデルを基に、2次特徴のパラメータを用いて各位置に応じた検出モデルを設定する。
すなわち、例えば、図8(A)に示すように、サイズが異なる(すなわち、眼のサイズが異なる)顔が対象画像中に存在する場合、上述したように2次特徴である右空きV字特徴の大きさをパラメータとして、同図(B)に示すように、各位置に適した眼特徴検出モデルを設定する。
【0078】
上記図8(B)では、眼特徴検出モデル801は、その位置の2次特徴のパラメータ値から求めた大きさとなり、また、眼特徴検出モデル802の位置の2次特徴のパラメータ値から求めた大きさになることを概念的に示している。
【0079】
ステップS206:
3次特徴検出部103は、ステップS205で設定された3次特徴検出モデルを用いて3次特徴を検出する。
ここでの各3次特徴の検出方法は、ステップS204と同様の方法であるため、その詳細な説明は省略する。また、パラメータに関しては、例えば、眼の検出でる場合、最大値を示した右空きV字特徴と左空きV字特徴間の距離(眼の横幅に対応した距離)を求め、これをパラメータとする。
【0080】
ステップS207:
4次特徴検出モデル設定部114は、4次特徴検出部104で4次特徴を検出する際に使用する、3次特徴それぞれの位置関係を示すモデルを、4次特徴基準モデル保持部124に保持された基準モデル、及び3次特徴検出部103からの3次特徴検出結果及びそのパラメータとを用いて設定する。
【0081】
具体的には例えば、顔特徴の検出の場合、顔のサイズと眼の横幅には一般的に関連があるため、上記図3(d)に示すような顔特徴(4−1)の基準モデルに対して、ステップS206で得られた、眼の横幅を示すパラメータを用いて、当該顔の基準モデルを基に、顔特徴検出モデルを設定する。
【0082】
ステップS208:
4次特徴検出部104は、ステップS207で設定された4次特徴検出モデルを用いて、4次特徴を検出する。
ここでの検出方法は、ステップS204及びS206と同様の方法であるため、その詳細な説明は省略する。また、パラメータに関しては、例えば、顔特徴の検出の場合、両眼と口の位置をパラメータとする。このパラメータは、次のステップS209で使用される。
【0083】
ステップS209:
確認パターン設定部115は、基準確認パターン保持部125に保持された基準パターン、4次特徴検出部104からの4次特徴検出結果、及びそのパラメータを使用して、パターン確認部105で使用する確認パターンを設定する。
【0084】
具体的には、まず、ステップS201〜ステップS208の処理で4次特徴検出を行うが、対象画像中の背景において、4次特徴を構成する複数の3次特徴に似た領域が存在し、かつそれらの位置関係も似ている場合、4次特徴検出で誤検出を行う可能性がある。
【0085】
例えば、顔の検出の場合、対象画像中の背景において、それぞれ両眼及び口と似た領域が存在し、また、これらの位置関係も似ている場合、顔特徴の検出で誤検出をする可能性がある。
【0086】
そこで、検出すべきパターンの一般的な基準パターンを用意し、このパターンの大きさや形状を、ステップS208で求めたパラメータを基に修正することで、確認パターンを求め、この確認パターンを用いて、最終的に検出すべきパターンが対象画像中に存在するか否かを判断する。
【0087】
ここでは一例として、顔を検出パターンとしているため、顔の一般的な基準パターンを用意し、この基準パターンを修正することで、顔確認パターンを求め、この顔確認パターンを使用して、顔パターンが対象画像中に存在するかを判断する。
【0088】
このため、本ステップS209では、先ず、基準パターンを基に、ステップS208で求めたパラメータを用いて、確認パターンを設定する。すなわち、顔パターンの設定においては、顔の基準パターンを基に、ステップS206で求めた両眼と口の位置を示すパラメータを用いて、顔確認パターンを設定する。
【0089】
図9(A)及び(B)は、確認パターンの一例を示したものである。
上記図9(A)は、顔基準パターンを示したものであり、この顔基準パターンは、例えば、複数の顔を用意し、これらの大きさを正規化した後で輝度値の平均を取ったものである。
上記図9(A)の顔基準パターンに対して、ステップS208で求められたパラメータ、すなわち両眼の位置及び口の位置を使用して、同図(B)に示すように、サイズや回転の変換を行なう。具体的には例えば、両眼間の距離や、両眼間の中点と口の距離を用いて、サイズの変換を行ない、また、両眼間の傾きを用いて、回転変換を行なうことで、顔確認パターンを設定する。
【0090】
尚、確認パターンの設定方法としては、上述した方法に限られることはなく、例えば、サイズや回転量が異なった複数の基準パターンを用意しておき、これらの基準パターンの中から1つを、ステップS206のパラメータを用いて選択するようにしてもよい。或いは、パラメータを使用して、上記複数の基準パターンをモーフィングの技術等により合成して設定するようにしてもよい。
【0091】
ステップS210:
パターン確認部105は、ステップS209で設定された確認パターンを用いて、対象画像から検出パターンを求める。
【0092】
具体的には例えば、対象画像において、ステップS208で4次特徴が検出された位置で、ステップS209で求めた確認パターンと、対象画像中の該当する位置の部分領域との相関を求め、その値が任意のしきい値を越えた場合に、その位置に検出パターンが存在するものとする。
【0093】
上記説明したように、本実施の形態では、各特徴を検出するための基準モデルを用意し、前段の特徴の検出結果から求めたパラメータを用いて、基準モデルを基に検出モデルを設定するように構成したので、各特徴の検出精度が向上し、最終的に検出するパターンの検出精度が向上する、という効果が得られる。また、最後の確認処理として、平均パターンとの相関を見る際に、それまでに求めた各特徴の位置に応じて、その平均パターンに対して、回転やサイズの変更等の変形を行なうことで、確認精度が向上する、という効果が得られる。
【0094】
<パターン認識装置100の撮像装置1000>
ここでは、上記図1に示したパターン認識(検出)装置100の機能を、例えば、図10に示すような撮像装置1000に搭載させることで、特定被写体へのフォーカシングや、特定被写体の色補正、或いは露出制御を行う場合について説明する。
【0095】
まず、撮像装置1000は、上記図10に示すように、撮影レンズ及びズーム撮影用駆動制御機構を含む結像光学系1002、CCD(又はCMOS)イメージセンサー1003、撮像パラメータの計測部1004、映像信号処理回路1005、記憶部1006、撮像動作の制御や撮像条件の制御等の制御用信号を発生する制御信号発生部1007、EVF等のファインダーを兼ねた表示ディスプレイ1008、ストロボ発光部1009、及び記録媒体1010等を含むと共に、更に、上記図1に示したパターン認識装置100の機能を有する被写体検出(認識)部1011を含む構成としている。
【0096】
上述のような撮像装置1000では、特に、被写体検出(認識)部1011は、例えば、撮影して得られた映像中から、人物の顔画像を検出(存在位置、サイズの検出)する。
【0097】
同制御信号発生部1007は、被写体検出(認識)部1011での検出結果(人物の位置及びサイズ情報)を受け取ると、撮像パラメータ計測部1004の出力に基づき、当該人物に対するピント制御、露出条件制御、及びホワイトバランス制御等を最適に行うための制御信号を発生する。
【0098】
上述のように、上記図1のパターン検出(認識)装置100の機能を、撮像装置1000に用いることで、撮影して得られた映像中の人物検出と、これに基づく撮影の最適制御を行うことができる。
【0099】
尚、上記図10の撮影装置1000では、上記図1のパターン検出装置100の機能を被写体検出(認識)部1011として備える構成としたが、これに限られることはなく、例えば、パターン検出装置100のアルゴリズムをプログラムとして撮影装置1000に実装させ、この撮影装置1000に搭載したCPU(不図示)で当該プログラムを実行するように構成してもよい。このような構成は、以下に説明する第2の実施の形態及び第3の実施の形態でも同様に実施可能である。
【0100】
また、本実施の形態では、対象画像から検出すべきパターンの特徴を4階層に分けて、1次特徴〜4次特徴を順に検出し、最後に検出すべきパターンを確認するように構成したが、この4階層に限られることはなく、3階層や5階層等の任意の階層を適用可能である。これは、以下に説明する第2の実施の形態及び第3の実施の形態でも同様に実施可能である。
【0101】
また、本実施の形態では一例として、顔パターンを検出パターンとして、対象画像から顔領域を求めるものとしたが、本発明は、顔検出のみに限定されるわけではない。
例えば、図11(A)に示すような“24”という数字列を対象画像中から検出することも可能である。
【0102】
上記の数字列検出の場合、上記図11(B)に示すように、“2”は、横方向線分と右斜め下方向線分からなる2次特徴(上部特徴)と、縦方向線分と右斜め上方向線分からなる2次特徴(中間部特徴)と、右斜め上方向線分と横方向線分からなる2次特徴(下部特徴)とから構成され、さらに、これらの2次特徴は、上記図3(a)に示したような1次特徴から構成されている。
【0103】
したがって、先ず、対象画像から1次特徴を検出し、当該1次特徴の検出結果から2次特徴を検出し、そして、当該2次特徴検出結果を用いて、3次特徴としての“2”を検出する。これと同様に“4”に関しても、2次特徴検出結果から3次特徴として検出する。
次に、“2”と“4”の3次特徴検出結果から、4次特徴として“24”を求める。
そして、3次特徴として検出した“2”と“4”の位置関係をパラメータとして、“24”を示す数字列の基準パターンを基に、当該パラメータを用いて“24”の確認パターンを設定し、最終的に“24”を示す数字列を検出する。
【0104】
[第2の実施の形態]
本発明は、例えば、図12に示すような情報処理装置1200に適用される。
本実施の形態の情報処理装置1200は、特に、上記図1に示したパターン認識装置100の機能を有するものである。
【0105】
<情報処理装置1200の構成>
情報処理装置1200は、上記図12に示すように、制御部1270、演算部1210、重み設定部1220、基準重み保持部1230、パラメータ検出部1240、入力信号メモリ1250、入力信号メモリ制御部1251、中間結果メモリ1260、及び中間結果メモリ制御部1261を含む構成としている。
【0106】
上述のような情報処理装置1200において、まず、制御部1270は、情報処理装置1200全体の動作制御を司る。
特に、制御部1270は、演算部1210、重み設定部1220、基準重み保持部1230、パラメータ検出部1240、入力信号メモリ制御部1251、及び中間結果メモリ制御部1261を制御することで、パターン認識動作を実施する。
【0107】
演算部1210は、入力信号メモリ1250又は中間結果メモリ1260からのデータと、重み設定部1220からの重みデータとを用いて、これらの積和演算及びロジスティック関数等による非線形演算を行ない、その結果を中間結果メモリ1260に保持する。
【0108】
重み設定部1220は、基準重み保持部1230からの基準重みデータを基に、パラメータ検出部1240からのパラメータを用いて、重みデータを設定し、その重みデータを演算部1210に供給する。
【0109】
基準重み保持部1230は、入力信号中の各特徴を検出するための基準となる基準重みデータを、各特徴それぞれに対して保持しており、その基準重みデータを重み設定部1220に供給する。
【0110】
パラメータ検出部1240は、重み設定部1220で重みデータを設定する際に使用するパラメータを、中間結果メモリ1260のデータを用いて検出し、当該パラメータを重み設定部1220に供給する。
【0111】
入力信号メモリ1250は、画像信号や音声信号等の処理対象となる入力信号を保持する。
入力信号メモリ制御部1251は、入力信号を入力信号メモリ1250に保持する際、また、入力信号メモリ1250に保持されている入力信号を演算部1210に供給する際に、入力信号メモリ1250を制御する。
【0112】
中間結果メモリ1260は、演算処理部1210で得られた演算結果を保持する。
中間結果メモリ制御部1261は、演算部1210からの演算結果を中間結果メモリ1260に保持する際、また、中間結果メモリに保持されている中間結果を演算部1210やパラメータ検出部1240に供給する際に、中間結果メモリ1260を制御する。
【0113】
<情報処理装置1200の動作>
ここでは情報処理装置1200の動作の一例として、並列階層処理により画像認識を行う神経回路網を形成した場合の動作について説明する。すなわち、第1の実施の形態と同様に、処理対象となる入力信号を画像信号とする。
【0114】
まず、図13を参照して、神経回路網の処理内容を詳細に説明する。
神経回路網は、入力信号中の局所領域において、対象又は幾何学的特徴等の認識(検出)に関与する情報を階層的に扱うものであり、その基本構造は、所謂Convolutionalネットワーク構造(LeCun, Y. and Bengio, Y., 1995, "ConvolutionalNetworks for Images Speech, and Time Series" in Handbook of Brain Theory and Neural Networks (M. Arbib, Ed.), MIT Press, pp.255-258)である。最終層(最上位層)からの出力は、認識結果としての認識された対象のカテゴリ、及びその入力データ上の位置情報である。
【0115】
上記図13において、データ入力層1301は、CMOSセンサ或いはCCD素子等の光電変換素子からの局所領域データを入力する層である。
【0116】
最初の特徴検出層1302(1,0)は、データ入力層1301から入力された画像パターンの局所的な低次の特徴(特定方向成分や特定空間周波数成分等の幾何学的特徴の他、色成分特徴等を含む特徴でもよい)を全画面の各位置を中心として、局所領域(或いは、全画面にわたる所定のサンプリング点の各点を中心とする局所領域)において、同一箇所で複数のスケールレベル又は解像度で複数の特徴カテゴリの数のみ検出する。
【0117】
特徴統合層1303(2,0)は、所定の受容野構造(以下、「受容野」とは、直前の層の出力素子との結合範囲を意味し、「受容野構造」とは、その結合荷重の分布を意味する)を有し、特徴検出層1302(1,0)からの同一受容野内にある複数のニューロン素子出力の統合(局所平均化や最大出力検出等によるサブサンプリング等の演算による統合)を行う。
【0118】
上記の統合処理は、特徴検出層1302(1,0)からの出力を空間的にぼかすことで、位置ずれや変形等を許容する役割を有する。また、特徴統合層内のニューロンの各受容野は、同一層内のニューロン間で共通の構造を有している。
【0119】
尚、一般的に特徴検出層内のニューロンの各受容野も同一層内のニューロン間で共通の構造を有しているが、その受容野構造をサイズに関して、前段のニューロンの出力結果(検出結果)に応じて変更するというのが、本実施の形態の主旨である。
【0120】
後続の層である各特徴検出層1302((1,1)、(1,2)、…、(1,M))及び各特徴統合層1303((2,1)、(2,2)、…、(2,M))は、上述した各層と同様に、前者((1,1)、…)は、各特徴検出モジュールにおいて複数の異なる特徴の検出を行ない、後者((2,1)、…)は、前段の特徴検出層からの複数特徴に関する検出結果の統合を行なう。
【0121】
但し、前者の特徴検出層は、同一チャネルに属する前段の特徴統合層の細胞素子出力を受けるように結合(配線)されている。特徴統合層で行う処理であるサブサンプリングは、同一特徴カテゴリの特徴検出細胞集団からの局所的な領域(当該特徴統合層ニューロンの局所受容野)からの出力についての平均化等を行なうものである。
【0122】
図14は、情報処理装置1200の動作の具体例として、第1の実施の形態と同様に、対象画像から顔パターンを認識する場合の動作を、フローチャートにより示したものである。
【0123】
ステップS1401:
入力信号メモリ制御部1251は、制御部1270により入力された信号(ここでは画像信号)を入力信号メモリ1250に入力する。
本ステップS1401が、上記図13に示したデータ入力層1301に対応する。
【0124】
ステップS1402:
重み設定部1220は、例えば、基準重み保持部1230に保持されている、上記図3(a)に示したような1次特徴の検出重みデータ(各方向や各サイズのエッジ抽出を行なうための重みデータ)を演算部1210に対して設定する。
【0125】
尚、サイズや方向をパラメータとしては、1次特徴検出重みデータを重み設定部1220で生成するようにしてもよい。
また、次の2次特徴、3次特徴、及び4次特徴に関しても、例えば、第1の実施の形態で述べた特徴と同様のものを使用することが可能である。
【0126】
ステップS1403:
演算部1210は、1次特徴を検出する。
すなわち、本ステップS1403での1次特徴検出は、上記図13に示した特徴検出層1302(1,0)の処理に対応し、演算部1210は、それぞれの特徴fの検出モジュール1304に相当する処理を実行する。
【0127】
具体的には、ステップS1402で設定された各1次特徴検出重みデータは、各特徴fを検出する受容野1305の構造に相当し、演算部1210は、入力画像メモリ1250から画像信号を取得し、当該画像信号の各位置の局所領域(受容野1305に対応する領域)と、各1次特徴検出重みデータとの積和演算を実行する。
【0128】
ここで、演算処理部1210で実行される特徴検出層ニューロンの入出力特性の一例を、下記の式(1)で示す。すなわち、第L段目の第k番目の特徴を検出する細胞面の位置nにあるニューロンの出力uSL(n,k)は、
【0129】
【数1】
Figure 2004199200
【0130】
なる式(1)で表される。
【0131】
上記式(1)において、uCL(n,κ)は、第L段目の特徴統合層の第κ番目の細胞面の位置nにあるニューロンの出力を示す。KCLは、第L段目の特徴統合層の種類の数を示す。wL(v,κ,k)は、第L段目の特徴検出細胞層の第k番目の細胞面の位置nにあるニューロンの、第L−1段目の特徴統合層の第κ番目の細胞面の位置n+にあるニューロンからの入力結合である。また、WLは、検出細胞の受容野であり、その大きさは有限である。
【0132】
本ステップS1403の処理は、1次特徴検出であるため、Lは“1”であり、したがって、uCL-1は、データ入力層に相当するため、前段の特徴数は1種類となる。そして、検出する特徴が8種類であるため、8種類の結果が得られることになる。
【0133】
また、上記式(1)において、f()は、積和演算の結果に対しての非線形処理を示す。例えば、この非線形処理には、
【0134】
【数2】
Figure 2004199200
【0135】
なる式(2)で表されるロジスティック関数を使用する。
【0136】
上記非線形処理された結果は、中間結果メモリ1260に保持される。ここでは、上述したように8種類の特徴を検出しているため、これら全ての特徴の検出結果が、中間結果メモリ1260に保持されることになる。
【0137】
ステップS1404:
重み設定部1220は、基準重み保持手段1230に保持されている1次特徴統合重みデータを演算部1210に対して設定する。
ここでの1次特徴統合重みデータは、ステップS1403で検出された1次特徴の局所的な平均化や最大値の検出等の処理を行なうための重みデータである。
【0138】
ステップS1405:
演算部1210は、中間結果メモリ1260に保持されている各1次特徴の検出結果と、ステップS1404で設定された各1次特徴統合重みデータとの積和演算を行なう処理(各1次特徴の検出結果の統合処理)を実行する。
【0139】
本ステップS1405における処理は、上記図13に示した特徴統合層1303(2,0)の処理に対応し、各特徴fの統合モジュールに相当する処理である。具体的には、特徴検出層1302(1,0)からの同一受容野内に存在する複数のニューロン素子出力の統合(局所平均化、最大出力検出等によるサブサンプリングなどの演算)に相当する。
【0140】
すなわち、演算部1210は、各1次特徴の検出結果毎に、局所領域で平均化や最大値検出等の処理を実行する。例えば、演算部1210は、
【0141】
【数3】
Figure 2004199200
【0142】
なる式(3)で示される、局所領域での平均化を実行する。
【0143】
上記式(3)において、dL(v)は、第L段目の特徴検出層のニューロンから、第L段目の特徴統合細胞層の細胞面に存在するニューロンへの入力結合であり、|v|に関して単純に減少する関数である。また、DLは、統合細胞の受容野を示し、その大きさは有限である。
【0144】
演算部1210は、上記式(3)による積和演算の結果を中間結果メモリ1260に保持する。
このとき、演算部1210は、上記積和演算の結果に対して、さらに非線形処理を施し、この結果を中間結果メモリ1260に保持するようにしてもよい。
【0145】
本ステップS1405までの処理で、中間結果メモリ1260は、1次特徴検出結果を各特徴毎に局所領域で統合した、各サイズ及び各方向の1次特徴の統合結果を保持していることになる。
【0146】
ステップS1406:
重み設定部1220は、2次特徴検出重みデータを設定する。
ここでの2次特徴検出重みデータは、上述したように、第1の実施の形態で用いた上記図3(b)に示した各2次特徴を検出するための重みデータである。
【0147】
第1の実施の形態においても説明したように、2次特徴以降の各特徴の大きさはそれ以前に求めた特徴の大きさと相関がある。このため、重み設定部1220は、2次特徴以降の各特徴を検出する際に、前段の階層で検出された特徴の大きさに依存して、特徴検出重みデータを設定する。
【0148】
具体的には、先ず、重み設定部1220は、予め設定された、パラメータ検出部1240により各1次特徴を検出した1次特徴検出重みデータが示す受容野サイズを、パラメータとして設定する。
そして、重み設定部1220は、基準重み保持部1230に保持されている基準2次特徴検出重みデータを、上記受容野サイズに関して、先にパラメータ検出部1240により設定したパラメータを用いて修正し、この結果を2次特徴検出重みデータとする。
【0149】
すなわち、例えば、基準2次特徴検出重みデータが、上記図3(a)に示したような1次特徴のサイズが大きい方(受容野サイズが大きい方)に対して設定されているものとすると、重み設定部1220は、受容野サイズが小さい重み係数で検出した1次特徴検出結果に対して、2次特徴を検出する際に、例えば、図15に示すように、2次特徴検出重みデータの受容野サイズを小さくする。
【0150】
ステップS1407:
演算部1210は、2次特徴の検出を行なう。これは、上記図13に示した特徴検出層1302(1,1)の処理に対応する。
【0151】
本ステップS1407での処理自体は、ステップS1403における1次特徴検出処理と同様である。
例えば、演算部1210は、上記式(1)を用いた積和演算、及びその結果に対する非線形演算の処理を実行する。ただし、演算部1210は、ステップS1406で設定された2次特徴検出重みデータ、及び中間結果メモリ1260に保持されている1次特徴の統合結果を、積和演算に使用し、当該演算結果に対して非線形演算を行ない、当該演算結果(2次特徴検出結果)を中間結果メモリ1260に保持する。
【0152】
ステップS1408:
重み設定部1220は、基準重み保持部1230に保持されている2次特徴統合重みデータを演算部1210に対して設定する。
ここでの2次特徴統合重みデータは、ステップS1407で検出した2次特徴結果の局所的な平均化や最大値の検出等の処理を実行するための重みデータである。
【0153】
ステップS1409:
演算部1210は、各2次特徴の検出結果を統合する。これは、上記図13に示した特徴統合層1303(2,1)の処理に対応する。
【0154】
具体的には、演算部1210は、中間結果メモリ1260に保持されている各2次特徴の検出結果と、ステップS1408で設定された各2次特徴統合重みデータとの積和演算を、例えば、上記式(3)に従って実行し、当該積和演算の結果を中間結果メモリ1260に保持する。このとき、演算部1210は、上記積和演算の結果に対して、さらに非線形処理を施し、当該処理結果を中間結果メモリ1260に保持するようにしてもよい。
【0155】
ステップS1410:
重み設定部1220は、3次特徴検出重みデータを演算部1210に対して設定する。
ここでの3次特徴検出重みデータは、上述したように、第1の実施の形態における上記図3(c)で示した各3次特徴を検出するための重みデータである。
【0156】
具体的には、先ず、重み設定部1220は、パラメータ検出部1240で、中間結果メモリ1260に保持されている各1次特徴検出結果及び各2次特徴検出結果から、2次特徴の大きさに基づいた値をパラメータとして設定する。このパラメータとしては、例えば、第1の実施の形態で説明したように、右空きV字特徴の場合、右上がり斜め特徴と右下がり斜め特徴間の垂直距離を使用することができる。
そして、重み設定部1220は、基準重み保持部1230に保持されている基準3次特徴検出重みデータを、その受容野サイズに関して、パラメータ検出部1240で求めたパラメータを用いて修正し、この結果を3次特徴検出重みデータとする。
【0157】
ステップS1411:
演算部1210は、3次特徴検出を行なう。これは、上記図13に示した特徴検出層1302(1,2)の処理に対応する。
【0158】
具体的には、演算部1210は、ステップS1410で設定された3次特徴検出重みデータと、中間結果メモリ1260に保持されている2次特徴の統合結果との積和演算、及びその結果に対する非線形演算を実行し、当該演算結果(3次特徴検出結果)を中間結果メモリ1260に保持する。
【0159】
ステップS1412:
重み設定部1220は、基準重み保持部1230に保持されている3次特徴統合重みデータを演算部1210に対して設定される。
ここでの3次特徴統合重みデータは、ステップS1411で検出した3次特徴結果の局所的な平均化や最大値検出等の処理を行なうための重みデータである。
【0160】
ステップS1413:
演算部1210は、各3次特徴の検出結果を統合する。これは、上記図13に示した特徴統合層1303(2,2)の処理に対応する。
【0161】
具体的には、演算部1210は、中間結果メモリ1260に保持されている各3次特徴の検出結果と、ステップS1412で設定された各3次特徴統合重みデータとの積和演算を実行し、当該積和演算の結果を中間結果メモリ1260に保持する。このとき、演算部1210は、当該積和演算の結果に対して、さらに非線形処理を行い、当該処理結果を中間結果メモリ1260に保持するようにしてもよい。
【0162】
ステップS1414:
重み設定部1220は、4次特徴検出重みデータを演算部1210に対して設定する。
ここでの4次特徴検出重みデータは、上述したように、第1の実施の形態で使用した上記図3(d)に示した各4次特徴を検出するための重みデータである。
【0163】
具体的には、先ず、重み設定部1220は、パラメータ検出部1240で、中間結果メモリ1260に保持されている各2次特徴検出結果及び各3次特徴検出結果から、3次特徴の大きさに基づいた値をパラメータとして設定する。このパラメータとしては、例えば、第1の実施の形態で説明したように、眼特徴の場合、右空きV字特徴と左空きV字特徴間の水平距離を使用することができる。
そして、重み設定部1220は、基準重み保持部1230に保持されている基準4次特徴検出重みデータを、その受容野サイズに関して、パラメータ検出部1240で求めたパラメータを用いて修正し、この結果を4次特徴検出重みデータとする。
【0164】
ステップS1415:
演算部1210は、4次特徴検出を行なう。これは、上記図13に示した特徴検出層1302(1,3)の処理に対応する。
【0165】
具体的には、演算部1210は、ステップS1414で設定された4次特徴検出重みデータと中間結果メモリ1260に保持されている3次特徴の統合結果との積和演算、及びその結果に対する非線形演算を実行し、当該演算結果(4次特徴検出結果)を中間結果メモリ1260に保持する。
【0166】
ステップS1416:
重み設定部1220は、基準重み保持手段1230に保持されている4次特徴統合重みデータを演算部1210に対して設定する。
ここでの4次特徴統合重みデータは、ステップS1415で検出した4次特徴結果の局所的な平均化や最大値の検出等の処理を行なうための重みデータである。
【0167】
ステップS1417:
演算部1210は、4次特徴の検出結果を統合する。これは、上記図13に示した特徴統合層1303(2,3)の処理に対応する。
【0168】
具体的には、演算部1210は、中間結果メモリ1260に保持されている4次特徴の検出結果と、ステップS1416で設定された4次特徴統合重みデータとの積和演算を実行し、当該積和演算の結果を中間結果メモリ1260に保持する。このとき、演算部1210は、当該積和演算の結果に対して、さらに非線形処理を行い、当該処理結果を中間結果メモリ1260に保持するようにしてもよい。
【0169】
ステップS1418:
演算部1210は、パターン確認重みデータを設定する。
【0170】
具体的には、まず、上述したステップS1417までの処理により、4次特徴が検出されるが、第1の実施の形態で説明したように、対象画像(入力画像)中の背景に4次特徴を構成する複数の3次特徴に似た領域があり、また、これらの位置関係をも似ている場合、4次特徴の検出で誤検出する可能性がある。すなわち、例えば、顔の検出の場合、入力画像中の背景に、それぞれ両眼及び口と似た領域が存在し、また、その位置関係をも似ている場合、顔特徴の検出で誤検出する可能性がある。
【0171】
このため、本実施の形態では、検出すべきパターンにおいて典型的なタイプ(サイズや向き等)を検出するための基準パターン確認重みデータを用意し、当該重みデータを修正し、当該修正後のパターン確認重みデータを設定し、当該設定パターン確認重みデータを用いて、最終的に検出すべきパターンが入力画像中に存在するか否かを判断する。
【0172】
ここで一例として、顔を検出パターンとしているので、典型的な顔を検出する基準顔パターン確認重みデータを用意し、これを修正し、当該修正後の顔パターン確認重みデータを設定し、当該設定顔パターン確認重みデータを使用して、顔パターンが入力画像中に存在するかを判断する。
【0173】
したがって、本ステップS1418では、先ず、演算部1210は、パラメータ検出部1240で、中間結果メモリ1260に保持されている各3次特徴検出結果及び4次特徴検出結果から、検出した4次特徴の各位置において、3次特徴検出結果に基づいた値をパラメータとして設定する。このパラメータとしては、例えば、第1の実施の形態で説明したように、顔特徴である場合、眼特徴と口特徴の位置を使用することができる。
そして、演算部1210は、基準重み保持部1230に保持されている基準パターン確認重みデータを、その受容野サイズ及び回転に関して、パラメータ検出部1240で求めたパラメータを用いて修正し、当該修正結果をパターン確認重みデータとする。
【0174】
ステップS1419:
演算部1210は、検出パターンの確認を行なう。
具体的には、演算部1210は、ステップS1418で設定された確認パターン重みデータと、入力信号メモリ1250に保持されている入力信号との積和演算、及びその結果に対する非線形演算を実行し、当該演算結果を中間結果メモリ1260に保持する。この中間結果メモリ1260に保持された結果が、検出すべきパターンの検出最終結果となる。
【0175】
上記説明したように、本実施の形態では、各特徴を検出するための基準重みデータを用意し、前段の検出結果から求めたパラ―メータを用いて、当該基準重みデータを基に、検出重みデータを設定するように構成したので、各特徴の検出精度が向上し、最終的に検出するパターンの検出精度が向上するという効果がある。
【0176】
また、演算部1210では、検出重みデータ又は統合重みデータと、中間結果メモリ1260又は入力信号メモリ1250からのデータとの積和演算及びその結果の非線形変換を行い、当該積和演算に使用する重みデータを、毎回設定するように構成したので、同じ演算部1210を繰り返し使用できるという効果がある。さらに、入力信号と中間結果の両方を保持する構成としているので、最後の確認処理をも容易に行えるという効果がある。
【0177】
尚、本実施の形態では、その一例として、統合処理に使用する統合重みデータに対して、検出結果に応じた設定を行なっていないが、例えば、検出重みデータ同様に、受容野サイズの設定を行なうことも可能である。また、上記図14に示したステップS1416及びS1417の4次特徴に対する統合処理は、省略することも可能である。
【0178】
[第3の実施の形態]
本発明は、例えば、図16に示すような情報処理装置1600に適用される。本実施の形態の情報処理装置1600は、特に、上記図1に示したパターン認識装置100の機能を有するものである。
【0179】
具体的には、まず、情報処理装置1600は、上記図16に示すように、制御部1670、演算部1610、基準重み保持部1630、パラメータ検出部1640、入力信号メモリ1650、入力信号メモリ制御部1651、中間結果メモリ1660、及び中間結果メモリ制御部1661を含む構成としている。
【0180】
ここで、本実施の形態における情報処理装置1600は、基本的には第2の実施の形態における情報処理装置1200(上記図12参照)と同様の機能を有するものであるが、これと異なる点は、重み設定部1220に相当する機能を持たず、パラメータ検出部1640で求めたパラメータを中間結果メモリ制御部1661及び演算部1610に供給するように構成したことにある。
【0181】
すなわち、第2の実施の形態では、前段の処理結果からパラメータを求め、そのパラメータから特徴を検出するための重みデータを設定するように構成したが、本実施の形態では、重みデータとして、基準重み保持手段1630に保持されている基準重みデータをそのまま使用し、替わりに受容野に相当する、中間結果メモリ1660に保持されている前段の検出結果を、補間等を用いてサイズ変更するように構成する。
【0182】
このため、例えば、3次特徴である眼特徴を検出する場合、情報処理装置1600は、図17に示すように、入力画像1700に対する通常の受容野に対して、サイズ変更することで、サイズ変更後局所画像1710を生成し、この変更後局所画像1710と、基準重み保持手段1630に保持されている基準重みデータとの積和演算を実行する。
【0183】
尚、3次特徴を求める場合、中間結果メモリ1660に保持されている2次特徴検出結果を使用するが、上記図17では、説明の簡単のため、入力画像1700の局所画像のサイズ変更を示している。実際には、2次特徴検出結果画像の局所領域をサイズ変更して使用する。
【0184】
以上説明したように、本実施の形態では、前段の検出結果から求めたパラ―メータを用いて、特徴を検出する際に使用する前段の検出結果のサイズを変更して再設定するように構成したので、各特徴の検出精度が向上し、最終的に検出するパターンの検出精度が向上する、という効果を得られる。また、検出結果のサイズを変更は、メモリから読み出す領域の変更と補間処理で良いため、容易に実現できる、という効果をも得られる。
【0185】
尚、第2及び第3の実施の形態における情報処理装置1200,1600の機能を、例えば、第1の実施の形態と同様に、撮像装置に搭載させることも可能である。
【0186】
また、本発明の目的は、第1〜第3の実施の形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU)が記録媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。
この場合、記録媒体から読み出されたプログラムコード自体が第1〜第3の実施の形態の機能を実現することとなり、そのプログラムコードを記録した記録媒体及び当該プログラムコードは本発明を構成することとなる。
プログラムコードを供給するための記録媒体としては、ROM、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード等を用いることができる。
また、コンピュータが読みだしたプログラムコードを実行することにより、第1〜第3の実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS等が実際の処理の一部又は全部を行い、その処理によって第1〜第3の実施の形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によって第1〜第3の実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0187】
図18は、上記コンピュータの機能1800を示したものである。
コンピュータ機能1800は、上記図18に示すように、CPU1801と、ROM1802と、RAM1803と、キーボード(KB)1809のキーボードコントローラ(KBC)1805と、表示部としてのCRTディスプレイ(CRT)1810のCRTコントローラ(CRTC)1806と、ハードディスク(HD)1811及びフレキシブルディスク(FD)1812のディスクコントローラ(DKC)1807と、ネットワーク1820との接続のためのネットワークインターフェースコントローラ(NIC)1808とが、システムバス1804を介して互いに通信可能に接続された構成としている。
【0188】
CPU1801は、ROM1802或いはHD1811に記録されたソフトウェア、或いはFD1812より供給されるソフトウェアを実行することで、システムバス1804に接続された各構成部を総括的に制御する。
すなわち、CPU1801は、所定の処理シーケンスに従った処理プログラムを、ROM1802、或いはHD1811、或いはFD1812から読み出して実行することで、第1〜第3の実施の形態での動作を実現するための制御を行う。
【0189】
RAM1803は、CPU1801の主メモリ或いはワークエリア等として機能する。
KBC1805は、KB1809や図示していないポインティングデバイス等からの指示入力を制御する。
CRTC1806は、CRT1810の表示を制御する。
DKC1807は、ブートプログラム、種々のアプリケーション、編集ファイル、ユーザファイル、ネットワーク管理プログラム、及び本実施の形態における所定の処理プログラム等を記録するHD1811及びFD1812とのアクセスを制御する。
NIC1808は、ネットワーク1820上の装置或いはシステムと双方向にデータをやりとりする。
【0190】
【発明の効果】
以上説明したように本発明では、入力信号(画像信号等)に含まれる所定パターン(顔パターン等)を構成する複数の特徴(眼や口等)を階層的に検出するにあたり、対象特徴の検出に使用するデータを、対象特徴に対応した基準データ(基準顔データ等)、及び対象特徴の前段の特徴の検出結果に基づいて設定するように構成した。
【0191】
これにより、例えば、同一階層の各特徴の検出処理を独立に行い、次の階層の特徴を検出する際に、その前段の階層の複数の特徴の検出結果から求めたパラメータを用いて、各特徴を検出する際に使用するモデル又は重み等のデータを、適応的に設定できるため、或いは、特徴検出の際に使用する前段の検出結果から求めたパラメータを用いて適応的に再設定できるため、各特徴の検出精度を向上させることができ、入力信号中に、サイズが異なる複数の認識対象が存在する場合であっても、全ての認識対象を、少ない処理コストで検出することができる。
【0192】
また、例えば、最後の確認処理として、確認パターンとの相関を求める際に、これまでに求めた各特徴の位置に応じて、当該確認パターンに対して回転やサイズ変更等の変形(変換)を行なうように構成した場合、確認精度を向上させることができる。
【0193】
また、上記の機能を、例えば、撮像装置に適用するように構成した場合、画像中の顔等の特定領域の色補正や、フォーカスの設定等を容易に行える。
【0194】
よって、本発明によれば、対象信号中に存在する任意の領域を特定の認識対象として検出するにあたり、認識対象が如何なるものであっても、少ない処理コストで効率的に検出できる。
特に、例えば、対象画像中にサイズの異なる複数の認識対象が存在する場合であっても、全ての認識対象を、少ない処理コストで抽出することができ、また、認識対象のパターンではないにも関わらず認識対象のパターンとして誤って検出してしまう誤検出を防ぐことができる。
【図面の簡単な説明】
【図1】第1の実施の形態において、本発明を適用したパターン認識(検出)装置の構成を示すブロック図である。
【図2】上記パターン認識(検出)装置の動作を説明するためのフローチャートである。
【図3】上記パターン認識(検出)装置において、顔領域を検出する際の特徴の一例を説明するための図である。
【図4】上記顔領域検出の際に用いる検出基準データの一例を説明するための図である。
【図5】上記顔領域検出の対象画像の一例を説明するための図である。
【図6】上記顔領域検出の際に用いるパラメータの一例を説明するための図である。
【図7】上記顔領域の眼領域を検出する際の特徴の検出基準モデルの一例を説明するための図である。
【図8】上記眼領域検出の対象画像において、位置による眼特徴の検出モデルの違いを説明するための図である。
【図9】上記顔領域検出の確認パターンの設定を説明するための図である。
【図10】上記パターン認識(検出)装置の機能付き撮像装置の構成を示すブロック図である。
【図11】上記パターン認識(検出)装置の機能による文字列の検出を説明するための図である。
【図12】第2の実施の形態において、本発明を適用した情報処理装置の構成を示すブロック図である。
【図13】上記情報処理装置において、Convolutionalニューラルネットワーク構造を説明するための図である。
【図14】上記情報処理装置の動作を説明するためのフローチャートである。
【図15】上記情報処理装置において、特徴検出重みデータを模式的に説明するための図である。
【図16】第3の実施の形態において、本発明を適用した情報処理装置の構成を示すブロック図である。
【図17】上記情報処理装置の機能を模式的に説明するための図である。
【図18】第1〜第3の実施の形態における装置の機能をコンピュータに実現させるためのプログラムをコンピュータ読み取り可能な記録媒体から読み出して実行する当該コンピュータの構成を示すブロック図である。
【符号の説明】
100 パターン認識(検出)装置
101 1次特徴検出部
102 2次特徴検出部
103 3次特徴検出部
104 4次特徴検出部
105 パターン確認部
111 1次特徴検出フィルタ設定部
112 2次特徴検出モデル設定部
113 3次特徴検出モデル設定部
114 4次特徴検出モデル設定部
115 確認パターン設定部
122 2次特徴基準モデル保持部
123 3次特徴基準モデル保持部
124 4次特徴基準モデル保持部
125 基準確認パターン保持部
130 信号入力部

Claims (24)

  1. 入力信号に含まれる所定パターンを検出するパターン認識装置であって、
    上記所定パターンの複数の特徴を階層的に検出する特徴検出手段と、
    上記複数の特徴に対応した複数の基準データを保持する基準データ保持手段と、
    上記特徴検出手段で対象特徴の検出に使用するデータを、上記基準データ保持手段に保持されている基準データ、及び上記特徴検出手段で得られた対象特徴の前段の特徴の検出結果に基づいて設定するデータ設定手段とを備えることを特徴とするパターン認識装置。
  2. 上記データ設定手段は、上記入力信号の空間的位置毎に、上記データ設定を行うことを特徴とする請求項1記載のパターン認識装置。
  3. 上記基準データ保持手段は、上記所定パターンの典型的なパターンを構成する複数の特徴を検出するための基準データを保持し、
    上記データ設定手段は、上記特徴検出手段で得られた複数の特徴の位置関係に基づいて、上記基準データ保持手段に保持された基準データを変換し、
    上記特徴検出手段は、上記データ設定手段による変換後の基準データと、上記入力信号との相関に基づいて、上記入力信号に含まれる所定パターンの有無を確認することを特徴とする請求項1記載のパターン認識装置。
  4. 入力信号に含まれる所定パターンを検出するパターン認識装置であって、
    上記所定パターンの複数の特徴を階層的に検出する特徴検出手段と、
    上記複数の特徴に対応した複数の基準データを保持する基準データ保持手段とを備え、
    上記特徴検出手段は、上記入力信号の所定の位置で高次の特徴を検出する際に、当該特徴検出に使用する前階層の検出結果からの入力範囲としての局所領域の大きさを、当該前階層の複数の特徴の検出結果に基づき設定することを特徴とするパターン認識装置。
  5. 上記特徴検出手段は、上記入力信号の空間的位置毎に、上記局所領域の大きさの設定を行うことを特徴とする請求項4記載のパターン認識装置。
  6. 上記基準データ保持手段は、上記所定パターンの典型的なパターンを構成する複数の特徴を検出するための基準データを保持し、
    上記特徴検出手段は、検出した複数の特徴の位置関係に基づき上記入力信号を変換し、当該変換後の入力信号と、上記基準データ保持手段に保持された基準データとの相関に基づいて、上記入力信号中の所定パターンの有無を確認することを特徴とする請求項4記載のパターン認識装置。
  7. 入力信号に含まれる所定パターンを検出するパターン認識装置であって、
    上記所定パターンの複数の特徴を階層的に検出する特徴検出手段と、
    上記特徴検出手段で検出された検出結果を保持する保持手段と、
    上記保持手段に保持された検出結果に基づきパラメータを求めるパラメータ取得手段とを備え、
    上記パラメータ取得手段は、得られたパラメータに基づき上記保持手段から読み出す検出結果を変更し、上記特徴検出手段は当該検出結果に基づき特徴検出を行うことを特徴とするパターン認識装置。
  8. 上記入力信号は、画像信号を含み、
    上記所定パターンは、上記画像中に含まれる顔パターンを含み、
    上記複数の特徴は、上記顔パターンの眼及び口の特徴を含むことを特徴とする請求項1〜7の何れかに記載のパターン認識装置。
  9. 被写体を撮像して取得した画像に含まれる所定パターンを検出するパターン認識機能を有する撮像装置であって、
    上記パターン認識機能は、請求項1〜8の何れかに記載のパターン認識装置の機能を含むことを特徴とする撮像装置。
  10. 複数の機器が互いに通信可能に接続されてなる情報処理システムであって、
    上記複数の機器のうち少なくとも1つの機器は、請求項1〜8の何れかに記載のパターン認識装置の機能、又は請求項9記載の撮像装置の機能を有することを特徴とする情報処理システム。
  11. 入力信号中に含まれる所定パターンを検出するためのパターン認識方法であって、
    上記所定パターンを構成する複数の特徴を階層的に検出する特徴検出ステップと、
    上記特徴検出ステップで複数特徴をそれぞれ検出するための基準データを複数保持する基準データ保持ステップと、
    上記特徴検出ステップで特徴検出するために使用するデータを、上記基準データ保持ステップにより保持された基準データに基づき設定するデータ設定ステップとを含み、
    上記データ設定ステップは、上記特徴検出ステップで特徴を検出するためのデータを設定する際に、上記基準データ保持ステップにより保持された基準データに基づいて、上記特徴検出ステップにより得られた検出対象特徴の前段特徴の検出結果から求めたパラメータを用いて設定するステップを含むことを特徴とするパターン認識方法。
  12. 入力信号中に含まれる所定パターンを検出するためのパターン認識方法であって、
    上記所定のパターンを構成する複数の特徴を階層的に検出する特徴検出ステップと、
    上記特徴検出ステップで複数の特徴をそれぞれ検出するための基準データを複数保持する基準データ保持ステップとを含み、
    上記特徴検出ステップは、上記入力信号の所定の位置で、より高次の特徴を検出する際に、検出に使用する前段の階層の検出結果からの入力範囲としての局所領域の大きさを、前段の階層の複数の特徴の検出結果から求めたパラメータを用いて設定するステップを含むことを特徴とするパターン認識方法。
  13. 入力画像中に含まれる顔パターンを検出するためのパターン認識方法であって、
    顔を構成する複数の特徴を階層的に検出する特徴検出ステップと、
    上記特徴検出ステップで複数の特徴をそれぞれ検出するための基準データを複数保持する基準データ保持ステップと、
    上記基準データ保持ステップにより典型的な顔パターンを検出するための基準顔データを保持し、上記特徴検出ステップにより検出した眼と口の位置関係に基づき当該基準顔データを変換し、当該変換後の基準顔データと上記入力画像との相関に基づいて、上記入力画像中の顔パターンの有無を確認する確認ステップとを含むことを特徴とするパターン認識方法。
  14. 対象信号の中に含まれる所定パターンを検出するためのパターン認識方法であって、
    上記所定パターンを構成する複数の特徴を階層的に検出する特徴検出ステップと、
    上記特徴検出ステップにおいて特徴検出するために使用するデータを、複数の特徴をそれぞれ検出するための基準データを基にして設定するデータ設定ステップとを含み、
    上記データ設定ステップは、特徴検出するためのデータを設定する際に、上記基準データに基づいて、前段の特徴の検出結果から求めたパラメータを用いて設定するステップを含むことを特徴とするパターン認識方法。
  15. 上記データ設定ステップは、特徴を検出するためのデータの設定を、上記入力信号の空間的位置毎に実行するステップを含むことを特徴とする請求項14記載のパターン認識法。
  16. 上記データ設定ステップは、上記特徴検出ステップにより得られた複数の特徴の位置関係に基づいて、検出をする所定パターンの典型的なパターンを検出するための基準データを変換するステップを含み、
    上記特徴検出ステップは、上記データ設定ステップによる変換後の基準データと上記入力信号との相関に基づいて、上記入力信号中の所定パターンの有無を確認するステップを含むことを特徴とする請求項14記載のパターン認識方法。
  17. 入力信号中に含まれる所定パターンを検出するためのパターン認識方法であって、
    上記所定パターンを構成する複数の特徴を階層的に検出するにあたり、上記入力信号の所定の位置で、より高次の特徴を検出する際に、検出に使用する前段の階層の検出結果からの入力範囲としての局所領域の大きさを、前段の階層の複数の特徴の検出結果から求めたパラメータを用いて設定する特徴検出ステップを含むことを特徴とするパターン認識方法。
  18. 上記特徴検出ステップは、上記局所領域の大きさの設定を、上記入力信号の空間的位置毎に実行するステップを含むことを特徴とする請求項17記載のパターン認識方法。
  19. 上記特徴検出ステップは、検出した複数の特徴の位置関係に基づいて上記入力信号を変換し、当該変換後の入力信号と、検出をする所定パターンの典型的なパターンを検出するための基準データとの相関に基づいて、上記入力信号中の所定パターンの有無を確認するステップを含むことを特徴とする請求項17記載のパターン認識方法。
  20. 入力画像中に含まれる顔パターンを、所定の基準顔データを用いて検出するためのパターン認識方法であって、
    顔を構成する複数の特徴を階層的に検出する特徴検出ステップと、
    上記特徴検出ステップにより得られた眼と口の位置関係に基づいて上記基準顔データを変換し、当該変換後の基準顔データと上記入力画像との相関に基づいて、上記入力画像中の顔パターンの有無を確認する確認ステップとを含むことを特徴とするパターン認識方法。
  21. コンピュータを所定の手段として機能させるためのプログラムであって、
    上記所定の手段は、
    入力信号に含まれる所定パターンの複数の特徴を階層的に検出する特徴検出手段と、
    上記複数の特徴に対応した複数の基準データを保持する基準データ保持手段と、
    上記特徴検出手段で対象特徴の検出に使用するデータを、上記基準データ保持手段に保持されている基準データ、及び上記特徴検出手段で得られた対象特徴の前段の特徴の検出結果に基づいて設定するデータ設定手段とを備えることを特徴とするプログラム。
  22. コンピュータを所定の手段として機能させるためのプログラムであって、
    上記所定の手段は、
    入力信号に含まれる所定パターンの複数の特徴を階層的に検出する特徴検出手段と、
    上記複数の特徴に対応した複数の基準データを保持する基準データ保持手段とを備え、
    上記特徴検出手段は、上記入力信号の所定の位置で高次の特徴を検出する際に、当該特徴検出に使用する前階層の検出結果からの入力範囲としての局所領域の大きさを、当該前階層の複数の特徴の検出結果に基づき設定することを特徴とするプログラム。
  23. コンピュータを所定の手段として機能させるためのプログラムであって、
    上記所定の手段は、
    上記所定パターンの複数の特徴を階層的に検出する特徴検出手段と、
    上記特徴検出手段で検出された結果を保持する保持手段と、
    上記保持手段に保持された検出結果に基づきパラメータを求めるパラメータ取得手段とを備え、
    上記パラメータ取得手段は、得られたパラメータに基づき上記保持手段から読み出す検出結果を変更し、上記特徴検出手段は当該検出結果に基づき特徴検出を行うことを特徴とするプログラム。
  24. 請求項21〜23の何れかに記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
JP2002364369A 2002-12-16 2002-12-16 パターン認識装置、パターン認識方法、及びプログラム Expired - Fee Related JP4298283B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2002364369A JP4298283B2 (ja) 2002-12-16 2002-12-16 パターン認識装置、パターン認識方法、及びプログラム
PCT/JP2003/016095 WO2004055735A1 (ja) 2002-12-16 2003-12-16 パターン識別方法、その装置及びそのプログラム
US10/539,882 US7577297B2 (en) 2002-12-16 2003-12-16 Pattern identification method, device thereof, and program thereof
AU2003289116A AU2003289116A1 (en) 2002-12-16 2003-12-16 Pattern identification method, device thereof, and program thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002364369A JP4298283B2 (ja) 2002-12-16 2002-12-16 パターン認識装置、パターン認識方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2004199200A true JP2004199200A (ja) 2004-07-15
JP4298283B2 JP4298283B2 (ja) 2009-07-15

Family

ID=32762257

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002364369A Expired - Fee Related JP4298283B2 (ja) 2002-12-16 2002-12-16 パターン認識装置、パターン認識方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP4298283B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006228199A (ja) * 2005-01-20 2006-08-31 Matsushita Electric Ind Co Ltd 顔抽出装置、半導体集積回路
JP2009087250A (ja) * 2007-10-02 2009-04-23 Canon Inc 画像処理装置及び画像処理方法
JP2009268117A (ja) * 2008-04-29 2009-11-12 Sony Corp 不規則で空間的にサブサンプルされる画像に対するフィルタによる影響を受ける適応領域
CN107909617A (zh) * 2017-11-13 2018-04-13 四川大学 一种基于非线性对比度加权的光源颜色估计方法
JP2018097717A (ja) * 2016-12-15 2018-06-21 オムロン株式会社 スジ状領域検出装置およびスジ状領域検出方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012014557A (ja) * 2010-07-02 2012-01-19 Fujitsu Ltd 特徴点判定装置、特徴点判定方法および特徴点判定プログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006228199A (ja) * 2005-01-20 2006-08-31 Matsushita Electric Ind Co Ltd 顔抽出装置、半導体集積回路
JP2009087250A (ja) * 2007-10-02 2009-04-23 Canon Inc 画像処理装置及び画像処理方法
JP2009268117A (ja) * 2008-04-29 2009-11-12 Sony Corp 不規則で空間的にサブサンプルされる画像に対するフィルタによる影響を受ける適応領域
JP2018097717A (ja) * 2016-12-15 2018-06-21 オムロン株式会社 スジ状領域検出装置およびスジ状領域検出方法
WO2018110089A1 (ja) * 2016-12-15 2018-06-21 オムロン株式会社 スジ状領域検出装置、スジ状領域検出方法、プログラム
TWI647660B (zh) * 2016-12-15 2019-01-11 歐姆龍股份有限公司 條狀區域檢測裝置、條狀區域檢測方法及其程式的記錄媒體
US10846869B2 (en) 2016-12-15 2020-11-24 Omron Corporation Streak-like region detecting device, streak-like region detecting method, and program
CN107909617A (zh) * 2017-11-13 2018-04-13 四川大学 一种基于非线性对比度加权的光源颜色估计方法
CN107909617B (zh) * 2017-11-13 2020-03-17 四川大学 一种基于非线性对比度加权的光源颜色估计方法

Also Published As

Publication number Publication date
JP4298283B2 (ja) 2009-07-15

Similar Documents

Publication Publication Date Title
US11882357B2 (en) Image display method and device
US8861806B2 (en) Real-time face tracking with reference images
US7577297B2 (en) Pattern identification method, device thereof, and program thereof
JP5629803B2 (ja) 画像処理装置、撮像装置、画像処理方法
EP1650711B1 (en) Image processing device, imaging device, image processing method
CN102667810B (zh) 数字图像中的面部识别
JP4772839B2 (ja) 画像識別方法および撮像装置
JP4743823B2 (ja) 画像処理装置、撮像装置、画像処理方法
US8605955B2 (en) Methods and apparatuses for half-face detection
US8577099B2 (en) Method, apparatus, and program for detecting facial characteristic points
CN112686812B (zh) 银行卡倾斜矫正检测方法、装置、可读存储介质和终端
CN107862663A (zh) 图像处理方法、装置、可读存储介质和计算机设备
JP5361524B2 (ja) パターン認識システム及びパターン認識方法
US20160078284A1 (en) Object identification apparatus and object identification method
JP5235691B2 (ja) 情報処理装置及び情報処理方法
MX2012010602A (es) Aparato para el reconocimiento de la cara y metodo para el reconocimiento de la cara.
JP2009015614A (ja) 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
KR20010080219A (ko) 화상 처리 장치 및 화상 처리 방법 및, 기록 매체
JP2015099559A (ja) 画像処理装置、画像処理方法及びプログラム
JP2006119817A (ja) 画像処理装置
JP6025557B2 (ja) 画像認識装置、その制御方法及びプログラム
JP4298283B2 (ja) パターン認識装置、パターン認識方法、及びプログラム
JP2005316743A (ja) 画像処理方法および画像処理装置
JP3962517B2 (ja) 顔面検出方法及びその装置、コンピュータ可読媒体
JP4789526B2 (ja) 画像処理装置、画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080617

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080818

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080930

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081201

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090407

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090415

R150 Certificate of patent or registration of utility model

Ref document number: 4298283

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130424

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130424

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140424

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees