JP2002203240A

JP2002203240A - 物体認識装置、物体を認識する方法、プログラムおよび記録媒体

Info

Publication number: JP2002203240A
Application number: JP2001333151A
Authority: JP
Inventors: Taro Imagawa; 太郎今川; Tsuyoshi Megata; 強司目片
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2000-10-31
Filing date: 2001-10-30
Publication date: 2002-07-19
Anticipated expiration: 2021-10-30
Also published as: JP3659914B2

Abstract

(57)【要約】【課題】認識の信頼度が高く、かつ、初期設定が容易
で環境条件の影響を受けにくい物体認識装置を提供す
る。【解決手段】物体認識装置１は、対象物を第１の属性
を用いて表現する第１の画像と、第１の対象物を第２の
属性を用いて表現する第２の画像とを含む第１の画像組
を入力する入力部１９０と、第１の画像組の所定の数の
画像のうち予め定められた少なくとも１つの位置に予め
定められた少なくとも１つの画像フィルタを適用するこ
とによって得られる少なくとも１つのフィルタ出力値を
成分として有する、特徴量空間における第１の特徴量ベ
クトルを求める特徴量ベクトル算出部１２５と、第１の
特徴量ベクトルと所定の識別パラメータとの関係に基づ
いて、対象物が特定のカテゴリに属するか否かを判定す
る判定部１４０とを備えている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、特定のカテゴリに
属する物体を認識する装置および方法に関し、より詳細
には、異なる属性を用いて物体を表現する複数の画像を
用いて物体を認識する装置および方法に関する。

【０００２】

【従来の技術】異なる属性を用いて対象物を表現した複
数の画像を用いて対象物の認識を行う従来技術として、
特開平８−２８７２１６号公報「顔面内部位認識方法」
に開示される技術が知られている。この従来技術では、
遠赤外光（波長８〜１０μｍの光）画像と可視光画像
（異なる属性を用いて対象物を表現した複数の画像）と
から、顔面内の部位（例えば、口）が認識される。遠赤
外線画像は、対象物から放射される遠赤外光の強度を表
現する。対象物から放射される遠赤外光の強度は、対象
物の温度と対応付けることができるので、遠赤外光画像
から特定の温度（例えば、人間の皮膚の通常の温度であ
る約３６℃）の領域を抽出することができる。

【０００３】温度画像を用いただけでは、対象物の周囲
に人間と同じ温度の物体(室内の電機製品など)が存在す
る場合に、正確に人間を検出することが困難になるの
で、可視光の画像における肌色の領域を参照して信頼性
の高い検出を実現していた。

【０００４】

【発明が解決しようとする課題】上記公報に記載の従来
技術では、認識対象となる部位の位置を特定するため
に、遠赤外線画像から抽出された皮膚温度領域と、可視
光画像から抽出された肌色の領域とが対応付けられる。
このような対応付けを行うためには、遠赤外線画像か
らの皮膚温度領域（約３６℃の温度の領域）の抽出と、
可視光画像からの肌色の領域の抽出とを正確に行う必要
があり、遠赤外線画像における画素と可視光画像にお
ける画素との対応付けを予め行う必要がある。

【０００５】遠赤外線画像における画素と可視光画像に
おける画素との対応付けを予め行うためには、可視光カ
メラと遠赤外光カメラの光軸を正確に合わせることが必
要であり、撮像システムの構築や物体認識のための初期
設定が複雑になるという課題がある。

【０００６】遠赤外線画像から皮膚温度領域を正確に抽
出するためには、時間経過とともに変化する遠赤外線カ
メラの光学系や回路、素子等の温度の影響をキャンセル
するためのキャリブレーションを頻繁に行う必要があ
る。あるいは、これらの光学系や回路、素子等の温度の
影響をなくすために、遠赤外線カメラの全体を一定の温
度に保つ（例えば、冷却する）ことが必要になる。その
結果、遠赤外線カメラを含む認識システムの初期設定お
よび保守が複雑であり、コスト高になるという課題があ
る。

【０００７】また、皮膚温度は日射や気温の影響によっ
て大きく変化する。特に屋外においては日射や気温等の
条件の変化に応じて、皮膚温度は標準的な３６℃付近の
温度からかけ離れやすく、１日のうち、時間的にも大き
く変化する。このように、皮膚温度が変化すると、遠赤
外線画像から皮膚温度領域を正確に抽出することは困難
になる。様々に変化する環境条件下で皮膚温度領域を正
確に抽出するためには、その個々の条件に応じた抽出ア
ルゴリズムを用意しなければならず、認識システムの初
期設定が容易でないという課題がある。

【０００８】可視光画像においても、屋外のように日射
や車のヘッドライト等の人工照明の影響を受けやすい環
境下では、カメラのダイナミックレンジの制限や光源の
スペクトル分布が不確定であることに起因して、対象物
の色を常に正確に検出することは困難になる。様々に変
化する環境条件下で肌色領域を正確に抽出するために
は、その個々の条件に応じた抽出アルゴリズムを用意し
なければならず、認識システムの初期設定が容易でない
という課題がある。

【０００９】さらに、遠赤外線画像からの皮膚温度領域
の抽出と、可視光画像からの肌色の領域の抽出とは、い
ずれも、個々の対象物の属性に特化した処理である。こ
のような処理は、認識の対象が変わった場合にはうまく
動作しない。例えば、この従来技術を動物の認識に適用
するためには、領域抽出のアルゴリズムを変更しなけれ
ばならない。個々の認識対象ごとに抽出アルゴリズムを
用意しなければならないので、認識システムの初期設定
が容易でない。

【００１０】このように、従来技術によれば、遠赤外線
画像の領域と可視光画像の領域とを対応付ける処理が必
要であることに起因して、対象物の認識を行うための初
期設定が容易でなく、環境条件の影響を受けやすいとい
う課題がある。

【００１１】本発明は、このような課題に鑑みてなされ
たものであり、認識の信頼度が高く、かつ、初期設定が
容易で環境条件の影響を受けにくい物体認識装置、物体
を認識する方法、プログラムおよび記録媒体を提供する
ことを目的とする。

【００１２】

【課題を解決するための手段】本発明の物体認識装置
は、第１の対象物を第１の属性を用いて表現する第１の
画像と、前記第１の対象物を前記第１の属性とは異なる
第２の属性を用いて表現する第２の画像とを含む、２以
上の所定の数の画像からなる第１の画像組を入力する入
力部と、前記第１の画像組の前記所定の数の画像のうち
予め定められた少なくとも１つの位置に予め定められた
少なくとも１つの画像フィルタを適用することによって
得られる少なくとも１つのフィルタ出力値を成分として
有する、特徴量空間における第１の特徴量ベクトルを求
める特徴量ベクトル算出部と、前記第１の特徴量ベクト
ルと所定の識別パラメータとの関係に基づいて、前記第
１の対象物が特定のカテゴリに属するか否かを判定する
判定部とを備えており、これにより、上記目的が達成さ
れる。

【００１３】前記入力部は、それぞれが前記所定の数の
画像からなる複数の画像組をさらに入力し、前記複数の
画像組は、少なくとも１つの第２の画像組と、前記少な
くとも１つの第２の画像組以外の少なくとも１つの第３
の画像組とを含み、前記少なくとも１つの第２の画像組
のそれぞれは、前記特定のカテゴリに属する第２の対象
物を前記第１の属性を用いて表現する第３の画像と、前
記第２の対象物を前記第２の属性を用いて表現する第４
の画像とを含み、前記特徴量ベクトル算出部は、前記入
力された複数の画像組のそれぞれについて、前記所定の
数の画像のうち予め定められた少なくとも１つの位置に
予め定められた少なくとも１つの画像フィルタを適用す
ることによって得られる少なくとも１つのフィルタ出力
値を成分として有する、前記特徴量空間における特徴量
ベクトルをさらに求め、前記物体認識装置は、前記少な
くとも１つの第２の画像組についての前記特徴量空間に
おける少なくとも１つの特徴量ベクトルと、前記少なく
とも１つの第３の画像組についての前記特徴量空間にお
ける少なくとも１つの特徴量ベクトルとを識別するよう
に、前記識別パラメータを求める学習部をさらに備えて
いてもよい。

【００１４】前記学習部は、前記特徴量空間よりも多い
次元数を有する仮の特徴量空間において、前記少なくと
も１つの第２の画像組についての特徴量ベクトルと、前
記少なくとも１つの第３の画像組についての特徴量ベク
トルとを識別するための平面の法線の向きに基づいて前
記仮の特徴量空間から少なくとも１つの次元を削除する
ことによって、前記特徴量空間を定義してもよい。

【００１５】前記識別パラメータは、前記特徴量空間に
おける識別面を表し、前記判定部は、前記第１の特徴量
ベクトルが、前記識別面に対してどちらの側に位置する
かに基づいて、前記第１の対象物が前記特定のカテゴリ
に属するか否かを判定してもよい。

【００１６】前記判定部は、前記第１の特徴量ベクトル
と、前記識別面との距離が所定の閾値以上である場合
に、前記第１の対象物が前記特定のカテゴリに属すると
判定してもよい。

【００１７】前記予め定められた少なくとも１つの画像
フィルタのそれぞれは方位選択性と、位置選択性と、空
間周波数選択性とを有していてもよい。

【００１８】前記第１の画像は、前記第１の対象物から
放射または反射される第１の波長帯域の光の強度を表
し、前記第２の画像は、前記第１の対象物から放射また
は反射される前記第１の波長帯域とは異なる第２の波長
帯域の光の強度を表してもよい。

【００１９】前記入力部は、前記第１の対象物を前記第
１の属性を用いて表現する第５の画像と、前記第１の対
象物を前記第２の属性を用いて表現する第６の画像とを
さらに入力し、前記入力部は、前記第１の画像と前記第
２の画像とが第１の時刻に撮影され、前記第５の画像と
前記第６の画像とが前記第１の時刻から所定の時間の後
に撮影されるように構成されていてもよい。

【００２０】前記入力部は、前記第１の画像が第１の場
所から撮影され、前記第２の画像が前記第１の場所とは
異なる第２の場所から撮影されるように構成されていて
もよい。

【００２１】前記入力部は、前記第１の対象物を前記第
１の属性を用いて表現する第５の画像と、前記第１の対
象物を前記第２の属性を用いて表現する第６の画像とを
さらに入力し、前記入力部は、前記第１の画像と前記第
２の画像とが第１の場所から撮影され、前記第５の画像
と前記第６の画像とが前記第１の場所とは異なる第２の
場所から撮影されるように構成されていてもよい。

【００２２】本発明の方法は、物体を認識する方法であ
って、（ａ）２以上の所定の数の画像からなる第１の画
像組を入力するステップであって、前記第１の画像組
は、第１の対象物を前記第１の属性を用いて表現する第
１の画像と、前記第１の対象物を前記第２の属性を用い
て表現する第２の画像とを含む、ステップと、（ｂ）前
記第１の画像組について、前記所定の数の画像のうち予
め定められた少なくとも１つの位置に予め定められた少
なくとも１つの画像フィルタを適用することによって得
られる少なくとも１つのフィルタ出力値を成分として有
する、特徴量空間における第１の特徴量ベクトルを求め
るステップと、（ｃ）前記第１の特徴量ベクトルと所定
の識別パラメータとの関係に基づいて、前記第１の対象
物が前記特定のカテゴリに属するか否かを判定するステ
ップとを包含し、これにより、上記目的が達成される。

【００２３】本発明のプログラムは、コンピュータに物
体認識処理を実行させるためのプログラムであって、前
記物体認識処理は、（ａ）２以上の所定の数の画像から
なる第１の画像組を入力するステップであって、前記第
１の画像組は、第１の対象物を前記第１の属性を用いて
表現する第１の画像と、前記第１の対象物を前記第２の
属性を用いて表現する第２の画像とを含む、ステップ
と、（ｂ）前記第１の画像組について、前記所定の数の
画像のうち予め定められた少なくとも１つの位置に予め
定められた少なくとも１つの画像フィルタを適用するこ
とによって得られる少なくとも１つのフィルタ出力値を
成分として有する、特徴量空間における第１の特徴量ベ
クトルを求めるステップと、（ｃ）前記第１の特徴量ベ
クトルと所定の識別パラメータとの関係に基づいて、前
記第１の対象物が前記特定のカテゴリに属するか否かを
判定するステップとを包含し、これにより、上記目的が
達成される。

【００２４】本発明の記録媒体は、コンピュータに物体
認識処理を実行させるためのプログラムを記録したコン
ピュータ読み取り可能な記録媒体であって、前記物体認
識処理は、（ａ）２以上の所定の数の画像からなる第１
の画像組を入力するステップであって、前記第１の画像
組は、第１の対象物を前記第１の属性を用いて表現する
第１の画像と、前記第１の対象物を前記第２の属性を用
いて表現する第２の画像とを含む、ステップと、（ｂ）
前記第１の画像組について、前記所定の数の画像のうち
予め定められた少なくとも１つの位置に予め定められた
少なくとも１つの画像フィルタを適用することによって
得られる少なくとも１つのフィルタ出力値を成分として
有する、特徴量空間における第１の特徴量ベクトルを求
めるステップと、（ｃ）前記第１の特徴量ベクトルと所
定の識別パラメータとの関係に基づいて、前記第１の対
象物が前記特定のカテゴリに属するか否かを判定するス
テップとを包含し、これにより、上記目的が達成され
る。

【００２５】以下、作用を説明する。

【００２６】本発明によれば、認識のために入力される
画像組（第１の画像組）は、対象物（第１の対象物）を
第１の属性を用いて表現する第１の画像と、その対象物
を第１の属性とは異なる第２の属性を用いて表現する第
２の画像とを含む。対象物が特定のカテゴリに属するか
否かの判定は、第１の属性と第２の属性とに基づいて行
われるので、対象物の認識の信頼度が高くなる。さら
に、その所定の数の画像の予め定められた位置に予め定
められた画像フィルタを適用することによって得られる
フィルタ出力値を成分として有する特徴量空間内の特徴
量ベクトルが求められ、画像組は、この特徴量ベクトル
によって表される。この処理には、第１の画像の領域と
第２の画像の領域とを対応付ける処理は必要でないの
で、対象物の認識を行うための初期設定が容易であり、
認識結果は、環境条件の影響を受けにくい。

【００２７】

【発明の実施の形態】はじめに、図１〜図５を参照し
て、本発明の原理を説明する。

【００２８】図１は、本発明の物体認識方法の全体の処
理手順を示す。本発明の物体認識方法は、学習処理１０
０１（ステップＳ１００１ａ〜Ｓ１００１ｃ）と、認識
処理１００２（ステップＳ１００２ａ〜Ｓ１００２ｃ）
とを含む。以下、本発明の物体認識方法が人間を認識す
るために適用される場合を例に挙げて本発明の物体認識
方法の手順を説明する。図１に示される物体認識方法
は、図６を参照して後述する物体認識装置１によって実
行される。

【００２９】ステップＳ１００１ａ：学習用の画像組が
物体認識装置１に入力される。以下の説明において、画
像組とは、特に断らない限り、同一の対象物の可視光画
像と遠赤外光画像との２枚の画像からなる組をいう。学
習用の画像組は、人間（「人間」というカテゴリに属す
る第２の対象物）を表現する少なくとも１つの画像組
（第２の画像組）と、その第２の画像組以外の少なくと
も１つの画像組（人間以外の対象物を表現する画像組、
第３の画像組）とを含む。ステップＳ１００１ａにおい
て、複数の学習用の画像組が入力される。

【００３０】ステップＳ１００１ｂ：ステップＳ１００
１ａで入力された複数の学習用の画像組のそれぞれにつ
いて、特徴量ベクトルが求められる。１つの画像組から
の特徴量ベクトルの算出は、図２Ａおよび図２Ｂを参照
して後述される。この特徴量ベクトルは、特徴量空間に
おける１つの点とみなすことができる。

【００３１】ステップＳ１００１ｃ：少なくとも１つの
第２の画像組についての特徴量ベクトルと、少なくとも
１つの第３の画像組についての特徴量ベクトルとを識別
（分離）するように、特徴量空間における識別面が求め
られる。識別面の算出は、図４を参照して後述される。

【００３２】ステップＳ１００２ａ：認識用の画像組
（第１の画像組）が物体認識装置１に入力される。

【００３３】ステップＳ１００２ｂ：ステップＳ１００
２ａで入力された認識用の画像組のそれぞれについて、
特徴量ベクトルが求められる。

【００３４】ステップＳ１００２ｃ：認識用の画像組の
対象物（第１の対象物）が、「人間」という特定のカテ
ゴリに属するか否かが判定される。この判定は、ステッ
プＳ１００１ｃで求められた識別面と、ステップＳ１０
０２ｂで求められた特徴量ベクトルとの位置関係に基づ
いてなされる。

【００３５】学習処理１００１は、学習用の画像組か
ら、識別面（識別パラメータ）を求める処理である。こ
の識別面は、認識処理１００２において、認識用の画像
組によって表現される対象物が特定のカテゴリに属する
か否かの判定のための判定基準として用いられる。

【００３６】図２Ａは、ステップＳ１００１ａ（図１）
において入力される画像組６１０〜６１３（少なくとも
１つの第２の画像組）を示す。画像組６１０〜６１３の
それぞれは、人間の可視光画像と、その同じ人間の遠赤
外光画像との２枚の画像を含む。図２Ａに示される例で
は、画像組６１０は、可視光画像６０１（第３の画像）
と、遠赤外光画像６０２（第４の画像）とを含む。な
お、可視光画像とは、その画像の対象物から放射または
反射される可視光線（波長３８０〜８００ｎｍの波長帯
域の光線）の強度を表す画像であり、遠赤外光画像と
は、その画像の対象物から放射また反射される遠赤外光
線（波長８〜１０μｍの波長帯域の光線）の強度を表す
画像である。可視光画像は、対象物から放射または反射
される可視光線の強度（輝度）という対象物の属性を用
いて対象物を表現し、遠赤外光画像は、対象物から放射
または反射される遠赤外光線の強度という対象物の属性
を用いて対象物を表現しているということができる。

【００３７】画像６０１の対象物６２１と、画像６０２
の対象物６２２とは、同一の対象物（同一の人物）であ
る。画像組６１１に含まれる可視光画像と遠赤外光画像
との対象物も同一の対象物である。しかし、画像組６１
０〜画像組６１１の間で、対象物が同一である必要はな
い。画像組６１０〜画像組６１１の間で、対象物は同一
のカテゴリ（この例では、「人間」というカテゴリ）に
属してさえいればよい。

【００３８】図２Ａには、ステップＳ１００１ａ（図
１）において入力される第２の画像組が４組示されてい
る（画像組６１０〜６１３）が、ステップＳ１００１ａ
（図１）において入力される第２の画像組の数はこれに
限定されない。

【００３９】図２Ｂは、ステップＳ１００１ａ（図１）
において入力される画像組６６０〜６６３（少なくとも
１つの第３の画像組）を示す。画像組６６０〜６６３の
それぞれは、人間以外の対象物の可視光画像と、その同
じ対象物の遠赤外光画像との２枚の画像を含む。図２Ｂ
に示される例では、画像組６６０は、画像６５１（可視
光画像）と、画像６５２（遠赤外光画像）とを含む。画
像６５１は、画像６０１（図２Ａ）と同一のサイズを有
し、画像６５２は、画像６０２（図２Ａ）と同一のサイ
ズを有しているものとする。

【００４０】再び図２Ａを参照して、ステップＳ１００
１ｂ（図１）において、画像組についての特徴量ベクト
ルを求める処理を説明する。

【００４１】画像６０１の２つの位置６３１および６３
２のそれぞれに、２種類の画像フィルタ（画像フィルタ
Ａおよび画像フィルタＢ、図示せず）を適用すること仮
定する。画像フィルタＡと画像フィルタＢとは、例え
ば、異なる特性を有する画像フィルタである。画像フィ
ルタの具体例は、図３を参照して後述される。図２Ａに
おいて、位置６３１および６３２が矩形で示されてい
る。この矩形は、画像フィルタＡおよび画像フィルタＢ
のサイズを表している。ここでは、画像フィルタＡおよ
び画像フィルタＢは等しいサイズを有するものとする。

【００４２】１つの画像フィルタを画像６０１の１つの
位置に適用することによって１つのスカラー値（フィル
タ出力値）が生成される。図２Ａに示される例では、画
像６０１の２つの位置６３１および６３２のそれぞれに
画像フィルタＡおよびＢを適用することによって、４つ
のフィルタ出力値（１０、３、１１および５）が生成さ
れている。具体的には、位置６３１および位置６３２に
画像フィルタＡを適用することによって、フィルタ出力
値「１０」および「３」がそれぞれ生成され、位置６３
１および位置６３２に画像フィルタＢを適用することに
よってフィルタ出力値「１１」および「５」がそれぞれ
生成される。

【００４３】同様に、画像６０２の２つの位置６３３お
よび６３４のそれぞれに、上述した画像フィルタＡおよ
びＢを適用することによって、４つのフィルタ出力値
（１、７、１１および４）が生成されている。

【００４４】画像６０１についての４つのフィルタ出力
値（１０、３、１１および５）と、画像６０２について
の４つのフィルタ出力値（１、７、１１および４）とを
結合することによって、画像組６１０についての特徴量
ベクトル（１０，３，１１，５，１，７，１１，４）が
算出される。このようにして、フィルタ出力値を用いて
可視光画像の情報と遠赤外光画像の情報とが統合され
る。

【００４５】図２Ａに示される画像組６１１〜６１３に
ついても同様にして特徴量ベクトルが算出される。特徴
量ベクトルは、フィルタ出力値を成分として有する。こ
の特徴量ベクトルは、８次元の特徴量空間における１つ
の点とみなすことができる。

【００４６】図２Ｂに示される画像組６６０について
も、同様にして特徴量ベクトルが算出される。具体的に
は、画像６５１の２つの位置６８１および６８２のそれ
ぞれに上述した画像フィルタＡおよび画像フィルタＢを
適用することによって、４つのフィルタ出力値（８、
９、０および２）が生成される。画像６５２の２つの位
置６８３および６８４のそれぞれに上述した画像フィル
タＡおよび画像フィルタＢを適用することによって、４
つのフィルタ出力値（９、１２、１０および４）が生成
される。画像６５１についての４つのフィルタ出力値
（８、９、０および２）と、画像６５２についての４つ
のフィルタ出力値（９、１２、１０および４）とを結合
することによって、画像組６６０についての特徴量ベク
トル（８，９，０，２，９，１２，１０，４）が算出さ
れる。図２Ｂに示される画像組６６１〜６６３について
も同様にして特徴量ベクトルが算出される。

【００４７】適用される画像フィルタと、その画像フィ
ルタが適用される位置とは予め定められている。本発明
の１つの実施形態において、適用される画像フィルタ
と、その画像フィルタが適用される位置とは、図１２を
参照して後述する特徴量次元の削除処理を通じて決定さ
れる。図２Ａおよび図２Ｂに示される例では、画像組６
１０（図２Ａ）に適用される画像フィルタＡおよびＢと
同一の画像フィルタが、画像組６６０（図２Ｂ）にも適
用される。位置６３１および６３２の画像６０１に対す
る位置関係は、それぞれ、位置６８１および６８２の画
像６５１に対する位置関係に等しい。なお、１つの画像
中の画像フィルタが適用される位置の数は、２に限定さ
れない。また、１つの画像中の１つの位置に適用される
画像フィルタの数も、２に限定されない。

【００４８】このように、ステップ１００１ｂ（図１）
において、複数の画像組（図２Ａに示される画像組６１
０〜６１３および図２Ｂに示される画像組６６０〜６６
３）のそれぞれについて、２枚の画像のうち予め定めら
れた少なくとも１つの位置に予め定められた少なくとも
１つの画像フィルタを適用することによって得られる少
なくとも１つのフィルタ出力値を成分とする、特徴量空
間における特徴量ベクトルが求められる。

【００４９】図３は、画像３５１に画像フィルタ３５４
を適用する例を示す。図３に示される例では、画像３５
１の位置３５３に、画像フィルタ３５４が適用される。
図３には、画像３５１の部分３５２の拡大図が示されて
いる。この拡大図において、部分３５２の輪郭を表す矩
形の内部の値は、画像３５１に含まれる画素の値を示
す。

【００５０】図３に示される例では、画像フィルタ３５
４は、３×３のサイズを有している。画像フィルタ３５
４を表す矩形の内部の値は、９個のフィルタ係数を示
す。画像３５１の位置３５３に画像フィルタ３５４を適
用することによって得られるフィルタ出力値は、画像フ
ィルタ３５４のフィルタ係数と、そのフィルタ係数に対
応する画素の値との積を画像フィルタ３５４の９個のフ
ィルタ係数について合計した値である。この例では、フ
ィルタ出力値は、７６５である。フィルタ出力値を求め
る演算をフィルタ演算という。フィルタ演算により、画
像の局所的な特性情報がフィルタ出力値として抽出され
る。

【００５１】図４は、ステップ１００１ｂ（図１）にお
いて各画像組について求められた特徴量ベクトルを特徴
量空間７０１にプロットした状態を示す。ただし、図４
に示される例では、説明のために、特徴量空間７０１は
２次元の空間（すなわち、平面）として表されている。
特徴量空間７０１は、２個の次元、すなわち、特徴量次
元１と特徴量次元２とによって定義されている。特徴量
ベクトルは、特徴量空間７０１における１つの点として
表される。図４において、○印のそれぞれは、人間を表
現する画像組（第２の画像組）についての特徴量ベクト
ルを表し、×印のそれぞれは、人間以外の対象物を表現
する画像組（第３の画像組）についての特徴量ベクトル
を表す。以下、人間を表現する画像組についての特徴量
ベクトルを単に、「人間を表現する特徴量ベクトル」と
呼び、人間以外の対象物を表現する画像組についての特
徴量ベクトルを単に、「人間以外の対象物を表現する特
徴量ベクトル」と呼ぶことがある。

【００５２】識別直線７０２（識別平面）は、ステップ
１００１ｃ（図１）において、○印によって表される特
徴量ベクトルと、×印によって表される特徴量ベクトル
とを識別するように定められる。図４に示される例で
は、○印によって表される特徴量ベクトルはすべて識別
直線７０２の上側（矢印７０３の側、第１の側）にあ
り、×印によって表される特徴量ベクトルはすべて識別
直線７０２の下側（矢印７０４の側、第２の側）にあ
る。識別直線７０２は、例えば、サポートベクトルマシ
ンの手法を用いて定められ得る。サポートベクトルマシ
ンの手法については、例えば、文献：Ｖ．Ｖａｐｎｉ
ｃ、”ＴｈｅＮａｔｕｒｅｏｆＳｔａｔｉｓｔｉ
ｃａｌＬｅａｒｎｉｎｇＴｈｅｏｒｙ”、Ｓｐｒ
ｉｎｇｅｒＶｅｒｌａｇ、１９９５年を参照された
い。識別直線７０２は、あるいは、線形パーセプトロン
の学習または判別分析法等の手法を用いて定められても
よい。学習アルゴリズムには、統計的パラメータ推定法
およびニューラルネットワーク等のノンパラメトリック
な学習アルゴリズムが採用され得る。

【００５３】図４に示される例では、２次元の特徴量空
間７０１において、識別直線７０２が、人間を表現する
画像組（第２の画像組）についての特徴量ベクトルと、
人間以外の対象物を表現する画像組（第３の画像組）に
ついての特徴量ベクトルとを識別（分離）している。人
間を表現する画像組（第２の画像組）についての特徴量
ベクトルと、人間以外の対象物を表現する画像組（第３
の画像組）についての特徴量ベクトルとが、ｎ次元（ｎ
≧２）の特徴量空間において表される場合には、それら
の特徴量ベクトルは、識別平面によって識別される。ｎ
次元の特徴量空間が、次元ｘ₁、次元ｘ₂、．．．、およ
び次元ｘ_nによって定義される場合には、その識別平面
は、（数１）によって表される。

【００５４】

【数１】ａ₁ｘ₁＋ａ₂ｘ₂＋．．．＋ａ_nｘ_n＋ｄ＝０以下、本明細書中で「平面」とは、ｎ次元（ｎ≧２）の
特徴量空間において（数１）の関係を満たす点（ｘ₁，
ｘ₂，．．．，ｘ_n）の集合をいう。ｎ＝２の場合には、
（数１）は直線を表すが、この直線は上記の「平面」の
定義に含まれる。

【００５５】図５は、ステップ１００２ａ（図１）にお
いて入力される認識用の画像組（第１の画像組）５１０
の例を示す。画像組５１０は、対象物５２１を表現する
可視光画像５０１と、対象物５２２を表現する遠赤外光
画像５０２とを含む。対象物５２１と、対象物５２２と
は、同一の対象物（第１の対象物）である。

【００５６】ステップＳ１００２ｂ（図１）において、
画像組５１０についての特徴量空間における特徴量ベク
トル（第１の特徴量ベクトル）が算出される。図５に示
される例では、画像組５１０についての特徴量ベクトル
は、（９，４，１２，６，１，６，１４，３）として算
出されている。この特徴量ベクトルの算出は、図２Ａを
参照して上述した画像組６１０についての特徴量ベクト
ルの算出と同様にして行われる。すなわち、ステップＳ
１００２ｂにおいて、画像組５１０について、２個の画
像（画像５０１および５０２）のうち、予め定められた
少なくとも１つの位置に予め定められた少なくとも１つ
の画像フィルタ（画像フィルタＡおよびＢ）を適用する
ことによって得られる少なくとも１つのフィルタ出力値
を成分として有する、特徴量空間における特徴量ベクト
ル（第１の特徴量ベクトル）が求められる。

【００５７】図４に示される●印は、特徴量空間７０１
にプロットされた第１の特徴量ベクトルを示す。ただ
し、図４には、説明のために、第１の特徴量ベクトルを
８次元の特徴量ベクトルとしてではなく、２次元の特徴
量ベクトル（２，１０）として表している。

【００５８】ステップＳ１００２ｃ（図１）では、●印
により示される第１の特徴量ベクトルと、識別直線７０
２との特徴量空間７０１における位置関係に基づいて、
画像組５１０（図５）が表現する対象物が人間であるか
否かが判定される。図４に示される例では、●印により
示される特徴量ベクトルは、識別直線７０２の上側（矢
印７０３の側）にある。識別直線７０２の矢印７０３の
側は、人間を表現する画像組についての特徴量ベクトル
が位置する側であるので、画像組５１０（図５）が表現
する対象物が人間であると判定される。

【００５９】このようにして、図１に示される本発明の
方法によれば、画像組５１０（図５）が表現する第１の
対象物（画像組５１０の可視光画像５０１と遠赤外光画
像５０２との共通の対象物）が人間であることが認識さ
れる。第１の対象物が「人間」というカテゴリに属する
か否かの判定は、対象物が反射または放射する可視光線
の強度（第１の属性）と、その対象物が反射または放射
する遠赤外光線の強度（第２の属性）とに基づいて行わ
れるので、対象物の認識の信頼度が高くなる。さらに、
その画像５０１および画像５０２の予め定められた位置
に予め定められた画像フィルタを適用することによって
得られるフィルタ出力値を成分として有する特徴量空間
内の特徴量ベクトルが求められ、画像組５１０は、この
特徴量ベクトルによって代表される。この処理には、画
像５０１の領域と第２の画像５０２の領域とを対応付け
る処理は必要でないので、第１の対象物の認識を行うた
めの初期設定が容易になり、かつ、認識の結果が環境条
件の影響を受けにくくなる。

【００６０】以下、図面を参照して本発明の実施の形態
を説明する。同一の構成要素には同一の参照番号を付
し、重複した記載を省略する場合がある。

【００６１】図６は、本発明の実施の形態の物体認識装
置１の構成を示す。

【００６２】物体認識装置１は、遠赤外光カメラ１００
と、可視光カメラ１１０と、学習用画像データ（学習用
の画像組）を格納する記憶装置１２０と、画像に画像フ
ィルタを作用させるフィルタ処理部１２５と、学習処理
部１３０と、遠赤外光カメラ１００および可視光カメラ
１１０によって取得された画像組が表す対象物が特定の
カテゴリに属するか否か（例えば、その対象物が人間か
否か）を判定する認識処理部１４０と、その判定の際に
判定基準として用いられる識別パラメータを記憶する識
別パラメータ記憶部１５０と、ワークメモリ１６０と、
認識結果を表示する表示部１７０とを含む。物体認識装
置１の各構成要素は、内部バスを介して相互に接続され
てもよいし、ネットワークを介して相互に接続されても
よい。そのようなネットワークは、無線ネットワーク、
有線ネットワーク、電話回線ネットワーク等の任意のネ
ットワークを含み得る。そのようなネットワークは、イ
ンターネットを含んでもよい。

【００６３】遠赤外光カメラ１００は、遠赤外光画像を
撮影し、可視光カメラ１１０は、可視光画像を撮影す
る。本発明の実施の形態では、可視光画像として、輝度
画像が用いられた。

【００６４】物体認識装置１は、例えば、屋外における
侵入者の監視システムや、自動車等の移動体に搭載され
る歩行者の検出システムや、移動ロボットに搭載される
視覚システムに適用され得る。

【００６５】上述したように、物体認識装置１は、全体
として、図１に示される学習処理および認識処理を行
う。

【００６６】可視光カメラ１１０と、遠赤外光カメラ１
００とは、ステップＳ１００１ａ（図１）における学習
用の画像組の入力処理と、ステップＳ１００２ａ（図
１）における、認識用の画像組（第１の画像組）の入力
処理とを行う。可視光カメラ１１０と、遠赤外光カメラ
１００とは、学習用の画像組と認識用の画像組とを物体
認識装置１に入力する入力部１９０として機能する。も
ちろん、学習用の画像組を物体認識装置に入力する可視
光カメラおよび遠赤外光カメラと、認識用の画像組を物
体認識装置に入力する可視光カメラおよび遠赤外光カメ
ラとがそれぞれ別に設けられていてもよい。

【００６７】学習用の画像組は、人間の対象物を表現す
る画像組（第２の画像組）と、人間以外の対象物を表現
する画像組（第３の画像組）とに区分されて、学習用画
像データとしていったん記憶装置１２０に蓄積される。
記憶装置１２０は、例えば、ハードディスクであり得
る。あるいは、記憶装置１２０は、任意のメモリであり
得る。

【００６８】フィルタ処理部１２５は、ステップＳ１０
０１ｂ（図１）およびステップＳ１００２ｂ（図１）に
おける特徴ベクトルの算出を行う。フィルタ処理部１２
５（特徴量ベクトル算出部）は、例えば、デジタルシグ
ナルプロセッサであり得る。

【００６９】学習処理部１３０（学習部）は、ステップ
Ｓ１００１ｃ（図１）における、識別面を求める処理を
行う。

【００７０】認識処理部１４０（判定部）は、ステップ
Ｓ１００２ｃ（図１）における、認識用の画像組の対象
物が特定のカテゴリ「人間」に属するか否かを判定する
処理を行う。

【００７１】表示部１７０は、認識処理部１４０におけ
る認識の結果を表示する。表示部１７０としては、任意
の表示デバイスが用いられ得る。表示部１７０は、省略
されてもよい。

【００７２】図７Ａは、遠赤外光カメラ１００と可視光
カメラ１１０との配置の例を示す。図７Ａに示される例
では、遠赤外光カメラ１００と、可視光カメラ１１０と
が並列に配置されている。

【００７３】図７Ｂは、遠赤外光カメラ１００と可視光
カメラ１１０との配置の他の例を示す。図７Ｂに示され
る例では、コールドミラー８０２で反射した可視光カメ
ラ１１０の光軸が遠赤外光カメラ１００の光軸にそろう
ように、遠赤外光カメラ１００と可視光カメラ１１０と
が配置されている。コールドミラーとは、可視光を反射
し、遠赤外光を透過する性質を有するミラーである。

【００７４】遠赤外光カメラ１００の機能と可視光カメ
ラ１１０の機能とが１つのカメラによって実現されても
よい。

【００７５】図７Ｃは、遠赤外光カメラ１００と可視光
カメラ１１０とに代えて、その両方の機能を併せ持つ可
視光・遠赤外光カメラ２１０が用いられる例を示す。可
視光・遠赤外光カメラ２１０は、エリアセンサを用いて
遠赤外光カメラの機能と可視光カメラの機能とを実現し
ている。

【００７６】図８Ａは、可視光カメラ１１０によって撮
影された、人間の対象物を表現する可視光画像８０３の
例を示す。

【００７７】図８Ｂは、遠赤外光カメラ１００によって
撮影された、人間の対象物を表現する遠赤外光画像８０
４の例を示す。遠赤外光画像８０４は、図８Ａに示され
る可視光画像８０３と同一の対象物をほぼ同一の時刻に
撮影することによって得られる。

【００７８】図９Ａは、可視光カメラ１１０によって撮
影された、人間以外の対象物（木）を表現する可視光画
像８０５の例を示す。

【００７９】図９Ｂは、遠赤外光カメラ１００によって
撮影された、人間以外の対象物（木）を表現する遠赤外
光画像８０６の例を示す。遠赤外光画像８０６は、図９
Ａに示される可視光画像８０５と同一の対象物をほぼ同
一の時刻に撮影することによって得られる。

【００８０】図８Ａ、図８Ｂ、図９Ａおよび図９Ｂに示
される可視光画像および遠赤外光画像は、画像組（学習
用の画像組または認識用の画像組）を構成する。可視光
画像および遠赤外光画像に同一の対象物が写ることが必
要であるが、可視光画像と遠赤外光画像との間で画素単
位で正確に位置合わせが行われている必要はない。例え
ば、可視光画像８０３（図８Ａ）において、対象物は画
像の中心から左方向にずれており、遠赤外光画像８０４
（図８Ｂ）において、対象物は画像の中心から右方向に
ずれているが、本発明の学習処理および認識処理におい
て可視光画像８０３の領域と遠赤外光画像８０４の領域
とを対応付ける処理は必要でないので、このようなずれ
は問題にならない。従って、遠赤外光カメラ１００およ
び可視光カメラ１１０の位置合わせが容易であり、物体
認識装置１の初期設定が容易である。ただし、学習用の
画像組と認識用の画像組とに含まれるすべての可視光画
像のスケール比（縦横比）が同じであり、対象物が同様
の位置に写っていることが必要である。これは、可視光
カメラ１１０により撮影される可視光画像から所定の領
域を切り出すことによって実現されてもよい。学習用の
画像組と認識用の画像組とに含まれる赤外光画像につい
ても同様である。

【００８１】図１０Ａは、フィルタ処理部１２５（図
６）において用いられる画像フィルタの特性を模式的に
示す。図１０Ａに示される画像フィルタは、画像中の特
定の位置に適用された場合に、その特定の位置における
特定方向（垂直方向）の特定の空間周波数を有するエッ
ジ（図１０Ａに示される楕円形の横幅（短軸）の範囲内
で画素の値が順次変化するようなエッジ）を選択的に検
出する。

【００８２】図１０Ｂは、水平方向のエッジを選択的に
検出する画像フィルタの特性を模式的に示す。

【００８３】図１０Ｃは、左下から右上に延びるエッジ
を選択的に検出する画像フィルタの特性を模式的に示
す。

【００８４】図１０Ｄは、右下から左上に延びるエッジ
を選択的に検出する画像フィルタの特性を模式的に示
す。

【００８５】図１０Ａ〜図１０Ｄに示される画像フィル
タは、方位選択性（特定の方向のエッジのみを検出す
る）と位置選択性（特定の位置のエッジを検出する）と
空間周波数選択性（特定の空間周波数で画素の値が変化
するエッジを検出する）とを有するフィルタである。こ
こで、空間周波数とは、画像中の位置変化に対する画素
の値（例えば、輝度）の変化の度合いをいう。このよう
な特性を有する画像フィルタの例として、Ｇａｂｏｒフ
ィルタが挙げられる。方位選択性と位置選択性と空間周
波数選択性とを有する画像フィルタを複数種類（選択性
が異なる複数の画像フィルタ）用いることによって、異
なる画像フィルタが同一のエッジに関する情報を重複し
て検出するという無駄を低減することができ、必要な画
像フィルタの数を減らすことができる。これにより、学
習処理１００１および認識処理１００２を実行するため
に必要な計算量を減らすことができる。その結果、属性
が異なる複数の画像（可視光画像と遠赤外光画像）を入
力することに起因する計算量の増加を最小限にとどめる
ことができる。

【００８６】１つのフィルタ出力値は、画像の特定の位
置における特定方向の特定の空間周波数を有するエッジ
の情報を表す。フィルタ出力値を成分とする特徴量ベク
トルによって１つの画像組を表すことは、可視光画像と
遠赤外光画像との共通の対象物の形状をエッジの集まり
として簡易的に表現することに相当する。

【００８７】図１１Ａ〜図１１Ｄのそれぞれは、Ｇａｂ
ｏｒフィルタのフィルタ係数の例を示す。図１１Ａ〜図
１１Ｄに示される例において、各格子点は、１３画素×
１３画素のサイズを有するＧａｂｏｒフィルタの１つの
フィルタ係数に対応し、そのフィルタ係数の値（実数
部）は、各格子点の高さとして示されている。図１１Ａ
〜図１１Ｄは、図１０Ａ〜図１０Ｄに示される画像フィ
ルタにそれぞれ対応する。

【００８８】以下、物体認識装置１が実行する学習処理
と認識処理との詳細な処理手順を説明する。

【００８９】＜学習処理＞図１２は、物体認識装置１が
実行する学習処理の詳細な手順を示す。ステップＳ９１
は、ステップＳ１００１ａおよびステップＳ１００１ｂ
（図１）に対応しており、ステップＳ９２〜ステップＳ
９７は、ステップＳ１００１ｃ（図１）に対応してい
る。

【００９０】ステップＳ９１：人間を表現する画像組
（第２の画像組）と、人間以外の対象物を表現する画像
組（第３の画像組）とをそれぞれ複数用意し、各画像組
について特徴量ベクトルを求める。ステップＳ９１にお
いて求められた特徴量ベクトルの集合を特徴量データＦ
と呼ぶ。ステップＳ９１のさらに詳細な処理手順は、図
１５および図１６を参照して後述される。以下の説明で
は、ステップＳ９１において、各画像組から１０３２次
元の特徴量ベクトルが算出されることを仮定する（本発
明はこれに限定されない）。この特徴量ベクトルは、１
０３２個の特徴量次元、特徴量次元ｘ₁、特徴量次元
ｘ₂、特徴量次元ｘ₃、．．．、特徴量次元ｘ₁ ₀₃₂によっ
て定義される空間内の１つの点として表される。

【００９１】ステップＳ９２：特徴量次元のうち、学習
に用いる特徴量次元が指定される。最初は全ての次元を
指定する。この例では、１回目は、特徴量次元ｘ₁、特
徴量次元ｘ₂、特徴量次元ｘ₃、．．．、特徴量次元ｘ
₁₀₃₂の全てが、学習に用いる特徴量次元として指定され
る。２回目以降は、後述するステップＳ９４で除かれた
残りの次元が学習に用いる特徴量次元として指定され
る。ステップＳ９２〜ステップＳ９６の処理を繰り返す
ことによって、特徴量空間の次元数が減っていく。これ
を、「特徴量次元の削除処理」と呼ぶ。

【００９２】ステップＳ９３：指定された特徴量次元を
用いてより低次元の特徴量空間を定義し（ただし、最初
は１０３２次元の特徴量空間が定義される）、特徴量デ
ータＦに含まれる各特徴量ベクトルが、このより低次元
の特徴量空間における特徴量ベクトルとして表される。
このより低次元の特徴量空間における特徴量ベクトル
は、特徴量データＦに含まれる１０３２次元の特徴量ベ
クトルの成分のうち、ステップＳ９２で指定された特徴
量次元に対応する成分のみから構成される、より低次元
の特徴量ベクトルとして表される。特徴量ベクトルの１
つの成分は、画像における１つの位置における１つのフ
ィルタ出力値に対応しているので、このより低次元の特
徴量ベクトルも、画像組における２つの画像の少なくと
も１つの予め定められた位置に予め定められた１つの画
像フィルタを適用することによって得られる少なくとも
１つのフィルタ出力値を成分として有する。

【００９３】次に、このより低次元の特徴量空間におい
て、人間を表現する画像組についての特徴量ベクトル
と、人間以外の対象物を表現する画像組についての特徴
量ベクトルとを識別（分離）する識別平面が、仮識別平
面として決定される。

【００９４】識別平面に対する特徴量ベクトルの位置
は、特徴量ベクトルの各特徴量次元に対応する成分を識
別平面の各特徴量次元に対応する係数で重み付けして足
し合わせた値（重み付け和）により表現できる。例え
ば、３次元空間における識別平面がｘ＋２ｙ＋３ｚ＝０
と表され、特徴量ベクトルが（ｘ，ｙ，ｚ）＝（−１，
０，４）の場合を考える。特徴量ベクトル（−１、０、
４）の各成分を識別平面の各特徴量次元の係数（１、
２、３）で重み付けして足し合わせると、１×（−１）
＋２×０＋３×４＝１１という値が得られる。この値
は、特徴量ベクトル（−１，０，４）と、識別平面との
距離を表す。この値の符号および大小で識別平面に対す
る特徴量ベクトルの位置関係を表すことができる。

【００９５】特徴量空間内に２つのカテゴリに属する点
が分布する場合に、カテゴリを分けるような識別平面
（仮識別平面）を決定する手法としては、上述したよう
に、サポートベクトルマシンの手法等が用いられ得る。

【００９６】このような手法を用いて、特徴量空間内に
おいて人間を表現する画像組についての特徴量ベクトル
と、人間以外の対象物を表現する画像組についての特徴
量ベクトルとを分離する識別平面が仮識別平面として決
定される。分離は必ずしも完全である必要はなく、一部
の特徴量ベクトル（例えば、人間を表現する画像組につ
いての特徴量ベクトル）が識別平面を越えて（人間を表
現しない画像組についての特徴量ベクトルの側に）分布
する配置（誤識別）になっていてもかまわない。ただ
し、誤識別の特徴量ベクトルの個数は少ない方がよい。
誤識別の特徴量ベクトルが少なくなるように識別平面の
決定手法が複数の手法のうちから選択されてもよい。

【００９７】ステップＳ９４：ステップＳ９２で指定さ
れた特徴量次元に対応する座標軸のうち、ステップＳ９
３で決定した仮識別平面とのなす角度の絶対値が小さい
座標軸から順にｄ個の座標軸が、ステップＳ９２で指定
した特徴量次元（学習に用いる特徴量次元）から除かれ
る。ｄの値は予め定められた１以上の整数とする。

【００９８】例えば、３次元の特徴量空間（座標軸をｘ
ｙｚとする）において、仮識別平面がｘ＋２ｙ＋３ｚ＝
０と表される場合、この仮識別平面とｘ、ｙ、ｚ軸のな
す角度の絶対値は、ｘ軸、ｙ軸、ｚ軸の順に大きくな
る。この場合、ｄ＝１とするとｘ軸に対応する特徴量次
元が、学習に用いる特徴量次元から除かれる。各座標軸
と識別平面とのなす角度に注目することに代えて、各座
標軸と識別平面の法線とのなす角度δに注目し、δの絶
対値の大きいものからｄ個の座標軸を除いても同様の結
果が得られる。識別平面の法線の向きは、仮識別平面を
表す式の係数を成分として有する法線ベクトルによって
表される。例えば、仮識別平面ｘ＋２ｙ＋３ｚ＝０の法
線の向きは、法線ベクトル（１，２，３）によって表さ
れる。

【００９９】再び図４を参照して、特徴量次元を学習に
用いる特徴量次元から除くことの意味を説明する。

【０１００】図４において、特徴量次元１に対応する軸
（横軸）が識別直線（識別平面）７０２となす角度は、
特徴量次元２に対応する軸（縦軸）が識別直線（識別平
面）７０２となす角度よりも小さい。このことは、特徴
量次元１は、人間を表現する画像組についての特徴量ベ
クトルと人間以外の対象物を表現する画像組についての
特徴量ベクトルとを識別（分離）するために、特徴量次
元２よりも重要でないことを意味する。すなわち、特徴
量次元２の値（フィルタ出力値）が、対象物が人間であ
るか否かの判定に大きく影響する。図４に示される例で
は、ステップＳ９４（図１２）において、特徴量次元１
と特徴量次元２とのうち、特徴量次元１が削除される。

【０１０１】１つの特徴量次元の値は、画像組に含まれ
る１つの可視光画像または遠赤外光画像の１つの位置に
おける１つのフィルタ出力値に対応する。このように、
識別直線(または識別平面)を求めることによって、可視
光画像から得た複数のフィルタ出力と遠赤外光画像から
得た複数のフィルタ出力とのうち、どの特徴量次元(フ
ィルタ出力)が重要であるかを決定することができる。
ステップＳ９４（図１２）は、重要でない特徴量次元
（識別に寄与しない特徴量次元）を学習に用いる特徴量
次元から削除することを意味する。図１２に戻って学習
処理の詳細な処理手順の説明を続ける。

【０１０２】ステップＳ９５：ｄ個の座標軸を減らした
特徴量空間を設定し、新たに設定した特徴量空間におい
て識別性能の評価を行う。この評価は、ステップＳ９４
でｄ個の座標軸(特徴量次元)を除くことによって新たに
定義されたより低次元の特徴量空間において、特徴量デ
ータＦに含まれる、人間を表現する特徴量ベクトルと人
間以外の対象物を表現する特徴量ベクトルとをどれだけ
正確に識別（分離）できるかを調べることによって行わ
れる。ステップＳ９５のさらに詳細な処理手順は、図１
７を参照して後述される。

【０１０３】ステップＳ９６：識別性能が基準値を満た
すか否かが判定される。ステップＳ９６の判定の結果が
「Ｎｏ」である場合には、処理はステップＳ９７に進
む。ステップＳ９６の判定の結果が「Ｙｅｓ」である場
合には、処理はステップＳ９２に戻る（さらに特徴量次
元の削除が行われる）。

【０１０４】ステップＳ９７：ステップＳ９３で用いら
れた特徴量次元が選択次元として指定される。また、ス
テップＳ９３で求めた仮識別平面が、識別平面として指
定される。この識別平面は、後に行われる認識処理にお
いて判定基準として使用される。識別平面は、ステップ
Ｓ９７で選択次元として指定された特徴量次元によって
定義される空間（特徴量空間）における平面である。な
お、ステップＳ９６において、初回は無条件にステップ
Ｓ９２に移行するようにしてもよい。

【０１０５】このように、ステップＳ９２〜ステップＳ
９６において、学習処理部１３０（図６）は、認識処理
において用いられる特徴量空間よりも多い次元数を有す
る仮の特徴量空間において、人間を表現する画像組（第
２の画像組）についての特徴量ベクトルと、人間以外の
対象物を表現する画像組（第３の画像組）についての特
徴量ベクトルとを識別するための平面（仮識別平面）の
法線の向きに基づいて、仮の特徴量空間から少なくとも
１つの次元を削除することによって、認識処理において
用いられる特徴量空間を定義する。

【０１０６】ステップＳ９７において、１０３２個の特
徴量次元、特徴量次元ｘ₁、特徴量次元ｘ₂、特徴量次元
ｘ₃、．．．、特徴量次元ｘ₁₀₃₂のうち、ｍ個（ｍは１
０３２以下の整数）の特徴量次元、特徴量次元ｘ_a1、特
徴量次元ｘ_a2、特徴量次元ｘ _a3、．．．、特徴量次元ｘ
_am（添え字ａ１、ａ２、ａ３、．．．ａｍは、１以上１
０３２以下の整数）が選択次元として指定されることを
仮定すると、選択次元のリスト（特徴量次元ｘ_a1，特徴
量次元ｘ_a2，特徴量次元ｘ_a3，．．．，特徴量次元
ｘ_am）は、画像組に含まれる可視光画像と遠赤外光画像
とに適用されるどのフィルタ出力が、後に行われる認識
処理において用いられるかを示す。すなわち、選択次元
のリストは、可視光画像の情報と遠赤外光画像の情報の
組み合わせ方を規定しているということができる。

【０１０７】ステップＳ９７で決定された識別平面は、
選択次元のリストと、その選択次元についての係数とに
より表される。これらの識別平面を表すパラメータは、
識別パラメータ記憶部１５０（図６）に格納される。

【０１０８】上述した処理手順において、ステップＳ９
５を省略し、ステップＳ９６の判断を削除された特徴量
次元の数が予め定めた値に達したか否かの判断に置き換
えてもよい。すなわち、特徴量次元の削除数が予め定め
た数に達した場合にはステップＳ９７に進み、予め定め
た回数に達しない場合はステップＳ９２に進むようにし
てもよい。このような処理を行うことで、特徴量次元数
を予め定めた値に設定することができる。

【０１０９】なお、ステップＳ９４において用いられる
値ｄを大くすると、ステップＳ９２〜ステップＳ９６ま
での手順の繰り返し回数を少なくすることができ、計算
量を低減することができる。一方、ｄの値を小さくする
と、一度に多くの特徴量次元を削除することがないの
で、望ましい識別性能を実現するために必要十分な数の
特徴量次元を選択次元として決定することが可能にな
る。

【０１１０】なお、後に行われる認識処理において、ス
テップＳ９７で決定された識別平面とは異なる識別面
（平面に限定されない）が、判定基準（識別パラメー
タ）として用いられてもよい。そのような識別面は、選
択次元によって定義される空間内で人間を表す特徴量ベ
クトルと人間以外の対象物を表す特徴量ベクトルとを識
別するように設定される。選択次元によって定義される
空間内で人間を表す特徴量ベクトルと人間以外の対象物
を表す特徴量ベクトルとを識別する任意の識別手法およ
びその識別手法において用いられる識別パラメータが、
後に行われる認識処理において、対象物が人間であるか
否かを判定するために採用され得る。

【０１１１】後に行われる認識処理において、線形な識
別手法が採用されてもよいし、非線形な識別手法が採用
されてもよい。線形な識別手法とは、例えば、ステップ
Ｓ９７で決定された、識別パラメータによって表される
識別平面のどちら側に対象物を表現する特徴量ベクトル
があるかに基づいて、対象物が人間であるか否かを判定
する手法である。非線形な識別手法の例としては、ｋ−
ＮＮ法、非線型素子を用いたパーセプトロン、ＬＶＱ、
非線型ＳＶＭ等が挙げられる。以下、図１３Ａ〜図１３
Ｃを参照して、非線型な識別手法の例を説明する。

【０１１２】図１３Ａは、曲面の識別面を用いた識別手
法を説明する図である。空間１３８０は、選択次元によ
って定義される特徴量空間である。図１３Ａには、空間
１３８０は、特徴量次元１と特徴量次元２との２つの選
択次元によって定義される平面として示されており、識
別面１３６１は、曲線として示されている。図１３Ａお
よび後述する図１３Ｂ、図１３Ｃにおいて、○印のそれ
ぞれは、人間を表現する特徴量ベクトルを表し、×印の
それぞれは、人間以外の対象物を表現する特徴量ベクト
ルを表す。

【０１１３】識別面１３６１は、特徴量空間１３８０に
おいて、人間を表現する特徴量ベクトルと、人間以外の
対象物を表現する特徴量ベクトルとを識別する。この例
では、人間を表現する特徴量ベクトル（○印）は、識別
面１３６１の第１の側（矢印１３６２の側）に位置し、
人間以外の対象物表現する特徴量ベクトル（×印）は、
識別面１３６１の第２の側（矢印１３６３の側）に位置
する。識別面１３６１は、例えば、特徴量次元１と特徴
量次元２との値を変数とする式によって表され得る。こ
のような式の係数は、識別パラメータとして識別パラメ
ータ記憶部１５０（図６）に格納される。

【０１１４】点１３６４は、後に行われる認識処理にお
いて入力される画像組（認識用画像組）についての特徴
量ベクトルを示す。図１３Ａに示される例では、特徴量
ベクトル１３６４は識別面１３６１の第１の側に位置し
ているので、認識用画像組の対象物は人間であると判定
される。

【０１１５】図１３Ｂは特徴量空間１３８０における距
離を用いる識別手法を説明する図である。このような識
別手法の例としては、ｋ−ＮＮ法やＬＶＱなどが挙げら
れる。代表点１３６６は、人間を表現する特徴量ベクト
ルを代表する点（「人間」というカテゴリを示す代表
点）である。代表点１３６６は、例えば、人間を表現す
るすべての特徴量ベクトルの重心として求められる。同
様に、代表点１３６７は、人間以外の対象物を表現する
特徴量ベクトルを代表する点（「人間以外」というカテ
ゴリを示す代表点）である。代表点１３６６および代表
点１３６７は、特徴量空間においてその点を表す座標に
よって表される。このような座標は、識別パラメータと
して識別パラメータ記憶部１５０（図６）に格納され
る。

【０１１６】点１３６５は、後に行われる認識処理にお
いて入力される画像組（認識用画像組）についての特徴
量ベクトルを示す。この識別手法では、特徴量ベクトル
から最も近い代表点の属するカテゴリが、その特徴量ベ
クトルについての認識結果となる。図１３Ｂに示される
例では、特徴量ベクトル１３６５から最も近い代表点
（代表点１３６６）の示すカテゴリが「人間」というカ
テゴリなので、認識用画像組の対象物は人間であると判
定される。

【０１１７】図１３Ｃは、特徴量空間１３８２における
特徴量ベクトルの分布を用いた識別手法を説明する図で
ある。このような識別手法の例としては、非線型素子を
用いたパーセプトロンなどのニューラルネット等の手法
が挙げられる。図１３Ｃにおいて、特徴量空間１３８２
は、１つの選択次元（特徴量次元１）によって定義され
る１次元の空間（すなわち、直線）として示されてい
る。曲線１３６９と曲線１３７０とはそれぞれ、特徴量
空間１３８２における人間を表現する特徴量ベクトルの
分布の強度（「人間」というカテゴリを示す分布の強
度）と、人間以外の対象物を表現する特徴量ベクトルの
分布の強度（「人間以外」というカテゴリを示す分布の
強度）とを示す。曲線１３６９と曲線１３７０とは、特
徴量次元１の値を変数とする式によって表され得る。こ
のような式の係数は、識別パラメータとして識別パラメ
ータ記憶部１５０（図６）に格納される。

【０１１８】点１３６８は、後に行われる認識処理にお
いて入力される画像組（認識用画像組）についての特徴
量ベクトルを示す。この識別手法では、特徴量ベクトル
の位置において、複数の分布の強度を比較し、最大の分
布の強度が示すカテゴリがその特徴量ベクトルについて
の認識結果となる。図１３Ｃに示される例では、特徴量
ベクトル１３６８の位置において、「人間」というカテ
ゴリを示す分布の強度１３６９が、「人間以外」という
カテゴリを示す分布の強度１３７０よりも大きいので、
認識用画像組の対象物は人間であると判定される。

【０１１９】このように、識別パラメータは識別平面の
みでなく、特徴量空間において異なるカテゴリに属する
特徴量ベクトルを識別する任意の識別手法において用い
られるパラメータを表現する。

【０１２０】図１４は、特徴量次元の削除処理を行うこ
とに伴う識別性能の変化を模式的に示す。図１４に示さ
れるように、最初は、特徴量次元を削除することによっ
て、識別性能は向上する。これは、識別に寄与しない特
徴量次元を削減することによって、識別に悪影響のある
余分な情報（ノイズ）を低減することができるからであ
る。

【０１２１】一般に、可視光画像と遠赤外光画像のよう
に異なる属性を持つ複数の画像の情報を単純に組み合わ
せると情報量が増し、識別処理が増加するとともに、学
習に必要なサンプル数（学習用の画像組の数）が増加す
るため、サンプル収集が困難になる。学習用の画像組の
数が不足すると、識別性能が悪化する可能性がある。し
かしながら、本発明の実施の形態では、可視光画像の情
報と遠赤外光画像の情報とを組み合わせた上で、ステッ
プＳ９２〜ステップＳ９６において、特徴量次元が削除
される。特徴量次元を削除して識別に有効な情報を選別
することにより、後に行われる認識処理における計算量
を低減しつつ、識別性能を向上させる（または、維持す
る）ことが可能になる。

【０１２２】人間を表現する画像組８５８組と人間以外
対象物を表現する画像組１１０５２組を用いて本発明者
らがシミュレーションを行った結果、ステップＳ９２〜
ステップＳ９６の処理によって、特徴量次元の数が８８
％削減できると同時に、誤識別の確率が１／９に低減さ
れた。

【０１２３】ステップＳ９６（図１２）における判定
は、例えば、次のようにして行われる。ステップＳ９５
で求められる識別性能の変化を監視し、前回のステップ
Ｓ９５での識別性能と今回のステップＳ９５での性能を
比較し、識別性能が向上または維持していれば基準を満
たすと判定し、識別性能が低下していれば基準を満たさ
ないと判定する。このような判定を行う場合には、図１
４に点１３０２により示される識別性能の極大値を実現
することができる。

【０１２４】ステップＳ９６（図１２）における判定
は、他の様式で行われてもよい。例えば、絶対的な識別
性能値（図１４に示される参照番号１３０１）を予め指
定し、指定した識別性能を実現できる条件下でできるだ
け特徴量次元を削除してもよい。この場合には、その識
別性能値を満たす限りにおいて、最大限に特徴量次元の
数が削除される（点１３０２）。

【０１２５】図１５は、ステップＳ９１（図１２）のさ
らに詳細な処理手順を示す。なお、ステップＳ１０１
は、ステップＳ１００１ａ（図１）に対応し、ステップ
Ｓ１０２〜Ｓ１０４は、ステップＳ１００１ｂ（図１）
に対応する。

【０１２６】ステップＳ１０１：可視光画像と遠赤外光
画像とが入力される。この可視光画像と遠赤外光画像と
は、画像組を構成する。ステップＳ１０１において、人
間を表現する画像組（可視光画像と遠赤外光画像とが、
同一の人間を表現している画像組）と、人間以外の対象
物を表現する画像組（可視光画像と遠赤外光画像とが、
人間以外の同一の対象物を表現している画像組）とが入
力される。このような画像組の例は、図２Ａおよび図２
Ｂを参照して上述した。

【０１２７】ステップＳ１０１で入力される可視光画像
と遠赤外光画像とは、遠赤外光カメラ１００と可視光カ
メラ１１０とを用いて撮影され、いったん学習用の画像
組として記憶装置１２０に格納される。あるいは、可視
光画像と遠赤外光画像とは、記録媒体（図示せず）から
読み出されることによって物体認識装置１に入力されて
もよい。

【０１２８】ステップＳ１０２：画像（可視光画像また
は遠赤外光画像）ごとに画素値の正規化が行われる。画
素値の正規化は、（数２）に従って行われる。

【０１２９】

【数２】Ｉ’（ｘ，ｙ）＝（Ｉ（ｘ，ｙ）−ｍ）／σ ここで、Ｉ（ｘ，ｙ）：正規化の前の画像中の座標（ｘ，ｙ）に
おける画素値ｍ：画像全体の画素値の平均値 σ：画像全体の画素値の平均値からの標準偏差Ｉ’（ｘ，ｙ）：画像中の座標（ｘ，ｙ）における正規
化された画素値である。

【０１３０】ステップＳ１０３：画素値の正規化を行っ
た画像に対して、複数の異なる特性のＧａｂｏｒフィル
タが画像中の複数の領域に適用される。

【０１３１】ステップＳ１０４：Ｇａｂｏｒフィルタを
適用した各領域（特定領域）に対応するフィルタ出力値
から特徴量ベクトルが求められる。

【０１３２】図１６は、画像４３１と、画像４３１内の
画像フィルタが適用される領域４３２との関係を示す。
画像４３１は、ステップＳ１０１において入力される可
視光画像または赤外光画像の１つである。領域４３２
は、画像フィルタが適用される領域を示す。以下、画像
４３１内の画像フィルタが適用される領域４３２を「特
定領域」と呼ぶ。図１６を参照しながら、ステップＳ１
０３およびステップＳ１０４（図１５）の処理の詳細を
説明する。

【０１３３】図１６に示される例では、特定領域４３２
は、一辺の長さがＬの正方形の形状を有する。画像４３
１は、高さＨ、幅Ｗのサイズの矩形の形状を有する。画
像４３１内に、特定領域４３２が複数設定される。特定
領域４３２のそれぞれに、特定領域４３２のサイズに一
致するＧａｂｏｒフィルタが適用されることにより、そ
の特定領域４３２のそれぞれにおいてフィルタ出力値が
生成される。フィルタ出力値が生成される方法は、図３
を参照して上述した。

【０１３４】フィルタ処理部１２５（図６）は、例え
ば、特定領域４３２が画像４３１に対して重複を許して
画像４３１の全体を覆うように、複数の特定領域４３２
を画像４３１中に設定する。例えば、図１６において、
特定領域４３２がＬ＝Ｈ／８のサイズ（サイズ１）を有
し、Ｗ＝Ｈ／２である場合に、特定領域４３２を縦方向
と横方向とにＬ／２ずつ重複するように画像４３１の全
面に配置すると、画像４３１の中の特定領域の数は（Ｈ
／Ｌ×２−１）×（Ｗ／Ｌ×２−１）＝１５×７＝１０
５個になる。１つの特定領域には、特性の異なる（方位
選択性の異なる）４個の画像フィルタ（図１１Ａ〜図１
１Ｄに示される４種類の方向選択性を有する４個の画像
フィルタ）を適用する。

【０１３５】さらに、サイズの異なる特定領域が、画像
４３１の全面に配置される。サイズの異なる特定領域に
は、サイズの異なる画像フィルタが適用される。特定領
域をＬ＝Ｈ／４のサイズ（サイズ２）の正方形とする
と、この特定領域を縦方向および横方向にＬ／２ずつ重
複して画像４３１の全面を覆うように配置すると、Ｗ＝
Ｈ／２の仮定の下で、特定領域の数は、（Ｈ／Ｌ×２−
１）×（Ｗ／Ｌ×２−１）＝７×３＝２１個となる。同
様に、特定領域をＬ＝Ｈ／２のサイズ（サイズ３）の正
方形とすると、特定領域の数は（Ｈ／Ｌ×２−１）×
（Ｗ／Ｌ×２−１）＝３×１＝３個になる。

【０１３６】画像４３１中の３つの異なるサイズ（サイ
ズ１、サイズ２およびサイズ３）の特定領域の数をすべ
て合わせると１０５＋２１＋３＝１２９個になる。この
特定領域のそれぞれに方位選択性の異なる４種類の画像
フィルタを適用すると、画像４３１から１２９×４＝５
１６個のフィルタ出力が得られる。１つの画像組（学習
用の画像組または認識用の画像組）は、可視光画像（輝
度画像）と遠赤外光画像とを含む。可視光画像と遠赤外
光画像とが同じサイズ（高さＨ、幅Ｗ）を有しており、
可視光画像と遠赤外光画像との同じ位置に特定領域を設
定する場合に、１つの画像組の２個の画像から得られる
フィルタ出力の数は、５１６×２＝１０３２個になる。
従って、１つの画像組が１０３２次元の特徴量ベクトル
によって表される。あるいは、より高い次元の特徴量空
間を設定し、この１０３２次元の特徴量ベクトルをその
高次元の特徴量空間に写像することにより、高次元の特
徴量ベクトルを生成してもよい。特徴量ベクトルをより
高次元の特徴量空間に写像することよって、それぞれの
画像組に対応する特徴量ベクトルの間の距離が大きくな
るので、後に行われるステップＳ９３（図１２）におい
て識別平面を求めやすいという利点が得られる。

【０１３７】なお、Ｇａｂｏｒフィルタの方位の数は４
に限定されない。Ｇａｂｏｒフィルタの方位の数をＧａ
ｂｏｒフィルタのサイズおよび／または特定領域の位置
に依存して変えてもよい。Ｇａｂｏｒフィルタのサイズ
および／または特定領域の位置に応じて方位の数を変え
ることにより、画像中の特定の位置（例えば、方位の区
別を詳細に行いたい位置）および／または特定の空間周
波数領域から、より多くの情報を効率よく取得すること
が可能になる。

【０１３８】また、画像フィルタのサイズは３種類に限
定されない。画像フィルタのサイズは、１種類以上であ
ればよい。可視光画像と遠赤外光画像とで、画素値（輝
度）の変化の空間周波数特性が異なる。従って、可視光
画像と遠赤外光画像とで、適用される画像フィルタのサ
イズを変えることによっても、画像から多くの情報を効
率よく取得することが可能になる。

【０１３９】可視光画像と遠赤外光画像について、特定
領域のサイズや位置は必ずしも等しくしなくてもよい。
可視光画像と遠赤外光画像について、それぞれに適した
サイズや位置を設定することで性能向上が期待できる。
しかし、両画像に対する特定領域のサイズや配置を等し
くすることにより、両画像に対する画像フィルタの適用
の処理を同一の手続きで実行できるという利点が得ら
れ、ハードウェア回路やソフトウェアの規模を削減する
ことが可能になる。

【０１４０】画像フィルタとして、Ｇａｂｏｒフィルタ
と類似した形状のフィルタや他のエッジを求める画像フ
ィルタが用いられてもよい。さらに、エッジを求めるフ
ィルタ以外の画像フィルタが用いられてもよい。しか
し、Ｇａｂｏｒフィルタまたは類似形状の画像フィルタ
を用いることにより、位置空間と周波数空間との両方の
空間で局在する輝度変化の情報を効率よく取得すること
が可能になる。従って、Ｇａｂｏｒフィルタまたは類似
形状の画像フィルタを用いた場合には、ｓｏｂｅｌフィ
ルタなどのエッジフィルタを用いた場合に比較して効率
よく特定の空間周波数において空間的変化の情報を取得
することが可能になる。その結果、可視光画像と遠赤外
光画像のように異なる性質の画像を組み合わせることに
よって増加した情報量の中から、効率的に認識のために
有効な情報を取得することが可能になる。可視光画像の
情報と遠赤外光画像の情報とは、遠赤外光画像から得ら
れる温度の情報を用いることなく、効果的に組み合わさ
れ、認識のために使用され得る。

【０１４１】また、図１６を参照して説明した例では、
１つのサイズの画像４３１に複数のサイズの特定領域
（Ｇａｂｏｒフィルタを適用する領域）が設定された。
しかし、予め同一対象を異なる解像度で撮影したサイズ
の異なる複数の画像のそれぞれに、同じサイズの特定領
域（Ｇａｂｏｒフィルタを適用する領域）を設定するこ
とによっても、同様の結果を得ることができる。

【０１４２】遠赤外光画像と可視光画像とにおいて、必
ずしも同じ位置に対象物が写っている必要はない（２枚
の画像の間で上下方向および／または左右方向にずれて
いてもよい）。他の対象物を撮影した場合にも同じ位置
関係が保たれる限り、可視光画像と遠赤外光画像の中に
おける対象物の位置は一致する必要はない。本発明の学
習処理および認識処理では、遠赤外光画像中の領域と、
可視光画像中の領域とを対応付ける必要がないからであ
る。

【０１４３】図１７は、ステップＳ９５（図１２）にお
ける、識別性能を評価する処理の詳細な手順を示す。

【０１４４】ステップＳ１１１：特徴量ベクトルの成分
のうち、ステップＳ９２で指定された特徴量次元に対応
する成分のみが有効にされる。この特徴量ベクトルとし
ては、ステップＳ９１（図１２）において求められた特
徴量データＦに含まれるすべての特徴量ベクトルまたは
特徴量データＦに含まれる一部の特徴量ベクトルが用い
られる。

【０１４５】ステップＳ１１２：予め定められ識別手法
を用いて、人間を表現する特徴量ベクトルと、人間以外
の対象物を表現する特徴量ベクトルとを識別する学習が
行われる。予め定められ識別手法とは、後に行われる認
識処理において、対象物が人間であるか否かを判定する
ために用いられる手法である。

【０１４６】ステップＳ１１３：評価用の特徴量データ
（特徴量ベクトルの集合）を用いて、識別性能が算出さ
れる。評価用の特徴量データとしては、ステップＳ９１
（図１２）において求められた特徴量データＦを用いて
もよいし、図１２に示される学習処理において使用しな
かった特徴量データを用いてもよい。あるいは、予め評
価用の特徴量ベクトルの集合を特徴量データＦと同様の
手続きで別途作成しておいてもよい。識別性能は、例え
ば、ステップＳ９４（図１２）で設定された次元を有効
にした特徴量ベクトル(人間を表現する特徴量ベクトル
と人間以外の対象物を表現する特徴量ベクトルとを含
む)をステップＳ１１２における学習が終った後の識別
手法を用いて正しく識別できた割合として表される。

【０１４７】＜認識処理＞図１８は、物体認識装置１が
実行する認識処理の詳細な手順を示す。ステップＳ１２
１は、ステップＳ１００２ａ（図１）に対応しており、
ステップＳ１２２〜ステップＳ１２３は、ステップＳ１
００２ｂ（図１）に対応しており、ステップＳ１２４〜
ステップＳ１２５は、Ｓ１００２ｃ（図１）に対応して
いる。

【０１４８】ステップＳ１２１：可視光画像と遠赤外光
画像とが入力される。この画像入力は、学習処理におけ
るステップＳ１０１（図１５）と同様に、可視光カメラ
１１０と遠赤外光カメラ１００（図６）とにより行われ
る。

【０１４９】ステップＳ１２２：画像（可視光画像およ
び遠赤外光画像）から、認識対象領域が切り出される。
認識対象領域は、その認識対象領域の形状が学習処理に
おいて使用した画像の形状に一致するように切り出され
る。認識対象領域は、画像中で固定しておいてもよい
し、１つの画像から複数の認識対象領域が切り出されて
もよい。切り出される認識対象領域の形状は、図１６を
参照して説明した例では、縦横比がＨ対Ｗの矩形であ
る。学習処理における可視光画像の形状と認識処理にお
いて可視光画像から切り出される認識対象領域の形状と
が同じであり、かつ、学習処理における遠赤外光画像の
形状と認識処理において遠赤外光画像から切り出される
認識対象領域の形状とが同じである限り、可視光画像か
ら切り出される認識対象領域の形状と、遠赤外光画像か
ら切り出される認識対象領域の形状とが異なっていても
よい。

【０１５０】ステップＳ１２２における切り出しは、学
習処理においてステップＳ１０１（図１５）で入力され
た可視光画像と遠赤外光画像との撮影位置を考慮して行
われる。具体的には、学習処理における可視光画像と、
認識処理において可視光画像から切り出された認識対象
領域とで、同じ位置に対象物が写るように、ステップＳ
１２２における切り出しが行われる。もちろん、認識処
理において可視光画像を撮影する可視光カメラ１１０を
切り出しが必要でないように設置していてもよい。遠赤
外光画像についても同様である。可視光画像と遠赤外光
画像との拡大率についても同様で、可視光画像と遠赤外
光画像の両者の拡大率(画素数)が異なっていてもよい
が、可視光画像の拡大率と遠赤外光画像の拡大率(画素
数)との比は、学習処理と認識処理とで同じになるよう
に調整される。

【０１５１】次に、必要に応じて、切り出した可視光画
像と遠赤外光画像の大きさが正規化される。可視光画
像、遠赤外光画像ともに切り出した形状が縦横比２：１
の矩形の場合、例えば、縦６４画素、横３２画素の矩形
に大きさが正規化される。画像の大きさを正規化するこ
とによって、次のステップＳ１２３において画像に適用
されるＧａｂｏｒフィルタの大きさ(フィルタを作用さ
せる特定領域の大きさ)は、固定され得る。切り出さ
れ、大きさが正規化された可視光画像と遠赤外光画像と
は、認識用の画像組を構成する。

【０１５２】ステップＳ１２３：切り出した画像から、
ステップＳ９７（図１２）で決定された選択次元に対応
する特徴量ベクトルが求められる。特徴量ベクトルは、
学習処理において用いられたものと同じＧａｂｏｒフィ
ルタを用いて算出される。上述したステップＳ１２２に
おいて画像の大きさが正規化されていない場合には、画
像の大きさに応じたサイズのＧａｂｏｒフィルタが適用
される。

【０１５３】学習処理において特徴量次元の一部を削除
している場合には、削除した特徴量次元に対応するＧａ
ｂｏｒフィルタの演算処理は不要であるので、予め特徴
量ベクトルの算出処理から除いておく。

【０１５４】ステップＳ１２４：特徴量ベクトルと識別
平面の係数との重み付け和を用いて、類似度が求められ
る。類似度は、認識用の画像組の対象物が人間に似てい
る度合いを表す。既に述べたように、特徴量ベクトルと
識別平面の係数との重み付け和は、特徴量ベクトルと識
別平面との距離（位置関係）を表す。この距離は、識別
平面で区切られる一方の空間側（例えば、人間を表す特
徴量ベクトルが位置する第１の側）にある場合に正の
値、反対側（例えば、人間以外の対処物を表す特徴量ベ
クトルが位置する第２の側）にある場合に負の値として
表すことができる。特徴量ベクトルが識別平面から離れ
るほど、距離の絶対値が大きくなる。

【０１５５】ステップＳ１２５：類似度に基づいて、人
間が認識される（すなわち、対象物が人間であると判定
される）。例えば、類似度（特徴量ベクトルと識別平面
との距離）が正であるか負であるかに基づいて（すなわ
ち、特徴量ベクトルが、識別平面どちらの側に位置する
かに基づいて）、対象物が人間であるか否かの判定がな
される。あるいは、類似度が正であり（すなわち、特徴
量ベクトルが、識別平面の第１の側にあり）、かつ、類
似度が所定の閾値以上である場合に、対象物が人間であ
ると判定するようにしてもよい。このような閾値は、認
識の精度についての要求（例えば、人間でない対象物を
人間と誤認識する可能性を低減することが望まれるの
か、人間を人間でないと誤認識する可能性を低減するこ
とが望まれるのか）に応じて設定され得る。類似度を示
す数値が表示部１７０に表示されてもよい。

【０１５６】このように、本発明の物体認識装置１（図
６）は、学習用の画像組の遠赤外光画像と可視光画像と
を用いて識別パラメータ（例えば、識別平面を表すパラ
メータ）を求め、その識別パラメータを判定基準として
用いて認識用の画像組の遠赤外光画像と可視光画像との
対象物を認識する（対象物が特定のカテゴリに属するか
否かを判定する）。対象物の認識は、対象物から放射ま
たは反射される可視光線の強度（第１の属性）と、対象
物から放射または反射される遠赤外光線の強度（第２の
属性）とに基づいて行われるので、対象物の認識の信頼
度が高くなる。

【０１５７】本発明者らは、屋外で昼夜に撮影した可視
光画像と遠赤外光画像の組（人間を表す画像組８５８組
と人間以外の対象物を表す画像組１１０５２組）を学習
用画像組として用いて、上述した学習処理および認識処
理のシミュレーションを行った。シミュレーションの結
果、誤認識率は０．２％であった。この誤認識率は、可
視光画像のみを用いて学習処理および認識処理を行った
比較例における誤検出率（２．７％）および遠赤外光画
像のみを用いて学習処理および認識処理を行った比較例
における誤認識率（３．５％）に比較して、非常に低い
（１／１０以下）値である。このように、高い対象物の
認識の信頼度が実現される。

【０１５８】本発明の物体認識装置１は、可視光画像と
遠赤外光画像とを用いて学習処理を行うことにより、可
視光画像と遠赤外光画像との間の相関関係を学習するこ
とができ、その相関関係が認識処理に反映される。例え
ば、日中の屋外で対象物（人間）を撮影した可視光画像
と遠赤外光画像とを考える。対象物に直射日光が当たる
ような環境条件下では、可視光画像中の対象物の輝度は
高くなると同時に、遠赤外光画像は対象物の温度が高い
ことを示す。一方、対象物に直射日光が当たらないよう
な環境条件下では、可視光画像中の対象物の輝度は低く
なると同時に、遠赤外光画像は対象物の温度が低いこと
を示す。

【０１５９】このような様々な環境条件下で撮影された
可視光画像と遠赤外光画像とを用いることにより、本発
明の物体認識装置１は、可視光画像と遠赤外光画像との
間の相関関係を学習することができる。その結果、例え
ば、認識画像組の可視光画像中の対象物の輝度が高く、
かつ、遠赤外光画像は対象物の温度が低い場合（対象物
が人間である場合には起こり得ない事象が発生した場
合）に、その対象物を人間であると誤認識する可能性は
低い。

【０１６０】可視光画像のみを用いて学習処理および認
識処理を行う認識システムでは、様々な環境条件下で撮
影された可視光画像を用いて学習処理を行うことによ
り、対象物を人間として認識するための許容範囲が広く
なる。その結果、人間でない対象物を人間であると誤認
識する可能性が高くなる。遠赤外光画像のみを用いて学
習処理および認識処理を行う認識システムについても同
様である。

【０１６１】本発明の物体認識装置１によれば、様々な
環境条件（例えば、照明の条件、温度の条件）において
撮影された学習用の画像組を用いて学習処理を行うこと
により、その様々な環境条件において撮影された認識用
の画像組の対象物を正しく認識することができるように
なる。このような特徴は、屋外における侵入者の監視シ
ステムや、自動車等の移動体に搭載される歩行者の検出
システムや、移動ロボットに搭載される視覚システム等
の、変動する環境条件下で対象物を正しく認識すること
が要求される用途に特に適している。

【０１６２】さらに、上述した本発明の学習処理および
認識処理は、対象物の属性に特化した処理ではない。こ
れは、本発明の物体認識装置１が、上述した本発明の学
習処理および認識処理を変更することなく、人間の認識
以外の用途（例えば、動物を認識する用途または車両を
認識する用途）にも適用できることを意味する。このよ
うに、本発明の物体認識装置１は、認識が行われる環境
条件が変化した場合および認識の対象物が変化した場合
の初期設定が容易である。

【０１６３】本発明の物体認識装置１では、遠赤外線画
像から特定の温度領域を抽出する処理は必要ではない。
従って、時間経過とともに変化する遠赤外線カメラの光
学系や回路、素子等の温度の影響をキャンセルするため
のキャリブレーション処理を行う必要がなく、物体認識
装置１の構成およびその保守を簡素化できるという利点
が得られる。

【０１６４】上述した実施の形態では、学習処理のステ
ップＳ９７（図１２）において、選択次元が１セットに
定められていた。しかし、選択次元のリスト（選択次元
のセット）を複数セット用意して、各セットごとに識別
パラメータが設定されていてもよい。この場合、認識処
理において、いずれか１つのセットの識別パラメータを
用いて求められた類似度に基づいて人間の認識を行って
もよいし、複数のセットのそれぞれの識別パラメータを
用いて求められた類似度の和（平均値）に基づいて人間
の認識を行ってもよい。あるいは、複数のセットのそれ
ぞれの識別パラメータを用いて求められた類似度に基づ
いて人間の認識を行い、その認識結果の多数決を行って
もよい。

【０１６５】上述した実施の形態では、ステップＳ１２
２において切り出された認識対象領域について、ステッ
プＳ１２３においてＧａｂｏｒフィルタを用いて特徴量
ベクトルを求めていた。しかし、切り出しを行う前の画
像にＧａｂｏｒフィルタを適用してもよい。この場合、
フィルタを作用させる特定領域を予め画像全体に設定し
てＧａｂｏｒフィルタを適用し、画像全体の各位置に対
するフィルタ出力を事前に得ておく。次に、画像中で検
出の対象領域となる場所のフィルタ出力のみを用いて特
徴量ベクトルを算出する。このように予めフィルタ出力
を求めておくことにより、画像中の広範囲を走査しなが
ら切り出しと認識の手続きを順次繰り返す場合等に、画
像中の同一個所に同一のＧａｂｏｒフィルタを適用する
フィルタ演算を複数回行う無駄を回避することができ
る。なお、画像中の広範囲を走査しながら切り出しと認
識の手続きを順次繰り返す処理によって、対象物がどこ
に写っているのか未確定な画像から、人間を検出するこ
とができる。このような処理を行う場合には、物体認識
装置１（図６）を物体検出装置として機能させることが
できる。

【０１６６】学習処理において用いられる人間以外の対
象物を表現する画像組(可視光画像と遠赤外光画像の組)
は、木や犬等の実在する人間以外の対象物を撮影するこ
とによって物体認識装置１に入力されてもよい。あるい
は、人間を表現する画像組の可視光画像と遠赤外光画像
とに対して変換処理を施すことによりそれぞれ生成され
る可視光画像と遠赤外光画像との組が、人間以外の対象
物を表現する画像組として学習処理において用いられて
もよい。このような変換処理の例としては、画像にアフ
ィン変換を施す処理および／または画像にノイズを付加
する処理が挙げられる。変換処理後の画像は、人間を表
現する画像に比較的類似した画像である。このような変
換処理後の画像を学習処理において用いることにより、
少しでも人間の形状とは異なる形状の対象物は人間とし
て認識しないような判定基準を学習することができる。

【０１６７】上述した実施の形態では、ほぼ同時刻に撮
影した可視光画像と遠赤外光画像の２画像を組み合わせ
て学習処理および認識処理を行っていた。組み合わせる
画像の数は２枚に限定されない。また、可視光画像とし
て、輝度画像に代えて、カラー画像を用いてもよい。こ
の場合、カラー画像をＲＧＢ（対象物から放射または反
射される、異なる３種類の波長帯域の光の強度を表す３
種類の画像）の３つの画像で表現すると、Ｒの画像とＧ
の画像とＢの画像の３画像と遠赤外光画像の計４個の画
像が１つの画像組（学習用の画像組および認識用の画像
組）として物体認識装置１に入力される。４個の画像を
入力とした場合の学習処理および認識処理は、可視光画
像と遠赤外光画像との２つの画像を入力した場合の学習
処理および認識処理と同様である。

【０１６８】物体認識装置１に入力される画像組が、異
なる時刻に撮影した画像を含んでいてもよい。例えば、
入力部１９０は、時刻Ｔ（第１の時刻）に撮影した可視
光画像（第１の画像）および遠赤外光画像（第２の画
像）と、時刻Ｔ＋ｔ（第１の時刻から所定の時間後の時
刻）に撮影した可視光画像（第５の画像）および遠赤外
光画像（第６の画像）との４枚の画像を１つの認識用の
画像組として物体認識装置１に入力するように構成され
ていてもよい。もちろん、この場合には、学習用の画像
組のそれぞれも、同一の時刻に撮影された可視光画像お
よび遠赤外光画像と、その時刻からｔ時間後に撮影され
た可視光画像および遠赤外光画像とを含んでいなければ
ならないことは言うまでもない。４個の画像を入力とし
た場合の学習処理および認識処理は、可視光画像と遠赤
外光画像との２つの画像を入力した場合の学習処理およ
び認識処理と同様である。

【０１６９】このように、撮影時刻の異なる可視光画像
と遠赤外光画像を組み合わせることで、歩行者などのよ
うに時間とともに形状が特定の様態で変化する対象物
と、時間とともに形状が変化しない対象物および時間と
ともに形状が異なった様態で変化する対象物とを区別す
ることが可能になり、認識の精度が向上する。

【０１７０】所定の時間ｔを短くすると速い動きを伴う
対象物を効率よく認識することができ、所定の時間ｔを
長くすると遅い動きを伴う対象物を効率よく認識するこ
とができる。通常、屋外において動きを伴う人間、車両
または動物等を認識する場合には、所定の時間ｔを１秒
以下に設定することにより、形状および／または位置が
時間とともに変化する対象物を効果的に認識することが
できる。このように、複数の時刻における画像の情報を
効果的に組み合わせることにより、識別性能が向上す
る。

【０１７１】本発明の物体認識装置１によれば、画像組
に含まれる画像の数が増えた場合にも、識別に寄与する
特徴量次元（フィルタ出力）だけが選択されるので、画
像の数の増加による認識処理の計算量の増加が抑制され
る。

【０１７２】物体認識装置１に入力される画像組が、視
点の異なる画像を含んでいてもよい。例えば、同じ位置
から撮影した可視光画像および遠赤外光画像と、それと
は異なる位置から撮影した可視光画像および遠赤外光画
像とが１つの画像組を構成してもよい。

【０１７３】図１９は、遠赤外光カメラと可視光カメラ
との配置のさらに他の例を示す。図１９に示される例で
は、遠赤外光カメラ１００ａと可視光カメラ１１０ａと
がＡ地点に配置されており、遠赤外光カメラ１００ｂと
可視光カメラ１１０ｂとがＢ地点に配置されている。４
つのカメラは、同一の対象物を撮影するように配置され
ている。遠赤外光カメラ１００ａ、１００ｂおよび可視
光カメラ１１０ａ、１００ｂは、全体として、物体認識
装置１（図６）に学習用の画像組および認識用の画像組
を入力する入力部１９０（図６）として機能する。

【０１７４】入力部１９０は、認識処理においては、Ａ
地点（第１の場所）から撮影された可視光画像（第１の
画像）および遠赤外光画像（第２の画像）に加えて、さ
らに、Ｂ地点（第２の場所）から撮影された可視光画像
（第５の画像）および遠赤外光画像（第６の画像）との
４枚の画像を１つの認識用の画像組として物体認識装置
１に入力するように構成されている。４個の画像を入力
とした場合の学習処理および認識処理は、可視光画像と
遠赤外光画像との２つの画像を入力した場合の学習処理
および認識処理と同様である。

【０１７５】このように、異なる場所から撮影された可
視光画像と遠赤外光画像を組み合わせることにより、人
物のように見る向きによって異なる形状を有する物体を
認識する精度が向上する。

【０１７６】本発明の物体認識装置１によれば、画像組
に含まれる画像の数が増えた場合にも、識別に寄与する
特徴量次元（フィルタ出力）だけが選択されるので、画
像の数の増加による認識処理の計算量の増加が抑制され
る。

【０１７７】また、異なる位置から撮影した可視光画像
と遠赤外光画像とが１つの画像組を構成してもよい。

【０１７８】図２０は、遠赤外光カメラ１００と可視光
カメラ１１０との配置のさらに他の例を示す。図２０に
示される例では、可視光カメラ１１０がＣ地点に配置さ
れており、遠赤外光カメラ１００がＤ地点に配置されて
いる。２個のカメラは、同一の対象物を撮影するように
配置されている。

【０１７９】図２０に示される例では、遠赤外光カメラ
１００と可視光カメラ１１０とは、Ｃ地点（第１の場
所）から可視光画像（第１の画像）を撮影し、Ｄ地点
（第２の場所）から遠赤外光画像（第２の画像）を撮影
するように構成されている。このような構成によれば、
可視光画像と遠赤外光画像とで、対象物の背景が異なる
ようにすることができる。可視光画像と遠赤外光画像と
共通する背景の余分な情報が認識結果に悪影響を及ぼす
可能性が低下し、認識結果が背景の影響を受けにくくな
るという利点が得られる。また、図１９に示される例と
同様に、異なる複数の視点から撮影した画像を用いるこ
とで、人物のように見る向きによって異なる形状を有す
る対象物の認識精度が向上する。

【０１８０】上述した実施の形態では、異なる属性を用
いて対象物を表現する画像の例として、可視光画像と遠
赤外光画像とを挙げたが、本発明はこれに限定されな
い。可視光画像と近赤外光画像とで画像組を構成するよ
うにしてもよいし、可視光画像と紫外光画像とで画像組
を構成するようにしてもよい。あるいは、可視光画像と
距離画像とで画像組を構成するようにしてもよい。距離
画像における画素値は、撮影点から対象物までの距離を
示す。距離画像は、撮影点から対象物までの距離という
属性を用いて対象物を表現する画像であるということが
できる。

【０１８１】上述した本発明の学習処理および認識処理
は、対象物の属性に特化した処理ではないので、可視光
画像と遠赤外光画像以外の種類の画像を用いた場合に
も、上述した本発明の学習処理および認識処理を変更す
る必要はない。

【０１８２】本発明の学習処理と認識処理とは、典型的
には、コンピュータ上のソフトウェアによって実現され
る。しかし、本発明の学習処理と認識処理とをハードウ
ェアによって実現してもよいし、ソフトウェアとハード
ウェアとの組み合わせによって実現してもよい。さら
に、物体認識装置１（図６）が学習処理を実行すること
は必須ではない。なぜなら、物体認識装置１は、学習処
理の結果（識別パラメータ）が識別パラメータ記憶部１
５０に格納されてさえいれば、認識処理（図１に示され
るステップＳ１００２ａ〜Ｓ１００２ｃの処理）を実行
することができるからである。そのような識別パラメー
タは、予め定められたパラメータであり得る。あるい
は、そのような識別パラメータは、物体認識装置１とは
別の装置を使用して学習処理を行うことによって求めら
れてもよい。そのような学習処理の結果として得られる
識別パラメータを物体認識装置１の識別パラメータ記憶
部１５０に格納することにより、物体認識装置１はその
識別パラメータを判定基準として用いた認識処理を行う
ことが可能になる。

【０１８３】物体認識装置１が学習処理を行わない場合
には、学習処理部１３０および記憶装置１２０は省略さ
れてもよい。

【０１８４】本発明の学習処理と認識処理との一方また
はその両方の一部または全部を表現するプログラム（学
習プログラム、認識プログラム）は、例えば、学習処理
部１３０内のメモリ（図示せず）または認識処理部１４
０内のメモリ（図示せず）に格納され得る。あるいは、
そのようなプログラムは、フレキシブルディスク、ＣＤ
−ＲＯＭ、ＤＶＤ−ＲＯＭなどの任意のタイプのコンピ
ュータ読み取り可能な記録媒体に記録され得る。そのよ
うな記録媒体に記録された学習プログラムまたは認識プ
ログラムは、ディスクドライブ（図示せず）を介してコ
ンピュータのメモリにロードされる。あるいは、学習プ
ログラムまたは認識プログラム（またはその一部）は、
通信網（ネットワーク）または放送を通じてコンピュー
タのメモリにダウンロードされてもよい。コンピュータ
に内蔵されるＣＰＵが学習プログラムまたは認識プログ
ラムを実行することによって、そのコンピュータは物体
認識装置として機能する。

【０１８５】

【発明の効果】本発明によれば、認識のために入力され
る画像組は、対象物を第１の属性を用いて表現する第１
の画像と、その対象物を第１の属性とは異なる第２の属
性を用いて表現する第２の画像とを含む。対象物が特定
のカテゴリに属するか否かの判定は、第１の属性と第２
の属性とに基づいて行われるので、対象物の認識の信頼
度が高くなる。さらに、その所定の数の画像の予め定め
られた位置に予め定められた画像フィルタを適用するこ
とによって得られるフィルタ出力値を成分として有する
特徴量空間内の特徴量ベクトルが求められ、画像組は、
この特徴量ベクトルによって表される。この処理には、
第１の画像の領域と第２の画像の領域とを対応付ける処
理は必要でないので、対象物の認識を行うための初期設
定が容易であり、認識結果は、環境条件の影響を受けに
くい。

【図面の簡単な説明】

【図１】本発明の物体認識方法の全体の処理手順を示す
フローチャート

【図２Ａ】ステップＳ１００１ａ（図１）において入力
される画像組６１０〜６１３を示す図

【図２Ｂ】ステップＳ１００１ａ（図１）において入力
される画像組６６０〜６６３を示す図

【図３】画像３５１に画像フィルタ３５４を適用する例
を示す図

【図４】ステップ１００１ｂ（図１）において各画像組
について求められた特徴量ベクトルを特徴量空間７０１
にプロットした状態を示す図

【図５】ステップ１００２ａ（図１）において入力され
る認識用の画像組５１０の例を示す図

【図６】本発明の実施の形態の物体認識装置１の構成を
示すブロック図

【図７Ａ】遠赤外光カメラ１００と可視光カメラ１１０
との配置の例を示す図

【図７Ｂ】遠赤外光カメラ１００と可視光カメラ１１０
との配置の他の例を示す図

【図７Ｃ】遠赤外光カメラ１００と可視光カメラ１１０
とに代えて、その両方の機能を併せ持つ可視光・遠赤外
光カメラ２１０が用いられる例を示す図

【図８Ａ】可視光カメラ１１０によって撮影された、人
間の対象物を表現する可視光画像８０３の例を示す図

【図８Ｂ】遠赤外光カメラ１００によって撮影された、
人間の対象物を表現する遠赤外光画像８０４の例を示す
図

【図９Ａ】可視光カメラ１１０によって撮影された、人
間以外の対象物（木）を表現する可視光画像８０５の例
を示す図

【図９Ｂ】遠赤外光カメラ１００によって撮影された、
人間以外の対象物を表現する遠赤外光画像８０６の例を
示す図

【図１０Ａ】フィルタ処理部１２５（図６）において用
いられる画像フィルタの特性を模式的に示す図

【図１０Ｂ】水平方向のエッジを選択的に検出する画像
フィルタの特性を模式的に示す図

【図１０Ｃ】左下から右上に延びるエッジを選択的に検
出する画像フィルタの特性を模式的に示す図

【図１０Ｄ】右下から左上に延びるエッジを選択的に検
出する画像フィルタの特性を模式的に示す図

【図１１Ａ】Ｇａｂｏｒフィルタのフィルタ係数の例を
示す図

【図１１Ｂ】Ｇａｂｏｒフィルタのフィルタ係数の例を
示す図

【図１１Ｃ】Ｇａｂｏｒフィルタのフィルタ係数の例を
示す図

【図１１Ｄ】Ｇａｂｏｒフィルタのフィルタ係数の例を
示す図

【図１２】物体認識装置１が実行する学習処理の詳細な
手順を示すフローチャート

【図１３Ａ】曲面の識別面を用いた識別手法を説明する
図

【図１３Ｂ】特徴量空間１３８０における距離を用いる
識別手法を説明する図

【図１３Ｃ】特徴量空間１３８２における特徴量ベク
トルの分布を用いた識別手法を説明する図

【図１４】特徴量次元の削除処理を行うことに伴う識別
性能の変化を模式的に示す図

【図１５】ステップＳ９１（図１２）のさらに詳細な処
理手順を示すフローチャート

【図１６】画像４３１と、画像４３１内の画像フィルタ
が適用される領域４３２との関係を示す図

【図１７】ステップＳ９５（図１２）における、識別性
能を評価する処理の詳細な手順を示すフローチャート

【図１８】物体認識装置１が実行する認識処理の詳細な
手順を示すフローチャート

【図１９】遠赤外光カメラと可視光カメラとの配置のさ
らに他の例を示す図

【図２０】遠赤外光カメラ１００と可視光カメラ１１０
との配置のさらに他の例を示す図

【符号の説明】

１物体認識装置１００遠赤外光カメラ１１０可視光カメラ１２０記憶装置１２５フィルタ処理部１３０学習処理部１４０認識処理部１５０識別パラメータ記憶部１６０ワークメモリ１７０表示部１９０入力部

Claims

【特許請求の範囲】

【請求項１】第１の対象物を第１の属性を用いて表現
する第１の画像と、前記第１の対象物を前記第１の属性
とは異なる第２の属性を用いて表現する第２の画像とを
含む、２以上の所定の数の画像からなる第１の画像組を
入力する入力部と、前記第１の画像組の前記所定の数の画像のうち予め定め
られた少なくとも１つの位置に予め定められた少なくと
も１つの画像フィルタを適用することによって得られる
少なくとも１つのフィルタ出力値を成分として有する、
特徴量空間における第１の特徴量ベクトルを求める特徴
量ベクトル算出部と、前記第１の特徴量ベクトルと所定の識別パラメータとの
関係に基づいて、前記第１の対象物が特定のカテゴリに
属するか否かを判定する判定部とを備えた物体認識装
置。
【請求項２】前記入力部は、それぞれが前記所定の数
の画像からなる複数の画像組をさらに入力し、前記複数
の画像組は、少なくとも１つの第２の画像組と、前記少
なくとも１つの第２の画像組以外の少なくとも１つの第
３の画像組とを含み、前記少なくとも１つの第２の画像
組のそれぞれは、前記特定のカテゴリに属する第２の対
象物を前記第１の属性を用いて表現する第３の画像と、
前記第２の対象物を前記第２の属性を用いて表現する第
４の画像とを含み、前記特徴量ベクトル算出部は、前記入力された複数の画
像組のそれぞれについて、前記所定の数の画像のうち予
め定められた少なくとも１つの位置に予め定められた少
なくとも１つの画像フィルタを適用することによって得
られる少なくとも１つのフィルタ出力値を成分として有
する、前記特徴量空間における特徴量ベクトルをさらに
求め、前記物体認識装置は、前記少なくとも１つの第２の画像
組についての前記特徴量空間における少なくとも１つの
特徴量ベクトルと、前記少なくとも１つの第３の画像組
についての前記特徴量空間における少なくとも１つの特
徴量ベクトルとを識別するように、前記識別パラメータ
を求める学習部をさらに備えた、請求項１に記載の物体
認識装置。
【請求項３】前記学習部は、前記特徴量空間よりも多
い次元数を有する仮の特徴量空間において、前記少なく
とも１つの第２の画像組についての特徴量ベクトルと、
前記少なくとも１つの第３の画像組についての特徴量ベ
クトルとを識別するための平面の法線の向きに基づいて
前記仮の特徴量空間から少なくとも１つの次元を削除す
ることによって、前記特徴量空間を定義する、請求項２
に記載の物体認識装置。
【請求項４】前記識別パラメータは、前記特徴量空間
における識別面を表し、前記判定部は、前記第１の特徴量ベクトルが、前記識別面に対してどち
らの側に位置するかに基づいて、前記第１の対象物が前
記特定のカテゴリに属するか否かを判定する、請求項１
に記載の物体認識装置。
【請求項５】前記判定部は、前記第１の特徴量ベクトルと、前記識別面との距離が所
定の閾値以上である場合に、前記第１の対象物が前記特
定のカテゴリに属すると判定する、請求項４に記載の物
体認識装置。
【請求項６】前記予め定められた少なくとも１つの画
像フィルタのそれぞれは方位選択性と、位置選択性と、
空間周波数選択性とを有する、請求項１に記載の物体認
識装置。
【請求項７】前記第１の画像は、前記第１の対象物か
ら放射または反射される第１の波長帯域の光の強度を表
し、前記第２の画像は、前記第１の対象物から放射また
は反射される前記第１の波長帯域とは異なる第２の波長
帯域の光の強度を表す、請求項１に記載の物体認識装
置。
【請求項８】前記入力部は、前記第１の対象物を前記
第１の属性を用いて表現する第５の画像と、前記第１の
対象物を前記第２の属性を用いて表現する第６の画像と
をさらに入力し、前記入力部は、前記第１の画像と前記
第２の画像とが第１の時刻に撮影され、前記第５の画像
と前記第６の画像とが前記第１の時刻から所定の時間の
後に撮影されるように構成されている、請求項１に記載
の物体認識装置。
【請求項９】前記入力部は、前記第１の画像が第１の
場所から撮影され、前記第２の画像が前記第１の場所と
は異なる第２の場所から撮影されるように構成されてい
る、請求項１に記載の物体認識装置。
【請求項１０】前記入力部は、前記第１の対象物を前
記第１の属性を用いて表現する第５の画像と、前記第１
の対象物を前記第２の属性を用いて表現する第６の画像
とをさらに入力し、前記入力部は、前記第１の画像と前
記第２の画像とが第１の場所から撮影され、前記第５の
画像と前記第６の画像とが前記第１の場所とは異なる第
２の場所から撮影されるように構成されている、請求項
１に記載の物体認識装置。
【請求項１１】物体を認識する方法であって、（ａ）２以上の所定の数の画像からなる第１の画像組を
入力するステップであって、前記第１の画像組は、第１
の対象物を前記第１の属性を用いて表現する第１の画像
と、前記第１の対象物を前記第２の属性を用いて表現す
る第２の画像とを含む、ステップと、（ｂ）前記第１の画像組について、前記所定の数の画像
のうち予め定められた少なくとも１つの位置に予め定め
られた少なくとも１つの画像フィルタを適用することに
よって得られる少なくとも１つのフィルタ出力値を成分
として有する、特徴量空間における第１の特徴量ベクト
ルを求めるステップと、（ｃ）前記第１の特徴量ベクトルと所定の識別パラメー
タとの関係に基づいて、前記第１の対象物が前記特定の
カテゴリに属するか否かを判定するステップとを包含す
る、方法。
【請求項１２】コンピュータに物体認識処理を実行さ
せるためのプログラムであって、前記物体認識処理は、（ａ）２以上の所定の数の画像からなる第１の画像組を
入力するステップであって、前記第１の画像組は、第１
の対象物を前記第１の属性を用いて表現する第１の画像
と、前記第１の対象物を前記第２の属性を用いて表現す
る第２の画像とを含む、ステップと、（ｂ）前記第１の画像組について、前記所定の数の画像
のうち予め定められた少なくとも１つの位置に予め定め
られた少なくとも１つの画像フィルタを適用することに
よって得られる少なくとも１つのフィルタ出力値を成分
として有する、特徴量空間における第１の特徴量ベクト
ルを求めるステップと、（ｃ）前記第１の特徴量ベクトルと所定の識別パラメー
タとの関係に基づいて、前記第１の対象物が前記特定の
カテゴリに属するか否かを判定するステップとを包含す
る、プログラム。
【請求項１３】コンピュータに物体認識処理を実行さ
せるためのプログラムを記録したコンピュータ読み取り
可能な記録媒体であって、前記物体認識処理は、（ａ）２以上の所定の数の画像からなる第１の画像組を
入力するステップであって、前記第１の画像組は、第１
の対象物を前記第１の属性を用いて表現する第１の画像
と、前記第１の対象物を前記第２の属性を用いて表現す
る第２の画像とを含む、ステップと、（ｂ）前記第１の画像組について、前記所定の数の画像
のうち予め定められた少なくとも１つの位置に予め定め
られた少なくとも１つの画像フィルタを適用することに
よって得られる少なくとも１つのフィルタ出力値を成分
として有する、特徴量空間における第１の特徴量ベクト
ルを求めるステップと、（ｃ）前記第１の特徴量ベクトルと所定の識別パラメー
タとの関係に基づいて、前記第１の対象物が前記特定の
カテゴリに属するか否かを判定するステップとを包含す
る、記録媒体。