JP2000242784A - 物体認識方法及び物体認識装置 - Google Patents

物体認識方法及び物体認識装置

Info

Publication number
JP2000242784A
JP2000242784A JP3953999A JP3953999A JP2000242784A JP 2000242784 A JP2000242784 A JP 2000242784A JP 3953999 A JP3953999 A JP 3953999A JP 3953999 A JP3953999 A JP 3953999A JP 2000242784 A JP2000242784 A JP 2000242784A
Authority
JP
Japan
Prior art keywords
image
class
classes
partial
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP3953999A
Other languages
English (en)
Other versions
JP3796997B2 (ja
Inventor
Mihoko Kunii
美保子 國井
Kenji Nagao
健司 長尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP03953999A priority Critical patent/JP3796997B2/ja
Priority to US09/506,483 priority patent/US6647139B1/en
Publication of JP2000242784A publication Critical patent/JP2000242784A/ja
Priority to US10/656,390 priority patent/US7120292B2/en
Application granted granted Critical
Publication of JP3796997B2 publication Critical patent/JP3796997B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 予め学習画像を物体の位置とタイプの対で表
すクラスに分類し、クラス内が最もまとまり且つクラス
間が最も分離できるような特徴抽出を行うことにより、
未学習の物体に対しても信頼性の高い物体認識を行うこ
とを目的とする。 【解決手段】 多くの画像から部分画像を取り出し、ク
ラスに分類し、部分画像から求めた特徴抽出行列と、ク
ラス毎に分類した部分画像から前記特徴抽出行列を用い
て特徴量データをそれぞれ抽出し、その代表値を蓄積す
る学習手段と、前記特徴抽出行列を用いて入力画像を分
割した部分画像から特徴量を抽出する特徴量抽出手段
と、前記部分画像の特徴量とクラス毎の特徴量データか
ら類似度を計算し、類似度から入力画像中の対象物体を
推定する判定手段とを備えることにより、未登録の物体
でも物体の位置・タイプを推定する信頼性の高い物体認
識を行うことができる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像から物体の検
出と認識、及び距離推定を行う物体認識方法及び物体認
識装置に関するものである。
【０００２】
【従来の技術】従来のよく知られた物体認識方法は、Ka
rhunen-Loeve展開を用いて特徴抽出を行うものやこれに
準じたものである。例えば、文献（H. Murase, S. K. N
ayer,“Visual Learning and Recognition of 3-D Obje
cts from Appearance”, International Journal of Co
mputer Vision, 14, 1995.）に記載されたものが知られ
ている。
【０００３】図８は、従来の物体認識装置の構造を示し
ており、画像を入力する画像入力部１１と、抽出対象物
の局所モデルを予め格納しているモデル記憶部１３と、
入力画像の特徴ベクトルを抽出する特徴ベクトル抽出部
１２と、モデルの特徴ベクトルを記憶する特徴ベクトル
記憶部１４と、入力画像の特徴ベクトルについて各モデ
ルの特徴ベクトルとのマッチングを行うマッチング処理
部１５と、入力画像内での対象物体のタイプを判別して
出力する物体タイプ推定部１６から構成されている。こ
こで、タイプとは個体や種類等を指す。
【０００４】
【発明が解決しようとする課題】前記のように従来の物
体認識装置は、学習画像をクラス分類する概念は含まれ
ていない。従って、クラス内をよくまとめ、クラス間を
分離するような特徴ベクトルを抽出することは考慮して
いない。また、入力画像は各々の学習画像とマッチさせ
るため、予め用意している学習画像と等しい物体の認識
は可能であるが、学習していない物体について認識する
ことが難しいという課題を有していた。
【０００５】本発明は、画像をタイプや距離の違いによ
ってクラスに分類することで、学習していない物体でも
高精度で認識することを目的とする。
【０００６】
【課題を解決するための手段】上記課題を解決するため
に、本発明では、学習画像を物体の位置とタイプの対で
表すクラスに分類し、予めクラス内が最もまとまり且つ
クラス間が最も分離できるような特徴抽出を行う。その
ため、本発明では、学習ウィンドウデータベースと、予
めクラス内が最もまとまり且つクラス間が最も分離でき
るような特徴抽出行列を算出する特徴抽出行列算出手段
と、学習ウィンドウ特徴ベクトルデータベースとを有す
る学習手段を備えたものである。
【０００７】これにより、分類したクラス内が最もまと
まり且つクラス間が最も分離され、同一クラス内でのパ
ターンの小さな変動を無視でき未学習の物体にも対応で
きるという効果を奏するものである。
【０００８】
【発明の実施の形態】本発明の請求項１に記載の発明
は、予め多くの画像から１つまたは１つ以上の部分画像
を取り出し、クラスに分類し、前記部分画像から求めた
特徴抽出行列と、さらにクラス毎に分類した部分画像か
ら前記特徴抽出行列を用いて求めた特徴量データとを蓄
えておき、入力した画像の１つまたは１つ以上の部分画
像から前記特徴抽出行列を用いて特徴量を算出し、前記
特徴量データと前記入力画像部分の特徴量との類似度を
求め、前記類似度から入力画像中の対象物体を推定する
もので、クラス内のパターンの小さな変動を無視できる
ため未学習の物体への対応も可能にし、他クラスとの違
いを顕著にするため高精度な認識を可能にするという作
用を有する。
【０００９】請求項２に記載の発明は、請求項１記載の
物体認識方法において、入力画像の部分画像を取り出す
領域を限定するもので、領域を限定することにより入力
した画像から取り出す部分画像数を削減できるため対象
物体を探索して認識するまでの時間の短縮を可能にし、
探索の不必要な領域を取り除くため認識率を上げるとい
う作用を有する。
【００１０】請求項３に記載の発明は、請求項１または
請求項２記載の物体認識方法において、特徴抽出行列
は、前記部分画像から求めたクラス内の共分散行列とク
ラス間の共分散行列とから求めるもので、クラス内が最
もまとまり且つクラス間が最も分離されるような特徴抽
出行列を算出することで高精度な認識を可能にするとい
う作用を有する。
【００１１】請求項４に記載の発明は、請求項３記載の
物体認識方法において、特徴抽出行列は、前記部分画像
から求めたクラス内の共分散行列とクラス間の共分散行
列からクラス間分散ができるだけ大きく、クラス内分散
ができるだけ小さくなるように、その分散比が最大とな
るように求めるもので、他クラスとの違いを顕著にする
ため高精度な認識を可能にするという作用を有する。
【００１２】請求項５に記載の物体認識方法は、請求項
１乃至４のいずれかに記載の物体認識方法において、ク
ラスは、物体の位置と種類の対で分類するもので、クラ
ス内のパターンの小さな変動を無視できるため未学習の
物体への対応も可能にし、他クラスとの違いを顕著にす
るため高精度な認識を可能にするという作用を有する。
【００１３】請求項６に記載の発明は、請求項１乃至４
のいずれかに記載の物体認識方法において、クラスは、
物体のある経路に沿った距離と種類の対で分類するもの
で、各クラスを特徴空間上にマップする場合、同タイプ
で距離の異なるクラスの間にマップされた入力部分画像
の特徴ベクトルをその座標値から推定される距離値の補
完を可能にするという作用を有する。
【００１４】請求項７に記載の発明は、予め多くの画像
から１つまたは１つ以上の部分画像を取り出し、クラス
に分類し、前記部分画像から求めた特徴抽出行列と、前
記クラス毎に分類した部分画像から前記特徴抽出行列を
用いて部分画像の特徴量データをそれぞれ抽出し、前記
特徴量データの全てまたは一部またはそれらより求まる
代表値を蓄積する学習手段と、入力した画像を１つまた
は１つ以上の部分画像に分割する画像分割手段と、前記
特徴抽出行列を用いて前記分割された部分画像から特徴
量を抽出する特徴量抽出手段と、前記部分画像の特徴量
と前記学習手段で蓄積した部分画像のクラス毎の特徴量
データから類似度を計算する入力分割画像判別手段と、
前記類似度から入力画像中の対象物体を推定する判定手
段とを備えるもので、クラス内のパターンの小さな変動
を無視できるため未学習の物体への対応も可能にし、他
クラスとの違いを顕著にするため高精度な認識を可能に
するという作用を有する。
【００１５】請求項８に記載の発明は、請求項７記載の
物体認識装置において、入力した画像に対して探索する
領域を限定する領域限定手段を有するもので、領域を限
定することにより入力した画像から取り出す部分画像数
を削減できるため対象物体を探索して認識するまでの時
間の短縮を可能にし、探索の不必要な領域を取り除くた
め認識率を上げるという作用を有する。
【００１６】請求項９に記載の発明は、請求項７記載の
物体認識装置において、学習手段の特徴抽出行列は、前
記部分画像から求めたクラス内の共分散行列とクラス間
の共分散行列とから求めるもので、クラス内が最もまと
まり且つクラス間が最も分離されるような特徴抽出行列
を算出することで高精度な認識を可能にするという作用
を有する。
【００１７】請求項１０記載の発明は、請求項７記載の
物体認識装置において、学習手段の特徴抽出行列は、前
記部分画像から求めたクラス内の共分散行列とクラス間
の共分散行列からクラス間分散ができるだけ大きく、ク
ラス内分散ができるだけ小さくなるように、その分散比
が最大となるように求めるもので、他クラスとの違いを
顕著にするため高精度な認識を可能にするという作用を
有する。
【００１８】請求項１１に記載の発明は、請求項７また
は８に記載の物体認識装置において、クラスは、物体の
位置と種類の対で分類するもので、クラス内のパターン
の小さな変動を無視できるため未学習の物体への対応も
可能にし、他クラスとの違いを顕著にするため高精度な
認識を可能にするという作用を有する。
【００１９】請求項１２に記載の発明は、請求項７また
は８に記載の物体認識装置において、クラスは、物体の
ある経路に沿った距離と種類の対で分類するもので、各
クラスを特徴空間上にマップする場合、同タイプで距離
の異なるクラスの間にマップされた入力部分画像の特徴
ベクトルをその座標値から推定される距離値の補完を可
能にするという作用を有する。
【００２０】請求項１３に記載の発明は、コンピュータ
により物体認識を行うプログラムであって、予め多くの
画像から１つまたは１つ以上の部分画像を取り出し、ク
ラスに分類し、前記部分画像から求めた特徴抽出行列
と、さらにクラス毎に分類した部分画像から前記特徴抽
出行列を用いて求めた特徴量データとを蓄えておき、入
力した画像の１つまたは１つ以上の部分画像から前記特
徴抽出行列を用いて特徴量を算出し、前記特徴量データ
と前記入力画像部分の特徴量との類似度を求め、前記類
似度から入力画像中の対象物体を推定する物体認識プロ
グラムを記録した記録媒体から、コンピュータに読み込
み実行することにより、クラス内のパターンの小さな変
動を無視できるため未学習の物体への対応も可能にし、
他クラスとの違いを顕著にするため高精度な認識を可能
にするという作用を有する。
【００２１】以下、本発明の実施の形態について、図１
から図７を用いて説明する。
【００２２】（実施の形態１）図１は、本発明の実施の
形態１における物体認識装置のブロック構成図を示して
いる。図１において、１は認識したい対象物の画像を入
力する画像入力部、２は画像入力部１で入力した画像を
前処理する画像前処理部、３は画像前処理部２で前処理
した画像をウィンドウ（部分画像）に分割して出力する
画像分割部、４は認識したい物体のモデルを予め作成す
る学習手段、４１は各物体のモデルを含む学習画像を、
画像分割部３で作成するウィンドウと同じサイズのウィ
ンドウに分割して、物体の位置とタイプの対でクラスに
分類し、学習ウィンドウとして格納している学習ウイン
ドウデータベース、４２は学習ウインドウデータベース
４１に格納されている各学習ウィンドウから、クラス内
が最もまとまり且つクラス間が最も分離されるような特
徴抽出行列を算出する特徴抽出行列算出手段、４３は特
徴抽出行列算出手段４２で求めた特徴抽出行列を用いて
計算する学習ウインドウ特徴ベクトルのクラス毎の平均
を格納している学習ウインドウ特徴ベクトルデータベー
ス、５は画像分割部３で分割した各入力ウィンドウに対
して学習手段４で算出した特徴抽出行列を用いて特徴ベ
クトルを抽出する特徴ベクトル抽出手段、６は特徴ベク
トル抽出手段５で抽出した特徴ベクトルと、学習ウィン
ドウ特徴ベクトルデータベース４３の特徴ベクトルとを
比較して類似度を計算する入力分割画像判別手段、７は
入力分割画像判別手段６の判別結果を受けて入力画像中
の対象物体の位置とタイプを推定する判定手段、７１は
入力分割画像判別手段６から入力した類似度のうち最も
高い値である入力分割画像とクラスを判定する入力画像
判定部、７２は入力画像判定部７１が選択したクラスの
分類である物体の位置とタイプを入力画像の物体の位置
とタイプであるとみなす物体位置・タイプ判定部であ
る。８は判定結果を出力する結果出力部である。
【００２３】また、図２はコンピュータにより物体認識
装置を実現した場合のブロック構成図であり、２０１は
物体の画像を撮影するためのビデオカメラ、２０２は大
規模な画像情報を保存する画像データベース（２次記憶
装置：光磁気ディスクなど）、２０３、２０４はビデオ
カメラ２０１、画像データベース２０２からの画像を格
納する画像メモリ、２０５はプログラムの格納やワーク
用のメモリ、２０６はＣＰＵ、２０７は画像パターンを
記憶するパターンメモリ、２０８は特徴抽出の実行によ
って計算された特徴ベクトルを記憶する特徴ベクトルメ
モリ、２０９はキーボード及びディスプレイ、２１０は
種々の物体のモデルを含む学習画像をウィンドウ（部分
画像））に分割して学習ウィンドウとして格納している
学習ウィンドウデータベース、２１１は特徴抽出行列メ
モリ、２１２は学習ウィンドウの特徴ベクトルを格納し
ている学習ウィンドウ特徴ベクトルデータベース、２１
３はＣＰＵバス、２１４は得られた認識結果を出力する
出力端子、２１５〜２１８はＩ／Ｆユニット、２１９は
コンピュータシステムで構成されている。
【００２４】以上のように構成された物体認識装置につ
いて、その対象物体の位置とタイプを学習ウィンドウデ
ータベースに登録されているクラスのうち、どれに一番
類似しているかを認識するもので、その処理は、特徴抽
出行列の計算と学習ウィンドウデータベースの構築を行
うオフライン処理と、入力された画像が最も類似する学
習ウィンドウ特徴ベクトルデータベースの特徴ベクトル
からクラス判定を行うオンライン処理とに大別される。
【００２５】ここで、クラスとは種類や形、大きさ、位
置、色など物体を表わす様々な項目によって分けること
ができ、大きくまたは細かく分類した階層構造のことを
指している。以後ウィンドウと呼ぶが、これは画像の部
分画像を指し、以下の文章では長方形と仮定して説明を
するが、その形は問わない。また、各ウィンドウの位置
関係は連続、不連続、重なりの有無を問わない。更に、
ウィンドウは画像から１つまたは複数抽出し、各画像に
よりその選択は自由にできるものとする。各ウィンドウ
の座標等で表される画像内の位置、形は計算を進める際
には分かるようにしておく。また、特徴量の表現方法は
問わないが、以降、便利のため特徴ベクトルと仮定して
説明する。
【００２６】以下、まず最初にオフライン処理につい
て、図３のオフライン処理の動作フローチャートを用い
て説明する。オフライン処理の目的は、特徴抽出行列の
計算と学習ウィンドウデータベースの構築にある。
【００２７】まず、ビデオカメラ２０１から得られた物
体の画像信号がＩ／Ｆ２１５を介してデジタル変換され
た画像メモリ２０３に蓄積される。または、画像データ
ベース２０２から取り出された物体の画像は画像メモリ
２０４に蓄積される（３０１）。
【００２８】画像メモリ２０４に学習画像として一旦蓄
えられた画像中の物体部分から一定サイズに切り出した
ウィンドウ（部分画像）を１つあるいは複数選択する
（３０２）。物体の部分の占める位置によってウィンド
ウに番号をつけておく。これら各学習画像から得られた
学習ウィンドウを物体の位置とタイプ毎にクラスに分類
する（３０３）。このタイプの中には、ウィンドウの番
号も含まれる。クラス毎に分類された多数の学習ウィン
ドウは学習ウインドウのセットとして、例えば学習ウィ
ンドウは１次元のデータ列としたパターンに変換し、各
クラス毎にパターンのセットとしてパターンメモリ２０
７に保持する。
【００２９】判別方法として例えば、文献（Fisher.R.
A., "The use of multiple measurements in taxonomic
problems", Ann. Eugenics. 7. Part II,pp.179-188,
1936.) に記載されたものが知られている。特徴抽出行
列は、このFisherの判別関数の考えに従って、以下の手
順で計算される。同一クラスに分類される各パターンの
セットからクラス内共分散行列ＣＷが、クラス毎に（数
１）に従って計算される（３０４）。
【００３０】
【数１】
【００３１】クラス間共分散行列ＣＢが、各パターンの
セットから（数２）に従って計算される。
【００３２】
【数２】
【００３３】また、クラス全共分散行列ＣＴが、（数
３）に従って計算される（３０５）。
【００３４】
【数３】
【００３５】ここで、判別評価基準としてクラス間分散
をできるだけ大きく、同時にクラス内分散をできるだけ
小さくなるように、その分散比（数４）を最大にするよ
うな変換ａを求める。
【００３６】
【数４】
【００３７】これは、固有値問題（数５）を解くことに
等しく、求めた特徴抽出行列Ａ を特徴抽出行列メモリ
２１１に記憶する（３０６）。
【００３８】
【数５】
【００３９】学習に用いた、学習ウィンドウを学習ウィ
ンドウデータベースに登録する。また、特徴抽出行列を
用いて計算される各学習ウィンドウ特徴ベクトルのクラ
ス毎の平均値を求め学習ウィンドウ特徴ベクトルデータ
ベースに登録する（３０７）。
【００４０】以上がオフラインで実行されるプロセスで
ある。
【００４１】次に、オンライン処理について、オンライ
ン処理の動作フローチャートを図４に示し、説明する。
オンライン処理目的は、入力された画像が最も類似する
登録済み学習ウィンドウデータベースのクラス判定であ
る。
【００４２】ビデオカメラ２０１から認識対象となる画
像が入力され、画像メモリ２０３に記憶される（４０
１）。入力画像から画像前処理部２によりエッジ情報を
取り出すことも可能である。画像分割部３は、画像メモ
リ２０３に記憶された入力画像から一定サイズのウィン
ドウ（部分画像）を順次抽出して、入力ウィンドウとし
てウィンドウの中心点の座標とともにパターンメモリ２
０７に蓄積する（４０２）。
【００４３】オフライン時に求めた特徴抽出行列Ａを用
いて（数６）に従って入力ウィンドウの特徴ベクトルｆ
ａを計算し、特徴ベクトルメモリ２０８に蓄積する（４
０３）。
【００４４】
【数６】
【００４５】次は、最適マッチ処理で、入力ウィンドウ
の特徴ベクトルｆａに最も類似した特徴ベクトルを学習
ウィンドウ特徴ベクトルデータベース２１２から選び出
し、最も類似度の高いクラスを認識結果として判定する
（４０４）。各ウィンドウの類似度を比較する（４０
５）。入力画像に対して１つ以上の判定結果を、その対
応する入力ウィンドウの座標とともに、Ｉ／Ｆユニット
２１８を介して出力端子２１４に出力するものである
（４０６）。
【００４６】入力及び学習の画像、ウィンドウ、特徴ベ
クトルの相互関係は図７に示す。入力および学習の画
像、ウィンドウ、特徴ベクトルのデータの作られ方の例
を示している。例えば、入力画像Aから入力ウィンドウA
01,A02,A03・・・が作成され、各々の入力ウィンドウか
ら入力ウィンドウ特徴ベクトルa01,a02,a03・・・が作
成される。また、一方学習画像Ｔから、学習ウインドウ
を作成し、クラスに分類され、学習ウインドウベクトル
t01,t02,t03・・・を求め、さらに特徴抽出行列が求め
られる。学習ウィンドウ特徴ベクトルt01,t02,t03・・
・から、クラス毎の代表学習ウィンドウ特徴ベクトルs0
1,s02,s03・・・が作成され登録される。
【００４７】（実施の形態２）実施の形態１と等しい
が、これに入力した画像の部分を取り出す領域を限定す
る手段が加わる。
【００４８】図５は、本発明の実施の形態２における物
体認識装置のブロック構成図を示している。図５におい
て、図１とほぼ等しいが、９は画像入力部１で入力した
画像から領域を限定する領域限定手段である。その他の
部分は、実施の形態１と同様である。
【００４９】領域限定手段９を追加することで、その入
力画像の中で、物体を見つける領域を限定するもので、
例えば、道路画像（入力画像）中の車両（物体）を認識
したい場合、入力画像の中で道路の領域のみを限定して
車を見つけることができます。これは、固定したカメラ
であれば、その入力画像中のどの領域が道路であるか決
まっているために容易に実現できます。
【００５０】そのことによって、物体を探し出す処理時
間を短縮することにもなり、また物体がないとわかって
いる領域を除くことによって誤認識を避けることもでき
る。
【００５１】（実施の形態３）実施の形態３は、実施の
形態１と等しいが、クラスを物体のある経路に沿った距
離と種類の対で分類することを特徴とする。
【００５２】図１は、本発明の実施の形態３における物
体認識装置のブロック構成図を示している。図１におい
て、実施の形態１と異なる構成について以下に説明する
もので、７は入力分割画像判別手段６の判別結果を受け
て入力画像中の対象物体の位置とタイプを推定する判定
手段、７１は入力分割画像判別手段６から入力した類似
度のうち最も高い値である入力分割画像とクラスを判定
する入力画像判定部、７２は入力画像判定部７１が選択
したクラスの分類である物体のタイプとみなし、同時に
特徴空間上での座標から、クラス間の距離値も補完して
物体の経路に沿った距離を推定する物体位置・タイプ判
定部である。例えば、５０ｍと７０ｍのクラスがある場
合、５０ｍから７０ｍの間の距離である６０ｍや６５ｍ
も特徴空間座標で補完して推定するというものである。
【００５３】次に動作について説明するが、オフライン
処理は実施の形態１と同様であるので省略する。
【００５４】次に、オンライン処理について、オンライ
ン処理の動作フローチャートを図６に示す。図４とほぼ
等しいが、６０５の部分が異なり、異なる部分を中心に
説明する。
【００５５】学習ウィンドウ特徴ベクトルデータベース
に蓄積された特徴ベクトルのうち、同タイプで異なる距
離のクラスのものを特徴空間上に表示することができ
る。入力ウィンドウの特徴ベクトルがこの学習ウィンド
ウ特徴ベクトルデータベースの特徴ベクトルの間の値に
類似している場合、その距離を補完することが可能であ
る。例えば、各距離値５０ｍと７０ｍのクラスの特徴ベ
クトルの間を均等分割して、５５ｍ、６０ｍ、６５ｍの
距離を補完し、入力ウィンドウの特徴ベクトルが最も類
似する距離を判定し、対象物体のある経路に沿った距離
とタイプを判定する。次に、各ウィンドウの類似度を比
較する（６０５）。その他の部分は、実施の形態１と同
様である。
【００５６】
【発明の効果】以上のように本発明によれば、単眼画像
のみの使用においても、入力画像中の対象物体を認識で
き、かつ物体の種類や位置を推定することができる。
【００５７】また、学習画像をクラス分類し、最もクラ
ス内がまとまりクラス間が分離されるような特徴抽出を
行うことにより、未登録の物体に対しても入力画像中の
対象物体を認識でき、かつ物体の種類や位置を推定する
ことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における物体認識装置の
ブロック構成図
【図２】本発明の実施の形態１におけるコンピュータに
よる物体認識装置のブロック構成図
【図３】本発明の実施の形態１におけるオフライン処理
の流れを示すフローチャート
【図４】本発明の実施の形態１におけるオンライン処理
の流れを示すフローチャート
【図５】本発明の実施の形態２における物体認識装置の
ブロック構成図
【図６】本発明の実施の形態３におけるオンライン処理
の流れを示すフローチャート
【図７】入力および学習の画像、ウィンドウ、特徴ベク
トルの相互関係を説明する図
【図８】従来の物体認識装置の一例を示すブロック図
【符号の説明】
１ 画像入力部 ２ 画像前処理部 ３ 画像分割部 ４ 学習手段 ５ 特徴ベクトル抽出手段 ６ 入力分割画像判別手段 ７ 判定手段 ８ 結果出力部 ９ 領域限定手段 ４１ 学習ウィンドウデータベース ４２ 特徴抽出行列算出手段 ４３ 学習ウィンドウ特徴ベクトルデータベース ７１ 入力画像判定部 ７２ 物体位置・タイプ判定部 ８１ 画像メモリ ８２ 画像メモリ ８３ 学習ウィンドウデータベース ８４ 学習ウィンドウ特徴ベクトルデータベース ２０１ ビデオカメラ ２０２ 画像データベース ２０３〜２０４ 画像メモリ ２０５ メモリ ２０６ ＣＰＵ ２０７ パターンメモリ ２０８ 特徴ベクトルメモリ ２０９ キーボード／ディスプレイ ２１０ 学習ウィンドウデータベース ２１１ 特徴抽出行列 ２１２ 学習ウィンドウ特徴ベクトルデータベース ２１３ ＣＰＵバス ２１４ 出力端子 ２１５〜２１８ Ｉ／Ｆユニット ２１９ コンピュータ

Claims (13)

    【特許請求の範囲】
  1. 【請求項１】 予め多くの画像から１つまたは１つ以上
    の部分画像を取り出し、クラスに分類し、前記部分画像
    から求めた特徴抽出行列と、さらにクラス毎に分類した
    部分画像から前記特徴抽出行列を用いて求めた特徴量デ
    ータとを蓄えておき、入力した画像の１つまたは１つ以
    上の部分画像から前記特徴抽出行列を用いて特徴量を算
    出し、前記特徴量データと前記入力画像部分の特徴量と
    の類似度を求め、前記類似度から入力画像中の対象物体
    を推定することを特徴とする物体認識方法。
  2. 【請求項２】 入力画像の部分画像を取り出す領域を限
    定することを特徴とする請求項１記載の物体認識方法。
  3. 【請求項３】 特徴抽出行列は、前記部分画像から求め
    たクラス内の共分散行列とクラス間の共分散行列とから
    求めることを特徴とする請求項１または請求項２記載の
    物体認識方法。
  4. 【請求項４】 特徴抽出行列は、前記部分画像から求め
    たクラス内の共分散行列とクラス間の共分散行列からク
    ラス間分散ができるだけ大きく、クラス内分散ができる
    だけ小さくなるように、その分散比が最大となるように
    求めることを特徴とする請求項３記載の物体認識方法。
  5. 【請求項５】 クラスは、物体の位置と種類の対で分類
    することを特徴とする請求項１乃至４のいずれかに記載
    の物体認識方法。
  6. 【請求項６】 クラスは、物体のある経路に沿った距離
    と種類の対で分類することを特徴とする請求項１乃至４
    のいずれかに記載の物体認識方法。
  7. 【請求項７】 予め多くの画像から１つまたは１つ以上
    の部分画像を取り出し、クラスに分類し、前記部分画像
    から求めた特徴抽出行列と、前記クラス毎に分類した部
    分画像から前記特徴抽出行列を用いて部分画像の特徴量
    データをそれぞれ抽出し、前記特徴量データの全てまた
    は一部またはそれらより求まる代表値を蓄積する学習手
    段と、入力した画像を１つまたは１つ以上の部分画像に
    分割する画像分割手段と、前記特徴抽出行列を用いて前
    記分割された部分画像から特徴量を抽出する特徴量抽出
    手段と、前記部分画像の特徴量と前記学習手段で蓄積し
    た部分画像のクラス毎の特徴量データから類似度を計算
    する入力分割画像判別手段と、前記類似度から入力画像
    中の対象物体を推定する判定手段とを備えることを特徴
    とする物体認識装置。
  8. 【請求項８】 入力した画像の部分画像を取り出す領域
    を限定する領域限定手段を有することを特徴とする請求
    項７記載の物体認識装置。
  9. 【請求項９】 学習手段の特徴抽出行列は、前記部分画
    像から求めたクラス内の共分散行列とクラス間の共分散
    行列とから求めることを特徴とする請求項１または請求
    項７記載の物体認識装置。
  10. 【請求項１０】 学習手段の特徴抽出行列は、前記部分
    画像から求めたクラス内の共分散行列とクラス間の共分
    散行列からクラス間分散ができるだけ大きく、クラス内
    分散ができるだけ小さくなるように、その分散比が最大
    となるように求めることを特徴とする請求項７記載の物
    体認識方法。
  11. 【請求項１１】 クラスは、物体の位置と種類の対で分
    類することを特徴とする請求項７または８に記載の物体
    認識装置。
  12. 【請求項１２】 クラスは、物体のある経路に沿った距
    離と種類の対で分類することを特徴とする請求項７また
    は８に記載の物体認識装置。
  13. 【請求項１３】 コンピュータにより物体認識を行うプ
    ログラムであって、予め多くの画像から１つまたは１つ
    以上の部分画像を取り出し、クラスに分類し、前記部分
    画像から求めた特徴抽出行列と、さらにクラス毎に分類
    した部分画像から前記特徴抽出行列を用いて求めた特徴
    量データとを蓄えておき、入力した画像の１つまたは１
    つ以上の部分画像から前記特徴抽出行列を用いて特徴量
    を算出し、前記特徴量データと前記入力画像部分の特徴
    量との類似度を求め、前記類似度から入力画像中の対象
    物体を推定する物体認識プログラムを記録した記録媒
    体。
JP03953999A 1999-02-18 1999-02-18 物体認識方法及び物体認識装置 Expired - Lifetime JP3796997B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP03953999A JP3796997B2 (ja) 1999-02-18 1999-02-18 物体認識方法及び物体認識装置
US09/506,483 US6647139B1 (en) 1999-02-18 2000-02-17 Method of object recognition, apparatus of the same and recording medium therefor
US10/656,390 US7120292B2 (en) 1999-02-18 2003-09-05 Method of object recognition, apparatus of the same and recording medium therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03953999A JP3796997B2 (ja) 1999-02-18 1999-02-18 物体認識方法及び物体認識装置

Publications (2)

Publication Number Publication Date
JP2000242784A true JP2000242784A (ja) 2000-09-08
JP3796997B2 JP3796997B2 (ja) 2006-07-12

Family

ID=12555867

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03953999A Expired - Lifetime JP3796997B2 (ja) 1999-02-18 1999-02-18 物体認識方法及び物体認識装置

Country Status (1)

Country Link
JP (1) JP3796997B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011143633A3 (en) * 2010-05-14 2012-02-16 Evolution Robotics Retail, Inc. Systems and methods for object recognition using a large database
WO2018155412A1 (ja) * 2017-02-21 2018-08-30 日本電気株式会社 分類装置と分類方法並びにプログラム
WO2022185905A1 (ja) * 2021-03-03 2022-09-09 株式会社日立ハイテク 画像診断支援装置、画像診断支援方法、遠隔診断支援システム、ネット受託サービスシステム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011143633A3 (en) * 2010-05-14 2012-02-16 Evolution Robotics Retail, Inc. Systems and methods for object recognition using a large database
WO2018155412A1 (ja) * 2017-02-21 2018-08-30 日本電気株式会社 分類装置と分類方法並びにプログラム
US11443233B2 (en) 2017-02-21 2022-09-13 Nec Corporation Classification apparatus, classification method, and program
WO2022185905A1 (ja) * 2021-03-03 2022-09-09 株式会社日立ハイテク 画像診断支援装置、画像診断支援方法、遠隔診断支援システム、ネット受託サービスシステム
JP7529592B2 (ja) 2021-03-03 2024-08-06 株式会社日立ハイテク 画像診断支援装置、画像診断支援方法、遠隔診断支援システム、ネット受託サービスシステム

Also Published As

Publication number Publication date
JP3796997B2 (ja) 2006-07-12

Similar Documents

Publication Publication Date Title
EP3910608B1 (en) Article identification method and system, and electronic device
US9877012B2 (en) Image processing apparatus for estimating three-dimensional position of object and method therefor
US20240092344A1 (en) Method and apparatus for detecting parking space and direction and angle thereof, device and medium
Gökberk et al. 3D shape-based face representation and feature extraction for face recognition
EP2063393B1 (en) Color classifying method, color recognizing method, color classifying device, color recognizing device, color recognizing system, computer program, and recording medium
JP4166253B2 (ja) 物体検出装置、物体検出方法、および物体検出用プログラム
US6647139B1 (en) Method of object recognition, apparatus of the same and recording medium therefor
US7450737B2 (en) Head detecting apparatus, head detecting method, and head detecting program
Zeeshan Zia et al. Explicit occlusion modeling for 3d object class representations
US20130177249A1 (en) Semantic Parsing of Objects in Video
JP2016018538A (ja) 画像認識装置、方法及びプログラム
JP2001167110A (ja) 画像検索方法及びその装置
WO2011065952A1 (en) Face recognition apparatus and methods
CN112825192B (zh) 基于机器学习的对象辨识系统及其方法
KR20190099537A (ko) 동작 학습 장치, 기능 판별 장치 및 기능 판별 시스템
CN104615998B (zh) 一种基于多视角的车辆检索方法
CN107392105B (zh) 一种基于反向协同显著区域特征的表情识别方法
CN112381047A (zh) 一种人脸表情图像的增强识别方法
Chen et al. Exploring depth information for head detection with depth images
CN111862147A (zh) 视频中多车辆和多行人目标的跟踪方法
CN110516638A (zh) 一种基于轨迹和随机森林的手语识别方法
JP2001014465A (ja) 物体認識方法及び物体認識装置
JP2000242784A (ja) 物体認識方法及び物体認識装置
JP2002032766A (ja) 画像認識装置及びその方法
JP2017084006A (ja) 画像処理装置およびその方法

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20050629

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060410

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100428

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110428

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120428

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130428

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130428

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 8

EXPY Cancellation because of completion of term