JP2002140706A - 画像識別装置および画像データ処理装置 - Google Patents
画像識別装置および画像データ処理装置Info
- Publication number
- JP2002140706A JP2002140706A JP2000335009A JP2000335009A JP2002140706A JP 2002140706 A JP2002140706 A JP 2002140706A JP 2000335009 A JP2000335009 A JP 2000335009A JP 2000335009 A JP2000335009 A JP 2000335009A JP 2002140706 A JP2002140706 A JP 2002140706A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature vector
- unit
- identification
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 パラメトリック固有空間法によって高速且つ
高精度に画像を識別可能な画像識別装置を提供するこ
と。 【解決手段】 カメラ110の撮影データ(原画像)が
画像メモリ120に保持される。切り出し部130が、
この原画像から識別処理の対象とする所定の領域(切り
出し領域)の画像を切り出す。切り出し領域は、領域生
成部125が生成する。この場合、位置、大きさが異な
る複数種類の切り出し領域を生成する。正規化部140
は、切り出された画像のそれぞれを所定の大きさに変換
する。画像データ処理部150は、正規化されたこれら
画像のそれぞれについてパラメトリック固有空間法に基
づいた識別処理をおこなう。この識別処理の結果に基づ
いて、類似性判定部160が最終的な判定をおこなう。
そして、判定結果が、表示部165に出力される。
高精度に画像を識別可能な画像識別装置を提供するこ
と。 【解決手段】 カメラ110の撮影データ(原画像)が
画像メモリ120に保持される。切り出し部130が、
この原画像から識別処理の対象とする所定の領域(切り
出し領域)の画像を切り出す。切り出し領域は、領域生
成部125が生成する。この場合、位置、大きさが異な
る複数種類の切り出し領域を生成する。正規化部140
は、切り出された画像のそれぞれを所定の大きさに変換
する。画像データ処理部150は、正規化されたこれら
画像のそれぞれについてパラメトリック固有空間法に基
づいた識別処理をおこなう。この識別処理の結果に基づ
いて、類似性判定部160が最終的な判定をおこなう。
そして、判定結果が、表示部165に出力される。
Description
【0001】
【発明の属する技術分野】本発明は、対象物の画像と登
録画像との類比に基づいて、対象物を識別する画像識別
装置、画像データ処理装置に関するものである。
録画像との類比に基づいて、対象物を識別する画像識別
装置、画像データ処理装置に関するものである。
【0002】
【従来の技術】近年、様々な分野で、3次元物体を2次
元画像から識別する画像識別技術が求められている。た
とえば、高速道路の料金所での、自動車のナンバープレ
ートの読み取り、車両の識別などでの利用が期待されて
いる。また、使用者の認証、産業用ロボットの制御など
での利用が期待されている。
元画像から識別する画像識別技術が求められている。た
とえば、高速道路の料金所での、自動車のナンバープレ
ートの読み取り、車両の識別などでの利用が期待されて
いる。また、使用者の認証、産業用ロボットの制御など
での利用が期待されている。
【0003】これまでに開発された画像識別技術は、基
本的には、原画像(2次元画像)から特徴を抽出し、こ
の抽出された特徴をあらかじめ用意されたモデルと照合
することで識別をおこなうというものである。この場
合、モデルとして、3次元モデルを用いる手法と、2次
元モデルを用いる手法とがある。
本的には、原画像(2次元画像)から特徴を抽出し、こ
の抽出された特徴をあらかじめ用意されたモデルと照合
することで識別をおこなうというものである。この場
合、モデルとして、3次元モデルを用いる手法と、2次
元モデルを用いる手法とがある。
【0004】2次元モデルを用いる手法では、原画像
(2次元画像)から2次元特徴を抽出し、これをあらか
じめ用意された2次元モデルと照合する。2次元特徴と
しては、たとえばエッジの位置、屈折点、端点の位置な
どがあげられる。なお、3次元モデルを用いる手法で
は、原画像(2次元画像)から3次元特徴を抽出し、こ
れをあらかじめ用意された3次元モデルと照合する。た
だし、このような3次元特徴を抽出するのが困難であ
り、現状では、まだ実用化には至っていない。
(2次元画像)から2次元特徴を抽出し、これをあらか
じめ用意された2次元モデルと照合する。2次元特徴と
しては、たとえばエッジの位置、屈折点、端点の位置な
どがあげられる。なお、3次元モデルを用いる手法で
は、原画像(2次元画像)から3次元特徴を抽出し、こ
れをあらかじめ用意された3次元モデルと照合する。た
だし、このような3次元特徴を抽出するのが困難であ
り、現状では、まだ実用化には至っていない。
【0005】このような特徴を抽出しておこなう画像識
別技術では、識別精度、処理速度などの面で十分ではな
く、より優れた画像識別技術が求められていた。
別技術では、識別精度、処理速度などの面で十分ではな
く、より優れた画像識別技術が求められていた。
【0006】このようななかで画像識別の新しい手法と
して、近年、パラメトリック固有空間法を用いた画像識
別技術が提案されている。
して、近年、パラメトリック固有空間法を用いた画像識
別技術が提案されている。
【0007】パラメトリック固有空間法とは、連続的に
変化する画像系列を固有空間上での多様体で表現する手
法である。この手法では、対象物を任意角度から撮影し
た画像は、固有空間上における、ある点(あるいは位
置)として表現される。そして、2つの画像の類似性
は、この固有空間上での距離として表現される。たとえ
ば、ある画像Aと画像Bとの類似性は、固有空間上にお
いて、画像Aに対応する点aと、画像Bに対応する点b
との距離に基づいて判断できる。そして、この距離が短
いほど類似性が高い。
変化する画像系列を固有空間上での多様体で表現する手
法である。この手法では、対象物を任意角度から撮影し
た画像は、固有空間上における、ある点(あるいは位
置)として表現される。そして、2つの画像の類似性
は、この固有空間上での距離として表現される。たとえ
ば、ある画像Aと画像Bとの類似性は、固有空間上にお
いて、画像Aに対応する点aと、画像Bに対応する点b
との距離に基づいて判断できる。そして、この距離が短
いほど類似性が高い。
【0008】このパラメトリック固有空間法を用いた画
像識別技術では、3次元物体の種類のみならず、その姿
勢(向き)まで識別可能であるという大きな特徴を有し
ており、今後の画像識別技術の主流の一つとなるべく期
待されている。
像識別技術では、3次元物体の種類のみならず、その姿
勢(向き)まで識別可能であるという大きな特徴を有し
ており、今後の画像識別技術の主流の一つとなるべく期
待されている。
【0009】なお、このようなパラメトリック固有空間
法を用いた画像識別技術については、たとえば、「画像
ラボ」,pp53-56,12,1994(以下「文献A」と記
す)に記載されている。
法を用いた画像識別技術については、たとえば、「画像
ラボ」,pp53-56,12,1994(以下「文献A」と記
す)に記載されている。
【0010】
【発明が解決しようとする課題】しかし、上記パラメト
リック固有空間法を用いた画像処理では、画像の照合を
照合対象となっている画像データ全体についておこなっ
ている。言い換えれば、画像信号レベルでの2次元照合
を行っている。このため、識別をおこなう際には、原画
像から識別の対象とする領域(つまり、識別対象物が写
っている領域)だけを切り出す必要がある。
リック固有空間法を用いた画像処理では、画像の照合を
照合対象となっている画像データ全体についておこなっ
ている。言い換えれば、画像信号レベルでの2次元照合
を行っている。このため、識別をおこなう際には、原画
像から識別の対象とする領域(つまり、識別対象物が写
っている領域)だけを切り出す必要がある。
【0011】画像処理装置の学習に用いられた画像(登
録画像)と類似した部分が、撮影された原画像内に含ま
れていたとしても、この切り出しが不適切であれば、結
果的にこれを識別(検出)することはできない。そし
て、これまでこの切り出しを適切におこなうことが困難
であり、結果的に十分な識別精度が得られないことがこ
のパラメトリック固有空間法を実施する上での問題とな
っていた。
録画像)と類似した部分が、撮影された原画像内に含ま
れていたとしても、この切り出しが不適切であれば、結
果的にこれを識別(検出)することはできない。そし
て、これまでこの切り出しを適切におこなうことが困難
であり、結果的に十分な識別精度が得られないことがこ
のパラメトリック固有空間法を実施する上での問題とな
っていた。
【0012】また、このパラメトリック固有空間法を用
いた画像識別処理では、非常に大量のデータ処理をおこ
なう必要がある。また、データ処理の対象となる、膨大
な画像、ベクトルデータを非常に高速に転送する必要が
ある。これまでの汎用の装置では、これらの要求に十分
応えることができず、実用化を図る上での障害となって
いた。このため、パラメトリック固有空間法に基づいた
画像識別処理を実施するのに適した装置が求められてい
た。特に、車両識別の分野では、十分な処理速度と精度
とで車両を識別可能な画像識別装置、すなわち、車両識
別装置の実用化が強く求められていた。
いた画像識別処理では、非常に大量のデータ処理をおこ
なう必要がある。また、データ処理の対象となる、膨大
な画像、ベクトルデータを非常に高速に転送する必要が
ある。これまでの汎用の装置では、これらの要求に十分
応えることができず、実用化を図る上での障害となって
いた。このため、パラメトリック固有空間法に基づいた
画像識別処理を実施するのに適した装置が求められてい
た。特に、車両識別の分野では、十分な処理速度と精度
とで車両を識別可能な画像識別装置、すなわち、車両識
別装置の実用化が強く求められていた。
【0013】そこで、この発明は、上記に鑑みてなされ
たものであって、画像を高速且つ正確に識別可能な画像
識別装置、画像データ処理装置を提供することを目的と
する。
たものであって、画像を高速且つ正確に識別可能な画像
識別装置、画像データ処理装置を提供することを目的と
する。
【0014】
【課題を解決するための手段】上述の目的を達成するた
めに、請求項1に係る画像識別装置は、識別対象物を撮
影しその撮影データを出力する撮影手段と、前記撮影デ
ータが構成する画像(以下「原画像」という)における
所望の領域を決定する領域決定手段と、前記原画像から
前記領域決定手段が決定した領域を切り出す切り出し手
段と、前記切り出し手段が切り出した領域それぞれの画
像データを、別途定められた大きさに変換する変換手段
と、前記変換手段によって変換された後の画像データに
対して所定の演算を実行することで、前記識別対象物を
識別する識別手段と、を備えたことを特徴とするもので
ある。
めに、請求項1に係る画像識別装置は、識別対象物を撮
影しその撮影データを出力する撮影手段と、前記撮影デ
ータが構成する画像(以下「原画像」という)における
所望の領域を決定する領域決定手段と、前記原画像から
前記領域決定手段が決定した領域を切り出す切り出し手
段と、前記切り出し手段が切り出した領域それぞれの画
像データを、別途定められた大きさに変換する変換手段
と、前記変換手段によって変換された後の画像データに
対して所定の演算を実行することで、前記識別対象物を
識別する識別手段と、を備えたことを特徴とするもので
ある。
【0015】この請求項1に記載の発明によれば、撮影
手段が識別対象物を撮影しその撮影データを出力する。
領域決定手段は、撮影データが構成する原画像における
所望の領域を決定する。切り出し手段は、原画像から領
域決定手段が決定した領域を切り出す。変換手段は、切
り出し手段が切り出した領域それぞれの画像データを、
別途定められた大きさに変換する。識別手段は、この変
換後の画像データに対して所定の演算を実行すること
で、識別対象物を識別する。
手段が識別対象物を撮影しその撮影データを出力する。
領域決定手段は、撮影データが構成する原画像における
所望の領域を決定する。切り出し手段は、原画像から領
域決定手段が決定した領域を切り出す。変換手段は、切
り出し手段が切り出した領域それぞれの画像データを、
別途定められた大きさに変換する。識別手段は、この変
換後の画像データに対して所定の演算を実行すること
で、識別対象物を識別する。
【0016】請求項2に係る画像識別装置は、請求項1
に記載の発明において、前記領域決定手段は、あらかじ
め定められた初期値を備え、該初期値に基づいて複数の
領域を決定するものであること、を特徴とするものであ
る。
に記載の発明において、前記領域決定手段は、あらかじ
め定められた初期値を備え、該初期値に基づいて複数の
領域を決定するものであること、を特徴とするものであ
る。
【0017】この請求項2に記載の発明によれば、領域
決定手段は、初期値に基づいて複数の領域を決定する。
決定手段は、初期値に基づいて複数の領域を決定する。
【0018】請求項3に係る画像識別装置は、請求項1
に記載の発明において、前記識別対象物の位置を検出す
る位置検出手段を備え、前記領域決定手段は、前記位置
検出手段の検出結果に基づいて前記所望の領域を決定す
るものであること、を特徴とするものである。
に記載の発明において、前記識別対象物の位置を検出す
る位置検出手段を備え、前記領域決定手段は、前記位置
検出手段の検出結果に基づいて前記所望の領域を決定す
るものであること、を特徴とするものである。
【0019】この請求項3に記載の発明によれば、領域
決定手段は、位置検出手段が検出した識別対象物の位置
に基づいて所望の領域を決定する。
決定手段は、位置検出手段が検出した識別対象物の位置
に基づいて所望の領域を決定する。
【0020】請求項4に係る画像識別装置は、請求項3
に記載の発明において、前記位置検出手段は、前記撮影
手段が互いに異なるタイミングで撮影することで得られ
た複数の撮影データに基づいて前記識別対象物の位置を
検出するものであること、を特徴とするものである。
に記載の発明において、前記位置検出手段は、前記撮影
手段が互いに異なるタイミングで撮影することで得られ
た複数の撮影データに基づいて前記識別対象物の位置を
検出するものであること、を特徴とするものである。
【0021】この請求項4に記載の発明によれば、位置
検出手段は、撮影手段が互いに異なるタイミングで撮影
することで得られた複数の撮影データに基づいて識別対
象物の位置を検出する。
検出手段は、撮影手段が互いに異なるタイミングで撮影
することで得られた複数の撮影データに基づいて識別対
象物の位置を検出する。
【0022】請求項5に係る画像識別装置は、請求項3
に記載の発明において、前記位置検出手段は、赤外線カ
メラを備え、該赤外線カメラによる撮影データに基づい
て前記識別対象物の位置を検出するものであること、を
特徴とするものである。
に記載の発明において、前記位置検出手段は、赤外線カ
メラを備え、該赤外線カメラによる撮影データに基づい
て前記識別対象物の位置を検出するものであること、を
特徴とするものである。
【0023】この請求項5に記載の発明によれば、位置
検出手段は、赤外線カメラによる撮影データに基づいて
識別対象物の位置を検出する。
検出手段は、赤外線カメラによる撮影データに基づいて
識別対象物の位置を検出する。
【0024】請求項6に係る画像識別装置は、請求項1
〜5のいずれか一つに記載の発明において、前記識別手
段は、画像の固有ベクトルが複数記憶される固有ベクト
ル記憶手段と、前記変換手段によって変換された後の画
像データと前記固有ベクトルとの内積を求めることで、
前記固有ベクトルによって規定される固有空間上におけ
る前記入力画像の位置を示す特徴ベクトル(以下「識別
対象特徴ベクトル」という)を求める演算手段と、前記
固有空間上での位置を示す特徴ベクトルと当該特徴ベク
トルに関する所定の関連情報とを直接または間接的に対
応づけて構成された基礎情報が記憶される特徴ベクトル
記憶手段と、前記固有空間上における、前記特徴ベクト
ル記憶手段に記憶された特徴ベクトル(以下「登録特徴
ベクトル」という)それぞれの示す位置と、前記識別対
象特徴ベクトルの示す位置との位置関係を求める位置関
係確認手段と、前記登録特徴ベクトルのうちあらかじめ
定められた判定条件に該当するものを前記位置関係確認
手段の確認結果に基づいて選択し、この選択された登録
特徴ベクトルについての関連情報を前記基礎情報を参照
することで得る判定手段と、前記判定手段の得た関連情
報を出力する出力手段とを備えて構成されたものである
こと、を特徴とするものである。
〜5のいずれか一つに記載の発明において、前記識別手
段は、画像の固有ベクトルが複数記憶される固有ベクト
ル記憶手段と、前記変換手段によって変換された後の画
像データと前記固有ベクトルとの内積を求めることで、
前記固有ベクトルによって規定される固有空間上におけ
る前記入力画像の位置を示す特徴ベクトル(以下「識別
対象特徴ベクトル」という)を求める演算手段と、前記
固有空間上での位置を示す特徴ベクトルと当該特徴ベク
トルに関する所定の関連情報とを直接または間接的に対
応づけて構成された基礎情報が記憶される特徴ベクトル
記憶手段と、前記固有空間上における、前記特徴ベクト
ル記憶手段に記憶された特徴ベクトル(以下「登録特徴
ベクトル」という)それぞれの示す位置と、前記識別対
象特徴ベクトルの示す位置との位置関係を求める位置関
係確認手段と、前記登録特徴ベクトルのうちあらかじめ
定められた判定条件に該当するものを前記位置関係確認
手段の確認結果に基づいて選択し、この選択された登録
特徴ベクトルについての関連情報を前記基礎情報を参照
することで得る判定手段と、前記判定手段の得た関連情
報を出力する出力手段とを備えて構成されたものである
こと、を特徴とするものである。
【0025】この請求項6に記載の発明によれば、識別
手段は、以下のようにして識別処理をおこなう。すなわ
ち、演算手段は、上述の変換手段によって変換された後
の画像データと、固有ベクトルとの内積を求めること
で、識別対象特徴ベクトルを求める。位置関係確認手段
が、固有空間上における、登録特徴ベクトルそれぞれの
示す位置と、識別対象特徴ベクトルの示す位置との位置
関係を求める。判定手段は、登録特徴ベクトルのうちあ
らかじめ定められた判定条件に該当するものを位置関係
確認手段の確認結果に基づいて選択する。そして、この
選択された登録特徴ベクトルについての関連情報を、基
礎情報を参照することで得る。出力手段は、判定手段の
得た関連情報を出力する。
手段は、以下のようにして識別処理をおこなう。すなわ
ち、演算手段は、上述の変換手段によって変換された後
の画像データと、固有ベクトルとの内積を求めること
で、識別対象特徴ベクトルを求める。位置関係確認手段
が、固有空間上における、登録特徴ベクトルそれぞれの
示す位置と、識別対象特徴ベクトルの示す位置との位置
関係を求める。判定手段は、登録特徴ベクトルのうちあ
らかじめ定められた判定条件に該当するものを位置関係
確認手段の確認結果に基づいて選択する。そして、この
選択された登録特徴ベクトルについての関連情報を、基
礎情報を参照することで得る。出力手段は、判定手段の
得た関連情報を出力する。
【0026】請求項7に係る画像識別装置は、請求項6
に記載の発明において、前記判定条件は、前記識別対象
特徴ベクトルの示す位置に最も近い位置を示す登録特徴
ベクトル、であること、を特徴とするものである。
に記載の発明において、前記判定条件は、前記識別対象
特徴ベクトルの示す位置に最も近い位置を示す登録特徴
ベクトル、であること、を特徴とするものである。
【0027】この請求項7に記載の発明によれば、識別
対象特徴ベクトルの示す位置に最も近い位置を示す登録
特徴ベクトルが、上述した判定手段によって選ばれる。
対象特徴ベクトルの示す位置に最も近い位置を示す登録
特徴ベクトルが、上述した判定手段によって選ばれる。
【0028】請求項8に係る画像識別装置は、請求項6
または7に記載の発明において、前記関連情報は、当該
関連情報に対応づけられている登録特徴ベクトルを求め
るために用いられた画像に写っている識別対象物の姿勢
および/または種類を示す情報を含んで構成されている
こと、を特徴とするものである。
または7に記載の発明において、前記関連情報は、当該
関連情報に対応づけられている登録特徴ベクトルを求め
るために用いられた画像に写っている識別対象物の姿勢
および/または種類を示す情報を含んで構成されている
こと、を特徴とするものである。
【0029】この請求項8に記載の発明によれば、関連
情報として、登録特徴ベクトルを求めるために用いられ
た画像に写っている識別対象物の姿勢および/または種
類を示す情報を含める。
情報として、登録特徴ベクトルを求めるために用いられ
た画像に写っている識別対象物の姿勢および/または種
類を示す情報を含める。
【0030】請求項9に係る画像データ処理装置は、画
像データに基づいて識別対象物を識別する画像識別装置
に用いられる画像データ処理装置において、画像の固有
ベクトルが複数記憶される固有ベクトル記憶部と、外部
から入力された画像のデータを配信する配信部と、前記
配信部によって配信される画像のうち所定の領域だけを
取り込み、該取り込んだ画像のデータと前記固有ベクト
ルそれぞれとの内積を求めることで、前記固有ベクトル
によって規定される固有空間上における該取り込んだ画
像の位置を示す特徴ベクトル(以下「識別対象特徴ベク
トル」という)を求める演算部とを有し、前記演算部を
複数備え、少なくとも一部の演算部は互いに異なる領域
の画像を取り込むものであること、を特徴とするもので
ある。
像データに基づいて識別対象物を識別する画像識別装置
に用いられる画像データ処理装置において、画像の固有
ベクトルが複数記憶される固有ベクトル記憶部と、外部
から入力された画像のデータを配信する配信部と、前記
配信部によって配信される画像のうち所定の領域だけを
取り込み、該取り込んだ画像のデータと前記固有ベクト
ルそれぞれとの内積を求めることで、前記固有ベクトル
によって規定される固有空間上における該取り込んだ画
像の位置を示す特徴ベクトル(以下「識別対象特徴ベク
トル」という)を求める演算部とを有し、前記演算部を
複数備え、少なくとも一部の演算部は互いに異なる領域
の画像を取り込むものであること、を特徴とするもので
ある。
【0031】この請求項9に記載の発明によれば、配信
部が、外部から入力された画像のデータを配信する。す
ると、演算部が、この配信される画像のうち所定の領域
だけを取り込む。そして、取り込んだ画像のデータと、
固有ベクトルそれぞれとの内積を求めることで、識別対
象特徴ベクトルを求める。この場合、少なくとも一部の
演算部は、互いに異なる領域の画像を取り込んで、演算
をおこなう。
部が、外部から入力された画像のデータを配信する。す
ると、演算部が、この配信される画像のうち所定の領域
だけを取り込む。そして、取り込んだ画像のデータと、
固有ベクトルそれぞれとの内積を求めることで、識別対
象特徴ベクトルを求める。この場合、少なくとも一部の
演算部は、互いに異なる領域の画像を取り込んで、演算
をおこなう。
【0032】請求項10に係る画像データ処理装置は、
請求項9に記載の発明において、前記固有空間上での位
置を示す特徴ベクトルと当該特徴ベクトルに関する所定
の関連情報とを直接または間接的に対応づけて構成され
た基礎情報が記憶される特徴ベクトル記憶部と、前記固
有空間上における、前記特徴ベクトル記憶部に記憶され
た特徴ベクトル(以下「登録特徴ベクトル」という)そ
れぞれの示す位置と、前記識別対象特徴ベクトルの示す
位置との位置関係を確認する位置関係確認部と、前記登
録特徴ベクトルのうちあらかじめ定められた判定条件に
該当するものを前記位置関係確認部の確認結果に基づい
て選択し、この選択された登録特徴ベクトルについての
関連情報を前記基礎情報を参照することで得る判定部
と、を有することを特徴とするものである。
請求項9に記載の発明において、前記固有空間上での位
置を示す特徴ベクトルと当該特徴ベクトルに関する所定
の関連情報とを直接または間接的に対応づけて構成され
た基礎情報が記憶される特徴ベクトル記憶部と、前記固
有空間上における、前記特徴ベクトル記憶部に記憶され
た特徴ベクトル(以下「登録特徴ベクトル」という)そ
れぞれの示す位置と、前記識別対象特徴ベクトルの示す
位置との位置関係を確認する位置関係確認部と、前記登
録特徴ベクトルのうちあらかじめ定められた判定条件に
該当するものを前記位置関係確認部の確認結果に基づい
て選択し、この選択された登録特徴ベクトルについての
関連情報を前記基礎情報を参照することで得る判定部
と、を有することを特徴とするものである。
【0033】この請求項10に記載の発明によれば、位
置関係確認部は、固有空間上における、登録特徴ベクト
ルそれぞれの示す位置と、識別対象特徴ベクトルの示す
位置との位置関係を確認する。判定部は、登録特徴ベク
トルのうちあらかじめ定められた判定条件に該当するも
のを、位置関係確認部の確認結果に基づいて選択する。
そして、この選択された登録特徴ベクトルについての関
連情報を基礎情報を参照することで得る。
置関係確認部は、固有空間上における、登録特徴ベクト
ルそれぞれの示す位置と、識別対象特徴ベクトルの示す
位置との位置関係を確認する。判定部は、登録特徴ベク
トルのうちあらかじめ定められた判定条件に該当するも
のを、位置関係確認部の確認結果に基づいて選択する。
そして、この選択された登録特徴ベクトルについての関
連情報を基礎情報を参照することで得る。
【0034】請求項11に係る画像データ処理装置は、
画像データに基づいて識別対象物を識別する画像識別装
置に用いられる画像データ処理装置において、画像の固
有ベクトルが複数記憶される固有ベクトル記憶部と、外
部から入力された画像のデータを配信する配信部と、前
記配信部によって配信される画像のうち所定の領域だけ
を取り込み、該取り込んだ画像のデータと前記固有ベク
トルとの内積を求める演算部とを有し、前記演算部を複
数備え、少なくとも一部の演算部は互いに異なる固有ベ
クトルを用いて前記内積をおこなうものであること、を
特徴とするものである。
画像データに基づいて識別対象物を識別する画像識別装
置に用いられる画像データ処理装置において、画像の固
有ベクトルが複数記憶される固有ベクトル記憶部と、外
部から入力された画像のデータを配信する配信部と、前
記配信部によって配信される画像のうち所定の領域だけ
を取り込み、該取り込んだ画像のデータと前記固有ベク
トルとの内積を求める演算部とを有し、前記演算部を複
数備え、少なくとも一部の演算部は互いに異なる固有ベ
クトルを用いて前記内積をおこなうものであること、を
特徴とするものである。
【0035】この請求項11に記載の発明によれば、配
信部が、外部から入力された画像のデータを配信する。
すると、演算部は、配信部によって配信される画像のう
ち所定の領域だけを取り込み、取り込んだ画像のデータ
と固有ベクトルとの内積を求める。この場合、少なくと
も一部の演算部は互いに異なる固有ベクトルを用いて内
積をおこなう。
信部が、外部から入力された画像のデータを配信する。
すると、演算部は、配信部によって配信される画像のう
ち所定の領域だけを取り込み、取り込んだ画像のデータ
と固有ベクトルとの内積を求める。この場合、少なくと
も一部の演算部は互いに異なる固有ベクトルを用いて内
積をおこなう。
【0036】請求項12に係る画像データ処理装置は、
請求項11に記載の発明において、前記固有ベクトルに
よって規定される固有空間上での位置を示す特徴ベクト
ルと当該特徴ベクトルに関する所定の関連情報とを直接
または間接的に対応づけて構成された基礎情報が記憶さ
れる特徴ベクトル記憶部と、互いに異なる固有ベクトル
を用いて演算をおこなう演算部それぞれの演算結果によ
って構成される前記取り込んだ画像の前記固有空間上に
おける位置を示す特徴ベクトル(以下「識別対象特徴ベ
クトル」という)と、前記特徴ベクトル記憶部に記憶さ
れた特徴ベクトル(以下「登録特徴ベクトル」という)
それぞれの示す位置と、の前記固有空間上における位置
関係を確認する位置関係確認部と、前記登録特徴ベクト
ルのうちあらかじめ定められた判定条件に該当するもの
を前記位置関係確認部の確認結果に基づいて選択し、こ
の選択された登録特徴ベクトルについての関連情報を前
記基礎情報を参照することで得る判定部と、を有するこ
とを特徴とするものである。
請求項11に記載の発明において、前記固有ベクトルに
よって規定される固有空間上での位置を示す特徴ベクト
ルと当該特徴ベクトルに関する所定の関連情報とを直接
または間接的に対応づけて構成された基礎情報が記憶さ
れる特徴ベクトル記憶部と、互いに異なる固有ベクトル
を用いて演算をおこなう演算部それぞれの演算結果によ
って構成される前記取り込んだ画像の前記固有空間上に
おける位置を示す特徴ベクトル(以下「識別対象特徴ベ
クトル」という)と、前記特徴ベクトル記憶部に記憶さ
れた特徴ベクトル(以下「登録特徴ベクトル」という)
それぞれの示す位置と、の前記固有空間上における位置
関係を確認する位置関係確認部と、前記登録特徴ベクト
ルのうちあらかじめ定められた判定条件に該当するもの
を前記位置関係確認部の確認結果に基づいて選択し、こ
の選択された登録特徴ベクトルについての関連情報を前
記基礎情報を参照することで得る判定部と、を有するこ
とを特徴とするものである。
【0037】この請求項12に記載の発明によれば、位
置関係確認部は、互いに異なる固有ベクトルを用いて演
算をおこなう演算部それぞれの演算結果によって構成さ
れる識別対象特徴ベクトルと、登録特徴ベクトルそれぞ
れの示す位置と、の固有空間上における位置関係を確認
する。判定部は、登録特徴ベクトルのうちあらかじめ定
められた判定条件に該当するものを位置関係確認部の確
認結果に基づいて選択する。そして、この選択された登
録特徴ベクトルについての関連情報を基礎情報を参照す
ることで得る。
置関係確認部は、互いに異なる固有ベクトルを用いて演
算をおこなう演算部それぞれの演算結果によって構成さ
れる識別対象特徴ベクトルと、登録特徴ベクトルそれぞ
れの示す位置と、の固有空間上における位置関係を確認
する。判定部は、登録特徴ベクトルのうちあらかじめ定
められた判定条件に該当するものを位置関係確認部の確
認結果に基づいて選択する。そして、この選択された登
録特徴ベクトルについての関連情報を基礎情報を参照す
ることで得る。
【0038】請求項13に係る画像データ処理装置は、
請求項10または12に記載の発明において、前記判定
条件は、前記識別対象特徴ベクトルの示す位置に最も近
い位置を示す登録特徴ベクトル、であること、を特徴と
するものである。
請求項10または12に記載の発明において、前記判定
条件は、前記識別対象特徴ベクトルの示す位置に最も近
い位置を示す登録特徴ベクトル、であること、を特徴と
するものである。
【0039】この請求項13に記載の発明によれば、識
別対象特徴ベクトルの示す位置に最も近い位置を示す登
録特徴ベクトルが、上述した判定部によって選ばれる。
別対象特徴ベクトルの示す位置に最も近い位置を示す登
録特徴ベクトルが、上述した判定部によって選ばれる。
【0040】請求項14に係る画像データ処理装置は、
請求項10、12または13に記載の発明において、前
記関連情報は、当該関連情報に対応づけられている登録
特徴ベクトルを求めるために用いられた画像に写ってい
る識別対象物の姿勢および/または種類を示す情報を含
んで構成されていること、を特徴とするものである。
請求項10、12または13に記載の発明において、前
記関連情報は、当該関連情報に対応づけられている登録
特徴ベクトルを求めるために用いられた画像に写ってい
る識別対象物の姿勢および/または種類を示す情報を含
んで構成されていること、を特徴とするものである。
【0041】この請求項14に記載の発明によれば、関
連情報として、登録特徴ベクトルを求めるために用いら
れた画像に写っている識別対象物の姿勢および/または
種類を示す情報を含める。
連情報として、登録特徴ベクトルを求めるために用いら
れた画像に写っている識別対象物の姿勢および/または
種類を示す情報を含める。
【0042】請求項15に係る画像識別装置は、識別対
象物を撮影しその撮影データを出力する撮影手段と、前
記撮影データが構成する画像から、別途指定された領域
を切り出す切り出し手段と、前記切り出し手段が切り出
した領域の画像データを、別途定められた大きさに変換
する変換手段と、前記変換手段によって変換された後の
画像データが入力されて、これを処理する請求項9〜1
4のいずれか一つに記載の画像データ処理装置と、を有
することを特徴とするものである。
象物を撮影しその撮影データを出力する撮影手段と、前
記撮影データが構成する画像から、別途指定された領域
を切り出す切り出し手段と、前記切り出し手段が切り出
した領域の画像データを、別途定められた大きさに変換
する変換手段と、前記変換手段によって変換された後の
画像データが入力されて、これを処理する請求項9〜1
4のいずれか一つに記載の画像データ処理装置と、を有
することを特徴とするものである。
【0043】この請求項15に記載の発明によれば、撮
影手段が、識別対象物を撮影しその撮影データを出力す
る。切り出し手段は、撮影データが構成する画像から別
途指定された領域を切り出す。変換手段は、この切り出
された領域の画像データを、別途定められた大きさに変
換する。画像データ処理装置は、この変換後の画像デー
タが入力されて、これを処理する。
影手段が、識別対象物を撮影しその撮影データを出力す
る。切り出し手段は、撮影データが構成する画像から別
途指定された領域を切り出す。変換手段は、この切り出
された領域の画像データを、別途定められた大きさに変
換する。画像データ処理装置は、この変換後の画像デー
タが入力されて、これを処理する。
【0044】
【発明の実施の形態】以下、この発明につき図面を参照
しつつ詳細に説明する。なお、この実施の形態によりこ
の発明が限定されるものではない。
しつつ詳細に説明する。なお、この実施の形態によりこ
の発明が限定されるものではない。
【0045】[実施の形態1]この実施の形態1の画像
識別装置は、パラメトリック固有空間法を適用すること
で、識別対象物(ここでは、車両)の姿勢等を高精度に
識別可能なことを特徴とするものである。特に、識別処
理の対象となる切り出し領域の位置、大きさを様々に変
更することで、切り出し位置等の不適切さに起因した識
別精度の低下を極力抑え、高精度な識別を可能としたも
のである。以下、詳細に説明する。
識別装置は、パラメトリック固有空間法を適用すること
で、識別対象物(ここでは、車両)の姿勢等を高精度に
識別可能なことを特徴とするものである。特に、識別処
理の対象となる切り出し領域の位置、大きさを様々に変
更することで、切り出し位置等の不適切さに起因した識
別精度の低下を極力抑え、高精度な識別を可能としたも
のである。以下、詳細に説明する。
【0046】まず、この明細書において用いられる主要
な用語の意味(概念)について述べておく(図1参
照)。
な用語の意味(概念)について述べておく(図1参
照)。
【0047】「登録画像群」とは、複数枚の画像によっ
て構成された集合である。また「登録画像」とは、登録
画像群を構成する個々の画像である。この図の例では、
k枚の登録画像によって、登録画像群が構成されてい
る。これらは、実際の識別処理に先立ってこの装置を学
習させるために用いられる。ここでいう学習とは、後述
する固有ベクトル、登録特徴ベクトル等を求め、これら
を登録データ保持部151に格納することである。
て構成された集合である。また「登録画像」とは、登録
画像群を構成する個々の画像である。この図の例では、
k枚の登録画像によって、登録画像群が構成されてい
る。これらは、実際の識別処理に先立ってこの装置を学
習させるために用いられる。ここでいう学習とは、後述
する固有ベクトル、登録特徴ベクトル等を求め、これら
を登録データ保持部151に格納することである。
【0048】「固有ベクトル」とは、画像(より正確に
は画像を表現したベクトル(画像ベクトル))の集合に
対して、Karhunen-Loeve展開等の処理を施すことで得ら
れたベクトルであり、その個数は任意である(ただし、
集合を構成する画像の枚数よりも少ない)。上述した集
合の中の1枚の画像(画像ベクトル)は、この固有ベク
トルの線形結合として表現される。この図の例では、3
つの固有ベクトルA,B,Cを描いているが、個数はこ
れに限るものではない。求めておく固有ベクトルが多い
ほど、画像を正確に表現(再現)することができる。つ
まり、より微細な違いまで識別が可能である。
は画像を表現したベクトル(画像ベクトル))の集合に
対して、Karhunen-Loeve展開等の処理を施すことで得ら
れたベクトルであり、その個数は任意である(ただし、
集合を構成する画像の枚数よりも少ない)。上述した集
合の中の1枚の画像(画像ベクトル)は、この固有ベク
トルの線形結合として表現される。この図の例では、3
つの固有ベクトルA,B,Cを描いているが、個数はこ
れに限るものではない。求めておく固有ベクトルが多い
ほど、画像を正確に表現(再現)することができる。つ
まり、より微細な違いまで識別が可能である。
【0049】「固有空間」とは、上述した固有ベクトル
のそれぞれを軸として表現された多次元空間である。
のそれぞれを軸として表現された多次元空間である。
【0050】「特徴ベクトル」とは、固有空間におけ
る、ある画像(画像ベクトル)の位置を示す情報であ
る。この特徴ベクトルは、固有ベクトルと、画像データ
との内積を演算することで求められる。なお、固有空間
上での位置が近いほど、画像は互いに類似していること
になる。この特徴ベクトルは、使用している固有ベクト
ルの個数分(この図の例では、3つ)のスカラー値を要
素として構成されることになる。
る、ある画像(画像ベクトル)の位置を示す情報であ
る。この特徴ベクトルは、固有ベクトルと、画像データ
との内積を演算することで求められる。なお、固有空間
上での位置が近いほど、画像は互いに類似していること
になる。この特徴ベクトルは、使用している固有ベクト
ルの個数分(この図の例では、3つ)のスカラー値を要
素として構成されることになる。
【0051】ただし、上記定義は各用語の意味等を直感
的に述べたものであり、厳密な意味、またこれを求める
処理などの詳細については、上述した文献A等に述べら
れているとおりである。
的に述べたものであり、厳密な意味、またこれを求める
処理などの詳細については、上述した文献A等に述べら
れているとおりである。
【0052】これ以降、この実施の形態1の画像識別装
置100を詳細に説明する。この画像識別装置100
は、図2に示すとおり、機能的には、カメラ110と、
画像メモリ120と、切り出し部130と、正規化部1
40と、画像データ処理部150と、類似性判定部16
0と、表示部165と、主制御部170とを備えて構成
されている。そして、これらはデータを伝送する伝送路
によって互いに接続されている。
置100を詳細に説明する。この画像識別装置100
は、図2に示すとおり、機能的には、カメラ110と、
画像メモリ120と、切り出し部130と、正規化部1
40と、画像データ処理部150と、類似性判定部16
0と、表示部165と、主制御部170とを備えて構成
されている。そして、これらはデータを伝送する伝送路
によって互いに接続されている。
【0053】カメラ110は、所望の識別対象物を撮影
するためのものである。このカメラ110は撮影データ
(画像データ)を画像メモリ120へと出力する構成に
なっている。
するためのものである。このカメラ110は撮影データ
(画像データ)を画像メモリ120へと出力する構成に
なっている。
【0054】画像メモリ120は、カメラ110によっ
て撮影された画像データを保持するためのものであり、
書き換え可能な半導体メモリ(RAM)によって構成さ
れている。以下、画像メモリ120に保持されている画
像を、「原画像」と呼ぶ場合がある。
て撮影された画像データを保持するためのものであり、
書き換え可能な半導体メモリ(RAM)によって構成さ
れている。以下、画像メモリ120に保持されている画
像を、「原画像」と呼ぶ場合がある。
【0055】領域生成部125は、画像メモリ120に
保持されている原画像から切り出す領域(切り出し領
域)を決定するためのものである。原画像のうち、ここ
で切り出された領域の部分だけが識別処理の対象にされ
る。この切り出し位置等が不適当な場合には、識別が不
正確になる。これを防ぐため、この実施の形態では複数
の領域に対して識別をおこなうようになっている。つま
り、領域生成部125は複数種類の切り出し領域を生成
するようになっている。
保持されている原画像から切り出す領域(切り出し領
域)を決定するためのものである。原画像のうち、ここ
で切り出された領域の部分だけが識別処理の対象にされ
る。この切り出し位置等が不適当な場合には、識別が不
正確になる。これを防ぐため、この実施の形態では複数
の領域に対して識別をおこなうようになっている。つま
り、領域生成部125は複数種類の切り出し領域を生成
するようになっている。
【0056】切り出し領域は、位置Pijと、大きさ
(幅,高さ)Smとに基づいて規定することができる。
したがって、領域生成部125は初期的な切り出し領域
を規定した情報、つまり、初期値として、位置P
0(x0,y0)と、大きさS0(w,h)とがあらかじめ
与えられている。当然ながら、この初期値には、原画像
において識別対象物が写っている可能性が最も高い領域
を示す値が設定されている。このような可能性の高い領
域は、この画像識別装置100の実際の使用環境などに
基づいて想定されている。
(幅,高さ)Smとに基づいて規定することができる。
したがって、領域生成部125は初期的な切り出し領域
を規定した情報、つまり、初期値として、位置P
0(x0,y0)と、大きさS0(w,h)とがあらかじめ
与えられている。当然ながら、この初期値には、原画像
において識別対象物が写っている可能性が最も高い領域
を示す値が設定されている。このような可能性の高い領
域は、この画像識別装置100の実際の使用環境などに
基づいて想定されている。
【0057】領域生成部125は、この初期値P0、S0
に演算を施すことで、様々な切り出し領域を生成するよ
うになっている。詳細については、後ほど動作説明にお
いて述べることにする。
に演算を施すことで、様々な切り出し領域を生成するよ
うになっている。詳細については、後ほど動作説明にお
いて述べることにする。
【0058】なお、領域生成部125は、生成した切り
出し領域それぞれの位置、大きさを示す情報を、切り出
し部130へと出力している。これらの情報は、切り出
された画像データとともに、また、この切り出された画
像データを処理した結果とともに、順次、後段側へと送
信されてゆき、最終的には類似性判定部160へと到達
する。そして、類似性判定部160が、原画像上での識
別対象物の位置、大きさを求めるのに用いられれるよう
になっている。
出し領域それぞれの位置、大きさを示す情報を、切り出
し部130へと出力している。これらの情報は、切り出
された画像データとともに、また、この切り出された画
像データを処理した結果とともに、順次、後段側へと送
信されてゆき、最終的には類似性判定部160へと到達
する。そして、類似性判定部160が、原画像上での識
別対象物の位置、大きさを求めるのに用いられれるよう
になっている。
【0059】切り出し部130は、画像メモリ120に
保持されている原画像のデータから、領域生成部125
によって決定された切り出し領域のデータを切り出す
(取り出す)ものである。切り出し部130は切り出し
た領域の画像データを、正規化部140へと出力してい
る。
保持されている原画像のデータから、領域生成部125
によって決定された切り出し領域のデータを切り出す
(取り出す)ものである。切り出し部130は切り出し
た領域の画像データを、正規化部140へと出力してい
る。
【0060】正規化部140は、切り出し部130によ
って原画像から切り出された画像データをあらかじめ定
められた大きさに変換する処理(正規化)をおこなうも
のである。ここでいうあらかじめ定められた大きさと
は、後述する登録データ保持部151に登録されている
固有ベクトルの元になった画像(登録画像)の大きさで
ある。以下、この正規化部140によって正規化された
後のデータを「識別対象データ」と呼ぶ。正規化部14
0は、正規化した後のデータ(識別対象データ)を、画
像データ処理部150へと出力する構成となっている。
って原画像から切り出された画像データをあらかじめ定
められた大きさに変換する処理(正規化)をおこなうも
のである。ここでいうあらかじめ定められた大きさと
は、後述する登録データ保持部151に登録されている
固有ベクトルの元になった画像(登録画像)の大きさで
ある。以下、この正規化部140によって正規化された
後のデータを「識別対象データ」と呼ぶ。正規化部14
0は、正規化した後のデータ(識別対象データ)を、画
像データ処理部150へと出力する構成となっている。
【0061】画像データ処理部150は、後述する類似
性判定部160とともに実際の識別処理をおこなう部分
であり、登録データ保持部151と、圧縮処理部152
と、照合処理部153とを備えて構成されている。
性判定部160とともに実際の識別処理をおこなう部分
であり、登録データ保持部151と、圧縮処理部152
と、照合処理部153とを備えて構成されている。
【0062】登録データ保持部151は、識別に必要な
各種データを記憶するためのものである。登録データ保
持部151に記憶されるデータとしては、図3に示した
とおり、基礎情報テーブル1510と、固有ベクトル
A,B,C等が上げられる。
各種データを記憶するためのものである。登録データ保
持部151に記憶されるデータとしては、図3に示した
とおり、基礎情報テーブル1510と、固有ベクトル
A,B,C等が上げられる。
【0063】この実施の形態では識別対象物の姿勢等を
連続的に変えて撮影された一連の画像を登録画像群とし
ている。固有ベクトルA,B,Cは、これに基づいて算
出されたものである。なお、登録画像群自体について
は、登録データ保持部151に保持している必要はな
い。
連続的に変えて撮影された一連の画像を登録画像群とし
ている。固有ベクトルA,B,Cは、これに基づいて算
出されたものである。なお、登録画像群自体について
は、登録データ保持部151に保持している必要はな
い。
【0064】基礎情報テーブル1510とは、登録画像
それぞれについて、その登録画像を示す画像番号(図中
符号1511を付した)と、その登録画像の特徴ベクト
ル(図中符号1512を付した)と、その登録画像に写
っている識別対象物の姿勢を示す姿勢情報(図中符号1
513を付した)とを互いに対応づけて格納したもので
ある。以下、この登録データ保持部151に格納されて
いる、登録画像についての特徴ベクトルを「登録特徴ベ
クトル」と呼ぶことがある。なお、この図の例では、登
録画像群を36枚の登録画像で構成している。そして、
姿勢情報としては、各登録画像に写っている識別対象物
の角度を使用している。また、この実施の形態では3つ
の固有ベクトルA,B,Cを使用していることに起因し
て、特徴ベクトルは3つのスカラー値(a,b,c)で
構成されている。固有ベクトル、特徴ベクトルの意味に
ついては、冒頭において述べたとおりである。
それぞれについて、その登録画像を示す画像番号(図中
符号1511を付した)と、その登録画像の特徴ベクト
ル(図中符号1512を付した)と、その登録画像に写
っている識別対象物の姿勢を示す姿勢情報(図中符号1
513を付した)とを互いに対応づけて格納したもので
ある。以下、この登録データ保持部151に格納されて
いる、登録画像についての特徴ベクトルを「登録特徴ベ
クトル」と呼ぶことがある。なお、この図の例では、登
録画像群を36枚の登録画像で構成している。そして、
姿勢情報としては、各登録画像に写っている識別対象物
の角度を使用している。また、この実施の形態では3つ
の固有ベクトルA,B,Cを使用していることに起因し
て、特徴ベクトルは3つのスカラー値(a,b,c)で
構成されている。固有ベクトル、特徴ベクトルの意味に
ついては、冒頭において述べたとおりである。
【0065】圧縮処理部152は、正規化部140から
入力される識別対象データに対して圧縮処理を施すため
のものである。ここで言う圧縮処理とは、識別対象デー
タと、登録データ保持部151に保持されている固有ベ
クトルとの内積を演算することで、特徴ベクトルを求め
る処理を意味する。
入力される識別対象データに対して圧縮処理を施すため
のものである。ここで言う圧縮処理とは、識別対象デー
タと、登録データ保持部151に保持されている固有ベ
クトルとの内積を演算することで、特徴ベクトルを求め
る処理を意味する。
【0066】照合処理部153は、類似性判定における
実際の判定対象となる指標値を求めるものである。この
指標値とは、固有空間上における、圧縮処理部152が
求めた特徴ベクトルが示す位置と、各登録特徴ベクトル
が示す位置との距離である。なお、登録特徴ベクトル
は、あらかじめ登録データ保持部151から読み出すこ
とで得ている。照合処理部153は、求めた指標値を類
似性判定部160へと出力する構成となっている。
実際の判定対象となる指標値を求めるものである。この
指標値とは、固有空間上における、圧縮処理部152が
求めた特徴ベクトルが示す位置と、各登録特徴ベクトル
が示す位置との距離である。なお、登録特徴ベクトル
は、あらかじめ登録データ保持部151から読み出すこ
とで得ている。照合処理部153は、求めた指標値を類
似性判定部160へと出力する構成となっている。
【0067】類似性判定部160は、照合処理部153
の求めた指標値の大きさ等に基づいて、原画像に写って
いた車両の姿勢を判定するためのものである。この判定
は、具体的には、圧縮処理部152が求めた特徴ベクト
ルが示す位置に最も近い位置を示す登録特徴ベクトル
(すなわち、識別対象となっている画像に最も類似して
いる登録画像)を決定することでおこなわれる。このよ
うにして決定された特徴ベクトル(すなわち、登録画
像)についての姿勢情報を参照することで、原画像に写
っていた車両の姿勢を知ることができる。
の求めた指標値の大きさ等に基づいて、原画像に写って
いた車両の姿勢を判定するためのものである。この判定
は、具体的には、圧縮処理部152が求めた特徴ベクト
ルが示す位置に最も近い位置を示す登録特徴ベクトル
(すなわち、識別対象となっている画像に最も類似して
いる登録画像)を決定することでおこなわれる。このよ
うにして決定された特徴ベクトル(すなわち、登録画
像)についての姿勢情報を参照することで、原画像に写
っていた車両の姿勢を知ることができる。
【0068】さらに、この類似性判定部160は、車両
の位置、大きさも検出する機能を備えている。この位置
などは以下のようにして検出するようになっている。つ
まり、この実施の形態では原画像からの切り出しを複数
の領域についておこない、切り出した各領域のそれぞれ
について識別処理をおこなっている。したがって、どの
切り出し領域についての指標値が最も小さかったかを判
定し、この判定結果に基づいて切り出し領域の位置、大
きさを示す情報を参照することで、車両の位置、大きさ
も知ることができる。なお、切り出し領域の位置、大き
さを示す情報は、領域生成部125が生成、出力し、上
述した各部を通じてこの類似性判定部160へと入力さ
れる構成となっている。
の位置、大きさも検出する機能を備えている。この位置
などは以下のようにして検出するようになっている。つ
まり、この実施の形態では原画像からの切り出しを複数
の領域についておこない、切り出した各領域のそれぞれ
について識別処理をおこなっている。したがって、どの
切り出し領域についての指標値が最も小さかったかを判
定し、この判定結果に基づいて切り出し領域の位置、大
きさを示す情報を参照することで、車両の位置、大きさ
も知ることができる。なお、切り出し領域の位置、大き
さを示す情報は、領域生成部125が生成、出力し、上
述した各部を通じてこの類似性判定部160へと入力さ
れる構成となっている。
【0069】表示部165は、この画像識別装置100
による識別結果を出力するためのものである。主制御部
170は、この画像識別装置100全体を制御するため
のものである。上記各部は、この主制御部170からの
指示で動作するようになっている。この主制御部170
は、制御プログラム、データなどが格納されたメモリ
と、プロセッサなどによって構成されている。プロセッ
サが、各種プログラムを実行することで様々な機能を実
現している。
による識別結果を出力するためのものである。主制御部
170は、この画像識別装置100全体を制御するため
のものである。上記各部は、この主制御部170からの
指示で動作するようになっている。この主制御部170
は、制御プログラム、データなどが格納されたメモリ
と、プロセッサなどによって構成されている。プロセッ
サが、各種プログラムを実行することで様々な機能を実
現している。
【0070】上述した領域生成部125、切り出し部1
30、正規化部140、画像データ処理部150等も、
この実施の形態では主制御部170を構成するプロセッ
サが、所定のプログラムを実行することで実現されてい
る。
30、正規化部140、画像データ処理部150等も、
この実施の形態では主制御部170を構成するプロセッ
サが、所定のプログラムを実行することで実現されてい
る。
【0071】特許請求の範囲においていう「撮影手段」
とは、この実施の形態においてはカメラ110によって
実現されている。「領域決定手段」とは、領域生成部1
25によって実現されている。「切り出し手段」とは、
切り出し部130によって実現されている。「変換手
段」とは、正規化部140によって実現されている。
「識別手段」とは、画像データ処理部150、類似性判
定部160等によって実現されている。「固有ベクトル
記憶手段」とは、登録データ保持部151によって実現
されている。「演算手段」とは、圧縮処理部152によ
って実現されている。「基礎情報」とは、基礎情報テー
ブル1510に相当する。「識別対象特徴ベクトル」と
は、圧縮処理部152の演算結果に相当する。「関連情
報」とは、基礎情報テーブル1510に含まれている姿
勢情報1513に相当する。「特徴ベクトル記憶手段」
とは、登録データ保持部151によって実現されてい
る。「登録特徴ベクトル」とは、基礎情報テーブル15
10に含まれている特徴ベクトル1512に相当する。
「位置関係確認手段」は、照合処理部153によって実
現されている。「判定手段」は、類似性判定部160に
よって実現されている。「出力手段」は、表示部165
によって実現されている。ただし、上記各部は互いに密
接に連携して機能しておりここで述べた対応関係は厳密
なものではない。たとえば、上述した定義では述べてい
ないが、上記各手段の機能を実現するにあたっては主制
御部170が関与している。
とは、この実施の形態においてはカメラ110によって
実現されている。「領域決定手段」とは、領域生成部1
25によって実現されている。「切り出し手段」とは、
切り出し部130によって実現されている。「変換手
段」とは、正規化部140によって実現されている。
「識別手段」とは、画像データ処理部150、類似性判
定部160等によって実現されている。「固有ベクトル
記憶手段」とは、登録データ保持部151によって実現
されている。「演算手段」とは、圧縮処理部152によ
って実現されている。「基礎情報」とは、基礎情報テー
ブル1510に相当する。「識別対象特徴ベクトル」と
は、圧縮処理部152の演算結果に相当する。「関連情
報」とは、基礎情報テーブル1510に含まれている姿
勢情報1513に相当する。「特徴ベクトル記憶手段」
とは、登録データ保持部151によって実現されてい
る。「登録特徴ベクトル」とは、基礎情報テーブル15
10に含まれている特徴ベクトル1512に相当する。
「位置関係確認手段」は、照合処理部153によって実
現されている。「判定手段」は、類似性判定部160に
よって実現されている。「出力手段」は、表示部165
によって実現されている。ただし、上記各部は互いに密
接に連携して機能しておりここで述べた対応関係は厳密
なものではない。たとえば、上述した定義では述べてい
ないが、上記各手段の機能を実現するにあたっては主制
御部170が関与している。
【0072】次に動作を説明する。まず、この画像識別
装置100における識別処理の動作について図4を用い
て説明する。以下の説明は、学習は既に終了しており登
録データ保持部151には固有ベクトルなどがあらかじ
め格納されているものとしておこなう。
装置100における識別処理の動作について図4を用い
て説明する。以下の説明は、学習は既に終了しており登
録データ保持部151には固有ベクトルなどがあらかじ
め格納されているものとしておこなう。
【0073】カメラ110は識別対象物を撮影し、その
撮影データを画像メモリ120へと格納する。一方、領
域生成部125は、あらかじめ用意された初期値P
0(x0,y0)、S0(w,h)に基づいて様々な切り出
し領域を示す情報を生成する。そして生成した切り出し
領域を示す情報Pij、Sm、さらには、切り出す順番の
指示等を切り出し部130へと出力する。なお、この切
り出し領域の生成については、後ほどさらに詳細に説明
する。
撮影データを画像メモリ120へと格納する。一方、領
域生成部125は、あらかじめ用意された初期値P
0(x0,y0)、S0(w,h)に基づいて様々な切り出
し領域を示す情報を生成する。そして生成した切り出し
領域を示す情報Pij、Sm、さらには、切り出す順番の
指示等を切り出し部130へと出力する。なお、この切
り出し領域の生成については、後ほどさらに詳細に説明
する。
【0074】切り出し部130は、領域生成部125か
ら入力された情報Pij、Smよって特定される領域Rc
を、画像メモリ120に格納された原画像Rから切り出
す。そして、この切り出した領域Rcの画像データを、
順次、正規化部140へと出力する。
ら入力された情報Pij、Smよって特定される領域Rc
を、画像メモリ120に格納された原画像Rから切り出
す。そして、この切り出した領域Rcの画像データを、
順次、正規化部140へと出力する。
【0075】正規化部140は、切り出し部130から
入力される画像データの大きさを正規化することで、識
別対象データを作成する。そして、この識別対象データ
を、画像データ処理部150へと出力する。
入力される画像データの大きさを正規化することで、識
別対象データを作成する。そして、この識別対象データ
を、画像データ処理部150へと出力する。
【0076】画像データ処理部150の圧縮処理部15
2は、この識別対象データのそれぞれを圧縮する。つま
り、識別対象データのそれぞれと、固有ベクトルとの内
積を演算することで、特徴ベクトルを求める。当然、こ
の特徴ベクトルは、識別対象データごとに(つまり、切
り出された領域ごとに)算出される。
2は、この識別対象データのそれぞれを圧縮する。つま
り、識別対象データのそれぞれと、固有ベクトルとの内
積を演算することで、特徴ベクトルを求める。当然、こ
の特徴ベクトルは、識別対象データごとに(つまり、切
り出された領域ごとに)算出される。
【0077】つづいて、照合処理部153は、このよう
にして求められた特徴ベクトルと、各登録特徴ベクトル
との、固有空間上での距離(指標値)を求め、これを類
似性判定部160へと出力する。
にして求められた特徴ベクトルと、各登録特徴ベクトル
との、固有空間上での距離(指標値)を求め、これを類
似性判定部160へと出力する。
【0078】類似性判定部160は、このようにして求
められた指標値の大きさを判定することで、この指標値
が最も小さい組み合わせを決定する。つまり、識別対象
データ(切り出し領域)と登録特徴ベクトルとの組み合
わせのうち、最も高い類似性が得られた組み合わせを決
定する。そして、この決定された組み合わせの登録特徴
ベクトルについての姿勢情報を参照することで、原画像
に写っていた車両の姿勢を得る。さらに、この決定され
た組み合わせの切り出し領域についての位置、大きさに
基づいて、原画像上における車両の位置、大きさを得
る。
められた指標値の大きさを判定することで、この指標値
が最も小さい組み合わせを決定する。つまり、識別対象
データ(切り出し領域)と登録特徴ベクトルとの組み合
わせのうち、最も高い類似性が得られた組み合わせを決
定する。そして、この決定された組み合わせの登録特徴
ベクトルについての姿勢情報を参照することで、原画像
に写っていた車両の姿勢を得る。さらに、この決定され
た組み合わせの切り出し領域についての位置、大きさに
基づいて、原画像上における車両の位置、大きさを得
る。
【0079】この場合、原画像からの切り出しが不適切
な位置等でおこなわれていた場合には、登録画像と類似
した部分が原画像にあったとしてもこの指標値は大きく
なってしまう。つまり、登録画像に類似した部分を検出
できない。この実施の形態では、この切り出し領域の位
置、大きさを様々に変更して識別をおこなっている。こ
のため、切り出し領域の初期値がそのときの原画像にと
って最適な値ではなかったとしても、高い識別精度が期
待できる。
な位置等でおこなわれていた場合には、登録画像と類似
した部分が原画像にあったとしてもこの指標値は大きく
なってしまう。つまり、登録画像に類似した部分を検出
できない。この実施の形態では、この切り出し領域の位
置、大きさを様々に変更して識別をおこなっている。こ
のため、切り出し領域の初期値がそのときの原画像にと
って最適な値ではなかったとしても、高い識別精度が期
待できる。
【0080】最後に、表示部165は、この識別結果、
すなわち、類似性判定部160が求めた位置、サイズ、
姿勢を出力する。以上で識別処理の動作説明を終わる。
すなわち、類似性判定部160が求めた位置、サイズ、
姿勢を出力する。以上で識別処理の動作説明を終わる。
【0081】つぎに、領域生成部125による切り出し
領域の生成動作について図5を用いて説明する。領域生
成部125は初期値P0(x0,y0)、S0(w,h)に
対して、下記式(1)、式(2)の演算を実行すること
で様々な切り出し領域を生成する。つまり、i、jを様
々に変更して、式(1)を実行することで、様々な切り
出し領域の位置Pijを決定する。
領域の生成動作について図5を用いて説明する。領域生
成部125は初期値P0(x0,y0)、S0(w,h)に
対して、下記式(1)、式(2)の演算を実行すること
で様々な切り出し領域を生成する。つまり、i、jを様
々に変更して、式(1)を実行することで、様々な切り
出し領域の位置Pijを決定する。
【0082】 Pij=(x0+Δx・i,y0+Δy・j) …(1) 式(1)に含まれている各種変数にはたとえばつぎのよ
うな値を設定することが考えられる。つまり、i={−
2,−1,0,1,2}、j={−2,−1,0,1,
2}とすることが考えられる。また、Δx=0.1・
w、Δy=0.1・hとすることが考えられる。
うな値を設定することが考えられる。つまり、i={−
2,−1,0,1,2}、j={−2,−1,0,1,
2}とすることが考えられる。また、Δx=0.1・
w、Δy=0.1・hとすることが考えられる。
【0083】また、mを様々に変更して式(2)を実行
することで、様々な切り出し領域の大きさSmを決定す
る。
することで、様々な切り出し領域の大きさSmを決定す
る。
【0084】Sm=S0・m …(2) 式(2)におけるmとしては、たとえば、0.90,
0.95,1.0,1.05,1.1といった数値を設
定することが考えられる。
0.95,1.0,1.05,1.1といった数値を設
定することが考えられる。
【0085】領域生成部125は、このようにして生成
した様々な切り出し領域を示す情報Pij、Smさらに
は、切り出しをおこなう順序等を、切り出し部130へ
と出力する。以上で切り出し領域の生成動作の説明を終
わる。
した様々な切り出し領域を示す情報Pij、Smさらに
は、切り出しをおこなう順序等を、切り出し部130へ
と出力する。以上で切り出し領域の生成動作の説明を終
わる。
【0086】以上説明したとおりこの実施の形態1で
は、原画像における様々な領域(切り出し領域)につい
て識別処理をおこなうため、高い識別精度が期待でき
る。つまり、切り出し領域の不適切さに起因した、識別
精度の低下を防止できる。
は、原画像における様々な領域(切り出し領域)につい
て識別処理をおこなうため、高い識別精度が期待でき
る。つまり、切り出し領域の不適切さに起因した、識別
精度の低下を防止できる。
【0087】上述した実施の形態1では基礎情報テーブ
ル1510(図3)において、特徴ベクトルと、その特
徴ベクトルに対応する画像についての姿勢情報とを直接
対応づけていたが、基礎情報テーブルの具体的な構成は
これに限定されるものではない。たとえば、単に、姿勢
がわかればよいのであれば、画像番号1511は含まれ
ていなくてもかまわない。また、この基礎情報テーブル
は、必ずしも1つのテーブルとして構成されている必要
はなく、複数に分割して構成されていてもよい。ただ
し、この場合であっても、姿勢情報と特徴ベクトルと
は、間接的に(たとえば、画像番号を介して)でも対応
づけられていることが必要である。
ル1510(図3)において、特徴ベクトルと、その特
徴ベクトルに対応する画像についての姿勢情報とを直接
対応づけていたが、基礎情報テーブルの具体的な構成は
これに限定されるものではない。たとえば、単に、姿勢
がわかればよいのであれば、画像番号1511は含まれ
ていなくてもかまわない。また、この基礎情報テーブル
は、必ずしも1つのテーブルとして構成されている必要
はなく、複数に分割して構成されていてもよい。ただ
し、この場合であっても、姿勢情報と特徴ベクトルと
は、間接的に(たとえば、画像番号を介して)でも対応
づけられていることが必要である。
【0088】上述した実施の形態1の類似性判定部16
0は登録画像のうち最も類似性の高い組み合わせ(切り
出し領域、登録画像)を求めていたが、類似性判定部1
60の具体的な判定手法はこれに限定されるものではな
い。あらかじめ設定された許容範囲内の類似性が得られ
ればそれで足りる場合には、固有空間上での距離が所定
値以下の組み合わせを発見した段階で処理を終了し、そ
の発見した組み合わせに基づいて最終的な識別結果を決
定、出力するようにしてもよい。
0は登録画像のうち最も類似性の高い組み合わせ(切り
出し領域、登録画像)を求めていたが、類似性判定部1
60の具体的な判定手法はこれに限定されるものではな
い。あらかじめ設定された許容範囲内の類似性が得られ
ればそれで足りる場合には、固有空間上での距離が所定
値以下の組み合わせを発見した段階で処理を終了し、そ
の発見した組み合わせに基づいて最終的な識別結果を決
定、出力するようにしてもよい。
【0089】上述した実施の形態1では登録データ保持
部151には、個々の登録特徴ベクトルを格納していた
が、これに代えて登録画像それぞれの位置(登録特徴ベ
クトル)を補間することで得られた一つの曲線(あるい
は、曲面)を示す情報(関数)を格納してもよい。これ
は、連続した登録画像間における、実際には撮影されて
いない姿勢での画像の位置を補間によって決定している
ことに相当する。以下、この補間によって作成された曲
線(あるいは、曲面)を「多様体」と呼ぶことにする。
この場合には、圧縮処理部152が求めた特徴ベクトル
(点)とこの多様体との固有空間上における距離を求め
これを指標値とすることになる。この場合には、上述し
た姿勢情報は、この固有空間上での座標をパラメータす
る関数として表現しておくのが好ましい。このようにす
れば固有空間上での任意の位置での姿勢情報を得ること
ができるため、識別をよりきめ細かにおこなうことがで
きる。
部151には、個々の登録特徴ベクトルを格納していた
が、これに代えて登録画像それぞれの位置(登録特徴ベ
クトル)を補間することで得られた一つの曲線(あるい
は、曲面)を示す情報(関数)を格納してもよい。これ
は、連続した登録画像間における、実際には撮影されて
いない姿勢での画像の位置を補間によって決定している
ことに相当する。以下、この補間によって作成された曲
線(あるいは、曲面)を「多様体」と呼ぶことにする。
この場合には、圧縮処理部152が求めた特徴ベクトル
(点)とこの多様体との固有空間上における距離を求め
これを指標値とすることになる。この場合には、上述し
た姿勢情報は、この固有空間上での座標をパラメータす
る関数として表現しておくのが好ましい。このようにす
れば固有空間上での任意の位置での姿勢情報を得ること
ができるため、識別をよりきめ細かにおこなうことがで
きる。
【0090】上述した実施の形態1では、一つの識別対
象物の姿勢を連続的に変えて撮影することで得られた登
録画像によって登録画像群を構成していた。しかし、登
録画像群を構成する登録画像はこれに限定されるもので
はない。たとえば、写っている識別対象物の種類が異な
る複数枚の登録画像によって登録画像群を構成してもよ
い。このようにすれば、車種の識別が可能である。この
場合には基礎情報テーブルには、姿勢情報に代わって、
車種を示す車種情報を格納することになる。当然、車種
と姿勢との両方を識別することも可能である。この場合
には、基礎情報テーブルには、車種情報と姿勢情報との
両方を備える必要がある。
象物の姿勢を連続的に変えて撮影することで得られた登
録画像によって登録画像群を構成していた。しかし、登
録画像群を構成する登録画像はこれに限定されるもので
はない。たとえば、写っている識別対象物の種類が異な
る複数枚の登録画像によって登録画像群を構成してもよ
い。このようにすれば、車種の識別が可能である。この
場合には基礎情報テーブルには、姿勢情報に代わって、
車種を示す車種情報を格納することになる。当然、車種
と姿勢との両方を識別することも可能である。この場合
には、基礎情報テーブルには、車種情報と姿勢情報との
両方を備える必要がある。
【0091】上述した実施の形態1では単に固有空間上
での距離に基づいて類似の程度を判定していたが、判定
の手法はこれに限定されるものではない。登録特徴ベク
トルと撮影画像についての特徴ベクトルとの位置関係を
より詳細に確認し、判定を行ってもよい。たとえば、固
有空間を構成する座標軸ごとに独立的に、2点間の距離
(厳密には、当該座標軸方向における座標値の差)を判
定してもよい。この場合には、必要に応じて、座標軸に
優先順位を設定することも考えられる。このようにすれ
ばよりきめ細かな判定が可能である。
での距離に基づいて類似の程度を判定していたが、判定
の手法はこれに限定されるものではない。登録特徴ベク
トルと撮影画像についての特徴ベクトルとの位置関係を
より詳細に確認し、判定を行ってもよい。たとえば、固
有空間を構成する座標軸ごとに独立的に、2点間の距離
(厳密には、当該座標軸方向における座標値の差)を判
定してもよい。この場合には、必要に応じて、座標軸に
優先順位を設定することも考えられる。このようにすれ
ばよりきめ細かな判定が可能である。
【0092】上述した実施の形態1では、切り出し領域
の位置、大きさを変えて切り出しを複数回おこなうこと
で、登録画像に合った測定対象データが得られるように
していた。しかし、登録画像と測定対象データとの最適
化(あるいは、マッチング)を図る手法はこれに限定さ
れるものではない。以下、登録画像と測定対象データと
の最適化を図る他の例を実施の形態2〜5として述べ
る。ここでの説明は、実施の形態1との相違点を中心に
述べることにする。
の位置、大きさを変えて切り出しを複数回おこなうこと
で、登録画像に合った測定対象データが得られるように
していた。しかし、登録画像と測定対象データとの最適
化(あるいは、マッチング)を図る手法はこれに限定さ
れるものではない。以下、登録画像と測定対象データと
の最適化を図る他の例を実施の形態2〜5として述べ
る。ここでの説明は、実施の形態1との相違点を中心に
述べることにする。
【0093】なお、ここでいう最適化(あるいは、マッ
チング)とは、登録画像と測定対象データとについて、
写っている車両の位置および大きさが互いに一致するよ
うに、登録画像、切り出し領域を選定する処理を意味す
る。上述した実施の形態1では、切り出し領域を様々に
変更する処理がこれに相当する。ただし、実際には車両
の位置および大きさに基づいて選定をおこなうのではな
く、結果的により高い類似性が得られるように選定を行
っている。
チング)とは、登録画像と測定対象データとについて、
写っている車両の位置および大きさが互いに一致するよ
うに、登録画像、切り出し領域を選定する処理を意味す
る。上述した実施の形態1では、切り出し領域を様々に
変更する処理がこれに相当する。ただし、実際には車両
の位置および大きさに基づいて選定をおこなうのではな
く、結果的により高い類似性が得られるように選定を行
っている。
【0094】[実施の形態2]この実施の形態2では、
上述した実施の形態1とは逆に、登録画像を増やすこと
で、登録画像と測定対象データ(切り出し領域)との最
適化(あるいは、マッチング)を図ったことを主な特徴
としている。以下、詳細に説明する。
上述した実施の形態1とは逆に、登録画像を増やすこと
で、登録画像と測定対象データ(切り出し領域)との最
適化(あるいは、マッチング)を図ったことを主な特徴
としている。以下、詳細に説明する。
【0095】この実施の形態2における構成を図6に示
した。この実施の形態2では、姿勢のみならず、識別対
象物が写っている位置等が異なる登録画像を含めて一つ
の登録画像群を構成する。そして、この登録画像群につ
いての固有ベクトル、各登録画像についての特徴ベクト
ル等を求め、登録データ保持部151に格納しておく。
また、領域生成部125aはあらかじめ定められた初期
的な切り出し領域だけを生成するようにする。これ以外
の点は実施の形態1と同様である。
した。この実施の形態2では、姿勢のみならず、識別対
象物が写っている位置等が異なる登録画像を含めて一つ
の登録画像群を構成する。そして、この登録画像群につ
いての固有ベクトル、各登録画像についての特徴ベクト
ル等を求め、登録データ保持部151に格納しておく。
また、領域生成部125aはあらかじめ定められた初期
的な切り出し領域だけを生成するようにする。これ以外
の点は実施の形態1と同様である。
【0096】この実施の形態2では識別処理時のデータ
処理量の増大を伴わないため、高速な処理が可能であ
る。
処理量の増大を伴わないため、高速な処理が可能であ
る。
【0097】[実施の形態3]この実施の形態3では、
上述した実施の形態1と、実施の形態2とを組み合わせ
たことを主な特徴としている。つまり、登録画像と切り
出し領域との小さな不整合については実施の形態2の手
法で対応し、大きな不整合については実施の形態1の手
法で対処している。以下、詳細に説明する。
上述した実施の形態1と、実施の形態2とを組み合わせ
たことを主な特徴としている。つまり、登録画像と切り
出し領域との小さな不整合については実施の形態2の手
法で対応し、大きな不整合については実施の形態1の手
法で対処している。以下、詳細に説明する。
【0098】上述した実施の形態2の手法は、識別対象
物の姿勢のみならず、識別対象物が写っている位置、大
きさが異なっている登録画像をも含めて一つの登録画像
群を構成するというものであった。特徴ベクトルはあら
かじめ演算しておくことができるため、このような構成
では処理速度の高速化という面では利点が大きい。しか
し、その反面、登録画像の枚数が増大すると識別精度が
低下するという問題がある。これは以下のような理由に
よるものである。つまり、固有ベクトルを求めること
は、登録画像群を固有ベクトルというかたちで圧縮する
ことに相当する。したがって、固有ベクトルの個数を増
やすことなく登録画像の枚数を増やすと、データ劣化の
程度が激しくなる(元のデータを復元できる程度が低
い)。そして、このような劣化の激しいデータに基づい
て類似性を判定すれば、当然、その精度も低下する。登
録画像の枚数増大にあわせて固有ベクトルの個数も増や
せば、精度の低下(つまり、識別精度の低下)を避ける
ことは可能であるが、識別処理に際して必要な演算量が
増大してしまう。
物の姿勢のみならず、識別対象物が写っている位置、大
きさが異なっている登録画像をも含めて一つの登録画像
群を構成するというものであった。特徴ベクトルはあら
かじめ演算しておくことができるため、このような構成
では処理速度の高速化という面では利点が大きい。しか
し、その反面、登録画像の枚数が増大すると識別精度が
低下するという問題がある。これは以下のような理由に
よるものである。つまり、固有ベクトルを求めること
は、登録画像群を固有ベクトルというかたちで圧縮する
ことに相当する。したがって、固有ベクトルの個数を増
やすことなく登録画像の枚数を増やすと、データ劣化の
程度が激しくなる(元のデータを復元できる程度が低
い)。そして、このような劣化の激しいデータに基づい
て類似性を判定すれば、当然、その精度も低下する。登
録画像の枚数増大にあわせて固有ベクトルの個数も増や
せば、精度の低下(つまり、識別精度の低下)を避ける
ことは可能であるが、識別処理に際して必要な演算量が
増大してしまう。
【0099】一方、上述した実施の形態1では、原画像
からの切り出しを複数領域について行っている関係上、
処理速度の面で問題が多い。つまり、切り出した領域の
画像についての特徴ベクトルは、その都度求める必要が
ある。このため、このような手法では、演算量の増加、
すなわち、処理速度の低下が免れない。
からの切り出しを複数領域について行っている関係上、
処理速度の面で問題が多い。つまり、切り出した領域の
画像についての特徴ベクトルは、その都度求める必要が
ある。このため、このような手法では、演算量の増加、
すなわち、処理速度の低下が免れない。
【0100】以上のような各手法の得失を考慮した結
果、この実施の形態3では以下のような構成を採用して
いる。
果、この実施の形態3では以下のような構成を採用して
いる。
【0101】原画像からの切り出しは複数領域について
おこなう。ただし、各切り出し領域の位置、大きさの差
をある程度大きくする。位置、大きさの差異が小さな切
り出しは行わないことで、切り出す領域の種類を減ら
す。一方、登録画像群は、識別対象物の姿勢のみなら
ず、位置、大きさが異なる登録画像を含めて構成する。
ただし、位置、大きさの変更は十分小さい範囲にとど
め、また、登録画像の枚数の増大も必要最小限にとどめ
る。このような構成では、処理速度と、高い識別精度と
を両立させることができる。
おこなう。ただし、各切り出し領域の位置、大きさの差
をある程度大きくする。位置、大きさの差異が小さな切
り出しは行わないことで、切り出す領域の種類を減ら
す。一方、登録画像群は、識別対象物の姿勢のみなら
ず、位置、大きさが異なる登録画像を含めて構成する。
ただし、位置、大きさの変更は十分小さい範囲にとど
め、また、登録画像の枚数の増大も必要最小限にとどめ
る。このような構成では、処理速度と、高い識別精度と
を両立させることができる。
【0102】[実施の形態4]この実施の形態4では、
識別対象物の位置等を検出する構成を備えたことを主な
特徴とするものである。以下、詳細に説明する。
識別対象物の位置等を検出する構成を備えたことを主な
特徴とするものである。以下、詳細に説明する。
【0103】この実施の形態4における構成を図7に示
した。なお、上述した実施の形態と同様の構成部分につ
いては同じ符号を付し、説明を省略する。赤外線カメラ
181によって識別対象物(厳密には、識別対象物が存
在することが推定される領域)を撮影する。
した。なお、上述した実施の形態と同様の構成部分につ
いては同じ符号を付し、説明を省略する。赤外線カメラ
181によって識別対象物(厳密には、識別対象物が存
在することが推定される領域)を撮影する。
【0104】車両検知部182は、この赤外線カメラ1
81の撮影画像(すなわち、温度分布)に基づいて、識
別対象物と背景とを識別し、画像上での測定対象物(車
両)の位置および大きさを検出する。そして、検出結果
を、領域生成部125bへと出力する。この場合、測定
対象物が移動していることも考えられるため、位置検出
等は、画像メモリ120に格納されている画像が撮影さ
れたタイミングでおこなう。
81の撮影画像(すなわち、温度分布)に基づいて、識
別対象物と背景とを識別し、画像上での測定対象物(車
両)の位置および大きさを検出する。そして、検出結果
を、領域生成部125bへと出力する。この場合、測定
対象物が移動していることも考えられるため、位置検出
等は、画像メモリ120に格納されている画像が撮影さ
れたタイミングでおこなう。
【0105】この後、領域生成部125bが、車両検知
部182から入力された車両の位置および大きさに基づ
いて、切り出し領域の位置および大きさを決定する。カ
メラ110による撮影領域と、赤外線カメラ181によ
る撮影領域との相対的な位置関係を示す情報を領域生成
部125bに備えておくことで、これは容易に可能であ
る。領域生成部125bは、決定した切り出し領域の位
置、大きさを切り出し部130へと出力する。
部182から入力された車両の位置および大きさに基づ
いて、切り出し領域の位置および大きさを決定する。カ
メラ110による撮影領域と、赤外線カメラ181によ
る撮影領域との相対的な位置関係を示す情報を領域生成
部125bに備えておくことで、これは容易に可能であ
る。領域生成部125bは、決定した切り出し領域の位
置、大きさを切り出し部130へと出力する。
【0106】上述した実施の形態1では、画像識別の対
象とする、初期的な切り出し領域があらかじめ固定的に
与えられていた。したがって、いかに切り出し領域を様
々に変更して識別をおこなったとしても、この初期値が
最適値から大幅にずれていた場合には、十分な識別精度
が得られない。しかし、この実施の形態4では、実際の
車両の位置に基づいて切り出し領域を決定するため、ど
のような場合でも常に高い識別精度が期待できる。この
ような構成は、識別対象物と背景との温度差が大きくな
る使用環境(たとえば、屋外)での使用に適している。
象とする、初期的な切り出し領域があらかじめ固定的に
与えられていた。したがって、いかに切り出し領域を様
々に変更して識別をおこなったとしても、この初期値が
最適値から大幅にずれていた場合には、十分な識別精度
が得られない。しかし、この実施の形態4では、実際の
車両の位置に基づいて切り出し領域を決定するため、ど
のような場合でも常に高い識別精度が期待できる。この
ような構成は、識別対象物と背景との温度差が大きくな
る使用環境(たとえば、屋外)での使用に適している。
【0107】ここでは、赤外線カメラ181の撮影デー
タに基づいて、識別対象物の位置などを検出していた
が、検出の具体的な手法はこれに限定されるものではな
い。たとえば、受光素子/発光素子等を組み合わせるこ
とで位置を検出してもよい。
タに基づいて、識別対象物の位置などを検出していた
が、検出の具体的な手法はこれに限定されるものではな
い。たとえば、受光素子/発光素子等を組み合わせるこ
とで位置を検出してもよい。
【0108】なお、特許請求の範囲において言う「位置
検出手段」とは、この実施の形態4においては、赤外線
カメラ181、車両検知部182によって実現されてい
る。
検出手段」とは、この実施の形態4においては、赤外線
カメラ181、車両検知部182によって実現されてい
る。
【0109】[実施の形態5]この実施の形態5では、
カメラ110によって撮影された画像に対して所定の画
像処理をおこなうことで、この画像に含まれている動体
を検出することを主な特徴とするものである。以下、詳
細に説明する。
カメラ110によって撮影された画像に対して所定の画
像処理をおこなうことで、この画像に含まれている動体
を検出することを主な特徴とするものである。以下、詳
細に説明する。
【0110】この実施の形態5における構成を図8に示
した。なお、上述した実施の形態と同様の構成部分につ
いては同じ符号を付し、説明を省略する。
した。なお、上述した実施の形態と同様の構成部分につ
いては同じ符号を付し、説明を省略する。
【0111】移動体検出部185は、カメラ110によ
って撮影された画像を解析することで、この画像上に写
っている移動体を検出する。この検出は、具体的には、
複数枚の画像(ここでは、既に画像メモリ120に保持
されている画像と、カメラ110がそのとき出力してい
る画像)を比較し、その差分を求めることなどでおこな
う。そして、検出した移動体の位置および大きさを領域
生成部125cへと出力する。領域生成部125cは、
この移動体の位置および大きさに基づいて、切り出し領
域の位置、大きさを決定し切り出し部130へと出力す
る。このような構成は識別対象物が移動している場合に
有効である。なお、特許請求の範囲において言う「位置
検出手段」とは、この実施の形態5においては、移動体
検出部185によって実現されている。
って撮影された画像を解析することで、この画像上に写
っている移動体を検出する。この検出は、具体的には、
複数枚の画像(ここでは、既に画像メモリ120に保持
されている画像と、カメラ110がそのとき出力してい
る画像)を比較し、その差分を求めることなどでおこな
う。そして、検出した移動体の位置および大きさを領域
生成部125cへと出力する。領域生成部125cは、
この移動体の位置および大きさに基づいて、切り出し領
域の位置、大きさを決定し切り出し部130へと出力す
る。このような構成は識別対象物が移動している場合に
有効である。なお、特許請求の範囲において言う「位置
検出手段」とは、この実施の形態5においては、移動体
検出部185によって実現されている。
【0112】[実施の形態6]この実施の形態6の画像
識別装置は、パラメトリック固有空間法に適した構成の
ハードウエア(画像データ処理ユニット200)を備え
たことで、識別処理を高速に実行可能にしたものであ
る。特に、複数の切り出し領域(個別対象領域)につい
てのデータを、要素プロセッサ220(1)〜(n)に
よって互いに並行して処理することを主な特徴とする。
以下、詳細に説明する。
識別装置は、パラメトリック固有空間法に適した構成の
ハードウエア(画像データ処理ユニット200)を備え
たことで、識別処理を高速に実行可能にしたものであ
る。特に、複数の切り出し領域(個別対象領域)につい
てのデータを、要素プロセッサ220(1)〜(n)に
よって互いに並行して処理することを主な特徴とする。
以下、詳細に説明する。
【0113】この実施の形態における装置を構成を、図
9および図10を用いて説明する。これ以降の説明は、
実施の形態1との相違点を中心におこなう。実施の形態
1(図2)と同様の機能、構成を有する部分には同一の
符号を付して説明を省略する。
9および図10を用いて説明する。これ以降の説明は、
実施の形態1との相違点を中心におこなう。実施の形態
1(図2)と同様の機能、構成を有する部分には同一の
符号を付して説明を省略する。
【0114】カメラ110および画像メモリ120につ
いては実施の形態1と同様である。切り出し部130a
は、原画像からデータの切り出しをおこなうためのもの
であるが、切り出す領域が実施の形態1における切り出
し部130とは異なる。この実施の形態では、処理の高
速化を図るため、この切り出しを、包含切り出しと、個
別切り出しとに分けておこなうようになっている。そし
て、切り出し部130aは、包含切り出しについてだけ
おこなうようになっている。個別切り出しについては後
述する要素プロセッサ220によるデータの取り込みタ
イミングを互いにずらすことによって実現している。
いては実施の形態1と同様である。切り出し部130a
は、原画像からデータの切り出しをおこなうためのもの
であるが、切り出す領域が実施の形態1における切り出
し部130とは異なる。この実施の形態では、処理の高
速化を図るため、この切り出しを、包含切り出しと、個
別切り出しとに分けておこなうようになっている。そし
て、切り出し部130aは、包含切り出しについてだけ
おこなうようになっている。個別切り出しについては後
述する要素プロセッサ220によるデータの取り込みタ
イミングを互いにずらすことによって実現している。
【0115】ここで言う「包含切り出し」とは、この原
画像において、個々の識別処理が対象としている領域R
s(以下「個別対象領域」と呼ぶ場合がある)全体を包
含した領域Ri(以下「包含領域」と呼ぶ)を一括して
切り出す処理である(図11参照)。また、「個別切り
出し」とは、この包含領域Riから各個別対象領域Rs
をそれぞれ別個に切り出す処理である(図11参照)。
すなわち、原画像から個別対象領域Rsを切り出す機能
は、この切り出し部130aと、後述する画像データ処
理ユニット200とによって実現されている。
画像において、個々の識別処理が対象としている領域R
s(以下「個別対象領域」と呼ぶ場合がある)全体を包
含した領域Ri(以下「包含領域」と呼ぶ)を一括して
切り出す処理である(図11参照)。また、「個別切り
出し」とは、この包含領域Riから各個別対象領域Rs
をそれぞれ別個に切り出す処理である(図11参照)。
すなわち、原画像から個別対象領域Rsを切り出す機能
は、この切り出し部130aと、後述する画像データ処
理ユニット200とによって実現されている。
【0116】正規化部140aは、実施の形態1におけ
る正規化部140と同様、データの正規化をおこなうも
のである。ただし、実際の演算内容が一部異なってい
る。この実施の形態では、切り出し部130aが包含切
り出しだけをおこなっている(つまり、個別切り出しを
おこなっていない)関係上、正規化部140aには個別
対象領域ではなく包含領域全体のデータが入力されてい
る。したがって、正規化部140aではこの包含領域に
含まれている各個別対象領域の大きさが、先に述べた登
録画像の大きさと一致するように正規化をおこなう。し
たがって、正規化を施した後の画像データ全体として
は、メモリ210に登録されている固有ベクトルの元に
なった画像(登録画像)よりも大きくなる。正規化部1
40aは正規化を行った後のデータを、画像データ処理
ユニット200へと送信している。
る正規化部140と同様、データの正規化をおこなうも
のである。ただし、実際の演算内容が一部異なってい
る。この実施の形態では、切り出し部130aが包含切
り出しだけをおこなっている(つまり、個別切り出しを
おこなっていない)関係上、正規化部140aには個別
対象領域ではなく包含領域全体のデータが入力されてい
る。したがって、正規化部140aではこの包含領域に
含まれている各個別対象領域の大きさが、先に述べた登
録画像の大きさと一致するように正規化をおこなう。し
たがって、正規化を施した後の画像データ全体として
は、メモリ210に登録されている固有ベクトルの元に
なった画像(登録画像)よりも大きくなる。正規化部1
40aは正規化を行った後のデータを、画像データ処理
ユニット200へと送信している。
【0117】画像データ処理ユニット200は、主に実
施の形態1における画像データ処理部150に相当する
役割を果たすものである。先に述べたとおり、パラメト
リック固有空間法を適用するにあたっては膨大な量の演
算をおこなう必要がある。この画像データ処理ユニット
200は、この演算を高速に実行することを主眼として
設計されている。具体的には、後述する要素プロセッサ
220を複数備え且つこれを並行して動作させること
で、これを実現している。また、各要素プロセッサ22
0へ個別にデータを送信するのではなく、一括してデー
タを配信(あるいは、同報通信)するようになってい
る。
施の形態1における画像データ処理部150に相当する
役割を果たすものである。先に述べたとおり、パラメト
リック固有空間法を適用するにあたっては膨大な量の演
算をおこなう必要がある。この画像データ処理ユニット
200は、この演算を高速に実行することを主眼として
設計されている。具体的には、後述する要素プロセッサ
220を複数備え且つこれを並行して動作させること
で、これを実現している。また、各要素プロセッサ22
0へ個別にデータを送信するのではなく、一括してデー
タを配信(あるいは、同報通信)するようになってい
る。
【0118】画像データ処理ユニット200は、具体的
には図10に示したとおり、メモリ210と、データ配
信部215と、要素プロセッサ220(1)〜(n)
と、シーケンサ230と、ベクトル間演算器240とを
備えて構成されている。さらには、これらを互いにつな
ぐ伝送路251,252,253,254を備えてい
る。以下、要素プロセッサ220(1)〜(n)につい
ては、特に区別する必要がない限り、単に、要素プロセ
ッサ220と記す場合がある。図面の記載も同様であ
る。
には図10に示したとおり、メモリ210と、データ配
信部215と、要素プロセッサ220(1)〜(n)
と、シーケンサ230と、ベクトル間演算器240とを
備えて構成されている。さらには、これらを互いにつな
ぐ伝送路251,252,253,254を備えてい
る。以下、要素プロセッサ220(1)〜(n)につい
ては、特に区別する必要がない限り、単に、要素プロセ
ッサ220と記す場合がある。図面の記載も同様であ
る。
【0119】メモリ210は、識別処理に必要な各種デ
ータを記憶するためのものであり、実施の形態1(図
2)における登録データ保持部151に相当する役割を
果たすものであり、上述した基礎情報テーブル1510
(図3)に相当する情報が格納されている。この実施の
形態でも、実施の形態1と同様に、3種類の固有ベクト
ルA,B,C等が格納されているものとする。これらの
情報を必要に応じて書き換えることで、様々な識別対象
物の識別に対応可能である。なお、メモリ210は書き
換え可能なメモリで構成されている。識別処理時には、
このメモリ210に格納されている固有ベクトルA,
B,Cが順次、伝送路251を通じて各要素プロセッサ
220へと一斉に配信されるようになっている。伝送路
251には、このような配信(同報通信)が可能な構成
が採用されていることは言うまでもない。また、登録特
徴ベクトルは、伝送路252を通じてベクトル間演算器
240へと送られるようになっている。
ータを記憶するためのものであり、実施の形態1(図
2)における登録データ保持部151に相当する役割を
果たすものであり、上述した基礎情報テーブル1510
(図3)に相当する情報が格納されている。この実施の
形態でも、実施の形態1と同様に、3種類の固有ベクト
ルA,B,C等が格納されているものとする。これらの
情報を必要に応じて書き換えることで、様々な識別対象
物の識別に対応可能である。なお、メモリ210は書き
換え可能なメモリで構成されている。識別処理時には、
このメモリ210に格納されている固有ベクトルA,
B,Cが順次、伝送路251を通じて各要素プロセッサ
220へと一斉に配信されるようになっている。伝送路
251には、このような配信(同報通信)が可能な構成
が採用されていることは言うまでもない。また、登録特
徴ベクトルは、伝送路252を通じてベクトル間演算器
240へと送られるようになっている。
【0120】データ配信部215は、正規化部140a
によって正規化が施された後の包含領域のデータを、伝
送路253を通じて各要素プロセッサ220へと送信す
るものである。この送信は、各要素プロセッサ220へ
同じデータを一斉に配信(あるいは、同報通信)するこ
とでおこなうようになっている。伝送路253には、こ
のような配信(同報通信)が可能な構成が採用されてい
ることは言うまでもない。この配信は、正規化部140
aから入力されたデータの全体(つまり、包含領域全
体)を順次走査するようにしておこなわれる構成となっ
ている。
によって正規化が施された後の包含領域のデータを、伝
送路253を通じて各要素プロセッサ220へと送信す
るものである。この送信は、各要素プロセッサ220へ
同じデータを一斉に配信(あるいは、同報通信)するこ
とでおこなうようになっている。伝送路253には、こ
のような配信(同報通信)が可能な構成が採用されてい
ることは言うまでもない。この配信は、正規化部140
aから入力されたデータの全体(つまり、包含領域全
体)を順次走査するようにしておこなわれる構成となっ
ている。
【0121】要素プロセッサ220は、パラメトリック
固有空間法を用いた識別処理に特化したプロセッサであ
り、主に実施の形態1(図2)における圧縮処理部15
2に相当する役割を果たすものである。図面上明らかで
はないが、要素プロセッサ220は、内部に複数段のパ
イプライン構成を採用することで、処理速度の高速化を
図っている。また、要素プロセッサ220は、個別対象
領域の種類に応じた個数分が用意されている。そして、
各要素プロセッサ220のそれぞれが、いずれか一つの
個別対象領域の処理を担当するようになっている。つま
り、要素プロセッサ220(1)は、ある個別対象領域
に由来したデータを、また、要素プロセッサ220
(2)は他の個別対象領域に由来したデータを処理する
ようになっている。したがって、この実施の形態では、
n種類の個別対象領域に対する識別処理を並行して処理
可能である。
固有空間法を用いた識別処理に特化したプロセッサであ
り、主に実施の形態1(図2)における圧縮処理部15
2に相当する役割を果たすものである。図面上明らかで
はないが、要素プロセッサ220は、内部に複数段のパ
イプライン構成を採用することで、処理速度の高速化を
図っている。また、要素プロセッサ220は、個別対象
領域の種類に応じた個数分が用意されている。そして、
各要素プロセッサ220のそれぞれが、いずれか一つの
個別対象領域の処理を担当するようになっている。つま
り、要素プロセッサ220(1)は、ある個別対象領域
に由来したデータを、また、要素プロセッサ220
(2)は他の個別対象領域に由来したデータを処理する
ようになっている。したがって、この実施の形態では、
n種類の個別対象領域に対する識別処理を並行して処理
可能である。
【0122】実際の要素プロセッサ220は、図10に
示したとおり、データ受信コントローラ部221と、切
出画像格納メモリ222と、乗算器223および加算器
224を備えて構成されている。
示したとおり、データ受信コントローラ部221と、切
出画像格納メモリ222と、乗算器223および加算器
224を備えて構成されている。
【0123】データ受信コントローラ部221は、デー
タ配信部215から伝送路253を通じて送信(配信)
されてくるデータを、あらかじめ定められた期間中だけ
取り込むものである。この期間は、そのデータ受信コン
トローラ部221が属する要素プロセッサ220ごとに
異なった期間が設定されている。つまり、この取り込み
期間を互いに異なったものとしておくことで、各データ
受信コントローラ部221は自らが属している要素プロ
セッサ220が担当している個別対象領域のデータだけ
を取り込むようになっている。取り込むタイミングは、
シーケンサ230を介して、主制御部170によって指
定されるようになっている。
タ配信部215から伝送路253を通じて送信(配信)
されてくるデータを、あらかじめ定められた期間中だけ
取り込むものである。この期間は、そのデータ受信コン
トローラ部221が属する要素プロセッサ220ごとに
異なった期間が設定されている。つまり、この取り込み
期間を互いに異なったものとしておくことで、各データ
受信コントローラ部221は自らが属している要素プロ
セッサ220が担当している個別対象領域のデータだけ
を取り込むようになっている。取り込むタイミングは、
シーケンサ230を介して、主制御部170によって指
定されるようになっている。
【0124】切出画像格納メモリ222は、データ受信
コントローラ部221によって取り込まれた画像データ
を保持するためのメモリである。以下、この実施の形態
6では、各要素プロセッサ220によって取り込まれ
て、この切出画像格納メモリ222に保持されているデ
ータを「識別対象データ」と呼ぶことがある。
コントローラ部221によって取り込まれた画像データ
を保持するためのメモリである。以下、この実施の形態
6では、各要素プロセッサ220によって取り込まれ
て、この切出画像格納メモリ222に保持されているデ
ータを「識別対象データ」と呼ぶことがある。
【0125】乗算器223および加算器224は、切出
画像格納メモリ222に保持されている画像データ(識
別対象データ)と、メモリ210から入力される固有ベ
クトルとの内積を実行するためのものである。この乗算
器223および加算器224は、演算結果(すなわち、
個別対象領域について特徴ベクトル)を、ベクトル間演
算器240へと出力する構成となっている。
画像格納メモリ222に保持されている画像データ(識
別対象データ)と、メモリ210から入力される固有ベ
クトルとの内積を実行するためのものである。この乗算
器223および加算器224は、演算結果(すなわち、
個別対象領域について特徴ベクトル)を、ベクトル間演
算器240へと出力する構成となっている。
【0126】シーケンサ230は、伝送路254を通じ
て各要素プロセッサ220の動作を制御するためのもの
である。このシーケンサ230は、主制御部170から
の指示にしたがって動作するように構成されている。つ
まり、各部の設定は、主制御部170からの指示に基づ
いてこのシーケンサ230によってなされる構成となっ
ている。
て各要素プロセッサ220の動作を制御するためのもの
である。このシーケンサ230は、主制御部170から
の指示にしたがって動作するように構成されている。つ
まり、各部の設定は、主制御部170からの指示に基づ
いてこのシーケンサ230によってなされる構成となっ
ている。
【0127】ベクトル間演算器240は、図2における
照合処理部153に相当する役割を果たすものである。
ベクトル間演算器240は、各要素プロセッサ220か
ら入力される特徴ベクトルそれぞれについての指標値を
求めるようになっている。先に述べたとおりこの指標値
とは、具体的には、要素プロセッサ220から入力され
た特徴ベクトル(点)と、メモリ210に格納されてい
る登録特徴ベクトルとの固有空間上における距離であ
る。ベクトル間演算器240は、求めた指標値を類似性
判定部160へと出力している。
照合処理部153に相当する役割を果たすものである。
ベクトル間演算器240は、各要素プロセッサ220か
ら入力される特徴ベクトルそれぞれについての指標値を
求めるようになっている。先に述べたとおりこの指標値
とは、具体的には、要素プロセッサ220から入力され
た特徴ベクトル(点)と、メモリ210に格納されてい
る登録特徴ベクトルとの固有空間上における距離であ
る。ベクトル間演算器240は、求めた指標値を類似性
判定部160へと出力している。
【0128】特許請求の範囲における請求項9,10
は、この実施の形態6に対応するものである。これらの
請求項における「固有ベクトル記憶部」とは、この実施
の形態6においてはメモリ210に相当する。「配信
部」とは、データ配信部215などによって実現されて
いる。「演算部」とは、要素プロセッサ220に相当す
る。「特徴ベクトル記憶部」とは、メモリ210に相当
する。「位置関係確認部」とは、ベクトル間演算器24
0に相当する。「判定部」とは類似性判定部160に相
当する。ただし、上記各部は互いに密接に連係して動作
しており、ここで述べた対応関係は厳密なものではな
い。
は、この実施の形態6に対応するものである。これらの
請求項における「固有ベクトル記憶部」とは、この実施
の形態6においてはメモリ210に相当する。「配信
部」とは、データ配信部215などによって実現されて
いる。「演算部」とは、要素プロセッサ220に相当す
る。「特徴ベクトル記憶部」とは、メモリ210に相当
する。「位置関係確認部」とは、ベクトル間演算器24
0に相当する。「判定部」とは類似性判定部160に相
当する。ただし、上記各部は互いに密接に連係して動作
しており、ここで述べた対応関係は厳密なものではな
い。
【0129】次に動作を図9、図10、図11および図
12を用いて説明する。なお、図11には、切り出し領
域(個別対象領域)を3種類作成する例を示している。
またこれにあわせて、図12には要素プロセッサ220
を3個備えている場合についての例を示している。
12を用いて説明する。なお、図11には、切り出し領
域(個別対象領域)を3種類作成する例を示している。
またこれにあわせて、図12には要素プロセッサ220
を3個備えている場合についての例を示している。
【0130】カメラ110は識別対象物を撮影し、その
画像データ(原画像)を画像メモリ120へと格納す
る。一方、領域生成部125は、あらかじめ用意された
初期値P0(x0,y0)、S0(w,h)に基づいて様々
な切り出し領域(個別対象領域)を生成する。そして生
成した切り出し領域を示す情報Pij、Smを切り出し部
130aへと出力する。
画像データ(原画像)を画像メモリ120へと格納す
る。一方、領域生成部125は、あらかじめ用意された
初期値P0(x0,y0)、S0(w,h)に基づいて様々
な切り出し領域(個別対象領域)を生成する。そして生
成した切り出し領域を示す情報Pij、Smを切り出し部
130aへと出力する。
【0131】切り出し部130aは、領域生成部125
から指示された切り出し領域(個別対象領域)のすべて
を含んだ領域(包含領域)を、画像メモリ120に格納
された原画像から切り出す。そして、この切り出した領
域の画像データを、正規化部140aへと出力する。た
とえば、図11の例では、原画像Rから、個別対象領域
Rs(1)〜(3)全体を含む包含領域Riを切り出
す。
から指示された切り出し領域(個別対象領域)のすべて
を含んだ領域(包含領域)を、画像メモリ120に格納
された原画像から切り出す。そして、この切り出した領
域の画像データを、正規化部140aへと出力する。た
とえば、図11の例では、原画像Rから、個別対象領域
Rs(1)〜(3)全体を含む包含領域Riを切り出
す。
【0132】正規化部140aは、切り出し部130a
から入力された画像データに対して正規化を施す。この
正規化は、切り出し部130aから入力された画像デー
タに含まれている個別対象領域のそれぞれが、登録画像
と一致した大きさとなるようにおこなう。そして、この
正規化を施した後のデータを画像データ処理ユニット2
00へと出力する。
から入力された画像データに対して正規化を施す。この
正規化は、切り出し部130aから入力された画像デー
タに含まれている個別対象領域のそれぞれが、登録画像
と一致した大きさとなるようにおこなう。そして、この
正規化を施した後のデータを画像データ処理ユニット2
00へと出力する。
【0133】画像データ処理ユニット200のデータ配
信部215は、正規化部140aから入力された画像デ
ータの全体(つまり、正規化した後での包含領域Ri)
を走査し(図12参照)、伝送路253を通じて各要素
プロセッサ220へと一斉に送信(配信)する。なお、
図12においては、この走査を包含領域Ri中に矢印で
示した。
信部215は、正規化部140aから入力された画像デ
ータの全体(つまり、正規化した後での包含領域Ri)
を走査し(図12参照)、伝送路253を通じて各要素
プロセッサ220へと一斉に送信(配信)する。なお、
図12においては、この走査を包含領域Ri中に矢印で
示した。
【0134】このとき、各要素プロセッサ220のデー
タ受信コントローラ部221は、このようにして送信
(配信)されてくるデータをあらかじめ定められた期間
中だけ取り込み、切出画像格納メモリ222に保持させ
る。このようにして、各データ受信コントローラ部22
1は自らが属している要素プロセッサ220が担当して
いる個別対象領域Rsに由来するデータだけを取り込む
ことができる(図12参照)。
タ受信コントローラ部221は、このようにして送信
(配信)されてくるデータをあらかじめ定められた期間
中だけ取り込み、切出画像格納メモリ222に保持させ
る。このようにして、各データ受信コントローラ部22
1は自らが属している要素プロセッサ220が担当して
いる個別対象領域Rsに由来するデータだけを取り込む
ことができる(図12参照)。
【0135】一方これと並行して、各要素プロセッサ2
20へは、メモリ210に格納されている固有ベクトル
A,B,Cが、順次、伝送路251を通じて送信されて
くる。
20へは、メモリ210に格納されている固有ベクトル
A,B,Cが、順次、伝送路251を通じて送信されて
くる。
【0136】乗算器223および加算器224は、切出
画像格納メモリ222に保持されている画像データ(識
別対象データ)と、メモリ210から入力される固有ベ
クトルA,B,Cとの内積を実行することで、この識別
対象データについての特徴ベクトルを求める。そして、
求めた特徴ベクトルを、ベクトル間演算器240へと出
力する。
画像格納メモリ222に保持されている画像データ(識
別対象データ)と、メモリ210から入力される固有ベ
クトルA,B,Cとの内積を実行することで、この識別
対象データについての特徴ベクトルを求める。そして、
求めた特徴ベクトルを、ベクトル間演算器240へと出
力する。
【0137】以上のようにして、要素プロセッサ220
(1)〜(n)は、互いに異なる個別対象領域について
のデータを互いに並行して処理することができる。
(1)〜(n)は、互いに異なる個別対象領域について
のデータを互いに並行して処理することができる。
【0138】なお、以上の一連の要素プロセッサ220
の動作は、伝送路254を通じてシーケンサ230によ
って制御されている。
の動作は、伝送路254を通じてシーケンサ230によ
って制御されている。
【0139】つづいて、ベクトル間演算器240は、各
要素プロセッサ220から入力される特徴ベクトルと、
登録特徴ベクトルとの、固有空間上での距離(指標値)
を求める。そして、求めた指標値を類似性判定部160
へと出力する。
要素プロセッサ220から入力される特徴ベクトルと、
登録特徴ベクトルとの、固有空間上での距離(指標値)
を求める。そして、求めた指標値を類似性判定部160
へと出力する。
【0140】類似性判定部160は、このようにして求
められた指標値の大きさを判定する。そして、この判定
結果に基づいて、原画像に写っていた車両の位置、姿
勢、サイズを決定する。
められた指標値の大きさを判定する。そして、この判定
結果に基づいて、原画像に写っていた車両の位置、姿
勢、サイズを決定する。
【0141】以上説明したとおりこの実施の形態6によ
れば、複数の個別対象領域についてのデータを互いに並
行して処理することができる。したがって、パラメトリ
ック固有空間法に基づいた画像識別処理を高速に実行す
ることができる。したがって、識別処理を短時間で完了
することができる。逆に、処理時間を一定にして考えた
場合には、より大量のデータ処理(すなわち、よりきめ
細かな識別処理)をおこなうことができるため、高い識
別精度を実現可能である。
れば、複数の個別対象領域についてのデータを互いに並
行して処理することができる。したがって、パラメトリ
ック固有空間法に基づいた画像識別処理を高速に実行す
ることができる。したがって、識別処理を短時間で完了
することができる。逆に、処理時間を一定にして考えた
場合には、より大量のデータ処理(すなわち、よりきめ
細かな識別処理)をおこなうことができるため、高い識
別精度を実現可能である。
【0142】[実施の形態7]この実施の形態7の画像
識別装置は、パラメトリック固有空間法に適した構成の
ハードウエア(画像データ処理ユニット200a)を備
えたことで、識別処理を高速に実行可能にしたものであ
る。特に、一つの個別対象領域についてのデータを、複
数の要素プロセッサ220a(1)〜(n)によって分
担し並行して処理することを主な特徴とするものであ
る。以下、詳細に説明する。
識別装置は、パラメトリック固有空間法に適した構成の
ハードウエア(画像データ処理ユニット200a)を備
えたことで、識別処理を高速に実行可能にしたものであ
る。特に、一つの個別対象領域についてのデータを、複
数の要素プロセッサ220a(1)〜(n)によって分
担し並行して処理することを主な特徴とするものであ
る。以下、詳細に説明する。
【0143】この実施の形態における画像識別装置にお
ける画像データ処理ユニット200aを、図13を用い
て説明する。これ以降の説明は、実施の形態6との相違
点を中心におこなう。実施の形態6(図10)と同様の
機能、構成を有する部分には同一の符号を付して説明を
省略する。
ける画像データ処理ユニット200aを、図13を用い
て説明する。これ以降の説明は、実施の形態6との相違
点を中心におこなう。実施の形態6(図10)と同様の
機能、構成を有する部分には同一の符号を付して説明を
省略する。
【0144】ここでは、登録画像群に対してn個の固有
ベクトルV(1)〜(n)が求められているものとする
(図1参照)。以下、各固有ベクトルV(1)〜(n)
を区別する必要がない場合には、これらを区別すること
なく固有ベクトルVと記す場合がある。
ベクトルV(1)〜(n)が求められているものとする
(図1参照)。以下、各固有ベクトルV(1)〜(n)
を区別する必要がない場合には、これらを区別すること
なく固有ベクトルVと記す場合がある。
【0145】この実施の形態では識別に用いられる固有
ベクトルの個数分(ここではn個)の要素プロセッサ2
20aを備えている。また、この実施の形態の要素プロ
セッサ220a(1)〜(n)は、固有ベクトルメモリ
225(1)〜(n)を備えている。以下、各固有ベク
トルメモリ225(1)〜(n)を区別する必要がない
場合には、これらを区別することなく固有ベクトルメモ
リ225と記す場合がある。
ベクトルの個数分(ここではn個)の要素プロセッサ2
20aを備えている。また、この実施の形態の要素プロ
セッサ220a(1)〜(n)は、固有ベクトルメモリ
225(1)〜(n)を備えている。以下、各固有ベク
トルメモリ225(1)〜(n)を区別する必要がない
場合には、これらを区別することなく固有ベクトルメモ
リ225と記す場合がある。
【0146】固有ベクトルメモリ225には、識別処理
の実行前にあらかじめメモリ210から伝送路251を
通じて固有ベクトルVが転送されて、保持されるように
なっている。この場合、固有ベクトル225(1)〜
(n)は、互いに異なる固有ベクトルVが転送、保持さ
れるようになっている。
の実行前にあらかじめメモリ210から伝送路251を
通じて固有ベクトルVが転送されて、保持されるように
なっている。この場合、固有ベクトル225(1)〜
(n)は、互いに異なる固有ベクトルVが転送、保持さ
れるようになっている。
【0147】また、データ受信コントローラ部221a
(1)〜(n)は、互いに同じ期間にデータを取り込む
ように設定されている。つまり、互いに同じ個別対象領
域のデータを取り込むように設定されている。なお、こ
の設定は、主制御部170による制御の下、シーケンサ
230によってなされる。
(1)〜(n)は、互いに同じ期間にデータを取り込む
ように設定されている。つまり、互いに同じ個別対象領
域のデータを取り込むように設定されている。なお、こ
の設定は、主制御部170による制御の下、シーケンサ
230によってなされる。
【0148】ベクトル間演算器240aは、要素プロセ
ッサ220a(1)〜(n)から一斉に出力されてくる
演算結果(n個のスカラー値)を一つにまとめこれを一
つの特徴ベクトルとして扱うように構成されている。こ
のようにして得られた特徴ベクトルのそれぞれについ
て、固有空間上での登録特徴ベクトルとの距離を求める
点は実施の形態6と同様である。
ッサ220a(1)〜(n)から一斉に出力されてくる
演算結果(n個のスカラー値)を一つにまとめこれを一
つの特徴ベクトルとして扱うように構成されている。こ
のようにして得られた特徴ベクトルのそれぞれについ
て、固有空間上での登録特徴ベクトルとの距離を求める
点は実施の形態6と同様である。
【0149】特許請求の範囲における請求項11,12
は、この実施の形態7に対応するものである。これらの
請求項における「固有ベクトル記憶部」とは、この実施
の形態7においては、メモリ210に相当する。「配信
部」とは、データ配信部215等によって実現されてい
る。「演算部」とは、要素プロセッサ220aに相当す
る。「特徴ベクトル記憶部」とは、メモリ210に相当
する。「位置関係確認部」とは、ベクトル間演算器24
0aに相当する。「判定部」とは、類似性判定部160
に相当する。ただし、上記各部は互いに密接に連係して
動作しており、ここで述べた対応関係は厳密なものでは
ない。
は、この実施の形態7に対応するものである。これらの
請求項における「固有ベクトル記憶部」とは、この実施
の形態7においては、メモリ210に相当する。「配信
部」とは、データ配信部215等によって実現されてい
る。「演算部」とは、要素プロセッサ220aに相当す
る。「特徴ベクトル記憶部」とは、メモリ210に相当
する。「位置関係確認部」とは、ベクトル間演算器24
0aに相当する。「判定部」とは、類似性判定部160
に相当する。ただし、上記各部は互いに密接に連係して
動作しており、ここで述べた対応関係は厳密なものでは
ない。
【0150】次に動作を説明する。カメラ110による
撮影から、正規化部140aによる処理に至るまでの処
理動作は、実施の形態6と同様である。
撮影から、正規化部140aによる処理に至るまでの処
理動作は、実施の形態6と同様である。
【0151】画像データ処理ユニット200aのデータ
配信部215は、正規化部140aから入力された画像
データの全体(つまり、正規化した後での包含領域R
i)を走査し、伝送路253を通じて各要素プロセッサ
220aへと一斉に送信(配信)する。
配信部215は、正規化部140aから入力された画像
データの全体(つまり、正規化した後での包含領域R
i)を走査し、伝送路253を通じて各要素プロセッサ
220aへと一斉に送信(配信)する。
【0152】このとき、各データ受信コントローラ部2
21aは、このようにして送信(配信)されてくるデー
タをあらかじめ定められた期間中だけ取り込み、切出画
像格納メモリ222に保持させる。この場合、各データ
受信コントローラ部221aがデータを取り込む期間は
互いに同じにされている。したがって各データ受信コン
トローラ部221aは互いに同じ個別対象領域のデータ
を取り込むことになる。
21aは、このようにして送信(配信)されてくるデー
タをあらかじめ定められた期間中だけ取り込み、切出画
像格納メモリ222に保持させる。この場合、各データ
受信コントローラ部221aがデータを取り込む期間は
互いに同じにされている。したがって各データ受信コン
トローラ部221aは互いに同じ個別対象領域のデータ
を取り込むことになる。
【0153】ところで、識別処理の開始に先駆けて、各
固有ベクトルメモリ225には、メモリ210から固有
ベクトルVが転送されている。各固有ベクトルメモリ2
25には互いに異なる固有ベクトルVが保持されてい
る。つまり、識別処理の際には、固有ベクトルメモリ2
25(1)には固有ベクトルV(1)が、また、固有ベ
クトルメモリ225(2)には固有ベクトルV(2)
が、さらには、固有ベクトルメモリ225(n)には固
有ベクトルV(n)が保持されている。この固有ベクト
ルVの転送は、識別処理の開始前に1回おこなっておく
だけでよい。
固有ベクトルメモリ225には、メモリ210から固有
ベクトルVが転送されている。各固有ベクトルメモリ2
25には互いに異なる固有ベクトルVが保持されてい
る。つまり、識別処理の際には、固有ベクトルメモリ2
25(1)には固有ベクトルV(1)が、また、固有ベ
クトルメモリ225(2)には固有ベクトルV(2)
が、さらには、固有ベクトルメモリ225(n)には固
有ベクトルV(n)が保持されている。この固有ベクト
ルVの転送は、識別処理の開始前に1回おこなっておく
だけでよい。
【0154】各要素プロセッサ220aの乗算器223
および加算器224は、切出画像格納メモリ222に保
持されている画像データ(識別対象データ)と、固有ベ
クトルメモリ225に格納されている固有ベクトルVと
の内積を実行する。そして、その演算結果(スカラー
値)を、ベクトル間演算器240aへと出力する。
および加算器224は、切出画像格納メモリ222に保
持されている画像データ(識別対象データ)と、固有ベ
クトルメモリ225に格納されている固有ベクトルVと
の内積を実行する。そして、その演算結果(スカラー
値)を、ベクトル間演算器240aへと出力する。
【0155】以上のようにして、要素プロセッサ220
a(1)〜(n)は、一つの個別対象領域についてのデ
ータ処理を演算に使用する固有ベクトルごとに分担し並
行して処理することができる。
a(1)〜(n)は、一つの個別対象領域についてのデ
ータ処理を演算に使用する固有ベクトルごとに分担し並
行して処理することができる。
【0156】つづいて、ベクトル間演算器240aは、
各要素プロセッサ220a(1)〜(n)から入力され
るn個の演算結果(スカラー値)をまとめることで、こ
れを一つの特徴ベクトルとして扱う。そして、この特徴
ベクトルと、登録特徴ベクトルとの、固有空間上での距
離(指標値)を求める。そして、求めた指標値を類似性
判定部160へと出力する。
各要素プロセッサ220a(1)〜(n)から入力され
るn個の演算結果(スカラー値)をまとめることで、こ
れを一つの特徴ベクトルとして扱う。そして、この特徴
ベクトルと、登録特徴ベクトルとの、固有空間上での距
離(指標値)を求める。そして、求めた指標値を類似性
判定部160へと出力する。
【0157】類似性判定部160は、このようにして求
められた指標値の大きさを判定する。そして、この判定
結果に基づいて、原画像に写っていた車両の位置、姿
勢、サイズを決定する。
められた指標値の大きさを判定する。そして、この判定
結果に基づいて、原画像に写っていた車両の位置、姿
勢、サイズを決定する。
【0158】以上説明したとおりこの実施の形態7によ
れば、一つの個別対象領域についてのデータを、複数の
要素プロセッサ220aによって分担し並行して処理す
ることができる。したがって、パラメトリック固有空間
法に基づいた画像識別処理を高速に実行することができ
る。したがって、識別処理を短時間で完了することがで
きる。逆に、処理時間を一定にして考えた場合には、よ
り大量のデータ処理(すなわち、よりきめ細かな識別処
理)をおこなうことができるため、高い識別精度を実現
可能である。
れば、一つの個別対象領域についてのデータを、複数の
要素プロセッサ220aによって分担し並行して処理す
ることができる。したがって、パラメトリック固有空間
法に基づいた画像識別処理を高速に実行することができ
る。したがって、識別処理を短時間で完了することがで
きる。逆に、処理時間を一定にして考えた場合には、よ
り大量のデータ処理(すなわち、よりきめ細かな識別処
理)をおこなうことができるため、高い識別精度を実現
可能である。
【0159】上述した実施の形態7では各要素プロセッ
サ220aが固有ベクトルメモリ225を備えているた
め、固有ベクトルを各要素プロセッサ220aへあらか
じめ転送、保持させておくことができる。したがって、
伝送路251等についての仕様上の制限(特に、転送速
度、同報通信の必要性)が少なく設計が容易である。
サ220aが固有ベクトルメモリ225を備えているた
め、固有ベクトルを各要素プロセッサ220aへあらか
じめ転送、保持させておくことができる。したがって、
伝送路251等についての仕様上の制限(特に、転送速
度、同報通信の必要性)が少なく設計が容易である。
【0160】この実施の形態7では、各要素プロセッサ
220aへのデータの配信は、実施の形態6と同様に行
っていた。つまり、データ配信部215は包含領域Ri
全体を走査するように配信を行っていた(図12)。し
かし、この実施の形態7における要素プロセッサ220
aは、一つの個別対象領域についての処理を互いに分担
し並行して行っている。このような処理方式では、その
とき処理対象となっている個別対象領域以外のデータ部
分は、いずれの要素プロセッサ220aでも不要であ
る。したがって、データ配信部215によるデータの配
信は、そのとき処理対象とされている個別対象領域につ
いてだけおこなうようにしてもよい。このようにすれ
ば、不要なデータまで配信する必要がないため、処理速
度のさらなる高速化が可能である。
220aへのデータの配信は、実施の形態6と同様に行
っていた。つまり、データ配信部215は包含領域Ri
全体を走査するように配信を行っていた(図12)。し
かし、この実施の形態7における要素プロセッサ220
aは、一つの個別対象領域についての処理を互いに分担
し並行して行っている。このような処理方式では、その
とき処理対象となっている個別対象領域以外のデータ部
分は、いずれの要素プロセッサ220aでも不要であ
る。したがって、データ配信部215によるデータの配
信は、そのとき処理対象とされている個別対象領域につ
いてだけおこなうようにしてもよい。このようにすれ
ば、不要なデータまで配信する必要がないため、処理速
度のさらなる高速化が可能である。
【0161】上述した実施の形態7と実施の形態6との
構成を組み合わせてもかまわない。つまり、複数の要素
プロセッサを複数のグループに分け、グループごとに異
なる個別対象領域を担当するようにしてもよい。この場
合、同じグループに属する要素プロセッサは互いに同じ
個別対象領域のデータを分担して処理することになる。
各要素プロセッサへの固有ベクトルの転送、保持も、こ
れにあわせておこなうことになる。つまり、同じグルー
プに属する要素プロセッサについては、互いに異なる固
有ベクトルを転送等させることになる。当然、ベクトル
間演算器もこれに対応した構成(つまり、実施の形態6
と実施の形態7との両方に対応した構成)を採用するこ
とになる。
構成を組み合わせてもかまわない。つまり、複数の要素
プロセッサを複数のグループに分け、グループごとに異
なる個別対象領域を担当するようにしてもよい。この場
合、同じグループに属する要素プロセッサは互いに同じ
個別対象領域のデータを分担して処理することになる。
各要素プロセッサへの固有ベクトルの転送、保持も、こ
れにあわせておこなうことになる。つまり、同じグルー
プに属する要素プロセッサについては、互いに異なる固
有ベクトルを転送等させることになる。当然、ベクトル
間演算器もこれに対応した構成(つまり、実施の形態6
と実施の形態7との両方に対応した構成)を採用するこ
とになる。
【0162】これまでに述べた実施の形態1〜7は、い
ずれもパラメトリック固有空間法のみを適用した画像識
別装置であった。しかし、どのような状況下においても
パラメトリック固有空間法が最も優れた識別結果を得ら
れるとは限らない。場合によっては、従来技術の方が優
れた結果が得られる場合もある。たとえば、識別対象物
の特徴がはっきりしている場合には、撮影された画像か
ら特徴を抽出し、この抽出した特徴データに基づいて画
像を識別する技術の方が優れている場合もある。したが
って、パラメトリック固有空間法による識別処理と、特
徴抽出による識別処理とを組み合わせてもよい。
ずれもパラメトリック固有空間法のみを適用した画像識
別装置であった。しかし、どのような状況下においても
パラメトリック固有空間法が最も優れた識別結果を得ら
れるとは限らない。場合によっては、従来技術の方が優
れた結果が得られる場合もある。たとえば、識別対象物
の特徴がはっきりしている場合には、撮影された画像か
ら特徴を抽出し、この抽出した特徴データに基づいて画
像を識別する技術の方が優れている場合もある。したが
って、パラメトリック固有空間法による識別処理と、特
徴抽出による識別処理とを組み合わせてもよい。
【0163】この組み合わせ方には、基本的には図14
に示すような直列的に組み合わせと、図15に示すよう
な並列的な組み合わせ方とが考えられる。直列的に組み
合わせる手法(図14)では、まず、特徴抽出による識
別処理によって識別結果の候補(あるいは、範囲)をあ
る程度を絞り込み、その後、パラメトリック固有空間法
による識別部によって最終的な結論を出すことになる。
一方、並列的な組み合わせでは、識別対象などに応じて
両者を使い分ける。実際には、この直列的な使用法と、
並列的な使用法とを組み合わせてもよい。なお、図1
4,図15では、特徴抽出による識別部を使用していた
が、これ以外の他の手法による識別処理部をパラメトリ
ック固有空間法による識別部と組み合わせてもよい。
に示すような直列的に組み合わせと、図15に示すよう
な並列的な組み合わせ方とが考えられる。直列的に組み
合わせる手法(図14)では、まず、特徴抽出による識
別処理によって識別結果の候補(あるいは、範囲)をあ
る程度を絞り込み、その後、パラメトリック固有空間法
による識別部によって最終的な結論を出すことになる。
一方、並列的な組み合わせでは、識別対象などに応じて
両者を使い分ける。実際には、この直列的な使用法と、
並列的な使用法とを組み合わせてもよい。なお、図1
4,図15では、特徴抽出による識別部を使用していた
が、これ以外の他の手法による識別処理部をパラメトリ
ック固有空間法による識別部と組み合わせてもよい。
【0164】本発明を実際に実施するにあたっては、上
述した実施の形態1〜7、さらには、その変形例として
述べた様々な構成をそのまま採用する必要はない。目的
が達成される範囲内において、これらの構成のうちの一
部だけを採用してもかまわない。また、適宜組み合わせ
て構成してもよいことは言うまでもない。
述した実施の形態1〜7、さらには、その変形例として
述べた様々な構成をそのまま採用する必要はない。目的
が達成される範囲内において、これらの構成のうちの一
部だけを採用してもかまわない。また、適宜組み合わせ
て構成してもよいことは言うまでもない。
【0165】
【発明の効果】以上説明したように、この発明の画像識
別装置、画像データ処理装置では、迅速且つ高精度な識
別処理などが可能である。より詳細には以下の通りであ
る。
別装置、画像データ処理装置では、迅速且つ高精度な識
別処理などが可能である。より詳細には以下の通りであ
る。
【0166】請求項1に記載の発明では、原画像のうち
の所望の領域だけを対象として識別処理をおこなうこと
ができる。したがって、切り出す領域を最適に決定する
ことで、識別処理の精度を高めることができる。
の所望の領域だけを対象として識別処理をおこなうこと
ができる。したがって、切り出す領域を最適に決定する
ことで、識別処理の精度を高めることができる。
【0167】請求項2に記載の発明では、初期値に基づ
いて決定される複数の領域のそれぞれに対して、識別処
理をおこなうことができる。したがって、識別処理によ
り適した領域について、識別処理をおこなうことのでき
る可能性が高い。つまり、より高い識別精度が期待でき
る。
いて決定される複数の領域のそれぞれに対して、識別処
理をおこなうことができる。したがって、識別処理によ
り適した領域について、識別処理をおこなうことのでき
る可能性が高い。つまり、より高い識別精度が期待でき
る。
【0168】請求項3に記載の発明では、実際の識別対
象物の位置を確認した上で、領域を決定しているため、
識別処理により適した領域を切り出すことができる。つ
まり、より高い識別精度が期待できる。
象物の位置を確認した上で、領域を決定しているため、
識別処理により適した領域を切り出すことができる。つ
まり、より高い識別精度が期待できる。
【0169】請求項4に記載の発明では、撮影されたタ
イミングが異なる複数枚の画像に基づいて識別対象物の
位置を検出しているため、タイミングによって位置が異
なっている識別対象物(すなわち、動体)の位置を検出
するのに適している。したがって、識別対象物が動体で
ある場合に、高い識別精度が期待できる。
イミングが異なる複数枚の画像に基づいて識別対象物の
位置を検出しているため、タイミングによって位置が異
なっている識別対象物(すなわち、動体)の位置を検出
するのに適している。したがって、識別対象物が動体で
ある場合に、高い識別精度が期待できる。
【0170】請求項5に記載の発明では、赤外線カメラ
の撮影データに基づいて(つまり、温度の違いに基づい
て)、識別対象物の位置を検出している。したがって、
背景部分と識別対象物との温度の差が大きいような状態
で使用された場合に、高い識別精度が期待できる。
の撮影データに基づいて(つまり、温度の違いに基づい
て)、識別対象物の位置を検出している。したがって、
背景部分と識別対象物との温度の差が大きいような状態
で使用された場合に、高い識別精度が期待できる。
【0171】請求項6に記載の発明では、固有ベクト
ル、固有空間等に基づいた画像識別処理をおこなうこと
ができる。このような手法における画像識別処理におい
ては、識別処理の対象とする領域の選定が重要であるた
め、原画像から切り出す領域を決定するための上述した
様々な構成と組み合わせることによる効果が特に大き
い。
ル、固有空間等に基づいた画像識別処理をおこなうこと
ができる。このような手法における画像識別処理におい
ては、識別処理の対象とする領域の選定が重要であるた
め、原画像から切り出す領域を決定するための上述した
様々な構成と組み合わせることによる効果が特に大き
い。
【0172】請求項7に記載の発明では、最も類似性の
高い登録特徴ベクトルを、判定手段が選択することにな
る。このような登録特徴ベクトルについて上述した関連
情報を得ることで、より精度の高い識別結果、つまり、
実際の識別対象物の状態により近い値を示す関連情報が
得られる。
高い登録特徴ベクトルを、判定手段が選択することにな
る。このような登録特徴ベクトルについて上述した関連
情報を得ることで、より精度の高い識別結果、つまり、
実際の識別対象物の状態により近い値を示す関連情報が
得られる。
【0173】請求項8に記載の発明では、識別処理によ
って、識別対象物の姿勢および/または種類を得ること
ができる。
って、識別対象物の姿勢および/または種類を得ること
ができる。
【0174】請求項9に記載の発明では、少なくとも一
部の演算部が互いに異なる領域を担当し、それぞれが並
行して処理をおこなうことができる。すなわち、単位時
間あたりのデータ処理能力を高めることができる。した
がって、識別処理を完了するまでに要する時間が短くて
すむ。逆に、識別結果を得るまでの時間を一定にして考
えると、より多くの演算(すなわちきめ細かな識別)が
可能である。このような画像データ処理装置を含んで画
像識別装置を構成すれば、識別精度を高めることができ
る。固有ベクトル、固有空間等に基づいた画像識別処理
ではデータの演算量が膨大になりがちであるため、この
ような効果が特に大きい。
部の演算部が互いに異なる領域を担当し、それぞれが並
行して処理をおこなうことができる。すなわち、単位時
間あたりのデータ処理能力を高めることができる。した
がって、識別処理を完了するまでに要する時間が短くて
すむ。逆に、識別結果を得るまでの時間を一定にして考
えると、より多くの演算(すなわちきめ細かな識別)が
可能である。このような画像データ処理装置を含んで画
像識別装置を構成すれば、識別精度を高めることができ
る。固有ベクトル、固有空間等に基づいた画像識別処理
ではデータの演算量が膨大になりがちであるため、この
ような効果が特に大きい。
【0175】請求項10に記載の発明では、単に特徴ベ
クトルを求めるのみならず、最終的な識別結果である関
連情報まで得られる。
クトルを求めるのみならず、最終的な識別結果である関
連情報まで得られる。
【0176】請求項11に記載の発明では、一つの領域
を複数の演算部が分担して処理をおこなうことができ
る。すなわち、単位時間あたりのデータ処理能力を高め
ることができる。したがって、処理を完了するまでに要
する時間が短くてすむ。逆に、処理に与えられた時間を
一定にして考えると、より多くの演算(すなわちきめ細
かな識別)が可能である。このような画像データ処理装
置を含んで画像識別装置を構成すれば、識別精度を高め
ることができる。固有ベクトル、固有空間等に基づいた
画像識別処理ではデータの演算量が膨大になりがちであ
るため、このような効果が特に大きい。
を複数の演算部が分担して処理をおこなうことができ
る。すなわち、単位時間あたりのデータ処理能力を高め
ることができる。したがって、処理を完了するまでに要
する時間が短くてすむ。逆に、処理に与えられた時間を
一定にして考えると、より多くの演算(すなわちきめ細
かな識別)が可能である。このような画像データ処理装
置を含んで画像識別装置を構成すれば、識別精度を高め
ることができる。固有ベクトル、固有空間等に基づいた
画像識別処理ではデータの演算量が膨大になりがちであ
るため、このような効果が特に大きい。
【0177】請求項12に記載の発明では、単に特徴ベ
クトルを求めるのみならず、最終的な識別結果である関
連情報まで得られる。
クトルを求めるのみならず、最終的な識別結果である関
連情報まで得られる。
【0178】請求項13に記載の発明では、最も類似性
の高い登録特徴ベクトルを、判定部が選択することにな
る。このような登録特徴ベクトルについて上述した関連
情報を得ることで、より精度の高い識別結果、つまり、
実際の識別対象物の状態により近い値を示す関連情報が
得られる。
の高い登録特徴ベクトルを、判定部が選択することにな
る。このような登録特徴ベクトルについて上述した関連
情報を得ることで、より精度の高い識別結果、つまり、
実際の識別対象物の状態により近い値を示す関連情報が
得られる。
【0179】請求項14に記載の発明では、識別処理に
よって、識別対象物の姿勢および/または種類を得るこ
とができる。
よって、識別対象物の姿勢および/または種類を得るこ
とができる。
【0180】請求項15に記載の発明では、高速、高精
度な識別処理が可能である。
度な識別処理が可能である。
【図1】パラメトリック固有空間法の概念図である。
【図2】本発明の実施の形態1である、画像識別装置の
機能構成を示すブロック図である。
機能構成を示すブロック図である。
【図3】登録データ保持部に格納される情報を示す図で
ある。
ある。
【図4】画像識別の動作原理を示す図である。
【図5】切り出し領域の決定方法を示す図である。
【図6】本発明の実施の形態2の構成を示す図である。
【図7】本発明の実施の形態4の構成を示す図である。
【図8】本発明の実施の形態5の構成を示す図である。
【図9】本発明の実施の形態6である、画像識別装置の
概要を示すブロック図である。
概要を示すブロック図である。
【図10】画像データ処理部の内部構成を示すブロック
図である。
図である。
【図11】画像の切り出し(包含切り出し)の様子を示
す図である。
す図である。
【図12】個別切り出しの原理を示す図である。
【図13】本発明の実施の形態7における画像データ処
理ユニットの内部構成を示すブロック図である。
理ユニットの内部構成を示すブロック図である。
【図14】特徴抽出処理と直列的に組み合わせた場合の
構成を示すブロック図である。
構成を示すブロック図である。
【図15】特徴抽出処理と並列的に組み合わせた場合の
構成を示すブロック図である。
構成を示すブロック図である。
100 画像識別装置 110 カメラ 120 画像メモリ 125 領域生成部 130 切り出し部 140 正規化部 150 画像データ処理部 151 登録データ保持部 152 圧縮処理部 153 照合処理部 160 類似性判定部 165 表示部 170 主制御部 181 赤外線カメラ 182 車両検知部 185 移動体検出部 200 画像データ処理ユニット 210 メモリ 215 データ配信部 220 要素プロセッサ 221 データ受信コントローラ部 222 切出画像格納メモリ 223 乗算器 224 加算器 225 固有ベクトルメモリ 230 シーケンサ 240 ベクトル間演算器 251 伝送路 252 伝送路 253 伝送路 254 伝送路 1510 基礎情報テーブル R 原画像 Rc 切り出し領域 Ri 包含領域 Rs 個別対象領域 T 識別対象物
───────────────────────────────────────────────────── フロントページの続き (72)発明者 塩野 賢二 神奈川県相模原市田名3000番地 三菱重工 業株式会社汎用機・特車事業本部内 Fターム(参考) 5B057 BA02 CC03 CD05 CE09 CH08 DA07 DA11 DC30 DC33 5L096 BA04 CA04 EA13 EA35 EA37 HA09 JA11 JA18
Claims (15)
- 【請求項1】 識別対象物を撮影しその撮影データを出
力する撮影手段と、 前記撮影データが構成する画像(以下「原画像」とい
う)における所望の領域を決定する領域決定手段と、 前記原画像から前記領域決定手段が決定した領域を切り
出す切り出し手段と、 前記切り出し手段が切り出した領域それぞれの画像デー
タを、別途定められた大きさに変換する変換手段と、 前記変換手段によって変換された後の画像データに対し
て所定の演算を実行することで、前記識別対象物を識別
する識別手段と、 を備えたことを特徴とする画像識別装置。 - 【請求項2】 前記領域決定手段は、あらかじめ定めら
れた初期値を備え、該初期値に基づいて複数の領域を決
定するものであること、 を特徴とする請求項1に記載の画像識別装置。 - 【請求項3】 前記識別対象物の位置を検出する位置検
出手段を備え、 前記領域決定手段は、前記位置検出手段の検出結果に基
づいて前記所望の領域を決定するものであること、 を特徴とする請求項1に記載の画像識別装置。 - 【請求項4】 前記位置検出手段は、前記撮影手段が互
いに異なるタイミングで撮影することで得られた複数の
撮影データに基づいて前記識別対象物の位置を検出する
ものであること、 を特徴とする請求項3に記載の画像識別装置。 - 【請求項5】 前記位置検出手段は、赤外線カメラを備
え、該赤外線カメラによる撮影データに基づいて前記識
別対象物の位置を検出するものであること、 を特徴とする請求項3に記載の画像識別装置。 - 【請求項6】 前記識別手段は、 画像の固有ベクトルが複数記憶される固有ベクトル記憶
手段と、 前記変換手段によって変換された後の画像データと前記
固有ベクトルとの内積を求めることで、前記固有ベクト
ルによって規定される固有空間上における前記入力画像
の位置を示す特徴ベクトル(以下「識別対象特徴ベクト
ル」という)を求める演算手段と、 前記固有空間上での位置を示す特徴ベクトルと当該特徴
ベクトルに関する所定の関連情報とを直接または間接的
に対応づけて構成された基礎情報が記憶される特徴ベク
トル記憶手段と、 前記固有空間上における、前記特徴ベクトル記憶手段に
記憶された特徴ベクトル(以下「登録特徴ベクトル」と
いう)それぞれの示す位置と、前記識別対象特徴ベクト
ルの示す位置との位置関係を求める位置関係確認手段
と、 前記登録特徴ベクトルのうちあらかじめ定められた判定
条件に該当するものを前記位置関係確認手段の確認結果
に基づいて選択し、この選択された登録特徴ベクトルに
ついての関連情報を前記基礎情報を参照することで得る
判定手段と、 前記判定手段の得た関連情報を出力する出力手段とを備
えて構成されたものであること、 を特徴とする請求項1〜5のいずれか一つに記載の画像
識別装置。 - 【請求項7】 前記判定条件は、前記識別対象特徴ベク
トルの示す位置に最も近い位置を示す登録特徴ベクト
ル、であること、 を特徴とする請求項6に記載の画像識別装置。 - 【請求項8】 前記関連情報は、当該関連情報に対応づ
けられている登録特徴ベクトルを求めるために用いられ
た画像に写っている識別対象物の姿勢および/または種
類を示す情報を含んで構成されていること、 を特徴とする請求項6または7に記載の画像識別装置。 - 【請求項9】 画像データに基づいて識別対象物を識別
する画像識別装置に用いられる画像データ処理装置にお
いて、 画像の固有ベクトルが複数記憶される固有ベクトル記憶
部と、 外部から入力された画像のデータを配信する配信部と、 前記配信部によって配信される画像のうち所定の領域だ
けを取り込み、該取り込んだ画像のデータと前記固有ベ
クトルそれぞれとの内積を求めることで、前記固有ベク
トルによって規定される固有空間上における該取り込ん
だ画像の位置を示す特徴ベクトル(以下「識別対象特徴
ベクトル」という)を求める演算部とを有し、 前記演算部を複数備え、少なくとも一部の演算部は互い
に異なる領域の画像を取り込むものであること、 を特徴とする画像データ処理装置。 - 【請求項10】 前記固有空間上での位置を示す特徴ベ
クトルと当該特徴ベクトルに関する所定の関連情報とを
直接または間接的に対応づけて構成された基礎情報が記
憶される特徴ベクトル記憶部と、 前記固有空間上における、前記特徴ベクトル記憶部に記
憶された特徴ベクトル(以下「登録特徴ベクトル」とい
う)それぞれの示す位置と、前記識別対象特徴ベクトル
の示す位置との位置関係を確認する位置関係確認部と、 前記登録特徴ベクトルのうちあらかじめ定められた判定
条件に該当するものを前記位置関係確認部の確認結果に
基づいて選択し、この選択された登録特徴ベクトルにつ
いての関連情報を前記基礎情報を参照することで得る判
定部と、 を有することを特徴とする請求項9に記載の画像データ
処理装置。 - 【請求項11】 画像データに基づいて識別対象物を識
別する画像識別装置に用いられる画像データ処理装置に
おいて、 画像の固有ベクトルが複数記憶される固有ベクトル記憶
部と、 外部から入力された画像のデータを配信する配信部と、 前記配信部によって配信される画像のうち所定の領域だ
けを取り込み、該取り込んだ画像のデータと前記固有ベ
クトルとの内積を求める演算部とを有し、 前記演算部を複数備え、少なくとも一部の演算部は互い
に異なる固有ベクトルを用いて前記内積をおこなうもの
であること、 を特徴とする画像データ処理装置。 - 【請求項12】 前記固有ベクトルによって規定される
固有空間上での位置を示す特徴ベクトルと当該特徴ベク
トルに関する所定の関連情報とを直接または間接的に対
応づけて構成された基礎情報が記憶される特徴ベクトル
記憶部と、 互いに異なる固有ベクトルを用いて演算をおこなう演算
部それぞれの演算結果によって構成される前記取り込ん
だ画像の前記固有空間上における位置を示す特徴ベクト
ル(以下「識別対象特徴ベクトル」という)と、前記特
徴ベクトル記憶部に記憶された特徴ベクトル(以下「登
録特徴ベクトル」という)それぞれの示す位置と、の前
記固有空間上における位置関係を確認する位置関係確認
部と、 前記登録特徴ベクトルのうちあらかじめ定められた判定
条件に該当するものを前記位置関係確認部の確認結果に
基づいて選択し、この選択された登録特徴ベクトルにつ
いての関連情報を前記基礎情報を参照することで得る判
定部と、 を有することを特徴とする請求項11に記載の画像デー
タ処理装置。 - 【請求項13】 前記判定条件は、前記識別対象特徴ベ
クトルの示す位置に最も近い位置を示す登録特徴ベクト
ル、であること、 を特徴とする請求項10または12に記載の画像データ
処理装置。 - 【請求項14】 前記関連情報は、当該関連情報に対応
づけられている登録特徴ベクトルを求めるために用いら
れた画像に写っている識別対象物の姿勢および/または
種類を示す情報を含んで構成されていること、 を特徴とする請求項10、12または13に記載の画像
データ処理装置。 - 【請求項15】 識別対象物を撮影しその撮影データを
出力する撮影手段と、 前記撮影データが構成する画像から、別途指定された領
域を切り出す切り出し手段と、 前記切り出し手段が切り出した領域の画像データを、別
途定められた大きさに変換する変換手段と、 前記変換手段によって変換された後の画像データが入力
されて、これを処理する請求項9〜14のいずれか一つ
に記載の画像データ処理装置と、 を有することを特徴とする画像識別装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000335009A JP2002140706A (ja) | 2000-11-01 | 2000-11-01 | 画像識別装置および画像データ処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000335009A JP2002140706A (ja) | 2000-11-01 | 2000-11-01 | 画像識別装置および画像データ処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2002140706A true JP2002140706A (ja) | 2002-05-17 |
Family
ID=18810827
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000335009A Pending JP2002140706A (ja) | 2000-11-01 | 2000-11-01 | 画像識別装置および画像データ処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2002140706A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005084765A (ja) * | 2003-09-05 | 2005-03-31 | Univ Of Fukui | 文字認識装置及び方法及びそのプログラム |
JP2007257203A (ja) * | 2006-03-22 | 2007-10-04 | Toyota Motor Corp | パターン認識装置及びパターン認識方法 |
US8117736B2 (en) | 2008-12-11 | 2012-02-21 | Tdk Corporation | Method of lapping a magnetic head slider |
JP2013050949A (ja) * | 2005-01-07 | 2013-03-14 | Qualcomm Inc | 画像中の物体の検出及び追跡 |
WO2013191078A1 (ja) * | 2012-06-19 | 2013-12-27 | 市光工業株式会社 | 車両周辺対象物検出装置 |
US10026148B2 (en) | 2015-03-27 | 2018-07-17 | Renesas Electronics Corporation | Image recognition method, image recognition device and image recognition program |
JP2018181081A (ja) * | 2017-04-18 | 2018-11-15 | 日本電信電話株式会社 | 画像認識エンジン連携装置およびプログラム |
-
2000
- 2000-11-01 JP JP2000335009A patent/JP2002140706A/ja active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005084765A (ja) * | 2003-09-05 | 2005-03-31 | Univ Of Fukui | 文字認識装置及び方法及びそのプログラム |
JP2013050949A (ja) * | 2005-01-07 | 2013-03-14 | Qualcomm Inc | 画像中の物体の検出及び追跡 |
EP3693889A3 (en) * | 2005-01-07 | 2020-10-28 | QUALCOMM Incorporated | Detecting and tracking objects in images |
JP2007257203A (ja) * | 2006-03-22 | 2007-10-04 | Toyota Motor Corp | パターン認識装置及びパターン認識方法 |
JP4706527B2 (ja) * | 2006-03-22 | 2011-06-22 | トヨタ自動車株式会社 | パターン認識装置及びパターン認識方法 |
US8117736B2 (en) | 2008-12-11 | 2012-02-21 | Tdk Corporation | Method of lapping a magnetic head slider |
WO2013191078A1 (ja) * | 2012-06-19 | 2013-12-27 | 市光工業株式会社 | 車両周辺対象物検出装置 |
JP2014002577A (ja) * | 2012-06-19 | 2014-01-09 | Ichikoh Ind Ltd | 車両周辺対象物検出装置 |
US9367751B2 (en) | 2012-06-19 | 2016-06-14 | Ichikoh Industries, Ltd. | Object detection device for area around vehicle |
US10026148B2 (en) | 2015-03-27 | 2018-07-17 | Renesas Electronics Corporation | Image recognition method, image recognition device and image recognition program |
JP2018181081A (ja) * | 2017-04-18 | 2018-11-15 | 日本電信電話株式会社 | 画像認識エンジン連携装置およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5451302B2 (ja) | 画像処理装置及び方法、プログラム及び記憶媒体 | |
US9111348B2 (en) | Computer-based method and system of dynamic category object recognition | |
JP5940453B2 (ja) | 画像のシーケンス内のオブジェクトのリアルタイム表現のハイブリッド型追跡のための方法、コンピュータプログラム、および装置 | |
Aldoma et al. | Multimodal cue integration through hypotheses verification for rgb-d object recognition and 6dof pose estimation | |
CN103646232B (zh) | 飞行器地面运动目标红外图像识别装置 | |
US20200134377A1 (en) | Logo detection | |
CN108573471B (zh) | 图像处理装置、图像处理方法以及记录介质 | |
JP4709668B2 (ja) | 3次元物体認識システム | |
CN105009170A (zh) | 物体识别设备、方法和存储介质 | |
US20090290798A1 (en) | Image search method and device | |
KR101677559B1 (ko) | 영상 정합 장치 및 그것의 동작 방법 | |
JP5936561B2 (ja) | 画像における外観及びコンテキストに基づく物体分類 | |
US20150302270A1 (en) | A method of providing a feature descriptor for describing at least one feature of an object representation | |
WO2019228471A1 (zh) | 指纹识别方法、设备及计算机可读存储介质 | |
Garcia-Garcia et al. | Interactive 3D object recognition pipeline on mobile GPGPU computing platforms using low-cost RGB-D sensors | |
Sahin et al. | A learning-based variable size part extraction architecture for 6D object pose recovery in depth images | |
JP2002140706A (ja) | 画像識別装置および画像データ処理装置 | |
JP6202938B2 (ja) | 画像認識装置および画像認識方法 | |
WO2015068417A1 (ja) | 画像照合システム、画像照合方法およびプログラム | |
JP2013218605A (ja) | 画像認識装置、画像認識方法及びプログラム | |
Martínez et al. | Object recognition for manipulation tasks in real domestic settings: A comparative study | |
Mentzer et al. | Online stereo camera calibration for automotive vision based on HW-accelerated A-KAZE-feature extraction | |
JP2003022442A (ja) | 物体検出/位置測定方法およびその装置、ならびにこの方法の実行プログラムおよびその記録媒体 | |
KR20160148806A (ko) | 방향정보를 이용한 객체 검출기 생성 방법, 이를 이용한 객체 검출 장치 및 방법 | |
KR102382883B1 (ko) | 3차원 손 자세 인식 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040907 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050517 |