JP2003281503A - 立体物の画像認識装置 - Google Patents

立体物の画像認識装置

Info

Publication number
JP2003281503A
JP2003281503A JP2002079082A JP2002079082A JP2003281503A JP 2003281503 A JP2003281503 A JP 2003281503A JP 2002079082 A JP2002079082 A JP 2002079082A JP 2002079082 A JP2002079082 A JP 2002079082A JP 2003281503 A JP2003281503 A JP 2003281503A
Authority
JP
Japan
Prior art keywords
image
dimensional object
subspace
recognition
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002079082A
Other languages
English (en)
Inventor
Takeshi Torii
毅 鳥居
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Heavy Industries Ltd filed Critical Fuji Heavy Industries Ltd
Priority to JP2002079082A priority Critical patent/JP2003281503A/ja
Publication of JP2003281503A publication Critical patent/JP2003281503A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 認識対象以外の背景の影響を低減し、認識率
を向上する。 【解決手段】 部分空間生成部1で複数枚のリファレン
ス画像群から部分空間を生成し、リファレンス画像群を
部分空間内に投影した投影点及び変換行列を部分空間格
納部2に格納する。一方、距離画像演算部4では、ステ
レオカメラ3で撮像した一対の画像をステレオ処理して
距離画像を生成し、立体物切り出し部5で、距離画像の
情報に基づいて背景と認識対象となる立体物との分離を
行う。そして、画像投影・近似度計算部6で、切り出さ
れた立体物の元画像を部分空間に写像してリファレンス
画像との近似度を計算し、この近似度に基づく認識結果
を出力することで、背景の影響を低減して認識率を向上
させる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、認識対象以外の背
景の影響を低減して認識率の向上を図る立体物の画像認
識装置に関する。
【0002】
【従来の技術】従来、画像認識の技術として、主成分分
析法の一つである部分空間法を用いた技術が知られてい
る。例えば、特開平11−265452号公報には、入
力画像を部分空間で表現し、辞書内の部分空間との角度
によってその類似度を測定することにより、限られた数
のパターンから作成された辞書を用いた物体認識を高精
度に実施可能とする技術が開示されている。
【0003】
【発明が解決しようとする課題】しかしながら、部分空
間法を用いた画像認識では、認識対象物を画像から切り
出す際に認識対象物以外の背景の影響を受けやすいとい
う問題があり、同じ対象物であっても、背景の違いによ
って認識結果が著しく異なり、認識率が極端に低下する
場合がある。
【0004】本発明は上記事情に鑑みてなされたもの
で、認識対象以外の背景の影響を低減し、認識率を向上
することのできる立体物の画像認識装置を提供すること
を目的としている。
【0005】
【課題を解決するための手段】上記目的を達成するた
め、請求項1記載の発明は、複数枚のリファレンス画像
から部分空間を生成し、この部分空間に認識対象となる
立体物の画像を投影して立体物を認識する画像認識装置
において、認識対象となる立体物をステレオ撮像した画
像から距離情報を求め、この距離情報に基づいて上記立
体物を背景から分離して切り出す手段と、上記立体物を
切り出した画像の上記部分空間内への写像点と上記リフ
ァレンス画像の上記部分空間内への写像点との相関に基
づいて、上記立体物を認識する手段とを備えたことを特
徴とする。
【0006】請求項2記載の発明は、請求項1記載の発
明において、上記リファレンス画像の背景部分と上記立
体物を切り出した画像の背景部分とに同一の固定値を埋
め込んで上記部分空間内に写像することを特徴とする。
【0007】すなわち、請求項1記載の発明は、認識対
象となる立体物をステレオ撮像した画像から距離情報を
求め、この距離情報に基づいて立体物を背景から分離し
て切り出し、この立体物を切り出した画像の部分空間内
への写像点とリファレンス画像の部分空間内への写像点
との相関に基づいて立体物を認識することで、認識対象
以外の背景部分の影響を低減し、認識率を向上する。
【0008】その際、請求項2記載の発明のように、リ
ファレンス画像の背景部分と立体物を切り出した画像の
背景とに同一の固定値を埋め込んで部分空間内に写像す
ることが望ましく、背景による外乱の影響を確実に排除
し、より認識率を向上することが可能となる。
【0009】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図1〜図4は本発明の実施の一形
態に係わり、図1は立体物画像認識装置の構成図、図2
は部分空間生成処理のフローチャート、図3は立体物切
出し処理のフローチャート、図4は画像投影・近似度算
出処理のフローチャートである。
【0010】図1は、自動車用の交通標識や道路上の障
害物、移動ロボット用のランドマーク、航空宇宙機器用
の目標物や障害物等の認識に用いられる立体物画像認識
装置の基本構成を示すものであり、部分空間生成部1、
部分空間格納部2、2台1組のカメラ3a,3bからな
るステレオカメラ3、距離画像演算部4、立体物切り出
し部5、画像投影・近似度計算部6を備えて構成され、
参照用の画像(リファレンス画像)群R1,R2,R
3,…を用いた部分空間法による認識処理を基本とし、
ステレオ法による立体物の画像切り出しを行って画像認
識を行う。
【0011】すなわち、部分空間生成部1では、複数枚
のリファレンス画像群R1,R2,R3,…から部分空
間を生成し、リファレンス画像群を部分空間内に投影し
た投影点及び変換行列を部分空間格納部2に格納する。
一方、距離画像演算部4では、ステレオカメラ3で撮像
した一対の画像をステレオ処理して距離画像を生成し、
立体物切り出し部5で、距離画像の情報に基づいて背景
と認識対象となる立体物との分離を行う。そして、画像
投影・近似度計算部6で、切り出された立体物の元画像
を部分空間に写像してリファレンス画像との近似度を計
算し、この近似度に基づく認識結果を出力する。
【0012】リファレンス画像群は、認識したい立体物
(例えば、標識等)の画像を認識したい数だけ用意す
る。通常、部分空間法で用いる画像は直法領域であるた
め、立体物が円やその他の形の場合、リファレンス画像
群の各画像は、認識させたい領域以外の部分(背景部
分)を特定の輝度値に固定し、この固定輝度値で埋め尽
くしておく。
【0013】詳細には、識別させたいN画素からなる1
枚のリファレンス画像をN次元ベクトルとして、以下の
(1)式で表し、これらの集合体を以下の(2)式で表
現し、この画像集合から部分空間を生成する。尚、ベク
トルxは正規化しておき、Rは識別させたいリファレン
ス画像数とする。
【0014】
【0015】次に、部分空間を生成するには、以下の
(3),(4),(5)式に示すように、先ず、画像集
合の平均を求めて行列Xを計算し、共分散行列Qを求め
る。
【0016】
【0017】ここで、共分散行列Qは実対称行列となる
ため、共分散行列Qの固有値は、全て実数となる。これ
を踏まえて、以下の(6)式に示す固有方程式を解いて
固有値λi、固有ベクトルeiを求め、(7)式に示すよ
うに、固有値の大きい順にk個の固有ベクトルを基底ベ
クトルとするk次元の部分空間を生成する。
【0018】
【0019】R枚のリファレンス画像は、以下の(8)
式で示される線形変換によって部分空間上の一点Prに
投影され、この投影点と変換行列とが部分空間格納部2
に格納される。
【0020】
【0021】一方、距離画像演算部4では、2台のカメ
ラ3a,3bでステレオ撮像した一対の元画像間で互い
に対応する領域を探索してカメラ間の視差に基づく距離
情報を演算し、この距離情報を数値化した距離画像を生
成する。生成された距離画像は元画像と共に立体物切り
出し部5に送られ、背景と立体物が分離される(立体物
切り出し)。尚、この立体物の切り出しには、各種の手
法を用いることができるが、本形態においては、自動車
等で有効な俯瞰視点時に用いるヒストグラム法による処
理を採用する。このヒストグラム法による立体物の切り
出し処理については、後述する。
【0022】切り出された立体物の元画像は、画像投影
・近似度計算部6へ送られて写像関数により部分空間に
写像され、リファレンス画像の写像点Prとのユークリ
ッド距離dが計算される。すなわち、立体物の切り出し
画像をベクトルyとすると、このベクトルyを、以下の
(9)式により部分空間上の点zに投影し、リファレン
ス画像の写像点Prとのユークリッド距離dを比べるこ
とにより相関を求め、認識を行う。尚、ベクトルyと部
分空間とがなす角度によって相関を求めても良い。
【0023】
【0024】そして、以下の(10)式に示すように、
ユークリッド距離dの最小値を与えるrを求めること
で、入力画像がどのリファレンス画像に最も似ているか
を判断することができる。また、このときのユークリッ
ド距離dの値により、似ている度合いを知ることができ
る。
【0025】
【0026】以上の処理は、具体的には、図2〜図4に
示すプログラム処理にて実行される。以下、図2〜図4
のフローチャートに従って部分空間生成処理、立体物切
出し処理、画像投影・近似度算出処理について説明す
る。
【0027】図2に示す部分空間生成処理では、先ず、
ステップS101で、リファレンス画像の背景部分を固
定輝度値で埋めてマスキングする。次いで、ステップS
102へ進み、各リファレンス画像を正規化すると、ス
テップS103で、前述の(3)式に示すように、リフ
ァレンス画像群の平均行列を求め、ステップS104
で、リファレンス画像群から平均行列を引いた値X
((4)式参照)を用い、(5)式で示す共分散行列Q
を求める。
【0028】続くステップS105では、共分散行列Q
の固有方程式を、所定の数値解法、例えばヤコビ法によ
って解き、固有値λi、固有ベクトルeiを求める。そし
て、ステップS106で、固有ベクトルeiから部分空
間への写像行列(変換行列)を求めてリファレンス画像
を写像し、ステップS107で、変換行列とリファレン
ス画像の写像点を部分空間格納部2に格納して本処理を
終了する。
【0029】また、図3の立体物切り出し処理では、ス
テップS201で、距離画像の縦列毎に距離データ分布
のヒストグラムを生成し、ステップS202で、ヒスト
グラムの分布値が閾値を超えた距離値をピックアップす
る。次いで、ステップS203へ進み、ピックアップし
た距離値を持つ画素を画像データから検索し、マスクパ
ターンを生成する。尚、このときの閾値は、検出しよう
としている立体物の大きさに応じて予め決定しておき、
また、ピックアップする距離値は、誤差を考慮して予め
定められた幅で検出する。
【0030】続くステップS204では、元画像の立体
物以外の部分を、先に生成したマスクパターンでマスク
し、ステップS205で、元画像中のマスクされた部分
を固定輝度値で埋める。この固定輝度値は、部分空間生
成時にリファレンス画像の背景部分を埋めた値と同一の
値を使用する。そして、ステップS206で、画像投影
・近似度計算部6にデータを送出し、本処理を終了す
る。
【0031】この立体物切り出し処理によって切り出さ
れた立体物の元画像は、図4の画像投影・近似度算出処
理で処理される。この処理では、先ず、ステップS30
1で、立体物切り出し部5からの元画像を写像関数を用
いて部分空間に写像し、ステップS302で、立体物の
元画像の写像点とリファレンス画像の写像点とのユーク
リッド距離を全て求める。
【0032】次に、ステップS303で、ユークリッド
距離の最小値と、対応するリファレンス画像の番号rを
求め、ステップS304で、ユークリッド距離の最小値
が閾値より小さいか否かを判定する。この判定における
閾値は、必要とされる判定の厳密さに依存して適切な値
が用いられる。すなわち、完全一致を求める場合には、
閾値は0であり、閾値を大きくすると、判定の厳密さは
犠牲となるが、外乱の影響を受けにくくなる。
【0033】その結果、ユークリッド距離の最小値が閾
値より小さい場合には、ステップS305で、認識した
リファレンス画像番号と近似度(ユークリッド距離)と
を出力し、ユークリッド距離の最小値が閾値以上の場
合、ステップS306で、立体物はリファレンス画像に
ない未知のものであることを出力する。
【0034】このように、部分空間法を用いた画像認識
において、ステレオ法によって得られた距離情報を用い
て立体物の切り出しを行うため、背景に影響されること
なく立体物を正確に区別して切り出すことができ、認識
率を向上することができる。しかも、本実施の形態で
は、元画像もリファレンス画像も判定に不必要な背景の
部分を同一の輝度値で埋めておくため、背景による外乱
の影響を受けることがなく、立体物のテクスチャのみで
類似画像を判定することが可能となり、認識精度をより
向上することができる。
【0035】これにより、認識物の固有の画像認識アル
ゴリズムを特別に用意しなくとも、認識させたい物体の
リファレンス画像さえ用意すれば認識が行えるという部
分空間法の簡便さと適応性の高さを高信頼性をもって享
受することができる。
【0036】
【発明の効果】以上説明したように本発明によれば、認
識対象となる立体物をステレオ撮像した画像から距離情
報を求め、この距離情報に基づいて立体物を背景から分
離して切り出し、この立体物を切り出した画像の部分空
間内への写像点とリファレンス画像の部分空間内への写
像点との相関に基づいて立体物を認識するので、認識対
象以外の背景の影響を低減し、認識率を向上することが
できる。
【図面の簡単な説明】
【図1】立体物画像認識装置の構成図
【図2】部分空間生成処理のフローチャート
【図3】立体物切出し処理のフローチャート
【図4】画像投影・近似度算出処理のフローチャート
【符号の説明】
1 部分空間生成部 3 ステレオカメラ 4 距離画像演算部 5 立体物切り出し部 6 画像投影・近似度計算部 R1,R2,R3,… リファレンス画像群

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 複数枚のリファレンス画像から部分空間
    を生成し、この部分空間に認識対象となる立体物の画像
    を投影して立体物を認識する画像認識装置において、 認識対象となる立体物をステレオ撮像した画像から距離
    情報を求め、この距離情報に基づいて上記立体物を背景
    から分離して切り出す手段と、 上記立体物を切り出した画像の上記部分空間内への写像
    点と上記リファレンス画像の上記部分空間内への写像点
    との相関に基づいて、上記立体物を認識する手段とを備
    えたことを特徴とする立体物の画像認識装置。
  2. 【請求項2】 上記リファレンス画像の背景部分と上記
    立体物を切り出した画像の背景部分とに同一の固定値を
    埋め込んで上記部分空間内に写像することを特徴とする
    請求項1記載の立体物の画像認識装置。
JP2002079082A 2002-03-20 2002-03-20 立体物の画像認識装置 Pending JP2003281503A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002079082A JP2003281503A (ja) 2002-03-20 2002-03-20 立体物の画像認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002079082A JP2003281503A (ja) 2002-03-20 2002-03-20 立体物の画像認識装置

Publications (1)

Publication Number Publication Date
JP2003281503A true JP2003281503A (ja) 2003-10-03

Family

ID=29228696

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002079082A Pending JP2003281503A (ja) 2002-03-20 2002-03-20 立体物の画像認識装置

Country Status (1)

Country Link
JP (1) JP2003281503A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006525559A (ja) * 2004-02-13 2006-11-09 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング ステレオカメラによるオブジェクトの分類のための方法
JP2008507454A (ja) * 2004-07-26 2008-03-13 オートモーティブ システムズ ラボラトリー インコーポレーテッド 道路使用弱者保護システム
JP2008114627A (ja) * 2006-11-01 2008-05-22 Suzuki Motor Corp 車両の後側方監視装置
CN100452084C (zh) * 2005-09-05 2009-01-14 株式会社东芝 图像识别装置及其方法
US8106939B2 (en) 2005-11-02 2012-01-31 Sony Corporation Image processing method, image processing device and image display apparatus employing the image processing device
US8768007B2 (en) 2012-03-26 2014-07-01 Tk Holdings Inc. Method of filtering an image
US8824733B2 (en) 2012-03-26 2014-09-02 Tk Holdings Inc. Range-cued object segmentation system and method
US11321564B2 (en) 2019-01-30 2022-05-03 Samsung Electronics Co., Ltd. Method and apparatus for processing image, and service robot

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006525559A (ja) * 2004-02-13 2006-11-09 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング ステレオカメラによるオブジェクトの分類のための方法
JP2008507454A (ja) * 2004-07-26 2008-03-13 オートモーティブ システムズ ラボラトリー インコーポレーテッド 道路使用弱者保護システム
US8509523B2 (en) 2004-07-26 2013-08-13 Tk Holdings, Inc. Method of identifying an object in a visual scene
US8594370B2 (en) 2004-07-26 2013-11-26 Automotive Systems Laboratory, Inc. Vulnerable road user protection system
US9330321B2 (en) 2004-07-26 2016-05-03 Tk Holdings, Inc. Method of processing an image of a visual scene
CN100452084C (zh) * 2005-09-05 2009-01-14 株式会社东芝 图像识别装置及其方法
US8106939B2 (en) 2005-11-02 2012-01-31 Sony Corporation Image processing method, image processing device and image display apparatus employing the image processing device
JP2008114627A (ja) * 2006-11-01 2008-05-22 Suzuki Motor Corp 車両の後側方監視装置
US8768007B2 (en) 2012-03-26 2014-07-01 Tk Holdings Inc. Method of filtering an image
US8824733B2 (en) 2012-03-26 2014-09-02 Tk Holdings Inc. Range-cued object segmentation system and method
US11321564B2 (en) 2019-01-30 2022-05-03 Samsung Electronics Co., Ltd. Method and apparatus for processing image, and service robot

Similar Documents

Publication Publication Date Title
US8755630B2 (en) Object pose recognition apparatus and object pose recognition method using the same
KR102054455B1 (ko) 이종 센서 간의 캘리브레이션 장치 및 방법
US20110205338A1 (en) Apparatus for estimating position of mobile robot and method thereof
US20020134151A1 (en) Apparatus and method for measuring distances
KR102145557B1 (ko) 이종 센서 간의 데이터 융합 장치 및 방법
WO2017051480A1 (ja) 画像処理装置及び画像処理方法
JP6021689B2 (ja) 車両諸元計測処理装置、車両諸元計測方法及びプログラム
KR20210090384A (ko) 카메라 및 라이다 센서를 이용한 3d 객체 검출방법 및 장치
CA2588275A1 (en) Multiscale variable domain decomposition method and system for iris identification
JP2007263669A (ja) 3次元座標取得装置
US7903840B2 (en) Image processing method, image processing apparatus, image processing program and program recording medium
CN110274598B (zh) 一种机器人单目视觉鲁棒定位估计方法
EP3324359B1 (en) Image processing device and image processing method
CN112805766B (zh) 用于更新详细地图的装置和方法
JP6172432B2 (ja) 被写体識別装置、被写体識別方法および被写体識別プログラム
JP2010085240A (ja) 車両用画像処理装置
KR20160102872A (ko) 보행정보 데이터베이스 구축방법 및 보행정보 데이터베이스를 이용한 보행 안내장치 및 그 방법
JP2000207693A (ja) 車載用障害物検出装置
CN115700796A (zh) 模型生成方法、模型生成装置、非瞬时性存储介质、移动体姿势推定方法及其推定装置
JP2003281503A (ja) 立体物の画像認識装置
CN118244281A (zh) 一种视觉与雷达融合的目标定位方法及装置
KR20220075795A (ko) 3차원 공간에서 위치를 추정하는 방법
CN114729811A (zh) 位置推断装置、车辆、位置推断方法及位置推断程序
CN114092850A (zh) 重识别方法、装置、计算机设备和存储介质
CN112598736A (zh) 一种基于地图构建的视觉定位方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070626

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071030