JP2006309450A

JP2006309450A - 画像認識装置及び画像認識方法

Info

Publication number: JP2006309450A
Application number: JP2005130290A
Authority: JP
Inventors: Mamoru Furuta; 守古田
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2005-04-27
Filing date: 2005-04-27
Publication date: 2006-11-09
Anticipated expiration: 2025-04-27
Also published as: JP4752319B2

Abstract

【課題】認識対象物の位置を示す地図データを用いることにより、画像認識の処理を迅速に行え、認識精度の向上が図れる画像認識装置及び画像認識方法を提供する。
【解決手段】認識対象物の位置を記録した地図情報及びカメラの位置情報に基づいてカメラによって撮像される認識対象物を予測し（Ｓ１４）、カメラにより撮像される画像内において認識対象物が表示される探索枠を設定し（Ｓ２２）、その探索枠について認識対象物の画像認識を行う（Ｓ２６）。これにより、限定範囲に絞って画像処理が行え、認識対象物の誤検出を低減しつつ処理速度の向上が図れる。
【選択図】図２

Description

本発明は、認識対象物の画像認識に用いられる画像認識装置及び画像認識方法に関するものである。

従来、撮像画像に基づき認識対象物を認識する装置として、特開２０００−１５５８３９号公報に記載されるように、車載カメラで連続的に撮影した市街の景観の画像から標識の領域画像を抽出する装置であって、各時刻にカメラで撮影した静止画像からパノラマ画像を作成し、このパノラマ画像の中から標識候補を探索するものが知られている。この装置は、時系列に連続した多数の静止画像のデータ量に比べてパノラマ画像のデータ量を少なくすることで、処理時間を短縮しようとするものである。
特開２０００−１５５８３９号公報

このような装置にあっては、探索対象画像の画像全体に対して認識対象物の探索を行う必要があるため、処理時間が長くなる。また、撮像画像に対し認識対象物を初めて探索する場合、探索すべき対象物以外の物を誤認識するおそれがあり、認識精度が低下するおそれがある。

そこで本発明は、認識対象物の位置を示す地図データを用いることにより、画像認識の処理を迅速に行え、認識精度の向上が図れる画像認識装置及び画像認識方法を提供することを目的とする。

すなわち、本発明に係る画像認識装置は、認識対象物を撮像するための撮像手段と、前記撮像手段の位置を検出する位置検出手段と、前記認識対象物の位置を記録した地図情報及び前記撮像手段の位置情報に基づいて前記撮像手段によって撮像される前記認識対象物を探索する探索手段と、前記撮像手段により撮像される画像内において前記探索手段により探索された認識対象物が表示される領域を設定する領域設定手段と、前記領域について前記認識対象物の画像認識を行う認識手段とを備えて構成されている。

この発明によれば、地図情報を用いて画像内に出現する認識対象物の位置を予測し、限定範囲に絞って画像処理を行うことにより、認識対象物の誤検出を低減し処理速度の向上が図れる。

また本発明に係る画像認識装置において、前記領域設定手段は、前記位置検出手段において前記撮像手段の位置検出誤差を生じても前記領域内に前記認識対象物が表示されるように前記領域の大きさを設定することが好ましい。また本発明に係る画像認識装置において、前記領域設定手段は、前記撮像手段から前記認識対象物までの距離検出に誤差が生じても前記領域内に前記認識対象物が表示されるように前記領域の大きさを設定することが好ましい。

また本発明に係る画像認識装置において、前記領域設定手段は、前記地図情報における前記認識対象物の位置誤差が生じている場合でも前記領域内に前記認識対象物が表示されるように前記領域の大きさを設定することが好ましい。また本発明に係る画像認識装置において、前記領域設定手段は、通信遅れにより前記認識対象物の位置誤差が生じている場合でも前記領域内に前記認識対象物が表示されるように前記領域の大きさを設定することが好ましい。

これらの発明によれば、位置検出誤差などを生じても画像認識を行う領域内に認識対象物が表示されるように領域の大きさが設定されることにより、限定された範囲でありながら認識対象物を確実に表示する領域を設定することが可能となる。これにより、認識対象物の画像認識が確実に行える。

また本発明に係る画像認識装置において、前記認識対象物が道路標識であることが好ましい。また本発明に係る画像認識装置において、前記認識対象物が信号機であることが好ましい。

また本発明に係る画像認識方法は、認識対象物を撮像するための撮像手段の位置を検出する位置検出工程と、前記認識対象物の位置を記録した地図情報及び前記撮像手段の位置情報に基づいて前記撮像手段によって撮像される前記認識対象物を探索する探索工程と、前記撮像手段により撮像される画像内において前記探索工程にて探索された認識対象物が表示される領域を設定する領域設定工程と、前記領域について前記認識対象物の画像認識を行う認識工程とを備えて構成されている。

また本発明に係る画像認識方法において、前記領域設定工程は、前記位置検出工程において前記撮像手段の位置検出誤差を生じても前記領域内に前記認識対象物が表示されるように前記領域の大きさを設定することが好ましい。また本発明に係る画像認識方法において、前記領域設定工程は、前記撮像手段から前記認識対象物までの距離検出に誤差が生じても前記領域内に前記認識対象物が表示されるように前記領域の大きさを設定することが好ましい。

また本発明に係る画像認識方法において、前記領域設定工程は、前記地図情報における前記認識対象物の位置誤差が生じている場合でも前記領域内に前記認識対象物が表示されるように前記領域の大きさを設定することが好ましい。また本発明に係る画像認識方法において、前記領域設定工程は、通信遅れにより前記認識対象物の位置誤差が生じている場合でも前記領域内に前記認識対象物が表示されるように前記領域の大きさを設定することが好ましい。

また本発明に係る画像認識方法において、前記認識対象物が道路標識であることが好ましい。また本発明に係る画像認識方法において、前記認識対象物が信号機であることが好ましい。

本発明によれば、認識対象物の配置位置を示す地図情報を用いることにより、画像認識の処理を迅速に行え、認識精度の向上を図ることができる。

以下、添付図面を参照して本発明の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

図１は本発明の実施形態に係る画像認識装置の構成概要図である。

図１に示すように、本実施形態に係る画像認識装置１は、撮像した画像に対し認識対象物を認識する装置であり、例えば車両に搭載される。この画像認識装置１は、カメラ２、画像処理部３及びデータベース４を備えて構成されている。カメラ２は、認識対象物を撮像するための撮像手段であり、例えばＣＣＤ、Ｃ−ＭＯＳなどの撮像素子を備えたものが用いられる。このカメラ２は、ステレオ視が可能な複眼カメラを用いることが好ましい。この場合、二台のカメラで撮像した画像に基づいて画像内の物体の三次元位置を検出することができる。

なお、カメラ２として、一台のカメラを用いる場合もある。この場合、カメラ２から認識対象物までの距離を計測する計測器、例えばレーダ装置などを設けることが好ましい。

画像処理部３は、カメラ２と接続されており、カメラ２で撮像した画像を入力し、その撮像画像を画像処理し、撮像画像内の認識対象物を認識処理する画像処理手段である。この画像処理部３は、例えば画像取込部３１、認識対象物情報検索部３２、探索距離設定部３３、認識対象物画像内位置計算部３４、センサ誤差影響計算部３５、車両位置方位姿勢検出部３６、探索枠設定部３７、認識対象物種類設定部３８、対象物認識部４０及び結果出力部４１を機能的に備えている。

画像取込部３１は、カメラ２で撮影した画像を取り込むものである。認識対象物情報検索部３２は、カメラ２に撮影される可能性のある認識対象物を探索するものであり、認識対象物の位置を記録した地図情報及び車両位置情報（カメラ２の位置情報）に基づいてカメラ２によって撮像される認識対象物を探索する。探索距離設定部３３は、認識対象物を探索する際の距離範囲を設定するものである。認識対象物画像内位置計算部３４は、カメラ２の撮像画像内における認識対象物の表示位置を計算するものである。

センサ誤差影響計算部３５は、センサ誤差による認識対象物の表示位置の影響を計算するものである。車両位置方位姿勢検出部３６は、車両の位置、方位及び姿勢を検出するものである。車両の位置を検出するものとしては、例えばＧＰＳ（Global Positioning System）が用いられる。探索枠設定部３７は、撮像した画像上に認識対象物の認識処理を行う探索枠を設定するものである。認識対象物種類設定部３８は、探索する認識対象物の種類を地図情報に基づいて設定するものである。対象物認識部４０は、パターンマッチングなどの手法により探索枠における認識処理を行うものである。結果出力部４１は、認識結果を装置外部に出力するものであり、例えば表示装置やスピーカなどが用いられる。

データベース４は、地図情報を記録した記録手段として機能するものである。この地図情報には、認識対象物の地図上の位置が記録されている。また、地図情報には、道路標識や信号機などの認識対象物の種類、認識対象物の中心位置、認識対象物の標高、認識対象物の地面又は道路からの相対高さ、認識対象物の設置方位角度、認識対象物の大きさ及び認識対象物の計測位置推定最大誤差を予め記録しておくことが好ましい。

次に、本実施形態に係る画像認識装置の動作及び画像認識方法について説明する。

図２は本実施形態に係る画像認識装置の基本的動作及び画像認識方法を示すフローチャートである。この図２の制御処理は、例えば画像処理部３によって実行される。

まず、図２のＳ１０に示すように、カメラ画像の取得処理が行われる。この処理は、カメラ２から出力される画像信号を画像処理部３に取り込んで撮像画像を読み込む処理である。撮像画像は、車両の前方を撮像した画像であり、デジタル画像として記憶される。カメラ２から出力される画像信号がデジタル化されていない場合には、画像処理部３においてアナログ−デジタル変換（Ａ／Ｄ変換）を行えばよい。

そして、Ｓ１２に移行し、車両の位置、方位及び姿勢の取得処理が行われる。この処理は、カメラ２を搭載した車両の位置、方位及び姿勢のデータを取得する処理である。例えば、車両に搭載したＧＰＳにより車両の位置、方位が検出される。また、車両に設置されるセンサにより車両の姿勢が検出される。また、車両の位置、方位及び姿勢を検出することにより、車両に取り付けられるカメラ２の位置、撮像方向及び姿勢を算出することが可能となる。

そして、Ｓ１４に移行し、探索ターゲットの検索処理が行われる。探索ターゲットとは、認識対象物を意味し、例えば道路標識が認識対象物である場合にはその標識が探索ターゲットとなる。探索ターゲットの検索処理は、カメラ２に撮像される可能性のある探索ターゲットを検索する処理であり、探索ターゲットの位置を記録した地図情報及び車両位置情報（カメラ２の位置情報）に基づいてカメラ２によって撮像される認識対象物が探索される。例えば、車両位置から所定の距離（例えば、１００ｍ）の範囲内に存在し、車両の進行方向から所定の角度（例えば、４５度）の範囲内に存在し、設置方位角度が車両の進行方向に対し所定の角度（例えば、３０度）の範囲内である探索ターゲットが選び出される。ここで選び出された探索ターゲット数はＮとして記録される。

そして、Ｓ１６に移行し、認識カウンタ値ｉにゼロがセットされる。そして、Ｓ１８に移行し、認識カウンタ値ｉが探索ターゲット数Ｎ以上であるか否かが判断される。認識カウンタ値ｉが探索ターゲット数Ｎ以上でない場合には、探索ターゲットＴｉの画像内位置計算処理が行われる（Ｓ２０）。

探索ターゲットＴｉの画像内位置計算処理は、カメラ２の撮像画像内における探索ターゲットＴｉの位置を計算する処理である。この処理としては、まず、地図データに記録されるターゲットＴｉの位置の緯度経度座標値（ψｐ、λｐ）、標高及び高さ情報に基づいて、ターゲットＴｉの世界平面直角座標系の座標値（Ｘｐｇ、Ｙｐｇ、Ｚｐｇ）が算出される。そして、現在の車両位置の経度緯度座標値（ψｏｍ、λｏｍ）が世界平面直角座標系の座標値（Ｘｃｇ、Ｙｃｇ、Ｚｃｇ）に変換される。

そして、ターゲットＴｉの座標値（Ｘｐｇ、Ｙｐｇ、Ｚｐｇ）がセンサ座標系の座標値（Ｘｐｓ、Ｙｐｓ、Ｚｐｓ）に変換される。ここで、センサ座標系はカメラ２の設置位置を原点として設定される座標系である。このセンサ座標系への変換は、次の式（１）を用いて行われる。

この式（１）において、ρは車両のピッチ角度、φは車両のロール角度である。また、ａｘ、ａｙ、ａｚは、センサ座標系原点の車両座標系における位置座標値である。そして、センサ座標系のターゲットＴｉの座標値（Ｘｐｓ、Ｙｐｓ、Ｚｐｓ）は、左右カメラ座標系の座標値（Ｘ_Ｌ、Ｙ_Ｌ）、（Ｘ_Ｒ、Ｙ_Ｒ）に変換される。この左右カメラ座標系への変換は、次の式（２）、（３）を用いて行われる。

この式（２）、（３）において、Ｈ１、Ｈ２、ｐ_１０〜ｐ_２１１はステレオ視のカメラ２のキャリブレーションで導出されるカメラパラメータである。そして、式（２）、（３）に基づいてターゲットＴｉがカメラの画像内のどの位置に投影されるかが計算される。

そして、Ｓ２２に移行し、探索枠Ｆｉの設定処理が行われる。探索枠Ｆｉは、ターゲットＴｉを画像認識するために探索すべき領域であって、画像上に設定されるものである。探索枠Ｆｉの設定処理は、ターゲットＴｉの座標値を中心として所定の横幅と縦幅を有する探索枠Ｆｉを設定する処理である。

ターゲットＴｉの座標値は、Ｓ２０で算出した左右カメラ座標系の座標値（Ｘ_Ｌ、Ｙ_Ｌ）、（Ｘ_Ｒ、Ｙ_Ｒ）が用いられる。探索枠Ｆｉの横幅と縦幅は、車両（カメラ２）の位置からターゲットＴｉまでの距離に応じて設定される。

例えば、図３、４に示すように、車両位置からターゲットＴｉまでの距離Ｄｓに応じて左画像の横幅Ｗ_Ｌ、縦幅Ｈ_Ｌを決定するテーブルが予め設定されている。また、同様にして、車両位置からターゲットＴｉまでの距離Ｄｓに応じて右画像の横幅Ｗ_Ｒ、縦幅Ｈ_Ｒを決定するテーブルが予め設定されている。これらのテーブルを用いることにより、左画像の横幅Ｗ_Ｌ、縦幅Ｈ_Ｌ及び右画像の横幅Ｗ_Ｒ、縦幅Ｈ_Ｒが演算される。その際、計測ごとに車両位置の計測誤差が出力される場合には、車両の計測誤差、即ちＧＰＳの計測誤差を加味した演算テーブルを用いることが好ましい。

そして、左画像の探索枠が座標値（Ｘ_Ｌ、Ｙ_Ｌ）、左画像の横幅Ｗ_Ｌ、縦幅Ｈ_Ｌにより設定される。また、右画像の探索枠が座標値（Ｘ_Ｒ、Ｙ_Ｒ）、左画像の横幅Ｗ_Ｒ、縦幅Ｈ_Ｒにより設定される。

その際、探索枠は、ステレオカメラによるターゲットＴｉの位置検出誤差を考慮し、またＧＰＳによるカメラ２の位置検出誤差を考慮して設定することが好ましい。また、探索枠は、地図データ作成時のターゲット位置誤差を考慮して設定することが好ましい。また、探索枠は、通信遅れによるターゲット位置誤差を考慮して設定することが好ましい。さらに、探索枠は、車両の方位角、ピッチ角の検出誤差によるターゲット位置誤差を考慮して設定することが好ましい。

例えば、ステレオカメラによるターゲットＴｉの左右方向の位置検出誤差をＳｘ、前後方向の位置検出誤差をＳｙ、高さ方向の位置検出誤差をＳｚとし、ＧＰＳによるカメラ２の左右方向の位置検出誤差をＰｘ、前後方向の位置検出誤差をＰｙ、高さ方向の位置検出誤差をＰｚとし、地図データ作成時のターゲットの左右方向の位置誤差、前後方向の位置誤差及び高さ方向の位置誤差をＭｐとし、通信遅れによるターゲットの左右方向の位置誤差、前後方向の位置誤差及び高さ方向の位置誤差をＣｍとし、車両の方位角の検出誤差によるターゲット位置誤差をＨｄとし、車両のピッチ角の検出誤差によるターゲット位置誤差をＰｔとすると、ターゲットの左右方向の位置誤差の積算値ΣｅｒｒＸは、Ｓｘ＋Ｐｘ＋Ｈｄ＋Ｃｍ＋Ｍｐとなる。また、ターゲットの前後方向の位置誤差の積算値ΣｅｒｒＹは、Ｓｙ＋Ｐｙ＋Ｃｍ＋Ｍｐとなる。また、ターゲットの高さ方向の位置誤差の積算値ΣｅｒｒＺは、Ｓｚ＋Ｐｚ＋Ｐｔ＋Ｃｍ＋Ｍｐとなる。これらの誤差積算値ΣｅｒｒＸ、ΣｅｒｒＹ、ΣｅｒｒＺに応じてターゲットＴｉの位置ずれが最大に生じてもターゲットＴｉが探索枠Ｆｉ内から外れないように、探索枠Ｆｉの大きさ（横幅、縦幅）を設定すればよい。

そして、Ｓ２４に移行し、探索ターゲットＴｉの種類の設定処理が行われる。この処理は、探索ターゲットＴｉの種類の設定を行う処理であり、例えば地図データに基づいて信号機、一時停止の標識など探索ターゲットＴｉの種類の設定を行うものである。

そして、Ｓ２６に移行し、探索枠Ｆｉの画像領域において探索ターゲットＴｉの画像認識処理が行われる。この認識処理は、例えばパターンマッチングの手法を用いて行われる。そのパターンマッチングとしては、差分総和、正規化相関、ニューラルネットなどを用いればよい。例えば、図５に示すように、カメラ２で撮像した画像２１内に探索枠Ｆｉが設定され、この探索枠Ｆｉ内の画像領域において探索ターゲットの画像認識が行われる。

そして、図２のＳ２８に移行し、認識結果出力処理が行われる。この処理は、認識結果を表示や音声などにより出力する処理である。例えば、認識対象物について画像認識が行われた場合には、図示しない表示装置により認識対象物を認識した旨を表示する。また、図示しないスピーカにより認識対象物を認識した旨を音声やブザーなどにより報知する。

そして、Ｓ３０に移行し、認識カウンタ値ｉにｉ＋１がセットされ、Ｓ１８に戻る。このＳ１８において、認識カウンタ値ｉが探索ターゲット数Ｎ以上であると判断された場合には、制御処理の終了条件が成立したか否かが判断される（Ｓ３２）。制御処理の終了条件が成立していないと判断されたときには、Ｓ１０に戻る。一方、制御処理の終了条件が成立したと判断されたときには、制御処理を終了する。

以上のように、本実施形態に係る画像認識装置及び画像認識方法によれば、認識対象物の位置を記録した地図情報及びカメラ２の位置情報に基づいてカメラ２によって撮像される認識対象物を予測し、カメラ２により撮像された画像内において認識対象物が表示される探索枠を設定し、その探索枠内において認識対象物の画像認識を行う。これにより、撮像した画像において限定した範囲に絞って画像処理を行えば認識処理が行える。従って、認識対象物の誤検出を低減し、処理速度の向上が図れる。

また、認識対象物の位置検出に誤差などを生じても画像認識を行う探索枠内に認識対象物が表示されるように探索枠の大きさを設定することにより、限定された範囲でありながら認識対象物を確実に表示する領域を設定することができる。これにより、認識対象物の画像認識が確実に行える。

なお、本実施形態では、道路上の道路標識や信号機を認識する場合について説明したが、本発明に係る画像認識装置及び画像認識方法はこのようなものに限られるものではなく、標識及び信号機以外のものを画像認識する場合に適用してもよい。

本発明の実施形態に係る画像認識装置の構成概要図である。本発明の実施形態に係る画像認識装置の動作及び画像認識方法を示すフローチャートである。図１の画像認識装置における探索枠の設定処理の説明図である。図１の画像認識装置における探索枠の設定処理の説明図である。図１の画像認識装置における画像認識処理の説明図である。

符号の説明

１…画像認識装置、２…カメラ（撮像手段）、３…画像処理部、４…データベース（記録手段）。

Claims

認識対象物を撮像するための撮像手段と、
前記撮像手段の位置を検出する位置検出手段と、
前記認識対象物の位置を記録した地図情報及び前記撮像手段の位置情報に基づいて前記撮像手段によって撮像される前記認識対象物を探索する探索手段と、
前記撮像手段により撮像される画像内において前記探索手段により探索された認識対象物が表示される領域を設定する領域設定手段と、
前記領域について前記認識対象物の画像認識を行う認識手段と、
を備えた画像認識装置。
前記領域設定手段は、前記位置検出手段において前記撮像手段の位置検出誤差を生じても前記領域内に前記認識対象物が表示されるように前記領域の大きさを設定することを特徴とする請求項１に記載の画像認識装置。
前記領域設定手段は、前記撮像手段から前記認識対象物までの距離検出に誤差が生じても前記領域内に前記認識対象物が表示されるように前記領域の大きさを設定することを特徴とする請求項１又は２に記載の画像認識装置。
前記領域設定手段は、前記地図情報における前記認識対象物の位置誤差が生じている場合でも前記領域内に前記認識対象物が表示されるように前記領域の大きさを設定することを特徴とする請求項１〜３のいずれかに記載の画像認識装置。
前記領域設定手段は、通信遅れにより前記認識対象物の位置誤差が生じている場合でも前記領域内に前記認識対象物が表示されるように前記領域の大きさを設定することを特徴とする請求項１〜４のいずれかに記載の画像認識装置。
前記認識対象物が道路標識であることを特徴とする請求項１〜５のいずれかに記載の画像認識装置。
前記認識対象物が信号機であることを特徴とする請求項１〜５のいずれかに記載の画像認識装置。
認識対象物を撮像するための撮像手段の位置を検出する位置検出工程と、
前記認識対象物の位置を記録した地図情報及び前記撮像手段の位置情報に基づいて前記撮像手段によって撮像される前記認識対象物を探索する探索工程と、
前記撮像手段により撮像される画像内において前記探索工程にて探索された認識対象物が表示される領域を設定する領域設定工程と、
前記領域について前記認識対象物の画像認識を行う認識工程と、
を備えた画像認識方法。
前記領域設定工程は、前記位置検出工程において前記撮像手段の位置検出誤差を生じても前記領域内に前記認識対象物が表示されるように前記領域の大きさを設定することを特徴とする請求項８に記載の画像認識方法。
前記領域設定工程は、前記撮像手段から前記認識対象物までの距離検出に誤差が生じても前記領域内に前記認識対象物が表示されるように前記領域の大きさを設定することを特徴とする請求項８又は９に記載の画像認識方法。
前記領域設定工程は、前記地図情報における前記認識対象物の位置誤差が生じている場合でも前記領域内に前記認識対象物が表示されるように前記領域の大きさを設定することを特徴とする請求項８〜１０のいずれかに記載の画像認識方法。
前記領域設定工程は、通信遅れにより前記認識対象物の位置誤差が生じている場合でも前記領域内に前記認識対象物が表示されるように前記領域の大きさを設定することを特徴とする請求項８〜１１のいずれかに記載の画像認識方法。
前記認識対象物が道路標識であることを特徴とする請求項８〜１２のいずれかに記載の画像認識方法。
前記認識対象物が信号機であることを特徴とする請求項８〜１２のいずれかに記載の画像認識方法。