JP2012164275A - 画像認識装置 - Google Patents

Abstract

【課題】歩行者検出のためのパターン認識の計算量を軽減できる、画像認識装置を提供すること。
【解決手段】自車両の進行方向に存在する立体物までの距離を測定する測距手段と、測距手段によって同一距離として探知された測距点の集まりを囲む検出枠４５を、自車両と衝突するおそれのある障害物として検出する障害物検出手段と、検出枠４５内の障害物に限ってテンプレートマッチングによる歩行者認識を、検出枠４５の端位置を基準に設定された探索領域５０内で実行することによって、歩行者を検出する歩行者検出手段とを備える、画像認識装置。
【選択図】図６

Description

本発明は、パターン認識を実行することにより歩行者を検出する、画像認識装置に関する。

従来技術として、自車両前方の道路を含む風景を撮像した画像の中から、立体物を検出し、立体物の大きさが所定の閾値以内で、かつ立体物の上下方向に一定の輝度変化パターンを有する場合、その立体物をパイロン等の走行誘導障害物として検出する装置が知られている（例えば、特許文献１を参照）。

特開２００７−２８０１３２号公報

しかしながら、従来技術では、検出された立体物から歩行者を検出したい場合、上述のような簡易なパターンだけでは歩行者であるか否かを判別できない。そのため、歩行者検出のためのパターン認識を採用することが有効であるが、その採用に伴ってパターン認識の計算量が増大してしまう。

そこで、本発明は、歩行者検出のためのパターン認識の計算量を軽減できる、画像認識装置の提供を目的とする。

上記目的を達成するため、本発明に係る画像認識装置は、
自車両と衝突するおそれのある障害物を検出する障害物検出手段と、
前記障害物検出手段によって検出された前記障害物に限ってパターン認識を実行することにより、歩行者を検出する歩行者検出手段とを備えることを特徴とするものである。

また、上記目的を達成するため、本発明に係る画像認識装置は、
自車両の進行方向に存在する障害物を検出する障害物検出手段と、
前記障害物検出手段によって検出された前記障害物に限ってパターン認識を実行することにより、歩行者を検出する歩行者検出手段とを備えることを特徴とするものである。

本発明によれば、歩行者検出のためのパターン認識の計算量を軽減できる。

本発明の一実施形態である衝突保護システム１の構成を示したブロック図である。 テンプレートフルスキャンによるパターン認識処理例を示した図である。 歩行者４２と車両４３が自車両からほぼ同じ距離で近接している状況を示した図である。 検出枠４５と自車両の進路４６との重複関係を模式的に上方視で示した図である。 画像認識装置１００の処理動作例を示したフローチャートである。 探索領域５０を示した図である。 検出枠５１，５２を示した図である。

以下、図面を参照しながら、本発明を実施するための形態の説明を行う。図１は、本発明の一実施形態である衝突保護システム１の構成を示したブロック図である。衝突保護システム１は、自車両が自車両周辺の障害物（他車両、歩行者など）を監視し、その監視結果に応じて衝突保護装置３１を作動させて、障害物との衝突を回避又は障害物との衝突被害を軽減する車載システムである。衝突保護システム１は、画像認識装置１００と、衝突予測制御装置３０と、衝突保護装置３１とを備える。

画像認識装置１００は、自車両の進行方向に存在する障害物を撮像して、撮像画像内の特定の障害物が歩行者であるのか車両であるのかを識別可能な装置である。衝突予測制御装置３０は、画像認識装置１００による障害物の識別結果に応じて、衝突保護装置３１を作動させ、その作動態様を変化させる。衝突予測制御装置３０の具体例として、マイクロコンピュータ等が内蔵された電子制御装置（ＥＣＵ）が挙げられる。また、衝突保護装置３１の具体例として、ステアリング装置、サスペンション装置、エアバッグ装置、プリテンショナ付シートベルト装置、ブレーキアシスト装置、シート調節装置、警報装置、これらの装置毎に配備されたＥＣＵなどが挙げられる。

画像認識装置１００は、障害物検出部１０と、歩行者検出部２０とを備える。障害物検出部１０は、自車両と衝突するおそれのある障害物を検出する手段である。自車両の進行方向に存在する障害物を検出する手段でもよい。自車両の進行方向は、前進方向でも後進方向でもよい。一方、歩行者検出部２０は、被写体の中で障害物検出部１０によって検出された障害物に限ってパターン認識を実行することにより、歩行者を検出する手段である。

したがって、画像認識装置１００の構成によれば、歩行者検出のためのパターン認識が実行される対象が、自車両と衝突するおそれのある障害物（又は、自車両の進行方向に存在する障害物）に限られるため、歩行者検出のためのパターン認識の計算量を軽減できる。例えば、図２に示されるように、歩行者テンプレート４０を撮像画像４１の全領域にわたってパターン認識を実行しながらフルスキャンすることにより撮像画像４１内の歩行者４２を検出する場合に比べて、歩行者検出のためのパターン認識の計算量を軽減できる。

次に、図１に示した画像認識装置１００の構成要素である障害物検出部１０について更に詳細に説明する。

障害物検出部１０は、測距システム１１と、障害物判定部１２とを備える。測距システム１１は、自車両の進行方向に存在する立体物を探知する手段である。障害物判定部１２は、測距システム１１の測距結果を用いて、自車両と衝突するおそれのある障害物（又は、自車両の進行方向に存在する障害物）を検出する。なお、測距システム１１は、障害物検出部１０の内部に構成されてもよいし、障害物検出部１０の外部に構成されてもよい。

測距システム１１は、自車両から自車両の進行方向に存在する立体物までの距離を測定する測距手段である。測距システム１１の具体例として、カメラを用いて距離を測定して算出するシステムが挙げられる。カメラの具体例として、単眼カメラ、ステレオカメラが挙げられる。

単眼カメラを用いる場合、例えば、撮像画像の画素の縦座標と被写体までの距離との予め定められた対応関係に基づいて、単眼カメラで実際に撮影された立体物の最下端の撮像画像上の縦座標から、その立体物までの距離が算出される。ステレオカメラを用いる場合、ステレオカメラで撮影した一対の画像に対してステレオ視差をとることにより、立体物の画像上の各点の距離が算出される。

測距システム１１による距離の算出は、横方向（車幅方向）及び縦方向（高さ方向）をスキャン可能なレーダー（例えば、レーザーレーダー、ミリ波レーダーなど）を用いてもよい。レーダーから照射された電波が立体物上の各点で反射することにより、各反射点までの距離が算出される。

障害物判定部１２は、測距システム１１によって同一距離として探知された測距点の集まりを、自車両と衝突するおそれのある障害物（又は、自車両の進行方向に存在する障害物）として検出する。これにより、例えば図３に示される歩行者４２及び車両４３のように、測距システム１１のような測距手段が、自車両からほぼ同じ距離で近接している異種の立体物を区別できずに同一の立体物として距離測定がされたとしても、同一距離として探知された測距点の集まりに対して上述のパターン認識を実行することによって、歩行者とその歩行者に近接する立体物とを区別できる。その結果、パターン認識の計算量を軽減したまま、歩行者を正確に検出できる。

例えば、障害物判定部１２は、図３に示されるように、測距システム１１のカメラによって近傍領域内で同一距離として探知された各測距点を囲む検出枠４５を撮像画像４１上で作成する。検出枠４５は、横幅Ｗ１と縦幅Ｈ１からなる四角形である。障害物判定部１２は、検出枠４５を立体物として検出する。したがって、検出枠４５内の画素は、ある一つの立体物を構成する画素とみなすことができる。測距システム１１のカメラは、検出枠４５内の各画素の距離情報に基づいて、その立体物までの距離を算出できる。例えば、±σ（σ：標準偏差）の範囲内の各画素の距離の平均に基づいて、その立体物までの距離を算出する。

次に、図１に示した画像認識装置１００の構成要素である歩行者検出部２０について更に詳細に説明する。

歩行者検出部２０は、パターン認識部２１と、パターン認識実行可否判定部２２と、歩行者判定部２３とを備える。パターン認識部２１は、障害物検出部１０に備えられたカメラによって得られた撮像画像上で、測距システム１１のレーダー又はカメラによって同一距離として探知された測距点の集まりに対してパターン認識を実行する処理計算部である。パターン認識実行可否判定部２２は、障害物検出部１０の障害物判定部１２によって検出された障害物の特徴（例えば、形態的特徴、又は位置的特徴、又は各特徴の組み合わせなど）に応じて、パターン認識部２１で処理されるパターン認識の実行可否を決定する手段である。歩行者判定部２３は、パターン認識部２１の認識結果に基づいて、歩行者を検出する手段である。

例えば、パターン認識実行可否判定部２２は、測距システム１１によって同一距離として探知された測距点の集まりの大きさ（具体的には、検出枠４５の横幅Ｗ１及び／又は縦幅Ｈ１）に応じて、パターン認識部２１で処理されるパターン認識の実行可否を決定する。パターン認識部２１は、測距システム１１によって同一距離として探知された測距点の集まりの大きさが、歩行者の一般的な大きさを考慮して設定された所定の大きさ基準（例えば、所定の横幅閾値）を超えているとき、歩行者とその歩行者に近接する立体物とがまとまったかたまりを一つの立体物として検出されているとして、歩行者検出のためのパターン認識をその測距点の集まり（具体的には、検出枠４５内の画素）に対して実行する。これにより、パターン認識の対象を絞り込むことができる結果、パターン認識の計算量を軽減できる。

また、例えば、パターン認識実行可否判定部２２は、検出枠４５の横幅Ｗ１と縦幅Ｈ１の比率に応じて、パターン認識部２１で処理されるパターン認識の実行可否を決定してもよい。立体物が歩行者単独である場合、一般的に「横幅Ｗ１＜縦幅Ｈ１」であることから、「横幅Ｗ１／縦幅Ｈ１＞１」のときには、歩行者とバスほど背の高くない乗用車とが近接しているとみなすことができる。

なお、立体物の実際の幅（横幅、縦幅）は、カメラを用いて検出でき、例えば、その立体物までの距離とその立体物の撮像画像上の幅とに基づいて、演算可能である。

また、パターン認識実行可否判定部２２は、障害物検出部１０の障害物判定部１２によって検出された障害物と自車両の進路との位置関係に応じて、パターン認識部２１で処理されるパターン認識の実行可否を決定してもよい。例えば、パターン認識実行可否判定部２２は、測距システム１１によって同一距離として探知された測距点の集まりの左右端の端位置（具体的には、図４に示される検出枠４５の横幅を定める端位置４５ａ又は４５ｂ）に応じて、パターン認識部２１で処理されるパターン認識の実行可否を決定してもよい。

図４は、検出枠４５と自車両４９の進路４６との重複関係を模式的に上方視で示したものである。進路４６は、自車両４９が進むべき走行路である。進路４６の左端４７ａと右端４７ｂとの間の路幅Ｗ３は、自車両４９が現在の進行方向のままで進むと仮定したときに、自車両４９と衝突するおそれのある幅長に設定される。例えば、自車両４９の車幅に応じて設定され、典型的には、自車両４９の車幅と同一又は僅かに大きい値に設定される。区画線４４は、車両の走行レーンを隣の走行レーンと区分するための、道路面に標示された車線（白線や黄線など）である。一点鎖線４８は、進路４６の路幅方向の中央線を仮想的に示した線である。

パターン認識実行可否判定部２２は、検出枠４５の横幅を定める端位置と進路４６との重複関係に応じて、パターン認識部２１で処理されるパターン認識の実行可否を決定する。パターン認識部２１は、例えば図４のような進行状況において、検出枠４５の左右端のうち進路４６の中央線４８に近い方の右端４５ｂが進路４６上にあるとき、検出枠４５内の障害物と自車両４９が衝突するおそれがあるとして、検出枠４５内の画素に対してパターン認識を実行する。一方、検出枠４５の左右端のうち進路４６の中央線４８に近い方の右端４５ｂが進路４６上にないとき、検出枠４５内の障害物と自車両４９が衝突するおそれがないとして、検出枠４５内の画素に対してパターン認識を実行されない。

図５は、画像認識装置１００の処理動作例を示したフローチャートである。障害物検出部１０は、上述のように、立体物を検出する（ステップＳ１０）。歩行者検出部２０は、検出枠４５の左右端の一方の端の位置が、自車両の車幅に応じて設定された路幅Ｗ３内にあるか否かを判定する（ステップＳ２０）。検出枠４５の両端位置が共に路幅Ｗ３の外側に存在する場合には、自車両と立体物のラップ率（＝路幅Ｗ３内の立体物幅Ｗ２／路幅Ｗ３×１００）が、１００％又は０％である。ラップ率が１００％とは、検出枠４５の左端４５ａが進路４６の左端４７ａよりも外側（左側）に位置し、かつ検出枠４５の右端４５ｂが進路４６の右端４７ｂよりも外側（右側）に位置する場合である。

ラップ率が０％のときには、立体物が自車両と衝突する可能性は小さくなる。そこで、ラップ率が０％の場合、衝突保護装置３１は衝突可能性が小さいときの作動態様で作動するので、一つの立体物として検出されたかたまりが本発明のパターン認識によって仮に複数に分離して識別されるものであっても、それらの識別された立体物が自車両と衝突する可能性が小さいことには変わりは無く、衝突保護装置３１の作動タイミングにはほとんど影響しないとして、本発明のパターン認識の処理は行われない。

一方、ラップ率が１００％のときには、立体物が自車両と衝突する可能性は大きくなる。そこで、ラップ率が１００％の場合、衝突保護装置３１は衝突可能性が大きいときの作動態様で作動するので、一つの立体物として検出されたかたまりが本発明のパターン認識によって仮に複数に分離して識別されるものであっても、それらの識別された立体物が自車両と衝突する可能性が大きいことには変わりは無く、衝突保護装置３１の作動タイミングにはほとんど影響しないとして、本発明のパターン認識の処理は行われない。

歩行者検出部２０は、検出枠４５の左右端の一方の端の位置が路幅Ｗ３内にある場合（例えば、ラップ率が５０％以上１００％未満の場合）、路幅Ｗ３内にあるその一方の端位置（図４の場合、右端４５ｂの位置）を基準に、図６に示されるような、検出枠４５内に含まれる探索領域５０を設定する（ステップＳ３０）。このような探索領域５０を設定することにより、検出枠４５内を満遍なくパターン認識をする場合に比べて、パターン認識の計算量が軽減し、処理速度を向上させることができる。例えば、歩行者４２の幅の最大値が検出枠４５の縦幅Ｈ１以下であると定義して、探索領域５０の横領域幅Ｗ４を図６に示されるように検出枠４５の縦幅Ｈ１に等しく設定して、探索領域５０を正矩形域に設定する。

パターン認識部２１は、設定した探索領域５０内でテンプレートマッチングによる歩行者認識を行う（ステップＳ４０）。歩行者４２を検出したとき（ステップＳ５０）、立体物情報の補正が行われる（ステップＳ６０）。すなわち、検出枠４５を、歩行者４２を囲む検出枠５１と、検出枠４５から検出枠５１を除いた検出枠５２とに分離する（図７参照）。そして、検出枠５１と検出枠５２のそれぞれについて、画素ごとの距離情報を用いて、各立体物の縦幅及び横幅、並びに各立体物までの距離が再度算出されることにより、それらの算出結果の精度が高められる。パターン認識部２１は、検出枠５２に対してパターン認識をすることによって、検出枠５２がどんな立体物であるのかを識別することができる。

したがって、本発明の構成によれば、例えば、横断歩行者と自車両までの距離と、その横断歩行者に近接する静止物（例えば、横断歩行者待ちの先行車両、路側駐車車両）と自車両までの距離とがほぼ等しい状況でも、正確に歩行者と車両を識別できる。また、衝突保護装置３１の作動タイミングに影響を与える状況及び領域に限定することによって、認識処理の負荷を大幅に軽減できるため、リアルタイム性に優れるシステムを構築できる。

例えば、自車両の進行方向に存在する異種の立体物を分離できずに、車両と歩行者のそれぞれの横幅の和よりも大きな横幅を持つ立体物情報が出力されることは無いため、衝突保護装置３１に所望の動作を確実にさせることができる。具体的には、歩行者と車両とが測距センサによって識別できないほど近接していたとしても、衝突予測制御装置３０は、その歩行者とその歩行者に近接する車両のそれぞれに適した保護動作を衝突保護装置３１にさせることができる。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。

例えば、パターン認識の実行可否を決定するための障害物の特徴として、障害物の大きさ等の形態的特徴、障害物と自車両との位置関係等の位置的特徴を例に挙げたが、これらの特徴のいずれかを二つ以上組み合わせて、パターン認識を実行する対象を絞り込むことで、パターン認識の計算量を軽減してもよい。

例えば、「歩行者」には、自転車や車椅子などに乗る者を含んでいてよい。

１ 衝突保護システム
１０ 障害物検出部
１１ 測距システム
１２ 障害物判定部
２０ 歩行者検出部
２１ パターン認識部
２２ パターン認識実行可否判定部２２
２３ 歩行者判定部
３０ 衝突予測制御装置
３１ 衝突保護装置
４０ 歩行者テンプレート
４１ 撮像画像
４２ 撮像画像４１上の歩行者
４３ 撮像画像４１上の車両
４４ 区画線
４５ 検出枠
４６ 進路
４７ａ，４７ｂ 進路４６の横端
４８ 進路４６の仮想中央線
４９ 自車両
５０ 探索領域
５１，５２ 検出線

Claims (20)

1. 自車両と衝突するおそれのある障害物を検出する障害物検出手段と、
   前記障害物検出手段によって検出された前記障害物に限ってパターン認識を実行することにより、歩行者を検出する歩行者検出手段とを備える、画像認識装置。
2. 前記パターン認識の実行可否が、前記障害物検出手段によって検出された前記障害物の特徴に応じて決定される、請求項１に記載の画像認識装置。
3. 前記障害物の特徴が、形態的特徴である、請求項２に記載の画像認識装置。
4. 前記形態的特徴が、前記障害物の大きさである、請求項３に記載の画像認識装置。
5. 前記形態的特徴が、前記障害物の横幅である、請求項４に記載の画像認識装置。
6. 前記パターン認識は、前記横幅が所定の横幅閾値を超えているとき実行される、請求項５に記載の画像認識装置。
7. 前記形態的特徴が、前記障害物の縦幅と横幅の比である、請求項３から６のいずれか一項に記載の画像認識装置。
8. 前記障害物の特徴が、位置的特徴である、請求項２から７のいずれか一項に記載の画像認識装置。
9. 前記位置的特徴が、前記障害物と自車両の進路との位置関係である、請求項８に記載の画像認識装置。
10. 前記パターン認識は、前記障害物の左右端の一方の端位置が前記進路上にあるとき実行される、請求項９に記載の画像認識装置。
11. 前記パターン認識は、前記障害物が前記進路に所定の重複幅以上重複するとき実行される、請求項９に記載の画像認識装置。
12. 自車両の進行方向に存在する立体物を探知する探知手段を備え、
    前記障害物検出手段は、前記探知手段の探知結果を用いて前記障害物を検出する、請求項１から１１のいずれか一項に記載の画像認識装置。
13. 前記探知手段は、前記立体物までの距離を測定する測距手段である、請求項１２に記載の画像認識装置。
14. 前記障害物検出手段は、前記測距手段によって同一距離として探知された測距点の集まりを前記障害物として検出する、請求項１３に記載の画像認識装置。
15. 前記歩行者検出手段は、前記集まりに基づいて設定された探索領域内で、前記パターン認識を実行する、請求項１４に記載の画像認識装置。
16. 前記探索領域の大きさが、前記集まりの縦幅に応じて設定される、請求項１５に記載の画像認識領域。
17. 前記探索領域の横幅が、前記集まりの縦幅以下に設定される、請求項１６に記載の画像認識装置。
18. 前記歩行者検出手段により検出された歩行者に相当する測距点を前記探索領域から除いた残りの測距点に対して、パターン認識が実行される、請求項１５から１７のいずれか一項に記載の画像認識装置。
19. 前記測距手段は、レーダー又はカメラを用いて測距するシステムである、請求項１３から１８のいずれか一項に記載の画像認識装置。
20. 自車両の進行方向に存在する障害物を検出する障害物検出手段と、
    前記障害物検出手段によって検出された前記障害物に限ってパターン認識を実行することにより、歩行者を検出する歩行者検出手段とを備える、画像認識装置。

Images