JP2004145660A

JP2004145660A - 障害物検出装置

Info

Publication number: JP2004145660A
Application number: JP2002310058A
Authority: JP
Inventors: Toru Komoriya; 小森谷　徹
Original assignee: Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2002-10-24
Filing date: 2002-10-24
Publication date: 2004-05-20

Abstract

【課題】通常の可視画像から精度高く障害物を識別し、しかも画像処理の負荷を軽減する。
【解決手段】形状データ抽出部１０において可視化カメラからの画像データを２値化処理して障害物の形状データを抽出し、動きパターン検出部１１で、形状データの時間的な変化から障害物の動きパターンを検出する。そして、障害物識別部１２において、障害物の動きパターンとニューラルネットワーク１３で学習済みの動きパターンとを比較し、障害物を識別する。これにより、赤外線カメラを用いることなく、通常の可視画像から歩行者を検出することができ、しかも、障害物の特性を、多角形や楕円形等の簡素な図形を用いて代表するため、画像処理の負荷を軽減しつつ精度高く障害物を識別することができる。
【選択図】　　図２

Description

【０００１】
【発明の属する技術分野】
本発明は、車両の走行方向を撮像した可視画像から障害物を検出する障害物検出装置に関する。
【０００２】
【従来の技術】
従来、自動車等の車両においては、走行方向前方に存在する物体（障害物）、特に歩行者を検出するため、カメラで自車両前方を撮像し、その撮像画像から障害物を検出する技術が種々提案されている。
【０００３】
例えば、特開平１１−３２８３６４号公報や特開２０００−３０１９７号公報には、赤外線カメラを用い、人体から発生する赤外線を温度画像データとして処理することで、歩行者を識別する技術が開示されている。
【０００４】
【特許文献１】
特開平１１−３２８３６４号公報
【０００５】
【特許文献２】
特開２０００−３０１９７号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、特許文献１や特許文献２に開示されている先行技術は、何れも赤外線カメラを用いているため、コスト上昇の原因となる。更に、これらの先行技術では、温度画像から人間のような形状と判断しているため、画像処理の際の負荷が大きいばかりでなく、動きがわからず、本当に人間であるか否かを判断することができず、精度高く障害物を識別することは困難である。
【０００７】
本発明は上記事情に鑑みてなされたもので、通常の可視画像から精度高く障害物を識別し、しかも画像処理の負荷を軽減することのできる障害物検出装置を提供することを目的としている。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、本発明の障害物検出装置は、車両の走行方向の可視画像を撮像する撮像手段と、上記可視画像から障害物の特性を代表する領域を形状データとして抽出する形状データ抽出手段と、所定の時間間隔で撮像された複数の可視画像間における上記形状データの差分と上記形状データの特性変化とを障害物の動きパターンとして検出する動きパターン手段と、上記動きパターンと予め学習した動きパターンとを比較し、障害物を識別する障害物識別手段とを備えたことを特徴とする。
【０００９】
すなわち、本発明は、車両の走行方向を所定の時間間隔で撮像し、撮像した可視画像から障害物の特性を代表する領域を形状データとして抽出し、複数の可視画像間における形状データの差分と形状データの特性変化とを障害物の動きパターンとして検出する。そして、実際に検出した動きパターンと予め学習した動きパターンとを比較して、障害物を識別する。
【００１０】
その際、形状データの差分の更なる差分を求め、この更なる差分により、障害物の識別処理に先立って妥当性を判断することが望ましく、また、所定の時間間隔で撮像した可視画像データ或いは形状データの差分に、撮像手段の回転・移動による補正を加えることが望ましい。
【００１１】
更に、歩行者を障害物として検出する際に、実際の歩行者の動きパターンを学習したニューラルネットワークを用いて障害物が歩行者か否かを判断することが望ましく、障害物までの距離情報に基づいて、障害物が所定の距離以内に近づいたとき、形状データの抽出処理と、この抽出処理に続く以後の処理を実行することが望ましい。
【００１２】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図４は本発明の実施の一形態に係わり、図１は障害物検出装置の全体構成図、図２は障害物検出機能のブロック図、図３は物体の形状データの時間変化を示す説明図であり、（ａ）は現時点の形状データを示す説明図、（ｂ）はΔｔ前の形状データを示す説明図、（ｃ）は２Δｔ前の形状データを示す説明図、図４は多角形で表現した形状データを示す説明図であり、（ａ）は現時点の形状データを示す説明図、（ｂ）はΔｔ前の形状データを示す説明図、（ｃ）は２Δｔ前の形状データを示す説明図である。
【００１３】
図１において、符号１は、自動車等の車両に搭載される障害物検出装置であり、車両進行方向の比較的近距離の範囲を撮像した可視画像を処理して歩行者や自転車等を障害物として検出する。この障害物検出装置１は、マイクロコンピュータ等からなる画像処理装置２を中心として構成され、画像処理装置２の入力側に、可視化カメラ３、測距装置４、測位装置５、車速センサ６等の機器が接続されると共に、画像処理装置２の出力側に、表示・警報装置７、車両制御装置８、歩行者保護装置９等が接続されている。
【００１４】
可視化カメラ３は、車両の進行方向に存在する障害物（歩行者）の可視画像を撮像するためのカメラであり、例えば電荷結合素子（ＣＣＤ）を撮像素子とするＣＣＤカメラを用いる。測距装置４は、レーダ距離計或いはステレオカメラを用いた測距装置であり、物体（障害物）までの距離、方向、相対速度等を検出する。尚、測距装置４としてステレオカメラを用いる場合には、ステレオカメラの一方のカメラを、障害物（歩行者）の可視画像を撮像する可視化カメラとして兼用することが可能である。また、測位装置５は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）等の人工衛星を利用した航法や走行履歴に基づいて現在位置を測定する推測航法により、自車両の位置を検出し、可視化カメラ３の回転・移動を制御する上での情報を提供する。
【００１５】
そして、以上の各機器からの入力情報に基づく画像処理装置２の検出結果に基づく障害物情報データが表示・警報装置７、車両制御装置８、歩行者保護装置９に出力される。表示・警報装置７では、歩行者や自転車等の障害物の有無を表示してドライバーに警告を発し、また、車両制御装置８では、画像処理装置２からの障害物情報データに基づいて衝突回避のための操舵制御やブレーキ制御等の各種車両制御を行い、特に障害物が歩行者であり、衝突が避けられない場合には、歩行者保護装置９によって歩行者保護のための各種装置（例えば、アクティブフードや歩行者保護エアバッグ等）の作動が制御される。
【００１６】
画像処理装置２の障害物検出機能は、図２に示すように、可視化カメラ３からの画像データを２値化処理して障害物の形状データを抽出する形状データ抽出部１０、形状データの時間的な変化から障害物の動きパターンを検出する動きパターン検出部１１、障害物の動きパターンとニューラルネットワーク１３で学習済みの動きパターンとを比較し、障害物を識別する障害物識別部１２における各処理により実現される。
【００１７】
この障害物検出機能は、多大なデータ処理を要するため、車両の走行環境に応じて必要なときにのみ、障害物の形状データの抽出処理と、これに続く処理とを実行する。例えば、歩行者を検出する場合には、測距装置４から得られる距離情報を基に、障害物（歩行者）が所定の距離以内に近づいたときに、障害物の形状データを抽出し、その後の処理に移行する。
【００１８】
詳細には、可視化カメラ３で撮像した可視画像が画像処理装置２に入力されると、形状データ抽出部１０において、可視画像から所定幅の輝度値を有する画素を抽出して２値化し、障害物の特性を代表する形状データを求める。尚、自車両位置の変化に伴って可視化カメラ３自体に回転・移動が生じるため、可視化カメラ３で撮像した可視画像の画像データ或いは移動データには、測位装置５の測位データに基づく可視化カメラ３の回転・移動に応じた補正を加える。
【００１９】
そして、この障害物の特性を代表する形状データを所定時間毎に蓄積し、時系列的な形状データＤ０，Ｄ１，Ｄ２，…，Ｄｎを取得する。Δｔ時間毎にデータを蓄積する場合、Ｄ０は現時点の形状データ、Ｄ１はΔｔ時間前の形状データ，Ｄ２は２Δｔ時間前の形状データ，…，ＤｎはｎΔｔ時間前の形状データである。
【００２０】
次に、動きパターン検出部１１で、以下に示すように、各時点で処理されたｎ＋１個の形状データ間の差分（画像ピクセルデータ間の差分）を求め、この差分を、Δｔ（或いは、２Δｔ，３Δｔ，…）時間における障害物の移動（物体の動き）を表す移動データＭ１，Ｍ２，Ｍ３，…，Ｍｎとして求める。この時系列的に蓄積された一連の移動データは、障害物の動きを表す動きパターンとして用いられる。
Ｍ１＝（Ｄ０−Ｄ１）／Δｔ
Ｍ２＝（Ｄ１−Ｄ２）／Δｔ
Ｍ３＝（Ｄ２−Ｄ３）／Δｔ
・
・
・
Ｍｎ＝（Ｄｎ−１−Ｄｎ）／Δｔ
【００２１】
また、一連の移動データは、予め検出対象の障害物の動きパターンとしてニューラルネットワーク１３に学習させておき、障害物識別部１２で、実際に得られた障害物の動きパターンと学習済みの動きパターンとを比較することで障害物を識別する。例えば、歩行者を検出する場合には、実際の人間（歩行者や自転車に乗った人間）に対し、以下の（１）〜（５）の条件にて形状データと移動データとを予め計測しておき、それらのデータをニューラルネットワークの教師データとして人間の動きのパターンとして学習させておく。そして、可視化カメラ３から得られた形状データ及び移動データをニューラルネットワークを用いてパターン認識し、実際の人間であるか否かを判断する。
【００２２】
（１）体格
大人、子供、老人、性別等による体格の相違
（２）持ち物・乗り物
鞄、帽子、傘、杖等の有無や、犬、自転車、乳母車、車椅子等の付加物の有無
（３）服装
ズボン、スカート、コート等の服装の相違
（４）歩き方
千鳥足、早足、スキップ等による移動速度の相違
（５）方向
前後、左右、斜め等の移動方向の相違
【００２３】
この場合、障害物の特性を代表する形状データは、障害物の輪郭を表現した形状データ、例えば、図３（ａ）に示すような現時点の歩行者の輪郭を表す形状データＤ’０、図３（ｂ）に示すようなΔｔ時間前に処理された歩行者の輪郭を表す形状データＤ’１、図３（ｃ）に示すようなΔ２ｔ時間前に処理された歩行者の輪郭を表す形状データＤ’２を時系列的に求めても良いが、このような形状データは、画面全体を対象として処理を施す必要があることから、データ処理時間が比較的長くなる。
【００２４】
従って、形状データ抽出部１０においては、図３に示すような障害物の輪郭を表現した形状データに代えて、障害物を特徴付ける多角形や楕円形の特性値（面積やアスペクト比等）を形状データとして抽出する。すなわち、図４に示すように、障害物（歩行者）の輪郭における最大・最小の範囲で多角形の処理枠の領域を抽出し、この領域の属性データ、すなわち、枠の寸法や位置、面積、アスペクト比等のデータを、障害物の特性を置き換えた形状データとする。尚、図４においては、障害物（歩行者）の特性を代表する形状データとして、比較的簡易な４角形の領域を設定した例を示すが、多角形の辺の数を増やすことにより、図３の形状データに近づき、それと共にデータ処理時間も長くなる。
【００２５】
そして、図４（ａ）に示す多角形で表現した現時点における障害物の（歩行者）特性を置き換えた形状データＤ０に対し、図４（ｂ）に示すΔｔ時間前の歩行者の特性を置き換えた形状データＤ１、図４（ｃ）に示す２Δｔ時間前の歩行者の特性を置き換えた形状データＤ２といったように、時系列的に形状データを蓄積し、各時点の形状データの差分を求めると共に、多角形や楕円形で表現した形状データの特性値（面積やアスペクト比等）の時間変化を求める。
【００２６】
多角形や楕円形で代表した形状データの差分データ（移動データ）は、多角形や楕円形の面積やアスペクト比の時間変化と共に、障害物（歩行者）の動きパターンの特徴として用いられ、この動きパターンをニューラルネットワーク１３を用いてパターン認識することで、障害物を識別する。
【００２７】
これにより、赤外線カメラを用いることなく、通常の可視画像から歩行者を検出することができ、しかも、障害物の特性を、多角形や楕円形等の簡素な図形を用いて代表するため、画像処理の負荷を軽減しつつ精度高く障害物を識別することができる。
【００２８】
尚、移動データの精度を向上させるには、以下に示すように、時間項の２次精度離散化を行い、直近の形状データ以外に所定時間前の形状データを入力データとして加えることが望ましい。
Ｍｎ＝（３×Ｄｎ−４×Ｄｎ−１＋Ｄｎ−２）／２Δｔ
【００２９】
また、測距装置４からの距離情報に基づいて、障害物の動きが少ない或いは移動速度が小さいと判断される場合には、以下に示すように、比較する画像データの時間間隔を大きくすることが望ましい。これにより、動きパターンの認識処理に要する時間を節減することができる。
Ｍｎ＝（Ｄｎ−１−Ｄｎ）／Δｔ
Ｍｎ＝（Ｄｎ−２−Ｄｎ）／２Δｔ
Ｍｎ＝（Ｄｎ−３−Ｄｎ）／３Δｔ
・
・
・
【００３０】
更に、障害物の判定精度を向上させるため、障害物の移動データ間の差分値、すなわち障害物が移動する際の加速度を逐次計測し、ニューラルネットワークでパターン認識を行う前に、この加速度を用いて障害物の妥当性を判断することが望ましい。例えば、計測した加速度が人間の出し得る最大加速度以上になっている場合には、障害物は「人間ではない」と判断する。これにより、ニューラルネットワーク１３でのパターン認識に要する時間を削減することができる。
【００３１】
【発明の効果】
以上説明したように本発明によれば、通常の可視画像から精度高く障害物を識別し、しかも画像処理の負荷を軽減することができる。
【図面の簡単な説明】
【図１】障害物検出装置の全体構成図
【図２】障害物検出機能のブロック図
【図３】物体の形状データの時間変化を示す説明図
【図４】多角形で表現した形状データを示す説明図
【符号の説明】
１　　障害物検出装置
２　　画像処理装置
３　　可視化カメラ
１０　形状データ抽出部
１１　動きパターン検出部
１２　障害物識別部
１３　ニューラルネットワーク

Claims

車両の走行方向の可視画像を撮像する撮像手段と、
上記可視画像から障害物の特性を代表する領域を形状データとして抽出する形状データ抽出手段と、
所定の時間間隔で撮像された複数の可視画像間における上記形状データの差分と上記形状データの特性変化とを障害物の動きパターンとして検出する動きパターン手段と、
上記動きパターンと予め学習した動きパターンとを比較し、障害物を識別する障害物識別手段とを備えたことを特徴とする障害物検出装置。
上記形状データの差分の更なる差分を求め、この更なる差分により、障害物の識別処理に先立って妥当性を判断することを特徴とする請求項１記載の障害物検出装置。
所定の時間間隔で撮像した可視画像データ或いは上記形状データの差分に、上記撮像手段の回転・移動による補正を加えることを特徴とする請求項１又は２記載の障害物検出装置。
歩行者を障害物として検出する際に、実際の歩行者の動きパターンを学習したニューラルネットワークを用いて障害物が歩行者か否かを判断することを特徴とする請求項１，２，３の何れか一に記載の障害物検出装置。
障害物までの距離情報に基づいて、障害物が所定の距離以内に近づいたとき、上記形状データの抽出処理と、この抽出処理に続く以後の処理を実行することを特徴とする請求項１，２，３，４の何れか一に記載の障害物検出装置。