JP2005284799A

JP2005284799A - 歩行者検出装置

Info

Publication number: JP2005284799A
Application number: JP2004098879A
Authority: JP
Inventors: Akio Takahashi; 昭夫高橋; Akihito Kimata; 亮人木俣
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2004-03-30
Filing date: 2004-03-30
Publication date: 2005-10-13

Abstract

【課題】自車両の外部に存在する物体として歩行者を適切に検出する。
【解決手段】歩行者候補検出部７１は、外界センサ１３の画像処理部３２から入力される画像データに対して、例えば歩行者を検知対象物とした特徴量算出および形状判別等の認識処理を行う。凹凸形状検出部７２は、外界センサ１３のレーダ制御部３４から入力されるビート信号の周波数ｆ（ビート周波数）に基づき、所定の検知エリア内の検知対象物までの相対距離や検知対象物の移動状態（例えば、移動速度や移動方向等）を算出すると共に、検知対象物の表面上の複数の適宜の位置の相対距離を算出し、検知対象物の表面上の凹凸形状を検出する。歩行者判定部７３は、歩行者候補検出部７１にて検出された歩行者候補の検知対象物と、凹凸形状検出部７２にて検出された検知対象物の凹凸形状とに基づき、検知対象物が歩行者であるか否かを判定する。
【選択図】図１

Description

本発明は、歩行者検出装置に関する。

従来、例えば自車両の前方に存在する物体までの距離を２次元の距離情報として検出し、この距離情報から、予め定めた歩行者検出用の複数の特徴量を演算し、演算した各特徴量に基づき歩行者か否かを判定する装置が知られている（例えば、特許文献１参照）。
特開２００１−３５１１９３号公報

しかしながら、上記従来技術においては、歩行者を示す特徴量として歩行者の外郭形状に係る物体幅と縦分散（つまり距離情報に対応する各点の高さデータの分散）等が設定されているだけであり、歩行者と外郭形状が類似する他の物体、例えば大型車両のタイヤや建物の出入り口や街路樹等を判別することが困難な場合がある。
本発明は上記事情に鑑みてなされたもので、自車両の外部に存在する物体として歩行者を適切に検出することが可能な歩行者検出装置を提供することを目的とする。

上記課題を解決して係る目的を達成するために、請求項１に記載の本発明の歩行者検出装置は、自車両の進行方向の所定領域を撮影する撮影手段（例えば、実施の形態でのカメラ３１）と、該撮影手段の撮影により得られる撮影画像に対して、予め記憶した歩行者の形状に係る情報に基づき、前記所定領域内に存在する物体から歩行者候補を検出する歩行者候補検出手段（例えば、実施の形態での歩行者候補検出部７１）と、前記所定領域内に存在する物体の表面上の複数の位置と自車両との相対距離を検出する距離検出手段（例えば、実施の形態でのレーダ３３およびレーダ制御部３４および凹凸形状検出部７２）と、前記歩行者候補検出手段により検出された前記歩行者候補に対して、前記距離検出手段により検出された前記歩行者候補の表面上の複数の位置と自車両との相対距離に基づき、前記歩行者候補の表面上の凹凸状態を検出する凹凸状態検出手段（例えば、実施の形態での凹凸形状検出部７２）と、前記凹凸状態検出手段により検出された前記凹凸状態が所定の凹凸状態を超える場合に前記歩行者候補は歩行者であると判定する歩行者判定手段（例えば、実施の形態での歩行者判定部７３）とを備えることを特徴としている。

上記構成の歩行者検出装置によれば、歩行者候補検出手段は、撮影手段の撮影により得られる撮影画像に基づき、歩行者に加えて、歩行者と形状に係る情報（例えば、外郭形状等）が類似する他の物体、例えば大型車両のタイヤや建物の出入り口の扉や街路樹等を歩行者候補として検出する。そして、凹凸状態検出手段は、距離検出手段により検出された歩行者候補の表面上の複数の位置と自車両との相対距離に基づき、歩行者候補の表面上の凹凸状態（例えば、凹凸量等）を検出する。これにより、例えば左右の腕や脚や頭部等の身体の各部位に対する相対距離が相対的に大きく変化する歩行者と、タイヤや扉や街路樹等のように、凹凸量が相対的に小さく、人体に比べてより平坦な面が検出される他の物体とが判別可能となる。

本発明の歩行者検出装置によれば、撮影手段の撮影画像に基づき検出される歩行者候補に対して、距離検出手段により検出される歩行者候補の表面上の複数の位置と自車両との相対距離に基づき凹凸状態を検出し、検出した凹凸状態と、人体に特徴的な所定の凹凸状態とを比較することにより、歩行者候補が歩行者であるか否かを精度良く判定することができる。

以下、本発明の一実施形態に係る歩行者検出装置について添付図面を参照しながら説明する。
本実施の形態による歩行者検出装置１０は、例えば車両の走行安全装置に具備され、この走行安全装置１は、例えば図１に示すように、自車両の運転者の視線を検出するためにＣＰＵ等を含む電子回路により構成された制御装置１１と、外界センサ１３と、警報装置１４と、制動装置１５とを備えて構成されている。

外界センサ１３は、例えば可視光領域や赤外線領域にて撮像可能なＣＣＤカメラやＣ−ＭＯＳカメラ等からなるカメラ３１および画像処理部３２と、例えばレーザ光やミリ波等のレーダ３３およびレーダ制御部３４とを備えて構成されている。
カメラ３１は、例えば図２に示すようにフロントウィンドウの車室内側でルームミラー近傍の位置に配置され、フロントウィンドウ越しに自車両の進行方向前方の所定検知範囲の外界を撮影する。
画像処理部３２は、カメラ３１により撮影して得た画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して制御装置１１へ出力する。

レーダ３３は、例えば図２に示すように自車両のボディのノーズ部や車室内のフロントウィンド近傍等に配置され、制御装置１１からレーダ制御部３４へ入力される制御指令に応じたレーダ制御部３４の制御により、レーザ光やミリ波等の発信信号を適宜の検知方向（例えば、自車両の進行方向前方等）に向けて発信すると共に、この発信信号が自車両の外部の物体（検知対象物）によって反射されることで生じた反射信号を受信し、反射信号と発信信号とを混合してビート信号を生成して制御装置１１へ出力する。

警報装置１４は、例えば、触覚的伝達装置４１と、視覚的伝達装置４２と、聴覚的伝達装置４３とを備えて構成されている。
触覚的伝達装置４１は、例えばシートベルト装置や操舵制御装置等であって、制御装置１１から入力される制御信号に応じて、例えばシートベルトに所定の張力を発生させて自車両の乗員が触覚的に知覚可能な締め付け力を作用させたり、例えばステアリングホイールに自車両の運転者が触覚的に知覚可能な振動（ステアリング振動）を発生させる。
視覚的伝達装置４２は、例えば表示装置等であって、制御装置１１から入力される制御信号に応じて、例えば表示装置に所定の警報情報を表示したり、所定の警報灯を点滅させる。
聴覚的伝達装置４３は、例えばスピーカ等であって、制御装置１１から入力される制御信号に応じて所定の警報音や音声等を出力する。
また、外部警報装置１５は、例えばヘッドライト等を備えて構成され、制御装置１１から入力される制御信号に応じて作動を開始する。例えばヘッドライトでは、照射方向や照射時間や点滅動作等が制御装置１１により制御された状態で照射を開始する。

制動装置１５は、例えばブレーキ制御装置やスロットル制御装置等であって、制御装置１１から入力される制御信号に応じて、例えばブレーキ液圧やスロットル開度等を制御して自車両に制動力を作用させ、走行時の減速や停止、停車時の発進規制等を実行する。

制御装置１１は、外界センサ１３から画像データおよびビート信号が入力される物体検知部５３と、危険判定部５５とを備えて構成されている。
そして、物体検知部５３は、例えば歩行者候補検出部７１と、凹凸形状検出部７２と、歩行者判定部７３とを備えて構成されている。
歩行者候補検出部７１は、外界センサ１３の画像処理部３２から入力される画像データに対して、例えば歩行者を検知対象物とした特徴量算出および形状判別等の認識処理を行い、認識した検知対象物と自車両との相対位置および相対距離を算出する。例えば、外界センサ１３のカメラ１３がステレオカメラである場合や、カメラ１３が複数のカメラを備えて構成される場合には、複数の画像データに基づく三角測量法等により、歩行者の相対位置および相対距離を算出する。さらに、検知対象物の時刻間追跡、すなわちサンプリング周期毎に抽出した検知対象物の同一性判定を行い、相対位置を時系列位置データとしてメモリ等に格納することによって、検知対象物の移動状態（例えば、移動速度や移動方向等）を算出する。
なお、画像データの認識処理において、特徴量算出の処理では、例えば二値化処理後の画像データに対して、画素の連続性に基づく検知対象物の抽出およびラベリングを行い、抽出した検知対象物の重心および面積および外接四角形の縦横比等を算出する。また、形状判別の処理では、例えば予め記憶している所定パターン（例えば輪郭等）に基づき画像データ上の検索を行い、所定パターンとの類似性に応じて検知対象物を抽出する。

また、凹凸形状検出部７２は、例えば外界センサ１３のレーダ制御部３４から入力されるビート信号の周波数ｆ（ビート周波数）に基づき、所定の検知エリア内の検知対象物までの相対距離や検知対象物の移動状態（例えば、移動速度や移動方向等）を算出すると共に、検知対象物の表面上の複数の適宜の位置の相対距離を算出し、検知対象物の表面上の凹凸形状を検出する。
歩行者判定部７３は、歩行者候補検出部７１にて検出された歩行者候補の検知対象物と、凹凸形状検出部７２にて検出された検知対象物の凹凸形状とに基づき、検知対象物が歩行者であるか否かを判定する。

危険判定部５５は、物体検知部５３の歩行者判定部７３にて歩行者であると判定された検知対象物の危険度（例えば、自車両の走行の支障となる可能性等）を算出する。この危険度は、例えば歩行者の相対位置および相対距離および移動状態に加えて、自車両の移動状態（例えば、移動速度や移動方向等）に基づき算出される。そして、自車両の移動状態は、例えば車両状態量センサ（図示略）を構成する車速センサや舵角センサやヨーレートセンサや傾斜センサや方向指示器の作動状態を検知するセンサ等の各センサから出力される検出信号に基づき算出される。例えば、車速センサは車輪の回転速度等に基づいて所定の単位処理時間毎における車両移動距離つまり自車両の速度を検出し、舵角センサはステアリングシャフト（図示略）に設けられたロータリエンコーダ等からなり、運転者が入力した操舵角度の方向と大きさを検出する。ヨーレートセンサは車両重心の上下方向軸回りの回転角であるヨー角およびヨー角の変化量（ヨーレート）等を検出し、傾斜センサは車両重心の水平軸周りの回転角であるピッチ角およびピッチ角の変化量等を検出する。
そして、危険判定部５５は、算出した危険度に応じて警報装置１４および制動装置１５を作動させる。

本実施の形態による歩行者検出装置１０は上記構成（例えば、外界センサ１３と制御装置１１の物体検知部５３）を備えており、次に、この歩行者検出装置１０を具備する走行安全装置１の動作について説明する。

例えば図３に示すステップＳ０１においては、外界センサ１３のレーダ３３から出力されるビート信号を取得する。
次に、ステップＳ０２においては、外界センサ１３のカメラ３１から出力される画像を取得する。
次に、ステップＳ０３においては、カメラ３１により撮影して得た画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成する。
次に、ステップＳ０４においては、画像データに対して、歩行者を検知対象物とした特徴量算出や形状判別等の認識処理を行い、歩行者候補を抽出すると共に、認識した歩行者候補と自車両との相対位置および相対距離を算出する。
この認識処理では、例えば歩行者に対する外接四角形と同等の外接四角形が設定される物体が歩行者候補として抽出される。例えば図４および図５に示すように、自車両Ｐの進行方向前方でのカメラ３３の検知エリアＡ内において、歩行者Ｒ１，Ｒ２に加えて、バス等の大型車両Ｑ１の車輪Ｑｗｆ，Ｑｗｂや、建造物の扉Ｄ１や、建造物の窓Ｗ１，Ｗ２や、街路樹Ｔ１等が歩行者候補として抽出される。また、例えば図６および図７に示すように、自車両Ｐの進行方向前方でのカメラ３３の検知エリアＡ内において、歩行者Ｒ３に加えて、先行車両Ｑ１，Ｑ３の各側部Ｑ１ｂ，Ｑ３ｂにより形成される適宜の図形等が歩行者候補として抽出される。

そして、ステップＳ０５においては、ステップＳ０４の認識処理にて歩行者候補を認識したか否かを判定する。
この判定結果が「ＮＯ」の場合には、一連の処理を終了する。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０６に進む。

ステップＳ０６においては、取得したビート信号に基づき、歩行者候補の表面上の複数の適宜の位置に対して自車両からの相対距離を算出し、歩行者候補の表面上の凹凸形状（例えば、凹凸量）を検出する。
そして、ステップＳ０７においては、検出した凹凸量が所定値よりも大きいか否かを判定する。
この判定結果が「ＮＯ」の場合には、歩行者候補の表面上の凹凸量が人体の表面上の凹凸量に比べて小さいと判断して、ステップＳ０８に進み、例えば歩行者候補は歩行者以外の物体であると判定して、一連の処理を終了する。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０９に進み、歩行者候補は歩行者であると判定して、ステップＳ１０に進む。

これにより、例えば図４および図５においては、表面上の凹凸量が相対的に大きい歩行者Ｒ１，Ｒ２と、表面上の凹凸量が相対的に小さい車輪Ｑｗｆ，Ｑｗｂや、扉Ｄ１や、窓Ｗ１，Ｗ２や、街路樹Ｔ１等とが判別される。すなわち、自車両Ｐに対して正面を向く歩行者Ｒ１や横向きの歩行者Ｒ２では、左右の腕や脚や頭部等の身体の各部位に対する相対距離が相対的に大きく変化し、これらの歩行者候補に対して設定される外接四角形内における凹凸量が相対的に大きくなる。一方、車輪Ｑｗｆ，Ｑｗｂや、扉Ｄ１や、窓Ｗ１，Ｗ２や、街路樹Ｔ１等の歩行者候補に対して設定される外接四角形内においては、凹凸量が相対的に小さく、人体に比べてより平坦な面が検出されることになる。
また、例えば図６および図７においては、歩行者Ｒ３と、適宜の図形等とが判別される。すなわち、自車両Ｐに対して正面を向く歩行者Ｒ３では、身体の各部位から反射される反射信号が検出され、相対距離が検出される。一方、先行車両Ｑ１，Ｑ３の各側部Ｑ１ｂ，Ｑ３ｂにより形成される適宜の図形に対しては、レーダ３３の発信信号が先行車両Ｑ１，Ｑ３間を透過して反射信号が検出されず、各側部Ｑ１ｂ，Ｑ３ｂ間に空間が存在することが検知される。

ステップＳ１０においては、検出した歩行者の危険度を算出する。
そして、ステップＳ１１においては、算出した危険度が所定値よりも大きいか否かを判定する。
ステップＳ１１の判定結果が「ＮＯ」の場合には、一連の処理を終了する。
一方、ステップＳ１１の判定結果が「ＹＥＳ」の場合には、ステップＳ１２に進む。
そして、ステップＳ１２においては、警報装置１４を作動させ、一連の処理を終了する。

上述したように、本実施の形態による走行安全装置１０によれば、画像データに基づき検出した歩行者候補に対して、表面上の凹凸形状（例えば、凹凸量）を検出することにより、歩行者であるか否かを精度良く判別することができる。

本発明の一実施形態に係る走行安全装置の構成図である。図１に示す外界センサを搭載した車両を示す斜視図である。図１に示す走行安全装置の動作を示すフローチャートである。自車両の進行方向前方において検出される歩行者候補の一例を示す図である。自車両の進行方向前方において検出される歩行者候補の一例を示す図である。自車両の進行方向前方において検出される歩行者候補の一例を示す図である。自車両の進行方向前方において検出される歩行者候補の一例を示す図である。

符号の説明

１０歩行者検出装置
３１カメラ（撮影手段）
３３レーダ（距離検出手段）
３４レーダ制御部（距離検出手段）
７１歩行者候補検出部（歩行者候補検出手段）
７２凹凸形状検出部（距離検出手段、凹凸状態検出手段）
７３歩行者判定部（歩行者判定手段）

Claims

自車両の進行方向の所定領域を撮影する撮影手段と、
該撮影手段の撮影により得られる撮影画像に対して、予め記憶した歩行者の形状に係る情報に基づき、前記所定領域内に存在する物体から歩行者候補を検出する歩行者候補検出手段と、
前記所定領域内に存在する物体の表面上の複数の位置と自車両との相対距離を検出する距離検出手段と、
前記歩行者候補検出手段により検出された前記歩行者候補に対して、前記距離検出手段により検出された前記歩行者候補の表面上の複数の位置と自車両との相対距離に基づき、前記歩行者候補の表面上の凹凸状態を検出する凹凸状態検出手段と、
前記凹凸状態検出手段により検出された前記凹凸状態が所定の凹凸状態を超える場合に前記歩行者候補は歩行者であると判定する歩行者判定手段と
を備えることを特徴とする歩行者検出装置。