JP2005234694A

JP2005234694A - 車外監視装置

Info

Publication number: JP2005234694A
Application number: JP2004040227A
Authority: JP
Inventors: Shinya Kudo; 新也工藤
Original assignee: Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2004-02-17
Filing date: 2004-02-17
Publication date: 2005-09-02
Anticipated expiration: 2024-02-17
Also published as: US7567687B2; JP4376653B2; EP1564080A1; DE602005000532D1; DE602005000532T2; US20050231339A1; EP1564080B1

Abstract

【課題】簡単な構成で精度よく歩行者を認識することのできる車外監視装置を提供する。
【解決手段】車外の対象を異なる視点で撮像するステレオカメラ３に加え、少なくともステレオカメラ３の車幅方向の視野範囲と重畳する検索範囲で車外の対象の温度を検出する遠赤外線センサ４を設ける。ステレオ画像処理部６において、ステレオカメラ３でステレオ撮像した画像対に基づく立体物の３次元認識を行い、認識した立体物から歩行者候補を抽出する。さらに、歩行者判定部７において、遠赤外線センサ４により歩行者候補と同一方向で検出された温度検出値に基づいて、歩行者候補が実在の歩行者であるか否かの判定を行う。
【選択図】図１

Description

本発明は、自車前方の立体物認識を行う車外監視装置に関し、特に、自車前方の歩行者を精度よく認識する車外監視装置に関する。

従来より、自車の運転支援制御等を目的として、自車前方の走行環境を認識する車外監視装置について様々な提案がなされている。例えば、特許文献１には、一対のＣＣＤカメラ（ステレオ光学系）で撮像した画像対を処理して画像全体に渡る距離分布を算出し、この距離分布にグルーピング処理を施すとともに、グルーピングした距離分布を予め記憶しておいた３次元的な道路形状データや立体物データ等と比較することで、自車前方の道路認識や立体物認識を行う技術が開示されている。

ところで、歩行者との接触等を運転支援制御等によってより確実に回避するため、この種の車外監視装置においては、認識した立体物の中から、特に、歩行者を精度よく抽出することが望まれている。しかしながら、上述の特許文献１に開示された技術において、歩行者の抽出は、単に、認識した立体物の３次元空間上での横幅や高さ等に基づいて行われるものであるため、十分な抽出精度を確保することが困難であった。

これに対処し、例えば、特許文献２には、受信したレーダー信号の周波数を所定周期だけシフトさせて送信する携帯送受信機を歩行者に携帯させ、車載送受信機で、携帯送受信機とのレーダー信号の送受信を行うことにより、歩行者を認識する技術が開示されている。
特開平５−２６５５４７号公報特開２０００−３２９８４４号公報

しかしながら、上述の特許文献２に開示された技術を用いて自車前方の全ての歩行者を認識するためには、全ての歩行者が携帯送受信機を携帯することが要求される。

本発明は上記事情に鑑みてなされたもので、簡単な構成で精度よく歩行者を認識することのできる車外監視装置を提供することを目的とする。

本発明は、車外の対象を撮像する撮像手段と、上記各撮像手段で撮像した画像を処理して上記車外の立体物を認識し、該認識した立体物から歩行者候補を抽出する立体物認識手段とを備えた車両の車外監視装置において、少なくとも上記撮像手段の車幅方向の視野範囲と重畳する検出範囲の温度を検出する温度検出手段と、上記歩行者候補と同一方向における上記温度検出値の変動に基づいて、上記歩行者候補が歩行者であるか否かの判定を行う歩行者判定手段とを備えたことを特徴とする。

本発明の車外監視装置によれば、簡単な構成で精度よく歩行者を認識することができる。

以下、図面を参照して本発明の形態を説明する。図面は本発明の一形態に係わり、図１は車外監視装置の概略構成図、図２は車幅方向におけるＣＣＤカメラの視野範囲と遠赤外線センサの温度検出範囲とを示す説明図、図３は遠赤外線センサの概略構成図、図４は歩行者判定ルーチンを示すフローチャートである。

図１において、符号１は自動車等の車両（自車両）を示し、この車両１には車外監視装置２が搭載されている。この車外監視装置２は、撮像手段としてのステレオカメラ３と、温度検出手段としての遠赤外線センサ４と、前方情報認識装置５とを有して構成されている。

ステレオカメラ３は、例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた一組の（左右の）ＣＣＤカメラを有して構成されている。これら左右のＣＣＤカメラは、例えば、それぞれ車室内の天井前方に一定の間隔をもって取り付けられ、自車両１前方の車外の対象を異なる視点から撮像し、前方情報認識装置５に信号出力する。

遠赤外線センサ４は、図１，２に示すように、例えば、車両１のフロントバンパに取り付けられ、少なくともステレオカメラ３の車幅方向の視野範囲と重畳する検出範囲で、車外の対象の温度を設定方向毎に検出し、前方情報認識装置５に信号出力する。なお、図２の例では、自車両１の前方で破線で囲まれた領域がステレオカメラ３の車幅方向の視野範囲、自車両１の前方で実線で囲まれた領域が遠赤外線センサ４の温度検出範囲であり、ハッチングを付した領域が両範囲の重畳する範囲である。本形態において、遠赤外線センサ４は、具体的には、例えば図３に示すように、熱を熱電対で検出するサーモパイルセンサタイプの熱型赤外線素子４１が水平方向に各１６個配列された一対の素子基板４０と、各素子基板４０にそれぞれ対向配置されたレンズ４２とを有して構成され、各素子４１により、自車前方に設定された３２方向の温度検出をそれぞれ行う。

前方情報認識装置５は、立体物認識手段としてのステレオ画像処理部６と、歩行者判定手段としての歩行者判定部７とを有して構成されている。

ステレオ画像処理部６には、上述のステレオカメラ３に加え、車速センサ８、ハンドル角センサ９、ヨーレートセンサ１０が接続されており、これら各センサ８，９，１０から自車速Ｖ0，ハンドル角θH，ヨーレートγがそれぞれ入力される。

ステレオ画像処理部６は、ステレオカメラ３からの画像対に基づき、例えば、自車両１前方の立体物データ、側壁データ、白線データ等の前方情報を認識し、これら前方情報や自車両１の運転状態（ハンドル角θHやヨーレートγ）から、自車両１の進行路（自車進行路）を推定する。そして、ステレオ画像処理部６は、推定した自車進行路や前方情報から自車両１の走行領域を推定し、この自車走行領域や自車両１からの距離等を基に、自車両１前方の先行車を抽出し、この先行車との車間距離、先行車速（＝相対速度＋自車速）等を求めるとともに、自車走行領域上の先行車以外の立体物位置等の各データを求める。さらに、ステレオ画像処理部６は、認識した各立体物の実空間上での幅等に基づいて、認識した各立体物（立体物データ）の中から、歩行者候補を抽出する。

ここで、ステレオ画像処理部６における、ステレオカメラ３からの画像処理は、例えば以下のように行われる。すなわち、ステレオ画像処理部６は、先ず、ステレオカメラ３の各ＣＣＤカメラでそれぞれ撮像した画像（画像対）に対し、対応する位置のずれ量から三角測量の原理によって画像全体に渡る距離情報を求める処理を行い、３次元の距離分布を表す距離画像を生成する。そして、ステレオ画像処理部６は、生成した距離画像に周知のグルーピング処理を行い、グルーピングされた距離分布情報を予め記憶しておいた３次元的な道路形状データ、立体物データ等と比較することで、白線、道路に沿って存在するガードレール、縁石等の側壁、及び、車両や歩行者等の立体物等を認識する。認識された立体物データとしては、例えば、実空間上での立体物幅、立体物までの距離及びこの距離の時間的変化（自車両１に対する相対速度）等が求められ、ステレオ画像処理部６は、例えば、自車両１と略同じ方向に所定の速度で進行する立体物の中から、自車走行領域上で自車両１に最も近いものを先行車として抽出する。また、ステレオ画像処理部６は、例えば、自車走行領域上の立体物及び自車走行領域への侵入が予測される立体物の中から、特に、実空間上での立体物幅が設定範囲幅（例えば、３００〜８００ｍｍ）のものを、歩行者候補として抽出し、歩行者判定部７に出力する。

歩行者判定部７には、ステレオ画像処理部６が接続されているとともに、上述の遠赤外線センサ４が接続されている。そして、歩行者判定部７は、ステレオ画像処理部６で抽出した歩行者候補と同一方向の温度検出値Ｔn（ｎ＝１〜３２）に基づいて、歩行者候補が実際の歩行者であるか否かの判定を行う。具体的には、歩行者判定部７は、遠赤外線センサ４の各素子４１による各温度検出方向の温度検出値Ｔnと、対応する前温度検出値Ｔn0とをそれぞれ比較することで、今回の温度検出値Ｔnが前温度検出値Ｔn0よりも設定温度以上（例えば、２度以上）高温側に変化した温度検出方向が存在するか否かを調べ、高温側に変化した温度検出方向が存在する場合には、その方向に歩行者が存在する可能性が高いと判定する。そして、歩行者判定部７は、歩行者が存在する可能性が高いと判定した方向（温度検出方向）に歩行者候補が存在するとき、当該歩行者候補を実在の歩行者として判定（認識）する。

この歩行者判定部７における歩行者判定は、例えば、図４に示す歩行者判定ルーチンのフローチャートに従って実行される。このルーチンは所定周期毎に繰り返し実行されるもので、ルーチンがスタートすると、歩行者判定部７は、先ず、ステップＳ１０１において、遠赤外線センサ４の各素子４１で検出した各温度検出方向の温度検出値Ｔnを入力する。

続くステップＳ１０２において、歩行者判定部７は、前回の処理で自車両１前方に歩行者を認識したか否かを調べ、歩行者を認識していないと判定した場合には、ステップＳ１０３に進み、全ての素子フラグＦn（ｎ＝１〜３２）をクリア（Ｆn←０）した後、ステップＳ１０６に進む。ここで、素子フラグＦnとは、該当する素子４１の温度検出方向に歩行者が存在する可能性が高いとの判定がなされた場合に”１”にセットされるフラグであり、具体的には、各素子４１による温度検出値Ｔnの変化に基づき、後述するステップＳ１０６で設定される。

一方、ステップＳ１０２において前回の処理で歩行者を認識したと判定した場合には、ステップＳ１０４に進み、歩行者判定部７は、前回の歩行者認識方向に該当する素子４１の温度検出値Ｔnが、対応する前温度検出値Ｔn0と近い値（例えば、Ｔn0±１度）であるか否かを調べる。すなわち、前回歩行者が認識された方向には引き続き同一の歩行者が存在する可能性が高く、このような場合、該当する方向の温度検出値Ｔnは、前温度検出値Ｔn0と近い値となる。また、前回歩行者が検出されている場合、その方向の素子フラグＦnは”１”にセットされている。

そこで、歩行者判定部７は、前回の歩行者認識方向に対応する素子４１の温度検出値Ｔnが前温度検出値Ｔn0と近い値であると判定した場合には、ステップＳ１０５に進み、歩行者認識方向に該当する素子フラグＦnを引き続き”１”のまま保持するとともに、それ以外の素子フラグＦnをクリアした後、ステップＳ１０６に進む。

一方、ステップＳ１０４において、前回の歩行者認識方向に対応する素子４１の温度検出値Ｔnが前温度検出値Ｔn0からかけ離れた値であると判定した場合、歩行者判定部７は、ステップＳ１０３に進む。

ステップＳ１０３或いはステップＳ１０５からステップＳ１０６に進むと、歩行者判定部７は、素子フラグＦnが”１”に保持されている温度検出方向以外の全ての温度検出値Ｔnと、これに対応する前温度検出値Ｔn0とをそれぞれ比較する。そして歩行者判定部７は、前温度検出値Ｔn0よりも設定温度（例えば、２度）以上高い温度検出値Ｔnがある場合には、その温度検出値Ｔnの検出方向に歩行者が存在する可能性が高いと判定し、該当する素子フラグＦnを”１”にセットした後、ステップＳ１０７に進む。すなわち、歩行者等の温度は周囲の温度よりも高いことが一般的であるため、自車両１や歩行者の移動等によって、素子４１による温度検出対象が歩行者等以外の立体物から歩行者等に切り替わると、その温度検出値Ｔnは前温度検出値Ｔn0よりも所定温度高くなる。そこで、歩行者判定部７は、前温度検出値Ｔn0よりも設定温度以上高い温度検出値Ｔnが存在する場合には、その温度検出方向に歩行者が存在する可能性が高いと判定する。

続くステップＳ１０７において、歩行者判定部７は、ステレオ画像処理部６で抽出された歩行者候補が存在するか否かを調べ、歩行者候補が存在しないと判定した場合にはそのままルーチンを抜ける一方、歩行者候補が存在すると判定した場合には、ステップＳ１０８に進む。

ステップＳ１０７からステップＳ１０８に進むと、歩行者判定部７は、歩行者候補の実空間上での位置情報から、当該歩行者候補の温度検出が行われ得る遠赤外線センサ４の温度検出方向を計算する。すなわち、歩行者判定部７は、歩行者候補の実空間上での位置情報に基づいて、当該歩行者候補が遠赤外線センサ４の何れの素子４１の温度検出方向と同一方向に存在するかを計算する。

そして、ステップＳ１０９に進むと、歩行者判定部７は、歩行者候補が存在する方向と同一方向の温度検出方向に該当する素子４１の素子フラグＦnが”１”にセットされているか否かを調べ、該当する素子フラグＦnが”１”にセットされていないと判定した場合には、そのままルーチンを抜ける。

一方、ステップＳ１０９において、該当する素子フラグＦnが”１”にセットされていると判定した場合、歩行者判定部７は、ステップＳ１１０に進み、その歩行者候補は実在の歩行者であると判定した後、ルーチンを抜ける。

このような形態によれば、ステレオカメラ３でステレオ撮像した画像対に基づいて立体物の３次元認識を行い、認識した立体物から歩行者候補を抽出するとともに、検索範囲がステレオカメラ３の視野範囲と重畳する検索範囲に設定された遠赤外線センサ４で車外の対象の温度検出を行い、歩行者候補と同一方向の温度検出値に基づいて当該歩行者候補が実在の歩行者であるか否かの判定を行うことにより、簡単な構成で精度よく歩行者を認識を行うことができる。すなわち、ステレオカメラ３を用いた立体物の３次元認識と、遠赤外線センサ４を用いた立体物の温度認識とを融合させて歩行者認識を行うことにより、歩行者に携帯送受信機等を携帯させることなく、簡単なシステム構成で、歩行者の認識精度を向上することができる。

この場合、特に、ステレオ撮像した画像対に基づいて３次元認識した立体物情報を有効利用し、各立体物の実空間上での幅情報を用いて歩行者候補の抽出を行うことにより、車両等の立体物を歩行者候補から除外することができる。従って、例えば、遠赤外線センサ４によって、先行車等から排出される排気ガス温度等が検出された場合にも、この排気ガス温度の検出値に基づいて、先行車等が歩行者であると誤認識されることを的確に防止することができる。

また、遠赤外線センサ４による温度検出値を用いた歩行者存在の可能性の判定は、各温度検出方向毎の温度検出値の相対的な変動量に基づいて行われるため、外気温の変動等にも対応して適切な判定を行うことができる。

なお、上述の形態においては、複数の熱を熱電対で検出するサーモパイルセンサタイプの熱型赤外線素子４１を用いた遠赤外線センサ４によって車外の温度検出を行う一例について説明したが、本発明はこれに限定されるものではなく、例えば、熱を抵抗の変化で検出するボロメータセンサタイプの熱型赤外線素子や、熱を電荷で検出する焦電型センサタイプの熱型赤外線素子等の各種赤外線素子を用いた遠赤外線センサ等によって車外の温度検出を行ってもよいことは勿論である。

また、遠赤外線センサ等の構成は、所望の温度検出方向毎に素子等を配列する構成に限定されるものではなく、単一の素子等を所望の温度検出方向に対応させて水平に走査させる構成であってもよい。

車外監視装置の概略構成図車幅方向におけるＣＣＤカメラの視野範囲と遠赤外線センサの温度検出範囲とを示す説明図遠赤外線センサの概略構成図歩行者判定ルーチンを示すフローチャート

符号の説明

１ … 車両
２ … 車外監視装置
３ … ステレオカメラ（撮像手段）
４ … 遠赤外線センサ（温度検出手段）
５ … 前方情報認識装置
６ … ステレオ画像処理部（立体物認識手段）
７ … 歩行者判定部（歩行者判定手段）
Ｔn … 温度検出値
Ｔn0 … 前温度検出値
代理人弁理士伊藤進

Claims

車外の対象を撮像する撮像手段と、
上記各撮像手段で撮像した画像を処理して上記車外の立体物を認識し、該認識した立体物から歩行者候補を抽出する立体物認識手段とを備えた車両の車外監視装置において、
少なくとも上記撮像手段の車幅方向の視野範囲と重畳する検出範囲の温度を検出する温度検出手段と、
上記歩行者候補と同一方向における上記温度検出値の変動に基づいて、上記歩行者候補が歩行者であるか否かの判定を行う歩行者判定手段とを備えたことを特徴とする車外監視装置。
上記立体物認識手段は、認識した上記立体物が実空間上で設定範囲幅を有するとき、当該立体物を歩行者候補として抽出することを特徴とする請求項１記載の車外監視装置。
上記歩行者判定手段は、温度検出値が前温度検出値よりも設定温度以上高くなった検出方向を歩行者存在の可能性が高い方向として判定し、判定した上記方向に歩行者候補が存在するとき、当該歩行者候補を歩行者として判定することを特徴とする請求項１または請求項２記載の車外監視装置。
上記撮像手段は、上記車外を異なる視点で撮像する一対のカメラからなり、上記立体物認識手段は、上記一対のカメラで撮像した画像対に基づいて立体物の３次元認識を行って上記歩行者候補を抽出することを特徴とする請求項１記載の車外監視装置。