JP2008021269A - 衝突危険度判定装置、衝突危険度判定方法及び歩行者識別方法 - Google Patents

Abstract

【課題】直立した歩行者が転倒したり、障害物の後ろに隠れたり、逆光など光の影響を受けたりして、途中で見つからなくなった場合でも、その歩行者に車両が衝突する危険度を判断することができる衝突危険度判定装置を提供する。
【解決手段】歩行者を追跡中、その歩行者が見えなくなったとき、手前に障害物があればその後ろに歩行者が隠れたものと判断し、手前に障害物が無い場合には転倒などの事態が発生したものと判断し、さらに、障害物に隠れたり、転倒したりした歩行者についてそれぞれの時系列的な位置情報に基づいて、その後の位置を推定するとともに、自車の走行車線に入る可能性を推定し、危険度が大きい場合には警報を発生したり、急ブレーキを作動させたり、あるいは、歩行者保護用エアバッグを開いたりする信号を出力する。
【選択図】図１

Description

本発明は、車両の進行方向の走行予測範囲に入っている歩行者に車両が衝突する危険度を判定する衝突危険度判定装置、衝突危険度判定方法及び危険度判定のための歩行者識別方法に関する。

従来、車両側でその進行方向の走行予測範囲に入っている歩行者を検出して、運転者に警報を発生するものが実用化されている。歩行者を検出するには、例えば、ニューラルネットワーク（ＮＮ：Neural Network）を用いた障害物検出装置（例えば、下記の特許文献１参照）などが使用されている。

上述した障害物検出装置は、障害物として歩行者を検出するもので、車両の進行方向を所定の時間間隔で撮影し、得られた画像データを２値化処理して歩行者の形状データとして抽出し、複数の可視画像間における形状データの時間的な変化から歩行者の動きパターンとして検出し、さらに、歩行者の動きパターンとニューラルネットワークで学習済みの動きパターンとを比較して歩行者を識別している。

このとき、ニューラルネットワークには、あらかじめ検出対象の歩行者の動きパターンとして、時系列的に蓄積された一連の移動データを学習させておく。例えば、実際の人間に対し、体格、服装、歩き方、方向などの条件で形状データと移動データとをあらかじめ計測しておき、それらのデータをニューラルネットワークの教師データとして、人間の動きパターンとして学習させておく。そして、可視化カメラから得られた形状データ及び移動データを用いてパターン認識し、実際の人間であるか否かを判断している。
特開２００４−１４５６６０号公報（段落００１６〜００２２）

しかしながら、上述した障害物検出装置は、歩行者が可視化カメラなどで撮影されていることを前提としているため、歩行者が障害物の後ろに隠れた場合や、逆光など光の影響を受けた場合には、それぞれ歩行者の検出ができないことから、歩行者に車両が衝突する危険度を判定することができないという問題があった。

また、上述した障害物検出装置は、歩行者が立っている場合しか対象としていないため、歩行者が道路を横切る途中でしゃがみ込んだり、倒れたり、あるいは走ったりしてその姿勢が変わった場合でもその歩行者の検出を可能にするには、さらに多様な動きパターンをニューラルネットワークに学習させるか、あるいは、多くのニューラルネットワークにそれぞれの動きパターンを学習させなければならなかった。このように、歩行者のいろいろな姿勢に対応し得る障害物検出装置を用いて、運転者に警報を発生する装置を構成した場合、装置コストが大幅に高騰してしまうという問題もあった。

本発明は、上記の問題点を解決するためになされたもので、その目的は、直立した歩行者が転倒したり、障害物の後ろに隠れたり、逆光など光の影響を受けたりして、途中で見つからなくなった場合でも、その歩行者に車両が衝突する危険度を判断することができる衝突危険度判定装置及び衝突危険度判定方法を提供することにある。

本発明の他の目的は、装置コストの大幅な高騰を抑えることができる衝突危険度判定装置及び衝突危険度判定方法を提供することにある。

本発明の他の目的は、直立した歩行者が途中で見つからなくなった場合でも、その歩行者を識別することができる歩行者識別方法を提供することにある。

上記の目的を達成するために、本発明に係る衝突危険度判定装置は、車両の進行方向の走行予測範囲を撮像してパターン認識により歩行者を検知し、前記歩行者の位置を検出する歩行者検知手段と、
前記車両の進行方向の走行予測範囲に位置する前記歩行者を含む障害物を検知し、前記障害物の位置を検出する障害物検知手段と、
前記歩行者検知手段により検知された歩行者ごとに記憶するための歩行者情報記憶手段と、
前記障害物検知手段により検知された障害物ごとに前記障害物の位置を記憶するための障害物情報記憶手段と、
前記障害物情報記憶手段に記憶された情報と前記歩行者情報記憶手段に記憶された情報を相互に照合して、前記障害物の中の歩行者と非歩行者とを判断する歩行者・障害物照合手段と、
前記歩行者情報記憶手段に記憶された前記歩行者の現在位置と、前記歩行者・障害物照合手段により非歩行者と判断された前記障害物の前記障害物情報記憶手段に記憶された位置と、前記車両の位置との相対的な関係に、前記車両の速度をも加味して、前記歩行者に前記車両が衝突する危険度を判断する危険度判断手段とを、
備える。

また、本発明に係る衝突危険度判定装置は、車両の進行方向の走行予測範囲を撮像してパターン認識により歩行者を検知し、前記歩行者の位置を検出する歩行者検知手段と、
前記車両の進行方向の走行予測範囲に位置する前記歩行者を含む障害物を検知し、前記障害物の位置を検出する障害物検知手段と、
前記歩行者検知手段により検知された歩行者ごとに前記歩行者の位置を時系列的に記憶するための歩行者情報記憶手段と、
前記障害物検知手段により検知された障害物ごとに前記障害物の位置を記憶するための障害物情報記憶手段と、
前記歩行者検知手段により検知されていた前記歩行者が前記歩行者検知手段により検知されなくなったとき、前記歩行者情報記憶手段に記憶された前記歩行者の位置を時系列的な変化から前記歩行者の移動軌跡を追跡し、前記歩行者の現在位置を推定して前記歩行者情報記憶手段する歩行者追跡手段と、
前記障害物情報記憶手段に記憶された情報と前記歩行者情報記憶手段に記憶された情報を相互に照合して、前記障害物の中の歩行者と非歩行者とを判断する歩行者・障害物照合手段と、
前記歩行者追跡手段により推定された前記歩行者の現在位置と、前記歩行者・障害物照合手段により非歩行者と判断された前記障害物の前記障害物情報記憶手段に記憶された位置と、前記車両の位置との相対的な関係に、前記車両の速度をも加味して、前記歩行者検知手段により検知されなくなった前記歩行者に前記車両が衝突する危険度を判断する危険度判断手段とを、
備える。

また、本発明に係る衝突危険度判定装置は、車両の進行方向の走行予測範囲を撮像してパターン認識により歩行者を検知し、前記歩行者の位置を検出する外部の歩行者検知手段からの情報に応答し、前記歩行者検知手段により検知された歩行者ごとに前記歩行者の位置を時系列的に記憶するための歩行者情報記憶手段と、
前記車両の進行方向の走行予測範囲に位置する前記歩行者を含む障害物を検知し、前記障害物の位置を検出する外部の障害物検知手段からの情報に応答し、前記障害物検知手段により検知された障害物ごとに前記障害物の位置を記憶するための障害物情報記憶手段と、
前記障害物情報記憶手段に記憶された情報と前記歩行者情報記憶手段に記憶された情報を相互に照合して、前記障害物の中の歩行者と非歩行者とを判断する歩行者・障害物照合手段と、
前記歩行者情報記憶手段に記憶された前記歩行者の位置を時系列的な変化から前記歩行者の移動軌跡を追跡し、前記歩行者の現在位置を推定する歩行者追跡手段と、
前記歩行者追跡手段により推定された前記歩行者の現在位置と、前記歩行者・障害物照合手段により非歩行者と判断された前記障害物の前記障害物情報記憶手段に記憶された位置と、前記車両の位置との相対的な関係に、前記車両の速度をも加味して、前記歩行者に前記車両が衝突する危険度を判断する危険度判断手段とを、
備える。

また、本発明に係る衝突危険度判定方法は、車両の進行方向の走行予測範囲を撮像してパターン認識により歩行者を検知し、前記歩行者の位置を検出するステップと、
前記車両の進行方向の走行予測範囲に位置する前記歩行者を含む障害物を検知し、前記障害物の位置を検出するステップと、
検知された歩行者ごとに前記歩行者の位置を時系列的に記憶するステップと、
検知された障害物ごとに前記障害物の位置を記憶するステップと、
前記位置を検出するステップで検知されていた前記歩行者が検知されなくなったとき、記憶された前記歩行者の位置を時系列的な変化から前記歩行者の移動軌跡を追跡し、前記歩行者の現在位置を推定して記憶するステップと、
それぞれ記憶された前記障害物の位置情報と、位置が検出された前記歩行者又は位置が推定された前記歩行者の現在の位置情報とを相互に照合して、前記障害物の中の歩行者と非歩行者とを判断するステップとを、
備える。

また、本発明に係る歩行者識別方法は、車両の進行方向の走行予測範囲を撮像してパターン認識により歩行者を検知し、前記歩行者の位置を検出するステップと、
前記車両の進行方向の走行予測範囲に位置する前記歩行者を含む障害物を検知し、前記障害物の位置を検出するステップと、
検知された歩行者ごとに前記歩行者の位置を時系列的に記憶するステップと、
検知された障害物ごとに前記障害物の位置を記憶するステップと、
前記位置を検出するステップで検知されていた前記歩行者が検知されなくなったとき、記憶された前記歩行者の位置を時系列的な変化から前記歩行者の移動軌跡を追跡し、前記歩行者の現在位置を推定して記憶するステップと、
それぞれ記憶された前記障害物の位置情報と、位置が検出された前記歩行者又は位置が推定された前記歩行者の現在の位置情報とを相互に照合して、前記障害物の中の歩行者と非歩行者とを判断するステップとを、
備える。

本発明に係る衝突危険度判定装置によれば、車両の進行方向の走行予測範囲に入っている歩行者と、歩行者を含む障害物とを検知し、歩行者及び障害物の各位置を検出し、さらに歩行者の位置を歩行者ごとに記憶するとともに、障害物の位置を障害物ごとに記憶し、それぞれ記憶された障害物の位置と歩行者の位置とを照合して障害物中の歩行者と非歩行者とを判断し、記憶された歩行者の現在位置と、照合により非歩行者と判断された障害物の位置と、車両の位置との相対的な関係に、車両の速度をも加味して、現在検知されている歩行者に車両が衝突する危険度を判断するようにしたので、現在検知されている歩行者に車両が衝突する危険度を予測することができる。

また、本発明にに係る衝突危険度判定装置によれば、歩行者検知手段により検知されていた歩行者がこの歩行者検知手段により検知されなくなったとき、歩行者情報記憶手段に記憶された歩行者の位置を時系列的な変化から歩行者の移動軌跡を追跡し、歩行者の現在位置を推定し、推定された歩行者の現在位置と、照合により非歩行者と判断された障害物の位置と、車両の位置との相対的な関係から、又必要に応じて車両の速度をも加味して、歩行者に車両が衝突する危険度を判断するようにしたので、直立した歩行者が途中で見つからなくなった場合でも、その歩行者に車両が衝突する危険度を判断することができる。

また、本発明に係る衝突危険度判定装置によれば、歩行者情報記憶手段が、車両の進行方向の走行予測範囲を撮像してパターン認識により歩行者を検知し、歩行者の位置を検出する外部の歩行者検知手段からの情報に応答し、この歩行者検知手段により検知された歩行者ごとに歩行者の位置を時系列的に記憶するとともに、障害物情報記憶手段が車両の進行方向の走行予測範囲に位置する歩行者を含む障害物を検知し、この障害物の位置を検出する外部の障害物検知手段からの情報に応答し、この障害物検知手段により検知された障害物ごとに障害物の位置を記憶するようにしたので、撮影手段、歩行者検知手段及び障害物検知手段が車両以外の所定の場所に設置された装置であっても、直立した歩行者が途中で見つからなくなった場合でも、その歩行者に車両が衝突する危険度を判断することができる。

また、本発明に係る歩行者識別方法によれば、検知されていた歩行者が検知されなくなったとき、歩行者の位置を記憶された時系列的な変化から歩行者の移動軌跡を追跡し、この歩行者の現在位置を推定して障害物の位置とを照合するので、直立した歩行者が途中で見つからなくなった場合でも、その歩行者を識別することができる。

＜第１の実施の形態＞
以下、本発明を図面に示す好適な実施の形態に基づいて詳細に説明する。図１は本発明に係る衝突危険度判定装置の第１の実施の形態の構成を示すブロック図であり、撮影手段１、歩行者検知手段２、障害物検知手段３、現フレームの歩行者情報記憶手段４Ａ、障害物情報記憶手段４Ｂ、歩行者情報記憶手段４Ｃ、歩行者・障害物照合手段５、歩行者追跡手段６及び危険度判断手段７を備え、この危険度判断手段７が車両に搭載されている危険警報手段８に警報信号を加える構成になっている。なお、本明細書で用いる「走行予測範囲」とは、走行中の車両がそのままの進行方向に進んだとき、その車両の幅に所定値（例えば、両側に割り振って合計値で１ｍ）を加えた幅広の車両が走行するものと仮定したときに、幅広の車両の走行軌跡になると予測される前方の走行範囲であり、「走行レーン」とは、道路の白線などで規定される交通ルールとして守るべき走行範囲である。

図１に示した構成要素のうち、撮影手段１は、車両（図１では図示を省略したが、後述する図２に示した自動車１０と同じ意味で用いており、以下、自車、自動車又は自車両とも称する）に搭載される装置であり、その車両の進行方向の走行予測範囲を撮影してその画像からパターン認識することができる、例えば可視化カメラと、その車両の進行方向の走行予測範囲の歩行者を含む障害物の数と車両からの距離を測定することができる、例えばレーダ送受信部とを備えている。なお、レーダ送受信部に代えてステレオカメラを用いることができ、その場合にはステレオカメラの一方のカメラをＣＣＤカメラに代わる可視化カメラとして兼用することもできる。

歩行者検知手段２は、撮影手段１の可視化カメラによって得られた画像データを２値化処理して障害物の形状データとして抽出し、複数の可視画像間における形状データの時間的な変化を動きパターンとして検出し、さらに、この動きパターンとニューラルネットワークであらかじめ学習した歩行者の動きパターンとを比較して歩行者を識別する。さらに、歩行者検知手段２は、識別された歩行者ごとにその位置を撮影手段１の１フレームごとに算出し、歩行者情報の一部として現フレームの歩行者情報記憶手段４Ａに記憶する。歩行者検知手段２が車両から歩行者までの距離を算出する方法として、例えば、画像上の座標で歩行者の足の部分の位置情報から車両を原点とするワールド座標での位置情報に幾何学変換する方法がある。

障害物検知手段３は、撮影手段１のレーダ送受信部によって得られた画像データを入力し、各画像から複数の領域に分割して得られる各ブロック画像に関する情報に基づいて、障害物（歩行者を含む物体）の位置を撮影手段１の１フレームごとに算出し、障害物情報として障害物情報記憶手段４Ｂに記憶する。

ここで、歩行者検知手段２が算出する歩行者の位置及び障害物検知手段３が算出する障害物の位置について説明する。図２（ａ）は歩行者と歩行者を含む障害物と自動車が、自動車の走行予測範囲に対してどのように配置されているかを示す模式的な平面図である。図２（ａ）において、自動車１０が図面の下方から上方に向かって時速Ｖ（以下の説明で、Ｖを自動車と歩行者との相対速度の意味でも用いる）で走行するものとする。そのとき、自動車１０の前述した走行予測範囲（一点鎖線で囲んだ範囲）の幅をＷとする。図１に示した撮影手段１はその走行予測範囲を撮影するものであるが、ここでは歩行者と歩行者を含む障害物の位置について詳細を説明するために、自動車１０の走行予測範囲に存在する障害物Ｏ₁、Ｏ₂、Ｏ₃、Ｏ₄を拡大して示している。これらの障害物Ｏ₁、Ｏ₂、Ｏ₃、Ｏ₄のうち障害物Ｏ₂は歩行者Ｐ₁であり、障害物Ｏ₃は歩行者Ｐ₂であるものとする。

そして、これらの障害物Ｏ₁、Ｏ₂、Ｏ₃、Ｏ₄及び歩行者Ｐ₁、Ｐ₂の位置を画像から検出するために、自動車１０の最前部における左右方向の中心を原点０とし、この原点０を通るように自動車１０の進行方向に軸Ｚを定義し、横幅方向に軸Ｘを定義する。これによって、ＸＺ座標系とθで表された方位座標系とが設定される。この場合、軸Ｚの左側がＸＺ座標系及び方位座標系でそれぞれ負の値で表現され、軸Ｚの右側がＸＺ座標系及び方位座標系でそれぞれ正の値で表現される。なお、自動車１０の進行方向の走行予測範囲の幅Ｗは自動車１０の横幅に１ｍを加えたものに限らず、道路の構造に応じて適宜に変更して設定することができる。

また、図２（ａ）は自動車１０に搭載された歩行者検知手段２が歩行者Ｐ₁、Ｐ₂の位置を算出する場合における歩行者Ｐ₁の位置の詳細と、障害物検知手段３が障害物Ｏ₁、Ｏ₂、Ｏ₃、Ｏ₄の位置を算出する場合における障害物Ｏ₁の位置の詳細を示している。すなわち、歩行者検知手段２は歩行者Ｐ₁の位置として、自車からの方位座標系の距離ｄ、自車からのＸＺ座標系での最小ｘ座標ｘ₁、自車からのＸＺ座標系での最大ｘ座標ｘ₂、自車からの方位座標系での最小θ方位θ₁、自車からの方位座標系での最大θ方位θ₂を算出する。一方、障害物検知手段３は障害物Ｏ₁の位置として、自車からの方位座標系での最短距離ｄ_min、自車からの方位座標系での最長距離ｄ_max、自車からの方位座標系での最小θ方位θ₁、自車からの方位座標系での最大θ方位θ₂、自車からのＸＺ座標系での最小ｘ座標ｘ₁（図面が煩雑になるため図２では省略）、自車からのＸＺ座標系での最大ｘ座標ｘ₂（図面が煩雑になるため図２では省略）を算出する。

図２（ｂ）は撮影手段１の可視化カメラによって得られた画像データに基づいて、歩行者検知手段２が歩行者Ｐ₁、Ｐ₂を検出し、これらの歩行者Ｐ₁、Ｐ₂に対してそれぞれ上述したように自車からの方位座標系の距離ｄ、自車からのＸＺ座標系での最小ｘ座標ｘ₁、自車からのＸＺ座標系での最大ｘ座標ｘ₂、自車からの方位座標系での最小θ方位θ₁、自車からの方位座標系での最大θ方位θ₂を算出し、その算出結果を出力することを示している。

図２（ｃ）は撮影手段１のレーダ送受信部によって得られた画像データに基づいて、障害物Ｏ₁、Ｏ₂、Ｏ₃、Ｏ₄を検出し、これらの障害物Ｏ₁、Ｏ₂、Ｏ₃、Ｏ₄に対してそれぞれ上述したように自車からの方位座標系での最小θ方位θ₁、自車からの方位座標系での最大θ方位θ₂、自車からの方位座標系での最短距離ｄ_min、自車からの方位座標系での最長距離ｄ_max、自車からのＸＺ座標系での最小ｘ座標ｘ₁、自車からのＸＺ座標系での最大ｘ座標ｘ₂を算出し、その算出結果を出力することを示している。

現フレームの歩行者情報記憶手段４Ａには、撮影手段１の可視化カメラによって車両の進行方向の走行予測範囲を撮影するごとに、歩行者検知手段２の算出結果が歩行者情報として更新記憶され、障害物情報記憶手段４Ｂには、撮影手段１のレーダ送受信部によって車両の進行方向の走行予測範囲を撮影するごとに、障害物検知手段３によって算出された位置が障害物情報として更新記憶される。

ここで、説明の都合上、歩行者情報記憶手段４Ｃのデータ記憶部と、障害物情報記憶手段４Ｂのデータ記憶部について説明する。図６（ａ）は歩行者情報記憶手段４Ｃの記憶部の構成を示す図表であり、歩行者ＩＤ（歩行者の識別符号）にそれぞれ対応させて、撮影手段１の可視化カメラによって所定の時間間隔で撮影された複数の歩行者情報が、現フレームｔ、前回フレームｔ−１、前々回フレームｔ−２、……の順に時系列的に、例えば数十フレーム分記憶される。この図６（ａ）に示した記憶データの全体を、以下、歩行者リストと称する。

図６（ｂ）は１つのフレーム、例えば歩行者ＩＤ１の現フレームｔの歩行者情報を示した図表であり、それぞれ「番号１〜１６」に対応付けて「可変データ」欄にはその右側の「内容」欄に記載した情報又は符号が書き込まれるようになっている。このうち、「可変データ」欄の“Appear”、“d”〜“θ₂”、“est_x₁”〜“est_v_θ”は詳細を後述する歩行者追跡手段６によって書き込まれ、“Danger_type”〜“Hidden_by_Obs”は詳細を後述する危険度判断手段７によって書き込まれる。なお、「可変データ」欄の“d”〜“θ₂”に書き込まれる情報は現フレームの歩行者情報記憶手段４Ａに書き込まれる、図示省略の歩行者リストと一致している。

図７（ａ）は障害物情報記憶手段４Ｂのデータ記憶部を示す図表であり、歩行者を含む障害物の障害物番号にそれぞれ対応させて、撮影手段１のレーダ送受信部によって所定の時間間隔で検知された現フレームの障害物情報が記憶される。この図７（ａ）に示した記憶データの全体を、以下、障害物リストと称する。図７（ｂ）は１つの障害物の現フレームの障害物情報を示した図表であり、それぞれ「番号１〜７」に対応付けて「可変データ」欄にはその右側の「内容」欄に記載した情報又は符号が書き込まれるようになっている。このうち、「可変データ」欄の“d_min”〜“Ox₂”は障害物検知手段３で算出された値が書き込まれ、“Is_Pede”は歩行者・障害物照合手段５による照合結果が書き込まれる。

次に、歩行者・障害物照合手段５、歩行者追跡手段６、危険度判断手段７について順に説明する。歩行者・障害物照合手段５は、初回に障害物情報記憶手段４Ｂに障害物情報が記憶された障害物と現フレームの歩行者情報記憶手段４Ａに歩行者情報が記憶された歩行者とを組合せ、すべての組合せに対して障害物の位置と歩行者の位置とがほぼ一致するか否かにより歩行者か否かを判定（以下の説明では、判定と判断を同一の意味で用いる）し、その判定結果を障害物情報記憶手段４Ｂの障害物情報の障害物リストの“Is_Pede”欄に書き込み、次回以降は障害物情報記憶手段４Ｂに障害物情報が記憶された障害物と歩行者情報記憶手段４Ｃに歩行者情報が記憶された歩行者とを組み合せ、各組合せに対して障害物の位置と歩行者の位置とがほぼ一致するか否かにより歩行者か否かを判定し、その判定結果を障害物情報記憶手段４Ｂの障害物リストの“Is_Pede”欄に書き込むものである。

歩行者追跡手段６は、初回に現フレームの歩行者情報記憶手段４Ａに記憶されている歩行者情報を現フレームｔの歩行者情報の一部として書き込む。次回以降、歩行者情報記憶手段４Ｃに歩行者情報が記憶されている歩行者ごとに、その歩行者が現フレームの歩行者情報記憶手段４Ａに記憶されているか否かを判定し、記憶されていた場合には歩行者情報記憶手段４Ｃの歩行者リストの“Appear”欄のフラグを“TRUE”にする。一方、その歩行者が現フレームの歩行者情報記憶手段４Ａに記憶されていない場合にはその歩行者の新しい位置を推定して推定位置情報を歩行者情報記憶手段４Ｃの歩行者リストの“est_x₁”〜“est_v_θ”の欄に書き込み、現フレームで検出できないものとして歩行者情報記憶手段４Ｃの歩行者リストの“Appear”欄のフラグを“FALSE”にする。

危険度判断手段７は、現フレームで見つかっていない歩行者について、その歩行者が自車の走行予測範囲に入っているか否かを判定し、入っている場合には歩行者以外の障害物の後ろにいるか否かを判定し、歩行者以外の障害物の後ろにいる場合にはこの障害物から飛び出してくる可能性を判断する。さらに、歩行者が歩行者以外の障害物の後ろにいないと判断された場合（歩行者と同じ方位の手前に歩行者以外の障害物が無い場合を含む）、この障害物から自車の走行予測範囲に飛び出してくる場合の両方に対して、自車と歩行者との相対速度Ｖを用いて自車の走行予測範囲に入っている歩行者までの予測衝突時間（TTC：以下単に衝突時間と言う。）を計算し、さらに、危険の状態を判定してそれぞれの判定結果を歩行者情報記憶手段４Ｃの歩行者リストの“Danger_type”〜“Hidden_by_Obs”欄に書き込むとともに、危険度に応じて危険警報手段８を作動させる信号を出力する。なお、危険警報手段８を作動させる信号は、運転者に警報を発したり、制動装置を作動させたり、歩行者を保護するための保護装置を作動させたりする信号である。

上記のように構成された衝突危険度判定装置の動作について、歩行者・障害物照合手段５、歩行者追跡手段６及び危険度判断手段７を１つ又は複数の演算処理装置、例えばＣＰＵで構成した場合の具体的処理手順を示す図３、図４Ａ〜図４Ｅ、図５Ａ〜図５Ｆに従って説明する。

図３は歩行者・障害物照合手段５を演算処理装置で構成した場合の具体的な処理手順を示すフローチャートである。図３において、ステップ１１で障害物情報記憶手段４Ｂに記憶された障害物リストから１つの障害物Ｏ_i（ｉ＝１、２、…）を選び、ステップ１２で歩行者情報記憶手段４Ｃの歩行者リストから一人の歩行者Ｐ_j（ｊ＝１、２、…）を選ぶ。なお、歩行者情報記憶手段４Ｃに最初に記憶される位置情報は現フレームの歩行者情報記憶手段４Ａに記憶された位置と同じであるので、現フレームの歩行者情報記憶手段４Ａの歩行者リストから一人の歩行者Ｐ_jを選んでもよい。

次に、ステップ１３では歩行者Ｐ_jが現フレームにいるか否かを歩行者情報記憶手段４Ｃの歩行者リストの“Appear”欄のフラグが“TRUE”か“FALSE”かにより判定する。歩行者Ｐ_jが現フレームにいると判定した場合にはステップ１４で、障害物Ｏ_iの最短距離Ｏ_i.ｄ_minと歩行者Ｐ_jまでの距離Ｐ_j.ｄとがほぼ等しく（本明細書でほぼ等しいは一致する場合を含む意味で用いている）、かつ、障害物Ｏ_iの最小θ方位Ｏ_i.θ₁と歩行者Ｐ_jの最小θ方位Ｐ_j.θ₁とがほぼ等しく、かつ、障害物Ｏ_iの最大θ方位Ｏ_i.θ₂と歩行者Ｐ_jの最小θ方位Ｐ_j.θ₂とがほぼ等しいという条件が成立しているか否かが判定され、その条件が成立しているとき障害物Ｏ_iは歩行者であると判定してステップ１６で障害物情報記憶手段４Ｂの障害物リストの“Is_Pede”欄のフラグを“TRUE”にしてステップ１７の処理に進み、その条件が成立していないときはそのままステップ１７の処理に進む。

一方、ステップ１３で歩行者Ｐ_jが現フレームにいないと判定した場合にはステップ１５で、障害物Ｏ_iの最小ｘ座標Ｏ_i.ｘ₁と現フレームにいない歩行者Ｐ_jの最小ｘ座標Ｐ_j.est_ｘ₁とがほぼ等しく、かつ、障害物Ｏ_iの最大ｘ座標Ｏ_i.ｘ₂と現フレームにいない歩行者Ｐ_jの最大ｘ座標Ｐ_j.est_ｘ₂とがほぼ等しく、かつ、障害物Ｏ_iの最小θ方位Ｏ_i.θ₁と現フレームにいない歩行者Ｐ_jの最小θ方位Ｐ_j.est_θ₁とがほぼ等しく、かつ、障害物Ｏ_iの最大θ方位Ｏ_i.θ₂と現フレームにいない歩行者Ｐ_jの最大θ方位Ｐ_j.est_θ₂とがほぼ等しいという条件が成立しているか否かが判定され、その条件が成立しているとき障害物Ｏ_iは歩行者であると判定してステップ１６で障害物情報記憶手段４Ｂの障害物リストの“Is_Pede”欄のフラグを“TRUE”にしてステップ１７の処理に進み、その条件が成立していないときはそのままステップ１７の処理に進む。

ステップ１７においては、障害物情報記憶手段４Ｂから選んだ１つの障害物Ｏ_iに対して組み合わされる歩行者Ｐ_iに対する処理を歩行者情報記憶手段４Ｃの歩行者リストの最後の歩行者まで実行したか否かを判定し、最後まで実行していないときにはステップ１２の処理に戻り、最後まで実行したときには、ステップ１８の処理に移る。ステップ１８では、ステップ１１で選んだ障害物Ｏ_iに対する処理を障害物情報記憶手段４Ｂの障害物リストの最後まで実行したか否かを判定し、最後まで実行していなければステップ１１の処理に戻り、最後まで実行していれば一連の処理を終了する。図３のフローチャートに示した処理によって、障害物情報記憶手段４Ｂの障害物リストに記憶された障害物Ｏ_iのすべてについて、歩行者か否かの照合が行われ、歩行者に対して障害物情報記憶手段４Ｂの障害物リストの“Is_Pede”欄のフラグが“TRUE”にされる。

図４Ａは歩行者追跡手段６を演算処理装置で構成した場合の具体的な処理手順を示すフローチャートである。この場合、歩行者情報記憶手段４Ｃの歩行者リストの全データと現フレームの歩行者情報記憶手段４Ａの歩行者リスト（図示せず）の全データを取得して処理が開始される。図４Ａにおいて、ステップ２１で一人の歩行者Ｐ_iを歩行者情報記憶手段４Ｃの歩行者リストから選び、ステップ２２で、詳細を後述するように、現フレームの歩行者情報記憶手段４Ａの歩行者リストに記憶された歩行者Ｐ_jと照合し、歩行者Ｐ_iと相関の大きい歩行者Ｐ_jがいる場合には歩行者情報記憶手段４Ｃの歩行者リストの“Appear”欄のフラグを“TRUE”にして、歩行者Ｐ_iと相関の大きい歩行者Ｐ_jがいない場合には歩行者情報記憶手段４Ｃの歩行者リストの“Appear”欄のフラグを“FALSE”にするG1処理を実行する。

次に、ステップ２３で歩行者情報記憶手段４Ｃの歩行者リストの歩行者Ｐ_iの“Appear”欄のフラグが“TRUE”か、“FALSE”かの判定を行う。そして、“FALSE”の場合には、ステップ２４で、詳細を後述するように、見つかっていない歩行者Ｐ_iの新しい位置を推定するG2処理を実行する。そして、推定して得られた歩行者情報を推定歩行者情報として歩行者情報記憶手段４Ｃに記憶する。次に、ステップ２５で、詳細を後述するように、新しい位置を推定した歩行者が自車の前方及び前部側方の領域から行き過ぎたか否か、すなわち行き過ぎの有無の判断をするG4処理を実行する。ここで、行き過ぎていればG4_flagを“TRUE”にし、行き過ぎていなければG4_flagを“FALSE”にする。そして、ステップ２６でG4_flagが“TRUE”か“FALSE”かを判定し、“TRUE”であれば推定した歩行者Ｐ_i及び歩行者情報を削除してステップ３０の処理に進み、G4_flagが“FALSE”であればそのままステップ３０の処理に進む。

一方、ステップ２３で歩行者情報記憶手段４Ｃの歩行者リストの歩行者Ｐ_iの“Appear”欄のフラグが“TRUE”の場合には、ステップ２８で、詳細を後述するように、現フレームの歩行者情報記憶手段４Ａに記憶された情報を最新の歩行者情報として歩行者情報記憶手段４Ｃの歩行者情報を更新するG3処理を実行し、続いて、ステップ２９で図示を省略した歩行者情報記憶手段４Ａの歩行者Ｐ_iの“Exit_PedeList”欄のフラグを“TRUE”にしてステップ３０の処理に進む。

次に、ステップ３０では歩行者情報記憶手段４Ｃの歩行者リストから選んだ歩行者Ｐ_iに対する処理を歩行者情報記憶手段４Ｃの歩行者リストの最後まで実行したか否かを判定し、最後まで実行していなければステップ２１にて歩行者情報記憶手段４Ｃの歩行者リストから他の歩行者を選び、ステップ２２〜３０の処理を繰り返す。ステップ３０で歩行者情報記憶手段４Ｃの歩行者リストの最後まで実行していればステップ３１の処理に進む。

ステップ３１においては、現フレームの歩行者情報記憶手段４Ａの歩行者リストから一人の歩行者を選び、続いてステップ３２でその歩行者情報が歩行者情報記憶手段４Ｃの“Exist_PedeList”欄のフラグが“TRUE”か、“FALSE”かを判定し、“TRUE”であればステップ３４の処理に進み、“FALSE”であればその歩行者を歩行者情報記憶手段４Ｃの歩行者リストに加えてステップ３４の処理に進む。ステップ３４ではステップ３１で現フレームの歩行者情報記憶手段４Ａの歩行者リストから選んだ歩行者に対する処理を現フレームの歩行者情報記憶手段４Ａの歩行者リストの最後まで実行したか否かを判定し、最後まで実行していない場合にはステップ３１にて現フレームの歩行者情報記憶手段４Ａの歩行者リストから他の歩行者を選び、ステップ３１〜３４の処理を繰り返す。そして、ステップ３４で現フレームの歩行者情報記憶手段４Ａの歩行者リストの最後まで実行したと判定した場合には歩行者の追跡処理を終了する。

図４Ａに示した処理によって、歩行者情報記憶手段４Ｃの歩行者リストが現フレームの歩行者情報記憶手段４Ａの歩行者リストによって更新され、現フレームにいない場合にはその位置が推定されて推定歩行者情報が歩行者情報記憶手段４Ｃに記憶され、自車の前方及び前部側方の領域外に去った歩行者の情報は歩行者情報記憶手段４Ｃの歩行者リストから削除され、現フレームの歩行者情報記憶手段４Ａに新たに登場した歩行者があればその歩行者情報が歩行者情報記憶手段４Ｃに記憶される。

図４Ｂは図４Ａに示したステップ２２で行うG1処理の詳細な処理手順を示すフローチャートである。ここでは、ステップ２２１で現フレームの歩行者情報記憶手段４Ａの歩行者リストから一人の歩行者Ｐ_jを選び、ステップ２２２において、ステップ２２１で選んだ現フレームにいる歩行者Ｐ_jの画像情報とステップ２１（図４Ａ参照）で歩行者リストから選んだ歩行者情報記憶手段４Ｃの歩行者Ｐ_iの画像情報との相関演算を行う。次に、ステップ２２３では、得られた相関値Corr Valがあらかじめ定めた閾値Corr Thresholdを超えているか否かを判定し、閾値Corr Thresholdを超えていた場合にはステップ２２４で歩行者情報記憶手段４Ｃの歩行者リストに記憶されている歩行者Ｐ_iは現フレームの歩行者情報記憶手段４Ａの歩行者リストにいる歩行者Ｐ_jであると認識して歩行者情報記憶手段４Ｃの歩行者Ｐ_iの“Appear”欄のフラグを“TRUE”にする。次に、ステップ２２３で相関値Corr Valが閾値Corr Thresholdを超えていないと判定した場合、及びステップ２２４でフラグを“TRUE”にした場合、ステップ２２５の処理を実行する。ステップ２２５においては、歩行者情報記憶手段４Ｃの歩行者リストの歩行者Ｐ_iの各“Appear”欄のフラグをすべて“TRUE”にしたか、又は現フレームの歩行者情報記憶手段４Ａから選んだ歩行者Ｐ_jに対する処理を現フレームの歩行者情報記憶手段４Ａの歩行者リストの最後まで実行したか否かを判定し、最後まで実行していなければステップ２２１〜２２５の処理を繰り返し、最後まで実行していれば一連の処理を終了する。図４Ｂの処理によって、歩行者情報記憶手段４Ｃの歩行者リストの歩行者Ｐ_iが現フレームにいるか否かの判定が行われる。

図４Ｃは図４Ａに示したステップ２４で行うG2処理の詳細な処理手順を示すフローチャートであり、ステップ２４１で歩行者情報記憶手段４Ｃに記憶された歩行者の過去の複数回の歩行者情報に基づいて新しい位置を推定する。この推定には複数の位置情報の時間変化分を平均して算出したり、あるいは直線補間などを用いて算出したりする。これによって、自車からのＸＺ座標系での推定最小ｘ座標est_ｘ₁、自車からのＸＺ座標系での推定最大ｘ座標est_ｘ₂、自車からの方位座標系での推定最小θ方位est_θ₁、自車からの方位座標系での推定最大θ方位est_θ₂及び自車からのＸＺ座標系での推定ｘ座標の速度est_ｖ_xが算出されて伏在状態の歩行者の現在の位置情報として記憶される。これらの位置情報が図３のステップ１５の処理における伏在状態の歩行者情報となる。

図４Ｄは図４Ａに示したステップ２５で行うG4処理の詳細な処理手順を示すフローチャートである。ここでは、ステップ２５１にて歩行者情報記憶手段４Ｃの歩行者リストの歩行者の推定最小θ方位θ₁、推定最大θ方位θ₂の大きさ（絶対値）が１２０°を超えているか否かを判定することにより、その歩行者が行き過ぎたか否かを判定する。すなわち、図２に示した座標系のＺ軸を基準とする±１２０°の範囲は自動車１０の前方だけでなく、車両の前部側方の領域をも含む広い角度範囲を意味しており、ステップ２５１で推定最小θ方位θ₁、推定最大θ方位θ₂の大きさが±１２０°の範囲を超えていると判定した場合にはステップ２５２でG4_flagを“TRUE”にし、超えていない場合にはG4_flagを“FALSE”にし、その歩行者が伏在するものと認識して処理を終了する。

図４Ｅは図４Ａに示したステップ２８で行うG3処理の詳細な処理手順を示すフローチャートである。ここでは、ステップ２８１にて現フレームの歩行者情報記憶手段４Ａの歩行者情報によって歩行者情報記憶手段４Ｃの位置情報や画像情報を代入し、続いて、ステップ２８２では、ステップ２８１で代入された新しい情報に従って、歩行者追跡手段６がステップ２４（図４Ａ参照）で新しい位置を推定するためのフィルタのパラメータを更新して処理を終了する。これによって、歩行者情報記憶手段４Ｃの位置情報及び新しい位置を推定するためのパラメータの更新が行われる。

ところで、ここまでの説明では、歩行者と歩行者以外の物との両方を障害物として説明したが、理解を容易にするため及び説明の煩雑さを避けるために、以下においては歩行者以外の物を障害物と記載することとする。

図５Ａは危険度判断手段７を演算処理装置で構成した場合の具体的な処理手順を示すフローチャートである。図５Ａにおいて、ステップ４１で歩行者情報記憶手段４Ｃの歩行者リストから見つかっていない歩行者、すなわち、伏在状態の歩行者を選ぶ。続いて、ステップ４２で、詳細を後述するように、この歩行者が自車の走行予測範囲、すなわち、図２に示した自動車の幅に１メートル（ｍ）を加算した幅Ｗの範囲に入っていることの判断をするS1処理を実行する。

次に、ステップ４３では、ステップ４２のS1処理の結果を示すS1_flagが自車の走行予測範囲に伏在状態の歩行者が入っていることを示す“TRUE”であるか、自車の走行予測範囲に入っていないことを示す“FALSE”であるかを判定し、“TRUE”であれば、詳細を後述するようにステップ４４で伏在状態の歩行者が障害物の後ろにいるかを判断する、S2処理を実行し、“FALSE”である場合にはステップ４１の処理に戻る。続いて、ステップ４５では、ステップ４４のS2処理の結果を示すS2_flagが障害物の後ろに伏在状態の歩行者が障害物の後ろにいることを示す“TRUE”であるか、障害物の後ろにいないことを示す“FALSE”であるかを判定し、“TRUE”であればステップ４６でその歩行者が障害物の位置から飛び出してくる可能性の判断をするS3処理を実行し、“FALSE”であればステップ４８の処理に移る。

ステップ４６においては、詳細を後述するように、歩行者の推定位置情報と障害物の位置情報とに基づいて、障害物の後ろにいる歩行者が自車の走行予測範囲に飛び出す可能性の判断が行われ、飛び出す可能性があるときにはS3_flagを“TRUE”にし、飛び出す可能性がないときにはS3_flagを“FALSE”にする。

次に、ステップ４７でS3_flagが障害物の後ろから歩行者が飛び出してくる可能性があることを示す“TRUE”であるか、障害物の後ろから歩行者が飛び出してくる可能性がないことを示す“FALSE”であるかを判定し、“TRUE”である場合にはステップ４８の処理を実行し、“FALSE”である場合にはステップ４１の処理に戻る。

なお、ステップ４２でS1_flagが自車の走行予測範囲に入っていないことを示す“FALSE”であると判定されたときは危険の状態が“Type 0”として歩行者情報記憶手段４Ｃの歩行者リストの“Danger_type”欄に記憶される。また、ステップ４５でS2_flagが障害物の後ろに伏在状態の歩行者がいることを示す“TRUE”であると判定されたときは危険の状態が“Type 1”として歩行者情報記憶手段４Ｃの歩行者リストの“Danger_type”欄に記憶され、ステップ４５でS2_flagが障害物の後ろに伏在状態の歩行者がいないことを示す“FALSE”であると判定されたときは危険の状態が“Type 2”として歩行者情報記憶手段４Ｃの歩行者リストの“Danger_type”欄に記憶される。

次に、ステップ４８では、S2_flagが“FALSE”で障害物の後ろから歩行者が飛び出してくる可能性がないとき、又はS3_flagが“TRUE”で障害物の後ろから歩行者が飛び出してくる可能性があるとき、詳細を後述するように、それぞれの歩行者に対する衝突時間を計算するS4処理を実行する。このステップ４８で計測された衝突時間ＴＴＣが歩行者情報記憶手段４Ｃの歩行者リストの“TTC”欄に記憶され、危険度の判定に供される。続いて、ステップ４９では、詳細を後述するように、衝突時間ＴＴＣが所定値より小さいことから近くて危ないか否かを判断するS5処理を実行する。そして、ステップ４９で衝突時間ＴＴＣが所定値より小さいと判断した場合にはS5_flagを“TRUE”にし、所定値より小さくないと判断した場合にはS5_flagを“FALSE”にする。

次に、ステップ５０でS5_flagが近くて危ないことを示す“TRUE”であるか、危なくないことを示す“FALSE”であるかを判定し、“TRUE”であればステップ５１で警報を発生するか、又は、制動装置を作動させてブレーキをかけたりする。一方、“FALSE”であれば、ステップ５２において、ステップ４１で選んだ歩行者に対する処理を歩行者情報記憶手段４Ｃの歩行者リストの最後まで実行したか否かを判定し、最後まで実行していなければステップ１１の処理に戻り、最後まで実行していれば一連の処理を終了する。

図５Ｂは図５Ａに示したステップ４２で行うS1処理の詳細な処理手順を示すフローチャートである。ここでは、歩行者情報記憶手段４Ｃに記憶された歩行者Ｐ_iの推定位置情報est_ｘ₁、est_ｘ₂を取得し、ステップ４２１で推定された最小ｘ座標の絶対値｜est_ｘ₁｜がＷ／２（Ｗ：自車の走行予測範囲、例えば車幅に１ｍを加えた値）以下か否かを判定し、Ｗ／２以下でない場合にはステップ４２２に移って推定された最大ｘ座標の絶対値｜est_ｘ₂｜がＷ／２以下か否かを判定する。このステップ４２２で最大ｘ座標の絶対値｜est_ｘ₂｜がＷ／２以下でないと判定された場合には、ステップ４２４で危険の状態でないことを示すS1_flagを“FALSE”にして処理を終了し、ステップ４２１及び４２２でそれぞれＷ／２以下であると判定された場合には危険の状態であることを示すS1_flagを“TRUE”にして処理を終了する。ステップ４２１〜４２４の処理によって、伏在状態の歩行者の一部でも自車の走行予測範囲の中にあれば危険状態であると判断される。

なお、図５Ｂのフローチャートにおいては、伏在状態の歩行者の一部でも自車の走行予測範囲にあれば危険状態であると判断したが、走行予測範囲の代わりに道路の白線などで規定される交通ルール上守るべき走行レーンにあれば危険状態であると認識するように構成することもできる。

図５Ｃは図５Ａに示したステップ４４で行うS2処理の詳細な処理手順を示すフローチャートである。ここでは、伏在状態の歩行者Ｐ_iの推定最小θ方位est_θ₁、推定最大θ方位est_θ₂、推定距離est_ｄ（図６では項目数が多いため省略されている）は既に取得されており、ステップ４４１で障害物Ｏ_jの位置情報、すなわち、最小角方位θ₁、最大角方位θ₂及び最短距離ｄ_minを取得する。次に、ステップ４４２で障害物Ｏ_jの最小角方位Ｏ_j.θ₁が歩行者Ｐ_iの推定最小角方位Ｐ_i.est_θ₁よりも大きくなく、かつ、歩行者Ｐ_iの推定最大角方位Ｐ_i.est_θ₂が障害物Ｏ_jの最大角方位Ｏ_j.θ₂が大きくないとき、すなわち、障害物Ｏ_jを視る角度の範囲内に歩行者Ｐ_iが入っているか否かを判定する。

歩行者Ｐ_iが障害物Ｏ_jを視る角度の範囲内に入っていると判定した場合にはステップ４４３の処理に移り、障害物Ｏ_jの最短距離Ｏ_j.ｄ_minがＰ_iの推定距離Ｐ_i.est_ｄより小さいか否かを判定する。つまり、ステップ４４２で歩行者Ｐ_iが障害物Ｏ_jの前又は後ろにいるか否かを判定し、ステップ４４３で歩行者Ｐ_iが障害物Ｏ_jの後ろにいるか否かを判定する。このように、ステップ４４３で歩行者Ｐ_iが障害物Ｏ_jの後ろにいると判定された場合には、ステップ４４４で歩行者情報記憶手段４Ｃの歩行者リストの“Hidden_by_Obs”欄のS2_flagを“TRUE”にして処理を終了する。一方、ステップ４４２で歩行者Ｐ_iが障害物Ｏ_jの前又は後ろにいないと判定された場合又はステップ４４３で歩行者Ｐ_iが障害物Ｏ_jの後ろにいないと判定された場合には、ステップ４４５で歩行者情報記憶手段４Ｃの歩行者リストの“Hidden_by_Obs”欄のS2_flagを“FALSE”にして処理を終了する。なお、S2_flagが“FALSE”の歩行者Ｐ_iは、障害物Ｏ_jの手前で、途中から検知できなくなった歩行者をも含むことになる。

図５Ｄは図５Ａに示したステップ４６で行うS3処理の詳細な処理手順を示すフローチャートである。ここでは、伏在状態の歩行者の推定された最小ｘ座標est_ｘ₁、最大ｘ座標est_ｘ₂、推定ｘ座標の速度est_ｖ_x（時系列的に記憶された位置情報から算出される）及び障害物Ｏ_jの最小ｘ座標Ｏ_j.Ｏｘ₁、最大ｘ座標Ｏ_j.Ｏｘ₂が取得されている。そこで、ステップ４６１で伏在状態であると推定された歩行者の次のフレームの最小ｘ座標next_ｘ₁を現在のフレームの最小ｘ座標est_ｘ₁と、推定ｘ座標の速度est_ｖ_xに可視化カメラのフレーム時間Frame Timeを乗算した値とを加算して求める。また、伏在状態であると推定された歩行者の次のフレームの最大ｘ座標next_ｘ₂を現在のフレームの最大ｘ座標est_ｘ₂と、推定ｘ座標の速度est_ｖ_xに可視化カメラのフレーム時間Frame Timeを乗算した値とを加算して求める。これによって、歩行者が障害物の後ろにいる間の位置が順次求められ、これらの演算を行うことによって、伏在状態の歩行者が障害物の陰から出てくる時間と、走行予測範囲における位置が求められる。

次に、ステップ４６２で次のフレームの最小ｘ座標next_ｘ₁の絶対値がＷ／２以下であるか、又は、次フレームの最大ｘ座標next_ｘ₂の絶対値がＷ／２以下であるか否かが判定される。すなわち、伏在状態の歩行者の次のフレームでの推定された位置が走行予測範囲内か範囲外かが判定される。ここで、走行予測範囲内であればステップ４６３の処理に移る。

次に、ステップ４６３においては伏在状態の歩行者Ｐ_iの次のフレームの最小ｘ座標next_ｘ₁が障害物の最小ｘ座標Ｏｘ₁以下であり、かつ、最大ｘ座標next_ｘ₂が障害物の最大ｘ座標Ｏｘ₂以上であるか、すなわち、次のフレームで伏在状態の歩行者Ｐ_iが障害物の外側に出るか否かが判定され、障害物の外側に出る場合にはステップ４６４で歩行者が障害物から飛び出す可能性を示すS3_flagを“TRUE”にして処理を終了する。

一方、ステップ４６２で伏在状態の歩行者Ｐ_iが次のフレームでの最小ｘ座標next_ｘ₁の絶対値がＷ／２又は最大ｘ座標next_ｘ₂の絶対値がＷ／２を超えると判定した場合及びステップ４６３で次のフレームでも障害物の陰にいると判定した場合には、ステップ４６５で歩行者が障害物から飛び出す可能性を示すS3_flagを“FALSE”にして処理を終了する。すなわち、ステップ４６２で伏在状態の歩行者の次のフレームでの推定された位置が走行予測範囲外であるとき、又は、ステップ４６３で次のフレームで伏在状態の歩行者Ｐ_iが障害物の外側に出ないと判定された場合、自車が伏在状態の歩行者Ｐ_iに衝突する可能性はないものとしてS3_flagを“FALSE”にして処理を終了する。ステップ４６１〜４６５の処理によって障害物の後ろの伏在状態の歩行者が次のフレームで障害物が存在する範囲から飛び出す可能性があり、その位置が自車の走行予測範囲にあるとき、自車が伏在状態の歩行者Ｐ_iに衝突する可能性があると判断してS3_flagを“TRUE”にする。

図５Ｅは図５Ａに示したステップ４８で行うS4処理の詳細な処理手順を示すフローチャートである。ここでは、図５Ａのステップ４６のS3処理の判断結果と、ステップ４４３で障害物の後ろでないと判定された歩行者までの距離ｄ又は伏在状態の歩行者までの推定距離est_ｄと、自車の走行速度と歩行者の移動速度との差が取得されてステップ４８１の処理が実行される、ステップ４８１では距離ｄ又は推定距離est_ｄを相対速度Ｖで除算して衝突時間ＴＴＣを演算する。

図５Ｆは図５Ａに示したステップ４９で行うS5処理の詳細な処理手順を示すフローチャートである。ここでは、図６（ｂ）に示す歩行者情報記憶手段４Ｃの歩行者リストの“C-alarm”欄に初期値として「−１」が設定されているものとする。この歩行者情報の“C-alarm”欄の初期値は衝突時間が３秒より少なくなったことを条件にして、図５Ａの処理が繰り返されたことを計数するカウンタの値である。この場合、ステップ４９１で歩行者情報記憶手段４Ｃの歩行者リストの“TTC”欄に記憶された衝突時間ＴＴＣが１秒よりも小さいか否かが判定され、１秒よりも小さいと判定したときにはステップ４９２で急ブレーキ操作の信号を発生する。ステップ４９１で衝突時間ＴＴＣが１秒よりも短くない（長い）と判定した場合にはステップ４９３で衝突時間ＴＴＣが３秒よりも短いか否かを判定する。ステップ４９３で衝突時間ＴＴＣが３秒よりも短いと判定したときには、ステップ４９４で“C-alarm”欄の値が「−１」であるか否かを判定し、「−１」であった場合にはステップ４９５で警報信号を発生し、続いて、ステップ４９６で“C-alarm”欄の値が１インクリメントされる。次の繰り返し周期でもステップ４９３で衝突時間ＴＴＣが３秒よりも短いと判定された場合、“C-alarm”欄の値は「−１」ではなく「０」になっているため警報信号を発生することなく、ステップ４９６で“C-alarm”欄の値が１インクリメントされて「１」となる。そして、図５Ａの処理が繰り返されるごとに“C-alarm”欄の値が増大する。

次にステップ４９７で“C-alarm”欄の値が「１５」を超えたか否かを判定し、超えていないときには警報信号を発生することなく処理を終了する。一方、“C-alarm”欄の値が「１５」を超えたと判定すると、ステップ４９８で警報信号を発生し、“C-alarm”欄の値を０にする。このような処理を繰り返すことによって、“C-alarm”欄の値が１６になるごとに警報信号が出力される。すなわち、図５Ａに示した危険度判断手段の処理が１６回繰り返されるごとに警報信号が出力される。

以上、本発明の第１の実施の形態について説明したが、車両の進行方向の走行予測範囲を可視化カメラで撮像してパターン認識により歩行者を検出するとともに、車両の進行方向の走行予測範囲に位置する歩行者を含む障害物をレーダ送受信部で検知する場合、次のＡ〜Ｄの４つ状態が想定される。以下の説明では、再び、障害物を歩行者を含む意味で用いることとする。
Ａ：前回の検知時に、歩行者が、可視化カメラによって検知され、レーダ送受信部によって障害物として検知されていたが、歩行者が転倒したため、次回の検知時に可視化カメラによって検知されず、レーダ送受信部によってのみ障害物として検知される場合。
Ｂ：前回の検知時に、歩行者が、可視化カメラによって検知され、レーダ送受信部によって障害物として検知されていたが、歩行者が転倒したため、次回の検知時に可視化カメラによって歩行者として検知されず、レーダ送受信部によっても障害物として検知されない場合。
Ｃ：前回の検知時に、歩行者が、可視化カメラによって検知され、レーダ送受信部によって障害物として検知されていたが、次回の検知時に、歩行者が歩行者以外の障害物の後ろに隠れたため、可視化カメラによって検知されず、レーダ送受信部によって歩行者以外の障害物のみが検知される場合。
Ｄ：上記Ｃの場合に障害物の陰に隠れた歩行者が自車の走行予測範囲に飛び出す可能性がある場合。

第１の実施の形態においては、上記Ａ〜Ｄのそれぞれの場合、下記のように対処することになる。
Ａの場合：図４Ａのステップ２４のG2処理で可視化カメラによって検知されなくなった歩行者の新しい位置が推定される。次に、図４Ａのステップ２５のG4処理で新しい位置が推定された歩行者が自車の前方及び前部側方の領域から行き過ぎたか否かが判定され、行き過ぎていなければ見つかっていない歩行者としてG4_flagが“TRUE”にされる。次に、図５Ａのステップ４２のS2処理で自車の走行予測範囲に入っているか否かを判断し、入っていると判断した場合には図５Ａのステップ４４で歩行者以外の障害物の後ろでもないと判断して図５Ａのステップ４８で危険度の判断が行われる。
Ｂの場合：図３のステップ１５で障害物は歩行者であるという判定は行われない。しかし、図４Ａのステップ２４で新しい位置が推定され、図４Ａのステップ２５で新しい位置を推定した歩行者が自車の前方及び前部側方の領域から行き過ぎたと判定されないときには、図５Ａのステップ４２のS2処理で走行予測範囲に入っているか否かを判断し、入っている場合には図５Ａのステップ４４で歩行者以外の障害物の後ろでもないと判断して図５Ａのステップ４８で危険度の判断が行われる。
Ｃの場合：図４Ａのステップ２４で新しい位置が推定される。そして、図４Ａのステップ２５で新しい位置が推定された歩行者が自車の前方及び前部側方の領域から行き過ぎたと判定されないとすれば、図５Ａのステップ４２で自車の走行予測範囲に入っているか否かを判定し、入っている場合には図５Ａのステップ４４で歩行者以外の障害物の後ろにいると判定され、後ろにいる間はその位置が図４Ａのステップ２４で順次推定されてその位置が更新されて時系列情報として記憶される。
Ｄの場合：上記Ｃの場合に推定された位置に基づいて、図５Ａのステップ４６で障害物からの飛び出しの可能性の判断が行われ、歩行者以外の障害物の後ろから出てくる歩行者に対して車両が衝突する危険度の判断が行われる。

また、第１の実施の形態では、撮影手段１、歩行者検知手段２及び障害物検知手段３を車両に搭載して、これらを衝突危険度判定装置の構成要素としたが、撮影手段１、歩行者検知手段２及び障害物検知手段３は車両以外の所定の場所に設置されたものでもよく、この場合には現フレームの歩行者情報記憶手段４Ａ、障害物情報記憶手段４Ｂ、歩行者情報記憶手段４Ｃ、歩行者・障害物照合手段５、歩行者追跡手段６及び危険度判断手段７によって、上述したものと同様な機能を有する衝突危険度判定装置を構成することができる。

また、第１の実施の形態においては、歩行者及び障害物の位置を、車両の進行方向に設定した軸を基準とする方位座標系と、車両の進行方向に展開する２次平面座標系の両方を用いたので、位置の照合、位置の推定、相関演算、自車の走行予測範囲に入るか否かなどの処理が、比較的処理能力の小さいＣＰＵで実行することができるという利点を有している。しかしながら、演算速度のより速いＣＰＵを用いる場合には方位座標系のみを用いて位置を検出しても、あるいは、２次平面座標系のみを用いて位置を検出しても、上述したものと同様な処理を実行することができる。

また、第１の実施の形態では、歩行者検知手段２が、撮影手段１の可視化カメラによって得られた画像データを２値化処理して障害物の形状データとして抽出し、複数の可視画像間における形状データの時間的な変化を動きパターンとして検出して歩行者を識別している。この歩行者検知手段２の代わりに、静止画像からパターン認識により歩行者を識別することも可能である。

＜第２の実施の形態＞
上述した第１の実施の形態では、図５Ａを用いて説明したとおり、ステップ４１で見つかっていない歩行者を歩行者情報記憶手段４Ｃの歩行者リストから抽出し、ステップ４２でこの歩行者が自車の走行予測範囲に入っているか否かの判断を行い、その判断結果が自車の走行予測範囲に入っていることを示すS1_fragが“TRUE”であるとき、さらに、ステップ４４、４５、４６、４７の処理を実行した後に、危険度判断をしている。しかし、この危険度判断は見つかっていない歩行者に限らず、見つかっている歩行者についても危険度判断をすることも可能である。このことを図５Ａのフローチャートを参照して説明する。

図５Ａのフローチャートに示す処理は、ステップ４１で見つかっていない各歩行者、すなわち、歩行者情報記憶手段４Ｃの歩行者リストの“Appear”欄のフラグが“FALSE”である歩行者を抽出し、ステップ４２でこの歩行者が自車の走行予測範囲に入っているか否かの判断を行っている。見つかっている歩行者については、ステップ４１に対応する処理として、歩行者情報記憶手段４Ｃの歩行者リストの“Appear”欄のフラグが“TRUE”である歩行者を抽出し、続いて、ステップ４２と同様に見つかっている歩行者が自車の走行予測範囲に入っているか否かの判断を行うようにする。この判断によりS1_flagが自車の走行予測範囲に入っていることを示す“TRUE”である場合には、図５Ａのステップ４８の処理に移ってステップ４８、４９、５０、５１、５２の処理を実行し、S1_flagが自車の走行予測範囲に入っていないことを示す“FALSE”である場合には、ステップ４１に対応する処理に戻るようにする。

このように、見つかっている歩行者に車両が衝突する危険度を判断する場合には、衝突する危険度を判断する閾値、すなわち、衝突時間の閾値を適宜に変更することも可能である。このように、現在検知されている歩行者に車両が衝突する危険度を判断することにより、現フレームで見つかっている歩行者に車両が衝突する危険度を予測することができる。

＜第３の実施の形態＞
なお、上述した第１の実施の形態は検知されていない歩行者を対象とし、第２の実施の形態は検知されている歩行者を対象としたが、第１の実施の形態と第２の実施の形態を併せて、検知されている人が検知されなくなった状態のすべてに対して危険度を判断するように構成することもできる。

本発明に係る衝突危険度判定装置の第１の実施の形態の構成を示すブロック図である。 本発明に係る衝突危険度判定装置の第１の実施の形態の動作を説明するために、歩行者と歩行者を含む障害物と自動車が、自動車の走行予測範囲に対してどのように配置されているかを示す模式的な平面図、及び歩行者と歩行者を含む障害物の検知例を説明するための説明図である。 本発明の第１の実施の形態を構成する歩行者・障害物照合手段を演算処理装置で構成した場合の具体的な処理手順を示すフローチャートである。 本発明の第１の実施の形態を構成する歩行者追跡手段を演算処理装置で構成した場合の具体的な処理手順を示すフローチャートである。 図４Ａ中の１つのステップの詳細な処理手順を示すフローチャートである。 図４Ａ中の１つのステップの詳細な処理手順を示すフローチャートである。 図４Ａ中の１つのステップの詳細な処理手順を示すフローチャートである。 図４Ａ中の１つのステップの詳細な処理手順を示すフローチャートである。 本発明の第１の実施の形態を構成する危険度判断手段を演算処理装置で構成した場合の具体的な処理手順を示すフローチャートである。 図５Ａ中の１つのステップの詳細な処理手順を示すフローチャートである。 図５Ａ中の１つのステップの詳細な処理手順を示すフローチャートである。 図５Ａ中の１つのステップの詳細な処理手順を示すフローチャートである。 図５Ａ中の１つのステップの詳細な処理手順を示すフローチャートである。 図５Ａ中の１つのステップの詳細な処理手順を示すフローチャートである。 本発明の第１の実施の形態を構成する歩行者情報記憶手段の歩行者リスト及びそれに記憶される歩行者情報の内容を示した図表である。 本発明の第１の実施の形態を構成する障害物情報記憶手段の障害物リスト及びそれに記憶される障害物情報の内容を示した図表である。

符号の説明

１ 撮影手段
２ 歩行者検知手段
３ 障害物検知手段
４Ａ 現フレームの歩行者情報記憶手段
４Ｂ 障害物情報記憶手段
４Ｃ 歩行者情報記憶手段
５ 歩行者・障害物照合手段
６ 歩行者追跡手段
７ 危険度判断手段
８ 危険警報手段
１０ 自動車（車両、自車）

Claims (15)

1. 車両の進行方向の走行予測範囲を撮像してパターン認識により歩行者を検知し、前記歩行者の位置を検出する歩行者検知手段と、
   前記車両の進行方向の走行予測範囲に位置する前記歩行者を含む障害物を検知し、前記障害物の位置を検出する障害物検知手段と、
   前記歩行者検知手段により検知された歩行者ごとに記憶するための歩行者情報記憶手段と、
   前記障害物検知手段により検知された障害物ごとに前記障害物の位置を記憶するための障害物情報記憶手段と、
   前記障害物情報記憶手段に記憶された情報と前記歩行者情報記憶手段に記憶された情報を相互に照合して、前記障害物の中の歩行者と非歩行者とを判断する歩行者・障害物照合手段と、
   前記歩行者情報記憶手段に記憶された前記歩行者の現在位置と、前記歩行者・障害物照合手段により非歩行者と判断された前記障害物の前記障害物情報記憶手段に記憶された位置と、前記車両の位置との相対的な関係に、前記車両の速度をも加味して、前記歩行者に前記車両が衝突する危険度を判断する危険度判断手段とを、
   備えた衝突危険度判定装置。
2. 車両の進行方向の走行予測範囲を撮像してパターン認識により歩行者を検知し、前記歩行者の位置を検出する歩行者検知手段と、
   前記車両の進行方向の走行予測範囲に位置する前記歩行者を含む障害物を検知し、前記障害物の位置を検出する障害物検知手段と、
   前記歩行者検知手段により検知された歩行者ごとに前記歩行者の位置を時系列的に記憶するための歩行者情報記憶手段と、
   前記障害物検知手段により検知された障害物ごとに前記障害物の位置を記憶するための障害物情報記憶手段と、
   前記歩行者検知手段により検知されていた前記歩行者が前記歩行者検知手段により検知されなくなったとき、前記歩行者情報記憶手段に記憶された前記歩行者の位置を時系列的な変化から前記歩行者の移動軌跡を追跡し、前記歩行者の現在位置を推定して前記歩行者情報記憶手段に記憶する歩行者追跡手段と、
   前記障害物情報記憶手段に記憶された情報と前記歩行者情報記憶手段に記憶された情報を相互に照合して、前記障害物の中の歩行者と非歩行者とを判断する歩行者・障害物照合手段と、
   前記歩行者追跡手段により推定された前記歩行者の現在位置と、前記歩行者・障害物照合手段により非歩行者と判断された前記障害物の前記障害物情報記憶手段に記憶された位置と、前記車両の位置との相対的な関係に、前記車両の速度をも加味して、前記歩行者検知手段により検知されなくなった前記歩行者に前記車両が衝突する危険度を判断する危険度判断手段とを、
   備えた衝突危険度判定装置。
3. 前記危険度判断手段は、走行レーンに位置を推定された前記歩行者が入っていることを確認し、前記走行レーンに入っている前記歩行者に対して前記車両が衝突する危険度を判定する請求項２に記載の衝突危険度判定装置。
4. 前記危険度判断手段は、位置を推定された前記歩行者が前記車両の走行予測範囲に入っていることを確認し、前記走行予測範囲に入っている前記歩行者に対して前記車両が衝突する危険度を判定する請求項２に記載の衝突危険度判定装置。
5. 前記危険度判断手段は、位置を推定された前記歩行者に前記車両が衝突するまでの予測衝突時間を計算し、前記予測衝突時間があらかじめ設定した閾値より短いとき、位置を推定された前記歩行者に対して前記車両が衝突する危険度が大きいと判定する請求項２に記載の衝突危険度判定装置。
6. 前記危険度判断手段は、位置を推定された前記歩行者と同じ方位の手前に前記歩行者以外の障害物がいるか否かを判断し、いないと判断したときに位置を推定された前記歩行者に対して前記車両が衝突する危険度を判定する請求項２に記載の衝突危険度判定装置。
7. 前記危険度判断手段は、位置を推定された前記歩行者が前記歩行者以外の障害物と同じ方位にいるか否かを判断するとともに、前記歩行者以外の障害物の後ろに隠れているか否かを判断し、前記歩行者が前記歩行者以外の障害物と同じ方位にいて、かつ、前記歩行者以外の障害物の後ろに隠れているときに前記歩行者以外の障害物の両端位置と、位置を推定された前記歩行者の移動速度とに基づいて、位置を推定された前記歩行者が前記歩行者以外の障害物の後ろから出る時間と位置を推定し、前記歩行者以外の障害物の後ろから出てくる前記歩行者に対して前記車両が衝突する危険度を判定する請求項２に記載の衝突危険度判定装置。
8. 前記歩行者追跡手段は、位置を推定された前記歩行者が前記歩行者以外の障害物の後ろに隠れているとき、所定の時間間隔で前記車両の進行方向の走行予測範囲を撮影するごとに検知されなくなった前記歩行者の位置を推定し、前記記憶手段に記憶されている位置を更新する請求項７に記載の衝突危険度判定装置。
9. 前記危険度判断手段は、危険度を判定して運転者に警報を発生する警報装置、車両に急ブレーキをかける制動装置及び歩行者を保護するための保護装置を選択的に作動させる信号を発生する請求項２に記載の衝突危険度判定装置。
10. 前記歩行者及び前記障害物の各位置は、車両の進行方向に設定した軸を基準とする方位座標系の方位及び距離、及び／又は車両の進行方向に展開する２次平面座標系の２次座標である請求項１又は請求項２に記載の衝突危険度判定装置。
11. 前記方位座標系の方位及び前記平面座標系の２次座標は前記映像パターンの輪郭に対する最小値及び最大値で表される請求項１０に記載の衝突危険度判定装置。
12. 前記危険度判断手段は、
    前記歩行者情報記憶手段に記憶された前記歩行者の位置の時系列的な情報から過去には存在していた歩行者が最新の情報には存在しないとき、前記歩行者追跡手段で推定された前記現在位置が、前記車両の走行予測範囲に入るか否かを判断する手段と、
    前記現在位置が、前記車両の走行予測範囲に入ると判断されたときは、前記現在位置と前記障害物情報記憶手段に記憶された前記障害物の位置とから前記現在位置に存在すると推定される前記歩行者が前記障害物情報記憶手段に記憶されたいずれかの障害物の後ろにいるか否かを判断する手段と、
    前記歩行者が、前記いずれかの障害物の後ろにいると判断されたときは、前記歩行者情報記憶手段に記憶された前記歩行者の時系列的な位置の変化から前記歩行者が前記障害物から飛び出す可能性の有無を判断する手段とを、
    有し、前記歩行者が、前記いずれかの障害物の後ろにいないと判断されたとき、及び前記障害物から飛び出す可能性の有無を判断する手段により前記歩行者が前記障害物から飛び出すと判断されたときに前記危険度を判断するように構成されている請求項２に記載の衝突危険度判定装置。
13. 車両の進行方向の走行予測範囲を撮像してパターン認識により歩行者を検知し、前記歩行者の位置を検出する外部の歩行者検知手段からの情報に応答し、前記歩行者検知手段により検知された歩行者ごとに前記歩行者の位置を時系列的に記憶するための歩行者情報記憶手段と、
    前記車両の進行方向の走行予測範囲に位置する前記歩行者を含む障害物を検知し、前記障害物の位置を検出する外部の障害物検知手段からの情報に応答し、前記障害物検知手段により検知された障害物ごとに前記障害物の位置を記憶するための障害物情報記憶手段と、
    前記障害物情報記憶手段に記憶された情報と前記歩行者情報記憶手段に記憶された情報を相互に照合して、前記障害物の中の歩行者と非歩行者とを判断する歩行者・障害物照合手段と、
    前記歩行者情報記憶手段に記憶された前記歩行者の位置を時系列的な変化から前記歩行者の移動軌跡を追跡し、前記歩行者の現在位置を推定する歩行者追跡手段と、
    前記歩行者追跡手段により推定された前記歩行者の現在位置と、前記歩行者・障害物照合手段により非歩行者と判断された前記障害物の前記障害物情報記憶手段に記憶された位置と、前記車両の位置との相対的な関係に、前記車両の速度をも加味して、前記歩行者に前記車両が衝突する危険度を判断する危険度判断手段とを、
    備えた衝突危険度判定装置。
14. 車両の進行方向の走行予測範囲を撮像してパターン認識により歩行者を検知し、前記歩行者の位置を検出するステップと、
    前記車両の進行方向の走行予測範囲に位置する前記歩行者を含む障害物を検知し、前記障害物の位置を検出するステップと、
    検知された前記歩行者ごとに前記歩行者の位置を時系列的に記憶するステップと、
    検知された前記障害物ごとに前記障害物の位置を記憶するステップと、
    前記歩行者の位置を検出するステップで検知されていた前記歩行者が検知されなくなったとき、時系列的に記憶された前記歩行者の位置の変化から前記歩行者の移動軌跡を追跡し、前記歩行者の現在位置を推定して記憶するステップと、
    それぞれ記憶された前記障害物の位置と、前記歩行者の推定された現在位置とを相互に照合して、前記障害物の中の歩行者と非歩行者とを判断するステップと、
    照合により非歩行者と判断された前記障害物の位置と、推定された前記歩行者の現在位置と、前記車両の位置との相対的な関係に、前記車両の速度をも加味して、前記歩行者の位置を検出するステップで検知されなくなった前記歩行者に前記車両が衝突する危険度を判断するステップとを、
    備えた衝突危険度判定方法。
15. 車両の進行方向の走行予測範囲を撮像してパターン認識により歩行者を検知し、前記歩行者の位置を検出するステップと、
    前記車両の進行方向の走行予測範囲に位置する前記歩行者を含む障害物を検知し、前記障害物の位置を検出するステップと、
    検知された歩行者ごとに前記歩行者の位置を時系列的に記憶するステップと、
    検知された障害物ごとに前記障害物の位置を記憶するステップと、
    前記位置を検出するステップで検知されていた前記歩行者が検知されなくなったとき、記憶された前記歩行者の位置を時系列的な変化から前記歩行者の移動軌跡を追跡し、前記歩行者の現在位置を推定して記憶するステップと、
    それぞれ記憶された前記障害物の位置情報と、位置が検出された前記歩行者又は位置が推定された前記歩行者の現在の位置情報とを相互に照合して、前記障害物の中の歩行者と非歩行者とを判断するステップとを、
    備えた歩行者識別方法。
    

Images