JP2001195698A - 歩行者検知装置 - Google Patents

Abstract

(57)【要約】 【課題】歩行者検知を確実かつ高速にできる歩行者検知
装置を提供する。 【解決手段】地上側に設置され、道路上を撮像する地上
側監視カメラ１と、前記１で撮像した画像から路上の歩
行者の位置と移動方向を検出する地上側演算装置２と、
前記１の設置位置のデータと前記２で検出したデータと
を車両へ送信する地上側通信装置３と、車両に搭載さ
れ、車両前方の物体の有無と物体までの距離とを検知す
る車載センサ４と、前記３からのデータを受信する車載
通信装置５と、受信したデータに基づいて、前記１と前
記４との位置関係を求め、前記２で検知した歩行者の位
置と移動方向および前記１と前記４との位置関係に基づ
いて、前記４の検知結果において地上側で検知した歩行
者に相当する物体を車両側で歩行者として認識する車載
演算装置６とを備えた歩行者検出装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、路上の歩行者を
検知する装置に関し、特に、地上側に設置した撮像装置
の検知状態を利用することで、車載センサによる前方の
歩行者検知を確実かつ高速に行う技術に関する。なお、
本発明における歩行者とは、人間に限らず、路上に存在
する動物（犬猫等）も含む概念である。

【０００２】

【従来の技術】従来における車載の歩行者検知装置とし
ては、例えば、特開平８−１６１６９８号に記載された
ものがある。この装置は、車の右左折に応じて、右折時
には検知用の車載カメラを右方向に、左折時には車載カ
メラを左方向に振る機構をつけることで、死角になりや
すい交差点の右折時の右側、左折時の左側に存在する歩
行者などの前方の障害物を検知するものである。

【０００３】

【発明が解決しようとする課題】上記のような従来の歩
行者検知装置では、車載カメラで撮像した画像内での検
知物体が歩行者であるか静止物体であるかの判断が必要
となる。車載カメラで物体の動きを観測するためには、
物体を検知した時点から数回連続してその物体の動きを
観測する必要があるため、検知のレスポンスが遅くなる
という問題が生じる。また、前述の従来例においては、
車載カメラの検知方向を駆動する制御機構を付けること
でレスポンスの向上を図っているため、駆動部の故障の
懸念やカメラの揺れによる画像処理認識の低下も問題と
なる。

【０００４】本発明は上記のごとき従来技術の問題を解
決するために成されたものであり、歩行者検知を確実か
つ高速に行うことのできる歩行者検知装置を提供するこ
とを目的とする。

【０００５】

【課題を解決するための手段】請求項１に記載の発明に
おいては、地上側の撮像手段（例えば監視カメラ）で路
上の歩行者を検知し、そのデータを車両側に伝送し、車
両側では車両前方の物体の有無・位置を計測する車載セ
ンサと地上側の撮像手段の位置関係を求め、車載センサ
の検知角内に歩行者が現われる前から、地上側の撮像手
段で検知した歩行者が車載センサで計測される位置や測
定距離を予測し、その歩行者が車載センサで計測された
瞬間に、その計測値が予測した値であるか否かを判断す
る。これにより、歩行者の動きを観測するための処理を
不要とし、車載センサによる歩行者検知のレスポンスを
向上させることが出来る。また、この構成では、検知対
象を地上側の撮像手段で検知した歩行者だけに絞ること
で、他の物体との誤検知を避け、歩行者検知の確実性を
上げることが出来る。

【０００６】また、請求項２に記載の発明においては、
地上側では、既知の路上の静止物標からの相対位置とし
て路上の歩行者の位置と移動方向を検出するように構成
し、車両側では、その静止物標を検知し、地上側で検知
した歩行者の位置を静止物標との相対位置を用いて検知
する構成とした。これにより、車両側では、路上に設置
されている静止物標との位置関係として歩行者の動きを
受け取ることができるため、地上側の撮像手段と車載カ
メラとの位置関係を伝える必要がなくなり、その位置関
係による位置の誤差もなくなる。したがって検知対象と
する歩行者の位置精度が向上する。また、車両側では、
検知角内の静止物標との相対位置として歩行者の検知が
可能となるため、レスポンスの向上に加え、検知の確実
性も上がり、検知の処理も単純になる。

【０００７】また、請求項３に記載の発明においては、
請求項２の車載センサをステレオカメラとし、静止物標
を横断歩道としたものであり、地上側の撮像手段では、
歩行者の位置と移動方向を横断歩道からの相対位置とし
て求め、車載のステレオカメラでは、ステレオカメラの
画像を用いて路面の横断歩道を検出し、その後、地上側
の撮像手段で検知した歩行者をステレオカメラ画像処理
により、横断歩道からの相対位置を用いて検出するもの
とした。この方法によれば、ステレオ画像処理で求めら
れる距離画像からの立体物検知において、あらかじめ距
離や画像上において現われる位置の分かっている歩行者
を検知対象とするため、請求項１、２と同様に、画角の
端で、その距離の物体が現れることを観測するだけで歩
行者の検知を判断することが可能となる。さらに、横断
歩道という画像処理で検出しやすい対象物を利用して、
そこからの相対位置として検出対象物を探す構成とした
ため、検出が確実になる。さらに、歩行者の存在する確
率が高い横断歩道上の歩行者検知が可能となる。また、
この構成では、相対位置を求める際に利用する静止物標
を、予め路面に存在する横断歩道としているため、新た
に検知用の物標を備えることなく検知が可能となる。

【０００８】また、請求項４に記載の発明においては、
車両側で認識した歩行者の位置と移動方向が、地上側で
認識した歩行者の位置と移動方向に継続して一致する、
すなわち、地上側の歩行者の行動の続きを行っているか
否かを確認することで、対象物体が自車の進行方向に向
かってくる歩行者であるか否かを判断するものとした。
これにより、レスポンス早く歩行者を検知し、さらに、
その歩行者が自車に向かって路上に進入するか否かを確
実に検知することが可能となる。

【０００９】

【発明の効果】請求項１においては、車載センサの検知
範囲に入った時点で歩行者を認識することが可能となる
ので、検知のレスポンスが向上し、特に、歩行者などの
飛び出し検知のレスポンスが向上する、という効果が得
られる。

【００１０】請求項２においては、地上側撮像装置と車
載カメラの位置関係の計測を不必要とし、歩行者の検知
位置を高精度に伝えることが可能となる。また、車載セ
ンサ上での歩行者検知処理を、車載センサで検知した物
標との相対位置関係で検知可能としたことにより、検知
範囲の限定ができるので検知が容易かつ確実になる、と
いう効果が得られる。

【００１１】また、請求項３においては、物標として横
断歩道を利用することにより、地上側撮像装置と車載カ
メラで検知した歩行者の照合がより簡単かつ確実とな
り、さらに、横断歩道の相対位置から歩行者の検知位置
を限定できるので、処理速度の向上および他の物体との
誤検知の低減も可能になる、という効果が得られる。

【００１２】また、請求項４においては、歩行者検知が
確実になり、かつ、その歩行者が地上側撮像装置の視野
から外れたあとも、さらに自車の妨げになる位置に来る
か否かの判断も可能となる、という効果が得られる。

【００１３】

【発明の実施の形態】図１は、本発明の全体の概略構成
を示すブロック図である。図１において、地上側に設置
される部分は、地上側監視カメラ１、地上側演算装置２
および地上側通信装置３であり、車両に搭載される部分
は、車載センサ４、車載通信装置５および車載演算装置
６である。地上側監視カメラ１は例えばＣＣＤ素子等を
用いた電子式のカメラであり、例えば横断歩道付近を視
野に納めるような位置に設置されている。地上側演算装
置２は例えばＣＰＵ等から成るコンピュータで構成さ
れ、地上側監視カメラ１で撮像した画像を処理して、横
断歩道等の物標の位置および歩行者の位置と移動方向の
データを検出する。地上側通信装置３は専用の通信装置
でもよいし、またはＶＩＣＳ（Vehicle Information an
d Communication System：道路交通情報通信システム）
を利用することもできる。車載センサ４はレーザレーダ
や電子式カメラ等であり、車両の前方を監視するように
設置されている。車載通信装置５は前記の地上側通信装
置３と同様の装置であり、両者間で交信を行って必要な
データを送受信する。なお、車両が交差点エリアに進入
すると自動的に交信を開始するような機能を有する。車
載演算装置６は車載センサ４からの情報と車載通信装置
５で受信した地上側からのデータに基づいて歩行者認識
の演算を行い、かつ、歩行者検出信号を出力する。この
歩行者検出信号は運転者への警報発生に利用したり、自
動的に制動装置を作動させる等の制御に利用することが
出来る。

【００１４】以下、歩行車検知の原理について説明す
る。まず、本発明の第１の構成（請求項１に相当）につ
いて説明する。図２および図３は交差点における歩行者
の検知状況を示す図であり、図２は交差点付近の上面
図、図３は横断歩道を横断中の歩行者を車両から見た図
（車載センサの画像）である。図２において、７は自車
両、８は車載センサ、９は交差点付近に設置された地上
側の監視カメラ、１０は横断歩道、１１は電柱である。
なお、車載センサ８の検知角は二重線で、地上側の監視
カメラ９の検知角は破線で示している。また、丸印は歩
行者の動きを示すものであり、１〜６の番号は歩行者の
位置に対応する。

【００１５】地上側では、監視カメラ９の画像に対して
歩行者がいない状況での画像との差分処理などによる背
景除去（後記図９で説明）を行うことにより、歩行者の
有無の判別、および検知した歩行者の動きを常に監視す
る。すなわち、背景差分の連続処理やオプティカルフロ
ーなどにより、破線で示した検知角内を動く歩行者の位
置およびその移動方向を示すベクトルＡ（太い矢印で示
す）を求める。監視カメラ９の検知範囲には横断歩道の
周囲も含まれているので、歩行者が横断歩道に入る前か
ら、丸印の１、２、３、４、５、６の順に移動する様子
を検知することが出来る。

【００１６】一方、車載センサ８では、歩行者が丸印の
４の位置に来て始めて検知角内に歩行者が観測されるた
め、車両側では４、５、６の位置の歩行者しか検知でき
ない。車載センサ８で検知される物体の動きを監視する
場合、４の位置をベクトルの始点とし、そのあと、数回
時間的に連続して前方を検知し、４、５、６の順に動く
物体の動きを観測することで、はじめて歩行者の移動を
示すベクトルＢを求めることができる。つまり、４の位
置では歩行者であることの確認はできず、歩行者と判断
されるのは、歩行者が６の位置付近に来たときとなる。
しかし、これではレスポンスが遅いため、車両用の歩行
者検知装置の機能として不十分である。そのため本発明
では、車載カメラ８の検知角内に歩行者が入る前から、
実座標系における歩行者の移動のベクトルＡを地上側の
監視カメラ９で求めておき、車載センサ８の検知角の端
（図２の４の位置）に、ベクトルＡ上に存在する物体が
検知されるか否かを判断することにより、車載センサ検
知角内の歩行者の有無を判断する。つまり、車載センサ
８の検知角の端において、車載センサ８の検知角に入る
前の歩行者のベクトルＡに乗る位置に物体が検知される
か否かを判断するだけで、検知角端で検知された物体が
静止物（図２の電柱１１）であるか歩行者（図２の歩行
者）であるかを判別するものである。これにより車両側
における検知応答性を大幅に向上させることが出来る。

【００１７】次に、本発明の第２の構成（請求項２に相
当）について説明する。図４および図５は、監視カメラ
９と路上に物標１２（例えばバス停留場の表示装置）が
設置されている道路を、車載センサ８を搭載した車両７
が走行する様子を示した図であり、図４は上面図、図５
（ａ）は監視カメラ９の画像、図５（ｂ）は車載センサ
８から見た画像である。監視カメラ９は路上に設置され
ているため、監視カメラ９と物標１２との位置関係は既
知である。監視カメラ９に撮像される歩行者１３は、前
述の方法で検知可能であるため、監視カメラ９で検知さ
れた画像上の位置と、監視カメラ９と物標１２との位置
関係から、検知された歩行者１３と物標１２との位置関
係も求められる。また、車載センサ８として、スキャニ
ングレーザレーダのように横方向を走査することで検知
角内の距離を計測するセンサを用いた場合には、車載セ
ンサの検知結果は図４の表に一例を示すようになる。物
標１２を反射物とすれば、レーザレーダでその物標１２
までの距離を計測できる。

【００１８】一方、監視カメラ９では、計測中の歩行者
１３は物標１２よりも左側、すなわち、車両側から見て
物標１２よりも２ｍ手前の位置に検知されている。した
がって、車両側では、車載センサ８において物標１２よ
りも２ｍ手前の位置の物体を検知対象とするように設定
すれば、監視カメラ９で計測中の歩行者１３の検知が可
能となる。

【００１９】なお、車載センサ８がカメラの場合には、
物標１２として反射部を含む円形の物体などに定義する
ことで、車載センサ８のカメラの画像を処理して円検出
を行うことにより、物標１２を検知することが出来る。
また、車載センサ８がレーザレーダの場合は、反射体を
検知するなどのように、車載センサ８で検知が可能な処
理に合せることにより、複数種類のセンサでも対応可能
となる。

【００２０】次に、本発明の第３の構成（請求項３に相
当）について説明する。図６は車載センサをステレオカ
メラとした場合の状況を示す図であり、図６（ａ）は交
差点付近の上面図、図６（ｂ）はステレオ画像間の視差
計算により、画像内に撮像される各物体までの距離を求
めた結果を画像中に示した図である。なお、図６（ａ）
では前記図２の状況において歩行者が４の位置に達した
ときの様子を示している。なお、図６において、１６は
歩行者、１７は電柱、１８は樹木、１９は横断歩道であ
る。

【００２１】ここで、ステレオカメラで撮像したステレ
オ画像内の物体までの距離ｚの計測について説明する。
距離ｚは、ステレオ画像間において、同じ物体が撮像さ
れる位置の二つの画像上の位置の差（ｘａとｘｂ）をテ
ンプレートマッチングなどで求め、その位置の差（視
差）とカメラの焦点距離ｆより、三角測量の原理で下記
（数１）式により求めることができる。

【００２２】 ｚ＝ｆ・Ｄ／（ｘａ−ｘｂ） …（数１） ただし、ｆ：レンズの焦点距離 Ｄ：両レンズ間の距離
（眼間距離） ｘａ−ｘｂ＝Ｓ：視差 ｆ、ｘａ、ｘｂ、Ｓの単位は画素、Ｄ、ｚの単位はｍ、 図７は、上記のステレオ画像における距離の関係を示す
図である。図７において、２０は検知物体、２１は右レ
ンズ、２２は左レンズ、２３は右画像、２４は左画像で
ある。図６（ｂ）は、このようにしてステレオ画像内に
撮像される各物体までの距離を求めた画像（画像の各画
素または領域毎）であり、これを距離画像と呼ぶ。な
お、ステレオ画像を用いた距離の測定については、本出
願人が以前に出願した特願平１０−１５４６２５号に詳
細に記載されている。

【００２３】この第３の構成では、画像上での歩行者検
知の際、画像処理上検知しやすい横断歩道の横エッジを
利用し、歩行者が現れる画像上の位置およびカメラから
の距離を、横断歩道のエッジからの相対位置として求め
る。

【００２４】図８は、画像上で検知した横断歩道の横エ
ッジの位置（ｙ３やｙ５）を用いた、カメラから横断歩
道までの距離の求め方を説明する図である。画像の中心
を原点とし、光軸が路面と平行なカメラで撮像した画像
上において、検出した横断歩道の手前のラインが撮像さ
れる位置をｙ３とすると、カメラから横断歩道の手前の
ラインまでの距離ｚは下記（数２）式により求められ
る。

【００２５】 ｚ＝ｆ・ｈ／ｙ３＝３（ｍ） …（数２） ただし、ｆ：焦点距離、ｈ：路面からカメラのレンズ中
心までの高さ画像上からの横断歩道のエッジの検出は、
Ｈｏｕｇｈ変換などの一般的な直線検出方法を用いれば
十分である。このような方法でカメラ上に撮像される横
断歩道の手前と奥の横エッジを求め、（数２）式によ
り、カメラからそのエッジ（図８のｙ３とｙ５）までの
距離を計算する。

【００２６】図６における横断歩道１９と監視カメラ９
の位置関係は既知であるので、歩行者１６と横断歩道１
９との実座標系における位置関係は監視カメラ９で求め
られる。図９は、監視カメラ９で撮像した様子を示す図
である。図９（ａ）に示すように、歩行者は横断歩道の
左側の線（車両から見て手前の線）と右側の線（車両か
ら見て奥の線）をａ：ｂに分割する位置を渡ろうとして
いる。車載のステレオカメラでは、横断歩道の手前のエ
ッジがステレオカメラから３ｍ、奥のエッジがステレオ
カメラから５ｍの位置にあると計測されているので、仮
に、ａ：ｂを１：３とすると、歩行者はステレオカメラ
から３.５ｍの位置に計測されることがわかる。このよ
うに地上側の監視カメラ９からの情報に基づいて、車載
センサ（ステレオカメラ）における歩行者の画像上にお
ける検知位置や検知距離を、横断歩道からの相対位置と
して求める。これは、予め路面に存在し、かつ、カメラ
で検知しやすい横断歩道を物標として利用するときの応
用方法でもある。このように横断歩道からの相対位置で
車載センサの検出範囲を限定することにより、処理速度
をさらに向上させることが可能となる。

【００２７】次に、本発明の第４の構成（請求項４に相
当）について説明する。第４の構成では、請求項１〜３
で求めた歩行者の移動を、車載のステレオ画像処理で求
められる距離と画像内での移動からも求め、地上側の監
視カメラで検知した移動の続きの移動をすることを確認
することにより、さらに確実に歩行者の検知を行い、ま
た、その移動の続きを車載演算装置における画像処理上
で検出することにより、検出された歩行者が横断歩道に
入った後に、自車にさらに近づくか否かの判断も可能と
する。

【００２８】以下、これまで説明した原理に基づいた実
施の形態について説明する。まず、横断歩道を撮像する
形で設置された監視カメラを用いて、前方の横断歩道を
渡ろうとする歩行者の検知を行う例を説明する。地上側
の監視カメラでは、前記図９のような画像を撮像し、横
断歩道手前の歩行者の有無を監視する。図９（ａ）は歩
行者が存在する場合、図９（ｂ）は歩行者が存在しない
場合の画像を示す。図９（ｂ）は路上に存在する横断歩
道の線のみの画像なので、予めこの画像を撮像して記憶
しておき、図９（ａ）のような観測時の画像との差分を
求めれば、歩行者の有無を判断することが出来る。

【００２９】地上側では、上記のようにして監視カメラ
で歩行者の存在を見つけた場合には、歩行者の移動のベ
クトルを算出する。歩行者の移動のベクトルは、差分処
理によって発見した歩行者の位置の画像に対するオプテ
ィカルフロー算出などの一般的な手法で求められる。

【００３０】監視カメラでの歩行者の移動のベクトル
は、前記図２のベクトルＡのような実座標系のベクトル
に変換する。このベクトルの変換は、カメラの設置位置
やカメラ焦点距離などに基づいて幾何学的に計算する。
例えば、図１０は画像座標から実空間座標に変換する方
法を説明するための図であり、（ａ）は垂直方向、
（ｂ）は水平方向を示す。図１０においては、使用する
カメラの特性として、画素数はｘ方向がＩＸ、ｙ方向が
ＩＹとする。画面サイズはｘ方向がＣＣＤＨ（ｍ）、ｙ
方向がＣＣＤＷ（ｍ）とする。まず、（ａ）に示す垂直
方向における中心からｄｙ画素の実空間での位置は次の
ようになる。 光軸と成す角ｄθ＝ａｔａｎ｛（ＣＣＤＨ／ＩＹ)(ｄｙ
／ｆ）｝ 画素位置ｄｙに相当する前方距離ｌ＝Ｈ／ｔａｎ（θ−
ｄθ） 次に、（ｂ）に示す水平方向における中心からｄｘ，ｄ
ｙ画素の実空間での位置は次のようになる。 角ｄφ＝ａｔａｎ｛（ＣＣＤＷ／ＩＸ)(ｄｘ／Ｆ）｝ Ｆ＝√｛［（ＣＣＤＨ／ＩＹ)(ｄｙ）］^２＋ｆ^２｝ 画素位置ｄｘに相当する前方幅ｈ＝√（Ｈ^２＋ｌ^２）×
ｔａｎ（ｄφ） 上記のようにして移動する歩行者の各時点の位置を変換
すれば、実座標系に変換されたベクトルＡを求めること
が出来る。

【００３１】次に、車両側の処理について説明する。こ
こでは車載センサとしてスキャニングレーザレーダのよ
うに、或る角度内に存在する物体までの距離を或る検知
角度毎に検出するセンサを搭載した場合を考える。図１
１は、スキャニングレーザレーダによる物体検知例を示
す上面図である。図１１から判るように、検知角度内に
は、３.５ｍ先の歩行者１６と８ｍ先の電柱１７があ
り、その物体がある方向では、それらの物体までの距離
が測定される。図１１の表は角度ごとの測定距離を示し
たものであり、右端の角度では歩行者までの距離である
３.５ｍ、右から３番目の角度では電柱までの距離であ
る８ｍが表示されている。その他の部分には物体がない
ため測定対象物がないことを示すフラグ（∞）が入って
いる。

【００３２】通常、車載のスキャニングレーザレーダだ
けで、検知した物体が自車に向かう歩行者であることを
判断する場合には、検知した物体が時間的に連続して観
測され、かつ、その物体が自車に向かって移動する様子
を観測する必要がある。例えば、車載センサだけで３.
５ｍの距離に観測されたものが歩行者であると判断する
ためには、検知した物体がスキャニングレーザレーダの
検知角の中央に移動して、はじめて歩行者が横断中であ
ると判断されることになる。しかし、これでは、歩行者
検知としての応答性が遅く、衝突警報や自動ブレーキな
どに使うためのセンサとしては利用できない。

【００３３】これに対して、本発明では、地上側の監視
カメラで実座標系における歩行者の動きを予め求めてお
き、監視カメラの設置された交差点に車載センサを搭載
した車両が進入した際に、監視カメラの位置と、その監
視カメラでの歩行者の動作の計測結果を車載センサに伝
え、車載センサの検知角に歩行者が入る前から検出した
歩行者の動きをもとに、検知角の端で、監視カメラで計
測中のベクトル上にのる位置に物体を計測し、それによ
って監視カメラで観測中の歩行者の有無を判断する。こ
れにより、車載センサでは動きを見る必要がなく、歩行
者の存在の判断だけで車載センサによる歩行者認識が可
能となる。また、歩行者の後にある電柱などは監視カメ
ラで計測された歩行者のベクトルとは異なる位置にある
ことから、仮に検知角の端に歩行者以外の静止物体を検
知した場合でも、それらの区別は可能である。

【００３４】次に、路上に設置された物標との位置関係
を用いて歩行者を検知する例について、前記図４および
図５を用いて説明する。監視カメラ９と物標１２との位
置関係は、双方とも位置が固定であるため既知である。
監視カメラ９の画像からの歩行者検知は、前記と同様に
背景差分を求めればよい。歩行者の位置は、画像上に歩
行者が検知された位置から幾何学計算により求められ
る。また、歩行者１３と物標１２との相対位置も、予め
既知である監視カメラ９と物標１２との位置関係から求
められる。例えば、図４のように、監視カメラ９を、そ
のカメラの光軸が車道と直角で路面と平行になるように
設置し、物標１２から監視カメラ９の光軸までの距離が
２ｍの場合を考える。

【００３５】図５（ａ）は監視カメラ９で撮像した画像
の様子を示す図、図５（ｂ）は車載カメラで撮像した画
像の様子を示す図である。歩行者１３は、図５（ａ）の
画像のほぼ中央に検知されている。このことから、図４
の下側を手前（車両から見た手前）とすると、監視カメ
ラ９で検知された歩行者１３の位置は物標１２から２ｍ
手前と求められる。また、監視カメラ９から歩行者１３
までの距離は、歩行者１３が撮像されるＹ座標の位置に
反比例する。この関係は、（数２）式と同様の考え方で
求められる。例えば、画像上における歩行者１３の足元
の座標をｙ１、カメラの焦点距離をｆ、路面からカメラ
までの高さをＨとすると、監視カメラ９から歩行者１３
までの距離ｚは、 ｚ＝ｆ・Ｈ／ｙ１ となる。歩行者１３が監視カメラ９から遠ざかる場合
は、図５（ａ）で画像上方に歩行者１３が移動し、歩行
者１３が監視カメラ９に近づく場合は、画像の下方に向
けて移動する。つまり、図４における歩行者１３の左右
の位置は、図５（ａ）で画像上の歩行者１３の移動およ
び歩行者１３が撮像されるＹ座標から求めることができ
る。たとえば、図５において、検知された歩行者１３の
足元は歩道と車道の境界ラインの位置であり、物標１２
も車両と歩道の境界ラインの上に設置されている。この
ことから、物標１２に対する歩行者１３の位置は、物標
１２から手前２ｍの位置の歩道と車道の境界ラインの位
置にいると計測される。

【００３６】また、歩行者の移動方向は、図５（ａ）の
画像上において、Ｘ軸方向に右側に移動した場合は物標
１２に近づく方向に、左側に移動した場合は物標１２か
ら遠ざかる方向に、Ｙ軸方向に上に移動した場合は車道
を渡る方向に、下側に移動した場合は歩道を監視カメラ
９に近づく方向に移動すると求めることができる。この
ように、監視カメラ９では、画像内で検知される歩行者
１３の位置と移動方向から路上の歩行者の位置と移動方
向を物標１２からの相対位置として求める。

【００３７】一方、車両側では、地上側からのデータと
して、物標１２からの相対位置として歩行者１３の位置
と移動方向を受信する。また、上記のデータを受信する
と共に車載センサで物標の検知も行う。図４の表は、車
載センサとしてスキャニングレーザレーダを利用した場
合の計測結果であり、図５（ｂ）は、画像として前方を
撮像した様子を示している。スキャニングレーザレーダ
では、物標１２は６ｍ先に検知されている。地上側の監
視カメラ９からの情報により、歩行者１３は物標１２よ
り２ｍ手前にいると分かっているので、歩行者１３は車
載センサからは４ｍ先と計測されると判る。つまり、４
ｍ先に物体が検知された場合は、歩行者１３であると判
断できる。この方法では、図４のように、電柱１４な
ど、歩行者以外の物体の距離を計測している場合でも、
物標１２からの相対位置により、他の物体と区別して歩
行者を検出することができる。

【００３８】また、基準とする物標自体の判断は、反射
強度を他との区別が可能な強さになる物体を選定する
か、もしくは、物標側から、車載センサに検知可能な信
号を送るなど、他物体との区別がつく方法をとればよ
い。また、車載センサがカメラの場合は、物標の形状か
ら検知が可能である。図４、図５の場合では、歩行者１
３の位置は、監視カメラ９の検出結果により、車道と歩
道の境界線上で物標１２より２ｍ手前とわかっているの
で、白線検出などによって車道と歩道の境界線を検知
し、白線に沿って、物標よりも下側に位置する物体とし
て検知することができる。さらに精度を高める場合は、
車載センサをステレオカメラとすれば、形状による物標
の検知による物標までの距離の測定、車道と歩道の境界
線の位置検出および歩行者までの距離の測定が可能であ
るため、地上側の監視カメラの情報に基づいて、境界線
上に乗り、かつ物標から２ｍ手前の物体を検知すること
で歩行者をより確実に検知することも可能となる。さら
に、この検知は、監視カメラで予め動きを見ているた
め、車載カメラ側では動きを見る必要はない。そのた
め、確実かつレスポンスの早い検知が可能となる。

【００３９】次に、車載センサをステレオカメラとした
場合の例を説明する。通常、路上や車載カメラを用いた
画像処理では、横断歩道やレーンマーカなどの路上の白
線は、検知計測が比較的安定して検出される。このこと
から、地上側の監視カメラと車載ステレオカメラにおけ
る歩行者検知を横断歩道の横線（図９の「手前の線」と
「奥の線」）からの相対位置として観測することで、よ
り確実な歩行者の位置検知を行うことが出来る。地上側
の監視カメラにおける歩行者の検知の有無は前述の図９
の方法でよい。ただし、この歩行者の位置は、横断歩道
からの位置関係として求める。例えば、図９（ａ）であ
れば、「横断歩道の手前の線と奥の線をａ：ｂに内分す
る点を始点とし、横断歩道の両脇の２本の線に平行なベ
クトル」のように横断歩道の相対位置として歩行者の移
動のベクトルを求める。

【００４０】車載ステレオカメラでは、まず、路面の横
断歩道の２本の横エッジを検出する。車載ステレオカメ
ラから横断歩道までの距離は、図７の原理により算出で
きる。ここで、車載ステレオカメラ画像上における横断
歩道の横エッジ検出は、Ｈｏｕｇｈ変換などによる水平
エッジで検出できる。また、路上の横断歩道の有無はナ
ビゲーションシステム（ＧＰＳを利用した周知の装置）
から知ることができる。この情報を利用して、ナビゲー
ションシステムから横断歩道付近を通過すると伝えられ
たときだけ、この横エッジを検出する構成とすること
で、路面の他の表示や汚れとの誤検出を防ぐことができ
る。

【００４１】車載ステレオカメラにおいて、横断歩道を
検出した後は、監視カメラで検知した歩行者の移動を横
断歩道の横エッジからの相対位置ベクトルとして変換
し、車載ステレオカメラにおいて、何ｍ先のどの位置に
歩行者が観測されるかを幾何学的に計算しておく。移動
のベクトルは、横断歩道の両脇の２本の線をａ：ｂに内
分する位置からその線に平行に移動すると求められてい
るので、この位置と移動方向に基づいて、車載ステレオ
画像処理で検出される歩行者までの距離と歩行者が現れ
る画像上の位置を求める。例えば、図１２に示すよう
に、横断歩道手前のエッジが３ｍ、奥のエッジが５ｍ先
に計測され、監視カメラ９上での歩行者１３の検出位置
が、ａ：ｂ＝１：３である場合、車載ステレオカメラ２
５から歩行者１３までの距離は３.５ｍとなる。このこ
とから、図１２のように、画像の端の領域において、距
離が３.５ｍと観測される物体の有無を監視するだけ
で、横断しようとする歩行者の検知が可能となる。

【００４２】図１２の場合において、歩行者１３が横断
をやめた場合、車載ステレオカメラ２５の画角の右端に
は、８ｍ先の電柱が検出される。しかし、これは、横断
歩道までの距離とは異なる位置にあることは容易に判断
できるため、監視カメラ９で観測中の歩行者１３とは異
なる物体であると判断できる。つまり、このような判断
により、車両側では歩行者の動きを判断することなく、
車載ステレオカメラ２５の画角に入った瞬間に歩行者検
知が可能となるため、車両側においてレスポンスの良い
歩行者検知が可能となる。

【００４３】次に、車載ステレオカメラにおいて歩行者
の動きを再確認する例を説明する。車載ステレオカメラ
において、画角の端の部分だけで歩行者の検知が可能と
なることは前に説明した。これは車載ステレオカメラに
おける歩行者検知のレスポンス向上に非常に役に立つ。
しかし、画角端で検知した歩行者が横断歩道の横断を止
めた場合は、ブレーキや警報の信号を出力する必要がな
い場合もある。このように、自車の妨げになる動きをす
る歩行者の検知をより確実に行うことが必要となる場合
がある。このような場合には車載ステレオカメラ上でも
歩行者の移動の検知を行うことで、より確実な検出が可
能となる。すなわち、車載ステレオカメラの画角端にお
いて歩行者として検知された物体が、地上側の監視カメ
ラで検知した物体と同じ移動ベクトル上を時間的に連続
して移動するか否かを、車載ステレオカメラ上で検知す
ることにより、さらに確実に歩行者の動きを判断するこ
とができる。

【００４４】また、通常、車載ステレオカメラ上で動き
を検知する場合、画角の端がベクトルの始点となるた
め、１回の測定誤差がベクトルの算出に大きく影響す
る。しかし、ここでは、地上側の監視カメラにおいて、
車載ステレオカメラの画角に入る前から求めたベクトル
があるため、補間や最小二乗誤差などによる補正も可能
であり、さらに、予め求めたベクトルにより動く方向が
予測できるため検出範囲の限定も可能である。ここで、
車載ステレオカメラで検出した物体の移動の認識は、歩
行者と同じ距離に検出される物体の追従処理でよい。こ
のことから、画像のノイズや、距離画像算出時のミスマ
ッチングなどの影響を排除し、より確実な歩行者検知が
可能となる。

【００４５】以上説明してきたように、本発明の第１の
構成においては、地上側の監視カメラで検知した歩行者
の位置と移動方向に相当する物体を車載センサで検知す
る構成とした。従来は、車載センサ上で検知した物体の
動きを車載センサを用いて観測するので、車載センサの
検知角に入った時点をベクトルの始点とし、そこから数
回時間的に連続して検知した結果からベクトルの方向を
検出する必要があった。そのため、検知のレスポンスが
遅いことが問題となる。しかし、この発明では、歩行者
のベクトルは予め地上側の監視カメラで求めておき、車
載センサの検知角の端の部分では、監視カメラで検知し
た歩行者のベクトルの上に乗る位置に物体が検知される
か否かを判断するだけとする。これにより、検知角に入
った時点で歩行者を判断することが可能となり、特に、
車載センサの検知角の端から中心にかけて動く歩行者な
どの飛び出し検知のレスポンスが向上する。

【００４６】また、本発明の第２の構成においては、地
上側の監視カメラで検知した歩行者の位置を路上の静止
物標との相対位置として車載センサに伝える構成とし
た。これにより、監視カメラと車載カメラの位置関係の
計測を不必要とし、歩行者の検知位置を高精度に伝える
ことを可能とした。また、車載センサ上での歩行者検知
処理を、車載センサで検知した物標との相対位置関係で
検知可能としたことにより、検知範囲の限定ができるの
で検知が容易かつ確実になる。

【００４７】また、本発明の第３の構成においては、車
載センサをステレオカメラとした構成において、地上側
の監視カメラで検知した歩行者を車両側で検知する際
に、画像処理で検知が比較的簡単かつ確実である横断歩
道の２本の横線からの相対位置を利用する構成とした。
これにより、監視カメラと車載カメラで検知した歩行者
の照合がより簡単かつ確実となり、さらに、横断歩道の
相対位置から歩行者の検知位置を限定できるので、処理
速度の向上および他の物体との誤検知の低減も可能とな
る。

【００４８】また、本発明の第４の構成においては、上
記第２の構成で検知した歩行者の動きを車載ステレオカ
メラ上においても再度求める構成とした。これにより、
車載カメラの検知角に入った瞬間から、監視カメラで検
知した歩行者と同一であることをより確実に照合し、さ
らに、その歩行者が、車載カメラの検知角内に入った後
も、進行をしつづけることを確認することも可能とし
た。これにより、歩行者検知が確実になり、かつ、その
歩行者が監視カメラから外れたあとも、さらに自車の妨
げになる位置に来るか否かの判断も可能となる。

【図面の簡単な説明】

【図１】本発明の全体の概略構成を示すブロック図。

【図２】交差点における歩行者の検知状況を示す交差点
付近の上面図。

【図３】横断歩道を横断中の歩行者を車両から見た図。

【図４】監視カメラ９と路上に物標１２が設置されてい
る道路を、車載センサ８を搭載した車両７が走行する様
子を示した上面図。

【図５】（ａ）は監視カメラ９で撮像した画像の様子を
示す図、（ｂ）は車載センサで撮像した画像の様子を示
す図。

【図６】車載センサをステレオカメラとした場合の状況
を示す図であり、（ａ）は交差点付近の上面図、（ｂ）
はステレオ画像間の視差計算により、画像内に撮像され
る各物体までの距離を求めた結果を画像中に示した図。

【図７】ステレオ画像における距離の関係を示す図。

【図８】画像上で検知した横断歩道の横エッジの位置を
用いた、カメラから横断歩道までの距離の求め方を説明
する図。

【図９】監視カメラ９で撮像した様子を示す図であり、
（ａ）は歩行者が存在する場合、（ｂ）は歩行者が存在
しない場合の画像。

【図１０】画像座標から実空間座標に変換する方法を説
明するための図であり、（ａ）は垂直方向、（ｂ）は水
平方向。

【図１１】スキャニングレーザレーダによる物体検知例
を示す上面図。

【図１２】車載ステレオカメラで検出する場合の上面図
と距離画像。

【符号の説明】

１…地上側監視カメラ ２…地上側演算
装置 ３…地上側通信装置 ４…車載センサ ５…車載通信装置 ６…車載演算装
置 ７…自車両 ８…車載センサ ９…地上側の監視カメラ １０…横断歩道 １１…電柱 １２…物標 １３…歩行者 １４、１５…電
柱 １６…歩行者 １７…電柱 １８…樹木 １９…横断歩道 ２０…検知物体 ２１…右レンズ ２２…左レンズ ２３…右画像 ２４…左画像 ２５…車載ステ
レオカメラ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5H180 AA21 CC04 LL01 LL07 LL08 LL09 5J084 AA02 AA04 AB07 AC02 AD05 CA65 EA04 EA22 5L096 BA02 BA04 CA02 CA05 CA27 DA03 FA66 HA03 HA04 9A001 BB02 BB04 CC05 GG01 GG04 HH23 JJ77 KK37

Claims (4)

【特許請求の範囲】
1. 【請求項１】地上側に設置され、道路上を撮像する地上
   側撮像手段と、 前記地上側撮像手段で撮像した画像から路上の歩行者の
   位置と移動方向を検出する地上側歩行者認識手段と、 前記地上側撮像手段の設置位置のデータと前記地上側歩
   行者認識手段のデータとを車両へ送信する地上側通信手
   段と、 車両に搭載され、車両前方の物体の有無と物体までの距
   離とを検知する車載センサと、 前記地上側送信手段からのデータを受信する車両側通信
   手段と、 受信したデータに基づいて、前記地上側撮像手段と前記
   車載センサとの位置関係を求め、前記地上側歩行者認識
   手段で検知した歩行者の位置と移動方向および前記地上
   側撮像手段と前記車載センサとの位置関係に基づいて、
   前記車載センサの検知結果において地上側で検知した歩
   行者に相当する物体を車両側で歩行者として認識する車
   両側歩行者認識手段と、 を備えたことを特徴とする歩行者検知装置。
2. 【請求項２】地上側に設置され、道路上を撮像する地上
   側撮像手段と、 前記地上側撮像手段で撮像した画像から、既知の路上の
   静止物標からの相対位置として路上の歩行者の位置と移
   動方向を検出する地上側歩行者認識手段と、 前記地上側歩行者認識手段のデータを車両へ送信する地
   上側通信手段と、 車両に搭載され、車両前方の物体の有無と物体までの距
   離とを検知する車載センサと、 前記地上側送信手段からのデータを受信する車両側通信
   手段と、 前記車載センサの検知結果から前記既知の静止物標を検
   出し、かつ、前記地上側歩行者認識手段で既知の路上の
   静止物標からの相対位置として検知した歩行者の位置と
   移動方向に基づいて、前記車載センサの検知結果におい
   て地上側で検知した歩行者に相当する物体を車両側で歩
   行者として認識する車両側歩行者認識手段と、 を備えたことを特徴とする歩行者検知装置。
3. 【請求項３】前記車載センサはステレオカメラであり、
   前記既知の路上の静止物標は横断歩道であり、前記地上
   側歩行者認識手段は横断歩道に対する相対位置として歩
   行者の位置と移動方向を検出し、 前記車両側歩行者認識手段は、前記横断歩道の位置を検
   出し、地上側から送られたデータに基づいて、前記横断
   歩道からの相対位置が前記地上側で検出した歩行者と同
   じ位置に存在する物体を歩行者として認識するように構
   成したことを特徴とする請求項２に記載の歩行者検知装
   置。
4. 【請求項４】車両側で検出した歩行者の位置と移動方向
   が、地上側で認識した歩行者の位置と移動方向に継続し
   て一致することを確認する手段を備えたことを特徴とす
   る請求項１乃至請求項３の何れかに記載の歩行者検知装
   置。