JP2013210988A - 飛び出し検出装置 - Google Patents

Abstract

【課題】死角から出現する物体をいち早く検出することが可能な飛び出し検出装置を提供する。
【解決手段】カメラ１０１で撮像した画像から特徴点を抽出する特徴点抽出部１０３と、特徴点を表す画素の、画像上の移動速度及び移動方向を移動速度情報として算出する移動速度情報算出部１０４と、移動速度情報に基づいて物体を検出する物体検出部１０５と、物体の位置情報及び移動速度情報を時系列的に蓄積する物体情報蓄積部１０６とを有する。更に、物体情報蓄積部１０６に蓄積された位置情報、及び移動速度情報に基づいて、死角領域を検出する死角検出部１０７と、死角領域に隣接する所定領域を注目領域として設定する注目領域設定部１０８と、注目領域内にて、所定の移動速度情報が検出された際に、飛び出しが発生しているものと判定する飛び出し判定部１０９を備える。
【選択図】図１

Description

本発明は、自車両前方に存在する障害物の陰等による死角から車道側に飛び出す物体を検出する飛び出し検出装置に関する。

従来より、車両に搭載されているレーザレーダやミリ波レーダ用いて、車両前方の死角から出現した物体を検出する検出方法が提案されている（例えば、特許文献１参照）。該特許文献１では、車両前方に存在する障害物の陰等の死角をレーザレーダやミリ波レーダを用いて検出し、この死角から出現した物体が存在する場合には、物体の存在の確からしさを示す確信度を通常よりも増加させ、検出から認識までの時間を短くすることにより、車道側の飛び出す物体をいち早く検出することが開示されている。

特開２０１１−１１６２１８号公報

しかしながら、上述した特許文献１に開示された飛び出し歩行者の検出方法では、死角から物体が出現し、物体が存在するか否かの確からしさを演算する際に、物体のトラッキングが必要となる。また、レーザレーダやミリ波で死角から出現する物体を検出する場合には、物体が死角から完全に出現しなければ、死角と物体の分離は難しい。このため、死角と物体が分離した後に、物体のトラッキングを開始すると、トラッキングに長時間を要してしまい、飛び出しが発生しているか否かの判定が遅れてしまい、ひいては自車両と物体との異常接近を回避できなくなるという問題が発生していた。

本発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、死角から出現する物体をいち早く検出することが可能な飛び出し検出装置を提供することにある。

上記目的を達成するため、本願発明は、撮像部で撮像した画像から特徴点を抽出する特徴点抽出部と、特徴点を表す画素の、画像上の移動速度及び移動方向を速度情報として算出する移動速度算出部と、速度情報に基づいて物体を検出する物体検出部と、物体の位置情報及び移動速度情報を時系列的に蓄積する物体情報蓄積部とを有する。更に、物体情報蓄積部に蓄積された位置情報、及び移動速度情報に基づいて、死角領域を検出する死角検出部と、死角領域に隣接する所定領域を飛び出し領域として設定する領域設定部と、注目領域内にて、所定の移動速度情報が検出された際に、飛び出しが発生しているものと判定する飛び出し判定部とを備える。

本発明に係る飛び出し検出装置では、物体検出部で検出した物体の位置及び移動速度情報を物体情報蓄積部に蓄積することにより、現在の物体検出状況と過去の物体の検出状況を照らし合わせることで死角領域を即時に検出でき、更に、この死角領域に隣接した飛び出し検出領域を設定することで、死角となる領域からの背景と異なる移動情報を瞬時に判断することが可能となり、飛び出し物体の検出速度を速めることができる。

本発明の第１実施形態に係る飛び出し検出装置の構成を示すブロック図である。 本発明の実施形態に係る飛び出し検出装置の、カメラを車両に搭載する場合の説明図である。 本発明の実施形態に係る飛び出し検出装置の、カメラで撮像した画像の具体例を示す説明図である。 抽出したエッジを正規化して、エッジ画像を得るために行う各処理の具体例を示す説明図である。 本発明の第１実施形態に係り、水平及び垂直方向の速度画像の具体例を示す説明図である。 本発明の第１実施形態に係り、水平方向の移動速度情報から物体を抽出し、垂直方向の速度画像から物体の境界位置を検出し、水平方向で検出した物体の下端位置を更新する場合の具体例を示す説明図である。 本発明の第１実施形態に係り、速度画像を格子状に分割し、各領域に物体が存在した場合にその移動速度情報を保存し、物体情報を蓄積する場合の具体例を示す説明図である。 本発明の第１実施形態に係り、物体蓄積情報を参照し、死角を検出する場合の具体例を示す説明図である。 本発明の第１実施形態に係り、死角の周辺領域に注目領域を設定し、注目領域内で死角の移動速度情報と異なる移動情報が検出されれば飛び出しと判定する場合の具体例を示す説明図である。 本発明の第１実施形態に係る飛び出し検出装置の処理動作を示すフローチャートである。 本発明の第２実施形態に係る飛び出し検出装置の構成を示すブロック図である。 本発明の第２実施形態に係り、水平及び垂直方向の速度画像の具体例を示す説明図である。 本発明の第２実施形態に係り、水平方向の移動速度情報から物体を抽出し、垂直方向の速度画像から物体の境界位置を検出し、水平方向で検出した物体の下端位置を更新する場合の具体例を示す説明図である。 本発明の第２実施形態に係り、速度画像を格子状に分割し、各領域に物体が存在すれば、移動速度情報を保存し、物体情報を蓄積する場合の具体例を示す説明図である。 本発明の第２実施形態に係り、物体蓄積情報を参照し、死角を検出する場合の具体例を示す説明図である。 本発明の第２実施形態に係る飛び出し検出装置の処理動作を示すフローチャートである。 本発明の第２実施形態に係る飛び出し検出装置で求められる死角領域を示す説明図である。 本発明の第２実施形態に係る飛び出し検出装置に係り、各画素の投票値の変化を示す説明図である。

以下、本発明の実施形態を図面に基づいて説明する。

［第１実施形態の説明］
図１は、本発明の第１実施形態に係る飛び出し検出装置の構成を示すブロック図である。図１に示すように、第１実施形態に係る飛び出し検出装置１０は、車両に搭載されて車両前方を撮像するカメラ（撮像部）１０１と、総括的な制御を行う制御部１００を備えている。

制御部１００は、カメラ１０１で撮像した画像を一時的に記録する画像一時記録部１０２と、画像一時記録部１０２に記憶された画像を画像処理することで特徴点を抽出する特徴点抽出部１０３と、特徴点抽出部１０３により抽出された特徴点の画像上における速度及び方向を移動速度情報として算出する移動速度情報算出部１０４と、移動速度情報算出部１０４により算出された移動速度情報に基づいて物体を検出する物体検出部１０５と、検出した物体情報の位置情報及び移動速度情報を過去から現在まで蓄積する物体情報蓄積部１０６と、蓄積した位置情報及び移動速度情報に基づいて死角領域を検出する死角検出部１０７と、死角領域に隣接して所定の場所に注目領域（飛び出し検出領域）を設定する注目領域設定部（領域設定部）１０８と、注目領域内に死角の移動速度情報と異なる移動速度情報が検出された際に飛び出しと判定する飛び出し判定部１０９と、を備えている。

なお、制御部１００は、例えば、中央演算ユニット（ＣＰＵ）や、ＲＡＭ、ＲＯＭ、ハードディスク等の記憶手段からなる一体型のコンピュータとして構成することができる。

カメラ１０１は、例えばＣＣＤやＣＭＯＳなどの撮像素子を有したカメラであり、連続的に車両前方を撮像してフレーム毎に撮像した画像を画像一時記録部１０２に出力する。カメラ１０１で撮像された画像は、画像一時記録部１０２に一時的に記録される。

図２は、車両に搭載されるカメラ１０１を示す説明図であり、（ａ）は側面図、（ｂ）は平面図を示している。図２に示すように、カメラ１０１は車両の室内上部前方中央に設置され、その光軸ＬＳは車両前方正面方向（Ｚ方向）に向き、撮像面の水平軸Ｘ（図示省略）は路面と平行となるように設定されている。また、撮像面の垂直軸Ｙ（図示省略）は路面と垂直になるように設定されている。

図３は、カメラ１０１で撮像した画像（自車両前方の画像）の例を示す説明図である。カメラ１０１による撮像画像は、画像左上を原点として左から右へｘ軸、上から下へｙ軸とするｘ−ｙ座標系によって表される。なお、図３においては、駐車車両、外壁などの走路の境界線と、左から右へ移動する飛び出し歩行者が撮像画像に含まれている。

図１に示す特徴点抽出部１０３は、カメラ１０１で撮像された画像を画像一時記録部１０２から読み込み、読み込んだ画像を所定の閾値を用いて２値化することによって、画像内に存在する物体のエッジを抽出する。

例えば、特徴点抽出部１０３は、垂直方向のエッジを抽出し（後述する図４（ａ）参照）、次に、抽出した各エッジに対して、細線化処理を行ってエッジ幅を絞り、エッジの中心を正確に設定する（図４（ｂ）参照）。更に、細線化されたエッジのエッジ幅が一定の幅となるように（例えば３画素分の幅となるように）、エッジを水平方向に拡張する（図４（ｃ）参照）。この操作により、抽出したエッジが正規化され、各エッジが均一の幅を持つエッジ画像を得ることができる。同様に、水平方向のエッジを抽出し、抽出した各エッジに対して細線化処理を行い、エッジ幅が均一となるように正規化を行う。

移動速度情報算出部１０４は、まず、水平方向のエッジに該当する画素の画素カウンタの投票値（カウンタでカウントされる数値）を更新する。ここで、画素カウンタとは、各画素毎に設定されたカウンタであり、画素がエッジに該当する場合に画素カウンタの投票値に「１」を加算し、画素がエッジに該当しない場合は投票値が「０」となって初期化されるカウンタである。この投票値の更新処理を、カメラ１０１で連続的に撮像されるフレーム（時系列的に取得される複数の画像）毎に行う。この操作により、エッジに該当する時間が長い画素は画素カウンタの投票値が大きくなり、エッジに該当する時間が短い画素は投票値が小さくなる。

この投票値の変化は、エッジの移動方向と移動量を表していることになるため、この投票値に基づいて、撮像画像上におけるエッジの移動方向と移動速度とを算出することができる。以下、詳細に説明する。

図４は、抽出したエッジを正規化して、エッジ画像を得るために行う処理の具体例を示す図である。まず、エッジ画像に対して２値化処理を行う。２値化処理とはエッジの検出された位置の画素を「１」とし、エッジの検出されなかった位置の画素を「０」とする処理である。２値化処理によって図４（ａ）に示すような２値化画像を生成する。

次に、生成された２値化画像に対して、細線化処理を行う。細線化処理とは、検出されたエッジのエッジ幅を所定画素幅になるまで縮小する処理である。図４（ｂ）では所定画素幅として１画素になるまでエッジのエッジ幅を細線化している。そして、このようにエッジを所定の画素幅になるまで細線化することによって、エッジの中心となる中心位置を設定している。ここでは、一例として１画素に細線化する場合について説明しているが、その他の画素数に細線化してもよい。

次に、細線化されたエッジのエッジ幅を膨張させる膨張処理を行う。膨張処理とは、細線化によって設定された中心位置からエッジの移動方向に向かってエッジ幅を膨張させると共に、中心位置からエッジの移動方向の反対方向についても同様にエッジ幅を膨張させる処理である。

例えば、図４（ｃ）では、エッジの中心位置ｘ０からエッジの移動方向（ｘ軸の正方向）に１画素膨張させると共に、エッジの中心位置ｘ０からエッジの移動方向と反対方向（ｘ軸の負方向）に１画素膨張させて、エッジ幅を３画素に膨張させている。

このように細線化処理と膨張処理とを行うことによって、抽出したエッジ画像のエッジ幅を、エッジの移動方向に向かって所定の幅に統一して規格化している。

次に、エッジ幅が規格化されたエッジに対してカウントアップ処理を行う。カウントアップ処理とは、エッジが検出された位置のメモリアドレスの値をカウントアップし、エッジが検出されなかった位置のメモリアドレスの値を初期化する処理である。

以下、図４（ｃ）〜（ｆ）を参照して、エッジのカウントアップ処理について説明する。ここでは簡単のために、エッジはｘ軸の正方向に移動するものとして説明する。なお、エッジはｘ軸の負方向やｙ軸方向、或いは２次元的に移動する場合も同様に説明することができる。

図４（ｃ）に示すように、エッジはあるフレームにおいて位置ｘ０にエッジの中心位置があり、その中心位置からエッジの移動方向に１画素の位置ｘ０＋１と、中心位置からエッジの移動方向と反対方向に１画素の位置ｘ０−１に膨張されている。

このような場合にエッジが検出された位置ｘ０−１、ｘ０、ｘ０＋１の投票値が１ずつカウントアップされ、エッジが検出されなかった位置の投票値がリセットされる。例えば、図４（ｄ）では、時刻ｔにおいて位置ｘ０−１、ｘ０、ｘ０＋１にエッジが検出されているので、それぞれの位置で投票値が１ずつカウントアップされて、位置ｘ０＋１の投票値が「１」、位置ｘ０の投票値が「３」、位置ｘ０−１の投票値が「５」になっている。

そして、図４（ｅ）に示すように時刻ｔ＋１でもエッジが移動していないので、位置ｘ０−１、ｘ０、ｘ０＋１の各位置でエッジが検出され、位置ｘ０−１、ｘ０、ｘ０＋１の投票値を更に１ずつカウントアップして、位置ｘ０−１の投票値を「６」、位置ｘ０の投票値を「４」、位置ｘ０＋１の投票値を「２」としている。

更に、図４（ｆ）に示すように時刻ｔ＋２では、エッジがｘ軸の正方向に１画素シフトして位置ｘ０、ｘ０＋１、ｘ０＋２の位置でエッジが検出されている。

従って、エッジが検出された位置ｘ０、ｘ０＋１、ｘ０＋２の投票値がカウントアップされ、エッジが検出されなかった位置ｘ０−１の投票値がリセットされる。その結果、図４（ｆ）に示すように位置ｘ０＋２の投票値が「１」、位置ｘ０＋１の投票値が「３」、位置ｘ０の投票値が「５」となっている。更に、エッジが検出されなかった位置ｘ０−１の投票値はリセットされて「０」になっている。

このように、エッジが検出された位置の投票値をカウントアップし、エッジの検出されなかった位置の投票値をリセットしている。

なお、図４に示す例では、投票値を検出する位置を、エッジの中心位置（ｘ０）と、この中心位置からエッジの移動方向へ１画素の位置（ｘ０＋１）と、中心位置からエッジの移動方向と反対方向に１画素の位置（ｘ０−１）と、の３箇所としたが、投票値の傾きを求めることができれば、３箇所に限定されない。

また、エッジが移動する速度に比べて、フレームレートが十分に高く設定されていれば、連続するフレーム間において、エッジは同じ位置で複数回検出される。例えば、図４の例では、位置ｘ０において時刻ｔと時刻ｔ＋１の２回エッジが検出されている。従って、エッジが検出された位置の投票値をカウントアップしていくと、その投票値はその位置においてエッジが検出されている時間（フレーム数）と等しくなる。特にエッジの投票値の中で最小のカウント値ｈは、エッジが移動してから何フレームの間、同じ位置にあるかということを表している。

次に、エッジの移動速度、移動方向及び位置を算出する。まず、投票値の移動方向への傾きを算出し、この傾きに基づいて、エッジの移動方向、移動速度および位置を算出する。

例えば、図４（ｅ）の場合では、位置ｘ０−１、ｘ０、ｘ０＋１の投票値がそれぞれ「６」、「４」、「２」となっている。従って、位置ｘ０−１の投票値である「６」からｘ０＋１の投票値である「２」を減じることによって、投票値の傾きをＨ＝（６−２）／２＝２として算出することができる。これにより、下記（１）式が成立する。

Ｈ＝｛（エッジが位置ｘ０−１に移動してから現在までの時間）
−（エッジが位置ｘ０＋１に移動してしまった後の時間）｝
／（２画素） …（１）
（１）式により、エッジが位置ｘ０のある１画素を通過するのに要した時間（フレーム数）を算出したことになる。従って、投票値の傾きＨはエッジが１画素移動するために何フレームを要したかを求めることになり、この投票値の傾きＨに基づいてエッジの移動速度１／Ｈを算出することができる。

図４（ｅ）では１画素移動するのに２フレームを要したことになるので、エッジの移動速度は１／２（画素／フレーム）と算出することができる。また、エッジの移動方向は、投票値の大小によって判断することができる。エッジが移動して新たにエッジが検出された位置の投票値は「１」であり、各位置の投票値の中では最も小さな値となる。

従って、エッジが移動する方向の投票値は小さく（例えば、図４（ｆ）の位置ｘ０＋２はカウント値が小さい）、エッジが移動する方向と反対方向の投票値は大きくなるので（例えば、図４（ｆ）の位置ｘ０はカウント値が大きい）、これによってエッジの移動方向を判断することができる。即ち、図４（ｄ）〜（ｆ）の例では、左から右方向に移動しているものと判断できる。

また、現在の位置における投票値の中で最小の投票値ｈは、エッジがその位置で検出されている時間、即ち、エッジが移動してから何フレームの間、同じ位置にあるかということを表している。

これらのことにより、エッジの位置は、エッジの中心位置をｘ０とすると、下記（２）式により求めることができる。

（エッジの位置）＝ｘ０＋ｈ／Ｈ …（２）
例えば、図４（ｆ）では、エッジの速度は１／２（画素／フレーム）で、時刻ｔ＋２の時点では１フレーム連続して同じ位置でエッジが検出されているので、時刻ｔ＋２のエッジの位置は、「１（フレーム）×｛１／２（画素／フレーム）｝＝０．５画素」だけ位置ｘ０から移動していると算出することができる。

以上のことから、エッジが検出された位置の投票値をカウントアップし、カウントアップされた投票値の傾きに基づいてエッジの移動速度及び方向を算出するができる。更に、垂直方向のエッジに対しても、図４（ａ）〜（ｆ）の処理を実施し、エッジの移動速度及び方向を算出することができる。

そして、撮影した画像に対し、上記の処理を加えることにより、画像中に存在する物体の移動速度成分を生成する。詳細には、所定の階級値で表した水平方向の速度画像、及び垂直方向の速度画像を生成する。

本実施形態では、水平方向の速度画像として、図５（ａ）に示すように、速度成分の階級値として、速度が検出された画素を丸印で示し、且つ、移動速度が速い画素ほどその大きさを大きくして示している。

また、右へ向かう速度を黒丸で示し、且つ、左へ向かう速度を白丸で示すことによって移動方向を示している。即ち、図５（ａ）においては、自車両の走行路右側の外壁からは画像の右側へ向かう速度が検出されており、走行路左側の外壁及び駐車車両からは画像の左側へ向かう速度が検出されている。

更に、図５（ａ）には、走行路左側から右側へ飛び出そうとしている歩行者が示されており、該歩行者の脚部は右側へ向かう速度が検出されている。この歩行者は、自車両に異常接近する可能性がある歩行者である。

また、本実施形態における垂直方向の速度画像では、図５（ｂ）に示すように、水平方向の速度画像と同様に、速度成分の階級値として、速度が検出された画素を丸印で示し、移動速度が速い画素ほどその大きさを大きく示している。また、上へ向かう速度を白丸で表し、下へ向かう速度を黒丸で示すことによって移動方向を示している。即ち、駐車車両等の静止物体の上端は、上に向かう速度が検出され、静止物体の下端は下に向かう速度が検出されている。

次に、図１に示す物体検出部１０５は、カメラ１０１にて時系列的に撮像された画像に基づいて、死角となる障害物、及び飛び出し対象となる物体を検出する。物体であれば、画像をある大きさの領域に区分した際に、水平方向の移動速度が同一となる領域が垂直方向に向けて連続的に存在するはずである。従って、図６（ａ）に示すように画像下部から上部に順に走査し、各領域毎の移動速度情報（移動速度情報算出部１０４で求めた情報）を比較することで物体を検出する。具体的には、一つめの領域の移動速度を検出し、更に、その上部の領域の移動速度を検出し、両者の移動速度が同一であれば更にその上部の移動速度を検出するという処理を繰り返すことにより、物体を検出する。図６（ａ）に示す例では、ＯＢ１（ｔ）〜ＯＢ６（ｔ）の物体が検出されている。

また、垂直方向の移動速度においては、物体の上端及び下端位置において、他の領域に対する相対的な移動速度が存在するため、図６（ｂ）に示すように、画像下部から上部に走査し、移動速度情報を比較することで、移動速度情報が存在しない領域から移動速度情報が存在する領域へ変化する境界を検出する。図６（ｂ）に示す例では、例えばＯＢ１（ｔ）の上端の白点、及び下端の黒点が境界として検出される。そして、検出した境界から、水平方向の走査で検出した速度画像を上部に向けて走査し、所定範囲内に物体が存在すれば、同一物体として、物体の下端位置を垂直方向の速度画像で検出した境界位置へ更新する。本実施形態では、ＯＢ１（ｔ）、ＯＢ２（ｔ）、ＯＢ４（ｔ）の下端位置を更新している。

図１に示す物体情報蓄積部１０６は、検出した物体の位置情報と移動速度情報を蓄積する。本実施形態では、図７に示すように速度画像を所定間隔で格子状に分割し、当該領域に物体が存在すれば移動速度情報を保存する。

死角検出部１０７は、蓄積した位置情報と移動速度情報に基づいて、現在物体が存在している領域に対して、過去に現在の移動速度情報に近い移動速度情報が存在すれば、死角候補領域として抽出する。本実施形態では、図８に示すようにＯＢ２（ｔ）、ＯＢ３（ｔ）を含む領域を死角候補領域として抽出する。即ち、カメラ１０１で撮像された画像が、図８（ａ）から時間が経過して図８（ｂ）のように変化した場合には、ＯＢ２（ｔ）は現在の移動速度情報に近い移動情報が過去に存在しているので、死角候補領域として抽出する。ＯＢ３（ｔ）についても同様である。

更に、抽出した死角候補領域に隣接し、現在において死角候補領域に近い移動速度情報を持つ物体が存在しない領域（図８（ｂ）の符号Ｐの領域）に対して、過去に死角候補領域に近い移動速度情報が存在すれば、死角領域として検出する。本実施形態では、図８に示すように、ＯＢ２（ｔ）、ＯＢ３（ｔ）を含む領域を死角領域として検出する。即ち、ＯＢ１（ｔ）、ＯＢ２（ｔ）を含む領域を死角候補領域から死角領域に変更する。

注目領域設定部１０８は、検出した死角領域に隣接して所定の場所に注目領域を設定する。本実施形態では、図９に示すようにＯＢ２（ｔ）、ＯＢ３（ｔ）を含む死角領域の右側に隣接する注目領域（飛び出し検出領域）を設定する。注目領域は、上部、中部、下部と複数に分割して設定する。

飛び出し判定部１０９は、注目領域内に、隣接する死角領域の移動速度情報と異なる移動速度情報が存在するか否かを判定する。そして、分割した下部領域内に所定の移動速度情報が検出すれば、飛び出しと判定する。上部または中部の領域内に所定の移動速度情報が存在すれば、飛び出し注意（飛び出しの可能性有り）と判定し、判定処理を継続する。図９に示す例では、下部領域に死角領域と異なる移動速度情報（図中黒丸で示す移動速度情報）が検出されているので飛び出しと判定する。

次に、上記のように構成された本実施形態に係る飛び出し検出装置１０の処理動作を、図１０に示すフローチャートを参照して説明する。

図１０に示す処理は、図示省略のイグニッションスイッチがオンされると、制御部１００によって起動されるプログラムとして実行される。ステップＳ１０１では、カメラ１０１で撮像され画像一時記録部１０２に記録された自車両前方の画像が所定の周期で特徴点抽出部１０３に出力される。この後に、フローはステップＳ１０２へ移行する。

ステップＳ１０２では、特徴点抽出部１０３が、画像一時記録部に記録された撮像された画像に対してエッジ抽出処理を行って、撮像画像内に存在する物体の輪郭を抽出した水平方向及び垂直方向エッジ画像を生成する。この後に、フローはステップＳ１０３へ移行する。

ステップＳ１０３では、上述したように画像の画素に含まれるエッジの移動速度情報を算出し、算出した移動速度情報を所定の階調値に変換した水平方向の速度画像及び垂直方向の速度画像を算出する。この後に、フローはステップＳ１０４へ移行する。

ステップＳ１０４では、算出した水平方向の速度画像に対して、画像下部から画像上部に順に走査し、移動速度情報を比較し、垂直方向に連続して同じ移動速度情報が存在する領域を物体として抽出する。この後に、フローはステップＳ１０５に移行する。

ステップＳ１０５では、算出した垂直方向の速度画像に対して、画像下部から画像上部に順に走査し、移動速度情報を比較し、移動速度情報が存在しない領域から移動速度情報が存在する領域へ変化する境界を検出する。この後に、フローはステップＳ１０６に移行する。

ステップＳ１０６では、ステップＳ１０５で検出した垂直方向の移動速度情報を基に算出した境界位置から、水平方向の速度画像を上部に走査し、所定範囲内に物体が存在すれば、物体の下端位置を垂直方向の速度画像で検出した境界位置に更新する。この後に、フローはステップＳ１０７に移行する。

ステップＳ１０７では、速度画像を所定間隔で格子状に分割し、当該領域にステップＳ１０４で検出した物体が存在すれば、移動速度情報を保存する。その後、フローはステップＳ１０８へ移行する。

ステップＳ１０８では、ステップＳ１０７で蓄積した位置情報と移動速度情報に基づき、現在の移動速度情報に近い移動速度情報が過去に検出されたか否かを判定し、過去から現在に同様な移動速度情報が検出された領域を死角候補領域として抽出する。この後、フローはステップＳ１０９へ移行する。

ステップＳ１０９では、ステップＳ１０８で抽出した死角領域候補に隣接して、死角候補に近い移動速度情報を持つ物体が存在しない領域に対して、過去に死角候補領域に近い移動速度情報が存在すれば、死角領域として検出する。この後、フローはステップＳ１１０へ移行する。

ステップＳ１１０では、ステップＳ１０９で検出した死角領域に隣接して所定の場所に注目領域を設定する。注目領域は垂直方向に上部、中部、下部に分割して設定する。この後、フローはステップＳ１１１へ移行する。

ステップＳ１１１では、ステップＳ１１０で設定した注目領域の下部に死角領域と異なる移動速度情報が存在するか否かを判定し存在すれば、ステップＳ１１２に移行し、存在しなければ、ステップＳ１１３へ移行する。

ステップＳ１１２では、ステップＳ１１１で死角と異なる移動速度情報が検出されたため、飛び出しと判定する。この後、フローはステップＳ１１５へ移行する。

ステップＳ１１３では、ステップＳ１１０で設定した注目領域の上部または中部に死角領域と異なる移動速度情報が存在するか否かを判定し、存在すれば、ステップＳ１１４に移行し、存在しなければ、ステップＳ１１５へ移行する。

ステップＳ１１４では、ステップＳ１１３で死角と異なる移動速度情報が検出されたため、飛び出し注意と判定する。この後、フローはステップＳ１１５へ移行する。

ステップＳ１１５では、自車両のイグニッションスイッチがオフされたか否かを判断し、オフされないと判断した場合には、ステップＳ１０１へ戻って処理を繰り返す。これに対して、自車両のイグニッションスイッチがオフされたと判断した場合には、処理を終了する。

このようにして、第１実施形態に係る飛び出し検出装置１０では、カメラ１０１で撮像した画像から移動速度情報を算出し、算出した移動速度情報から自車両の前方に存在する物体を検出し、検出した物体の位置情報と移動速度情報を蓄積し、蓄積した位置情報と移動速度情報に基づき死角領域を検出する。更に、検出した死角領域に隣接した所定位置に注目領域を設定し、その領域内に死角領域と異なる移動速度情報が検出された際に飛び出しと判定する。従って、飛び出しの発生を迅速に認識することができる。

飛び出しは、遮蔽物にて死角された領域から急に物体が現れる現象であり、本実施形態ではトラッキングを行うこと無く、飛び出し物体、及び死角を構成する遮蔽物を判定するので、従来と対比して飛び出しが発生したことを迅速に判定することができる。

また、死角検出部１０７は、現在から過去の物体の位置情報、及び移動速度情報を比較することにより死角を検出している。死角は、物体の移動速度情報の連続性が途切れる箇所であり、一方で、連続性が途切れる位置は、自車両の走行に伴って相対的に自車両に接近している。従って、現在における物体の位置情報の、連続性が途切れる位置は、過去に物体が存在した位置であるため、物体の位置情報と移動速度の履歴を参照することにより、死角を構成する物体を検出できる。即ち、物体を個別にトラッキングすることなく、死角の検出が可能となり、ひいては飛び出しの発生を迅速に検出できる。

また、カメラ１０１で撮像された画像に含まれる対象物のエッジ成分を抽出し、このエッジ成分を用いて物体の存在を検出するので、車両前方に存在する物体を高精度に検出することが可能となる。

更に、同一移動速度情報が垂直方向に連続して存在する場合に物体として検出するので、物体の存在を高精度に検出することができる。

また、画像中の垂直方向の移動速度情報に基づき、移動速度情報が変化する境界部を検出し、垂直上方の所定範囲内に、水平方向の移動速度に基づいて検出した物体が存在する場合には、同一物体としてグループ化することにより、物体の検出精度を向上させることができる。

また、蓄積した位置情報及び移動速度情報に基づき、過去に物体が存在し、且つ現在に物体が存在する領域を死角候補領域と抽出し、この抽出した死角候補領域に隣接し、且つ、現在において該死角候補領域と移動速度情報が近い物体が存在しない領域について、過去の位置情報と移動速度情報を参照し、過去において前記死角候補領域に近い移動情報を持つ場合には、この死角候補領域を死角領域として検出するので、死角領域を高精度に検出することができる。

更に、死角領域に隣接し、高さ方向に上部、中部、下部の注目領域を設定するので、注目領域に出現する物体が飛び出しであるのか否かの判定をより高精度に行うことができる。

また、飛び出し判定部１０９は、注目領域を上部、中部、下部に分割し、下部において死角領域と異なる移動速度情報が検出された際には、飛び出しと判定し、上部・中部において死角領域と異なる移動速度情報が検出された際には飛び出し注意と判定することとした。

即ち、歩行者が死角から飛び出す際には、一般的には脚部から先に現れる可能性が高いが、頭部・手などが先に現れることも想定されるため、領域を複数に分けて判定を行う。そして、下部の領域にて死角領域と異なる移動速度検出が検出された場合には、飛び出しと判定し、上部・中部にて死角領域と異なる移動速度が検出された場合には、歩行者が道路側をのぞき込んで安全を確認していることや、道路を横切るために手を挙げている場合も考えられるので、即時に飛び出しと判定せず、飛び出し注意と判定することにより、運転者に注意を喚起する。

また、前記物体検出部１０５は、垂直方向の速度画像から、移動速度情報の有無を参照することで、路面との境界となる物体の下端位置を検出する。水平方向の移動速度情報を基に検出した物体の下端位置は、移動速度が検出し難いため、水平方向の移動速度情報のみでは、実際の下端位置よりも上側に下端が検出されることがある。この構成によれば、垂直方向の移動速度情報により位置を更新することで、物体の下端位置を正確に検出することが可能となり、距離の検出精度も向上させることができる。

［第２実施形態の説明］
次に、本発明の第２実施形態について説明する。図１１は、本発明の第２実施形態に係る飛び出し検出装置１０ａの構成を示すブロック図である。

図１１に示すように、第２実施形態に係る飛び出し検出装置１０ａは、車両に搭載されて車両前方を撮像するカメラ（撮像部）１０１と、総括的な制御を行う制御部１００ａを備えている。

制御部１００ａは、前述した第１実施形態と同様に、カメラ１０１で撮像した画像を一時的に記録する画像一時記録部１０２と、画像一時記録部１０２に記憶された画像を画像処理することで特徴点を抽出する特徴点抽出部１０３と、特徴点抽出部１０３により抽出された特徴点の画像上における速度及び方向を移動速度情報として算出する移動速度情報算出部１０４と、移動速度情報算出部１０４により算出された移動速度情報に基づいて物体を検出する物体検出部１０５と、検出した物体情報の位置情報及び移動速度情報を過去から現在まで蓄積する物体情報蓄積部１０６と、蓄積した位置情報及び移動速度情報に基づいて死角領域を検出する死角検出部１０７と、を備えている。

更に、第２実施形態に係る制御部１００ａでは、死角領域の端部を死角端領域（飛び出し検出領域）として設定する死角端領域設定部（領域設定部）１１０と、設定された死角端領域内にて移動速度情報が発生し、且つこの移動速度情報について投票値（前述した図４参照）が所定の条件を満たした際に、飛び出しが発生したものと判定する死角端飛び出し判定部（飛び出し判定部）１１１と、を備えている。

なお、制御部１００ａは、例えば、中央演算ユニット（ＣＰＵ）や、ＲＡＭ、ＲＯＭ、ハードディスク等の記憶手段からなる一体型のコンピュータとして構成することができる。また、図１１に示す画像一時記録部１０２、特徴点抽出部１０３、移動速度情報算出部１０４、物体検出部１０５、物体情報蓄積部１０６、及び死角検出部１０７については、前述の図１にて示したものと同様であるので、その構成説明を省略する。

第２実施形態に係る移動速度情報算出部１０４は、前述した図３に示した画像が取得された際に、図１２（ａ）に示す水平方向の速度画像を生成する。図１２（ａ）では、速度成分の階級値として、速度が検出された画素を丸型の点で表し、移動速度が速い画素ほど点の大きさを大きく示している。また、画像中で右へ向かう物体を黒点で表し、左へ向かう物体を白点で表すことによって移動方向を表している。

即ち、図１２（ａ）においては、自車両の走行路右側の外壁からは画像の右側へ向かう速度が検出されており、走行路左側の外壁及び駐車車両からは画像の左側へ向かう速度が検出されている。また、走行路左側から右側へ飛び出す歩行者は、自車両と異常接近する可能性があるが、出現直後のため、死角の移動情報の影響を受け、左側へ向かう速度が検出されている。

更に、図１２（ｂ）に示す垂直方向の速度画像を生成する。即ち、図１２（ｂ）に示すように、水平方向の速度画像と同様に、速度成分の階級値として速度が検出された画素を丸印で示し、移動速度が速い画素ほど丸印の大きさを大きく示している。また、上へ向かう速度を白丸で示し、下へ向かう速度を黒点で示すことによって移動方向を示している。つまり、駐車車両の静止物体の上端は、上に向かう速度が検出され、静止物体の下端は下に向かう速度が検出されている。そして、第２実施形態では、図１３（ａ）に示すようにＯＢ１（ｔ）〜ＯＢ６（ｔ）を抽出する。また、垂直方向の移動速度においては、本実施例では、図１３（ｂ）に示すように、ＯＢ１（ｔ）、ＯＢ２（ｔ）、ＯＢ４（ｔ）の下端位置を更新している。

また、第２実施形態では、図１４に示すように物体位置情報を蓄積し、図１５に示すように、ＯＢ２（ｔ）、ＯＢ３（ｔ）を含む領域を死角領域として検出する。

そして、死角端領域設定部１１０は、検出した死角領域の端部を死角端領域として設定する。具体的には、図１７に示すように、ＯＢ２（ｔ）、ＯＢ３（ｔ）を含む死角領域の右側端部となるＯＢ３（ｔ）、ＯＢ４（ｔ）を含む領域を、死角端領域Ｐ１として設定する。

図１１に示す死角端飛び出し判定部１１１は、死角端領域Ｐ１内での、移動速度情報の出現位置、及びこの死角端領域内での投票値の形状に基づいて飛び出し判定を行う。即ち、死角端領域内において、現在の測定時での移動速度情報と、過去における測定時での移動速度情報の比較に基づいて飛び出しが発生しているか否かを判断する。具体的には、死角端領域Ｐ１内において、ある物体についての投票値が得られた際に、一連の画素の投票値に左右の投票値よりも大きい投票値が存在する場合には、飛び出しが発生しているものと判断する。

以下、図１８を参照して詳細に説明する。図１８は、図１７に示した死角端領域Ｐ１に含まれるＯＢ３（ｔ）、ＯＢ４（ｔ）の投票値を示す説明図である。図１７に示した死角端領域Ｐ１内のＯＢ３（ｔ）は左側に移動するので（自車両の走行に伴い自車両に対して相対的に左側に移動するので）、投票値は図１８（ａ）に示すように、左に行くほど投票値が小さくなる（「６」「４」「２」の順に投票値が減少している）。この時点を時刻「ｔ−１」とする。

次いで、時刻ｔにおいて、ＯＢ３（ｔ）は、若干量だけ左側に移動するので、投票値は図１８（ｂ）に示すｒ１，ｒ２，ｒ３のように変化する。この際、死角端領域Ｐ１内にＯＢ３（ｔ）以外の物体が存在しなければ、ｒ４はエッジ画像（横方向の３画素）から外れるのでその投票値はリセットされる。しかし、死角端領域から右側に向けてＯＢ４（ｔ）が飛び出してきた場合には、ｒ４に示す投票値はリセットされず、ｒ５に示す新たな投票値が発生する。

本実施形態では、一連の投票値の中に左右の投票値（即ち、ｒ１，ｒ５）よりも大きい投票値が存在する場合には、これが検出された時点で飛び出しが発生しているものと判断する。図１８（ｂ）に示す例では、左側の投票値ｒ１が「１」、右側の投票値ｒ５が「１」となっており、その間のｒ２〜ｒ４は投票値が「１」を上回っているので、飛び出しが発生しているものと判定する。

換言すれば、死角端領域Ｐ１内に存在する物体は、同一速度で左右に移動するはずであるから、その投票値は図１８（ａ）に示すように、一つの方向に向けて徐々に減少するか、或いは増加するはずである。これに対して、図１８（ｂ）に示すように一連の画素の投票値のうち、左端及び右端以外の画素に投票値のピークが存在する場合には、この死角端領域Ｐ１内に何らかの物体が侵入していると判断できるので、即時に飛び出しが発生しているものと判定する。図１８（ｂ）に示す例では、左端画素の投票値ｒ１が「１」、右端が素の投票値ｒ５が「１」であり、ｒ４がピークとなっているので、飛び出しが発生しているものと判定する。従って、極めて迅速に飛び出しの発生を検出することが可能となる。

次に、第２実施形態に係る飛び出し検出装置１０ａの処理手順を、図１６に示すフローチャートを参照して説明する。図１６に示す処理はイグニションスイッチ（図示省略）がオンとされると、制御部１００ａによって起動されるプログラムとして実行される。なお、ステップＳ１３１〜ステップＳ１３９に示す処理は、前述した図１０のステップＳ１０１〜１０９と同様であるので説明を省略する。

図１６に示すステップＳ１４０では、ステップＳ１３９の処理で検出した死角領域の端部に死角端領域を設定する。この後、フローはステップＳ１４１へ移行する。

ステップＳ１４１では、ステップＳ１４０の処理で設定した死角端領域において、過去と比較し移動速度情報が増加したか否かを判定し、増加していれば処理をステップＳ１４２に移行し、存在しなければ、処理をステップＳ１４４へ処理を移行する。

ステップＳ１４２では、ステップＳ１４０の処理で設定した死角端領域において、左端及び右端以外の画素の投票値にピークが存在するか否かを判定し、存在する場合にはステップＳ１４３に処理を移行し、存在しない場合にはステップＳ１４４へ処理を移行する。

ステップＳ１４３では、ステップＳ１４１の処理にて死角端領域での移動速度情報が増加し、ステップＳ１４２の処理で左端及び右端以外の画素の投票値にピークが存在したので、飛び出しと判定する。この後、フローはステップＳ１４４へ移行する。

ステップＳ１４４では、自車両のイグニションスイッチがオフされたか否かを判断し、オフされないと判断した場合には、ステップＳ１３１へ戻って処理を繰り返す。これに対して、自車両のイグニションスイッチがオフされたと判断した場合には、処理を終了する。

こうして、死角端領域に存在する移動速度情報に基づいて、飛び出しの判定を行うことができるのである。

このようにして、第２実施形態に係る飛び出し検出装置１０ａでは、死角端飛び出し判定部１１１は、死角端領域Ｐ１の移動速度情報と、この死角端領域Ｐ１内における各画素の投票値を評価することで、飛び出しを判定している。この手法を採用することにより、死角のエッジが画像の外側（この例では左側）に移動した際に、この死角から歩行者が飛び出した場合には、この歩行者を死角端の右側に現れる物体として検出することができる。

即ち、死角から死角端領域Ｐ１に向けて飛び出しが発生した場合には、死角側のエッジ投票値と、死角端領域Ｐ１のエッジ投票値が混在することになるので、投票値のピークが一連の画素の左端、右端以外の画素に生じることになり、これが判断された際に飛び出しと判定するので、極めて迅速に飛び出しの発生を判定することができる。従って、死角端領域Ｐ１内にて移動速度情報が観測する前の時点で、飛び出しの発生を判定することができる。また、死角端領域Ｐ１内に飛び出してくる物体の移動速度情報が、自車の進路側を向いているか否かの判定を行う前の時点で、飛び出しの発生を判定することができる。

以上、本発明の飛び出し検出装置を図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置き換えることができる。

例えば、上記した実施形態では、車両が走行する走行路の左側に存在する死角領域から物体（例えば、歩行者）が飛び出す例について説明したが、走行路の右側に死角領域を設定し、この死角領域から飛び出す物体を検出することも可能である。

本発明は、車両前方の死角から飛び出す物体を迅速且つ高精度に検出することに利用することができる。

１０，１０ａ 飛び出し検出装置
１００，１００ａ 制御部
１０１ カメラ（撮像部）
１０２ 画像一時記録部
１０３ 特徴点抽出部
１０４ 移動速度情報算出部
１０５ 物体検出部
１０６ 物体情報蓄積部
１０７ 死角検出部
１０８ 注目領域設定部（領域設定部）
１０９ 飛び出し判定部
１１０ 死角端領域設定部（領域設定部）
１１１ 死角端飛び出し判定部

Claims (10)

1. 自車両前方を撮像して画像を取得する撮像部と、
   撮像した画像から特徴点を抽出する特徴点抽出部と、
   特徴点を表す画素の、画像上での移動速度及び移動方向を移動速度情報として算出する移動速度情報算出部と、
   前記移動速度情報算出部で算出された移動速度情報に基づき、画像中に存在する物体を検出する物体検出部と、
   前記物体検出部で検出された物体の位置情報及び移動速度情報を、時系列的に蓄積する物体情報蓄積部と、
   前記物体情報蓄積部に蓄積された位置情報及び移動速度情報に基づいて、前記撮像部で撮像された画像中に存在する死角領域を検出する死角検出部と、
   前記死角検出部で検出された死角領域に隣接する領域を、飛び出し検出領域として設定する領域設定部と、
   前記領域設定部で設定された飛び出し検出領域内にて、前記移動速度情報算出部により所定の移動速度情報が検出された際に、飛び出しが発生しているものと判定する飛び出し判定部と、
   を備えることを特徴とする飛び出し検出装置。
2. 前記特徴点抽出部は、対象物のエッジ成分を特徴点として抽出することを特徴とする請求項１に記載の飛び出し検出装置。
3. 前記物体検出部は、前記撮像部で撮像された画像中の水平方向の移動速度情報に基づいて、同一移動速度情報となる領域が垂直方向に所定量連続して存在する場合に、この領域を物体として検出することを特徴とする請求項１に記載の飛び出し検出装置。
4. 前記物体検出部は、垂直方向の移動速度情報に基づき、移動速度情報が変化する境界部を検出し、垂直方向上方の所定範囲内に、水平方向の移動速度情報に基づいて検出した物体が存在する場合には、同一物体としてグループ化することを特徴とする請求項１〜請求項３のいずれか１項に記載の飛び出し検出装置。
5. 前記死角検出部は、前記物体情報蓄積部に蓄積した位置情報及び移動速度情報に基づき、過去に物体が存在し、且つ現在においても物体が存在する領域を死角候補領域として抽出し、
   この抽出した死角候補領域に隣接し、且つ、現在において前記死角候補領域と移動速度情報が近い物体が存在しない領域について、過去における位置情報と移動速度情報を参照し、過去において前記死角候補領域と同一或いは近い移動情報が存在する場合には、この死角候補領域を死角領域として検出することを特徴とする請求項１〜請求項４のいずれか１項に記載の飛び出し検出装置。
6. 前記領域設定部は、前記死角領域に隣接して設定した飛び出し検出領域を、高さ方向に向けて複数の領域に分割し、前記飛び出し判定部は、分割した前記複数の領域のそれぞれについて飛び出し検出の条件を変更することを特徴とする請求項１〜請求項５のいずれか１項に記載の飛び出し検出装置。
7. 前記飛び出し判定部は、前記飛び出し検出領域を、高さ方向に向けて下部、中部、上部の３つの領域に分割し、前記下部の領域内に、死角領域の移動速度情報と異なり、自車進路方向に向かう移動情報が存在した場合に、飛び出しが発生したと判定することを特徴とする請求項６に記載の飛び出し検出装置。
8. 前記飛び出し判定部は、前記飛び出し検出領域を、高さ方向に向けて下部、中部、上部の３つの領域に分割し、前記上部及び中部の領域内に、死角領域の移動速度情報と異なり、自車進路方向に向かう移動情報が存在した場合に、飛び出し注意と判定して飛び出し判定を継続することを特徴とする請求項６に記載の飛び出し検出装置。
9. 前記移動速度情報算出部は、前記特徴点抽出部で抽出された特徴点に基づいて、所定画素数の横幅を有するエッジ画像を設定し、且つ、時系列的に取得される複数の画像について前記エッジ画像が、画像中の画素に存在した場合に、この画素に対して１つの投票値を付与し、更に、複数の画像に対して付与される前記投票値を各画素毎に積算し、この積算結果に基づいて前記特徴点の移動速度情報を検出し、
   前記飛び出し判定部は、前記領域設定部にて設定された飛び出し検出領域内における、前記投票値の積算値に基づいて、飛び出しが発生しているか否かを判定することを特徴とする請求項１に記載の飛び出し検出装置。
10. 前記飛び出し判定部は、画像中の横方向に連続した複数の画素に対して得られる投票値の積算値のピークが、この連続した複数の画素のうち左端及び右端以外の画素に存在する場合に、飛び出しが発生しているものと判定することを特徴とする請求項９に記載の飛び出し検出装置。

Images