JP2014006700A - 歩行者検出装置 - Google Patents

Abstract

【課題】適用される状況についての制限を軽減し、車道へ飛び出す可能性のある危険な歩行者を検出できる歩行者検出装置を提供する。
【解決手段】車載カメラ１により撮像した車両１００の走行方向の映像から歩行者を歩行者認識部３１で検出し、フレーム単位で画像上の前記歩行者の特徴点を特徴点抽出部３２で抽出する。そして、フレーム間の前記歩行者の画像の対応する特徴点の移動、消失などの特徴点の変化から判定した前記歩行者の顔を含む頭部と身体部の動作をもとに、前記歩行者の車道へ飛び出す可能性、すなわち前記歩行者の車道へ飛び出す可能性の高い動作と、前記可能性の低い動作とを判定する。そして、前記判定した前記歩行者の前記車道へ飛び出す可能性と車両１００の走行状態とから、前記歩行者と車両１００との接触などの車両１００に対する前記歩行者の危険性を示す危険度を判定する。
【選択図】図１

Description

本発明は、歩行者の動作から車道へ飛び出す可能性のある危険な歩行者を検出できるようにした歩行者検出装置に関する。

近年、自動車に撮像カメラが搭載されるようになってきており、駐車の際に自車両を中心とした駐車エリアの俯瞰画像を運転者に提供したり、シフトレバーの位置をリバース位置へ切り替えると自車両後方の映像を運転席のディスプレイへ出力してバック走行を支援するなど、撮像カメラで撮像した映像を画像処理する画像処理技術が自動車に採用されるようになってきている。
このような画像処理技術を利用し、撮像カメラで撮像した映像から対象画像を抽出し、歩行者であるか否かを識別する歩行者検出装置が提案されている。
このような撮像カメラで撮像した映像から対象画像を抽出し歩行者であるか否かを識別するものとしては、自車両の進行方向前方の両側で所定の位置関係にある対の歩行者を検出し、検出した対の歩行者が会話を交わしていたり、向き合っているなどの所定の関係の検出結果に応じて前記対の各歩行者について自車両の前方へ飛び出す危険度を算出し、算出した危険度が所定値を超えていると、その歩行者を自車両の進行方向前方に飛び出す危険な歩行者と判定する歩行者検出装置がある（特許文献１参照）。

特開２００８−３１０３７６号公報

しかしながら従来の歩行者検出装置では、所定の関係にある対の各歩行者について自車両の前方へ飛び出す危険度を算出するため、対となる歩行者間の所定の関係を高い確度で判定するのが容易でなく、また単独の歩行者については適用できないなどの適用される状況が制限される課題があった。

本発明は、このような事情に鑑みてなされたものであり、適用される状況についての制限を軽減し車道へ飛び出す可能性のある危険な歩行者を検出できる歩行者検出装置を提供することを目的とする。

請求項１に記載の発明は、車両の進行方向を撮像する撮像装置と、前記撮像装置により撮像した画像から歩行者を検出する歩行者検出手段と、前記歩行者検出手段により検出した前記歩行者の画像から、前記歩行者の身体の予め定められた部位の前記車道方向に対する向きの変化をもとに、前記歩行者が前記車道へ飛び出す可能性を判定する歩行者動作判定手段と、前記歩行者動作判定手段より判定された前記歩行者が飛び出す可能性をもとに、前記車両に対する前記歩行者の危険性を示す危険度を判定する危険度判定手段とを備えたことを特徴とする。

請求項１記載の発明によれば、撮像装置により撮像した車両の進行方向の画像から歩行者を検出し、前記歩行者の画像から、前記歩行者の身体の所定の部位の車道方向に対する向きの変化をもとに、前記歩行者の前記車道へ飛び出す可能性を判定し、前記判定された前記車道へ飛び出す可能性をもとに、前記車両に対する前記歩行者の危険性を示す危険度を判定するように構成したので、歩行者の人数など適用される状況についての制限が軽減でき、前記危険度により車道へ飛び出す可能性のある危険な歩行者を検出できる効果がある。

請求項２記載の発明によれば、歩行者の頭部と身体部の車道方向に対する向きの変化をもとに前記歩行者の車道へ飛び出す可能性を判定するように構成したので、車道へ飛び出す可能性を、前記頭部と前記身体部の前記車道方向に対する向きの変化をもとに判定でき、前記歩行者の前記車道へ飛び出す可能性から判定した車両に対する前記歩行者の危険性を示す危険度から前記車道へ飛び出す可能性のある危険な歩行者を検出できる効果がある。

請求項３記載の発明によれば、歩行者の画像をもとに前記歩行者の特徴点を抽出し、前記歩行者の画像間の対応する特徴点の変化から判定した前記歩行者の頭部と身体部の車道方向に対する向きの変化をもとに、前記歩行者の車道へ飛び出す可能性を判定するように構成したので、前記歩行者車の前記車道へ飛び出す可能性を、前記頭部と前記身体部の前記車道方向に対する向きの変化である特徴点の変化をもとに判定でき、前記歩行者の前記車道へ飛び出す可能性をもとに判定した車両に対する前記歩行者の危険性を示す危険度から前記車道へ飛び出す可能性のある危険な歩行者を検出できる効果がある。

請求項４記載の発明によれば、車両の車両情報をもとに前記車両の走行状態を判定し、前記判定された前記車両の走行状態と、歩行者の車道へ飛び出す可能性とをもとに、前記車両に対する前記歩行者の危険度を判定するように構成したので、前記車両の走行状態と前記歩行者の車道へ飛び出す可能性とをもとに判定された前記歩行者の危険度により車道へ飛び出す可能性のある危険な歩行者を検出できる効果がある。

請求項５記載の発明によれば、歩行者の危険度をもとに車両における前記歩行者についての警報を制御するように構成したので、車道へ飛び出す可能性のある危険な歩行者を検出したときの前記歩行者についての警報を、前記歩行者の危険度に応じて制御できる効果がある。

本発明の実施の形態である歩行者検出装置の構成を示すブロック図である。 本発明の実施の形態である歩行者検出装置の動作を示すフローチャートである。 本発明の実施の形態である歩行者検出装置における車載カメラで撮像した進行方向前方の画像の一例を示す説明図である。 本発明の実施の形態である歩行者検出装置における検出された歩行者から識別される頭部と、頭部以外の身体部を示す説明図である。 本発明の実施の形態である歩行者検出装置における識別された頭部および身体部から抽出された特徴点を示す説明図である。 本発明の実施の形態である歩行者検出装置における歩道上を歩道に沿って正面を向いて歩いている歩行者の頭部および身体部の画像から抽出された特徴点を示す説明図である。 本発明の実施の形態である歩行者検出装置における頭部のみが車道側に向いている状態の歩行者の画像から抽出された特徴点を示す説明図である。 本発明の実施の形態である歩行者検出装置における頭部と身体部が共に車道側に向いている状態の歩行者の画像から抽出された特徴点を示す説明図である。

以下、本発明の実施の形態について説明する。図１は、本発明の実施の形態である歩行者検出装置の構成を示すブロック図である。この歩行者検出装置は、車両１００に搭載されており、車載カメラ１、情報処理部３および制御部４を備えている。
また、この歩行者検出装置には、車両１００の車速センサから検出された車速情報２１およびウインカが操作されたときの左折ウインカあるいは右折ウインカなどのウインカ情報２２を含む車両情報２が入力される。

この実施の形態では、車載カメラ１は、車両１００の前方を撮像するフロントカメラとして説明する。車載カメラ１は、例えば車室内のルームミラー裏側の車両前方を撮像可能な位置に取り付けられている。
情報処理部３は、歩行者認識部３１、特徴点抽出部３２、歩行者動作判定演算部３３、危険度判定部３５および走行状態判定部３４を備えている。
歩行者認識部３１は、車載カメラ１により撮像した車両１００の進行方向の画像から歩行者を検出し、さらに検出した歩行者の顔を含む頭部と、頭部以外の身体部の識別を行う。
特徴点抽出部３２は、歩行者認識部３１により検出され識別された歩行者の頭部と身体部の画像から特徴点を抽出する。

歩行者動作判定演算部３３は、歩行者認識部３１により検出され識別された歩行者の頭部と身体部の画像から特徴点抽出部３２により抽出された特徴点を、前記歩行者の画像のフレーム単位で比較し、フレーム単位の前記歩行者の頭部と身体部の画像についてフレーム間で対応する特徴点の変化の度合いを検出し、検出した特徴点の変化の度合いから歩行者の動作について前記歩行者の車道へ飛び出す可能性を判定する。

この歩行者の動作は、例えば歩道に沿った方向から車道側へ歩行者の顔の向きだけが変化する動作、歩行者の顔の向きだけでなく手足を含む身体部の向きも車道側へ変化する動作などを含む。そして、歩行者の顔の向きだけが歩道に沿った方向から車道側へ変化した動作である場合、歩行者が歩道から車道へ飛び出す可能性の低い動作として判定する。また、歩行者の顔の向きだけでなく手足を含む身体部の向きも車道側へ変化する動作である場合、歩行者が歩道から車道へ飛び出す可能性の高い動作として判定する。

走行状態判定部３４は、車速情報２１およびウインカ情報２２を含む車両情報２をもとに停車状態であるか走行状態であるかなどの車両１００の走行状態を判定する。

危険度判定部３５は、歩行者動作判定演算部３３により判定された歩行者の車道へ飛び出す可能性と、走行状態判定部３４により判定された車両１００の走行状態とから、歩道上から車道上へ歩行者が飛び出し、歩行者と車両１００との接触を含む事故発生の危険性、車両１００に対する前記歩行者の危険性を示す危険度を判定する。

この危険度の判定は、例えば走行状態判定部３４で判定された走行状態が停止状態ではない一定以上の車速で走行している状態を示しており、歩行者動作判定演算部３３により判定された歩行者の車道へ飛び出す可能性が、例えば歩行者が顔の向きのみを歩道に沿った方向から車道側へ変化させ、歩行者が車道へ飛び出す可能性の低いと判定される場合、歩行者と車両１００との接触を含む事故発生の危険性、車両１００に対する前記歩行者の危険性を示す危険度は低いと判定する。すなわちこの場合の歩行者については危険度の低い歩行者と判定する。

また、走行状態判定部３４で判定された走行状態が停止状態ではない一定以上の車速で走行している状態を示しており、歩行者動作判定演算部３３により判定された歩行者の車道へ飛び出す可能性が、例えば歩行者が顔の向きを歩道に沿った方向から車道側へ変化させただけでなく、身体部の向きも歩道に沿った方向から車道側へ変化させ、歩行者が車道へ飛び出す可能性が高いと判定される場合、前記歩行者と車両１００との接触を含む事故発生の危険性、車両１００に対する前記歩行者の危険性を示す危険度は高いと判定する。すなわちこの場合の歩行者については危険度の高い歩行者と判定する。

また、車両が停止している状況では、歩行者が顔の向きのみ、あるいは顔の向きだけでなく身体部の向きも歩道に沿った方向から車道側へ変化させた場合であっても、歩行者と車両１００との接触を含む事故発生の危険性、車両１００に対する前記歩行者の危険性を示す危険度は低いと判定する。すなわちこの場合の歩行者については危険度の低い歩行者と判定する。
制御部４は、危険度判定部３５の判定結果に応じて、スピーカ５１、ディスプレイや表示ランプなどの表示装置５２を備えたドライバ通知部４１、衝突回避のための自動ブレーキ６１を制御する。

次に動作について説明する。
図２は、この歩行者検出装置の動作を示すフローチャートである。
図２のフローチャートに示す運転支援プログラムは、繰り返し実行されている。
以下、このフローチャートに従ってこの実施の形態の歩行者検出装置の動作を説明する。
車両１００は車道上を走行している。車両１００は横断歩道に接近しており車道左側の歩道上には歩行者が立っている。
図３は、このような状況を車両１００の車載カメラ１で撮像したときの進行方向前方の画像の一例を示す説明図である。

この実施の形態の歩行者検出装置では、先ず、情報処理部３で、車載カメラ１により撮像した対象映像から車道上のセンタラインと、車道と歩道とを分離するサイドラインを検出し、車両１００が走行している走行レーンと歩道の識別を行う（ステップＳ１）。

図３に示す例では、センタラインＣＬとサイドラインＳＬとを検出することで、センタラインＣＬとサイドラインＳＬとに挟まれたエリアが車両１００が走行している走行レーンと識別され、また、サイドラインＳＬの左側のエリアが歩道として識別される。続いて、前記識別された歩道上の歩行者を検出したか否かの判定を行う（ステップＳ２）。
この歩道上の歩行者を検出したか否かの判定は、例えば車載カメラ１により撮像した映像から識別対象を矩形枠で抽出し、抽出した矩形枠の識別対象ごとに特徴ベクトルを演算し、予め備えられている歩行者の基準データと照合することで歩行者を識別する。
図３に示す例では、車両１００が走行する車道左側の歩道上に矩形枠９１により抽出された識別対象が歩行者９５として識別される。

ステップＳ２において歩行者が検出されると、検出された歩行者の顔を含む頭部と、頭部以外の身体部の識別を行う（ステップＳ３）。
図４は、検出された歩行者から識別される頭部と、頭部以外の身体部を示す説明図である。
識別対象として検出された歩行者から矩形枠Ｒ１により頭部が抽出され識別される。また、識別対象として検出された歩行者から矩形枠Ｒ２により頭部以外の身体部が抽出され識別される。歩行者の頭部と、頭部以外の身体部の識別は、抽出した矩形枠Ｒ１、Ｒ２の識別対象ごとに特徴ベクトルを演算し、頭部の基準データ、あるいは頭部以外の身体部の基準データと照合することで頭部と、頭部以外の身体部を識別する。

次に、ステップＳ３で識別した歩行者の頭部と、頭部以外の身体部の画像それぞれについて特徴点を特徴点抽出部３２で抽出する（ステップＳ４）。
この特徴点の抽出は、歩行者の頭部と、頭部以外の身体部それぞれの角や線の交差箇所を選択し、歩行者の頭部と、頭部以外の身体部のフレーム単位の画像について精度のよい対応を求めるため、例えば前記選択した近傍で色や濃淡変化の激しい点を選択する。そして、このような点に高い値を与える関数の極値を与える点を特徴点としてその値の大きい順に取り出す。

図５は、歩行者の頭部と、頭部以外の身体部の画像それぞれについて抽出された特徴点の一例を示す説明図である。Ｐ１，Ｐ２，Ｐ３……Ｐ１１は歩行者の頭部について抽出された特徴点、Ｐ２１，Ｐ２２，Ｐ２３……Ｐ２７は頭部以外の身体部の画像について抽出された特徴点を示す。
なお、歩行者の頭部と、頭部以外の身体部の画像それぞれについて抽出された特徴点データは、例えばフレーム単位でメモリに格納される。

続いて、歩行者動作判定演算部３３は、歩行者の頭部と、頭部以外の身体部の画像それぞれについて抽出された特徴点の変化を検出する（ステップＳ５）。この特徴点の変化の検出により歩行者の動作が歩道上から車道上へ飛び出す可能性の高い動作であるか、あるいは車道上へ飛び出す可能性の低い動作であるか判定する。

この特徴点の変化は、歩行者の頭部と、頭部以外の身体部のフレーム単位の画像それぞれについて抽出した特徴点を、一定の時間間隔で撮像された他のフレーム単位の歩行者の頭部と、頭部以外の身体部の画像について抽出した特徴点と比較することで検出する。
この特徴点の変化の検出処理では、検出された歩行者の顔を含む頭部のみの特徴点が変化する状態と、歩行者の顔を含む頭部と身体部の特徴点が共に変化する状態とを判定する。
すなわちステップＳ６においては、検出された歩行者の顔を含む頭部の特徴点の変化が検出されたか否かを判定し、頭部の特徴点の変化が検出されないときには歩道上から車道上へ歩行者が飛び出す可能性は低いと判定し、この運転支援プログラムをぬける。

一方、ステップＳ６において頭部の特徴点の変化が検出された場合には、続いて頭部以外の身体部の画像について抽出された特徴点の変化が検出されたか否かを判定する（ステップＳ７）。
ステップＳ７において身体部の特徴点の変化が検出されない場合には、歩行者の顔を含む頭部のみの特徴点が変化した状態であり、歩道上から車道上へ歩行者が飛び出す可能性は低いと判定し、この運転支援プログラムをぬける。
一方、ステップＳ７において身体部の特徴点の変化が検出された場合には、歩行者の顔を含む頭部と身体部の画像について共に特徴点の変化が検出された状況であり、歩行者動作判定演算部３３は、歩道上から車道上へ歩行者が飛び出す可能性は高い、すなわち歩行者の動作について歩道上から車道上へ飛び出す可能性が大きい動作と判定する。

図７は、頭部のみが車道側に向いている状態の歩行者の画像から抽出された特徴点を示す説明図である。
図６に示す歩行者の画像が時刻ｔに撮像された画像とすると、図７に示す歩行者の画像は、時間δｔ１経過後に撮像された歩行者の画像から抽出された特徴点を示しており、頭部のみが車道側に向いている状態であるため、図６の特徴点Ｐ１，Ｐ９，Ｐ１０，Ｐ１２について対応する図７の特徴点は頭部のみが車道側に向いたことから右側に移動した状態になっている。
また、図６の特徴点Ｐ４，Ｐ８，Ｐ１１について対応する図７の特徴点は消失した状態になっている。

また、図８は頭部と身体部とが共に車道側に向いている状態の歩行者の画像から抽出された特徴点を示す説明図である。
図６に示す歩行者の画像が時刻ｔに撮像された画像とすると、図８に示す歩行者の画像は、時間δｔ２経過後に撮像された歩行者の画像から抽出された特徴点を示しており、頭部と身体部とが共に車道側に向いている状態であるため、図６の特徴点Ｐ１，Ｐ９，Ｐ１０，Ｐ１２について対応する図８の特徴点は頭部が車道側に向いていることから右側に移動した状態になっている。
また、図６の特徴点Ｐ４，Ｐ８，Ｐ１１について対応する図８の特徴点は消失した状態になっている。
また、図６の特徴点Ｐ２３，Ｐ２８について対応する図８の特徴点は身体部も車道側に向いていることから右側に移動した状態になっている。
また、図６の特徴点Ｐ２４，Ｐ２５，Ｐ２７について対応する図８の特徴点は消失した状態になっている。

歩行者動作判定演算部３３は、このように歩行者の頭部と、頭部以外の身体部の画像それぞれについて抽出されたフレーム間の対応する特徴点についての移動、消失などの変化を検出することで歩行者の車道側へ飛び出す可能性を判定し、歩行者の歩道上から車道上へ飛び出す可能性が高いか、あるいは低いかを判定する。

歩行者動作判定演算部３３により、歩行者について歩道上から車道上へ飛び出す可能性が大きいと判定されると、このときに検出される車両情報２の車速情報２１をもとに走行状態判定部３４が車両１００の走行状態、車両１００が停止中であるか否かを判定する。

危険度判定部３５は、走行状態判定部３４による車両１００の走行状態の判定結果と、歩行者動作判定演算部３３により判定された歩道上から車道上へ歩行者が飛び出す可能性についての判定結果とから、歩道上から車道上へ歩行者が飛び出し、歩行者と車両１００との接触を含む事故発生の危険性を示す危険度を判定する。
この場合、歩行者が顔の向きを歩道に沿った方向から車道側へ変化させただけでなく、身体部の向きも歩道に沿った方向から車道側へ変化させた場合、歩行者が車道へ飛び出す可能性は高く、歩行者と車両１００との接触を含む事故発生の危険性を示す危険度が大きいと判定し、判定結果を制御部４へ出力する。

前記危険度が大きいと判定されると、制御部４はドライバ通知部４１のスピーカ５１からの音声アナウンス、表示装置５２により表示出力される警報のタイミングを早めるなどの車両１００の運転者に対する安全運転のための支援を行う（ステップＳ９）。
また、さらに衝突回避のための自動ブレーキ作動システムが搭載されている場合には、この自動ブレーキ作動システムによるブレーキ作動タイミングを早める。
なお、ブレーキ作動タイミングを早める以外にも、以下のような動作を行なうようにして安全運転の支援を図るようにしてもよい。
１）ブレーキ液圧を予め高めておき、ブレーキを踏んだ時に踏力以上にブレーキがかかるようにする。
２）ブレーキパッドとブレーキディスクの距離を縮めておきブレーキの応答を早める。

以上説明したように、この実施の形態によれば、車載カメラ１により撮像した車両１００の走行方向の映像から歩道上の歩行者を検出し、フレーム間の前記歩行者の画像の対応する特徴点の移動、消失などの変化から前記歩行者の顔を含む頭部と身体部の動作を判定し、前記歩行者の車道へ飛び出す可能性を判定する。
そして、前記判定した前記歩行者の車道へ飛び出す可能性と車両１００の走行状態とから、前記歩行者と車両１００との接触などの前記歩行者の車両１００に対する危険性を示す危険度を判定するように構成した。
従って、歩行者の人数など適用される状況についての制限が軽減でき、さらに特徴点の変化をもとに歩行者の車道へ飛び出す可能性を判定するので画像処理上の負荷が軽減でき処理速度の向上が期待でき、車道へ飛び出す可能性のある危険な歩行者を検出できる歩行者検出装置を提供できる効果がある。

なお、以上の説明では、車載カメラ１は、車両１００の前方を撮像するフロントカメラであったが、車両１００がバック走行する場合に車両後方を撮像するリアビューカメラであってもよく、この場合にはバック走行する車両１００の後方を撮像した画像から歩行者を検出することになる。
そして、バック走行する車両１００から歩行者を検出し、検出した歩行者について車輛１００がバック走行している車道へ飛び出す可能性を判定し、バック走行時の歩行者と車両１００との接触を含む車両１００に対する前記歩行者の危険性を示す危険度から、車道へ飛び出す可能性のある危険な歩行者を検出する。

また、以上の説明では、車道へ飛び出す可能性の高い歩行者の動作を、歩行者の顔を含む頭部と身体部の特徴点の変化から判定するように構成したが、歩行者の身体の向きが歩道に沿って車載カメラ１の方向である正面を向いているときと、車道側を向いているときの歩行者の身体についての画像上の面積の相違や横幅の相異などから、歩行者の動作を判定するように構成してもよい。

１……車載カメラ（撮像装置）、２……車両情報、４……制御部（制御手段）、３１……歩行者認識部（歩行者検出手段）、３２……特徴点抽出部（特徴点抽出手段）、３３……歩行者動作判定演算部（歩行者動作判定手段）、３４……走行状態判定部（走行状態判定手段）、３５……危険度判定部（危険度判定手段）、１００……車両。

Claims (5)

1. 車両に搭載され歩行者を検出する歩行者検出装置であって、
   前記車両の進行方向を撮像する撮像装置と、
   前記撮像装置により撮像した画像から歩行者を検出する歩行者検出手段と、
   前記歩行者検出手段により検出した前記歩行者の画像から、前記歩行者の身体の予め定められた部位の前記車道方向に対する向きの変化をもとに、前記歩行者が前記車道へ飛び出す可能性を判定する歩行者動作判定手段と、
   前記歩行者動作判定手段より判定された前記歩行者が飛び出す可能性をもとに、前記車両に対する前記歩行者の危険性を示す危険度を判定する危険度判定手段と、
   を備えたことを特徴とする歩行者検出装置。
2. 前記歩行者の身体の予め定められた部位は、前記歩行者の顔を含む頭部と、前記頭部を除く身体部であり、
   前記歩行者動作判定手段は、
   前記頭部と前記身体部の前記車道方向に対する向きの変化をもとに前記歩行者の前記車道へ飛び出す可能性を判定することを特徴とする請求項１記載の歩行者検出装置。
3. 前記歩行者検出手段により検出した前記歩行者の画像をもとに、前記歩行者の特徴点を抽出する特徴点抽出手段を備え、
   前記歩行者動作判定手段は、前記歩行者検出手段により検出した前記歩行者の画像間の対応する特徴点の変化から判定した前記頭部と前記身体部の前記車道方向に対する向きの変化をもとに前記歩行者の前記車道へ飛び出す可能性を判定することを特徴とする請求項２記載の歩行者検出装置。
4. 前記車両の車両情報をもとに前記車両の走行状態を判定する走行状態判定手段を備え、
   前記危険度判定手段は、前記走行状態判定手段で判定された前記車両の走行状態と、前記歩行者動作判定手段により判定された前記歩行者の前記車道へ飛び出す可能性とをもとに、前記車両に対する前記歩行者の危険度を判定することを特徴とする請求項３記載の歩行者検出装置。
5. 前記危険度判定手段により判定された前記歩行者の危険度をもとに前記車両における前記歩行者についての警報を制御する制御手段を備えたことを特徴とする請求項４記載の歩行者検出装置。

Images