JP2011253214A - 歩行者検出装置 - Google Patents

Abstract

【課題】カメラによって取得した画像から歩行者を正確に検出しつつ、かつ当該歩行者を検出するための演算量を低減する高精度および高効率な歩行者検出装置を提供する。
【解決手段】本発明は、車両に搭載される歩行者検出装置であって、車両周辺の画像を取得する画像取得手段と、画像取得手段によって取得された画像から歩行者を探索する探索密度について、当該画像領域内で探索密度を一定とする探索密度一定モードと、当該画像領域内のうち、探索密度が高い第１領域と探索密度が低い第２領域とを設定する探索密度重点モードとのいずれかの探索密度モードを、道路状況に応じて設定する探索密度モード設定手段と、探索密度モード設定手段によって設定された探索密度モードに基づいて、画像取得手段によって取得された画像から歩行者を探索する歩行者探索手段と、歩行者探索手段によって探索された結果を通知する結果通知手段とを備える。
【選択図】図１

Description

本発明は、車両に搭載される歩行者検出装置に関し、より特定的には、歩道から車道へ飛び出す歩行者を検出する歩行者検出装置に関する。

通常、車両に搭載される歩行者検出装置は、カメラによって取得した画像から、予め設定された歩行者の基準パターンを探索することによって、車両の前方等に存在する歩行者を検出している。

ここで、予め設定された歩行者の基準パターンは、例えば、歩行者の向き（前向き、後ろ向き、左向き、および右向き等）、および歩行者の大きさ（自車から遠方の歩行者、および自車に近接する歩行者等）等に基づく多種のパターンがある。

そして、カメラによって取得した画像において、所定の探索窓を配置し、当該探索窓内の画像と、上述した歩行者の基準パターンとを比較し、当該歩行者の基準パターンに一致すれば、当該探索窓内の画像に歩行者が存在すると判定する。

このように、従来の歩行者検出装置は、カメラによって取得した画像において、所定の探索窓を移動させながら、当該画像から歩行者を検出している（例えば、特許文献１参照）。

特開２００８−１５２６７２号公報

しかしながら、従来の歩行者検出装置では、カメラによって取得した画像の広範な領域において、所定の探索窓を配置および移動し、当該探索窓内の画像と、予め設定された多種の歩行者の基準パターンとを比較するため、当該カメラによって取得した画像から歩行者を検出するための演算量が膨大になってしまう。

一方、歩行者を検出するための演算量を低減するために、所定の探索窓の配置および移動を粗くすれば、当該カメラによって取得した画像から歩行者を検出するための演算量は低減できるものの、正確に歩行者を検出できない。

それ故に、本発明の目的は、カメラによって取得した画像から歩行者を正確に検出しつつ、かつ当該歩行者を検出するための演算量を低減する高精度および高効率な歩行者検出装置を提供することである。

上記目的を達成するために、本発明の歩行者検出装置は、車両に搭載される歩行者検出装置であって、車両周辺の画像を取得する画像取得手段と、画像取得手段によって取得された画像から歩行者を探索する探索密度について、当該画像領域内で探索密度を一定とする探索密度一定モードと、当該画像領域内のうち、探索密度が高い第１領域と探索密度が低い第２領域とを設定する探索密度重点モードとのいずれかの探索密度モードを、道路状況に応じて設定する探索密度モード設定手段と、探索密度モード設定手段によって設定された探索密度モードに基づいて、画像取得手段によって取得された画像から歩行者を探索する歩行者探索手段と、歩行者探索手段によって探索された結果を通知する結果通知手段とを備える。
かかる構成により、画像取得手段によって取得された画像から歩行者を探索する探索密度について、当該画像領域内で探索密度を一定とする探索密度一定モードと、当該画像領域内のうち、探索密度が高い第１領域と探索密度が低い第２領域とを設定する探索密度重点モードとのいずれかの探索密度モードを、道路状況に応じて設定するため、画像取得手段によって取得した画像から歩行者を正確に検出しつつ、かつ当該歩行者を検出するための演算量を低減することができる。

好ましい探索密度モード設定手段は、歩行者が車道に存在する可能性に基づいて、探索密度一定モードと、探索密度重点モードとのいずれかの探索密度モードを設定することを特徴とする。
かかる構成により、歩行者が車道に存在する可能性に基づいて、探索密度一定モードと、探索密度重点モードとのいずれかの探索密度モードを設定するため、特に注意が必要なタイミングおよび特定範囲について、精度よく歩行者を検出することができる。

さらに好ましい探索密度モード設定手段は、歩行者が将来的に車道に存在する可能性が低い場合、探索密度一定モードを探索密度モードとして設定し、歩行者が将来的に車道に存在する可能性が高い場合、探索密度重点モードを探索密度モードとして設定することを特徴とする。
かかる構成により、特に、歩行者が将来的に車道に存在する可能性が高い場合、探索密度重点モードを探索密度モードとして設定するため、特に注意が必要なタイミングおよび特定範囲について、精度よく歩行者を検出することができる。

さらに好ましい探索密度モード設定手段は、車両用信号機の状態および／または歩行者用信号機の状態に基づいて、探索密度一定モードと、探索密度重点モードとのいずれかの探索密度モードを設定することを特徴とする。
かかる構成により、車両用信号機の状態および／または歩行者用信号機の状態に対する自動車および歩行者の行動傾向に基づいて、探索密度一定モードと、探索密度重点モードとのいずれかの探索密度モードを設定するため、最適な探索密度モードが設定され、効率よく歩行者を検出することができ、特に注意が必要な特定範囲については、精度よく歩行者を検出することができる。

さらに好ましい探索密度モード設定手段は、車両用信号機の状態が青色または赤色である場合、探索密度一定モードを探索密度モードとして設定し、車両用信号機の状態が黄色である場合、探索密度重点モードを探索密度モードとして設定することを特徴とする。
かかる構成により、具体的な車両用信号機の状態に対する自動車および歩行者の行動傾向に基づいて、探索密度一定モードと、探索密度重点モードとのいずれかの探索密度モードを設定するため、最適な探索密度モードが設定され、効率よく歩行者を検出することができ、特に注意が必要な特定範囲については、精度よく歩行者を検出することができる。

または、好ましい探索密度モード設定手段は、歩行者用信号機の状態が青色または赤色である場合、探索密度一定モードを探索密度モードとして設定し、歩行者用信号機の状態が青色点滅である場合、探索密度重点モードを探索密度モードとして設定することを特徴とする。
かかる構成により、具体的な歩行者信号機の状態に対する自動車および歩行者の行動傾向に基づいて、探索密度一定モードと、探索密度重点モードとのいずれかの探索密度モードを設定するため、最適な探索密度モードが設定され、効率よく歩行者を検出することができ、特に注意が必要な特定範囲については、精度よく歩行者を検出することができる。

または、好ましい探索密度モード設定手段は、車両用信号機の状態が青色または赤色である場合、かつ歩行者用信号機の状態が青色または赤色である場合、探索密度一定モードを探索密度モードとして設定し、車両用信号機の状態が黄色である場合、または歩行者用信号機の状態が青色点滅である場合、探索密度重点モードを探索密度モードとして設定することを特徴とする。
かかる構成により、具体的な車両用信号機の状態および歩行者信号機の状態に対する自動車および歩行者の行動傾向に基づいて、探索密度一定モードと、探索密度重点モードとのいずれかの探索密度モードを設定するため、さらに、最適な探索密度モードが設定され、効率よく歩行者を検出することができ、特に注意が必要な特定範囲については、精度よく歩行者を検出することができる。

さらに、好ましくは、探索密度重点モードにおいて、第１領域は、車道と歩道との境界周辺であることを特徴とする。
かかる構成により、第１領域は、車道と歩道との境界周辺であるため、歩行者が歩道から車道へ飛び出す特に注意が必要な特定範囲については、精度よく歩行者を検出することができる。

さらに、好ましくは、探索密度重点モードにおいて、歩道から車道へ飛び出す歩行者に対する探索密度が高いことを特徴とする。
かかる構成により、歩道から車道へ飛び出す歩行者に対する探索密度を高くするため、歩道から車道へ飛び出す歩行者について重点的に探索し、精度よく歩行者を検出することができる。

上記目的を達成するために、本発明の歩行者検出方法は、車両に搭載される歩行者検出装置が実行する歩行者検出方法であって、車両周辺の画像を取得する画像取得ステップと、画像取得ステップで取得された画像から歩行者を探索する探索密度について、当該画像領域内で探索密度を一定とする探索密度一定モードと、当該画像領域内のうち、探索密度が高い第１領域と探索密度が低い第２領域とを設定する探索密度重点モードとのいずれかの探索密度モードを設定するかを、道路状況に応じて選択する探索密度モード選択ステップと、探索密度モード選択ステップで選択された結果に基づいて、探索密度モードを設定する探索密度モード設定ステップと、探索密度モード設定ステップで設定された探索密度モードに基づいて、画像取得ステップで取得された画像から歩行者を探索する歩行者探索ステップと、歩行者探索ステップで探索された結果を通知する結果通知ステップとを含む。

また、上記目的を達成するために、上述した本発明の歩行者検出装置の各構成が行うそれぞれの処理は、一連の処理手順を与える歩行者検出方法として捉えることができる。この方法は、一連の処理手順をコンピュータに実行させるためのプログラムの形式で提供される。このプログラムは、コンピュータ読み取り可能な記録媒体に記録された形態で、コンピュータに導入されてもよい。

上述のように、本発明の歩行者検出装置によれば、カメラによって取得した画像から歩行者を正確に検出しつつ、かつ当該歩行者を検出するための演算量を低減することができる。

本発明の一実施形態に係る歩行者検出装置１００を機能的に示すブロック図 本発明の一実施形態に係る歩行者検出装置１００が実行する歩行者検出方法２００を示すフローチャート 車両に搭載されたカメラによって撮像した車両の前方画像を示す図 図３に示した車両の前方画像から車両用信号機を検出する様子を示す図 車両用信号機の状態遷移と、自動車および歩行者の行動傾向とを示す図 車両用信号機の状態に対する探索密度モードを示す図 探索密度一定モードを探索密度モードとして設定する様子を示す図 探索密度重点モードを探索密度モードとして設定する様子を示す図 探索密度重点モード設定ステップＳ２５０の詳細を示すフローチャート 車道と左側歩道との境界周辺において、右向きの歩行者を重点的に探索するように設定する様子を示す図 車道と右側歩道との境界周辺において、左向きの歩行者を重点的に探索するように設定する様子を示す図 図３に示した車両の前方画像から歩行者用信号機を検出する様子を示す図 歩行者用信号機の状態遷移と、自動車および歩行者の行動傾向とを示す図 歩行者用信号機の状態に対する探索密度モードを示す図

以下、本発明の一実施形態について、図面を参照しながら説明する。
図１は、本発明の一実施形態に係る歩行者検出装置１００を機能的に示すブロック図である。図１において、歩行者検出装置１００は、画像取得手段１１０と、探索密度モード設定手段１２０と、記録手段１３０と、歩行者探索手段１４０と、結果通知手段１５０とを備える。なお、探索密度モード設定手段１２０は、信号機状態判定手段１２１と、探索密度モード選択手段１２２とを含む。

画像取得手段１１０は、車両に搭載されたカメラによって、車両の前方画像を撮像し、当該画像を取得する。なお、車両に搭載されるカメラの設置位置、設置台数、および視野角に応じて、車両の前方のみでなく車両の左右および後画像を取得してもよい。ここでは、車両には、可視光線カメラ、および近赤外線カメラが搭載されているものとする。可視光線カメラは、後述する信号機を検出するための画像を取得し、近赤外線カメラは、後述する歩行者を探索するための画像を取得する。

探索密度モード設定手段１２０は、画像取得手段１１０によって取得された画像から歩行者を探索する探索密度モードを設定する。より詳細には、信号機状態判定手段１２１は、画像取得手段１１０によって取得された画像から信号機の状態を判定する。探索密度モード選択手段１２２は、信号機状態判定手段１２１によって判定された信号機の状態に基づいて、歩行者が歩道から車道へ飛び出す可能性を考慮して、探索密度モードを選択する。なお、探索密度モードの詳細については、後述する。

記録手段１３０は、例えば、メモリ等であって、複数の歩行者の基準パターン、および信号機の状態に対応する探索密度モードの詳細な設定情報等が記録されている。探索密度モード設定手段１２０は、記録手段１３０を参照して、適切な探索密度モードを設定する。

歩行者探索手段１４０は、探索密度モード設定手段１２０によって設定された探索密度モードに基づいて、画像取得手段１１０によって取得された画像から歩行者を探索する。

結果通知手段１５０は、歩行者探索手段１４０によって探索された結果を通知する。例えば、画像取得手段１１０によって取得された画像から歩行者を検出した場合、当該歩行者情報をモニタに表示し、さらに、当該歩行者が歩道から車道へ飛び出すと判定した場合には、警告音を鳴らす等して運転者に通知してもよい。

次に、本発明の一実施形態に係る歩行者検出装置１００が実行する処理の流れについて説明する。

図２は、本発明の一実施形態に係る歩行者検出装置１００が実行する歩行者検出方法２００を示すフローチャートである。図２において、歩行者検出方法２００は、画像取得ステップＳ２１０と、信号機状態判定ステップＳ２２０と、探索密度モード選択ステップＳ２３０と、探索密度一定モード設定ステップＳ２４０と、探索密度重点モード設定ステップＳ２５０と、歩行者探索ステップＳ２６０と、結果通知ステップＳ２７０とを含む。

画像取得ステップＳ２１０において、画像取得手段１１０は、車両の前方画像を撮像し、当該画像を取得する。ここでは、後述する信号機を検出するための画像、および後述する歩行者を探索するための画像を取得する。図３は、車両に搭載されたカメラによって撮像した車両の前方画像を示す図である。

信号機状態判定ステップＳ２２０において、探索密度モード設定手段１２０の信号機状態判定手段１２１は、画像取得ステップＳ２１０で取得された車両の前方画像から信号機を検出する。図４は、図３に示した車両の前方画像から車両用信号機を検出する様子を示す図である。図４において、信号機状態判定手段１２１は、画像取得ステップＳ２１０で取得した車両の前方画像から、自車の走行車線の車両用信号機を検出している。

そして、信号機状態判定手段１２１は、検出した車両用信号機の状態を判定する。具体的には、信号機状態判定手段１２１は、検出した車両用信号機の状態が、青色であるか、黄色であるか、または赤色であるかを判定する。

探索密度モード選択ステップＳ２３０において、探索密度モード選択手段１２２は、信号機状態判定ステップＳ２２０で判定された車両用信号機の状態が黄色であるか否かを判定する。車両用信号機の状態が黄色でない場合、探索密度モード選択手段１２２は、探索密度一定モードを探索密度モードとして選択し、探索密度一定モード設定ステップＳ２４０の処理に進む（探索密度モード選択ステップＳ２３０のＮｏ）。一方、車両用信号機の状態が黄色である場合、探索密度モード選択手段１２２は、探索密度重点モードを探索密度モードとして選択し、探索密度重点モード設定ステップＳ２５０の処理に進む（探索密度モード選択ステップＳ２３０のＹｅｓ）。

ここで、車両用信号機の状態と、自動車および歩行者の行動傾向とについて説明する。図５は、車両用信号機の状態遷移と、自動車および歩行者の行動傾向とを示す図である。図５に示すように、車両用信号機は、通常、青色→黄色→赤色→青色→…の順に状態遷移する。

車両用信号機の状態が青色の場合、自動車は走行車線を走行し、歩行者は歩道から車道へ侵入しない（歩行者は歩道で停止している）。車両用信号機の状態が赤色の場合、自動車は停止し、歩行者は歩道から車道へ侵入している（歩行者は横断歩道を横断する）。換言すれば、車両用信号機の状態が青色および赤色の場合は、自動車および歩行者のうち、一方は走行中（横断中）であり、他方は完全に停止している状態である。

車両用信号機の状態が青色から黄色に遷移した場合、自動車は、車両用信号機の状態が青色の状態よりも急いで走行する可能性がある。一方、歩行者は、自動車が急いで走行する可能性があるにも拘らず、次に、車両用信号機の状態が赤色に遷移することを見込んで、歩道から車道へ飛び出す傾向がある（歩行者は横断歩道を見切り横断する）。つまり、車両用信号機の状態が黄色である場合、自動車は、特に、歩道から車道へ飛び出す歩行者に注意する必要がある。

このような車両用信号機の状態と、自動車および歩行者の行動傾向とに基づいて、探索密度モード選択手段１２２は、探索密度一定モードと探索密度重点モードとのいずれかの探索密度モードを選択する。

図６は、車両用信号機の状態に対する探索密度モードを示す図である。上述したように、車両用信号機の状態が黄色である場合、自動車は、特に、歩道から車道へ飛び出す歩行者に注意する必要があるため、歩行者検出装置１００は、車道と歩道との境界周辺について、重点的に歩行者を探索する。つまり、探索密度モード選択手段１２２は、車両用信号機の状態が青色または赤色である場合、歩行者を検出するために取得した画像から歩行者を探索する探索密度について、当該探索密度を一定値とする探索密度一定モードを選択する。一方、探索密度モード選択手段１２２は、車両用信号機の状態が黄色である場合、歩行者を検出するために取得した画像から歩行者を探索する探索密度について、車道と歩道との境界周辺を高密度とする探索密度重点モードを選択する。

探索密度一定モード設定ステップＳ２４０において、探索密度モード設定手段１２０は、探索密度モード選択ステップＳ２３０で選択された結果に基づいて、探索密度一定モードを探索密度モードとして設定する。図７は、探索密度一定モードを探索密度モードとして設定する様子を示す図である。図７において、探索密度モード設定手段１２０は、画像取得ステップＳ２１０で取得された画像から歩行者を探索する探索密度について、当該画像領域内で一定値の探索密度で歩行者を探索するように設定する。

車両用信号機の状態が青色の場合、自動車は走行車線を走行しており、歩行者は歩道で停止しているため、画像取得ステップＳ２１０で取得された画像領域内のうち特定範囲で、重点的に歩行者を探索するのではなく、当該画像領域内で一定値の探索密度で歩行者を探索するように設定する。車両用信号機の状態が赤色の場合、自動車は停止しており、歩行者は横断歩道を横断するため、同様に、画像取得ステップＳ２１０で取得された画像領域内のうち特定範囲で、重点的に歩行者を探索するのではなく、当該画像領域内で一定値の探索密度で歩行者を探索するように設定する。

探索密度重点モード設定ステップＳ２５０において、探索密度モード設定手段１２０は、探索密度モード選択ステップＳ２３０で選択された結果に基づいて、探索密度重点モードを探索密度モードとして設定する。図８は、探索密度重点モードを探索密度モードとして設定する様子を示す図である。図８において、探索密度モード設定手段１２０は、画像取得ステップＳ２１０で取得された画像から歩行者を探索する探索密度について、当該画像領域内のうち、車道と歩道との境界周辺である特定範囲で探索密度を高くして、歩行者を探索するように設定する。一方、特定範囲で探索密度を高くする分、当該特定範囲以外の探索密度は低く設定する。

さらに、車道と歩道との境界周辺である特定範囲で探索密度を高くする方法について、より詳細に説明する。図９は、探索密度重点モード設定ステップＳ２５０の詳細を示すフローチャートである。図９において、探索密度重点モード設定ステップＳ２５０は、探索密度重点範囲設定ステップＳ２５１と、歩行者探索パターン設定ステップＳ２５２とを含む。

探索密度重点範囲設定ステップＳ２５１において、探索密度モード設定手段１２０は、画像取得ステップＳ２１０で取得された画像領域内のうち、歩行者の探索密度を高くする特定範囲を設定する。例えば、図８では、車道と歩道との左右の境界周辺それぞれを特定範囲と設定している。

歩行者探索パターン設定ステップＳ２５２において、探索密度モード設定手段１２０は、探索密度重点範囲設定ステップＳ２５１で設定された特定範囲において、どのような歩行者の基準パターンを探索するかを設定する。

具体的には、車道と左側歩道との境界周辺では、歩道から車道へ飛び出す歩行者は、通常、右向きである。つまり、車道と左側歩道との境界周辺では、右向きの歩行者を重点的に探索すればよい。図１０Ａは、車道と左側歩道との境界周辺において、右向きの歩行者を重点的に探索するように設定する様子を示す図である。図１０Ａにおいて、探索密度モード設定手段１２０は、画像取得ステップＳ２１０で取得された画像領域内のうち、歩行者の探索密度を高くする特定範囲を車道と左側歩道との境界周辺と設定し、さらに、当該特定範囲では、右向きの歩行者の基準パターンを設定し、右向きの歩行者を重点的に探索するようにしている。

同様に、車道と右側歩道との境界周辺では、左向きの歩行者を重点的に探索すればよい。図１０Ｂは、車道と右側歩道との境界周辺において、左向きの歩行者を重点的に探索するように設定する様子を示す図である。図１０Ｂにおいて、探索密度モード設定手段１２０は、画像取得ステップＳ２１０で取得された画像領域内のうち、歩行者の探索密度を高くする特定範囲を車道と右側歩道との境界周辺と設定し、さらに、当該特定範囲では、左向きの歩行者の基準パターンを設定し、左向きの歩行者を重点的に探索するようにしている。

上述のように、左側歩道から車道へ飛び出す歩行者、および右側歩道から車道へ飛び出す歩行者を重点的に探索するように設定している。

なお、画像取得ステップＳ２１０で取得された画像領域内のうち、歩行者の探索密度を高くする特定範囲、および当該特定範囲において、どのような歩行者の基準パターンを探索するかについては、記録手段１３０に予め設定されていてもよい。記録手段１３０には、例えば、車道と歩道との境界線からそれぞれ車道側および歩道側へ２［ｍ］の範囲を特定範囲にするか、および複数の歩行者の基準パターンのうち、具体的にどの歩行者の基準パターンを用いて歩行者を探索するか等が記録されている。探索密度モード設定手段１２０は、車両用信号機の状態に基づいて、探索密度モードを選択し、さらに、記録手段１３０を参照しながら、選択した探索モードに対応する具体的な探索密度を設定する。

歩行者探索ステップＳ２６０において、歩行者探索手段１４０は、探索密度一定モード設定ステップＳ２４０で設定された探索密度一定モード、または探索密度重点モード設定ステップＳ２５０で設定された探索密度重点モードに基づいて、画像取得手段１１０によって取得された画像から歩行者を探索する。具体的には、歩行者探索手段１４０は、設定された探索密度、つまり、設定された粗細度の探索窓を配置および移動させ、当該探索窓内の画像と、設定された歩行者の基準パターンとを比較する。換言すれば、探索密度一定モードでは、歩行者探索手段１４０は、画像取得手段１１０によって取得された画像領域内において、同一粗細度で探索窓を配置および移動させ、当該探索窓内の画像と、設定された歩行者の基準パターンとを比較する。探索密度重点モードでは、歩行者探索手段１４０は、画像取得手段１１０によって取得された画像領域内のうち、設定された特定範囲では、細かい粗細度で探索窓を配置および移動させ、特定範囲以外では、粗い粗細度で探索窓を配置および移動させ、当該探索窓内の画像と、設定された歩行者の基準パターンとを比較する。

結果通知ステップＳ２７０において、結果通知手段１５０は、歩行者探索ステップＳ２６０で探索された結果を通知する。例えば、歩行者探索ステップＳ２６０で歩行者と認識した画像を強調するようにモニタに表示し、さらに、歩行者探索ステップＳ２６０で歩行者と認識した画像のうち、歩道から車道へ飛び出す歩行者であると判定した場合は、警告音を鳴らすことによって運転者に通知してもよい。

以上のように、本発明の一実施形態に係る歩行者検出装置１００によれば、車両用信号機の状態が青色および赤色の場合は、探索密度一定モードを探索密度モードとして設定することによって、画像取得手段１１０によって取得した画像領域内で一定値の探索密度で歩行者を探索する。車両用信号機の状態が黄色の場合は、探索密度重点モードを探索密度モードとして設定することによって、画像取得手段１１０によって取得した画像領域内のうち、車道と歩道との境界周辺である特定範囲で探索密度を高くし、それ以外の範囲の探索密度を低くして、歩行者を探索するように設定する。これにより、画像取得手段１１０によって取得した画像から歩行者を正確に検出しつつ、かつ当該歩行者を検出するための演算量を低減することができる。

より詳細には、歩行者が歩道から車道へ飛び出す可能性が高い車両用信号機の状態が黄色である場合は、車道と歩道との境界周辺について探索密度を高くし、それ以外の範囲の探索密度を低くすることによって、歩行者を検出するための演算量を増加させることなく、歩道から車道へ飛び出す歩行者を重点的に検出することができる。

なお、本実施形態では、車両用信号機の状態に基づいて、探索密度モードを選択していたが、これに限定されるものでなく、歩行者用信号機の状態に基づいて、探索密度モードを選択しても構わない。図１１は、図３に示した車両の前方画像から歩行者用信号機を検出する様子を示す図である。図１１おいて、信号機状態判定手段１２１は、画像取得手段１１０によって取得された車両の前方画像から、自車の走行車線における横断歩道の歩行者用信号機を検出する。

そして、信号機状態判定手段１２１は、検出した歩行者用信号機の状態を判定する。具体的には、信号機状態判定手段１２１は、検出した歩行者用信号機の状態が、赤色であるか、青色であるか、または青色点滅であるかを判定する。

図１２は、歩行者用信号機の状態遷移と、自動車および歩行者の行動傾向とを示す図である。図１２に示すように、歩行者用信号機は、通常、赤色→青色→青色点滅→赤色→…の順に状態遷移する。

歩行者用信号機の状態が赤色の場合、自動車は走行車線を走行し、歩行者は歩道から車道へ侵入しない（歩行者は歩道で停止している）。歩行者用信号機の状態が青色の場合、自動車は停止し、歩行者は歩道から車道へ侵入している（歩行者は横断歩道を横断する）。換言すれば、歩行者用信号機の状態が赤色および青色の場合は、自動車および歩行者のうち、一方は走行中（横断中）であり、他方は完全に停止している状態である。

歩行者用信号機の状態が青色から青色点滅に遷移した場合、自動車は、発進する準備をし、さらには、見切り発進する可能性がある。一方、歩行者は、自動車が見切り発進する可能性があるにも拘らず、急いで歩道から車道へ飛び出す傾向がある（歩行者は横断歩道を駆け込み横断する）。つまり、歩行者用信号機の状態が青色点滅である場合、自動車は、特に、歩道から車道へ飛び出す歩行者に注意する必要がある。

このような歩行者用信号機の状態と、自動車および歩行者の行動傾向とに基づいて、探索密度モード選択手段１２２は、探索密度一定モードと探索密度重点モードとのいずれかの探索密度モードを選択する。

図１３は、歩行者用信号機の状態に対する探索密度モードを示す図である。上述したように、歩行者用信号機の状態が青色点滅である場合、自動車は、特に、歩道から車道へ飛び出す歩行者に注意する必要があるため、歩行者検出装置１００は、車道と歩道との境界周辺について、重点的に歩行者を探索する。つまり、探索密度モード選択手段１２２は、歩行者用信号機の状態が赤色または青色である場合、歩行者を検出するために取得した画像から歩行者を探索する探索密度について、当該探索密度を一定値とする探索密度一定モードを選択する。一方、探索密度モード選択手段１２２は、歩行者用信号機の状態が黄色である場合、歩行者を検出するために取得した画像から歩行者を探索する探索密度について、車道と歩道との境界周辺を高密度とする探索密度重点モードを選択する。

上述のように、歩行者用信号機の状態に基づいて、探索密度モードを選択しても、車両用信号機の状態に基づいて、探索密度モードを選択した場合と同一の効果が得られることは言うまでもない。

さらに、車両用信号機の状態と歩行者用信号機の状態との両方に基づいて、探索密度モードを選択しても構わない。具体的には、例えば、車両用信号機の状態が赤色であって、歩行者用信号機の状態が青色点滅の場合が想定される。この場合、歩行者用信号機の状態を優先し、探索密度モード選択手段１２２は、探索密度重点モードを選択する。また、車両用信号機の状態が黄色であって、歩行者用信号機の状態が赤色の場合が想定される。この場合、車両用信号機の状態を優先し、探索密度モード選択手段１２２は、探索密度重点モードを選択する。

つまり、車両用信号機の状態が青色または赤色である場合、かつ歩行者用信号機の状態が青色または赤色である場合、探索密度モード選択手段１２２は、探索密度一定モードを選択する。一方、車両用信号機の状態が黄色である場合、または歩行者用信号機の状態が青色点滅である場合、探索密度モード選択手段１２２は、探索密度重点モードを選択する。

また、本実施形態は、カメラによって車両の前方画像を取得し、当該画像から信号機の状態を認識していたが、これに限定されるものでなく、例えば、安全運転支援システム（ＤＳＳＳ：Driving Safety Support Systems）によって、信号機の状態を認識しても構わない。具体的には、道路に設置された光ビーコンから車両へ信号機の状態（信号情報）を通知することによって、車両は、カメラによって車両の前方画像を取得し、当該画像から信号機の状態を認識しなくてもよい。

また、本実施形態は、信号機の状態に基づいて、歩行者が歩道から車道へ飛び出す可能性を考慮して、探索密度モードを選択していたが、これに限定されるものではない。例えば、信号機が設置されていない横断歩道では、歩行者が歩道から車道へ飛び出す可能性が高いと推測できる。この場合、画像取得手段１１０によって取得された画像から信号機が設置されていない横断歩道を認識し、探索密度モード選択手段１２２は、当該横断歩道を自車が走行する際には、当該横断歩道における車道と歩道との境界周辺について探索密度を高くする探索密度重点モードを選択してもよい。

さらに、交差点において、車両の走行車線に、歩行者が飛び出す可能性が高いと推測できる。この場合も同様に、画像取得手段１１０によって取得された画像から交差点を認識し、探索密度モード選択手段１２２は、当該交差点に自車が進入する際には、当該交差点における他の道路との境界周辺について探索密度を高くする探索密度重点モードを選択してもよい。

なお、本実施形態では、探索対象を歩行者としていたが、これに限定されるものではない。例えば、記録手段１３０に予め自転車の基準パターンを記録しておけば、自転車を探索対象にしても同様の効果が得られることは言うまでもない。

なお、本実施形態では、図７に示した探索密度一定モード、および図８、図１０Ａ、および図１０Ｂに示した探索密度重点モードを、探索密度として例示したが、これらに限定されるものではない。その他の関数およびヒューリスティックに基づいたモードを設定しても構わない。

本発明は、歩行者を検出するための演算量を低減しつつ、歩道から車道へ飛び出す歩行者を正確に検出する歩行者検出装置等に有用である。

１００ 歩行者検出装置
１１０ 画像取得手段
１２０ 探索密度モード設定手段
１２１ 信号機状態判定手段
１２２ 探索密度モード選択手段
１３０ 記録手段
１４０ 歩行者探索手段
１５０ 結果通知手段
２００ 歩行者検出方法
Ｓ２１０ 画像取得ステップ
Ｓ２２０ 信号機状態判定ステップ
Ｓ２３０ 探索密度モード選択ステップ
Ｓ２４０ 探索密度一定モード設定ステップ
Ｓ２５０ 探索密度重点モード設定ステップ
Ｓ２５１ 探索密度重点範囲設定ステップ
Ｓ２５２ 歩行者探索パターン設定ステップ
Ｓ２６０ 歩行者探索ステップ
Ｓ２７０ 結果通知ステップ

Claims (10)

1. 車両に搭載される歩行者検出装置であって、
   前記車両周辺の画像を取得する画像取得手段と、
   前記画像取得手段によって取得された画像から歩行者を探索する探索密度について、当該画像領域内で探索密度を一定とする探索密度一定モードと、当該画像領域内のうち、探索密度が高い第１領域と探索密度が低い第２領域とを設定する探索密度重点モードとのいずれかの探索密度モードを、道路状況に応じて設定する探索密度モード設定手段と、
   前記探索密度モード設定手段によって設定された探索密度モードに基づいて、前記画像取得手段によって取得された画像から歩行者を探索する歩行者探索手段と、
   前記歩行者探索手段によって探索された結果を通知する結果通知手段とを備える、歩行者検出装置。
2. 前記探索密度モード設定手段は、歩行者が車道に存在する可能性に基づいて、前記探索密度一定モードと、前記探索密度重点モードとのいずれかの探索密度モードを設定することを特徴とする、請求項１に記載の歩行者検出装置。
3. 前記探索密度モード設定手段は、
   歩行者が将来的に車道に存在する可能性が低い場合、前記探索密度一定モードを探索密度モードとして設定し、
   歩行者が将来的に車道に存在する可能性が高い場合、前記探索密度重点モードを探索密度モードとして設定することを特徴とする、請求項２に記載の歩行者検出装置。
4. 前記探索密度モード設定手段は、車両用信号機の状態および／または歩行者用信号機の状態に基づいて、前記探索密度一定モードと、前記探索密度重点モードとのいずれかの探索密度モードを設定することを特徴とする、請求項３に記載の歩行者検出装置。
5. 前記探索密度モード設定手段は、
   前記車両用信号機の状態が青色または赤色である場合、前記探索密度一定モードを探索密度モードとして設定し、
   前記車両用信号機の状態が黄色である場合、前記探索密度重点モードを探索密度モードとして設定することを特徴とする、請求項４に記載の歩行者検出装置。
6. 前記探索密度モード設定手段は、
   前記歩行者用信号機の状態が青色または赤色である場合、前記探索密度一定モードを探索密度モードとして設定し、
   前記歩行者用信号機の状態が青色点滅である場合、前記探索密度重点モードを探索密度モードとして設定することを特徴とする、請求項４に記載の歩行者検出装置。
7. 前記探索密度モード設定手段は、
   前記車両用信号機の状態が青色または赤色である場合、かつ前記歩行者用信号機の状態が青色または赤色である場合、前記探索密度一定モードを探索密度モードとして設定し、
   前記車両用信号機の状態が黄色である場合、または前記歩行者用信号機の状態が青色点滅である場合、前記探索密度重点モードを探索密度モードとして設定することを特徴とする、請求項４に記載の歩行者検出装置。
8. 前記探索密度重点モードにおいて、前記第１領域は、車道と歩道との境界周辺であることを特徴とする、請求項１〜７のいずれかに記載の歩行者検出装置。
9. 前記探索密度重点モードにおいて、歩道から車道へ飛び出す歩行者に対する探索密度が高いことを特徴とする、請求項８に記載の歩行者検出装置。
10. 車両に搭載される歩行者検出装置が実行する歩行者検出方法であって、
    前記車両周辺の画像を取得する画像取得ステップと、
    前記画像取得ステップで取得された画像から歩行者を探索する探索密度について、当該画像領域内で探索密度を一定とする探索密度一定モードと、当該画像領域内のうち、探索密度が高い第１領域と探索密度が低い第２領域とを設定する探索密度重点モードとのいずれかの探索密度モードを設定するかを、道路状況に応じて選択する探索密度モード選択ステップと、
    前記探索密度モード選択ステップで選択された結果に基づいて、前記探索密度モードを設定する探索密度モード設定ステップと、
    前記探索密度モード設定ステップで設定された探索密度モードに基づいて、前記画像取得ステップで取得された画像から歩行者を探索する歩行者探索ステップと、
    前記歩行者探索ステップで探索された結果を通知する結果通知ステップとを含む、歩行者検出方法。

Images