JP2014006075A - 歩行者検知装置 - Google Patents

Abstract

【課題】歩行者検知装置において、歩行者の検知に必要な演算量を抑制する。
【解決手段】レーダセンサによって検出された物標の物標情報に基づき、エッジ画像の画面上の位置において物標情報が示す位置に対応する位置に、検出物標までの距離に対応した領域サイズを有するに単位領域を設定する（S140）。その単位領域を複数のセルに分割（縦８分割、横４分割）し（S150）、これらのセルのうち、上から２段目に位置する４個のセル（対象セル）のそれぞれについて、ＨＯＧ特徴量を算出する（S160）。４個の対象セルのうち、内側に位置する二つのセル（着目セル）の特徴量の合計値をＳａ、外側に位置する二つのセル（比較セル）の合計値をＳｂとして、その比を表す判定値Ｈ（＝Ｓｂ／Ｓａ）を算出し（S170）、判定値Ｈが閾値ＴＨより小さければ歩行者、閾値ＴＨ以上であれば非歩行者であると判定する（S180〜S200）。
【選択図】図２

Description

本発明は、レーダ装置の測定結果から歩行者の存在を検知する歩行者検知装置に関する。

従来、車両に搭載したレーダ装置やカメラを用いて自車両の前方に存在する歩行者や車両等の各種物標を識別し、運転者に対する警告や車両制御を行うことで運転支援を実現する装置が知られている。

この種の装置では、検出した物標が何であるかを識別すること、特に歩行者であるか否かを識別することが重要となる。そして、レーダ装置を用いた場合、レーダ波を反射した反射点についての位置情報（距離，方位）が得られるため、その位置情報に基づいて反射点をクラスタ化し、そのクラスタの大きさ，形状，位置や時系列的な変化等から物標の種類を推定することが行われている。

一方、カメラを用いた場合、入力画像を複数のセルに分割し、そのセルのそれぞれについて特徴量（ＨＯＧ，ＨａａｒＬｉｋｅ等）を求め、所定個のセル（例えば横４セル×縦８セル）で構成される単位領域毎に、検出対象となる物標について予め用意された特徴量パタンと比較（パタン認識）することで、単位領域内に検出対象となる物標が存在するか否かを判定することが行われている（例えば、特許文献１参照）。

特開２０１１−１９１２２７号公報

三井，山内，藤吉「Joint HOG特徴を用いた２段階AdaBoost による人検出」第１４回センシングシンポジウム SSII08,IN1-06,2008

しかし、レーダ装置での検出結果に基づく物標の識別では、検出結果の解像度が低いため、十分な識別精度を得ることができないという問題があった。また、カメラからの入力画像に基づく物標の識別では、識別精度を向上させることが可能であるものの、識別に必要な演算量が著しく増大するという問題があった。

即ち、単位領域毎に特徴量を用いてパタン認識を行う場合、まず、入力画像の全体が網羅されるように入力画像から多数の単位領域を切り出し、その切り出した単位領域毎にパタン認識を行う必要がある。しかも、入力画像に写り込んだ物標は、自車両からの距離に応じて様々な大きさとなるため、これを正確に検出するためには、大きさの異なる様々なサイズの単位領域を用意し、その全てのサイズについて、上述の単位領域の切り出しとパタン認識を繰り返す必要があるだけでなく、単位領域の大きさが変化すれば、セルの大きさも当然変化するため、そのセルの大きさに合わせて特徴量も算出し直す必要がある。

そこで、本発明は、上記問題点を解決するために、歩行者の検知に必要な演算量が抑制された歩行者検知装置を提供することを目的とする。

上記目的を達成するためになされた本発明の歩行者検知装置では、レーダ手段が、レーダ波を送受信することで予め定められた探査領域内に存在する物標との相対的な位置関係を検出すると共に、撮像手段が、探査領域を撮像した撮像画像を生成する。

すると、領域設定手段が、レーダ手段で検出された物標である検出物標の位置に対応する撮像画像上の位置に、該検出物標との距離に応じて決まる、撮像画像上での標準的な歩行者の大きさに相当する単位領域を設定し、更に、特徴量算出手段が、単位領域を分割した部分領域であるセルのそれぞれについて、撮像画像の情報に従って予め定められた特徴量を求める。

そして、判定手段が、単位領域を構成するセルのうち、単位領域に予め定められた状態で歩行者が映り込んでいれば該歩行者の肩及び首が存在する可能性が他のセルと比較して高い少なくとも一つのセルを着目セル、該歩行者の輪郭が存在する可能性が他のセルと比較して低い少なくとも一つのセルを比較セルとして、特徴量算出手段で算出された着目セル及び比較セルの特徴量を用いて、前記単位領域に映り込んでいる物標が歩行者であるか否かを判定する。

即ち、歩行者の特徴が顕著に表れるのは、歩行者の首から肩にかけての輪郭ラインであるため、そこに相当するセルを着目セルとして使用している。なお、予め定められた状態とは、単位領域に歩行者の全体がちょうど収まっている状態であり、この場合、単位領域内の決まった位置が着目セルや比較セルとなる。

このように構成された本発明の歩行者検知装置によれば、単位領域を構成する全てのセルの特徴量を使用するのではなく、着目セルや比較セルという予め定められた一部のセルの特徴量だけを使用して歩行者であるか否かの判定を行うため、判定に要する演算量を抑制することができる。

なお、単位領域及びセルが矩形状であり、セルが、単位領域を横に４分割、縦に８分割した大きさに設定されている場合、記判定手段では、単位領域の中で上から２段目に位置する４個のセルのうち、内側に位置する二つのセルを着目セル、外側に位置する二つのセルを比較セルとして用いればよい。

更に、特徴量算出手段にて算出される特徴量がＨＯＧ（Histgrams of Oriented Gradients ）特徴量である場合、判定手段では、比較セルの特徴量の合計値に対する着目セルの特徴量の合計値の比が大きいほど、単位領域に映り込んでいる物標が歩行者である可能性が高いものとして、その比が予め定められた閾値より大きい場合に歩行者であると判定すればよい。

運転支援システムの全体構成を示すブロック図である。 歩行者判定処理の内容を示すフローチャートである。 単位領域とセルの関係、及びＨＯＧ特徴量の算出方法を示す説明図である。 歩行者が映り込んでいる単位領域の例、その単位領域を構成する各セルについて、ＨＯＧ特徴量を求めた結果を示すヒストグラム及び表である。 歩行者が映り込んでいる単位領域の例、その単位領域を構成する各セルについて、ＨＯＧ特徴量を求めた結果を示すヒストグラム及び表である。 歩行者が映り込んでいる単位領域の例、その単位領域を構成する各セルについて、ＨＯＧ特徴量を求めた結果を示すヒストグラム及び表である。 非歩行者が映り込んでいる単位領域の例、その単位領域を構成する各セルについて、ＨＯＧ特徴量を求めた結果を示すヒストグラム及び表である。 非歩行者が映り込んでいる単位領域の例、その単位領域を構成する各セルについて、ＨＯＧ特徴量を求めた結果を示すヒストグラム及び表である。

以下に本発明の実施形態を図面と共に説明する。
＜全体構成＞
本発明が適用された運転支援システム１は、図１に示すように、自車両の前方に設定された探査領域を撮像する画像センサ２と、探査領域に向けてレーダ波を照射し、その反射波を受信するレーダセンサ３と、画像センサ２及びレーダセンサ３での検出結果に従って、探査領域内に存在する歩行者を検知する歩行者検知処理部４と、歩行者検知処理部４での処理結果に従い、各種車載機器を制御して所定の運転支援を実行する運転支援実行部５とを備えている。

このうち、画像センサ２は、ルームミラー近傍の車室内に配置されたＣＣＤカメラからなる。また、レーダセンサ３は、車両の前端部に配置され、探査領域内を２次元的に走査する周知のレーザレーダからなる。

また、運転支援実行部５の制御対象となる車載機器には、各種画像を表示するモニタや、警報音や案内音声を出力するスピーカが少なくとも含まれている。更に、制御対象となる車載機器には、自車両に搭載された内燃機関，パワートレイン機構，ブレーキ機構等を制御する各種制御装置が含まれていてもよい。

＜歩行者検知処理部＞
歩行者検知処理部４は、画像センサ２から取得される画像データに基づき、物標の輪郭を表すエッジ画像を生成する画像処理部４１と、画像処理部４１にて生成されたエッジ画像の画像データを記憶する画像メモリ４２と、レーダセンサ３から取得される情報（レーダ波の送信タイミング、反射波の受信タイミング、反射波の到来方向等）に基づき、物標との相対的な位置関係を表す物標情報を生成する物標情報生成部４３と、画像メモリ４２に記憶された画像データ及び物標情報生成部４３で生成された物標情報に基づいて、レーダセンサ３を用いて検出された物標（以下「検出物標」という）が歩行者であるか否かを判定し、その判定結果を物標情報と共に運転支援実行部５に供給する歩行者判定部４４とを備えている。

なお、画像処理部４１は、隣接する画素の輝度値の差を求めることでエッジ画像を生成する周知のものであり、画像メモリ４２は、少なくとも１画面分の画像データを記憶する記憶容量を有している。物標情報生成部４３及び歩行者判定部４４は、ＣＰＵ，ＲＯＭ，ＲＡＭ等を備えた周知のマイクロコンピュータが実行する処理によって実現される。

なお、物標情報生成部４３が実行する処理は、レーダ波の送信タイミングから反射波の受信タイミングまでの時間差から、レーダ波を反射した反射点までの距離を求めると共に、レーダ波の照射方向、或いは受信ビームの方向等から反射波の到来方向を求め、更に、これらの情報を用いて反射点をクラスタ化したものを物標として検出する周知のものであるため、ここではその詳細についての説明を省略する。

＜歩行者判定処理＞
歩行者判定部４４が実行する歩行者判定処理の内容を、図２に示すフローチャートに沿って説明する。本処理は、予め設定された時間間隔で周期的に起動する。

本処理が起動すると、まず、画像センサ２及びレーダセンサ３を作動させ、エッジ画像及び検出物標の位置情報（物標情報）を取得する（Ｓ１１０）。
次に、検出物標の中に、以下で説明する処理（Ｓ１３０〜Ｓ２００）を実施していない未処理物標が存在するか否かを判断し（Ｓ１２０）、未処理物標が存在すれば、未処理物標の中から一つの物標を選択する（Ｓ１３０）。

そして、Ｓ１３０で選択された物標である選択物標の物標情報に基づき、エッジ画像の画面上に単位領域を設定する（Ｓ１４０）。具体的には、標準的な身長を有する歩行者（立位の人間）の全身が収まる実空間内での領域サイズ（例えば、２００ｃｍ×１００ｃｍ）を標準サイズとして、選択物標までの距離だけ離れた位置にある標準サイズの領域の画面上での大きさと略一致するように単位領域の領域サイズを設定する。なお、領域サイズは予め用意された複数のサイズの中から選択するようにしてもよい。そして、選択物標の物標情報に基づき、エッジ画像の画面上での選択物標の位置を求め、選択物標（クラスタ）の下端が単位領域の下端と一致し、且つ、選択物標が単位領域の横方向の中心に位置するように、画面上での単位領域の位置を設定する。

このようにして設定された単位領域を、図３（ａ）に示すように、縦に８分割、横に４分割した合計３２個の部分領域（セル）に分割し（Ｓ１５０）、これらのセルのうち、上から２段目に位置する４個のセル（以下「対象セル」ともいう）のそれぞれについて、ＨＯＧ特徴量を算出する（Ｓ１６０）。

なお、ＨＯＧ特徴量は、以下のようにして求められる値である。即ち、図３（ｂ）に示すように、セルをｎ×ｎ個（図ではｎ＝５）の領域に分割し、分割した領域の横座標をｘ、縦座標をｙ、座標（ｘ，ｙ）での輝度をＬ（ｘ，ｙ）で表すものとして、まず、各分割領域の勾配強度ｍ（ｘ，ｙ）を（１）式、勾配方向θ（ｘ，ｙ）を（２）式により算出する。但し、ｆｘ（ｘ，ｙ）は勾配のｘ方向成分、ｆｙ（ｘ，ｙ）は勾配のｙ方向成分であり、（３）（４）式によって定義される値である。

そして、０°〜１８０°までをｍ（ここではｍ＝９）方向に分割し、勾配方向が同じ方向であると見なすことができる分割領域の勾配強度を合計したものを、その方向の勾配強度とする輝度勾配ヒストグラムを作成する（図４参照）。この輝度ヒストグラムによって表されるｍ次元の値がＨＯＧ特徴量である。

次に、Ｓ１６０で抽出された４個の対象セルのうち、内側に位置する二つを着目セル、外側に位置する二つを比較セルとして、着目セル同士の特徴量の合計値を内合計値Ｓａ、比較セル同士の特徴量の合計値を外合計値Ｓｂとして、その比を表す判定値Ｈ（＝Ｓｂ／Ｓａ）を算出する（Ｓ１７０）。

ここで、特徴量の合計値は、各勾配方向の勾配強度を単純に加算することで算出する。合計値の算出方法はこれに限らず、例えば、勾配方向毎に重み付けした加重平均値を求めるようにしてもよい。

つまり、判定値Ｈは、外合計値Ｓｂに対する内合計値Ｓａの比が大きいほど小さな値となり、また、判定値Ｈが小さいほど、歩行者が単位領域に映り込んでいる可能性が高いと見なすことができる。

次に、判定値Ｈが予め設定された閾値ＴＨ（例えばＴＨ＝１／３）より小さいか否かを判断する（Ｓ１８０）。なお、閾値ＴＨは、実験結果等から経験的に決められる値である。

そして、判定値Ｈが閾値ＴＨより小さければ、選択物標（単位領域内の検出物標）は歩行者であると判断し、その旨を表す歩行者判定情報を物標情報に追加して（Ｓ１９０）、Ｓ１２０に戻る。一方、判定値Ｈが閾値ＴＨ以上であれば、選択物標は歩行者ではない（非歩行者である）と判断し、その旨を表す歩行者判定情報を物標情報に追加して（Ｓ２００）、Ｓ１２０に戻る。

先のＳ１２０で未処理物標がないと判定された場合は、歩行者判定情報付き物標情報を運転支援実行部５に出力して（Ｓ２１０）、本処理を終了する。
＜判定値の算出例＞
単位領域を構成する各セルのＨＯＧ特徴量を求めた結果を図４〜８に示す。

なお、図４，５，６は、単位領域に歩行者が映り込んでいる場合（後姿１，後姿２，横姿）であり、図７，８は、単位領域に非歩行者（ここでは電柱、看板）が映り込んでいる場合を示す。

それぞれの単位領域を構成するセルのうち、Ｂ−ｂ，Ｃ−ｂで特定されるセルが着目セル、Ａ−ｂ，Ｄ−ｂで特定されるセルが比較セルとなる。
判定値Ｈは、図４の場合がＨ＝（２２０＋２６５）／（２４１８＋２９１５）＝０．０９１（＜１／３）、図５の場合がＨ＝（２７９＋２７４）／（２１７９＋３２６１）＝０．１０２（＜１／３）、図６の場合がＨ＝（３１７＋１７６）／（２２８６＋２５６２）＝０．１０２（＜１／３）、図７の場合がＨ＝（３０３＋３２９）／（７２１＋５０６）＝０．５１５（＞１／３）、図８の場合がＨ＝（０＋１５４２）／（３３７＋２０１７）＝０．６５５（＞１／３）であり、いずれも歩行者であるか否かの判定が正しく行われることがわかる。

＜効果＞
以上説明したように、運転支援システム１では、レーダセンサ３での検出物標が歩行者であるか否かを、画像センサ２から得られる画像データを画像処理した結果によって判定している。しかも、その画像処理では、検出物標に対応する画面上の位置に、検出物標までの距離に対応した領域サイズを有するに単位領域を設定し、その単位領域を分割したセルのうち、一部のセル（対象セル）だけを使用し、その対象セルのＨＯＧ特徴量から求めた判定値Ｈによって歩行者であるか否かの判定を行っている。

従って、運転支援システム１によれば、画面を網羅するように単位領域を切り出し、単位領域を構成する全てのセルのＨＯＧ特徴量を使用してパタン認識を行う従来装置と比較して、歩行者判定に要する演算量を大幅に抑制することができる。

例えば単位領域を横に４分割、縦に８分割する場合で比較すると、引用の論文（三井，山内，藤吉「Joint HOG特徴を用いた２段階AdaBoost による人検出」第１４回センシングシンポジウム SSII08,IN1-06,2008）のように、全てのセルのＨＯＧ特徴量を使用して、認識処理を行う場合に比べ、ＨＯＧ特徴量の計算を本発明では１行のみ実施するので、計算量は1/８となる。さらに本発明においては歩行者の判定式が４つのセルのＨＯＧ特徴量を使って、加算２回、除算１回のみであるのに対し、引用の論文の方法では判定式が、数百以上の特徴量のセル数分の組み合わせになるため、計算量の低減効果は明らかである。

＜他の実施形態＞
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、様々な態様での実施が可能である。

例えば、上記実施形態では、単位領域を縦８個、横４個に分割し、上から２段目に位置する４個のセルを着目セル、比較セルとして使用しているが、着目セルや比較セルは、単位領域の分割の仕方に応じて、肩や首が位置する可能性が高いところに適宜設定すればよい。

上記実施形態ではセル毎に算出する特徴量としてＨＯＧ特徴量を用いているが、歩行者の肩から首にかけた輪郭ラインの形状に反応して大きな値（又は小さな値）となる特徴量であれば、どのような特徴量を用いてもよい。

上記実施形態では、一つの検出物標に対して一つの単位領域を設定しているが、一つの検出物標に対して複数の単位領域を設定してもよい。この場合、例えば、上記実施形態で使用する単位領域に加えて、この単位領域を１セル分だけ上，下，左，右，斜め左上，斜め右上，斜め左下，斜め右下にそれぞれずらした合計９個の単位領域を設定するようにしてもよいし、上記実施形態で使用する単位領域に加えて、領域サイズを所定倍率で変更した複数の単位領域を設定するようにしてもよい。

これらの場合、例えば、単位領域のそれぞれについて判定値Ｈを求め、判定値Ｈの値が最も小さい単位領域について判定を行うようにすればよい。このようにすることで、前者の場合、画面上での歩行者の位置の検出精度を向上させることができ、また、後者の場合、歩行者の大きさが標準サイズより大きかったり小さかったりした場合でも、高い識別性能を実現することができる。

１…運転支援システム ２…画像センサ ３…レーダセンサ ４…歩行者検知処理部 ５…運転支援実行部 ４１…画像処理部 ４２…画像メモリ ４３…物標情報生成部 ４４…歩行者判定部

Claims (5)

1. レーダ波を送受信することで予め定められた探査領域内に存在する物標との相対的な位置関係を検出するレーダ手段（３，４３）と、
   前記探査領域を撮像した撮像画像を生成する撮像手段（２，４１，４２）と、
   前記レーダ手段で検出された物標である検出物標の位置に対応する前記撮像画像上の位置に、前記検出物標との距離に応じて決まる、前記撮像画像上での標準的な歩行者の大きさに相当する単位領域を設定する領域設定手段（４４，Ｓ１４０）と、
   前記単位領域を分割した部分領域であるセルのそれぞれについて、前記撮像画像の情報に従って予め定められた特徴量を求める特徴量算出手段（４４，Ｓ１５０，Ｓ１６０）と、
   前記単位領域を構成するセルのうち、前記単位領域に予め定められた状態で歩行者が映り込んでいれば該歩行者の肩及び首が存在する可能性が他のセルより高い少なくとも一つのセルを着目セル、該歩行者の輪郭が存在する可能性が他のセルより低い少なくとも一つのセルを比較セルとして、前記特徴量算出手段で算出された前記着目セル及び前記比較セルの特徴量を用いて、前記単位領域に映り込んでいる物標が歩行者であるか否かを判定する判定手段（４４，Ｓ１７０〜Ｓ２００）と、
   を備えることを特徴とする歩行者検知装置（２，３，４）。
2. 前記単位領域および前記セルは矩形状であり、前記セルは、前記単位領域を横に４分割、縦に８分割した大きさに設定され、
   前記判定手段は、前記単位領域の中で上から２段目に位置する４個のセルのうち、内側に位置する二つのセルを前記着目セル、外側に位置する二つのセルを前記比較セルとして用いることを特徴とする請求項１に記載の歩行者検知装置。
3. 前記特徴量算出手段にて算出される前記特徴量はＨＯＧ（Histgrams of Oriented Gradients ）特徴量であり、
   前記判定手段は、前記対象セルのうち、外側に位置する二つのセルの特徴量の合計値を外合計値、内側に位置する二つのセルの特徴量の合計値を内合計値として、前記外合計値に対する前記内合計値の比が大きいほど、前記単位領域に映り込んでいる物標が歩行者である可能性が高いものとして、該比が予め定められた閾値より大きい場合に歩行者であると判定することを特徴とする請求項２に記載の歩行者検知装置。
4. 前記領域設定手段は、物標との距離に応じた大きさに設定される単位領域を予め設定された倍率で拡大又は縮小することで複数種類の単位領域を設定し、
   前記特徴量算出手段及び前記判定手段は、前記領域設定手段にて設定された単位領域毎に、処理を実行することを特徴とする請求項１乃至請求項３のいずれか１項に記載の歩行者検知装置。
5. 前記領域設定手段は、予め設定された範囲内で位置をずらした複数種類の単位領域を設定し、
   前記特徴量算出手段及び前記判定手段は、前記領域設定手段にて設定された単位領域毎に、処理を実行することを特徴とする請求項１乃至請求項３のいずれか１項に記載の歩行者検知装置。