JP2008065757A - 運転支援装置 - Google Patents

Abstract

【課題】 夜間に車両を走行させている状況下で歩行者の検出をより安定して行うことができる運転支援装置の提供。
【解決手段】 道路を含む車両の周囲を撮像する撮像手段によって得られた撮像画像に対して、車両の振動量に応じた補正処理を施し（Ｓ１０３）、その補正後の撮像画像から、道路に相当する道路領域を検出し（Ｓ１０４）、その撮像画像から検出された歩行者候補と、検出された道路領域との位置関係に基づいて、前記検出された歩行者候補が歩行者であるか否かを判定する（Ｓ１０７及びＳ１０８）。
【選択図】 図２

Description

本発明は、車両の運転を支援する運転支援装置に関し、特に車両周辺の歩行者を検出することができる運転支援装置に関する。

近年、情報処理技術の発展に伴って、二輪車及び四輪車などの車両の走行に関する情報を取得し、その情報を用いてその車両の運転を支援する運転支援装置が研究されている。このような運転支援装置として、例えば、車両の走行中に周辺領域における歩行者の検出を行い、その結果を運転者に報知するものが注目されている。特に夜間の走行においては、運転者が歩行者を目視で捉えることが困難な場合もあるため、そのような運転支援装置の必要性が高い。

歩行者を検出する運転支援装置としては、例えば、２台の赤外線カメラで撮影された赤外線画像において、歩行者の頭部に相当する領域と、歩行者の肩上方空間に相当する領域とを設定し、それらの設定した領域に基づいて歩行者を認識するものが提案されている（例えば、特許文献１を参照。）。

この運転支援装置によれば、赤外線画像に捉えられた歩行者の頭から肩に相当する領域を認識することができるため、単に領域の縦横比のみに注目する場合などと比べて、歩行者の検出をより安定して行うことができる。
特開２００４−３０３２１９号公報

ところで、走行中の車両には振動が発生するため安定した画像を得ることができない場合があり、上記の従来の運転支援装置では歩行者でないものを誤って歩行者と認識したり、歩行者であるものを歩行者と認識できなかったりすることもある。特に、運転支援装置を二輪車に搭載する場合、二輪車は四輪車と比べて振動が大きくなるため、安定した画像を得ることが難しくなる傾向にある。

本発明は斯かる事情に鑑みてなされたものであり、その目的は、歩行者の検出をより安定して行うことができる運転支援装置を提供することにある。

上述した課題を解決するために、本発明の運転支援装置は、車両に搭載され、当該車両の運転を支援する運転支援装置において、前記車両の周囲を撮像する撮像手段と、当該撮像手段によって得られた撮像画像を、前記車両の振動量に応じて補正する画像補正手段と、 当該画像補正手段による補正後の撮像画像から、歩行者を検出する歩行者検出手段とを備える。

このように構成することによって、車両の振動により撮像画像に乱れが生じた場合であっても、歩行者の検出をより安定して行うことができる。

上記発明に係る運転支援装置において、前記撮像手段は、所定の時間間隔で複数の撮像画像を取得するように構成されており、前記画像補正手段は、前記撮像手段によって得られた先行する撮像画像と後行する撮像画像とを比較し、その比較した結果に基づいて、前記後行する撮像画像を補正するように構成されていてもよい。

また、上記発明に係る運転支援装置において、前記撮像手段は、道路を含む前記車両の周囲を撮像するように構成され、前記撮像手段によって得られた撮像画像から、道路に相当する道路領域を検出する道路領域検出手段を更に備え、前記歩行者検出手段は、歩行者候補を検出し、その検出された歩行者候補と、前記道路領域検出手段によって検出された道路領域と前記下方に位置する領域との位置関係に基づいて、前記検出された歩行者候補が歩行者であるか否かを判定するように構成されていてもよい。

また、上記発明に係る運転支援装置において、前記歩行者検出手段は、前記検出された歩行者候補の下部が、前記検出された道路領域に接している場合に、当該検出された歩行者候補を歩行者であると判定するように構成されていてもよい。

また、上記発明に係る運転支援装置において、前記道路領域検出手段は、前記撮像画像における特定の領域の面積の大きさ及びその位置に基づいて、当該特定の領域が道路領域であるか否かを判定するように構成されていてもよい。

また、上記発明に係る運転支援装置において、前記道路領域検出手段は、前記特定の領域の面積が他の領域と比べて大きく、しかも当該特定の領域が下方に位置する場合に、当該特定の領域を道路領域と判定するように構成されていてもよい。

また、上記発明に係る運転支援装置において、前記撮像手段は、遠赤外線カメラであり、 前記道路領域検出手段は、前記撮像画像における特定の領域の輝度変化に基づいて、当該特定の領域が道路領域であるか否かを判定するように構成されていてもよい。

また、上記発明に係る運転支援装置において、前記道路領域検出手段は、前記特定の領域の輝度変化が他の領域と比べて小さい場合に、当該特定の領域を道路領域と判定するように構成されていてもよい。

また、上記発明に係る運転支援装置において、前記撮像手段は、遠赤外線カメラであり、 前記歩行者検出手段は、他の領域と比べて輝度の高い領域を歩行者と判定するように構成されていてもよい。

また、上記発明に係る運転支援装置において、前記撮像手段は、遠赤外線カメラであり、 前記歩行者検出手段は、他の領域と比べて輝度の高い領域と人の頭部の形状パターンとを比較し、その比較した結果に基づいて、前記輝度の高い領域が歩行者候補の頭部に相当する頭部領域であるか否かを判定し、前記輝度の高い領域が頭部領域であると判定された場合に、前記輝度の高い領域を含む領域を歩行者候補と判定するように構成されていてもよい。

撮像手段として遠赤外線カメラを用いる場合、通常着衣の影響のない人の頭部は、高い輝度で表されていることが多いため、その検出は容易且つより安定して行うことができる。したがって、上記のように構成することによって、歩行者の検出をより安定して行うことが可能となる。

また、上記発明に係る運転支援装置において、前記歩行者検出手段は、前記輝度の高い領域の下方に位置する領域と人の頭部以外の形状パターンとを比較し、その比較した結果に基づいて、前記下方に位置する領域が歩行者候補の頭部以外に相当する領域であるか否かを判定し、前記下方に位置する領域が歩行者候補の頭部以外に相当する領域であると判定された場合に、前記輝度の高い領域及び前記下方に位置する領域を含む領域を歩行者候補と判定するように構成されていてもよい。

また、上記発明に係る運転支援装置において、前記撮像手段は、遠赤外線カメラであり、 前記歩行者検出手段は、他の領域と比べて輝度の高い領域の縦横比に基づいて、当該輝度の高い領域が歩行者候補であるか否かを判定するように構成されていてもよい。

さらに、上記発明に係る運転支援装置において、前記歩行者検出手段は、前記輝度の高い領域と人の全身の形状パターンとを比較し、その比較した結果に基づいて、前記輝度の高い領域が歩行者候補であるか否かを判定するように構成されていてもよい。

本発明の運転支援装置によれば、車両の走行中において道路上にいる歩行者をより安定して検出することができる。

以下、本発明の実施の形態について図面を参照しながら詳述する。

図１は、本発明の運転支援装置の構成を示すブロック図である。この運転支援装置は、二輪車に搭載されており、図１に示すように、画像処理を実行するＥＣＵ（電子制御ユニット）１０を備えている。ＥＣＵ１０は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、およびインタフェース（Ｉ／Ｆ）１４などからなるマイクロコンピュータを主要構成部品とし、ＲＯＭ１２に記憶されたコンピュータプログラムがＣＰＵ１０によって実行されることにより、後述する動作を行う。また、その動作によって発生あるいは取得され一時的に保持すべきデータなどは、ＲＡＭ１３に記憶される。

なお、ＲＯＭ１２には、後述する頭部特徴量データ、体特徴量データ、全身特徴量データ、及び歩行者特徴量データなどの所定のデータが予め記憶されている。

ＥＣＵ１０は、Ｉ／Ｆ１４を介して、遠赤外線カメラ２１、表示措置２２、および警報音出力装置２３と接続されている。

遠赤外線カメラ２１は、物体表面の温度を計測し、その温度分布を二次元の白黒画像として表示する撮像装置である。遠赤外線カメラ２１は、Ｉ／Ｆ１４を介してＥＣＵ１０から出力された命令にしたがって所定の時間間隔で撮像処理を繰り返し実行し、その結果得られた撮像画像を、Ｉ／Ｆ１４を介してＥＣＵ１０へ出力する。

表示装置２２は、歩行者の検出に関する情報を二輪車の運転手に報知するために用いられるディスプレイである。この表示装置２２は、カラー表示を行うものでもよいし、モノクロ表示を行うものでもよい。

警報音出力装置２３は、歩行者が検出された場合に、運転者に対して注意を促すために発せられる音声警報を出力するための装置である。警報音出力装置２３は、Ｉ／Ｆ１４を介してＥＣＵ１０から出力された命令にしたがって警報音の出力処理を実行する。

なお、上述したとおり、本実施の形態では、ＥＣＵ１０が後述する動作を実行することとしているが、本発明はこの態様に限定されるわけではなく、例えば画像処理を実行するための専用のプロセッサなどで本発明の運転支援装置が構成されていてもよい。

また、本実施の形態では、運転支援装置１は二輪車に搭載されているが、これに限定されるわけではなく、四輪車などに搭載されていてもよいことは勿論である。

次に、以上のように構成された運転支援装置１の動作について説明する。

図２は、本発明の実施の形態１における運転支援装置１の動作の流れを示すフローチャートである。ここで示される運転支援装置１の動作は、ＥＣＵ１０によって制御される。また、以下の動作は、二輪車の運転中において、適宜のタイミングで実行される。

まず、運転支援装置１は、所定の記憶領域を確保したり、所定の変数に初期値を設定したりするなどの初期化処理を実行し（Ｓ１０１）、その後、遠赤外線カメラ２１で取得された撮像画像の入力を受け付ける（Ｓ１０２）。

次に、運転支援装置１は、振動キャンセル処理を実行する（Ｓ１０３）。ここで、振動キャンセル処理とは、走行中、車両が振動することに起因して撮像画像が乱れることによって、歩行者の検出が安定して行われない事態が発生することを回避するために、撮像画像に補正を施す処理をいう。

［振動キャンセル処理］
図３は、振動キャンセル処理に伴う、本発明の運転支援装置１の動作の流れを示すフローチャートである。また、図４は、後述する有効画素領域の概念及び振動キャンセル処理の処理過程を示す説明図である。以下、これらの図３及び図４を参照しながら、振動キャンセル処理について説明する。

まず、運転支援装置１は、遠赤外線カメラ２１によって既に得られた撮像画像（以下、前回撮像画像という）を読み出し（Ｓ２０１）、その読み出した前回撮像画像に対して、有効画素領域を設定する（Ｓ２０２）。

ここで、有効画素領域とは、遠赤外線カメラ２１により撮像することができる画素領域（以下、撮像可能画素領域という）内に設けられる領域であって、歩行者検出に利用されるものをいう。

図４（ａ）は、前回撮像画像を示している。この図４（ａ）において、Ｒ２は、ステップＳ２０２にて設定された有効画素領域を示している。また、Ｒ１は、撮像可能画素領域を示している。

図４（ａ）に示すように、有効画素領域Ｒ２は、撮像可能画素領域Ｒ１内に設けられた所定の大きさの画素領域である。この有効画素領域Ｒ２内の画像を用いて、後述する歩行者検出に関する処理が実行される。

運転支援装置１は、ステップＳ２０２を実行した後、前回撮像画像の次に遠赤外線カメラ２１によって得られた撮像画像（以下、今回撮像画像という）を読み出す（Ｓ２０３）。

そして、運転支援装置１は、時間的に先行する前回撮像画像と後行する今回撮像画像とを用いてグレイサーチを実行する（Ｓ２０４）。具体的には、前回撮像画像と今回撮像画像との間における一致度を算出し、今回撮像画像において前回撮像画像と一致する点を検出する。

運転支援装置１は、ステップＳ２０４におけるグレイサーチによって、前回撮像画像と今回撮像画像との間でどの程度のずれが生じたのかを判断し、そのずれをシフト量として算出する（Ｓ２０５）。

次に、運転支援装置１は、ステップＳ２０５にて算出したシフト量に基づいて、今回撮像画像における有効画素領域を移動させる（Ｓ２０６）。以下、この処理について図４（ｂ）及び（ｃ）を参照して説明する。

図４（ｂ）は、今回撮像画像を示している。図４（ａ）と（ｂ）とを比較すると分かるように、運転支援装置１を搭載した二輪車の走行中における振動によって、前回撮像画像と今回撮像画像とではずれが生じたものとする。そのため、前回撮像画像における有効画素領域Ｒ２内の画像と今回撮像画像における有効画素領域Ｒ２内の画像とでは、画像中に表れているオブジェクト（歩行者、建物、及び道路など）の表示範囲が異なっている（例えば、前回撮像画像における有効画素領域Ｒ２には歩行者の全身が含まれるが、今回撮像画像における有効画素領域Ｒ２には歩行者の頭部の一部が含まれないなどの差異が生じている。）。

図４（ｂ）と同様に、図４（ｃ）も今回撮像画像を示している。この図４（ｃ）に示すように、運転支援装置１は、ステップＳ２０６において、ステップＳ２０５にて算出したシフト量分だけ、有効画素領域Ｒ２を移動させる。図４（ｃ）においては、移動後の有効画素領域がＲ３で示されている。その結果、今回撮像画像における有効画素領域Ｒ３内の画像は、前回撮像画像における有効画素領域Ｒ２内の画像と同様となる。

このようにして補正された有効画素領域内の今回撮像画像は、運転支援装置１によって、撮像画像データとしてＲＡＭ１３に記憶される（Ｓ２０７）。

以上のように有効画素領域を移動させることによって、振動により生じたずれを補正することができる。

なお、車両の振動は、四輪車と比べて二輪車の場合の方が大きい。そのため、上記のような振動キャンセル処理は、二輪車の場合の方がより効果的であるといえる。

上記の振動キャンセル処理を終えた運転支援装置１は、図２に示すように、道路検出処理を実行する（Ｓ１０４）。ここで、道路検出処理とは、撮像画像データにおいて道路を示している道路領域を検出するための処理をいう。

［道路検出処理］
図５は、道路検出処理に伴う、本発明の運転支援装置１の動作の流れを示すフローチャートである。

運転支援装置１は、画像の明るさの変化値を算出するために、ＲＡＭ１３に記憶されている撮像画像データに対して画像微分処理を実行する（Ｓ３０１）。その結果、画像のエッジ部分が検出される。
次に、運転支援装置１は、エッジ部分が検出された撮像画像データに対して２値化処理を実行して輝度変化の小さい領域を検出する（Ｓ３０２）。そして、運転支援装置１は、２値化された撮像画像データ中の連結領域に対してラベルを順に付けるラベリング処理を実行する（Ｓ３０３）。

次に、運転支援装置１は、ラベル付けされた領域のうちの特定の１つの領域を道路検出処理の処理対象に設定し（Ｓ３０４）、その処理対象の面積が全体の面積から設定した値より大きく、しかもその位置が下方にあるか否かを判定する（Ｓ３０５）。ここで、全体の面積から設定した値とは、例えば、遠赤外線カメラ２１を略水平に取り付けて、道路が画面の下半分に写り込むように設定した場合（この場合、道路は最大で画面全体の１／２）では、周囲の建物なども写り込むことになるので、画面全体の１／５乃至１／１０程度の面積となる。このように、この値は、遠赤外線カメラ２１の取り付け位置により、適宜設定されることになる。

上記のステップＳ３０５における判定処理は、上記のようにして設定された値よりも処理対象の面積が大きいか否か、有効画素領域のうちの下半分に位置しているか否かなどによってなされる。

ステップＳ３０５において処理対象の面積が全体の面積から設定した値より大きくない、またはその位置が下方にはないと判定された場合（Ｓ３０５でＮＯ）、運転支援装置１は、後述するステップＳ３０９へ進む。
他方、ステップＳ３０５において、処理対象の面積が全体の面積から設定した値より大きく、且つその位置が下方にあると判定された場合（Ｓ３０５でＹＥＳ）、運転支援装置１は、その処理対象が道路に相当する領域（道路領域）であると判断し、その処理対象の位置、面積などに関するデータを用いて、道路領域に関する道路領域データを生成する（Ｓ３０６）。そして、運転支援装置１は、その道路領域データをＲＡＭ１３に記憶する（Ｓ３０７）。

次に、運転支援装置１は、すべてのラベル付けされた領域を処理対象として設定したか否かを判定し（Ｓ３０８）、まだ処理対象となっていない領域があると判定した場合（Ｓ３０８でＮＯ）、ステップＳ３０４へ戻り、上記のステップＳ３０４乃至Ｓ３０７を実行する。他方、すべての領域が処理対象となったと判定した場合（Ｓ３０８でＹＥＳ）、運転支援装置１は、道路検出処理を終了する。

以上のように、本発明においては、画像の輝度変化の程度に基づいて道路領域の検出が行われている。ここで、遠赤外線カメラで得られた撮像画像において輝度変化が小さいということは、温度変化が小さいということを意味する。夜間の場合、道路上の温度は略一定であるのが通常であるため、このように輝度変化に着目することによって、道路をより安定して検出することが可能となる。

上記の道路検出処理を終えた運転支援装置１は、図２に示すように、建物検出処理を実行する（Ｓ１０５）。ここで、建物検出処理とは、撮像画像データにおいて建物を示している建物領域を検出するための処理をいう。

［建物検出処理］
図６は、建物検出処理に伴う、本発明の運転支援装置１の動作の流れを示すフローチャートである。

まず、運転支援装置１は、既にラベル付けされた領域のうちの特定の１つの領域を建物検出処理の処理対象に設定し（Ｓ４０１）、その処理対象の面積が所定値以上であるか否かを判定する（Ｓ４０２）。ここで、所定値以上ではないと判定された場合（Ｓ４０２でＮＯ）、運転支援装置１は、後述するステップＳ４０８へ進む。

他方、ステップＳ４０２において、処理対象の面積が所定値以上であると判定された場合（Ｓ４０２でＹＥＳ）、運転支援装置１は、その処理対象の横及び縦の大きさを認識した後、横／縦が２以上であるか否かを判定する（Ｓ４０３）。ここで、横／縦が２以上ではないと判定された場合（Ｓ４０３でＮＯ）、運転支援装置１は、縦／横が５以上であるか否かを判定する（Ｓ４０４）。また、ここで縦／横が５以上ではないと判定された場合（Ｓ４０４でＮＯ）、運転支援装置１は、その面積が所定値（ステップＳ４０２における所定値よりも大きい値）以上であるか否かを判定する（Ｓ４０５）。ここで所定値以上ではないと判定された場合（Ｓ４０５でＮＯ）、運転支援装置１は、後述するステップＳ４０８へ進む。

ステップＳ４０３において横／縦が２以上であると判定された場合（Ｓ４０３でＹＥＳ）、ステップＳ４０４において縦／横が５以上であると判定された場合（Ｓ４０４でＹＥＳ）、またはステップＳ４０５において面積が所定値以上であると判定された場合（Ｓ４０５でＹＥＳ）、運転支援装置１は、その処理対象が建物に相当する領域（建物領域）であると判断し、その処理対象の位置、面積などに関するデータを用いて、建物領域に関する建物領域データを生成する（Ｓ４０６）。そして、運転支援装置１は、その建物領域データをＲＡＭ１３に記憶する（Ｓ４０７）。

次に、運転支援装置１は、すべてのラベル付けされた領域を処理対象として設定したか否かを判定し（Ｓ４０８）、まだ処理対象となっていない領域があると判定した場合（Ｓ４０８でＮＯ）、ステップＳ４０１へ戻り、上記のステップＳ４０１乃至Ｓ４０７を実行する。他方、すべての領域が処理対象となったと判定した場合（Ｓ４０８でＹＥＳ）、運転支援装置１は、建物検出処理を終了する。

以上のように、処理対象となっている領域が所定の面積を有し且つ所定の形状であると判定した場合、運転支援装置１は、その処理対象が建物を示していると判断する。本実施の形態では、横／縦が２以上となる横長な形状である場合、縦／横が５以上の縦長な形状である場合、または面積が所定値以上である場合に、その領域が建物を示していると判断している。なお、これらは例示であり、それ以外の形状の領域を建物としてもよいことは言うまでもない。

上記の建物検出処理を終えた運転支援装置１は、図２に示すように、建物であると判断した領域を消去する外乱消去処理を実行する（Ｓ１０６）。次に、運転支援装置１は、第１歩行者検出処理を実行する（Ｓ１０７）。ここで、第１歩行者検出処理とは、歩行者の頭部（顔を含む）とそれ以外とを別々に検出することによって歩行者の検出を行う処理をいう。

［第１歩行者検出処理］
図７は、第１歩行者検出処理に伴う、本発明の運転支援装置１の動作の流れを示すフローチャートである。

まず、運転支援装置１は、歩行者の頭部の特徴を数値で表した頭部特徴量を示す頭部特徴量データをＲＯＭ１２から取得し（Ｓ５０１）、また、歩行者の体の特徴を数値で表した体特徴量を示す体特徴量データを同様にして取得する（Ｓ５０２）。

ここで、頭部特徴量とは、人の頭部の形状パターンを数値化したデータを意味しており、縦長の楕円状の領域を数値化したデータなどが具体例として挙げられる。また、体特徴量とは、人の頭部以外の形状パターンを数値化したデータを意味しており、縦長の矩形状の領域を数値化したデータなどが具体例として挙げられる。

次に、運転支援装置１は、既にラベル付けされた領域の中から歩行者の頭部に相当すると予測される領域（頭部候補）を抽出する（Ｓ５０３）。具体的には、他の領域と比べて輝度が高く（すなわち温度が高く）、しかも面積が所定値以下の領域などを頭部候補として抽出する。

次に、運転支援装置１は、特定の頭部候補を処理対象として設定し（Ｓ５０４）、その処理対象がステップＳ５０１にて取得された頭部特徴量データが示す頭部特徴量を有しているか否かを判定する（Ｓ５０５）。

ステップＳ５０５において、処理対象が頭部特徴量を有していないと判定された場合（Ｓ５０５でＮＯ）、運転支援装置１は、後述するステップＳ５０８へ進む。これに対し、処理対象が頭部特徴量を有していると判定された場合（Ｓ５０５でＹＥＳ）、運転支援装置１は、その処理対象が歩行者の頭部を示す領域（頭部領域）であると判断し、その処理対象の位置、面積などに関するデータを用いて、歩行者の頭部に関する頭部領域データを生成する（Ｓ５０６）。そして、運転支援装置１は、その頭部領域データをＲＡＭ１３に記憶する（Ｓ５０７）。

次に、運転支援装置１は、すべての頭部候補を処理対象として設定したか否かを判定し（Ｓ５０８）、まだ処理対象となっていない頭部候補があると判定した場合（Ｓ５０８でＮＯ）、ステップＳ５０４へ戻り、上記のステップＳ５０４乃至Ｓ５０７を実行する。他方、すべての頭部候補が処理対象となったと判定した場合（Ｓ５０８でＹＥＳ）、運転支援装置１は、ＲＡＭ１３に記憶されている頭部領域データに示されている頭部領域のうち特定の１つを選択し、その頭部領域の下方に接しているラベル付けされた領域を処理対象に設定する（Ｓ５０９）。

次に、運転支援装置１は、処理対象がステップＳ５０２にて取得された体特徴量データが示す体特徴量を有しているか否かを判定する（Ｓ５１０）。ここで、処理対象が体特徴量を有していないと判定された場合（Ｓ５１０でＮＯ）、運転支援装置１は、後述するステップＳ５１４へ進む。

これに対し、ステップＳ５１０において処理対象が体特徴量を有していると判定された場合（Ｓ５１０でＹＥＳ）、運転支援装置１は、その処理対象及びその処理対象の上方に接している頭部領域が歩行者候補であると判断し、その処理対象の下部が、ＲＡＭ１３に記憶されている道路領域データが示す道路領域と接しているか否かを判定する（Ｓ５１１）。

ステップＳ５１１において、処理対象の下部が道路領域と接していないと判定された場合（Ｓ５１１でＮＯ）、運転支援装置１は、後述するステップＳ５１４へ進む。他方、処理対象の下部が道路領域と接していると判定された場合（Ｓ５１１でＹＥＳ）、運転支援装置１は、その処理対象及びその処理対象の上方に接している頭部領域が歩行者に相当する領域（歩行者領域）であると判断し、その処理対象の位置、面積などに関するデータを用いて、歩行者領域に関する歩行者領域データを生成する（Ｓ５１２）。そして、運転支援装置１は、その歩行者領域データをＲＡＭ１３に記憶する（Ｓ５１３）。

次に、運転支援装置１は、すべての頭部領域の下方に位置するラベル付けされた領域を処理対象として設定したか否かを判定し（Ｓ５１４）、まだ処理対象となっていない領域があると判定した場合（Ｓ５１４でＮＯ）、ステップＳ５０９へ戻り、上記のステップＳ５０９乃至Ｓ５１３を実行する。他方、すべての領域が処理対象となったと判定した場合（Ｓ５１４でＹＥＳ）、運転支援装置１は、第１歩行者検出処理を終了する。

本実施の形態のように、遠赤外線カメラを撮像手段として用いた場合、温度が高い領域が高い輝度で表示される撮像画像が得られる。通常、着衣によって歩行者の頭部以外の部分の表面の温度は低くなり、他方、頭部の表面の温度は高くなるため、頭部以外の部分と比べて頭部の方がより安定して検出できる場合が多い。そのため、上述した第１歩行者検出処理のように、歩行者の頭部に相当する領域を検出し、その後、その領域の下方に接している歩行者の体に相当する領域を検出することによって、歩行者の検出をより安定して行うことが可能となる。

図８は、本発明の運転支援装置１において利用される撮像画像の一例を示す概念図である。図８において、Ｗは、運転支援装置１によって検出された歩行者領域を示している。

図８に示すように、歩行者の胴体部は着衣によってその表面の温度が低く、そのため、周辺領域と比べて低い輝度で表されることが多い。他方、頭部の表面の温度は高いため、周辺領域と比べて高い輝度で表される。このような場合、運転支援装置１は、より安定して検出可能な頭部を先に検出した上で、その頭部の下方に接している歩行者の体の検出を行い、歩行者領域Ｗを検出する。これにより、歩行者をより安定して検出することができる。

また、上述したステップＳ５１１のとおり、処理対象の下部が道路と接しているか否かを判定することによって、二輪車の運転者が注意すべき歩行者をより安定して検出することが可能となる。さらに、実際には人ではないものの、人に似ている形状が撮像画像に表れている場合、その形状と道路との位置関係を確認することによって、その形状が歩行者であると誤って検出することを防止することが可能となる。

なお、本実施の形態では、ステップＳ５１１において処理対象と道路とが接しているか否かの判定を行っているが、この処理を省略し、処理対象が頭部特徴量及び体特徴量を有している場合に、その処理対象を歩行者領域と判定するようにしてもよい。その場合、運転支援装置１は、上述した道路検出処理を実行しなくてもよい。

上記の第１歩行者検出処理を終えた運転支援装置１は、図２に示すように、第２歩行者検出処理を実行する（Ｓ１０８）。ここで、第２歩行者検出処理とは、歩行者の全身を一体として検出することによって歩行者の検出を行う処理をいう。

［第２歩行者検出処理］
図９は、第２歩行者検出処理に伴う、本発明の運転支援装置１の動作の流れを示すフローチャートである。

まず、運転支援装置１は、歩行者の全身の特徴を数値で表した全身特徴量を示す全身特徴量データをＲＯＭ１２から取得し（Ｓ６０１）、また、歩行者の形状パターンの特徴を数値で表した歩行者特徴量を示す歩行者特徴量データを同様にして取得する（Ｓ６０２）。

ここで、全身特徴量とは、人の全身の形状パターンを数値化したデータを意味しており、縦横比が２：１乃至３：１程度の縦長の領域などを数値化したものが具体例として挙げられる。また、歩行者特徴量とは、人の形状パターンを数値化したデータを意味しており、その有無の判定は後述するようにしてなされる。

運転支援装置１は、ラベル付けされた領域のうち、他の領域と比べて輝度が高く、しかも所定値の面積を有するものを歩行者の全身に相当する全身候補として抽出する（Ｓ６０３）。そして、運転支援装置１は、その全身候補のうち特定の１つを処理対象に設定する（Ｓ６０４）。
次に、運転支援装置１は、その処理対象が、ステップＳ６０１にて取得された全身特徴量データが示す全身特徴量を有しているか否かを判定する（Ｓ６０５）。

ステップＳ６０５において、処理対象が全身特徴量を有していないと判定された場合（Ｓ６０５でＮＯ）、運転支援装置１は、後述するステップＳ６０８へ進む。これに対し、処理対象が全身特徴量を有していると判定された場合（Ｓ６０５でＹＥＳ）、運転支援装置１は、その処理対象が歩行者の全身に相当する領域（全身領域）であると判断し、その処理対象の位置、面積などに関するデータを用いて、歩行者の全身に関する全身領域データを生成する（Ｓ６０６）。そして、運転支援装置１は、その全身領域データをＲＡＭ１３に記憶する（Ｓ６０７）。

次に、運転支援装置１は、すべての全身候補を処理対象として設定したか否かを判定し（Ｓ６０８）、まだ処理対象となっていない全身候補があると判定した場合（Ｓ６０８でＮＯ）、ステップＳ６０４へ戻り、上記のステップＳ６０４乃至Ｓ６０７を実行する。他方、すべての全身候補が処理対象となったと判定した場合（Ｓ６０８でＹＥＳ）、運転支援装置１は、ＲＡＭ１３に記憶されている全身領域データに示されている全身領域のうち特定の１つを処理対象に設定する（Ｓ６０９）。

次に、運転支援装置１は、処理対象がステップＳ６０２にて取得された歩行者特徴量データが示す歩行者特徴量を有しているか否かを判定する（Ｓ６１０）。具体的には、処理対象を複数の領域に分割し、その分割された領域の濃淡に基づいて当該処理対象が人の形状パターンに相当するか否かを判定することによって、処理対象が歩行者特徴量を有しているか否かを判定する。ここで、処理対象が歩行者特徴量を有していないと判定された場合（Ｓ６１０でＮＯ）、運転支援装置１は、後述するステップＳ６１４へ進む。
これに対し、ステップＳ６０８において処理対象が歩行者特徴量を有していると判定された場合（Ｓ６０８でＹＥＳ）、運転支援装置１は、その処理対象が歩行者候補であると判断し、その処理対象の下部が、ＲＡＭ１３に記憶されている道路領域データが示す道路領域と接しているか否かを判定する（Ｓ６１１）。
ステップＳ６１１において、処理対象の下部が道路領域と接していないと判定された場合（Ｓ６１１でＮＯ）、運転支援装置１は、後述するステップＳ６１４へ進む。他方、処理対象の下部が道路領域と接していると判定された場合（Ｓ６１１でＹＥＳ）、運転支援装置１は、その処理対象が歩行者に相当する領域（歩行者領域）であると判断し、その処理対象の位置、面積などに関するデータを用いて、歩行者に関する歩行者領域データを生成する（Ｓ６１２）。そして、運転支援装置１は、その歩行者領域データをＲＡＭ１３に記憶する（Ｓ６１３）。

次に、運転支援装置１は、すべての全身領域を処理対象として設定したか否かを判定し（Ｓ６１４）、まだ処理対象となっていない全身領域があると判定した場合（Ｓ６１４でＮＯ）、ステップＳ６０９へ戻り、上記のステップＳ６０９乃至Ｓ６１３を実行する。他方、すべての全身領域が処理対象となったと判定した場合（Ｓ６１４でＹＥＳ）、運転支援装置１は、第２歩行者検出処理を終了する。

図１０は、第２歩行者検出処理によって検出された歩行者領域の概念を示す説明図である。図１０に示されている特定の領域Ｗは、縦横比が２：１乃至３：１程度の縦長の領域である。そのため、運転支援装置１は、ステップＳ６０５において、この領域Ｗが全身特徴量を有していると判定する。

また、図１０に示すように、領域Ｗを横５×縦８の領域に分割した場合に、その分割された領域の濃淡が人の形状パターンに相当するものとする。この場合、運転支援装置１は、ステップＳ６１０において、この領域Ｗが歩行者特徴量を有していると判定する。

以上より、運転支援装置１は、領域Ｗは全身特徴量及び歩行者特徴量を有していると判定し、その領域Ｗの下部が道路領域に接している場合には、この領域Ｗを歩行者領域として歩行者領域データを生成し、記憶することになる。

図１１は、本発明の運転支援装置１において利用される撮像画像の一例を示す概念図である。図１１において、Ｗは、運転支援装置１によって検出された歩行者領域を示している。

図１１に示すように、撮像画像において歩行者の全身を示す領域が表れている場合、運転支援装置１は、上述したようにして、その領域が全身特徴量及び歩行者特徴量を有していると判定する。そして、その領域の下部が道路領域と接していると判定した場合、当該領域を歩行者領域Ｗとして検出することになる。

なお、本実施の形態では、ステップＳ６１１において処理対象と道路とが接しているか否かの判定を行っているが、この処理を省略し、処理対象が全身特徴量及び歩行者特徴量を有している場合に、その処理対象を歩行者領域と判定するようにしてもよい。その場合、運転支援装置１は、上述した道路検出処理を実行しなくてもよい。

上記の第２歩行者検出処理を終えた運転支援装置１は、図２に示すように、処理結果出力処理を実行する（Ｓ１０９）。ここで、処理結果出力処理とは、第１歩行者検出処理及び第２歩行者検出処理の処理結果を二輪車の運転者に報知するための処理をいう。

［検出結果出力処理］
図１２は、検出結果出力処理に伴う、本発明の運転支援装置１の動作の流れを示すフローチャートである。

運転支援装置１は、ＲＡＭ１３に歩行者領域データが記憶されているか否かを判定する（Ｓ７０１）。ここで、歩行者領域データが記憶されていないと判定された場合（Ｓ７０１でＮＯ）、運転支援装置１は、後述するステップＳ７０７へ進む。他方、歩行者領域データが記憶されていると判定された場合（Ｓ７０１でＹＥＳ）、運転支援装置１は、その記憶されている歩行者領域データのうちの特定の１つを処理対象に設定する（Ｓ７０２）。

次に、運転支援装置１は、処理対象の歩行者領域データに基づいて、歩行者の領域を示す歩行者枠の描画処理を実行する（Ｓ７０３）。そして、運転支援装置１は、すべての歩行者領域データが処理対象となったか否かを判定し（Ｓ７０４）、まだ所定対象となっていない歩行者領域データが存在すると判定した場合（Ｓ７０４でＮＯ）、ステップＳ７０２へ戻り、ステップＳ７０２及びＳ７０３を実行する。

ステップＳ７０４において、すべての歩行者領域データが処理対象となったと判定された場合（Ｓ７０４でＹＥＳ）、運転支援装置１は、前回歩行者枠の表示を行ってから５秒が経過したか否かを判定する（Ｓ７０５）。ここで、５秒が経過していないと判定された場合（Ｓ７０５でＮＯ）、運転支援装置１は、後述するステップＳ７０７へ進む。他方、５秒が経過していると判定された場合（Ｓ７０５でＹＥＳ）、運転支援装置１は、音声警報を警報音出力装置２３に出力させる（Ｓ７０６）。

そして、運転支援装置１は、ステップＳ７０７において、描画された歩行者枠の表示を表示装置２２に行わせることによって画像表示の更新を行う。

このようにして、運転支援装置１は、歩行者が検出されたことを二輪車の運転手に報知する。これにより、運転手は、歩行者の存在を認識することができる。

以上のように、本発明の運転支援装置１においては、従来の運転支援装置の場合と異なり、ステレオ視を用いる必要がないため、撮像手段としてのカメラは１台で足りる。したがって、運転支援装置を二輪車に搭載する場合であっても特段の支障は生じない。

本発明に運転支援装置は、車両の運転者に歩行者の検出の有無を報知する運転支援装置などに有用である。

本発明の運転支援装置の構成を示すブロック図である。 本発明の実施の形態１における運転支援装置の動作の流れを示すフローチャートである。 振動キャンセル処理に伴う、本発明の運転支援装置の動作の流れを示すフローチャートである。 有効画素領域の概念及び振動キャンセル処理の処理過程を示す説明図である。 道路検出処理に伴う、本発明の運転支援装置の動作の流れを示すフローチャートである。 建物検出処理に伴う、本発明の運転支援装置の動作の流れを示すフローチャートである。 第１歩行者検出処理に伴う、本発明の運転支援装置の動作の流れを示すフローチャートである。 本発明の運転支援装置において利用される撮像画像の一例を示す概念図である。 第２歩行者検出処理に伴う、本発明の運転支援装置の動作の流れを示すフローチャートである。 第２歩行者検出処理によって検出された歩行者領域の概念を示す説明図である。 本発明の運転支援装置において利用される撮像画像の一例を示す概念図である。 検出結果出力処理に伴う、本発明の運転支援装置の動作の流れを示すフローチャートである。

符号の説明

１ 運転支援装置
１０ ＥＣＵ
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ インタフェース
２１ 遠赤外線カメラ
２２ 表示装置
２３ 警報音出力装置
Ｗ 歩行者領域

Claims (13)

1. 車両に搭載され、当該車両の運転を支援する運転支援装置において、
   前記車両の周囲を撮像する撮像手段と、
   当該撮像手段によって得られた撮像画像を、前記車両の振動量に応じて補正する画像補正手段と、
   当該画像補正手段による補正後の撮像画像から、歩行者を検出する歩行者検出手段と
   を備えることを特徴とする、運転支援装置。
2. 前記撮像手段は、所定の時間間隔で複数の撮像画像を取得するように構成されており、
   前記画像補正手段は、前記撮像手段によって得られた先行する撮像画像と後行する撮像画像とを比較し、その比較した結果に基づいて、前記後行する撮像画像を補正するように構成されている、請求項１に記載の運転支援装置。
3. 前記撮像手段は、道路を含む前記車両の周囲を撮像するように構成され、
   前記撮像手段によって得られた撮像画像から、道路に相当する道路領域を検出する道路領域検出手段を更に備え、
   前記歩行者検出手段は、歩行者候補を検出し、その検出された歩行者候補と、前記道路領域検出手段によって検出された道路領域と前記下方に位置する領域との位置関係に基づいて、前記検出された歩行者候補が歩行者であるか否かを判定するように構成されている、請求項１に記載の運転支援装置。
4. 前記歩行者検出手段は、前記検出された歩行者候補の下部が、前記検出された道路領域に接している場合に、当該検出された歩行者候補を歩行者であると判定するように構成されている、請求項３に記載の運転支援装置。
5. 前記道路領域検出手段は、前記撮像画像における特定の領域の面積の大きさ及びその位置に基づいて、当該特定の領域が道路領域であるか否かを判定するように構成されている、請求項３又は請求項４に記載の運転支援装置。
6. 前記道路領域検出手段は、前記特定の領域の面積が全体の面積に基づいて設定された値より大きく、しかも当該特定の領域が下方に位置する場合に、当該特定の領域を道路領域と判定するように構成されている、請求項５に記載の運転支援装置。
7. 前記撮像手段は、遠赤外線カメラであり、
   前記道路領域検出手段は、前記撮像画像における特定の領域の輝度変化に基づいて、当該特定の領域が道路領域であるか否かを判定するように構成されている、請求項３又は請求項４に記載の運転支援装置。
8. 前記道路領域検出手段は、前記特定の領域の輝度変化が他の領域と比べて小さい場合に、当該特定の領域を道路領域と判定するように構成されている、請求項７に記載の運転支援装置。
9. 前記撮像手段は、遠赤外線カメラであり、
   前記歩行者検出手段は、他の領域と比べて輝度の高い領域を歩行者と判定するように構成されている、請求項１に記載の運転支援装置。
10. 前記撮像手段は、遠赤外線カメラであり、
    前記歩行者検出手段は、他の領域と比べて輝度の高い領域と人の頭部の形状パターンとを比較し、その比較した結果に基づいて、前記輝度の高い領域が歩行者候補の頭部に相当する頭部領域であるか否かを判定し、前記輝度の高い領域が頭部領域であると判定された場合に、前記輝度の高い領域を含む領域を歩行者候補と判定するように構成されている、請求項１に記載の運転支援装置。
11. 前記歩行者検出手段は、前記輝度の高い領域の下方に位置する領域と人の頭部以外の形状パターンとを比較し、その比較した結果に基づいて、前記下方に位置する領域が歩行者候補の頭部以外に相当する領域であるか否かを判定し、前記下方に位置する領域が歩行者候補の頭部以外に相当する領域であると判定された場合に、前記輝度の高い領域及び前記下方に位置する領域を含む領域を歩行者候補と判定するように構成されている、請求項１０に記載の運転支援装置。
12. 前記撮像手段は、遠赤外線カメラであり、
    前記歩行者検出手段は、他の領域と比べて輝度の高い領域の縦横比に基づいて、当該輝度の高い領域が歩行者候補であるか否かを判定するように構成されている、請求項１に記載の運転支援装置。
13. 前記歩行者検出手段は、前記輝度の高い領域と人の全身の形状パターンとを比較し、その比較した結果に基づいて、前記輝度の高い領域が歩行者候補であるか否かを判定するように構成されている、請求項１２に記載の運転支援装置。