JP2010205087A - 車両の周辺監視装置 - Google Patents

Abstract

【課題】赤外線カメラは比較的高価であり、可視画像を撮像する可視カメラを用い、夜間の走行においても、歩行者のような所定の対象物を検出する。
【解決手段】車両の周辺を監視する装置は、車両の周辺の可視画像を撮像し、該画像において、所定の歩行する生体の足の幅に対応するよう水平方向に並んで配置される一対の対象物領域を、左領域および右領域として抽出する。左領域の輝度値と右領域の輝度値の輝度差を算出し、該輝度差の時間的変化を調べ、該輝度差が正の値と負の値との間で変化する変曲点を検出する。変曲点が少なくとも１つ検出されたならば、一対の対象物領域は歩行する生体の足を表しており、歩行する生体が車両の周辺に存在していると判定する。一実施例では、該歩行する生体は歩行者であり、該一対の対象物領域は、歩行者の左右の脛の領域である。
【選択図】図７

Description

この発明は、可視画像に基づいて車両の周辺を監視するための装置に関し、より具体的には、夜間においても、可視画像に基づいて車両の周辺を監視することができる装置に関する。

従来より、車両に撮像装置を搭載して、車両の周辺に存在する歩行者などの対象物を検出し、その情報を運転者に知らせることによって運転を支援することが行われている。

下記の特許文献１には、撮像装置として、車両の前方の温体画像を撮像する赤外線カメラと、車両前方の可視画像を撮像する可視カメラとを搭載し、両者のカメラから撮像された画像を用いて歩行者を検出することが記載されている。

特許第３７１６６２３号

赤外線カメラは、対象物の温度に応じた輝度値を有する画像を出力するので、夜間の走行においても、赤外線カメラを用いることによって歩行者のような高温の対象物を検出することができる。

しかしながら、赤外線カメラは比較的高価であり、車両に搭載すると、車両全体のコストを増大させるおそれがある。

したがって、可視画像を撮像する可視カメラを用い、夜間の走行においても、歩行者のような所定の対象物を検出することができる装置が所望されている。

この発明の一つの側面によると、車両の周辺の可視画像を撮像する撮像手段を備え、該車両の周辺を監視する車両周辺監視装置は、前記撮像手段によって撮像した画像において、所定の歩行する生体の足の幅に対応するよう水平方向に並んで配置される一対の対象物領域を、左領域および右領域として抽出する手段と、前記左領域の輝度値と前記右領域の輝度値の輝度差を算出する手段と、前記輝度差の時間的変化を調べ、該輝度差が正の値と負の値との間で変化する変曲点を検出する手段と、前記変曲点が少なくとも１つ検出されたならば、前記一対の対象物領域は、前記歩行する生体の足を表しており、前記歩行する生体が前記車両の周辺に存在していると判定する判定手段と、を備える。

通常、夜間のような暗い環境で可視カメラを用いると、その撮像画像の輝度値が一様に低くなるため、所定の対象物を検出することは困難である。しかしながら、車両のヘッドライトで照射される範囲においては、対象物が該ライトで照らされるので、昼間と同様に、該対象物を認識することができる。本願発明は、この知見に基づいており、たとえば歩行者などの歩行する生体の左右の足の動きに連動して、右足の画像領域の輝度値と左足の画像領域の輝度値とが、時間上では逆相となるように変化するという特徴を利用する。そのため、本願発明では、両者の輝度値の差の時間的変化を調べ、該輝度差の符号（プラス、マイナス）が変化する変曲点を検出する。変曲点が検出されれば、両者の輝度値が逆相となるよう変化していることを示すので、歩行する生体の足の動きが検出されたと判定することができる。このような手法により、夜間の走行においても、可視カメラを用いて車両周辺の歩行する生体を検出することができる。

この発明の一実施形態では、前記判定手段は、さらに、正の値から負の値に変化する第１の変曲点の次に、該負の値から正の値に変化する第２の変曲点が検出されるか、または負の値から正の値に変化する第１の変曲点の次に、該正の値から負の値に変化する第２の変曲点が検出されたならば、前記一対の対象物領域は、前記歩行する生体の足を表しており、前記歩行する生体が前記車両の周辺に存在していると判定する。

歩行する生体が左右の足を動かして車両に向かってくるとき、または車両から離れていくとき、左足の輝度値と右足の輝度値の差（輝度差）は、正の値と負の値との間で切り替わる。この特徴を利用し、本願発明では、正から負に変化した後に負から正に、または負から正に変化した後に正から負に変化する変曲点が変化したならば、左右の足で移動していると判定する。こうして、歩行する生体を、より良好な精度で判定することができる。

この発明の一実施形態では、前記判定手段は、さらに、時間的に連続して検出された前記変曲点間の周期が所定範囲内であれば、前記一対の対象物領域は、前記歩行する生体の足を表しており、前記歩行する生体が前記車両の周辺に存在していると判定する。

変曲点間の周期は、歩行者の歩行周期を表している。この発明によれば、該変曲点間の周期が所定範囲内にあるかどうかで、歩行する生体の歩行周期が適切な範囲にあるかどうかを判断することができるので、より良好な精度で対象物を判定することができる。

この発明の一実施形態では、前記判定手段は、さらに、時間的に連続して検出された２つの前記変曲点間において、前記輝度差の大きさが、増大した後に減少するという挙動を呈するならば、前記一対の対象物領域は、前記歩行する生体の足を表しており、前記歩行する生体が前記車両の周辺に存在していると判定する。

車両に向かって歩行するとき、左足を踏み出すときには、左足は車両に近づくことになるので、左足の輝度値は増大すると共に右足の輝度値は減少し、右足を踏み出すときには、右足の輝度値は増大すると共に左足の輝度値は減少する。これは、車両に対背面で歩行するときも同様である。この特徴を利用することにより、より良好な精度で、歩行する生体を判定することができる。

この発明の一実施形態では、前記歩行する生体は歩行者であり、前記一対の対象物領域は、該歩行者の足の脛の部分に対応する。脛の部分は、車両のヘッドライトでも照射される範囲に含まれる確度が高い。したがって、脛の部分の画像領域を利用することで、歩行者をより良好に判定することができる。

この発明の一実施形態では、前記一対の対象物領域の輝度が所定値以上である場合には、前記判定手段による判定に代えて、前記一対の対象物領域を有する対象物の画像領域の形状を判定することによって、該対象物が前記歩行する生体であるかどうかを判定する。

輝度が所定値以上であるとき、左足の領域と右足の領域との間の輝度差が生じにくく、よって、輝度差の時間的変化を調べることによって歩行の動きを検出することが困難なことがある。他方、輝度が所定値以上であるときには、対象物は、たとえば車両周辺の環境光等によって、その形状を明瞭に撮像することができる。したがって、このような場合には、左右の足の動き判定の手法に代えて、形状判定の手法によって対象物を判定する。

本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。

この発明の一実施例に従う、周辺監視装置の構成を示すブロック図。 この発明の一実施例に従う、カメラの取り付け位置を説明するための図。 この発明の原理を説明するための図。 この発明の一実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。 この発明の一実施例に従う、歩行者判定のプロセスを示すフローチャート。 この発明の一実施例に従う、路面交点の抽出、処理領域の設定、および脛領域の特定を説明するための図。 この発明の第１の実施例に従う、輝度変化に基づく歩行者判定のプロセスを示すフローチャート。 この発明の第２の実施例に従う、輝度変化に基づく歩行者判定のプロセスを示すフローチャート。 この発明の第３の実施例に従う、輝度変化に基づく歩行者判定のプロセスを示すフローチャート。

次に図面を参照してこの発明の実施の形態を説明する。

図１は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。該装置は、車両に搭載され、可視カメラ１Ｒおよび１Ｌと、カメラ１Ｒおよび１Ｌによって得られる画像データに基づいて車両周辺の対象物を検出するための画像処理ユニット２と、該検出結果に基づいて音声で警報を発生するスピーカ３と、カメラ１Ｒまたは１Ｌによって得られる画像を表示すると共に、運転者に車両周辺の対象物を認識させるための表示を行うヘッドアップディスプレイ（以下、ＨＵＤと呼ぶ）４とを備えている。可視カメラ１Ｒおよび１Ｌは、可視光領域で撮像可能なＣＣＤカメラおよびＣＭＯＳカメラ等によって構成されることができ、撮像される物体の照度が高いほど、出力される映像信号のレベルが高くなる（すなわち、撮像画像における輝度値が高くなる）特性を有している。

この実施例では、図２に示すように、カメラ１Ｒおよび１Ｌは、車両１０の前部に、車幅の中心を通る中心軸に対して対称な位置に配置されており、車両の前方を撮像する。２つのカメラ１Ｒおよび１Ｌは、両者の光軸が互いに平行となり、両者の路面からの高さが等しくなるように車両に固定されている。

画像処理ユニット２は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ（ランダムアクセスメモリ）、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ（リードオンリーメモリ）、スピーカ３に対する駆動信号およびＨＵＤ４に対する表示信号などを出力する出力回路を備えている。カメラ１Ｒおよび１Ｌの出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成されている。ＨＵＤ４は、図２に示すように、車両１０のフロントウィンドウの、運転者の前方位置に画面４ａが表示されるように設けられている。こうして、運転者は、ＨＵＤ４に表示される画面を視認することができる。

ここで、図３を参照して、本願発明の原理を説明する。（ａ）は、夜間において、車両のヘッドライト（通常のロービームの状態）で前方を照射した場合に可視カメラによって撮像された可視画像の一例である。符号１０１で示される領域内に車両に対面するよう歩行者１０３が存在しているが、車両のヘッドライトの照射範囲は、路面から約１メートル程度の高さであるよう制限されているため、歩行者１０３の上半身、特に頭部は、認識可能なように撮像されない。歩行者１０３の下半身は、該ライトの照射範囲内にあるため、認識可能なように撮像されている。

従来より、歩行者を撮像画像から検出するには、歩行者の上半身に特徴的な部分が多いため、上半身を判定することにより歩行者を検出することが行われていた。特に頭部は、歩行者全般にわたって共通の楕円形状をなしており、検出しやすい。しかしながら、（ａ）に示すように、夜間において可視カメラによって前方の歩行者を撮像しても、歩行者の頭部を認識可能なように撮像することは困難であり、従来からの形状判定手法を用いて頭部を検出することはできない。

そこで、本願発明では、車両のヘッドライトで照射される範囲において撮像される、歩行者の足の部分に着目する。歩行者が車両に対面または対背面しているとき、足は、二本の縦長の形状として撮像され、また、歩行している場合には、二本の足が交互に動かされるという特徴を有する。

ここで、（ｂ）を参照すると、（ｂ−１）は、車両の位置を基準として、歩行者の左足が前にあり右足が後ろにある状態を示し、（ｂ−２）は、歩行者の右足が前にあり左足が後ろにある状態を示す。このように、車両の可視カメラから歩いている歩行者を見ると、左足が右足より近距離にある状態（ｂ−１）と、右足が左足より近距離にある状態（ｂ―２）とが交互になって現れる。（ｂ−１）の状態では、左足の画像領域の輝度値は、右足の画像領域の輝度値より高く、（ｂ−２）の状態では、右足の画像領域の輝度値は、左足の画像領域の輝度値より高い。

（ｃ）は、（ａ）の歩行者１０３が車両に向かって歩いている状態を可視カメラにより撮像したときの、左足の脛の部分の画像領域の輝度値（該画像領域の輝度平均値により表している）１１１Ｌと、右足の脛の部分の画像領域の輝度値（該画像領域の輝度平均値により表している）１１１Ｒとの時間的推移の一例を示す。この図に示されるように、時間ｔ１からｔ２の間の（ｂ−１）の状態と、時間ｔ２からｔ３の間の（ｂ−２）の状態とが交互に現れ、前者では、左足の輝度値１１１Ｌが高くなるにつれて右足の輝度値１１１Ｒは低くなり、後者では、右足の輝度値１１１Ｒが高くなるにつれて左足の輝度値１１１Ｌは低くなる、という特徴を有する。言い換えると、輝度差（＝左足の輝度値１１１Ｌ−右足の輝度値１１１Ｒ）の符号が周期的に変化し、時間ｔ１からｔ２の間の（ｂ−１）の状態では、輝度差は正の値として算出され、時間ｔ２からｔ３の間の（ｂ−２）の状態では、輝度差は負の値として算出され、輝度差の符号が交互に現れるという特徴を有する。同様の特徴は、輝度差を、右足の輝度値１１１Ｒから左足の輝度値１１Ｌを減算することによって定義した場合でも現れる。ここで、輝度差の符号が正と負の間で変化する点（１１１Ｌと１１１Ｒとが交差する点）が、図では符号Ｃ１、Ｃ２、およびＣ３によって示されており、以下、この点を変曲点と呼ぶ。

なお、車両の歩行者に対する位置変化の影響や環境光の影響等により、脛の部分に照射される光は変化しやすく、脛領域の輝度値の絶対値は変動しやすい。したがって、左および右の脛領域の輝度値の絶対値の変動を調べることに比べ、両者の輝度値の差分を調べることにより、このような外乱の影響を低減して、ロバストに歩行者を判定することができる。

図３（ｃ）は、足の脛の部分の輝度値の時間的な変化を表している。車両のヘッドライトは、前述したように路面から約１メートルの高さの照射範囲であるため、脛の部分は、より確実に照射される部分である。また、歩行するとき、左足の脛と右足の脛の間の開きは、左足の大腿部と右足の大腿部の間の開きよりも大きくなる。したがって、大腿部に比べ、脛の部分の方が、左右の輝度差が大きいため、上記のような輝度差を取得しやすい。したがって、本願発明では、足のうち、特に脛の部分の輝度値を利用し、該輝度値が図３（ｃ）のような挙動を呈するかどうかで、歩行者を判定する。しかしながら、大腿部の輝度値についても、図３（ｃ）に示すのと同様の挙動を呈するので、大腿部の輝度値を用いて歩行者を判定してもよい。また、大腿部と脛部の両方を含む画像領域の輝度値を用いて、歩行者判定を行ってもよい。

さらに、歩行者判定の精度をより向上させるため、図３（ｃ）の輝度値の挙動の周期（周波数）を考慮することができる。図３（ｃ）のシミュレーションの場合には、左足の脛の輝度値１１１Ｌについて、極小値間の周期は１２３３ミリ秒であり、右足の脛の輝度値１１１Ｒについて、極小値間の周期は１３６６ミリ秒である。この周期は、歩行者の歩行周期を表しており、一般的な成人の歩行をシミュレーションや実験等を介して調べると、上記周期Ｔの周波数Ｆが、およそ０．７〜０．９Ｈｚ（周期Ｔで表すと、およそ１１００〜１４３０ミリ秒）であることがわかった。

したがって、左足の輝度値１１１Ｌおよび（または）右足の輝度値１１１Ｒの上記周期Ｔ（極小値間、または極大値間）を調べ、これが所定範囲内であれば、歩行者と判定することができる。代替的に、上記周期Ｔは、変曲点Ｃ１からＣ３の間の時間長（ｔ１〜ｔ３）に対応するので、変曲点間の周期を調べ、これが、所定範囲内であるかどうかを調べてもよい。この場合、２つの変曲点Ｃ１およびＣ２の間の時間長（これは、Ｔ／２に対応する）が所定範囲内にあるかどうかを調べてもよいし、３つの変曲点Ｃ１からＣ３の間の時間長（これは、Ｔに対応する）が所定範囲内にあるかどうかを調べてもよい。なお、周期Ｔに代えて、該周期Ｔに対応する周波数Ｆが、所定範囲内にあるかどうかを調べてもよい。

次に、図４を参照して、具体的な処理内容を説明する。図４は、この発明の一実施形態に従う、画像処理ユニット２によって実行されるプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行される。

ステップＳ１１〜Ｓ１３において、カメラ１Ｒおよび１Ｌの出力信号（すなわち、撮像された可視画像のデータ）を入力として受け取り、これをＡ／Ｄ変換し、それを画像メモリに格納する。ここで得られる画像データは、輝度情報を含んだグレースケール画像である。以下の処理では、カメラ１Ｒで撮像された右画像（代替的、左画像でもよい）のグレースケール画像に基づいて処理を行う。

ステップＳ１４において、図３を参照して述べたような原理に従って歩行者判定処理を行い、車両に対面または対背面する歩行者を検出する。ステップＳ１４で歩行者が検出されたならば、その情報を運転者に報知する。報知は、任意の適切な手法で実現されることができる。たとえば、ＨＵＤ４の表示画面４ａ上に表示された撮像画像上に、判定された歩行者を強調表示することによって報知してもよいし、スピーカ３を介して歩行者が存在することを運転者に知らせてもよい。強調表示は、任意の形態でよく、たとえば、判定された歩行者を囲む枠を重畳表示することによって行うことができる。

以下、ステップＳ１４で実行される歩行者判定処理の第１から第３の実施例を説明する。

図５は、第１の実施例に従う、歩行者判定処理のフローである。

ステップＳ２１において、グレースケール画像において、物体と路面との交点と考えられる点（路面交点と呼ぶ）を抽出する。路面交点は、任意の適切な手法で抽出されることができる。この実施例では、グレースケール画像に対し、周知の手法（たとえば、ガボール（Ｇａｂｏｒ）フィルタ等のフィルタ）を用いてエッジを抽出し、該エッジに基づいて路面交点を抽出する。エッジは、輝度変化が大きいほど、強度の強いエッジとして抽出される。

歩行者の左右の足は、背景に対して比較的大きい輝度変化を有すると共に、歩行者の足が路面に接する所でも、比較的輝度変化が大きいという特徴を持つ。したがって、左右の足の輪郭は、所定の強度を持つ４本の垂直方向（図３（ａ）の画像の縦方向）のエッジとして抽出されることができ、これらのエッジの下端を、路面交点として抽出する。ここで図６（ａ）を参照すると、右足の輪郭を表すエッジＶＥ１およびＶＥ２と左足の輪郭を表すＶＥ３およびＶＥ４からなる４本のエッジＶＥ１〜ＶＥ４が抽出され、これらのエッジの下端ａ１〜ａ４が、路面交点として抽出されている。

なお、左右の足が閉脚しているときには、左右の足の境界部に対応するエッジＶＥ２およびＶＥ３が抽出されにくい場合も生じうる。したがって、足の側面の輪郭を表すエッジＶＥ１およびＶＥ４が、歩行者の足幅に相当するかどうかを調べることにより、路面交点ａ１およびａ４を特定してもよい。たとえば、エッジＶＥ１とＶＥ４の間の幅ｗを、以下の式に従って実空間の幅Ｗに変換する。

Ｗ＝ｗ×Ｚ／（Ｆ／ｐ）
ここで、Ｚは、エッジＶＥ１およびＶＥ４を持つ対象物までの距離（ｍ）であり、この実施例ではカメラ１Ｒおよび１Ｌを備えているので、周知の三角測量法等によって算出されることができる。Ｆは、カメラ１Ｒの焦点距離（ｍ）を示し、ｐは、画素ピッチ（ｍ／ｐｉｘｅｌ）を示す。こうして算出された幅Ｗが、成人の平均の足幅を表す所定範囲内（たとえば、３０〜７０センチメートルの間）にあるかどうかを調べ、所定範囲内にあれば、エッジＶＥ１およびＶＥ４が左右の足の側面を表しているため、その下端ａ１およびａ４を路面交点とすることができる。

他の実施例では、歩行者の足が路面に接する部分の輝度変化が大きいという特徴を利用して、所定値以上の強度を持ち、かつ、前述したように成人の平均の足幅に相当する所定範囲内の長さを持つ水平方向（図３（ａ）の画像の横方向）のエッジを抽出する。これにより、図６（ｂ）に示すようなエッジＨＥ１が抽出される。このエッジ上の点、この実施例では該エッジの中点ａ５を、路面交点として抽出する。中点ａ５に代えて、たとえば該エッジの左右端の点を路面交点として抽出してもよい。

さらなる他の実施例では、垂直方向のエッジと水平方向のエッジとが交差する点を抽出して、これを路面交点とすることができる。図６（ｃ）には、垂直方向のエッジＶＥ５と水平方向のエッジＨＥ２との交点ａ６および垂直方向のエッジＶＥ６と水平方向のエッジＨＥ２との交点ａ７が路面交点として抽出されている。なお、前述したように、交点ａ６およびａ７との間の距離（幅）が、成人の平均の足幅に相当するかどうかを判断し、相当すれば、これらの交点を路面交点と判断してもよい。

図５に戻り、ステップＳ２２において、こうして抽出された路面交点の車両からの距離を算出する。この実施例では、一対の可視カメラ１Ｒ、１Ｌが搭載されているので、以下の式に示すように、周知の三角測量法等を利用して算出されることができる。ここで、Ｆは、前述したように、カメラ１Ｒ、１Ｌの焦点距離であり、ｐは画素ピッチを示す。Ｂは、基線長すなわちカメラ１Ｒの撮像素子の中心位置とカメラ１Ｌの撮像素子の中心位置との間の距離であり（両カメラの光軸の間隔）、ｄは、視差量、すなわち、カメラ１Ｒの路面交点の画素位置とカメラ１Ｌの対応する路面交点の画素位置の間のずれ）を示す。
Ｚ＝Ｂ×Ｆ／（ｄ×ｐ）

ステップＳ２３において、処理領域ＲＯＩ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）を設定し、ステップＳ２４において、該処理領域が、足に相当する領域かどうかを判断することにより、足以外の対象物を除外する。ステップＳ２１で抽出した路面交点は、多数存在するおそれがあり、これらの路面交点の中には、足以外の物体と路面との交点も含まれるおそれがある。したがって、より精度を上げるため、路面交点として抽出された点に対して処理領域を設定し、該処理領域に出現するエッジ等の特徴から、該処理領域が足部分であるかどうかを判断する。

処理領域ＲＯＩは、成人の平均の足の長さおよび幅に基づいて、各路面交点に対して設定されることができる。具体的には、路面交点を中心に、所定幅（実空間において、たとえば３０〜７０センチメートルの間の値とすることができる）を持ち、かつ該路面交点から上方に向かって所定長さ（実空間において、たとえば７０〜９０センチメートルの間の値とすることができる）の四角形の領域を、処理領域ＲＯＩとして設定する。図６（ｄ）には、図６（ｂ）で抽出された路面交点ａ５に対して設定された処理領域ＲＯＩが示されている。なお、図６（ａ）の場合には、路面交点ａ１とａ４の間の中点に対して同様に処理領域ＲＯＩを設定することができ、図６（ｃ）の場合には、路面交点ａ６とａ７の中点に対して同様に処理領域ＲＯＩを設定することができる。

ステップＳ２４では、こうして設定された処理領域ＲＯＩが、足を表す特徴を有するかどうかを判断することにより、該処理領域ＲＯＩが足領域かどうかを判断する。たとえば、処理領域ＲＯＩから、ガボールフィルタ等を用いて垂直方向のエッジを抽出し、その長さ、角度および強度を調べる。足は、垂直方向に所定値以上の長さを持ち、かつ背景に対して輝度変化が比較的大きいという特徴を持つよう撮像される。したがって、最も大きい強度を持つエッジの長さが所定範囲内かどうか、最も大きい強度を持つエッジの角度（画像の垂直なラインに対する角度）が所定範囲内かどうか、および所定値以上の強度を持つエッジが存在するかどうかを調べ、これらの条件がすべて満たされれば、処理領域ＲＯＩは足を表していると判断する。この処理により、建物などの人工構造物や、路面の標識などを、後続の処理から除去することができる。

なお、上記条件に加え、または上記条件に代えて、他の条件を用いて処理領域ＲＯＩが足領域かどうかを調べてもよい。たとえば、周知のパターン（テンプレート）マッチング等の手法を用い、足のエッジを表したパターンを予め記憶しておき、処理領域ＲＯＩから抽出されたエッジと、該記憶されたパターンとをマッチングして相関（類似度）を調べ、相関が高いと判断されたならば、処理領域ＲＯＩは足を表すと判断してもよい。

こうして、設定された処理領域ＲＯＩのうち、足領域と判断された処理領域ＲＯＩの路面交点が、次のステップＳ２５で用いられる。ステップＳ２５では、路面交点に基づいて、脛の画像領域を探索する。

一実施例では、図６（ａ）のように垂直方向のエッジＶ１〜ＶＥ４に基づいて路面交点ａ１からａ４が抽出されていれば、図６（ｅ）の斜線で示されるように、路面交点ａ１およびａ２のエッジＶＥ１とＶＥ２の間を、右の脛領域２０Ｒとし、路面交点ａ３およびａ４のエッジＶＥ３とＶＥ４の間を左の脛領域２０Ｌとして識別する。代替的に、路面交点ａ１およびａ４のエッジＶＥ１およびＶＥ４の間の領域を、ａ１およびａ４の間の中点で二分し、右および左の脛領域と識別してもよい。

脛領域の垂直方向の長さは、任意に設定してよい。たとえば、路面交点（右脛領域については、ａ１およびａ２のいずれかでよく、左脛領域については、ａ３およびａ４のいずれかでよい）から所定長さで制限することができ、該所定の長さは、たとえば成人の平均の脛の長さに対応するよう設定されることができる。あるいは、いずれかの垂直エッジ（たとえば、右脛領域については、ＶＥ１とＶＥ２のうち短い方の垂直エッジ、左脛領域については、ＶＥ３とＶＥ４のうち短い方の垂直エッジ）の長さにより制限してもよい。

他の実施例では、図６（ｂ）に示すように水平方向のエッジＨＥ１に基づいて路面交点ａ５が設定されていれば、図６（ｆ）の斜線の領域２０で示されるように、上記設定された処理領域ＲＯＩ（前述したように、成人の平均の足幅に対応するような幅に設定される）により脛領域の幅を画定することができる。垂直方向については、処理領域ＲＯＩの縦方向の長さが、成人の平均の足の長さに対応するよう設定されているので、成人の平均の足の長さに対する脛の長さの比率に基づいて、処理領域ＲＯＩ内に脛領域の上辺の境界を設定することができる。路面交点ａ５を通る垂直のライン（点線で表される）によって脛領域２０を二分し、右の脛領域２０Ｒおよび左の脛領域２０Ｌを決定することができる。代替的に、脛領域２０の左右の境界を、水平方向のエッジＨＥ１の左右の端点により定めてもよい。

なお、図６（ｃ）に示すように、垂直方向のエッジＶＥ５，ＶＥ６と水平方向エッジＨＥ２の交点を路面交点ａ６、ａ７として抽出している場合には、エッジＶＥ５とＶＥ６の間の領域を脛領域と判断し、これを、図６（ｆ）のように左右に二分して、左右の脛領域としてよい。脛領域の上下の境界については、図６（ｅ）を参照して述べたように、垂直方向のエッジＶＥ５またはＶＥ６の長さに基づいて設定してもよいし、図６（ｆ）で述べたように、足の長さに対する脛の長さの比率を処理領域ＲＯＩに適用することにより決定してもよい。

さらなる代替の実施例を説明すると、脛は、路面に対して垂直に近い方向を持ち、かつ一定の幅を持つ物体であるとみなすことができる。したがって、一定の方向および幅に感受性を持つフィルタを用いることにより、比較的強いフィルタ出力が得られやすく、脛の中心線（脛を垂直方向に二分した線）は、該フィルタ出力のピーク値を得ることで抽出されやすい。この代替の実施例では、この点に着目し、たとえばガボールフィルタ等を用いて、路面交点から上方に向かって所定範囲の画像領域をフィルタリングし、歩行者の両足幅に対応する範囲内に存在する垂直方向のフィルタ出力のうち、路面交点から上向きに歩行者の足の長さに対応する範囲を探索し、最も強い強度または所定値以上の強度を有する点の列を２列抽出する。これら２列の画素列を、それぞれ、左足および右足の脛の中心線を表す画像領域とすることができる。この２列の画素列のそれぞれを中心とする画像領域であって、路面交点に対して一定の距離にあり、かつ歩行者の片足幅に対応する範囲の画像領域を、左右の脛領域とすることができる。

図５に戻り、ステップＳ２６において、ステップＳ２５で特定された左右の脛領域の輝度値を算出する。これは、左右の脛領域に含まれる画素の輝度値の平均値を算出することにより行ってよい。こうして算出された輝度値が、所定値以上かどうかを判断する。これは、輝度値がほぼ飽和状態にあるかどうかを判断するための処理であるので、該所定値は、飽和に近い値（たとえば、２５６階調であれば、２５５に近い値）に設定される。

たとえば歩行者が車両に近すぎる場合、歩行者が白い服を着ている場合、街灯などの車両周辺の環境光によって歩行者が照らされている場合等には、脛領域全体にわたって輝度値が高くなる。このような状態では、歩行している場合でも、左脛領域と右脛領域との差が良好に得られず、図３を参照して説明したような歩行者判定が困難になる。他方、このような輝度値が高い状態は、昼間の場合と同様に、歩行者の形状が明瞭に撮像されている状態を示す。したがって、脛領域の輝度値が所定値以下の場合には、図３で説明したような輝度値の変化に基づく手法で歩行者を判定し（ステップＳ２７）、脛領域の輝度値が該所定値より大きい場合には、従来からの既知の形状判定の手法によって、歩行者を判定する（ステップＳ２８）。

ステップＳ２８の形状判定による歩行者の検出には、任意の適切な手法を用いることができる。たとえば、グレースケール画像からエッジを抽出し、該エッジに対し、周知のパターンマッチングの手法を適用して、歩行者を検出する。足領域の輝度値がほぼ飽和している場合には、前述したように、歩行者全体が明瞭に撮像されている状態である可能性が高い。したがって、歩行者の頭部の形状や、頭部から肩にかけての形状等を判定することにより、歩行者を検出することができる。このような形状を用いた歩行者の判定手法は、たとえば、特開２００１−２２２７１９号公報、特開２００５−１４９１４４号公報、特開２００５−２５５６８号公報、特開２００５−１４９１４５号公報などに示されている。または、ニューラルネットワークを用いて、頭部を検出するようにしてもよい。たとえば、特開２００５―１９０４００号公報や特開２００５−１２２３５１号公報には、ニューラルネットワークを用いて顔の画像領域を検索する手法が示されている。

ステップＳ２７で実行される歩行者判定には、さらにいくつかの実施例があり、これらを、図７〜図９を参照して説明する。

図７は、第１の実施例に従う、輝度変化に基づく歩行者判定プロセスのフローチャートである。ステップＳ３１では、左脛領域の輝度値（左脛領域に含まれる画素の輝度値の平均とすることができる）と右脛領域の輝度値（右脛領域に含まれる画素の輝度値の平均とすることができる）との差を算出する。この実施例では、輝度差＝左脛領域の輝度値−右脛領域の輝度値、により算出する。代替的に、輝度差を、右脛領域の輝度値から左脛領域の輝度値を減算することにより算出してもよい。

前述したように、図４の処理は所定の時間間隔（サイクル）で実行されるので、所定時間間隔で撮像画像が取得されて上記の輝度差が算出される。したがって、ステップＳ３２で、現在までに算出された輝度差の時間的推移を調べる。たとえば、今回のサイクルと、所定数だけ過去のサイクルの間に算出された輝度差（たとえば、Ｎフレームの撮像画像について算出されたＮ個の輝度差）の時間的変化を調べることができる。

ステップＳ３３において、該輝度差の時間的変化において、図３を参照して説明した変曲点（輝度差の符号が正と負の間で変化する点）が検出されるかどうかを判断する。変曲点が検出されなければ（ステップＳ３３がＮｏ）、ステップＳ３６に進み、歩行者ではないと判定する。

輝度差の時間的変化に変曲点が検出されたならば（ステップＳ３３がＹｅｓ）、ステップＳ３４に進み、２つの時間的に連続して検出された変曲点の符号が変化しているかどうかを判断する。すなわち、図３（ｃ）に示すように、負から正への変曲点Ｃ１の次に、正から負への変曲点Ｃ２が検出されたならば、または、正から負への変曲点Ｃ２の次に、負から正への変曲点Ｃ３が検出されたならば（ステップＳ３４がＹｅｓ）、ステップＳ３５において歩行者と判定する。このような変化が存在しなければ（ステップＳ３４がＮｏ）、ステップＳ３６に進む。

なお、この実施例では、２個の時間的に連続して検出した変曲点を用いて歩行者と判定しているが、代替的に、ｎ個（＞２）の連続した変曲点について、正から負への変曲点と負から正への変曲点とが交互に現われれば、歩行者と判定するようにしてもよい。

また、代替的に、変曲点が１つ検出されたならば、図３（ｃ）のように、左脛領域の輝度値の変化と右脛領域の輝度値の変化とが逆相であることを示すので、歩行者と判定してもよい。なお、この場合、より判定精度を高めるため、ここでの判定結果を歩行者候補とし、該歩行者候補に対して、さらなる他の判定手法（たとえば、形状判定等）を適用した結果に基づいて、最終的に歩行者と判定するようにしてもよい。

図８は、第２の実施例に従う、輝度変化に基づく歩行者判定プロセスのフローチャートである。図７と、ステップＳ４１が設けられている点で異なる。ステップＳ４１において、変曲点間の周期が、所定範囲内かどうかを判断する。図３（ｃ）を参照して説明したように、一般的な歩行は、周波数Ｆが約０．７〜０．９Ｈｚ程度で行われ、これに従って変曲点が現れる。周波数Ｆに対応する１つの周期Ｔの長さは、変曲点Ｃ１〜Ｃ３の間の長さに相当する。したがって、３つの連続して検出された変曲点Ｃ１〜Ｃ３の間の長さが、所定範囲内（約０．７〜０．９Ｈｚの周波数Ｆに対応する時間長Ｔ）にあるかどうかを判断し、該所定範囲内にあれば（ステップＳ４１がＹｅｓ）、ステップＳ３５において歩行者と判定し、該所定範囲内になければ（ステップＳ４１がＮｏ）、ステップＳ３６において歩行者ではないと判定する。

代替的に、２つの変曲点Ｃ１およびＣ２の間の長さが、所定範囲内（約０．７〜０．９Ｈｚの周波数Ｆに対応する時間長Ｔの半分）にあるかどうかを判断してもよい。さらに、ｎ個の変曲点を用いて、変曲点間の長さの平均を算出し、該平均値が該所定範囲内にあるかどうかを判断してもよい。

図９は、第３の実施例に従う、輝度変化に基づく歩行者判定プロセスのフローチャートである。図７と異なるのは、ステップＳ３４に代えて、ステップＳ４３が設けられている点である。ステップＳ４３では、連続して検出された変曲点間で、輝度差が増大した後に減少しているかどうかを判断する。図３（ｃ）に示されるように、変曲点は、両者の輝度値が交差する点であるので、変曲点における輝度差はゼロである。或る変曲点から次の変曲点に向けて、輝度差は、増大した後に減少する。ステップＳ４３は、この挙動が検出されるかどうかを判断するための処理である。このような挙動が検出されたならば（ステップＳ４３がＹｅｓ）、ステップＳ３５において歩行者と判定し、このような挙動が検出されなければ（ステップＳ４３がＮｏ）、ステップＳ３６において歩行者ではないと判定する。

いくつかの形態で、ステップＳ４３の判断処理を実現することができる。たとえば、輝度差を追跡し、ゼロの時点（変曲点）から極大値までの間の期間の増加速度（変化率）を算出する（たとえば、極大値を、該期間の時間長で除算することにより、増加速度を求めることができる）。増加速度の大きさが所定値以上ならば、図３（ｃ）のように、輝度差がゼロから増大していく挙動であると判断する。また、極大値からゼロ（変曲点）までの間の期間の減少速度（変化率）を算出し（たとえば、極小値を、該期間の時間長で除算することにより、減少速度を求めることができる）、該減少速度の大きさが所定値以上ならば、図３（ｃ）のように、輝度差がゼロへ減少していく挙動であると判断する。

また、２つの変曲点間の一周期だけでなく、複数の周期にわたって増加速度と減少速度を調べ、所定値以上の増加速度と所定値以上の減少速度の周期が所定回数以上にわたって検出されたならば、歩行者と判定してもよい。

図７〜図９において、ステップＳ３５において歩行者と判定されたならば、その輝度差の値は、サイクル（撮像画像のフレーム番号でもよい）に対応づけられてメモリに記憶される。こうして、所定数のサイクルにわたって輝度差がメモリに記憶され、これが、次のサイクルのステップＳ３２の時間追跡に用いられる。

上の実施形態では、歩行する生体として、歩行者を判定している。代替的に、他の歩行する生体について本願発明を適用することができる。たとえば、動物は、車両に対面または対背面で歩行するとき、車両から見ると、左右の足が交互に動かされる。したがって、上記のような手法で動物を判定することができる。

なお、上の実施形態では、一対のカメラを車両に搭載しているが、本願発明は、一台のカメラを車両に搭載し、該カメラによって撮像された画像に基づいて歩行者を判定してもよい。この場合、たとえば対象物までの距離を測定することができるレーダ等を車両に搭載し、該レーダの測定値に基づいて対象物までの距離Ｚを求めてもよい。代替的に、カメラの撮像画像上の各位置に、対応する距離値を予め割り当て、該位置に基づいて対象物までの距離Ｚを推定するようにしてもよい。この場合、画像の下から上に向かって大きくなるように距離値が割り当てられる。

以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。

１Ｒ，１Ｌ 可視カメラ（撮像手段）
２ 画像処理ユニット
３ スピーカ
４ ヘッドアップディスプレイ

Claims (6)

1. 車両の周辺の可視画像を撮像する撮像手段を備え、該車両の周辺を監視する車両周辺監視装置であって、
   前記撮像手段によって撮像した画像において、所定の歩行する生体の足の幅に対応するよう水平方向に並んで配置される一対の対象物領域を、左領域および右領域として抽出する手段と、
   前記左領域の輝度値と前記右領域の輝度値の輝度差を算出する手段と、
   前記輝度差の時間的変化を調べ、該輝度差が正の値と負の値との間で変化する変曲点を検出する手段と、
   前記変曲点が少なくとも１つ検出されたならば、前記一対の対象物領域は、前記歩行する生体の足を表しており、前記歩行する生体が前記車両の周辺に存在していると判定する判定手段と、
   を備える車両周辺監視装置。
2. 前記判定手段は、さらに、正の値から負の値に変化する第１の変曲点の次に、該負の値から正の値に変化する第２の変曲点が検出されるか、または負の値から正の値に変化する第１の変曲点の次に、該正の値から負の値に変化する第２の変曲点が検出されたならば、前記一対の対象物領域は、前記歩行する生体の足を表しており、前記歩行する生体が前記車両の周辺に存在していると判定する、
   請求項１に記載の車両周辺監視装置。
3. 前記判定手段は、さらに、時間的に連続して検出された前記変曲点間の周期が所定範囲内であれば、前記一対の対象物領域は、前記歩行する生体の足を表しており、前記歩行する生体が前記車両の周辺に存在していると判定する、
   請求項１または２に記載の車両周辺監視装置。
4. 前記判定手段は、さらに、時間的に連続して検出された２つの前記変曲点間において、前記輝度差の大きさが、増大した後に減少するという挙動を呈するならば、前記一対の対象物領域は、前記歩行する生体の足を表しており、前記歩行する生体が前記車両の周辺に存在していると判定する、
   請求項１から３のいずれかに記載の車両周辺監視装置。
5. 前記歩行する生体は歩行者であり、前記一対の対象物領域は、前記歩行者の足の脛の部分に対応する、
   請求項１から４のいずれかに記載の車両周辺監視装置。
6. 前記一対の対象物領域の輝度が所定値以上である場合には、前記判定手段による判定に代えて、前記一対の対象物領域を有する対象物の画像領域の形状を判定することによって、該対象物が前記歩行する生体であるかどうかを判定する、
   請求項１から５のいずれかに記載の車両周辺監視装置。