JP2014016661A - 車両周辺監視装置 - Google Patents

Abstract

【課題】歩行者と周囲との温度差が小さい場合にも、撮像画像から歩行者の画像部分を的確に検出することができる車両周辺監視装置を提供する。
【解決手段】車両周辺監視装置１０は、車両１に搭載された赤外線カメラ２によるグレースケール画像２４上で、歩行者の画像部分の可能性がある歩行者画像３４を含む外接四角形２５を特定する歩行者候補領域特定部１１と、外接四角形２５に右腕子区分４４及び左腕子区分４５を設定する輝度判断領域設定部１２と、右腕子区分４４，４５においてｙ軸方向の所定走査量当たりの輝度増大量の比率が所定値以上となる上下方向範囲が存在する場合は、右腕子区分４４，４５内の歩行者画像３４に対応する実空間の対象物は歩行者であると判断する歩行者判断部１３とを備える。
【選択図】図２

Description

本発明は、車両に搭載された撮像手段による撮像画像に基づいて車両周辺の対象物を監視する車両周辺監視装置に関する。

車両に搭載した赤外線カメラが出力する赤外線画像における各画素の輝度に基づいて該赤外線画像における歩行者の候補画像部分を抽出し、抽出した各候補画像部分に対し種々の基準に基づいて人の画像部分か又は人以外の画像部分かを判断する車両周辺監視装置が知られている（例：特許文献１）。

特許文献１の車両周辺監視装置は、歩行者の画像部分の可能性がある歩行者画像部分を含む歩行者候補領域に対し、該歩行者候補領域における頭部相当部分や肩から腕の範囲にわたる相当部分の有無を判断し、無しと判断した歩行者候補領域を歩行者候補領域から除外して行くことにより、歩行者候補領域の絞り込みを行っている。

具体的な有無判断としては、頭部相当部分の有無については歩行者候補領域の上部の区画の輝度平均値が所定値以上である否かに基づいて判断する。また、肩から腕の範囲にわたる相当部分の有無については、グレースケール画像において、頭部相当部分に対して上側左右（背景に相当）及び下側左右（肩から腕の範囲に相当）に計４つのマスク領域を設定し、左右の各側において上下のマスク領域の輝度の差分が閾値以上となっているか否かに基づいて判断している。

特開２００４−３０３２１９号公報

特許文献１の車両周辺監視装置では、肩から腕の範囲にわたる相当部分の有無については、頭部相当部分に対して上下左右に設定したマスク領域の輝度の差分に基づいて判断している。しかしながら、夜間酷暑時では、衣服と気温との差分は非常に小さくなって、上下左右に設定したマスク領域の輝度の差分も非常に小さくなるので、肩から腕の範囲にわたる相当部分の有無判断についての精度が低下する。

特許文献１の車両周辺監視装置では、肩から腕の範囲にわたる相当部分の有無については、頭部相当部分に対して上下左右に設定したマスク領域の輝度の差分に基づいて判断するが、夜間酷暑の判断精度が低下する。

本発明の目的は、歩行者と周囲との温度差が小さい場合にも、撮像画像から歩行者の画像部分を的確に検出することができる車両周辺監視装置を提供することである。

第１発明の車両周辺監視装置は、車両に搭載された赤外線撮像手段による撮像画像に基づいて車両周辺の対象物を監視する車両周辺監視装置であって、前記撮像画像上で、歩行者の画像部分の可能性がある歩行者画像部分を含む歩行者候補領域を特定する歩行者候補領域特定部と、前記歩行者候補領域内に輝度判断領域を設定する輝度判断領域設定処理を実施する輝度判断領域設定部と、前記輝度判断領域において下方向への所定画素数の走査量当たりの輝度増大量の比率が所定値以上となる上下方向範囲が存在する場合は、該歩行者候補領域内の歩行者画像部分に対応する実空間の対象物は歩行者であると判断する歩行者判断部とを備えることを特徴とする。

歩行者は、特に、高気温時では、半袖シャツ、半ズボン（短パン）又はスカート等の服装となって、腕や脚等の肌部を部分的に露出することが多くなる。この場合、腕や脚等の身体部位に対応する撮像画像部分では、上側及び下側がそれぞれ衣服及び肌露出部に対応し、下側画像領域の輝度が上側画像領域の輝度に対して高くなる。また、高気温時では、歩行者の衣服と歩行者の周囲との温度差は減少しても、衣服と肌露出部との温度差は十分な値を維持する。第１発明によれば、歩行者における衣服と露出肌との上下関係及び温度差に着目し、歩行者候補領域内に設定した輝度判断領域において、下方向への所定画素数の走査量当たりの輝度増大量の比率が所定値以上となる上下方向範囲が存在する場合は、該歩行者候補領域内の歩行者画像部分に対応する実空間の対象物は歩行者であると判断することにより、歩行者と周囲との温度差が小さい場合にも、歩行者の画像部分を的確に検出することができる。

第２発明の車両周辺監視装置は、第１発明において、前記輝度判断領域設定部は、前記輝度判断領域を、前記歩行者候補領域内において、上下方向については前記歩行者候補領域の対象物が歩行者と想定される場合の歩行者の胴部に対応する範囲に、また、左右方向については前記歩行者候補領域の対象物が歩行者と想定される場合の歩行者の左右の腕に対応する範囲に設定することを特徴とする。

第２発明よれば、歩行者の画像部分の可能性のある歩行者画像部分に対応する実空間の対象物が実際に歩行者である場合には、歩行者候補領域において、該歩行者の左右の腕に対応する輝度判断領域を的確に設定することができる。これにより、歩行者候補領域内の歩行者画像部分に対応する実空間の対象物が実際に歩行者であって、かつ該歩行者が半袖シャツ等の腕露出型の衣服を着ている場合には、衣服の腕部分と腕の肌露出部分との境目に対応する画像部分を的確に設定して、歩行者画像部分の対象物が歩行者であるか否かの判断の精度を高めることができる。

第３発明の車両周辺監視装置は、第１発明において、前記輝度判断領域設定部は、前記輝度判断領域を、前記歩行者候補領域内において、前記歩行者候補領域の対象物が歩行者と想定される場合の歩行者の脚に対応する上下方向範囲に設定することを特徴とする。

第３発明よれば、歩行者の画像部分の可能性のある歩行者画像部分に対応する実空間の対象物が実際に歩行者である場合には、歩行者候補領域において、該歩行者の脚に対応する輝度判断領域を的確に設定することができる。これにより、歩行者候補領域内の歩行者画像部分に対応する実空間の対象物が実際に歩行者であって、かつ該歩行者が半ズボンやスカート等の脚露出型衣服を履いている場合には、衣服と脚の肌露出部分との境目に対応する画像部分を的確に設定して、歩行者画像部分の対象物が歩行者であるか否かの判断の精度を高めることができる。

第４発明の車両周辺監視装置は、第１〜第３発明のいずれか１つにおいて、前記輝度判断領域設定部は、前記輝度判断領域設定処理を、車外の気温が所定値以上である期間に限定して、実施することを特徴とする。

第４発明によれば、輝度判断領域設定処理を、車外の気温が所定値以上である期間に限定して実施することにより、全体の処理負荷を軽減することができる。

第５発明の車両周辺監視装置は、車両に搭載された撮像手段による撮像画像に基づいて車両周辺の対象物を監視する車両周辺監視装置であって、前記撮像画像上の歩行者候補領域内に設定した輝度判断領域において下方向への所定画素数の走査量当たりの輝度増大量の比率が所定値以上となる上下方向範囲が存在する場合は、前記歩行者候補領域の対象物を警報対象物として、所定の警報処理を実施することを特徴とする。

第５発明によれば、撮像画像上の歩行者候補領域内に設定した輝度判断領域において下方向への所定画素数の走査量当たりの輝度増大量の比率が所定値以上となる上下方向範囲が存在する場合は、歩行者候補領域の対象物を警報対象物として、所定の警報処理を実施することにより、歩行者と周囲との温度差が小さい場合にも、警報を適切に実施することができる。

車両周辺監視装置の車両への取付態様の説明図。 車両周辺監視装置の構成図。 車両周辺監視処理のフローチャート。 歩行者判断処理全体のフローチャート。 高温時歩行者判断処理の第１例についてのフローチャート。 高温時歩行者判断処理の第２例についてのフローチャート。 グレースケール画像における歩行者画像等についての説明図。 撮像画像の胴部についての輝度プロファイルの説明図。 撮像画像の脚部についての輝度プロファイルの説明図。

本発明の実施形態について、図１〜図９を参照して説明する。図１を参照して、本実施形態の車両周辺監視装置１０は車両１に搭載して使用され、車両１には、遠赤外線を検出可能な赤外線カメラ２（本発明の「赤外線撮像手段」に相当する。）が備えられている。

赤外線カメラ２は、車両１の前方を撮像するために車両１の前部に取り付けられており、車両１の前部を原点Ｏとして、車両１の左右方向をＸ軸、上下方向をＹ軸、前後方向をＺ軸とした実空間座標系が定義されている。

次に、図２を参照して、車両１には、車両１のヨーレートを検出するヨーレートセンサ３、車両１の走行速度を検出する車速センサ４、運転者によるブレーキの操作量を検出するブレーキセンサ５、音声による注意喚起等を行うためのスピーカ６、及び赤外線カメラ２により撮像された画像を表示すると共に、車両１と接触する可能性が高い物体を運転者に視認させる表示を行うためのヘッドアップディスプレイ（Head Up Display）７（以下、ＨＵＤ７という）が接続されている。ＨＵＤ７は、図１に示したように、車両１のフロントウインドウの運転者側の前方位置に画面７ａが表示されるように設けられている。

車両周辺監視装置１０は、ＣＰＵ、メモリ（図示しない）等により構成された電子ユニットであり、赤外線カメラ２から出力される映像信号をデジタルデータに変換して画像メモリ（図示しない）にグレースケール画像として取り込み、画像メモリに取り込んだ車両１の前方の撮像画像としてのグレースケール画像に対して、ＣＰＵにより各種の演算処理を行う機能を有している。

そして、ＣＰＵに車両周辺監視装置１０の制御用プログラムを実行させることによって、ＣＰＵが、歩行者候補領域特定部１１、輝度判断領域設定部１２、歩行者判断部１３及び警報部１４として機能する。

歩行者候補領域特定部１１は、グレースケール画像上で、歩行者の画像部分の可能性がある歩行者画像部分（後述の図７の歩行者画像３４に相当する。）を含む歩行者候補領域（後述の図７の外接四角形２５に相当する。）を特定する。輝度判断領域設定部１２は、歩行者候補領域内に輝度判断領域（後述の図８の右腕子区分４４及び左腕子区分４５並びに図９の脚部区分２９に相当する。）を設定する輝度判断領域設定処理を実施する。

歩行者判断部１３は、輝度判断領域において下方向への所定画素数の走査量当たりの輝度増大量の比率が所定値以上となる上下方向範囲が存在する場合は（後述の図５のＳＴＥＰ４３のＹＥＳ又は後述の図６のＳＴＥＰ６２のＹＥＳに相当する。）、該歩行者候補領域内の歩行者画像部分に対応する実空間の対象物は歩行者であると判断する歩行者判断処理を実施する（後述の図５のＳＴＥＰ４３〜４５及び後述の図６のＳＴＥＰ６２〜６４に相当する。）。

警報部１４は、歩行者判断部１３が歩行者候補領域内の歩行者画像部分に対応する実空間の対象物は歩行者であると判断した場合は、歩行者候補領域の対象物を警報対象物として、警報処理を実施する（後述の図３のＳＴＥＰ９に相当する。）。

次に、図３に示したフローチャートに従って、車両周辺監視装置１０による一連の車両周辺監視処理について説明する。車両周辺監視装置１０は、赤外線カメラ２の撮像間隔に同期した制御周期毎に図３に示したフローチャートによる処理を実行して、車両１の周辺を監視する。

ＳＴＥＰ１では、車両周辺監視装置１０は、赤外線カメラ２からのアナログ形式の赤外線画像信号を入力する。赤外線カメラ２は、一定時間ごとに、車両１の前方の光景を所定の画角で撮影し、その赤外線画像信号を出力する。

ＳＴＥＰ２では、車両周辺監視装置１０は、アナログ形式の赤外線画像信号をデジタルの諧調（輝度）データに変換したデジタル形式の赤外線画像信号としてのグレースケール画像２４（図７）を画像メモリに取り込む。

直近の所定数（該所定数は複数の有限値）のグレースケール画像２４は、赤外線カメラ２が一定時間間隔で撮像した直近の該所定数の時系列の赤外線画像に対応する。画像メモリには、直近の所定数のグレースケール画像２４が時系例のグレースケール画像として記憶されており、時系列の該直近の所定数のグレースケール画像２４は、一定時間間隔が経過して、赤外線カメラ２が新たな撮像画像を出力するごとに、更新される。

ＳＴＥＰ３では、車両周辺監視装置１０は、グレースケール画像２４の各画素について、輝度が所定の閾値以上である画素を高輝度画素として「１」（白）とし、輝度が該閾値よりも小さい画素を低輝度画素として「０」（黒）とする２値化処理を行って２値画像を取得する。

車両周辺監視装置１０は、ＳＴＥＰ３における閾値を外気温（車外の気温）に応じて変化させる。具体的には、車両周辺監視装置１０は、該閾値を、歩行者の頭部の温度を超えないという条件下で、外気温が高いときほど、高くなるように、動的に設定する。しかしながら、外気温が高いときは、歩行者の頭部とその背景との温度差が減少するので、高温時ほど、歩行者の頭部の画像部分を、グレースケール画像２４における高輝度画素領域として抽出する精度が低下し、また、これに伴い、車両周辺監視装置１０がグレースケール画像２４における画像部分が歩行者の画像部分であるか否かを判断する精度が低下する。車両周辺監視装置１０は、これに対処した処理を実施するものであり、詳細については図５及び図６において後述する。

ＳＴＥＰ４では、車両周辺監視装置１０は、２値画像中の各白画像部分の各縦方向（２値画像の上下方向）位置に対し、横方向（２値画像の左右方向）に白の画素の連続する画素列の開始画素位置及び長さを示すランレングスデータを算出する。

ＳＴＥＰ５では、車両周辺監視装置１０は、２値画像のランレングスデータに基づいて対象物の２値画像としての白画像部分を抽出し、抽出した白画像部分に対してラべリング（番号付け）を行う。

ＳＴＥＰ６では、車両周辺監視装置１０は、ラベリングした白画像部分の重心、面積、及び白画像部分の外接四角形のアスペクト（縦横）比を算出する。

ＳＴＥＰ７では、車両周辺監視装置１０は、対象物の時刻間追跡を実施する。具体的には、赤外線カメラ２が一定時間間隔で撮像した前回及び今回の赤外線画像から取得した前回及び今回の２値画像からそれぞれ抽出したラベル付き白画像部分について、相関性に基づいて同一対象物について白画像部分同士を対応付ける。その際、車両周辺監視装置１０は、白画像部分の重心、面積、及び白画像部分の外接四角形のアスペクト（縦横）比の変化量が対応の所定の閾値内になっている、前回と今回の白画像部分同士は、所定の相関性があるとして、同一対象物についての白画像部分同士であると判断する。

ＳＴＥＰ７では、また、車両周辺監視装置１０は、同一対象物についての白画像部分であると判断した前回と今回の白画像部分同士に対し、今回の白画像部分には、前回の白画像部分に付けたラベルが継承されるように、再ラベリングする。

ＲＯＵＴＩＮＥ８において、車両周辺監視装置１０は歩行者判断処理を実行する。歩行者判断処理の具体的内容については図４〜図６において後述する。

ＳＴＥＰ９では、警報部１４は、人の実空間位置に基づいて車両１の運転者に対して警報を実施する。具体的には、警報部１４は、人の実空間位置を算出して、該人が車両１の前方のどの特定の領域に存在するか否かを検出し、存在する領域に応じてスピーカ６から警告音を出力したり、画面７ａにおける人画像部分を所定の目立つ色の枠で囲ったりする。

その際、人の実空間位置の算出では、算出式として例えば次の周知の式（１）が使用される（例：特開２００８−１１３２９６号公報等）。

Ｚ＝Ｒate・Ｖ・Δｔ／（１−Ｒate）・・・（１）
上記の式（１）において各符号の定義は次のとおりである。
Ｚ：対象物について図２のＺ軸方向の位置、すなわち車両１から対象物までの距離。
Ｒate：今回及び前回の２値画像において、ＳＴＥＰ７における時刻間追跡により同一の対象物についての白画像部分であると判断された該白画像部分の外接四角形の幅又は高さの寸法比。今回の２値画像における外接四角形の幅及び高さをｗ0，ｈ0、前回の２値画像における外接四角形の幅及び高さをｗ1，ｈ1とすると、Ｒate＝ｗ1／ｗ0又はｈ1／ｈ0となる。なお、寸法ｈ0，ｈ1，ｗ0，ｗ1は赤外線画像における画素ピッチ数で表現したものである。
Δｔ：今回及び前回の２値画像の基になっている赤外線画像の撮像時刻の時間差
Ｖ：車両１の車速。

式（１）で求めたＺはさらに車両１の回頭角により補正される。車両１の回頭角はヨーレートセンサ３の出力をΔｔにより積分した積分値に基づいて算出される（例：前述の特開２００８−１１３２９６号公報等）。

図４は図３のＲＯＵＴＩＮＥ８（歩行者判断処理）のフローチャートである。ＲＯＵＴＩＮＥ８は、車両周辺監視装置１０の歩行者候補領域特定部１１〜歩行者判断部１３（図２）が実施する。

ＳＴＥＰ２１では、歩行者候補領域特定部１１は、グレースケール画像２４上の対象物画像部分に対して外接四角形を設定する。図７はグレースケール画像２４上の対象物画像部分及び外接四角形を例示している。なお、図７に示すグレースケール画像２４は、全体でなく、一部である。グレースケール画像２４の全体は図７に示すグレースケール画像２４より大きい。

歩行者画像３４はグレースケール画像２４上の対象物画像部分の一例である。グレースケール画像２４から歩行者画像３４等の対象物画像部分を抽出する具体的な方法は例えば特開２００８−１１３２９６号公報に開示されている。概略について述べると、次のとおりである。

最初に、グレースケール画像２４における高輝度領域として第１画像部分（頭部画像部分３５）を設定し、第１画像部分の周囲に升目状の複数のマスク領域としての第２画像部分を設定する。

次に、第２画像部分の内、異なる撮像時点における２つのグレースケール画像２４間において、第１画像部分との相対的な位置関係の変化率が所定値以下であって、第１画像部分との特徴量の相関度が所定値以上である第２画像部分を選定し、第１画像部分と選定した複数の第２画像部分とを合わせた画像部分をグレースケール画像２４上の対象物画像部分とする。

図７において、歩行者画像３４には、上から順番に、頭部画像部分３５、胴部画像部分３６及び脚部画像部分３７が含められる。外接四角形２５は、その上下左右の辺が歩行者画像３４の上下左右の端と重なる矩形として設定される。

図４に戻って、ＳＴＥＰ２２では、車両周辺監視装置１０は、外接四角形２５を上から下へ順番に頭部区分２７、胴部区分２８及び脚部区分２９に分割する。この分割では、処理対象となっている対象物画像部分が歩行者画像部分であることを想定して、頭部区分２７、胴部区分２８及び脚部区分２９の上下方向寸法比は、平均的な体格の歩行者の頭部、胴部及び脚部の上下方向寸法比に合わせられる。頭部画像部分３５、胴部画像部分３６及び脚部画像部分３７は、それぞれ頭部区分２７、胴部区分２８及び脚部区分２９に存在する。

ＳＴＥＰ２３では、歩行者判断部１３は、頭部区分２７が高輝度である場合、頭部区分２７から連続エッジが抽出できるか否かを判定し、判定が正であれば、ＳＴＥＰ２４へ処理を進め、判定が否であれば、ＳＴＥＰ２９へ処理を進める。

ＳＴＥＰ２３における高輝度、後述のＳＴＥＰ２４における中間輝度、並びに後述のＳＴＥＰ２５における高輝度及び低輝度の判定は、頭部区分２７、脚部区分２９及び胴部区分２８の平均輝度と上側閾値Ｋ1及び下側閾値Ｋ2（ただし、Ｋ1＞Ｋ2）と対比することにより行われる。歩行者とその周囲との温度差は、気温の上昇に連れて減少するので、これら閾値Ｋ1，Ｋ2は、気温の上昇に連れて上昇するように、動的に設定される。

ＳＴＥＰ２３における頭部区分２７が高輝度であるとは、頭部区分２７の平均輝度≧Ｋ1であることを意味するものとする。後述のＳＴＥＰ２４における脚部区分２９が中輝度であるとは、Ｋ1＞脚部区分２９の平均輝度≧Ｋ2であることを意味するものとする。後述のＳＴＥＰ２５において、胴部区分２８が高輝度であるとは、胴部区分２８の平均輝度≧Ｋ1であることを意味し、胴部区分２８が低輝度であるとは、Ｋ2＞胴部区分２８の平均輝度であることを意味するものとする。

頭部画像部分３５は、高気温時でも、周囲に対して十分に高温である。したがって、当該画像部分（ＳＴＥＰ２１において処理対象となった対象物画像部分）が歩行者画像３４であれば、頭部区分２７は、高気温時でも、高輝度になる。この結果、頭部区分２７に頭部画像部分３５が存在すれば、気温に関係なく、頭部区分２７から歩行者の頭部に相当する所定長さの連続エッジを抽出することができる。したがって、当該画像部分が歩行者画像３４であれば、ＳＴＥＰ２３の判定は正となる。

ＳＴＥＰ２４では、歩行者判断部１３は、脚部区分２９が中間輝度である場合、脚部区分２９から連続エッジが抽出できるか否かを判定し、判定が正であれば、ＳＴＥＰ２５へ処理を進め、判定が否であれば、ＳＴＥＰ２９へ処理を進める。

脚部画像部分３７が脚部区分２９に含まれていれば、脚部区分２９の輝度は、頭部画像に比べて、中間輝度となる。また、脚部画像部分３７が脚部区分２９に含まれていれば、気温に関係なく、脚部画像部分３７から連続エッジを抽出することができる。したがって、当該画像部分が歩行者画像３４であれば、ＳＴＥＰ２４の判定は、気温に関係なく、正となる。

ＳＴＥＰ２５では、歩行者判断部１３は、胴部区分２８が高輝度である場合、胴部区分２８から連続エッジが抽出できるか否かの判定、又は胴部区分２８が低輝度である場合、胴部区分２８から連続エッジが抽出できないか否かの判定を行い、判定が正であれば、ＳＴＥＰ２６へ処理を進め、判定が否であれば、処理をＳＴＥＰ２７へ進める。

低気温時及び常温時（例：夏季以外の季節時）では、歩行者は、裾が長い衣服を着ているため、歩行者胴部の輝度は部位（胸部、腹部及び腕部等）による違いによらず一様である。このため、胴部中央（腹部や胸部）の輝度が低い場合には腕部の輝度が低く、胴全体としてエッジが抽出されにくい。また、歩行者の胴体のみが所定の物体の後ろに隠れている可能性があり、この場合も、胴部区分２８の輝度が低くなる。したがって、低気温時及び常温時では、胴部区分２８が低輝度である場合、胴部区分２８から連続エッジが抽出できないか否かのＳＴＥＰ２５の判定が正となる。

これに対し、高気温時（例：夏季）では、歩行者が半袖の衣服を着て、衣服の温度は、周囲の高気温に近く、比較的高温になり易い。この結果、胴部区分２８の輝度が各部位ごとにばらばらとなるとともに、また、これに伴い、所定長さ以上の連続エッジが抽出されない。このため、高気温時では、ＳＴＥＰ２５の判定は否となる。

さらに、胴部区分が高輝度である場合、胴部区分から連続エッジが抽出できれば、当該画像部分の対象物は歩行者であると判断することができるので、胴部区分が高輝度である場合、胴部区分から連続エッジが抽出できるときも、ＳＴＥＰ２５の判定は正とされる。

ＳＴＥＰ２６では、歩行者判断部１３は、当該画像部分（ＳＴＥＰ２１において処理対象となった対象物画像部分）の対象物は歩行者であると判断する。歩行者判断部１３は、この後、図４の歩行者判断処理を終了して、処理を図３の車両周辺監視処理へ戻す。

ＳＴＥＰ２７では、車両周辺監視装置１０は、気温は所定値以上であるか否かを判定し、正の判定であれば、処理をＲＯＵＴＩＮＥ２８へ進ませ、否の判定であれば、処理をＳＴＥＰ２９へ進ませる。高気温時（例：夏季）はＳＴＥＰ２７の判定は正となる。ＲＯＵＴＩＮＥ２８の詳細については、図５及び図６のフローチャートで後述する。

ＳＴＥＰ２９では、歩行者判断部１３は、当該画像部分の対象物は歩行者ではないと判断する。歩行者判断部１３は、この後、図４の歩行者判断処理を終了して、処理を図３の車両周辺監視処理へ戻す。

図５及び図６は図４のＲＯＵＴＩＮＥ２８（高温時歩行者判断処理）の２例についてのフローチャートである。最初に、図５の高温時歩行者判断ルーチンＡについて説明する。

ＳＴＥＰ４１では、輝度判断領域設定部１２は、図８（ａ）に示すように、胴部区分２８をさらに胴本体子区分４３とその左右両側の右腕子区分４４及び左腕子区分４５とに分割する。胴本体子区分４３は、歩行者の胴本体の画像部分に対応する。車両１の方へ正面を向けている歩行者の左右は、車両１の運転者から見た左右と逆の関係になることに注意されたい。右腕子区分４４及び左腕子区分４５は、歩行者の右腕及び左腕の画像部分に対応する画像区分である。この分割では、処理対象となっている対象物画像部分が歩行者画像部分であることを想定して、右腕子区分４４、胴本体子区分４３及び左腕子区分４５の左右方向寸法の比は、平均的な体格の歩行者の右腕、胴部本体及び左腕の左右方向寸法比に合わせられる。

ＳＴＥＰ４２では、輝度判断領域設定部１２は、右腕子区分４４及び左腕子区分４５について、輝度プロファイルを作成する。図８（ｂ）は輝度プロファイルの具体例を示している。図８（ｂ）において、ｙは、グレースケール画像２４において実空間におけるＹ軸（図１）に対応付けられる上下方向の座標軸であり、下方向を正としている。図８において、右上腕及び左上腕は歩行者が右腕及び左腕の内、半袖シャツ等の腕露出型衣服の衣服部により肌を覆われて腕部分を意味し、右下腕及び左下腕は該衣服部から肌を露出させている腕部分を意味する。

輝度プロファイルの横軸の輝度は、右腕子区分４４又は左腕子区分４５において各ｙ座標位置における全画素の輝度の合計値を示している。歩行者の露出肌は高温であるので、左右の腕の露出肌の上端に相当するｙ座標位置を境に、それより上側範囲における輝度に対して下側範囲における輝度が大きく増大したものとなる。

ＳＴＥＰ４３では、輝度判断領域設定部１２は、輝度プロファイルに、輝度増大量の比率が所定値以上になるｙ軸方向範囲が存在するか否かを判定し、判定が正であれば、処理をＳＴＥＰ４４へ進ませ、判定が否であれば、処理をＳＴＥＰ４５へ進ませる。

輝度増大量の比率は、ｙ軸方向のｙ座標増大向きの所定長さをΔｙ、及びΔｙ移動したときの輝度の増大量をΔｋとして、Δｋ／Δｙと定義する。輝度はグレースケール画像２４において各画素が有しているので、右腕子区分４４及び左腕子区分４５におけるｙ座標は画素に対応したｙ座標のみの離散的な値を取る。したがって、Δｙは、ｙ軸方向へ所定の画素数ｎ（画素ピッチ数）に相当する長さとする。

ｎは、ｎ＞１の整数である。ｎ＝１を除外した理由は、図８（ｂ）の輝度プロファイルから分かるように、輝度プロファイルの輝度の立ち上がりは急峻ではあるものの、垂直ではなく、また、立ち上がり角度も個人差や状況差があるので、ｎを１より大きい値に設定することにより、個人差や状況差を吸収し、歩行者判断の信頼度を高めるためである。ｎは、図８（ｂ）において、輝度の立ち上がり直前のｙ座標と立ち上がり直後のｙ座標との差分よりわずかに大きい値に設定されることが好ましい。

歩行者が半袖シャツ等の腕露出型の衣服を着ていた場合には、図８（ｂ）の輝度プロファイルにおける右腕子区分４４及び左腕子区分４５のように、Δｋ／Δｙが所定の閾値以上となるｙ軸方向範囲が存在するので、ＳＴＥＰ４３の判定結果は正となる。ＳＴＥＰ４３の判定は、右腕子区分４４及び左腕子区分４５の輝度プロファイルについて共に正となる場合にのみ、正と判定する。

歩行者は、常に、赤外線カメラ２から見て両腕を胴本体の左右に位置するとは限らない。歩行者は、歩行中又は立ち止まり中、右腕又は左腕を動かすことがある。そのような時では、歩行者の左右の腕が、赤外線カメラ２から見て、胴本体の右及び左に来ずに、胴本体に重なる。そのような時に撮像したグレースケール画像２４における右腕子区分４４及び左腕子区分４５の輝度プロファイルについてのＳＴＥＰ４３の判定では、判定結果が否となることが起こり得る。

したがって、輝度判断領域設定部１２は、１枚のグレースケール画像２４に対してＳＴＥＰ４３の判定結果を出すのではなく、時系列の所定数のグレースケール画像２４のいずれかに、輝度増大量の比率が所定値以上になるｙ軸方向範囲が存在すれば、ＳＴＥＰ４３において正と判定するようにする。

ＳＴＥＰ４４，４５の処理内容は、それぞれ図４のＳＴＥＰ２６，２９の処理内容と同一であるので、説明は省略する。歩行者判断部１３は、ＳＴＥＰ４４，４５の処理終了後、処理を図４の歩行者判断処理ルーチンへ戻す。

次に、図６の高温時歩行者判断ルーチンＢについて説明する。ＳＴＥＰ６１では、輝度判断領域設定部１２は、脚部区分２９について、輝度プロファイルを作成する。図９（ｂ）は図９（ａ）に図示されている歩行者画像３４の脚部区分２９について作成された輝度プロファイルの具体例を示している。図９（ｂ）の輝度プロファイルについて、ｙ軸、輝度、及び比率Δｋ／Δｙは、図８（ｂ）の輝度プロファイルについて定義したものと同一である。ただし、Δｙは、脚部の輝度の特性に合わせて、図８（ｂ）のΔｙと同一にすることなく、脚部の輝度プロファイル用に別の値を設定することが好ましい。

ＳＴＥＰ６２では、輝度判断領域設定部１２は、輝度プロファイルに、輝度増大量の比率が所定値以上になるｙ軸方向範囲が存在するか否かを判定し、判定が正であれば、処理をＳＴＥＰ６３へ進ませ、判定が否であれば、処理をＳＴＥＰ６４へ進ませる。

歩行者が半ズボン等の脚部露出型衣服を着ていた場合には、脚部露出型衣服の下端に相当するｙ座標位置を境に、それより上側範囲における輝度に対して下側範囲における輝度が大きく増大したものとなる。したがって、図９（ｂ）の輝度プロファイルのように、Δｋ／Δｙが所定の閾値以上となるｙ軸方向範囲が存在するので、ＳＴＥＰ６２の判定結果は正となる。

ＳＴＥＰ６３，６４の処理内容は、それぞれ図４のＳＴＥＰ２６，２９の処理内容と同一であるので、説明は省略する。歩行者判断部１３は、ＳＴＥＰ６３，６４の処理終了後、処理を図４の歩行者判断処理ルーチンへ戻す。

本発明は、上述した実施例に限定されることなく、要旨の範囲内において種々に変形して実施される。例えば、図４では、ＲＯＵＴＩＮＥ２８は、ＳＴＥＰ２７の後に実施されているが、すなわち、高気温期間に限定して行われているが、気温に関係なく、実施されてもよい（ＳＴＥＰ２７の削除。ＳＴＥＰ２５ＮＯ→ＲＯＵＴＩＮＥ２８と進むように変更する。）。ただし、ＲＯＵＴＩＮＥ２８は、高気温期間に限定して実施した方が車両周辺監視装置１０の処理負荷は軽減する。

図８（ａ）では、歩行者画像３４は歩行者が車両１の方に正面を向けていることを想定しているが、歩行者は車両１に対して横向きに歩行していることがある。その場合には、歩行者の左右の腕は、車両１から見て胴本体の両側にならず、一方の腕は胴本体に隠れるとともに、他方の腕は胴本体を覆って、赤外線カメラ２により撮影されることになる。その時、半袖シャツを着た横向きの歩行者の胴部区分２８では、他方の腕の肌露出部は胴部区分２８の下側範囲に存在するので、該図９（ａ）の脚部区分２９と同様の輝度分布になる。したがって、この場合の胴部区分２８の輝度プロファイルに対して、図９（ｂ）の脚部区分２９の輝度プロファイルの場合と同様の観点で当該画像部分が人の画像部分であるか否かを判断することができる。

同様に、女性のへそ出しファッションでは、女性の胴部の下半部が露出肌となる。このようなファッションに対しても、胴部区分２８の輝度プロファイルに対して、図９（ｂ）の脚部区分２９の輝度プロファイルの場合と同様の観点で、当該画像部分が人の画像部分であるか否かを判断することができる。

１・・・車両、２・・・赤外線カメラ（赤外線撮像手段）、１０・・・車両周辺監視装置、１１・・・歩行者候補領域特定部、１２・・・輝度判断領域設定部、１３・・・歩行者判断部、１４・・・警報部、２４・・・グレースケール画像（撮像画像）、２５・・・外接四角形（歩行者候補領域）、２７・・・頭部区分、２８・・・胴部区分、２９・・・脚部区分、３４・・・歩行者画像、３７・・・脚部画像部分（輝度判断領域）、４４・・・右腕子区分（輝度判断領域）、４５・・・左腕子区分（輝度判断領域）。

Claims (5)

1. 車両に搭載された赤外線撮像手段による撮像画像に基づいて車両周辺の対象物を監視する車両周辺監視装置であって、
   前記撮像画像上で、歩行者の画像部分の可能性がある歩行者画像部分を含む歩行者候補領域を特定する歩行者候補領域特定部と、
   前記歩行者候補領域内に輝度判断領域を設定する輝度判断領域設定処理を実施する輝度判断領域設定部と、
   前記輝度判断領域において下方向への所定画素数の走査量当たりの輝度増大量の比率が所定値以上となる上下方向範囲が存在する場合は、該歩行者候補領域内の歩行者画像部分に対応する実空間の対象物は歩行者であると判断する歩行者判断部とを備えることを特徴とする車両周辺監視装置。
2. 請求項１記載の車両周辺監視装置であって、
   前記輝度判断領域設定部は、前記輝度判断領域を、前記歩行者候補領域内において、上下方向については前記歩行者候補領域の対象物が歩行者と想定される場合の歩行者の胴部に対応する範囲に、また、左右方向については前記歩行者候補領域の対象物が歩行者と想定される場合の歩行者の左右の腕に対応する範囲に設定することを特徴とする車両周辺監視装置。
3. 請求項１記載の車両周辺監視装置であって、
   前記輝度判断領域設定部は、前記輝度判断領域を、前記歩行者候補領域内において、前記歩行者候補領域の対象物が歩行者と想定される場合の歩行者の脚に対応する上下方向範囲に設定することを特徴とする車両周辺監視装置。
4. 請求項１〜３のいずれか１項に記載の車両周辺監視装置であって、
   前記輝度判断領域設定部は、前記輝度判断領域設定処理を、車外の気温が所定値以上である期間に限定して、実施することを特徴とする車両周辺監視装置。
5. 車両に搭載された撮像手段による撮像画像に基づいて車両周辺の対象物を監視する車両周辺監視装置であって、
   前記撮像画像上の歩行者候補領域内に設定した輝度判断領域において下方向への所定画素数の走査量当たりの輝度増大量の比率が所定値以上となる上下方向範囲が存在する場合は、前記歩行者候補領域の対象物を警報対象物として、所定の警報処理を実施することを特徴とする車両周辺監視装置。