JP2011108046A - 車両周辺監視装置 - Google Patents

Abstract

【課題】人体等の生体（哺乳動物）の温度に近いコンクリート等の壁等が電柱等により遮られた場合に発生する非生体（前記コンクリート等の壁）を生体と誤検知してしまうことを防止する車両周辺監視装置を提供する。
【解決手段】探索マスク領域１０１内に含まれる生体候補の形状の時間変化が所定以下であるとみなしたとき、生体候補を生体として認識するようにしたので、人体等の生体（哺乳動物）の温度に近いコンクリート等の壁等が電柱等により遮られた場合に遮られなかった人体サイズに近似する領域を生体と誤検知してしまうという不都合を防止できる。電柱等のオクルージョン物体に遮られた壁等で遮られなかった領域は、画像上、実空間上の形状が時間変化するのに対して、人体等の生体は、時間変化がないという知見も基づき誤検知を防止する。
【選択図】図６

Description

この発明は、カメラ画像（赤外線カメラの画像又は通常の可視領域を撮像するビデオカメラの画像）及びレーダによって対象物の抽出を行う車両周辺監視装置に関する。

従来から、例えば車両前部の車幅方向中央付近の上下位置（バンパーやフロントグリル部）にレーダと赤外線カメラを取り付け、レーダにより車両前方に位置する物体（他車両、電柱、塀、人等）の距離と方位を検出するとともに、赤外線カメラによる赤外線画像によりテールランプやヘッドランプの温度の高い部分を結んだ点列データの特徴から物体が車両であるとの種別を判別する物体種別判別装置が提案されている（特許文献１）。

特許文献１によれば、物体には、例えば、人、車両、建築物等の様々な種別のものが含まれる。このとき、人等の生体は、一般に複雑な曲面体形状で構成されるのに対して、車両等の人工構造物は、複数の頂点を結ぶ直線の線と、その辺に囲まれた面によって構成される多面体形状（特に、直方体形状）で構成されることが多いと記載されている。

また、車両周辺監視装置では、赤外線カメラにより捉えられた自車両周辺の画像（グレースケール画像とその２値化画像）から、自車両との接触の可能性がある歩行者等の対象物の情報を抽出し、その情報を自車両の運転者に提供することが公知である（特許文献２）。

特許文献２に係る車両周辺監視装置では、左右一組の赤外線カメラ（ステレオカメラ）により撮影した自車両周辺の画像において温度が高い部分を対象物にすると共に、左右画像中の対象物の視差を求めることにより対象物までの距離を算出し、対象物の移動方向や対象物の位置から、自車両の走行に影響を与えそうな歩行者等の対象物を検出して警報を出力するとともに、赤外線カメラによる得られる対象物の画像を運転者が見られるようにＨＵＤ（Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ）に表示している。

特開２００９−１９２４３０号公報（[０００８]、［００５３］） 特許第３９３４１１９号公報（［００５１］、［００６４］、［０１０７］、[０１０８]）

上記した特許文献２に係る車両周辺監視装置は、夜間走行時に、対象物として検出した見えにくい前方の歩行者を映像で表示することができる。

特に、特許文献２に係る車両周辺監視装置では、車両周囲が降雨状態ではない場合は、従来通り歩行者の頭部等、路上に存在する歩行者の比較的判別しやすい身体的特徴についての形状判定により対象物から歩行者を認識する一方、車両周囲が降雨状態であるために、歩行者が傘を差していて、歩行者の頭部等、路上に存在する歩行者の比較的判別しやすい身体的特徴が赤外線カメラにより捉えられていない場合には、グレースケール画像中の歩行者の脚部の存在か、あるいは歩行者が差している傘の存在を確かめて、歩行者を認識する。

この特許文献２に係る技術において、グレースケール画像中の歩行者の脚部の存在を確かめて歩行者を認識する場合は、具体的には、図９に示すように、目的とする検出対象物１００の実空間での横幅Ｗｒｅａｌ（不図示）が歩行者（図９中、点線で囲った領域）の脚部として適当な横幅ｗｂであるという条件と、目的の検出対象物１００が縦長形状（ｗｂ＜ｈｂ＝縦幅）であるという条件と、目的の検出対象物１００の下端位置が探索マスク領域１０１の下部（下半分）側に存在するという条件と、目的の検出対象物１００に時系列的な輝度変化があるという条件とを全て満足する場合に、目的の検出対象物１００が歩行者の脚部であり、検出された対象物が歩行者であると認識する。

なお、探索マスク領域１０１の大きさは、検出対象物１００の外接四角形２００の大きさより縦方向及び横方向で若干大きくした大きさ｛縦幅（ｈｇ）×横幅（ｗｇ）｝に設定される。

ところで、特許文献２のように、赤外線カメラ搭載位置と対象物との間の距離を視差に基づいて、検出対象物を検出する場合には、２台の赤外線カメラを搭載することによるコストアップを伴い、さらに、両カメラの光軸調整を厳密に行わなければならない等の煩雑な据え付け作業が必要になるという不都合がある。

そこで、特許文献１のように、レーダと赤外線カメラを搭載して、特許文献２のように、歩行者等の人体対象物を検出することができれば、コストの低減された車両周辺監視装置を製造することができると考えられる。

この場合、図１０のイメージ図に示すように、図示しない車両の先端部に取り付けられたレーダは、道路１０４の路側に沿って配置される電柱、街路樹、標識のポール等の柱状構造物１０６、１０８の位置方位を計測することができる。

ところが、柱状構造物１０６、１０８の間に、周囲温度の影響により人体の温度に近い温度になり、かつ冷めにくいコンクリート製の塀１１０等が存在する場合、この塀１１０は、レーダにも捉えられるが、赤外線カメラによるグレースケール画像上で、柱状構造物１０６、１０８の表面間の距離ｗｘが、オクルージョン（ｏｃｃｌｕｓｉｏｎ）物体である柱状構造物１０６、１０８により遮られて人体の脚幅と同等程度となったとき、図９に示した探索マスク領域１０１が設定され、コンクリートの塀１１０の壁面１１６を歩行者であると誤検知（誤判定）してしまう可能性があり、誤検知してしまうと、スピーカやＨＵＤを利用して警報や映像表示を行うことから運転者に不必要で過剰な注意喚起を行ってしまうという不都合が発生し、改善の余地がある。

この発明はこのような課題を考慮してなされたものであり、人体等の生体（哺乳動物）の温度に近いコンクリート等の壁等が、電柱、街路樹、標識のポール等のオクルージョン物体により遮られた場合に、前記壁等の遮られなかった領域に発生する生体のサイズに近似する領域（非生体）を生体として誤検知してしまうという不都合を防止することを可能とする車両周辺監視装置を提供することを目的とする。

この発明に係る車両周辺監視装置は、車両に搭載される車両周辺監視装置において、車両周辺の画像を取得する撮像部と、車両周辺に存在する物体の位置を検出するレーダと、前記撮像部が取得した前記画像に前記レーダが検出した前記物体の位置を反映させ、当該物体の位置に検出対象物である生体のサイズよりも高さ又は幅の少なくとも一方が大きく設定された探索マスク領域を設定するマスク設定部と、前記探索マスク領域内に含まれる生体候補を抽出する生体候補抽出部と、を備える車両周辺監視装置であって、前記生体候補の形状の時間変化を検出する時間変化検出部と、検出している前記生体候補の形状の時間変化があるか否かを判定し、時間変化が所定以下であるとき、前記生体候補を生体として認識する生体認識部と、を備えることを特徴とする。

この発明によれば、探索マスク領域内に含まれる生体候補の形状の時間変化が所定以下であるとき、前記生体候補を生体として認識するようにしたので、人体等の生体（哺乳動物）の温度に近いコンクリート等の壁等が電柱等柱状構造物等のオクルージョン物体により遮られた場合に、前記壁等の遮られなかった領域に発生する生体のサイズに近似する領域（非生体）を生体として誤検知してしまうという不都合を防止することができる。

この発明では、電柱等のオクルージョン物体に遮られた壁等の遮られなかった領域は、車両の移動に伴い、実空間上の形状が時間変化するのに対して、人体等の生体は、車両が移動しても時間変化がないという知見を利用して誤検知を回避している。

この場合、さらに、検出対象物のサイズを検出するサイズ検出・判別部を設け、前記レーダが検出した前記物体の位置に存在する前記撮像部により検出された検出対象物のサイズが、下限閾値以下のサイズ又は上限閾値以上のサイズであると判別した場合には、前記マスク設定部、前記生体候補抽出部、時間変化検出部、及び生体認識部による各処理を行わないようにすることで、車両周辺監視装置の処理量を低減させることができる。

また、前記生体候補抽出部は、前記探索マスク領域内に含まれる歩行者の脚の特徴を前記生体候補として抽出することで、前記生体候補を容易に抽出することができる。

なお、さらに、人工構造物を検出する人工構造物検出部を備え、当該人工構造物検出部が、閾値高さ以上の高さを有する物体を、前記探索マスク領域内またはその近傍に検出した場合、前記生体認識部が前記生体候補を前記生体として認識する信頼性を変更することで、生体を精度よく認識することができる可能性が高くなる。

また、前記レーダが、前記探索マスク領域を実空間上に反映させた場合の高さ又は幅方向の少なくとも一方よりも大きなサイズの物体を検出した場合には、前記生体候補の抽出を中断することで、車両周辺監視装置の処理量を低減することができる。

また、前記時間変化検出部は、前記画像により前記マスク領域内の左右に対称性を持つ２つの生体候補を抽出し、時間の経過に伴い、画面中で一方の生体候補の面積が増大し、他方の生体候補の面積が減少した場合、当該生体候補が生体ではないと判定することで、より精度よく生体を認識することができる。

前記撮像部は、グレースケール画像を取得する赤外線カメラとすることが好ましい。

この発明によれば、探索マスク領域内に含まれる生体候補の形状の大きさの時間変化が所定以下であるとき、前記生体候補を生体として認識するようにしたので、人体等の生体（哺乳動物）の温度に近いコンクリート等の壁等が電柱等のオクルージョン物体により遮られた場合に、前記壁等の遮られなかった領域に発生する生体のサイズに近似する領域（非生体）を生体と誤検知してしまうという不都合を防止することができる。これにより、スピーカ等で運転者に対して不必要で過剰な注意喚起を行ってしまう不都合を未然に防止することができる。

この発明の実施形態に係る車両周辺監視装置の構成を示すブロック図である。 図１例の車両周辺監視装置が搭載された車両の模式的斜視図である。 図１例の車両周辺監視装置の動作説明に供されるフローチャートである。 オクルージョン物体で遮られた塀と車両との関係を示す平面的模式図である。 壁の一部を歩行者脚部と誤判定してしまう処理の説明図である。 図６Ａは、非生体を含むグレースケール画像の時間変化の説明図、図６Ｂは、検出対象物の横幅に時間変化があること示す説明図である。 図７Ａは、生体を含むグレースケール画像の時間変化の説明図、図７Ｂは、検出対象物の横幅に時間変化がないことを示す説明図である。 ２つの柱状構造物間に存在する壁面を歩行者ではないと判定する処理の説明図である。 歩行者の脚検知の説明図である。 ２つの柱状構造物間に存在する壁面を歩行者であると誤判定する処理の説明図である。

以下、この発明の実施形態について図面を参照して説明する。なお、図８、図９もこの実施形態の図面として利用する。

図１は、この発明の実施形態に係る車両周辺監視装置１０の構成を示すブロック図である。図２は、図１に示した車両周辺監視装置１０が搭載された車両１２の模式図である。

図１及び図２において、車両周辺監視装置１０は、該車両周辺監視装置１０を制御する画像処理ユニット１４（処理装置）と、この画像処理ユニット１４に接続される赤外線カメラ１６（撮像装置）及びレーダ装置３０（レーダ）と、車両１２の車速Ｖｓを検出する車速センサ１８と、運転者によるブレーキペダルの操作量（ブレーキ操作量）Ｂｒを検出するブレーキセンサ２０と、車両１２のヨーレートＹｒを検出するヨーレートセンサ２２と、音声で警報等を発するためのスピーカ２４（通知部）と、赤外線カメラ１６により撮影された画像を表示し、接触の危険性が高い歩行者等の対象物（移動対象物）を車両の運転者に認識させるためのＨＵＤ２６ａ等を含む画像表示装置２６（通知部）と、を備える。

画像表示装置２６としては、ＨＵＤ２６ａに限らず、ナビゲーションシステムのディスプレイを利用することができる。

画像処理ユニット１４は、車両１２の周辺の赤外線画像と車両の走行状態を示す信号（ここでは、車速Ｖｓ、ブレーキ操作量Ｂｒ及びヨーレートＹｒ）とから、車両前方の歩行者等の動く物体を検出し、接触の可能性が高いと判断したときにスピーカ２４を通じて警報を発する。

ここで、画像処理ユニット１４は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ（記憶部１４ｍ）、各種演算処理を行うＣＰＵ（中央処理装置）１４ｃ、ＣＰＵ１４ｃが演算途中のデータを記憶するために使用するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＣＰＵ１４ｃが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶部１４ｍ、スピーカ２４の駆動信号と画像表示装置２６の表示信号などを出力する出力回路等を備えており、赤外線カメラ１６、レーダ装置３０、ヨーレートセンサ２２、車速センサ１８、及びブレーキセンサ２０の各出力信号は、デジタル信号に変換されてＣＰＵ１４ｃに入力されるように構成されている。

画像処理ユニット１４のＣＰＵ１４ｃは、これらデジタル信号を取り込んでプログラムを実行することで、後述する各種機能部（機能手段ともいう。）として機能し、スピーカ２４及び画像表示装置２６に警告に係る駆動信号（音声信号や表示信号）を送出する。

赤外線カメラ１６は、図２に示すように、自車両１２の前部バンパー部の車幅方向中心部に配置される。レーダ装置３０は、赤外線カメラ１６の略鉛直上方であって、車両１２のフロントグリルに配置される。なお、赤外線カメラ１６は、遠赤外線を多量に発する人を含む生体を対象物とし、かつその対象物を高輝度部分とするグレースケール画像を出力する。すなわち、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。

レーダ装置３０は、赤外線カメラ１６の水平画角（撮影領域）よりも狭いビーム幅の電波を車両１２の前方に送信し、かつ左右方向所定範囲（上記水平画角程度）に走査する。そして、車両前方の物体からの反射波を受信し、反射強度、反射方向と受信時間とから物体の大きさと位置（距離と方向）を検出する。なお、検出対象物である人体対象物の精度の確保された大きさは赤外線カメラ１６の画像から検出するように構成されている。

ＨＵＤ２６ａは、自車両１２のフロントウインドシールドの内側で運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。

この実施形態において、ＣＰＵ１４ｃは、サイズ検出判別部３１、マスク設定部３２、生体候補抽出部３４、時間変化検出部３６、生体認識部３８、及び人工構造物検出部４０等として動作（機能）する。

次に、基本的には以上のように構成される車両周辺監視装置１０の動作について図面を参照して説明する。

図３は、画像処理ユニット１４による、人体等の生体（哺乳動物）の温度に近いコンクリート等の壁等が電柱等のオクルージョン物体により遮られた場合に前記壁等の遮られなかった領域（非生体）を生体と誤検知してしまう不都合を防止する等の機能の動作説明に供されるフローチャートである。

図３のステップＳ１において、レーダ装置３０は、１００［ｍｓ］毎に、車両前方の所定範囲を走査し、物体からの反射波を受信し、反射強度、反射方向と受信時間とから物体の大きさ及び位置（レーダ装置３０の取り付け位置からの方位と距離）を検出する。また、そのステップＳ１において、画像処理ユニット１４は、１００［ｍｓ］毎に、赤外線カメラ１６によりフレーム毎に撮影した車両前方の所定画角範囲のフレーム毎の出力信号である赤外線画像を取得し、Ａ／Ｄ変換し、グレースケール画像をレーダ装置３０の検出情報に同期して対応付けて１００［ｍｓ］毎に画像メモリに格納する。この処理により対象を１００［ｍｓ］毎に時間追跡することができる。そして、１００［ｍｓ］以内で、フローチャートのステップＳ１〜Ｓ６の処理を繰り返す。

次いで、ステップＳ２において、赤外線カメラ１６により取得したグレースケール画像に、レーダ装置３０により検出した物体の位置を反映させ（対照させ）、当該物体の位置に、検出対象物で生体のサイズよりも高さ又は幅の少なくとも一方が高さ閾値範囲外又は幅閾値範囲外の大きさであり、かつグレースケール画像上で生体と検出される閾値輝度以上の輝度を有する物体が存在するかどうかを判定する。

この実施形態においては、生体の横幅のサイズの横幅閾値の上限値ＴＨｗｕ（上限閾値）と下限値ＴＨｗｌ（下限閾値）が、人体を想定し２０〜６０［ｃｍ］程度に設定される。

なお、実空間上の対象物の横幅Ｗｒｅａｌは、対象物までの実空間上の距離（測距距離）Ｚｒｅａｌがレーダ装置３０の計測値により分かっているので、グレースケール画像中の横幅をＷｉｍａｇｅ、焦点距離をＦとすると、次の（１）式により計算することができる。
Ｗｒｅａｌ＝Ｗｉｍａｇｅ×Ｚｒｅａｌ／Ｆ …（１）

したがって、ステップＳ２の判定において、対象物の横幅Ｗｒｅａｌ（物体の大きさ）が幅閾値の下限値ＴＨｗｌ（＝２０［ｃｍ］）より小さい又は幅閾値の上限値ＴＨｗｕ（＝６０［ｃｍ］）より大きい場合には、ステップＳ３以降の処理を行うことなく、ステップＳ１の処理に戻る。これにより、車両周辺監視装置１０を構成する画像処理ユニット１４のＣＰＵ１４ｃによる不必要な処理を省略することができ、ＣＰＵ１４ｃの処理負荷を低減することができる。

その一方、ステップＳ２の判定において、対象物の横幅Ｗｒｅａｌ（物体の大きさ）が、幅閾値の下限値ＴＨｗｌ（＝２０［ｃｍ］）より大きく又は幅閾値の上限値ＴＨｗｕ（＝６０［ｃｍ］）より小さい場合には、次のステップＳ３において、グレースケール画像上に探索マスク領域１０１（図９参照）を設定する。

探索マスク領域１０１（ｈｇ×ｗｇ）は、検出対象物である生体のサイズ（生体のサイズを外接四角形２００で近似したサイズ）よりも高さ又は幅の少なくとも一方が大きく設定されている（この実施形態では、高さ×幅＝ｈｇ×ｗｇと、両方大きく設定している）。

次いで、ステップＳ４において、探索マスク領域１０１内で、画素の輝度の平均値、輝度分散を求め、探索マスク領域１０１内での輝度の変化、輝度分散の変化から検出対象物１００を検出し、検出対象物１００の輝度領域（ｈｂ×ｗｂ）（この輝度領域は、グレースケール画像の２値化画像から求めてもよい。）が人体の脚領域に相当する大きさの範囲内であるかどうかを判断し（この実施形態では、輝度領域の縦幅ｈｂと横幅ｗｂ中、横幅ｗｂが人体の脚に相当する大きさの範囲内であるかどうかを判断し）、人体の脚領域に相当する大きさの範囲内であると判別した場合には、その輝度領域（ｈｂ×ｗｂ）を生体候補として抽出する。

より具体的には、上述した特許文献２に開示されているように、グレースケール画像中の歩行者の脚部の存在を確かめて歩行者を認識する場合は、図９に示すように、目的とする検出対象物１００の実空間での幅Ｗｒｅａｌが歩行者の脚部として適当な幅であるという条件と、目的の検出対象物１００が縦長形状（縦幅ｈｂ＞横幅ｗｂ）であるという条件と、目的の検出対象物１００の下端位置が探索マスク領域１０１の下部（下半分）側に存在するという条件と、目的の検出対象物１００に時系列的な輝度変化があるという条件とを全て満足する場合に、目的の検出対象物１００が歩行者の脚部であり、検出された対象物が歩行者であると認識する。

次に、ステップＳ５において、探索マスク領域１０１内の画像中の生体候補の横幅ｗｂと、レーダ装置３０による測距距離Ｚｒｅａｌと、焦点距離Ｆとから、上記（１）式に代入した次の（２）式により実空間上の生体候補の横幅ＷＲｅａｌを求める。
Ｗｒｅａｌ＝Ｗｉｍａｇｅ×Ｚｒｅａｌ／Ｆ …（１）
＝ｗｂ×Ｚｒｅａｌ／Ｆ …（２）

次に、ステップＳ６において、時間変化検出部３６により生体候補の横幅Ｗｒｅａｌの時間変化があるか否かを判定する。

このステップＳ６では、生体認識部３８は、生体候補の横幅Ｗｒｅａｌの時間変化が、所定以下、例えば、数ｃｍ程度以内である場合には、時間変化がないとみなし（ステップＳ６：否定）、生体候補である検出対象物１００を生体として認識する。

次に、認識した生体候補について、ステップＳ７において、経時的にフレーム毎に得られるグレースケール画像及びその２値化画像から、当該生体の移動ベクトル（速度と方向）を検出する。また、このステップＳ７において、ブレーキセンサ２０、車速センサ１８、及びヨーレートセンサ２２の各出力であるブレーキ操作量Ｂｒ、車速Ｖｓ、ヨーレートＹｒと、ステップＳ７で認識した対象物である生体との距離Ｚｒｅａｌとに基づき、当該車両１２の生体認識部３８が認識した生体に接触の可能性があるかどうかを判定し、接触の可能性があると判定した場合には、ステップＳ８において、運転者に情報を提供する。具体的には、当該生体を含むグレースケール画像をＨＵＤ２６ａに表示するとともに、スピーカ２４を通じて警報を発生し、車両１２の運転者に接触の回避操作を促す。

次に、上述した実施形態の作用効果について、模式図及び具体的映像に基づいて説明する。

図４に示すように、矢印方向に進行する車両１２が時点ｔ０の地点に位置するとき、車両１２から概ね距離Ｚ０の位置に存在する柱状構造物１１２の後方に、例えば、人体の脚長に近似した高さのコンクリート製の塀１１４があるとき、レーダビームは、角度θ１に対応する分、手前の柱状構造物１１２により反射され、塀１１４の壁面１１６には、角度θ１に対応する分、当たらないので、赤外線カメラ１６によるグレースケール画像上の輝度領域部分は、横幅で、右側の横幅ｗｐと左側の横幅ｗｐｌとが検出される。

この場合、時点ｔ０で生体候補の検出処理及び生体の認識処理を行うとすると、時点ｔ０での右側の横幅ｗｐが、ステップＳ２の判定に係る、幅閾値の下限値ＴＨｗｌ（＝２０［ｃｍ］）より小さいか、幅閾値の上限値ＴＨｗｕ（＝６０［ｃｍ］）より大きいか、あるいは、下限閾値ＴＨｗｌ〜上限閾値ＴＨｗｕ内であるかを判定する。

このとき、左側の横幅ｗｐｌが、ｗｐｌ＞ＴＨｗｕであると、これは生体候補とは検出されない。その一方、右側の横幅ｗｐが、ＴＨｗｌ＜ｗｐ＜ＴＨｗｕであると、これは生体候補と検出される。

時点ｔ０で生体候補と検出されると、図５のグレースケール画像５０に示すように、レーダ装置３０により手前の柱状構造物１１２が測距されているので、距離に応じて、生体のサイズより若干大きめの探索マスク領域１０１が設定される。このとき、後方の壁面１１６の右側が横幅ｗｐの脚サイズの対象物１１８に分断され、生体候補である対象物１１８が生体として誤認識（誤判定）されてしまう。

この誤判定を防止するために、さらに、対象物１１８の時間変化を時間変化検出部３６により検出する。そのため、車両１２が、図４に示すように、一定時間経過後の、時点ｔ１の地点に位置するとき、車両１２から概ね距離Ｚ１（Ｚ１＜Ｚ０）の位置に存在する柱状構造物１１２の後方にコンクリート製の塀１１４があるとき、レーダビームは、角度θ２に対応する分、手前の柱状構造物１１２により反射され、塀１１４の壁面１１６には、角度θ２に対応する分、レーダビームが当たらないので、赤外線カメラ１６によるグレースケール画像上の輝度領域部分は、時点ｔ０での右側の横幅ｗｐから時点ｔ１の右側の横幅ｗｑに示すように見える領域が変化する。

ところが、横幅ｗｑが、生体の横幅相当範囲を上回る大きさ（ｗｑ＞ＴＨｗｕ＝幅閾値の上限値）となっていたとすると、生体候補から除外することができる。

図５に関連する、実際のシーンデータである赤外線画像並びにレーダ装置３０を用いて非生体と生体の検出例（判別例）の作用につき、非生体の場合の図６Ａ、図６Ｂ及び生体の場合の図７Ａ、図７Ｂを参照してさらに説明する。

それぞれ、時点ｔ０、ｔ１、ｔ２での探索マスク領域１０１が設定されたグレースケール画像５０、６０、５２、６２、５４、６４を左側に示す。

図６Ａ及び図７Ａのグレースケール画像５０、６０、５２、６２、５４、６４の右側に、理解の便宜のために、各画像中の探索マスク領域１０１（不図示）を含み、より領域の大きい２値化画像５０ｂ、６０ｂ、５２ｂ、６２ｂ、５４ｂ、６４ｂをそれぞれ表示している。

この場合、図６Ａのように柱状構造物１１２に遮られたコンクリートの塀１１４の壁面が写っている場合には、柱状構造物１１２に視野が遮られていない右側の領域の横幅ｗｐ、ｗｑ、ｗｒが、図６Ｂに示すように、時点ｔ０（０．２［ｓｅｃ］）、ｔ１（０．６［ｓｅｃ］）、ｔ２（１．０［ｃｍ］）において、３４［ｃｍ］、６０［ｃｍ］、８０［ｃｍ］と実空間幅が拡大しているので、生体ではなく、非生体であると認識することができる。

その一方、図７Ａに示すように、人体等の生体が生体候補として検出された場合には、生体の横幅が、車両１２が時点ｔ０、ｔ１、ｔ２と接近するに従い、画像上では、横幅ｗ０、ｗ１、ｗ２と変化するが、実空間上の横幅は、４４［ｃｍ］、４５［ｃｍ］、４６［ｃｍ］と殆ど変化せず、数ｃｍ以内であるので、生体候補が生体であると認識することができる。

さらに、他の実施例を、図８を参照して説明する。

この図８例では、矢印方向に車両１２が走行する道路脇に沿って、２つの柱状構造物１０６、１０８が存在し、その柱状構造物１０６、１０８の配置方向に平行に、すなわち、道路に平行にコンクリートの塀１１０が存在している。この場合、時点ｔ０において赤外線カメラ１６で見える壁面の横幅は、角度θ３に係る横幅ｗｔ０となり、車両１２が進行した時点ｔ１での赤外線カメラで見える壁面の横幅は、角度θ４に係る横幅ｗｔ１となり、略倍に変化するので、時点ｔ０で生体候補であると検出しても時点ｔ１で非生体であると認識することができる。

以上説明したように上述した実施形態によれば、車両周辺監視装置１０は、撮像部としての赤外線カメラ１６（可視領域を検出するビデオカメラでも代替できる。）により車両周辺のグレースケール画像を取得する。レーダであるレーダ装置３０により車両周辺に存在する物体の位置（距離と方位）を検出する。なお、レーダ装置３０では物体の大きさも検出する。

マスク設定部３２は、赤外線カメラ１６が取得したグレースケール画像にレーダ装置３０により検出した前記物体の位置を反映させ、当該物体の位置に検出対象物である生体のサイズよりも高さ又は幅の少なくとも一方（上述した好適な実施形態では横幅ｗｇ）が大きく設定された探索マスク領域１０１を設定する。

生体候補抽出部３４は、探索マスク領域１０１内に含まれる生体候補を抽出する。

さらに、時間変化検出部３６は、生体候補の形状の時間変化、例えば、縦横比の時間変化を検出する。

生体認識部３８は、検出している前記生体候補の形状の時間変化があるか否かを判定し、時間変化が所定以下、例えば、上述したように数ｃｍ程度以下であるとき、前記生体候補を生体として認識する。具体例としては、図６Ａの時点ｔ０での生体候補の横幅ｗｐの実空間上の幅３４［ｃｍ］が、時点ｔ１の同一の生体候補の横幅ｗｑの実空間上の幅６０［ｃｍ］に変化し、実空間上の幅の時間変化が所定以上（この場合、時間変化は６０［ｃｍ］−３４［ｃｍ］＞数ｃｍ程度）であるので非生体と認識する一方、図７Ａの時点ｔ０の生体候補の横幅ｗ０の実空間上の幅４４［ｃｍ］は、時点ｔ１の同一の生体候補の横幅ｗ１の実空間上の幅４５［ｃｍ］に対して時間変化が所定以下（この場合、時間変化は４５［ｃｍ］−４４［ｃｍ］＝１［ｃｍ］＜数ｃｍ程度）なので、時間変化しないとみなされ、生体と認識することができる。

このように、探索マスク領域１０１内に含まれる生体候補の形状の実空間上での横幅等の大きさの時間変化が所定以下であるとき、前記生体候補を生体として認識するようにしたので、人体等の生体（哺乳動物）の温度に近いコンクリート等の塀１１０の壁等が電柱等のオクルージョン物体により遮られた場合に、塀１１０の壁等の遮られなかった領域に発生する生体のサイズに近似する領域（非生体）を生体と誤検知してしまう不都合を防止することができる。

この実施形態では、電柱等の柱状構造物１０６、１０８、１１２等のオクルージョン物体に遮られた塀１１０の壁等の遮られなかった領域は、実空間上の形状が時間変化するのに対して、人体等の生体は、その大きさについて、時間変化がないという知見に基づいて生体と判定している。

この場合、さらに、検出対象物のサイズを検出するサイズ検出判別部３１を設けているので、レーダ装置３０により検出した前記物体の位置に存在する赤外線カメラ１６により検出された検出対象物のサイズが、上限閾値ＴＨｗｕ以上のサイズであると判別した場合には、マスク設定部３２、生体候補抽出部３４、時間変化検出部３６、及び生体認識部３８による処理を行わないようにすることで、車両周辺監視装置１０の画像処理ユニット１４のＣＰＵ１４ｃの処理量を低減させることができる。

この実施形態において、生体候補抽出部３４は、探索マスク領域１０１内に含まれる歩行者の脚の特徴を生体候補として抽出するので、脚に形状が近似する物体の誤検知を回避することができる。

上述した実施形態においては、オクルージョン物体である柱状構造物自体については、その存在を前提として、処理を継続しているが、柱状構造物１１２や塀１１４等の人工構造物を検出する人工構造物検出部４０（図１参照）を備え、人工構造物検出部４０が、レーダ装置３０による反射波から高さ方向に人体に比較して高い、例えば、２．５［ｍ］程度を閾値高さとして、この閾値以上の高さを有する物体を、例えば、図４、図５の柱状構造物１１２に示すように、探索マスク領域１０１内またはその近傍に検出した場合、前記生体認識部３８が前記生体候補を前記生体として認識する信頼性を変更する、例えば、低くするようにすることが好ましい。

レーダ装置３０が、車両１２からの距離が略等距離（図４例では、距離≒Ｚ２）であって、縦幅又は横幅の少なくとも一方が、探索マスク領域１０１（ｈｇ×ｗｇ：図９参照）を実空間上に反映させた場合のサイズより大きな物体、例えば、図４に示す、横幅が、探索マスク領域１０１の横幅ｗｇを実空間上に反映させた場合のサイズより大きな物体である壁面を有する塀１１４を検出した場合には、前記生体候補の抽出を中断することが好ましい。

また、時間変化検出部３６が、図４及びこれに対応する図６Ａの上段に示すグレースケール画像５０において、探索マスク領域１０１内の検出対象物で左右に対称性を持つ２つの生体候補｛図６Ａ（図４）中、柱状構造物１１２で塀１１４等が遮られた場合に、塀１１４の遮られなかった領域で赤外線カメラ１６によって捉えられた左側の生体候補（横幅ｗｐｌ）と右側の生体候補（横幅ｗｐ）：図４中、時点ｔ０参照｝を抽出し、グレースケール画像５０、５２の画面中で一方の生体候補の面積が増大（縦幅が同一で横幅が横幅ｗｐから横幅ｗｑに増大：図４中、時点ｔ１参照）し、他方の生体候補の面積が減少（縦幅が同一で横幅が横幅ｗｐｌから横幅ｗｑｌに減少：図４中、時点ｔ１参照）した場合、当該生体候補が生体ではないと判定する。これにより、オクルージョン物体である柱状構造物１１２等により遮られた高さが人体の身長あるいは人体の脚長に略対応し、横幅が人体の横幅に対して広い横幅を持つ横長人工構造物であるコンクリートの塀１１４等を、生体候補から除外することができる。すなわち生体として誤認識することを回避することができる。

なお、道路を横断している物体（歩行者、自転車運転者）は、形状や輝度の周期的な変動が発生しやすく、この発明による検出対象（生体）であるにも拘わらず、車両１２側から見て、形状に閾値以上の幅変化が生じて除外されてしまう可能性がある。これを防止するために、ステップＳ１とステップＳ２との間に、レーダ装置３０又は赤外線カメラ１６によって道路を横断している可能性が高い物体（生体である歩行者又は自転車運転者）の経時変化を検出し、かつ大きさが生体候補であるか否かを認識する処理を挿入し、その検出・認識処理により道路を横断している可能性が高い物体が生体候補として認識された場合には、その物体（生体候補）に対しては、ステップＳ２〜Ｓ６の処理をキャンセルし、ステップＳ７の処理に繋げることが好ましい。

この発明は、上述の実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。

１０…車両周辺監視装置 １２…車両
１４…画像処理ユニット １６…赤外線カメラ
２６ａ…ＨＵＤ ３０…レーダ装置
３１…サイズ検出判別部 ３２…マスク設定部
３４…生体候補抽出部 ３６…時間変化検出部
３８…生体認識部 ４０…人工構造物検出部
５０、５２、５４、６０、６２、６４…グレースケール画像
５０ｂ、５２ｂ、５４ｂ、６０ｂ、６２ｂ、６４ｂ…２値化画像
１００…検出対象物 １０１…検索マスク領域
１０６、１０８、１１２…柱状構造物 １１０、１１４…塀

Claims (7)

1. 車両に搭載される車両周辺監視装置において、
   車両周辺の画像を取得する撮像部と、
   車両周辺に存在する物体の位置を検出するレーダと、
   前記撮像部が取得した前記画像に前記レーダが検出した前記物体の位置を反映させ、当該物体の位置に検出対象物である生体のサイズよりも高さ又は幅の少なくとも一方が大きく設定された探索マスク領域を設定するマスク設定部と、
   前記探索マスク領域内に含まれる生体候補を抽出する生体候補抽出部と、
   を備える車両周辺監視装置であって、
   前記生体候補の形状の時間変化を検出する時間変化検出部と、
   検出している前記生体候補の形状の時間変化があるか否かを判定し、時間変化が所定以下であるとき、前記生体候補を生体として認識する生体認識部と、
   を備えることを特徴とする車両周辺監視装置。
2. 請求項１記載の車両周辺監視装置において、
   さらに、検出対象物のサイズを検出するサイズ検出・判別部を設け、前記レーダが検出した前記物体の位置に存在する前記撮像部により検出された検出対象物のサイズが、下限閾値以下のサイズ又は上限閾値以上のサイズであると判別した場合には、前記マスク設定部、前記生体候補抽出部、時間変化検出部、及び生体認識部による各処理を行わないようする
   ことを特徴とする車両周辺監視装置。
3. 請求項１又は２に記載の車両周辺監視装置において、
   前記生体候補抽出部は、
   前記探索マスク領域内に含まれる歩行者の脚の特徴を前記生体候補として抽出する
   ことを特徴とする車両周辺監視装置。
4. 請求項１〜３のいずれか１項に記載の車両周辺監視装置において、
   さらに、人工構造物を検出する人工構造物検出部を備え、
   当該人工構造物検出部が、閾値高さ以上の高さを有する物体を、前記探索マスク領域内またはその近傍に検出した場合、前記生体認識部が前記生体候補を前記生体として認識する信頼性を変更する
   ことを特徴とする車両周辺監視装置。
5. 請求項１〜４のいずれか１項に記載の車両周辺監視装置において、
   前記レーダが、前記探索マスク領域を実空間上に反映させた場合の高さ又は幅方向の少なくとも一方よりも大きなサイズの物体を検出した場合には、前記生体候補の抽出を中断する
   ことを特徴とする車両周辺監視装置。
6. 請求項１〜５のいずれか１項に記載の車両周辺監視装置において、
   前記時間変化検出部は、前記画像により前記マスク領域内の左右に対称性を持つ２つの生体候補を抽出し、時間の経過に伴い、画面中で一方の生体候補の面積が増大し、他方の生体候補の面積が減少した場合、当該生体候補が生体ではないと判定する
   ことを特徴とする車両周辺監視装置。
7. 請求項１〜６のいずれか１項に記載の車両周辺監視装置において、
   前記撮像部が赤外線カメラである
   ことを特徴とする車両周辺監視装置。

Images