JP2010062768A - ナイトビューシステム - Google Patents

Abstract

【課題】歩行者と人工物の距離の影響を受けにくく、処理負荷の増大を抑制して人工物と歩行者を識別可能なナイトビューシステムを提供すること。
【解決手段】撮影された画像データから歩行者１３を検出して、歩行者１３の存在を運転者に注意喚起するナイトビューシステム１００において、サイクル時間毎に撮影される画像データから歩行者候補を検出する歩行者候補検出手段２４と、サイクル時間毎の画像データにおける同じ歩行者候補を監視し、歩行者候補の位置又は大きさの変化量が閾値以内の場合、該歩行者候補を歩行者でないと判定する選別手段２５と、を有することを特徴とする。
【選択図】図１

Description

本発明は、撮像された画像から歩行者を検出して、表示装置などで歩行者の存在を強調して表示するナイトビューシステムに関する。

車両前方を歩行する歩行者の存在を運転者に注意喚起するナイトビューシステムが知られている。ナイトビューシステムは、撮影された赤外線画像から輝度値の密集状態やその縦横比から歩行者を検出し、赤外線画像に強調表示するなどして歩行者の存在を運転者に通知するシステムである。

ナイトビューシステムでは、従来から人工物を歩行者と誤検知する場合があることが知られており、誤検知を抑制する技術が提案されている（例えば、特許文献１〜３参照。）。特許文献１には、複数の歩行者候補の類似度を求め、類似度が所定値以上の歩行者候補を歩行者でないと判定することで、人工物の誤検知を抑制する歩行者検知装置が開示されている。ガードレールや電柱などの人工物はそれぞれ略同一の形状をしているため、類似度に基づき一連の歩行者候補を同時に歩行者でないと判定することができる。

また、特許文献２には、赤外線画像から検出された灯体と同一距離の灯体の別の灯体を検出して、別の灯体の赤外線量を閾値と比較することで車両を識別するナイトビューシステムが開示されている。高さや形状から、歩行者と混合しやすい車両のテールランプ（灯体）を検出することで、歩行者の検出精度を向上することができる。

また、特許文献３には、赤外線画像から対象物の移動ベクトルを算出し、移動ベクトルに基づき地物や他の車両を識別して除外する周辺監視装置が開示されている。
特開２００８−１２３１１３号公報 特開２００６−１７６０２０号公報 特開２００６−１５３７７６号公報

しかしながら、特許文献１記載の歩行者検知装置のように複数の歩行者候補の類似度を算出することは、処理負荷が大きくリアルタイム性が要求されるナイトビューシステムには必ずしも好適でない。また、特許文献２記載のナイトビューシステムのように同一距離の別の灯体を検出する方法では、歩行者が灯体と同じ距離に存在する場合に、歩行者を灯体として排除してしまうおそれがある。また、特許文献３記載の周辺監視装置には、対象物の移動ベクトルを用いて、地物や他の車両を具体的にどのように識別するかが記載されていない。

本発明は、上記課題に鑑み、歩行者と人工物の距離の影響を受けにくく、処理負荷の増大を抑制して人工物と歩行者を識別可能なナイトビューシステムを提供することを目的とする。

上記課題に鑑み、本発明は、撮影された画像データから歩行者を検出して、歩行者の存在を運転者に注意喚起するナイトビューシステムにおいて、サイクル時間毎に撮影される画像データから歩行者候補を検出する歩行者候補検出手段と、サイクル時間毎の画像データにおける同じ歩行者候補を監視し、歩行者候補の位置又は大きさの変化量が閾値以内の場合、該歩行者候補を歩行者でないと判定する選別手段と、を有することを特徴とする。

歩行者と人工物の距離の影響を受けにくく、処理負荷の増大を抑制して人工物と歩行者を識別可能なナイトビューシステムを提供することができる。

以下、本発明を実施するための最良の形態について図面を参照しながら説明する。
図1は、本実施形態のナイトビューシステム１００による歩行者１３の検出を模式的に説明する図の一例である。図１（ａ）に示すように、自車両の前方には、前方車両１１と歩行者１３が存在し、赤外線画像には前方車両１１と歩行者１３が撮影される。ナイトビューシステム（以下、NVシステムという）１００は、赤外線画像を画像処理して歩行者候補を検出するが、前方車両１１のテールランプ１２、特に縦型のテールランプ１２は外観形状が歩行者１３と似ているため、ａ１〜ａ３の歩行者候補を検出する。ここでは歩行者候補ａ１〜ａ３を矩形領域で示した。

ＮＶシステム１００はサイクル時間毎に赤外線画像を撮影するので、図１（ｂ）に示すように、次々と同じ歩行者候補ａ１〜ａ３を含む赤外線画像を撮影する。しかしながら、前方車両１１が自車両と同程度の車速で走行しているのに対し、歩行者１３の移動速度は自車両に対し遅いので、歩行者候補ａ１、ａ２が同程度の位置及び大きさを保つのに対し、歩行者候補ａ３の位置は自車両に接近しその大きさも徐々に大きくなる。

本実施形態のＮＶシステム１００は、歩行者候補ａ１〜ａ３におけるこのような関係を利用して前方車両１１のテールランプ１２を排除して、誤検知を低減する。歩行者候補ａ１〜ａ３の大きさや位置を監視するだけでよいので処理負荷の増大を抑制でき、また、歩行者１３と前方車両１１が同程度であっても自車両が移動することで、テールランプ１２を誤検知することなく歩行者１３を検出することができる。

図２は、本実施形態のＮＶシステム１００のブロック図の一例を示す。ＮＶシステム１００は、画像処理ＥＣＵ（electronic control unit）２２により制御され、画像処理ＥＣＵ２２にカメラ２１及び表示部２３が、ＣＡＮ（Controller Area Network）や専用線を介して接続されている。

カメラ２１は、近赤外光（例えば８００〜２０００〔μｍ〕）に感度を有する光電変換素子を実装し、所定のサイクル時間（例えば、１５〜３０フレーム／秒）毎に赤外線画像を撮影する。赤外線画像は、画素毎に輝度値（０〜２５５段階程度）を有し、全体をその濃淡で表示する。したがって、歩行者１３のように近赤外光を反射する対象物を好適に撮影することができる。歩行者１３の検知範囲は３０〜１００〔ｍ〕程度であり、自車両の車速が大きいほどより遠方の歩行者１３を検出するようになっている。なお、カメラ２１は例えばルームミラーの裏側に、光軸を車両前方のやや下向きに取り付けられる。

例えばヘッドライトには近赤外投光器が配置されており、ＮＶシステム１００がオンになるとハイビームと近赤外線投光器が切り替えられ可視光線カットフィルタが有効になることで、前照灯の光と近赤外光のうち近赤外光が優先的に自車両の前方に照射される。これにより、夜間の歩行者１３の検出が容易になる。

表示部２３は、例えば、液晶ディスプレイや有機ＥＬディスプレイなどのＦＰＤ（フラットパネルディスプレイ）、又は、ＨＵＤ（Head Up Display）が用いられる。ＦＰＤの場合、例えば、全面が液晶ディスプレイのメータ表示部が変化してメータ類の中央に赤外線画像を表示する。また、ナビゲーションシステムやテレビ等のＡＶシステムの表示部２３と兼用してもよい。表示部２３には、検出された歩行者１３が矩形枠などで強調して表示される。

画像処理ＥＣＵ２２は、ＣＰＵ、ＲＡＭ、ＲＯＭ、入出力インターフェイス及びＡＳＩＣ（Application Specific Integrated Circuit）等を備えたコンピュータを実体とする。ＣＰＵがＲＯＭに記憶されたプログラムを実行するか、又は、ＡＳＩＣにより歩行者候補検出部２４、選別部２５及び歩行者強調部２６が実現される。

歩行者候補検出部２４は、サイクル時間毎に撮影される赤外線画像から後述する手順で歩行者１３を含むと推定される歩行者候補を検出する。選別部２５は、歩行者候補の位置と大きさの変化を監視し、歩行者１３を含まない歩行者候補を選別して、歩行者１３を検出する。歩行者強調部２６は、検出された歩行者１３を例えば矩形枠で囲んで、表示部２３に強調して表示する。

図３は、歩行者候補検出部２４が歩行者１３を検出する手順を示すフローチャート図の一例である。歩行者候補検出部２４は、サイクル時間毎に撮影される赤外線画像に図３の処理を繰り返す。なお、図３のフローチャート図は、ＮＶシステム１００の起動スイッチがＯＮ、照度センサーにより夜間であることが検出されていること、ヘッドライトがオン、車速が所定値以下（例えば、６０〔ｋｍ／ｈ〕）の状態でスタートする。

歩行者候補検出部２４は、赤外線画像から歩行者１３の可能性のある歩行者候補を検出する（Ｓ１０）。歩行者１３は近赤外光を反射するので、歩行者１３が撮影された画素は高輝度である。また、歩行者１３は、ある程度の伸長で鉛直方向に立っているので、高輝度の画素は縦方向に所定値以上に連続していると考えられる。歩行者候補検出部２４は、このような考え方に基づき、所定値以上の輝度で、鉛直方向に所定値以上連続した一連の画素を検出する。一連の画素又は一連の画素を囲む所定の大きさの矩形領域が、歩行者候補である。

図４は、検出された歩行者候補を模式的に示す図の一例である。この時点で検出された歩行者候補は粗い検出なので、歩行者以外にも、例えば、テールランプ１２、看板、電柱、ガードレール、前照灯、白線等が含まれる。このうち、白線は白線認識のロジックによりその位置が検出されるので、予め歩行者候補から排除されている。

次いで、歩行者候補検出部２４は、歩行者候補から非歩行者を排除する。まず、歩行者候補から明らかな矩形物を排除する。明らかな矩形物とは、看板や電柱等であり、一連の画素の外接矩形の四隅領域又はその周辺を輝度値の高い画素値が占有している場合、矩形物であると判定される。これにより、看板や電柱は排除される。

また、歩行者候補検出部２４は、ガードレールや縁石などの連続物を歩行者候補から排除する。このような連続物が撮影されると、赤外線画像の下辺から上辺、左辺から上辺、又は、右辺から上辺まで、一連の画素が連続しているので、歩行者候補検出部２４は、一連の画素が所定以上に連続している場合、歩行者候補から排除する。これにより、ガードレールや電柱が排除される。

また、歩行者候補検出部２４は、歩行者候補から画素値の飽和した一連の画素を排除する。画素値の飽和とは、カメラ２１に入射した光の強さが輝度値の解像度を超えているため、ある程度の領域に渡って輝度値が最高値（２５５又はその付近）になることをいう。このような現象は、光源やその反射物を撮影した場合に生じ、歩行者１３ではこのように高い輝度値を示すことは少ない。そこで、歩行者候補検出部２４は、輝度値が最高値の画素の領域が所定の比率以上の歩行者候補を歩行者候補から排除する。これにより、前照灯は排除され、また、テールランプ１２も排除されることが期待できる。

次に、歩行者候補検出部２４は、歩行者候補として残ったものから例えばパターンマッチングにより歩行者１３を検出する（Ｓ３０）。まず、歩行者候補検出部２４は、一連の画素の外接矩形の縦横比が予め定めた比率に入るか否かを判定する。また、歩行者候補検出部２４は、例えば、標準テンプレートを用いて一連の画素をパターンマッチングする。標準テンプレートは、人間の例えば頭部、肩部、胴部、脚部をそれぞれ特徴的な図形（頭部と脚部は肩部より幅が小さく、脚部は頭部よりも幅が小さいなど）で構成された２値画像である。歩行者候補検出部２４は、一連の画素の外接矩形を二値化して、標準テンプレートとの一致度を算出する。一致度が所定値以上であれば歩行者候補のまま存置される。なお、一致度を判定する所定値は、歩行者１３を歩行者でないと誤検知することを防止するため低めに設定される。このため、人工物を歩行者と誤検知することが生じうる。

ところで、図３では先にパターンマッチングを実行しているが、パターンマッチングよりも先にステップＳ４０の歩行者候補の選別を先に実行してもよい。歩行者候補を選別してからの方が、パターンマッチングの処理負荷を軽減できる。

以上のように非歩行者を排除しても、テールランプ１２の場合、前照灯に比べ照度が低く、カメラ２１に入射する光の角度によっては、飽和していると判定されず、歩行者候補として残ってしまう場合がある。また、特に、テールランプ１２が縦方向に並んだ形状の場合、その外接矩形が歩行者１３と似ているし円形のランプが歩行者の頭部と似ているの、パターンマッチングなどにより判定しても、歩行者１３と誤検知するおそれがある。そこで、本実施形態のＮＶシステム１００では、歩行者候補の位置と大きさを監視してさらに歩行者候補を選別する（Ｓ４０）。

図５は、図４のステップＳ４０の手順を詳細に示すフローチャート図の一例である。選別部２５は、歩行者候補の位置と大きさを検出する（Ｓ１１０）。歩行者候補が複数ある場合は、歩行者候補毎に識別番号を付与しておく。

図6は、選別部２５が管理する歩行者候補テーブルの一例を示す。歩行者候補の識別番号に対応づけて、位置と外接矩形の大きさが記録されている。このうち、位置は、赤外線画像における歩行者候補の外接矩形の４角の座標（左上、右上、右上、左下）である。また、大きさは、外接矩形の縦ｗと横ｄのピクセル数（画素数）で示した。なお、縦ｗのピクセル数が分かれば、歩行者１３のおよその大きさ（高さ）を知ることができる。カメラ２１のレンズの焦点距離、画素ピッチ、光電変換素子からレンズまでの距離、は既知であるので、これらの間に生じる比率関係からレンズと歩行者候補までの距離を算出することができる。

そして、歩行者候補検出部２４は次の赤外線画像に対し図３のステップＳ３０までの手順を施す。これにより、次の赤外線画像においても歩行者候補が検出される。なお、選別部２５は歩行者候補の外接矩形の４角の座標のいずれかが、歩行者候補テーブルに登録されている外接矩形の４角の座標から所定距離内に含まれるか否かに基づき、同じ歩行者候補を特定する。そして、同様に、歩行者候補の位置と外接矩形の大きさを検出し、歩行者候補テーブルに時系列に各歩行者候補の位置と大きさを記録する。

選別部２５は、時系列に検出された同じ歩行者候補の位置と大きさを比較する（Ｓ１２０）。本実施形態では、前方車両１１のテールランプ１２のように自車両と同程度の速度で移動する歩行者候補を検出できればよい。例えば、４角の座標の１つ若しくは外接矩形の対角交点など、歩行者候補の１点の移動量Ｖ、４角の座標の移動量の平均、又は、４角の座標の移動量と外接矩形の交点の移動量の平均、を算出する。

また、選別部２５は、時系列に検出された同じ歩行者候補について縦ｗと横ｄそれぞれを比較して、縦変化量Ｗｄ、横変化量Ｄｄを検出する。

移動量Ｖ、縦変化量Ｗｄ及び横変化量Ｄｄ、は赤外線画像が撮影される毎に検出できるが、所望の変化が期待できるのは、自車両が移動した場合である。特に低速で走行している場合、サイクル時間毎の移動量Ｖ、縦変化量Ｗｄ及び横変化量Ｄｄを検出しても、有意な差が得られない。

このため、歩行者候補の選別は、例えば、０．５秒〜1秒の間隔で撮影された赤外線画像同士を比較する。また、1枚の赤外線画像から検出した位置や大きさは誤差を含みやすいので、位置や大きさは５〜１０フレームの赤外線画像の平均値を用いる。以上から、選別部２５は、同じ歩行者候補を監視しながら、例えば、５フレーム分の赤外線画像から位置と大きさを検出し、０．５秒毎に移動量Ｖ、縦変化量Ｗｄ及び横変化量Ｄｄを検出する。なお、自車両の車速がゼロの場合、逆に歩行者１３を排除するおそれがあるので、図５の手順は車速が所定値以上の場合にのみ実行される。

次いで、選別部２５は、予め記憶している判定閾値と、移動量Ｖ、縦変化量Ｗｄ及び横変化量Ｄｄを比較する（Ｓ１２０）。判定閾値をＴｈ１、Ｔｈ２、Ｔｈ３とした場合、次式の全てを満たすか否かを判定する。なお、移動量Ｖ、縦変化量Ｗｄ及び横変化量Ｄｄのうち、いずれか１以上が条件を満たすか否かを判定してもよい。
移動量Ｖ＜Ｔｈ１
縦変化量Ｗｄ＜Ｔｈ２
横変化量Ｄｄ＜Ｔｈ３
なお、前方車両１１が自車両と同程度で走行していることを想定すると、判定閾値Ｔｈ１〜Ｔｈ３を車速に応じて定める必要はないが、判定閾値Ｔｈ１〜Ｔｈ３を車速や加速度に応じて定めていてもよい。例えば、自車両の加速度に応じて定めておくことで、自車両が急な加減速をしても、加減速を加味して移動量Ｖ、縦変化量Ｗｄ及び横変化量Ｄｄが変化したか否か判定できる。加減速度はＧセンサから検出してもよいし、スロットル開度変化、マスタシリンダ圧変化等から検出してもよい。

移動量Ｖ＜Ｔｈ１、縦変化量Ｗｄ＜Ｔｈ２、かつ、横変化量Ｄｄ＜Ｔｈ３の場合（Ｓ１２０のＹｅｓ）、選別部２５はその歩行者候補を、非歩行者として排除する（Ｓ１３０）。また、移動量Ｖ＜Ｔｈ１、縦変化量Ｗｄ＜Ｔｈ２、かつ、横変化量Ｄｄ＜Ｔｈ３のいずれかを満たさない場合（Ｓ１２０のＮｏ）、その歩行者候補は歩行者１３として検出される。

ついで、歩行者強調部２６は、排除されなかった歩行者１３の位置を歩行者候補テーブル又は赤外線画像から検出し、歩行者１３を囲む例えば矩形枠を点滅させて歩行者１３を強調表示する。これにより、自車両の運転者は、前方に歩行者１３が存在することを把握することができる。なお、ブザー音により更に注意喚起してもよい。

以上説明したように、本実施形態のＮＶシステム１００は、歩行者１３と誤検知しやすい前方車両１１のテールランプ１２を、自車両と同程度の速度で移動することを利用して排除することができる。歩行者候補の外接矩形の位置と大きさを比較すればよいので、画像処理ＥＣＵ２２に過大が処理負荷を加えることもない。

ナイトビューシステムによる歩行者の検出を模式的に説明する図の一例である。 ＮＶシステムのブロック図の一例である。 歩行者候補検出部が歩行者を検出する手順を示すフローチャート図の一例である。 検出された歩行者候補を模式的に示す図の一例である。 図4のステップＳ３０の手順を詳細に示すフローチャート図の一例である。 選別部が管理する歩行者候補テーブルの一例を示す図である。

符号の説明

１１ 前方車両
１２ テールランプ
１３ 歩行者
２１ カメラ
２２ 画像処理ＥＣＵ
２３ 表示部
２４ 歩行者候補検出部
２５ 選別部
２６ 歩行者強調部
１００ ナイトビューシステム

Claims (3)

1. 撮影された画像データから歩行者を検出して、歩行者の存在を運転者に注意喚起するナイトビューシステムにおいて、
   サイクル時間毎に撮影される画像データから歩行者候補を検出する歩行者候補検出手段と、
   サイクル時間毎の画像データにおける同じ歩行者候補を監視し、歩行者候補の位置又は大きさの変化量が閾値以内の場合、該歩行者候補を歩行者でないと判定する選別手段と、
   を有することを特徴とするナイトビューシステム。
2. 前記選別手段は、歩行者候補の位置又は大きさの変化量が閾値以内の場合、前方車両のテールランプを歩行者でないと判定する、
   ことを特徴とする請求項１記載のナイトビューシステム。
3. 前記閾値は、自車両の加速度及び減速度に応じて変更される、ことを特徴とする請求項１記載のナイトビューシステム。

Images