JP2010136207A - 歩行者検出表示システム - Google Patents

Abstract

【課題】歩行者検出表示システムにおいて、歩行者の像の誤検出を低減する。
【解決手段】車両の進行方向の所定領域を赤外線画像として撮像する赤外線カメラ１０と、得られた赤外線画像に基づいて歩行者を表す像を検出し、歩行者像の位置に矩形枠を付して出力する歩行者検出装置２０と、これを表示する画像表示装置５０とを備え、歩行者検出装置２０は、コントラストが高められ、エッジが強調された後の画像に対して、縦横エッジ低減部２３が、水平エッジおよび鉛直エッジを低減し、得られた画像に対して、相関値算出部２４が、テンプレート記憶部２７に記憶された歩行者テンプレートとのマッチングを行って、歩行者テンプレートとの間での相関値を求めることで、画像中の歩行者の像の誤検出を低減する。
【選択図】図２

Description

本発明は、歩行者検出表示システムに関し、詳細には、車両に設置された撮像装置によって撮像された所定領域から歩行者を検出して画像表示装置に歩行者の像の部分を強調して表示する歩行者検出表示システムに関する。

従来、車両に設置された撮像装置によって、車両の進行方向の所定領域を撮像し、得られた画像に基づいて歩行者の像を抽出し、撮像された画像を画像表示装置に表示するに際して、抽出された歩行者の像をマーカー等によって強調する歩行者検出表示システムが開発されている。

このような歩行者検出表示システムは、車両の運転者に対して、歩行者の認知を補助するものであり、車両と歩行者との交通事故を低減させる技術として積極的な開発が求められている。

また、このような歩行者検出表示システムによって歩行者を検出したときは、歩行者との距離や車両の速度、進行方向などに応じて、自動的に車両を減速させたり転舵させるなどの制御を行って、事故を回避させることも可能となる。

上述した歩行者検出表示システムは、車両に設置される赤外線カメラ（以下、単にカメラという。）と、カメラの画像から歩行者の像を検出し、カメラの画像に、検出された歩行者の像の位置に赤枠等のマーカーを付して出力する歩行者検出装置と、歩行者検出装置から出力された画像を表示する画像表示装置とを備え、この表示されたマーカーによって、運転者に対して、歩行者の存在およびその位置の注意喚起させるものであり、この歩行者検出表示システムの性能は、歩行者検出装置による歩行者像の誤検出の低減と歩行者像の検出漏れの低減とに大きく依存する。

画像から歩行者を検出する手法としては、予め歩行者の像を模した歩行者テンプレート（以下、単にテンプレートという。）を用意し、このテンプレートと画像内の歩行者が存在する可能性のある領域の像との類似性を求める、いわゆるパターンマッチングが用いられる。

このパターンマッチングの手法としては、画像を構成する画素の信号値（輝度値等）による比較と、像のエッジ情報による比較とがある。

ここで、像のエッジ情報による比較は、画像全体の明るさに影響を受けないため、天候や太陽位置に影響を受ける車両用などの野外用の機器での使用に適している。また、エッジ情報は、二値あるいは少ない階調で表現可能なために、扱うデータ量も少なく、検出処理の多くの割合を占めるテンプレートとの類似度の演算を少なくすることができる。

次に、像のエッジ情報に基づいた歩行者検出装置の処理過程を説明する。

まず、画面全体のコントラストを高める処理を施して画像の輝度差（信号値差）を明確化することにより、画像におけるエッジの像を効果的に検出する。

そして、相関値算出部が、エッジの像をテンプレートとマッチングすることで、テンプレートとの間での相関値を求める。このとき、エッジの像において、歩行者が存在する可能性がある画像部分からテンプレートと同じ大きさで画像を切り出し、または想定する歩行者と同じ大きさで切り出した後に切り出した画像をテンプレートと同じ大きさになるように拡大または縮小する場合もある。

求められた相関値は連続性があるため、相関値が最大となる部分を求め、この最大の相関値が予め設定された閾値以上の場合に、その切り出された画像部分は歩行者の像であると判断し、その切り出された画像部分（画像部分の位置）を、画像表示装置に送出する（特許文献１）。
特開２００３−００９１４０号公報

ところで、撮像装置で得られた画像の解像度が低い場合や、ボケ（低い鮮鋭度）により、十分に信頼性の高いエッジ像を得られない場合がある。この場合、求めようとする歩行者のエッジ像以外の建物や信号、街路灯などの構造物のエッジが外乱（ノイズ）となり、歩行者の像の誤検出を招く虞が高くなる。

本発明は上記事情に鑑みてなされたもので、歩行者の像の誤検出を低減することができる歩行者検出表示システムを提供することを目的とする。

本発明に係る歩行者検出表示システムは、エッジ像を歩行者テンプレートとマッチングするのに先立って、多くの構造物が有する水平エッジと鉛直エッジを低減することで、テンプレートマッチングでの精度を高め、歩行者の像の誤検出を低減するものである。

すなわち、本発明に係る歩行者検出表示システムは、車両に設置されて前記車両の進行方向の所定領域を撮像する撮像装置と、前記撮像装置によって撮像して得られた画像に基づいて、前記画像のうち歩行者の像を検出し、前記撮像装置によって撮像された所定領域の像を、前記検出された前記歩行者の像の位置にマーカーを付して出力する歩行者検出装置と、前記歩行者検出装置から出力された、前記歩行者の像の位置にマーカーが付された前記所定領域の像を表示する画像表示装置とを備えた歩行者検出表示システムにおいて、前記歩行者検出装置は、前記画像のコントラストを高める輝度調整部と、前記輝度調整部によって輝度が高められた画像に対して、画像のエッジを強調するエッジ強調部と、前記エッジ強調部によってエッジが強調された画像に対して、水平方向に延びる水平エッジおよび鉛直方向に延びる鉛直エッジを低減する縦横エッジ低減部と、歩行者の輪郭を模した歩行者テンプレートを記憶したテンプレート記憶部と、前記縦横エッジ低減部によって水平エッジおよび鉛直エッジが低減された画像に対して、前記テンプレート記憶部に記憶された前記歩行者テンプレートとのマッチングを行って、前記歩行者テンプレートとの間での相関値を求める相関値算出部と、前記水平エッジおよび鉛直エッジが低減された画像のうち、前記相関値算出部によって算出された相関値が高い画像領域を前記歩行者の像として検出する相関領域最大値検出部と、前記撮像装置によって得られた前記所定領域の画像に、前記相関領域最大値検出部によって検出された前記歩行者の像の位置にマーカーを重畳して出力するマーカー重畳部とを備えたことを特徴とする。

このように構成された本発明に係る歩行者検出表示システムによれば、車両に設置された撮像装置が、車両の進行方向の所定領域を撮像し、歩行者検出装置が、撮像装置によって撮像して得られた画像に基づいて、この画像のうち歩行者の像を検出し、撮像装置によって撮像された所定領域の像を、歩行者検出装置によって検出された歩行者の像の位置にマーカーを重畳して出力し、画像表示装置が、この歩行者検出装置から出力された画像を表示するが、歩行者検出装置の輝度調整部が、画像のコントラストを高め、エッジ強調部が、輝度調整部によって輝度が高められた画像に対して画像のエッジを強調し、縦横エッジ低減部が、エッジ強調部によってエッジが強調された画像に対して、水平方向に延びる水平エッジおよび鉛直方向に延びる鉛直エッジを低減し、相関値算出部が、縦横エッジ低減部によって水平エッジおよび鉛直エッジが低減された画像に対して、テンプレート記憶部に記憶された歩行者テンプレートとのマッチングを行って、歩行者テンプレートとの間での相関値を求め、相関領域最大値検出部が、水平エッジおよび鉛直エッジが低減された画像のうち、相関値算出部によって算出された相関値が高い画像領域を歩行者の像として検出し、マーカー重畳部が、撮像装置によって得られた所定領域の画像に、相関領域最大値検出部によって検出された歩行者の像の位置にマーカーを重畳して、画像表示装置に出力する。

したがって、本発明に係る歩行者検出表示システムは、撮像画像と歩行者テンプレートとのテンプレートマッチングを行うのに先だって、歩行者の輪郭（エッジ）とは異なる構造物の代表的な輪郭である水平エッジおよび鉛直エッジを低減（削除を含む）するため、テンプレートマッチングの精度を向上させることができ、歩行者の像の誤検出を低減することができる。

本発明に係る歩行者検出表示システムにおいては、前記縦横エッジ低減部は、前記エッジ強調部によってエッジが強調された画像を構成する画素について、鉛直方向に隣接する画素間での信号値差に基づいて前記画素の信号値を置換することで前記水平エッジを低減し、水平方向に隣接する画素間での信号値差に基づいて前記画素の信号値を置換することで前記鉛直エッジを低減するものであることが好ましい。

このように構成された本発明に係る歩行者検出表示システムによれば、縦横エッジ低減部が、エッジ強調部によってエッジが強調された画像を構成する画素について、鉛直方向に隣接する画素間での信号値差に基づいて画素の信号値を置換することにより、水平エッジを低減することができ、水平方向に隣接する画素間での信号値差に基づいて画素の信号値を置換することで、鉛直エッジを低減することができる。

本発明に係る歩行者検出表示システムにおいては、前記縦横エッジ低減部は、前記エッジ強調部によってエッジが強調された画像を構成する画素について、鉛直方向に隣接する画素間での信号値差が予め設定された閾値以上のときは、信号値の大きい方の画素の信号値を小さい方の画素の信号値に置換することにより、前記水平エッジの幅を細くし、水平方向に隣接する画素間での信号値差が予め設定された閾値以上のときは、信号値の大きい方の画素の信号値を小さい方の画素の信号値に置換することにより、前記鉛直エッジの幅を細くし、これら信号値差と閾値との比較および信号値の置換を繰り返すことにより前記水平エッジおよび前記鉛直エッジを低減するものであることが好ましい。

このように構成された本発明に係る歩行者検出表示システムによれば、縦横エッジ低減部が、エッジ強調部によってエッジが強調された画像を構成する画素について、鉛直方向に隣接する画素間での信号値差が予め設定された閾値以上のときは、信号値の大きい方の画素の信号値を小さい方の画素の信号値に置換することにより、水平エッジの幅を細くすることができ、水平方向に隣接する画素間での信号値差が予め設定された閾値以上のときは、信号値の大きい方の画素の信号値を小さい方の画素の信号値に置換することにより、鉛直エッジの幅を細くすることができる。すなわち、水平エッジおよび鉛直エッジを低減することができる。

そして、これら信号値差と閾値との比較および信号値の置換を繰り返すことにより、水平エッジおよび鉛直エッジを徐々に細線化して、削除することもできる。

本発明に係る歩行者検出表示システムにおいては、前記縦横エッジ低減部は、前記エッジ強調部によってエッジが強調された画像を構成する画素について、鉛直方向に隣接する画素間での信号値差が予め設定された閾値以上のときは、信号値の大きい方の画素の信号値を小さい方の画素の信号値に後に置換する指標（目印）であるフラグを立て、水平方向に隣接する画素間での信号値差が予め設定された閾値以上のときは、信号値の大きい方の画素の信号値を小さい方の画素の信号値に置換する指標であるフラグを立てる置換決定部と、前記置換決定部によって画像全体について前記閾値との大小比較およびフラグの設定が行われた画像について、前記フラグが立てられた画素の信号値を置換する置換実行部とを備え、前記置換決定部による処理と前記置換実行部による処理とを繰り返し行うことが好ましい。

このように構成された本発明に係る歩行者検出表示システムによれば、縦横エッジ低減部が、エッジ強調部によってエッジが強調された画像を構成する画素について、鉛直方向に隣接する画素間での信号値差が予め設定された閾値以上のときは、信号値の大きい方の画素の信号値を小さい方の画素の信号値に置換することにより、水平エッジの幅を細くすることができ、水平方向に隣接する画素間での信号値差が予め設定された閾値以上のときは、信号値の大きい方の画素の信号値を小さい方の画素の信号値に置換することにより、鉛直エッジの幅を細くすることができるが、画像全体について、まず、置換決定部が、鉛直方向および水平方向についてそれぞれ信号値の置換の対象か否かだけを先に判断してフラグによって区別し、画像全体について判断した後に、置換実行部が、実際の信号値の置換を実行することで、各画素ごとに、置換判断と置換実行とを連続して行った場合に生じうる、他の未判断の画素について、置換済みの画素との信号値差に影響が及ぶのを防止することができ、より精度の良い置換判断を行うことができ、この結果、細線化乃至水平エッジおよび鉛直エッジの削除を精度よく行うことができる。

本発明に係る歩行者検出表示システムにおいては、前記撮像装置は、前記所定領域を赤外線画像として撮像する赤外線カメラであることが好ましい。

このように構成された本発明に係る歩行者検出表示システムによれば、赤外線カメラである撮像装置が、車両進行方向の所定領域を赤外線画像として撮像するため、夜間や霧、降雨、降雪等環境の影響によって、可視光領域のカメラでは歩行者を撮影しにくい状況下においても、歩行者が発する遠赤外線を赤外線像として撮像することができ、肉眼での視認を補助する上で、より効果的である。

また、赤外線カメラで撮像して得られる画像は、一般的にグレイスケールの無彩色階調画像であるため、可視光周波数領域のカラー画像を得る一般的なカメラよりも、画像のデータ量を低減することができ、演算処理等の負荷を軽減することができる。

本発明に係る歩行者検出表示システムによれば、歩行者の像の誤検出を低減することができる。

以下、本発明に係る歩行者検出表示システムの実施の形態について、図面を参照して説明する。

図１は、本発明の実施形態に係る歩行者検出表示システム１００の概略構成を示すブロック図、図２は図１の歩行者検出表示システム１００における歩行者検出装置２０の詳細構成を示すブロック図、図３は図２に示した縦横エッジ低減部２３による水平エッジと鉛直エッジの低減処理手順を示すフローチャート、図４は図３における前段の処理（細線化の判断（置換の決定）処理）の詳細を示すフローチャート、図５は図３における後段の処理（細線化の実行（置換の実行）処理）の詳細を示すフローチャートである。

図示の歩行者検出表示システム１００は、図１のブロック図に示す通り、車両に設置されてその車両の進行方向（例えば前方）の所定領域を赤外線画像（画像）として撮像する赤外線カメラ１０（撮像装置）と、この赤外線カメラ１０によって撮像して得られた赤外線画像に基づいて、この赤外線画像のうち歩行者を表す像を検出し、赤外線カメラ１０によって得られた所定領域の像を、歩行者検出装置２０によって検出された歩行者像の位置に矩形枠（マーカー）を付して出力する歩行者検出装置２０と、歩行者像の位置に矩形枠が付された、赤外線カメラ１０によって得られた所定領域の像を表示する画像表示装置５０とを備えた構成である。

ここで、歩行者検出装置２０は、詳しくは図２に示すように、赤外線画像のコントラストを高める輝度調整部２１と、輝度調整部２１によって輝度が高められた画像に対して、画像のエッジを強調するエッジ強調部２２と、エッジ強調部２２によってエッジが強調された画像に対して、水平方向に延びる水平エッジおよび鉛直方向に延びる鉛直エッジを低減する縦横エッジ低減部２３と、歩行者の輪郭を模した歩行者テンプレートを記憶したテンプレート記憶部２７と、縦横エッジ低減部２３によって水平エッジおよび鉛直エッジが低減された画像に対して、テンプレート記憶部２７に記憶された歩行者テンプレート（例えば、図６に示したテンプレート）とのマッチングを行って、歩行者テンプレートとの間での相関値を求める相関値算出部２４と、水平エッジおよび鉛直エッジが低減された画像のうち、相関値算出部２４によって算出された相関値が高い画像領域を歩行者の像として検出する相関領域最大値検出部２５と、赤外線カメラ１０によって得られた所定領域の赤外線画像に、歩行者の像の位置に矩形枠を重畳して出力するマーカー重畳部２６とを備えた構成である。

上述した縦横エッジ低減部２３は、エッジ強調部２２によってエッジが強調された画像を構成する画素について、鉛直方向に隣接する画素間での信号値（本実施形態では、輝度値とする。輝度値は、輝度が高くなるにしたがって大きくなる特性を有する。）差に基づいて画素の信号値を置換することで水平エッジを低減し、水平方向に隣接する画素間での信号値差に基づいて画素の信号値を置換することで鉛直エッジを低減するものであり、具体的には、エッジ強調部２２によってエッジが強調された画像を構成する画素について、鉛直方向に隣接する画素間での信号値差が予め設定された閾値ＴＨｂ以上のときは、信号値の大きい方の画素（輝度の高い（明るい）方の画素）の信号値を小さい方の画素（輝度の低い（暗い）方の画素）の信号値に後に置換する指標であるフラグを立て、水平方向に隣接する画素間での信号値差が予め設定された閾値以上のときは、信号値の大きい方の画素の信号値を小さい方の画素の信号値に置換する指標であるフラグを立てる置換決定部２３ａと、置換決定部２３ａによって画像全体について閾値ＴＨｂとの大小比較およびフラグの設定が行われた画像について、フラグが立てられた画素の信号値を置換する置換実行部２３ｂとを備えた構成である。

次に、本実施形態に係る歩行者検出表示システム１００の作用について説明する。

まず、車両に設置された赤外線カメラ１０が、車両の進行方向の所定領域を撮像し、例えば図７に示した赤外線画像が撮像される。

この赤外線画像は、背景に大きな建物が写り、その手前であって左半分の中央に人の像が写ったものである。この画像は、言うまでもなく、輝度の高い部分（画像において白い部分）が赤外線を多く放射している部分であり、温度の高い部分である。

このようにして得られた赤外線画像は、歩行者検出装置２０の輝度調整部２１に入力され、輝度調整部２１は、入力された赤外線画像に対して、そのコントラストを高める処理を施し、輝度の高い部分をより効果的に検出できるものとする。

輝度調整部２１でコントラストが高められた画像は、エッジ強調部２２に入力され、エッジ強調部２２は、入力された画像に対して、微分処理等を施すことで、その画像中のエッジを強調（検出）する。これによって、例えば図８に示すように、画像中の物体の輪郭など信号値（輝度値）が急激に変化する部分であるエッジが強調された画像が得られる。

エッジ強調部２２によってエッジが強調された画像（例えば、図８）は縦横エッジ低減部２３に入力され、この縦横エッジ低減部２３は、入力された画像に対して、その画像中の水平方向に延びる水平エッジおよび鉛直方向に延びる鉛直エッジをそれぞれ低減する処理を施し、例えば図９に示す画像を得る。

この図９は、入力された図８の画像と比較して、背景部分の建物の輪郭である水平エッジおよび鉛直エッジがそれぞれ低減されていて、見た目にも、左半分の手前に存在する歩行者の輪郭が、建物の輪郭（他のエッジ）よりも眼を惹くものとなっている。

そして、このように水平エッジおよび鉛直エッジがそれぞれ低減された画像（図９）は相関値算出部２４に入力され、この相関値算出部２４は、入力された画像に対して、テンプレート記憶部２７に記憶された歩行者テンプレート（図６）とのマッチングを行って、歩行者テンプレートとの間での、画像の位置ごとの相関値を求める。

ここで、相関値算出部２４が、歩行者テンプテートとのマッチングを行う際には、入力された画像の全体に対してマッチング処理を行うものであってもよいが、建物等や地平線の高さ位置との関係により、歩行者が存在する可能性がある領域だけに絞って、マッチングを行うようにしてもよい。

また、入力された画像における歩行者の像が、歩行者テンプレートにおける歩行者の像と同一の大きさである場合は、入力された画像をそのままの大きさで、歩行者テンプレートとテンプレートマッチングを行えばよいが、入力された画像における歩行者の像は、歩行者テンプレートにおける歩行者の像と同一の大きさであるとは限らず、むしろ大きさが異なる場合の方が多いため、入力された画像と歩行者テンプレートとをマッチングさせる際に、入力された画像の大きさを拡大し（画素数を増やし）、または大きさを縮小する（画素数を減らす）などの前処理を施してもよい。

このようにして、相関値算出部２４が、入力された画像の位置ごとに求めた、歩行者テンプレートとのマッチングの相関値は、例えば、図１０に示すものとなる。

ここで、図１０は、領域の色が白色に近いほど相関値が高いことを示しており、図１０においては、左半分の下部において、高い相関値を示していることが分かる。

なお、縦横エッジ低減部２３に入力される以前のエッジ強調画像（図８）に対して、相関値算出部２４が、その入力された画像（図８）の位置ごとに求めた歩行者テンプレートとのマッチングの相関値は、例えば、図１１に示すものとなる。

この図１１に示した相関マップは、図１０に示した相関マップに比べて、左半分の下部における相関値が、より広い範囲で高く現れているとともに、左半分の上縁部における相関値も、左半分下部における相関値と同程度の高さで現れていることが分かる。

ここで、図１０，１１にそれぞれ示した相関マップは、歩行者テンプレートとのマッチングの程度を示すものであるから、図１０に示した相関マップに基づけば、左半分の中央部で下寄りの白色領域に、歩行者の像が存在する確率が高いことを検出することができ、図１１に示した相関マップに基づけば、左半分の中央部で下寄りの白色領域と、左半分の上縁部領域とにそれぞれ、歩行者の像が存在する確率が高いことを検出することができる。

実際には、図７に示すように、歩行者は、左半分の下部寄りの領域にのみ存在するため、図１０に示した相関マップは図１１に示した相関マップに比べて、左半分上縁部領域において歩行者の誤検出が無い分だけ、歩行者像の検出精度が高いことが分かる。

以上のようにして相関値算出部２４によって検出された相関マップは、相関領域最大値検出部２５に入力され、相関領域最大値検出部２５は、入力された相関マップに基づいて、相関値が高い（相関マップの色が白い）画像領域を歩行者の像として、その位置を検出する。

そして、検出された歩行者の像の位置はマーカー重畳部２６に入力され、マーカー重畳部２６は、入力された歩行者の像の位置に基づいて、歩行者の像の領域を最小限に囲む白色の矩形枠を設定し、この白色の矩形枠を、赤外線カメラ１０から入力された赤外線画像における歩行者の存在対応位置に重畳して、画像表示装置５０に出力する。

画像表示装置５０は、歩行者検出装置２０のマーカー重畳部２６から入力された、赤外線カメラ１０による赤外線画像（図７）の歩行者の像に白色矩形枠が付された画像（図１２）を、画面上に表示する。

このように構成された本実施形態に係る歩行者検出表示システム１００によれば、輝度が調整され、かつエッジが強調された画像と歩行者テンプレートとのテンプレートマッチングを行うのに先だって、歩行者の輪郭（エッジ）とは異なる構造物の代表的な輪郭である水平エッジおよび鉛直エッジを低減（削除を含む）するため、テンプレートマッチングの精度を向上させることができ、歩行者の像の誤検出を低減することができる。

次に、縦横エッジ低減部２３による水平エッジおよび鉛直エッジを低減する処理の具体的手法を、図３〜５に示したフローチャートにしたがって説明する。

まず、図３に示すように、全体動作は大きく分けて前半の水平エッジおよび鉛直エッジをそれぞれ検出して、低減処理（細線化処理）を行う否かを判断する置換決定部２３ａの処理と、後半の実際の低減処理（細線化処理）を実行する置換実行部２３ｂの処理とで構成されている。

最初に、低減処理が開始されると、歩行者の存在する可能性がある画像エリアから始めに処理される注目画素Ｐi,jが決定される（Ｓ１）。そして、この注目画素Ｐi,jを中心とした処理エリアの画素値を取り込む（Ｓ２）。

この処理エリアは、例えば図１３に示したように、注目画素Ｐi,jを中心とした上側隣接画素Ｐi,j-1、下側隣接画素Ｐi,j+1、左側隣接画素Ｐi-1,j、右側隣接画素Ｐi+1,jからなる十字状のエリアである。

そして、これらの処理エリアを構成する各画素の信号値（輝度値）に基づいて、注目画素Ｐi,jが、水平エッジの縁部の画素であるか否か、鉛直エッジの縁部の画素であるか否か、を判断する（Ｓ３）。

この判断は、水平エッジの縁部の画素であるか、または鉛直エッジの縁部の画素である場合は、後に、その注目画素Ｐi,jの信号値を、隣接する画素の信号値に置換することで細線化する処理を行うか否かの判断である（Ｓ３）。

この処理の流れを、注目画素Ｐi,jを順次移動しながら全対象領域について行う（Ｓ４，Ｓ５）ことにより、全対象領域の画素について、水平エッジの縁部の画素であるか否か、鉛直エッジの縁部の画素であるか否か、を判断する。

この判断は、注目画素を順次変更しながら画素ごとに行ったが、このとき、水平エッジの縁部の画素であると判断された場合と、鉛直エッジの縁部の画素であると判断された場合は、それぞれ、後に信号値の置換を行う目印として、フラグを立てておく。

そして、処理の後半は、この画素ごとのフラグの状況に応じて、実際の置換処理を「実行する。

すなわち、置換処理が実行される注目画素Ｐi,jが決定され（Ｓ６）、前半のステップ３（Ｓ３）でフラグが立てられている画素Ｐi,jについては、その画素Ｐi,jの信号値を隣接画素の信号値に置換する処理を実行し（Ｓ７）、この処理の流れを、注目画素Ｐi,jを順次移動しながら全対象領域について行う（Ｓ８，Ｓ９）ことにより、全対象領域の画素について、水平エッジの縁部の画素または鉛直エッジの縁部の画素については、その信号値を置換することで、水平エッジと鉛直エッジの幅を１画素分だけ細くする。

そして、図５に示した処理を複数回繰り返すことで、水平エッジと鉛直エッジとを順次１画素ずつ細くして細線化が進み、最終的には、水平エッジと鉛直エッジとを削除することができる。

ここで、置換決定部２３ａによる細線化判断（図３においてステップ３（Ｓ３）の処理）の手法について、図４のフローチャートを用いてさらに詳細に説明する。

全体動作は大きく分けて前半の水平エッジ判断と後半の鉛直エッジ判断とで構成される。この前半と後半の順番は逆になってもよいし、並行処理としてもよい。

まず、細線化判断が開始され（図３のＳ３）、水平エッジ判断が行われる（図４のＳ１１〜Ｓ１５）。この水平エッジ判断では、注目画素Ｐi,jと、この注目画素Ｐi,jの水平方向にそれぞれ隣接する２つの画素Ｐi-1,jおよびＰi+1,jとの間での信号値の差の絶対値の合計（信号値の変化量）に基づく判断が行われる。

すなわち、画素Ｐi-1,jの信号値と画素Ｐi,jの信号値と画素Ｐi+1,jの信号値との差が、式（１）に示すように、所定の閾値ＴＨａよりも小さいか否かが判断される。
｜（Ｐi-1,j）−（Ｐi,j）｜＋｜（Ｐi+1,j）−（Ｐi,j）｜＜ＴＨａ （１）
なお、式（１）の左辺は、上式の内容に限定されたものではなく、注目画素Ｐi,jの隣接画素Ｐi-1,jおよびＰi+1,j間の信号値差（＝｜（Ｐi-1,j）−（Ｐi+1,j）｜）であってもよい。

ここで、上式（１）が成立したとき（図４においてＳ１１）は、注目画素Ｐi,jを含む水平方向に沿った輝度変化が少ないと判断されるため、注目画素Ｐi,jは水平エッジ上の画素であると推定することができる。

この場合、注目画素Ｐi,jと上側隣接画素Ｐi,j-1との信号値差を判断する（Ｓ１２）。この判断においては、予め設定された閾値ＴＨｂとの大小比較（式（２）参照）と、信号値自体の大小（式（３）参照）で判断される。
｜（Ｐi,j）−（Ｐi,j-1）｜＞ＴＨｂ （２）
（Ｐi,j）−（Ｐi,j-1）＞０ （３）
ここで、式（２）および式（３）が成立するときは、注目画素Ｐi,jと上側隣接画素Ｐi,j-1とは輝度に大きな差があるため、注目画素Ｐi,jと上側隣接画素Ｐi,j-1との間に水平エッジの境界が存在し（式（２））、かつ、注目画素Ｐi,jの方が上側隣接画素Ｐi,j-1よりも輝度が高いため、注目画素Ｐi,jが水平エッジ上に存在する（式（３））こととなり、これは図１４（ａ）の模式図に示すように、注目画素Ｐi,jが水平エッジの上縁の画素であることを意味する。

そして、水平エッジの上縁の画素（注目画素Ｐi,j）の信号値を、上側隣接画素Ｐi,j-1の信号値に置換することで、この水平エッジの上縁１画素が暗くなって、水平エッジが１画素分細線化されることになる。

そこで、このような条件（式（２）および式（３））が満たされたときは、後に置換実行の対象となることを示すフラグを立てる（Ｓ１３）。

これと同様に、注目画素Ｐi,jと下側隣接画素Ｐi,j+1との信号値差を判断する（Ｓ１４）。この判断においては、予め設定された閾値ＴＨｂとの大小比較（式（４）参照）と、信号値自体の大小（式（５）参照）で判断される。
｜（Ｐi,j）−（Ｐi,j+1）｜＞ＴＨｂ （４）
（Ｐi,j）−（Ｐi,j+1）＞０ （５）
ここで、式（４）および式（５）が成立するときは、注目画素Ｐi,jと下側隣接画素Ｐi,j+1とは輝度に大きな差があるため、注目画素Ｐi,jと下側隣接画素Ｐi,j+1との間に水平エッジの境界が存在し（式（４））、かつ、注目画素Ｐi,jの方が下側隣接画素Ｐi,j+1よりも輝度が高いため、注目画素Ｐi,jが水平エッジ上に存在する（式（５））こととなり、これは図１４（ｂ）の模式図に示すように、注目画素Ｐi,jが水平エッジの下縁の画素であることを意味する。

そして、水平エッジの下縁の画素（注目画素Ｐi,j）の信号値を、下側隣接画素Ｐi,j+1の信号値に置換することで、この水平エッジの下縁１画素が暗くなって、水平エッジが１画素分細線化されることになる。

そこで、このような条件（式（４）および式（５））が満たされたときは、後に置換実行の対象となることを示すフラグを立てる（Ｓ１５）。

続いて、後半の鉛直エッジ判断（図４のＳ２１〜Ｓ２５）に進む。この処理内容は、これまで説明してきた前半の水平エッジ判断（Ｓ１１〜Ｓ１５）と同様であり、「上側」を「左側」、「下側」を「右側」、「Ｐi,j-1」を「Ｐi-1,j」、「Ｐi,j+1」を「Ｐi+1,j」、「Ｐi-1,j」を「Ｐi,j-1」、「Ｐi+1,j」を「Ｐi,j+1」、「水平エッジ」を「鉛直エッジ」、とそれぞれ読み替えればよい。

次に、置換実行部２３ｂによる細線化実行（図３においてステップ７（Ｓ７）の処理）の手法を図５に示したフローチャートを用いて説明する。

細線化の実行が開始されると、細線化判断（図４）によって得られた信号値置換のフラグのうち、上側隣接画素Ｐi-1,jの信号値との置換えフラグを確認し（図５のＳ３１）、フラグが立っている場合は、注目画素Ｐi,jの信号値を上側隣接画素Ｐi-1,jの信号値に置き換える（Ｓ３２）。これにより、注目画素Ｐi,jを含むエッジは、１画素分だけ下方に細くなる。

同様に、下側隣接画素Ｐi+1,jの信号値との置換えフラグを確認し（Ｓ３３）、フラグが立っている場合は、注目画素Ｐi,jの信号値を下側隣接画素Ｐi+1,jの信号値に置き換える（Ｓ３４）。これにより、注目画素Ｐi,jを含むエッジは、１画素分だけ上方に細くなる。

同様に、左側隣接画素Ｐi,j-1の信号値との置換えフラグを確認し（Ｓ３５）、フラグが立っている場合は、注目画素Ｐi,jの信号値を左側隣接画素Ｐi,j-1の信号値に置き換える（Ｓ３６）。これにより、注目画素Ｐi,jを含むエッジは、１画素分だけ右方に細くなる。

同様に、右側隣接画素Ｐi,j+1の信号値との置換えフラグを確認し（Ｓ３７）、フラグが立っている場合は、注目画素Ｐi,jの信号値を右側隣接画素Ｐi,j+1の信号値に置き換える（Ｓ３８）。これにより、注目画素Ｐi,jを含むエッジは、１画素分だけ左方に細くなる。

そして、以上の置換決定部２３ａによる置換判断の処理（図４）および置換実行部２３ｂによる置換実行の処理（図５）を複数回繰り返すと、画像中の水平エッジおよび鉛直エッジは徐々に細くなって、最終的には消滅する。

このように、縦横エッジ低減部２３により、水平エッジおよび鉛直エッジがそれぞれ低減されることにより、前述した相関値算出部２４でのテンプレートマッチングの精度を向上させることができる。

上述した実施形態においては、縦横エッジ低減部２３による処理エリアを、図１３に示すように、注目画素Ｐi,jと、それに上下左右に隣接する４つの画素とからなる十字状のエリアとして設定したが、本発明の歩行者検出表示システムは、この形態に限定されるものではなく、例えば、図１５（ａ）に示すように、水平方向の画素の信号値の変化の判断（式（１））に用いられる水平方向に沿った画素の組として、注目画素Ｐi,jから画素を１つ挟んで並んだ画素Ｐi-2,jおよびＰi+2,jを適用することもできる。

同様に、鉛直方向の画素の信号値の変化の判断に用いられる鉛直方向に沿った画素の組として、注目画素Ｐi,jから画素を１つ挟んで並んだ画素Ｐi,j-2およびＰi,j+2を適用することもできる。

なお、本実施形態に係る歩行者検出表示システム１００によれば、縦横エッジ低減部２３が、エッジ強調部２２によってエッジが強調された画像を構成する画素について、鉛直方向に隣接する画素間での信号値差が予め設定された閾値ＴＨｂ以上のときは、信号値の大きい方の画素の信号値を小さい方の画素の信号値に置換することにより、水平エッジの幅を細くすることができ、水平方向に隣接する画素間での信号値差が予め設定された閾値ＴＨｂ以上のときは、信号値の大きい方の画素の信号値を小さい方の画素の信号値に置換することにより、鉛直エッジの幅を細くすることができるが、画像全体について、まず、置換決定部２３ａが、鉛直方向および水平方向についてそれぞれ信号値の置換の対象か否かだけを先に判断してフラグによって区別し、画像全体について判断した後に、置換実行部２３ｂが、実際の信号値の置換を実行することで、各画素ごとに、置換判断と置換実行とを連続して行った場合に生じうる、他の未判断の画素について、置換済みの画素との信号値差に影響が及ぶのを防止することができ、より精度の良い置換判断を行うことができ、この結果、細線化乃至水平エッジおよび鉛直エッジの削除を精度よく行うことができる。

また、本実施形態の歩行者検出表示システムにおいては、撮像装置として赤外線カメラを適用したが、本発明に係る歩行者検出表示システムは、この形態に限定されるものではなく、可視光領域の周波数帯域で画像を撮像する通常のカメラを用いたものであってもよい。

ただし、撮像装置として赤外線カメラを適用したものでは、車両進行方向の所定領域が赤外線画像として撮像されるため、夜間や霧、降雨、降雪等環境の影響によって、可視光領域のカメラでは歩行者を撮影しにくい状況下においても、歩行者が発する遠赤外線を赤外線像として撮像することができ、肉眼での視認を補助する上で、より効果的である。

また、赤外線カメラで撮像して得られる画像は、一般的にグレイスケールの無彩色階調画像であるため、可視光周波数領域のカラー画像を得る一般的なカメラよりも、画像のデータ量を低減することができ、演算処理等の負荷を軽減することができる。

本発明の実施形態に係る歩行者検出表示システムの概略構成を示すブロック図である。 図１の歩行者検出表示システムにおける歩行者検出装置の詳細構成を示すブロック図である。 図２に示した縦横エッジ低減部による水平エッジと鉛直エッジの低減処理手順を示すフローチャートである。 図３における前段の処理（細線化の判断（置換の決定）処理）の詳細を示すフローチャートである。 図３における後段の処理（細線化の実行（置換の実行）処理）の詳細を示すフローチャートである。 テンプレート記憶部に記憶された歩行者テンプレートを示す図である。 赤外線カメラで撮像された車両進行方向の所定領域の赤外線画像を示す図である。 エッジ強調部でエッジが強調（検出）された後の画像を示す図である。 縦横エッジ低減部で、水平エッジおよび鉛直エッジが低減された後の画像である。 図９の画像に対して歩行者テンプレートとマッチングした結果を表す相関マップである。 図８の画像に対して歩行者テンプレートとマッチングした結果を表す相関マップである。 歩行者検出装置のマーカー重畳部から出力されて、画像表示装置に表示される、赤外線画像に、歩行者の存在を示す白色矩形枠（マーカー）が付された画像を示す図である。 縦横エッジ低減部による処理エリアの一例を示す図である。 注目画素が水平エッジ上に存在する場合の模式図であり、（ａ）はエッジの上縁、（ｂ）はエッジの下縁、であることをそれぞれ示す。 縦横エッジ低減部による処理エリアの他の例を示す図である。

符号の説明

１０ 赤外線カメラ（撮像装置）
２０ 歩行者検出装置
２１ 輝度調整部
２２ エッジ強調部
２３ 縦横エッジ低減部
２３ａ 置換決定部
２３ｂ 置換実行部
２４ 相関値算出部
２５ 相関領域最大値検出部
２６ マーカー重畳部
２７ テンプレート記憶部
５０ 画像表示装置
１００ 歩行者検出表示システム

Claims (5)

1. 車両に設置されて前記車両の進行方向の所定領域を撮像する撮像装置と、前記撮像装置によって撮像して得られた画像に基づいて、前記画像のうち歩行者の像を検出し、前記撮像装置によって撮像された所定領域の像を、前記検出された前記歩行者の像の位置にマーカーを付して出力する歩行者検出装置と、前記歩行者検出装置から出力された、前記歩行者の像の位置にマーカーが付された前記所定領域の像を表示する画像表示装置とを備えた歩行者検出表示システムにおいて、
   前記歩行者検出装置は、前記画像のコントラストを高める輝度調整部と、前記輝度調整部によって輝度が高められた画像に対して、画像のエッジを強調するエッジ強調部と、前記エッジ強調部によってエッジが強調された画像に対して、水平方向に延びる水平エッジおよび鉛直方向に延びる鉛直エッジを低減する縦横エッジ低減部と、歩行者の輪郭を模した歩行者テンプレートを記憶したテンプレート記憶部と、前記縦横エッジ低減部によって水平エッジおよび鉛直エッジが低減された画像に対して、前記テンプレート記憶部に記憶された前記歩行者テンプレートとのマッチングを行って、前記歩行者テンプレートとの間での相関値を求める相関値算出部と、前記水平エッジおよび鉛直エッジが低減された画像のうち、前記相関値算出部によって算出された相関値が高い画像領域を前記歩行者の像として検出する相関領域最大値検出部と、前記撮像装置によって得られた前記所定領域の画像に、前記相関領域最大値検出部によって検出された前記歩行者の像の位置にマーカーを重畳して出力するマーカー重畳部とを備えたことを特徴とする歩行者検出表示システム。
2. 前記縦横エッジ低減部は、前記エッジ強調部によってエッジが強調された画像を構成する画素について、鉛直方向に隣接する画素間での信号値差に基づいて前記画素の信号値を置換することで前記水平エッジを低減し、水平方向に隣接する画素間での信号値差に基づいて前記画素の信号値を置換することで前記鉛直エッジを低減するものであることを特徴とする請求項１に記載の歩行者検出表示システム。
3. 前記縦横エッジ低減部は、前記エッジ強調部によってエッジが強調された画像を構成する画素について、鉛直方向に隣接する画素間での信号値差が予め設定された閾値以上のときは、信号値の大きい方の画素の信号値を小さい方の画素の信号値に置換することにより、前記水平エッジの幅を細くし、水平方向に隣接する画素間での信号値差が予め設定された閾値以上のときは、信号値の大きい方の画素の信号値を小さい方の画素の信号値に置換することにより、前記鉛直エッジの幅を細くし、これら信号値差と閾値との比較および信号値の置換を繰り返すことにより前記水平エッジおよび前記鉛直エッジを低減するものであることを特徴とする請求項２に記載の歩行者検出表示システム。
4. 前記縦横エッジ低減部は、前記エッジ強調部によってエッジが強調された画像を構成する画素について、鉛直方向に隣接する画素間での信号値差が予め設定された閾値以上のときは、信号値の大きい方の画素の信号値を小さい方の画素の信号値に後に置換する指標であるフラグを立て、水平方向に隣接する画素間での信号値差が予め設定された閾値以上のときは、信号値の大きい方の画素の信号値を小さい方の画素の信号値に置換する指標であるフラグを立てる置換決定部と、前記置換決定部によって画像全体について前記閾値との大小比較およびフラグの設定が行われた画像について、前記フラグが立てられた画素の信号値を置換する置換実行部とを備え、前記置換決定部による処理と前記置換実行部による処理とを繰り返し行うことを特徴とする請求項３に記載の歩行者検出表示システム。
5. 前記撮像装置は、前記所定領域を赤外線画像として撮像する赤外線カメラであることを特徴とする請求項１から４のうちいずれか１項に記載の歩行者検出表示システム。