JP2013134702A - 検出装置及び検出方法 - Google Patents

Abstract

【課題】より適切に検出対象物を検出すること。
【解決手段】センサーの出力に対応する検出対象画像を生成する画像生成部と、前記検出対象画像から検出対象物を検出することに用いる学習済みの検出器であって、前記検出対象画像の特定領域毎に用意されたサブ識別器を有する検出器と、を備え、前記サブ識別器は、前記検出対象画像の前記特定領域のエッジ強度加算値に基づいて前記検出対象物を含むことの度合いを求め、前記検出器は、前記検出対象画像の複数の特定領域の前記検出対象物であることの度合いに基づいて、前記検出対象画像に検出対象物が含まれるか否かを判定する、検出装置。
【選択図】図９

Description

本発明は、検出装置及び検出方法に関する。

夜間における車両の運転において、車両のフロントライトでは歩行者に光源が届かない場合や、闇に紛れる歩行者を見落としてしまったりすることがある。そのため、運転手は夜間走行時には多くの注意を払わなければならない。この問題を解決するために、以下のような手法が考えられている。

特許文献１には、可視カメラを左右に設置して撮像したステレオ画像に基づいた視差情報を利用して歩行者（障害物）を検知することが示されている。

特許文献２には、予め歩行者の像を模した歩行者テンプレート画像を用意しておき、画像内におけるテンプレートとの類似性が高い部分について、歩行者が存在する可能性が高いとして歩行者の存在を検知している。

特開２００２−２４９８６号公報 特開２００３−９１４０号公報

しかしながら、特許文献１の手法であると、可視カメラを用いて車両前方を撮像するため、夜間等では街頭などの照明に頼らざるを得ない。また、可視カメラで歩行者を撮影しても、十分な画質を得ることが困難であるため、検知精度は著しく低下してしまうという問題があった。

また、特許文献２の手法であると次のような問題がある。すなわち、実環境下では、歩行者パターンは大きさ、姿勢及び表面温度等の変動が同時に発生する。それに伴いテンプレートの数を増やすと、歩行者以外の建物や信号、街路灯などの構造物の画像が、歩行者の像として検知され、誤検出を招く可能性があるという問題があった。

したがって、より適切に歩行者等の検出対象物を検出することが望まれる。

本発明は、このような事情に鑑みてなされたものであり、より適切に検出対象物を検出することを目的とする。

上記目的を達成するための主たる発明は、
センサーの出力に対応する検出対象画像を生成する画像生成部と、
前記検出対象画像から検出対象物を検出することに用いる学習済みの検出器であって、前記検出対象画像の特定領域毎に用意されたサブ識別器を有する検出器と、を備え、
前記サブ識別器は、前記検出対象画像の前記特定領域のエッジ強度加算値に基づいて前記検出対象物を含むことの度合いを求め、
前記検出器は、前記検出対象画像の複数の特定領域の前記検出対象物であることの度合いに基づいて、前記検出対象画像に検出対象物が含まれるか否かを判定する、検出装置である。

本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。

本実施形態における歩行者検出システム１（検出装置）の概略構成を示すブロック図である。 撮像部の取り付け位置の一例の説明図である。 本実施形態における歩行者検知システム１における歩行者検知装置１２０及び歩行者学習装置２２０の詳細なブロック図である。 赤外線カメラで撮像した赤外線画像の一例を示す図である。 赤外線カメラで歩行者を撮像した赤外線画像の一例を示す図である。 歩行者の特徴成分を可視化した図である。 図７Ａは、歩行者が含まれる複数の画像について垂直方向のエッジ強度が求められた様子を示す図であり、図７Ｂは、エッジ強度加算値のヒストグラムである。 学習処理のフローチャートである。 検出処理のフローチャートである。 全体画像を走査する方法を説明する図である。 歩行者検出処理のフローチャートである。 警告画像表示の一例を示す図である。

本明細書及び添付図面の記載により、少なくとも、以下の事項が明らかとなる。すなわち、
センサーの出力に対応する検出対象画像を生成する画像生成部と、
前記検出対象画像から検出対象物を検出することに用いる学習済みの検出器であって、前記検出対象画像の特定領域毎に用意されたサブ識別器を有する検出器と、を備え、
前記サブ識別器は、前記検出対象画像の前記特定領域のエッジ強度加算値に基づいて前記検出対象物を含むことの度合いを求め、
前記検出器は、前記検出対象画像の複数の特定領域の前記検出対象物であることの度合いに基づいて、前記検出対象画像に検出対象物が含まれるか否かを判定する、検出装置である。
このように、エッジ強度を用いることで環境変動の影響を受けにくくすることができる。また、エッジ強度加算値を特定領域毎に求め、これらを総合して検出対象物が含まれるか否かを判定することで、特定領域毎のエッジ強度加算値を特徴量として、より適切に検出対象物を検出することができる。

かかる検出装置であって、複数の学習用画像の前記特定領域毎にエッジ強度加算値を求め、前記特定領域毎にエッジ強度加算値の出現頻度を求め、前記出現頻度に応じて前記エッジ強度加算値の閾値を求める学習が前記サブ識別器毎に行われ、
前記サブ識別器は、前記検出対象画像の特定領域における前記エッジ強度加算値と前記閾値とに基づいて、前記検出対象物を含むことの度合いを求めることが望ましい。
このようにすることで、各サブ識別器は、特定領域毎のエッジ強度加算値の出現頻度に基づいて、その検出対象画像が検出対象物を含むことの度合いを求めることができる。

また、前記画像生成部は、前記センサーの出力に対応する階調値を含む検出対象画像を生成し、
前記エッジ強度加算値は、前記階調値のエッジ強度加算値であることが望ましい。
このようにすることで、センサーが出力した階調値のエッジ強度を求め、階調値のエッジ強度加算値に基づいて、検出対象画像に検出対象物が含まれるか否かを判定することができる。

また、前記エッジ強度加算値は、複数のセルに分割された前記特定領域のセル毎のエッジ強度の合算値であることが望ましい。
このようにすることで、各セルのエッジ強度の合算値であるエッジ強度加算値を用いて、検出対象画像に検出対象物が含まれるか否かを判定することができる。

また、前記エッジ強度は、複数の方向のうち特定の方向に関するエッジ強度であることが望ましい。
このようにすることで、特定のエッジ方向成分のエッジ強度に基づいて、検出対象画像に検出対象物が含まれるか否かを判定することができる。

また、前記検出器は、前記サブ識別器の数を異ならせた複数の識別器を有し、
前記サブ識別器の数が少ない順に前記識別器を用いて前記検出対象画像に検出対象物が含まれるか否かの判定が行われ、全ての前記複数の識別器において前記検出対象物を含むと判定された場合に、前記検出対象画像に検出対象物が含まれると判定することが望ましい。
このようにすることで、サブ識別器の数が少ない順に前記識別器を用いて検出対象画像に検出対象物が含まれるか否かの判定が行われるので、演算処理の容易な識別器を順に用いて検出対象物が含まれるか否かについて検出対象画像をふるいにかけることができる。

また、本明細書及び添付図面の記載により、少なくとも、以下の事項も明らかとなる。すなわち、
センサーの出力に対応する検出対象画像を生成する生成ステップと、
前記検出対象画像の特定領域毎に用意されたサブ識別器を有する検出器を用いて、前記検出対象画像から検出対象物を検出する検出ステップと、
前記サブ識別器は、前記検出対象画像の前記特定領域のエッジ強度加算値に基づいて前記検出対象物であることの度合いを求め、
前記検出器は、前記検出対象画像の複数の特定領域の前記検出対象物であることの度合いに基づいて、前記検出対象画像に検出対象物が含まれるか否かを判定する、検出方法である。
このように、エッジ強度を用いることで環境変動の影響を受けにくくすることができる。また、エッジ強度加算値を特定領域毎に求め、これらを総合して検出対象物が含まれるか否かを判定することで、特定領域毎のエッジ強度加算値を特徴量として、より適切に検出対象物を検出することができる。

＝＝＝実施形態＝＝＝
図１は、本実施形態における歩行者検出システム１（検出装置）の概略構成を示すブロック図である。本実施形態における検出対象物は歩行者であり、図１には、赤外線カメラ１１０と歩行者検出装置１２０とディスプレイ１３０が示されている。図２は、撮像部１１１の取り付け位置の一例の説明図である。なお、「歩行者」は「人物」と同義であり、「歩いている人物」には限定されない。

赤外線カメラ１１０（センサーに相当）は、中赤外線及び遠赤外線の波長をとらえデジタル値の映像信号を歩行者検出装置１２０に送信する。ここで、中赤外線は２．５μｍ〜４μｍの波長、遠赤外線は、４μｍ〜１０００μｍの波長を有する光である。本実施形態では、８〜１４μｍの波長を用いて体温を検出対象とするが、この波長に限られず、温度を検出できる波長であればよい。赤外線カメラ１１０は、車両のフロントグリル部などに搭載される（図２）。そして、自車両（赤外線カメラ１１０を搭載した車両、本実施形態では赤外線カメラ１１０と歩行者検出装置１２０とディスプレイ１３０の全てが搭載されている）から前方方向の環境を撮影する。なお、赤外線カメラ１１０が搭載される位置は、この位置に限られることはなく、他の位置であってもよい。

歩行者検出装置１２０は、画像処理ボード１２０１と、中央演算装置（ＣＰＵ）等の処理部１２０２と、ランダムアクセスメモリー（ＲＡＭ）などの記憶部１２０３を含む。そして、後述するような処理により、これら画像処理ボード１２０１と処理部１２０２と記憶部１２０３が協働して動作し、ディスプレイ１３０に表示するデータを生成する。ディスプレイ１３０は、生成されたデータに基づく情報を表示する。

図３は、本実施形態における歩行者検出システム１における歩行者検出装置１２０及び歩行者学習装置２２０の詳細なブロック図である。赤外線カメラ１１０は、撮像部１１１とアナログデジタル変換部（Ａ／Ｄ変換部）１１２を含む。撮像部１１１は、赤外線カメラの受光素子に対応するものであり、受光素子が受光した赤外領域の光に対応した信号を出力する。Ａ／Ｄ変換部１１２は、撮像部１１１で得られたアナログ信号をデジタル信号に変換する機能を有する。このように赤外線センサー１１１（センサーに相当する）の出力に対応する検出対応画像を生成する赤外線カメラ１１０は、画像生成部に相当する。

歩行者検出装置１２０は、画像格納部１２１と、特徴量抽出部１２２と、歩行者判定部１２３と、表示制御部１２４と、歩行者テーブル格納部１２５を含む。歩行者テーブル格納部１２５には、歩行者学習装置によって出力された学習結果が格納される。これらの各部は、上述の画像処理ボード１２０１と、ＣＰＵ１２０２と、ＲＡＭ１２０３により実現されている。

画像格納部１２１は、撮像部１１１から得られた映像（例えば、１５ｆｐｓの映像）から、１画像ずつ順次処理するために、赤外線カメラ１１０から取得したデジタル信号を一時的に保管する。特徴量抽出部１２２は、画像格納部１２１に格納されたデジタル信号を順次読み込み、複数の階調値からなる画像（全体画像）へと変換する。そして、この変換画像に基づいて特徴量を抽出する処理を行う。特徴量については、後述する。

歩行者判定部１２３は、特徴量抽出部１２２の処理により得られた特徴量と、歩行者テーブルのデータとを比較して、検出対象画像が歩行者を含むか否かについて判定する。検出対象画像は、全体画像からクロッピングされた画像である。判定手法については、後述する。

歩行者テーブル格納部１２５は、前述の通り、歩行者判定部１２３で用いられるデータを記憶する。

表示制御部１２４は、歩行者判定部１２３における判定結果を運転者に伝えるために、表示部１３１への描画画像を作成する。例えば、赤外線画像として得られている自車両前方映像に、歩行者として判定された箇所を、歩行者を含むようにして強調表示させたり、注意を喚起するために表示部１３１をフラッシュさせたりする。

また、図３には、歩行者学習装置２２０と歩行者学習装置２２０に接続された赤外線カメラ２１０が示されている。赤外線カメラ２１０の構成は、歩行者検出装置１２０に接続された赤外線カメラ１１０と同様の構成であるので説明を省略する。また、歩行者学習装置２２０における画像格納部２２１と特徴量抽出部２２２は、それぞれ歩行者検出装置１２０の画像格納部１２１と特徴量抽出部１２２と同様の構成であるので説明を省略する。

歩行者学習装置２２０の学習部２２８は、歩行者パターンを統計的に扱うことで、歩行者であるか否かの判定に必要なデータを作成する。これらデータの生成については、後述する。

図４は、赤外線カメラで撮像した赤外線画像の一例を示す図である。赤外線カメラ１１０によって車両前方を撮像すると、図４に示されるような赤外線画像が得られる。図４には、背景部分に建物が並び、手前左側（歩道）に歩行者が３名撮像されている。図４において、白色に近いほど輝度値が高く、黒色に近いほど輝度値が低い。

撮像画像において、階調値と温度には相関関係があり、高温ほど輝度値が高く表示される。図４において、背景部分に比べて、歩行者の表面温度が高いため、歩行者の像が浮かび上がって表示されている。

図５は、赤外線カメラで歩行者を撮像した赤外線画像の一例を示す図である。図５には、歩行者を含む画像であって、所定の縦横比でクロッピングされた画像が示されている。歩行者学習装置２２０では、このように歩行者を含む画像が用いられて学習が行われる。

図６は、歩行者の特徴成分を可視化した図である。図６には、エッジ強度が求められ可視化された画像が示されている。図６における（１）の図は、図５の画像の水平成分のエッジ強度を求め可視化した図である。図６における（２）の図は、図５の画像の斜め方向成分（右下がり、左上がり）のエッジ強度を求め可視化した図である。図６における（３）の図は、図５の画像の垂直成分のエッジ強度を求め可視化した図である。図６における（４）の図は、図５の画像の斜め方向成分（左下がり、右上がり）のエッジ強度を求め可視化した図である。エッジ強度の値が大きい程、輝度値が高いことで表現している。

このようなエッジ強度は、例えば、次のようにして求めることができる。すなわち、赤外線画像の各画素（ｘ、ｙ）において、注目画素を中心とした矩形領域（例えば、３×３画素）を注目する。この領域の中で特定画素の組み合わせを選択して、階調値の差分を計算する。すなわち、特定方向成分のエッジ強度を算出する。

なお、ここでは３×３画素の矩形領域を例として説明を行ったが、矩形領域のサイズはこれに限定されず、任意のサイズにまで広げることとしてもよい。

図７Ａは、歩行者が含まれる複数の画像について垂直方向のエッジ強度が求められた様子を示す図である。前述の図５のような画像に歩行者が含まれているか否かは、特定領域における任意方向のエッジ強度の加算値（エッジ強度加算値）に基づいて判定される。エッジ強度加算値を求める前段階として、歩行者が含まれる複数の画像についてのエッジ強度が前述のようにして求められる。

エッジ強度加算値は、特定領域における任意方向のエッジ強度を加算することにより求められる。図７Ａには、特定領域として、２つの画素位置（左上（ｘ０，ｙ０）、右下（ｘ１，ｙ１）で表現した矩形領域）で囲われる矩形領域が示されている。図７Ａでは、歩行者の上半身（肩から腰）の範囲を特定領域としている。この特定領域は、様々な領域とすることができる。例えば、歩行者の顔の範囲を特定領域としてもよいし、歩行者の下半身の範囲を特定領域としてもよい。

各画像について、この特定領域の特定の方向のエッジ強度が累積される。たとえば、各画素の垂直方向のエッジ強度（図６の（３））が（ｘ０，ｙ０）から（ｘ１，ｙ１）の範囲で累積される。このようにすることにより、１枚の画像について特定領域の垂直方向のエッジ強度加算値が求められる。このような演算が、歩行者を含む画像及び歩行者以外の画像について行われる。

図７Ｂは、エッジ強度加算値のヒストグラムである。図７Ｂは、上述のようにして特定領域におけるエッジ強度加算値を、複数枚数の学習用画像について算出し、ヒストグラムを作成したものである。図７Ｂにおいて横軸は、エッジ強度加算値であり、縦軸は、そのエッジ強度加算値の出現頻度である。例えば、演算の結果、複数枚数の学習用画像においてエッジ強度加算値「５０」が１００回出現した場合、エッジ強度加算値「５０」の出現頻度は「１００」となる。なお、エッジ強度加算値は、任意の特定領域内でのエッジ強度加算値を用いて正規化した値を利用してもよい。

学習時において用いられる画像は、歩行者を含む画像（歩行者の画像）と歩行者を含まない画像（歩行者以外の画像）である。これらの画像について上記の処理が行われ図７Ｂのようなヒストグラムが生成される。閾値θｔは、実験的または経験的に決まる値であり、ニューラルネットワーク、サポートベクターマシン、ブースティングなどの学習により選び出すことができる。

上記のことを踏まえると、画像に歩行者が含まれるか否かの判別式は以下のように表現できる。

f(k₁,k₂):k1,k2で特定される特定領域のエッジ強度加算値
k₁:任意方向成分のエッジ画像において特定領域を規定する画素位置(x0,y0)
k₂:任意方向成分のエッジ画像において特定領域を規定する画素位置(x1,y1)
θ_ｔ：特定領域を特定する変数がｔのときの閾値

具体的に関数ｆは、エッジ強度加算値の関数であって、ある画像における特定領域でのエッジ強度加算値の関数である。変数ｔは、特定領域を特定するための変数である。よって、特定領域がＴ種類ある場合には、少なくともＴ種類の判別式が存在することになる。

これによれば、検出対象画像についても、上記のようにしてエッジ強度加算値を求め、式（１）に代入し、閾値θ_ｔとの大小を比較することで、検出対象画像に歩行者が含まれるか否かについて判定することができる。

図７Ｂに示されるヒストグラムによれば、歩行者が含まれる場合にｈ_ｔの値が「１」となり、歩行者が含まれない場合に「−１」となる。なお、特定領域ｔによっては、エッジ強度加算値が低いほど「歩行者が含まれる」という結果となるヒストグラムも生成されうるが、本実施形態では、特定領域毎にヒストグラムの検証がされ、それぞれの関数ｈ_ｔにおいて、「歩行者が含まれる場合」にｈ_ｔの値が「１」となり、歩行者が含まれない場合に「−１」となるように調整がされる。

ところで、図７Ｂのヒストグラムと閾値を参照すると、判別式を単独で使用しても誤りを有する判別結果となることがあることも考えられる。そこで、本実施形態では、複数の判別式の集合から正確に判別を行う識別関数を作成することで高精度な判別を実現させる。識別関数は、以下のように判別式の組み合わせで構成される。

式（３）において、判別式の組み合わせ、個数Ｔ、及び、係数α_ｔは、実験的又は経験的に求めた値を用いることができる。また、判別式の組み合わせ、個数Ｔ、及び、係数α_ｔは、ニューラルネットワーク、サポートベクターマシン、ブースティングなどの学習アルゴリズムを用いることで、最適となるパラメーターを探索し選び出すこととしてもよい。例えば、ａｄａｂｏｏｓｔを用いた場合、α_ｔｈ_ｔ（Ｘ）は弱識別器（サブ識別器）であり、Ｈ（Ｘ）は強識別器（識別器）となる（Ｔ種類の特定領域についての弱識別器からなる強識別器が生成される）。α_ｔｈ_ｔ（Ｘ）は、−１又は＋１のいずれかに係数α_ｔを乗じた値を返す。つまり、これら個々の弱識別器は、検出対象物を含むことの度合いを求めるものである。

図８は、学習処理のフローチャートである。以下、本フローチャートを参照しつつ、学習処理の流れを説明する。なお、学習処理が行われる前に、赤外線カメラ２１０で撮像した赤外線画像から、歩行者を含む所定の縦横比で切り抜いた画像を予め多く用意して蓄積されているものとする。このとき、様々な環境で撮影されたもの（季節、天候、場所）が用意されていることが望ましい。また、歩行者を含まない画像も予め多く用意されていることが望ましい。

蓄積した赤外線画像から、学習用画像（学習処理において学習用画像であるが、後述する検出処理では検出対象画像）が１枚分読み込まれる（Ｓ１０２）。次に、特徴量の算出が行われる（Ｓ１０４）。本実施形態において特徴量は、特定領域での特定方向のエッジ強度加算値である。特定領域は、前述のように任意の２つの画素位置［左上（ｘ０，ｙ０）、右下（ｘ１，ｙ１）で表現した矩形領域］で表現される特定領域である。

ステップＳ１０４では、１枚の画像に対し複数の特定領域について特徴量の算出が行われる。なお、２つの画素位置で表現される特定領域は無数に存在していることから、経験的にサイズや範囲に制限をかけて算出することとしてもよい。例えば、前述のように、「上半身」、「下半身」、及び、「頭」のサイズ・範囲などである。

このようにすることによって、１枚の学習用画像（検出処理において検出対象画像）に対し各特定領域の特徴量が求められることになる。

そして、全ての学習用画像に対してステップＳ１０４の処理を実施した場合には、ステップＳ１０８に進む（Ｓ１０６）。一方、処理をしていない学習用画像がある場合には、次の学習用画像を読み込むためにステップＳ１０２に進む（Ｓ１０６）。

次に、学習が行われる（Ｓ１０８）。これまでの処理により、特定領域毎に式（１）の判別式が生成されることになる。そして、式（３）のＨ（Ｘ）を表現するパラメーターα、ｔ、及び、Ｔが算出されて、識別関数が求められる。これらパラメーターの算出は、前述のように経験値であってもよいし、ａｄａｂｏｏｓｔのような学習アルゴリズムが用いられて求められるものであってもよい。

次に、ステップＳ１０８で求められた各パラメーターが学習結果として保存される（Ｓ１１０）。学習結果は、歩行者テーブル格納部１２５に保存される。

次に、上述の学習結果を用いた検出処理について説明する。
図９は、検出処理のフローチャートである。検出処理では、車両に搭載された赤外線カメラ１１０から赤外線画像が取得される。取得された赤外線画像は画像格納部１２１に保存されている。

全体画像から検出対象画像の位置及びサイズが選択される（Ｓ２０２）。
図１０は、全体画像を走査する方法を説明する図である。図１０には、赤外線カメラ１１０が撮像した全体画像（左図）と、全体画像が縮小された画像（中央図）と、さらに縮小された縮小画像（右図）が示されている。

全体画像には、赤外線カメラ１１０で車両前方を撮像した赤外線画像において、車道脇に遠距離から近距離の間で合計３名の歩行者が歩いている様子が示されている。全体画像に対して、歩行者判定をする際に用いる検出対象画像の探索窓の一番小さなもの（例えば、歩行者と車両との距離が２００ｍ相当の窓サイズ（７×１４画素））を、左上から右下へと順に移動させて行き、探索窓の検出対象画像毎に歩行者がいるか否かを判定していく。

また、一定間隔で全体画像（左図）を縮小させることで、縮小画像（中央図）を作成する。上記と同様に探索窓を左上から右下へと順に移動させていき、歩行者が居るか居ないかを判定していく。

また、さらに、縮小画像（右図）を繰り返し作成していくことで、歩行者と車両との距離関係が遠距離から近距離までに対応した検出を実現する。すなわち、探索窓のサイズが固定であっても、縮小画像を繰り返し作成することで遠距離から近距離までの間の歩行者を検出することができる。

ステップＳ２０２では、このようにして、読み込まれた画像から歩行者判定を行うための探索窓の位置とサイズに対応する検出対象画像が選択される。

次に、ステップＳ２０２で選択された検出対象画像が読み込まれる（Ｓ２０４）。また、検出対象画像の特徴量の算出が行われる（Ｓ２０６）。特徴量の算出は、前述の図８のステップ１０４における処理と同様の手法により行われる。

次に、前述のステップＳ２０６で得られた特徴量に基づいて歩行者検出処理が行われる（Ｓ２０８）。歩行者検出処理では、次のように、複数の識別関数Ｈ（Ｘ）を組み合わせたカスケード構造を構成することで、早期に歩行者を含まない検出対象画像をふるい落とし、検出対象画像一枚あたりの判定時間を短縮させる。なお、１つの識別関数（識別器）を用いて歩行者の検出を行うもの、又は、複数の識別関数（識別器）を用いて歩行者の検出を行うものは検出器に相当する。

ここでは、複数段の判別関数が用意される。そして、各段Ｈ（Ｘ）での判定結果において歩行者と判定された検出対象画像だけが、次の段に進むことができ、最終段までに到達した検出対象画像のみが、最終的に歩行者を含む検出対象画像として判定される。それ以外の検出対象画像は、歩行者以外の検出対象画像であると判定される。

なお、初期段の識別関数Ｈ（Ｘ）は比較的分類が容易なものを判定するように作られ、段が進むにつれてより複雑で分類が困難なものを判定するように識別関数を組み上げていく。これにより、カスケードの初期Ｈ（Ｘ）で多くの検出対象画像が歩行者以外の検出対象画像であるとされるため、単一の複雑な識別関数Ｈ（Ｘ）で判別を行う場合よりも高速な処理を行うことができる。

具体的な複数段の識別関数は、例えば、以下のように弱識別器の個数を異ならしたものとなる。
Ｈ_０（Ｘ）は、ｈ（Ｘ） ｔ＝１・・・８
Ｈ_１（Ｘ）は、ｈ’（Ｘ） ｔ＝１・・・１６
Ｈ_２（Ｘ）は、ｈ’’（Ｘ） ｔ＝１・・・３２

図１１は、歩行者検出処理のフローチャートである。
最初に、識別関数Ｈ_０（Ｘ）が求められる（Ｓ３０２）。次に、Ｈ_０（Ｘ）の計算結果による検出対象画像の判定が行われる（Ｓ３０４）。判定方法は、例えば次のようにする。
Ｈ_０（Ｘ）≧０ならば判定結果 歩行者
Ｈ_０（Ｘ）＜０ならば判定結果 歩行者以外

次に、ステップＳ３０２と同様に識別関数Ｈ_１（Ｘ）が求められる（Ｓ３０６）。そして、識別関数Ｈ_１（Ｘ）が用いられステップＳ３０４と同様の判定が行われる（Ｓ３０８）。

このようにして、ステップＳ３０２と同様に識別関数Ｈ_ｎ（Ｘ）が求められる（Ｓ３１０）。そして、判別式Ｈ_ｎ（Ｘ）が用いられ、ステップＳ３０４と同様の処理が実施される（Ｓ３１２）。

ステップＳ３０２〜Ｓ３１２の一連の工程において、各段にて歩行者と判定結果を得た検出対象画像については、最終的な判定結果として歩行者を含む検出対象画像であると判定して処理を終了する（Ｓ３１４）。

一方、ステップＳ３０２〜Ｓ３１２の一連の工程において、途中の判定結果で歩行者以外と判定された段階で、その検出対象画像は歩行者を含まない画像（歩行者以外の画像）として判定して処理を終了する（Ｓ３１６）。

このようにして、検出対象画像が歩行者の画像か否かを判定する。歩行者と判定された場合は、その検出対象画像に対応する探索窓の位置とサイズを記憶しておくことで、全体画像における歩行者の位置を得ることができる（Ｓ２０８）。

ステップＳ２０２でのすべての領域について全ての検出対象画像を処理（全ての縮小画像に対して、左上から右下まで全て処理）したか、否かを判定する（Ｓ２１０）。全ての検出対象画像について、ステップＳ２０６及びＳ２０８の一連の処理が実施されていれば、ステップＳ２１２へ進む。一方、全て実施されていない場合には、ステップＳ２０２へ戻り、次の検出対象画像の位置及びサイズを設定する（Ｓ２１０）。

ステップＳ２１０において、一の歩行者に対して複数重複検出された場合には、検出結果を統合する（Ｓ２１２）。そして、検出結果に応じた運転支援又は視覚補助を行う（Ｓ２１４）。

図１２は、警告画像表示の一例を示す図である。図１２では、検出された歩行者のサイズと位置に基づいて、歩行者を包含する矩形枠が設定され、赤外線カメラから得られた赤外線画像に描画されている。

このとき、歩行者検出結果から歩行者の位置が強調表示するような描画画像が用意される。例えば、赤外線画像として得られている車両前方映像に、歩行者として判定された箇所を矩形で強調表示したり、運転手に危険を警告するためにディスプレイ１３０をフラッシュさせたりする画像を用意する。それ以外にも、運転者に危険を警告する方法などとして、ブレーキを軽くかけるなどの運転支援や、フロントライトの角度を変えたりする視覚補助動作を実施することもできる。

ところで、例えば、仮に、テンプレート手法を用いて検出対象物の検出を行った場合、次のような問題があった。すなわち、実環境下では、歩行者パターンは大きさ、姿勢、表面温度等の変動が同時に発生する。それに伴いテンプレートの数を増やすと、歩行者以外の建物や信号、街路灯などの構造物の画像が、歩行者の像として検出され、誤検出を招く可能性が高くなっていた。これに対して、上述の本手法であると、テンプレートの数の増加による誤検出等が発生せず、適切に歩行者などの検出対象物を検出することができる。

上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは言うまでもない。

１ 歩行者検出システム、
１１０ 赤外線カメラ、１１１ 撮像部、１１２ Ａ／Ｄ変換部、
１２０ 歩行者検出装置、
１２１ 画像格納部、１２２ 特徴量抽出部、１２３ 歩行者判定部、
１２４ 表示制御部、１２５ 歩行者テーブル格納部、
１３０ 表示部、
１２０１ 画像処理ボード、１２０２ ＣＰＵ、１２０３ ＲＡＭ、
２１０ 赤外線カメラ、２１１ 撮像部、１１２ Ａ／Ｄ変換部、
２２０ 歩行者学習装置、
２２１ 画像格納部、２２２ 特徴量抽出部、２２８ 学習部

Claims (7)

1. センサーの出力に対応する検出対象画像を生成する画像生成部と、
   前記検出対象画像から検出対象物を検出することに用いる学習済みの検出器であって、前記検出対象画像の特定領域毎に用意されたサブ識別器を有する検出器と、を備え、
   前記サブ識別器は、前記検出対象画像の前記特定領域のエッジ強度加算値に基づいて前記検出対象物を含むことの度合いを求め、
   前記検出器は、前記検出対象画像の複数の特定領域の前記検出対象物であることの度合いに基づいて、前記検出対象画像に検出対象物が含まれるか否かを判定する、検出装置。
2. 複数の学習用画像の前記特定領域毎にエッジ強度加算値を求め、前記特定領域毎にエッジ強度加算値の出現頻度を求め、前記出現頻度に応じて前記エッジ強度加算値の閾値を求める学習が前記サブ識別器毎に行われ、
   前記サブ識別器は、前記検出対象画像の特定領域における前記エッジ強度加算値と前記閾値とに基づいて、前記検出対象物を含むことの度合いを求める、請求項１に記載の検出装置。
3. 前記画像生成部は、前記センサーの出力に対応する階調値を含む検出対象画像を生成し、
   前記エッジ強度加算値は、前記階調値のエッジ強度加算値である、請求項１または請求項２に記載の検出装置。
4. 前記エッジ強度加算値は、複数のセルに分割された前記特定領域のセル毎のエッジ強度の合算値である、請求項１〜３のいずれかに記載の検出装置。
5. 前記エッジ強度は、複数の方向のうち特定の方向に関するエッジ強度である、請求項４に記載の検出装置。
6. 前記検出器は、前記サブ識別器の数を異ならせた複数の識別器を有し、
   前記サブ識別器の数が少ない順に前記識別器を用いて前記検出対象画像に検出対象物が含まれるか否かの判定が行われ、全ての前記複数の識別器において前記検出対象物を含むと判定された場合に、前記検出対象画像に検出対象物が含まれると判定する、請求項１〜５のいずれかに記載の検出装置。
7. センサーの出力に対応する検出対象画像を生成する生成ステップと、
   前記検出対象画像の特定領域毎に用意されたサブ識別器を有する検出器を用いて、前記検出対象画像から検出対象物を検出する検出ステップと、
   前記サブ識別器は、前記検出対象画像の前記特定領域のエッジ強度加算値に基づいて前記検出対象物を含むことの度合いを求め、
   前記検出器は、前記検出対象画像の複数の特定領域の前記検出対象物であることの度合いに基づいて、前記検出対象画像に検出対象物が含まれるか否かを判定する、検出方法。