JP2007259076A - 歩行者認識装置 - Google Patents

Abstract

【課題】歩行者を適切に認識する。
【解決手段】歩行者検知確定部２３は、自車両の外界の照度が所定照度未満である場合、可視画像の画像データ上における歩行者候補の輝度値が、所定閾値以下であるか否かの判定結果に応じて、歩行者候補が歩行者であるか否かを判定する。歩行者検知確定部２３は、自車両の外界の照度が所定照度以上である場合、可視画像の画像データおよび赤外線画像の画像データにおいて歩行者候補を含む領域を抽出し、各領域において歩行者候補を対象としたエッジを検出し、各画像データのエッジ同士の差分が所定閾値以下であるか否かを判定すると共に、可視画像の画像データにおいて抽出した歩行者候補を含む領域の色情報から、同等色の色情報を有する画素により構成される領域の面積が、所定面積未満であるか否かを判定することで、歩行者候補が歩行者であるか否かを判定する。
【選択図】図１

Description

この発明は、歩行者認識装置に関する。

従来、例えば赤外線カメラと可視カメラとを備え、各カメラの撮影により得られた画像に二値化処理を行い、二値化処理後の各画像データ同士の差分により構成される差分画像データに対して、歩行者を対象としたパターンマッチングの認識処理を行うことで、赤外光量が同等の歩行者と歩行者以外の物体とを、特に歩行者以外の物体の自発光量に基づき判別し、夜間時において歩行者を検出する装置が知られている（例えば、特許文献１参照）。
特開平１１−２１５４８７号公報

ところで、上記従来技術の一例に係る装置によれば、差分画像データに対するパターンマッチングの認識処理の認識精度は、可視カメラの感度に応じて変化することになり、夜間時であっても、照明等によって相対的に明るい環境下においては、歩行者と歩行者以外の物体とを的確に判別することが困難となり、歩行者を検出することが困難となる虞がある。
本発明は上記事情に鑑みてなされたもので、歩行者を適切に認識することが可能な歩行者認識装置を提供することを目的としている。

上記課題を解決して係る目的を達成するために、請求項１に記載の本発明の歩行者認識装置は、自車両の外界に存在する物体を撮像する赤外線カメラ（例えば、実施の形態での赤外線カメラ１１Ｌａ，１１Ｒａ）および可視カメラ（例えば、実施の形態での可視カメラ１１Ｖａ）と、前記各カメラの撮像により得られた画像から歩行者候補を含む領域を抽出する抽出手段（例えば、実施の形態でのステップＳ０２）と、前記抽出手段により抽出された前記領域において前記歩行者候補を対象としたエッジを検出するエッジ検出手段（例えば、実施の形態でのステップＳ０５）と、前記エッジ検出手段により検出された各前記画像での前記エッジ同士を比較する比較手段（例えば、実施の形態でのステップＳ０５）と、前記比較手段による比較結果に基づき、前記可視カメラの撮像により得られた可視画像から抽出された前記歩行者候補を含む領域の色情報を識別する色情報識別手段（例えば、実施の形態でのステップＳ０７）と、前記色情報識別手段により識別された前記色情報に基づき前記歩行者候補が歩行者であるか否かを判定する判定手段（例えば、実施の形態でのステップＳ０６，ステップＳ０８）とを備えることを特徴としている。

上記の歩行者認識装置によれば、赤外線カメラおよび可視カメラの撮影により得られた各画像上で検出されたエッジ同士の比較結果に加えて、可視画像上で歩行者候補を含む領域の色情報に基づいて、歩行者候補が歩行者であるか否かを判定することにより、例えば夜間時に照明等によって相対的に明るい環境下においても、歩行者を適切に認識することができる。

以上説明したように、本発明の歩行者認識装置によれば、赤外線カメラおよび可視カメラの撮影により得られた各画像上で検出されたエッジ同士の比較結果に加えて、可視画像上で歩行者候補を含む領域の色情報に基づいて、歩行者候補が歩行者であるか否かを判定することにより、歩行者を適切に認識することができる。

以下、本発明の一実施形態に係る歩行者認識装置について添付図面を参照しながら説明する。
本実施の形態による歩行者認識装置１０は、例えば図１に示すように、外界センサ１１と、照度センサ１２と、処理装置１３と、表示装置１４とを備えて構成されている。
さらに、処理装置１３は、例えば歩行者候補検出部２１と、外部照度判定部２２と、歩行者検知確定部２３とを備えて構成されている。

外界センサ１１は、例えば赤外線領域にて撮像可能なカメラからなる各１対の赤外線カメラ１１Ｌａ，１１Ｒａおよび画像処理部１１Ｌｂ，１１Ｒｂと、例えば可視光領域にて撮像可能なＣＣＤカメラやＣＭＯＳカメラ等からなる可視カメラ１１Ｖａおよび画像処理部１１Ｖｂとを備えて構成されている。
そして、各画像処理部１１Ｌｂ，１１Ｒｂ，１１Ｖｂは、各カメラ１１Ｌａ，１１Ｒａ，１１Ｖａにより撮影して得た自車両の進行方向の外界の各画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる各画像データを生成して処理装置１３へ出力する。
照度センサ１２は自車両の外界の照度を検出する。

処理装置１３の歩行者候補検出部２１は、外界センサ１１から入力される画像データに基づき、例えば人体を対象とする所定の認識処理により、自車両の進行方向での１対の赤外線カメラ１１Ｌａ，１１Ｒａの各検知エリア内に存在する物体のうち歩行者候補を検出する。そして、各画像処理部１１Ｌｂ，１１Ｒｂから入力される１対の画像データに対して、車室内に所定間隔を隔てて設置された１対の赤外線カメラ１１Ｌａ，１１Ｒａ同士間の距離と、１対の画像データ上において検出された歩行者候補の視差とに基づく三角測量法等により、歩行者候補までの距離を算出する。
外部照度判定部２２は、照度センサ１２により検出された自車両の外界の照度（外部照度）が所定閾値以上であるか否かを判定する。

歩行者検知確定部２３は、例えば外部照度判定部２２による判定結果において、自車両の外界の照度が所定照度未満であると判定された場合、つまり相対的に暗い環境下においては、可視画像の画像データ上における歩行者候補の輝度値が、所定閾値以下であるか否かの判定結果に応じて、歩行者候補が歩行者であるか否かを判定する。

また、歩行者検知確定部２３は、例えば外部照度判定部２２による判定結果において、自車両の外界の照度が所定照度以上であると判定された場合、つまり相対的に明るい環境下においては、可視画像の画像データおよび赤外線画像の画像データにおいて歩行者候補を含む領域を抽出し、各領域において歩行者候補を対象としたエッジを検出する。
そして、各画像データで検出したエッジ同士の差分が所定閾値以下であるか否か、つまり、各画像データ上の歩行者候補の形状が似ているか否かを判定すると共に、可視画像の画像データにおいて抽出した歩行者候補を含む領域の色情報から、例えば同等色の色情報を有する画素により構成される適宜の領域（同等色領域）の面積が、所定面積未満であるか否かを判定する。そして、これらの判定結果に応じて、歩行者候補が歩行者であるか否かを判定する。

本実施の形態による歩行者認識装置１０は上記構成を備えており、次に、この歩行者認識装置１０の動作について説明する。
先ず、図２に示すステップＳ０１においては、外界センサ１１から出力される赤外線画像の画像データを取得する。
次に、ステップＳ０２においては、取得した赤外線画像上において、例えば人体を対象とする所定の認識処理により、歩行者候補を抽出する。

次に、ステップＳ０３においては、外界センサ１１から出力される可視画像の画像データを取得する。
そして、ステップＳ０４においては、照度センサ１２により検出された自車両の外界の照度（外部照度）が所定閾値以上であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ０９に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０５に進む。

そして、ステップＳ０５においては、可視画像の画像データおよび赤外線画像の画像データにおいて歩行者候補を含む領域を抽出し、各領域において歩行者候補を対象としたエッジを検出する。そして、各画像データで検出したエッジ同士の差分（エッジ差分）が所定閾値以下であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ０６に進み、このステップＳ０６においては、歩行者候補は歩行者ではないと判定して、一連の処理を終了する。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０７に進む。

そして、ステップＳ０７においては、可視画像の画像データ上において抽出した歩行者候補を含む領域の色情報から、同等色の色情報を有する画素により構成される適宜の領域（同等色領域）の面積が、所定面積未満であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ０６に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０８に進み、このステップＳ０８においては、歩行者候補は歩行者であると判定して、一連の処理を終了する。

また、ステップＳ０９においては、可視画像の画像データ上における歩行者候補の輝度値が、所定閾値以下であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ１０に進み、このステップＳ１０においては、歩行者候補は歩行者ではないと判定して、一連の処理を終了する。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１１に進み、このステップＳ１１においては、歩行者候補は歩行者であると判定して、一連の処理を終了する。

上述したように、本実施の形態による歩行者認識装置１０によれば、先ず、照度センサ１２により検出される自車両の外界の照度（外部照度）に応じて、歩行者候補は歩行者であるか否かを判定する際の判定処理を切り換えることで、例えば夜間時等における環境下の明るさに拘わらずに、歩行者を適切に認識することができる。
しかも、例えば夜間時であっても相対的に明るい環境下においては、赤外線カメラ１１Ｌａ，１１Ｒａおよび可視カメラ１１Ｖａの撮影により得られた各画像上で検出されたエッジ同士の比較結果に加えて、可視画像上で歩行者候補を含む領域の色情報に基づいて、歩行者候補が歩行者であるか否かを判定することにより、歩行者を適切に認識することができる。

本発明の実施の形態に係る歩行者認識装置の構成図である。 本発明の実施の形態に係る歩行者認識装置の動作を示すフローチャートである。

符号の説明

１０ 歩行者認識装置
１１Ｌａ，１１Ｒａ 赤外線カメラ
１１Ｖａ 可視カメラ
ステップＳ０２ 抽出手段
ステップＳ０５ エッジ検出手段、比較手段
ステップＳ０６、ステップＳ０８ 判定手段
ステップＳ０７ 色情報識別手段

Claims (1)

1. 自車両の外界に存在する物体を撮像する赤外線カメラおよび可視カメラと、
   前記各カメラの撮像により得られた画像から歩行者候補を含む領域を抽出する抽出手段と、
   前記抽出手段により抽出された前記領域において前記歩行者候補を対象としたエッジを検出するエッジ検出手段と、
   前記エッジ検出手段により検出された各前記画像での前記エッジ同士を比較する比較手段と、
   前記比較手段による比較結果に基づき、前記可視カメラの撮像により得られた可視画像から抽出された前記歩行者候補を含む領域の色情報を識別する色情報識別手段と、
   前記色情報識別手段により識別された前記色情報に基づき前記歩行者候補が歩行者であるか否かを判定する判定手段と
   を備えることを特徴とする歩行者認識装置。
   
   

Images