JP2005285011A - 人間認識システム、及び画像処理装置 - Google Patents

Abstract

【課題】 撮像して得た画像データから人間候補画像の長さを算出し、算出した長さに基づいて人間の存否を認識する人間認識システム及び該人間認識システムを構成する画像処理装置を提供する。
【解決手段】 輝度抽出部３５１、距離算出部３５２、演算部３５３、認識部３５４において、画像メモリ３２から読み出された１フレームの画像データから人間候補画像を含む人間候補領域Ｐ１を抽出する。長さ算出部３５５は、記憶部３４から路面座標部３４２を読み出し、人間候補画像が位置する路面の画像座標を求めることにより人間候補画像の長さを算出する。長さ算出部３５５は、記憶部３４から第１座標補正部３４３を読み出し、車両の傾き角に応じて、人間候補画像の長さを補正する。判定部３５６は、人間候補画像の長さと予め定められた閾値Ｔ２、及びＴ３と比較して人間の存否を判定する。
【選択図】 図３

Description

本発明は、車両の外界を撮像する撮像装置が撮像した画像データを処理して人間の存在の認識をする人間認識システム及び該人間認識システムを構成する画像処理装置に関する。

自動車などの車両に、ボロメータ又は焦電型撮像素子を備えた遠赤外用のビデオカメラを搭載し、夜間走行時に車両前方の歩行者、自転車に乗った人間などを認識して運転者に注意を促す前方監視システムが提案されている。

このようなシステムは、遠赤外用のビデオカメラで人間を撮像した場合、熱源である人間は他の背景物に対して高い輝度を有することを利用して、予め人間の温度分布に応じた輝度分布を示す基準パターンを記憶しておき、遠赤外用のビデオカメラが検出した画像データと前記基準パターンとを比較して人間を認識している（非特許文献１参照）。
「ホンダ アールアンドディー テクニカル レビュー (Honda R&D Technical Review)」 Vol.13 No.1, ２００１年４月

しかし、従来のシステムにあっては、人間の輝度分布に基づいて人間を認識しているため、人間の肌が露出している頭部は輝度が高く、衣服を身に付けている部分は比較的輝度が低く表示される。一方、道路脇に設置されている街灯はランプ部分の輝度が高く、他の部分の輝度が低くいため、人間の輝度分布に類似する場合がある。このため、街灯を人間と誤認識する場合、又は人間を街灯と誤認識する場合など、人間又は歩行者の認識に誤りが生ずる虞があった。

本発明は、斯かる事情に鑑みてなされたものであり、撮像して得た画像データから人間候補画像の長さを算出し、算出した長さに基づいて人間を判定することにより、人間の存在の誤認識を防止することができる人間認識システム及び該人間認識システムを構成する画像処理装置を提供することを目的とする。

また、本発明の他の目的は、撮像した画像における光軸位置と抽出した人間候補画像の位置との差を算出し、算出した差に基づいて、前記人間候補画像の長さ算出することにより、人間の存在の誤認識を防止することができる人間認識システムを提供することにある。

また、本発明の他の目的は、前記光学素子の光軸の傾きに基づいて、前記人間候補画像の長さを算出することにより、人間の存在の誤認識を防止することができる人間認識システムを提供することにある。

また、本発明の他の目的は、車両の位置の路面に対する前記人間候補画像が撮像された外界の対象物が位置する路面の傾きに基づいて、前記人間候補画像の長さを出力することにより、人間の存在の誤認識を防止することができる人間認識システムを提供することにある。

第１の発明の人間認識システムは、車両の外界を撮像する撮像装置と、該撮像装置が撮像して得た画像データを処理して人間の存在の認識をする画像処理装置と、該画像処理装置が認識した人間の存在を出力する出力装置とを備える人間認識システムにおいて、前記画像処理装置は、人間の輝度分布を表す基準パターンを記憶する記憶手段と、外界の対象物を撮像して得た画像データと前記基準パターンとを比較して、人間候補画像を抽出する抽出手段と、抽出した人間候補画像の長さを算出する長さ算出手段と、算出した長さに基づいて人間の存否を判定する判定手段とを備えていることを特徴とする。

第２の発明の人間認識システムは、前記長さ算出手段は、撮像した画像における光軸位置と抽出した人間候補画像の位置との差を算出し、算出した差に基づいて、前記人間候補画像の長さを算出すべくなしてあることを特徴とする。

第３の発明の人間認識システムは、車両の傾きを検出する車両姿勢検出手段を備え、前記長さ算出手段は、前記車両姿勢検出手段が検出した車両の傾きに基づいて、光軸の傾きを算出し、算出した光軸の傾きに基づいて、前記人間候補画像の長さを算出すべくなしてあることを特徴とする。

第４の発明の人間認識システムは、路面の勾配を取得する取得手段を備え、前記長さ算出手段は、取得した路面の勾配に基づいて、前記車両の位置の路面に対する前記人間候補が撮像された外界の対象物が位置する路面の傾きを算出し、算出した路面の傾きに基づいて、前記人間候補の長さを算出すべくなしてあることを特徴とする。

第５の発明の画像処理装置は、画像データを処理して人間の存在の認識をする画像処理装置において、人間の輝度分布を表す基準パターンを記憶する記憶手段と、外界の対象物を撮像して得た画像データと前記基準パターンとを比較して、人間候補画像を抽出する抽出手段と、抽出した人間候補画像の長さを算出する長さ算出手段と、算出した長さに基づいて人間の存否を判定する判定手段とを備えていることを特徴とする。

第１の発明又は第５の発明にあっては、車両の外界の対象物を撮像して得た画像データと予め記憶された人間の輝度分布を表す基準パターンとを比較することにより、人間候補画像を抽出し、抽出した人間候補画像の長さを算出する。算出した長さと予め設定された閾値とを比較して、前記人間候補画像が人間であるか否かを判定する。

第２の発明にあっては、撮像した画像の画像中心である光軸位置と抽出した人間候補画像の位置との差を算出し、前記画像中心と人間候補画像が有する画素の中で前記画像中心からの垂直距離が最大である画素との距離を算出する。予め設定された前記距離の基準値に対する算出された距離に基づいて、前記長さ算出手段が算出した人間候補画像の長さを補正する。

第３の発明にあっては、車両の傾きを検出する車両姿勢検出手段により車両の傾きを検出し、検出した車両の傾きから車両に搭載された撮像装置が有する光学素子の光軸の傾きを算出する。算出した前記光軸の傾きに基づいて、前記長さ算出手段が算出した人間候補画像の長さを補正する。

第４の発明にあっては、道路情報から、車両の現在位置と、前記人間候補画像が撮像された外界の対象物の位置とにおける路面の勾配を取得する。取得した路面の勾配から、前記車両の現在位置の路面に対する前記対象物が位置する路面の傾きを算出する。算出した路面の傾きに基づいて、前記長さ算出手段が算出した人間候補画像の長さを補正する。

第１の発明又は第５の発明にあっては、人間候補画像の長さを算出し、算出した長さに基づいて人間の存否を判定することにより、人間以外の物を人間と認識すること、又は人間を人間以外の物と認識することを防止することができる。

第２の発明にあっては、撮像した画像における光軸位置と抽出した人間候補画像の位置との差に基づいて、前記人間候補画像の長さを算出することにより、撮像装置の光学素子の光軸方向が変動した場合であっても、人間候補画像の長さを求めることができ、人間の存在の誤認識を防止することができる。

第３の発明にあっては、路面を走行する車両が、路面状態により傾斜した場合であっても、人間候補画像の長さを求めることができ、人間の存在の誤認識を防止することができる。

第４の発明にあっては、車両前方の路面が平坦でない場合であっても、人間候補画像の長さを求めることができ、人間の存在の誤認識を防止することができる。

実施の形態１
図１は本発明に係る人間認識システムの概要を示す模式図である。図において、１及び２は車両に搭載され、夜間の歩行者、自転車に乗った人間などを認識する遠赤外用のビデオカメラである。ビデオカメラ１、２夫々は、同一高さであって水平方向に適長の間隔を隔ててフロントグリルに並置されてあり、ＩＥＥＥ１３９４に準拠した車載ＬＡＮ通信線９を介して画像処理装置３に接続されている。

画像処理装置３には、操作部を有する表示装置４、スピーカーを有し、音声又は効果音により警告を発する警報装置５、車両の傾きを検出する車高センサ６、７、及びＧＰＳ機能を備えたカーナビゲーション装置８が接続されている。

図２は、ビデオカメラ１の構成を示すブロック図である。図において、１１は画像撮像部であり、光学信号を電気信号に変換する焦電型撮像素子が配置され、車両の外界の赤外光像をＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号として読み取り、読み取ったＲＧＢ信号を、内部バス１６を介して信号処理部１２へ出力する。

信号処理部１２は、画像撮像部１１から入力されたアナログ信号をＲＧＢのデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理などを行う。さらに、ＲＧＢ信号をＹＵＶ（Ｙ：輝度、Ｕ、Ｖ：色差）信号に変換し、変換したＹＵＶ信号を画像データとして一旦画像メモリ１３へ記憶する。

図において、１４は車載ＬＡＮ通信線９を介して画像処理装置３と通信を行うインターフェース部を示し、インターフェース部１４は、画像処理装置３から送信される指令に従って、画像メモリ１３に記憶された画像データを画像処理装置３へ出力するための制御、ビデオカメラ１で撮像した画像の解像度による転送レートの変換、画像データからパケットデータの作成などを行う。また、インターフェース部１４は、制御部１５の制御に従って、画像メモリ１３に記憶された画像データをビデオカメラ１の識別番号とともに画像処理装置３へ出力する。

制御部１５は、画像撮像部１１、信号処理部１２、インターフェース部１４の処理を制御する。例えば、画像処理装置３からの指令を解釈して、画像撮像部１１が撮像した画像データを画像メモリ１３に記憶する。また、記憶された画像データを読み出し、インターフェース部１４を介して画像処理装置３へ出力する。なお、ビデオカメラ２も同様の構成を有する。

車高センサ６、７夫々は、車両の前輪部及び後輪部に適長の間隔を有し、レーザ発光面を路面方向に向けて設けられ、路面に対してレーザ光を照射して路面までの距離を算出し、車載ＬＡＮ通信線９を介して画像処理装置３へ出力する。

カーナビゲーション装置８は、車両の前方の道路情報、例えば、車両が走行している現在地点の標高若しくは道路の勾配、又は車両前方の道路の標高若しくは勾配などを受信し、受信した道路情報を車載ＬＡＮ通信線９を介して画像処理装置３へ出力する。

図３は、画像処理装置３の構成を示すブロック図である。図において、３１はインターフェース部であり、ビデオカメラ１、２に対する指令の転送、ビデオカメラ１、２からの画像データの転送を行う。また、インターフェース部３１は、車高センサ６、７、カーナビゲーション装置８からデータを取得する。

画像処理制御部３３は、インターフェース部３１を介してビデオカメラ１及び２から入力された画像データ夫々を１フレーム単位に同期させて、フレームごとの画像データを画像メモリ３２に記憶する。また、画像処理制御部３３は、画像メモリ３２に記憶された画像データをフレーム単位で認識処理部３５へ出力する。

認識処理部３５において、輝度抽出部３５１は、画像メモリ３２から読み出されたビデオカメラ１及び２夫々が撮像して得られた１フレーム夫々の各画素の輝度値を算出し、予め定められた標準輝度値Ｌ１に基づいて、算出した輝度値を二値化して標準輝度値Ｌ１以上の輝度値を有する人間候補画像を含む領域（以下、人間候補領域という）Ｐ１、Ｐ２…を、前記１フレーム夫々について抽出する。輝度抽出部３５１は、抽出された人間候補領域Ｐ１、Ｐ２、…の領域内の画素が有する輝度値とともに、人間候補領域Ｐ１、Ｐ２、…を距離算出部３５２へ出力する。

距離算出部３５２は、ビデオカメラ１の１フレーム内で抽出された人間候補領域Ｐ１のエピポーラ線（ビデオカメラの走査線と一致する）上に存在する画素から、輝度値の変位が大きい特徴点を抽出する。次に、ビデオカメラ２の１フレーム内で抽出された人間候補領域Ｐ１の同一位置のエピポーラ線上の画素を検索して、前記特徴点に対応する対応点を求め、前記特徴点と対応点との横位置差（以下、視差という）Ｕを算出する。距離算出部３５２は、視差Ｕに基づいて、数１で表される人間候補領域Ｐ１に対応する外界の対象物までの距離Ｚ（以下、人間候補領域Ｐ１までの距離Ｚという）を算出する。距離算出部３５２は、入力された人間候補領域Ｐ２、…についても同様の処理を行い、人間候補領域Ｐ２、…までの距離を算出する。算出する距離Ｚは、連続値である必要はなく、人間の存在を認識するための画像処理を容易にするため、離散値でよい。例えば、近距離の場合は、１０メートル、２０メートル、及び３０メートル、中距離の場合は、６０メートル、及び９０メートル、遠距離の場合は、１２０メートル、及び２００メートルなどのように設定する。

ここで、Ｌはビデオカメラ１及び２夫々の光軸の間隔、ｆはビデオカメラ１、２夫々の光学系における撮像レンズの焦点距離である。

距離算出部３５２は、人間候補領域Ｐ１、Ｐ２、…ごとに算出された距離Ｚを人間候補領域Ｐ１、Ｐ２、…夫々対応させ、距離Ｚとともに人間候補領域Ｐ１、Ｐ２、…を示す画像データを演算部３５３へ出力する。また、距離算出部３５２は、人間候補領域Ｐ１、Ｐ２、…ごとに算出された距離Ｚを長さ算出部３５５へ出力する。

記憶部３４は、人間の輝度分布を示す基準パターンＭを有する基準パターン部３４１を記憶している。図４は基準パターンの一例を示す説明図である。基準パターンＭは、長袖のシャツを着た人間の輝度分布を示す。ズボン、及びシャツで覆われている部分は、人間の温度を外部に伝えにくいため、上体部、腰部、及び脚部の輝度値は低くなる一方、頭部は露出しているため、輝度値は高くなる。

演算部３５３は、記憶部３４から基準パターンＭを読み出す。演算部３５３は、距離算出部３５２から入力された距離Ｚに対応して予め定められた画素数になるように、基準パターンＭが有する画素の補間又は間引きを行い、画素数を変更した基準パターンＭを作成する。図５は基準パターンの画素数を変更した例を示す説明図である。図５（ａ）は、距離Ｚが近距離である場合であり、記憶部３４から読み出された基準パターンＭの画素数は変更されずに、そのまま使用される。図５（ｂ）及び（ｃ）は、距離Ｚが夫々中距離及び遠距離である場合であり、距離Ｚの大小に応じて、基準パターンＭの画素数を変更する。これにより、検出された画像データから抽出された人間候補領域Ｐ１、Ｐ２、…の画素数と基準パターンＭの画素数とを一致させる。

演算部３５３は、距離算出部３５２から入力された人間候補領域Ｐ１、Ｐ２、…を示す画像データ及び基準パターンＭが有する輝度値の間において、相関値を算出して、算出した相関値を認識部３５４へ出力する。相関値の算出は、数２で表される式に基づいて行われる。

ここで、Ｎは人間候補領域Ｐ１、Ｐ２、…、及び基準パターンＭにおける総画素数、ｋは零からＮ−１までの整数、Ｆｋは基準パターン内におけるｋ番目の画素の輝度値、Ｇｋは人間候補領域におけるｋ番目の画素の輝度値、及びＲは相関値を表す。

認識部３５４は、演算部３５３から出力された人間候補領域Ｐ１、Ｐ２、…夫々について、設定された基準パターンＭとの相関値と、予め定められた閾値Ｔ１（０＜Ｔ１＜１）とを比較し、前記相関値が閾値Ｔ１より大きい場合は、人間候補領域Ｐ１、Ｐ２、…を示す画像データを長さ算出部３５５へ出力する。

認識処理部３５は、上述の処理を１フレーム単位で行い、１フレーム分の画像データに対して処理が終了すると、次のフレームに対して同様の処理を続ける。

記憶部３４は、さらに、車両から前方路面までの距離に対する該路面のフレームにおける画像座標（横軸をＸ座標、縦軸をＹ座標とする）の関係を示す路面座標部３４２、及び車両の傾き角度（ビデオカメラ１、２の光軸の傾き角度）に対するフレームにおける画像座標（Ｙ座標）の変化の関係を示す第１座標補正部３４３を記憶する。なお、第２座標補正部３４４及び第３座標補正部３４５については、後述する。図６は、路面座標部３４２及び第１座標補正部３４３の構成を示す概念図である。図に示すように、路面座標部３４２は、車両から前方路面までの距離に対応する前記路面のフレームにおける画像座標（Ｙ座標）を表す。

図７は、車両から前方路面までの距離に対するフレームの画像座標（Ｙ座標）の関係を示す説明図である。図に示すように、車両が路面と水平である場合には、車両の設けられたビデオカメラの光軸は、路面と水平方向である。フレームの画像座標においては、路面と水平方向である位置は、Ｙ座標がＹｃに対応している。一方、ビデオカメラの画角に応じて、視界に入る限界距離Ｚ０に対応する画像座標は０である。車両から路面までの距離に応じて、距離Ｚ１、Ｚ２（Ｚ２＞Ｚ１）に対応して、距離Ｚ１、Ｚ２における路面の画像座標は、Ｙ１、Ｙ２（Ｙ２＞Ｙ１）となる。

長さ算出部３５５は、認識部３５４から入力された人間候補領域Ｐ１の画像データから、人間の頭部と認識できる高輝度の領域を抽出し、該高輝度の領域の最大Ｙ座標を算出する。

長さ算出部３５５は、記憶部３４から路面座標部３４２を読み出し、距離算出部３５２から入力された人間候補領域Ｐ１の距離Ｚから、フレームの画像座標における路面のＹ座標を求め、高輝度の領域の最大Ｙ座標と前記路面の座標とから、人間候補領域Ｐ１における人間候補画像の長さを算出する。

長さ算出部３５５は、インターフェース部３１を介して車高センサ６、７から入力された前輪部及び後輪部の路面からの高さを示すデータに基づいて、前輪部及び後輪部の路面の高さの差を求め、車両が位置する路面に対して車両の前後方向の傾き角度（以下、ピッチ角という）を算出する。

長さ算出部３５５は、記憶部３４から第１座標補正部３４３を読み出し、算出したピッチ角に対応する画像座標の変化値を求める。図６に示すように、第１座標補正部３４３は、距離Ｚごとに、ピッチ角と、該ピッチ角に対応する画像座標のＹ座標の変化値を記憶している。ピッチ角は、ビデオカメラの光軸が水平方向に対して上側に変化した場合は、正のピッチ角で表し、水平方向に対して下側に変化した場合は、負のピッチ角で表している。

長さ算出部３５５は、算出したピッチ角が「０」である場合は、算出した人間候補画像の長さを判定部３５６へ出力する。一方、ピッチ角が「０」でない場合は、算出した人間候補画像の長さに前記ピッチ角に対応する画像座標の変化値の加減算を行って補正し、補正した人間候補画像の長さを判定部３５６へ出力する。例えば、ピッチ角が−θ１である場合は、算出した人間候補画像の長さに対してｙ１の値を減算して補正を行なう。

長さ算出部３５５は、認識部３５４から入力された人間候補領域Ｐ２、…についても、同様の処理を行う。

判定部３５６は、予め設定された閾値Ｔ２、Ｔ３（Ｔ３＞Ｔ２）と、人間候補領域Ｐ１、Ｐ２、…ごとの人間候補画像の長さとを比較し、入力された人間候補画像の長さが、閾値Ｔ２以上、かつＴ３以下である場合は、人間候補領域Ｐ１、Ｐ２、…には人間が存在すると判定し、判定結果をインターフェース部３１へ出力する。

判定部３５６は、入力された人間候補画像の長さが、閾値Ｔ２未満である場合、又は閾値Ｔ３を超える場合は、人間候補領域Ｐ１、Ｐ２、…には人間が存在しないと判定し、判定結果をインターフェース部３１へ出力する。

インターフェース部３１は、画像メモリ３２に記憶された画像データを表示装置４へ出力するとともに、判定部３５６で判定された判定結果及び人間までの距離Ｚを表示装置４及び警報装置５へ出力する。

表示装置４は、画像処理装置３から出力された画像データに基づき、外界の状況をディスプレイに表示するとともに、判定部３５６から出力された判定結果により車両の前方に歩行者などの人間の存在が認識された場合には、検出した人間の周囲に枠を付して、運転者に人間の存在を促すべく強調表示をする。

警報装置５は、判定部３５６から出力された判定結果により車両の前方に歩行者などの人間の存在が認識された場合には、画像処理装置３から出力された人間までの距離Ｚが所定の距離よりも短い場合は、音声又は警告音を発し、運転者に注意を促す。また、距離Ｚの長さに応じて音量を変えることにより、運転者への警告を行う。

上述の通り、ビデオカメラ１、２が撮像した画像データから人間候補画像を含む人間候補領域Ｐ１、Ｐ２、…を抽出し、人間候補領域Ｐ１、Ｐ２、…の画素値と基準パターンの画素値の相関値を算出し、算出した相関値と予め設定された閾値Ｔ１とを比較して、前記相関値が閾値Ｔ１より大きい場合は、人間候補領域Ｐ１、Ｐ２、…における人間の頭部及び該人間が位置する路面夫々の画像座標を求め、人間候補画像の長さを算出する。また、車両の前後方向の傾きであるピッチ角を検出し、検出したピッチ角に応じて、画像座標のＹ座標値を補正して、算出した人間候補画像の長さを補正する。補正した長さと予め定められた閾値Ｔ２、Ｔ３とを比較することにより、人間候補領域Ｐ１、Ｐ２、…に人間が存在するか否かを判定する。これにより、従来の例に比べて、人間の認識を正確に行なうことができるとともに、路面走行中に車両の前後が傾いた場合であっても、人間候補画像の長さを補正して算出することができるため、人間を人間でないと認識する虞、又は人間ではあり得ない人間候補領域を除外することができ、人間でないものを人間と認識する虞も防止できる。

次に人間認識装置の動作について説明する。夜間走行時に運転者が、表示装置４に備えられた操作部を操作してビデオカメラ１、２の動作スイッチをオンにすると、動作信号を前記操作部から受信した画像処理装置３は、インターフェース部３１を介して、初期コマンドをビデオカメラ１、２へ送出する。

初期コマンドを受信したビデオカメラ１、２は、画像撮像部１１から車両の外界の撮像を開始する。信号処理部１２は、撮像した画像データに対して、ＲＧＢ信号からＹＵＶ信号に変換し、ビデオカメラ１、２ごとの識別番号が挿入された画像データは、一旦画像メモリ１３に記録された後に、１フレーム分の画像データごとに同期させて、インターフェース部１４を介して、画像処理装置３へ送出される。

画像処理装置３は、ビデオカメラの識別番号ごとに、１フレーム分の画像データを一旦画像メモリ３２に記憶する。認識処理部３５は、画像メモリ３２に記憶された画像データを読み出し、輝度抽出部３５１へ出力する。

輝度抽出部３５１は、画像メモリ３２から読み出されたビデオカメラ１及び２夫々が撮像して得られた１フレーム夫々の各画素の輝度値を算出し、算出した輝度値に基づいて、人間候補領域Ｐ１、Ｐ２…を抽出し、抽出結果を距離算出部３５２へ出力する。

距離算出部３５２は、ビデオカメラ１及び２夫々の１フレーム内で抽出された人間候補領域Ｐ１、Ｐ２、…を切り出し、人間候補領域Ｐ１、Ｐ２、…夫々の特徴点の位置を算出することにより、人間候補領域Ｐ１、Ｐ２、…内の対象物の視差を算出して、人間候補領域Ｐ１、Ｐ２、…までの距離Ｚを算出する。また、距離算出部３５２は、算出された距離Ｚを人間候補領域Ｐ１、Ｐ２、…夫々対応させて、距離Ｚ及び人間候補領域Ｐ１、Ｐ２、…を示す画像データを演算部３５３へ出力するとともに、算出された距離Ｚを長さ算出部３５５へ出力する。

演算部３５３は、記憶部３４から基準パターンＭを読み出し、人間候補領域Ｐ１、Ｐ２、…の距離Ｚに対応して予め定められた画素数になるように、基準パターンＭが有する画素の補間又は間引きを行い、人間候補領域Ｐ１、Ｐ２、…の画素数と基準パターンＭの画素数とを一致させる。

演算部３５３は、距離算出部３５２から入力された人間候補領域Ｐ１、Ｐ２、…を示す画像データ及び基準パターンＭが有する輝度値の間において、相関値を算出して、算出した相関値を認識部３５４へ出力する。

認識部３５４は、演算部３５３から出力された人間候補領域Ｐ１、Ｐ２、…夫々について、設定された基準パターンＭとの相関値と、予め定められた閾値Ｔ１（０＜Ｔ１＜１）とを比較し、前記相関値が閾値Ｔ１よりも大きい人間候補領域Ｐ１、Ｐ２、…を長さ算出部３５５へ出力する。

認識処理部３５は、上述の処理を１フレーム単位で行い、１フレーム分の画像データに対して処理が終了すると、次のフレームに対して同様の処理を続ける。

長さ算出部３５５は、認識部３５４から入力された人間候補領域Ｐ１の画像データから、人間の頭部と認識できる高輝度の領域を抽出し、該高輝度の領域の画像座標における最大Ｙ座標を算出する。

長さ算出部３５５は、記憶部３４から路面座標部３４２を読み出し、距離算出部３５２から入力された人間候補領域Ｐ１の距離Ｚから、フレームの画像座標における路面のＹ座標を求め、高輝度の領域の最大Ｙ座標と前記路面のＹ座標とから、人間候補領域Ｐ１における人間候補画像の長さを算出する。

長さ算出部３５５は、インターフェース部３１を介して車高センサ６、７から入力された前輪部及び後輪部の路面からの高さを示すデータに基づいて、前輪部及び後輪部の路面の高さの差を求め、車両の前後方向の傾き角度（以下、ピッチ角という）を算出する。

長さ算出部３５５は、記憶部３４から路面座標部３４２を読み出し、算出したピッチ角に対応する画像座標（Ｙ座標）の変化値を求める。算出したピッチ角が０度である場合は、算出した人間候補画像の長さを判定部３５６へ出力する。一方、ピッチ角が０度でない場合は、算出した人間候補画像の長さに前記ピッチ角に対応する画像座標の変化値の加減算を行って補正し、補正した人間候補画像の長さを判定部３５６へ出力する。

図８は、車両のピッチ角に対応して人間候補画像の長さを補正する例を示す説明図である。ピッチ角が「０」である場合は、長さ算出部３５５は、人間候補領域Ｐ１における人間の頭部の最大Ｙ座標であるＹｈを求める。人間候補領域Ｐ１の車両までの距離Ｚに対応した路面のＹ座標であるＹｇを求め、人間候補領域Ｐ１における人間候補画像の長さｈ（ｈ＝Ｙｈ−Ｙｇ）を算出する。

ピッチ角が−θ１である場合、すなわち、路面に対して車両が前方に傾いた場合は、ビデオカメラ１、２の光軸は、水平方向に対して路面側に傾くため、人間候補領域Ｐ１における人間の頭部の最大Ｙ座標は、Ｙｈよりも大きい値であるＹｈ１となる。一方、人間候補領域Ｐ１の車両までの距離Ｚは同じ距離であるから、人間候補領域Ｐ１の車両までの距離Ｚに対応した路面のＹ座標はＹｇである。従って、人間候補領域Ｐ１における人間候補画像の長さｈは、ｈ＝Ｙｈ１−Ｙｇとなり、Ｙｈ１＞Ｙｈであるから、人間候補画像の長さｈは、実際の値に比べて大きくなる。しかし、長さ算出部３５５は、ピッチ角が−θ１である場合の、画像座標のＹ座標の変化値−ｙ１を読み出し、人間候補画像の長さｈを補正することにより、人間候補画像の長さｈ（ｈ＝Ｙｈ１−Ｙｇ−ｙ１）を算出する。

ピッチ角がθ１である場合、すなわち、路面に対して車両が後方に傾いた場合は、ビデオカメラ１、２の光軸は、水平方向に対して路面と反対側に傾くため、人間候補領域Ｐ１における人間の頭部の最大Ｙ座標は、Ｙｈよりも小さい値であるＹｈ２となる。一方、人間候補領域Ｐ１の車両までの距離Ｚは同じ距離であるから、人間候補領域Ｐ１の車両までの距離Ｚに対応した路面のＹ座標はＹｇである。従って、人間候補領域Ｐ１における人間候補画像の長さｈは、ｈ＝Ｙｈ２−Ｙｇとなり、Ｙｈ＞Ｙｈ２であるから、人間候補画像の長さｈは、実際の値に比べて小さくなる。しかし、長さ算出部３５５は、ピッチ角がθ１である場合の、画像座標のＹ座標の変化値ｙ１を読み出し、人間候補画像の長さｈを補正することにより、人間候補画像の長さｈ（ｈ＝Ｙｈ２−Ｙｇ＋ｙ１）を算出する。

これにより、車両のピッチ角に応じて、画像座標における人間候補画像の長さｈを補正することができる。

長さ算出部３５５は、認識部３５４から入力された人間候補領域Ｐ２、…についても、同様の処理を行う。

判定部３５６は、人間候補領域Ｐ１、Ｐ２、…ごとの人間候補画像の長さと閾値Ｔ２、Ｔ３（Ｔ３＞Ｔ２）とを比較し、人間の存否を判定し、判定結果をインターフェース部３１へ出力する。

表示装置４は、画像処理装置３から出力された画像データに基づき、外界の状況をディスプレイに表示するとともに、検出した人間の周囲に枠を付して、運転者に人間の存在を促すべく強調表示をする。

警報装置５は、画像処理装置３から出力された人間までの距離Ｚが所定の距離よりも短い場合は、音声又は警告音を発し、運転者に注意を促す。また、距離Ｚの長さに応じて音量を変えることにより、運転者への警告を行う。

上述の実施の形態においては、ビデオカメラと画像処理装置との接続は、ＩＥＥＥ１３９４に準拠した車載ＬＡＮ通信線を介して行われたが、これに限らず、ＮＴＳＣに準拠した通信方式であってもよい。

上述の実施の形態においては、ビデオカメラ１、２を車両のフロントグリルに併設する構成であったが、これに限らず、レーザレーダ、ミリ波レーダなどの測距センサを搭載して、歩行者までの距離を測定する構成であってもよい。この場合は、ビデオカメラは１台のみ搭載すれば足りる。

上述の実施の形態においては、前輪部及び後輪部に設けられた車高センサにより車両の路面からの高さを検出する構成であったが、これに限らず、前輪及び後輪のサスペンションの変化量を検出する構成であってもよい。

上述の実施の形態においては、人間候補領域の距離に応じて、フレームの画像座標における路面の座標を路面座標部３４２から読み出す構成であったが、これに限らず、算出した距離に応じて路面の画像座標を予め定められた演算式を用いて計算する構成でもよい。

上述の実施の形態においては、車両のピッチ角に応じてフレームの画像座標の変化値を第１座標補正部３４３から読み出す構成であったが、これに限らず、ピッチ角に応じて予め定められた演算式を用いて計算する構成でもよい。

上述の実施の形態においては、車両のピッチ角に応じてフレームの画像座標の変化値を用いる構成であったが、ピッチ角に応じて、フレームの画像データを座標変換し、路面の位置を変更する構成でもよい。この場合は、画像座標の変化値を用いる必要がなくなる。

上述の実施の形態においては、車両から人間までの距離Ｚに応じて、基準パターンが有する画素の補間又は間引き処理をすることにより画素数を変更する構成であったが、これに限らず、抽出した人間候補領域の画素数を変更する構成でもよい。これにより、例えば、近距離又は中距離の人間候補領域の画素を補間又は間引きすることにより、遠距離の人間候補領域の画素数まで少なくすることにより、基準パターンの画素数を少なくすることができ、記憶容量の低減を図ることが可能である。

上述の実施の形態においては、基準パターンの画素数を車両から人間までの距離Ｚに応じて少なくする構成であったが、予め遠距離用の大きさに合わせた基準パターンを記憶しておき、距離Ｚに応じて画素数を多くする構成であってもよい。

実施の形態２
次に、車両の前方の道路状況に応じて、人間候補画像の長さを補正する場合について説明する。ビデオカメラ１、２、画像処理装置３の構成は実施の形態１と同様である。

記憶部３４は、車両の現在位置における道路勾配（路面の勾配）を基準とした車両の前方の道路勾配（路面の勾配）に対するフレームにおける画像座標の変化の関係を示す第２座標補正部３４４を記憶する。図９は、第２座標補正部３４４の構成を示す概念図である。第２座標補正部３４４は、距離Ｚごとに、道路勾配と、該道路勾配に対応する画像座標のＹ座標の変化値を記憶している。道路勾配は、車両の位置と車両前方の所要位置との道路勾配の差により算出することができる。また、道路勾配は、車両が位置する路面が平坦である場合には、車両の位置の標高と車両前方の所要位置との標高及び距離により算出することができる。道路が上り坂である場合は、道路勾配は正の値で表し、下り坂の場合は負の値で表す。

認識処理部３５において、輝度抽出部３５１は、実施の形態１と同様に、抽出した人間候補領域Ｐ１、Ｐ２、…を距離算出部３５２へ出力する。

距離算出部３５２は、人間候補画像を含む人間候補領域Ｐ１、Ｐ２、…ごとに算出された距離Ｚを人間候補領域Ｐ１、Ｐ２、…夫々対応させ、距離Ｚとともに人間候補領域Ｐ１、Ｐ２、…を示す画像データを演算部３５３へ出力する。また、距離算出部３５２は、人間候補領域Ｐ１、Ｐ２、…ごとに算出された距離Ｚを長さ算出部３５５へ出力する。

以下、演算部３５３、認識部３５４の動作は実施の形態１と同様であるので、説明は省略する。

長さ算出部３５５は、距離算出部３５２から入力された人間候補領域Ｐ１の画像データから、人間の頭部と認識できる高輝度の領域を抽出し、該高輝度の領域の最大Ｙ座標を算出する。

長さ算出部３５５は、記憶部３４から路面座標部３４２を読み出し、距離算出部３５２から入力された人間候補領域Ｐ１の距離Ｚから、フレームの画像データにおける路面のＹ座標を求め、高輝度の領域の最大Ｙ座標と前記路面のＹ座標とから、人間候補領域Ｐ１における人間の長さを算出する。

長さ算出部３５５は、インターフェース部３１を介してカーナビゲーション装置８から入力された現在位置の標高、車両から距離Ｚの道路における標高を示すデータに基づいて、車両から距離Ｚにおける道路勾配αを算出する。

長さ算出部３５５は、記憶部３４から第２座標補正部３４４を読み出し、算出した道路勾配に対応する画像座標の変化値を求める。長さ算出部３５５は、算出した道路勾配が「０」である場合は、算出した人間候補画像の長さを判定部３５６へ出力する。一方、道路勾配が「０」でない場合は、算出した人間候補画像の長さに前記道路勾配に対応する画像座標（Ｙ座標）の変化値の加減算を行って補正し、補正した人間候補画像の長さを判定部３５６へ出力する。例えば、道路勾配がα１である場合は、算出した人間候補画像の長さに対してｙ１１の値を減算して補正を行なう。

長さ算出部３５５は、認識部３５４から入力された人間候補領域Ｐ２、…についても、同様の処理を行う。

判定部３５６は、予め設定された閾値Ｔ２、Ｔ３（Ｔ３＞Ｔ２）と、人間候補領域Ｐ１、Ｐ２、…ごとの人間候補画像の長さとを比較し、入力された人間候補画像の長さが、閾値Ｔ２以上、かつＴ３以下である場合は、人間候補領域Ｐ１、Ｐ２、…には人間が存在すると判定し、判定結果をインターフェース部３１へ出力する。

判定部３５６は、入力された人間候補画像の長さが、閾値Ｔ２未満である場合、又は閾値Ｔ３を超える場合は、人間候補領域Ｐ１、Ｐ２、…には人間が存在しないと判定し、判定結果をインターフェース部３１へ出力する。

図１０は、道路勾配に対応して人間候補画像の長さを補正する例を示す説明図である。道路勾配が「０」である場合は、長さ算出部３５５は、人間候補領域Ｐ１における人間の頭部の最大Ｙ座標であるＹｈを求める。人間候補領域Ｐ１の車両までの距離Ｚに対応した路面のＹ座標であるＹｇを求め、人間候補領域Ｐ１における人間候補画像の長さｈ（ｈ＝Ｙｈ−Ｙｇ）を算出する。

道路勾配がα１である場合、すなわち、前方の道路が上り坂である場合は、路面上の人間は車両の現在位置よりも高い位置に存在するため、人間候補領域Ｐ１における人間の頭部の最大Ｙ座標は、Ｙｈよりも大きい値であるＹｈ３となる。一方、人間候補領域Ｐ１の車両までの距離Ｚは同じ距離であるから、人間候補領域Ｐ１の車両までの距離Ｚに対応した路面のＹ座標はＹｇである。従って、人間候補領域Ｐ１における人間候補画像の長さｈは、ｈ＝Ｙｈ３−Ｙｇとなり、Ｙｈ３＞Ｙｈであるから、人間候補画像の長さｈは、実際の値に比べて大きくなる。しかし、長さ算出部３５５は、道路勾配がα１である場合の、画像座標のＹ座標の変化値−ｙ１１を読み出し、人間候補画像の長さｈを補正することにより、人間候補画像の長さｈ（ｈ＝Ｙｈ３−Ｙｇ−ｙ１１）を算出する。

道路勾配が−α１である場合、すなわち、前方の道路が下り坂である場合は、路面上の人間は車両の現在位置よりも低い位置に存在するため、人間候補領域Ｐ１における人間の頭部の最大Ｙ座標は、Ｙｈよりも小さい値であるＹｈ４となる。一方、人間候補領域Ｐ１の車両までの距離Ｚは同じ距離であるから、人間候補領域Ｐ１の車両までの距離Ｚに対応した路面のＹ座標はＹｇである。従って、人間候補領域Ｐ１における人間候補画像の長さｈは、ｈ＝Ｙｈ４−Ｙｇとなり、Ｙｈ＞Ｙｈ４であるから、人間候補画像の長さｈは、実際の値に比べて小さくなる。しかし、長さ算出部３５５は、道路勾配が−α１である場合の、画像座標のＹ座標の変化値ｙ１１を読み出し、人間候補画像の長さｈを補正することにより、人間候補画像の長さｈ（ｈ＝Ｙｈ４−Ｙｇ＋ｙ１１）を算出する。

これにより、車両前方の路面勾配に応じて、画像座標における人間候補画像の長さｈを補正することができる。

上述のとおり、車両前方の道路が平坦でない場合であっても、道路勾配に応じて人間候補画像の長さを補正することより、従来の例に比べて、人間の認識を誤りなく行うことができる。すなわち、道路勾配に基づいて、人間候補領域の人間候補画像の路面からの長さを判定することにより、人間を人間以外の物と判定する虞、又は人間ではあり得ない人間候補領域を除外することができ、人間でないものを人間と認識する虞も防止できる。なお、実施の形態２は実施の形態１と同時に用いることも可能である。

上述の実施の形態においては、道路勾配に応じてフレームの画像座標の変化値を第２座標補正部３４４から読み出す構成であったが、これに限らず、道路勾配に応じて予め定められた演算式を用いて計算する構成でもよい。

実施の形態３
次に、撮像した画像における光軸位置と抽出した人間候補画像の位置との差に基づいて、人間候補画像の長さを補正する場合について説明する。ビデオカメラ１、２、画像処理装置３の構成は実施の形態１又は２と同様である。また、以下、輝度抽出部３５１、距離算出部３５２、演算部３５３、認識部３５４の動作は実施の形態１と同様であるので、説明は省略する。

図１１は撮像した画像における光軸位置と人間候補画像の位置との関係を示す説明図である。ビデオカメラ１、２が有する撮像レンズＬｅの光軸は、撮像面の中心に位置し、撮像レンズＬｅと撮像面とは撮像レンズＬｅの焦点距離ｆだけ離れて配置されている。

長さ算出部３５５は、図に示すように、撮像レンズＬｅを通して人間候補画像が撮像面に撮像された場合、画像座標の中心は、撮像レンズＬｅの光軸位置となり、人間候補画像が有する画素の中で、前記光軸位置からの垂直距離が最大である画素との距離である人間候補画像の位置ｍを算出する。

記憶部３４は、人間候補画像の位置に対するフレームにおける画像座標の変化の関係を示す第３座標補正部３４５を記憶する。図１２は、第３座標補正部３４５の構成を示す概念図である。第３座標補正部３４５は、距離Ｚごとに、人間候補画像の位置に対応する画像座標のＹ座標の変化値を記憶している。距離Ｚごとに、人間候補画像の位置の基準値ｍ０を予め設定しておき、算出された人間候補画像の位置が、前記基準値ｍ０に対して大きいか、又は小さいかに基づいて、画像座標のＹ座標の変化値を求める。例えば、人間候補画像の位置がｍ２（ｍ２＞ｍ０）の場合は、画像座標の変化値は、負の値−ｙ２１となり、一方、人間候補画像の位置がｍ１（ｍ０＞ｍ１）の場合は、画像座標の変化値は、正の値ｙ２２となる。

長さ算出部３５５は、記憶部３４から第３座標補正部３４５を読み出し、算出した人間候補画像の位置に対応する画像座標の変化値を求める。長さ算出部３５５は、算出した人間候補画像の位置が「ｍ０」である場合は、算出した人間候補画像の長さを判定部３５６へ出力する。一方、人間候補画像の位置が「ｍ０」でない場合は、算出した人間候補画像の長さに前記人間候補画像の位置に対応する画像座標（Ｙ座標）の変化値の加減算を行って補正し、補正した人間候補画像の長さを判定部３５６へ出力する。例えば、人間候補画像の位置がｍ１である場合は、算出した人間候補画像の長さに対してｙ２２の値を加算して補正を行なう。

長さ算出部３５５は、認識部３５４から入力された人間候補領域Ｐ２、…についても、同様の処理を行う。

判定部３５６は、予め設定された閾値Ｔ２、Ｔ３（Ｔ３＞Ｔ２）と、人間候補領域Ｐ１、Ｐ２、…ごとの人間候補画像の長さとを比較し、入力された人間候補画像の長さが、閾値Ｔ２以上、かつＴ３以下である場合は、人間候補領域Ｐ１、Ｐ２、…には人間が存在すると判定し、判定結果をインターフェース部３１へ出力する。

判定部３５６は、入力された人間候補画像の長さが、閾値Ｔ２未満である場合、又は閾値Ｔ３を超える場合は、人間候補領域Ｐ１、Ｐ２、…には人間が存在しないと判定し、判定結果をインターフェース部３１へ出力する。以下の処理は、実施の形態１と同様であるので、説明は省略する。

上述のとおり、撮像した画像における光軸位置に対する抽出した人間候補画像の位置を算出し、算出した人間候補画像の位置に基づいて、人間候補画像の長さを補正することにより、従来の例に比べて、人間の認識を誤りなく行なうことができる。すなわち、撮像装置の光学素子の光軸方向が変動した場合であっても、人間候補画像の位置を算出することにより、人間候補画像の長さを求めることができ、人間を人間以外の物と判定する虞、又は人間ではあり得ない人間候補領域を除外することができ、人間でないものを人間と認識する虞も防止できる。

上述の実施の形態においては、人間候補画像の位置に応じてフレームの画像座標の変化値を第３座標補正部３４５から読み出す構成であったが、これに限らず、人間候補画像の位置に応じて予め定められた演算式を用いて計算する構成でもよい。

本発明に係る人間認識システムの概要を示す模式図である。 ビデオカメラの構成を示すブロック図である。 画像処理装置の構成を示すブロック図である。 基準パターンの一例を示す説明図である。 基準パターンの画素数を変更した例を示す説明図である。 路面座標部及び第１座標補正部の構成を示す概念図である。 車両から前方路面までの距離に対するフレームの画像座標（Ｙ座標）の関係を示す説明図である。 車両のピッチ角に対応して人間候補画像の長さを補正する例を示す説明図である。 第２座標補正部の構成を示す概念図である。 道路勾配に対応して人間候補画像の長さを補正する例を示す説明図である。 撮像した画像における光軸位置と人間候補画像の位置との関係を示す説明図である。 第３座標補正部の構成を示す概念図である。

符号の説明

１、２ ビデオカメラ
３ 画像処理装置
４ 表示装置
５ 警報装置
６、７ 車高センサ
８ カーナビゲーション装置
３１ インターフェース部
３２ 画像メモリ
３３ 画像処理制御部
３４ 記憶部
３５ 認識処理部
３４１ 基準パターン部
３４２ 路面座標部
３４３ 第１座標補正部
３４４ 第２座標補正部
３４５ 第３座標補正部
３５１ 輝度抽出部
３５２ 距離算出部
３５３ 演算部
３５４ 認識部
３５５ 長さ算出部
３５６ 判定部

Claims (5)

1. 車両の外界を撮像する撮像装置と、該撮像装置が撮像して得た画像データを処理して人間の存在の認識をする画像処理装置と、該画像処理装置が認識した人間の存在を出力する出力装置とを備える人間認識システムにおいて、
   前記画像処理装置は、
   人間の輝度分布を表す基準パターンを記憶する記憶手段と、
   外界の対象物を撮像して得た画像データと前記基準パターンとを比較して、人間候補画像を抽出する抽出手段と、
   抽出した人間候補画像の長さを算出する長さ算出手段と、
   算出した長さに基づいて人間の存否を判定する判定手段と
   を備えていることを特徴とする人間認識システム。
2. 前記長さ算出手段は、
   撮像した画像における光軸位置と抽出した人間候補画像の位置との差を算出し、算出した差に基づいて、前記人間候補画像の長さを算出すべくなしてあることを特徴とする請求項１に記載された人間認識システム。
3. 車両の傾きを検出する車両姿勢検出手段を備え、
   前記長さ算出手段は、前記車両姿勢検出手段が検出した車両の傾きに基づいて、光軸の傾きを算出し、
   算出した光軸の傾きに基づいて、前記人間候補画像の長さを算出すべくなしてあることを特徴とする請求項２に記載された人間認識システム。
4. 路面の勾配を取得する取得手段を備え、
   前記長さ算出手段は、取得した路面の勾配に基づいて、前記車両の位置の路面に対する前記人間候補が撮像された外界の対象物が位置する路面の傾きを算出し、
   算出した路面の傾きに基づいて、前記人間候補画像の長さを算出すべくなしてあることを特徴とする請求項２に記載された人間認識システム。
5. 画像データを処理して人間の存在の認識をする画像処理装置において、
   人間の輝度分布を表す基準パターンを記憶する記憶手段と、
   外界の対象物を撮像して得た画像データと前記基準パターンとを比較して、人間候補画像を抽出する抽出手段と、
   抽出した人間候補画像の長さを算出する長さ算出手段と、
   算出した長さに基づいて人間の存否を判定する判定手段と
   を備えていることを特徴とする画像処理装置。
   
   
   

Images