JP2005259031A - 人間認識システム、人間認識装置、記憶装置及び人間認識方法 - Google Patents

Abstract

【課題】 外界情報又は車両の位置情報に応じて、人間の温度分布を表す基準パターンを設定することにより、人間の存在を認識する人間認識システム、該人間認識システムを構成する人間認識装置、記憶装置、及び人間認識方法を提供する。
【解決手段】 外界情報又は車両の位置情報に応じて設定された基準パターンＨ１、Ｈ２、…をサーバ６から受信し、ビデオカメラ１、２が撮像した画像データから抽出された人間候補領域Ｐ１、Ｐ２、…と基準パターンＨ１、Ｈ２、…との夫々の画素が有する輝度値の相関値を算出する。算出した相関値と予め定められた閾値Ｔ１とを比較して、人間候補領域Ｐ１、Ｐ２、…に人間が存在するか否かを判定し、人間の存在を表示又は警告する。
【選択図】 図１

Description

本発明は、外界の温度分布に応じた画像データを検出し、検出した画像データに基づいて、人間の存在を認識する人間認識システム、該人間認識システムを構成する人間認識装置、記憶装置、及び人間認識方法に関する。

自動車などの車両に、ボロメータ又は焦電型撮像素子を備えた遠赤外用のビデオカメラを搭載し、夜間走行時に車両前方の歩行者、自転車に乗った人間などを認識して運転者に注意を促す前方監視システムが提案されている。

このようなシステムは、遠赤外用のビデオカメラで人間を撮像した場合、熱源である人間は他の背景物に対して高い輝度を有することを利用して、予め人間の輝度分布を示す基準パターンを記憶しておき、遠赤外用のビデオカメラが検出した画像データと前記基準パターンとを比較して人間を認識している（非特許文献１参照）。
ホンダ アールアンドディー テクニカル レビュー（Honda R&D Technical Review） Vol.13 No.1 (2001年４月)

しかし、従来のシステムにあっては、季節、天候、気温などの外界情報に応じて人間の服装が変化し、服の表面温度が異なるため、前記ビデオカメラが検出した画像データと常時一定の基準パターンとを比較した場合に、外界情報の変化に応じて検出した画像データの輝度分布が異なるため、正確な認識結果が得られないことがあった。例えば、夏の場合は、検出した画像データの輝度が比較的高いため、歩行者の認識が容易であったとしても、冬の場合は、検出した画像データの輝度が夏時に比べて低くなるため、歩行者の認識が困難になる。また、あらゆる外界の状況に対応した基準パターンを記憶する場合には、膨大な数の基準パターンを記憶し、検出した画像データと記憶した基準パターンとを比較する処理を行う必要があり、記憶量及び処理量が増加するという問題もあった。

本発明は、斯かる事情に鑑みてなされたものであり、外界情報又は車両の位置情報に応じて選択された基準パターンを受信し、検出した画像データと受信した基準パターンとを比較して人間の存在を認識することにより、前記外界情報又は車両の位置情報に応じて前記基準パターンを選択して人間の存在の認識処理をすることができる人間認識システムを提供することを目的とする。

また、本発明の他の目的は、車両の位置情報に対応した地域内の第１の車両から受信した基準パターンの評価結果に基づいた基準パターンを、前記地域内の第２の車両へ送信することにより、第１の車両における人間の認識結果を用いて、第２の車両における人間の存在を効率良く認識することができる人間認識システムを提供することにある。

また、本発明の他の目的は、検出した画像データと受信した基準パターンとを比較して人間の存在を認識することにより、複数の基準パターンを記憶する記憶容量を低減し、前記外界情報又は位置情報に応じて基準パターンを選択して人間の存在の認識処理をすることができる人間認識装置を提供することにある。

また、本発明の他の目的は、受付けた外界情報又は車両の位置情報を前記記憶装置へ送信し、該記憶装置が前記外界情報又は位置情報に応じて選択し送信した基準パターンを受信し、検出した画像データと受信した基準パターンとを比較して人間の存在を認識することにより、複数の基準パターンを記憶する記憶容量を低減し、前記外界情報又は位置情報に応じて基準パターンを選択して人間の存在の認識処理をすることができる人間認識装置を提供することにある。

また、本発明の他の目的は、受信した外界情報又は位置情報に基づいて基準パターンを選択し、選択した基準パターンを送信することにより、基準パターンを集中管理することができ、前記外界情報又は位置情報に応じて基準パターンを選択することができる記憶装置を提供することにある。

また、本発明の他の目的は、外界情報又は車両の位置情報に応じて選択された基準パターンを受信し、検出した画像データと受信した基準パターンとを比較して人間の存在を認識することにより、前記外界情報又は車両の位置情報に応じて前記基準パターンを選択して人間の存在の認識処理をすることができる人間認識方法を提供することにある。

第１の発明に係る人間認識システムは、車両の外界の温度分布に応じた画像データを検出する検出手段及び該検出手段が検出した画像データに基づいて人間の存在の認識をする画像認識手段を有する人間認識装置と、該画像認識手段が人間の存在の認識に用いる人間の温度分布を表す基準パターンを複数記憶してある記憶装置とを備える人間認識システムにおいて、前記記憶装置は、外界情報又は車両の位置情報を受信する受信手段と、受信した外界情報又は車両の位置情報に基づいて基準パターンを選択する選択手段と、選択した基準パターンを前記人間認識装置へ送信する送信手段とを備え、前記人間認識装置は、人間の温度分布を表す基準パターンを受信する受信手段を備え、前記画像認識手段は、検出した画像データと受信した基準パターンとを比較して人間の存在を認識すべくなしてあることを特徴とする。

第２の発明に係る人間認識システムは、前記人間認識装置は、基準パターンに関する評価結果を送信する送信手段を備え、前記記憶装置の受信手段は、車両の位置情報に対応した地域内の第１の車両の人間認識装置から基準パターンに関する評価結果を受信し、前記地域内の第２の車両の人間認識装置から基準パターンの送信要求を受信すべくなしてあり、前記記憶装置の送信手段は、受信した評価結果に基づいた基準パターンを、前記地域内の第２の車両へ送信すべくなしてあることを特徴とする。

第３の発明に係る人間認識装置は、車両の外界の温度分布に応じた画像データを検出する検出手段と、該検出手段が検出した画像データを画像処理して人間の存在の認識をする画像認識手段とを備える人間認識装置において、人間の温度分布を表す基準パターンを受信する受信手段を備え、前記画像認識手段は、検出した画像データと受信した基準パターンとを比較して人間の存在を認識すべくなしてあることを特徴とする。

第４の発明に係る人間認識装置は、前記人間認識装置は、外界情報又は車両の位置情報を受付ける受付手段と、受付けた外界情報又は車両の位置情報を送信する送信手段とを備えたことを特徴とする。

第５の発明に係る記憶装置は、人間の温度分布を表す基準パターンを複数記憶してある記憶装置において、外界情報又は車両の位置情報を受信する受信手段と、受信した外界情報又は車両の位置情報に基づいて基準パターンを選択する選択手段と、選択した基準パターンを送信する送信手段とを備えたことを特徴とする。

第６の発明に係る人間認識方法は、車両の外界の温度分布に応じた画像データを検出し、検出した画像データと人間の温度分布を表す基準パターンとを比較して人間の存在を認識する人間認識方法であって、複数の基準パターンを記憶しておき、その中から外界情報又は車両の位置情報に応じて基準パターンを選択し、選択した基準パターンを用いて人間の存在を認識することを特徴とする。

第１の発明及び第６の発明にあっては、季節、天候、気温などの外界情報又は車両の位置情報に基づく現在位置周辺の天候、気温、降水確率などの情報に対応して人間の服装が厚着から薄着へ、又はその逆に変化し、服の表面温度が異なった場合においても、前記記憶装置が基準パターンを記憶し、前記外界情報又は車両の位置情報に応じて基準パターンを選択することにより、前記人間認識装置は、外界情報又は車両の位置情報に対応した基準パターンを記憶する必要がなく、また、前記基準パターンを選択する処理をする必要もなく、基準パターンを受信するだけで、外界情報又は車両の位置情報に応じて選択された適切な基準パターンを取得して人間の存在の認識をすることができる。

第２の発明にあっては、車両の位置情報に対応した同一地域内の第１の車両が基準パターンに基づいて人間の存在の認識を行った結果、人間の認識をすることができた基準パターンを示す評価結果を受信し、同様の気温、天候により人間の温度分布が類似している前記同一地域内の第２の車両へ、前記基準パターンを送信することにより、第１の車両において人間の存在の認識をすることができた基準パターンを用いて人間の存在の認識をすることができる。

第３の発明にあっては、季節、天候、気温などの外界情報又は車両の位置情報に基づく現在位置周辺の天候、気温、降水確率などの情報に対応して人間の服装が厚着から薄着へ、又はその逆に変化し、服の表面温度が異なった場合においても、基準パターンを受信するだけで、外界情報又は車両の位置情報に応じて選択された適切な基準パターンを取得して人間の存在の認識をすることができる。

第４の発明にあっては、季節、天候、気温などの外界情報又は車両の位置情報に基づく現在位置周辺の天候、気温、降水確率などの情報に対応して人間の服装が厚着から薄着へ、又はその逆に変化し、服の表面温度が異なった場合においても、前記人間認識装置が、受付けた外界情報又は車両の位置情報を前記記憶装置へ送信することにより、該記憶装置は前記外界情報又は車両の位置情報に応じた基準パターンを選択し、選択した基準パターンを前記人間認識装置へ送信するため、該人間認識装置は受信した基準パターンを用いて人間の存在を認識することできる。

第５の発明にあっては、季節、天候、気温などの外界情報又は車両の位置情報に基づく現在位置周辺の季節、天候、気温、降水確率などの情報に対応して人間の服装が厚着から薄着へ、又はその逆に変化し、服の表面温度が異なった場合においても、予め基準パターンを記憶することにより、受信した外界情報又は車両の位置情報に基づいて基準パターンを選択し、選択した基準パターンを送信することができる。

本発明にあっては、外界情報又は車両の位置情報に対応して服装が変化して服の表面温度が異なった場合においても、外界情報又は車両の位置情報に応じた基準パターンを記憶する必要がなく、外界情報又は車両の位置情報に応じて選択された適切な基準パターンを受信することにより人間の存在の認識を行うことができる。

また、本発明にあっては、外界情報又は車両の位置情報に対応して人間の服装が厚着から薄着へ、又はその逆に変化し、服の表面温度が異なった場合においても、外界情報又は車両の位置情報に応じた基準パターンを記憶する必要がなく、外界情報又は車両の位置情報に応じて選択された適切な基準パターンを受信することにより人間の存在の認識を行うことができる。

また、本発明にあっては、外界情報又は車両の位置情報に応じて基準パターンを選択することができ、人間の服装の流行を反映した基準パターン、最新の基準パターンなどを集中的に管理することができ、最適な基準パターンを用いて人間の存在の認識を行うことができる。

また、本発明にあっては、先行車で人間に認識ができた基準パターンを後続車にも使用することができ、効率良く人間の存在の認識をすることができる。

実施の形態１
図１は本発明に係る人間認識システムの概要を示す模式図である。図において、１及び２は車両に搭載され、夜間の歩行者、自転車に乗った人間などを認識する遠赤外用のビデオカメラである。ビデオカメラ１、２夫々は、同一高さであって水平方向に適長の間隔を隔ててフロントグリルに並置されてあり、ＩＥＥＥ１３９４に準拠した情報系車載ＬＡＮ通信線１２を介して画像処理装置３に接続されている。

画像処理装置３には、操作部を有する表示装置４、スピーカーを有し、音声又は効果音により警告を発する警報装置５、ＧＰＳ機能を備えたカーナビゲーション装置８、通信ネットワーク１３を介してサーバ６と通信を行う通信部１０、及び車両外部の気温を検出する温度センサ１１が車載ＬＡＮ通信線１２を介して接続されている。また、車載ＬＡＮ通信線１２に接続された中継機９には、制御系の車載ＬＡＮ通信線１４を介してワイパースイッチ７が接続されている。

図２は、ビデオカメラ１の構成を示すブロック図である。図において、１０１は画像撮像部であり、光学信号を電気信号に変換する焦電型撮像素子が配置され、車両の外界の赤外光像をＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号として読み取り、読み取ったＲＧＢ信号を、内部バス１０６を介して信号処理部１０２へ出力する。

信号処理部１０２は、画像撮像部１０１から入力されたアナログ信号をＲＧＢのデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理などを行う。さらに、ＲＧＢ信号をＹＵＶ（Ｙ：輝度、Ｕ、Ｖ：色差）信号に変換し、変換したＹＵＶ信号を画像データとして一旦画像メモリ１０３へ記憶する。

図において、１０４は車載ＬＡＮ通信線１２を介して画像処理装置３と通信を行うインターフェース部を示し、インターフェース部１０４は、画像処理装置３から送信される指令に従って、画像メモリ１０３に記憶された画像データを画像処理装置３へ出力するための制御、ビデオカメラ１で撮像した画像の解像度による転送レートの変換、画像データからパケットデータの作成などを行う。また、インターフェース部１０４は、制御部１０５の制御に従って、画像メモリ１０３に記憶された画像データをビデオカメラ１の識別番号とともに画像処理装置３へ出力する。

制御部１０５は、画像撮像部１０１、信号処理部１０２、インターフェース部１０４の処理を制御する。例えば、画像処理装置３からの指令を解釈して、画像撮像部１０１が撮像した画像データを画像メモリ１０３に記憶する。また、記憶された画像データを読み出し、インターフェース部１０４を介して画像処理装置３へ出力する。なお、ビデオカメラ２も同様の構成を有する。

図３は、画像処理装置３の構成を示すブロック図である。図において、３１はインターフェース部であり、車載ＬＡＮ通信線１２を介してビデオカメラ１、２に対する指令の転送、ビデオカメラ１、２からの画像データの転送などを行う。

インターフェース部３１は、温度センサ１１から入力された気温、ワイパースイッチ７から入力された降雨状態、カーナビゲーション装置８から入力された車両走行地域における位置情報、及び該位置情報に基づいた天候情報、降水確率などの外界情報を受け取り、受け取った情報を記憶部３３に記憶する。

画像処理制御部３５は、インターフェース部３１を介してビデオカメラ１及び２から入力された画像データ夫々を１フレーム単位に同期させて、フレームごとの画像データを画像メモリ３２に記憶する。また、画像処理制御部３５は、画像メモリ３２に記憶された画像データをフレーム単位で画像処理部３４へ出力する。

画像処理制御部３５は、記憶部３３に記憶された位置情報及び外界情報をインターフェース部３１を介して通信部１０へ出力する。

通信部１０は、入力された位置情報及び外界情報を通信ネットワーク１３を介してサーバ６へ送信する。

図４はサーバ６の構成を示すブロック図である。図において、記憶部６３は、基準パターンＨ１、Ｈ２、…を外界情報又は車両の位置情報に基づいた季節、天候、気温などに関連付けて記憶する基準パターン部６３１を有する。図５及び図６は基準パターンを示す説明図である。基準パターンＨ１は、夏服（例えば、半袖のＴシャツ）を着た人間の輝度分布を示す。半袖のＴシャツを着た人間は、頭部と腕の部分が露出するため、かかる部分の輝度値は高い。また、Ｔシャツは人間の体温を表面に伝えやすいため、上体部の輝度値も比較的高くなる。一方、腰部及び脚部は、ズボンの生地がＴシャツよりも厚いため、かかる部分の輝度値はやや低くなる。

基準パターンＨ２は、春又は秋における服装を着た人間の輝度分布を示す。春又は秋においては、長袖でやや厚めの生地のシャツを着るため、人間の体温はＴシャツの場合ほど表面に伝わらず、上体部、腕部、腰部、脚部の輝度値はやや低い値になる。一方、頭部は露出しているため、かかる部分の輝度値は高い。

基準パターンＨ３は、冬服（例えば、防寒着）を着た人間の輝度分布を示す。防寒着は生地が厚く、体温を表面にほとんど伝えないため、上体部、腕部の輝度値は低い。ズボンの生地は、上着の生地より薄いため、脚部の輝度値は、上体部に比べて、やや高くなる。一方、頭部は露出しているため、かかる部分の輝度値は高い。

基準パターンＨ４は、夏の雨天時の場合における人間の輝度分布を示す。Ｈ４とＨ１との違いは、Ｈ１に対してＨ４は傘を持った姿勢を表す。また、基準パターンＨ５は、春又は秋の雨天時の場合における人間の輝度分布を示す。Ｈ５とＨ２との違いは、Ｈ２に対してＨ５は傘を持った姿勢を表す。

図７は記憶部６３における基準パターン部６３１の概念図である。図に示すように、季節の欄は春夏秋冬の区別、天候の欄は、晴、曇、雨の区別、気温の欄は、所定の温度範囲の区別がなされ、季節、天候、及び気温の各欄に対応して基準パターンＨ１、Ｈ２、…が記憶されている。

インターフェース部６１は、通信ネットワーク１３を介して車両の通信部１０から送信された外界情報又は車両の位置情報を受信し、基準パターン選択部６２へ出力する。

基準パターン選択部６２は入力された外界情報又は車両の位置情報に基づいて、記憶部６３に記憶された基準パターン部６３１から前記外界情報又は車両の位置情報に対応する１又は複数の基準パターンＨ１、Ｈ２、…を選択し、選択した基準パターンＨ１、Ｈ２、…をインターフェース部６１を介して、前記車両の通信部１０へ送信する。例えば、記録された外界情報の組合せが、夏、晴、及び気温が３０度以上である場合は、基準パターンＨ１を選択するとともに、気温２０度から３０度の範囲の基準パターンも併せて選択する。これにより、車両は、位置情報及び外界情報に応じた複数の基準パターンを取得することができ、歩行者などの人間に認識を漏れなく確実に行えるとともに、すべての基準パターンについて検出した画像データとの比較処理を行う必要がなくなる。

画像処理装置３は、通信部１０において受信した基準パターンＨ１、Ｈ２、…をインターフェース部３１を介して記憶部３３に一旦記憶する。

画像処理部３４において、輝度抽出部３４１は、画像メモリ３２から読み出されたビデオカメラ１及び２夫々が撮像して得られた１フレーム夫々の各画素の輝度値を算出し、予め定められた標準輝度値Ｌ１に基づいて、算出した輝度値を２値化して標準輝度値Ｌ１以上の輝度値を有する領域（以下、人間候補領域という）Ｐ１、Ｐ２…を、前記１フレーム夫々について抽出する。輝度抽出部３４１は、抽出された人間候補領域Ｐ１、Ｐ２、…の領域内の画素が有する輝度値とともに、人間候補領域Ｐ１、Ｐ２、…を距離算出部３４２へ出力する。

距離算出部３４２は、ビデオカメラ１の１フレーム内で抽出された人間候補領域Ｐ１のエピポーラ線（ビデオカメラの走査線と一致する）上に存在する画素から、輝度値の変位が大きい特徴点を抽出する。次に、ビデオカメラ２の１フレーム内で抽出された人間候補領域Ｐ１の同一位置のエピポーラ線上の画素を検索して、前記特徴点に対応する対応点を求め、前記特徴点と対応点との横位置差（以下、視差という）Ｕを算出する。距離算出部３４２は、視差Ｕに基づいて、数１で表される人間候補領域Ｐ１までの距離Ｚを算出する。距離算出部３４２は、入力された人間候補領域Ｐ２、…についても同様の処理を行い、人間候補領域Ｐ２、…までの距離を算出する。算出する距離Ｚは、連続値である必要はなく、人間の存在を認識するための画像処理を容易にするため、離散値でよい。例えば、近距離の場合は、１０メートル、２０メートル、及び３０メートル、中距離の場合は、６０メートル、及び９０メートル、遠距離の場合は、１２０メートル、及び２００メートルなどのように選択する。

ここで、Ｌはビデオカメラ１及び２夫々の光軸の間隔、ｆはビデオカメラ１、２夫々の光学系における撮像レンズの焦点距離である。

距離算出部３４２は、人間候補領域Ｐ１、Ｐ２、…ごとに算出された距離Ｚを人間候補領域Ｐ１、Ｐ２、…夫々対応させ、人間候補領域Ｐ１、Ｐ２、…を示す画像データを演算部３４４へ出力するとともに、算出された距離Ｚを基準パターン補正部３４３へ出力する。

基準パターン補正部３４３は、距離算出部３４２から入力された距離Ｚ及び記憶部３３から読み出した基準パターンＨ１、Ｈ２、…に基づき、距離Ｚに対応して予め定められた画素数になるように、基準パターンＨ１、Ｈ２、…が有する画素の補間又は間引きを行い、画素数を変更した基準パターンを演算部３４４へ出力する。図８は基準パターンの画素数を変更した例を示す説明図である。図８（ａ）は、距離Ｚが近距離である場合であり、記憶部３３から読み出された基準パターンＨ１、Ｈ２、…の画素数は変更されずに、そのまま使用される。図８（ｂ）及び（ｃ）は、距離Ｚが夫々中距離及び遠距離である場合であり、距離Ｚの大小に応じて、基準パターンＨ１、Ｈ２、…の画素数を変更する。これにより、検出された画像データから抽出された人間候補領域Ｐ１、Ｐ２、…の画素数と基準パターンＨ１、Ｈ２、…の画素数とを一致させる。なお、図においては、画素数の変更を３段階に分けて説明しているが、これに限らず、前述の距離Ｚの設定数に応じて画素数の変更の段階数を設けることができる。

演算部３４４は、距離算出部３４２から入力された人間候補領域Ｐ１、Ｐ２、…を示す画像データ及び基準パターン補正部３４３から入力された基準パターンＨ１、Ｈ２、…が有する輝度値の間において、相関値を算出して、算出した相関値を認識部３４５へ出力する。相関値の算出は、数２で表される式に基づいて行われる。

ここで、Ｎは人間候補領域Ｐ１、Ｐ２、…、及び基準パターンＨ１、Ｈ２、…における総画素数、ｋは零からＮ−１までの整数、Ｆｋは基準パターン内におけるｋ番目の画素の輝度値、Ｇｋは人間候補領域におけるｋ番目の画素の輝度値、及びＲは相関値を表す。

認識部３４５は、演算部３４４から出力された人間候補領域Ｐ１、Ｐ２、…夫々について、選択された基準パターンＨ１、Ｈ２、…との相関値と、予め定められた閾値Ｔ１（０＜Ｔ１＜１）とを比較し、選択された基準パターンＨ１、Ｈ２、…の中で１つでも相関値が閾値Ｔ１より大きい場合は、人間候補領域Ｐ１、Ｐ２、…には人間が存在すると判定し、判定結果をインターフェース部３１へ出力する。

画像処理部３４は、上述の処理を１フレーム単位で行い、１フレーム分の画像データに対して処理が終了すると、次のフレームに対して同様の処理を続ける。

インターフェース部３１は、画像メモリ３２に記憶された画像データを表示装置４へ出力するとともに、認識部３４５で判定された判定結果及び人間までの距離Ｚを表示装置４及び警報装置５へ出力する。

また、画像処理制御部３５は、インターフェース部３１から入力された降雨状態を警告装置５へ出力する。

表示装置４は、画像処理装置３から出力された画像データに基づき、外界の状況をディスプレイに表示するとともに、認識部３４５から出力された判定結果により車両の前方に歩行者などの人間の存在が認識された場合には、検出した人間の周囲に枠を付して、運転者に人間の存在を促すべく強調表示をする。また、雨天時の路面の状態はスリップし易いため、人間までの距離Ｚが長い場合でも検出した人間の周囲に枠を付して、早めに運転者に人間の存在を促すべく強調表示をすることもできる。

警報装置５は、認識部３４５から出力された判定結果により車両の前方に歩行者などの人間の存在が認識された場合には、インターフェース部３１から出力された人間までの距離Ｚが所定の距離よりも短い場合は、音声又は警告音を発し、運転者に注意を促す。また、距離Ｚの長さに応じて音量を変えることにより、運転者への警告を行う。さらに、雨天時の路面の状態はスリップし易いため、早めに警告を発することもできる。

上述の通り、外界情報又は車両の位置情報に応じて、基準パターンＨ１、Ｈ２、…を選択し、ビデオカメラ１、２が撮像した画像データから抽出された人間候補領域Ｐ１、Ｐ２、…と基準パターンＨ１、Ｈ２、…との夫々の画素が有する輝度値の相関値を算出して、算出した相関値と予め定められた閾値Ｔ１とを比較して、人間候補領域Ｐ１、Ｐ２、…に人間が存在するか否かを判定することにより、従来の例に比べて、人間の認識を正確に行うことができるとともに、基準パターンＨ１、Ｈ２、…を記憶する記憶量を減少し、認識処理の処理量も低減することが可能となる。

次に本発明に係る人間認識方法について説明する。夜間走行時に運転者が、表示装置４に備えられた操作部を操作してビデオカメラ１、２の動作スイッチをオンにすると、動作信号を前記操作部から受信した画像処理装置３は、インターフェース部３１を介して、初期コマンドをビデオカメラ１、２へ送出する。

初期コマンドを受信したビデオカメラ１、２は、画像撮像部１０１から車両の外界の撮像を開始する。信号処理部１０２は、撮像した画像データに対して、ＲＧＢ信号からＹＵＶ信号に変換し、ビデオカメラ１、２ごとの識別番号が挿入された画像データは、一旦画像メモリ１０３に記録された後に、１フレーム分の画像データごとに同期させて、インターフェース部１０４を介して、画像処理装置３へ送出される。

画像処理装置３は、ビデオカメラの識別番号ごとに、１フレーム分の画像データを一旦画像メモリ３２に記憶する。

インターフェース部３１は、ワイパースイッチ７、カーナビゲーション装置８、温度センサ１１などから受け取った外界情報又は車両の位置情報を記憶部３３に記憶する。

画像処理制御部３５は、記憶部３３に記憶された外界情報又は車両の位置情報をインターフェース部３１を介して通信部１０へ出力する。

通信部１０は、入力された外界情報又は車両の位置情報を通信ネットワーク１３を介してサーバ６へ送信する。

基準パターン選択部６２は入力された外界情報又は車両の位置情報に基づいて、記憶部６３に記憶された基準パターン部６３１から、前記外界情報又は車両の位置情報に対応する１又は複数の基準パターンＨ１、Ｈ２、…を選択し、選択した基準パターンＨ１、Ｈ２、…をインターフェース部６１を介して、前記車両の通信部１０へ送信する。

画像処理装置３は、通信部１０において受信した基準パターンＨ１、Ｈ２、…をインターフェース部３１を介して記憶部３３に一旦記憶する。

画像処理部３４は、画像メモリ３２に記憶された画像データを読み出し、輝度抽出部３４１へ出力する。

輝度抽出部３４１は、画像メモリ３２から読み出されたビデオカメラ１及び２夫々が撮像して得られた１フレーム夫々の各画素の輝度値を算出し、算出した輝度値に基づいて、人間候補領域Ｐ１、Ｐ２…を抽出し、抽出結果を距離算出部３４２へ出力する。

距離算出部３４２は、ビデオカメラ１及び２夫々の１フレーム内で抽出された人間候補領域Ｐ１、Ｐ２、…を切り出し、人間候補領域Ｐ１、Ｐ２、…夫々の特徴点の位置を算出することにより、人間候補領域Ｐ１、Ｐ２、…内の対象物の視差を算出して、人間候補領域Ｐ１、Ｐ２、…までの距離Ｚを算出する。また、距離算出部３４２は、算出された距離Ｚを人間候補領域Ｐ１、Ｐ２、…夫々対応させて、人間候補領域Ｐ１、Ｐ２、…を示す画像データを演算部３４４へ出力するとともに、算出された距離Ｚを基準パターン補正部３４３へ出力する。

基準パターン補正部３４３は、距離算出部３４２から入力された距離Ｚ及び記憶部３３から読み出した基準パターンＨ１、Ｈ２、…に基づき、距離Ｚに対応して基準パターンＨ１、Ｈ２、…が有する画素の補間又は間引きを行い、画素数を変更した基準パターンを演算部３４４へ出力する。

演算部３４４は、距離算出部３４２から入力された人間候補領域Ｐ１、Ｐ２、…を示す画像データ及び基準パターン補正部３４３から入力された基準パターンＨ１、Ｈ２、…が有する輝度値の間において、相関値を算出して、算出した相関値を認識部３４５へ出力する。

認識部３４５は、演算部３４４から出力された人間候補領域Ｐ１、Ｐ２、…夫々について、選択された基準パターンＨ１、Ｈ２、…との相関値と、予め定められた閾値Ｔ１（０＜Ｔ１＜１）とを比較し、選択された基準パターンＨ１、Ｈ２、…の中で１つでも相関値が閾値Ｔ１より大きい場合は、人間候補領域Ｐ１、Ｐ２、…には人間が存在すると判定し、判定結果をインターフェース部３１へ出力する。

表示装置４は、インターフェース部３１を介して出力された画像データに基づき、外界の状況をディスプレイに表示するとともに、検出した人間の周囲に枠を付して、運転者に人間の存在を促すべく強調表示をする。

警報装置５は、インターフェース部３１から出力された人間までの距離Ｚが所定の距離よりも短い場合は、音声又は警告音を発し、運転者に注意を促す。また、距離Ｚの長さに応じて音量を変えることにより、運転者への警告を行う。

上述の実施の形態においては、ビデオカメラ１、２と画像処理装置３との接続は、ＩＥＥＥ１３９４に準拠した車載ＬＡＮ通信線１２を介して行われたが、これに限らず、ＮＴＳＣに準拠した通信方式であってもよい。

上述の実施の形態においては、ビデオカメラ１、２を車両の前部に併設する構成であったが、これに限らず、レーザレーダ、ミリ波レーダなどの測距センサを搭載して、歩行者までの距離を測定する構成であってもよい。この場合は、ビデオカメラは１台のみ搭載すれば足りる。

上述の実施の形態においては、外界情報に応じて基準パターンＨ１、Ｈ２、…を複数選択する構成であるが、冬季に比較して夏季の方が歩行者の認識が容易であることに鑑みて、冬季の場合には、選択する基準パターンＨ１、Ｈ２、…の数を増加するなど、季節に応じて選択する数を変化するように構成してもよい。

上述の実施の形態においては、車両から人間までの距離Ｚに応じて、基準パターンＨ１、Ｈ２、…が有する画素の補間又は間引き処理をすることにより画素数を変更する構成であったが、これに限らず、抽出した人間候補領域Ｐ１、Ｐ２、…の画素数を変更する構成でもよい。これにより、例えば、近距離の人間候補領域Ｐ１、Ｐ２、…の画素を補間又は間引きすることにより、遠距離の人間候補領域Ｐ１、Ｐ２、…の大きさまで小さくすることにより、基準パターンＨ１、Ｈ２、…の画素数を少なくすることができ、記憶容量の低減を図ることが可能である。

上述の実施の形態においては、基準パターンのＨ１、Ｈ２、…画素数を車両から人間までの距離Ｚに応じて少なくする構成であったが、予め遠距離用の大きさに合わせた基準パターンＨ１、Ｈ２、…を記憶しておき、距離Ｚに応じて画素数を多くする構成であってもよい。

上述の実施の形態においては、車両の通信部１０を介して送信された外界情報又は車両の位置情報に基づいて、サーバ６が基準パターンＨ１、Ｈ２、…を選択する構成であったが、これに限らず、車両が基準パターン送信要求をサーバ６へ送信し、送信された要求に基づいて、サーバ６が予め季節などに応じて選択した基準パターンＨ１、Ｈ２、…を前記車両へ送信する構成であってもよい。また、車両は自車の位置情報のみをサーバ６へ送信し、サーバ６が送信された位置情報に基づいて、前記車両の地域の天候などの外界情報を取得し、取得した外界情報に基づいて基準パターンＨ１、Ｈ２、…を選択して前記車両へ送信する構成でもよい。

実施の形態２
次に、第１の車両が人間の存在の認識した結果に基づいて、第２の車両に対する基準パターンを選択する場合について説明する。

図４において、記憶部６３は、通信ネットワーク１３を介して通信する各車両の車両ＩＤ、該車両ごとの位置情報に基づく地域情報、及び各車両が基準パターンを用いて人間の存在を認識した結果、正確に認識することができた基準パターン夫々を関連付けて記憶する車両別評価部６３２を有する。

図９は車両別評価部６３２の概念図である。図に示すように、車両ＩＤの欄は、インターフェース部６１を介して選択された基準パターンＨ１、Ｈ２、…が送信され、人間の存在の認識が行われた車両の識別番号が記憶され、位置情報の欄は、気象情報により同様の気温、天候などの外界情報を有する地域を予め選択しておき、前記車両の位置情報に基づいて前記車両の位置する地域ａ、ｂ、…が記憶され、基準パターンの欄は、各車両が人間の存在を認識した結果、人間の存在の認識をすることができた基準パターンが記憶されている。

次に実施の形態２の場合の動作について説明するが、図１乃至図４において、各部の構成、動作は実施の形態１と同様であるので、説明は省略する。

第１の車両Ｖ１は、サーバ６から受信した基準パターンＨ１、Ｈ２…を受信する。画像処理部３４は、実施の形態１と同様に、検出した画像データに基づいて抽出された人間候補領域Ｐ１、Ｐ２、…を示す画像データ及び受信した基準パターンＨ１、Ｈ２、…が有する輝度値の間において、相関値を算出する。画像処理部３４は、人間候補領域Ｐ１、Ｐ２、…夫々について、選択された基準パターンＨ１、Ｈ２、…との相関値と、予め定められた閾値Ｔ１（０＜Ｔ１＜１）とを比較し、選択された基準パターンＨ１、Ｈ２、…の中で１つでも相関値が閾値Ｔ１より大きい場合は、人間候補領域Ｐ１、Ｐ２、…には人間が存在すると判定し、人間が存在すると判定した際に用いられた基準パターンＨｘ（評価結果）を、第１の車両Ｖ１の位置情報とともにインターフェース部３１及び通信部１０を介して、サーバ６へ送信する。

サーバ６は、第１の車両Ｖ１に関する位置情報及び評価結果である基準パターンＨｘを受信し、受信した第１車両Ｖ１の識別番号、位置情報、及び評価結果である基準パターンＨｘを基準パターン部６３１へ記憶する。この場合、すでに同じ車両の識別番号が記憶されていた場合には、該車両の識別番号に該当する位置情報及び基準パターンＨｘを更新する。

次にサーバ６は、第２の車両Ｖ２から、車両の位置情報を受信する。制御部６４は、第２の車両Ｖ２の識別番号に基づいて、基準パターン部６３１を検索し、車両Ｖ２の車両ＩＤに関する位置情報及び基準パターンＨ１、Ｈ２、…が記憶されているか否かを確認する。

車両Ｖ２の識別番号に関する位置情報及び基準パターンＨ１、Ｈ２、…が記憶されていない場合は、制御部６４は受信した車両Ｖ２の位置情報に基づいて、車両Ｖ２と同様の気温、天候を有する位置情報に対応する基準パターンＨｙを選択する。例えば、第２の車両Ｖ２の位置情報に基づく地域がｂである場合には、基準パターンＨ２を選択する。

制御部６４は、選択した基準パターンＨｙをインターフェース部６１を介して、第２の車両Ｖ２へ送信する。

第２の車両Ｖ２は、サーバ６から送信された基準パターンＨｙを受信する。画像処理部３４は、検出した画像データに基づいて抽出された人間候補領域Ｐ１、Ｐ２、…を示す画像データ及び受信した基準パターンＨｙが有する輝度値の間において、相関値を算出する。画像処理部３４は、人間候補領域Ｐ１、Ｐ２、…夫々について、選択された基準パターンＨｙとの相関値と、予め定められた閾値Ｔ１（０＜Ｔ１＜１）とを比較する。

基準パターンＨｙは、第２の車両Ｖ２の走行する地域と同様の気温、天候を有する同一の地域を走行する第１の車両Ｖ１において、すでに人間の存在を認識することができた実績のある基準パターンであるため、第２の車両Ｖ２においても、基準パターンＨｙに基づいて人間の存在の認識をすることができ、複数の基準パターンＨ１、Ｈ２、…を用いて、複数の処理を繰り返す必要がなく、効率よく人間の存在の認識をすることができる。

第２の車両Ｖ２は、基準パターンＨｙを位置情報とともにインターフェース部３１及び通信部１０を介して、サーバ６へ送信する。

車両Ｖ２の識別番号に関する位置情報及び基準パターンＨ１、Ｈ２、…が記憶されている場合は、制御部６４は車両Ｖ２の位置情報が更新されているか否かを確認し、位置情報が更新されていない場合は、車両別評価部６３２の基準パターンＨ１、Ｈ２、…を選択し、インターフェース部６１を介して車両Ｖ２へ送信する。

一方、位置情報が更新されている場合には、該位置情報に対応する外界情報に基づいて、基準パターン部６３１の基準パターンＨ１、Ｈ２、…を選択し、インターフェース部６１を介して車両Ｖ２へ送信する。

これにより、先行する第１の車両で用いられ、人間の存在の認識をすることができた実績のある基準パターンＨｙを、後続の第２の車両における人間の存在の認識処理に用いることができ、効率的に認識処理を行うことが可能となる。

実施の形態２において、車両別評価部６３２に記憶された位置情報の欄の地域ａ、ｂ、…は、予め過去の気象状況に応じて、同様の気温、天候を有する地域を分類しておくことができる。例えば、都市部、郊外部、山間部などでは、気温、天候が同じ地域の範囲の大きさは、異なることから、位置情報に応じて適切な範囲を設定する。

本発明に係る人間認識システムの概要を示す模式図である。 ビデオカメラの構成を示すブロック図である。 画像処理装置の構成を示すブロック図である。 サーバの構成を示すブロック図である。 基準パターンを示す説明図である。 基準パターンを示す説明図である。 記憶部における基準パターン部の概念図である。 基準パターンの画素数を変更した例を示す説明図である。 車両別評価部の概念図である。

符号の説明

１、２ ビデオカメラ
３ 画像処理装置
４ 表示装置
５ 警報装置
６ サーバ
７ ワイパースイッチ
８ カーナビゲーション装置
９ 中継機
１０ 通信部
１１ 温度センサ
１２、１４ 車載ＬＡＮ通信線
１３ 通信ネットワーク
３１、６１ インターフェース部
３２ 画像メモリ
３３、６３ 記憶部
３４ 画像処理部
３５ 画像処理制御部
６２ 基準パターン選択部
３４１ 輝度抽出部
３４２ 距離算出部
３４３ 基準パターン補正部
３４４ 演算部
３４５ 認識部
６３１ 基準パターン部
６３２ 車両別評価部

Claims (6)

1. 車両の外界の温度分布に応じた画像データを検出する検出手段及び該検出手段が検出した画像データに基づいて人間の存在の認識をする画像認識手段を有する人間認識装置と、該画像認識手段が人間の存在の認識に用いる人間の温度分布を表す基準パターンを複数記憶してある記憶装置とを備える人間認識システムにおいて、
   前記記憶装置は、
   外界情報又は車両の位置情報を受信する受信手段と、
   受信した外界情報又は車両の位置情報に基づいて基準パターンを選択する選択手段と、
   選択した基準パターンを前記人間認識装置へ送信する送信手段と
   を備え、
   前記人間認識装置は、
   人間の温度分布を表す基準パターンを受信する受信手段を備え、
   前記画像認識手段は、検出した画像データと受信した基準パターンとを比較して人間の存在を認識すべくなしてあることを特徴とする人間認識システム。
2. 前記人間認識装置は、
   基準パターンに関する評価結果を送信する送信手段を備え、
   前記記憶装置の受信手段は、
   車両の位置情報に対応した地域内の第１の車両の人間認識装置から基準パターンに関する評価結果を受信し、前記地域内の第２の車両の人間認識装置から基準パターンの送信要求を受信すべくなしてあり、
   前記記憶装置の送信手段は、
   受信した評価結果に基づいた基準パターンを、前記地域内の第２の車両へ送信すべくなしてあることを特徴とする請求項１に記載された人間認識システム。
3. 車両の外界の温度分布に応じた画像データを検出する検出手段と、該検出手段が検出した画像データを画像処理して人間の存在の認識をする画像認識手段とを備える人間認識装置において、
   人間の温度分布を表す基準パターンを受信する受信手段を備え、
   前記画像認識手段は、検出した画像データと受信した基準パターンとを比較して人間の存在を認識すべくなしてあることを特徴とする人間認識装置。
4. 前記人間認識装置は、外界情報又は車両の位置情報を受付ける受付手段と、
   受付けた外界情報又は車両の位置情報を送信する送信手段と
   を備えたことを特徴とする請求項３に記載された人間認識装置。
5. 人間の温度分布を表す基準パターンを複数記憶してある記憶装置において、
   外界情報又は車両の位置情報を受信する受信手段と、
   受信した外界情報又は車両の位置情報に基づいて基準パターンを選択する選択手段と、
   選択した基準パターンを送信する送信手段と
   を備えたことを特徴とする記憶装置。
6. 車両の外界の温度分布に応じた画像データを検出し、検出した画像データと人間の温度分布を表す基準パターンとを比較して人間の存在を認識する人間認識方法であって、
   複数の基準パターンを記憶しておき、
   その中から外界情報又は車両の位置情報に応じて基準パターンを選択し、
   選択した基準パターンを用いて人間の存在を認識することを特徴とする人間認識方法。

Images