JP2009064274A - 歩行者認識装置 - Google Patents

Abstract

【課題】車両用の歩行者認識装置において、歩行者の誤認識を回避しつつ、認識漏れも回避する。
【解決手段】歩行者認識装置が検出した対象物を人物として画像認識する閾値として“スレッショルドａ”を採用すると「Ｂ：人物であるか人物でないか区別が困難なもの」は「Ａ：明らかに人物でないもの」と同様に認識される。“スレッショルドｂ”を採用すると「Ｂ：人物であるか人物でないか区別が困難なもの」は「Ｃ：明らかに人物であるもの」と同様に認識される。車両と歩行者との接触危険性が高い場合に“スレッショルドａ”を採用すると、「Ｂ：人物であるか人物でないか区別が困難なもの」も“人物”と認識されるため歩行者認識の確実性を高めうる。また、車両と歩行者との接触危険性が低い場合に“スレッショルドｂ”を採用すると「Ｂ：人物であるか人物でないか区別が困難なもの」が“人物でない物体”と認識されるため歩行者認識の誤認識を抑制しうる。
【選択図】 図１

Description

本発明は、車両の前方を撮影するカメラによる入力画像から、該車両の前方に存在する歩行者を所定の認識レベルで認識する歩行者認識手段と、歩行者認識手段によって車両の前方に存在する歩行者が認識された場合に、該車両の運転者に対して警報を発する警報手段とを有する歩行者認識装置に関し、特に、車両の運転者に対して、歩行者が存在することを報知する警報を誤って発したり、歩行者との接触を自動回避するための車両の自動制御を誤っておこなったりしてしまうことを回避しつつ、歩行者の認識漏れが発生することも回避することが可能な歩行者認識装置に関する。

従来から、車両の前方に存在する歩行者を、カメラ画像を画像認識することによって認識する歩行者認識装置が周知である。このようにして車両の前方に歩行者の存在が認識されると、車両の運転者に対して警報を発したり車両を自動制御したりして、歩行者の安全を確保することが可能になる。

かかる歩行者認識装置にて、歩行者の認識を早期かつ正確におこなうために、例えば、特許文献１には、車両が、歩行者が存在する可能性が高い場所に位置することを検知した場合に、歩行者の認識レベルを高くすることによって歩行者の認識を早期かつ正確におこなう車両の傷害物検出装置が開示されている。

また、特許文献２には、例えば車両の前方に存在する歩行者の安全を確保するために、車両が事故多発地帯に位置することを検知した場合に、車両の車速を制御して当該道路区間の制限速度より低い速度に制限し、車両が該事故多発地帯から離脱したことを検知すると、車両の車速の制限を解除する車両用速度制限装置が開示されている。

また、特許文献３には、例えば車両の前方に存在する歩行者の安全を確保するために、ＶＩＣＳ（登録商標）から取得した事故多発地点における事故車両の車両位置情報、車両走行状態、他車両位置情報、他車両走行状態と、当該事故多発地点における自車の車両位置情報、車両走行状態、他車両位置情報、他車両走行状態とが一致する場合に、運転者に危険性を警報する車両警報システムが開示されている。

なお、特許文献２および特許文献３に開示されている従来技術を利用すると、特許文献１に開示されている従来技術における、歩行者が存在する可能性が高い場所に位置することの検知が可能になる。

特開平５−３４２４９７号公報 特開２００７−８４０７号公報 特開２００７−４７９５３号公報

しかしながら、上記特許文献１〜３に代表される従来技術では、歩行者が存在する可能性が高い場所では、歩行者の認識レベルを高くする、すなわち歩行者の認識基準を低くして歩行者と容易に認識するために、歩行者でない物を歩行者として誤認識してしまうこととなり、車両の運転者に対して、歩行者が存在することを報知する警報を誤って発したり、歩行者との接触を自動回避するための車両の自動制御を誤っておこなったりしてしまうという問題があった。その一方で、歩行者の認識レベルを低くする、すなわち歩行者の認識基準を高くして容易には歩行者と認識しないようにすると、歩行者の認識漏れが発生してしまうというおそれがあった。

本発明は、上記問題点（課題）を解消するためになされたものであって、車両の運転者に対して、歩行者が存在することを報知する警報を誤って発したり、歩行者との接触を自動回避するための車両の自動制御を誤っておこなったりしてしまうことをできるだけ回避しつつ、歩行者の認識漏れが発生することもできるだけ回避することが可能な歩行者認識装置を提供すること目的とする。

上述した問題を解決し、目的を達成するため、本発明は、車両の前方を撮影するカメラによる入力画像から、該車両の前方に存在する歩行者を所定の歩行者認識レベルで認識する歩行者認識手段と、前記歩行者認識手段によって前記車両の前方に存在する歩行者が認識された場合に、該車両の運転者に対して警報を発する警報手段とを有する歩行者認識装置であって、前記所定の歩行者認識レベルを第１の認識レベルに設定した場合に、前記歩行者認識手段によって歩行者が認識されなかった場合に、前記車両の現在位置における歩行者との接触危険性を判定する接触危険性判定手段と、前記接触危険性判定手段により前記車両が位置する地点において歩行者との接触危険性が所定閾値以上であると判定された場合に、前記所定の歩行者認識レベルを前記第１の認識レベルより高い第２の認識レベルへ切り替える歩行者認識レベル切り替え手段とをさらに有することを特徴とする。

また、本発明は、上記発明において、前記接触危険性判定手段は、前記車両に備えられる現在位置取得手段から取得された、前記現在位置が歩行者との接触危険性が高い地点であるか否かを判定する高接触危険地点判定手段と、前記高接触危険地点判定手段によって前記現在位置が歩行者との接触危険性が高い地点であると判定された場合に、所定の記録領域に格納される危険度カウンタに第１の適合値を加算する第１の加算手段と、前記車両に備えられる過去の事故履歴を格納する事故発生地点データベースから取得された事故履歴情報と、現在時刻とから、前記現在位置および該現在時刻が該事故履歴に該当するか否かを判定する事故履歴該当判定手段と、前記事故履歴該当判定手段によって前記現在位置および該現在時刻が該事故履歴に該当すると判定された場合に、前記危険度カウンタに第２の適合値および第３の適合値をそれぞれ加算する第２の加算手段と、前記車両に備えられる車速センサから取得される該車両の現在車速が所定閾値以上であるか否かを判定する車速判定手段と、前記車速判定手段によって前記車両の現在車速が所定閾値以上であると判定された場合に、前記危険度カウンタに第４の適合値を加算する第３の加算手段と、前記第１の加算手段、前記第２の加算手段および前記第３の加算手段による適合値の加算結果を保持する前記危険度カウンタの値が所定値以上であるか否かを判定する判定手段とをさらに含み、前記判定手段によって前記危険度カウンタの値が所定値以上であると判定された場合に、前記車両の現在位置における歩行者との接触危険性が前記所定閾値以上であると判定することを特徴とする。

また、本発明は、車両の前方に存在する歩行者が認識された場合に、該車両の運転者に対して警報を発する警報手段を有する歩行者認識装置であって、前記車両の現在位置における歩行者との接触危険性を判定する接触危険性判定手段と、前記接触危険性判定手段による判定結果に応じて歩行者認識閾値を切り替える歩行者認識閾値を切り替え手段と、前記車両の前方を撮影するカメラによる入力画像から、該車両の前方に存在する歩行者が存在する可能性のある歩行者候補領域を検出する歩行者候補領域検出手段と、前記歩行者候補領域と所定の歩行者認識用パターン画像とを画像パターンマッチィングし、その一致度が前記歩行者認識閾値以上である場合に、該歩行者候補領域を歩行者と認識する歩行者認識手段とを有することを特徴とする。

本発明によれば、車両の現在位置における歩行者との接触危険性に応じて歩行者認識手段の歩行者認識レベルを切り替えるので、車両の運転者に対して、歩行者が存在することを報知する警報を誤って発したり、歩行者との接触を自動回避するための車両の自動制御を誤っておこなったりしてしまうことを回避しつつ、歩行者の認識漏れが発生することも回避することが可能になるという効果を奏する。

また、本発明によれば、判定手段によって前記危険度カウンタの値が所定値以上であると判定された場合に、車両の現在位置における歩行者との接触危険性が所定閾値以上であると判定するので、車両が置かれる状況を多面的に判断して歩行者との接触危険性を判定することが可能になるという効果を奏する。また、車両が置かれる状況の判断を、現在位置取得手段、事故発生地点データベース、車速センサという車両に備えられる他の装置から取得される情報に基づいておこなうので、低コストで歩行者認識精度の高い歩行者認識装置を提供することが可能になるという効果を奏する。

また、本発明によれば、歩行者認識手段は、歩行者認識閾値を切り替え手段によって切り替えられた歩行者認識閾値に基づいて歩行者候補領域と所定の歩行者認識用パターン画像との画像パターンマッチィングにより歩行者認識をおこなうので、車両の運転者に対して、歩行者が存在することを報知する警報を誤って発したり、歩行者との接触を自動回避するための車両の自動制御を誤っておこなったりしてしまうことを回避しつつ、歩行者の認識漏れが発生することも回避することが可能になるという効果を奏する。

以下に添付図面を参照し、本発明の歩行者認識装置にかかる実施例１および実施例２を詳細に説明する。以下の実施例１および実施例２では、歩行者と人物とを同義で使用する。すなわち、自車両の前方で認識されたすべての人物は、自車両との接触を回避しなければならない歩行者と見なしうるからである。

先ず、これらの実施例の説明に先立ち、本発明の目的の概略について説明する。図１は、本発明の概要を説明するための図である。

車両の前方周辺を撮影する車載カメラでの撮影画像を入力として、該撮影画像の画像認識処理によって該車両の前方に存在する歩行者を認識する状況を想定する。この状況で、図１に示すように、画像認識処理によって車両の前方に存在する物体は、「Ａ：明らかに人物でないもの」と、「Ｂ：人物であるか人物でないか区別が困難なもの」と、「Ｃ：明らかに人物であるもの」の３種類に類別することが可能である。

なお、「Ａ：明らかに人物でないもの」とは、実際には“人物でない物体”であって、画像認識によって確実に“人物でない物体”として認識されるものである。また、「Ｃ：明らかに人物であるもの」とは、実際に“人物”であって、画像認識によって確実に“人物”として認識されるものである。その一方で、「Ｂ：人物であるか人物でないか区別が困難なもの」とは、撮影画像の状況から、実際には“人物でない物体”であるが、画像認識によって“人物”として誤認識されうるもの、もしくは、実際には“人物”であるが、画像認識によって“人物でない物体”として誤認識されうるものである。

ここで、「Ｂ：人物であるか人物でないか区別が困難なもの」には、図１に示すように、「人物でないが人物と護身式されるもの」と、「人物だが人物でないと誤認識されるもの、または人物が人物でないと誤認識される状況」との２つに分類される。

「人物でないが人物と護身式されるもの」には、“左右対称物（電柱、ポール、樹木など）”、“等身大の立て看板”、“マネキン人形”、“遠目で見た場合に歩行者と同程度の大きさの物（電柱、ポストなど）”などがある。これらの画像パターンは、おおむね人物の画像認識パターンデータと類似するために、人物として誤認識されるものである。

「人物だが人物でないと誤認識されるもの」には、“身体の一部が見えていない人物”、“自転車やオートバイに乗っている人物”、“腰が曲がった高齢者”、“背景と同化した人物（例えば、白色の背景で白の衣服を着ている人物、黒色の背景で黒の衣服を着ている人物、草木の背景で迷彩色の衣服を着ている人物）”、“立ち姿勢でない（座ったり寝転んだりしている）人物”などがある。これらは、これらの画像パターンは、人物の画像認識パターンデータと乖離するために、人物でないとして誤認識されるものである。

また、「人物が人物でないと誤認識される状況」には、車両の“坂の走行時”、車両の“夜間走行時”、車両に対して“逆光があるとき”、車両が“凸凹の道を走行時”などがある。これらの状況時には、人物を正確に認識することが困難になる。

そして、歩行者認識においては、“人物でない物体”と“人物”とに明確に２分しなければならない。そのために、“人物でない物体”と“人物”とを２分するスレッショルドとして、図１に示す“スレッショルドａ”または“スレッショルドｂ”のいずれを採用するかによって、「Ｂ：人物であるか人物でないか区別が困難なもの」が“人物でない物体”または“人物”のいずれに含まれるかが異なってくる。

図１に示すように、“人物でない物体”と“人物”とを２分するスレッショルドとして“スレッショルドａ”を採用すると、「Ｂ：人物であるか人物でないか区別が困難なもの」は、「Ａ：明らかに人物でないもの」と同じグループ、すなわち“物体”として認識されることとなる。

この一方で、“人物でない物体”と“人物”とを２分するスレッショルドとして“スレッショルドｂ”を採用すると、「Ｂ：人物であるか人物でないか区別が困難なもの」は、「Ｃ：明らかに人物であるもの」と同じグループ、すなわち“人物”として認識されることとなる。

そして、車両と歩行者との接触の危険性が高いとされる場合には、前述のスレッショルドとして“スレッショルドａ”を採用すると、「Ｂ：人物であるか人物でないか区別が困難なもの」も“人物”と認識されるため、歩行者認識の確実性を高めることが可能になる。

一方、車両と歩行者との接触の危険性が低いとされる場合には、前述のスレッショルドとして“スレッショルドｂ”を採用すると、「Ｂ：人物であるか人物でないか区別が困難なもの」が“人物でない物体”と認識されるため、歩行者認識の誤認識を抑制することが可能になる。

本発明は、このように、車両と歩行者との接触の危険性に応じて“人物でない物体”と“人物”とを２分するスレッショルド、すなわち、歩行者認識装置が検出した対象物を“人物”として画像認識する閾値を切り替えることによって、車両の運転者に対して、歩行者が存在することを報知する警報を誤って発したり、歩行者との接触を自動回避するための車両の自動制御を誤っておこなったりしてしまうことをできるだけ回避しつつ、歩行者の認識漏れが発生することもできるだけ回避すること、すなわち、車両用の歩行者認識装置において、歩行者の誤認識を回避しつつ、認識漏れも回避することを目的としてなされた。

以下に、図２〜図６を参照して、本発明にかかる実施例１を説明する。図２は、実施例１にかかる歩行者認識装置の構成を示す機能ブロック図である。同図に示すように、実施例１にかかる歩行者認識装置１００ａは、車両１０において、車載ネットワーク９００を介して、例えばカーナビゲーション装置などの現在位置取得装置２００ａと、ＶＩＣＳ（Vehicle Information and Communication System、登録商標）受信装置である道路情報受信装置２００ｂと、過去に発生した事故履歴を、事故発生地点、事故発生時刻、事故発生状況などを対応付けて記録したデータベースである事故発生地点データベース３００と、車速センサ４００と、システムクロック５００と、プリクラッシュＥＣＵ（Electronic Control Unit）６００と接続されている。

プリクラッシュＥＣＵ６００には、ブレーキ６００ａと、ＥＦＩ（Electronic Fuel Injection、エンジン燃料噴射制御装置）６００ｂと、画像表示画面を有するディスプレイ６００ｃと、音声発生装置であるスピーカ６００ｄとが接続されている。

プリクラッシュＥＣＵ６００は、歩行者認識装置１００ａからの指示に基づき、車両１０と歩行者との接触事故の可能性があれば、運転者にディスプレイ６００ｃやスピーカ６００ｄからの報知を制御するとともに、衝突の危険度によっては、車両１０と歩行者との接触を回避するために、車両の走行制御（ブレーキ６００ａの制御、アクセル開度制御に基づくＥＦＩ６００ｂの制御など）を行なう。

歩行者認識装置１００ａには、前方カメラ１０３が接続されている。前方カメラ１０３は、車両１０の前部に備えられ、車両１０の前方およびその周辺の画像を撮影し、その画像を歩行者認識装置１００ａへと入力する。

歩行者認識装置１００ａは、マイクロ・コンピュータなどの制御装置である制御部１０１と、不揮発性の記憶装置である記憶部１０２とを有する。制御部１０１は、歩行者認識装置１００ａの全体制御をつかさどり、特に実施例１に関連する構成として、歩行者認識処理部１０１ａと、歩行者認識レベル切り替え処理部１０１ｂと、危険度判定処理部１０１ｃと、認識結果判定処理部１０１ｄとをさらに有する。

また、記憶部１０２は、人物認識パターンデータテーブル１０２ａと、中間物体認識パターンデータテーブル１０２ｂとを有する。人物認識パターンデータテーブル１０２ａは、標準的な人物を画像認識するための画像認識パターンデータを格納するテーブルである。そのテーブル例を図３に示すように、「人物名」のカラムに「認識データ」が対応付けられて格納されている。例えば「人物名」が“男性”の場合には、“男性認識データ”が対応付けられている。

また、中間物体認識パターンデータテーブル１０２ｂは、中間物体を画像認識するための画像認識パターンデータを格納するテーブルである。中間物体とは、実際には“人物でない物体”であるが、画像認識によって“人物”として誤認識されうるもの、もしくは、実際には“人物”であるが、画像認識によって“人物でない物体”として誤認識されうるものである。そのテーブル例を図４に示すように、「中間物体名」のカラムに「認識データ」が対応付けられて格納されている。例えば「中間物体名」が“電柱”の場合には、“電柱認識データ”が対応付けられている。

歩行者認識装置１００ａの歩行者認識処理部１０１ａは、前方カメラ１０３から入力された画像を、所定の歩行者認識レベルで画像認識し、その認識結果を認識結果判定処理部１０１ｄへと出力する。この画像認識は、前方カメラ１０３から入力された画像の歩行者候補領域（歩行者と認識される可能性がある画像領域）と、人物認識パターンデータテーブル１０２ａまたは中間物体認識パターンデータテーブル１０２ｂに格納される認識データとの画像パターンマッチングの一致度が所定一致度（以下、歩行者認識閾値と呼ぶ）以上である場合に、歩行者候補領域を実際の“歩行者”として認識する処理である。

実施例１では、この所定の歩行者認識レベルとして、「低認識レベル」および「高認識レベル」の２段階の歩行者認識レベルを切り替えて使用する。この「低認識レベル」および「高認識レベル」切り替えは、歩行者認識レベル切り替え処理部１０１ｂによっておこなわれ、歩行者認識処理部１０１ａへ通知される。

ここで、「低認識レベル」の歩行者認識レベルでおこなわれる前方カメラ１０３から入力された画像の画像認識とは、歩行者認識処理部１０１ａが人物認識パターンデータテーブル１０２ａのみを参照しておこなう画像認識である。人物認識パターンデータテーブル１０２ａが、標準的な人物のみの画像認識パターンデータのみを格納することから、この「低認識レベル」の歩行者認識レベルによって、人物が画像認識される確率は低くなる。すなわち、「低認識レベル」の歩行者認識レベルでは、人物でない物体を人物として誤認識する確率は低く抑制されるが、逆に人物を認識する認識率が低下することとなり、人物の認識漏れを招くおそれがある。

また、「高認識レベル」の歩行者認識レベルでおこなわれる前方カメラ１０３から入力された画像の画像認識とは、歩行者認識処理部１０１ａが人物認識パターンデータテーブル１０２ａおよび中間物体認識パターンデータテーブル１０２ｂの双方を参照しておこなう画像認識である。

中間物体認識パターンデータテーブル１０２ｂが、実際には“人物でない物体”であるが、画像認識によって“人物”として誤認識されうるもの、もしくは、実際には“人物”であるが、画像認識によって“人物でない物体”として誤認識されうるものの両方の画像認識パターンデータを格納することから、この「高認識レベル」の歩行者認識レベルによって、人物が画像認識される確率が高くなる。すなわち、「高認識レベル」の歩行者認識レベルでは、人物を認識する認識率が向上し、人物の認識漏れが低減される一方で、人物でない物体を人物として誤認識する確率が高くなる。

このように、その特性が相反する「低認識レベル」および「高認識レベル」の歩行者認識レベルの切り替えの必要性を判定するのが、危険度判定処理部１０１ｃである。すなわち、危険度判定処理部１０１ｃは、「低認識レベル」での画像認識によって人物が認識されなかった場合に、認識結果判定処理部１０１ｄからの指示に応じて、現在位置取得手段２００ａから取得される車両１０の現在位置、現在位置は交差点か否か、現在位置は道路工事区間か否かなどの情報など、道路情報受信装置２００ｂから取得される道路渋滞情報など、事故発生地点データベース３００から取得される事故発生場所、事故発生時刻、事故発生状況など、車速センサ４００から取得される車両１０の現在の車速、システムクロック５００から取得される現在時刻に基づいて、歩行者との接触事故の発生の可能性の尤度を算出する。

そして、危険度判定処理部１０１ｃは、車両１０と、歩行者との接触事故の発生の可能性の尤度が一定値以上の高い水準にあると判定された場合に、歩行者認識レベル切り替え処理部１０１ｂに対して、歩行者認識レベルを「高認識レベル」へ切り替えるように指示する。

また、危険度判定処理部１０１ｃは、車両１０と、歩行者との接触事故の発生の可能性の尤度が一定値未満の低い水準にあると判定された場合に、歩行者認識レベル切り替え処理部１０１ｂに対して、歩行者認識レベルを「低認識レベル」へ切り替えるように指示する。

認識結果判定処理部１０１ｄは、歩行者認識処理部１０１ａによる「低認識レベル」での歩行者認識処理によって人物が認識されなかった場合に、危険度判定処理部１０１ｃに対して、車両１０の歩行者との接触の危険性を判定するように指示する。危険度判定処理部１０１ｃは、認識結果判定処理部１０１ｄからの指示に応じて、現在位置取得装置２００ａから取得される情報、道路情報受信装置２００ｂから取得される情報、事故発生地点データベース３００から取得される情報、車速センサ４００から取得される車両１０の現在の車速、システムクロック５００から取得される現在時刻に基づいて、歩行者との接触事故の発生の可能性の尤度を算出する。

次に、図２に示した歩行者認識装置１００ａの制御部１０１で実行される歩行者認識処理について説明する。図５は、図２に示した歩行者認識装置１００ａの制御部１０１で実行される歩行者認識処理手順を示すフローチャートである。同図に示すように、先ず、歩行者認識レベル切り替え処理部１０１ｂは、歩行者認識レベルを「低認識レベル」に設定する（ステップＳ１０１）。

続いて、歩行者認識処理部１０１ａは、前方カメラ１０３から入力された画像を、「低認識レベル」で画像認識し、その認識結果を認識結果判定処理部１０１ｄへと出力する（ステップＳ１０２）。

続いて、認識結果判定処理部１０１ｄは、歩行者を認識したか否かを判定する（ステップＳ１０３）。歩行者を認識したと判定された場合に（ステップＳ１０３肯定）、ステップＳ１０９へ移り、歩行者を認識したと判定されなかった場合に（ステップＳ１０３否定）、ステップＳ１０４へ移る。

ステップＳ１０４では、危険度判定処理部１０１ｃは、車両１０が置かれる状況に応じた車両１０と歩行者との接触事故の発生の可能性の尤度である危険度を算出する危険度算出処理をおこなう。この危険度算出処理の詳細は、図６を参照して後述する。続いて、危険度判定処理部１０１ｃは、危険度算出処理で算出した危険度が所定閾値以上であるか否かを判定する（ステップＳ１０５）。危険度が所定閾値以上であると判定される場合に（ステップＳ１０５肯定）、ステップＳ１０６へ移り、危険度が所定閾値以上であると判定されなかった場合に（ステップＳ１０５否定）、ステップＳ１０９ａへ移る。

ステップＳ１０６では、歩行者認識レベル切り替え処理部１０１ｂは、歩行者認識レベルを「高認識レベル」に切り替える。続いて、歩行者認識処理部１０１ａは、前方カメラ１０３から入力された画像を、「高認識レベル」で再度画像認識し、その認識結果を認識結果判定処理部１０１ｄへと出力する（ステップＳ１０７）。

続いて、認識結果判定処理部１０１ｄは、歩行者を認識したか否かを判定する（ステップＳ１０８）。歩行者を認識したと判定された場合に（ステップＳ１０８肯定）、ステップＳ１０９へ移り、歩行者を認識したと判定されなかった場合に（ステップＳ１０８否定）、ステップＳ１０９ａへ移る。

ステップＳ１０９では、認識結果判定処理部１０１ｄは、プリクラッシュＥＣＵ６００に対して、運転者への警報、車両１０の走行制御をおこなうように指示する。この処理が終了すると、ステップＳ１０９ａへ移る。

ステップＳ１０９ａでは、歩行者認識レベル切り替え処理部１０１ｂは、歩行者認識レベルを「低認識レベル」に戻す。続いて、所定の記憶領域に格納される「危険度カウンタ」をリセットする（ステップＳ１０９ｂ）。

以上の歩行者認識処理によれば、先ずステップＳ１０２で「低認識レベル」で歩行者認識をおこなって歩行者が認識されなかった場合に、車両１０が置かれる状況に応じた車両１０と歩行者との接触事故の発生の可能性の尤度である危険度が所定閾値以上であるとき、ステップＳ１０６で歩行者認識レベルを「高認識レベル」へ切り替えて、再度歩行者認識をおこなうので、歩行者の誤認識を防止するとともに、危険度が高い場合には認識レベルを上げて、歩行者の認識漏れを防止することが可能になる。そして、歩行者の誤認識の防止と歩行者の認識漏れの防止とのバランスを図りつつ、効率的に歩行者認識を行うことが可能になる。

次に、図５に示した危険度算出処理について説明する。図６は、危険度算出処理手順を示すフローチャートである。同図に示すように、先ず、危険度判定処理部１０１ｃは、現在位置取得装置２００ａから車両１０の現在位置情報を取得する（ステップＳ１１０）。なお、この現在位置情報には、道路情報受信装置２００ｂから取得される道路情報（例えば、道路の渋滞情報など）が含まれてもよい。

続いて、危険度判定処理部１０１ｃは、ステップＳ１１０で取得された現在位置情報に基づき、車両１０の現在位置が車両１０と歩行者との接触事故の発生の可能性が高い危険地帯（例えば、交差点や道路工事区間など）であるか否かを判定する（ステップＳ１１１）。車両１０の現在位置が車両１０と歩行者との接触事故の発生の可能性が高い危険地帯であると判定された場合に（ステップＳ１１１肯定）、ステップＳ１１２へ移り、車両１０の現在位置が車両１０と歩行者との接触事故の発生の可能性が高い危険地帯であると判定されなかった場合に（ステップＳ１１１否定）、ステップＳ１１３へ移る。

ステップＳ１１２では、危険度判定処理部１０１ｃは、所定の記憶領域に格納される「危険度カウンタ」に、車両１０の現在位置が危険地帯であることの重大性を考慮した適合値ａを加算する。

ステップＳ１１３では、危険度判定処理部１０１ｃは、事故発生地点データベース３００から事故発生地点情報を取得する。続いて、危険度判定処理部１０１ｃは、ステップＳ１１３で取得された事故発生地点情報に基づき、車両１０の現在位置が過去に自動車と歩行者との接触事故が発生した事故発生地点であるか否かを判定する（ステップＳ１１４）。車両１０の現在位置が過去に自動車と歩行者との接触事故が発生した事故発生地点であると判定された場合に（ステップＳ１１４肯定）、ステップＳ１１５へ移り、車両１０の現在位置が過去に自動車と歩行者との接触事故が発生した事故発生地点であると判定されなかった場合に（ステップＳ１１４否定）、ステップＳ１１６へ移る。

ステップＳ１１５では、危険度判定処理部１０１ｃは、所定の記憶領域に格納される「危険度カウンタ」に、車両１０の現在位置が事故発生地点であることの重大性を考慮した適合値ｂを加算する。

ステップＳ１１６では、危険度判定処理部１０１ｃは、システムクロック５００から現在時刻を取得する。続いて、危険度判定処理部１０１ｃは、ステップＳ１１６で取得された事故発生地点情報に基づき、現在時刻が過去に自動車と歩行者との接触事故が発生した事故発生時刻と同一であるまたは近接しているか否かを判定する（ステップＳ１１７）。現在時刻が過去に自動車と歩行者との接触事故が発生した事故発生時刻と同一であるまたは近接していると判定された場合に（ステップＳ１１７肯定）、ステップＳ１１８へ移り、現在時刻が過去に自動車と歩行者との接触事故が発生した事故発生時刻と同一であるまたは近接していると判定されなかった場合に（ステップＳ１１７否定）、ステップＳ１１９へ移る。

ステップＳ１１８では、危険度判定処理部１０１ｃは、所定の記憶領域に格納される「危険度カウンタ」に、現在時刻が事故発生時刻と同一であるまたは近接していることの重大性を考慮した適合値ｃを加算する。

ステップＳ１１９では、危険度判定処理部１０１ｃは、車速センサ４００から車両１０の現在の車速を取得する。続いて、危険度判定処理部１０１ｃは、ステップＳ１１９で取得された車速に基づき、該車速が所定閾値以上であるか否かを判定する（ステップＳ１２０）。車速が所定閾値以上であると判定された場合に（ステップＳ１２０肯定）、ステップＳ１２１へ移り、車速が所定閾値以上であると判定されなかった場合に（ステップＳ１２０否定）、図６の歩行者認識処理へ復帰する。

ステップＳ１２１では、危険度判定処理部１０１ｃは、所定の記憶領域に格納される「危険度カウンタ」に、車速が所定閾値以上であることの重大性を考慮した適合値ｄを加算する。この処理が終了数すると、図６の歩行者認識処理へ復帰する。

以上の危険度算出処理によれば、車両１０が置かれる状況の判断を、現在位置取得装置２００ａ、道路情報受信装置２００ｂ、事故発生地点データベース３００、車速センサ４００、システムクロック５００という車両１０に備えられる他の装置から取得される情報に基づいておこなうので、低コストで歩行者認識精度の高い歩行者認識装置を提供することが可能になるという効果を奏する。

以下に、図７〜図９を参照して、本発明にかかる実施例２を説明する。図７は、実施例２にかかる歩行者認識装置の構成を示す機能ブロック図である。同図に示すように、実施例２にかかる歩行者認識装置１００ｂは、記憶部１０２が人物認識パターンデータテーブル１０２ａのみを含む点のみが図２に示した実施例１にかかる歩行者認識装置１００ａと異なり、その他の構成は、歩行者認識装置１００ａと同一である。

また、処理機能の差異は、次の点である。すなわち、歩行者認識レベル切り替え処理部１０１ｂは、危険度判定処理部１０１ｃによる危険度の判定結果に応じて、歩行者認識処理部１０１ａの画像認識の画像パターンマッチングの歩行者認識閾値を「低レベル」または「高レベル」へと切り替える点のみが、実施例１にかかる歩行者認識装置１００ａと異なるのみである。

例えば、「低レベル」の歩行者認識閾値を“５０％”とし、「高レベル」の歩行者認識閾値を“９０％”とする。この場合、前方カメラ１０３から入力された画像の歩行者候補領域と、人物認識パターンデータテーブル１０２ａに格納される認識データとの画像パターンマッチングの歩行者認識閾値を「低レベル」の“５０％”とすると、画像パターンマッチング結果が５０％以上の一致度でありさえすれば、歩行者候補領域は“歩行者”として認識される。すなわち、“歩行者”が認識される確率が高くなり、歩行者の認識漏れを防止することができる。

一方、前方カメラ１０３から入力された画像の歩行者候補領域と、人物認識パターンデータテーブル１０２ａに格納される認識データとの画像パターンマッチングの歩行者認識閾値を「高レベル」の“９０％”とすると、画像パターンマッチング結果が９０％以上の一致度でなければ、歩行者候補領域は“歩行者”として認識されない。すなわち、“歩行者”が認識される確率が低くなる代わりに、歩行者の誤認識を防止することができる。

次に、図７に示した歩行者認識装置１００ｂの制御部１０１で実行される歩行者認識処理について説明する。図８は、図７に示した歩行者認識装置１００ｂの制御部１０１で実行される歩行者認識処理手順を示すフローチャートである。同図に示すように、先ず、危険度判定処理部１０１ｃは、車両１０が置かれる状況に応じた車両１０と歩行者との接触事故の発生の可能性の尤度である危険度を算出する危険度算出処理をおこなう（ステップＳ１３１）。この危険度算出処理は、図６に示したものと同一であるので、説明を省略する。

続いて、危険度判定処理部１０１ｃは、危険度算出処理で算出した危険度が所定閾値以上であるか否かを判定する（ステップＳ１３２）。危険度が所定閾値以上であると判定される場合に（ステップＳ１３２肯定）、ステップＳ１３３へ移り、危険度が所定閾値以上であると判定されなかった場合に（ステップＳ１３２否定）、ステップＳ１３４へ移る。

ステップＳ１３３では、歩行者認識レベル切り替え処理部１０１ｂは、歩行者認識閾値を「低レベル」に設定する。一方、ステップＳ１３４では、歩行者認識レベル切り替え処理部１０１ｂは、歩行者認識閾値を「高レベル」に設定する。これらの処理が終了すると、ステップＳ１３５へ移る。

ステップＳ１３５では、歩行者認識処理部１０１ａは、前方カメラ１０３から入力された画像を、設定された歩行者認識閾値で画像認識し、その認識結果を認識結果判定処理部１０１ｄへと出力する。

続いて、認識結果判定処理部１０１ｄは、歩行者を認識したか否かを判定する（ステップＳ１３６）。歩行者を認識したと判定された場合に（ステップＳ１３６肯定）、ステップＳ１３７へ移り、歩行者を認識したと判定されなかった場合に（ステップＳ１３６否定）、歩行者認識処理は終了する。

ステップＳ１３７では、認識結果判定処理部１０１ｄは、プリクラッシュＥＣＵ６００に対して、運転者への警報、車両１０の走行制御をおこなうように指示する。この処理が終了すると、歩行者認識処理は終了する。

以上の歩行者認識処理によれば、危険度に応じて歩行者認識閾値を切り替える処理のみで歩行者認識の精度を変更可能であることから、従来の歩行者認識装置の構成を大きく変更することなく、低コストで実施例２にかかる歩行者認識装置１００ｂを構成することが可能になる。

図９は、実施例２の歩行者認識処理の概要を説明するための図である。図９を参照して、例えば、前方カメラ１０３から入力された画像７００において２つの歩行者候補領域７０１および歩行者候補領域７０２が検出されたとする。ここで、歩行者候補領域７０１は、通常の立ち姿勢の人物に相当し、歩行者候補領域７０２は、自転車に乗っている人物に相当するとする。

この場合に、歩行者認識閾値が「高レベル」であると、人物認識パターンデータテーブル１０２ａに格納される画像認識パターンデータによれば、歩行者候補領域７０２がパターンの一致度が歩行者認識閾値以上となり“人物”として認識される一方で、歩行者候補領域７０１は、パターンの一致度が歩行者認識閾値に満たず、“人物”として認識されない。しかし、実際は、歩行者候補領域７０１および歩行者候補領域７０２の双方とも“人物”として認識されなければならない。

そこで、歩行者認識閾値を「低レベル」にすると、人物認識パターンデータテーブル１０２ａに格納される画像認識パターンデータによっても、歩行者候補領域７０１および歩行者候補領域７０２の双方のパターンの一致度が歩行者認識閾値以上となり、ともに“人物”として認識されることとなる。このようにして、“人物”の認識漏れを防止することができる。

また、前方カメラ１０３から入力された画像７００における歩行者候補領域７０１は、通常の立ち姿勢の人物に相当し、歩行者候補領域７０２は、電柱であるとする。

この場合に、歩行者認識閾値を「低レベル」にすると、人物認識パターンデータテーブル１０２ａに格納される画像認識パターンデータによれば、歩行者候補領域７０１および歩行者候補領域７０２の双方のパターンの一致度が歩行者認識閾値以上となり、ともに“人物”として認識されることとなる。しかし、実際は、歩行者候補領域７０２は“人物”でないため、“人物“として認識されることは問題である。

そこで、歩行者認識閾値を「高レベル」にする、人物認識パターンデータテーブル１０２ａに格納される画像認識パターンデータによれば、歩行者候補領域７０１がパターンの一致度が歩行者認識閾値以上となり“人物”として認識される一方で、歩行者候補領域７０２は、パターンの一致度が歩行者認識閾値に満たず、“人物”として認識されない。このようにして、“人物”の誤認識を防止することができる。

以上、本発明の実施例を説明したが、本発明は、これに限られるものではなく、特許請求の範囲に記載した技術的思想の範囲内で、更に種々の異なる実施例で実施されてもよいものである。また、実施例に記載した効果は、これに限定されるものではない。

また、上記実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記実施例で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵ（Central Processing Unit）（またはＭＰＵ（Micro Processing Unit）、ＭＣＵ（Micro Controller Unit）などのマイクロ・コンピュータ）および当該ＣＰＵ（またはＭＰＵ、ＭＣＵなどのマイクロ・コンピュータ）にて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現されてもよい。

本発明は、歩行者認識装置による歩行者認識において、車両の運転者に対して、歩行者が存在することを報知する警報を誤って発したり、歩行者との接触を自動回避するための車両の自動制御を誤っておこなったりしてしまうことをできるだけ回避しつつ、歩行者の認識漏れが発生することもできるだけ回避したい場合に有用である。

本発明の概要を説明するための図である。 実施例２にかかる歩行者認識装置の構成を示す機能ブロック図である。 人物認識パターンデータテーブルのテーブル例を示す図である。 中間物体認識パターンデータテーブルのテーブル例を示す図である。 実施例１の歩行者認識処理手順を示すフローチャートである。 危険度算出処理手順を示すフローチャートである。 実施例２にかかる歩行者認識装置の構成を示す機能ブロック図である。 実施例２の歩行者認識処理手順を示すフローチャートである。 実施例２の歩行者認識処理の概要を説明するための図である。

符号の説明

１０ 車両
１００ａ、１００ｂ 歩行者認識装置
１０１ 制御部
１０１ａ 歩行者認識処理部
１０１ｂ 処理部
１０１ｃ 危険度判定処理部
１０１ｄ 認識結果判定処理部
１０２ 記憶部
１０２ａ 人物認識パターンデータテーブル
１０２ｂ 中間物体認識パターンデータテーブル
１０３ 前方カメラ
２００ａ 現在位置取得装置
２００ｂ 道路情報受信装置
３００ 事故発生地点データベース
４００ 車速センサ
５００ システムクロック
６００ プリクラッシュＥＣＵ
６００ａ ブレーキ
６００ｂ ＥＦＩ
６００ｃ ディスプレイ
６００ｄ スピーカ
７００ 画像
７０１ 歩行者候補領域
７０２ 歩行者候補領域
９００ 車載ネットワーク

Claims (3)

1. 車両の前方を撮影するカメラによる入力画像から、該車両の前方に存在する歩行者を所定の歩行者認識レベルで認識する歩行者認識手段と、前記歩行者認識手段によって前記車両の前方に存在する歩行者が認識された場合に、該車両の運転者に対して警報を発する警報手段とを有する歩行者認識装置であって、
   前記所定の歩行者認識レベルを第１の認識レベルに設定した場合に、前記歩行者認識手段によって歩行者が認識されなかった場合に、前記車両の現在位置における歩行者との接触危険性を判定する接触危険性判定手段と、
   前記接触危険性判定手段により前記車両が位置する地点において歩行者との接触危険性が所定閾値以上であると判定された場合に、前記所定の歩行者認識レベルを前記第１の認識レベルより高い第２の認識レベルへ切り替える歩行者認識レベル切り替え手段と
   をさらに有することを特徴とする歩行者認識装置。
2. 前記接触危険性判定手段は、
   前記車両に備えられる現在位置取得手段から取得された、前記現在位置が歩行者との接触危険性が高い地点であるか否かを判定する高接触危険地点判定手段と、
   前記高接触危険地点判定手段によって前記現在位置が歩行者との接触危険性が高い地点であると判定された場合に、所定の記録領域に格納される危険度カウンタに第１の適合値を加算する第１の加算手段と、
   前記車両に備えられる過去の事故履歴を格納する事故発生地点データベースから取得された事故履歴情報と、現在時刻とから、前記現在位置および該現在時刻が該事故履歴に該当するか否かを判定する事故履歴該当判定手段と、
   前記事故履歴該当判定手段によって前記現在位置および該現在時刻が該事故履歴に該当すると判定された場合に、前記危険度カウンタに第２の適合値および第３の適合値をそれぞれ加算する第２の加算手段と、
   前記車両に備えられる車速センサから取得される該車両の現在車速が所定閾値以上であるか否かを判定する車速判定手段と、
   前記車速判定手段によって前記車両の現在車速が所定閾値以上であると判定された場合に、前記危険度カウンタに第４の適合値を加算する第３の加算手段と、
   前記第１の加算手段、前記第２の加算手段および前記第３の加算手段による適合値の加算結果を保持する前記危険度カウンタの値が所定値以上であるか否かを判定する判定手段と
   をさらに含み、
   前記判定手段によって前記危険度カウンタの値が所定値以上であると判定された場合に、前記車両の現在位置における歩行者との接触危険性が前記所定閾値以上であると判定することを特徴とする請求項１に記載の歩行者認識装置。
3. 車両の前方に存在する歩行者が認識された場合に、該車両の運転者に対して警報を発する警報手段を有する歩行者認識装置であって、
   前記車両の現在位置における歩行者との接触危険性を判定する接触危険性判定手段と、
   前記接触危険性判定手段による判定結果に応じて歩行者認識閾値を切り替える歩行者認識閾値を切り替え手段と、
   前記車両の前方を撮影するカメラによる入力画像から、該車両の前方に存在する歩行者が存在する可能性のある歩行者候補領域を検出する歩行者候補領域検出手段と、
   前記歩行者候補領域と所定の歩行者認識用パターン画像とを画像パターンマッチィングし、その一致度が前記歩行者認識閾値以上である場合に、該歩行者候補領域を歩行者と認識する歩行者認識手段と
   を有することを特徴とする歩行者認識装置。

Images