JP2004348645A - 赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置 - Google Patents
赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置 Download PDFInfo
- Publication number
- JP2004348645A JP2004348645A JP2003147739A JP2003147739A JP2004348645A JP 2004348645 A JP2004348645 A JP 2004348645A JP 2003147739 A JP2003147739 A JP 2003147739A JP 2003147739 A JP2003147739 A JP 2003147739A JP 2004348645 A JP2004348645 A JP 2004348645A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- horizontal edge
- pedestrian
- image
- alarm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】赤外線画像上の物体の見え方によらず、他車両と歩行者とを高精度で区別可能な赤外線画像認識装置、及び警報装置を提供する。
【解決手段】歩行者の頭部と判定された２値化対象物を特定対象物とし、その上部に特定対象物と同一距離のエリアＭＡＳＫ１を探索する（Ｓ４１）。次に、特定対象物の距離とＭＡＳＫ１の距離とが一致している最後のＭＡＳＫ１の位置、及びそれが一致しなくなったＭＡＳＫ１の位置を含んだ水平エッジ検出エリアＭＡＳＫ２を設定し（Ｓ４２）、その中で水平エッジを検出する（Ｓ４３）。更にＭＡＳＫ２を左右の水平エッジ検出エリアに分割し（Ｓ４４）、各エリアにおいて、横方向の幅に対して水平エッジの存在する割合を算出する。もし、左右の水平エッジ検出エリアのどちらか一方に、所定の条件を満たす水平エッジが存在する場合（Ｓ４６のＹＥＳまたはＳ４７のＹＥＳ）、捉えられた２値化対象物を車両と判定する。
【選択図】 図８
【解決手段】歩行者の頭部と判定された２値化対象物を特定対象物とし、その上部に特定対象物と同一距離のエリアＭＡＳＫ１を探索する（Ｓ４１）。次に、特定対象物の距離とＭＡＳＫ１の距離とが一致している最後のＭＡＳＫ１の位置、及びそれが一致しなくなったＭＡＳＫ１の位置を含んだ水平エッジ検出エリアＭＡＳＫ２を設定し（Ｓ４２）、その中で水平エッジを検出する（Ｓ４３）。更にＭＡＳＫ２を左右の水平エッジ検出エリアに分割し（Ｓ４４）、各エリアにおいて、横方向の幅に対して水平エッジの存在する割合を算出する。もし、左右の水平エッジ検出エリアのどちらか一方に、所定の条件を満たす水平エッジが存在する場合（Ｓ４６のＹＥＳまたはＳ４７のＹＥＳ）、捉えられた２値化対象物を車両と判定する。
【選択図】 図８
Description
【０００１】
【発明の属する技術分野】
この発明は、自車両の走行に影響を与える対象物を認識する赤外線画像認識装置、及び認識された対象物が歩行者である場合には警報を発する警報装置に関する。
【０００２】
【従来の技術】
従来、赤外線を検知する画像センサを利用して、自車両の周囲に存在する他車両の位置を検出する車両検出装置が提案されている。この装置では、赤外画像に含まれた他車両であると推定される部分画像領域の中から、所定輝度より高輝度に撮影された排気管部分の画像位置を特定し、その排気管部分の画像位置を基準として、その画像位置に対して上下左右に所定割合のサイズを有するフレームを設定すると共に、そのフレームを用いてパターンマッチングを行う。そして、当該他車両までの距離を、赤外線カメラの画角及びその撮像デバイスを構成する画素の距離に関する対応関係と、当該赤外画像の下辺から当該排気管部分の画像位置までの画素数とに基づいて推定する（例えば、特許文献１参照。）。
【０００３】
また、赤外線カメラにより捉えられた車両周辺の画像から、自車両との衝突の可能性がある歩行者等の対象物を抽出し、その情報を自車両の運転者に提供する表示処理装置が提案されている。この装置は、赤外線画像を２値化処理して明部が集中している領域を探し、この領域の縦横比や充足率、更には実面積と画面上の重心位置を用いて距離を算出することで、この領域が歩行者の頭部であるか否かを判定する。そして、歩行者の頭部の領域を決定することができたら、決定した頭部領域のカメラからの距離と成人の平均身長とから、画像上の歩行者の身長を計算して歩行者の身体を包含する領域を設定し、これらの領域を他の領域と区分して表示する。これにより、赤外線画像上の歩行者の身体全体の位置を特定し、この情報を車両の運転者に対して表示することで、より効果的な視覚補助を行うことができる（例えば、特許文献２参照。）。
【０００４】
【特許文献１】
特開２００２−９８５０９号公報
【特許文献２】
特開平１１−３２８３６４号公報
【０００５】
【発明が解決しようとする課題】
しかし、特許文献１に記載の技術では、車両に固有の特徴の１つである「排気管」の有無を判定することにより、他車両を容易に検出することができるものの、排気管の位置は車種によって異なるため、排気管の位置によっては他車両を認識できない場合があるという問題があった。
【０００６】
また、赤外線画像上での歩行者は、着帽や着衣の影響を受けると共に、歩行者自身の存在環境によっては、２値化処理により、頭部のみ、頭部の一部のみ、上半身のみ、下半身のみ、更には身体全体が抽出されるなど、その２値化画像の形状は不定形である。また、一般的に車両走行時には、前方路面の形状の変化や、車両のピッチングの影響があり、歩行者も子供から大人（成人）まで本来とは異なる身長で検出される。従って、対象物の画面での重心座標が距離に対して固定化できないため、特許文献２に記載の装置のように、形状判定のみで歩行者の抽出を行った場合、車両のヘッドライト（Ｈ／Ｌ）やテールライト（Ｔ／Ｌ）等の灯火器は、その存在高さ位置や形状から、歩行者の頭部と区別して識別することが困難である場合が生じる可能性があった。
【０００７】
本発明は、上記課題に鑑みてなされたもので、赤外線画像上の物体の見え方によらず、他車両と歩行者とを高精度で区別することができる赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するために、請求項１の発明に係る赤外線画像認識装置は、車両に搭載されると共に、赤外線を検知する撮像手段により撮像された画像に基づいて前記車両の周囲に存在する物体の認識を行う赤外線画像認識装置であって、歩行者の頭部または他車両の灯火器のどちらかであると推定される対象物を特定対象物として検出する特定対象物検出手段（例えば実施の形態のステップＳ３４に含まれる頭部判定）と、該特定対象物の上方に設定した探索領域に存在する水平エッジに基づいて、前記特定対象物を含む前記物体が他車両であるか否かを判定する車両判定手段（例えば実施の形態のステップＳ３５、ステップＳ４１からステップＳ４９）とを備えたことを特徴とする。
【０００９】
以上の構成を備えた赤外線画像認識装置は、特定対象物検出手段が、歩行者の頭部または他車両の灯火器のどちらかであると推定される対象物を特定対象物として検出すると共に、もし前記車両の周囲に存在する物体が他車両であれば、特定対象物の上方の探索領域内に所定長さ以上の水平エッジが存在するはずであるという車両の形状に係わる特徴に基づいて、車両判定手段が、特定対象物を含む物体が他車両であるか否かを判定することで、容易に車両の周囲に存在する他車両を検出することができる。
【００１０】
請求項２の発明に係る赤外線画像認識装置は、請求項１に記載の赤外線画像認識装置において、前記車両判定手段が、前記特定対象物の水平位置を基準として前記探索領域を左右に分割すると共に、分割された探索領域のいずれかに存在する水平エッジに基づいて、前記物体が他車両であるか否かを判定することを特徴とする。
【００１１】
以上の構成を備えた赤外線画像認識装置は、もし前記車両の周囲に存在する物体が他車両であれば、特定対象物の上方でかつ左右に分割されたいずれかの探索領域内に所定長さ以上の水平エッジが存在するはずであるという車両の形状に係わる特徴に基づいて、車両判定手段が、特定対象物を含む物体が他車両であるか否かを判定することで、容易にかつ高精度で車両の周囲に存在する他車両を検出することができる。
【００１２】
請求項３の発明に係る警報装置は、車両に搭載されると共に、赤外線を検知する撮像手段により撮像された画像に基づいて前記車両の周囲に存在する物体の認識を行い、前記物体が歩行者であると判定された場合に警報を発する警報装置であって、前記歩行者の頭部または他車両の灯火器のどちらかであると推定される対象物を特定対象物として検出する特定対象物検出手段（例えば実施の形態のステップＳ３４に含まれる頭部判定）と、該特定対象物の上方に設定した探索領域に存在する水平エッジに基づいて、前記特定対象物を含む前記物体が他車両であるか否かを判定する車両判定手段（例えば実施の形態のステップＳ３５、ステップＳ４１からステップＳ４９）と、前記物体が他車両であると判定された場合に警報の出力を禁止する警報禁止手段（例えば実施の形態のステップＳ３７）とを備えたことを特徴とする。
【００１３】
以上の構成を備えた警報装置は、特定対象物検出手段が、歩行者の頭部または他車両の灯火器のどちらかであると推定される対象物を特定対象物として検出すると共に、もし前記車両の周囲に存在する物体が他車両であれば、特定対象物の上方の探索領域内に所定長さ以上の水平エッジが存在するはずであるという車両の形状に係わる特徴に基づいて、車両判定手段が、特定対象物を含む物体が他車両であるか否かを判定し、更に警報禁止手段が、車両判定手段によって車両の周囲に存在する物体が他車両であると判定された場合に警報の出力を禁止することで、容易に車両の周囲に存在する歩行者と他車両とを区別し、不要な警報出力を抑制することができる。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の一実施の形態の赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置の構成を示すブロック図である。なお、本実施の形態では、警報装置の一部が赤外線画像認識装置を構成している。
具体的に説明すると、図１において、符号１は、本実施の形態の赤外線画像認識装置、あるいは警報装置を制御するＣＰＵ（中央演算装置）を備えた画像処理ユニットであって、遠赤外線を検出可能な２つの赤外線カメラ２Ｒ、２Ｌと当該車両のヨーレートを検出するヨーレートセンサ３、更に、当該車両の走行速度（車速）を検出する車速センサ４とブレーキの操作を検出するためのブレーキセンサ５が接続される。これにより、画像処理ユニット１は、車両の周辺の赤外線画像と車両の走行状態を示す信号から、車両前方の歩行者や動物等の動く物体を検出し、衝突の可能性が高いと判断したときに警報を発する。
【００１５】
また、画像処理ユニット１には、音声で警報を発するためのスピーカ６と、赤外線カメラ２Ｒ、２Ｌにより撮影された画像を表示し、衝突の危険性が高い対象物を車両の運転者に認識させるための、例えば自車両の走行状態を数字で表すメータと一体化されたメータ一体Ｄｉｓｐｌａｙや自車両のコンソールに設置されるＮＡＶＩＤｉｓｐｌａｙ、更にフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ ）７ａ等を含む画像表示装置７が接続されている。
【００１６】
また、画像処理ユニット１は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（中央演算装置）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、スピーカ６の駆動信号、ＨＵＤ７ａ等の表示信号などを出力する出力回路を備えており、赤外線カメラ２Ｒ、２Ｌ及びヨーレートセンサ３、車速センサ４、ブレーキセンサ５の各出力信号は、ディジタル信号に変換されてＣＰＵに入力されるように構成されている。
【００１７】
また、図２に示すように、赤外線カメラ２Ｒ、２Ｌは、自車両１０の前部に、自車両１０の車幅方向中心部に対してほぼ対称な位置に配置されており、２つの赤外線カメラ２Ｒ、２Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ２Ｒ、２Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
また、ＨＵＤ７ａは、自車両１０のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【００１８】
次に、本実施の形態の動作について図面を参照して説明する。
（対象物検出・警報動作）
図３は、本実施の形態の赤外線画像認識装置、あるいは警報装置の画像処理ユニット１における歩行者等の対象物検出動作と、警報装置の画像処理ユニット１における歩行者等の警報動作を示すフローチャートである。
まず、画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌの出力信号である赤外線画像を取得して（ステップＳ１）、Ａ／Ｄ変換し（ステップＳ２）、グレースケール画像を画像メモリに格納する（ステップＳ３）。なお、ここでは赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。また、右画像と左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１９】
ステップＳ３においてグレースケール画像が得られたら、次に、赤外線カメラ２Ｒにより得られた右画像を基準画像とし、その画像信号の２値化処理、すなわち、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う（ステップＳ４）。
図４（ａ）は、赤外線カメラ２Ｒにより得られたグレースケール画像を示し、これに２値化処理を行うことにより、図４（ｂ）に示すような画像を得る。なお、図４（ｂ）において、例えばＰ１からＰ４の枠で囲った物体を、表示画面上に白色として表示される対象物（以下「高輝度領域」という）とする。
赤外線画像から２値化された画像データを取得したら、２値化した画像データをランレングスデータに変換する処理を行う（ステップＳ５）。ランレングスデータにより表されるラインは、２値化により白となった領域を画素レベルで示したもので、いずれもｙ方向には１画素の幅を有しており、またｘ方向にはそれぞれランレングスデータを構成する画素の長さを有している。
【００２０】
次に、ランレングスデータに変換された画像データから、対象物のラベリングをする（ステップＳ６）ことにより、対象物を抽出する処理を行う（ステップＳ７）。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを１つの対象物とみなすことにより、例えば図４（ｂ）に示す高輝度領域Ｐ１からＰ４が、それぞれ対象物（２値化対象物）として把握されることになる。
対象物の抽出が完了したら、次に、抽出した対象物の重心Ｇ、面積Ｓ及び外接四角形の縦横比ＡＳＰＥＣＴを算出する（ステップＳ８）。
【００２１】
ここで、面積Ｓは、ラベルＡの対象物のランレングスデータを（ｘ［ｉ］、ｙ［ｉ］、ｒｕｎ［ｉ］、Ａ）（ｉ＝０，１，２，・・・Ｎ−１）とすると、ランレングスデータの長さ（ｒｕｎ［ｉ］−１）を同一対象物（Ｎ個のランレングスデータ）について積算することにより算出する。また、対象物Ａの重心Ｇの座標（ｘｃ、ｙｃ）は、各ランレングスデータの長さ（ｒｕｎ［ｉ］−１）と各ランレングスデータの座標ｘ［ｉ］、またはｙ［ｉ］とをそれぞれ掛け合わせ、更にこれを同一対象物について積算したものを、面積Ｓで割ることにより算出する。
更に、縦横比ＡＳＰＥＣＴは、対象物の外接四角形の縦方向の長さＤｙと横方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出する。
なお、ランレングスデータは画素数（座標数）（＝ｒｕｎ［ｉ］）で示されているので、実際の長さは「−１」する（１を減算する）必要がある（＝ｒｕｎ［ｉ］−１）。また、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００２２】
対象物の重心、面積、外接四角形の縦横比が算出できたら、次に、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う（ステップＳ９）。時刻間追跡は、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、例えば時刻ｋで対象物Ａ、Ｂを抽出したら、時刻（ｋ＋１）で抽出した対象物Ｃ、Ｄと対象物Ａ、Ｂとの同一性判定を行う。そして、対象物Ａ、Ｂと対象物Ｃ、Ｄとが同一であると判定されたら、対象物Ｃ、Ｄをそれぞれ対象物Ａ、Ｂというラベルに変更することにより、時刻間追跡が行われる。
また、このようにして認識された各対象物の（重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
【００２３】
なお、以上説明したステップＳ４〜Ｓ９の処理は、２値化した基準画像（本実施の形態では、右画像）について実行する。
次に、車速センサ４により検出される車速ＶＣＡＲ及びヨーレートセンサ３より検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することにより、自車両１０の回頭角θｒを算出する（ステップＳ１０）。
【００２４】
一方、ステップＳ９とステップＳ１０の処理に平行して、ステップＳ１１〜Ｓ１３では、対象物と自車両１０との距離ｚを算出する処理を行う。この演算はステップＳ９、及びステップＳ１０より長い時間を要するため、ステップＳ９、Ｓ１０より長い周期（例えばステップＳ１〜Ｓ１０の実行周期の３倍程度の周期）で実行される。
まず、基準画像（右画像）の２値化画像によって追跡される対象物の中の１つを選択することにより、右画像から探索画像Ｒ１（ここでは、外接四角形で囲まれる領域全体を探索画像とする）を抽出する（ステップＳ１１）。
【００２５】
次に、左画像中から探索画像Ｒ１に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する（ステップＳ１２）。具体的には、探索画像Ｒ１の各頂点座標に応じて、左画像中に探索領域Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を算出し、この総和値Ｃ（ａ，ｂ）が最小となる領域を対応画像として抽出する。なお、この相関演算は、２値化画像ではなくグレースケール画像を用いて行う。
また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域Ｒ２より狭い領域Ｒ２ａを探索領域として設定する。
【００２６】
ステップＳ１２の処理により、基準画像（右画像）中に探索画像Ｒ１と、左画像中にこの対象物に対応する対応画像Ｒ４とが抽出されるので、次に、探索画像Ｒ１の重心位置と対応画像Ｒ４の重心位置と視差Δｄ（画素数）を求め、これから自車両１０と対象物との距離ｚを算出する（ステップＳ１３）。
次に、ステップＳ１０における回頭角θｒの算出と、ステップＳ１３における対象物との距離算出が完了したら、画像内の座標（ｘ，ｙ）及び距離ｚを実空間座標（Ｘ，Ｙ，Ｚ）に変換する（ステップＳ１４）。
ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示すように、赤外線カメラ２Ｒ、２Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標は、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
【００２７】
また、実空間座標が求められたら、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う（ステップＳ１５）。回頭角補正は、時刻ｋから（ｋ＋１）までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、画像の範囲がΔｘだけｘ方向にずれるので、これを補正する処理である。
なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。
【００２８】
実空間座標に対する回頭角補正が完了したら、次に、同一対象物について、ΔＴのモニタ期間内に得られた、回頭角補正後のＮ個（例えばＮ＝１０程度）の実空間位置データ、すなわち時系列データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを求める。
次いで、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置に補正し、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。
【００２９】
これにより、位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる（ステップＳ１６）。
このようにモニタ期間ΔＴ内の複数（Ｎ個）のデータから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。
【００３０】
また、ステップＳ１６において、相対移動ベクトルが求められたら、次に、検出した対象物との衝突の可能性を判定する警報判定処理を行う（ステップＳ１７）。なお、警報判定処理については、詳細を後述する。
ステップＳ１７において、自車両１０と検出した対象物との衝突の可能性がないと判定された場合（ステップＳ１７のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
また、ステップＳ１７において、自車両１０と検出した対象物との衝突の可能性があると判定された場合（ステップＳ１７のＹＥＳ）、ステップＳ１８の警報出力判定処理へ進む。
【００３１】
ステップＳ１８では、ブレーキセンサ５の出力ＢＲから自車両１０の運転者がブレーキ操作を行っているか否かを判別することにより、警報出力判定処理、すなわち警報出力を行うか否かの判定を行う（ステップＳ１８）。
もし、自車両１０の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Ｇｓ（減速方向を正とする）を算出し、この加速度Ｇｓが所定閾値ＧＴＨより大きいときは、ブレーキ操作により衝突が回避されると判定して警報出力判定処理を終了し（ステップＳ１８のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。
【００３２】
また、加速度Ｇｓが所定閾値ＧＴＨ以下であるとき、または自車両１０の運転者がブレーキ操作を行っていなければ、直ちにステップＳ１９の処理へ進み（ステップＳ１８のＹＥＳ）、対象物と接触する可能性が高いので、スピーカ６を介して音声による警報を発する（ステップＳ１９）とともに、画像表示装置７に対して、例えば赤外線カメラ２Ｒにより得られる画像を出力し、接近してくる対象物を自車両１０の運転者に対する強調映像として表示する（ステップＳ２０）。
【００３３】
なお、所定閾値ＧＴＨは、ブレーキ操作中の加速度Ｇｓがそのまま維持された場合に、対象物と自車両１０との距離Ｚｖ（０）以下の走行距離で自車両１０が停止する条件に対応する値である。
【００３４】
（警報判定処理）
以上が、本実施の形態の赤外線画像認識装置、あるいは警報装置の画像処理ユニット１における歩行者等の対象物検出動作と、警報装置の画像処理ユニット１における歩行者等の警報動作であるが、次に、図５に示すフローチャートを参照して、図３に示したフローチャートのステップＳ１７における警報判定処理について更に詳しく説明する。
図５は、本実施の形態の警報判定処理動作を示すフローチャートである。
警報判定処理は、以下に示す衝突判定処理、接近判定領域内か否かの判定処理、進入衝突判定処理、歩行者判定処理、及び人工構造物判定処理により、自車両１０と検出した対象物との衝突の可能性を判定する処理である。以下、図６に示すように、自車両１０の進行方向に対してほぼ９０°の方向から、速度Ｖｐで進行してくる対象物２０がいる場合を例に取って説明する。
【００３５】
図５において、まず、画像処理ユニット１は衝突判定処理を行う（ステップＳ３１）。衝突判定処理は、図６において、対象物２０が時間ΔＴの間に距離Ｚｖ（Ｎ−１）から距離Ｚｖ（０）に接近した場合に、自車両１０とのＺ方向の相対速度Ｖｓを求め、両者が高さＨ以内で相対速度Ｖｓを維持して移動すると仮定して、余裕時間Ｔ以内に両者が衝突するか否かを判定する処理である。ここで、余裕時間Ｔは、衝突の可能性を予測衝突時刻より時間Ｔだけ前に判定することを意図したものである。従って、余裕時間Ｔは例えば２〜５秒程度に設定される。またＨは、高さ方向の範囲を規定する所定高さであり、例えば自車両１０の車高の２倍程度に設定される。
【００３６】
次に、ステップＳ３１において、余裕時間Ｔ以内に自車両１０と対象物とが衝突する可能性がある場合（ステップＳ３１のＹＥＳ）、更に判定の信頼性を上げるために、画像処理ユニット１は対象物が接近判定領域内に存在するか否かの判定処理を行う（ステップＳ３２）。接近判定領域内か否かの判定処理は、図７に示すように、赤外線カメラ２Ｒ、２Ｌで監視可能な領域を太い実線で示す外側の三角形の領域ＡＲ０とすると、領域ＡＲ０内の、Ｚ１＝Ｖｓ×Ｔより自車両１０に近い領域であって、対象物が自車両１０の車幅αの両側に余裕β（例えば５０〜１００ｃｍ程度とする）を加えた範囲に対応する領域ＡＲ１、すなわち対象物がそのまま存在し続ければ自車両１０との衝突の可能性がきわめて高い接近判定領域ＡＲ１内に存在するか否かを判定する処理である。なお、接近判定領域ＡＲ１も所定高さＨを有する。
【００３７】
更に、ステップＳ３２において、対象物が接近判定領域内に存在しない場合（ステップＳ３２のＮＯ）、画像処理ユニット１は対象物が接近判定領域内へ進入して自車両１０と衝突する可能性があるか否かを判定する進入衝突判定処理を行う（ステップＳ３３）。進入衝突判定処理は、上述の接近判定領域ＡＲ１よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域ＡＲ２、ＡＲ３を進入判定領域と呼び、この領域内にある対象物が、移動することにより接近判定領域ＡＲ１に進入すると共に自車両１０と衝突するか否かを判定する処理である。なお、進入判定領域ＡＲ２、ＡＲ３も所定高さＨを有する。
【００３８】
一方、ステップＳ３２において、対象物が接近判定領域内に存在している場合（ステップＳ３２のＹＥＳ）、画像処理ユニット１は対象物が歩行者の可能性があるか否かを判定する歩行者判定処理を行う（ステップＳ３４）。歩行者判定処理は、グレースケール画像上で対象物画像の形状や大きさ、輝度分散等の特徴から、対象物が歩行者か否かを判定する処理である。
【００３９】
歩行者判定処理について、例えば具体的に一例を挙げて説明すると、まず歩行者の頭部が存在するか否かを判定する頭部判定を行うために、グレースケール画像で抽出された対象物領域の中にプロジェクションエリアを設定し、縦方向の輝度プロジョクション（画素毎の輝度を縦方向に積算した積算輝度の横方向の分布）を算出すると共に、映像左上原点を基準にして最大ピークを示す横方向座標を検出する。
【００４０】
次に、検出した横方向位置を基準に、歩行者の頭部位置に相当すると推定される領域に基準領域マスクを設定すると共に、その左右位置に肩上部空間に相当すると推定される２つの対象領域マスクを設定する。
そして、基準領域マスクの平均輝度、及び２つの対象領域マスクの平均輝度を算出すると共に、求められた各領域の平均輝度から、歩行者の頭部が存在するか否かを判定する。具体的には、頭部の左右（背景）の輝度階調に対して高輝度である歩行者頭部の輝度階調が認められる場合、頭部が存在すると判定する。
【００４１】
もし、歩行者の頭部が存在すると判定された場合、次に、歩行者では捉えやすい肩から腕にかけての部分の存在有無を判定するために、「歩行者の左右の肩から腕にかけての部分は頭部位置と同距離に存在すると共に、歩行者の肩から腕にかけての輝度階調は、歩行者の肩上方空間に位置する頭部の左右（背景）の輝度階調とは異なる」という画像上の各領域（各部）の輝度の特徴を用いて、歩行者の肩から腕にかけての部分が存在するか否かを判定する。
【００４２】
具体的には、頭部判定で使用した頭部左右の対象領域マスクの下方に、肩から腕にかけての部分に相当する別の対象領域マスクを設定する。そして、歩行者の肩から腕にかけての部分は形状や距離が変化しやすいので、頭部左右の対象領域マスクと、肩から腕にかけての部分に相当する別の対象領域マスクとの相関度を比較し、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ）の平均誤差を用いて算出した相関度エラー値が所定値以上である場合、肩から腕にかけての部分の存在の可能性があると判定する。
【００４３】
また、歩行者の肩から腕にかけての部分が存在すると判定された場合、歩行者全体の距離と肩から腕にかけての部分の距離とは等しいはずであるから、歩行者全体の距離と肩から腕にかけての部分に相当する別の対象領域マスクの距離とが等しい場合、肩から腕にかけての部分が存在する対象物が歩行者であると判定することができる。
【００４４】
また、ステップＳ３４において、対象物は歩行者の可能性があると判定された場合（ステップＳ３４のＹＥＳ）、更に判定の信頼性を上げるために、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う（ステップＳ３５）。人工構造物判定処理は、ステップＳ３４において歩行者の可能性があると判定された対象物画像に、歩行者にはあり得ない特徴が検出された場合、該対象物を人工構造物と判定し、警報の対象から除外する処理である。なお、人工構造物判定処理については、詳細を後述する。
【００４５】
従って、上述のステップＳ３３において、対象物が接近判定領域内へ進入して自車両１０と衝突する可能性がある場合（ステップＳ３３のＹＥＳ）、及びステップＳ３５において、歩行者の可能性があると判定された対象物が人工構造物でなかった場合（ステップＳ３５のＮＯ）、画像処理ユニット１は、自車両１０と検出した対象物との衝突の可能性がある（警報の対象である）と判定し（ステップＳ３６）、図３に示すステップＳ１７のＹＥＳとしてステップＳ１８へ進み、警報出力判定処理（ステップＳ１８）を行う。
【００４６】
一方、上述のステップＳ３１において、余裕時間Ｔ以内に自車両１０と対象物とが衝突する可能性がない場合（ステップＳ３１のＮＯ）、あるいはステップＳ３３において、対象物が接近判定領域内へ進入して自車両１０と衝突する可能性がない場合（ステップＳ３３のＮＯ）、あるいはステップＳ３４において、対象物は歩行者の可能性がないと判定された場合（ステップＳ３４のＮＯ）、更にはステップＳ３５において、歩行者の可能性があると判定された対象物が人工構造物であった場合（ステップＳ３５のＹＥＳ）のいずれかであった場合は、画像処理ユニット１は、自車両１０と検出した対象物との衝突の可能性がない（警報の対象ではない）と判定し（ステップＳ３７）、図３に示すステップＳ１７のＮＯとしてステップＳ１へ戻り、歩行者等の対象物検出・警報動作を繰り返す。
【００４７】
（人工構造物判定処理）
次に、図８に示すフローチャートを参照して、図５に示したフローチャートのステップＳ３５における人工構造物判定処理について更に詳しく説明する。図８は、本実施の形態の人工構造物判定処理動作を示すフローチャートである。ここでは、図５のステップＳ３４において歩行者の可能性があると判定された対象物画像に、歩行者にはあり得ない特徴として、車両のルーフと推定される水平エッジが検出されるか否かを判定する。
【００４８】
そこで、図８において、まず画像処理ユニット１は、図５のステップＳ３４で実行された歩行者判定処理で歩行者の頭部の可能性があると判定された基準領域マスク中の２値化対象物を特定対象物とし、該特定対象物の上部（上方）に特定対象物と同一距離のエリア（ＭＡＳＫ１）を探索する（ステップＳ４１）。具体的には、図９に示すように、例えばグレースケール画像から車両１００に関連するＯＢＪ［１］からＯＢＪ［５］までの２値化対象物が抽出され、この中のＯＢＪ［２］が、歩行者判定処理で歩行者の頭部の可能性があると判定された基準領域マスク中の２値化対象物、すなわち特定対象物であったとする。
【００４９】
この時、横の長さをＸ、縦の長さをＹとすると共に、水平方向が長い長方形（例えばＸは人間の幅より大きい程度）のＭＡＳＫ１を、特定対象物の重心を中心として左右対称に、左右画像の相関演算により距離を算出しながら、特定対象物上部から順次上方に設定していく。そして、特定対象物の距離とＭＡＳＫ１の距離とが一致しなくなるところまで探索する。
【００５０】
次に、図１０に示すように、特定対象物の距離とＭＡＳＫ１の距離とが一致している最後のＭＡＳＫ１の位置、及び特定対象物の距離とＭＡＳＫ１の距離とが一致しなくなったＭＡＳＫ１の位置を含み、高さ方向に上下に拡張された水平エッジ検出エリア（ＭＡＳＫ２）を設定する（ステップＳ４２）。ここでは、ＭＡＳＫ２を高さ方向に拡張することにより、背景との差で検出される車両のルーフのみならず、車両の窓とルーフまたはボディラインとの間で検出される水平エッジも検出することができるため、容易に歩行者と区別することができる。
【００５１】
また、背の高いＲＶ車両（Ｒｅｃｒｅａｔｉｏｎａｌ Ｖｅｈｉｃｌｅｓ ）やトラックでは、特定対象物を車両の灯火器とした場合、特定対象物と車両のルーフとが離れた位置に存在するのに対し、それに対応して高い位置までＭＡＳＫ２が設定されるので、以下に説明する処理において対象となる車両の車種にかかわらずＭＡＳＫ２の位置を変更不要とすることができる。
【００５２】
次に、ＭＡＳＫ２を設定することができたら、車両のルーフに相当する水平エッジＳＥを検出する（ステップＳ４３）。具体的には、ＭＡＳＫ２内のグレースケール画像に対して、水平エッジ検出用の例えばソーベルフィルタの様な微分フィルタによるフィルタリングを行い、その結果を２値化処理することにより、図１０に示すように、水平エッジ部分のみを検出する。
【００５３】
更に、水平エッジ検出エリアＭＡＳＫ２を、左右の水平エッジ検出エリア（ＭＡＳＫ＿Ｌ、ＭＡＳＫ＿Ｒ）に分割する（ステップＳ４４）。具体的には、図１１（ａ）、（ｂ）にＭＡＳＫ２のみ抽出して表示すると、図１１（ａ）に示すＭＡＳＫ２を、その中心から、図１１（ｂ）に示すように、左右の水平エッジ検出エリア（ＭＡＳＫ＿Ｌ、ＭＡＳＫ＿Ｒ）に分割する。
【００５４】
そして、図１２（ａ）、（ｂ）に示すように、各水平エッジ検出エリア（ＭＡＳＫ＿Ｌ、ＭＡＳＫ＿Ｒ）において、それぞれのエリアの横方向の幅に対して水平エッジＳＥの存在する割合を算出し、エリアの横方向の幅に対して水平エッジＳＥの存在する割合が所定値Ａ以上である水平エッジ、またはエリアの横方向の幅に対して水平エッジＳＥの存在する割合は所定値Ａ未満ではあるが、複数個が連続していて、その割合の合計が所定値Ａ以上である水平エッジを検出する（ステップＳ４５）。
【００５５】
次に、左右の水平エッジ検出エリア（ＭＡＳＫ＿Ｌ、ＭＡＳＫ＿Ｒ）のどちらか一方に、ステップＳ４５の条件を満たす水平エッジが存在するか否かを判定し、どちらか一方にステップＳ４５の条件を満たす水平エッジが存在する場合、捉えられた２値化対象物は車両であると判定する。
【００５６】
具体的には、まず右側の水平エッジ検出エリアＭＡＳＫ＿ＲにステップＳ４５の条件を満たす水平エッジが存在するか否かを判定する（ステップＳ４６）。
もし、ステップＳ４６において、右側の水平エッジ検出エリアＭＡＳＫ＿Ｒに条件を満たす水平エッジが存在しない場合（ステップＳ４６のＮＯ）、次に、左側の水平エッジ検出エリアＭＡＳＫ＿ＬにステップＳ４５の条件を満たす水平エッジが存在するか否かを判定する（ステップＳ４７）。
【００５７】
そして、ステップＳ４７において、左側の水平エッジ検出エリアＭＡＳＫ＿Ｌに条件を満たす水平エッジが存在しない場合（ステップＳ４７のＮＯ）、捉えられた２値化対象物は車両ではないと判定して（ステップＳ４８）人工構造物判定処理を終了し、図５に示すステップＳ３５のＮＯとして図５のステップＳ３６へ進み、対象物は警報対象であると判定する。
【００５８】
一方、ステップＳ４６において、右側の水平エッジ検出エリアＭＡＳＫ＿Ｒに条件を満たす水平エッジが存在する場合（ステップＳ４６のＹＥＳ）、あるいはステップＳ４７において、左側の水平エッジ検出エリアＭＡＳＫ＿Ｌに条件を満たす水平エッジが存在する場合（ステップＳ４７のＹＥＳ）のいずれかの場合、捉えられた２値化対象物は車両であると判定して（ステップＳ４９）人工構造物判定処理を終了し、図５に示すステップＳ３５のＹＥＳとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。
【００５９】
なお、図１２（ａ）、（ｂ）に示す例では、図１２（ａ）に示すＭＡＳＫ＿Ｌは、何もないので水平エッジの割合はどこでも０［％］と算出され、図１２（ｂ）に示すＭＡＳＫ＿Ｒは、水平エッジＳＥの存在する場所でその割合がＢ［％］（Ｂ＞Ａ）と算出される。
【００６０】
なお、本実施の形態では、画像処理ユニット１が、特定対象物検出手段と、車両判定手段と、警報禁止手段とを含んでいる。より具体的には、図５のステップＳ３４に含まれる頭部判定が特定対象物検出手段に相当し、図５のステップＳ３５及びその詳細を示す図８のステップＳ４１からステップＳ４９が車両判定手段に相当する。また、図５のステップＳ３７が警報禁止手段に相当する。
また、特定対象物検出手段と、車両判定手段と、警報禁止手段とを含んで警報装置が構成され、赤外線画像認識装置はその一部であって、少なくとも警報禁止手段を含まずに構成される。
【００６１】
以上説明したように、本実施の形態の赤外線画像認識装置は、車両の周囲に存在する物体の認識を行う際、判定の信頼性を上げるために、歩行者判定処理により一度歩行者の頭部の可能性があると判定された２値化対象物を、特定対象物検出手段が、他車両の灯火器であると仮定して特定対象物とすると共に、車両判定手段が、該特定対象物の上方でかつ左右に分割されたいずれかの探索領域内に、歩行者にはあり得ない特徴である水平エッジが存在するか否かを判定する。
【００６２】
そして、車両判定手段は、特定対象物の上方でかつ左右に分割されたいずれかの探索領域内に水平エッジを検出した場合、この物体は他車両であると判定する。また、この赤外線画像認識装置を用いて車両の周囲に存在する物体の認識を行い、物体が歩行者であると判定された場合に警報を発する警報装置は、物体が他車両であると判定された場合に、警報禁止手段が警報の出力を禁止する。
【００６３】
従って、従来は車両を形状判定により識別するために、車種毎に異なる車両形状の違い、あるいは実環境において場所毎に異なる検出角度の違い等に対応して多量に用意する必要があった形状判定用の比較データを削減すると共に、多量の比較データに基づいて実行されていた複雑な形状判定処理も簡略化することができる。更に特定対象物の上方の探索領域を左右に分割し、左右に分割されたいずれかの探索領域内に存在する水平エッジについて判定することで、部分的に捉えられた他車両でも高精度で検出できるので、低コストでかつ信頼性を更に向上した赤外線画像認識装置を実現することができるという効果が得られる。
【００６４】
また、この赤外線画像認識装置を用いて歩行者と他車両とを高精度で区別し、不要な警報出力を抑制することで、低コストでかつ信頼性を更に向上した警報装置を実現することができるという効果が得られる。
【００６５】
【発明の効果】
以上の如く、本発明の赤外線画像認識装置によれば、歩行者の頭部または他車両の灯火器のどちらかであると推定される特定対象物を検出すると共に、特定対象物を含む物体が他車両であれば、特定対象物の上方の探索領域内に所定長さ以上の水平エッジが存在するはずであるという車両の形状に係わる特徴に基づいて判定を行うことで、容易に車両の周囲に存在する他車両を検出することができる。
【００６６】
また、特定対象物の上方でかつ左右に分割されたいずれかの探索領域内に所定長さ以上の水平エッジが存在するはずであるという車両の形状に係わる特徴に基づいて判定を行うことで、部分的に捉えられた他車両でも高精度で検出し、容易にかつ高精度で車両の周囲に存在する他車両を検出することができる。
【００６７】
従って、従来は車両を形状判定により識別するために、車種毎に異なる車両形状の違い、あるいは実環境において場所毎に異なる検出角度の違い等に対応して多量に用意する必要があった形状判定用の比較データを削減すると共に、多量の比較データに基づいて実行されていた複雑な形状判定処理も簡略化することで、低コストでかつ信頼性を更に向上した赤外線画像認識装置を実現することができるという効果が得られる。
【００６８】
また本発明の警報装置によれば、上述の赤外線画像認識装置を用いて、歩行者の頭部または他車両の灯火器のどちらかであると推定される特定対象物を検出すると共に、特定対象物を含む物体に対して車両の形状に係わる特徴に基づいた判定を行い、車両の周囲に存在する物体が他車両であると判定された場合には、警報禁止手段が警報の出力を禁止することで、容易に車両の周囲に存在する歩行者と他車両とを区別し、不要な警報出力を抑制することができる。
【００６９】
従って、従来は多量に用意していた形状判定用の比較データを削減し、多量の比較データに基づいて実行されていた複雑な形状判定処理も簡略化すると共に、歩行者と他車両とを高精度で区別し、不要な警報出力を抑制することで、低コストでかつ信頼性を更に向上した警報装置を実現することができるという効果が得られる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置の構成を示すブロック図である。
【図２】車両における赤外線カメラやセンサ、ディスプレイ等の取り付け位置を示す図である。
【図３】同実施の形態の赤外線画像認識装置、あるいは警報装置の対象物検出動作と、警報装置の警報動作を示すフローチャートである。
【図４】赤外線カメラにより得られるグレースケール画像とその２値化画像を示す図である。
【図５】同実施の形態の警報判定処理動作を示すフローチャートである。
【図６】衝突が発生しやすい場合を示す図である。
【図７】車両前方の領域区分を示す図である。
【図８】同実施の形態の人工構造物判定処理動作を示すフローチャートである。
【図９】同実施の形態の人工構造物判定処理において設定される特定対象物の同一距離エリアについて示す図である。
【図１０】同実施の形態の人工構造物判定処理において設定される水平エッジ検出エリアについて示す図である。
【図１１】同実施の形態の人工構造物判定処理において設定される水平エッジ検出エリアの分割について示す図である。
【図１２】同実施の形態の人工構造物判定処理において検出される水平エッジの割合算出について示す図である。
【符号の説明】
１ 画像処理ユニット
２Ｒ、２Ｌ 赤外線カメラ
３ ヨーレートセンサ
４ 車速センサ
５ ブレーキセンサ
６ スピーカ
７ 画像表示装置
１０ 自車両
Ｓ３４ 特定対象物検出手段
Ｓ３５、Ｓ４１〜Ｓ４９ 車両判定手段
Ｓ３７ 警報禁止手段
【発明の属する技術分野】
この発明は、自車両の走行に影響を与える対象物を認識する赤外線画像認識装置、及び認識された対象物が歩行者である場合には警報を発する警報装置に関する。
【０００２】
【従来の技術】
従来、赤外線を検知する画像センサを利用して、自車両の周囲に存在する他車両の位置を検出する車両検出装置が提案されている。この装置では、赤外画像に含まれた他車両であると推定される部分画像領域の中から、所定輝度より高輝度に撮影された排気管部分の画像位置を特定し、その排気管部分の画像位置を基準として、その画像位置に対して上下左右に所定割合のサイズを有するフレームを設定すると共に、そのフレームを用いてパターンマッチングを行う。そして、当該他車両までの距離を、赤外線カメラの画角及びその撮像デバイスを構成する画素の距離に関する対応関係と、当該赤外画像の下辺から当該排気管部分の画像位置までの画素数とに基づいて推定する（例えば、特許文献１参照。）。
【０００３】
また、赤外線カメラにより捉えられた車両周辺の画像から、自車両との衝突の可能性がある歩行者等の対象物を抽出し、その情報を自車両の運転者に提供する表示処理装置が提案されている。この装置は、赤外線画像を２値化処理して明部が集中している領域を探し、この領域の縦横比や充足率、更には実面積と画面上の重心位置を用いて距離を算出することで、この領域が歩行者の頭部であるか否かを判定する。そして、歩行者の頭部の領域を決定することができたら、決定した頭部領域のカメラからの距離と成人の平均身長とから、画像上の歩行者の身長を計算して歩行者の身体を包含する領域を設定し、これらの領域を他の領域と区分して表示する。これにより、赤外線画像上の歩行者の身体全体の位置を特定し、この情報を車両の運転者に対して表示することで、より効果的な視覚補助を行うことができる（例えば、特許文献２参照。）。
【０００４】
【特許文献１】
特開２００２−９８５０９号公報
【特許文献２】
特開平１１−３２８３６４号公報
【０００５】
【発明が解決しようとする課題】
しかし、特許文献１に記載の技術では、車両に固有の特徴の１つである「排気管」の有無を判定することにより、他車両を容易に検出することができるものの、排気管の位置は車種によって異なるため、排気管の位置によっては他車両を認識できない場合があるという問題があった。
【０００６】
また、赤外線画像上での歩行者は、着帽や着衣の影響を受けると共に、歩行者自身の存在環境によっては、２値化処理により、頭部のみ、頭部の一部のみ、上半身のみ、下半身のみ、更には身体全体が抽出されるなど、その２値化画像の形状は不定形である。また、一般的に車両走行時には、前方路面の形状の変化や、車両のピッチングの影響があり、歩行者も子供から大人（成人）まで本来とは異なる身長で検出される。従って、対象物の画面での重心座標が距離に対して固定化できないため、特許文献２に記載の装置のように、形状判定のみで歩行者の抽出を行った場合、車両のヘッドライト（Ｈ／Ｌ）やテールライト（Ｔ／Ｌ）等の灯火器は、その存在高さ位置や形状から、歩行者の頭部と区別して識別することが困難である場合が生じる可能性があった。
【０００７】
本発明は、上記課題に鑑みてなされたもので、赤外線画像上の物体の見え方によらず、他車両と歩行者とを高精度で区別することができる赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するために、請求項１の発明に係る赤外線画像認識装置は、車両に搭載されると共に、赤外線を検知する撮像手段により撮像された画像に基づいて前記車両の周囲に存在する物体の認識を行う赤外線画像認識装置であって、歩行者の頭部または他車両の灯火器のどちらかであると推定される対象物を特定対象物として検出する特定対象物検出手段（例えば実施の形態のステップＳ３４に含まれる頭部判定）と、該特定対象物の上方に設定した探索領域に存在する水平エッジに基づいて、前記特定対象物を含む前記物体が他車両であるか否かを判定する車両判定手段（例えば実施の形態のステップＳ３５、ステップＳ４１からステップＳ４９）とを備えたことを特徴とする。
【０００９】
以上の構成を備えた赤外線画像認識装置は、特定対象物検出手段が、歩行者の頭部または他車両の灯火器のどちらかであると推定される対象物を特定対象物として検出すると共に、もし前記車両の周囲に存在する物体が他車両であれば、特定対象物の上方の探索領域内に所定長さ以上の水平エッジが存在するはずであるという車両の形状に係わる特徴に基づいて、車両判定手段が、特定対象物を含む物体が他車両であるか否かを判定することで、容易に車両の周囲に存在する他車両を検出することができる。
【００１０】
請求項２の発明に係る赤外線画像認識装置は、請求項１に記載の赤外線画像認識装置において、前記車両判定手段が、前記特定対象物の水平位置を基準として前記探索領域を左右に分割すると共に、分割された探索領域のいずれかに存在する水平エッジに基づいて、前記物体が他車両であるか否かを判定することを特徴とする。
【００１１】
以上の構成を備えた赤外線画像認識装置は、もし前記車両の周囲に存在する物体が他車両であれば、特定対象物の上方でかつ左右に分割されたいずれかの探索領域内に所定長さ以上の水平エッジが存在するはずであるという車両の形状に係わる特徴に基づいて、車両判定手段が、特定対象物を含む物体が他車両であるか否かを判定することで、容易にかつ高精度で車両の周囲に存在する他車両を検出することができる。
【００１２】
請求項３の発明に係る警報装置は、車両に搭載されると共に、赤外線を検知する撮像手段により撮像された画像に基づいて前記車両の周囲に存在する物体の認識を行い、前記物体が歩行者であると判定された場合に警報を発する警報装置であって、前記歩行者の頭部または他車両の灯火器のどちらかであると推定される対象物を特定対象物として検出する特定対象物検出手段（例えば実施の形態のステップＳ３４に含まれる頭部判定）と、該特定対象物の上方に設定した探索領域に存在する水平エッジに基づいて、前記特定対象物を含む前記物体が他車両であるか否かを判定する車両判定手段（例えば実施の形態のステップＳ３５、ステップＳ４１からステップＳ４９）と、前記物体が他車両であると判定された場合に警報の出力を禁止する警報禁止手段（例えば実施の形態のステップＳ３７）とを備えたことを特徴とする。
【００１３】
以上の構成を備えた警報装置は、特定対象物検出手段が、歩行者の頭部または他車両の灯火器のどちらかであると推定される対象物を特定対象物として検出すると共に、もし前記車両の周囲に存在する物体が他車両であれば、特定対象物の上方の探索領域内に所定長さ以上の水平エッジが存在するはずであるという車両の形状に係わる特徴に基づいて、車両判定手段が、特定対象物を含む物体が他車両であるか否かを判定し、更に警報禁止手段が、車両判定手段によって車両の周囲に存在する物体が他車両であると判定された場合に警報の出力を禁止することで、容易に車両の周囲に存在する歩行者と他車両とを区別し、不要な警報出力を抑制することができる。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の一実施の形態の赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置の構成を示すブロック図である。なお、本実施の形態では、警報装置の一部が赤外線画像認識装置を構成している。
具体的に説明すると、図１において、符号１は、本実施の形態の赤外線画像認識装置、あるいは警報装置を制御するＣＰＵ（中央演算装置）を備えた画像処理ユニットであって、遠赤外線を検出可能な２つの赤外線カメラ２Ｒ、２Ｌと当該車両のヨーレートを検出するヨーレートセンサ３、更に、当該車両の走行速度（車速）を検出する車速センサ４とブレーキの操作を検出するためのブレーキセンサ５が接続される。これにより、画像処理ユニット１は、車両の周辺の赤外線画像と車両の走行状態を示す信号から、車両前方の歩行者や動物等の動く物体を検出し、衝突の可能性が高いと判断したときに警報を発する。
【００１５】
また、画像処理ユニット１には、音声で警報を発するためのスピーカ６と、赤外線カメラ２Ｒ、２Ｌにより撮影された画像を表示し、衝突の危険性が高い対象物を車両の運転者に認識させるための、例えば自車両の走行状態を数字で表すメータと一体化されたメータ一体Ｄｉｓｐｌａｙや自車両のコンソールに設置されるＮＡＶＩＤｉｓｐｌａｙ、更にフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ ）７ａ等を含む画像表示装置７が接続されている。
【００１６】
また、画像処理ユニット１は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（中央演算装置）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、スピーカ６の駆動信号、ＨＵＤ７ａ等の表示信号などを出力する出力回路を備えており、赤外線カメラ２Ｒ、２Ｌ及びヨーレートセンサ３、車速センサ４、ブレーキセンサ５の各出力信号は、ディジタル信号に変換されてＣＰＵに入力されるように構成されている。
【００１７】
また、図２に示すように、赤外線カメラ２Ｒ、２Ｌは、自車両１０の前部に、自車両１０の車幅方向中心部に対してほぼ対称な位置に配置されており、２つの赤外線カメラ２Ｒ、２Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ２Ｒ、２Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
また、ＨＵＤ７ａは、自車両１０のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【００１８】
次に、本実施の形態の動作について図面を参照して説明する。
（対象物検出・警報動作）
図３は、本実施の形態の赤外線画像認識装置、あるいは警報装置の画像処理ユニット１における歩行者等の対象物検出動作と、警報装置の画像処理ユニット１における歩行者等の警報動作を示すフローチャートである。
まず、画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌの出力信号である赤外線画像を取得して（ステップＳ１）、Ａ／Ｄ変換し（ステップＳ２）、グレースケール画像を画像メモリに格納する（ステップＳ３）。なお、ここでは赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。また、右画像と左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１９】
ステップＳ３においてグレースケール画像が得られたら、次に、赤外線カメラ２Ｒにより得られた右画像を基準画像とし、その画像信号の２値化処理、すなわち、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う（ステップＳ４）。
図４（ａ）は、赤外線カメラ２Ｒにより得られたグレースケール画像を示し、これに２値化処理を行うことにより、図４（ｂ）に示すような画像を得る。なお、図４（ｂ）において、例えばＰ１からＰ４の枠で囲った物体を、表示画面上に白色として表示される対象物（以下「高輝度領域」という）とする。
赤外線画像から２値化された画像データを取得したら、２値化した画像データをランレングスデータに変換する処理を行う（ステップＳ５）。ランレングスデータにより表されるラインは、２値化により白となった領域を画素レベルで示したもので、いずれもｙ方向には１画素の幅を有しており、またｘ方向にはそれぞれランレングスデータを構成する画素の長さを有している。
【００２０】
次に、ランレングスデータに変換された画像データから、対象物のラベリングをする（ステップＳ６）ことにより、対象物を抽出する処理を行う（ステップＳ７）。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを１つの対象物とみなすことにより、例えば図４（ｂ）に示す高輝度領域Ｐ１からＰ４が、それぞれ対象物（２値化対象物）として把握されることになる。
対象物の抽出が完了したら、次に、抽出した対象物の重心Ｇ、面積Ｓ及び外接四角形の縦横比ＡＳＰＥＣＴを算出する（ステップＳ８）。
【００２１】
ここで、面積Ｓは、ラベルＡの対象物のランレングスデータを（ｘ［ｉ］、ｙ［ｉ］、ｒｕｎ［ｉ］、Ａ）（ｉ＝０，１，２，・・・Ｎ−１）とすると、ランレングスデータの長さ（ｒｕｎ［ｉ］−１）を同一対象物（Ｎ個のランレングスデータ）について積算することにより算出する。また、対象物Ａの重心Ｇの座標（ｘｃ、ｙｃ）は、各ランレングスデータの長さ（ｒｕｎ［ｉ］−１）と各ランレングスデータの座標ｘ［ｉ］、またはｙ［ｉ］とをそれぞれ掛け合わせ、更にこれを同一対象物について積算したものを、面積Ｓで割ることにより算出する。
更に、縦横比ＡＳＰＥＣＴは、対象物の外接四角形の縦方向の長さＤｙと横方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出する。
なお、ランレングスデータは画素数（座標数）（＝ｒｕｎ［ｉ］）で示されているので、実際の長さは「−１」する（１を減算する）必要がある（＝ｒｕｎ［ｉ］−１）。また、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００２２】
対象物の重心、面積、外接四角形の縦横比が算出できたら、次に、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う（ステップＳ９）。時刻間追跡は、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、例えば時刻ｋで対象物Ａ、Ｂを抽出したら、時刻（ｋ＋１）で抽出した対象物Ｃ、Ｄと対象物Ａ、Ｂとの同一性判定を行う。そして、対象物Ａ、Ｂと対象物Ｃ、Ｄとが同一であると判定されたら、対象物Ｃ、Ｄをそれぞれ対象物Ａ、Ｂというラベルに変更することにより、時刻間追跡が行われる。
また、このようにして認識された各対象物の（重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
【００２３】
なお、以上説明したステップＳ４〜Ｓ９の処理は、２値化した基準画像（本実施の形態では、右画像）について実行する。
次に、車速センサ４により検出される車速ＶＣＡＲ及びヨーレートセンサ３より検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することにより、自車両１０の回頭角θｒを算出する（ステップＳ１０）。
【００２４】
一方、ステップＳ９とステップＳ１０の処理に平行して、ステップＳ１１〜Ｓ１３では、対象物と自車両１０との距離ｚを算出する処理を行う。この演算はステップＳ９、及びステップＳ１０より長い時間を要するため、ステップＳ９、Ｓ１０より長い周期（例えばステップＳ１〜Ｓ１０の実行周期の３倍程度の周期）で実行される。
まず、基準画像（右画像）の２値化画像によって追跡される対象物の中の１つを選択することにより、右画像から探索画像Ｒ１（ここでは、外接四角形で囲まれる領域全体を探索画像とする）を抽出する（ステップＳ１１）。
【００２５】
次に、左画像中から探索画像Ｒ１に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する（ステップＳ１２）。具体的には、探索画像Ｒ１の各頂点座標に応じて、左画像中に探索領域Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を算出し、この総和値Ｃ（ａ，ｂ）が最小となる領域を対応画像として抽出する。なお、この相関演算は、２値化画像ではなくグレースケール画像を用いて行う。
また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域Ｒ２より狭い領域Ｒ２ａを探索領域として設定する。
【００２６】
ステップＳ１２の処理により、基準画像（右画像）中に探索画像Ｒ１と、左画像中にこの対象物に対応する対応画像Ｒ４とが抽出されるので、次に、探索画像Ｒ１の重心位置と対応画像Ｒ４の重心位置と視差Δｄ（画素数）を求め、これから自車両１０と対象物との距離ｚを算出する（ステップＳ１３）。
次に、ステップＳ１０における回頭角θｒの算出と、ステップＳ１３における対象物との距離算出が完了したら、画像内の座標（ｘ，ｙ）及び距離ｚを実空間座標（Ｘ，Ｙ，Ｚ）に変換する（ステップＳ１４）。
ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示すように、赤外線カメラ２Ｒ、２Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標は、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
【００２７】
また、実空間座標が求められたら、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う（ステップＳ１５）。回頭角補正は、時刻ｋから（ｋ＋１）までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、画像の範囲がΔｘだけｘ方向にずれるので、これを補正する処理である。
なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。
【００２８】
実空間座標に対する回頭角補正が完了したら、次に、同一対象物について、ΔＴのモニタ期間内に得られた、回頭角補正後のＮ個（例えばＮ＝１０程度）の実空間位置データ、すなわち時系列データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを求める。
次いで、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置に補正し、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。
【００２９】
これにより、位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる（ステップＳ１６）。
このようにモニタ期間ΔＴ内の複数（Ｎ個）のデータから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。
【００３０】
また、ステップＳ１６において、相対移動ベクトルが求められたら、次に、検出した対象物との衝突の可能性を判定する警報判定処理を行う（ステップＳ１７）。なお、警報判定処理については、詳細を後述する。
ステップＳ１７において、自車両１０と検出した対象物との衝突の可能性がないと判定された場合（ステップＳ１７のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
また、ステップＳ１７において、自車両１０と検出した対象物との衝突の可能性があると判定された場合（ステップＳ１７のＹＥＳ）、ステップＳ１８の警報出力判定処理へ進む。
【００３１】
ステップＳ１８では、ブレーキセンサ５の出力ＢＲから自車両１０の運転者がブレーキ操作を行っているか否かを判別することにより、警報出力判定処理、すなわち警報出力を行うか否かの判定を行う（ステップＳ１８）。
もし、自車両１０の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Ｇｓ（減速方向を正とする）を算出し、この加速度Ｇｓが所定閾値ＧＴＨより大きいときは、ブレーキ操作により衝突が回避されると判定して警報出力判定処理を終了し（ステップＳ１８のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。
【００３２】
また、加速度Ｇｓが所定閾値ＧＴＨ以下であるとき、または自車両１０の運転者がブレーキ操作を行っていなければ、直ちにステップＳ１９の処理へ進み（ステップＳ１８のＹＥＳ）、対象物と接触する可能性が高いので、スピーカ６を介して音声による警報を発する（ステップＳ１９）とともに、画像表示装置７に対して、例えば赤外線カメラ２Ｒにより得られる画像を出力し、接近してくる対象物を自車両１０の運転者に対する強調映像として表示する（ステップＳ２０）。
【００３３】
なお、所定閾値ＧＴＨは、ブレーキ操作中の加速度Ｇｓがそのまま維持された場合に、対象物と自車両１０との距離Ｚｖ（０）以下の走行距離で自車両１０が停止する条件に対応する値である。
【００３４】
（警報判定処理）
以上が、本実施の形態の赤外線画像認識装置、あるいは警報装置の画像処理ユニット１における歩行者等の対象物検出動作と、警報装置の画像処理ユニット１における歩行者等の警報動作であるが、次に、図５に示すフローチャートを参照して、図３に示したフローチャートのステップＳ１７における警報判定処理について更に詳しく説明する。
図５は、本実施の形態の警報判定処理動作を示すフローチャートである。
警報判定処理は、以下に示す衝突判定処理、接近判定領域内か否かの判定処理、進入衝突判定処理、歩行者判定処理、及び人工構造物判定処理により、自車両１０と検出した対象物との衝突の可能性を判定する処理である。以下、図６に示すように、自車両１０の進行方向に対してほぼ９０°の方向から、速度Ｖｐで進行してくる対象物２０がいる場合を例に取って説明する。
【００３５】
図５において、まず、画像処理ユニット１は衝突判定処理を行う（ステップＳ３１）。衝突判定処理は、図６において、対象物２０が時間ΔＴの間に距離Ｚｖ（Ｎ−１）から距離Ｚｖ（０）に接近した場合に、自車両１０とのＺ方向の相対速度Ｖｓを求め、両者が高さＨ以内で相対速度Ｖｓを維持して移動すると仮定して、余裕時間Ｔ以内に両者が衝突するか否かを判定する処理である。ここで、余裕時間Ｔは、衝突の可能性を予測衝突時刻より時間Ｔだけ前に判定することを意図したものである。従って、余裕時間Ｔは例えば２〜５秒程度に設定される。またＨは、高さ方向の範囲を規定する所定高さであり、例えば自車両１０の車高の２倍程度に設定される。
【００３６】
次に、ステップＳ３１において、余裕時間Ｔ以内に自車両１０と対象物とが衝突する可能性がある場合（ステップＳ３１のＹＥＳ）、更に判定の信頼性を上げるために、画像処理ユニット１は対象物が接近判定領域内に存在するか否かの判定処理を行う（ステップＳ３２）。接近判定領域内か否かの判定処理は、図７に示すように、赤外線カメラ２Ｒ、２Ｌで監視可能な領域を太い実線で示す外側の三角形の領域ＡＲ０とすると、領域ＡＲ０内の、Ｚ１＝Ｖｓ×Ｔより自車両１０に近い領域であって、対象物が自車両１０の車幅αの両側に余裕β（例えば５０〜１００ｃｍ程度とする）を加えた範囲に対応する領域ＡＲ１、すなわち対象物がそのまま存在し続ければ自車両１０との衝突の可能性がきわめて高い接近判定領域ＡＲ１内に存在するか否かを判定する処理である。なお、接近判定領域ＡＲ１も所定高さＨを有する。
【００３７】
更に、ステップＳ３２において、対象物が接近判定領域内に存在しない場合（ステップＳ３２のＮＯ）、画像処理ユニット１は対象物が接近判定領域内へ進入して自車両１０と衝突する可能性があるか否かを判定する進入衝突判定処理を行う（ステップＳ３３）。進入衝突判定処理は、上述の接近判定領域ＡＲ１よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域ＡＲ２、ＡＲ３を進入判定領域と呼び、この領域内にある対象物が、移動することにより接近判定領域ＡＲ１に進入すると共に自車両１０と衝突するか否かを判定する処理である。なお、進入判定領域ＡＲ２、ＡＲ３も所定高さＨを有する。
【００３８】
一方、ステップＳ３２において、対象物が接近判定領域内に存在している場合（ステップＳ３２のＹＥＳ）、画像処理ユニット１は対象物が歩行者の可能性があるか否かを判定する歩行者判定処理を行う（ステップＳ３４）。歩行者判定処理は、グレースケール画像上で対象物画像の形状や大きさ、輝度分散等の特徴から、対象物が歩行者か否かを判定する処理である。
【００３９】
歩行者判定処理について、例えば具体的に一例を挙げて説明すると、まず歩行者の頭部が存在するか否かを判定する頭部判定を行うために、グレースケール画像で抽出された対象物領域の中にプロジェクションエリアを設定し、縦方向の輝度プロジョクション（画素毎の輝度を縦方向に積算した積算輝度の横方向の分布）を算出すると共に、映像左上原点を基準にして最大ピークを示す横方向座標を検出する。
【００４０】
次に、検出した横方向位置を基準に、歩行者の頭部位置に相当すると推定される領域に基準領域マスクを設定すると共に、その左右位置に肩上部空間に相当すると推定される２つの対象領域マスクを設定する。
そして、基準領域マスクの平均輝度、及び２つの対象領域マスクの平均輝度を算出すると共に、求められた各領域の平均輝度から、歩行者の頭部が存在するか否かを判定する。具体的には、頭部の左右（背景）の輝度階調に対して高輝度である歩行者頭部の輝度階調が認められる場合、頭部が存在すると判定する。
【００４１】
もし、歩行者の頭部が存在すると判定された場合、次に、歩行者では捉えやすい肩から腕にかけての部分の存在有無を判定するために、「歩行者の左右の肩から腕にかけての部分は頭部位置と同距離に存在すると共に、歩行者の肩から腕にかけての輝度階調は、歩行者の肩上方空間に位置する頭部の左右（背景）の輝度階調とは異なる」という画像上の各領域（各部）の輝度の特徴を用いて、歩行者の肩から腕にかけての部分が存在するか否かを判定する。
【００４２】
具体的には、頭部判定で使用した頭部左右の対象領域マスクの下方に、肩から腕にかけての部分に相当する別の対象領域マスクを設定する。そして、歩行者の肩から腕にかけての部分は形状や距離が変化しやすいので、頭部左右の対象領域マスクと、肩から腕にかけての部分に相当する別の対象領域マスクとの相関度を比較し、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ）の平均誤差を用いて算出した相関度エラー値が所定値以上である場合、肩から腕にかけての部分の存在の可能性があると判定する。
【００４３】
また、歩行者の肩から腕にかけての部分が存在すると判定された場合、歩行者全体の距離と肩から腕にかけての部分の距離とは等しいはずであるから、歩行者全体の距離と肩から腕にかけての部分に相当する別の対象領域マスクの距離とが等しい場合、肩から腕にかけての部分が存在する対象物が歩行者であると判定することができる。
【００４４】
また、ステップＳ３４において、対象物は歩行者の可能性があると判定された場合（ステップＳ３４のＹＥＳ）、更に判定の信頼性を上げるために、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う（ステップＳ３５）。人工構造物判定処理は、ステップＳ３４において歩行者の可能性があると判定された対象物画像に、歩行者にはあり得ない特徴が検出された場合、該対象物を人工構造物と判定し、警報の対象から除外する処理である。なお、人工構造物判定処理については、詳細を後述する。
【００４５】
従って、上述のステップＳ３３において、対象物が接近判定領域内へ進入して自車両１０と衝突する可能性がある場合（ステップＳ３３のＹＥＳ）、及びステップＳ３５において、歩行者の可能性があると判定された対象物が人工構造物でなかった場合（ステップＳ３５のＮＯ）、画像処理ユニット１は、自車両１０と検出した対象物との衝突の可能性がある（警報の対象である）と判定し（ステップＳ３６）、図３に示すステップＳ１７のＹＥＳとしてステップＳ１８へ進み、警報出力判定処理（ステップＳ１８）を行う。
【００４６】
一方、上述のステップＳ３１において、余裕時間Ｔ以内に自車両１０と対象物とが衝突する可能性がない場合（ステップＳ３１のＮＯ）、あるいはステップＳ３３において、対象物が接近判定領域内へ進入して自車両１０と衝突する可能性がない場合（ステップＳ３３のＮＯ）、あるいはステップＳ３４において、対象物は歩行者の可能性がないと判定された場合（ステップＳ３４のＮＯ）、更にはステップＳ３５において、歩行者の可能性があると判定された対象物が人工構造物であった場合（ステップＳ３５のＹＥＳ）のいずれかであった場合は、画像処理ユニット１は、自車両１０と検出した対象物との衝突の可能性がない（警報の対象ではない）と判定し（ステップＳ３７）、図３に示すステップＳ１７のＮＯとしてステップＳ１へ戻り、歩行者等の対象物検出・警報動作を繰り返す。
【００４７】
（人工構造物判定処理）
次に、図８に示すフローチャートを参照して、図５に示したフローチャートのステップＳ３５における人工構造物判定処理について更に詳しく説明する。図８は、本実施の形態の人工構造物判定処理動作を示すフローチャートである。ここでは、図５のステップＳ３４において歩行者の可能性があると判定された対象物画像に、歩行者にはあり得ない特徴として、車両のルーフと推定される水平エッジが検出されるか否かを判定する。
【００４８】
そこで、図８において、まず画像処理ユニット１は、図５のステップＳ３４で実行された歩行者判定処理で歩行者の頭部の可能性があると判定された基準領域マスク中の２値化対象物を特定対象物とし、該特定対象物の上部（上方）に特定対象物と同一距離のエリア（ＭＡＳＫ１）を探索する（ステップＳ４１）。具体的には、図９に示すように、例えばグレースケール画像から車両１００に関連するＯＢＪ［１］からＯＢＪ［５］までの２値化対象物が抽出され、この中のＯＢＪ［２］が、歩行者判定処理で歩行者の頭部の可能性があると判定された基準領域マスク中の２値化対象物、すなわち特定対象物であったとする。
【００４９】
この時、横の長さをＸ、縦の長さをＹとすると共に、水平方向が長い長方形（例えばＸは人間の幅より大きい程度）のＭＡＳＫ１を、特定対象物の重心を中心として左右対称に、左右画像の相関演算により距離を算出しながら、特定対象物上部から順次上方に設定していく。そして、特定対象物の距離とＭＡＳＫ１の距離とが一致しなくなるところまで探索する。
【００５０】
次に、図１０に示すように、特定対象物の距離とＭＡＳＫ１の距離とが一致している最後のＭＡＳＫ１の位置、及び特定対象物の距離とＭＡＳＫ１の距離とが一致しなくなったＭＡＳＫ１の位置を含み、高さ方向に上下に拡張された水平エッジ検出エリア（ＭＡＳＫ２）を設定する（ステップＳ４２）。ここでは、ＭＡＳＫ２を高さ方向に拡張することにより、背景との差で検出される車両のルーフのみならず、車両の窓とルーフまたはボディラインとの間で検出される水平エッジも検出することができるため、容易に歩行者と区別することができる。
【００５１】
また、背の高いＲＶ車両（Ｒｅｃｒｅａｔｉｏｎａｌ Ｖｅｈｉｃｌｅｓ ）やトラックでは、特定対象物を車両の灯火器とした場合、特定対象物と車両のルーフとが離れた位置に存在するのに対し、それに対応して高い位置までＭＡＳＫ２が設定されるので、以下に説明する処理において対象となる車両の車種にかかわらずＭＡＳＫ２の位置を変更不要とすることができる。
【００５２】
次に、ＭＡＳＫ２を設定することができたら、車両のルーフに相当する水平エッジＳＥを検出する（ステップＳ４３）。具体的には、ＭＡＳＫ２内のグレースケール画像に対して、水平エッジ検出用の例えばソーベルフィルタの様な微分フィルタによるフィルタリングを行い、その結果を２値化処理することにより、図１０に示すように、水平エッジ部分のみを検出する。
【００５３】
更に、水平エッジ検出エリアＭＡＳＫ２を、左右の水平エッジ検出エリア（ＭＡＳＫ＿Ｌ、ＭＡＳＫ＿Ｒ）に分割する（ステップＳ４４）。具体的には、図１１（ａ）、（ｂ）にＭＡＳＫ２のみ抽出して表示すると、図１１（ａ）に示すＭＡＳＫ２を、その中心から、図１１（ｂ）に示すように、左右の水平エッジ検出エリア（ＭＡＳＫ＿Ｌ、ＭＡＳＫ＿Ｒ）に分割する。
【００５４】
そして、図１２（ａ）、（ｂ）に示すように、各水平エッジ検出エリア（ＭＡＳＫ＿Ｌ、ＭＡＳＫ＿Ｒ）において、それぞれのエリアの横方向の幅に対して水平エッジＳＥの存在する割合を算出し、エリアの横方向の幅に対して水平エッジＳＥの存在する割合が所定値Ａ以上である水平エッジ、またはエリアの横方向の幅に対して水平エッジＳＥの存在する割合は所定値Ａ未満ではあるが、複数個が連続していて、その割合の合計が所定値Ａ以上である水平エッジを検出する（ステップＳ４５）。
【００５５】
次に、左右の水平エッジ検出エリア（ＭＡＳＫ＿Ｌ、ＭＡＳＫ＿Ｒ）のどちらか一方に、ステップＳ４５の条件を満たす水平エッジが存在するか否かを判定し、どちらか一方にステップＳ４５の条件を満たす水平エッジが存在する場合、捉えられた２値化対象物は車両であると判定する。
【００５６】
具体的には、まず右側の水平エッジ検出エリアＭＡＳＫ＿ＲにステップＳ４５の条件を満たす水平エッジが存在するか否かを判定する（ステップＳ４６）。
もし、ステップＳ４６において、右側の水平エッジ検出エリアＭＡＳＫ＿Ｒに条件を満たす水平エッジが存在しない場合（ステップＳ４６のＮＯ）、次に、左側の水平エッジ検出エリアＭＡＳＫ＿ＬにステップＳ４５の条件を満たす水平エッジが存在するか否かを判定する（ステップＳ４７）。
【００５７】
そして、ステップＳ４７において、左側の水平エッジ検出エリアＭＡＳＫ＿Ｌに条件を満たす水平エッジが存在しない場合（ステップＳ４７のＮＯ）、捉えられた２値化対象物は車両ではないと判定して（ステップＳ４８）人工構造物判定処理を終了し、図５に示すステップＳ３５のＮＯとして図５のステップＳ３６へ進み、対象物は警報対象であると判定する。
【００５８】
一方、ステップＳ４６において、右側の水平エッジ検出エリアＭＡＳＫ＿Ｒに条件を満たす水平エッジが存在する場合（ステップＳ４６のＹＥＳ）、あるいはステップＳ４７において、左側の水平エッジ検出エリアＭＡＳＫ＿Ｌに条件を満たす水平エッジが存在する場合（ステップＳ４７のＹＥＳ）のいずれかの場合、捉えられた２値化対象物は車両であると判定して（ステップＳ４９）人工構造物判定処理を終了し、図５に示すステップＳ３５のＹＥＳとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。
【００５９】
なお、図１２（ａ）、（ｂ）に示す例では、図１２（ａ）に示すＭＡＳＫ＿Ｌは、何もないので水平エッジの割合はどこでも０［％］と算出され、図１２（ｂ）に示すＭＡＳＫ＿Ｒは、水平エッジＳＥの存在する場所でその割合がＢ［％］（Ｂ＞Ａ）と算出される。
【００６０】
なお、本実施の形態では、画像処理ユニット１が、特定対象物検出手段と、車両判定手段と、警報禁止手段とを含んでいる。より具体的には、図５のステップＳ３４に含まれる頭部判定が特定対象物検出手段に相当し、図５のステップＳ３５及びその詳細を示す図８のステップＳ４１からステップＳ４９が車両判定手段に相当する。また、図５のステップＳ３７が警報禁止手段に相当する。
また、特定対象物検出手段と、車両判定手段と、警報禁止手段とを含んで警報装置が構成され、赤外線画像認識装置はその一部であって、少なくとも警報禁止手段を含まずに構成される。
【００６１】
以上説明したように、本実施の形態の赤外線画像認識装置は、車両の周囲に存在する物体の認識を行う際、判定の信頼性を上げるために、歩行者判定処理により一度歩行者の頭部の可能性があると判定された２値化対象物を、特定対象物検出手段が、他車両の灯火器であると仮定して特定対象物とすると共に、車両判定手段が、該特定対象物の上方でかつ左右に分割されたいずれかの探索領域内に、歩行者にはあり得ない特徴である水平エッジが存在するか否かを判定する。
【００６２】
そして、車両判定手段は、特定対象物の上方でかつ左右に分割されたいずれかの探索領域内に水平エッジを検出した場合、この物体は他車両であると判定する。また、この赤外線画像認識装置を用いて車両の周囲に存在する物体の認識を行い、物体が歩行者であると判定された場合に警報を発する警報装置は、物体が他車両であると判定された場合に、警報禁止手段が警報の出力を禁止する。
【００６３】
従って、従来は車両を形状判定により識別するために、車種毎に異なる車両形状の違い、あるいは実環境において場所毎に異なる検出角度の違い等に対応して多量に用意する必要があった形状判定用の比較データを削減すると共に、多量の比較データに基づいて実行されていた複雑な形状判定処理も簡略化することができる。更に特定対象物の上方の探索領域を左右に分割し、左右に分割されたいずれかの探索領域内に存在する水平エッジについて判定することで、部分的に捉えられた他車両でも高精度で検出できるので、低コストでかつ信頼性を更に向上した赤外線画像認識装置を実現することができるという効果が得られる。
【００６４】
また、この赤外線画像認識装置を用いて歩行者と他車両とを高精度で区別し、不要な警報出力を抑制することで、低コストでかつ信頼性を更に向上した警報装置を実現することができるという効果が得られる。
【００６５】
【発明の効果】
以上の如く、本発明の赤外線画像認識装置によれば、歩行者の頭部または他車両の灯火器のどちらかであると推定される特定対象物を検出すると共に、特定対象物を含む物体が他車両であれば、特定対象物の上方の探索領域内に所定長さ以上の水平エッジが存在するはずであるという車両の形状に係わる特徴に基づいて判定を行うことで、容易に車両の周囲に存在する他車両を検出することができる。
【００６６】
また、特定対象物の上方でかつ左右に分割されたいずれかの探索領域内に所定長さ以上の水平エッジが存在するはずであるという車両の形状に係わる特徴に基づいて判定を行うことで、部分的に捉えられた他車両でも高精度で検出し、容易にかつ高精度で車両の周囲に存在する他車両を検出することができる。
【００６７】
従って、従来は車両を形状判定により識別するために、車種毎に異なる車両形状の違い、あるいは実環境において場所毎に異なる検出角度の違い等に対応して多量に用意する必要があった形状判定用の比較データを削減すると共に、多量の比較データに基づいて実行されていた複雑な形状判定処理も簡略化することで、低コストでかつ信頼性を更に向上した赤外線画像認識装置を実現することができるという効果が得られる。
【００６８】
また本発明の警報装置によれば、上述の赤外線画像認識装置を用いて、歩行者の頭部または他車両の灯火器のどちらかであると推定される特定対象物を検出すると共に、特定対象物を含む物体に対して車両の形状に係わる特徴に基づいた判定を行い、車両の周囲に存在する物体が他車両であると判定された場合には、警報禁止手段が警報の出力を禁止することで、容易に車両の周囲に存在する歩行者と他車両とを区別し、不要な警報出力を抑制することができる。
【００６９】
従って、従来は多量に用意していた形状判定用の比較データを削減し、多量の比較データに基づいて実行されていた複雑な形状判定処理も簡略化すると共に、歩行者と他車両とを高精度で区別し、不要な警報出力を抑制することで、低コストでかつ信頼性を更に向上した警報装置を実現することができるという効果が得られる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置の構成を示すブロック図である。
【図２】車両における赤外線カメラやセンサ、ディスプレイ等の取り付け位置を示す図である。
【図３】同実施の形態の赤外線画像認識装置、あるいは警報装置の対象物検出動作と、警報装置の警報動作を示すフローチャートである。
【図４】赤外線カメラにより得られるグレースケール画像とその２値化画像を示す図である。
【図５】同実施の形態の警報判定処理動作を示すフローチャートである。
【図６】衝突が発生しやすい場合を示す図である。
【図７】車両前方の領域区分を示す図である。
【図８】同実施の形態の人工構造物判定処理動作を示すフローチャートである。
【図９】同実施の形態の人工構造物判定処理において設定される特定対象物の同一距離エリアについて示す図である。
【図１０】同実施の形態の人工構造物判定処理において設定される水平エッジ検出エリアについて示す図である。
【図１１】同実施の形態の人工構造物判定処理において設定される水平エッジ検出エリアの分割について示す図である。
【図１２】同実施の形態の人工構造物判定処理において検出される水平エッジの割合算出について示す図である。
【符号の説明】
１ 画像処理ユニット
２Ｒ、２Ｌ 赤外線カメラ
３ ヨーレートセンサ
４ 車速センサ
５ ブレーキセンサ
６ スピーカ
７ 画像表示装置
１０ 自車両
Ｓ３４ 特定対象物検出手段
Ｓ３５、Ｓ４１〜Ｓ４９ 車両判定手段
Ｓ３７ 警報禁止手段
Claims (3)
- 車両に搭載されると共に、赤外線を検知する撮像手段により撮像された画像に基づいて前記車両の周囲に存在する物体の認識を行う赤外線画像認識装置であって、
歩行者の頭部または他車両の灯火器のどちらかであると推定される対象物を特定対象物として検出する特定対象物検出手段と、
該特定対象物の上方に設定した探索領域に存在する水平エッジに基づいて、前記特定対象物を含む前記物体が他車両であるか否かを判定する車両判定手段と
を備えたことを特徴とする赤外線画像認識装置。 - 前記車両判定手段が、前記特定対象物の水平位置を基準として前記探索領域を左右に分割すると共に、分割された探索領域のいずれかに存在する水平エッジに基づいて、前記物体が他車両であるか否かを判定する
ことを特徴とする請求項１に記載の赤外線画像認識装置。 - 車両に搭載されると共に、赤外線を検知する撮像手段により撮像された画像に基づいて前記車両の周囲に存在する物体の認識を行い、前記物体が歩行者であると判定された場合に警報を発する警報装置であって、
前記歩行者の頭部または他車両の灯火器のどちらかであると推定される対象物を特定対象物として検出する特定対象物検出手段と、
該特定対象物の上方に設定した探索領域に存在する水平エッジに基づいて、前記特定対象物を含む前記物体が他車両であるか否かを判定する車両判定手段と、
前記物体が他車両であると判定された場合に警報の出力を禁止する警報禁止手段と
を備えたことを特徴とする警報装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003147739A JP3844750B2 (ja) | 2003-05-26 | 2003-05-26 | 赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003147739A JP3844750B2 (ja) | 2003-05-26 | 2003-05-26 | 赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004348645A true JP2004348645A (ja) | 2004-12-09 |
| JP3844750B2 JP3844750B2 (ja) | 2006-11-15 |
Family
ID=33534187
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003147739A Expired - Fee Related JP3844750B2 (ja) | 2003-05-26 | 2003-05-26 | 赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3844750B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009037476A (ja) * | 2007-08-02 | 2009-02-19 | Honda Motor Co Ltd | 車両周辺監視装置、車両周辺監視方法、及び車両周辺監視用プログラム |
| JP2012198207A (ja) * | 2011-03-18 | 2012-10-18 | Enii Kk | 画像処理装置および方法、ならびに移動体衝突防止装置 |
| CN103303235A (zh) * | 2012-03-12 | 2013-09-18 | 本田技研工业株式会社 | 车辆周围监测装置 |
| WO2013136827A1 (ja) * | 2012-03-12 | 2013-09-19 | 本田技研工業株式会社 | 車両周辺監視装置 |
| CN104284101A (zh) * | 2013-05-09 | 2015-01-14 | 杭州美盛红外光电技术有限公司 | 热像识别监测装置、监测系统和热像识别监测方法 |
| JP6260017B1 (ja) * | 2016-09-30 | 2018-01-17 | ピーエルケー テクノロジーズ カンパニー リミテッドＰＬＫ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．， Ｌｔｄ． | 光学フロー分析を利用した車両衝突警報禁止方法 |
| CN114390252A (zh) * | 2021-12-29 | 2022-04-22 | 北京科技大学 | 基于5g近红外夜视智能分析的安全监测方法及系统 |
-
2003
- 2003-05-26 JP JP2003147739A patent/JP3844750B2/ja not_active Expired - Fee Related
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009037476A (ja) * | 2007-08-02 | 2009-02-19 | Honda Motor Co Ltd | 車両周辺監視装置、車両周辺監視方法、及び車両周辺監視用プログラム |
| JP2012198207A (ja) * | 2011-03-18 | 2012-10-18 | Enii Kk | 画像処理装置および方法、ならびに移動体衝突防止装置 |
| US9858488B2 (en) | 2011-03-18 | 2018-01-02 | Any Co. Ltd. | Image processing device, method thereof, and moving body anti-collision device |
| CN103303235A (zh) * | 2012-03-12 | 2013-09-18 | 本田技研工业株式会社 | 车辆周围监测装置 |
| WO2013136827A1 (ja) * | 2012-03-12 | 2013-09-19 | 本田技研工業株式会社 | 車両周辺監視装置 |
| JP2013186848A (ja) * | 2012-03-12 | 2013-09-19 | Honda Motor Co Ltd | 車両周辺監視装置 |
| EP2827318A4 (en) * | 2012-03-12 | 2016-01-13 | Honda Motor Co Ltd | DEVICE FOR MONITORING VEHICLE PERIPHERY |
| US10565438B2 (en) | 2012-03-12 | 2020-02-18 | Honda Motor Co., Ltd. | Vehicle periphery monitor device |
| CN104284101A (zh) * | 2013-05-09 | 2015-01-14 | 杭州美盛红外光电技术有限公司 | 热像识别监测装置、监测系统和热像识别监测方法 |
| JP6260017B1 (ja) * | 2016-09-30 | 2018-01-17 | ピーエルケー テクノロジーズ カンパニー リミテッドＰＬＫ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．， Ｌｔｄ． | 光学フロー分析を利用した車両衝突警報禁止方法 |
| JP2018060489A (ja) * | 2016-09-30 | 2018-04-12 | ピーエルケー テクノロジーズ カンパニー リミテッドＰＬＫ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．， Ｌｔｄ． | 光学フロー分析を利用した車両衝突警報禁止方法 |
| CN114390252A (zh) * | 2021-12-29 | 2022-04-22 | 北京科技大学 | 基于5g近红外夜视智能分析的安全监测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3844750B2 (ja) | 2006-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3934119B2 (ja) | 車両周辺監視装置 | |
| JP3987057B2 (ja) | 車両周辺監視装置 | |
| JP3764086B2 (ja) | 車両用情報提供装置 | |
| US8810653B2 (en) | Vehicle surroundings monitoring apparatus | |
| JP4410292B1 (ja) | 車両の周辺監視装置 | |
| JP4426535B2 (ja) | 車両の周辺監視装置 | |
| JP4104867B2 (ja) | ナイトビジョンシステム | |
| JP5774770B2 (ja) | 車両周辺監視装置 | |
| JP4528283B2 (ja) | 車両周辺監視装置 | |
| JP2003216949A (ja) | 赤外線画像処理装置 | |
| JP4094604B2 (ja) | 車両周辺監視装置 | |
| JP4128562B2 (ja) | 車両周辺監視装置 | |
| JP4813304B2 (ja) | 車両周辺監視装置 | |
| JP4425852B2 (ja) | 車両周辺監視装置 | |
| JP3839329B2 (ja) | ナイトビジョンシステム | |
| JP3916930B2 (ja) | 進入警報装置 | |
| JP3844750B2 (ja) | 赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置 | |
| JP3898157B2 (ja) | 赤外線画像認識装置 | |
| JP4943403B2 (ja) | 車両の周辺監視装置 | |
| JP3961269B2 (ja) | 障害物警報装置 | |
| JP5430633B2 (ja) | 車両周辺監視装置 | |
| JP2006185432A (ja) | 車両周辺監視装置 | |
| JP4472623B2 (ja) | 車両周辺監視装置 | |
| JP4871941B2 (ja) | 車両周辺監視装置 | |
| JP3939580B2 (ja) | 障害物警報装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060322 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060516 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060627 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060707 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060808 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060816 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100825 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100825 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110825 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110825 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120825 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120825 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130825 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140825 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |