JP2004191131A - 物標識別方法及び装置、プログラム - Google Patents

物標識別方法及び装置、プログラム Download PDF

Info

Publication number
JP2004191131A
JP2004191131A JP2002358198A JP2002358198A JP2004191131A JP 2004191131 A JP2004191131 A JP 2004191131A JP 2002358198 A JP2002358198 A JP 2002358198A JP 2002358198 A JP2002358198 A JP 2002358198A JP 2004191131 A JP2004191131 A JP 2004191131A
Authority
JP
Japan
Prior art keywords
target
determination data
vehicle
peak
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002358198A
Other languages
English (en)
Other versions
JP4016826B2 (ja
Inventor
Hiroaki Kumon
宏明 公文
Yukimasa Tamatsu
玉津  幸政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2002358198A priority Critical patent/JP4016826B2/ja
Priority to DE10357470.0A priority patent/DE10357470B4/de
Priority to US10/730,270 priority patent/US6999024B2/en
Publication of JP2004191131A publication Critical patent/JP2004191131A/ja
Priority to JP2007179841A priority patent/JP4665948B2/ja
Application granted granted Critical
Publication of JP4016826B2 publication Critical patent/JP4016826B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/08Systems for measuring distance only
    • G01S13/32Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G01S13/345Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using triangular modulation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411Identification of targets based on measurements of radar reflectivity
    • G01S7/412Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415Identification of targets based on measurements of movement associated with the target

Abstract

【課題】少ない処理量にて物標が車両であるか否かを精度よく識別できるようにすること、また、少ない処理量にて物標が人間であるか否かを識別できるようにすることを目的とする。
【解決手段】登録された認識物標を一つずつ取り出し(S210〜S220)、取り出した認識物標(以下「対象物標」という)に対応するピークペアの平均パワー値を、レーダ反射断面積に換算することで正規化平均パワー値NP、及びピークペア間のパワー値の差(以下「パワー差」という)の時間的なばらつきを表す標準偏差DPを算出する(S230〜S260)。車両識別しきい値をTHnp、人間識別しきい値をTHdpとして、対象物標の属性値を、NP>THnpであれば「車両」、NP≦THnpかつDP>THdpであれば「非車両:人間」、NP≦THnpかつDP≦THdpであれば「非車両:その他」に設定する(S270〜S310)。
【選択図】 図4

Description

【0001】
【発明の属する技術分野】
本発明は、電波を送受信することで電波を反射した物標の検知、及び検知した物標の種別の識別を行う物標識別方法及び装置に関する。
【0002】
【従来の技術】
従来より、車両に搭載され車間制御などに使用されるレーダ装置の一つとして、ミリ波帯の電波を使用したFMCW方式のレーダ装置(以下「FMCWレーダ」という。)が知られている。
【0003】
このFMCWレーダでは、周波数が漸増する上り区間及び周波数が漸減する下り区間を有するよう周波数変調された電波を使用し、両区間のそれぞれにて、電波の送受信信号を混合することで得られるビート信号から、信号強度がピークとなる信号成分(以下「ピーク周波数成分」ともいう。)を抽出する。そして、同一物標に基づくピーク周波数成分のペアを特定し、そのペアの周波数から、物標との距離や相対速度を求めるように構成されている。
【0004】
ところで、近年では、衝突時におけるエアバッグの制御など、物標の種別(例えば、大型車/普通車/非車両)に応じて最適な制御を行うようにすることが考えられている。
そして、検知した物標の種別を識別する方法としては、例えば、電波ビームの走査角度に対する反射波の信号強度分布(信号強度の時間変動とも言える。)を予め蓄積されたモデルパターンと比較する方法(例えば、特許文献1参照。)や、周波数に対する反射波の信号強度分布(いわゆる周波数スペクトル。)を予め蓄積されたモデルパターンと比較する方法(例えば、特許文献2参照。)等が知られている。
【0005】
また、レーダの代わりに画像センサを使用し、画像センサから取り込んだ画像データを処理することで、物標の形状を特定し、その形状を予め蓄積されたモデルパターンと比較することで、物標の種別などを精度良く識別する方法も考えられる。
【0006】
【特許文献1】
特開平11−271441号公報(段落[0040]、図14)
【特許文献2】
特開平 5− 27018号公報(段落[0022])
【0007】
【発明が解決しようとする課題】
しかし、いずれの方法も、モデルパターンとの比較(いわゆるパターンマッチング)を行わなければならないため、その処理に膨大な計算量が必要となるだけでなく、信号強度分布は、同じ物標であっても、周囲の環境などに応じて時々刻々と変化するため、精度のよいモデルパターンを作製することが困難であるという問題があった。
【0008】
また、走行時の安全性を考える上では、車両/非車両の識別だけでなく、非車両の種別の識別、特に人間/非人間の識別もできることが望ましい。
しかし、非車両であると識別される物標の中には、様々な形状、様々な大きさのものがあり、人間と同じような大きさで、同じような信号強度分布が得られるものも存在するため、これらの方法を用いて、人間/非人間の識別をすることは、非常に困難であるという問題があった。
【0009】
また、人間は車両や路側物とは異なり、常に一定の形状を有しているわけではないため、モデルパターンとの比較により人間を識別しようとすると、人間のとる姿勢に応じた多くのモデルパターンを用意しなければならない。そして、特に、画像センサからの画像データを処理する方法では、比較すべきモデルパターンが多いと処理量が格段に増大するため、車載用など、高い応答性が要求される用途には使用することができなかった。
【0010】
本発明は、上記問題点を解決するために、少ない処理量にて物標が車両であるか否かを精度よく識別できるようにすることを第1の目的とし、また、少ない処理量にて物標が人間であるか否かを識別できるようにすることを第2の目的とする。
【0011】
【課題を解決するための手段】
上記目的を達成するためになされた第一発明の物標識別方法では、電波を送受信することで電波を反射した物標を検知すると共に、該物標からの反射波の受信強度に基づいて、該受信強度をレーダ反射断面積に換算した第1判定データを求め、該第1判定データから前記物標が車両であるか否かを識別することを特徴とする。
【0012】
即ち、同一の物標であっても、検出される反射波の受信強度は物標との距離によって異なったものとなるが、受信強度をレーダ反射断面積(RCS:Radar Cross Section )に換算することにより、物標までの距離を考慮することなく、受信強度を評価することが可能となる。
【0013】
なお、レーダ反射断面積とは、(1)に示すレーダ方程式においてσで示されるパラメータのことである。
【0014】
【数1】
Figure 2004191131
【0015】
但し、(1)式において、Ptは送信出力、Gtは送信アンテナのアンテナ利得、Rは物標との距離、Arは受信アンテナの開口面積、Prは受信アンテナの受信電力を示す
そして、実際に、様々な距離に位置する各種物標に対して電波を送信し、その反射波の受信強度を測定したところ、図10に示すような結果が得られた。
【0016】
なお、図中のグラフは、一定のレーダ反射断面積を有する仮想的な物体についての距離に対する受信強度の変化を示したものであり、図中の楕円で囲んだ部分は、物標が車両である場合及び物標が人間である場合に、受信強度が分布する範囲を示したものである。
【0017】
但し、車両については、軽自動車からワゴン車まで大きさや形状が様々な13車種について、15〜50m離れた位置を時速(相対速度)−20〜+20kmで接近又は離隔するそれぞれの場合について測定した。また、人間については、5〜25m離れた位置を、歩行速度で接近又は離隔又は横切るそれぞれの場合、及び同様の位置にて静止し、且つ正面または背中を向けているそれぞれの場合について測定した。また、測定結果が図示されていないが、人間以外の非車両について5〜30m離れた位置にある電柱,鉄柱,ポール,フェンス,公園の段差,自転車を、特に自転車の場合は、時速(相対速度)−10〜+10kmで接近又は離隔するそれぞれの場合について測定した。
【0018】
図10に示すように、物標からの反射波の受信強度をレーダ反射断面積に換算すると、物標が車両である場合、その車種によらず、ほぼ一定の範囲内(測定では−5〜25dBsm)に分布し、また、物標が人間である場合、その向きや移動状態によらず、車両の分布範囲の下限を上限とするほぼ一定の範囲内(測定では−20〜−5dBsm)に分布し、更に、物標が人間以外の非車両である場合、人間の場合とほぼ同じ範囲内に分布することがわかった。但し、dBsmとは、レーダ反射断面積の単位であり、物標からの反射量(受信強度)を、直径2mの鉄球からの反射量に対する比にて示したものである。
【0019】
つまり、受信強度から換算されるレーダ反射断面積が、車両の分布範囲と人間の分布範囲との境界値(測定では−5dBsm)以上である物標は、車両である可能性が高く、これを利用することで、物標が車両であるか否かを精度よく識別できるのである。
【0020】
次に、第二発明の物標識別方法では、周波数が漸増する上り区間、周波数が漸減する下り区間を有するよう変調された電波を送受信することで電波を反射した物標を検知すると共に、前記上り区間及び前記下り区間にてそれぞれ検出される前記物標からの反射波の受信強度に基づいて、両区間での受信強度差の時間的なばらつきを表す第2判定データを求め、該第2判定データから前記物標が人間であるか否かを識別することを特徴とする。
【0021】
即ち、発明者らは、同一物標について上り区間と下り区間とで受信強度差を求め、その時間的なばらつきを測定したところ、図11に示すように、物標が人間である場合には、物標が人間以外である場合と比較して、受信強度差の時間的なばらつきが大きいことを見いだした。なお、図中(a)は、受信強度差の変化を物標が人間である場合と物標が車両である場合とで測定した結果を示すグラフであり、図中(b)は、様々な物標について受信強度差の時間的なばらつきを測定した結果から、そのばらつきの標準偏差を求めた結果を示す棒グラフである。
【0022】
つまり、受信強度差の時間的なばらつきが、0.6〜1.0の間に設定された規定値(例えば0.8)以上である物標は人間である可能性が高く、これを利用することで物標が人間であるか否かを精度よく識別できるのである。
なお、物標が人間である場合にのみ、このような大きなばらつきが得られるのは、人間の外形は一定ではなく、姿勢の変化などによって常時変化しているためであると考えられる。
【0023】
次に、第三発明の物標識別装置では、物標検知手段が、電波を送受信することで電波を反射した物標を検知し、物標検知手段により検知される物標からの反射波の受信強度に基づき、第1判定データ生成手段が、その受信強度をレーダ反射断面積に換算することで第1判定データを生成し、この第1判定データに基づいて、車両識別手段が、物標検知手段にて検知された物標が車両であるか否かを識別する。
【0024】
つまり、本発明の物標識別装置は、第一発明の物標識別方法を実現するものであり、従って、第一発明の方法を実施した場合と同様の効果を得ることができる。
また、本発明の物標識別装置が、更に、少なくとも前記物標検知手段の検知エリアを含んだ範囲を撮像することにより得られる画像データに基づいて、前記物標の検知及び種別の特定を行う画像処理手段を備えている場合には、この画像処理手段を、車両識別手段にて非車両であると判定された物標について、物標が人間であるか否かの識別を行うように構成してもよい。
【0025】
この場合、画像処理手段にて人間であるか否かの識別を行うべき物標の数が絞り込まれることになるため、画像処理手段での処理量を大幅に削減できる。
次に第四発明の物標識別装置では、物標検知手段が、周波数が漸増する上り区間、周波数が漸減する下り区間を有するよう変調された電波を送受信することで、電波を反射した物標を検知し、物標検知手段により上り区間及び下り区間のそれぞれにて検知される物標からの反射波の受信強度に基づき、第2判定データ生成手段が、両区間での受信強度差の時間的なばらつき幅を表す第2判定データを生成し、その第2判定データに基づいて、人間識別手段が、物標検知手段にて検知された物標が人間であるか否かを識別する。
【0026】
つまり、本発明の物標識別装置は、第二発明の物標識別方法を実現するものであり、従って、第に発明の方法を実施した場合と同様の効果を得ることができる。
なお、第2判定データ生成手段が生成する第2判定データとしては、ばらつき幅を評価できるものであれば何でもよく、例えば、標準偏差を用いることができる。
【0027】
また、第1判定データ生成手段が、物標検知手段にて検知される物標からの反射波の受信強度に基づき、その受信強度をレーダ反射断面積に換算してなる第1判定データを生成し、その第1判定データ生成手段にて生成された第1判定データから、車両識別手段が、物標が車両であるか否かを識別するように構成してもよい。
【0028】
この場合、車両識別手段にて非車両であると識別された物標についてのみ、人間識別手段での識別を行うか、逆に、人間識別手段にて非人間であると識別された物標についてのみ、車両識別手段での識別を行うように構成すれば、車両,人間,非車両且つ非人間の識別を効率良く行うことができる。
【0029】
なお、第1判定データ生成手段では、受信強度として、上り区間及び下り区間にてそれぞれ検出される受信強度の平均値を用いることが望ましい。
ところで、本発明の物標識別装置が、更に、物標検知手段とは異なる手法により、物標検知手段の検知エリアに存在する物標を検知すると共に、その検知した物標の属性を特定する第2の物標検知手段を備えている場合、物標検知手段を次のように構成することができる。
【0030】
即ち、ピーク抽出手段が、上り区間及び下り区間のそれぞれにて、電波の送受信信号を混合することで得られるビート信号から、信号強度が予め設定された抽出しきい値より大きく且つピークとなるピーク周波数成分を抽出し、その抽出されたピーク周波数成分を組み合わせることで物標を検知する。
【0031】
このとき、予測手段が、第2の物標検知手段にて検知された物標の位置から、その物標についてのピーク周波数成分がピーク抽出手段にて抽出されるべき周波数領域を予測する。そして、抽出しきい値可変手段が、その予測手段にて予測された周波数領域にてピーク抽出手段が使用する抽出しきい値を、第2の物標検知手段が特定した物標の属性に基づいて可変する。
【0032】
つまり、物標の属性によって、ピーク抽出手段にて抽出されるピークの大きさ(受信強度)をある程度推定できるため、その物標の受信強度に適した抽出しきい値を設定することが可能となる。
具体的には、例えば、第2の物標検知手段にて特定された物標の属性が車両である場合には、抽出しきい値を高く設定し、逆に物標の属性が人間である場合には、抽出しきい値を低く設定すればよい。これにより、抽出すべきピークが抽出されなかったり、逆に抽出する必要のないピークを抽出してしまったりすることが防止されるため、抽出の信頼性を向上させることができると共に、抽出する必要のないピークに対して不必要な処理が行われることを防止できる。
【0033】
なお、物標認識手段が特定する属性には、物標の種別、材質、大きさのうち少なくとも一つが含まれていることが望ましい。但し、物標の大きさとは、物標の高さ、幅、奥行き、画面上での投影面積のうち、少なくとも一つが含まれていればよい。
【0034】
ところで、上述の物標識別装置を構成する各手段は、コンピュータを機能させるためのプログラムとして構成してもよい。
この場合、そのプログラムを、例えば、FD,MO,DVD,CD−ROM,ハードディスク,メモリカード等のコンピュータ読み取り可能な記録媒体に記憶し、その記憶したプログラムを必要に応じてコンピュータシステムにロードして起動することにより用いることができる。この他、ROMやバックアップRAMをコンピュータ読み取り可能な記録媒体としてプログラムを記録しておき、このROM或いはバックアップRAMをコンピュータシステムに組み込んで用いてもよい。また、プログラムは、記録媒体に記憶されたものに限らず、ネットワークを介してロードして起動することにより用いられるものであってもよい。
【0035】
【発明の実施の形態】
以下に本発明の実施形態を図面と共に説明する。
図1は、本実施形態の物標識別装置の全体構成を表すブロック図である。
図1に示すように、本実施形態の物標識別装置は、時間に対して周波数が三角波状に変化するよう変調されたミリ波帯の電波を送信すると共に、その反射波を受信し、これらの送受信信号を混合することでビート信号を生成する送受信部10、送受信部10にて生成されたビート信号に基づいて電波を反射した物標の検知を行う信号処理部20からなるFMCWレーダ装置1と、FMCWレーダ装置1の検知エリアを含む範囲を撮像するように設定されたCCDカメラ30、CCDカメラ30から供給される画素データ、及びFMCWレーダ装置1からの物標情報(後述する)に基づいて、FMCWレーダ装置1にて検知された物標についての詳細な属性情報を求める画像処理部40からなる画像認識装置3とからなる。
【0036】
このうち、送受信部10は、単一の送信アンテナと複数の受信アンテナとを備え(以下では、送信アンテナと受信アンテナとの組み合わせを「チャンネル」という。)、各チャンネル毎のビート信号を生成するように構成されている。
具体的には、受信アンテナ(即ち、チャンネル)毎にミキサを備え、各チャンネルのビート信号を同時に生成するように構成してもよいし、ミキサを一つだけ備え、このミキサに接続する受信アンテナを順次切り替えることにより、各チャンネルのビート信号を時分割で生成するように構成してもよい。
【0037】
また、信号処理部20は、CPU,ROM,RAMからなる周知のマイクロコンピュータを中心に構成され、更に、送受信部10から取り込んだビート信号をサンプリングするA/D変換器、高速フーリエ変換(FFT)処理等を実行するための演算処理装置(例えばDSP)を備えている。そして、信号処理部20では、ビート信号のサンプリングデータに基づいて、物標との距離や相対速度、物標が存在する方位を求めたり、物標の種別(車両/非車両:人間/非車両:その他)を識別したりする処理を実行する。
【0038】
なお、FMCWレーダ装置1の信号処理部20と画像認識装置3の画像処理部40とは、互いのデータを入出力できるように構成されており、信号処理部20での処理により得られた情報は、物標情報として画像認識装置3に提供される。一方、画像処理部40では、CCDカメラ30から供給される画素データに基づき、各画素をグループ化して物標が存在する領域を抽出し、その抽出された領域の形状を、予め用意されたモデルパターンの形状と比較することで物標の種別を識別したり、抽出された領域の上下方向又は左右方向の大きさから、物標の高さ(車高),幅(車幅),面積等を求めるように構成されている。
【0039】
ここで、FMCWレーダ装置1の信号処理部20が、繰り返し実行するメイン処理を、図2に示すフローチャートに沿って説明する。
本処理では、まず、送受信部10にレーダ波の送信を開始させ(S11)、これにより送受信部10から供給されるビート信号をサンプリングして取り込む(S12)。そして、周波数が漸増する上り区間及び周波数が漸減する下り区間からなる一周期分の変調が終了すると、送受信部10にレーダ波の送信を終了させる(S13)。
【0040】
次に、S12にて取り込んだサンプリングデータについて周波数解析処理(ここではFFT処理)を実行して、各チャンネル毎かつ上り区間及び下り区間の各区間毎にビート信号のパワースペクトルを求め(S14)、そのパワースペクトルに基づいて、パワー値がピークとなる周波数成分を抽出する周波数ピーク抽出処理を実行する(S15)。
【0041】
この周波数ピーク抽出処理では、図3に示すように、まず、S14での演算結果に基づき、各区間毎かつ周波数成分毎に、全チャンネルの演算結果の平均値を求めることで、平均パワースペクトルを求め(S110)、その平均パワースペクトルの周波数成分を順番に一つずつ取り出す(S120)。
【0042】
次に、その取り出した周波数成分のパワー値はピークであるか否かを判断し(S130)、ピークであれば、その周波数成分(以下「ピーク周波数成分」という。)のパワー値が予め設定された抽出しきい値P_TSDより大きいか否かを判断する(S140)。なお、抽出しきい値P_TSDは、非車両物標(特に人間)からの反射波に基づくピークも確実に抽出できるような大きさ(本実施形態では−20dBsm以下)に設定されている。
【0043】
そして、ピーク周波数成分のパワー値が抽出しきい値P_TSDより大きければ、既に先のS14にてチャンネル毎に求められているピーク周波数成分の位相から、その周波数成分を発生させた電波の到来方向(以下「ピーク方位」という。)を算出し(S150)、このピーク方位をピーク周波数成分の周波数と共に登録する(S160)。
【0044】
また、S130にて取り出した周波数成分はピークではないと判定されるか、S140にてパワー値が抽出しきい値P_TSD以下であると判定されるか、又はS160にてピークが登録されると、全ての周波数成分について、上述の処理(S130〜S160)を実行したか否かを判断する(S170)。そして、未処理の周波数成分があればS120に戻って同様の処理を実行し、一方、全ての周波数成分について処理が終了していれば、そのまま本処理を終了する。
【0045】
このようにして周波数ピーク抽出処理が終了すると、図2に戻って、ピーク登録されたピーク周波数成分に基づき、同一物標に基づくピーク周波数成分を組み合わせるペアマッチ処理を実行し(S16)、ペアマッチ処理で組み合わされたピーク周波数成分が、実際の物標に基づくものであるか否かを特定する物標認識処理を行う(S17)。
【0046】
なお、S16のペアマッチ処理では、S160にてピーク登録されたピーク周波数成分に基づき、上り区間のピークと下り区間のピークとを任意に組み合わせたピークペアを設定し、そのピークペアの中から、組み合わせた両ピークのパワー差が予め設定されたパワー差しきい値PDIFより小さく、且つ、両ピーク周波数成分のピーク方位の角度差が予め設定された角度差しきい値ADIFより小さいもののみを抽出する。更に、抽出された各ピークペアについて、相対速度,距離を算出し、その算出距離が予め設定された上限距離DMAXより小さく、且つその算出速度が予め設定された下限速度VMINより大きく,上限速度VMAXより小さいもののみを、正式なピークペアとして登録する。
【0047】
ここで、相対速度及び距離の算出は、上り区間のピーク周波数と下り区間のピーク周波数とを用いて、FMCW方式のレーダでは周知の方法により算出する。また、このとき、算出された距離と、既に算出されているピーク方位とに基づいて、更に、物標の横位置を算出するようにしてもよい。
【0048】
また、S17の物標認識処理では、本処理が前回実行された時に登録されたピークペア(以下では「前サイクルペア」という。)の情報に基づいて、予測位置及び予測速度を算出し、先のS16にて登録されたピークペア(以下では「今サイクルペア」ともいう。)について求められている位置や速度と比較することにより、前サイクルペアと今サイクルペアとの間に履歴接続があるか否かを判断する。そして、このような履歴接続が、予め設定された回数以上確認されたものを、認識物標として登録する。
【0049】
そして、最後にS18にて登録された認識物標について、その種別を識別する属性認識処理(S19)を実行して本処理を終了する。
この属性認識処理では、図4に示すように、まず、S18にて登録された認識物標がゼロであるか否かを判断し(S210)、ゼロであればそのまま本処理を終了する。一方、認識物標が一つでもあれば、その認識物標を一つずつ取り出して(S220)、以下の処理(S220〜S320)を実行する。
【0050】
まず、S220にて取り出した認識物標(以下では「対象物標」という。)に対応するピークペアの平均パワー値を算出し(S230)、この平均パワー値を上述した(1)式に基づいて、レーダ反射断面積に換算することで正規化平均パワー値NPを算出する(S240)。更に、対象物標に対応するピークペア間のパワー値の差(以下単に「パワー差」という。)を算出し(S250)、そのパワー差と、対象物標についてのパワー差の履歴から求めたパワー差の平均値とに基づいて、パワー差のばらつきを表す標準偏差DPを算出する(S260)。
【0051】
そして、S240にて求めた正規化平均パワー値NPが、予め設定された車両識別しきい値THnp(本実施形態では−5dBsm)より大きいか否かを判断し(S270)、大きければ(NP>THnp)、対象物標の属性値を「車両」に設定する(S280)。
【0052】
一方、正規化平均パワー値NPが車両識別しきい値THnp以下であれば(NP≦THnp)、今度はS260にて求めたパワー差の標準偏差DPが、予め設定された人間識別しきい値THdp(本実施形態では0.8)より大きいか否かを判断し(S290)、大きければ(DP>THdp)、対象物標の属性値を「非車両:人間」に設定する(S300)。また、パワー差の標準偏差DPが人間識別しきい値THdp以下であれば(DP≦THdp)、対象物標の属性値を「非車両:その他」に設定する(S310)。
【0053】
このようにして対象物標の属性値が設定されると、全ての認識物標について、上述の処理(S230〜S310)を実行したか否かを判断し(S170)、未処理の周波数成分があればS120に戻って同様の処理を実行する。一方、全ての認識物標について上述の処理が終了していれば、そのまま本処理を終了する。
【0054】
次に、画像認識装置3の画像処理部40が繰り返し実行するメイン処理を、図5に示すフローチャートに沿って説明する。
本処理では、まず、CCDカメラ30にて撮像された1画面分の画素データをCCDカメラ30から取得し(S410)、その画素データを処理することにより、画面の中で物標の存在が予想される物標候補領域を抽出する(S420)と共に、FMCWレーダ装置1により検知された物標の物標情報を、信号処理部20から取得する(S430)。このとき、取得した各物標情報について、その物標情報に含まれる物標の位置を、CCDカメラ30により撮像される画面に写像した位置も求める。
【0055】
次に、S420にて抽出された物標候補領域を一つずつ取り出して(S440)、以下の処理(S450〜S500)を実行する。
まず、S430にて取得した物標情報の中に、S440にて取り出した物標候補領域に対応するものがあるか否かを判断する(S450)。具体的には、物標候補領域の位置と、S430にて求めた物標情報に基づく写像位置とが一致するか否かにより判断する。
【0056】
そして、物標候補領域に対応する物標情報がなければ、その物標が何であるかを識別するための認識処理を実行し(S500)、一方、対応する物標情報があれば、その物標情報に示された属性が何であるかを判断する(S460)。このとき、属性が「車両」であれば、物標候補領域に撮像された物標は車両である可能性が高いものとして、車種の識別を優先的に行う車種優先認識処理を実行する(S470)。また、属性が「非車両:人間」であれば、物標候補領域に撮像された物標は人間である可能性が高いものとして、実際に人間であるか否かの識別を優先的に行う人間認識処理を実行する(S480)。また、属性が「非車両:その他」であれば、物標候補領域に撮像された物標は、車両でも人間でもないその他のもの(例えば路側物)である可能性が高いものとして、どのような路側物であるかの識別を優先的に行う路側物認識処理を実行する(S490)。
【0057】
なお、S470〜S500の認識処理では、いずれも物標候補領域を予め設定されたモデルパターンと比較する処理を行うが、そのモデルパターンとして、例えば、車両の種類,人間,大型路側物,小型路側物等を識別するためのものがあるとした場合、車種優先認識処理では車両→大型路側物→人間→小型路側物、人間優先認識処理では人間→小型路側物→車両→大型路側物、路側物優先認識処理では小型路側物→人間→車両→大型路側物といったように、属性によって比較する順番を変えることで、少ない処理量でモデルパターンと一致するものが抽出されるようにしている。また、S500の認識処理では、物標候補領域の大きさ(高さ,横幅,面積)等に基づいて、比較するモデルパターンの優先順位を適宜変更するようにされている。
【0058】
これら物標候補領域に対する認識処理(S470〜S500)の後、全ての物標候補領域について、上述の処理(S450〜S500)が実行されたか否かを判断し(S510)、未処理の物標候補領域があれば、S440に戻って同様の処理を実行する。一方、全ての物標候補領域について上述の処理が終了していれば、そのまま本処理を終了する。
【0059】
以上説明したように、本実施形態の物標認識装置を構成するFMCWレーダ装置1では、上り区間及び下り区間にてそれぞれ検出される同一物標についてのピーク周波数成分のパワー値基づいて、両パワー値の平均値をレーダ反射断面積に換算してなる正規化平均パワー値NP、及び両区間でのパワー値差の標準偏差DPを求め、正規化平均パワー値NPにより物標が車両であるか否かを、パワー値差の標準偏差DPにより物標が人間であるか否かを識別するようにされている。
【0060】
つまり、正規化平均パワー値NPで見た場合、車両と非車両(人間や小型路側物等)とでは、その分布の傾向が明らかに異なり、また、パワー値の標準偏差DPで見た場合、人間はその他のものより値が大きくなるという新たな知見に基づいて物標の属性を識別している。
【0061】
このため、本実施形態の物標認識装置を構成するFMCWレーダ装置1では、パターンマッチングなどの膨大な計算量を必要とする処理を行うことなく、少ない処理量にて物標の属性を精度よく識別することができる。
また、本実施形態の物標認識装置を構成する画像認識装置3では、CCDカメラ30からの画素データに基づいて抽出された物標候補領域の識別を行う場合に、その物標候補領域と対応する位置にてFMCWレーダ装置1が物標を検知している場合には、FMCWレーダ装置1にて識別された物標の属性に応じて、その属性のものが優先的に認識されるような処理を選択するようにされている。
【0062】
従って、例えば、人間らしいものが撮像されていると考えられる物標候補領域を、車両についてのモデルパターンと比較してしまう等の無駄な処理が行われる可能性を大幅に減少させることができる。つまり、画像から物標の属性を識別する場合であっても、その物標についての概略の情報をFMCWレーダ装置1から得ることにより、画像のみから全ての情報を得る場合と比較して、処理時間を大幅に短縮することができる。
【0063】
なお、本実施形態において、S11〜S18が物標検知手段、S230〜S240が第1判定データ生成手段、S250〜S260が第2判定データ生成手段、S270が車両識別手段、S290が人間識別手段、画像処理部40が画像処理手段に相当する。
[第2実施形態]
次に第2実施形態について説明する。
【0064】
図6は、本実施形態の物標識別装置の全体構成を表すブロック図である。
図6に示すように、本実施形態の物標識別装置は、第1実施形態と同様に、送受信部10及び信号処理部20aからなるFMCWレーダ装置1aと、CCDカメラ30及び画像処理部40aからなる画像認識装置3aとを備えている。
【0065】
このうち、送受信部10及びCCDカメラ30は、第1実施形態のものと全く同様に構成されたものであるため、ここでは説明を省略する。
一方、信号処理部20a及び画像処理部40aは、第1実施形態とは反対に、画像処理部での処理により得られた情報が、物標情報として信号処理部20aに提供されるように構成されている。また、これら両処理部20a,40aにおいて実行される処理の内容が、第1実施形態のものとは異なっているため、以下では、その相違する部分を中心に説明する。
【0066】
まず、画像認識装置3aの画像処理部40aでは、CCDカメラ30から供給される画素データに基づき、各画素をグループ化して物標が存在する領域を抽出し、その抽出された領域の形状を、予め用意されたモデルパターンの形状と比較することで物標の種別を識別したり、抽出された領域の上下方向又は左右方向の大きさから、物標の高さ(車高),幅(車幅),面積等を求めるように構成されている。そして、物標の属性(車両/非車両)や、物標の大きさ(高さ,幅,面積)を物標情報として、FMCWレーダ装置1aに提供するようにされている。
【0067】
次に、FMCWレーダ装置1aの信号処理部20aが繰り返し実行するメイン処理を、図7に示すフローチャートに沿って説明する。なお、本実施形態では、ピーク周波数成分を抽出するために使用する抽出しきい値を、周波数解析(S36)の結果得られる周波数成分毎に設定できるように構成されている。
【0068】
本処理では、まず、前サイクルでの認識物標と、画像処理部40からの物標情報とを対応づける属性付加処理を実行し(S31)、その属性付加処理での処理結果に基づいて、ピーク周波数成分を抽出する際のしきい値を設定する周波数ピークしきい値設定処理を実行する(S32)。
【0069】
S31の属性付加処理では、図8に示すように、まず画像処理部40から物標情報を取得する(S610)。このとき取得できた物標情報数がゼロであるか否かを判断し(S620)、ゼロであればそのまま本処理を終了し、ゼロでなければ、今度は、前サイクルでの認識物標数がゼロであるか否かを判断する(S630)。
【0070】
そして、認識物標数がゼロであれば、そのまま本処理を終了し、ゼロでなければ、取得した物標情報を一つずつ取り出して(S640)、その取り出した物標情報(以下では「対象物標情報」という)について、以下の処理(S650〜S690)を実行する。
【0071】
まず、前サイクルの認識物標を一つ取り出し(S650)、その取り出した前サイクルの認識物標の位置と、対象物標情報から特定される物標の位置とが一致するか否かを判断し(S660)、一致すれば、対象物標情報に、S650にて取り出した前サイクル認識物標を対応づけする(S670)。
【0072】
一方、両位置が一致しなければ、全ての前サイクル認識物標について、対象物標情報との比較処理を行ったか否かを判断し(S680)、未処理の前サイクル認識物標があれば、S650に戻り、その未処理の前サイクル認識物標に対して同様の処理を繰り返す。一方、未処理の前サイクル認識物標がなければ、対象物標情報についての対応なしフラグFをセット(F←1)する(S690)。
【0073】
そして、対象物標情報について、S670での前サイクル認識物標との対応づけ、又はS690での対応なしフラグのセットのいずれかが行われると、S610にて取得した全ての物標情報について、上述の処理(S650〜S690)が実行されたか否かを判断し(S700)、未処理の物標情報があれば、S640に戻って、その未処理の物標情報に対して同様の処理を実行する。一方、全ての物標情報について、上述の処理が終了していれば、そのまま本処理を終了する。
【0074】
つまり、属性付加処理により、画像処理部40aから取得した物標情報のそれぞれには、前サイクル認識物標が対応づけられ、対応する前サイクル認識物標がない場合には、対応なしフラグFがセットされることになる。
次に、S32の周波数ピークしきい値設定処理では、図9に示すように、まず、周波数成分毎に設定可能なすべての抽出しきい値P_TSDを、非車両用のしきい値PTSD_H(本実施形態では−20dBsm)に初期化する(S710)。
そして、前サイクル認識物標、及び対応なしフラグFがセットされた物標情報を一つずつ取り出し、その取り出したもの(以下では「対象物標」という。)について、以下の処理(S730〜S770)を実行する。
【0075】
まず、対象物標からの反射波によって今サイクルの測定でピーク周波数成分が抽出されるべき周波数(以下では「予測周波数」という。)を求める(S730)。
次に、S720にて取り出した対象物標が、対応なしフラグFがセットされた物標情報であるか又は物標情報が対応づけられた前サイクル認識物標であり、しかもその物標情報に物標の属性が設定されているか否かを判断する(S740)。そして、物標の属性が設定されていれば、その属性は車両であるか否かを判断し(S750)、車両であれば、S730にて求めた予測周波数付近の周波数成分の抽出しきい値P_TSDを、車両用しきい値PTSD_C(本実施形態では−5dBsm)に設定する(S760)。
【0076】
一方、S740にて、物標情報が対応づけられていない前サイクル認識物標か、又は物標情報に物標の属性が設定されていないと判定された場合、又はS750にて、属性が車両ではないと判定された場合には、S730にて求めた予測周波数付近の周波数成分の抽出しきい値P_TSDを、非車両用しきい値PTSD_Hに設定する(S770)。
【0077】
このようにS760又はS770にて抽出しきい値P_TSDが設定されると、全ての前サイクル認識物標、及び対応なしフラグFがセットされた物標情報について、上述の処理(S730〜S770)を実行したか否かを判断する(S780)。そして、未処理のものがあれば、S720に戻って同様の処理を繰り返し、一方、全てのものについて処理が終了していれば、そのまま本処理を終了する。
【0078】
この周波数ピークしきい値設定処理が終了すると、図7に戻り、続くS33〜S41では、第1実施形態におけるS11〜S19と全く同様の処理を実行する。
つまり、画像処理部40aにて識別された物標の属性に基づいて、信号処理部20aがピーク周波数成分を抽出する際の抽出しきい値P_TSDの大きさを変化させるように構成されている。
【0079】
従って、本実施形態の物標認識装置を構成するFMCWレーダ装置1aでは、第1実施形態の場合と同様の効果が得られるだけでなく、ピーク周波数成分を抽出する際に、車両からの反射波に基づくピークが検出されることが予測される周波数領域では、抽出しきい値P_TSDが高く設定されるため、ノイズなどにより生じた抽出する必要のないピークを抽出してしまうことを防止できる。また、非車両からの反射波に基づくピークが検出されることが予測される周波数領域では、抽出しきい値P_TSDが低く設定されるため、反射波の信号強度が小さくても、抽出すべきピークを確実に抽出することができ、抽出の信頼性を向上させることができる。
【0080】
なお、本実施形態では、抽出しきい値P_TSDを物標が車両であるか否かによって変化させているが、物標までの距離や物標の大きさ(高さ,幅,投影面積,奥行き)などによって変化させてもよい。
また、本実施形態では、画像認識装置3aが第2の物標検知手段、S37がピーク抽出手段、S730が予測手段、S740〜S770が抽出しきい値可変手段に相当する。
【図面の簡単な説明】
【図1】第1実施形態の物標認識装置の構成を示すブロック図である。
【図2】第1実施形態における信号処理部が実行するメイン処理の内容を示すフローチャートである。
【図3】周波数ピーク抽出処理の詳細を示すフローチャートである。
【図4】属性識別処理の詳細を示すフローチャートである。
【図5】第1実施形態における画像処理部が実行するメイン処理の内容を示すフローチャートである。
【図6】第2実施形態の物標認識装置の構成を示すブロック図である。
【図7】第2実施形態における信号処理部が実行するメイン処理の内容を示すフローチャートである。
【図8】属性付加処理の詳細を示すフローチャートである。
【図9】抽出しきい値設定処理の詳細を示すフローチャートである。
【図10】物標までの距離と受信電力との関係を測定した結果を模式的に示したグラフである。
【図11】上り区間及び下り区間での受信電力差を測定した結果の一例を示すグラフ、及び受信電力差の測定結果の標準偏差を算出した結果を示す棒グラフである。
【符号の説明】
1,1a…FMCWレーダ装置、3,3a…画像認識装置、10…送受信部、20,20a…信号処理部、30…CCDカメラ、40,40a…画像処理部。

Claims (11)

  1. 電波を送受信することで電波を反射した物標を検知すると共に、該物標からの反射波の受信強度に基づいて、該受信強度をレーダ反射断面積に換算した第1判定データを求め、該第1判定データから前記物標が車両であるか否かを識別することを特徴とする物標識別方法。
  2. 周波数が漸増する上り区間、周波数が漸減する下り区間を有するよう変調された電波を送受信することで電波を反射した物標を検知すると共に、前記上り区間及び前記下り区間にてそれぞれ検出される前記物標からの反射波の受信強度に基づいて、両区間での受信強度差の時間的なばらつきを表す第2判定データを求め、該第2判定データから前記物標が人間であるか否かを識別することを特徴とする物標識別方法。
  3. 電波を送受信することで電波を反射した物標を検知する物標検知手段と、
    該物標検知手段にて検知される物標からの反射波の受信強度に基づき、該受信強度をレーダ反射断面積に換算することで第1判定データを生成する第1判定データ生成手段と、
    該第1判定データ生成手段にて生成された第1判定データに基づいて、前記物標が車両であるか否かを識別する車両識別手段と、
    を備えることを特徴とする物標識別装置。
  4. 請求項3記載の物標識別装置において、
    少なくとも前記物標検知手段の検知エリアを含んだ範囲を撮像することにより得られる画像データに基づいて、前記物標の検知及び種別の特定を行う画像処理手段を備え、
    該画像処理手段は、前記車両識別手段にて非車両であると判定された物標について、該物標が人間であるか否かの識別を行うことを特徴とする物標識別装置。
  5. 周波数が漸増する上り区間、周波数が漸減する下り区間を有するよう変調された電波を送受信することで、電波を反射した物標を検知する物標検知手段と、
    該物標検知手段にて前記上り区間及び前記下り区間のそれぞれにて検知される物標からの反射波の受信強度に基づき、両区間での受信強度差の時間的なばらつき幅を表す第2判定データを生成する第2判定データ生成手段と、
    該第2判定データ生成手段にて生成された第2判定データに基づいて、前記物標が人間であるか否かを識別する人間識別手段と、
    を備えることを特徴とする物標識別装置。
  6. 前記第2判定データ生成手段が生成する第2判定データとして標準偏差を用いることを特徴とする請求項5記載の物標識別装置。
  7. 前記物標検知手段にて検知される物標からの反射波の受信強度に基づき、該受信強度をレーダ反射断面積に換算することで第1判定データを生成する第1判定データ生成手段と、
    該第1判定データ生成手段にて生成された第1判定データから、前記物標が車両であるか否かを識別する車両識別手段と、
    を備えることを特徴とする請求項5又は請求項6記載の物標識別装置。
  8. 前記第1判定データ生成手段では、前記受信強度として、前記上り区間及び前記下り区間にてそれぞれ検出される受信強度の平均値を用いることを特徴とする請求項7記載の物標識別装置。
  9. 前記物標検知手段とは異なる手法により、該物標検知手段の検知エリアに存在する物標を検知すると共に、その検知した物標の属性を特定する第2の物標検知手段を備え、
    前記物標検知手段は、
    前記上り区間及び前記下り区間のそれぞれにて、電波の送受信信号を混合することで得られるビート信号から、信号強度が予め設定された抽出しきい値より大きく且つピークとなるピーク周波数成分を抽出するピーク抽出手段と、
    前記第2の物標検知手段にて検知された前記物標の位置から、該物標についてのピーク周波数成分が前記ピーク抽出手段にて抽出されるべき周波数領域を予測する予測手段と、
    該予測手段にて予測された周波数領域にて前記ピーク抽出手段が使用する前記抽出しきい値を、前記第2の物標検知手段が特定した物標の属性に基づいて可変する抽出しきい値可変手段と、
    を備え、前記ピーク抽出手段にて抽出されたピーク周波数成分を組み合わせることで物標を検知することを特徴とする請求項5乃至請求項8いずれか記載の物標識別装置。
  10. 前記物標認識手段が特定する属性には、前記物標の種別、材質、大きさのうち少なくとも一つが含まれていることを特徴とする請求項9記載の物標識別装置。
  11. コンピュータシステムを、請求項3乃至請求項10いずれか記載の物標識別装置を構成する各手段として機能させるためのプログラム。
JP2002358198A 2002-12-10 2002-12-10 物標識別方法及び装置、プログラム Expired - Lifetime JP4016826B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2002358198A JP4016826B2 (ja) 2002-12-10 2002-12-10 物標識別方法及び装置、プログラム
DE10357470.0A DE10357470B4 (de) 2002-12-10 2003-12-09 Verfahren und System zum Unterscheiden eines Zielobjekts und entsprechendes Programm
US10/730,270 US6999024B2 (en) 2002-12-10 2003-12-09 Method and apparatus for discriminating a target objective, and related program
JP2007179841A JP4665948B2 (ja) 2002-12-10 2007-07-09 物標識別装置、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002358198A JP4016826B2 (ja) 2002-12-10 2002-12-10 物標識別方法及び装置、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007179841A Division JP4665948B2 (ja) 2002-12-10 2007-07-09 物標識別装置、プログラム

Publications (2)

Publication Number Publication Date
JP2004191131A true JP2004191131A (ja) 2004-07-08
JP4016826B2 JP4016826B2 (ja) 2007-12-05

Family

ID=32588109

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2002358198A Expired - Lifetime JP4016826B2 (ja) 2002-12-10 2002-12-10 物標識別方法及び装置、プログラム
JP2007179841A Expired - Lifetime JP4665948B2 (ja) 2002-12-10 2007-07-09 物標識別装置、プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2007179841A Expired - Lifetime JP4665948B2 (ja) 2002-12-10 2007-07-09 物標識別装置、プログラム

Country Status (3)

Country Link
US (1) US6999024B2 (ja)
JP (2) JP4016826B2 (ja)
DE (1) DE10357470B4 (ja)

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005009913A (ja) * 2003-06-17 2005-01-13 Alpine Electronics Inc レーダ制御装置
JP2005121601A (ja) * 2003-10-20 2005-05-12 Nissan Motor Co Ltd 物体検出装置及び物体検出方法
JP2007071631A (ja) * 2005-09-06 2007-03-22 Toyota Motor Corp 車両用物標判定装置
JP2007114831A (ja) * 2005-10-18 2007-05-10 Omron Corp 物体検出装置
JP2007232412A (ja) * 2006-02-27 2007-09-13 Toyota Motor Corp 物体検出装置
WO2008004077A2 (en) 2006-06-30 2008-01-10 Toyota Jidosha Kabushiki Kaisha Automotive drive assist system with sensor fusion of radar and camera and probability estimation of object existence for varying a threshold in the radar
JP2008002817A (ja) * 2006-06-20 2008-01-10 Alpine Electronics Inc 物体識別システム
JP2008216013A (ja) * 2007-03-02 2008-09-18 Toyota Motor Corp 物体検出装置
JP2009174900A (ja) * 2008-01-22 2009-08-06 Fujitsu Ten Ltd 物体検出装置、物体検出方法および物体検出システム
JP2009199138A (ja) * 2008-02-19 2009-09-03 Honda Motor Co Ltd 車両周辺監視装置、車両、車両周辺監視プログラム
JP2009208676A (ja) * 2008-03-05 2009-09-17 Nissan Motor Co Ltd 車両周囲環境検出装置
JP2009236623A (ja) * 2008-03-26 2009-10-15 Fujitsu Ten Ltd 物体検知装置、周辺監視装置、運転支援システムおよび物体検知方法
US7777669B2 (en) 2005-11-09 2010-08-17 Toyota Jidosha Kabushiki Kaisha Object detection device
WO2011013181A1 (ja) * 2009-07-29 2011-02-03 トヨタ自動車株式会社 レーダ装置
JP2011099683A (ja) * 2009-11-04 2011-05-19 Hitachi Automotive Systems Ltd 物体検出装置
WO2011126111A1 (ja) * 2010-04-09 2011-10-13 トヨタ自動車 株式会社 スペクトル測定装置
JP2012112653A (ja) * 2010-11-19 2012-06-14 Denso Corp レーダ装置
JP2012220377A (ja) * 2011-04-11 2012-11-12 Denso Corp 物体識別装置、および物体識別プログラム
JP2012247215A (ja) * 2011-05-25 2012-12-13 Denso Corp 物体識別装置、および物体識別プログラム
JP2013096915A (ja) * 2011-11-02 2013-05-20 Toyota Motor Corp 車両用歩行者検知装置、車両用歩行者保護システム
JP2013167554A (ja) * 2012-02-16 2013-08-29 Fujitsu Ltd 人検知装置、人検知方法、及びプログラム
JP2013238452A (ja) * 2012-05-14 2013-11-28 Honda Elesys Co Ltd 位置情報検出装置、位置情報検出方法、位置情報検出プログラム、及び動作制御システム
US8854251B2 (en) 2010-06-16 2014-10-07 Toyota Jidosha Kabushiki Kaisha Object identification device and method
JP2015072224A (ja) * 2013-10-03 2015-04-16 株式会社豊田中央研究所 レーダ装置
JP2015087120A (ja) * 2013-10-28 2015-05-07 住友電気工業株式会社 電波センサおよび検知方法
US9234800B2 (en) 2010-04-09 2016-01-12 Toyota Jidosha Kabushiki Kaisha Spectrometer
JP5908193B1 (ja) * 2015-05-29 2016-04-26 三菱電機株式会社 レーダ信号処理装置
JP2017134012A (ja) * 2016-01-29 2017-08-03 オプテックス株式会社 車両検知装置、車両検知装置の制御方法、および車両検知プログラム
JP2017207348A (ja) * 2016-05-18 2017-11-24 三菱電機株式会社 レーダ装置およびこれを用いたセンサフュージョン装置
US10274586B2 (en) 2015-02-03 2019-04-30 Optex Co., Ltd. Vehicle detection device, vehicle gate system, and method of controlling vehicle detection device
WO2020031689A1 (ja) * 2018-08-09 2020-02-13 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、情報処理システム、並びに移動体装置
JP2020075168A (ja) * 2016-07-05 2020-05-21 パナソニックIpマネジメント株式会社 推定装置およびプログラム
WO2021038740A1 (ja) * 2019-08-28 2021-03-04 三菱電機株式会社 障害物検知装置
WO2021186960A1 (ja) * 2020-03-16 2021-09-23 ソニーセミコンダクタソリューションズ株式会社 認識処理システム、認識処理装置及び認識処理方法

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295154B2 (en) * 2002-01-17 2007-11-13 The Ohio State University Vehicle obstacle warning radar
JP4016826B2 (ja) * 2002-12-10 2007-12-05 株式会社デンソー 物標識別方法及び装置、プログラム
JP2004226158A (ja) * 2003-01-21 2004-08-12 Fujitsu Ten Ltd Fm−cwレーダ装置
JP2004361155A (ja) * 2003-06-03 2004-12-24 Fujitsu Ten Ltd 目標物判別装置、目標物判定装置、及び判別補助装置
US7339517B2 (en) * 2003-12-16 2008-03-04 Murata Manufacturing Co., Ltd. Radar
JP4161925B2 (ja) * 2004-03-25 2008-10-08 トヨタ自動車株式会社 衝突予測装置もしくはその部品のためのダミー装置または検査方法
JP4396400B2 (ja) * 2004-06-02 2010-01-13 トヨタ自動車株式会社 障害物認識装置
JP4197033B2 (ja) * 2004-08-10 2008-12-17 株式会社村田製作所 レーダ
DE102004047087A1 (de) * 2004-09-29 2006-03-30 Robert Bosch Gmbh Verfahren zur Objektverifaktion in Radarsystemen für Kraftfahrzeuge
US7593024B2 (en) * 2005-01-15 2009-09-22 International Business Machines Corporation Screen calibration for display devices
WO2006120823A1 (ja) * 2005-05-13 2006-11-16 Murata Manufacturing Co., Ltd. レーダ
JP4260831B2 (ja) * 2006-09-20 2009-04-30 三菱電機株式会社 車載用周波数変調レーダ装置
US8098889B2 (en) * 2007-01-18 2012-01-17 Siemens Corporation System and method for vehicle detection and tracking
EP2122599B1 (en) * 2007-01-25 2019-11-13 Magna Electronics Inc. Radar sensing system for vehicle
US7612707B2 (en) * 2007-09-28 2009-11-03 Banner Engineering Corporation Configurable radar sensor
JP5217471B2 (ja) * 2008-02-04 2013-06-19 トヨタ自動車株式会社 車両用物体認識装置
JP4715871B2 (ja) * 2008-06-10 2011-07-06 株式会社デンソー 方位検出装置、レーダ装置
JP4843003B2 (ja) * 2008-08-05 2011-12-21 富士通テン株式会社 信号処理装置、レーダ装置、及び信号処理方法
JP5733881B2 (ja) * 2009-01-20 2015-06-10 日本無線株式会社 Fm−cwレーダ装置
DE102010037163B4 (de) * 2009-08-27 2017-12-21 Fujitsu Ten Ltd. Signalverarbeitungsvorrichtung, Radarvorrichtung, Fahrzeugsteuersystem, Signalverarbeitungsverfahren und computerlesbares Medium
DE102009057191A1 (de) * 2009-12-05 2011-06-09 Valeo Schalter Und Sensoren Gmbh Verfahren zum eindeutigen Bestimmen einer Entfernung und/oder einer relativen Geschwindigkeit eines Objektes, Fahrerassistenzeinrichtung und Kraftfahrzeug
JPWO2011092814A1 (ja) * 2010-01-28 2013-05-30 トヨタ自動車株式会社 障害物検出装置
JP5500121B2 (ja) 2011-04-25 2014-05-21 株式会社デンソー 歩行者検出装置、歩行者検出方法およびプログラム
JP5666987B2 (ja) * 2011-05-25 2015-02-12 株式会社デンソー 移動物体検出装置
FR2976678B1 (fr) * 2011-06-17 2013-07-12 Commissariat Energie Atomique Methode d'estimation de surface equivalente radar a partir de mesures en champ proche
JP5953716B2 (ja) * 2011-11-28 2016-07-20 トヨタ自動車株式会社 車両用制御装置、特定物体判別装置、特定物体判別方法、特定物体判別プログラム
JP6035862B2 (ja) * 2012-05-18 2016-11-30 トヨタ自動車株式会社 物体判定装置および衝突回避支援装置
KR20140019501A (ko) * 2012-08-06 2014-02-17 현대자동차주식회사 장애물 인식을 위한 분류기의 생성방법
JP6280319B2 (ja) * 2012-10-30 2018-02-14 株式会社デンソーテン レーダ装置、および、信号処理方法
CN104937436B (zh) * 2013-02-01 2017-04-26 三菱电机株式会社 雷达装置
JP5929870B2 (ja) * 2013-10-17 2016-06-08 株式会社デンソー 物標検出装置
JP6313981B2 (ja) * 2014-01-22 2018-04-18 株式会社デンソーテン レーダ装置、車両制御システム、および、信号処理方法
US10371815B2 (en) * 2014-03-31 2019-08-06 Mitsumi Electric Co., Ltd. Radar module, transport apparatus, and object detection method
US10244300B2 (en) 2014-04-30 2019-03-26 Oticon A/S Instrument with remote object detection unit
EP2941019B1 (en) * 2014-04-30 2019-09-18 Oticon A/s Hearing aid with remote object detection unit
JP6260483B2 (ja) * 2014-07-16 2018-01-17 株式会社デンソー 物標検出装置
CN104408927B (zh) * 2014-10-23 2017-03-22 南京航空航天大学 一种基于调频连续波雷达的车型分类方法
JP6561584B2 (ja) * 2015-05-27 2019-08-21 株式会社デンソー 車両制御装置、及び車両制御方法
KR101743838B1 (ko) * 2015-11-18 2017-06-07 울산대학교 산학협력단 인체 감지 장치 및 방법
WO2017143234A1 (en) * 2016-02-18 2017-08-24 L.H. Kosowsky & Associates, Inc. Imaging system for locating human beings through barriers
US10473756B2 (en) * 2016-07-05 2019-11-12 Panasonic Intellectual Property Management Co., Ltd. Sensor and estimating method
US10885788B2 (en) * 2017-04-24 2021-01-05 Mitsubishi Electric Corporation Notification control apparatus and method for controlling notification
JP6489589B2 (ja) * 2017-05-24 2019-03-27 三菱電機株式会社 レーダ信号処理装置
JP6570675B2 (ja) * 2018-02-15 2019-09-04 三菱電機株式会社 レーダ信号処理装置
CN109254271B (zh) * 2018-08-30 2021-05-04 安徽四创电子股份有限公司 一种用于地面监视雷达系统的静止目标抑制方法
TWI734932B (zh) * 2018-09-17 2021-08-01 為昇科科技股份有限公司 雷達偵測角度校正系統及其方法
US11385344B2 (en) * 2020-03-20 2022-07-12 Aptiv Technologies Limited Frequency-modulated continuous-wave (FMCW) radar-based detection of living objects
JP7327257B2 (ja) * 2020-04-13 2023-08-16 トヨタ自動車株式会社 車載センサシステム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4124848A (en) * 1977-09-21 1978-11-07 Automation Industries, Inc. Range limited area protection system
JPS6061669A (ja) 1983-09-14 1985-04-09 Mitsubishi Electric Corp レ−ダ装置
JP2929561B2 (ja) * 1991-07-18 1999-08-03 富士通株式会社 レーダ信号処理装置
JP2611172B2 (ja) 1992-03-10 1997-05-21 防衛庁技術研究本部長 目標識別装置
JPH0755923A (ja) 1993-08-17 1995-03-03 Nec Corp 目標識別装置
JPH08233936A (ja) 1995-02-27 1996-09-13 Nippon Avionics Co Ltd レーダ装置
JPH08313632A (ja) * 1995-05-19 1996-11-29 Omron Corp 警報発生装置および方法,ならびにこの警報発生装置を搭載した車両
JPH1164500A (ja) 1997-08-21 1999-03-05 Honda Motor Co Ltd レーダ装置
JPH11271441A (ja) * 1998-03-23 1999-10-08 Hino Motors Ltd 車載用レーダ装置
JP2001076298A (ja) * 1999-09-07 2001-03-23 Mazda Motor Corp 車両の表示装置
JP3966673B2 (ja) * 1999-10-26 2007-08-29 本田技研工業株式会社 物体検知装置および車両の走行安全装置
US7068211B2 (en) * 2000-02-08 2006-06-27 Cambridge Consultants Limited Methods and apparatus for obtaining positional information
JP3405327B2 (ja) 2000-07-28 2003-05-12 株式会社デンソー 物体認識方法及び装置、記録媒体
JP3871875B2 (ja) 2000-11-06 2007-01-24 日本電気株式会社 目標類別方法及び装置
JP2003098254A (ja) * 2001-09-26 2003-04-03 Mitsubishi Electric Corp 目標判別装置
JP2004085363A (ja) * 2002-08-27 2004-03-18 Omron Corp 侵入物体検出装置及びその設定装置、設定方法、並びにその設定確認方法
JP4016826B2 (ja) * 2002-12-10 2007-12-05 株式会社デンソー 物標識別方法及び装置、プログラム

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005009913A (ja) * 2003-06-17 2005-01-13 Alpine Electronics Inc レーダ制御装置
JP2005121601A (ja) * 2003-10-20 2005-05-12 Nissan Motor Co Ltd 物体検出装置及び物体検出方法
JP2007071631A (ja) * 2005-09-06 2007-03-22 Toyota Motor Corp 車両用物標判定装置
JP4730027B2 (ja) * 2005-09-06 2011-07-20 トヨタ自動車株式会社 車両用物標判定装置
JP2007114831A (ja) * 2005-10-18 2007-05-10 Omron Corp 物体検出装置
US7777669B2 (en) 2005-11-09 2010-08-17 Toyota Jidosha Kabushiki Kaisha Object detection device
JP2007232412A (ja) * 2006-02-27 2007-09-13 Toyota Motor Corp 物体検出装置
JP2008002817A (ja) * 2006-06-20 2008-01-10 Alpine Electronics Inc 物体識別システム
US8199046B2 (en) 2006-06-30 2012-06-12 Toyota Jidosha Kabushiki Kaisha Radar system to determine whether an object is subject of detection based on intensity of a radio wave emission of the object
WO2008004077A2 (en) 2006-06-30 2008-01-10 Toyota Jidosha Kabushiki Kaisha Automotive drive assist system with sensor fusion of radar and camera and probability estimation of object existence for varying a threshold in the radar
WO2008004077A3 (en) * 2006-06-30 2008-03-20 Toyota Motor Co Ltd Automotive drive assist system with sensor fusion of radar and camera and probability estimation of object existence for varying a threshold in the radar
JP2008216013A (ja) * 2007-03-02 2008-09-18 Toyota Motor Corp 物体検出装置
JP2009174900A (ja) * 2008-01-22 2009-08-06 Fujitsu Ten Ltd 物体検出装置、物体検出方法および物体検出システム
JP4716294B2 (ja) * 2008-02-19 2011-07-06 本田技研工業株式会社 車両周辺監視装置、車両、車両周辺監視プログラム
JP2009199138A (ja) * 2008-02-19 2009-09-03 Honda Motor Co Ltd 車両周辺監視装置、車両、車両周辺監視プログラム
JP2009208676A (ja) * 2008-03-05 2009-09-17 Nissan Motor Co Ltd 車両周囲環境検出装置
JP2009236623A (ja) * 2008-03-26 2009-10-15 Fujitsu Ten Ltd 物体検知装置、周辺監視装置、運転支援システムおよび物体検知方法
US8305258B2 (en) 2009-07-29 2012-11-06 Toyota Jidosha Kabushiki Kaisha Radar device
WO2011013181A1 (ja) * 2009-07-29 2011-02-03 トヨタ自動車株式会社 レーダ装置
JP2011027695A (ja) * 2009-07-29 2011-02-10 Toyota Motor Corp レーダ装置
JP2011099683A (ja) * 2009-11-04 2011-05-19 Hitachi Automotive Systems Ltd 物体検出装置
WO2011126111A1 (ja) * 2010-04-09 2011-10-13 トヨタ自動車 株式会社 スペクトル測定装置
JP2011220866A (ja) * 2010-04-09 2011-11-04 Toyota Motor Corp スペクトル測定装置
US9305220B2 (en) 2010-04-09 2016-04-05 Toyota Jidosha Kabushiki Kaisha Spectrum measurement device
US9234800B2 (en) 2010-04-09 2016-01-12 Toyota Jidosha Kabushiki Kaisha Spectrometer
US8854251B2 (en) 2010-06-16 2014-10-07 Toyota Jidosha Kabushiki Kaisha Object identification device and method
US8686893B2 (en) 2010-11-19 2014-04-01 Denso Corporation Radar device
JP2012112653A (ja) * 2010-11-19 2012-06-14 Denso Corp レーダ装置
JP2012220377A (ja) * 2011-04-11 2012-11-12 Denso Corp 物体識別装置、および物体識別プログラム
JP2012247215A (ja) * 2011-05-25 2012-12-13 Denso Corp 物体識別装置、および物体識別プログラム
JP2013096915A (ja) * 2011-11-02 2013-05-20 Toyota Motor Corp 車両用歩行者検知装置、車両用歩行者保護システム
JP2013167554A (ja) * 2012-02-16 2013-08-29 Fujitsu Ltd 人検知装置、人検知方法、及びプログラム
JP2013238452A (ja) * 2012-05-14 2013-11-28 Honda Elesys Co Ltd 位置情報検出装置、位置情報検出方法、位置情報検出プログラム、及び動作制御システム
JP2015072224A (ja) * 2013-10-03 2015-04-16 株式会社豊田中央研究所 レーダ装置
JP2015087120A (ja) * 2013-10-28 2015-05-07 住友電気工業株式会社 電波センサおよび検知方法
US10274586B2 (en) 2015-02-03 2019-04-30 Optex Co., Ltd. Vehicle detection device, vehicle gate system, and method of controlling vehicle detection device
JP5908193B1 (ja) * 2015-05-29 2016-04-26 三菱電機株式会社 レーダ信号処理装置
WO2016194036A1 (ja) * 2015-05-29 2016-12-08 三菱電機株式会社 レーダ信号処理装置
US10663580B2 (en) 2015-05-29 2020-05-26 Mitsubishi Electric Corporation Radar signal processing device
JP2017134012A (ja) * 2016-01-29 2017-08-03 オプテックス株式会社 車両検知装置、車両検知装置の制御方法、および車両検知プログラム
JP2017207348A (ja) * 2016-05-18 2017-11-24 三菱電機株式会社 レーダ装置およびこれを用いたセンサフュージョン装置
JP2020075168A (ja) * 2016-07-05 2020-05-21 パナソニックIpマネジメント株式会社 推定装置およびプログラム
WO2020031689A1 (ja) * 2018-08-09 2020-02-13 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、情報処理システム、並びに移動体装置
CN112534297A (zh) * 2018-08-09 2021-03-19 索尼半导体解决方案公司 信息处理设备和信息处理方法、计算机程序、信息处理系统以及移动设备
JPWO2020031689A1 (ja) * 2018-08-09 2021-08-12 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、情報処理システム、並びに移動体装置
JP7374098B2 (ja) 2018-08-09 2023-11-06 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、情報処理システム、並びに移動体装置
WO2021038740A1 (ja) * 2019-08-28 2021-03-04 三菱電機株式会社 障害物検知装置
WO2021186960A1 (ja) * 2020-03-16 2021-09-23 ソニーセミコンダクタソリューションズ株式会社 認識処理システム、認識処理装置及び認識処理方法

Also Published As

Publication number Publication date
JP2007248480A (ja) 2007-09-27
DE10357470B4 (de) 2014-12-31
JP4016826B2 (ja) 2007-12-05
DE10357470A1 (de) 2004-07-15
JP4665948B2 (ja) 2011-04-06
US20040246167A1 (en) 2004-12-09
US6999024B2 (en) 2006-02-14

Similar Documents

Publication Publication Date Title
JP4665948B2 (ja) 物標識別装置、プログラム
JP5554688B2 (ja) レーダ装置
US11340332B2 (en) Method and apparatus for processing radar data
JP6599588B1 (ja) オブジェクト検出のための顕著性ベースのビームフォーミング
US6429804B1 (en) Motor-vehicle-mounted radar apparatus
KR102516367B1 (ko) 레이더 데이터를 처리하는 장치 및 방법
KR20210001219A (ko) 국지적 분해능을 조정하는 레이더 데이터 처리 장치 및 방법
US20030076255A1 (en) Method for detecting stationary object on road by radar
US10983195B2 (en) Object detection apparatus
JP2000241538A (ja) レーダ装置
US9372260B2 (en) Object detecting device, object detecting method, object detecting program, and motion control system
WO2004102222A1 (ja) 物体検出装置、物体検出方法、物体検出プログラム、距離センサ
JP2004198438A (ja) 車載レーダ装置
US20210364280A1 (en) Road surface area detection device, road surface area detection system, vehicle, and road surface area detection method
JP6410390B2 (ja) 電波センサおよび検知方法
JP5436652B1 (ja) 車両の周辺監視装置及び車両の周辺監視方法
JP6822492B2 (ja) 物体検知装置、物体検知方法、及びプログラム
JP2019109179A (ja) 車両の物体検出装置
CN113109798A (zh) 目标检测方法、装置、计算机设备和存储介质
JP2020026977A (ja) 物標検出装置および物標検出方法
JP3890405B2 (ja) ミリ波センサを用いた車種判別方法及び装置
JP2007093461A (ja) 信頼度算出装置
JP3866684B2 (ja) レーダの信号処理装置および処理方法
JP7274271B2 (ja) レーダ装置および物標判別方法
JP7294781B2 (ja) レーダ装置および物体判別方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070510

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070626

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070910

R150 Certificate of patent or registration of utility model

Ref document number: 4016826

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100928

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100928

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110928

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110928

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120928

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120928

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130928

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term