JP2008224621A - 移動体用物体検出装置 - Google Patents

移動体用物体検出装置 Download PDF

Info

Publication number
JP2008224621A
JP2008224621A JP2007067356A JP2007067356A JP2008224621A JP 2008224621 A JP2008224621 A JP 2008224621A JP 2007067356 A JP2007067356 A JP 2007067356A JP 2007067356 A JP2007067356 A JP 2007067356A JP 2008224621 A JP2008224621 A JP 2008224621A
Authority
JP
Japan
Prior art keywords
measurement data
object detection
time
area
peak value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007067356A
Other languages
English (en)
Other versions
JP4917458B2 (ja
Inventor
Shigetomo Mitani
重知 三谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2007067356A priority Critical patent/JP4917458B2/ja
Priority to US11/875,596 priority patent/US20080224893A1/en
Priority to AT07119926T priority patent/ATE476673T1/de
Priority to EP07119926A priority patent/EP1970727B1/en
Priority to DE602007008199T priority patent/DE602007008199D1/de
Priority to CN2007103005740A priority patent/CN101266295B/zh
Publication of JP2008224621A publication Critical patent/JP2008224621A/ja
Application granted granted Critical
Publication of JP4917458B2 publication Critical patent/JP4917458B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4873Extracting wanted echo signals, e.g. pulse detection by deriving and controlling a threshold value

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Traffic Control Systems (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

【課題】受信信号の時系列フィルタの構造を複雑にしなくても、十分なS/N比を確保しつつ物体の誤検出を防止できる装置を提供する。
【解決手段】物体検出装置は、レーザ光の発光制御とその反射光の受光制御を行うL/R装置3と、L/R装置3の受信信号から物体を検出する物体検出部とを備えている。物体検出部は、走査範囲を所定数に分割した領域毎に受信信号を積算して領域計測データを記憶する積算データ格納メモリ43と、前記領域計測データを領域毎に記憶する領域計測データ格納メモリ44と、前記領域計測データを時系列フィルタリングしてノイズを除去する時系列処理装置45と、を備えている。また、前記物体検知部は、前記時系列処理装置45で処理された領域計測データのピーク値が前回走査の計測時よりも一定値以上減少しているデータについては、物体検知対象から除き、それ以外のデータについて物体検出を行う物体検出器47とを備えている。
【選択図】図4

Description

この発明は、車両等の移動体に取り付けられ、前方に存在する障害物等の物体を検出する移動体用物体検出装置に関する。
自動車に取り付けられているACC(Adaptive Cruise Control :車間距離制御装置)には、前方を電磁波(電波や光)ビームで走査し、各走査タイミングにおいて電磁波を送信した時から反射波を受信するまでの時間を計測することで前方に存在する先行車両や人等の物体を検出する物体検出装置が接続されている。
この物体検出装置では、S/N比を改善することによる測定可能距離範囲の確保や低反射物体の検出率の向上、さらに移動物体の検出率の向上が要求されている。電磁波出力を増大すれば、これらの要求に対応することが可能である。しかし、電磁波出力の増大については、以下の問題が指摘されている。
(1)電波の場合
指向性のある高出力電波が人体に直接照射されると、電磁波過敏症を引き起こしたり脳に対して悪影響を及ぼしたりする可能性がある。
(2)レーザ光等の光の場合
高出力レーザ光が人の眼に照射されると、眼障害を引き起こす。
そこで、上記の問題を解決するために、電磁波出力を増大することなく、受信信号を積分してS/N比を改善する方法や、受信信号を時系列フィルタリングすることにより背景ノイズ(バックグラウンドノイズ)を除去してS/N比を改善する方法が実施されている。
さらに、受信信号を積分する際の時定数を近距離と遠距離とで変化させる技術(特許文献1)や、フィルタリングの方法を工夫することにより物体の移動方向を推定する技術(特許文献2)が提案されている。
特許文献1の技術では、遠距離における時定数を大きくし近距離における時定数を小さくすることにより、遠距離の物体の検出率を向上し近距離の物体の応答性を確保することができる。特許文献2の技術では、物体の追従性能が高くなるため物体の検出率を向上させることができる。
特開平09−318728号公報 特許第2743365号公報
しかしながら、受信信号を積分するだけでは物体が移動した場合、移動前の受信信号が積算値に残っている為十分なS/N比を向上することが困難であり、また、時系列フィルタを使う方法では、フィルタ時定数の存在のために、実際には計測領域から物体が離脱しているのに、受信信号が直ちに減衰しない為残像として残る問題があった。このため、特許文献1及び2に示される装置では、十分なS/N比を確保しつつ物体の誤検出を防止できない問題があった。
この発明の目的は、時系列フィルタを通した受信信号を時系列的に比較することによって、十分なS/N比を確保しつつ物体の誤検出を防止できる移動体用物体検出装置を提供することにある。
この発明の移動体用物体検出装置は、電磁波ビームを前方に向けて走査しながら送信する送信制御手段と、前方に存在する物体からの反射波を受信する受信制御手段と、受信した反射波の強度に応じた受信信号に変換する変換手段と、前記受信信号のピークに基づいて前記物体を検出する物体検出手段と、を備えている。
前記物体検出手段は、前記電磁波ビームを走査する走査範囲を所定数に分割した領域毎に受信信号を積算して領域計測データを生成する受信信号積算手段と、前記領域計測データを領域毎に記憶する領域計測データ格納メモリと、前記領域測定データ格納メモリから読み出した前記領域計測データを時系列フィルタリングする時系列処理手段と、前記時系列処理手段で時系列フィルタリングされた今回走査時の領域計測データの第1のピーク値が、前回走査の計測時の同一の前記領域における第2のピーク値よりも予め定めた一定値以上減少していないデータに基づいて物体検出を行い、前記第1のピーク値が前記第2のピーク値よりも前記一定値以上減少しているデータについては物体検知対象から除く物体検出器と、を備えている。
上記の構成において、前記物体検出器は、第1のピーク値が第2のピーク値よりも一定値以上減少しているデータについては、物体検知対象から除く。すなわち、前記物体検出器は、前記時系列処理装置で処理された領域計測データのピーク値が前回計測時のピーク値よりも一定値以上減少していない場合(同等若しくは大きくなった、又は僅かに減少した場合)だけ、そのピーク値に対応する物体の検出を行う。
計測領域から物体が離脱すると、反射信号が来なくなるため、その物体に対応するピーク値(第1のピーク値)は前回計測時のピーク値(第2のピーク値)よりも小さくなる。したがって、ピーク値が前回よりも一定値以上減少した場合、そのピーク値は残像であることがわかるから、これについて物体検知対象から除く。これにより、実際には物体が存在しないにもかかわらず存在するように見える残像現象による誤検出を防止できる。また、受信信号を積算することにより領域計測データを生成し、さらに時系列処理装置を使って領域計測データをフィルタリング処理することにより、信号成分からノイズ成分を十分に除去した高いS/N比を確保できる。
この発明の一つの実施態様においては、前記送信制御手段が送信する電磁波ビームは、人の眼に無害な低出力レーザ光で構成される。レーザ光が低出力であっても、受信信号の積算処理と、領域計測データのフィルタリング処理とにより、ノイズ成分を十分に除去した高いS/N比を確保できる。
また、この発明の他の実施態様においては、前記領域計測データ格納メモリは、走査範囲を走査方向と距離方向に所定数に分割した領域毎に受信信号を積算する。したがって、領域を平面的には扇状に分割することができ、さらに、走査方向が左右方向と上下方向であれば、領域を立体空間上で分割された略矩形体とすることができる。
また、この発明の他の実施態様においては、前記計測領域を指定する入力手段を設ける。したがって、例えば、移動体の移動状況に応じて、計測したい領域を関心領域として自由に設定することができる。このように、関心領域を設定できるようにすることで、走行に必要と思われる領域についてのみ前記領域計測データが生成されるため、制御部の負担が軽くなる利点がある。
この発明によれば、受信信号の積分手段や時系列フィルタの構造を複雑にしなくても、十分なS/N比を確保しつつ物体の誤検出を防止できる。
図1は、この発明の実施形態である物体検出装置が取り付けられた車両を示している。図1では、自車両1が先行車両2を物体検出装置により検出する状態を示している。
物体検出装置は、電磁波ビームの一つであるレーザ光を発光するレーザレーダ装置(以下、L/R装置と称する)3を備えている。L/R装置3は、自車両1のフロント部に取り付けられており、前方に向けてレーザ光を発光してこれを走査範囲Lで繰り返し走査し、走査毎に前方に存在する物体(図1では先行車両2)からの反射光を受光する。なお、物体検出装置は、先行車両2とともに前方に存在する全ての物体を検出するが、説明の都合上、物体を代表するものとして先行車両2を例示するが、先行車両2と称したり物体と称したりすることがある。
先行車両2は自車両1に対して相対的に停止していたり、又は前方(遠のく)、後方(近づく)、右方向、左方向等に相対移動したりする。後述のように、物体検出装置は、走査範囲Lを左右方向と距離方向に所定数に分割した領域毎に受信信号を積算して領域計測データを生成し、領域毎に先行車両2を検出している。このため、分割された領域から先行車両2が離脱すると、その領域では先行車両2の検出を行わない。
本実施形態では、図2に示すように、上記領域を、物体検出装置4の前方平面を左右方向と距離方向に扇状に分割している。同図において、略矩形で示される範囲が分割した領域(分割領域)である。さらに、本実施形態では、上記分割領域のうち、S/N比改善領域をPとして任意に指定できるようにしている。S/N比改善領域とは領域計測データのS/N比が改善される領域をいう。S/N比改善領域は、例えば高速道路を走行しているときには、自車両1の速度が早いため、前方に向けて長い距離の範囲でS/N比改善をした方が良い。そこで、この場合は、S/N比改善領域を先行車両2を基準に前方に長い範囲で設定する。また、例えば、路幅の狭い混雑した道路では、自車両1の速度が遅いため、前方に向けて長い距離の範囲でS/N比改善するよりは、割り込みなどに備えて左右に向けて広い範囲でS/N比改善する方が望ましい場合がある。そこで、このような場合は、S/N比改善領域を自車両1を基準に左右に長い範囲で設定する。図2において、斜線で示す領域は、S/N比改善領域として設定された領域を示している。なお、全ての領域をS/N比改善領域とすることも可能であるか、制御部の負担が大きくなり得策ではない。したがって、制御部の能力を考慮してその領域の最大数を設定することが望ましい。
後述のように、このS/N比改善領域においては、時系列フィルタによる時系列フィルタリングによりノイズを除去し、これによりS/N比を改善する。なお、時系列フィルタにより除去されるノイズは、主に、信号成分に重畳されている背景(バックグラウンド)ノイズである。このノイズは、走査タイミングにかかわらず、環境や回路定数等により略一定して存在するため、これを時定数を持つ時系列フィルタを通過させれば、除去することができる。
図3は、上記物体検出装置4を車両側に設けられる車両側装置5と接続した状態を示している。車両側装置5は、例えば、GPS50、ナビゲーション装置51、ヨーレートセンサ52、車速センサ53、燈火スイッチ54を含み、これらのセンサ等の出力に基づいて得られた情報を物体検出装置4に出力したり、物体検出装置4の出力を参照して先行車両2の存在、車間距離、自車両の位置、道路形状等を判断したりする。例えば、GPS50とナビゲーション装置51とで、自車両1の位置、進行方向前方の道路形状を判断することもできる。また、自車両1とL/R装置3が検出した先行車両2との相対的な位置関係と地図情報から先行車両2の地図上の位置を判断し、これにより、先行車両2が自車両1の走行している道路上を走行しているかどうかを判断することができる。また、ヨーレートセンサ52により、自車両1の角速度を求め、同時に車速センサ53で自車両1の車速を求めることにより、車速=曲率半径×角速度の関係から、現在走行している道路の曲率半径を求めることができる。求めた曲率半径を用いて、道路の前方に先行車両2が走行しているかどうかを判断する。このため、先行車両2が曲線路を走行しているとしても、先行車2を基準として曲線路に沿ったS/N比改善領域を設定することが出来る。
図4は、物体検出装置4の詳細なブロック図である。
L/R装置3は、発光制御装置30と受光制御装置31とスキャナ32とを備えている。物体検出装置4において、上記L/R装置3以外の部分は物体検出部を構成している。
発光制御装置30は、制御判別装置40からの発光トリガを受けてレーザ光を出力するレーザダイオード(LD)と、これを制御する送信制御手段とを備え、スキャナ32により所定の角度範囲内を一定の角速度で走査する。その角度は図示しないセンサにより検出され走査角θとして制御判別装置40に出力される。
受光制御装置31は、先行車両2で反射したレーザ光を受光するフォトダイオード(PD)と、このPDで受光した反射信号(受信信号)を処理する受信制御手段とを備えている。
上記スキャナ32は、レーザ光を走査できるものであれば、どのようなものでも良いが、例えば、ポリゴンミラーを回転することによりレーザ光を走査したり、レーザダイオード(LD)の前に第1のレンズを配置し、この第1のレンズを左右に振ってレーザ光を走査したりすることも可能である。後者の構成では、フォトダイオード(PD)側の前にも集光用の第2のレンズを配置し、この第2のレンズを上記第1のレンズと一体にすることで、第1のレンズを走査するときに同時に第2のレンズも走査することが可能になる。このような構成であれば、受光側においてはレーザ光を走査した方向からの反射光を受けることができるため、より好ましいものとなる。
発光制御装置30で出力されるレーザ光は、その光出力が人間の眼に無害な程度(悪影響を及ぼさない程度)となるように設定される。通常、その出力は規格(クラス1レーザ)で決められており、ここでは、この規格内の出力が保たれている状態をアイセーフティが満たされていると称する。
図5は、レーザ光の出力シーケンスを示している。図示のように、区間T1(n)はある方位θnの領域(以下、領域θnと称する。他の方位も同様)に対する発光区間である。この区間T1(n)では、領域θnに対して予め決められた回数Mだけレーザ光が連続的に発光を繰り返して照射される。区間T1(n)が過ぎると別の区間が始まり、この別の区間に対して同じようにレーザ光が照射されていく。この別の区間は区間T1(n)にとって非発光区間であるため、ここでは非発光区間T2と称する。レーザ光の走査が再び領域θnにくると、再び区間T1(n)となり、予め決められた回数Mだけレーザ光が連続的に繰り返し照射される。
アイセーフティは、レーザ光の出力シーケンスにおいて、トータルの発光エネルギーを所定の値内に抑えることで満たされる。以上のレーザ光の出力の設定及びシーケンス制御はL/R装置3の発光制御装置30及びスキャナ32で行われる。
図4のAD変換器41は、発光トリガのタイミングから受光制御装置31で信号処理した受信信号を高速サンプリングしてA/D変換する。このA/D変換されたデータは、先行車両2までの距離情報と受光量の情報を持っている。
1発光計測データ格納メモリ42は、領域θnでの1回のレーザ光により計測されたデータを格納する。
連続発光計測積算データ格納メモリ43は、1発光計測データ格納メモリ42に記憶された領域θnでの1回のレーザ光により計測されたデータを、M回分積算記憶することにより領域θnの領域計測データを生成する。図6は、連続発光計測積算データ格納メモリ43に記憶されているデータ例を示している。レーザ光が出力されてから先行車両2に反射されて戻ってくるまでの時間を、光の速度を参照して距離に変換すると、距離に対する受光分布を得ることができる。図6の縦軸は連続繰り返し照射において積算された受光量を示し、横軸は対応する距離を示す。先行車両2を含む検知物体が存在する距離において受光量のピークを得る。
領域計測データ格納メモリ44は、連続発光計測積算データ格納メモリ43で積算記憶した領域θnの領域計測データを、領域毎に記憶する。領域計測データを領域毎に記憶するために、このメモリ44は制御判別装置40から領域番号nを受け取る。
時系列信号処理装置45は、処理しようとしている領域がS/N比改善領域(図2参照)であれば、過去(前回走査時)の領域計測データと今回走査時に得られた領域計測データとの相関をとって時間軸上に定常的に存在するノイズを低減し、それによりS/N比の改善を行うためのものであり、時系列フィルタを備えている。すなわち、S/N比改善領域の演算データ格納メモリ46には、前回走査時の時系列信号処理装置45で演算された前回演算値が記憶され、今回走査時において、同演算値を使ってフィルタリング処理が行われる。
図7(A)は、時系列フィルタへの入力信号の変化例を示し、同図(B)は、時系列フィルタの出力データの変化例を示している。
物体移動前後において領域計測データ格納メモリ44から入力する入力データが図7(A)に示すように変化した場合、所定の距離にある領域のピーク値P1が消えることから該領域から物体が離脱しているとみなせる。しかし、図7(B)に示すように、これらのデータが時系列フィルタによりフィルタリング処理されることにより、時系列フィルタの出力データには、上記領域にピーク値P2が残存する。すなわち、時系列フィルタの出力データ中のピーク値P1(時系列フィルタの入力データ中のピーク値P1と略同じ)は、メモリ46に記憶され、今回走査時に、このピーク値P1が含まれるメモリ46に記憶されるデータと今回走査時の入力データ(図7(A)の右側に示されるデータ)とが時系列フィルタでフィルタリング処理される。そのフィルタリング処理の結果、時系列フィルタの出力データは、上記領域にピーク値P2が残存するデータ(図7(B)の右側に示されるデータ)となる。
このメモリ46からは、領域計測データと差分データとが出力される。領域計測データは時系列フィルタリングした結果であるが、差分データは、今回の領域計測データと前回の領域計測データとの差分を示している。この差分データは、受光量の増減を示すため、もし、先行車両2に対応しているデータ(ピーク値)の受光量が一定量以上減少していれば、そのデータは、現在処理している領域における残像を示すデータである。すなわち、先行車両2は現在処理している領域から離脱していると見做せる。そこで、S/N比改善領域の物体検出器47では、上記受光量が一定量以上減少していれば、そのデータは残像データであるとみなして、物体検出処理をしない。上記受光量が減少していなければ、物体検出処理を行う。なお、S/N比改善しない領域の領域計測データについては、メモリ44から物体検出器48に出力され、ここで、物体検出処理を行う。物体検出器47、48で検出した物体については、検出物体データ格納メモリ49に記憶され、この記憶データが制御判別装置40に出力される。
上記のように、時系列信号処理装置45を用いることにより、S/N比改善領域においてS/N比改善を行うことができる。そして、その結果、物体を検出するためのしきい値を低く設定できる。しきい値を低く設定できることにより、遠方の物体や低反射物体でも素早く検出できる。
制御判別装置40には、S/N比改善領域指定手段6が接続されている。この指定手段6は、図2において斜線で示すS/N比改善領域を指定する入力手段である。入力の方法には、図2に示すような全領域をビジュアル表示して、その表示内でカーソル等によりS/N比改善領域を直接指定する方法や、「高速モード」「低速モード」を指定して、各モードに応じて自動的にS/N比改善領域が設定される方法等がある。
図8は、S/N比改善領域Bに対する物体検出方法について説明する図である。同図(A)は、L/R装置3の走査(スキャニング)振り角を示し(+θ〜−θ)、同図(B)は、S/N比改善領域Bにおいての物体検出方法を示している。なお、領域AはS/N比改善しない領域を示している。
L/R装置3は、図8(A)に示すようにレーザ光を左右に走査(スキャニング)し、物体検出装置4は、レーザ光が右方向に走査されたときに物体検出を行う。したがって、同図(B)に示すように、振り角が−θから+θに変化するときに各領域においてレーザ光が連続的に繰り返し発光される。
S/N比改善領域Bに対する信号処理を行う直前に、領域Bに対して、レーザ光が所定回数だけ連続的に繰り返し発光される。次に、ステップST1において、時系列信号処理装置45(図4参照)で時系列信号処理が行われる。ステップST1の信号処理には、時系列フィルタが用いられる。時系列フィルタは、時定数を持つフィルタであって、どのようなものでも良いが、例えば、IIR(Infinite Impulse Response )フィルタが使用できる。このフィルタ処理には、複数の領域計測データが入力される必要があるが、図8では2回分の領域計測データが入力されるようにしている。
ステップST2では、領域計測データからピーク値を抽出する。ピーク値の数は一つに限らない。ステップST3では、ピーク値の増減を判別する。ステップST4では、ピーク値が前回の検出値よりも一定値以上減少していないピークを物体検出の対象として検出し、ピーク値が前回の検出値よりも一定値以上減少しているピークを物体検出の対象としない。後者のピークは、時系列信号処理を行ったことによる残像と考えられるからである。
なお、S/N比改善しない領域Aについては、領域計測データを時系列処理装置45を通さずに物体検出器48に渡し、ここで物体検出を行う。
図9は、時系列信号処理装置45付近の構成を模式的に示している。
入力信号I(x;t)(受光量を示す。図6参照)は、増幅器70でα倍され、加算器71で、増幅器80で1−α倍された予測値P(x;t)と加算されて出力信号O(x;t)として出力される。出力信号O(x;t)は、遅延器72で遅延されて遅延出力信号O(x;t−1 )とされ、加算器73、74に出力される。加算器73では、遅延出力信号O(x;t−1 )と出力信号O(x;t)との差分信号dO(x;t)が求められる。
差分信号dO(x;t)は、遅延器75で遅延され、増幅器76でα倍され、加算器78に入力する。また、加算器78の出力である遅延差分信号dO′(x;t−1 )は、遅延器79でさらに遅延されて、増幅器77で1−α倍された後に加算器78に入力する。
遅延差分信号dO′(x;t−1 )は、加算器74で遅延出力信号O(x;t−1 )と加算されて、予測値P(x;t)として出力される。
以上の構成は、フィルタ次数が2次のIIRフィルタの一例であり、予測値P(x;t)を、過去のデータと、その差分値から線型で予測しているものである。
上記フィルタリング演算により、途中の演算結果から差分信号dO(x;t)を抽出することができる。この差分信号dO(x;t)は、領域計測データが前回走査時の計測時よりも減少しているかどうかを示す符号(−又は+)を含み、−符号を含むものであれば領域計測データが前回走査時の計測時よりも減少していると判断される。このように減少したと判断されるときは、その減少が一定値以上であれば、物体検出器47において、今回計測した領域計測データは残像であると検出される。
次に、制御判別装置40、時系列処理装置45、物体検出器47、48の具体的な動作について図10以下を参照して説明する。制御判別装置40による制御動作、時系列処理装置45による時系列処理、物体検出器47、48による物体検出動作は、実際にはソフトウェアで実現される。
図10は、概略の制御動作である。
ステップST(以下、単にSTと称する)10では、領域計測データ格納メモリ44から、連続繰り返し発光して積算された領域計測データを取得する。ST11で、時系列信号処理装置45において、複数回の領域計測データを用いて時系列信号処理(フィルタリング)を行う。ST12で、物体を検出するための、一定のしきい値より大きなピーク値を検出する。ST13において、処理をしようとしている領域がS/N比改善領域なのかS/N比改善をしない領域なのかを判定する。S/N比改善をしない領域であれば、ST15においてそのピーク値を物体として検出する。S/N比改善領域であれば、ST14に進む。ST14では、検出したピーク値が前回よりも一定値以上減少しているかを検出する。この検出は、図8に示したように、差分信号dO(x;t)により行う。検出したピーク値が前回よりも一定値以上減少していれば、そのピーク値を残像とみなして物体として検出しない。すなわち、物体は検出領域から離脱していると見做す。検出したピーク値が前回よりも一定値以上減少していない場合は(増大又は僅かに減少程度であれば)、ST15に進んで、そのピーク値を物体として検出する。
図11は、図10のより詳細な制御動作を示すフローチャートである。
ST20においてスキャナ32を作動させる。ST21でレーザ光が計測領域に達していれば、L/R装置3の発光制御装置30でレーザ光を出力する制御を行い(ST22)、AD変換器41において受光信号をサンプリングしてA/D変換する(ST23)。A/D変換された領域計測データは格納メモリ43に積算して格納されていき(ST24)、指定発光回数まで連続して上記動作が行われる(ST25)。
指定発光回数に達すると、ST30以下で領域計測データに関する処理を行う。ST30で、現在処理をしようとしている計測領域番号を取得する。その番号の領域がS/N比改善領域なのかどうかを判定し(ST31)、S/N比改善領域であれば、時系列信号処理装置45により時系列フィルタリング処理を行い、S/N比改善を行う(ST32)。さらに、物体検出を行う(ST33)。このとき、上述のように、領域計測データが前回の値よりも一定値以上減少していれば、そのデータが残像であるとみなして物体検出処理を行わない。ST31において、現在処理をしようとしている計測領域番号が、S/N比改善しない領域の番号であれば、ST34に進み、ピーク値から物体検出を行う。
上記ST33、34で検出した物体を検出物体データ格納メモリ49に記憶する(ST35)。
図12は、時系列信号処理装置45、物体検出部47、48の動作を示すフローチャートである。
図12において、ST40で前回の出力データ(遅延出力信号)O(x;t−1 )をメモリ46から読みだす。前回の差分データ(遅延差分信号)dO′(x;t−1 )を読みだす(ST41)。これらのデータを加算することにより、今回の予測値P(x;t)を計算する(ST42)。今回の領域計測データ(入力信号)I(x;t)をメモリ44から読み出す(ST43)。今回の出力データ(出力信号)O(x;t)を次の演算式により計算する。
O(x;t)=αI(x;t)+(1- α)P(x;t)
続いて、今回の差分データ(差分信号)dO(x;t)を次の演算式により計算する(ST45)。
dO(x;t)=O(x;t)−O(x;t−1)
今回の差分データ(遅延差分信号)dO′(x;t−1 )を次の演算式により計算する(ST46)。
dO′(x;t−1 )=αdO(x;t−1 )+(1−α)dO′(x;t−2)
さらに、今回の出力データO(x;t)と差分データdO(x;t)とをメモリ46内に記憶する(ST47)。
図13は、S/N比改善しない領域の物体検出器48の動作を示すフローチャートである。
メモリ44から、領域計測データを読みだす(ST50)。
物体を検出するためのしきい値を設定する(ST51)。このしきい値の大きさは予め決められている。
領域計測データからしきい値を超えるピーク値を検出する(ST52)。もし、ピーク値が全く検出できなければ、物体検出処理を終了する(ST53→ST56)。ピーク値を検出すれば、検出したピーク値を物体と見做してそのピーク値を検出物体としてメモリ49に記憶する(ST53→ST54)。検出した全てのピーク値を検出物体としてメモリ49に記憶した後(ST55)、物体検出処理を出力する(ST56)。
図14は、S/N比改善領域の物体検出器47の動作を示すフローチャートである。
メモリ46から、領域計測データを読みだす(S60)。
物体を検出するためのしきい値を設定する(ST61)。このしきい値の大きさは予め決められている。
領域計測データからしきい値を超えるピーク値を全部検出する(ST62)。もし、ピーク値が全く検出できなければ、物体検出処理を終了する(ST63→ST68)。ピークを検出した位置の差分データを参照する(ST64)。差分データが−符号を含んでいなければ、その位置でのピーク値が計測領域に存在する物体であるため、そのピーク値を検出物体としてメモリ49に格納する(ST66)。差分データが−符号を含んでいて、且つその差分データの絶対値が一定値以上であれば、そのピーク値については残像と見做して物体検出対象から除外する。すなわち,ST66の処理のように、ピーク値をメモリに格納しない。以上の処理を全ての検出ピーク値に対して行ってから(ST67)、処理を終了する(ST68)。
なお、説明ではしきい値として予め定めた値を用いるとしたが、計測された受信信号に応じて、変動するようにしても良い。この様な構成とすることにより、計測環境に応じたしきい値を設定できるため、検出能力が向上する。
上記のように、S/N比改善領域においては、時系列信号処理装置45による時系列フィルタリング処理によりS/N比改善が行われる一方、それによって生じる可能性のある残像を除去できるため、誤った物体検出を未然に防止することができる。
以上の実施形態では、S/N比改善領域の指定を左右の走査方向(θ方向)と距離方向に設定できるようにしたが、その設定は左右の走査方向だけであっても良い。また、スキャナ32による走査(スキャニング)が左右方向に加えて上下方向にも行われる場合は、上下方向にも区分されたS/N比改善領域を設定することが可能である。こうすることで、上下左右方向と距離方向の立体空間中に複数に区分されたS/N比改善領域を設定することができる。
また、S/N比改善領域は、S/N比改善領域指定手段6により指定することで設定できるが、これを自動で設定することも可能である。例えば、高速道路の走行中では距離方向の検出能力をより高くすることが要請されるため、距離方向の領域を左右方向の領域よりも多く設定し、一般道路の走行中では左右方向の検出能力をより高く設定することが要請されるため、左右方向の領域を距離方向の領域よりも多く設定する。また、夜間走行では、左右方向の領域をより多く設定する。このような自動設定は、車速センサや燈火スイッチ等からのデータに基づいて自動的に設定することが可能である。
この発明の実施形態である物体検出装置が取り付けられた車両を示す図 走査範囲においてS/N比改善領域を示す図 物体検出装置4を車両側に設けられる車両側装置5と接続した状態を示す図 物体検出装置4の詳細なブロック図 レーザ光の出力シーケンスを示す図 連続発光計測積載データ格納メモリ43に記憶されているデータ例を示す図 時系列フィルタへの入力信号の変化例と時系列フィルタの出力データの変化例を示す図 S/N比改善領域に対する物体検出方法について説明する図 時系列信号処理装置45付近の構成を模式的に示す図 制御判別装置等の具体的な動作を示すフローチャート 制御判別装置等の具体的な動作を示すフローチャート 時系列信号処理装置の具体的な動作を示すフローチャート S/N比改善しない領域の物体検出器の具体的な動作を示すフローチャート S/N比改善領域の物体検出器の具体的な動作を示すフローチャート

Claims (3)

  1. 電磁波ビームを前方に向けて走査しながら送信する送信制御手段と、
    前方に存在する物体からの反射波を受信する受信制御手段と、
    受信した反射波の強度に応じた受信信号に変換する変換手段と、
    前記受信信号のピークに基づいて前記物体を検出する物体検出手段と、を備える移動体用物体検出装置において、
    前記物体検出手段は、
    前記電磁波ビームを走査する走査範囲を所定数に分割した領域毎に受信信号を積算して領域計測データを生成する受信信号積算手段と、
    前記領域計測データを領域毎に記憶する領域計測データ格納メモリと、
    前記領域測定データ格納メモリから読み出した前記領域計測データを時系列フィルタリングする時系列処理手段と、
    前記時系列処理手段で時系列フィルタリングされた今回走査時の領域計測データの第1のピーク値が、前回走査の計測時の同一の前記領域における第2のピーク値よりも予め定めた一定値以上減少していないデータに基づいて物体検出を行い、前記第1のピーク値が前記第2のピーク値よりも前記一定値以上減少しているデータについては物体検知対象から除く物体検出器と、
    を備えたことを特徴とする移動体用物体検出装置。
  2. 前記領域計測データ格納メモリは、走査範囲を走査方向と距離方向に所定数に分割した領域毎に受信信号を積算して領域計測データとして記憶し、前記物体検出器は、前記前記領域計測データ格納メモリに記憶されて領域計測データに基づいて物体検出を行う、請求項1に記載の移動体用物体検出装置。
  3. 前記物体検出器が、前記第1のピーク値と前記第2のピーク値とを比較する領域と、これらのピーク値の比較をしない領域とを指定する入力手段を設けた、請求項1又は2に記載の移動体用物体検出装置。
JP2007067356A 2007-03-15 2007-03-15 移動体用物体検出装置 Expired - Fee Related JP4917458B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2007067356A JP4917458B2 (ja) 2007-03-15 2007-03-15 移動体用物体検出装置
US11/875,596 US20080224893A1 (en) 2007-03-15 2007-10-19 Object detector for a vehicle
AT07119926T ATE476673T1 (de) 2007-03-15 2007-11-02 Objektdetektor für ein fahrzeug
EP07119926A EP1970727B1 (en) 2007-03-15 2007-11-02 Object detector for a vehicle
DE602007008199T DE602007008199D1 (de) 2007-03-15 2007-11-02 Objektdetektor für ein Fahrzeug
CN2007103005740A CN101266295B (zh) 2007-03-15 2007-12-24 移动体用物体检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007067356A JP4917458B2 (ja) 2007-03-15 2007-03-15 移動体用物体検出装置

Publications (2)

Publication Number Publication Date
JP2008224621A true JP2008224621A (ja) 2008-09-25
JP4917458B2 JP4917458B2 (ja) 2012-04-18

Family

ID=38921696

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007067356A Expired - Fee Related JP4917458B2 (ja) 2007-03-15 2007-03-15 移動体用物体検出装置

Country Status (6)

Country Link
US (1) US20080224893A1 (ja)
EP (1) EP1970727B1 (ja)
JP (1) JP4917458B2 (ja)
CN (1) CN101266295B (ja)
AT (1) ATE476673T1 (ja)
DE (1) DE602007008199D1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012127671A1 (ja) 2011-03-24 2012-09-27 北陽電機株式会社 走査式測距装置の信号処理装置、信号処理方法、及び走査式測距装置
JP2014006082A (ja) * 2012-06-21 2014-01-16 Furuno Electric Co Ltd ノイズ抑圧装置、ノイズ抑圧方法およびノイズ抑圧プログラム
JP2014137374A (ja) * 2013-01-15 2014-07-28 Sick Ag 距離測定光電センサおよび物体の距離測定方法
CN104376629A (zh) * 2014-12-03 2015-02-25 威海北洋电气集团股份有限公司 基于红外分区的行人方向识别算法及开放式通道装置
JP2015135272A (ja) * 2014-01-17 2015-07-27 オムロンオートモーティブエレクトロニクス株式会社 レーザレーダ装置、物体検出方法、及び、プログラム
JP2015135271A (ja) * 2014-01-17 2015-07-27 オムロンオートモーティブエレクトロニクス株式会社 レーザレーダ装置
JP2017142214A (ja) * 2016-02-12 2017-08-17 株式会社デンソー Fm−cwレーダ
JP2017173298A (ja) * 2016-03-16 2017-09-28 株式会社リコー 物体検出装置及び移動体装置
JP2020148670A (ja) * 2019-03-14 2020-09-17 株式会社東芝 距離計測装置、距離計測方法、及び信号処理方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2416182B1 (de) * 2010-08-03 2013-05-29 Sick AG Verfahren und Vorrichtung zur automatischen Konturerfassung
JP5138119B2 (ja) * 2011-04-25 2013-02-06 三洋電機株式会社 物体検出装置および情報取得装置
KR101683984B1 (ko) * 2014-10-14 2016-12-07 현대자동차주식회사 라이더 데이터 필터링 시스템 및 그 방법
EP3318891A1 (de) * 2016-11-04 2018-05-09 Espros Photonics AG Empfangsvorrichtung, sensorvorrichtung sowie verfahren zur distanzbestimmung
JP7379021B2 (ja) * 2019-08-29 2023-11-14 株式会社東芝 距離計測装置、距離計測方法、及び速度計測装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01223377A (ja) * 1988-03-03 1989-09-06 Nec Corp レーダトラッキングフィルタ方式
JPH05256942A (ja) * 1992-03-11 1993-10-08 Toyota Motor Corp 車間距離検出装置
JPH06214005A (ja) * 1993-01-19 1994-08-05 Toyota Motor Corp 車載レーダ装置
JPH07140229A (ja) * 1993-09-25 1995-06-02 Nec Corp 信号検出処理回路
JPH09318728A (ja) * 1996-06-03 1997-12-12 Nissan Motor Co Ltd 車両用レーダ装置
JP2001242242A (ja) * 2000-02-29 2001-09-07 Hitachi Ltd 検知性能向上機能を備えたミリ波レーダ装置
JP2003248053A (ja) * 2002-02-27 2003-09-05 Tech Res & Dev Inst Of Japan Def Agency レーダー信号処理装置
JP2003302468A (ja) * 2002-02-08 2003-10-24 Omron Corp 測距装置
JP2005010092A (ja) * 2003-06-20 2005-01-13 Denso Corp レーダ装置
JP2006275828A (ja) * 2005-03-30 2006-10-12 Fujitsu Ltd レーダ装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5202742A (en) * 1990-10-03 1993-04-13 Aisin Seiki Kabushiki Kaisha Laser radar for a vehicle lateral guidance system
US5546188A (en) * 1992-11-23 1996-08-13 Schwartz Electro-Optics, Inc. Intelligent vehicle highway system sensor and method
JPH0930349A (ja) * 1995-07-19 1997-02-04 Kansei Corp 距離測定装置
JP3986671B2 (ja) * 1998-07-15 2007-10-03 本田技研工業株式会社 物体検知装置
DE10034080C2 (de) * 2000-07-13 2003-05-15 Eads Deutschland Gmbh Umlauf-Integration-Korrelation
JP4595197B2 (ja) * 2000-12-12 2010-12-08 株式会社デンソー 距離測定装置
EP1473426A4 (en) * 2001-12-10 2006-04-12 Omron Co Ltd OBJECT SENSOR AND CONTROLLER
JP3941765B2 (ja) * 2003-09-11 2007-07-04 トヨタ自動車株式会社 物体検出装置
JP3966301B2 (ja) * 2004-03-25 2007-08-29 株式会社デンソー 車両用レーダ装置
JP4487715B2 (ja) * 2004-10-01 2010-06-23 株式会社デンソー 車両用レーダ装置
JP4830311B2 (ja) * 2005-02-21 2011-12-07 株式会社デンソー 車載用レーダ装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01223377A (ja) * 1988-03-03 1989-09-06 Nec Corp レーダトラッキングフィルタ方式
JPH05256942A (ja) * 1992-03-11 1993-10-08 Toyota Motor Corp 車間距離検出装置
JPH06214005A (ja) * 1993-01-19 1994-08-05 Toyota Motor Corp 車載レーダ装置
JPH07140229A (ja) * 1993-09-25 1995-06-02 Nec Corp 信号検出処理回路
JPH09318728A (ja) * 1996-06-03 1997-12-12 Nissan Motor Co Ltd 車両用レーダ装置
JP2001242242A (ja) * 2000-02-29 2001-09-07 Hitachi Ltd 検知性能向上機能を備えたミリ波レーダ装置
JP2003302468A (ja) * 2002-02-08 2003-10-24 Omron Corp 測距装置
JP2003248053A (ja) * 2002-02-27 2003-09-05 Tech Res & Dev Inst Of Japan Def Agency レーダー信号処理装置
JP2005010092A (ja) * 2003-06-20 2005-01-13 Denso Corp レーダ装置
JP2006275828A (ja) * 2005-03-30 2006-10-12 Fujitsu Ltd レーダ装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012127671A1 (ja) 2011-03-24 2012-09-27 北陽電機株式会社 走査式測距装置の信号処理装置、信号処理方法、及び走査式測距装置
US9797711B2 (en) 2011-03-24 2017-10-24 Hokuyo Automatic Co., Ltd. Signal processing device of scanning-type distance measurement device, signal processing method, and scanning-type distance measurement device
JP2014006082A (ja) * 2012-06-21 2014-01-16 Furuno Electric Co Ltd ノイズ抑圧装置、ノイズ抑圧方法およびノイズ抑圧プログラム
JP2014137374A (ja) * 2013-01-15 2014-07-28 Sick Ag 距離測定光電センサおよび物体の距離測定方法
JP2015135272A (ja) * 2014-01-17 2015-07-27 オムロンオートモーティブエレクトロニクス株式会社 レーザレーダ装置、物体検出方法、及び、プログラム
JP2015135271A (ja) * 2014-01-17 2015-07-27 オムロンオートモーティブエレクトロニクス株式会社 レーザレーダ装置
CN104376629A (zh) * 2014-12-03 2015-02-25 威海北洋电气集团股份有限公司 基于红外分区的行人方向识别算法及开放式通道装置
JP2017142214A (ja) * 2016-02-12 2017-08-17 株式会社デンソー Fm−cwレーダ
JP2017173298A (ja) * 2016-03-16 2017-09-28 株式会社リコー 物体検出装置及び移動体装置
JP2020148670A (ja) * 2019-03-14 2020-09-17 株式会社東芝 距離計測装置、距離計測方法、及び信号処理方法
JP7317530B2 (ja) 2019-03-14 2023-07-31 株式会社東芝 距離計測装置、距離計測方法、及び信号処理方法

Also Published As

Publication number Publication date
CN101266295A (zh) 2008-09-17
DE602007008199D1 (de) 2010-09-16
ATE476673T1 (de) 2010-08-15
CN101266295B (zh) 2011-02-02
US20080224893A1 (en) 2008-09-18
EP1970727A1 (en) 2008-09-17
JP4917458B2 (ja) 2012-04-18
EP1970727B1 (en) 2010-08-04

Similar Documents

Publication Publication Date Title
JP4917458B2 (ja) 移動体用物体検出装置
JP4697072B2 (ja) レーダ装置
JP4940458B2 (ja) 物体検出装置
US20210284162A1 (en) Method and apparatus for determination of optimal cruising lane in an assisted driving system
US8102421B2 (en) Image processing device for vehicle, image processing method of detecting three-dimensional object, and image processing program
JP2010162975A (ja) 車両制御システム
JP2007248146A (ja) レーダ装置
JP3336207B2 (ja) 車両の衝突警報システム
JP2007163317A (ja) レーダー装置
CN116022135A (zh) 车辆控制装置、车辆、车辆控制方法以及存储介质
JPH1096775A (ja) 車両の衝突警報システム
JPH08129067A (ja) 気象状況を推定することができる距離計測装置および距離計測方法
JP4284652B2 (ja) レーダ装置
KR20150022166A (ko) 레이더 센서를 이용한 차량 미러 제어 시스템 및 방법
JP5978939B2 (ja) 物標検出システム、及び、物標検出装置
JP2008026239A (ja) レーダ
JP5436652B1 (ja) 車両の周辺監視装置及び車両の周辺監視方法
JP2012146149A (ja) 死角車両検知システム、死角車両検知装置、死角車両検知方法およびそのプログラム
EP4202502A1 (en) In-vehicle sensing systems and gating camera
JP2008143429A (ja) 衝突予測装置
KR20220166704A (ko) 비가시 경로 레이더 장치
JP2009018680A (ja) 相対関係測定システム及び車載相対関係測定装置
Eom et al. Assessment of mutual interference potential and impact with off-the-shelf mobile LIDAR
JP2006047033A (ja) 物体認識方法及び物体認識装置
US20220317295A1 (en) Object detection device, vehicle, method of setting wave receiving period in object detection device, and method of setting detection sensitivity in object detection device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100108

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100802

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120126

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150203

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4917458

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees