JP2001099930A - 周辺監視センサ - Google Patents

周辺監視センサ

Info

Publication number
JP2001099930A
JP2001099930A JP27693099A JP27693099A JP2001099930A JP 2001099930 A JP2001099930 A JP 2001099930A JP 27693099 A JP27693099 A JP 27693099A JP 27693099 A JP27693099 A JP 27693099A JP 2001099930 A JP2001099930 A JP 2001099930A
Authority
JP
Japan
Prior art keywords
wave radar
area
information
millimeter
signal processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP27693099A
Other languages
English (en)
Other versions
JP4308381B2 (ja
Inventor
Takashi Higuchi
崇 樋口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP27693099A priority Critical patent/JP4308381B2/ja
Priority to US09/672,121 priority patent/US6492935B1/en
Publication of JP2001099930A publication Critical patent/JP2001099930A/ja
Application granted granted Critical
Publication of JP4308381B2 publication Critical patent/JP4308381B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9325—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles for inter-vehicle distance regulation, e.g. navigating in platoons
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles

Abstract

(57)【要約】 【課題】 物体の相対位置、相対速度、物体形状などを
確実にセンシングする周辺監視センサを得る。 【解決手段】 周辺監視センサ１は、ミリ波レーダ２、
画像センサ３、信号処理部４を具備し、各センサが検出
したデータについてエリア分けを行い、所定のエリア内
に存在する物体（ターゲット）については、両センサが
取得した情報に基づいて、物体に関する情報を作成す
る。ミリ波レーダは、遠距離の物体の距離、速度の測定
が得意で、画像センサは、物体の幅、角度の測定が得意
であるので、それぞれの得意のデータを組み合わせるこ
とにより、正確な情報を得ることができる。信号処理部
４は、ミリ波レーダが検知した物体の存在場所に画像セ
ンサが検知した物体情報を組み合わせて物体面であるこ
とを判断する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、自動車の自動走行
制御システムなどに使用され、物体（ターゲット）の相
対位置、相対速度、物体形状などをセンシングする周辺
監視装置に関する。
【０００２】
【従来の技術】自動車の自動走行に代表される走行制御
システムなどにおいて、周辺監視センサは、ドライバの
目の代わりとならなければならない。したがって、物体
の相対位置（距離）、相対速度、物体形状を確実にセン
シングする装置が必要である。現在、自動車用に市販さ
れている周辺監視センサでは、そのような周辺監視セン
サは存在していない。
【０００３】
【発明が解決しようとする課題】従来より自動走行制御
システム（ＡＣＣ）には、前方（又は、後方、側方）の
物体を認識するために、ミリ波レーダ、又は、カメラを
使用した画像センサが使用されてきた。ところが、ミリ
波レーダは、物体までの距離を計るのが得意だが、物体
の形（大きさ、幅）を認識するのが苦手である。画像セ
ンサは、逆に測距が苦手で、物体の形の認識が得意であ
る。
【０００４】このように、従来の周辺監視センサとして
は、物体の相対位置、相対速度、物体形状を確実にセン
シングする装置がなかった。本発明は、物体の相対位
置、相対速度、物体形状などを確実にセンシングする周
辺監視センサを得ることを目的とするものである。
【０００５】
【課題を解決するための手段】本発明は、上記目的を達
成するため、ミリ波レーダと画像センサを組み合わせる
（フュージョン）することにより物体の相対位置、相対
速度、物体形状を正確に捕らえる装置を得る。本発明
は、ミリ波レーダと画像センサと信号処理部を具備する
周辺監視センサにおいて、前記信号処理部は、所定のエ
リア内に存在する物体については、前記ミリ波レーダか
ら取得した情報と前記画像センサから取得した情報に基
づいて、前記物体に関する情報を作成する。
【０００６】本発明によれば、物体の相対位置、相対速
度を捕らえるのが得意なミリ波レーダと、物体の形状を
認識することが得意な画像センサをフュージョンするこ
とにより、自動走行に代表される走行制御システムなど
に、正確な周辺情報を提供することができる。本発明に
おいては、前記ミリ波レーダは、速度、距離などの物体
の存在検知の役割を持ち、前記信号処理部は、前記ミリ
波レーダによる存在検知場所に対して、前記画像センサ
による角度、幅などの物体端情報を組み合わせて、物体
面であることを判断する。
【０００７】
【発明の実施の形態】以下、本発明の実施形態について
図を用いて説明する。図１は、本発明を適用した周辺監
視センサの構成を示す図。周辺監視装置１は、ミリ波レ
ーダ２、画像センサ３、信号処理部４から構成される。
【０００８】ミリ波レーダ２は、ミリ波のビームを前方
に送信して反射波を受信し、この反射波を生じさせた物
体の情報を検出する。ミリ波レーダ２の長所としては、
１０ｍから１２０ｍまでの比較的遠距離にある物体（タ
ーゲット）の距離、速度が精度良く測定可能であり、
雨、霧などの影響を受けることが少ない。一方、短所と
しては、物体の横方向位置（角度）、幅、１０ｍ以下の
近距離にある物体の距離、速度が正確に測定できないこ
となどがある。
【０００９】ミリ波レーダは、受信したミリ波信号から
ピークを検出し、データとして、ピークのある相対距
離、ピークの相対速度、ピークの自車に対する横方向位
置（角度）、ピークのパワーなどが得られる。画像セン
サ３は、撮像手段により車両の前方の画像を取得し、こ
の画像を処理することにより、前方にある物体の情報を
検出する。
【００１０】画像センサの長所としては、物体の角度、
幅を精度良く測定できる。また、撮像手段のレンズ交換
により測定範囲を広範囲に調整できる。一方、短所とし
ては、雨、霧など環境の影響を受ける、距離測定の精度
が低いということなどがある。画像センサ３は画像処理
により画像中のエッジを検出し、データとして、距離、
相対位置、信頼度などが得られる。
【００１１】信号処理部４は、ＣＰＵ、ＲＡＭ、ＲＯＭ
などから構成される。図１には、信号処理部４の概略の
機能が示されている。ミリ波レーダ２と画像センサ３か
ら取得した各データは、エリア分けされる。エリアにつ
いて図２を用いて説明する。図２（Ａ）は、ミリ波レー
ダ２と画像センサ３の測定エリアを示し、（Ｂ）は、各
エリアごとに、ミリ波レーダ２と画像センサ３のデータ
の優劣を比較した表である。
【００１２】ミリ波レーダ２は、狭い幅で遠距離（１２
０ｍ程度）までのエリア１１，１２，１４をカバーし、
画像センサ３は、広い幅で近距離（３０ｍ程度）までの
エリア１２，１３，１４，１５をカバーする。なお、エ
リア１１，１２は、ミリ波レーダ２のエリアと画像セン
サ３のエリアとで重複している。（Ｂ）に示すように、
ミリ波レーダ２は、３０〜１２０ｍのエリア１１、１０
〜３０ｍのエリア１２では距離、速度を精度良く検出す
るが、１０ｍより近距離では、距離、速度の精度はやや
低下する。画像センサ３は、０〜１０ｍの近距離では、
角度、距離を精度良く検出し、１０〜３０ｍでは、角度
については精度が良いが、距離の精度はやや低下する。
１０ｍより遠距離では、角度、距離とも精度が悪い。
【００１３】ここで、周辺監視センサ１を自動走行制御
に使用する場合、走行制御に必要な制御エリアと、制御
の予測に必要な予測エリアと、エリア内に物体が存在す
ること自体が危険な危険エリアとに分けることが考えら
れる。この場合、物体情報として、予測エリアの物体に
ついては、存在情報を提供し、制御エリアの物体につい
ては相対位置、相対速度、物体形状を提供し、危険エリ
アの物体については、危険であることを表示するディジ
タル信号を提供する。
【００１４】このために、エリア１１，１３，１５を予
測エリア、エリア１２を制御エリア、エリア１４を危険
エリアとすることが考えられる。なお、予測エリア、制
御エリア、危険エリアの範囲の設定は、図に示すものに
限定されるものではない。また、各エリアは、信号処理
部４のメモリに記憶される。図１におけるエリア分けで
は、制御エリア１２と危険エリア１４をフュージョンエ
リアとして、ミリ波レーダ２と画像センサ３の両方から
得たデータとを融合（フュージョン）して処理を行うこ
とにより、物体に関する情報を精度の高いものとする。
その他の予測エリア１１，１３，１５については、従来
のセンサと同様に、それぞれ単独のセンサ２，３により
物体の存在を示す情報を得る。
【００１５】図１に戻り、ミリ波レーダ２と画像センサ
３から得た各データは、以上説明したエリア分けに従っ
て、ミリ波レーダエリアのデータと、フュージョンエリ
アのデータと、画像センサエリアのデータに分けられ
る。各データから、各物体ごとに相対位置、相対速度、
物体形状などの物体情報が抽出され、自動走行制御装置
などに使用するために出力される。また、これらの情報
は、物体を継続して検出するための追跡情報として、物
体情報抽出にフィードバックされる。
【００１６】図３のフローチャートを用いて、信号処理
部４における処理を説明する。画像センサ３から得た画
像データは、ステップＳ１１でデータ加工及び過去対応
の処理が行われる。データ加工は従来の画像処理と同様
に行われる。過去対応は、今回取得したデータを過去の
処理で取得した情報により補完する処理を行う。ミリ波
レーダ２から得たミリ波データについても、ステップＳ
２１で同様にデータの加工及び補完がされる。
【００１７】続いて、画像データは、ステップＳ１２
で、ミリ波データとペアとなるか否かが判定され、ミリ
波データは、ステップＳ２２で、画像データとペアとな
るか否かが判定される。これらの処理は、図１のエリア
分けに相当する。ステップＳ１２で、ミリ波データとペ
アでないと判定された画像データ（予測エリア１３，１
５で検出）については、ステップＳ１３で、画像データ
のみにより画像エッジの抽出が行われる。ステップＳ２
２で、ペアでないと判定されたミリ波データ（予測エリ
ア１１で検出）については、ステップＳ２３で、ミリ波
データのみによりミリ波エッジの抽出が行われる。画像
エッジとミリ波エッジが抽出されると、ステップＳ３５
へ進んで、物体面の認識（後述）が行われる。
【００１８】制御エリア１２と危険エリア１４で検出さ
れたデータについては、ステップＳ３１以降へ進み、ミ
リ波データと画像データの両方を用いてフュージョン処
理が行われる。図４は、フュージョン処理をイメージ的
に示す図である。物体（車両）２１が前方に存在する場
合、ミリ波レーダ２によりピークパワー２２が検出さ
れ、画像センサ３により画像エッジ２３が検出される。
ピークパワー２２と画像エッジ２３との組み合わせによ
り１つの物体２１の存在が正確に確定される。そして、
図２（Ｂ）に示したように、ミリ波レーダ２と画像セン
サ３のそれぞれが得意とする情報を使用して、物体情報
を得る。すなわち、制御エリア１２にある物体について
は、距離と速度はミリ波データを使用し、角度について
は画像データを使用する。また、危険エリア１４にある
物体については、角度と距離は画像データを使用し、速
度についてはミリ波データを使用する。
【００１９】図３に戻り、ステップＳ３１でフュージョ
ン処理によりピークパワーを得る。この結果、エッジが
１つだけ抽出されたときは、ステップＳ３２で、抽出さ
れたエッジに対応する仮想エッジが作成される。そし
て、抽出したエッジと仮想エッジとで１組のミリ波エッ
ジが作成される。ステップＳ３１で抽出されたエッジの
数が２以上であれば、ステップＳ３３でミリ波データの
ピークパワーがグループ化され、ステップＳ３４で、グ
ループ化されたピークパワーについて信頼度のチェック
が行われて、信頼性の高いデータによりフュージョンエ
ッジ（物体端）が確定される。
【００２０】図５にステップＳ３３のグループ化処理と
ステップＳ３４のフュージョンエッジ確定処理のロジッ
クを示す。図５において、物体２１の両側に画像エッジ
２３が表示されており、更にその隣に、画像エッジ２３
の信頼度２４が表示されている。ピークパワーについて
グループ化がされる。グループ化は、１つのエッジごと
に行われる。この結果、図示のように、１つの物体２１
に対して、２つのグループ化されたピークパワー２２，
２２が得られる。なお、１つの物体２１に対して３以上
のエッジが検出される場合もある。
【００２１】各グループのピークパワー２２をそれぞれ
積分し、フュージョンパワーを以下の式により計算す
る。 フュージョンパワー＝ミリ波ゲイン係数×ピークパワー
積分値＋画像ゲイン係数×エッジ信頼度 ここで、ミリ波ゲイン係数と画像ゲイン係数は、図５
（Ｂ）に示すように、距離によって異なる値となる。ミ
リ波ゲイン係数は、相対距離が約１０ｍ以上では１で、
１０ｍ以下では低下していく。画像ゲイン係数は、約１
５ｍ以下では１で、１５ｍ以上になると低下していく。
【００２２】以上の計算により得たフュージョンパワー
が高い場合、その画像エッジ２３を物体端と認識する。
ここで認識された画像エッジがフュージョンエッジとし
て確定される。図３に戻り、ステップＳ３５で、エッジ
の対応付けにより物体面の認識がされる。物体面の認識
には、フュージョンエッジ（ステップＳ３４）、仮想エ
ッジ（ステップＳ３２）と、画像エッジ（ステップＳ１
３）、ミリ波エッジ（ステップＳ２３）が使用される。
【００２３】図６にステップＳ３５のフュージョン処理
による物体面認識のロジックを示す。なお、画像エッジ
のみによる物体面の認識と、ミリ波エッジ（仮想エッジ
を含む）のみによる物体面の認識については、従来の周
辺監視センサと同様の手法で行うことができる。フュー
ジョンロジックによる物体面認識には、エッジ２３のど
ちら側に物体があるかを判断する。このために、最初に
エッジ同士の相関パワーを以下の式により計算し、相関
パワーの高いエッジの間に物体２１が存在すると認識す
る。
【００２４】相関パワー＝ミリ波ゲイン係数×片側ピー
クパワー積分値＋画像ゲイン係数×エッジ相関信頼性 ここで、ミリ波ゲイン係数と画像ゲイン係数は、図５
（Ｂ）に示したものが使用される。片側パワー積分値
は、画像エッジ２３を中心として両側のピークパワー２
２を積分した値で、図６（Ｂ）に示すように、物体２１
のある方がない方よりも相関パワーは高い値になる。エ
ッジ相関信頼性は、画像データを用いて、背景色と物体
の色との識別により物体２１を区別する。
【００２５】図７は、フュージョン結果の出力のイメー
ジを示す。フュージョン処理により物体２１が検出さ
れ、相対距離、相対速度、幅、横位置などの情報が確立
される。また、各情報については、図２を用いて説明し
たように、ミリ波データと画像データの信頼性が高い方
のデータが使用される。したがって、物体に関する情報
として精度の高いデータが得られる。
【００２６】図３に戻り、ステップＳ３５で認識された
各物体面について、ステップＳ３６で、制御用データが
作成出力される。この制御用データは、例えば、自動走
行支援システム用ＥＣＵで使用される。また、危険エリ
ア１４に物体２１が検出されたときは、図示しない警報
装置へディジタル値の警報信号を出力する。ステップＳ
３５のエッジ対応付けで得られた各種データは、ステッ
プＳ１１とステップＳ２１の過去対応の処理にフィード
バックされる。この過去対応の処理は、例えば、物体２
１がフュージョンエリア１２，１４（図２）から他のエ
リアに移動した場合、一方のセンサのデータの信頼度を
一時的に下げ、また、ミリ波レーダ２又は画像センサ３
がそれぞれ苦手とするデータを、フュージョンデータで
置き換えることにより、確実な追跡処理が行える。な
お、この過去対応の処理は、フュージョンエリア１２，
１４にある物体に関する処理においても利用可能であ
る。
【００２７】また、前述のように、画像センサ３が雨、
距離など環境の影響を受け易いというように、各センサ
の特性によりそれぞれのデータの性能劣化がある。この
性能劣化に対しては、例えば、性能劣化の原因となる降
雨を降雨センサにより検出したとき、劣化するデータを
他のセンサによるデータに置き換えることにより、良好
なデータを得ることができる。
【００２８】
【発明の効果】本発明によれば、物体の相対位置、相対
速度、物体形状などを確実にセンシングする周辺監視セ
ンサを得ることができる。
【図面の簡単な説明】
【図１】本発明を適用した周辺監視センサの構成を示す
図。
【図２】図１の周辺監視センサの検出エリアを示す図。
【図３】図１の周辺監視センサの動作を示すフローチャ
ート。
【図４】図３の処理におけるフュージョン処理のイメー
ジを示す図。
【図５】図３の処理におけるフュージョンロジック（物
体端検出）を示す図。
【図６】図３の処理におけるフュージョンロジック（物
体面認識）を示す図。
【図７】図３の処理におけるフュージョン結果の出力を
示す図。
【符号の説明】
１…周辺監視装置 ２…ミリ波レーダ ３…画像センサ ４…信号処理部 １１，１２，１３，１４，１５…エリア ２１…物体 ２２…ピークパワー ２３…画像エッジ ２４…画像エッジ信頼度
フロントページの続き Ｆターム(参考） 5J070 AB24 AC02 AC06 AC11 AC20 AE01 AF03 AH02 AH04 AH07 AH31 AH33 AH50 AJ13 AK01 AK03 BB02 BB03 BB04 BB05 BD08 BF02 BF03 BF04 BF10 BF12 BF16 BF30 BG23 BG28 5J084 AA05 AA10 AA14 AA20 AB01 AC02 AD05 CA44 CA49 CA65 CA68 CA70 CA74 DA01 DA10 EA07 EA22 EA23 EA29

Claims (12)

    【特許請求の範囲】
  1. 【請求項１】 ミリ波レーダと画像センサと信号処理部
    を具備する周辺監視センサにおいて、 前記信号処理部は、所定のエリア内に存在する物体につ
    いては、前記ミリ波レーダから取得した情報と前記画像
    センサから取得した情報に基づいて、前記物体に関する
    情報を作成することを特徴とする周辺監視センサ。
  2. 【請求項２】 前記ミリ波レーダは、物体の存在検知の
    役割を持ち、前記信号処理部は、前記ミリ波レーダが存
    在検知した場所に前記画像センサが検知した物体端情報
    を組み合わせて、物体面であることを判断する請求項１
    に記載の周辺監視センサ。
  3. 【請求項３】 距離に応じたミリ波ゲイン係数と距離に
    応じた画像ゲイン係数とを記憶するメモリを有し、前記
    信号処理部は、前記ミリ波レーダの情報信頼度に前記ミ
    リ波ゲイン係数をかけた情報と、前記画像センサの情報
    信頼度に前記画像ゲイン係数をかけた情報とに基づい
    て、物体端であることの信頼度を求める請求項１に記載
    の周辺監視センサ。
  4. 【請求項４】 前記信号処理部は、前記物体端の左右そ
    れぞれにおいて、ミリ波レーダによる存在検知情報を調
    べ、物体が前記物体端の左右どちらか、或いは、両方に
    存在するかを検出する請求項３に記載の周辺監視セン
    サ。
  5. 【請求項５】 前記信号処理部は、前記ミリ波レーダが
    検出した物体端近くのピークパワーを積分した値を用い
    て前記物体端を検出する請求項２又は４に記載の周辺監
    視センサ。
  6. 【請求項６】 制御に必要なエリアと制御の予測に必要
    なエリアとを記憶するメモリを有し、前記信号処理部
    は、前記制御に必要なエリアで検出した物体には、相対
    位置、相対速度、物体形状を提供し、前記予測エリアで
    検出した物体には、存在情報を提供する請求項１に記載
    の周辺監視センサ。
  7. 【請求項７】 物体が存在すること自体が危険な危険エ
    リアを記憶するメモリを有し、前記信号処理部は、前記
    危険エリアに物体が存在することを検出した場合は、そ
    の旨を示す信号を出力する請求項６に記載の周辺監視セ
    ンサ。
  8. 【請求項８】 前記制御に必要なエリアを、前記ミリ波
    レーダと前記画像センサのセンシングエリアの重なるエ
    リアに一致させる請求項６に記載の周辺監視センサ。
  9. 【請求項９】 前記信号処理部は、前記ミリ波レーダと
    前記画像センサの重なるエリアから物体が外れる場合、
    このエリアから出る物体を追跡する手段を有する請求項
    ８に記載の周辺監視センサ。
  10. 【請求項１０】 前記信号処理部は、前記追跡時には、
    前記ミリ波レーダ又は前記画像センサの一方のデータの
    信頼度を一時的に下げる請求項９に記載の周辺監視セン
    サ。
  11. 【請求項１１】 前記信号処理部は、前記追跡時には、
    前記ミリ波レーダ又は前記画像センサにおける苦手なデ
    ータを前記追跡時に使用する情報のデータに置き換える
    請求項９に記載の周辺監視センサ。
  12. 【請求項１２】 前記ミリ波レーダと前記画像センサの
    重なるエリアについても請求項１０又は請求項１１に記
    載の処理を行う周辺監視センサ。
JP27693099A 1999-09-29 1999-09-29 周辺監視センサ Expired - Fee Related JP4308381B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP27693099A JP4308381B2 (ja) 1999-09-29 1999-09-29 周辺監視センサ
US09/672,121 US6492935B1 (en) 1999-09-29 2000-09-27 Peripheral monitoring sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27693099A JP4308381B2 (ja) 1999-09-29 1999-09-29 周辺監視センサ

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008224073A Division JP4823282B2 (ja) 2008-09-01 2008-09-01 周辺監視センサ

Publications (2)

Publication Number Publication Date
JP2001099930A true JP2001099930A (ja) 2001-04-13
JP4308381B2 JP4308381B2 (ja) 2009-08-05

Family

ID=17576395

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27693099A Expired - Fee Related JP4308381B2 (ja) 1999-09-29 1999-09-29 周辺監視センサ

Country Status (2)

Country Link
US (1) US6492935B1 (ja)
JP (1) JP4308381B2 (ja)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004117071A (ja) * 2002-09-24 2004-04-15 Fuji Heavy Ind Ltd 車外監視装置、及び、この車外監視装置を備えた走行制御装置
US6762709B2 (en) 2001-12-11 2004-07-13 Nec Corporation Radar system, method of obtaining image, control method based on image data and monitoring method using milliwaves
JP2005500537A (ja) * 2001-08-16 2005-01-06 レイセオン・カンパニー 近接物体検出システム
JP2005084035A (ja) * 2003-09-11 2005-03-31 Toyota Motor Corp 物体検出装置
JP2006151125A (ja) * 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置
JP2006182086A (ja) * 2004-12-27 2006-07-13 Hitachi Ltd 車両検知装置
JP2006517659A (ja) * 2003-02-13 2006-07-27 アイイーイー インターナショナル エレクトロニクス アンド エンジニアリング エス．エイ． 自動車の内外シーン３次元検出に用いられる自動車用装置
JP2008116357A (ja) * 2006-11-06 2008-05-22 Toyota Motor Corp 物体検出装置
JP2008185447A (ja) * 2007-01-30 2008-08-14 Mitsubishi Electric Corp マルチセンサ制御システム
US7417580B2 (en) 2003-09-11 2008-08-26 Toyota Jidosha Kabushiki Kaisha Object detection system and object detection method
JP2009068852A (ja) * 2007-09-10 2009-04-02 Tokyo Metropolitan Univ 環境認識システム、自律型移動体および環境認識プログラム
JP2009098025A (ja) * 2007-10-17 2009-05-07 Toyota Motor Corp 物体検出装置
JP2009101737A (ja) * 2007-10-19 2009-05-14 Nissan Diesel Motor Co Ltd 衝突被害軽減制動制御装置
WO2011036807A1 (ja) * 2009-09-28 2011-03-31 トヨタ自動車株式会社 物体検出装置及び物体検出方法
JP2011242860A (ja) * 2010-05-14 2011-12-01 Toyota Motor Corp 障害物認識装置
JP2013190421A (ja) * 2012-03-14 2013-09-26 Honda Motor Co Ltd 車両において通行物体位置検出を向上する方法
DE102014100641A1 (de) 2013-01-22 2014-07-24 Denso Corporation Fahrzeuginterne zielerfassende Vorrichtung
JP2015031607A (ja) * 2013-08-02 2015-02-16 トヨタ自動車株式会社 物体認識装置
DE102014221144A1 (de) 2013-10-17 2015-04-23 Denso Corporation Zielerfassungsvorrichtung
WO2015122510A1 (en) 2014-02-17 2015-08-20 Toyota Jidosha Kabushiki Kaisha Vehicle surrounding situation recognizing device and vehicle control device
WO2019151489A1 (ja) * 2018-02-02 2019-08-08 日本電気株式会社 センサ情報統合システム、センサ情報統合方法及びプログラム
WO2019159344A1 (ja) * 2018-02-19 2019-08-22 三菱電機株式会社 運転支援装置および映像表示方法
CN110412595A (zh) * 2019-06-04 2019-11-05 深圳市速腾聚创科技有限公司 路基感知方法、系统、车辆、设备和存储介质
WO2020003776A1 (ja) 2018-06-29 2020-01-02 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法、撮像装置、コンピュータプログラム、情報処理システム、並びに移動体装置
WO2020196723A1 (ja) * 2019-03-27 2020-10-01 株式会社デンソー 物体検出装置
JPWO2019167350A1 (ja) * 2018-03-02 2021-02-25 パナソニックＩｐマネジメント株式会社 物体検知装置
CN113655494A (zh) * 2021-07-27 2021-11-16 上海智能网联汽车技术中心有限公司 路侧相机与4d毫米波融合的目标检测方法、设备及介质
JP2022000775A (ja) * 2021-03-05 2022-01-04 アポロ インテリジェント コネクティビティ (ベイジン) テクノロジー カンパニー リミテッドApollo Intelligent Connectivity (Beijing) Technology Co., Ltd. 交通流監視測定システムのテスト方法、装置及び機器
DE112021001664T5 (de) 2020-03-16 2023-03-09 Sony Semiconductor Solutions Corporation Erkennungsverarbeitungssystem, erkennungsverarbeitungsvorrichtung und erkennungsverarbeitungsverfahren

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6862537B2 (en) * 2002-03-21 2005-03-01 Ford Global Technologies Llc Sensor fusion system architecture
JP3964287B2 (ja) * 2002-09-04 2007-08-22 富士重工業株式会社 車外監視装置、及び、この車外監視装置を備えた走行制御装置
TWI234641B (en) * 2002-12-09 2005-06-21 Viewmove Technologies Inc Measurement system of detecting object distance by transmission media with different wave velocities
DE10302052A1 (de) * 2003-01-21 2004-07-29 Robert Bosch Gmbh Vorrichtung und Verfahren zum Überwachen der Umgebung eines Kraftfahrzeugs
DE10309943A1 (de) * 2003-03-07 2004-09-16 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ansteuerung mindestens einer Verzögerungseinrichtung und/oder eines leistungsbestimmenden Stellelementes einer Fahrzeugantriebseinrichtung
JP3779280B2 (ja) * 2003-03-28 2006-05-24 富士通株式会社 衝突予測装置
US6680689B1 (en) * 2003-03-28 2004-01-20 Visteon Global Technologies, Inc. Method for determining object classification from side-looking sensor data
KR100548420B1 (ko) * 2003-11-13 2006-02-02 엘지전자 주식회사 이동통신 단말기를 이용한 사각지대 감시 시스템 및 방법
US20060091654A1 (en) * 2004-11-04 2006-05-04 Autoliv Asp, Inc. Sensor system with radar sensor and vision sensor
US20060091653A1 (en) * 2004-11-04 2006-05-04 Autoliv Asp, Inc. System for sensing impending collision and adjusting deployment of safety device
JP2006171944A (ja) * 2004-12-14 2006-06-29 Optex Co Ltd 複合型防犯センサ
JP4684954B2 (ja) * 2005-08-31 2011-05-18 本田技研工業株式会社 車両の走行安全装置
JP4595833B2 (ja) * 2006-02-24 2010-12-08 トヨタ自動車株式会社 物体検出装置
GB0617586D0 (en) * 2006-09-07 2006-10-18 Mbda Uk Ltd Improvements in or relating to scanners
US8013780B2 (en) * 2007-01-25 2011-09-06 Magna Electronics Inc. Radar sensing system for vehicle
JP5132164B2 (ja) * 2007-02-22 2013-01-30 富士通株式会社 背景画像作成装置
US8095276B2 (en) * 2008-10-15 2012-01-10 Autoliv Asp, Inc. Sensor system including a confirmation sensor for detecting an impending collision
US20100225522A1 (en) * 2009-03-06 2010-09-09 Demersseman Bernard Guy Sensor system for detecting an impending collision of a vehicle
JP5503578B2 (ja) * 2011-03-10 2014-05-28 パナソニック株式会社 物体検出装置及び物体検出方法
JP5863481B2 (ja) * 2012-01-30 2016-02-16 日立マクセル株式会社 車両用衝突危険予測装置
JP5862785B2 (ja) * 2012-09-03 2016-02-16 トヨタ自動車株式会社 衝突判定装置及び衝突判定方法
CN102957800B (zh) * 2012-11-12 2014-05-21 北京小米科技有限责任公司 一种移动终端待机方法及装置
JP5991332B2 (ja) * 2014-02-05 2016-09-14 トヨタ自動車株式会社 衝突回避制御装置
JP2016070772A (ja) * 2014-09-30 2016-05-09 富士通テン株式会社 レーダ装置、車両制御システム、および、信号処理方法
US10482331B2 (en) * 2015-11-20 2019-11-19 GM Global Technology Operations LLC Stixel estimation methods and systems
US9903946B2 (en) * 2016-05-26 2018-02-27 RFNAV, Inc. Low cost apparatus and method for multi-modal sensor fusion with single look ghost-free 3D target association from geographically diverse sensors
JP6787102B2 (ja) * 2016-12-14 2020-11-18 株式会社デンソー 物体検出装置、物体検出方法
JP6816658B2 (ja) * 2017-06-09 2021-01-20 トヨタ自動車株式会社 物標情報取得装置
US11150342B2 (en) 2017-09-07 2021-10-19 Magna Electronics Inc. Vehicle radar sensing system with surface segmentation using interferometric statistical analysis
US10962641B2 (en) 2017-09-07 2021-03-30 Magna Electronics Inc. Vehicle radar sensing system with enhanced accuracy using interferometry techniques
US10962638B2 (en) 2017-09-07 2021-03-30 Magna Electronics Inc. Vehicle radar sensing system with surface modeling
US10877148B2 (en) 2017-09-07 2020-12-29 Magna Electronics Inc. Vehicle radar sensing system with enhanced angle resolution using synthesized aperture
JP7185547B2 (ja) * 2019-02-07 2022-12-07 株式会社デンソー 車両検出装置
US11733369B2 (en) * 2021-02-11 2023-08-22 Waymo Llc Methods and systems for three dimensional object detection and localization
CN112986942A (zh) * 2021-02-22 2021-06-18 浙江大华技术股份有限公司 边界探测方法、边界探测系统、电子设备和存储介质
CN113253255A (zh) * 2021-05-11 2021-08-13 浙江大学 一种多点位多传感器目标监测系统和方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230115A (ja) * 1993-02-01 1994-08-19 Toyota Motor Corp 車間距離検出装置
JPH0717347A (ja) * 1993-07-07 1995-01-20 Mazda Motor Corp 自動車の障害物検知装置
JPH08124080A (ja) * 1994-10-20 1996-05-17 Honda Motor Co Ltd 車両の障害物検出装置
JPH08156723A (ja) * 1994-12-06 1996-06-18 Nissan Motor Co Ltd 車両用障害物検出装置
JPH08329393A (ja) * 1995-05-29 1996-12-13 Daihatsu Motor Co Ltd 先行車検出装置
JPH09132095A (ja) * 1995-11-10 1997-05-20 Toyota Motor Corp 走査型レーダ装置
JPH09264954A (ja) * 1996-03-29 1997-10-07 Fujitsu Ten Ltd レーダを用いた画像処理システム
JPH11211811A (ja) * 1998-01-26 1999-08-06 Honda Motor Co Ltd レーダ装置
JP2000501835A (ja) * 1995-12-13 2000-02-15 ダイムラー―ベンツ アクチエンゲゼルシャフト 車両ナビゲーションシステム用の信号処理方法
JP2000121730A (ja) * 1998-10-19 2000-04-28 Honda Motor Co Ltd 車両の障害物検知装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3898652A (en) * 1973-12-26 1975-08-05 Rashid Mary D Vehicle safety and protection system
FR2669115B1 (fr) * 1990-11-09 1993-04-23 Thomson Csf Systeme radar en ondes millimetriques pour le guidage d'un robot mobile au sol.
IL100175A (en) * 1991-11-27 1994-11-11 State Of Isreal Ministry Of De Vehicle collision warning device
JP3195048B2 (ja) 1992-06-09 2001-08-06 マツダ株式会社 車両の障害物検出装置
JPH0611570A (ja) 1992-06-18 1994-01-21 Matsushita Electric Ind Co Ltd 衝突警報装置
JP3123303B2 (ja) 1992-07-21 2001-01-09 日産自動車株式会社 車両用画像処理装置
JP3263699B2 (ja) 1992-12-22 2002-03-04 三菱電機株式会社 走行環境監視装置
DE4407757A1 (de) * 1993-03-08 1994-09-15 Mazda Motor Vorrichtung zur Erfassung von Hindernissen für ein Fahrzeug
JP3264060B2 (ja) 1993-11-04 2002-03-11 三菱自動車工業株式会社 自動車の走行制御装置の先行車検出機構
JP3212218B2 (ja) 1994-05-26 2001-09-25 三菱電機株式会社 車両用障害物検出装置
JP3600314B2 (ja) 1995-05-19 2004-12-15 本田技研工業株式会社 車両の外部環境認識装置
JP3577239B2 (ja) * 1999-05-28 2004-10-13 三菱電機株式会社 レーダ装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230115A (ja) * 1993-02-01 1994-08-19 Toyota Motor Corp 車間距離検出装置
JPH0717347A (ja) * 1993-07-07 1995-01-20 Mazda Motor Corp 自動車の障害物検知装置
JPH08124080A (ja) * 1994-10-20 1996-05-17 Honda Motor Co Ltd 車両の障害物検出装置
JPH08156723A (ja) * 1994-12-06 1996-06-18 Nissan Motor Co Ltd 車両用障害物検出装置
JPH08329393A (ja) * 1995-05-29 1996-12-13 Daihatsu Motor Co Ltd 先行車検出装置
JPH09132095A (ja) * 1995-11-10 1997-05-20 Toyota Motor Corp 走査型レーダ装置
JP2000501835A (ja) * 1995-12-13 2000-02-15 ダイムラー―ベンツ アクチエンゲゼルシャフト 車両ナビゲーションシステム用の信号処理方法
JPH09264954A (ja) * 1996-03-29 1997-10-07 Fujitsu Ten Ltd レーダを用いた画像処理システム
JPH11211811A (ja) * 1998-01-26 1999-08-06 Honda Motor Co Ltd レーダ装置
JP2000121730A (ja) * 1998-10-19 2000-04-28 Honda Motor Co Ltd 車両の障害物検知装置

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4771657B2 (ja) * 2001-08-16 2011-09-14 ヴァレオ・レイダー・システムズ・インコーポレーテッド 近接物体検出システム
JP2005500537A (ja) * 2001-08-16 2005-01-06 レイセオン・カンパニー 近接物体検出システム
US6762709B2 (en) 2001-12-11 2004-07-13 Nec Corporation Radar system, method of obtaining image, control method based on image data and monitoring method using milliwaves
JP2004117071A (ja) * 2002-09-24 2004-04-15 Fuji Heavy Ind Ltd 車外監視装置、及び、この車外監視装置を備えた走行制御装置
JP2006517659A (ja) * 2003-02-13 2006-07-27 アイイーイー インターナショナル エレクトロニクス アンド エンジニアリング エス．エイ． 自動車の内外シーン３次元検出に用いられる自動車用装置
US8416397B2 (en) 2003-02-13 2013-04-09 Iee International Electronics & Engineering S.A. Device for a motor vehicle used for the three-dimensional detection of a scene inside or outside said motor vehicle
JP2005084035A (ja) * 2003-09-11 2005-03-31 Toyota Motor Corp 物体検出装置
US7417580B2 (en) 2003-09-11 2008-08-26 Toyota Jidosha Kabushiki Kaisha Object detection system and object detection method
JP2006151125A (ja) * 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置
JP2006182086A (ja) * 2004-12-27 2006-07-13 Hitachi Ltd 車両検知装置
JP2008116357A (ja) * 2006-11-06 2008-05-22 Toyota Motor Corp 物体検出装置
JP2008185447A (ja) * 2007-01-30 2008-08-14 Mitsubishi Electric Corp マルチセンサ制御システム
JP2009068852A (ja) * 2007-09-10 2009-04-02 Tokyo Metropolitan Univ 環境認識システム、自律型移動体および環境認識プログラム
JP2009098025A (ja) * 2007-10-17 2009-05-07 Toyota Motor Corp 物体検出装置
JP2009101737A (ja) * 2007-10-19 2009-05-14 Nissan Diesel Motor Co Ltd 衝突被害軽減制動制御装置
WO2011036807A1 (ja) * 2009-09-28 2011-03-31 トヨタ自動車株式会社 物体検出装置及び物体検出方法
JP2011242860A (ja) * 2010-05-14 2011-12-01 Toyota Motor Corp 障害物認識装置
JP2013190421A (ja) * 2012-03-14 2013-09-26 Honda Motor Co Ltd 車両において通行物体位置検出を向上する方法
DE102014100641A1 (de) 2013-01-22 2014-07-24 Denso Corporation Fahrzeuginterne zielerfassende Vorrichtung
US9342897B2 (en) 2013-01-22 2016-05-17 Denso Corporation In-vehicle target detecting device
JP2015031607A (ja) * 2013-08-02 2015-02-16 トヨタ自動車株式会社 物体認識装置
DE102014221144A1 (de) 2013-10-17 2015-04-23 Denso Corporation Zielerfassungsvorrichtung
US9753130B2 (en) 2013-10-17 2017-09-05 Denso Corporation Target detection apparatus
CN104569979A (zh) * 2013-10-17 2015-04-29 株式会社电装 目标检测设备
JP2015078926A (ja) * 2013-10-17 2015-04-23 株式会社デンソー 物標検出装置
US10444345B2 (en) 2014-02-17 2019-10-15 Toyota Jidosha Kabushiki Kaisha Vehicle surrounding situation recognizing device and vehicle control device
WO2015122510A1 (en) 2014-02-17 2015-08-20 Toyota Jidosha Kabushiki Kaisha Vehicle surrounding situation recognizing device and vehicle control device
WO2019151489A1 (ja) * 2018-02-02 2019-08-08 日本電気株式会社 センサ情報統合システム、センサ情報統合方法及びプログラム
US11308346B2 (en) 2018-02-02 2022-04-19 Nec Corporation Sensor information integration system, sensor information integration method, and program
JPWO2019151489A1 (ja) * 2018-02-02 2021-01-14 日本電気株式会社 センサ情報統合システム、センサ情報統合方法及びプログラム
WO2019159344A1 (ja) * 2018-02-19 2019-08-22 三菱電機株式会社 運転支援装置および映像表示方法
JPWO2019159344A1 (ja) * 2018-02-19 2020-07-30 三菱電機株式会社 運転支援装置および映像表示方法
JP7050827B2 (ja) 2018-02-19 2022-04-08 三菱電機株式会社 運転支援装置および映像表示方法
JPWO2019167350A1 (ja) * 2018-03-02 2021-02-25 パナソニックＩｐマネジメント株式会社 物体検知装置
KR20210022570A (ko) 2018-06-29 2021-03-03 소니 세미컨덕터 솔루션즈 가부시키가이샤 정보 처리 장치 및 정보 처리 방법, 촬상 장치, 컴퓨터 프로그램, 정보 처리 시스템, 그리고 이동체 장치
WO2020003776A1 (ja) 2018-06-29 2020-01-02 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法、撮像装置、コンピュータプログラム、情報処理システム、並びに移動体装置
WO2020196723A1 (ja) * 2019-03-27 2020-10-01 株式会社デンソー 物体検出装置
JP2020159925A (ja) * 2019-03-27 2020-10-01 株式会社Ｓｏｋｅｎ 物体検出装置
CN110412595A (zh) * 2019-06-04 2019-11-05 深圳市速腾聚创科技有限公司 路基感知方法、系统、车辆、设备和存储介质
DE112021001664T5 (de) 2020-03-16 2023-03-09 Sony Semiconductor Solutions Corporation Erkennungsverarbeitungssystem, erkennungsverarbeitungsvorrichtung und erkennungsverarbeitungsverfahren
JP2022000775A (ja) * 2021-03-05 2022-01-04 アポロ インテリジェント コネクティビティ (ベイジン) テクノロジー カンパニー リミテッドApollo Intelligent Connectivity (Beijing) Technology Co., Ltd. 交通流監視測定システムのテスト方法、装置及び機器
JP7348243B2 (ja) 2021-03-05 2023-09-20 阿波▲羅▼智▲聯▼（北京）科技有限公司 交通流監視測定システムのテスト方法、装置及び機器
CN113655494A (zh) * 2021-07-27 2021-11-16 上海智能网联汽车技术中心有限公司 路侧相机与4d毫米波融合的目标检测方法、设备及介质

Also Published As

Publication number Publication date
US6492935B1 (en) 2002-12-10
JP4308381B2 (ja) 2009-08-05

Similar Documents

Publication Publication Date Title
JP2001099930A (ja) 周辺監視センサ
JP4019736B2 (ja) 車両用障害物検出装置
US6670912B2 (en) Method for detecting stationary object located above road
JP4211809B2 (ja) 物体検出装置
EP1462823B1 (en) Collision prediction device, method of predicting collision, and computer product
US11024174B2 (en) Parking space detection apparatus
JPH05242391A (ja) 車両用障害物検出装置
US20050001715A1 (en) Information providing device for vehicle
JP2008082974A (ja) 物体検出装置、物体検出方法、およびコンピュータが実行するためのプログラム
US11150333B2 (en) Object sensing apparatus and object sensing method
JP2007140852A (ja) 障害物位置検出装置及び障害物位置検出方法
WO2018043028A1 (ja) 周辺監視装置及び周辺監視方法
JP2003217099A (ja) 車載型周辺監視装置
JP2010108168A (ja) 衝突予測装置
JP2002296350A (ja) 物体検知装置
US20050004719A1 (en) Device and method for determining the position of objects in the surroundings of a motor vehicle
KR101449288B1 (ko) 레이더를 이용한 감지 시스템
JP4644590B2 (ja) 周辺車両位置検出装置および周辺車両位置検出方法
JP4823282B2 (ja) 周辺監視センサ
JP6818902B6 (ja) 車両検知システム
KR20210101877A (ko) 차량의 후측방 경고 장치 및 방법
JP2004171295A (ja) 障害物検知方法及び車載用レーダ装置
JP6331232B2 (ja) 車両用制限速度検出装置
WO2023248341A1 (ja) 物体検出装置
US20220227363A1 (en) Control device for controlling safety device in vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080901

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090209

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090407

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090501

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140515

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees