JP2009175045A - 周辺監視装置 - Google Patents

周辺監視装置 Download PDF

Info

Publication number
JP2009175045A
JP2009175045A JP2008015285A JP2008015285A JP2009175045A JP 2009175045 A JP2009175045 A JP 2009175045A JP 2008015285 A JP2008015285 A JP 2008015285A JP 2008015285 A JP2008015285 A JP 2008015285A JP 2009175045 A JP2009175045 A JP 2009175045A
Authority
JP
Japan
Prior art keywords
output signal
vehicle
moving body
fluctuation amount
article
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008015285A
Other languages
English (en)
Inventor
Yasushi Sakuma
靖 作間
Hidenao Shiraki
秀直 白木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2008015285A priority Critical patent/JP2009175045A/ja
Priority to DE102009004384A priority patent/DE102009004384A1/de
Publication of JP2009175045A publication Critical patent/JP2009175045A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/50Systems of measurement, based on relative movement of the target
    • G01S15/52Discriminating between fixed and moving objects or between objects moving at different speeds

Abstract

【課題】より正確な車両周囲の情報を提供できる周辺監視装置を得る。
【解決手段】車両に搭載され、物体からの反射波を検出する超音波センサ5からの出力信号に基づいて、車両周辺の物体を検出する。超音波センサ5からの出力信号の電圧の時間経過の変動に基づく物体が移動体か否かの判断に先立って、超音波センサ5からの出力信号に基づいて物体までの距離を設定時間毎に算出し、距離の変動から物体が移動体か否かを判断する(S110)。物体が移動していないと判断したときに、同じ物体に基づく超音波センサ5からの出力信号の電圧に時間経過で変動があるとき、物体を移動体と判断する。例えば、時間経過による出力信号のピーク電圧差をゆらぎ量として算出し、ゆらぎ量が予め設定されたしきい値より大きいときに、物体を移動体と判断する(S120)。物体を移動体と判断したとき、判断結果を送信する(S130)。
【選択図】図2

Description

本発明は、車両の周辺の物体を検出し、運転者に車両周辺の情報を提供する周辺監視装置に関する。
従来より、特許文献1にあるように、車両の周辺の静止物や移動体を検出して、運転者に車両周辺の情報を提供するものが提案されている。この装置では、車両の前後方向に沿って、検出範囲の異なる複数のセンサを配置し、物体が複数のセンサにより順に検出された際には、この物体を移動体と判断している。更に、車両の側方を検出範囲とするセンサにより物体を検出した際、この物体を車両との速度差等がないときには静止物と判断し、この判断を優先して、他のセンサによる移動体との判断を行わないようにしている。
特開平5−223933号公報
しかしながら、こうした従来の装置では、物体を移動体か静止物かの判断をするために、多くのセンサを必要とし、また、車両の側方に、道路を横断しようとする歩行者がいる場合、車両との速度差等がない場合などには、静止物として判断してしまう場合があり、必ずしも、運転者に必要な情報を正確に提供しているとはいえない場合があるという問題があった。
本発明の課題は、より正確な車両周囲の情報を提供できる周辺監視装置を提供することにある。
かかる課題を達成すべく、本発明は課題を解決するため次の手段を取った。即ち、
車両に搭載され、物体からの反射波を検出する超音波センサからの出力信号に基づいて、前記車両周辺の前記物体を検出する周辺監視装置において、
同じ前記物体に基づく前記超音波センサからの前記出力信号の電圧に時間経過で変動があるとき、前記物体を移動体と判断する判断手段を備えたことを特徴とする周辺監視装置がそれである。
その際、前記判断手段は、前記時間経過による前記出力信号のピーク電圧差をゆらぎ量として算出し、前記ゆらぎ量が予め設定されたしきい値より大きいときに、前記物体を移動体と判断してもよい。あるいは、前記判断手段は、前記時間経過による前記出力信号のピーク電圧比をゆらぎ量として算出し、前記ゆらぎ量が予め設定されたしきい値より大きいときに、前記物体を移動体と判断してもよい。前記判断手段は、予め設定された一定時間が経過するまでの前記出力信号のピーク電圧の分散をゆらぎ量として算出し、前記ゆらぎ量が予め設定されたしきい値より大きいときに、前記物体を移動体と判断してもよい。
また、前記しきい値を前記物体までの距離に応じて変更するようにしてもよい。更に、前記判断手段は、前記超音波センサからの前記出力信号の電圧の時間経過の変動に基づく前記物体が移動体か否かの判断に先立って、前記超音波センサからの前記出力信号に基づいて前記物体までの距離を設定時間毎に算出し、該距離の変動から前記物体が移動体か否かを判断するようにしてもよい。前記判断手段が前記物体を移動体と判断したときに、判断結果を送信する通信手段を備えた構成としてもよい。
本発明の周辺監視装置は、超音波センサからの出力信号の電圧に時間経過による変動があるときに、物体が静止していても移動体と判断するので、より正確な車両周囲の情報を提供できるという効果を奏する。
ゆらぎ量を算出して、しきい値と比較することにより、容易に物体を移動体と判断することができる。また、しきい値を物体までの距離に応じて変更することにより、判定精度を向上させることができる。更に、出力信号の電圧の時間経過の変動に基づく物体が移動体か否かの判断に先立って、距離の変動から前記物体が移動体か否かを判断することにより、処理が簡単になる。
以下本発明を実施するための最良の形態を図面に基づいて詳細に説明する。
図1に示すように、図示しない車両には、車速センサや冷却水温センサ等の各種車両センサ1が設けられると共に、この各種車両センサ1からの出力信号が入力され、出力信号に応じて車両情報を制御する車両情報制御装置2が設けられている。例えば、車両情報制御装置2は、車速センサや冷却水温センサ等の出力信号に基づいて、車両速度や冷却水温度をパネル等に表示する。
また、車両には、周辺監視センサ4が搭載されると共に、周辺監視センサ4からの出力信号に基づいてセンサ情報を制御するセンサ情報制御装置6が設けられている。周辺監視センサ4には、超音波を発射して、その超音波の物体からの反射波を検出する超音波センサ5が用いられ、センサ情報制御装置6に車両周辺の物体情報を出力する。周辺監視センサ4は超音波センサ5以外にも、レーダセンサ等を備えていてもよい。更に、無線通信等による情報を送受信する通信情報送受信部8が設けられると共に、通信情報送受信部8で送受信する通信情報を制御する通信情報制御装置10が設けられている。
車両情報制御装置2、センサ情報制御装置6、通信情報制御装置10は通信線12により接続されており、相互に情報をやり取りできるように構成されている。通信線12には、更に、運転支援情報制御装置14が接続されており、運転支援情報制御装置14は運転支援情報出力装置16に接続されている。運転支援情報制御装置14は、通信線12を介して車両情報制御装置2、センサ情報制御装置6、通信情報制御装置10から入力される運転情報や周辺情報に基づいて、運転支援情報出力装置16を制御する。運転支援情報出力装置16とは、例えば、ブレーキ機構であり、運転支援情報制御装置14からの指令信号に基づいてブレーキ機構により制動をする。
次に、前述したセンサ情報制御装置6において行われる移動体検出制御処理について、図2のフローチャートによって説明する。
センサ情報制御装置6には、超音波センサ5からの出力信号が入力され、センサ情報制御装置6は、物体からの反射波を検出する超音波センサ5からの出力信号に基づいて、移動体検出制御処理を実行し、車両周辺の移動体の検出を行う。
超音波を発射してから物体からの反射波を受信するまでの時間を計測することにより、車両と物体までの距離を検出できる。図3(イ)に示すように、超音波が発せられた直後には、この発射した超音波の影響を受けて、超音波センサ5から高い電圧レベルの残響信号がセンサ情報制御装置6に出力される。そして、物体で超音波が反射して、反射波を超音波センサ5が検出すると、超音波センサ5からの出力信号の電圧は高レベルになる。反射波による出力信号は山型になるが、その山のピーク電圧の位置を物体までの距離として検出する。
移動体検出制御処理では、本制御処理を一定時間毎に繰り返し実行して、超音波センサ5からの出力信号をその都度読み込む。その出力信号から物体までの距離を検出して、例えば、物体までの距離が前回の処理で検出した物体までの距離と急激に変化した場合は、別の物体であると判断する。物体までの距離が前回の処理で検出した物体までの距離とほぼ同じ、あるいは車両の速度に応じた程度の違い等である場合には、同一の物体と判断する。物体が複数ある場合には、ピーク電圧の山が複数出力される。それぞれのピーク電圧の山に対して物体が対応し、それぞれについて追跡して検出する。
そして、本制御処理を一定時間毎に繰り返し実行して、物体を検出しており、その物体が前回と今回との処理で同一であるか否かを判断する(ステップ100。以下S100という。以下同様。)。
検出された物体が同一のものでない場合は(S100:NO)、本制御処理を一端終了し、検出された物体が同一である場合には(S100:YES)、検出されている物体までの距離が変動しているか否かを判断する(S110)。本制御処理を設定された一定時間毎に繰り返し検出することにより、物体までの距離が変動し、物体までの距離が変動した際には、物体は移動している移動体であると判断できる。
物体の距離が変動していると判断すると(S110:YES)、物体は移動体であるので、物体を移動体とする処理を実行する(S130)。例えば、接近しているのか、遠ざかっているのか、等を判断し、必要な場合には、ディスプレイ等に表示して、運転者に報知する。
一方、物体までの距離が変動していないと判断すると(S110:NO)、ゆらぎ量が移動体判定条件を満たしているか否かを、例えば、ゆらぎ量が予め設定された所定のしきい値以上か否かにより判断する(S120)。物体が人物である場合、図3(イ)示す超音波センサ5からの出力信号のピーク電圧が、一定時間毎に繰り返し検出する際、時間が経過した△t秒後の検出では変化する。△t秒後のピーク電圧が、図3(イ)に示すピーク電圧から、図3(ロ)に示すピーク電圧に変化し、ピーク電圧差△Vが生じる。
一方、図4に示すように、構造物のような静止物であるや、停止している他車両である場合、超音波センサ5からの出力信号のピーク電圧は時間が経過したときの検出にかかわらずほぼ一定であるが、移動体が人物である場合、超音波センサ5からの出力信号のピーク電圧は時間が経過したときの検出では変化する。
超音波センサ5により、一定時間毎に繰り返し検出する際、前回のピーク電圧(Vn-1)と時間が経過した後のピーク電圧(Vn)とを比較して、ゆらぎ量を算出する。ゆらぎ量は時間差△tによる出力信号のピーク電圧差△V(=Vn−Vn-1)として算出する。あるいは、ゆらぎ量は、時間差△tによる出力信号のピーク電圧比(=Vn/Vn-1)として算出してもよい。また、予め設定された一定時間が経過するまでの出力信号のピーク電圧の分散をゆらぎ量として算出してもよい。
ゆらぎ量がしきい値以上であるときには、ゆらぎ量が移動体判定条件を満たしていると判断して(S120:YES)、物体は移動体で、その移動体は人物であるとする処理を実行する(S130)。例えば、周辺の情報をディスプレスに表示する場合には、ディスプレイ上に移動体を表示すると共に、その移動体は人物である旨の強調表示等を行う。
また、運転支援情報制御装置14にその情報を出力し、運転支援情報制御装置14が運転支援情報出力装置16を制御して、例えば、ブレーキ機構を制御して、車両を制動するようにしてもよい。尚、しきい値を物体までの距離に応じて変更するようにしてもよい。これにより、判定精度を向上させることができる。また、ゆらぎ量が所定のしきい値以上のときを、一定時間続けて満たすときに、ゆらぎ量が移動体判定条件を満たしていると判断するようにしてもよい。
更に、通信情報制御装置10にその情報を出力して、通信情報制御装置10が通信情報送受信部8を制御して、通信情報送受信部8から人物がいる旨を位置情報と共に外部に送信する。図5に示すように、自車両が停車している際に、移動体を検出した場合、飛び出しの可能性を周辺車両に送信し、他車両がこの情報を受信して、ディスプレイ等に人物を強調表示する。これにより、車両からの死角に人物がいる場合でも、送信された情報に基づいて、他車両の運転者は人物を認識することができ、人物の飛び出しによる事故等を未然に防止できる。
移動体を検出して、飛び出しの可能性を周辺車両に送信する際、例えば、他の制御処理に先立って、移動体を検出している旨の送信を優先させて、他車両へ送信する周期を従来よりも早くする制御を行なう機能を備えるようにしてもよい。
また、図6に示すように、車両の後方に人物がいる場合、特に、車両の後方死角に人物が移動せずに立っているような場合、この人物を移動体として検出し、ディスプレイ等により強く注意喚起するための表示をし、運転者は、車両を後退させる場合、安全を確保することができる。
一方、S120の処理の実行により、ゆらぎ量が所定のしきい値以上ではなく、ゆらぎ量が移動体判定条件を満たしていないと判断したときには(S120:NO)、その物体は固定構造物等の静止物であると判断して、本検出制御処理を終了する。
以上本発明はこの様な実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲において種々なる態様で実施し得る。
本発明の一実施形態としての周辺監視装置の概略を示すブロック図である。 本実施形態のセンサ情報制御装置において行われる移動体検出制御処理の一例を示すフローチャートである。 本実施形態の超音波センサからの出力信号の電圧と距離との関係を示すグラフである。 本実施形態の静止物と移動体とについての超音波センサからの出力信号の電圧と時間との関係を示すグラフである。 本実施形態の他車両との通信状態を示す説明図である。 本実施形態の車両後方の移動体の検出を示す説明図である。
符号の説明
1…各種車両センサ 2…車両情報制御装置
4…周辺監視センサ 5…超音波センサ
6…センサ情報制御装置 8…通信情報送受信部
10…通信情報制御装置 12…通信線
14…運転支援情報制御装置 16…運転支援情報出力装置

Claims (7)

  1. 車両に搭載され、物体からの反射波を検出する超音波センサからの出力信号に基づいて、前記車両周辺の前記物体を検出する周辺監視装置において、
    同じ前記物体に基づく前記超音波センサからの前記出力信号の電圧に時間経過で変動があるとき、前記物体を移動体と判断する判断手段を備えたことを特徴とする周辺監視装置。
  2. 前記判断手段は、前記時間経過による前記出力信号のピーク電圧差をゆらぎ量として算出し、前記ゆらぎ量が予め設定されたしきい値より大きいときに、前記物体を移動体と判断することを特徴とする請求項1に記載の周辺監視装置。
  3. 前記判断手段は、前記時間経過による前記出力信号のピーク電圧比をゆらぎ量として算出し、前記ゆらぎ量が予め設定されたしきい値より大きいときに、前記物体を移動体と判断することを特徴とする請求項1に記載の周辺監視装置。
  4. 前記判断手段は、予め設定された一定時間が経過するまでの前記出力信号のピーク電圧の分散をゆらぎ量として算出し、前記ゆらぎ量が予め設定されたしきい値より大きいときに、前記物体を移動体と判断することを特徴とする請求項1に記載の周辺監視装置。
  5. 前記しきい値を前記物体までの距離に応じて変更することを特徴とする請求項2ないし請求項4のいずれかに記載の周辺監視装置。
  6. 前記判断手段は、前記超音波センサからの前記出力信号の電圧の時間経過の変動に基づく前記物体が移動体か否かの判断に先立って、前記超音波センサからの前記出力信号に基づいて前記物体までの距離を設定時間毎に算出し、該距離の変動から前記物体が移動体か否かを判断することを特徴とする請求項1ないし請求項5のいずれかに記載の周辺監視装置。
  7. 前記判断手段が前記物体を移動体と判断したときに、判断結果を送信する通信手段を備えたことを特徴とする請求項1ないし請求項6のいずれかに記載の周辺監視装置。
JP2008015285A 2008-01-25 2008-01-25 周辺監視装置 Pending JP2009175045A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008015285A JP2009175045A (ja) 2008-01-25 2008-01-25 周辺監視装置
DE102009004384A DE102009004384A1 (de) 2008-01-25 2009-01-12 Umgebungsüberwachungsvorrichtung und Verfahren zur Umgebungsüberwachung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008015285A JP2009175045A (ja) 2008-01-25 2008-01-25 周辺監視装置

Publications (1)

Publication Number Publication Date
JP2009175045A true JP2009175045A (ja) 2009-08-06

Family

ID=40794650

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008015285A Pending JP2009175045A (ja) 2008-01-25 2008-01-25 周辺監視装置

Country Status (2)

Country Link
JP (1) JP2009175045A (ja)
DE (1) DE102009004384A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014106115A (ja) * 2012-11-27 2014-06-09 Nissan Motor Co Ltd 障害物検出装置、加速抑制制御装置、障害物検出方法
CN114067546A (zh) * 2020-07-29 2022-02-18 深圳绿米联创科技有限公司 位置检测方法、装置及电子设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011112274A1 (de) 2011-09-05 2013-03-07 Brose Fahrzeugteile Gmbh & Co. Kg, Hallstadt Steuersystem
DE102011121775B3 (de) 2011-12-21 2013-01-31 Brose Fahrzeugteile Gmbh & Co. Kg, Hallstadt Steuersystem
DE102012013065A1 (de) 2012-07-02 2014-01-02 Brose Fahrzeugteile Gmbh & Co. Kg, Hallstadt Verfahren zur Ansteuerung einer Verschlusselementanordnung eines Kraftfahrzeugs
DE102013114883A1 (de) 2013-12-25 2015-06-25 Brose Fahrzeugteile Gmbh & Co. Kommanditgesellschaft, Hallstadt Steuersystem für eine motorische Verschlusselementanordnung eines Kraftfahrzeugs
DE102013114881A1 (de) 2013-12-25 2015-06-25 Brose Fahrzeugteile Gmbh & Co. Kommanditgesellschaft, Hallstadt Steuersystem für eine motorische Verschlusselementanordnung eines Kraftfahrzeugs
DE102015112589A1 (de) 2015-07-31 2017-02-02 Brose Fahrzeugteile Gmbh & Co. Kommanditgesellschaft, Bamberg Steuersystem für eine motorisch verstellbare Laderaumvorrichtung eines Kraftfahrzeugs
DE102015119701A1 (de) 2015-11-15 2017-05-18 Brose Fahrzeugteile Gmbh & Co. Kommanditgesellschaft, Bamberg Verfahren für den Betrieb einer kapazitiven Sensoranordnung eines Kraftfahrzeugs
CN111665483B (zh) * 2020-05-07 2023-08-15 隔空(上海)智能科技有限公司 多普勒雷达的运动目标检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4730347U (ja) * 1971-04-28 1972-12-06
JPH01237483A (ja) * 1988-03-18 1989-09-21 Matsushita Electric Ind Co Ltd 超音波式侵入者検知器
JPH0882666A (ja) * 1994-09-13 1996-03-26 Tech Res & Dev Inst Of Japan Def Agency パッシブレンジング装置
JPH09301116A (ja) * 1996-05-09 1997-11-25 Nec Corp 乗員検知装置及びこの装置を用いたエアバック起爆システム
JP2005343426A (ja) * 2004-06-07 2005-12-15 Denso Corp 障害物検出装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05223933A (ja) 1992-02-14 1993-09-03 Mazda Motor Corp 障害物検出装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4730347U (ja) * 1971-04-28 1972-12-06
JPH01237483A (ja) * 1988-03-18 1989-09-21 Matsushita Electric Ind Co Ltd 超音波式侵入者検知器
JPH0882666A (ja) * 1994-09-13 1996-03-26 Tech Res & Dev Inst Of Japan Def Agency パッシブレンジング装置
JPH09301116A (ja) * 1996-05-09 1997-11-25 Nec Corp 乗員検知装置及びこの装置を用いたエアバック起爆システム
JP2005343426A (ja) * 2004-06-07 2005-12-15 Denso Corp 障害物検出装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014106115A (ja) * 2012-11-27 2014-06-09 Nissan Motor Co Ltd 障害物検出装置、加速抑制制御装置、障害物検出方法
CN114067546A (zh) * 2020-07-29 2022-02-18 深圳绿米联创科技有限公司 位置检测方法、装置及电子设备

Also Published As

Publication number Publication date
DE102009004384A1 (de) 2009-07-30

Similar Documents

Publication Publication Date Title
JP2009175045A (ja) 周辺監視装置
KR101815599B1 (ko) Tpms를 이용한 주차 지원 장치
CN107284454B (zh) 防碰撞装置及防碰撞方法
KR101892763B1 (ko) 장애물 위치를 판단하는 방법과 장애물 위치 판단장치 및 주차 보조 방법과 주차 보조 시스템
US10948592B2 (en) Obstacle detection apparatus for vehicles
US8136404B2 (en) Obstacle detection system
JP4811343B2 (ja) 物体検出装置
US20150187217A1 (en) Collision avoidance system and method for vehicles
JP5904280B2 (ja) 車両の警報装置
JP2014227000A (ja) 車両制御装置、その方法およびそのプログラム
US20170242120A1 (en) Obstacle detection apparatus for vehicles
JP2002131417A (ja) 障害物検知装置
KR20120119420A (ko) 지능형 운동체 제어 장치 및 방법
JP2000187799A (ja) 車両用障害物検知装置
WO2020084805A1 (ja) 報知装置及び報知方法
JPH1166496A (ja) 前方警報装置
JP2008026030A (ja) 車両用障害物検出装置及び車両制御システム
JP2014016889A (ja) 警報装置
JP2009018680A (ja) 相対関係測定システム及び車載相対関係測定装置
JP2003081035A (ja) 障害物検知装置
JPH1194942A (ja) 車両用追突警報装置
JP6381736B1 (ja) 物体検知装置およびこれを用いた自動運転システム
JP4385852B2 (ja) 車両取り回し支援装置
WO2014010066A1 (ja) 車両の警報装置
JP2001235543A (ja) 車載用障害物検知装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111213

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120403