JP2004271250A - 車間距離検出装置 - Google Patents

車間距離検出装置 Download PDF

Info

Publication number
JP2004271250A
JP2004271250A JP2003059390A JP2003059390A JP2004271250A JP 2004271250 A JP2004271250 A JP 2004271250A JP 2003059390 A JP2003059390 A JP 2003059390A JP 2003059390 A JP2003059390 A JP 2003059390A JP 2004271250 A JP2004271250 A JP 2004271250A
Authority
JP
Japan
Prior art keywords
inter
license plate
size
vehicle distance
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003059390A
Other languages
English (en)
Inventor
Yuji Suzuki
裕二 鈴木
Takashi Ota
貴志 太田
Kazuchika Tajima
一親 田島
Takeshi Watanabe
武司 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Motors Corp
Original Assignee
Mitsubishi Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Motors Corp filed Critical Mitsubishi Motors Corp
Priority to JP2003059390A priority Critical patent/JP2004271250A/ja
Publication of JP2004271250A publication Critical patent/JP2004271250A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】車種や車体色の影響を受けずに車間距離を正確に算出する。
【解決手段】画像撮影カメラ3で先行車両1のナンバープレート2を撮影し、文字認識手段でナンバープレート2の文字の大きさを認識し、ナンバープレート2文字の大きさに基づいて車間距離を導出するようにし、車種や車体色の影響を受けずに車間距離を正確に算出する。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、先行車両との車間距離を測定する車間距離検出装置に関する。
【0002】
【従来の技術】
運転中のドライバーの運転操作をサポートするため、先行車両との車間距離を検出して、車間距離が近づき過ぎないようにエンジン出力を調整したり、警報を発して運転者に注意を促すサポートシステムが種々開発されている。
【0003】
このようなサポートシステムでは、車間距離を検出する車間距離検出装置が車両に備えられている。
【0004】
従来の車間距離検出装置として、車両にカメラを搭載し、カメラにより先行車両のナンバープレートを撮影し、ナンバープレートの大きさを判断して車間距離を演算する車間距離検出装置が知られている(例えば、特許文献1)。
【0005】
【特許文献1】
特開平10−99626号公報
【0006】
【発明が解決しようとする課題】
従来の車間距離検出装置は、ナンバープレートの種別から予め登録されている大きさと比較することで車間距離を計算している。しかし、画像からナンバープレートを認識する過程で更なる精度を必要としている。
【0007】
即ち、車体の塗装色がナンバープレートの色(白、緑)に近い場合には、ナンバープレートの縁を認識するために判別精度を高める必要があった。また、ナンバープレートが画面の中心にあるとは限らず、画像を拡大したときに画面から外れる場合があり、拡大を制限する必要があった。
【0008】
このため、従来の技術では、車間距離を算出する際の精度には限界があるのが現状であった。
【0009】
本発明は上記状況に鑑みてなされたもので、ナンバープレートの画像から正確に車間距離を求めることができる車間距離検出装置を提供することを目的とする。
【0010】
【課題を解決するための手段】
上記目的を達成するため、請求項1に係る車間距離検出装置は、
先行車両のナンバープレートを撮影して認識する画像撮影カメラと、
前記画像撮影カメラで認識したナンバープレートの文字の大きさを認識する文字認識手段と、
文字認識手段で認識された文字の大きさに基づいて車間距離を導出する車間距離導出手段と
を備えたことを特徴とする。
【0011】
上記目的を達成するための請求項2に係る車間距離検出装置は、
請求項1に記載の車間距離検出装置において、
前記画像撮影カメラには焦点距離を調整するズーム機構が備えられていることを特徴とする。
【0012】
上記目的を達成するための請求項3に係る車間距離検出装置は、
請求項1もしくは請求項2のいずれか1項に記載の車間距離検出装置において、ナンバープレートの外枠の大きさを認識するプレート認識手段を備え、
前記車間距離導出手段には、
前記プレート認識手段で認識されたプレートの外枠の大きさを加味して車間距離を導出する機能が備えられていることを特徴とする。
【0013】
【発明の実施の形態】
本実施形態例の車間距離検出装置は、画像撮影カメラによって先行車両のナンバープレートを撮影し、ナンバープレートの文字を認識して文字の大きさにより車間距離を演算するようにしたものである。
【0014】
このとき、ズーム機構により文字の大きさが判別できる大きさまで画像を拡大して文字の大きさを検出する。更に、文字の大きさに加え、ナンバープレートの大きさも認識して車間距離の演算を行う。
【0015】
文字の大きさに基づいて車間距離の演算を行うので、車種や車体の色の影響を受けずに車間距離の演算を行うことができる。また、単眼カメラでも、ナンバープレートの文字のように規格化されたものを撮影することで、正確に車間距離を演算することができる。
【0016】
【実施例】
図1には本発明の一実施例に係る車間距離検出装置の概略構成、図2には文字及びナンバープレートの大きさを検出するための状況説明、図3には車間距離検出の制御フローチャート、図4には画像調整の概念、図5には車間距離算出の概念を示してある。
【0017】
図1に基づいて車間距離検出装置の概略構成を説明する。
【0018】
図に示すように、先行車両1のナンバープレート2を撮影する画像撮影カメラ(カメラ)3が備えられ、カメラ3には撮影したナンバープレート2の画像を画面の目標位置に位置させると共に検出可能な大きさに拡大するため、首振り機構4及びズーム機構5が備えられている。
【0019】
カメラ3で撮影された画像は制御手段6に送られ、制御手段6からは撮影された画像が画面中の所定の位置となるように首振り機構4に制御指令が送られてカメラ3の光軸が調整される。
【0020】
つまり、図2(a)に示すように、首振り機構4の上下調整及び左右調整により、ナンバープレート2の画像15が画面中の所定の位置である中心位置16となるようにされる。
【0021】
また、画面には予め決められた目標寸法の枠(文字の認識が可能な寸法枠)が設定され、首振り機構4によって所定の位置に制御された画像がズーム機構5によってズーム調整され、ナンバープレート2の画像が目標寸法枠内で拡大される。
【0022】
つまり、図2(b)に示すように、画面には予め決められた寸法の目標寸法枠17が設定され、図2(c)に示すように、ズーム機構5によって拡大されてナンバープレート2の画像が目標寸法枠17の大きさに拡大される。
【0023】
目標寸法枠17の大きさは、ナンバープレート2の文字のサイズAが判別可能な大きさになっている。また、目標寸法枠17の大きさは、ナンバープレート2の外枠のサイズBが判別可能な大きさになっている。
【0024】
制御手段6では、目標寸法枠17の大きさに拡大されたナンバープレート2の文字のサイズAに基づいて先行車両1とナンバープレート2までの距離、即ち、先行車両1との車間距離を導出する(車間距離導出手段)。つまり、ナンバープレート2の文字のサイズAと、カメラ3のズーム状況であるレンズの動作位置や焦点距離等とにより、先行車両1との車間距離が算出される。
【0025】
また、ナンバープレート2の外枠のサイズBと、カメラ3のズーム状況であるレンズの動作位置や焦点距離等とにより、先行車両1との車間距離が算出される。尚、ナンバープレート2の外枠のサイズBを基に先行車両1との車間距離を算出する処理は省略することも可能である。
【0026】
車間距離の導出を行うため、制御手段6には以下の検索モード11及び捕捉モード12が備えられている。
【0027】
検索モード11は、先行車両1の探索を行う先行車両探索機能21と、ナンバープレート2の探索を行うナンバー探索機能22を有している。
【0028】
捕捉モード12は、カメラ3の首振り機構4を動作させる上下位置調整機能25及び左右位置調整機能26からなる光軸調整機能27を有し、光軸調整機能27によって画像15(図2参照)を画面中の中心位置16(図2参照)に一致させる。
【0029】
また、ズーム機構5を動作させる画像拡大機能28を有し、画像拡大機能28によってナンバープレート2の画像15(図2参照)が目標寸法枠17(図2参照)の大きさに拡大される。
【0030】
更に、捕捉モード12は、ズーム機構5の動作状況(ズーム状況であるレンズの動作位置等、カメラ3の制御量)を演算するカメラ制御量演算機能29を有し、目標寸法枠17(図2参照)の大きさに拡大されたナンバープレート2の文字のサイズA及びナンバープレート2の外枠のサイズBが入力されると共に、カメラ制御量演算機能29で演算されたズーム機構5の動作状況が入力される車間距離演算機能30を有している。
【0031】
そして、車間距離演算機能30では、目標寸法枠17(図2参照)の大きさに拡大されたナンバープレート2の文字のサイズA及びナンバープレート2の外枠のサイズBとカメラ制御量演算機能25からのズーム機構5の動作状況の情報により先行車両1との車間距離が演算される。
【0032】
上記構成の車間距離検出装置は、車間距離を検出するための演算にナンバープレート2の文字のサイズAの情報を用いているので、車種や車体の色の影響を受けることなく正確に車間距離を求めることができる。そして、ナンバープレート2の外枠のサイズBの情報を用いているので、より正確に車間距離の算出を行うことができる。
【0033】
また、カメラ3として単眼カメラを用いても、ナンバープレート2のような規格化されたものを撮影することで正確な距離を算出することができる。
【0034】
図3乃至図5に基づいて上述した車間距離検出装置の具体的な動作を説明する。
【0035】
図3に示すように、ステップS1で標準モードか否かが判断され、標準モードであると判断された場合、ステップS2で先行車両を捕捉したか否かが判断される。ステップS1で標準モードではないと判断された場合、ステップS21の拡大モードに移行する。
【0036】
ステップS2で先行車両を補足したと判断された場合、ステップS3で先行車両のナンバープレートを捕捉したか否かが判断される。ステップS3で先行車両のナンバープレートを補足したと判断された場合、ステップS4で上下調整制御が実施されると共にステップS5で左右調整制御が実施される。
【0037】
図4に基づいてステップS4の上下調整制御及びステップS5の左右調整制御を説明する。
【0038】
ナンバープレートの中心が中心位置16から座標(α、β)離れた位置に存在している。この状態で、ナンバープレートの中心と中心位置16を一致させるために、ステップS4の上下調整制御では、上下角θの調整制御量Δθを
Δθ=−kβ×β (ただしkβは所定のゲイン)
で求めて首振り機構6(図1参照)を動作させる。
【0039】
また、ステップS5の左右調整制御では、左右角φの調整制御量Δφを、
Δφ=−kα×α (ただしkαは所定のゲイン)
で求めて首振り機構6(図1参照)を動作させる。
【0040】
ステップS4の上下調整制御及びステップS5の左右調整制御によりナンバープレートの中心位置と中心位置16が一致するとステップS6でナンバープレートが画面の中央に存在すると判断される。
【0041】
ステップS6でナンバープレートが画面の中央に存在するか否かが判断され、ステップS6でナンバープレートが画面の中央に存在すると判断された場合、ステップS7でナンバープレートが所定枠よりも大きく目標寸法枠17(図2参照)の大きさになっているか、即ち、文字を認識することができるか否かが判断される。
【0042】
ステップS7でナンバープレートが所定枠よりも大きいと判断された場合、ステップS8でナンバープレートの文字のサイズAを認識すると共に、ナンバープレートの外枠のサイズBが認識される。尚、ステップS8では文字のサイズAだけを認識する処理とすることも可能である。
【0043】
ステップS8でナンバープレートの文字のサイズAが認識されると共に、ナンバープレートの外枠のサイズBが認識されると、文字のサイズA及び外枠のサイズBとズーム機構5の動作状況の情報とにより先行車両1との車間距離がステップS9で演算される。
【0044】
図5に基づいてステップS9の車間距離の演算を説明する。
【0045】
先行車両のナンバープレートの文字のサイズがdβのとき、ズームストロークf(カメラの動作状況)及びナンバープレートの文字のサイズがdβ(規格化された寸法)により、レンズ20から先行車両のナンバープレートまでの距離Lβ、即ち、車間距離Lβを次式で演算することができる。
Lβ=fdβ/A
【0046】
尚、先行車両のナンバープレートの枠のサイズBに基づいても同様にレンズ20から先行車両のナンバープレートまでの距離を車間距離として求めることができる。
【0047】
ステップS9で車間距離が演算されると、ステップS10で標準モードが維持されてリターンとなる。
【0048】
一方、ステップS2で先行車両を捕捉していないと判断された場合、ステップS3でナンバープレートを捕捉していないと判断された場合、及び、ステップS6でナンバープレートが画面の中央に存在しないと判断された場合、ステップS10に移行する。
【0049】
また、ステップS7でナンバープレートが所定枠よりも大きくない、即ち、文字を認識することができないと判断された場合、ステップS11で拡大モードへ遷移してリターンとなる。
【0050】
拡大モードでは、ステップS22で先行車両のナンバープレートを捕捉したか否かが判断される。ステップS22で先行車両のナンバープレートを捕捉したと判断された場合、ステップS23で上下調整制御が実施されると共にステップS24で左右調整制御が実施される。
【0051】
上下調整制御及び左右調整制御は、前述した図4に基づいた説明と同様であるので、詳細な説明は省略する。
【0052】
ステップS25でナンバープレートが画面の中央に存在するか否かが判断され、ステップS25でナンバープレートが画面の中央に存在すると判断された場合、ステップS26でナンバープレートが所定枠よりも大きく目標寸法枠17(図2参照)の大きさになっているか、即ち、文字を認識することができるか否かが判断される。
【0053】
ステップS26でナンバープレートが所定枠よりも小さいと判断された場合、ステップS27でナンバープレートの文字のサイズAを認識すると共に、ナンバープレートの外枠のサイズBが認識される。尚、ステップS27では文字のサイズAだけを認識する処理とすることも可能である。
【0054】
ステップS27でナンバープレートの文字のサイズAが認識されると共に、ナンバープレートの外枠のサイズBが認識されると、文字のサイズA及び外枠のサイズBとズーム機構5の動作状況の情報とにより先行車両1との車間距離がステップS28で演算される。
【0055】
車間距離の演算は、前述した図5に基づいた説明と同様であるので、詳細な説明は省略する。
【0056】
ステップS28で車間距離が演算されると、ステップS29で拡大モードが維持されてリターンとなる。
【0057】
一方、ステップS22でナンバープレートを捕捉していないと判断された場合、ステップS25でナンバープレートが画面の中央に存在しないと判断された場合、及び、ステップS26でナンバープレートが所定枠よりも大い、即ち、拡大なしで文字を認識することがでると判断された場合、ステップS30で標準モードへ遷移してリターンとなる。
【0058】
上述した車間距離演算装置では、ナンバープレートの文字のサイズA及び外枠のサイズBとズーム機構5の動作状況の情報とにより先行車両1との車間距離がステップS28で演算される。
【0059】
このため、車間距離を検出するための演算にナンバープレートの文字のサイズAの情報を用いているので、車種や車体色の影響を受けずに車間距離を正確に算出することができる。また、ナンバープレートの外枠のサイズBの情報を用いているので、より正確に車間距離の算出を行うことができる。
【0060】
また、カメラ3として単眼カメラを用いても、ナンバープレート2のような規格化されたものを撮影することで正確な距離を算出することができる。
【0061】
従って、ナンバープレートの画像から正確に車間距離を求めることができる車間距離検出装置となる。
【0062】
【発明の効果】
請求項1に係る車間距離検出装置は、
先行車両のナンバープレートを撮影して認識する画像撮影カメラと、
前記画像撮影カメラで認識したナンバープレートの文字の大きさを認識する文字認識手段と、
文字認識手段で認識された文字の大きさに基づいて車間距離を導出する車間距離導出手段と
を備えたので、
車種や車体色の影響を受けずに車間距離を正確に算出することができる。
【0063】
この結果、ナンバープレートの画像から正確に車間距離を求めることができる車間距離検出装置となる。
【0064】
請求項2に係る車間距離検出装置は、
請求項1に記載の車間距離検出装置において、
前記画像撮影カメラには焦点距離を調整するズーム機構が備えられているので、画像を拡大することで文字の大きさを確実に認識することができる。
【0065】
請求項3に係る車間距離検出装置は、
請求項1もしくは請求項2のいずれか1項に記載の車間距離検出装置において、ナンバープレートの外枠の大きさを認識するプレート認識手段を備え、
前記車間距離導出手段には、
前記プレート認識手段で認識されたプレートの外枠の大きさを加味して車間距離を導出する機能が備えられているので、
より正確に車間距離の算出を行うことができる。
【図面の簡単な説明】
【図1】本発明の一実施例に係る車間距離検出装置の概略構成図。
【図2】文字及びナンバープレートの大きさを検出するための状況説明図。
【図3】所車間距離検出の制御フローチャート。
【図4】画像調整の概念図。
【図5】車間距離算出の概念図。
【符号の説明】
1 先行車両
2 ナンバープレート
3 画像撮影カメラ
4 首振り機構
5 ズーム機構
6 制御手段
11 探索モード
12 捕捉モード
15 画像
16 中心位置
17 目標寸法枠
20 レンズ
21 先行車両探索機能
22 ナンバー探索機能
25 上下位置調整機能
26 左右位置調整機能
27 光軸調整機能
28 画像拡大機能
29 カメラ制御量演算機能
30 車間距離演算機能

Claims (3)

  1. 先行車両のナンバープレートを撮影して認識する画像撮影カメラと、
    前記画像撮影カメラで認識したナンバープレートの文字の大きさを認識する文字認識手段と、
    文字認識手段で認識された文字の大きさに基づいて車間距離を導出する車間距離導出手段と
    を備えたことを特徴とする車間距離検出装置。
  2. 請求項1に記載の車間距離検出装置において、
    前記画像撮影カメラには焦点距離を調整するズーム機構が備えられていることを特徴とする車間距離検出装置。
  3. 請求項1もしくは請求項2のいずれか1項に記載の車間距離検出装置において、
    ナンバープレートの外枠の大きさを認識するプレート認識手段を備え、
    前記車間距離導出手段には、
    前記プレート認識手段で認識されたプレートの外枠の大きさを加味して車間距離を導出する機能が備えられていることを特徴とする車間距離検出装置。
JP2003059390A 2003-03-06 2003-03-06 車間距離検出装置 Pending JP2004271250A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003059390A JP2004271250A (ja) 2003-03-06 2003-03-06 車間距離検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003059390A JP2004271250A (ja) 2003-03-06 2003-03-06 車間距離検出装置

Publications (1)

Publication Number Publication Date
JP2004271250A true JP2004271250A (ja) 2004-09-30

Family

ID=33122212

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003059390A Pending JP2004271250A (ja) 2003-03-06 2003-03-06 車間距離検出装置

Country Status (1)

Country Link
JP (1) JP2004271250A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006329776A (ja) * 2005-05-25 2006-12-07 Sumitomo Electric Ind Ltd 車両位置検出方法、並びに車両速度検出方法及び装置
GB2462071A (en) * 2008-07-18 2010-01-27 Innovative Vehicle Systems Ltd Method for determining the separation distance between automotive vehicles
WO2010140314A1 (ja) * 2009-06-03 2010-12-09 パナソニック株式会社 距離計測装置及び距離計測方法
CN102194331A (zh) * 2010-03-18 2011-09-21 富士通株式会社 车辆间隔管理装置以及车辆间隔管理方法
EP2416115A1 (de) * 2010-08-03 2012-02-08 Valeo Schalter und Sensoren GmbH Verfahren und Vorrichtung zum Bestimmen eines Abstands eines Fahrzeugs zu einem benachbarten Fahrzeug
DE102011055441A1 (de) * 2011-11-17 2013-05-23 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Abstandsermittlung zwischen Fahrzeugen
KR20130110821A (ko) * 2012-03-30 2013-10-10 엘지이노텍 주식회사 번호판 인식을 통한 차량 인식 방법 및 장치
JP2015087969A (ja) * 2013-10-31 2015-05-07 三菱電機株式会社 隊列走行装置、交通事故防止装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006329776A (ja) * 2005-05-25 2006-12-07 Sumitomo Electric Ind Ltd 車両位置検出方法、並びに車両速度検出方法及び装置
JP4587038B2 (ja) * 2005-05-25 2010-11-24 住友電気工業株式会社 車両位置検出方法、並びに車両速度検出方法及び装置
GB2462071A (en) * 2008-07-18 2010-01-27 Innovative Vehicle Systems Ltd Method for determining the separation distance between automotive vehicles
WO2010140314A1 (ja) * 2009-06-03 2010-12-09 パナソニック株式会社 距離計測装置及び距離計測方法
JP2010281638A (ja) * 2009-06-03 2010-12-16 Panasonic Corp 距離計測装置及び距離計測方法
CN102428345A (zh) * 2009-06-03 2012-04-25 松下电器产业株式会社 距离测量装置和距离测量方法
CN102194331A (zh) * 2010-03-18 2011-09-21 富士通株式会社 车辆间隔管理装置以及车辆间隔管理方法
EP2416115A1 (de) * 2010-08-03 2012-02-08 Valeo Schalter und Sensoren GmbH Verfahren und Vorrichtung zum Bestimmen eines Abstands eines Fahrzeugs zu einem benachbarten Fahrzeug
DE102011055441A1 (de) * 2011-11-17 2013-05-23 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Abstandsermittlung zwischen Fahrzeugen
KR20130110821A (ko) * 2012-03-30 2013-10-10 엘지이노텍 주식회사 번호판 인식을 통한 차량 인식 방법 및 장치
KR101992652B1 (ko) * 2012-03-30 2019-06-25 엘지이노텍 주식회사 번호판 인식을 통한 차량 인식 방법 및 장치
JP2015087969A (ja) * 2013-10-31 2015-05-07 三菱電機株式会社 隊列走行装置、交通事故防止装置

Similar Documents

Publication Publication Date Title
US8055016B2 (en) Apparatus and method for normalizing face image used for detecting drowsy driving
JP2006211139A (ja) 撮像装置
KR20170014168A (ko) 차량의 카메라 장치
JP5298425B2 (ja) 投影装置およびカメラ
JP2008135856A (ja) 物体認識装置
JP2018084571A (ja) 処理装置、撮像装置および自動制御システム
JP2006033264A (ja) 車々間通信制御システム、車載通信システムおよび通信状態表示装置
JP2013008070A (ja) 標識認識装置及び標識認識方法
JP6820075B2 (ja) 乗員数検知システム、乗員数検知方法、およびプログラム
JP2004271250A (ja) 車間距離検出装置
JP6065629B2 (ja) 物体検知装置
JPH1062162A (ja) 障害物検出装置
JP2007004256A (ja) 画像処理装置、画像処理方法
US20210192250A1 (en) Object recognition device
JP2006003994A (ja) 道路標識認識装置
JP4759426B2 (ja) 撮影装置
JP2023133535A (ja) 撮影装置、制御方法、プログラム及び記憶媒体
JP2009278185A (ja) 画像認識装置
JP2005182305A (ja) 車両走行支援装置
JP2013114536A (ja) 安全支援装置、及び、安全支援方法
KR20210003856A (ko) 자동차 또는 감시 애플리케이션을 위한 스캐닝 광학 경로 폴딩 요소들을 구비하는 카메라
JP2010079573A (ja) 車線逸脱防止装置
KR102202246B1 (ko) 전주 위치 판단 시스템 및 방법
JP2004271251A (ja) 車間距離検出装置
US10999488B2 (en) Control device, imaging device, and control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050608

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070417

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071009

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080219