JP2009236574A - ステレオ法を用いたトロリ線偏位測定方法及びその装置 - Google Patents

ステレオ法を用いたトロリ線偏位測定方法及びその装置 Download PDF

Info

Publication number
JP2009236574A
JP2009236574A JP2008080791A JP2008080791A JP2009236574A JP 2009236574 A JP2009236574 A JP 2009236574A JP 2008080791 A JP2008080791 A JP 2008080791A JP 2008080791 A JP2008080791 A JP 2008080791A JP 2009236574 A JP2009236574 A JP 2009236574A
Authority
JP
Japan
Prior art keywords
cameras
trolley wire
trolley
camera
displacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008080791A
Other languages
English (en)
Inventor
Shunichi Kusumi
俊一 久須美
Mizuki Tsunemoto
瑞樹 常本
Akira Ichige
彰 市毛
Takashi Hori
隆志 堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JR SOKEN DENKI SYSTEM KK
Railway Technical Research Institute
Original Assignee
JR SOKEN DENKI SYSTEM KK
Railway Technical Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JR SOKEN DENKI SYSTEM KK, Railway Technical Research Institute filed Critical JR SOKEN DENKI SYSTEM KK
Priority to JP2008080791A priority Critical patent/JP2009236574A/ja
Publication of JP2009236574A publication Critical patent/JP2009236574A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】 2個のカメラを上方に向かって鉛直方向に配置し、簡単にトロリ線の
偏位の測定を行うことができるステレオ法を用いたトロリ線偏位測定方法及びそ
の装置を提供する。
【解決手段】 ステレオ法を用いたトロリ線偏位測定方法において、車両の屋根
上のこの車両の進行方向に直交するように両側に2個のカメラ12,13を水平
で、かつ上方90度(鉛直方向)に向けて配置し、前記2個のカメラ12,13
から得られる画像16,17を合成して、ステレオ法を用いてトロリ線14の偏
位を測定する。
【選択図】 図3

Description

本発明は、鉄道車両に給電を行うトロリ線の偏位を求めるステレオ法を用いた
トロリ線偏位測定方法及びその装置に関するものである。
従来、ステレオ解析法であって、三角測量法で交点の位置を求め、パンタグラ
フ高さとトロリ線左右偏位を測定する方法(下記非特許文献1)が提案されてい
る。
図5はかかる従来の三角測量法による左右のカメラを内側にθ1 傾けた場合の
トロリ線偏位測定方式の概略図である。
この図において、101は左側カメラ、102は右側カメラ、103は左側カ
メラ101の撮影面、104は右側カメラ102の撮影面、105は左側カメラ
101の焦点、106は右側カメラ102の焦点、107はトロリ線、108は
ちょう架線、Dは左右カメラ101,102の焦点105,106間の距離(基
線長)、Eは焦点105,106から対象物(トロリ線)107までの鉛直方向
の距離、fはカメラの焦点距離、cは左側カメラ101の撮影面103内におけ
る光軸を含む縦軸からのトロリ線の横方向の座標、dは右側カメラ102の撮影
面104内における光軸を含む縦軸からのトロリ線の横方向の座標、θ1 は左右
カメラ101,102の撮影面103,104に鉛直方向の線と左右カメラの基
線とが交わる角度、θ2 は左側カメラ101に鉛直方向で焦点105を通る線と
、左側カメラ101の撮影面103内における光軸を含む縦軸からのトロリ線の
横方向の座標cとトロリ線107を結ぶ線とが交わる角度〔tan-1(c/f)
〕、θ3 は右側カメラ102に鉛直方向で焦点106を通る線と、右側カメラ1
02の撮影面104内における光軸を含む縦軸からのトロリ線の横方向の座標d
とトロリ線107を結ぶ線とが交わる角度〔tan-1(d/f)〕、Xはトロリ
線左右偏位である。
左右カメラ101,102をθ1 内側に傾けた場合トロリ線偏位Xを三角関数
を用いて求める。
X={D[tan〔θ1 +tan-1(d/f)〕−tan〔θ1 −tan-1
c/f)〕〕}/{2[tan〔θ1 −tan-1(c/f)〕+tan〔θ1
tan-1(d/f)〕]} …(8)
この式(8)よりトロリ線左右偏位Xを求めることができるが、一番誤差を含
む可能性のある焦点距離fが上記式(8)の中に含まれている。また、トロリ線
左右偏位Xの符号が4つの領域によって変化する。
「ステレオ解析手法を用いた九州新幹線のパンタグラフと架線の状態計測」,庭川 誠,恩田 寿和,木下 信夫,電学論D,127巻2号,2007年,pp.118−123
しかしながら、上記したような従来のステレオ解析法では、複雑な式を解く必
要があるといった問題があった。
本発明は、上記状況に鑑みて、2個のカメラを上方に向かって鉛直方向に配置
し、簡単にトロリ線の偏位の測定を行うことができるステレオ法を用いたトロリ
線偏位測定方法及びその装置を提供することを目的とする。
本発明は、上記目的を達成するために、
〔1〕ステレオ法を用いたトロリ線偏位測定方法において、車両の屋根上のこ
の車両の進行方向に直交するように両側に2個のカメラを水平で、かつ上方90
度(鉛直方向)に向けて配置し、前記2個のカメラから得られる画像を合成して
、ステレオ法を用いてトロリ線の偏位を測定することを特徴とする。
〔2〕上記〔1〕記載のステレオ法を用いたトロリ線偏位測定方法において、
前記トロリ線の偏位が水平方向の左右偏位であることを特徴とする。
〔3〕上記〔1〕記載のステレオ法を用いたトロリ線偏位測定方法において、
前記トロリ線の水平方向の左右偏位Xが、Dを前記2個のカメラの焦点位置間の
距離(基線長)、aを前記2個のカメラのうち一方のカメラの撮影面内における
光軸を含む縦軸からのトロリ線の横方向の座標、bを前記2個のカメラのうちの
もう一方のカメラの撮影面内における光軸を含む縦軸からのトロリ線の横方向の
座標とする場合、
X=〔(a−b)D〕/〔2(a+b)〕であることを特徴とする。
〔4〕上記〔1〕記載のステレオ法を用いたトロリ線偏位測定方法において、
前記トロリ線の偏位が鉛直方向の高さであることを特徴とする。
〔5〕上記〔4〕記載のステレオ法を用いたトロリ線偏位測定方法において、
前記トロリ線の鉛直方向の高さEが、Dを前記2個のカメラの焦点間の距離(基
線長)、fをカメラの焦点距離、aを前記2個のカメラのうち一方のカメラの撮
影面内における光軸を含む縦軸からのトロリ線の横方向の座標、bを前記2個の
カメラのうちもう一方のカメラの撮影面内における光軸を含む縦軸からのトロリ
線の横方向の座標とする場合、E=Df/(a+b)であることを特徴とする。
〔6〕ステレオ法を用いたトロリ線偏位測定装置において、車両の屋根上の該
車両の進行方向に直交するように水平に取り付けられる固定棒と、この固定棒の
両側に上方90度(鉛直方向)に向けて配置される2個のカメラと、この2個の
カメラから得られる情報に基づいてステレオ法を用いてトロリ線の偏位を測定す
る手段とを具備することを特徴とする。
〔7〕上記〔6〕記載のステレオ法を用いたトロリ線偏位測定装置において、
前記トロリ線の偏位を測定する手段は、前記2個のカメラから得られた画像を合
成する手段を含むことを特徴とする。
本発明によれば、簡単な構成で、トロリ線の偏位を測定することができる。
本発明のステレオ法を用いたトロリ線偏位測定方法は、車両の屋根上のこの車
両の進行方向に直交するように両側に2個のカメラを水平で、かつ上方90度(
鉛直方向)に向けて配置し、前記2個のカメラから得られる画像を合成して、ス
テレオ法を用いてトロリ線の偏位を測定する。
以下、本発明の実施の形態について詳細に説明する。
まず、ステレオ法の説明を行う。ステレオ法はいわゆる領域ベース法と言われ
ている。
図1は本発明にかかるステレオ法の説明図である。
この図において、1は左側カメラ、2は右側カメラ、3は左側カメラ1の撮影
面、4は右側カメラ2の撮影面、5は左側カメラ1の焦点、6は右側カメラ2の
焦点、7は対象物(トロリ線)、Dは左右カメラ1,2の焦点5,6間の距離(
基線長)、Eは焦点5,6から対象物(トロリ線)7までの鉛直方向の距離(ト
ロリ線の高さ)、fはカメラの焦点距離、Zは左右カメラ1,2で捉えた対象物
7の撮影面4での位置ずれ量である。
図1において、焦点位置5,6から対象物7までの鉛直方向の距離Eは、左側
カメラ1と右側カメラ2で捉えた対象物7の撮像面での位置のずれZから
E=D×f/Z …(1)
で求められる。
図2は本発明の実施例を示すステレオ法を用いたトロリ線偏位測定器の概略図
、図3は本発明のステレオ法を用いたトロリ線偏位測定の態様を示す模式図であ
り、図3(a)はそのトロリ線偏位測定方式の概略図、図3(b)はその左側カ
メラと右側カメラの撮影イメージを示す図、図3(c)はその左側カメラと右側
カメラの画像を合成した図である。
トロリ線偏位測定器10は、車両の屋根(図示なし)上に水平に取り付ける。
つまり、2個の左側カメラ12と右側カメラ13は、上方90度(鉛直方向)に
向けて車両の屋根上のカメラ固定棒11上に取り付ける。左右カメラ12,13
の焦点位置間の距離Dは、トロリ線14の左右偏位量の2倍以上とした。左右の
カメラをトロリ線左右偏位の外側に置くことにより、撮影された画像内でトロリ
線とちょう架線の位置が入れかわることがなくなり、トロリ線のみの位置を追う
ことが容易になる。
図3(b)には、左側カメラ12の撮影イメージ16と右側カメラ13の撮影
イメージ17が示されている。16Aは左側カメラ12におけるトロリ線14の
撮影イメージ、16Bは左側カメラ12におけるちょう架線15の撮影イメージ
、17Aは右側カメラ13におけるトロリ線14の撮影イメージ、17Bは右側
カメラ13におけるちょう架線15の撮影イメージである。
そして、図3(c)に示すように、左側カメラ12の撮影イメージ16と右側
カメラ13の撮影イメージ17を、左右のカメラ12,13を2段に合成した合
成画像18を得た。
その合成画像18を画面の水平方向座標が処理できる画像処理装置で左右のカ
メラの画像を同時に処理し、カメラの撮影面内における光軸を含む縦軸からのト
ロリ線の横方向の座標a,bを求める。その結果を、下記の式(6)に代入する
と、トロリ線左右偏位Xが求められる。
また、焦点距離fが分かれば、式(7)より、カメラの焦点位置からのトロリ
線の高さEを求めることができる。すなわち、
a:b=A:B→aB=bA→A=aB/b …(2)
A+B=D …(3)
X=(D/2)−B …(4)
上記式(2)と式(3)より
B=bD/(a+b) …(5)
式(5)を式(4)に代入すると、
X=〔(a−b)D〕/〔2(a+b)〕 …(6)
また、式(1)より
E=Df/(a+b) …(7)
このように、トロリ線左右偏位X及びトロリ線の高さEを簡単な式で求めるこ
とができる。その際に、2個のカメラから得られた画像を合成することにより、
2個の撮像画像を1つの画像処理装置により同時に処理することができ、効率的
にトロリ線の偏位を計測することができる。
図4は本発明にかかるトロリ線偏位測定器とデータの流れを示す図である。
この図を用いて、トロリ線偏位測定器の各部とデータの流れを示す。左側カメ
ラ21と右側カメラ22は(カメラレンズとカメラヘッド)からの画像情報は、
カメラケーブル23,24で接続されたカメラ用アンプ25,26を経て、画面
分割器(画像合成)29で合成画像が得られる。この合成画像は、ビデオデッキ
31と画面の水平方向座標処理ができる画像処理装置33を介してカメラモニタ
ー35に提供されるとともに、演算装置37で情報処理されて、データ記録装置
39に記録される。
なお、カメラ用アンプ25,26、画面分割器29、ビデオデッキ31、画面
の水平方向座標を処理ができる画像処理装置33、カメラモニター35、演算装
置37及びデータ記録装置39間のケーブル27,28、30、32、34、3
6、38は、ケーブルである。
このように、本発明によれば、簡単な構成で、トロリ線の偏位、つまり、トロ
リ線の水平方向の左右偏位又はトロリ線の鉛直方向の高さを測定することができ
る。
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき
種々の変形が可能であり、これらを本発明の範囲から排除するものではない。
本発明のステレオ法を用いたトロリ線偏位測定方法及びその装置は、簡単な構
成でトロリ線の偏位を測定するツールとして利用可能である。
本発明にかかるステレオ法の説明図である。 本発明の実施例を示すステレオ法を用いたトロリ線偏位測定器の概略図である。 本発明のステレオ法を用いたトロリ線偏位測定の態様を示す模式図である。 本発明のトロリ線偏位測定器とデータの流れを示す図である。 従来の三角測量法によるトロリ線偏位測定方式の概略図である。
符号の説明
1,12,21 左側カメラ
2,13,22 右側カメラ
3,4 カメラの撮影面
5,6 カメラの焦点
7 対象物(トロリ線)
D 左右カメラの焦点間の距離(基線長)
E 焦点から対象物(トロリ線)までの鉛直方向の距離
f カメラの焦点距離
Z 左右カメラで捉えた対象物の撮影面上での位置ずれ量
10 測定器
11 カメラ固定棒
14 トロリ線
15 ちょう架線
16 左側カメラ撮影イメージ
16A 左側カメラにおけるトロリ線の撮影イメージ
16B 左側カメラにおけるちょう架線の撮影イメージ
17 右側カメラ撮影イメージ
17A 右側カメラにおけるトロリ線のイメージ
17B 右側カメラにおけるちょう架線のイメージ
18 合成画像
a,b 撮影面内における光軸を含む縦軸からのトロリ線の横方向座標
X トロリ線の左右偏位
23,24 カメラケーブル
25,26 カメラ用アンプ
27,28,30,32,34,36,38 ケーブル
29 画面分割器
31 ビデオデッキ
33 画面の水平方向座標処理ができる画像処理装置
35 カメラモニター
37 演算装置
39 データ記録装置

Claims (7)

  1. 車両の屋根上の該車両の進行方向に直交するように両側に2個のカメラを水平
    で、かつ上方90度(鉛直方向)に向けて配置し、前記2個のカメラから得られ
    る画像を合成して、ステレオ法を用いてトロリ線の偏位を測定することを特徴と
    するステレオ法を用いたトロリ線偏位測定方法。
  2. 請求項1記載のステレオ法を用いたトロリ線偏位測定方法において、前記トロ
    リ線の偏位が水平方向の左右偏位であることを特徴とするステレオ法を用いたト
    ロリ線偏位測定方法。
  3. 請求項2記載のステレオ法を用いたトロリ線偏位測定方法において、前記トロ
    リ線の水平方向の左右偏位Xが、Dを前記2個のカメラの焦点間の距離(基線長
    )、aを前記2個のカメラのうち一方のカメラの撮影面内における光軸を含む縦
    軸からのトロリ線の横方向の座標、bを前記2個のカメラのうちのもう一方のカ
    メラの撮影面内における光軸を含む縦軸からのトロリ線の横方向の座標とする場
    合、
    X=〔(a−b)D〕/〔2(a+b)〕であることを特徴とするステレオ法
    を用いたトロリ線偏位測定方法。
  4. 請求項1記載のステレオ法を用いたトロリ線偏位測定方法において、前記トロ
    リ線の偏位が鉛直方向の高さであることを特徴とするステレオ法を用いたトロリ
    線偏位測定方法。
  5. 請求項4記載のステレオ法を用いたトロリ線偏位測定方法において、前記トロ
    リ線の鉛直方向の高さEが、Dを前記2個のカメラの焦点間の距離(基線長)、
    fをカメラの焦点距離、aを前記2個のカメラのうち一方のカメラの撮影面内に
    おける光軸を含む縦軸からのトロリ線の横方向の座標、bを前記2個のカメラの
    うちもう一方のカメラの撮影面内における光軸を含む縦軸からのトロリ線の横方
    向の座標とする場合、E=Df/(a+b)であることを特徴とするステレオ法
    を用いたトロリ線偏位測定方法。
  6. (a)車両の屋根上の該車両の進行方向に直交するように水平に取り付けられる
    固定棒と、
    (b)該固定棒の両側に上方90度(鉛直方向)に向けて配置される2個のカメ
    ラと、
    (c)該2個のカメラから得られる情報に基づいてステレオ法を用いてトロリ線
    の偏位を測定する手段とを具備することを特徴とするステレオ法を用いたトロリ
    線偏位測定装置。
  7. 請求項6記載のステレオ法を用いたトロリ線偏位測定装置において、前記トロ
    リ線の偏位を測定する手段は、前記2個のカメラから得られた画像を合成する手
    段を含むことを特徴とするステレオ法を用いたトロリ線偏位測定装置。
JP2008080791A 2008-03-26 2008-03-26 ステレオ法を用いたトロリ線偏位測定方法及びその装置 Pending JP2009236574A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008080791A JP2009236574A (ja) 2008-03-26 2008-03-26 ステレオ法を用いたトロリ線偏位測定方法及びその装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008080791A JP2009236574A (ja) 2008-03-26 2008-03-26 ステレオ法を用いたトロリ線偏位測定方法及びその装置

Publications (1)

Publication Number Publication Date
JP2009236574A true JP2009236574A (ja) 2009-10-15

Family

ID=41250719

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008080791A Pending JP2009236574A (ja) 2008-03-26 2008-03-26 ステレオ法を用いたトロリ線偏位測定方法及びその装置

Country Status (1)

Country Link
JP (1) JP2009236574A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008026A (ja) * 2010-06-25 2012-01-12 Meidensha Corp 架線位置測定装置
JP2012052939A (ja) * 2010-09-02 2012-03-15 Meidensha Corp トロリ線検査装置
JP2012058045A (ja) * 2010-09-08 2012-03-22 Meidensha Corp 測定装置
WO2014136976A1 (ja) * 2013-03-04 2014-09-12 公益財団法人鉄道総合技術研究所 架線位置計測装置及び方法
EP2942230A1 (de) * 2014-05-09 2015-11-11 DB Systemtechnik GmbH Verfahren zur messung des anhubs elektrischer fahrleitungen auf fahrwegen des schienengebundenen verkehrs
WO2016208463A1 (ja) * 2015-06-23 2016-12-29 株式会社 明電舎 線条計測装置及び方法
WO2018230480A1 (ja) * 2017-06-12 2018-12-20 株式会社 明電舎 線条判別装置および線条判別方法
CN109520433A (zh) * 2019-01-04 2019-03-26 浙江立思能源科技股份有限公司 一种应用于柔性光伏系统位移监测装置及监测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08285534A (ja) * 1995-04-12 1996-11-01 Suzuki Motor Corp 車載用画像処理装置
JP2002139305A (ja) * 2000-10-31 2002-05-17 Meidensha Corp パンタグラフ支障物検出方法及び装置
JP2006284535A (ja) * 2005-04-05 2006-10-19 Meidensha Corp トロリー線の位置測定装置
JP2008051688A (ja) * 2006-08-25 2008-03-06 Matsushita Electric Ind Co Ltd 車両自動計測装置、車両自動計測システム及び車両自動計測方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08285534A (ja) * 1995-04-12 1996-11-01 Suzuki Motor Corp 車載用画像処理装置
JP2002139305A (ja) * 2000-10-31 2002-05-17 Meidensha Corp パンタグラフ支障物検出方法及び装置
JP2006284535A (ja) * 2005-04-05 2006-10-19 Meidensha Corp トロリー線の位置測定装置
JP2008051688A (ja) * 2006-08-25 2008-03-06 Matsushita Electric Ind Co Ltd 車両自動計測装置、車両自動計測システム及び車両自動計測方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008026A (ja) * 2010-06-25 2012-01-12 Meidensha Corp 架線位置測定装置
JP2012052939A (ja) * 2010-09-02 2012-03-15 Meidensha Corp トロリ線検査装置
JP2012058045A (ja) * 2010-09-08 2012-03-22 Meidensha Corp 測定装置
WO2014136976A1 (ja) * 2013-03-04 2014-09-12 公益財団法人鉄道総合技術研究所 架線位置計測装置及び方法
JP2014169939A (ja) * 2013-03-04 2014-09-18 Railway Technical Research Institute 架線位置計測装置及び方法
EP2942230A1 (de) * 2014-05-09 2015-11-11 DB Systemtechnik GmbH Verfahren zur messung des anhubs elektrischer fahrleitungen auf fahrwegen des schienengebundenen verkehrs
WO2016208463A1 (ja) * 2015-06-23 2016-12-29 株式会社 明電舎 線条計測装置及び方法
JP2017009446A (ja) * 2015-06-23 2017-01-12 株式会社明電舎 線条計測装置及び方法
WO2018230480A1 (ja) * 2017-06-12 2018-12-20 株式会社 明電舎 線条判別装置および線条判別方法
JPWO2018230480A1 (ja) * 2017-06-12 2020-03-19 株式会社明電舎 線条判別装置および線条判別方法
CN109520433A (zh) * 2019-01-04 2019-03-26 浙江立思能源科技股份有限公司 一种应用于柔性光伏系统位移监测装置及监测方法
CN109520433B (zh) * 2019-01-04 2024-05-17 浙江立思能源科技股份有限公司 一种应用于柔性光伏系统位移监测装置及监测方法

Similar Documents

Publication Publication Date Title
JP2009236574A (ja) ステレオ法を用いたトロリ線偏位測定方法及びその装置
EP2068280B1 (en) Image Distortion Correction
US7503123B2 (en) Surveying apparatus
WO2012165491A1 (ja) ステレオカメラ装置、および、コンピュータ読み取り可能な記録媒体
EP3199910A1 (en) Line measurement device and method
US20130300870A1 (en) Method for monitoring a traffic stream and a traffic monitoring device
US20180088306A1 (en) Observation Method and Specimen Observation Apparatus
JP6251142B2 (ja) 測定対象物の非接触検知方法及びその装置
JP6507268B2 (ja) 撮影支援装置及び撮影支援方法
JP5388921B2 (ja) 3次元距離計測装置及びその方法
JP5260175B2 (ja) 非接触で対象表面の座標を測定する測定方法および測定システム
JP2013079960A (ja) 対象物の三次元座標を決定する方法および装置
JPWO2014002725A1 (ja) 3次元測定方法、装置、及びシステム、並びに画像処理装置
JP4966524B2 (ja) 計測システム、計測方法、トンネル断面の計測方法及びプラットホームとレールの離隔の計測方法
JPWO2017199696A1 (ja) 画像処理装置及び画像処理方法
JP2008085710A (ja) 運転支援システム
JP5319478B2 (ja) カメラ装置の位置算出方法
JP2013170831A (ja) ひずみ計測装置及びひずみ計測方法
US20090087013A1 (en) Ray mapping
JP2004352107A (ja) 鉄道設備管理装置
JP6635183B1 (ja) 摩耗測定装置および摩耗測定方法
JP2017067485A (ja) 構造物撮像装置、構造物検査装置および構造物検査システム
JPH0611316A (ja) 物体計測用画像処理装置
JP6292785B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6091092B2 (ja) 画像処理装置、及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Effective date: 20101115

Free format text: JAPANESE INTERMEDIATE CODE: A621

A977 Report on retrieval

Effective date: 20120516

Free format text: JAPANESE INTERMEDIATE CODE: A971007

A131 Notification of reasons for refusal

Effective date: 20120605

Free format text: JAPANESE INTERMEDIATE CODE: A131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120619

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120904