JP2007269046A - 地上子位置ずれ計測方法、装置、およびプログラム - Google Patents

地上子位置ずれ計測方法、装置、およびプログラム Download PDF

Info

Publication number
JP2007269046A
JP2007269046A JP2006093680A JP2006093680A JP2007269046A JP 2007269046 A JP2007269046 A JP 2007269046A JP 2006093680 A JP2006093680 A JP 2006093680A JP 2006093680 A JP2006093680 A JP 2006093680A JP 2007269046 A JP2007269046 A JP 2007269046A
Authority
JP
Japan
Prior art keywords
ground element
ground
image
bright line
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006093680A
Other languages
English (en)
Other versions
JP4893063B2 (ja
Inventor
Yuji Okamoto
祐司 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2006093680A priority Critical patent/JP4893063B2/ja
Publication of JP2007269046A publication Critical patent/JP2007269046A/ja
Application granted granted Critical
Publication of JP4893063B2 publication Critical patent/JP4893063B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

【課題】地上子の設置位置からの位置ずれ計測を自動的に行う。
【解決手段】軌陸車が進行して地上子位置に来て、地上子上のレーザ輝線照射エリアに輝線が現れたことをデジタルカメラ12、13からの画像によって検出する。輝線が検出されてから、地上子の、軌陸車の進行方向の長さと軌陸車の移動速度とデジタルカメラ12、13のフレームレートで決まる時間軌陸車が移動した時のデジタルカメラ12、13からの画像を処理して、その輝線と軌道面エッジとの交点および該輝線上の地上子中心である3つの特定点を抽出する。該特定点を用いて地上子中心の軌道間中心に対する相対位置と、地上子の上面の軌道上面からの高さを演算する。
【選択図】図1

Description

本発明は、軌陸車に装備されて、軌道上を走行する車両用の地上子の位置を計測する地上子位置計測装置に関し、特に地上子の位置ずれを計測する地上子位置ずれ計測装置に関する。
特許文献1に記載された従来の地上子位置計測装置は、近赤外パルススポットレーザを使用しての地上子検出、その地上子検出のタイミングでのパルスファンレーザ光照射、および外部トリガ方式のCCDカメラによる画像取得、画像処理診断という処理をしており、ファンレーザ光照射および画像取得のタイミング制御の部分が重要な構成となっている。
また、特許文献1に記載の装置は、構成として、レーザ投光部、レーザ受光部、タイミング制御部、カメラ、画像キャプチャボード、処理演算部、専用電源等が必要であった。
特開平11−321650号公報
上記の従来の装置では、新しい形状の地上子が導入されると、装置の大幅な改造が必要であった。ハードウェアの大幅な改造は費用が大きくかさむ原因であり、装置導入当初の作業効率化(費用低減)に見合わないものとなってしまうという問題があった。
また、従来の装置では、スポットレーザ光照射位置とファンレーザ光照射位置は地上子形状に合わせて固定する必要があり、地上子が新しく変更になった場合はその形状の違いに応じてハードウェア、具体的にはファンレーザを追加しなければならず、柔軟な対応が困難であった。また、従来の装置では計測した地上子の位置情報が無いために計測したデータと実際の地上子のつき合せが人手によるものとなり、作業が煩雑になることがあった。
本発明の目的は、地上子の設置位置からの位置ずれ計測を自動的に行うことのできる地上子位置ずれ計測方法および装置を提供することにある。
本発明の地上子位置ずれ計測装置は、
軌陸車の進行方向前方から後方に向かって斜めに軌道と地上子を連続照射する、光切断法による画像処理照明光源としての連続波ラインレーザと、
高速データ転送が可能なインターフェースを備えた、一方は地上子と軌道の一方を撮影し、他方は軌道の他方を撮影する2台のデジタルカメラと、
軌陸車が進行して地上子位置に来て、地上子上のレーザ輝線照射エリアに輝線が現れたことがデジタルカメラからの画像によって検出されてから、地上子の、軌陸車の進行方向の長さと軌陸車の移動速度とデジタルカメラのフレームレートで決まる時間軌陸車が移動した時のデジタルカメラからの画像を処理して、その輝線と軌道面エッジとの交点および該輝線上の地上子中心である3つの特定点を抽出し、該特定点を用いて前記地上子中心の軌道間中心に対する相対位置と、地上子の上面の軌道上面からの高さを演算する画像演算処理部と、
を有する。
本地上子位置ずれ計測装置は、基本的には、軌陸車の走行に応じて高フレームレートの画像処理により軌道エッジと地上子中心を検出し、そのときの車速に応じたタイミングで地上子中心付近に照射されたレーザ輝線画像を取得し、その画像処理結果から地上子中心の位置ずれを演算するものである。
連続波ラインレーザと高フレームレートで画像取り込み可能なデジタルカメラを用い、毎フレーム連続的に画像処理することでタイミング制御が不要となる。したがって、レーザ受光部、タイミング制御部、画像キャプチャボード、専用電源は不要となり、簡便なハードウェア構成となり、装置を安価に製造できる。
従来方式では計測する対象物の形状に応じてレーザ部等の構成、配置を決め、アライメント調整をしっかり実施する必要があったが、画像処理によるソフトウェアトリガ方式により、対象となる地上子の形状が変わってもソフトウェア上で柔軟に対応することが可能で、ハードウェアの調整は不要である。
次に、本発明の実施の形態について図面を参照して説明する。
図1に示すように、本発明の一実施形態による地上子位置ずれ計測装置はラインレーザ11とデジタルカメラ12、13とインターフェースカード14とAC/DCコンバータ15と表示部16とGPSモジュール17とアンテナ18と画像処理演算部19で構成され、これらは全て軌陸車(不図示)に搭載されている。また、画像処理部19には、軌陸車の車速センサ20から、軌陸車の車速データが入力するようになっている。
ラインレーザ11は光切断法の照明光源としての、DC電源駆動の半導体レーザであり、図2に示すように、軌陸車の進行方向前方から後方に向かって斜めに軌道101、102と地上子103を連続照射する。レーザ波長は可視赤色を使用し、レーザクラスとしてはクラス2M以下の安全性の高い低出力タイプを使用する。
デジタルカメラ12、13はレーザ輝線(線像)撮像のためのカメラで、高速データ転送が可能な1394bインターフェースを持っている。そのため200(フレーム/秒)という高速の画像取得が可能となっている。通常のカメラは映像更新レートが遅いため、走行しながらの自動計測には使用できない。また、通常のCCDカメラの場合は画像取込みに際して複数台のカメラの同期を取るため外部同期信号が必要であるが、ここで使用するカメラ12、13は1394インターフェースを持っているので、外部同期信号なしで同期が可能である。なお、デジタルカメラ12は左側レール101と地上子103、デジタルカメラ13は右側レール102を撮影する。デジタルカメラ12、13の出力は1394インターフェースカード14を経て画像処理演算部19に入力される。
画像処理演算部19としてここでは通常のPC(Personal Computer)を使用している。PC上には画像取得用のドライバ類、位置ずれ計測用の画像処理演算ソフトウェアが搭載されている。
GPS(Global Positioning System)モジュール17とアンテナ18は軌陸車の位置データ取得用で、画像処理演算部19からの制御で軌陸車の走行場所に応じたGPSデータをリアルタイムに取得可能である。
AC/DCコンバータ15はラインレーザ11と画像処理演算部19に直流電源を供給する。
次に、本実施形態による地上子位置ずれ計測装置の画像処理演算部19の動作を図2-6により説明する。処理はデジタルカメラ12、13の画像フレームレートが基本周期となる。
最初に、初期設定として画像取込みエリアCを指定する(ステップ200、図3)。デジタルカメラの場合は画像全体でなく一部のエリアに限って取り込み指定し、結果として画像更新レートを速くすることもできる。
次に、実際の画像処理エリアA、Bを指定する(ステップ201、図3)。図3のエリアAはレール101、102上の輝線照射エリアであり、エリアBは地上子103上の輝線照射エリアである。ラインレーザ11は前方斜め上からレール101、102と地上子103に向かって連続照射される。光切断法により画面上の輝線照射部の縦方向位置が地上子103の相対高さ情報となる。
初期校正後に計測を開始する(ステップ202)。通常、地上子103はレール101、102よりも低い位置にあり、地上子103が無いときにはエリアBには輝線はなく、下方に当たっている(図3)。
軌陸車が進行してラインレーザ11が地上子103の位置に来たときは、エリアBに輝線が現れる(図4)。画像演算処理部19はこの時点を地上子103の検出開始時点とし(ステップ203)、車速センサ20から車速データ、GPSモジュール17からGPS位置情報を取り込み、画像取得タイミングを計算する(ステップ204)。地上子103の列車進行方向の水平長さはあらかじめわかっているからこれをL(m)とし、軌陸車の移動速度をv(m/秒)、デジタルカメラ12、13のフレームレートをf(フレーム/秒)とすると、地上子103の中心部付近の通過は、輝線の検出開始時点からfL/2vフレーム後となる。このときの取得画像(図5)を画像処理して図5(a)と図5(b)に示す3つの特定点を抽出する(ステップ205、206)。左側のデジタルカメラ12で撮った画像が図5(a)、右側のデジタルカメラ13で撮ったのが図5(b)であり、特定点である、左側レール101の頂点(エッジ交点)Rl、右側レール102の頂点(エッジ交点)Rr、地上子103の横方向中心点Tを特定する。地上子103のレール101、102に対する相対高さHと地上子103のレール間中心からの横方向相対位置Rは以下のように計算する(ステップ207)。ここでは、カメラ11、12はレール101、102上方から真下方向に見ているものと仮定する。座標Rl(X1、Y1)、Rr(Xr、Yr)、T(Xt、Yt)はそれぞれ画像上のピクセル座標であり、左カメラ12は画像の右下を原点とし、右カメラ13は画像の左下を原点と仮置きする。なお、1画素の見込む長さは水平方向でΔX、垂直方向でΔYとし、いずれも既知である。同様に、左カメラ画像の右端位置と右カメラ画像の左端位置とのギャップ距離をGとし、これも初期校正によって既知である。
カメラの撮像方向水平面とレーザ光のなす角をθとすると、相対高さHは、
H=(Y1−Yt)×ΔY×tanθ
と表せる。また、レール間距離Rgは
Rg=(X1+Xr)×ΔX+G
と表せる。したがって、レール間中心位置から点Rlまでの距離Rmは
Rm=Rg/2
よって、地上子103のレール間中心からの横方向ずれRは以下のように表される。
R=Rm−(Xt−Xl)×ΔX
=(3Xl+Xr−2Xt)×ΔX/2+G/2
検出位置は毎回ずれるので、実際にはfL/2v番目のフレームの前後数フレームの画像を取得して算出した数回のHとRそれぞれの平均値を採用し、画像取得位置のばらつきを補正する。
同様に、右側のカメラ13で同期した画像を取得して他方のレール102上の輝線を抽出する。これで地上子103のレール間中心からの横方向相対位置を計算する。検出開始位置は毎回ずれるので実際にはfL/2v番目のフレームの前後数フレームの画像を取得し、画像取得位置のバラツキを補正する。
計測した結果は取得した画像とともに表示部16に表示され(ステップ208)、作業者の確認後GPS位置情報と共にプリンタで紙に記録される(ステップ209、210)。作業者の確認の結果が「No」であれば、キャンセル処理が行われる(ステップ211)。
上記の実施形態では軌陸車の車速センサ19を使って車速データを外部入力値としたが、車速データは直接画像処理によっても計測可能である。
図7は複数のラインレーザを使って軌陸車の速度を計測する実施形態の地上子位置ずれ計測装置のブロック図を示している。ラインレーザ11が新たに縦方向に1本追加されている。図8、図9のように、画像処理エリアDを設定し、地上子103の上面に当たるレーザ線像のエッジポイント(点P、点Q)の移動速度を計算で求めることができる。このときは画像処理に少し負荷がかかるため軌陸車の走行速度は低く抑える必要があるが、車速センサを必要としないため、地上子位置ずれ計測装置を安価な装置とすることができる。
車速計測用のレーザ照明の方法としては他に2本の平行線を使う等も考えられる。また、先の実施形態ではラインレーザ11(ファンレーザ)を使用しているが、ライン上の照明が可能であれば通常のランプ照明やLED照明でもよい。
なお、本発明の地上子位置ずれ計測装置は、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、CD−ROM等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間、動的にプログラムを保持するもの(伝送媒体もしくは伝送波)、その場合のサーバとなるコンピュータ内の揮発性メモリのように、一定時間プログラムを保持しているものを含む。
本発明は、鉄道線路の保守分野において線路周辺の構造物の位置づれ計測および障害物計測等にも応用できる。
本発明の一実施形態による地上子位置ずれ計測装置のブロック図である。 レール横方向から見たラインレーザとデジタルカメラの地上子に対する位置関係を示す図である。 画像取り込みエリアと実際の画像処理アリアを示す図である。 レールと地上子上のレーザ輝線を示す図である。 地上子位置計測の説明図である。 図1の列車地上子位置ずれ計測装置の動作を示すフローチャートである。 本発明の他の実施形態による列車地上子位置ずれ計測装置のブロック図である。 レール横方向から見たラインレーザとデジタルカメラの地上子に対する位置関係を示す図である。 レールと地上子上のレーザ輝線を示す図である。 レールと地上子上のレーザ輝線を示す図である。
符号の説明
11 ラインレーザ
12 デジタルカメラ
13 デジタルカメラ
14 インターフェースカード
15 AC/DCコンバータ
16 表示部
17 GPSモジュール
18 GPSアンテナ
19 画像処理演算部
20 車速センサ
101、102 レール
103 地上子
200〜211 ステップ
A レール上の輝線照射エリア
B 地上子上の輝線照射エリア
C 画像取り込みエリア
D 画像処理エリア

Claims (11)

  1. 地上の、軌道間に設置された地上子の位置ずれを計測する地上子位置ずれ計測方法であって、
    レーザ光を、前記軌道上を走行中の軌陸車から、前記軌陸車の進行方向前方から後方に向かって斜めに前記軌道と前記地上子に連続照射するステップと、
    前記軌陸車が進行して地上子位置に来て、地上子上のレーザ輝線照射エリアに輝線が現れたことをデジタルカメラからの画像によって検出するステップと、
    前記輝線が検出されてから、前記地上子の、前記軌陸車の進行方向の長さと前記軌陸車の移動速度と前記デジタルカメラのフレームレートで決まる時間前記軌陸車が移動した時の前記デジタルカメラからの画像を処理して、その輝線と軌道面エッジとの交点および該輝線上の地上子中心である3つの特定点を抽出するステップと、
    該特定点を用いて前記地上子中心の軌道間中心に対する相対位置と、前記地上子の上面の前記軌道上面からの高さを演算するステップと、
    を有する地上子位置ずれ計測方法。
  2. 前記地上子上のレーザ輝線照射エリアに輝線が現れたことがデジタルカメラの画像によって検出されると、前記軌陸車の移動速度のデータを車速センサから取り込むステップをさらに有する、請求項1に記載の地上子位置ずれ計測方法。
  3. 前記軌陸車の移動速度として、前記地上子に向かってレーザ光を照射するタイミング用ラインレーザによって前記地上子面に照射されたレーザ輝線画像と前記地上子のエッジの交点の移動速度を算出するステップをさらに有する、請求項1に記載の地上子位置ずれ計測方法。
  4. 前記演算結果を記録および/または表示するステップをさらに有する、請求項1から3のいずれかに記載の地上子位置ずれ計測方法。
  5. 地上子上のレーザ輝線照射エリアに輝線が現れたことがデジタルカメラの画像によって検出されると、GPSモジュールから前記軌陸車の位置情報を取得するステップと、
    前記位置情報を前記演算結果と共に表示および/または記録するステップと
    をさらに有する、請求項4に記載の地上子位置ずれ計測方法。
  6. 軌道上を走行する軌陸車に搭載されて、地上の、軌道間に設置された地上子の位置ずれを計測する地上子位置ずれ計測装置であって、
    前記軌陸車の進行方向前方から後方に向かって斜めに前記軌道と前記地上子を連続照射する、光切断法による画像処理照明光源としての連続波ラインレーザと、
    高速データ転送が可能なインターフェースを備えた、一方は前記地上子と前記軌道の一方を撮影し、他方は前記軌道の他方を撮影する2台のデジタルカメラと、
    前記軌陸車が進行して地上子位置に来て、地上子上のレーザ輝線照射エリアに輝線が現れたことが前記デジタルカメラからの画像によって検出されてから、前記地上子の、前記軌陸車の進行方向の長さと前記軌陸車の移動速度と前記デジタルカメラのフレームレートで決まる時間前記軌陸車が移動した時の前記デジタルカメラからの画像を処理して、その輝線と軌道面エッジとの交点および該輝線上の地上子中心である3つの特定点を抽出し、該特定点を用いて前記地上子中心の軌道間中心に対する相対位置と、前記地上子の上面の前記軌道上面からの高さを演算する画像演算処理部と、
    を有する地上子位置ずれ計測装置。
  7. 画像演算処理部は、輝線が現れたことが前記デジタルカメラからの画像によって検出されたとき、前記軌陸車の車速センサからデータを前記軌陸車の移動速度として取り込む、請求項6に記載の列車地上子位置ずれ計測装置。
  8. 前記軌道の方向とほぼ並行に、前記地上子に向かって光を照射するタイミング用ラインレーザをさらに有し、
    前記画像演算処理部は、前記タイミング用ラインレーザによって前記地上子面に照射されたレーザ輝線画像と前記地上子のエッジの交点の移動速度を前記軌陸車の移動速度として算出する、請求項6に記載の地上子位置ずれ計測装置。
  9. 前記演算の結果を表示および/または記録する表示/記録部をさらに有する、請求項6から8のいずれかに記載の地上子位置ずれ計測装置。
  10. 前記画像演算処理部は、前記演算が行われた場所の位置情報をGPSモジュールから取得し、前記表示/記録部に表示および/または記録する、請求項9に記載の地上子位置ずれ計測装置。
  11. 請求項1から5のいずれかに記載の地上子位置ずれ計測方法をコンピュータで実行するためのプログラム。
JP2006093680A 2006-03-30 2006-03-30 地上子位置ずれ計測方法、装置、およびプログラム Expired - Fee Related JP4893063B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006093680A JP4893063B2 (ja) 2006-03-30 2006-03-30 地上子位置ずれ計測方法、装置、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006093680A JP4893063B2 (ja) 2006-03-30 2006-03-30 地上子位置ずれ計測方法、装置、およびプログラム

Publications (2)

Publication Number Publication Date
JP2007269046A true JP2007269046A (ja) 2007-10-18
JP4893063B2 JP4893063B2 (ja) 2012-03-07

Family

ID=38672295

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006093680A Expired - Fee Related JP4893063B2 (ja) 2006-03-30 2006-03-30 地上子位置ずれ計測方法、装置、およびプログラム

Country Status (1)

Country Link
JP (1) JP4893063B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015152264A1 (ja) * 2014-03-31 2015-10-08 日本信号株式会社 電文情報生成回路、電文書込み装置及び地上子

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11101613A (ja) * 1997-09-26 1999-04-13 Tokimec Inc 軌道検査装置
JPH11321650A (ja) * 1998-05-14 1999-11-24 Nec Corp 地上子取付位置測定装置と測定方法
JP2000142406A (ja) * 1998-11-12 2000-05-23 Nec Aerospace Syst Ltd 地上子検出装置および方法
JP2005070840A (ja) * 2003-08-25 2005-03-17 East Japan Railway Co 三次元モデル作成装置、三次元モデル作成方法、及び三次元モデル作成プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11101613A (ja) * 1997-09-26 1999-04-13 Tokimec Inc 軌道検査装置
JPH11321650A (ja) * 1998-05-14 1999-11-24 Nec Corp 地上子取付位置測定装置と測定方法
JP2000142406A (ja) * 1998-11-12 2000-05-23 Nec Aerospace Syst Ltd 地上子検出装置および方法
JP2005070840A (ja) * 2003-08-25 2005-03-17 East Japan Railway Co 三次元モデル作成装置、三次元モデル作成方法、及び三次元モデル作成プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015152264A1 (ja) * 2014-03-31 2015-10-08 日本信号株式会社 電文情報生成回路、電文書込み装置及び地上子

Also Published As

Publication number Publication date
JP4893063B2 (ja) 2012-03-07

Similar Documents

Publication Publication Date Title
JP2011214933A (ja) 軌道用距離画像取得システム
KR101111569B1 (ko) 궤도차량을 이용한 철도시설물 감시시스템 및 방법
EP2670648A1 (en) Rail vision system
KR101280243B1 (ko) 머신비전을 이용한 전차선 측정시스템
US11952027B2 (en) Train identification system and method, and train safety inspection system and method
JP4685494B2 (ja) トロリー線の位置測定装置
JPH0879904A (ja) パンタグラフの異常検出装置
JP2019188846A (ja) 物体検知システム
JP2904212B1 (ja) 地上子取付位置測定装置と測定方法
KR101063946B1 (ko) 카메라 영상을 이용한 철도차량의 차륜과 레일의 상대변위 계측 장치 및 방법
JP4893063B2 (ja) 地上子位置ずれ計測方法、装置、およびプログラム
US7394051B2 (en) Image-based tracking system for model train control
JP2017187487A (ja) 軌道パッド飛び出し量測定装置
JP6052194B2 (ja) 移動体管理装置
WO2002055362A1 (en) Railway safety system
KR101403936B1 (ko) 차량촬영시스템
JP2019043403A (ja) 障害物検出システム及び障害物検出方法
JP4424294B2 (ja) トロリー線位置測定装置
CN113853462A (zh) 用于捣固轨道的轨道维护机和方法
JP4741847B2 (ja) 後方監視装置
JP2012242252A (ja) レール敷石陥没検出装置
KR20140000403A (ko) 스테레오 카메라를 이용한 차량 속도 검출 장치 및 방법
JP2013025583A (ja) 車両監視装置
JP2017147482A (ja) 撮像装置、鉄道監視システム
JP2006214903A (ja) 建築限界支障物検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111122

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111205

R150 Certificate of patent or registration of utility model

Ref document number: 4893063

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150106

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees