JP2000028540A - コンクリート表面の遊離石灰抽出方法 - Google Patents

コンクリート表面の遊離石灰抽出方法

Info

Publication number
JP2000028540A
JP2000028540A JP10195946A JP19594698A JP2000028540A JP 2000028540 A JP2000028540 A JP 2000028540A JP 10195946 A JP10195946 A JP 10195946A JP 19594698 A JP19594698 A JP 19594698A JP 2000028540 A JP2000028540 A JP 2000028540A
Authority
JP
Japan
Prior art keywords
image
free lime
area
region
high threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10195946A
Other languages
English (en)
Other versions
JP4189060B2 (ja
Inventor
Junji Yamagami
淳二 山上
Shohei Misono
昇平 御園
Hisashi Fukuroi
寿 袋井
Yasuo Sakai
康雄 酒井
Sadao Degawa
定男 出川
Hiroshi Fujiwara
博 藤原
Susumu Miyake
将 三宅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
Japan Highway Public Corp
Original Assignee
IHI Corp
Japan Highway Public Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp, Japan Highway Public Corp filed Critical IHI Corp
Priority to JP19594698A priority Critical patent/JP4189060B2/ja
Publication of JP2000028540A publication Critical patent/JP2000028540A/ja
Application granted granted Critical
Publication of JP4189060B2 publication Critical patent/JP4189060B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

(57)【要約】 【課題】 画像情報として入力した被検査対象から画像
処理技術を用いて、遊離石灰を抽出するコンクリートの
表面の遊離石灰抽出方法を提供する。 【解決手段】 検査すべきコンクリート面の画像情報を
取り込み、その原画像を正規化処理を行い、その正規化
画像15に対して、十分高い閾値で2値化して得られた
領域と、正規化画像を濃淡モフォロジィ処理した画像1
5に対して高い閾値で2値化して得られた領域を合わせ
た遊離石灰部の核領域17を抽出し、他方、上記正規化
画像15を濃淡モフォロジィ処理すると共に濃淡モフォ
ロジィ用にいくつか設定された任意の閾値で2値化して
遊離石灰部の候補領域21,25を抽出し、上記核領域
17と遊離石灰部の候補領域21,25との近接の有無
を調べて遊離石灰領域27を抽出するようにしたことを
特徴としている。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、鋼橋等の床版など
コンクリート表面の劣化を検査するためのコンクリート
表面の遊離石灰抽出方法に関するものである。
【0002】
【従来の技術】橋梁や鋼橋等の床版等のコンクリート
は、雨水等により経年劣化を起こすため、定期的にその
健全性を検査している。
【0003】このコンクリート表面が劣化する過程は、
先ずひび割れが発生する。次に劣化が進むと、そのひび
割れ部分からコンクリートの石灰成分が雨水等により表
面に流れ出す。これを遊離石灰と呼ぶ。
【0004】従来、この橋梁や鋼橋等コンクリート表面
の検査は、検査員が目視観察によって評価していた。
【0005】
【発明が解決しようとする課題】しかしながら、人間の
目による評価であるため、経験等による個人差が生じ易
く、また定性的な判断しかできないため、キメの細かい
グレード分析は不可能である。
【0006】そこで、コンクリート表面を画像に収め、
その画像情報を基にフィルタサイズの異なる濃淡モフォ
ロジィ処理を行ってひび割れ部と遊離石灰部と分離して
抽出することが提案されているが、この画像処理は、初
期劣化には有効であるが、遊離石灰部が進行している場
合には有効ではない。
【0007】すなわち、遊離石灰部は、それ自体が一様
でなく、核となる真っ白い領域を持っていて、その周辺
に行くに従って薄い白色になっており、しかも、この遊
離石灰部は成長していくため、フィルタサイズを固定し
た濃淡モホロジィ2値化処理では、遊離石灰部の全領域
を抽出できない、また検査のたびにフィルタサイズのパ
ラメータを変えたのでは、検査の都度プログラムを変更
しなければならず、かといって予めフィルタサイズを大
きくしたのでは、濃淡処理が十分に行えない問題があ
る。
【0008】そこで、本発明の目的は、上記課題を解決
し、画像情報として入力した被検査対象から画像処理技
術を用いて、遊離石灰を抽出するコンクリートの表面の
遊離石灰抽出方法を提供することにある。
【0009】
【課題を解決するための手段】上記目的を達成するため
に、請求項1の発明は、検査すべきコンクリート面の画
像情報を取り込み、その原画像を正規化処理を行い、そ
の正規化画像に対して、十分高い閾値で2値化し得られ
た領域と、正規化画像を濃淡モフォロジィ処理した画像
に対して、十分高い閾値で2値化して得られた領域を合
わせた遊離石灰部の核領域を抽出し、他方、上記正規化
画像を濃淡モフォロジィ処理すると共に濃淡モフォロジ
ィ用にいくつか設定された任意の閾値で2値化して遊離
石灰部の候補領域を抽出し、上記核領域と遊離石灰部の
候補領域との近接の有無を調べて遊離石灰領域を抽出す
るようにしたコンクリート表面の遊離石灰抽出方法であ
る。
【0010】請求項2の発明は、検査すべきコンクリー
ト面の画像情報を取り込み、その原画像を正規化処理を
行い、その正規化画像に対して、十分高い閾値で2値化
し得られた領域と、正規化画像を濃淡モフォロジィ処理
した画像に対して、十分高い閾値で2値化して得られた
領域を合わせた遊離石灰部の核領域を抽出し、他方、上
記正規化画像を濃淡モフォロジィ処理すると共に濃淡モ
フォロジィ用にいくつか設定された閾値で2値化された
遊離石灰部の候補領域を抽出し、この中の高い閾値の遊
離石灰部の候補領域から順位核領域との近接の有無を調
べて遊離石灰領域を拡張させて抽出するようにしたコン
クリート表面の遊離石灰抽出方法である。
【0011】請求項3の発明は、正規化画像に対して、
十分高い閾値(T0 )で2値化して得られた領域と、正
規化画像を濃淡モフォロジィ処理した画像に対して、十
分高い閾値(T1 )で2値化して得られた領域を合わせ
た遊離石灰部の核領域を抽出し、さらに濃淡モフォロジ
ィ処理した画像を高い閾値(T1 )と低い閾値(T3)
間で多段に閾値を変えて遊離石灰の候補領域を抽出する
と共に上記核領域と近接している候補領域を連結しなが
ら順次低い閾値(T3 )の候補領域画像まで拡張して遊
離石灰領域を抽出する請求項1又は2記載のコンクリー
ト表面の遊離石灰抽出方法である。
【0012】
【発明の実施の形態】以下本発明の好適実施の形態を説
明する。
【0013】先ず、鋼橋の床版等のコンクリート表面の
画像情報を得るには、検査対象となるコンクリート面
を、カメラ、ビデオカメラなどで撮像して取り込み、こ
れを画像処理装置に入力して行う。
【0014】次に図1により処理フローを説明する。
【0015】被検査対象の画像入力10がなされる。こ
の原画像は、撮像日の天候や照明条件、撮像位置等によ
りコントラストが相違するため、その影響を取り除くた
めに原画像に対して正規化処理11がなされる。
【0016】この正規化処理後、遊離石灰核領域の抽出
処理12を行う。
【0017】この抽出処理12を説明すると、コンクリ
ート表面の一般的な劣化過程は、まずひびわれが発生
し、次に、ひびわれに雨水が浸入して石灰が溶け出して
遊離石灰が発生する。この遊離石灰は、経年劣化と共に
成長するが、その核部分は、真っ白のため、正規化処理
11を行った画像を、白を検出できる十分高い閾値で2
値化して遊離石灰核領域の抽出を行う。また、遊離石灰
部の全体の領域を正規化画像に対して濃淡モフォロジィ
処理を行って濃淡ムラの影響をなくした後、高い閾値で
2値化して遊離石灰部の領域候補を抽出し、この領域候
補を抽出した画像と遊離石灰核領域を抽出した画像との
論理和を取って核領域を抽出する。
【0018】この遊離石灰核領域の抽出処理12を行っ
た後、遊離石灰領域の拡張処理13を行う。
【0019】上述したように、遊離石灰部は、真っ白い
領域から周辺が薄い白色となっているため、遊離石灰核
領域を基にしてその近傍を連結して遊離石灰領域の拡張
を行う。すなわち正規化処理11を行った正規化画像に
濃淡モフォロジィ処理を行い、核領域の抽出時の十分高
い閾値と、それより低い閾値間の範囲で、閾値を段階的
に下げて2値化を行ってそれぞれの閾値に基づく遊離石
灰候補を抽出し、閾値の高い遊離石灰候補領域と十分高
い閾値での遊離石灰核領域との近接の有無を調べ、近接
している候補領域を核領域と連結し、以下順次低い閾値
まで核領域を拡張して行き、遊離石灰部を抽出する。
【0020】この後、遊離石灰部の個数とその各面積及
び検査領域における遊離石灰領域の占有率(%)面積比
率を計算し、これらの特徴量の算出14を行って、劣化
度の評価・判定を行う。
【0021】以下これらの処理を詳細に説明する。
【0022】a.画像入力および前処理 入力した画像に対し、前処理として正規化処理を行う。
正規化処理とは、下式1を用いて、濃度平均値m、標準
偏差σの画像を濃度平均値mN ,標準偏差σNの画像に
変換する処理をいう。
【0023】 IN (x,y)=(σN /σ)(I(x,y)−m)+mN …(1) 式(1) で、I(x,y)は正規化前の画像(x,y)に
おける濃度値、IN (x,y)は正規化画像(x,y)
における濃度値である。
【0024】図2(a)は、取り込んだ原画像の濃淡ヒ
ストグラムを示しており、濃度平均mが低く画像全体が
暗く、しかも標準偏差σが小さくコントラストがない濃
淡ヒストグラムを表している。
【0025】そこで、この原画像を式(1) を用いてヒス
トグラム変換を行う。図2(b)は正規化後の濃淡ヒス
トグラムを示したもので、正規化処理後は、濃度平均値
Nに対し偏差σN が大きくなり、全体に明るさのバラ
ンスがとれ、コントラストの良い画像に変換される。
【0026】従って、画像入力時の照明条件によって、
暗すぎたり、明るすぎたり、或いはコントラストがない
ような画像が得られたとしても、正規化することによっ
て、照明条件の影響を取り除くことができる。そして、
この後における画像処理パラメータもほぼ固定すること
が可能となる。
【0027】b.遊離石灰核領域の抽出 図3(a)は、正規化処理した後の正規化画像を濃淡モ
フォロジィ処理した画像15を示したものである。この
画像15には、256諧調の濃淡で明度が分布するが、
便宜上、背景部16を除いて3段階で示しており、白地
の領域R1 は最大閾値T1 以上を、梨地の領域R2 は、
十分高い閾値T1 以下でT1 よりやや低い閾値T2 以上
を、黒地R3 は、閾値T2 以下でT2 よりさらに低い閾
値T3 以上の濃淡を示している。
【0028】遊離石灰は、上述したように真っ白い領域
を持っていて、その周辺に行くに従って、薄い白色にな
っていくという特徴を持っている。この特徴から、先ず
始めに、確実に遊離石灰である領域、つまり真っ白い領
域を抽出する。
【0029】この核領域の抽出は、正規化画像に対して
十分に高い閾値T0 で2値化した領域と、正規化画像を
濃淡モフォロジィ処理した画像に対して十分高い閾値T
1 で2値化した領域を合わせ、図3(b)に示したよう
に遊離石灰の核領域17を抽出した2値化画像18とす
る。
【0030】核領域画像18として正規化2値化画像を
使用しているのは、モフォロジィ2値化では、フィルタ
サイズの関係で抽出できない領域、つまりフィルタサイ
ズより大きい範囲に広がっている領域を抽出するためで
ある。逆に、正規化2値化では、単純に抽出できない領
域、つまり濃淡ムラによって、遊離石灰の領域である
が、2値化したときの閾値より低い閾値となっているた
めに、抽出できない領域があるため、濃淡モフォロジィ
2値化画像を合わせて使用し、遊離石灰の核領域を抽出
する。
【0031】c.遊離石灰拡張処理 図3で核領域17を抽出した画像18に対して、その核
領域17に近接する次に明るい領域を拡張していくこと
によって、遊離石灰領域を抽出する。この拡張領域画像
は、正規化画像濃淡モフォロジィ処理した画像を2値化
することによって求める。
【0032】図4はこの拡張処理を示したものである。
【0033】先ず、濃淡モフォロジィ処理した画像に閾
値T1 よりやや低い閾値範囲{T2<T<T1 (T2 >
0)}の遊離石灰候補領域21を抽出した第1拡張画像
22を求める。
【0034】次に、核領域17を抽出した画像18と第
1拡張画像22とを比べ、核領域17に近接している遊
離石灰候補領域21を調べ、核領域17と近接した遊離
石灰候補領域21L を核領域17と連結し、拡張遊離石
灰領域23を抽出した第1拡張結果画像24を求める。
これにより、核領域17と近接していないノイズ領域2
1N は除去できる。
【0035】さらに、第1拡張画像22を求めたときの
閾値T2 に対し、それよりも低い閾値範囲{T3 <T<
T2 (T3 >0)}の遊離石灰候補領域25を抽出した
第2拡張画像26を求める。
【0036】この第2拡張画像26と拡張結果画像24
とを比べ、拡張遊離石灰領域23に近接している遊離石
灰候補領域25を調べ、拡張遊離石灰領域23と近接し
た遊離石灰候補領域25L を拡張遊離石灰領域23と連
結し、ノイズ領域25N を除去した拡張遊離石灰領域2
7を抽出した第2拡張結果画像28を求める。
【0037】以上のような方法で、核領域に近接してい
る遊離石灰の候補領域を核領域に連結しながら遊離石灰
領域を拡張登録していき、最終的に遊離石灰領域全体を
抽出する。
【0038】d.特徴量算出 以上の処理で抽出した遊離石灰領域について、処理領域
の面積(画素数)に対する、抽出された遊離石灰全体の
面積(画素数)の割合(%)と、抽出された遊離石灰の
個数を算出して特徴量とする。
【0039】
【発明の効果】以上要するに本発明によれば、コンクリ
ート表面の濃淡ムラに影響されることなく、遊離石灰の
みを良好に抽出でき、さらに照明条件に左右されること
なく、同一の画像処理パラメータで処理することができ
る。
【図面の簡単な説明】
【図1】本発明の処理フローを示す図である。
【図2】本発明において、正規化処理を説明する図であ
る。
【図3】本発明において、遊離石灰核領域と遊離石灰領
域の抽出処理を説明する図である。
【図4】本発明において、遊離石灰拡張処理を説明する
図である。
【符号の説明】
15 正規化画像 17 核領域 21,25 遊離石灰部の候補領域 27 遊離石灰領域
───────────────────────────────────────────────────── フロントページの続き (72)発明者 御園 昇平 東京都江東区豊洲三丁目1番15号 石川島 播磨重工業株式会社東二テクニカルセンタ ー内 (72)発明者 袋井 寿 東京都江東区豊洲三丁目1番15号 石川島 播磨重工業株式会社東二テクニカルセンタ ー内 (72)発明者 酒井 康雄 東京都江東区豊洲三丁目1番15号 石川島 播磨重工業株式会社東二テクニカルセンタ ー内 (72)発明者 出川 定男 東京都江東区豊洲三丁目1番15号 石川島 播磨重工業株式会社東二テクニカルセンタ ー内 (72)発明者 藤原 博 東京都町田市忠生一丁目4番1号 日本道 路公団 試験研究所内 (72)発明者 三宅 将 東京都町田市忠生一丁目4番1号 日本道 路公団 試験研究所内 Fターム(参考) 2F065 AA49 AA63 CC00 CC40 DD03 FF04 JJ03 JJ26 QQ06 QQ28 QQ31 QQ36 QQ42 QQ43 2G051 AA90 AB03 EA11 EA16 EB01 EC03 ED05 ED13 ED21

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 検査すべきコンクリート面の画像情報を
    取り込み、その原画像を正規化処理を行い、その正規化
    画像に対して、十分高い閾値で2値化し得られた領域
    と、正規化画像を濃淡モフォロジィ処理した画像に対し
    て、十分高い閾値で2値化して得られた領域を合わせた
    遊離石灰部の核領域を抽出し、他方、上記正規化画像を
    濃淡モフォロジィ処理すると共に濃淡モフォロジィ用に
    いくつか設定された任意の閾値で2値化して遊離石灰部
    の候補領域を抽出し、上記核領域と遊離石灰部の候補領
    域との近接の有無を調べて遊離石灰領域を抽出すること
    を特徴とするコンクリート表面の遊離石灰抽出方法。
  2. 【請求項2】 検査すべきコンクリート面の画像情報を
    取り込み、その原画像を正規化処理を行い、その正規化
    画像に対して、十分高い閾値で2値化し得られた領域
    と、正規化画像を濃淡モフォロジィ処理した画像に対し
    て、十分高い閾値で2値化して得られた領域を合わせた
    遊離石灰部の核領域を抽出し、他方、上記正規化画像を
    濃淡モフォロジィ処理すると共に濃淡モフォロジィ用に
    いくつか設定された閾値で2値化された遊離石灰部の候
    補領域を抽出し、この中の高い閾値の遊離石灰部の候補
    領域から順位核領域との近接の有無を調べて遊離石灰領
    域を拡張させて抽出することを特徴とするコンクリート
    表面の遊離石灰抽出方法。
  3. 【請求項3】 正規化画像に対して、十分高い閾値(T
    0 )で2値化して得られた領域と、正規化画像を濃淡モ
    フォロジィ処理した画像に対して、十分高い閾値(T1
    )で2値化して得られた領域を合わせた遊離石灰部の
    核領域を抽出し、さらに濃淡モフォロジィ処理した画像
    を高い閾値(T1 )と低い閾値(T3 )間で多段に閾値
    を変えて遊離石灰の候補領域を抽出すると共に上記核領
    域と近接している候補領域を連結しながら順次低い閾値
    (T3 )の候補領域画像まで拡張して遊離石灰領域を抽
    出する請求項1又は2記載のコンクリート表面の遊離石
    灰抽出方法。
JP19594698A 1998-07-10 1998-07-10 コンクリート表面の遊離石灰抽出方法 Expired - Fee Related JP4189060B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19594698A JP4189060B2 (ja) 1998-07-10 1998-07-10 コンクリート表面の遊離石灰抽出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19594698A JP4189060B2 (ja) 1998-07-10 1998-07-10 コンクリート表面の遊離石灰抽出方法

Publications (2)

Publication Number Publication Date
JP2000028540A true JP2000028540A (ja) 2000-01-28
JP4189060B2 JP4189060B2 (ja) 2008-12-03

Family

ID=16349613

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19594698A Expired - Fee Related JP4189060B2 (ja) 1998-07-10 1998-07-10 コンクリート表面の遊離石灰抽出方法

Country Status (1)

Country Link
JP (1) JP4189060B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1267305A1 (en) * 2000-03-23 2002-12-18 Japan Science and Technology Corporation Cell lineage extracting method
JP2007148576A (ja) * 2005-11-24 2007-06-14 Ryoji Oba 被写体監視方法、被写体監視装置、および被写体監視プログラム
WO2020110560A1 (ja) * 2018-11-29 2020-06-04 富士フイルム株式会社 コンクリート構造物の点検支援装置、点検支援方法及び点検支援プログラム
JP2020095017A (ja) * 2018-12-07 2020-06-18 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
US11906441B2 (en) 2019-06-03 2024-02-20 Nec Corporation Inspection apparatus, control method, and program

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1267305A1 (en) * 2000-03-23 2002-12-18 Japan Science and Technology Corporation Cell lineage extracting method
EP1267305A4 (en) * 2000-03-23 2003-05-21 Japan Science & Tech Corp CELL LINE EXTRACTION METHOD
US7110584B2 (en) 2000-03-23 2006-09-19 Japan Science And Technology Corporation Cell lineage extracting method
JP2007148576A (ja) * 2005-11-24 2007-06-14 Ryoji Oba 被写体監視方法、被写体監視装置、および被写体監視プログラム
WO2020110560A1 (ja) * 2018-11-29 2020-06-04 富士フイルム株式会社 コンクリート構造物の点検支援装置、点検支援方法及び点検支援プログラム
JPWO2020110560A1 (ja) * 2018-11-29 2021-10-14 富士フイルム株式会社 コンクリート構造物の点検支援装置、点検支援方法及び点検支援プログラム
JP7145970B2 (ja) 2018-11-29 2022-10-03 富士フイルム株式会社 コンクリート構造物の点検支援装置、点検支援方法及び点検支援プログラム
JP2020095017A (ja) * 2018-12-07 2020-06-18 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
JP7305509B2 (ja) 2018-12-07 2023-07-10 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
US11906441B2 (en) 2019-06-03 2024-02-20 Nec Corporation Inspection apparatus, control method, and program

Also Published As

Publication number Publication date
JP4189060B2 (ja) 2008-12-03

Similar Documents

Publication Publication Date Title
CN113592861B (zh) 一种基于动态阈值的桥梁裂缝检测方法
Noh et al. Automatic crack detection on concrete images using segmentation via fuzzy C-means clustering
CN111260616A (zh) 一种基于Canny算子二维阈值分割优化的绝缘子裂纹检测方法
JP3572750B2 (ja) コンクリート欠陥の自動評価方法
JP2000028541A (ja) コンクリート表面のクラック検出方法
JP5088165B2 (ja) 欠陥検出方法および欠陥検出装置
JP2001184510A (ja) 欠陥検出方法
CN110533626B (zh) 一种全天候水质识别方法
CN116485719A (zh) 一种用于裂缝检测的自适应canny方法
Ahmad et al. Image segmentation for pavement crack detection system
JP2000028540A (ja) コンクリート表面の遊離石灰抽出方法
JP4318776B2 (ja) ムラの検査方法及び装置
JPH06207909A (ja) 表面欠陥検査装置
CN112465817B (zh) 一种基于方向滤波器的路面裂缝检测方法
JP5257063B2 (ja) 欠陥検出方法および欠陥検出装置
CN115861304A (zh) 一种基于图像处理的钢中带状组织检测方法及系统
JPH07333197A (ja) 表面疵自動探傷装置
JP3635762B2 (ja) 半導体基板表面欠陥の検査方法
CN112801112B (zh) 一种图像二值化处理方法、装置、介质及设备
JP2001028059A (ja) 色ムラ検査方法及び装置
JPH0718812B2 (ja) 異物検出方法
JPH10232206A (ja) 金属表面欠陥検出方法及び装置
Mustapha et al. Crack Detection on Surfaces Using Digital Image Processing
JP2711649B2 (ja) 検査対象物の表面傷検出方法
JPH0337564A (ja) 自動磁粉探傷装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050421

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20051215

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20051215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070911

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071107

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071213

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20071213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080819

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080912

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110919

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110919

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110919

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120919

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120919

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130919

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees