JP2005003381A - 被測定物の形状計測方法 - Google Patents

被測定物の形状計測方法 Download PDF

Info

Publication number
JP2005003381A
JP2005003381A JP2003163850A JP2003163850A JP2005003381A JP 2005003381 A JP2005003381 A JP 2005003381A JP 2003163850 A JP2003163850 A JP 2003163850A JP 2003163850 A JP2003163850 A JP 2003163850A JP 2005003381 A JP2005003381 A JP 2005003381A
Authority
JP
Japan
Prior art keywords
measured
shape
data
boundary
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003163850A
Other languages
English (en)
Other versions
JP3775680B2 (ja
Inventor
Shiro Inoue
志朗 井上
Yoshikazu Nakano
義和 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsubakimoto Chain Co
Original Assignee
Tsubakimoto Chain Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsubakimoto Chain Co filed Critical Tsubakimoto Chain Co
Priority to JP2003163850A priority Critical patent/JP3775680B2/ja
Publication of JP2005003381A publication Critical patent/JP2005003381A/ja
Application granted granted Critical
Publication of JP3775680B2 publication Critical patent/JP3775680B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

【課題】非接触且つ高精度に被測定物の形状を計測でき、さらに、被測定物への照明の当たり具合や、被測定物の形状の違い等の影響を受けることなく、高速且つ高精度に寸法や形状の計測が可能な形状計測方法を提供することにある。
【解決手段】被測定物を画像撮像手段により撮像し、少なくとも1つの探索ラインに沿って座標値と明暗レベルを対応づけて明暗データを取得し、所与の境界閾値に基づいて前記明暗データを被測定物領域データと背景領域データとに分離し、前記被測定物領域データと前記背景領域データの中から、隣接した位置に存在する2つの明暗データを抽出し、前記抽出された2つの明暗データの明暗レベルを前記境界閾値が内分する比率を用いて前記2つの明暗データの座標値を内分して得られた座標を境界座標値とし、当該境界座標値に基づき被測定物の形状を計測する。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、製造現場や物流などの現場で使用される物品の形状計測方法に関するものであり、さらに詳しくは、加工された部品の最終検査工程等における被測定物の寸法計測の自動化に関するものである。
【0002】
【従来の技術】
従来、製造現場における検査工程での物品の寸法・形状を高精度で測定する方法としては、三次元計測器やコントレーサと呼ばれる輪郭形状測定器、マイクロメータ、ハイトゲージ等を用いた接触式の人手による計測に頼っていた。このような計測には、多くの時間を要するのみならず、人手による機器の目盛り読み取り間違い等により、信頼性も低くなる。そこで、非接触で計測する方法として、工業用テレビカメラ等により、被測定物を撮像し、得られた画像データを一つの閾値で二値化した後、この二値化データを基に被測定物の寸法や形状を算出する手法を用いることが提案されている(例えば、特許文献1参照。)。
【0003】
【特許文献1】
特開昭64−82181号公報
【0004】
【発明が解決しようとする課題】
しかしながら、従来の画像処理による非接触計測方法では、あらかじめ設定された一つの閾値を用いて二値化を行うため丸め誤差が大きく計測精度が悪かった。また、被測定物の若干の形状の違いにより、被測定物への照明の当たり具合が異なり、高精度の計測は不可能であった。そのため、高精度の計測が要求される最終検査工程等においては、依然として人手による接触式計測に頼らざるを得ないのが現状である。
【0005】
さらに、消費者の個性化や高品質指向、消費者ニーズの多様化が進んでいる今日、各メーカにおいては、多品種少量とクイックデリバリーへの対応が急務になっており、検査時間の短縮や製品の高品質化が要求されている。その実現のためには、高速且つ高精度な物品の形状計測方法の開発が求められている。
【0006】
そこで、本発明の目的は、非接触且つ高精度に被測定物の形状を計測できる形状計測方法を提供することである。さらに、被測定物への照明の当たり具合や、被測定物の形状の違い等の影響を受けることなく、高速且つ高精度に寸法や形状の計測が可能な形状計測方法を提供することにある。
【0007】
【課題を解決するための手段】
上記課題を解決するため、請求項1に係る被測定物の形状計測方法は、被測定物を画像撮像手段により撮像し、少なくとも1つの探索ラインに沿って座標値と明暗レベルを対応づけて明暗データを取得し、所与の境界閾値に基づいて前記明暗データを被測定物領域データと背景領域データとに分離し、前記被測定物領域データと前記背景領域データの中から、隣接した位置に存在する2つの明暗データを抽出し、前記抽出された2つの明暗データの明暗レベルを前記境界閾値が内分する比率を用いて前記2つの明暗データの座標値を内分して得られた座標を境界座標値とし、当該境界座標値に基づき被測定物の形状を計測する。
【0008】
また、請求項2に係る被測定物の形状計測方法は、請求項1に係る被測定物の形状計測方法による被測定物の形状の計測に先立ち、既知寸法の基準物品を計測し、それにより得られた境界座標値と前記基準物品により特定される真の境界座標値との差が所定値以下になるように前記境界閾値を決定することにより、上記課題をさらに解決するものである。
【0009】
さらに、請求項3に係る被測定物の形状計測方法は、請求項1又は請求項2に係る被測定物の形状計測方法において、境界閾値を、画像撮像手段により得られた明暗データの最大明暗レベルと最小明暗レベルとの差に対する比率として設定することにより、上記課題を一層解決するものである。
【0010】
さらに、請求項4に係る被測定物の形状計測方法は、請求項1乃至請求項3に係る被測定物の形状計測方法であって、2つ以上の探索ラインを用い、且つ、それぞれの探索ラインに対して、独立した境界閾値を設定することにより、上記課題をより一層解決するものである。
【0011】
【作用】
請求項1に係る被測定物の形状計測方法によれば、被測定物を画像撮像手段により撮像し、少なくとも1つの探索ラインに沿って座標値と明暗レベルを対応づけて明暗データを取得し、所与の境界閾値に基づいて前記明暗データを被測定物領域データと背景領域データとに分離し、前記被測定物領域データと前記背景領域データの中から、前記境界閾値を挟む明暗レベルを有する隣接した位置に存在する2つの明暗データを抽出し、前記抽出された2つの明暗データの明暗レベルを前記境界閾値が内分する比率を用いて前記2つの明暗データの座標値を内分して得られた座標を境界座標値としているため、離散的に得られる明暗データが連続値として推定され、前記2つの明暗データ間に存在している真の境界に近い境界座標値が算出される。
【0012】
請求項2に係る被測定物の形状計測方法によれば、請求項1に係る被測定物の形状計測方法による作用に加えて、被測定物の形状の計測に先立ち、既知寸法の基準物品を計測し、それにより得られた境界座標値と前記基準物品により特定される真の境界座標値との差が所定値以下になるように境界閾値の校正を行っているため、常に高い精度で被測定物の形状・寸法が計測される。
【0013】
請求項3に係る被測定物の形状計測方法によれば、請求項1又は請求項2に係る被測定物の形状計測方法による作用に加えて、境界閾値を、画像撮像手段により得られた明暗データの最大明暗レベルと最小明暗レベルとの差に対する比率として設定することにより、照明の光量が変動した場合にも高い精度で被測定物の形状・寸法が計測される。
【0014】
請求項4に係る被測定物の形状計測方法によれば、請求項1乃至請求項3に係る被測定物の形状計測方法による作用に加えて、2つ以上の探索ラインを用い、且つ、それぞれの探索ラインに対して、独立した境界閾値を設定することにより、複雑な形状の被測定物であっても、高い精度で形状・寸法が計測される。
【0015】
上述した作用、すなわち被測定物の計測原理について、図面に基づいて詳述する。図3は、孔径(直径)Rの円柱形状の被測定物(W)を上方から画像撮像手段で撮像した時の離散的な明暗データの明暗レベルを1つの探索ライン(L)に沿って連続値に推定して示したものである。この時、明暗データを被測定物領域データと背景領域データとに分離する境界閾値として明暗レベル(T1)を用い、隣接する被測定物領域データと背景領域データとの座標値を明暗レベル(T1)で内分して境界座標値を求めることにより、実際の孔径(R)に、ほぼ等しい孔径(R1)を求めることが可能になる(請求項1)。
【0016】
なお、本発明において、「探索ライン」とは、1つの境界座標値を求める際に採用される直線上に並んだ明暗データの列のことであり、任意に設定することが可能である。図3の例では、被測定物(W)の中心を通るように探索ライン(L)を設定しているため、1つの探索ラインだけで、被測定物の孔径Rの計測を行うことが可能である。
【0017】
上記のような明暗レベル(T1)の値は経験的に設定することもできるが、実際の被測定物の形状計測を行う前に、寸法が既知の基準物品に対して、境界閾値の明暗レベルを変化させて寸法の計測を行い、得られた寸法値と実際の寸法値との差が所定値以下になるように明暗レベルを調整することによって、高い計測精度が再現性良く実現できる(請求項2)。
【0018】
しかしながら、計測時の照明の光量の変動によって、図4に示したように画像撮像手段により得られる明暗レベルが全体的に上がった場合、実際の孔径Rより、大きな孔径R2として認識してしまう。このような誤差を回避するためには、測定の度に既知の基準物品を用いて、境界閾値の校正を行うことが必要となる。一方、図5に示したように画像撮像手段で得られた明暗レベルの最大明暗レベルと最小明暗レベルとの差に対する比率(%)として、境界閾値の明暗レベル(T2)を設定することによって、孔径R3が求められる。この場合、図6に示したように、照明の光量に変動が生じて明暗レベルが全体的に上昇した場合であっても、境界閾値が、最大明暗レベルと最小明暗レベルとの差に対する比率(%)として設定されているため、求められる寸法R4は、ほとんど変化しない。そのため、照明の光量の変動や被測定物の形状の違いの影響を受けることなく、被測定物の形状を正確に計測することが可能になる(請求項3)。
【0019】
上記の説明では、説明を簡略化するために、探索ラインは1つであるものとして説明しているが、通常は、所定の間隔で複数設定され、さまざまな形状の被測定物に対して、任意の場所の寸法が計測可能になっている。そして、それぞれの探索ラインに対して、独立した境界閾値を設定することにより、各測定場所ごとに測定誤差を少なくするような境界閾値の校正が可能になり、複雑な形状の被測定物であっても、高い精度で形状・寸法が計測される(請求項4)。
【0020】
【発明の実施の形態】
以下、本発明に係る形状計測方法について、図面に基づき詳述する。図1は、半径(r)の円柱形状の被測定物(W)を上方から画像撮像手段で撮像した時の明暗データの明暗レベルを1つの探索ライン(L)に沿って取得した結果を、横軸に座標値と縦軸に明暗レベルとして示したものである。座標値は、二次元の座標値(x,y)として特定されるが、ここでは、探索ラインをX軸に平行に設定し、y座標値を固定値として示している。
【0021】
この時、境界閾値として明暗レベル(T)を用いて、明暗データを被測定物領域データと背景領域データとに分離する。そして、隣接する背景領域データと被測定物領域データとの明暗レベル(S及びS)の差を明暗レベル(T)で内分する比率(α)で、それぞれの座標値(X及びX)を内分することにより、境界座標値(X)を求める。すなわち、α及びXの算出式は、次式で表される。
α =(T−S)/(S−S) ・・・ (1)
=X+(X−X)α=(1−α)X+αX ・・・ (2)
【0022】
このようにして、求められた境界座標値を用いて被測定物の半径を算出することにより、実際の孔径rに、ほぼ等しい孔径rを求めることが可能になる。この値は、図1から明らかなように、前記隣接する背景領域データと被測定物領域データの座標値(X及びX)をそのまま用いて算出した時の値(r及びr)よりも実際の孔径rに近いものが得られる。
【0023】
上述したような境界閾値(T)は、画像撮像手段から離散的な値として出力される明暗レベル(例えば、0から255までの整数値)の1つの値(例えば、128)を用いることも可能であるが、上述したように、実際の計測時に画像撮像手段により出力される明暗レベルの最大明暗レベル(MAX)と最小明暗レベル(MIN)との差に対する比率(%)として、境界閾値の明暗レベルを設定することによって、照明の光量の変動の影響を受けることなく、被測定物の形状を正確に計測することが可能になる。さらに、この境界閾値の値を被測定物の計測に先立ち、寸法が既知の基準物品を用いて校正することによって、一層測定精度を向上させることが可能になる。その校正方法の一例について、図2に示したフローチャートを用いて概説する。
【0024】
図2において、ボックスの近傍に示した数字は、以下の説明に用いたステップの番号を示している。まず、基準物品を所定の位置に設置し(Step1)、直径方向における距離と明暗レベルの関係を把握する(Step2)。次に、計測された明暗レベルにおける最大明暗レベルを100%とし、最小明暗レベルを0%とした場合の50%に相当する明暗レベルを境界閾値(T%)として、上記と同様の方法により、境界座標値を求める。そして求められた境界座標値に基づき算出された直径(以下、「計測値」と呼ぶ)と基準物品の既知の直径(以下、「基準値」と呼ぶ)との差が所定の誤差範囲内であれば、50%を境界閾値として決定する(Step4, Step5)。
【0025】
一方、上記の方法で算出された計測値と基準値との差が所定の誤差範囲以上であり、しかも、計測値が基準値よりも小さい場合には、上限値を50%とし、境界閾値を10%に変更する(Step7)。逆に計測値が基準値よりも大きい場合には、下限値を50%とし、境界閾値を90%に変更する(Step8)。そして、それぞれの境界閾値を用いて、再度、上記と同じ方法により、直径を計測し、得られた計測値と基準値との差が所定の誤差範囲内であれば、その時の境界閾値を境界閾値として決定する(Step5)。誤差範囲外の場合には、計測値と基準値との大小関係を求め、その結果に応じて、その時の境界閾値と上限値又は下限値との中間値を新たな境界閾値として再び計測値の算出を行うか(Step13, Step15)、境界閾値の決定は不可能であるかを判断する(Step14)。境界閾値の決定が不可能であると判断された場合には、照明の光量やカメラのピント等を調整し直して、再度、上記と同じステップにより境界閾値の決定を行うか、あるいは、そのまま、境界閾値の決定を中止するかを判断する(Step16, Step17)。
【0026】
以上のステップを繰り返すことにより、計測値と基準値との差が所定の誤差範囲内に収まる境界閾値が、最大明暗レベルを100%、最小明暗レベルを0%とした場合の比率として決定される。このようにして境界閾値の校正を行うことにより、作業者の違いによる測定誤差のバラツキもなくなり、きわめて高品質且つ高精度な計測が可能になる。万一、上記の方法で境界閾値を決定することができない場合には、照明の光量が大きすぎたり、カメラのピントが合っていないことが考えられるため、これらの計測条件の見直しを行う。なお、上述した境界閾値の校正方法では、境界閾値の初期値を50%とし、第2段階での判定値を10%又は90%としたが、これらの値は、被測定物固有の特性(形状や表面性状等)に応じて、境界閾値への収束が速くなるように適宜設定することが可能である。
【0027】
【発明の効果】
以上に説明したように、請求項1に係る被測定物の形状計測方法によれば、被測定物を画像撮像手段により撮像し、少なくとも1つの探索ラインに沿って座標値と明暗レベルを対応づけて明暗データを取得し、所与の境界閾値に基づいて前記明暗データを被測定物領域データと背景領域データとに分離し、前記被測定物領域データと前記背景領域データの中から、隣接した位置に存在する2つの明暗データを抽出し、前記抽出された2つの明暗データの明暗レベルを前記境界閾値が内分する比率を用いて前記2つの明暗データの座標値を内分して得られた座標を境界座標値とし、それの基づいて被測定物の形状を計測しているため、高精度計測が可能になるという効果が奏される。
【0028】
請求項2に係る被測定物の形状計測方法によれば、請求項1に係る被測定物の形状計測方法による効果に加えて、被測定物の形状の計測に先立ち、既知寸法の基準物品を計測し、それにより得られた境界座標値と前記基準物品により特定される真の境界座標値との差が所定値以下になるように境界閾値の校正を行っているため、被測定物の形状の違い等に影響されず、常に高い精度での被測定物の形状・寸法の計測が可能になる。
【0029】
請求項3に係る被測定物の形状計測方法によれば、請求項1又は請求項2に係る被測定物の形状計測方法による効果に加えて、境界閾値を、画像撮像手段により得られた明暗データの最大明暗レベルと最小明暗レベルとの差に対する比率として設定することにより、照明の光量変動に影響されにくく、より一層高い精度での被測定物の形状・寸法の計測が可能になる。
【0030】
請求項4に係る被測定物の形状計測方法によれば、請求項1乃至請求項3に係る被測定物の形状計測方法による効果に加えて、2つ以上の探索ラインを用い、且つ、それぞれの探索ラインに対して、独立した境界閾値を設定することにより、複雑な形状の被測定物であっても、高い精度での形状・寸法の計測が可能になる。
【0031】
さらに、本発明は、物品出荷検査ライン等に適用することによって、従来人手に頼っていた検査工程を自動化することができるのみならず、その検査時間の短縮及び物品品質の安定性が確保でき、その産業上の意義は極めて大きい。
【図面の簡単な説明】
【図1】本発明における境界値の算出を説明する説明図である。
【図2】本発明における境界閾値決定のフローチャートを示す。
【図3】従来の境界閾値を用いて孔径を計測する概念図を示す(通常時)。
【図4】従来の境界閾値を用いて孔径を計測する概念図を示す(照明光量上昇時)。
【図5】本発明の境界閾値比率を用いて孔径を計測する概念図を示す(通常時)。
【図6】本発明の境界閾値比率を用いて孔径を計測する概念図を示す(照明光量上昇時)。

Claims (4)

  1. 被測定物を画像撮像手段により撮像し、少なくとも1つの探索ラインに沿って座標値と明暗レベルを対応づけて明暗データを取得し、
    所与の境界閾値に基づいて前記明暗データを被測定物領域データと背景領域データとに分離し、
    前記被測定物領域データと前記背景領域データの中から、隣接した位置に存在する2つの明暗データを抽出し、
    前記抽出された2つの明暗データの明暗レベルを前記境界閾値が内分する比率を用いて前記2つの明暗データの座標値を内分して得られた座標を境界座標値とし、
    当該境界座標値に基づき被測定物の形状を計測することを特徴とする被測定物の形状計測方法。
  2. 被測定物の形状の計測に先立ち、既知寸法の基準物品を計測し、それにより得られた境界座標値と前記基準物品により特定される真の境界座標値との差が所定値以下になるように前記境界閾値を決定することを特徴とする請求項1に記載の被測定物の形状計測方法。
  3. 前記境界閾値を、前記画像撮像手段により得られた明暗データの最大明暗レベルと最小明暗レベルとの差に対する比率として設定することを特徴とする請求項1又は請求項2に記載の被測定物の形状計測方法。
  4. 前記探索ラインが2つ以上存在し、且つ、それぞれの探索ラインに対して、独立した境界閾値を設定することを特徴とする請求項1乃至請求項3のいずれかに記載の被測定物の形状計測方法。
JP2003163850A 2003-06-09 2003-06-09 被測定物の形状計測方法 Expired - Fee Related JP3775680B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003163850A JP3775680B2 (ja) 2003-06-09 2003-06-09 被測定物の形状計測方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003163850A JP3775680B2 (ja) 2003-06-09 2003-06-09 被測定物の形状計測方法

Publications (2)

Publication Number Publication Date
JP2005003381A true JP2005003381A (ja) 2005-01-06
JP3775680B2 JP3775680B2 (ja) 2006-05-17

Family

ID=34090833

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003163850A Expired - Fee Related JP3775680B2 (ja) 2003-06-09 2003-06-09 被測定物の形状計測方法

Country Status (1)

Country Link
JP (1) JP3775680B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020084690A1 (ja) * 2018-10-23 2020-04-30 株式会社Fuji 部品データ、部品データ作成方法及び部品実装機

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020084690A1 (ja) * 2018-10-23 2020-04-30 株式会社Fuji 部品データ、部品データ作成方法及び部品実装機
JPWO2020084690A1 (ja) * 2018-10-23 2021-04-01 株式会社Fuji 部品データ、部品データ作成方法及び部品実装機
JP7089050B2 (ja) 2018-10-23 2022-06-21 株式会社Fuji 部品データ作成方法及び部品実装機

Also Published As

Publication number Publication date
JP3775680B2 (ja) 2006-05-17

Similar Documents

Publication Publication Date Title
US10859375B2 (en) Methods for improving the accuracy of dimensioning-system measurements
EP2789970B1 (en) Tire shape inspection method and tire shape inspection apparatus
US9097514B2 (en) Device and method for inspecting tyre shape
JP2008292430A (ja) 外観検査方法および外観検査装置
CN109154575A (zh) 结合片块及基于设计的缺陷检测
EP2985566B1 (en) Data generation method and data generation apparatus
CN116503316A (zh) 一种基于图像处理的芯片缺陷量测方法及系统
CN104103543B (zh) 晶圆缺陷尺寸校正方法
CN117422777B (zh) 安检机标定方法及相关方法、装置、设备和存储介质
CN109964307A (zh) 接合晶片计量
US20020051561A1 (en) Image processing apparatus, image processing method, and recording medium recording image processing program
US11168976B2 (en) Measuring device for examining a specimen and method for determining a topographic map of a specimen
US20180245969A1 (en) Calibration device and calibration method
US20010028733A1 (en) Appearance inspection method and appearance inspection apparatus having high inspection processing speed
KR20160105082A (ko) 기판 검사 장치 및 그 검사 방법
JP3775680B2 (ja) 被測定物の形状計測方法
KR20080002044A (ko) 검사 영역 설정 방법
TW201317587A (zh) 尺寸檢測裝置及方法
KR101692159B1 (ko) 에지 위치 검출 장치 및 에지 위치 검출 방법
JP2022166688A5 (ja)
KR102410822B1 (ko) 평가 방법, 결정 방법, 리소그래피 장치, 및 비일시적 컴퓨터 판독가능 저장 매체
Caja et al. Optical measuring equipments. Part II: Measurement traceability and experimental study
JP2008547033A (ja) 表面プロファイルのマッピング
CN117589109B (zh) 石英中心托盘制作工艺的质量检测与控制方法
TWI467129B (zh) 鑄嘴平坦度之檢測方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050602

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060216

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090303

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100303

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110303

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120303

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130303

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140303

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees