JP3071956B2 - Vickers hardness automatic reading device - Google Patents

Vickers hardness automatic reading device

Info

Publication number
JP3071956B2
JP3071956B2 JP4216373A JP21637392A JP3071956B2 JP 3071956 B2 JP3071956 B2 JP 3071956B2 JP 4216373 A JP4216373 A JP 4216373A JP 21637392 A JP21637392 A JP 21637392A JP 3071956 B2 JP3071956 B2 JP 3071956B2
Authority
JP
Japan
Prior art keywords
unit
depression
boundary
image
vertex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP4216373A
Other languages
Japanese (ja)
Other versions
JPH07181120A (en
Inventor
充 小田
Original Assignee
株式会社アカシ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社アカシ filed Critical 株式会社アカシ
Priority to JP4216373A priority Critical patent/JP3071956B2/en
Publication of JPH07181120A publication Critical patent/JPH07181120A/en
Application granted granted Critical
Publication of JP3071956B2 publication Critical patent/JP3071956B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N3/00Investigating strength properties of solid materials by application of mechanical stress
    • G01N3/40Investigating hardness or rebound hardness
    • G01N3/42Investigating hardness or rebound hardness by performing impressions under a steady load by indentors, e.g. sphere, pyramid
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N3/00Investigating strength properties of solid materials by application of mechanical stress
    • G01N3/02Details
    • G01N3/06Special adaptations of indicating or recording means
    • G01N3/068Special adaptations of indicating or recording means with optical indicating or recording means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2203/00Investigating strength properties of solid materials by application of mechanical stress
    • G01N2203/0098Tests specified by its name, e.g. Charpy, Brinnel, Mullen
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2203/00Investigating strength properties of solid materials by application of mechanical stress
    • G01N2203/02Details not specific for a particular testing method
    • G01N2203/06Indicating or recording means; Sensing means
    • G01N2203/0641Indicating or recording means; Sensing means using optical, X-ray, ultraviolet, infrared or similar detectors
    • G01N2203/0647Image analysis

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】本発明は、ビッカース硬さ試験装
置に関し、特に試験片(試料)の表面に圧子を押し込ん
でくぼみを形成し、このくぼみの表面積と圧子の押し込
み荷重とから硬度を測定するビッカース硬さ試験装置に
おいて、上記表面積の測定を自動的に行ない、これに基
づきビッカース硬度を自動的に測定できるようにした、
ビッカース硬さ自動読み取り装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a Vickers hardness tester, and more particularly to a method for indenting a surface of a test piece (sample) to form a depression, and measuring the hardness from the surface area of the depression and the indentation load of the indenter. In the Vickers hardness tester, the surface area is automatically measured, and the Vickers hardness can be automatically measured based on the measurement.
The present invention relates to an automatic Vickers hardness reading device.

【0002】[0002]

【従来の技術】従来より、ビッカース硬度の測定では、
圧子の押し込みにより試料表面に形成されるくぼみの表
面積測定は、計測顕微鏡を用いて肉眼によりくぼみ対角
線長さを測定することにより、行なわれている。ところ
で、肉眼による計測には測定上個人差があり、かつ測定
時間が長く、さらに測定者の疲労度合いによる誤差が生
じる等の欠点がある。しかし人が測定を行なう場合、く
ぼみ以外の傷や汚れのなかから、くぼみを選択的に認識
できるという利点がある。
2. Description of the Related Art Conventionally, in the measurement of Vickers hardness,
The measurement of the surface area of the depression formed on the sample surface by the indentation is performed by measuring the diagonal length of the depression with the naked eye using a measuring microscope. By the way, the measurement with the naked eye has the disadvantage that there are individual differences in measurement, the measurement time is long, and errors occur due to the degree of fatigue of the measurer. However, when a person performs measurement, there is an advantage that the dent can be selectively recognized from scratches and dirt other than the dent.

【0003】上記の欠点を解決すべく、硬度計の接眼部
にTVカメラを取り付けてくぼみを写し出し、その画像
に適当な画像処理を行なって硬度を自動測定する装置が
提案されている(特願平4-59424号)。しかしこの装置
は、画像上のくぼみ位置が画面のほぼ中央である必要が
あり、またある程度以上の大きさの汚れがある場合、く
ぼみ頂点を誤認しやすいという問題点がある。さらに上
述の特願平4-59424号のものは、くぼみの表面積測定の
みを自動化する場合には、測定者によりくぼみ位置を画
面中央に移動し、誤認測定か定常測定かの判断を行なう
ことにより、上述の第1の問題点を解決できないことも
ないが、多数点のくぼみ付けから硬度測定までを自動的
に行なう全自動測定装置として使用する場合、測定結果
の信頼性の面で劣り、実用性に欠ける。
In order to solve the above-mentioned drawbacks, there has been proposed an apparatus for automatically measuring the hardness by mounting a TV camera on an eyepiece of a hardness meter to project a dent, performing an appropriate image processing on the image, and performing an appropriate image processing. No. 4-59424). However, this device has a problem that the position of the depression on the image needs to be substantially at the center of the screen, and when there is a stain of a certain size or more, the top of the depression is easily misidentified. Furthermore, in the case of the above-mentioned Japanese Patent Application No. 4-59424, when only the measurement of the surface area of the hollow is automated, the position of the hollow is moved to the center of the screen by the measurer, and a judgment is made as to whether the measurement is a false recognition measurement or a steady measurement. Although the first problem described above cannot be solved, when used as a fully automatic measuring device that automatically performs from the indentation of a number of points to the hardness measurement, the reliability of the measurement results is inferior. Lack of sex.

【0004】[0004]

【発明が解決しようとする課題】本発明は、従来技術の
この欠点の解決をはかろうとするものである。すなわち
本発明は、硬度計の接眼部に取り付けられたTVカメラ
で試料表面に付けられたくぼみを写し出し、そのくぼみ
の画像を多値階調にデジタル化し、このくぼみの多値デ
ジタル画像に対し最適なしきい値を検出し、このしきい
値を用いて2値画像を求め、その2値画像に対して2次
元のノイズ除去処理を行なって傷,汚れの影響を選択的
に低下せしめ、くぼみ4辺の画面内の概略位置を検出
し、この概略位置よりくぼみ境界点を検出し、この境界
点を4本の多次曲線に回帰し、これら4本の多次曲線の
交点をくぼみ頂点と推定し、それら4つの頂点の座標上
の位置から互いに交差する2本の対角線長さを演算して
くぼみ面積を算出し、このくぼみ面積と圧子に作用する
押し付け荷重とからビッカース硬さを、肉眼測定におけ
るくぼみ認識能力に近い認識能力のもとで、つまり傷や
汚れなどによる読み取り誤りに対する問題点を解決しな
がら、全自動測定装置への使用にも耐え得る信頼性を持
った、ビッカース硬さ自動読み取り装置を提供すること
を目的とする。
The present invention seeks to overcome this shortcoming of the prior art. That is, the present invention uses a TV camera attached to the eyepiece of a hardness meter to project a dent formed on the surface of a sample, digitize the image of the dent into multi-valued gradations, and apply a multi-valued digital image to the dent. An optimum threshold value is detected, a binary image is obtained using the threshold value, and a two-dimensional noise removal process is performed on the binary image to selectively reduce the influence of scratches and dirt. The approximate positions in the screen of the four sides are detected, the indentation boundary point is detected from the approximate positions, the boundary point is regressed to four polynomial curves, and the intersection of these four polynomial curves is defined as the indentation vertex. Estimate, calculate the diagonal area by calculating the length of two diagonal lines that intersect each other from the coordinates on the four vertices, calculate the Vickers hardness from the dimple area and the pressing load acting on the indenter. Indentation in measurement A Vickers hardness automatic reading device that has a reliability that can withstand use in fully automatic measuring devices while resolving the problem of reading errors due to scratches and dirt etc. under recognition capabilities close to the ability The purpose is to provide.

【0005】[0005]

【課題を解決するための手段】上述の目的を達成するた
め、本発明のビッカース硬さ自動読み取り装置は、所定
の荷重で試料の表面に4角錐状の圧子を押し込んでビッ
カースくぼみを形成できる試験機と、同試験機がそなえ
た光学顕微鏡の接眼部に取り付けられたTVカメラと、
同TVカメラにて写し出された上記くぼみを含む上記試
料の表面の映像信号を多値階調にてアナログ/デジタル
変換するA/D変換部と、同A/D変換部にて変換され
た多値デジタル画像を記憶する画像記憶部と、上記多値
デジタル画像に対し最適なしきい値を検出するしきい値
検出部と、同しきい値検出部からのしきい値に基づき上
記多値デジタル画像を2値化する2値変換部と、同2値
変換部で得られた2値画像よりくぼみ境界外の点を除去
する2次元ノイズ除去部と、同2次元ノイズ除去部で得
られた2値画像より画面内のくぼみ中心と4辺の概略位
置とを検出するくぼみ位置検出部と、同くぼみ位置検出
部で検出された上記くぼみの4辺と2値画像とによりく
ぼみ境界を検出する境界検出部と、同境界検出部で検出
された境界を4本の曲線に回帰し各曲線の交点からくぼ
み頂点の座標上の位置を推定する頂点推定部と、同頂点
推定部で推定された頂点の位置と上記圧子の押し込み荷
重とからビッカース硬度を演算する硬度演算部とをそな
えたことを特徴としている。
In order to achieve the above object, the automatic Vickers hardness reading apparatus of the present invention is capable of forming a Vickers depression by pushing a quadrangular pyramid-shaped indenter into the surface of a sample under a predetermined load. And a TV camera attached to the eyepiece of the optical microscope provided by the tester,
An A / D converter for analog-to-digital conversion of a video signal on the surface of the sample including the depressions projected by the TV camera in multi-valued gradation; An image storage unit that stores a value digital image, a threshold value detection unit that detects an optimal threshold value for the multivalued digital image, and the multivalued digital image based on a threshold value from the threshold value detection unit. , A two-dimensional noise removing unit that removes points outside the dent boundary from the binary image obtained by the binary converting unit, and a two-dimensional noise removing unit that A depression position detection unit for detecting the center of the depression and the approximate positions of the four sides in the screen from the value image, and a boundary for detecting the depression boundary based on the four sides of the depression and the binary image detected by the depression position detection unit Detector and four boundaries detected by the boundary detector A vertex estimating unit that returns to the curve and estimates the position on the coordinates of the concave vertex from the intersection of each curve, and a hardness calculation that calculates the Vickers hardness from the position of the vertex estimated by the vertex estimating unit and the indentation load of the indenter. It is characterized by having a department.

【0006】[0006]

【作用】上述の本発明のビッカース硬さ自動読み取り装
置では、A/D変換部でTVカメラからの映像信号が多
値デジタル画像に変換される。また、2値変換部では、
多値デジタル画像が、2値化しきい値検出部により検出
されたしきい値と注目する多値デジタル画像の画素の輝
度とを比較し、「1」(白)と「0」(黒)との2値画像に変
換される。2次元ノイズ除去部では、注目した画素くぼ
みの境界4辺でないと判断された画素が、ノイズとして
除去される。くぼみ位置検出部では、ノイズ除去された
2値画像からくぼみの4辺を通る4本の直線で表現され
る仮想正方形の中心を求めてくぼみの概略位置の決定が
行なわれ、さらに、境界検出部ではくぼみ位置検出部で
検出されたくぼみの4辺と2値画像とによりくぼみ境界
の検出が行なわれる。
In the above-described automatic Vickers hardness reading apparatus of the present invention, the A / D converter converts the video signal from the TV camera into a multi-value digital image. In the binary conversion unit,
The multi-valued digital image compares the threshold value detected by the binarization threshold value detection unit with the luminance of the pixel of the multi-valued digital image of interest, and determines “1” (white) and “0” (black). Is converted into a binary image. In the two-dimensional noise removing unit, a pixel that is determined not to be on the four sides of the boundary of the focused pixel depression is removed as noise. The depression position detection unit determines the approximate position of the depression by obtaining the center of a virtual square represented by four straight lines passing through the four sides of the depression from the noise-removed binary image, and further determines the boundary detection unit. Then, the indentation boundary is detected based on the four sides of the indentation detected by the indentation position detection unit and the binary image.

【0007】さらに、頂点推定部では、くぼみ境界検出
部で検出された境界画素の位置を、各辺ごとに高次曲線
に最小自乗法により回帰して、この回帰線の交点から、
くぼみの4つの頂点の座標上の位置が求められる。そし
て、硬度検出部では、頂点推定部で求められた4つの頂
点の座標上の位置から交差する2本の対角線の長さが算
出され、その値に基づいて、ビッカース硬さHvの演算
が[数1]式に基づいて行なわれる。
Further, the vertex estimating section regresses the position of the boundary pixel detected by the concave boundary detecting section to a higher-order curve for each side by a least square method, and calculates the intersection of the regression line from
The positions on the coordinates of the four vertices of the depression are obtained. Then, the hardness detection unit calculates the length of two diagonal lines intersecting from the coordinates on the four vertices obtained by the vertex estimation unit, and calculates the Vickers hardness Hv based on the calculated value. Equation 1] is performed based on the equation.

【数1】 Hv=1.854P/d2(kgf/mm2) 但し Pは圧子の押し込み荷重 dは2本の対角線の平均長さHv = 1.854 P / d 2 (kgf / mm 2 ) where P is the indenter load and d is the average length of two diagonal lines.

【0008】[0008]

【実施例】以下、図面により本発明の一実施例としての
ビッカース硬さ自動読み取り装置について説明すると、
図1は硬度演算機をブロック線図として示した模式平面
図、図2は試料の表面に形成されたビッカースくぼみの
画像、図3は白/黒グループ間分散最大なるしきい値を
用いて2値化した2値画像、図4はくぼみ位置検出のた
め十字位置を出発点として注目する画素を検出した状態
を示す画像、図5は図4の状態に対し8×8の正方領域
でM=5として2次元ノイズ除去を行ないノイズが選択
的に除去された画像、図6はくぼみ位置検出を行なって
仮想正方形を検出した画像、図7は境界検出を行なった
画像、図8は2次元曲線により頂点推定を行なった画像
で十字位置を頂点推定としている。図9はくぼみ位置が
画面中央より大きくはずれている状態を図8と対応して
示す画像、図10は対角線長さの測定例の説明図、図11は
ビッカース硬度200のテストピースに対し連続500回の自
動読み取りを繰り返し行なったテスト結果を示すグラフ
である。
DESCRIPTION OF THE PREFERRED EMBODIMENTS An automatic Vickers hardness reading device as one embodiment of the present invention will be described below with reference to the drawings.
FIG. 1 is a schematic plan view showing a hardness calculator as a block diagram, FIG. 2 is an image of a Vickers dent formed on the surface of the sample, and FIG. FIG. 4 is an image showing a state in which a pixel of interest is detected starting from a cross position for detecting a depression position, and FIG. 5 is a diagram showing a state where M = 8 in a square area of 8 × 8 with respect to the state of FIG. 5 is an image from which noise has been selectively removed by performing two-dimensional noise removal, FIG. 6 is an image obtained by detecting a dent position to detect a virtual square, FIG. 7 is an image obtained by detecting a boundary, and FIG. 8 is a two-dimensional curve. The cross position is used as the vertex estimation in the image for which the vertex estimation has been performed. 9 is an image corresponding to FIG. 8 showing a state in which the depression position is greatly deviated from the center of the screen, FIG. 10 is an explanatory view of a measurement example of a diagonal length, and FIG. 6 is a graph showing test results obtained by repeating automatic reading twice.

【0009】 図1に示すように、この実施例のビッカ
ース硬さ自動読み取り装置は、ビッカース式硬度試験機
1と画像処理部を内蔵した硬度演算機2とで構成されて
いる。硬度試験機1は、XY自動ステージ式試料台12
と、圧子11とをそなえ、この圧子11により試料台1
2上に載置された試験片(試料)10の表面にくぼみ3
(図2参照)を形成するように構成されており、さらに
接眼部にTVカメラ13が取り付けられている。硬度演
算機2には、A/D変換部20(その機能等については
後に詳述する、以下同じ)、画像記憶部21、しきい値
検出部23、2値変換部22,2次元ノイズ除去部2
4、くぼみ位置検出部25、境界検出部26、頂点推定
部27、演算部28、硬度演算部29およびプリンター
30がそなえられている。
As shown in FIG. 1, the automatic Vickers hardness reading apparatus according to this embodiment includes a Vickers hardness tester 1 and a hardness calculator 2 having a built-in image processing unit. The hardness tester 1 includes an XY automatic stage type sample table 12
And an indenter 11.
The surface of a test piece (sample) 10 placed on
(See FIG. 2), and a TV camera 13 is attached to the eyepiece. The hardness calculator 2 includes an A / D conversion unit 20 (the function and the like will be described later in detail, the same applies hereinafter), an image storage unit 21, a threshold value detection unit 23, a binary conversion unit 22, a two-dimensional noise removal. Part 2
4, a depression position detecting unit 25, a boundary detecting unit 26, a vertex estimating unit 27, a calculating unit 28, a hardness calculating unit 29, and a printer 30 are provided.

【0010】上述のA/D変換部20は、TVカメラ13か
ら映像信号接続線14を介して送信されたくぼみ3の映像
信号を、例えば512×512の画素に分散し、かつ各画素を
それらの明るさに応じて多値デジタル画像信号に変換す
る機能をそなえている。なおこのA/D変換部20は2値
化のためのしきい値検出部との関連上、あるいは演算部
28に従来技術(特願平4-54924号)を適応するため、256
階調程度の分解能が必要である。A/D変換された多値
デジタル画像信号が多値画像記憶部21で、512×512の画
素として記憶される。なお、この多値画像記憶部21は1
画素当たりA/D変換部20と同じ分解能を有している。
The above-mentioned A / D converter 20 disperses the video signal of the cavity 3 transmitted from the TV camera 13 via the video signal connection line 14 into, for example, 512 × 512 pixels, and separates each pixel into It has a function to convert to a multi-level digital image signal according to the brightness of the image. The A / D conversion unit 20 is provided in association with a threshold value detection unit for binarization, or an arithmetic unit.
To adapt the conventional technology (Japanese Patent Application No. 4-54924) to 28, 256
A resolution on the order of gradation is required. The A / D converted multi-level digital image signal is stored in the multi-level image storage unit 21 as 512 × 512 pixels. The multi-valued image storage unit 21 stores one
Each pixel has the same resolution as the A / D converter 20.

【0011】次にしきい値検出部23は、最適な2値化し
きい値を検出するため、次の2つの技術手段が用いられ
ている。その1つは、多値デジタル画像の輝度分布ヒス
トグラムをあるしきい値で2つのグループに分けたと
き、この2つに分けられたグループ間の分散が最大とな
る値をもって2値化しきい値とするもので、この技術手
段はほとんどの場合良好な結果をもたらすが、時間がか
かる欠点がある。別の技術手段は、2値化(白黒化)し
たときの白と黒の画素数があらかじめ設定した比率にな
るしきい値をもって2値化しきい値とするもので、この
技術手段は多値デジタル画像のコントラストがある程度
以上ある場合良好な結果をもたらすし、検出に要する時
間も短い。したがって、試験片表面の状態や計測顕微鏡
の倍率、照明照度などとの関係により上述の比率を人が
判断して設定する必要があるが、前述の全自動測定装置
に用いる場合に有効である。この実施例の場合、これら
2つの技術手段のうちより良い方が選択される。
Next, the threshold detecting section 23 uses the following two technical means to detect an optimum binarized threshold. One is that when a luminance distribution histogram of a multi-valued digital image is divided into two groups by a certain threshold value, a binarization threshold value is set to a value that maximizes the variance between the two groups. Although this technical solution gives good results in most cases, it has the disadvantage of being time-consuming. Another technical means is to use a threshold value at which the number of white and black pixels when binarized (black and white) becomes a predetermined ratio as a binarization threshold value. Good results are obtained when the contrast of the image exceeds a certain level, and the time required for detection is short. Therefore, it is necessary for a person to judge and set the above-mentioned ratio depending on the relationship between the surface condition of the test piece, the magnification of the measuring microscope, the illumination illuminance, and the like. In the case of this embodiment, the better of these two technical means is selected.

【0012】2値変換部22では、2値化しきい値検出部
23により検出されたしきい値と、注目する多値デジタル
画像の画素の輝度信号とを比較し、画素信号をしきい値
の方が低い場合は「1」(白)、そうでもなければ「0」(黒)
の信号に変換する操作が行なわれる。図3は、白/黒グ
ループ間分散最大なるしきい値を用いて2値化した2値
画像4を示している。2値変換部22で2値化された2値
画像信号は、次に2次元ノイズ除去部24に送られる。2
次元ノイズ除去部24では次のような操作が行なわれる。
一般に、くぼみの形状は概略正方形であり、その画像
は、図4に示すように、境界4辺は、画面上45°回転し
ている。つまり境界4辺は画面上では水平線あるいは垂
直線に対して、ほぼ45°または135°方向の直線上の線
分として表示される。ゆえに2次元ノイズ除去部24にお
いて、2値画像上注目する画素を中心としてN×Nの正
方領域の対角線上の2N−1個の画素の値が「0」(黒)で
ある画素数を数えて、あらかじめ設定された数Mより少
なければ、この注目した画素はくぼみの境界4辺ではな
いと判断することによりノイズの除去を行なう。なお多
値デジタル画像の2値化あるいは2次元ノイズ除去は、
画面全体に行なっても良く、また必要に応じて部分的あ
るいは注目する画素1点単位で行なっても良い。
The binary conversion unit 22 includes a binary threshold detection unit
The threshold value detected by step 23 is compared with the luminance signal of the pixel of the multi-valued digital image of interest. If the threshold value of the pixel signal is lower, “1” (white), otherwise “ 0 ”(black)
An operation of converting the signal into a signal is performed. FIG. 3 shows a binary image 4 that has been binarized using a threshold value that maximizes the variance between white / black groups. The binary image signal binarized by the binary conversion unit 22 is sent to the two-dimensional noise removal unit 24 next. 2
The following operation is performed in the dimensional noise removing unit 24.
In general, the shape of the depression is a substantially square, and the image has four boundaries rotated by 45 ° on the screen as shown in FIG. That is, the four sides of the boundary are displayed on the screen as straight line segments in the direction of approximately 45 ° or 135 ° with respect to the horizontal line or the vertical line. Therefore, the two-dimensional noise removing unit 24 counts the number of pixels where the value of 2N-1 pixels on the diagonal line of the N × N square area is “0” (black) around the pixel of interest on the binary image. If the number is not smaller than a predetermined number M, it is determined that the pixel of interest is not the four sides of the depression, thereby removing noise. Note that binarization or two-dimensional noise removal of a multi-valued digital image is performed by
The measurement may be performed on the entire screen, or may be performed partially or in units of one pixel of interest as needed.

【0013】図5は、図4の状態(くぼみ位置検出のた
め、十字位置を出発点として注目する画素を検出した状
態)に対し、8×8の正方領域、M=5として、2次元
ノイズ除去を行なった画像を示しており、ノイズが選択
的に除去されていることを表している。そして、2次元
ノイズ除去部24により2次元ノイズを除去された画像
は、次のくぼみ位置検出部25に送られる。くぼみ位置検
出部25では次の操作が行なわれる。すなわち、上述の2
次元ノイズ除去部24による効果は完全ではない。例えば
45°方向にある傷などは除去できないし、くぼみの内部
や広さを持った傷、汚れの内部は除去できない。
FIG. 5 shows an 8 × 8 square area, M = 5, and two-dimensional noise in the state of FIG. 4 (a state in which a pixel of interest is detected starting from a cross position to detect a depression position). The image after removal has been shown, indicating that noise has been selectively removed. Then, the image from which the two-dimensional noise has been removed by the two-dimensional noise removing unit 24 is sent to the next depression position detecting unit 25. The following operation is performed in the depression position detection unit 25. That is, 2
The effect of the dimensional noise removing unit 24 is not perfect. For example
The scratches in the 45 ° direction cannot be removed, and the inside of the hollow, the scratches having a large size, and the inside of the dirt cannot be removed.

【0014】そこで2値画像上、画面上任意の位置(例
えば中央)を出発点として右方向に最初の「0」(黒)から
「1」(白)へ変化する「0」(黒)の画素に注目し、この画素
に対し2次元ノイズ除去処理が行なわれていなければ2
次元ノイズ除去処理を行ない、ノイズとして除去されな
ければ、この画素を通る画面上45°、135°の仮想の2
本の直線A,Bを登録する(図6参照)。左方向にも同
処理を行ない仮想の2本の直線C,Dを登録する。この
処理を出発点を通る画面縦線上全ての画素位置に対して
行なう。そして右方向45°に対応して登録された直線の
うち重複登録された回数が最大のものを選択する。同様
に右方向135°左方向45°左方向135°に対応する直線群
からも選択する。なおこの処理は、注目する画素を全て
選び出してから直線登録を行なうようにしても良い。
Therefore, on the binary image, starting from an arbitrary position (eg, the center) on the screen, the first "0" (black) changes from right "0" (black) to "1" (white) rightward. Attention is paid to the pixel, and if the pixel is not subjected to the two-dimensional noise removal processing, 2
If a two-dimensional noise removal process is performed, and if the noise is not removed, a virtual 2
The straight lines A and B of the book are registered (see FIG. 6). The same process is performed in the left direction, and two virtual straight lines C and D are registered. This process is performed for all pixel positions on the screen vertical line passing through the starting point. Then, of the straight lines registered corresponding to the right direction of 45 °, the straight line having the maximum number of times of overlapping registration is selected. Similarly, a straight line group corresponding to 135 ° rightward, 45 ° leftward, and 135 ° leftward is selected. In this process, straight line registration may be performed after all the pixels of interest are selected.

【0015】同様な処理を出発点を通る画面横線上全て
の画素位置に対して上下方向に行ない、4本の直線を選
択する。したがって、くぼみ4辺のそれぞれに対応して
左右上下各方向から選択された各2本の直線A〜Hがあ
ることになるので、くぼみ4辺を表し得る組み合わせは
16通りとなる。そこで一番正方形に近い組み合わせを選
択する(対角線長さの比が1.0に近いもの)。そして
この仮想直線の組み合わせにより表現された仮想正方形
の画面上の中心を求め、出発点と一致すれば、この仮想
正方形がくぼみの概略の大きさを与えていると一応推定
でき、この仮想正方形の4辺がくぼみの4辺4A〜4D
の概略位置を与え、中心がくぼみの概略位置を与えてい
ると推定する。もし一致しなければ、この中心を新たな
出発点として一致するまで上述の操作を繰り返すことに
より、くぼみ位置の検出を行なう。境界検出部26では、
検出された4辺4A〜4Dと2値画像とから次の操作で
くぼみ境界の検出が行なわれる。
The same process is performed in the vertical direction for all pixel positions on the horizontal line of the screen passing through the starting point, and four straight lines are selected. Therefore, since there are two straight lines A to H selected from the left, right, up, and down directions respectively corresponding to the four sides of the depression, the combination that can represent the four sides of the depression is
There are 16 ways. Therefore, the combination closest to the square is selected (the ratio of the diagonal lengths is close to 1.0). Then, the center on the screen of the virtual square represented by the combination of the virtual straight lines is obtained, and if the center coincides with the starting point, it can be estimated that the virtual square gives the approximate size of the depression, and 4 sides 4A-4D with 4 hollows
Is given, and it is estimated that the center gives the approximate position of the depression. If they do not match, the above operation is repeated until the center is matched as a new starting point, thereby detecting the position of the depression. In the boundary detection unit 26,
The depression boundary is detected from the detected four sides 4A to 4D and the binary image by the following operation.

【0016】すなわち、くぼみ左上辺の概略位置を与え
る仮想正方形の左上線分の一端の2値画像上の画素「1」
(白)なら、この画素より右方向に最初に「0」(黒)になる
画素を見つけ、「0」(黒)ならこの画素より左方向に最初
に「1」(白)になる画素を見つける。この画素に対し2次
元ノイズ処理を行ない、ノイズの影響を低下せしめる。
この処理を線分の他端まで繰り返すことにより、くぼみ
左上の境界4Cが検出できる。同様に、仮想正方形の右
上線分上から左右方向にくぼみ右上の境界4Bを検出
し、上頂点5を推定するためのデータとする(図7参
照)。同仮想正方形左上線分から上下方向にくぼみ左下
境界を検出し、仮想正方形左下線分から上下方向にくぼ
み左下の境界4Dを検出し、左頂点6を推定するための
データとする。くぼみの他の2辺についても同様な処理
を行なうことで、くぼみ頂点7,8を推定するための境
界4Aを検出できる。
That is, the pixel "1" on the binary image at one end of the upper left line segment of the virtual square giving the approximate position of the upper left side of the depression
If it is (white), find the pixel that first becomes "0" (black) to the right of this pixel, and if it is "0" (black), find the pixel that first becomes "1" (white) to the left of this pixel locate. The pixel is subjected to two-dimensional noise processing to reduce the influence of noise.
By repeating this processing up to the other end of the line segment, the upper left boundary 4C of the hollow can be detected. Similarly, the upper right boundary 4B is detected from the upper right line segment of the virtual square, and is used as data for estimating the upper vertex 5 (see FIG. 7). The lower left boundary is concavely detected in the vertical direction from the upper left line of the virtual square, and the lower left boundary 4D is detected in the vertical direction from the lower left line of the virtual square, and is used as data for estimating the left vertex 6. By performing similar processing on the other two sides of the depression, the boundary 4A for estimating the depression vertices 7 and 8 can be detected.

【0017】次に、頂点推定部27では、くぼみ4辺の境
界画素の位置を各辺ごとの高次曲線(例えば2次曲線)
に最小自乗法により回帰してこの回帰線の交点を求めて
くぼみの頂点の座標を算出する演算が行なわれる。なお
高次曲線の場合、交点は複数有り得るが、仮想正方形の
頂点と一番近いものを採用して頂点と推定する。つま
り、通常は、くぼみは正方形から歪んでいる場合が多
い。特にくぼみの各辺は、試料の材質、硬さなどによっ
て直線とはならない。一方、正しいビッカース硬さを求
めるためには、くぼみの4つの頂点(角部)の位置を正
確に求める必要がある。そのために、ノイズ除去と2値
化とを行なったくぼみ画像において、くぼみの輪郭を構
成する4辺の近似数式〔この近似数式は、くぼみの輪郭
の4辺を直線としてではなくこれに近似した曲線(例え
ば2次曲線などの高次曲線)に回帰させたもの〕J〜R
(図8参照)を求め、これらの4つの数式の交点5〜8
の座標を計算する演算が行なわれる。
Next, the vertex estimating unit 27 determines the positions of the boundary pixels on the four sides of the depression by a higher-order curve (eg, a quadratic curve) for each side.
Then, an operation of calculating the coordinates of the vertices of the depression by calculating the intersection of the regression line by performing regression by the least square method is performed. In the case of a higher-order curve, there may be a plurality of intersections, but the one closest to the vertex of the virtual square is adopted and estimated as the vertex. That is, usually, the depression is often distorted from the square. In particular, each side of the depression is not a straight line due to the material, hardness, etc. of the sample. On the other hand, in order to determine the correct Vickers hardness, it is necessary to accurately determine the positions of the four vertices (corners) of the depression. For this purpose, in the hollow image subjected to noise removal and binarization, an approximate expression of the four sides forming the outline of the hollow [this approximate expression is not a straight line with the four sides of the outline of the hollow, but a curve approximated to this. (For example, regression to a higher-order curve such as a quadratic curve) J to R
(See FIG. 8), and intersections 5 to 8 of these four equations
Is performed to calculate the coordinates of.

【0018】図9はくぼみの画像が画面中央よりずれた
場合を示している。硬度演算部29では、まず頂点推定部
27において求められた4つの頂点5〜8の座標上の位置
から、互いに交差する2本の対角線の長さが算出され
る。一方、これと併行して、演算部28では、くぼみ位置
検出部25で得られたくぼみの4辺(境界)4A〜4Dか
ら、特願平4-59424号に記載の方法、すなわち図10にお
いて測定軸31を垂直にとり少しずつずらしながら境界検
出を行ない、得られた境界点のなかで最も上または下に
位置する2点から、上下の2頂点位置を求める。
FIG. 9 shows a case where the image of the depression is shifted from the center of the screen. In the hardness calculator 29, first, the vertex estimator
From the positions on the coordinates of the four vertices 5 to 8 obtained in 27, the lengths of two diagonal lines intersecting each other are calculated. On the other hand, in parallel with this, the calculation unit 28 calculates the method described in Japanese Patent Application No. 4-59424 from the four sides (boundaries) 4A to 4D of the depression obtained by the depression position detection unit 25, that is, in FIG. Boundary detection is performed while the measurement axis 31 is set vertically and shifted little by little, and two upper and lower vertex positions are obtained from the two uppermost or lowermost points among the obtained boundary points.

【0019】同様に、水平方向に測定軸をとり少しずつ
ずらしながら境界検出を行なって、左右の2頂点位置を
求める。そして、上記の手段で得られた4つの点の位置
から2本の交差する対角線の長さを求める演算が行なわ
れる。さらに、硬度演算部29では、上記2つの演算で算
出されたそれぞれ対角線の長さの比が演算されて、その
値(対角線の長さの比)が1により近い方の値が選択さ
れる。そして、選択された2本の対角線の長さより、
[数2]式により、ビッカース硬さHvを算出する演算
が行なわれる。
Similarly, the measurement axis is set in the horizontal direction, and the boundary is detected while being shifted little by little, thereby obtaining the left and right vertex positions. Then, an operation for calculating the length of two intersecting diagonal lines from the positions of the four points obtained by the above means is performed. Further, the hardness calculator 29 calculates the ratio of the lengths of the diagonal lines calculated by the above two calculations, and selects the value whose value (the ratio of the lengths of the diagonal lines) is closer to 1. Then, from the lengths of the two selected diagonals,
An operation for calculating the Vickers hardness Hv is performed according to [Equation 2].

【数2】 Hv=1.854P/d2(kgf/mm2) 但し Pは圧子の押し込み荷重 dは2本の対角線の平均長さ さらにこの演算結果がプリンター30からプリントアウト
される。このようにして、この実施例の装置によれば、
試料の正確なビッカース硬さを自動的に読み取ることが
できる。
Hv = 1.854 P / d 2 (kgf / mm 2 ) where P is the indentation load of the indenter d is the average length of two diagonal lines Further, the calculation result is printed out from the printer 30. Thus, according to the device of this embodiment,
The correct Vickers hardness of the sample can be read automatically.

【0020】図11は、この実施例の装置により、ビッカ
ース硬度200の試料に対して連続500回の自動読み取りを
繰り返し行なったテスト結果を示している。図11のグラ
フを判読したところ、ビッカース硬度Hvの平均値とし
て、 Hv(平均)= 200.16 標準偏差 = 1.44 という結果が得られた。このことから、本装置によれ
ば、信頼性および再現性が高く、かつ安定した測定を行
なうことができる、ということがわかる。
FIG. 11 shows a test result obtained by repeatedly performing automatic reading 500 times continuously on a sample having a Vickers hardness of 200 using the apparatus of this embodiment. When the graph of FIG. 11 was read, the following result was obtained as the average value of the Vickers hardness Hv: Hv (average) = 200.16 standard deviation = 1.44. From this, it can be seen that according to the present apparatus, high reliability and reproducibility and stable measurement can be performed.

【0021】[0021]

【発明の効果】以上詳述したように、本発明のビッカー
ス硬さ自動読み取り装置によれば、次のように効果ない
し利点が得られる。 (1) くぼみの多値デジタル画像に対し最適なしきい値を
検出し、この値を用いて2値画像を求め、この2値画像
に対して2次元ノイズ除去処理およびくぼみ認識を行な
うようにしたため、試料表面の傷などによる、くぼみの
読み取り誤差の問題を解決することができる。 (2) くぼみの4辺を4本の多次曲線に回帰させ、これら
各回帰曲線の4つの交点からくぼみの4つの頂点の座標
上の位置を決定し、各頂点位置からくぼみの互いに交差
する2本の対角線長さを算出するようにしたため、くぼ
み頂点が傷や汚れなどにより明確でない場合にも、硬度
測定が可能となる。 (3) 上記(1),(2)の理由により、信頼性の高いビッカー
ス硬さ自動読み取り装置が得られる。
As described above, according to the automatic Vickers hardness reading apparatus of the present invention, the following effects and advantages can be obtained. (1) Because an optimal threshold value is detected for a multivalued digital image of a depression, a binary image is obtained using this value, and two-dimensional noise removal processing and depression recognition are performed on the binary image. In addition, the problem of the reading error of the dent due to the scratch on the sample surface can be solved. (2) The four sides of the hollow are regressed to four polynomial curves, the coordinates of the four vertices of the hollow are determined from the four intersections of these regression curves, and the hollows intersect each other from the positions of the vertices. Since the two diagonal lengths are calculated, the hardness can be measured even when the apex of the dent is not clear due to scratches or dirt. (3) Due to the above reasons (1) and (2), a highly reliable automatic Vickers hardness reader can be obtained.

【図面の簡単な説明】[Brief description of the drawings]

【図1】硬度演算機をブロック線図として示した本発明
の一実施例としてのビッカース硬さ自動読み取り装置の
模式平面図である。
FIG. 1 is a schematic plan view of an automatic Vickers hardness reading apparatus as one embodiment of the present invention, showing a hardness calculator as a block diagram.

【図2】試料の表面に形成されたビッカースくぼみを示
す図面に代わる写真である。
FIG. 2 is a photograph instead of a drawing showing a Vickers dent formed on the surface of a sample.

【図3】白/黒グループ間分散最大なるしきい値を用い
て2値化した2値図面に代わる写真である。
FIG. 3 is a photograph in place of a binary drawing binarized using a threshold value that maximizes the variance between white / black groups.

【図4】くぼみ位置検出のため、十字位置を出発点とし
て注目する画素を検出した状態を示す図面に代わる写真
である。
FIG. 4 is a photograph instead of a drawing showing a state in which a pixel of interest is detected starting from a cross position for detecting a depression position.

【図5】図4の状態に対し、8×8の正方領域、M=5
として、2次元ノイズ除去を行なった図面に代わる写真
である。
5 is a square area of 8 × 8, M = 5 with respect to the state of FIG. 4;
2 is a photograph replacing a drawing from which two-dimensional noise has been removed.

【図6】くぼみ位置検出を行ない、仮想正方形を検出し
た状態を示す図面に代わる写真である。
FIG. 6 is a photograph instead of a drawing showing a state in which a dent position is detected and a virtual square is detected.

【図7】境界検出を行なった状態を示す図面に代わる写
真である。
FIG. 7 is a photograph instead of a drawing showing a state where boundary detection has been performed.

【図8】2次曲線により頂点推定を行なう状態を示す図
面に代わる写真である。
FIG. 8 is a photograph instead of a drawing showing a state in which vertex estimation is performed using a quadratic curve.

【図9】くぼみ位置が画像中央より大きくはずれている
状態を図8に対応して示す図面に代わる写真である。
FIG. 9 is a photograph instead of a drawing showing a state in which the depression position is greatly deviated from the center of the image, corresponding to FIG. 8;

【図10】対角線長さの測定例の説明図である。FIG. 10 is an explanatory diagram of a measurement example of a diagonal length.

【図11】ビッカース硬度200のテストピースに対し連続5
00回の自動読み取りを繰り返し行なったテスト結果を示
すグラフである。
[Fig. 11] Continuous 5 for test piece with Vickers hardness 200
It is a graph which shows the test result which performed the automatic reading of 00 times repeatedly.

【符号の説明】[Explanation of symbols]

1 硬度試験機 2 硬度演算機 3 くぼみ 4 2値画像 5,6,7,8 頂点 10 試料 11 圧子 12 試料台 13 TVカメラ 14 映像信号接続線 20 A/D変換部 21 画像記憶部 22 2値変換部 23 しきい値検出部 24 2次元ノイズ除去部 25 くぼみ位置検出部 26 境界検出部 27 頂点推定部 28 演算部 29 硬度演算部 30 プリンター 31 測定軸 J〜R 高次曲線 DESCRIPTION OF SYMBOLS 1 Hardness tester 2 Hardness calculator 3 Recess 4 Binary image 5, 6, 7, 8 Apex 10 Sample 11 Indenter 12 Sample stand 13 TV camera 14 Video signal connection line 20 A / D conversion unit 21 Image storage unit 22 Binary Conversion unit 23 Threshold detection unit 24 Two-dimensional noise removal unit 25 Indentation position detection unit 26 Boundary detection unit 27 Vertex estimation unit 28 Operation unit 29 Hardness operation unit 30 Printer 31 Measurement axis J-R Higher-order curve

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G01N 3/00 - 3/62 ──────────────────────────────────────────────────続 き Continued on the front page (58) Field surveyed (Int.Cl. 7 , DB name) G01N 3/00-3/62

Claims (1)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 所定の荷重で試料の表面に4角錐状の圧
子を押し込んでビッカースくぼみを形成できる試験機
と、同試験機がそなえた光学顕微鏡の接眼部に取り付け
られたTVカメラと、同TVカメラにて写し出された上
記くぼみを含む上記試料の表面の映像信号を多値階調に
てアナログ/デジタル変換するA/D変換部と、同A/
D変換部にて変換された多値デジタル画像を記憶する画
像記憶部と、上記多値デジタル画像に対し最適なしきい
値を検出するしきい値検出部と、同しきい値検出部から
のしきい値に基づき上記多値デジタル画像を2値化する
2値変換部と、同2値変換部で得られた2値画像よりく
ぼみ境界外の点を除去する2次元ノイズ除去部と、同2
次元ノイズ除去部で得られた2値画像より画面内のくぼ
み中心と4辺の概略位置とを検出するくぼみ位置検出部
と、同くぼみ位置検出部で検出された上記くぼみの4辺
と2値画像とによりくぼみ境界を検出する境界検出部
と、同境界検出部で検出された境界を4本の曲線に回帰
し各曲線の交点からくぼみ頂点の座標上の位置を推定す
る頂点推定部と、同頂点推定部で推定された頂点の位置
と上記圧子の押し込み荷重とからビッカース硬度を演算
する硬度演算部とをそなえたことを特徴とする、ビッカ
ース硬さ自動読み取り装置。
1. A tester capable of forming a Vickers cavity by pressing a quadrangular pyramid-shaped indenter into a surface of a sample with a predetermined load, a TV camera attached to an eyepiece of an optical microscope provided with the tester, An A / D conversion unit that performs analog-to-digital conversion of a video signal on the surface of the sample including the depression, which is projected by the TV camera, in multi-valued gradation;
An image storage unit that stores the multivalued digital image converted by the D conversion unit; a threshold value detection unit that detects an optimal threshold value for the multivalued digital image; A binary conversion unit for binarizing the multi-valued digital image based on a threshold value, a two-dimensional noise removal unit for removing a point outside a concave boundary from the binary image obtained by the binary conversion unit,
A depression position detection unit that detects the center of the depression in the screen and the approximate position of the four sides from the binary image obtained by the two-dimensional noise removal unit; and the four sides and the binary value of the depression detected by the depression position detection unit A boundary detection unit that detects a concave boundary with an image, a vertex estimating unit that regresses the boundary detected by the boundary detection unit into four curves, and estimates a position on the coordinates of the concave vertex from the intersection of each curve; An automatic Vickers hardness reading device, comprising: a hardness calculating unit that calculates Vickers hardness from the position of the vertex estimated by the vertex estimating unit and the pressing load of the indenter.
JP4216373A 1992-07-22 1992-07-22 Vickers hardness automatic reading device Expired - Fee Related JP3071956B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP4216373A JP3071956B2 (en) 1992-07-22 1992-07-22 Vickers hardness automatic reading device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4216373A JP3071956B2 (en) 1992-07-22 1992-07-22 Vickers hardness automatic reading device

Publications (2)

Publication Number Publication Date
JPH07181120A JPH07181120A (en) 1995-07-21
JP3071956B2 true JP3071956B2 (en) 2000-07-31

Family

ID=16687561

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4216373A Expired - Fee Related JP3071956B2 (en) 1992-07-22 1992-07-22 Vickers hardness automatic reading device

Country Status (1)

Country Link
JP (1) JP3071956B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014035236A (en) * 2012-08-08 2014-02-24 Shimadzu Corp Hardness testing device
US9146185B2 (en) 2011-09-15 2015-09-29 Mitutoyo Corporation Hardness tester and hardness test method

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3424407B2 (en) * 1995-08-30 2003-07-07 株式会社島津製作所 Indentation type hardness tester
JP5826611B2 (en) * 2011-11-17 2015-12-02 株式会社ミツトヨ Hardness tester and hardness test method
US9063048B2 (en) 2012-07-12 2015-06-23 Mitutoyo Corporation Hardness tester and program
JP5799928B2 (en) * 2012-09-28 2015-10-28 カシオ計算機株式会社 Threshold setting device, subject detection device, threshold setting method and program
CN112378797A (en) * 2020-11-13 2021-02-19 湘潭大学 Full-automatic indentation measuring device and method
US20220373442A1 (en) * 2021-05-22 2022-11-24 Vishal Khosla Method for determining hardness of a material with implementation of three-dimensional imaging

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9146185B2 (en) 2011-09-15 2015-09-29 Mitutoyo Corporation Hardness tester and hardness test method
EP2570793A3 (en) * 2011-09-15 2018-03-07 Mitutoyo Corporation Hardness tester and hardness test method
JP2014035236A (en) * 2012-08-08 2014-02-24 Shimadzu Corp Hardness testing device

Also Published As

Publication number Publication date
JPH07181120A (en) 1995-07-21

Similar Documents

Publication Publication Date Title
US6954550B2 (en) Image processing method and apparatus
EP0421606B1 (en) Indentation hardness tester
JP3071956B2 (en) Vickers hardness automatic reading device
KR100399695B1 (en) Appearance inspection method and appearance inspection apparatus having high inspection processing speed
JP3412366B2 (en) Coating smoothness inspection device
JP3688520B2 (en) Surface inspection apparatus and surface inspection method
JP3557765B2 (en) Hardness measuring device
JP2541735B2 (en) Method and apparatus for diagnosing coating film deterioration
JP2002207996A (en) Method and device for detecting pattern defect
JP2007081513A (en) Blot defect detecting method for solid-state imaging element
JP2002042142A (en) Distance measurement device and monitoring device using it
US6597805B1 (en) Visual inspection method for electronic device, visual inspecting apparatus for electronic device, and record medium for recording program which causes computer to perform visual inspecting method for electronic device
JP3078685B2 (en) Location recognition method
US5570298A (en) Dot pattern-examining apparatus
KR20220154345A (en) Contour detection device using gaussian-weighted least squares and contour detection method thereof
JP3260425B2 (en) Pattern edge line estimation method and pattern inspection device
JPH0769276B2 (en) Container inner surface inspection device
JP2961140B2 (en) Image processing method
JP2638121B2 (en) Surface defect inspection equipment
JP2001258054A (en) Image quality inspection device and detector for center of gravity of luminance used therefor
JP3043530B2 (en) Dot pattern inspection equipment
JP2535704Y2 (en) Shading image processing device
JPH08285755A (en) Push-in hardness meter
JPH08201260A (en) Method for measuring hardness
JPH0645845Y2 (en) Automatic surface smoothness inspection device

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120526

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees