JP2012247206A - Steel material component identification device and program therefor - Google Patents
Steel material component identification device and program therefor Download PDFInfo
- Publication number
- JP2012247206A JP2012247206A JP2011116793A JP2011116793A JP2012247206A JP 2012247206 A JP2012247206 A JP 2012247206A JP 2011116793 A JP2011116793 A JP 2011116793A JP 2011116793 A JP2011116793 A JP 2011116793A JP 2012247206 A JP2012247206 A JP 2012247206A
- Authority
- JP
- Japan
- Prior art keywords
- spark
- steel material
- image
- processing unit
- rupture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 97
- 239000010959 steel Substances 0.000 title claims abstract description 97
- 239000000463 material Substances 0.000 title claims abstract description 76
- 238000012545 processing Methods 0.000 claims abstract description 60
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 238000006243 chemical reaction Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 23
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 abstract description 10
- 230000009172 bursting Effects 0.000 abstract 6
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 14
- 229910052799 carbon Inorganic materials 0.000 description 14
- 238000010586 diagram Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 239000002436 steel type Substances 0.000 description 5
- 238000007689 inspection Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Landscapes
- Investigating And Analyzing Materials By Characteristic Methods (AREA)
Abstract
Description
本発明は、鋼材成分識別装置及びその方法に関し、特に、鋼の火花試験により生じる火花を画像処理することにより鋼材成分を識別する装置及びその方法に関するものである。 The present invention relates to an apparatus and method for identifying a steel material component, and more particularly to an apparatus and method for identifying a steel material component by performing image processing on a spark generated by a steel spark test.
鋼の製造工程では異材を鑑別して排除するために火花試験が広く用いられている。火花試験とは鋼塊、鋼片、鋼材及びその他の鋼製品をグラインダを使用して研削し、発生する火花の特徴を観察することによって、鋼種の推定又は異材の鑑別を行なう試験のことをいい、JIS G 0566に規定されている（例えば、非特許文献１参照）。 In the steel manufacturing process, a spark test is widely used to distinguish and eliminate foreign materials. The spark test is a test in which steel ingots, steel slabs, steel materials and other steel products are ground using a grinder and the characteristics of the generated sparks are observed to estimate the steel grade or distinguish different materials. JIS G 0566 (see, for example, Non-Patent Document 1).
図９は、鋼の火花の形及び名称を示す図である。図に示すように、火花はその位置から「根本」「中央」「先端」の各部に区別され、火花の各部において流線や破裂の形状や密度は変化する。 FIG. 9 is a diagram showing the shape and names of steel sparks. As shown in the figure, the spark is distinguished from its position into “root”, “center”, and “tip” portions, and the shape and density of streamlines and bursts change in each portion of the spark.
従来、火花試験は鉄鋼材の検査工程などで熟練した経験をもった検査員が目視観察にて官能検査として行われてきたが、個人差や環境の変動によって判定結果がばらついて適正検査結果を得ることが困難であった。また、官能検査の必然性として検査結果が記録できないため、検査技術はもっぱら経験もしくは伝承によるところが大きく、技術改善を評価することが困難であった。尚、人による炭素成分重量比率〔Ｃ〕値の誤差は0.20〜0.50％程度ともいわれている。 Conventionally, the spark test has been performed as a sensory test by visual inspection by inspectors with experience in the steel material inspection process, etc., but the judgment results vary depending on individual differences and environmental fluctuations, and appropriate test results are obtained. It was difficult to get. In addition, since inspection results cannot be recorded as a necessity of sensory inspection, inspection technology is largely based on experience or tradition, and it has been difficult to evaluate technological improvements. In addition, it is said that the error of the carbon component weight ratio [C] value by a person is about 0.20 to 0.50%.
このような火花試験を目視観察によらず、装置により自動的に行なう技術としては、鋼材を摩擦した際に生じる破裂を含む火花を撮像する撮像手段と、火花画像を画像処理し、破裂領域内の画像を特徴量抽出可能な破裂画像に変換する画像処理手段と、破裂画像に含まれる破裂の特徴を示す特徴量を、少なくとも３種類以上ほど各破裂から抽出する特徴量抽出手段と、各々既知の複数種類の鋼材についての各破裂を、各特徴量を座標軸とする多次元空間にプロットし、これにより生じた母集団の分布の特徴を基に多次元空間を分割し、各々の分割領域を各カテゴリーとするカテゴリー分類手段と、ある鋼種についての各破裂の多次元空間におけるプロット結果により、各カテゴリーについての破裂の度数を度数分布として算出する鋼種別度数分布算出手段とを備えた鋼材分析装置がある（例えば、特許文献１参照）。 As a technique for automatically performing such a spark test by a device without visual observation, an imaging means for capturing a spark including a burst generated when a steel material is rubbed, image processing of the spark image, and processing within the burst region Image processing means for converting the image of the image into a burst image that can be extracted with a feature quantity, a feature quantity extraction means for extracting at least three or more types of feature quantities indicating the features of the burst contained in the burst image, and each known Each rupture for multiple types of steel materials is plotted in a multidimensional space with each feature as a coordinate axis, and the multidimensional space is divided based on the characteristics of the population distribution generated by this, and each divided region is divided into Steel type frequency that calculates the frequency of rupture for each category as a frequency distribution based on the category classification means for each category and the plot results in a multidimensional space for each rupture for a steel type There are steel analyzer having a fabric calculation means (for example, see Patent Document 1).
特許文献１に記載の装置は、火花の破裂（位置）の検出は、二次元ＣＣＤカメラを使って撮像した原画像を所定の閾値で二値化し、この二値化画像を複数回の膨張処理及び収縮処理を行い、所定の画素の塊を生成し、この画素の塊を火花の破裂としてラベリングして火花の破裂を検知し、破裂位置を決定している。さらに、特許文献１に記載の装置は、特定された火花の破裂位置での特定の瞬間における火花画像を画像処理することにより火花の細線化画像を生成し、この細線化画像から特徴量（面積値、端点数、交点数）の抽出を行い、所定の元素の含有量を検査している。 In the apparatus described in Patent Document 1, the burst (position) of a spark is detected by binarizing an original image captured using a two-dimensional CCD camera with a predetermined threshold, and this binarized image is subjected to a plurality of expansion processes. Then, a contraction process is performed to generate a lump of predetermined pixels, and the lump of pixels is labeled as a burst of a spark to detect the burst of the spark and determine a burst position. Furthermore, the apparatus described in Patent Document 1 generates a spark thinned image by performing image processing on a spark image at a specific moment at a specified spark burst position, and features (area) from the thinned image. Value, the number of endpoints, the number of intersections), and the content of a predetermined element is inspected.
ここで、火花の破裂位置や画像を取得した時間により火花の形態は大きく変化するため火花の形態は非常に不安定である。特許文献１に記載の画像処理手法では、膨張処理及び収縮処理を２回行っているが，１回目はあたりをつけるためであり，ある程度処理が可能としても，２回目の破裂部に特化した場合は，近接した火花の流線は膨張により１つにくっついてしまい、火花形状を得ることは困難である。さらに、火花形状を得ることが困難であることから、火花形状をコンピュータに認識させることも困難である。 Here, the form of the spark is very unstable because the form of the spark greatly changes depending on the spark burst position and the time when the image is acquired. In the image processing method described in Patent Document 1, the expansion process and the contraction process are performed twice, but the first process is for hitting, and even if the process can be performed to some extent, it is specialized for the second rupture part. In this case, the adjacent spark stream lines stick together due to expansion, and it is difficult to obtain a spark shape. Furthermore, since it is difficult to obtain a spark shape, it is also difficult for a computer to recognize the spark shape.
さらに、３種程度のパラメータで元素の含有量を認識することも困難と考えられ、さらに、特許文献１の図１４に示す端点や交点抽出方法も不明である。結果として、特許文献１に記載の画像処理手法は、画像処理のコストも、推論のためのコストも大きいと考えられる。 Furthermore, it is considered difficult to recognize the content of the element with about three types of parameters, and the endpoint and intersection extraction method shown in FIG. As a result, the image processing method described in Patent Document 1 is considered to have a high image processing cost and a cost for inference.
本発明は、このような従来の問題を解決するためになされたもので、鋼の火花試験により生じる火花を画像処理して鋼材の成分を識別することが可能な装置及び方法を提供することである。 The present invention has been made to solve such a conventional problem, and provides an apparatus and a method capable of identifying the components of steel materials by image processing of sparks generated by a steel spark test. is there.
本発明は、鋼材を研削して発生する火花の画像をグレースケールの火花画像に変換する輝度変換処理部と、グレースケールの火花画像の画素毎に所定の閾値で二値化を行う二値化処理部と、二値化された火花画像に対し、複数の角度に相当する短直線を表す複数のテンプレートを各々マッチングし、当該マッチングされたテンプレートの種類と位置を記憶する短直線マッチング処理部と、マッチングされたテンプレートが任意の火花画像の範囲において所定の数以上である場合に火花の破裂部とみなして破裂部を抽出し、当該破裂部の総数である火花の破裂数及び前記火花画像内の前記マッチングされたテンプレートの総数をカウントする破裂部抽出処理部と、火花の破裂数及び前記マッチングされたテンプレートの総数に基づいて鋼材を識別する鋼材識別処理部とを有する鋼材成分識別装置である。 The present invention relates to a luminance conversion processing unit that converts a spark image generated by grinding a steel material into a grayscale spark image, and binarization that performs binarization with a predetermined threshold for each pixel of the grayscale spark image. A processing unit and a short line matching processing unit that matches a plurality of templates each representing a short line corresponding to a plurality of angles to the binarized spark image, and stores the type and position of the matched template; When the number of matched templates is equal to or greater than a predetermined number in the range of an arbitrary spark image, it is regarded as a spark rupture part, and the rupture part is extracted. A rupture part extraction processing unit that counts the total number of matched templates, and identifies steel materials based on the number of spark ruptures and the total number of matched templates. A steel component identifying apparatus and a steel identification processor for.
また、本発明は、コンピュータを、鋼材を研削して発生する火花の画像をグレースケールの火花画像に変換する輝度変換処理手段と、グレースケールの火花画像の画素毎に所定の閾値で二値化を行う二値化処理手段と、二値化された火花画像に対し、複数の角度に相当する短直線を表す複数のテンプレートを各々マッチングし、当該マッチングされたテンプレートの種類と位置を記憶する短直線マッチング処理手段と、マッチングされたテンプレートが任意の火花画像の範囲において所定の数以上である場合に火花の破裂部とみなして破裂部を抽出し、当該破裂部の総数である火花の破裂数及び前記火花画像内の前記マッチングされたテンプレートの総数をカウントする破裂部抽出処理手段と、火花の破裂数及び前記マッチングされたテンプレートの総数に基づいて鋼材を識別する鋼材識別処理手段として機能させることを特徴とする鋼材成分識別プログラムである。 In addition, the present invention provides a computer that converts a spark image generated by grinding a steel material into a grayscale spark image, and a binarization with a predetermined threshold for each pixel of the grayscale spark image. And a binarization processing means for performing the matching, and a binarized spark image by matching a plurality of templates each representing a short straight line corresponding to a plurality of angles, and storing the type and position of the matched template If the number of matched templates and the number of matched templates is greater than or equal to a predetermined number within the range of an arbitrary spark image, it is considered as a spark rupture part, and the rupture part is extracted. And a rupture part extraction processing means for counting the total number of the matched templates in the spark image, a spark rupture number and the matched template. A steel component identification program for causing to function as a steel material identification processing means for identifying a steel based on the total number of over bets.
本発明の鋼材成分識別装置及びその方法によれば、鋼材から発生する火花を短直線マッチングを用いて認識することにより、鋼材の種類を定量的に認識することが可能となる。 According to the steel material component identification apparatus and method of the present invention, it is possible to quantitatively recognize the type of steel material by recognizing a spark generated from the steel material using short straight line matching.
以下、本発明の実施形態である鋼材成分識別装置及びその方法について、図を参照して詳細に説明をする。 Hereinafter, a steel material component identification apparatus and method according to an embodiment of the present invention will be described in detail with reference to the drawings.
図１は、本発明の実施形態の鋼材成分識別装置の構成を示すブロック図である。本実施形態の鋼材成分識別装置は、検査対象の鋼材ＢとグラインダＣとが接触して発生した火花を撮像するカメラ１０と、カメラ１０で撮像された火花画像に基づいて火花を定量化するコンピュータ２０と、を備える。コンピュータ２０は、演算処理を行うＣＰＵ２１と、データのワークエリアであるＲＡＭ２２と、ＣＰＵ２１の制御プログラムを記憶するＲＯＭ２３を備えている。以上のように構成された本実施形態の鋼材成分識別装置は、次の処理を行うことにより、鋼材の火花の定量化を行う。 FIG. 1 is a block diagram showing the configuration of a steel component identification device according to an embodiment of the present invention. The steel component identification device of the present embodiment includes a camera 10 that captures a spark generated by contact between a steel B to be inspected and a grinder C, and a computer that quantifies the spark based on a spark image captured by the camera 10. 20. The computer 20 includes a CPU 21 that performs arithmetic processing, a RAM 22 that is a data work area, and a ROM 23 that stores a control program for the CPU 21. The steel material component identification device of the present embodiment configured as described above quantifies the spark of the steel material by performing the following processing.
図２は、コンピュータ２０のＣＰＵ２１が実行する鋼材成分識別ルーチンを示すフローチャートである。本実施形態の鋼材成分識別装置は、ＲＯＭ２３に格納された制御プログラムをＣＰＵ２１が実行することにより、画像取込処理部と、輝度変換処理部と、二値化処理部と、細線化処理部と、短直線マッチング処理部と、破裂部抽出処理部と、鋼材識別処理部とを有する装置として動作する。 FIG. 2 is a flowchart showing a steel material component identification routine executed by the CPU 21 of the computer 20. In the steel material component identification device of the present embodiment, the CPU 21 executes a control program stored in the ROM 23, whereby an image capture processing unit, a luminance conversion processing unit, a binarization processing unit, a thinning processing unit, The apparatus operates as an apparatus having a short straight line matching processing unit, a rupture portion extraction processing unit, and a steel material identification processing unit.
以下、上記各ステップＳ１からＳ７の詳細な処理について説明する。 Hereinafter, detailed processing of each of the above steps S1 to S7 will be described.
（画像取込）
ステップＳ１では、コンピュータ２０のＣＰＵ２１は、カメラ１０により撮像された火花画像をカラー画像としてRAM２２に取り込んで、ステップＳ２に進む。
(Image capture)
In step S1, the CPU 21 of the computer 20 captures the spark image captured by the camera 10 as a color image in the RAM 22, and proceeds to step S2.
定量的な鋼材分類を行うためには、同種の鋼材の火花に差異が発生しないよう、常に同条件で火花を発生させることが好ましい。本実施形態では、モータ（不図示）によって発生したトルク回転力を直線運動に変換し、グラインダCに鋼材Bを押し当てる機構を採用した。モータは出力トルクを制御できるトルクモータを採用し、一定の力で、一定の位置で、かつ、一定の角度での鋼材の押し当てを可能とした。 In order to quantitatively classify steel materials, it is preferable to always generate sparks under the same conditions so that no difference occurs in the sparks of the same type of steel materials. In the present embodiment, a mechanism for converting the torque rotational force generated by a motor (not shown) into a linear motion and pressing the steel material B against the grinder C is employed. As the motor, a torque motor that can control the output torque is adopted, and it is possible to press the steel material with a constant force, at a fixed position, and at a fixed angle.
撮影環境は周囲が薄暗い環境の中、明るい火花を撮影するという特殊な環境であるため、カメラ１０にはシャッタースピードや絞りなどをマニュアルで設定できるカメラを使用することが好ましい。また、鋼材BがグラインダCに削られることにより、鋼材BとグラインダCの接触面積が増加して押し当て圧が下がり火花の発生が時間変化するという問題がある。本実施形態のカメラ１０では、火花の発生の時間変化の影響を低減するために、短時間で高速の連続撮影（例えば、60fps）が可能なカメラを用いる。 Since the shooting environment is a special environment for shooting bright sparks in a dark environment, it is preferable to use a camera that can manually set the shutter speed, aperture, and the like. In addition, since the steel material B is cut by the grinder C, there is a problem that the contact area between the steel material B and the grinder C increases, the pressing pressure decreases, and the occurrence of sparks changes over time. In the camera 10 of the present embodiment, a camera capable of high-speed continuous shooting (for example, 60 fps) in a short time is used in order to reduce the influence of the temporal change in the occurrence of sparks.
同様に時間経過による火花の変化を避けるため、撮影時間を短くすることが好ましい（例えば1.0秒以下）。また、画像で確認できる火花の流線長さや破裂の数は、シャッタースピードに依存し変化する。このため、解析に適するシャッタースピードの選定（例えば、1/160sなど）をすることが好ましい。 Similarly, in order to avoid a change in spark with the passage of time, it is preferable to shorten the photographing time (for example, 1.0 second or less). In addition, the streamline length of sparks and the number of bursts that can be confirmed in the image vary depending on the shutter speed. For this reason, it is preferable to select a shutter speed suitable for analysis (for example, 1 / 160s).
（輝度変換）
ステップＳ２では、ＣＰＵ２１は、火花画像の各画素の輝度を変換処理して画像を輝度値のみのグレースケール画像に変換し、画像をRAM２２に格納して、ステップＳ３に進む。
(Luminance conversion)
In step S2, the CPU 21 converts the luminance of each pixel of the spark image to convert the image into a grayscale image having only a luminance value, stores the image in the RAM 22, and proceeds to step S3.
図３（ａ）は、火花画像をグレースケール化した画像の例である。ステップＳ２では、ステップＳ１で得られたカラーの火花画像をグレースケール化する。本実施形態では、火花画像中の各画素のＲＧＢ値を所定の変換式によってグレースケール値Ｙへ変換している。例えば、変換式として、Ｙ＝Ｒ×0.299＋Ｇ×0.587＋Ｂ×0.114を用いる。 FIG. 3A is an example of an image obtained by converting a spark image into a gray scale. In step S2, the color spark image obtained in step S1 is grayscaled. In this embodiment, the RGB value of each pixel in the spark image is converted into a gray scale value Y by a predetermined conversion formula. For example, Y = R × 0.299 + G × 0.587 + B × 0.114 is used as the conversion formula.
（二値化処理）
ステップＳ３では、ＣＰＵ２１は、火花画像の二値化処理を実行し、画像をRAM２２に格納して、ステップＳ４に進む。
(Binarization processing)
In step S3, the CPU 21 executes a binarization process for the spark image, stores the image in the RAM 22, and proceeds to step S4.
本実施形態では、二値化処理の対象となる画素毎に所定の閾値で二値化処理を行う。本実施形態では、抽出対象が火花のような線状の場合に適している十字二値化を用いる。 In the present embodiment, the binarization process is performed with a predetermined threshold value for each pixel to be binarized. In the present embodiment, cross binarization that is suitable when the extraction target is a line like a spark is used.
図４は、本実施形態のステップＳ３で用いる十字二値化を説明する図である。十字二値化法は、十字内の中心画素以外の画素の平均輝度値から十字の中心画素の輝度値を引き、その値が設定した閾値よりも大きい場合に、十字の中心画素を黒とし（図４（ａ））、そうでなければ白とする（図４（ｂ））手法である。さらに、今回は火花を黒画素とするため、十字二値化画像の白黒の出力を反転させている。図３（ｂ）に十字二値化して白黒反転させた画像の例を示す。 FIG. 4 is a diagram for explaining the cross binarization used in step S3 of the present embodiment. The cross binarization method subtracts the luminance value of the central pixel of the cross from the average luminance value of the pixels other than the central pixel in the cross, and if the value is larger than a set threshold, the central pixel of the cross is black ( FIG. 4A), otherwise white (FIG. 4B). Furthermore, this time, the black and white output of the cross-binarized image is inverted in order to make the spark a black pixel. FIG. 3B shows an example of an image obtained by cross binarizing and reversing black and white.
（細線化処理）
ステップＳ４では、ＣＰＵ２１は、火花画像の細線化処理を行い、画像をRAM２２に格納して、ステップＳ５に進む。
(Thinning process)
In step S4, the CPU 21 performs a thinning process of the spark image, stores the image in the RAM 22, and proceeds to step S5.
図３（ｄ）に細線化処理を行った画像の例を示す。細線化処理は、火花の中心線である芯線を抽出する処理である。本実施形態では、ステップＳ３で十字二値化処理された画像（図３（ｂ）、（ｃ））に対して細線化処理を行う。本実施形態の細線化処理では、火花の太さが1pixelとなるように、黒画素を外側から削り、線幅が１pixelになったらそれ以上削らない処理を行う。そして、端点を保存し、図形の連結性を保存する。この処理により、火花の芯線(中央線)が取得され、火花の流線形状の特徴が簡潔に表現される。 FIG. 3D shows an example of an image that has been thinned. The thinning process is a process of extracting a core line that is a center line of a spark. In the present embodiment, the thinning process is performed on the image (FIGS. 3B and 3C) subjected to the cross binarization process in step S3. In the thinning process of the present embodiment, the black pixel is cut from the outside so that the spark thickness is 1 pixel, and when the line width becomes 1 pixel, no further cutting is performed. Then, the end points are saved, and the connectivity of the figure is saved. By this processing, a spark core line (center line) is acquired, and features of the streamline shape of the spark are simply expressed.
（短直線マッチング）
ステップＳ５では、ＣＰＵ２１は、火花画像の短直線マッチング処理を行い、マッチングされたテンプレートの種類と位置をRAM２２に格納して、ステップＳ６に進む。
(Short straight line matching)
In step S5, the CPU 21 performs a short straight line matching process of the spark image, stores the type and position of the matched template in the RAM 22, and proceeds to step S6.
図５に示すように、本実施形態の鋼材成分識別装置では、28方向の角度（6.5度毎）に相当する短直線を表すテンプレートＴ1〜Ｔ28を予め用意し、RAM２２に格納している。 As shown in FIG. 5, in the steel material component identification device of the present embodiment, templates T 1 to T 28 representing short straight lines corresponding to angles in 28 directions (every 6.5 degrees) are prepared in advance and stored in the RAM 22. .
図６は、短直線マッチング処理の方法を示す図である。細線化画像I5内の細線群ａ〜ｄに対し、パターン番号（Ｔ1〜Ｔ28）の走査を行い、角度を示すパターンテンプレートをマッチングする。あるテンプレートにP（例えば70）[%]以上マッチングしたとき、そのパターン番号を記録する。図では、細線化画像I5内のａ、ｂ、ｃ、ｄ、ｅ部に、パターンテンプレートＴ14、Ｔ22、Ｔ4、Ｔ8、Ｔ26の５つのパターンが各々マッチングされている。 FIG. 6 is a diagram illustrating a method of short straight line matching processing. The pattern numbers (T 1 to T 28 ) are scanned with respect to the thin line groups a to d in the thinned image I 5 to match the pattern template indicating the angle. When a template matches P (for example, 70) [%] or more, the pattern number is recorded. In the figure, five patterns of pattern templates T 14 , T 22 , T 4 , T 8 , and T 26 are respectively matched with portions a, b, c, d, and e in the thinned image I 5 .
（破裂部抽出処理）
ステップＳ６では、ＣＰＵ２１は、火花画像から火花の破裂部の抽出を行い、火花の破裂個数のカウントを行う。そして、画像全体の破裂部の数及び各破裂部に存在する短直線の総数をRAM２２に格納して、ステップＳ７に進む。
(Rupture extraction process)
In step S6, the CPU 21 extracts a spark rupture portion from the spark image, and counts the number of spark ruptures. Then, the number of rupture portions of the entire image and the total number of short straight lines existing in each rupture portion are stored in the RAM 22, and the process proceeds to step S7.
火花の破裂部においては様々な方向に火花が飛ぶという形態的特徴がある。したがって、短直線の角度から火花が飛ぶ方向を確認することにより、破裂部を抽出することが可能である。本実施形態では、角度の異なる短直線が、例えば４種類以上存在する場合を破裂部とみなす。 There is a morphological feature that sparks fly in various directions at the spark rupture. Therefore, it is possible to extract the rupture part by confirming the direction in which the sparks fly from the angle of the short straight line. In this embodiment, the case where there are, for example, four or more types of short straight lines having different angles is regarded as a rupture portion.
図７に示すように、任意の火花画像の範囲（a×b [pixel]）（今回は12×12）の画像I6について、パターン番号の種類の合計を求め、合計値がm（今回は4)種類以上のとき、その範囲を破裂が存在する範囲とする。図では、Ｔ14、Ｔ22、Ｔ26、Ｔ4の４種類のパターンが含まれているため、破裂部と認定できる。そして画像全体で破裂部の数を数えることにより破裂の総数を求める。同時に、マッチングされたテンプレートの総数から画像全体に存在する短直線の総数をカウントする。 As shown in FIG. 7, for the image I 6 in an arbitrary spark image range (a × b [pixel]) (12 × 12 in this case), the total number of pattern numbers is obtained and the total value is m (in this case, 4) If there are more than one type, the range shall be the range where the burst exists. In the figure, since four types of patterns of T 14 , T 22 , T 26 , and T 4 are included, it can be recognized as a rupture portion. Then, the total number of ruptures is obtained by counting the number of rupture portions in the entire image. At the same time, the total number of short lines existing in the entire image is counted from the total number of matched templates.
（鋼種の判別処理）
ステップＳ７では、ＣＰＵ２１は、火花の破裂密度の算出を行い、火花の破裂密度から鋼材中の炭素量を推定し、鋼材種類の認識を行う。
(Steel type discrimination process)
In step S <b> 7, the CPU 21 calculates the spark burst density, estimates the amount of carbon in the steel material from the spark burst density, and recognizes the steel material type.
本発明者らの評価の結果、鋼中に含まれる炭素の量が変化した場合でも、破裂の数はほぼ同等であることが判明した。したがって、火花の破裂数だけでは炭素量の判別は難しい。一方、本発明者らの評価の結果、鋼中に含まれる炭素の量が少ない場合には、逆に、火花の量は増大することもわかった。 As a result of the evaluation by the present inventors, it was found that even when the amount of carbon contained in the steel changes, the number of bursts is almost the same. Therefore, it is difficult to determine the amount of carbon only by the number of sparks ruptured. On the other hand, as a result of the evaluation by the present inventors, it was also found that when the amount of carbon contained in the steel is small, the amount of spark increases.
そこで、本実施形態では「破裂密度」という新たな評価基準を定義する。本実施形態では破裂密度を以下の式で表し、この破裂密度の数値により、鋼材中の炭素量を確認する。
破裂密度(D)＝破裂数(E)/短直線数(L)
Therefore, in this embodiment, a new evaluation criterion “burst density” is defined. In this embodiment, the burst density is expressed by the following formula, and the amount of carbon in the steel material is confirmed by the numerical value of the burst density.
Burst density (D) = number of bursts (E) / number of short straight lines (L)
また、火花の形態は立体的かつ「発生」、「成長」、「破裂」及び「消滅」の動的かつ不安定な形態変化を伴うものであるため、図９に示す火花の根本部、中央部、及び、先端部の各部において火花の明度や密度などの特性には相違が生じる。特許文献１のごとく、特定の時点の火花画像１枚の全体から同時に特徴量を抽出した場合には、成分分析の有効精度を確保した撮像や画像処理を行なうことが困難な場合もある。 In addition, since the form of the spark is three-dimensional and accompanied by dynamic and unstable morphological changes of “generation”, “growth”, “burst”, and “annihilation”, the root part of the spark shown in FIG. Differences occur in characteristics such as the brightness and density of the spark in each part and the tip part. As in Patent Document 1, when feature amounts are extracted simultaneously from one entire spark image at a specific time, it may be difficult to perform imaging and image processing with ensuring the effective accuracy of component analysis.
そこで、本実施形態では、複数の火花画像から各々破裂密度を算出し、それらを平均した平均破裂密度を鋼材中の炭素量の確認に使用する。これにより、１枚の火花画像から求めた破裂密度のみで炭素量を確認した場合と比較して、予測の誤差を小さくすることが可能となる。 Therefore, in the present embodiment, the burst density is calculated from each of the plurality of spark images, and the average burst density obtained by averaging them is used for confirming the carbon content in the steel material. As a result, it is possible to reduce the prediction error as compared with the case where the carbon amount is confirmed only by the burst density obtained from one spark image.
画像の取得方法としては、複数枚の火花画像を取得する場合には所定の時間間隔で取得したり、火花発生後から所定の時間を経過した後に連続して複数枚の火花画像を取得したりするなどの手法を用いればよい。本実施形態では、評価対象の画像は、１つの鋼材につき10画像の連続撮影を4回行い平均して評価する。 As an image acquisition method, when acquiring a plurality of spark images, acquire them at a predetermined time interval, or acquire a plurality of spark images continuously after a predetermined time has elapsed since the occurrence of a spark. It is sufficient to use a technique such as. In the present embodiment, the images to be evaluated are evaluated by averaging four consecutive images of 10 images per steel material.
また、RAM２２には、予め実測した、破裂密度D、炭素量、及び、鋼種の関係がデータベースとして格納されている。CPU２１は、このデータベースを参照して、上記算出された破裂密度Dから測定対象の鋼材の鋼種を識別する。 In addition, the RAM 22 stores a relationship between the burst density D, the carbon amount, and the steel type, which is actually measured in advance, as a database. The CPU 21 refers to this database to identify the steel type of the steel material to be measured from the calculated burst density D.
図８は、鋼材の炭素量と本実施形態の鋼材成分識別装置を用いて実測した破裂密度を比較した図である。グラフには目視と本実施形態のプログラムそれぞれ、4回の測定の鋼材別の平均破裂密度を算出した。図８からは、炭素量と破裂密度には相関がありどれも炭素量にほぼ比例して破裂密度が増加していることから、鋼材の種類を定量的に分類することが可能であることがわかる。 FIG. 8 is a diagram comparing the carbon content of the steel material and the burst density measured using the steel material component identification device of the present embodiment. In the graph, the average rupture density for each steel material was calculated for the visual measurement and the program of this embodiment for each of the four measurements. From FIG. 8, since there is a correlation between the carbon content and the burst density, and the burst density increases almost in proportion to the carbon content, it is possible to classify the types of steel materials quantitatively. Recognize.
以上説明したように、本実施形態の鋼材成分識別装置及びその方法によれば、二値化された火花画像に短直線にマッチングすることで評価対象が限定され、計測処理に適した火花形状を得ることができる。そして、この短直線を用いて破裂数を処理した「破裂密度」が、鋼材の成分、特に炭素量との相関が高いことから、従来技術における画像処理の困難性を解決するとともに、複数のパラメータ（特徴量：面積値、端点数、交点数等）のため困難だった成分評価を定量的かつ容易に行うことができる。 As described above, according to the steel component identification device and the method of the present embodiment, the evaluation object is limited by matching the binarized spark image with the short straight line, and the spark shape suitable for the measurement process is obtained. Obtainable. And since the “rupture density” obtained by processing the number of ruptures using this short straight line has a high correlation with the components of the steel material, in particular, the carbon content, it solves the difficulty of image processing in the prior art and uses a plurality of parameters It is possible to quantitatively and easily perform component evaluation that is difficult because of (feature amount: area value, number of end points, number of intersections, etc.)
なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計上の変更をされたものにも適用可能であるのは勿論である。 Note that the present invention is not limited to the above-described embodiment, and it is needless to say that the present invention can also be applied to a design modified within the scope of the claims.
１０：カメラ
２０：コンピュータ
２１：ＣＰＵ
２２：ＲＡＭ
２３：ＲＯＭ
10: Camera 20: Computer 21: CPU
22: RAM
23: ROM
Claims (12)
前記グレースケールの火花画像の画素毎に所定の閾値で二値化を行う二値化処理部と、
前記二値化された火花画像に対し、複数の角度に相当する短直線を表す複数のテンプレートを各々マッチングし、当該マッチングされたテンプレートの種類と位置を記憶する短直線マッチング処理部と、
前記マッチングされたテンプレートが任意の火花画像の範囲において所定の数以上である場合に火花の破裂部とみなして破裂部を抽出し、当該破裂部の総数である火花の破裂数及び前記火花画像内の前記マッチングされたテンプレートの総数をカウントする破裂部抽出処理部と、
前記火花の破裂数及び前記マッチングされたテンプレートの総数に基づいて鋼材を識別する鋼材識別処理部と、
を有することを特徴とする鋼材成分識別装置。 A brightness conversion processing unit for converting an image of a spark generated by grinding a steel material into a gray-scale spark image;
A binarization processing unit that performs binarization with a predetermined threshold for each pixel of the grayscale spark image;
A short straight line matching processing unit that matches a plurality of templates each representing a short straight line corresponding to a plurality of angles to the binarized spark image, and stores the type and position of the matched template,
If the number of matched templates is equal to or greater than a predetermined number in the range of an arbitrary spark image, it is regarded as a spark rupture part, and a rupture part is extracted. A rupture extraction processing unit that counts the total number of matched templates of
A steel material identification processing unit for identifying a steel material based on the number of bursts of the spark and the total number of matched templates;
The steel material component identification device characterized by having.
前記鋼材識別処理部は、前記破裂数を前記短直線数で除した破裂密度から鋼材を識別することを特徴とする請求項１から４のいずれかに記載の鋼材成分識別装置。 The rupture part extraction processing unit counts the total number of ruptures of sparks in the entire spark image (the number of ruptures) and the total number of matched templates in the entire spark image (the number of short lines),
The steel material component identification device according to any one of claims 1 to 4, wherein the steel material identification processing unit identifies a steel material from a burst density obtained by dividing the number of ruptures by the number of short straight lines.
鋼材を研削して発生する火花の画像をグレースケールの火花画像に変換する輝度変換処理手段と、
前記グレースケールの火花画像の画素毎に所定の閾値で二値化を行う二値化処理手段と、
前記二値化された火花画像に対し、複数の角度に相当する短直線を表す複数のテンプレートを各々マッチングし、当該マッチングされたテンプレートの種類と位置を記憶する短直線マッチング処理手段と、
前記マッチングされたテンプレートが任意の火花画像の範囲において所定の数以上である場合に火花の破裂部とみなして破裂部を抽出し、当該破裂部の総数である火花の破裂数及び前記火花画像内の前記マッチングされたテンプレートの総数をカウントする破裂部抽出処理手段と、
前記火花の破裂数及び前記マッチングされたテンプレートの総数に基づいて鋼材を識別する鋼材識別処理手段と、
して機能させることを特徴とする鋼材成分識別プログラム。 Computer
A luminance conversion processing means for converting an image of a spark generated by grinding a steel material into a gray-scale spark image;
Binarization processing means for performing binarization with a predetermined threshold for each pixel of the grayscale spark image;
A short straight line matching processing unit that matches a plurality of templates each representing a short straight line corresponding to a plurality of angles to the binarized spark image, and stores the type and position of the matched template,
If the number of matched templates is equal to or greater than a predetermined number in the range of an arbitrary spark image, it is regarded as a spark rupture part, and a rupture part is extracted. Rupture extraction processing means for counting the total number of matched templates of
Steel material identification processing means for identifying a steel material based on the number of bursts of the spark and the total number of matched templates,
Steel component identification program characterized in that it is made to function.
前記鋼材識別処理手段は、前記破裂数を前記短直線数で除した破裂密度から鋼材を識別することを特徴とする請求項７から１０のいずれかに記載の鋼材成分識別プログラム。 The rupture part extraction processing unit counts the total number of bursts of the sparks in the entire spark image (the number of bursts) and the total number of matched templates in the entire spark image (the number of short lines),
The steel material component identification program according to any one of claims 7 to 10, wherein the steel material identification processing means identifies a steel material from a burst density obtained by dividing the number of ruptures by the number of short straight lines.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011116793A JP5706233B2 (en) | 2011-05-25 | 2011-05-25 | Steel component identification device and program thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011116793A JP5706233B2 (en) | 2011-05-25 | 2011-05-25 | Steel component identification device and program thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012247206A true JP2012247206A (en) | 2012-12-13 |
| JP5706233B2 JP5706233B2 (en) | 2015-04-22 |
Family
ID=47467799
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011116793A Active JP5706233B2 (en) | 2011-05-25 | 2011-05-25 | Steel component identification device and program thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5706233B2 (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105547996A (en) * | 2016-02-04 | 2016-05-04 | 华侨大学 | High-speed friction testing machine for friction pair pre-dressing and application thereof |
| JP2016099126A (en) * | 2014-11-18 | 2016-05-30 | 学校法人東京理科大学 | Steel material component identification apparatus and program of the same |
| CN105628533A (en) * | 2016-02-04 | 2016-06-01 | 华侨大学 | High-speed friction testing method for CBN (cubic boron nitride) tool to prefinish black metal friction pair |
| CN105628534A (en) * | 2016-02-04 | 2016-06-01 | 华侨大学 | High-speed friction testing method of diamond knife pre-maintenance nonferrous metal friction pair |
| CN105651635A (en) * | 2016-02-04 | 2016-06-08 | 华侨大学 | High-speed friction testing method for spherical grinding head prepared ferrous metal friction pair |
| CN105675491A (en) * | 2016-02-04 | 2016-06-15 | 华侨大学 | Single abrasive particle scratching and quick stop testing method in which hard and brittle test piece is pre-maintained through complementary standard method |
| CN105675492A (en) * | 2016-02-04 | 2016-06-15 | 华侨大学 | Testing method of continuous scratching interference behavior of single abrasive particles, in which non-ferrous metal test piece is pre-ground by diamond tool |
| JP2018018153A (en) * | 2016-07-25 | 2018-02-01 | オリンパス株式会社 | Steel type discrimination device and steel type discrimination method |
| JP2020003358A (en) * | 2018-06-28 | 2020-01-09 | 学校法人東京理科大学 | Steel material component identification device and program therefor |
| JP2020003359A (en) * | 2018-06-28 | 2020-01-09 | 学校法人東京理科大学 | Steel material component identification device and program therefor |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0886730A (en) * | 1994-09-16 | 1996-04-02 | Meidensha Corp | Device and method for discriminating material |
| JPH08101893A (en) * | 1994-09-30 | 1996-04-16 | Omron Corp | Model image data registering device for image processor |
| JPH09145599A (en) * | 1995-11-29 | 1997-06-06 | Toshiba Eng Co Ltd | Steel member analyzer and system for determining kind of steel member |
| JP2002259947A (en) * | 2001-02-27 | 2002-09-13 | Nisshin Steel Co Ltd | Marking character monitoring method and device |
| WO2010004947A1 (en) * | 2008-07-08 | 2010-01-14 | 住友金属工業株式会社 | Device for determining quality of steel material and method for determining quality of steel material |
| JP2010243189A (en) * | 2009-04-01 | 2010-10-28 | Sanyo Special Steel Co Ltd | Device and method for analyzing carbon component in steel by image processing of spark test |
-
2011
- 2011-05-25 JP JP2011116793A patent/JP5706233B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0886730A (en) * | 1994-09-16 | 1996-04-02 | Meidensha Corp | Device and method for discriminating material |
| JPH08101893A (en) * | 1994-09-30 | 1996-04-16 | Omron Corp | Model image data registering device for image processor |
| JPH09145599A (en) * | 1995-11-29 | 1997-06-06 | Toshiba Eng Co Ltd | Steel member analyzer and system for determining kind of steel member |
| JP2002259947A (en) * | 2001-02-27 | 2002-09-13 | Nisshin Steel Co Ltd | Marking character monitoring method and device |
| WO2010004947A1 (en) * | 2008-07-08 | 2010-01-14 | 住友金属工業株式会社 | Device for determining quality of steel material and method for determining quality of steel material |
| JP2010243189A (en) * | 2009-04-01 | 2010-10-28 | Sanyo Special Steel Co Ltd | Device and method for analyzing carbon component in steel by image processing of spark test |
Non-Patent Citations (3)
| Title |
|---|
| "日本工業規格 鋼の火花試験方法", ＪＩＳ Ｇ ０５６６, JPN4003010992, 5 January 1980 (1980-01-05), ISSN: 0003007377 * |
| 中田武男, 藤原健二: "火花試験の自動化技術開発", 材料とプロセス(CD−ROM), vol. 23, no. 2, JPN6014024077, 1 September 2010 (2010-09-01), JP, pages 177, ISSN: 0002831380 * |
| 山本卓: "鋼材の簡易鑑別法の実務 鋼材の火花試験", 工業加熱, vol. 36, no. 3, JPN6014024080, 15 May 1999 (1999-05-15), JP, pages 59 - 67, ISSN: 0003007376 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016099126A (en) * | 2014-11-18 | 2016-05-30 | 学校法人東京理科大学 | Steel material component identification apparatus and program of the same |
| CN105675492A (en) * | 2016-02-04 | 2016-06-15 | 华侨大学 | Testing method of continuous scratching interference behavior of single abrasive particles, in which non-ferrous metal test piece is pre-ground by diamond tool |
| CN105628533A (en) * | 2016-02-04 | 2016-06-01 | 华侨大学 | High-speed friction testing method for CBN (cubic boron nitride) tool to prefinish black metal friction pair |
| CN105628534A (en) * | 2016-02-04 | 2016-06-01 | 华侨大学 | High-speed friction testing method of diamond knife pre-maintenance nonferrous metal friction pair |
| CN105651635A (en) * | 2016-02-04 | 2016-06-08 | 华侨大学 | High-speed friction testing method for spherical grinding head prepared ferrous metal friction pair |
| CN105675491A (en) * | 2016-02-04 | 2016-06-15 | 华侨大学 | Single abrasive particle scratching and quick stop testing method in which hard and brittle test piece is pre-maintained through complementary standard method |
| CN105547996A (en) * | 2016-02-04 | 2016-05-04 | 华侨大学 | High-speed friction testing machine for friction pair pre-dressing and application thereof |
| CN105547996B (en) * | 2016-02-04 | 2019-01-01 | 华侨大学 | It is a kind of pre- to repair the secondary high-speed friction testing machine of friction and its application |
| JP2018018153A (en) * | 2016-07-25 | 2018-02-01 | オリンパス株式会社 | Steel type discrimination device and steel type discrimination method |
| JP2020003358A (en) * | 2018-06-28 | 2020-01-09 | 学校法人東京理科大学 | Steel material component identification device and program therefor |
| JP2020003359A (en) * | 2018-06-28 | 2020-01-09 | 学校法人東京理科大学 | Steel material component identification device and program therefor |
| JP7058009B2 (en) | 2018-06-28 | 2022-04-21 | 学校法人東京理科大学 | Steel component identification device and its program |
| JP7058008B2 (en) | 2018-06-28 | 2022-04-21 | 学校法人東京理科大学 | Steel component identification device and its program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5706233B2 (en) | 2015-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5706233B2 (en) | Steel component identification device and program thereof | |
| JP6403547B2 (en) | Steel component identification device and program thereof | |
| JP4675949B2 (en) | Method and apparatus for measuring crack width of structures and products using image processing technique | |
| EP3596450A2 (en) | Method and device for inspection of an asset | |
| WO2019072249A1 (en) | Method and device for analyzing water content of skin by means of skin image | |
| JP6283534B2 (en) | Tire deterioration evaluation apparatus and system, method and program thereof | |
| JP2008014652A (en) | Dust particle inspection system, dust particle inspection method, program and recording medium | |
| CN114882010A (en) | Surface defect detection method based on picture recognition | |
| JP2006061170A (en) | Discrimination method for skin | |
| CN103996266B (en) | Tailing reservoir safety monitoring device based on video analysis | |
| CN117036259A (en) | Metal plate surface defect detection method based on deep learning | |
| JP5181912B2 (en) | Surface defect inspection method, surface defect inspection apparatus, steel sheet manufacturing method, and steel sheet manufacturing apparatus | |
| JP7209278B2 (en) | Steel component identification device, steel component identification method, and steel component identification program | |
| Ayitenfsu | Method of coffee bean defect detection | |
| JP6818263B2 (en) | Fracture surface analysis device and fracture surface analysis method | |
| JP7058008B2 (en) | Steel component identification device and its program | |
| CN103018327A (en) | Ultrasonic flaw detection brazed rate measuring method of rectifier of aero-engine | |
| JP7058009B2 (en) | Steel component identification device and its program | |
| JP7197091B2 (en) | Bursting spark recognition device, steel material identification device, bursting spark recognition method and bursting spark recognition program | |
| CN104198491B (en) | Based on expansive cut tobacco ratio measuring method in the tobacco shred of computer vision | |
| TWI282847B (en) | Method to measure the weight based on machine vision | |
| WO2018207265A1 (en) | Tire degradation evaluation system, and method and program thereof | |
| CN118096760B (en) | Tool wear detection method, apparatus, and readable storage medium | |
| CN117115174B (en) | Automatic detection method and system for appearance of pliers | |
| Rababaah et al. | Automatic visual inspection system for stamped sheet metals (AVIS 3 M) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130910 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130910 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140530 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140617 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140807 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150217 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150226 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5706233 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |