JP2006078451A - Thermoplastic adhesive inspecting device and inspection method - Google Patents
Thermoplastic adhesive inspecting device and inspection method Download PDFInfo
- Publication number
- JP2006078451A JP2006078451A JP2004265868A JP2004265868A JP2006078451A JP 2006078451 A JP2006078451 A JP 2006078451A JP 2004265868 A JP2004265868 A JP 2004265868A JP 2004265868 A JP2004265868 A JP 2004265868A JP 2006078451 A JP2006078451 A JP 2006078451A
- Authority
- JP
- Japan
- Prior art keywords
- thermoplastic adhesive
- image
- box
- inspection
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Closing Of Containers (AREA)
Abstract
Description
本発明は、熱可塑性接着剤の検査装置及び検査方法に関する。 The present invention relates to an inspection apparatus and an inspection method for a thermoplastic adhesive.
従来、この種の発明として、特許文献1に記載された「滑り防止用熱可塑性接着剤検査装置」に係る発明がある。図30は滑り防止用熱可塑性接着剤検査装置80の側面図である。滑り防止用熱可塑性接着剤検査装置80は、熱可塑性接着剤噴射部材81から熱可塑性接着剤82を噴射して搬送部材83によって搬送されてくる箱体6の上面に付着させることにより、この箱体6が段積みされた際に荷崩れを起すのを防止する装置である。滑り防止用熱可塑性接着剤検査装置80は、熱可塑性接着剤噴射部材81から噴射される熱可塑性接着剤82が通る道筋の側方に配置されて熱可塑性接着剤噴射部材81から噴射される熱可塑性接着剤82の有無を検知して検知信号を出力する検知部材84と、この検知部材84から検知信号が入力されこの検知信号に基づいて箱体6への熱可塑性接着剤82の塗布の有無を判定する制御部材(図示しない)とを備えている。 Conventionally, as an invention of this type, there is an invention related to “a non-slip thermoplastic adhesive inspection apparatus” described in Patent Document 1. FIG. 30 is a side view of the thermoplastic adhesive inspection device 80 for preventing slipping. The anti-slip thermoplastic adhesive inspection device 80 injects the thermoplastic adhesive 82 from the thermoplastic adhesive injection member 81 and adheres it to the upper surface of the box 6 conveyed by the conveying member 83. It is a device that prevents the collapse of the load when the bodies 6 are stacked. The anti-slip thermoplastic adhesive inspection device 80 is disposed on the side of the path through which the thermoplastic adhesive 82 injected from the thermoplastic adhesive injection member 81 passes and is injected from the thermoplastic adhesive injection member 81. A detection member 84 that detects the presence or absence of the plastic adhesive 82 and outputs a detection signal, and whether or not the detection signal is input from the detection member 84 and the thermoplastic adhesive 82 is applied to the box 6 based on the detection signal And a control member (not shown) for determining the above.
この滑り防止用熱可塑性接着剤検査装置80によれば、熱可塑性接着剤噴射部材81から噴射される熱可塑性接着剤82が、搬送部材83によって搬送されてくる箱体6の上面に吹き付けられて塗布される。このとき、検知部材84によって熱可塑性接着剤噴射部材81から熱可塑性接着剤82が噴出されたか否かが検知されてその検知信号が制御部材に入力される。制御部材は、検知部材84から入力される検知信号に基づいて熱可塑性接着剤噴射部材81から熱可塑性接着剤82が噴射されているか否かを判断し、熱可塑性接着剤噴射部材81から熱可塑性接着剤82が噴射されていないと判断した場合には、箱体6への熱可塑性接着剤82の塗布が異常であると判断する。
しかしながら、従来の熱可塑性接着剤検査装置80においては、熱可塑性接着剤噴射部材81から箱体6への熱可塑性接着剤82の噴射の有無は判断されたが、箱体6に対する熱可塑性接着剤82が噴射された位置及び噴射量については判断されなかった。したがって、たとえ箱体6に対して熱可塑性接着剤82が噴射された場合においても、箱体6に対する噴射位置及び量が適確でない場合においては、箱体6の強度が落ちるという問題があった。 However, in the conventional thermoplastic adhesive inspection device 80, it has been determined whether or not the thermoplastic adhesive 82 is jetted from the thermoplastic adhesive jetting member 81 to the box 6, but the thermoplastic adhesive for the box 6 is determined. The position and amount of injection of 82 were not judged. Therefore, even when the thermoplastic adhesive 82 is sprayed on the box 6, there is a problem that the strength of the box 6 is lowered when the spraying position and amount with respect to the box 6 are not accurate. .
本発明は上記した従来技術の問題点を解決するためになされたものであり、その目的は、熱可塑性接着剤の塗布異常を速やかに検出して、熱可塑性接着剤が正常に塗布されていない箱体が搬出されることを防止することができる熱可塑性接着剤検査装置及び検査方法を提供することにある。 The present invention has been made to solve the above-described problems of the prior art, and its purpose is to quickly detect abnormal application of the thermoplastic adhesive, and the thermoplastic adhesive is not normally applied. An object of the present invention is to provide a thermoplastic adhesive inspection device and an inspection method capable of preventing the box from being carried out.
本発明のうち請求項1に係る熱可塑性接着剤検査装置は、箱展開シートを折り曲げて、前記箱展開シートの必要部分に熱可塑性接着剤を塗布し、塗布された熱可塑性接着剤により前記必要部分を接着することによって箱体とする箱体成形装置に備えられる熱可塑性接着剤検査装置において、前記箱体成形装置に設けられ、前記箱展開シートの必要部分に塗布された熱可塑性接着剤に光を照射する光源装置と、前記箱体成形装置に設けられ、前記熱可塑性接着剤からの反射光を撮像する撮像装置と、該撮像装置と接続され、該撮像装置から送られてきた画像データを処理し、塗布された熱可塑性接着剤の面積、縦長さ、横長さ、縦位置及び横位置のうちいずれか1つ以上を、予め設定された値と比較することにより、前記熱可塑性接着剤が正常に塗布されているかを判定する画像処理装置とを有することを特徴とする。 In the thermoplastic adhesive inspection device according to claim 1 of the present invention, the box spread sheet is bent, the thermoplastic adhesive is applied to a necessary portion of the box spread sheet, and the necessary is applied by the applied thermoplastic adhesive. In the thermoplastic adhesive inspection apparatus provided in the box forming apparatus that forms a box by adhering the parts, the thermoplastic adhesive provided in the box forming apparatus and applied to the necessary part of the box spread sheet A light source device that irradiates light, an image pickup device that is provided in the box forming device and picks up reflected light from the thermoplastic adhesive, and image data that is connected to the image pickup device and sent from the image pickup device By comparing any one or more of the area, vertical length, horizontal length, vertical position and horizontal position of the applied thermoplastic adhesive with a preset value. Is normal And having a determining image processing apparatus whether it is applied.
また、本発明のうち請求項2に係る熱可塑性接着剤検査方法は、箱展開シートを折り曲げて、前記箱展開シートの必要部分に熱可塑性接着剤を塗布し、塗布された熱可塑性接着剤により前記必要部分を接着することによって箱体とする箱体成形装置に設けられた光源装置により、前記箱展開シートの必要部分に塗布された熱可塑性接着剤に光を照射する工程と、前記箱体成形装置に設けられた撮像装置により、前記熱可塑性接着剤からの反射光を撮像する工程と、前記撮像装置と接続された画像処理装置によって、前記撮像装置から送られてきた画像を処理し、塗布された熱可塑性接着剤の面積、縦長さ、横長さ、縦位置及び横位置のうちいずれか1つ以上を、予め設定された規定値と比較することにより、前記熱可塑性接着剤が正常に塗布されているかを判定する工程とを含むことを特徴とする。 In the thermoplastic adhesive inspection method according to claim 2 of the present invention, the box spread sheet is bent, the thermoplastic adhesive is applied to a necessary portion of the box spread sheet, and the applied thermoplastic adhesive is used. A step of irradiating the thermoplastic adhesive applied to the necessary part of the box unfolded sheet with light by a light source device provided in a box forming apparatus that forms a box by adhering the necessary part; and the box The process of imaging the reflected light from the thermoplastic adhesive by the imaging device provided in the molding device, and processing the image sent from the imaging device by the image processing device connected to the imaging device, By comparing any one or more of the area, vertical length, horizontal length, vertical position and horizontal position of the applied thermoplastic adhesive with a preset specified value, the thermoplastic adhesive can be Coating It is characterized in that it comprises a step of determining whether the.
本発明によれば、画像処理装置により、塗布された熱可塑性接着剤の面積、縦長さ、横長さ、縦位置及び横位置を予め設定された値と比較し、前記熱可塑性接着剤が正常に塗布されているかを判定できる。よって、熱可塑性接着剤の塗布異常を速やかに検出して、熱可塑性接着剤が正常に塗布されていない箱体が搬出されることを防止することができる。 According to the present invention, the area, vertical length, horizontal length, vertical position, and horizontal position of the applied thermoplastic adhesive are compared by the image processing apparatus with preset values, and the thermoplastic adhesive is normally used. It can be determined whether it is applied. Therefore, it is possible to quickly detect abnormal application of the thermoplastic adhesive, and to prevent the box body not properly coated with the thermoplastic adhesive from being carried out.
以下、本発明の実施形態を図面を参照して説明する。
図1は本発明の実施形態に係る熱可塑性接着剤検査装置の概略構成図である。
図1において、熱可塑性接着剤検査装置1は、箱体成形装置2において、2つのトップ用照明装置(光源装置)3aと、4つのサイド用照明装置(光源装置)3bと、2つのトップ用カメラ(撮像装置)4aと、4つのサイド用カメラ(撮像装置)4bと、画像処理装置5a及び5bと、制御装置7とを備えている。
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a schematic configuration diagram of a thermoplastic adhesive inspection apparatus according to an embodiment of the present invention.
In FIG. 1, a thermoplastic adhesive inspection apparatus 1 includes two top lighting devices (light source devices) 3a, four side lighting devices (light source devices) 3b, and two top lighting devices in a box forming device 2. A camera (imaging device) 4a, four side cameras (imaging devices) 4b, image processing devices 5a and 5b, and a control device 7 are provided.
図1に示すように、2つのトップ用照明装置3aは、箱体成形装置2の箱搬送方向(図1における左右方向)に対して直交する方向に一定の間隔で取付けられ、箱体6のトップフラップ29に塗布されたホットメルト(熱可塑性接着剤)40に対して光を照射するようになっている。また、4つのサイド用照明装置3bは、箱体成形装置2の箱搬送方向に対して水平方向左右側方に一定の間隔で取付けられ、箱体6の内サイドフラップ25、26、30及び31に塗布されたホットメルト41に対して光を照射するようになっている。 As shown in FIG. 1, the two top lighting devices 3 a are attached at a constant interval in a direction orthogonal to the box conveying direction (left and right direction in FIG. 1) of the box forming device 2. The hot melt (thermoplastic adhesive) 40 applied to the top flap 29 is irradiated with light. The four side lighting devices 3b are attached at regular intervals horizontally to the left and right sides with respect to the box conveying direction of the box forming apparatus 2, and the inner side flaps 25, 26, 30 and 31 of the box 6 are provided. The hot melt 41 applied to the substrate is irradiated with light.
2つのトップ用カメラ4aは、箱体成形装置2の箱搬送方向に対して直交する方向にトップ用照明装置3aと並べて取付けられ、ホットメルト40からの反射光を受光するようになっている。
また、4つのサイド用カメラ4bは、箱体成形装置2の箱搬送方向に対して水平方向左右側方にサイド用照明装置3bと並べて取付けられ、ホットメルト41からの反射光を受光するようになっている。
The two top cameras 4 a are mounted side by side with the top lighting device 3 a in a direction orthogonal to the box conveying direction of the box forming apparatus 2, and receive reflected light from the hot melt 40.
The four side cameras 4b are mounted side by side with the side lighting devices 3b on the left and right sides in the horizontal direction with respect to the box conveying direction of the box forming device 2 so as to receive the reflected light from the hot melt 41. It has become.
そして、トップ用カメラ4aは画像処理装置5aに、サイド用カメラ4bは画像処理装置5bにそれぞれ接続され、撮像画像が伝送されるようになっている。
図2は箱展開シート20の正面図である。図3は箱体6が箱形成装置2上において形成される途中の状態を示す斜視図である。図4は箱体6とトップ用カメラ4a、サイド用カメラ4b、トップ用照明装置3a及びサイド用照明装置3bとの対応関係を示す斜視図である。
The top camera 4a is connected to the image processing device 5a, and the side camera 4b is connected to the image processing device 5b, so that a captured image is transmitted.
FIG. 2 is a front view of the box expansion sheet 20. FIG. 3 is a perspective view showing a state where the box 6 is being formed on the box forming apparatus 2. FIG. 4 is a perspective view showing a correspondence relationship between the box 6 and the top camera 4a, the side camera 4b, the top lighting device 3a, and the side lighting device 3b.
図2において箱展開シート20は、底面パネル22と、底面パネル22の幅方向(図2における左右方向)の側部に折り曲げ線35を介して連設された側面パネル23と、側面パネル23の幅方向の側部に折り曲げ線34を介して連設された天面パネル21と、底面パネル22の幅方向の側部に折り曲げ線36を介して連設された側面パネル24と、側面パネル24の幅方向の側部に折り曲げ線37を介して連設されたトップフラップ29と、底面パネル22の長手方向(図2における上下方向)の両端部に折り曲げ線38を介して連設された外サイドフラップ28及び33と、天面パネル21の長手方向の両端部に折り曲げ線38を介して連設された外サイドフラップ27及び32と、側面パネル23の長手方向の両端部に折り曲げ線39を介して連設された内サイドフラップ25及び30と、側面パネル24の長手方向の両端部に折り曲げ線39を介して連設された内サイドフラップ26及び31とから形成される。 In FIG. 2, the box unfolding sheet 20 includes a bottom panel 22, a side panel 23 connected to the side of the bottom panel 22 in the width direction (left and right direction in FIG. 2) via a fold line 35, The top panel 21 connected to the side portion in the width direction via the fold line 34, the side panel 24 connected to the side portion in the width direction of the bottom panel 22 via the fold line 36, and the side panel 24 The top flap 29 connected to the side in the width direction via a fold line 37 and the outside connected to the both ends of the bottom panel 22 in the longitudinal direction (vertical direction in FIG. 2) via a fold line 38. Side flaps 28 and 33, outer side flaps 27 and 32 connected to both longitudinal ends of the top panel 21 via a folding line 38, and folding lines 39 to both longitudinal ends of the side panel 23. The side flaps 25 and 30 among which are continuously provided through, is formed from the side flaps 26 and 31. Among which is continuously provided through the longitudinal ends fold line 39 of the side panel 24.
箱展開シート20は、図3に示すように、箱体形成装置2にトップフラップ29を搬送方向上流側として設置される。そして、箱体形成装置2は、箱展開シート20を、各折り曲げ線34、35、36、37を介して天面パネル21、底面パネル22、側面パネル23、側板パネル24及びトップフラップ29を折り曲げた後、メルトガン(図示しない)によりトップフラップ29の外面にホットメルト40を長手方向に並べて複数箇所(本実施例においては6箇所)塗布し、該塗布部分に天面パネル21の端部を接着して略四角筒状に成形する。次いで、内サイドフラップ25、26、30及び31を折り曲げ線39を介して折り曲げ、メルトガン(図示しない)により各内サイドフラップにホットメルト41を幅方向に並べて複数箇所(本実施例においては各2箇所)塗布した後、外サイドフラップ27、28、32及び33を折り曲げて内サイドフラップ25、26、30及び31と接着し、これにより箱体6が形成される。 As illustrated in FIG. 3, the box unfolding sheet 20 is installed in the box forming apparatus 2 with the top flap 29 on the upstream side in the conveyance direction. The box forming apparatus 2 bends the box unfolded sheet 20 through the folding lines 34, 35, 36, and 37 to fold the top panel 21, bottom panel 22, side panel 23, side plate panel 24, and top flap 29. After that, hot melt 40 is arranged in the longitudinal direction on the outer surface of the top flap 29 by a melt gun (not shown) and applied at a plurality of locations (six locations in this embodiment), and the end of the top panel 21 is adhered to the applied portion. Then, it is formed into a substantially rectangular tube shape. Next, the inner side flaps 25, 26, 30 and 31 are bent through a fold line 39, and hot melts 41 are arranged in the width direction on each inner side flap by a melt gun (not shown) to provide a plurality of locations (in this embodiment, each two Location) After coating, the outer side flaps 27, 28, 32 and 33 are bent and bonded to the inner side flaps 25, 26, 30 and 31, whereby the box 6 is formed.
上記流れの中、トップフラップ29にホットメルト40を塗布後、天面パネル21の端部を接着前及び、各内サイドフラップにホットメルト41を塗布後、各外サイドフラップと接着前において、図4に示すように、トップ用照明装置3aはメルト40に対して、サイド用照明装置3bはホットメルト41に対して光を照射する。そして、メルト40に対して照射された光の反射光をトップ用カメラ4aが撮像し、メルト41に対して照射された光の反射光をサイド用カメラ4bが撮像する。この場合において、トップ用照明装置3a及びサイド用照明装置3bはUVファイバー照明であることが好ましいが、UVファイバー照明以外の照明であってもかまわない。また、トップ用カメラ4a及びサイド用カメラ4bはUVカットフィルタが備えられた、CCDカメラであることが好ましいが、UVカットフィルタが備えられていなくてもかまわなく、CCDカメラ以外のカメラであってもかまわない。 In the above flow, after applying the hot melt 40 to the top flap 29, before bonding the end of the top panel 21 and after applying the hot melt 41 to each inner side flap, before bonding to each outer side flap, FIG. As shown in FIG. 4, the top lighting device 3 a emits light to the melt 40, and the side lighting device 3 b emits light to the hot melt 41. Then, the top camera 4a images the reflected light of the light irradiated to the melt 40, and the side camera 4b images the reflected light of the light irradiated to the melt 41. In this case, the top illumination device 3a and the side illumination device 3b are preferably UV fiber illumination, but may be illumination other than UV fiber illumination. The top camera 4a and the side camera 4b are preferably CCD cameras provided with a UV cut filter, but may not be provided with a UV cut filter, and may be cameras other than a CCD camera. It doesn't matter.
図5は画像処理装置5aにおける撮像画像の処理を表したフローチャート図である。図6は画像処理装置5bにおける撮像画像の処理を表したフローチャート図である。図7はトップフラップに塗布されたホットメルトの検査領域画像の正面図である。図8は背景画像の正面図である。図9はシェーディング補正画像の正面図である。図10は2値化画像の正面図である。図11はクロージング処理画像の正面図である。図12はオープニング処理画像の正面図である。図13は縦長さ測定画像の正面図である。図14は横長さ測定画像の正面図である。図15は縦位置ずれ測定画像の正面図である。図16は横位置ずれ測定画像の正面図である。 FIG. 5 is a flowchart showing processing of a captured image in the image processing apparatus 5a. FIG. 6 is a flowchart showing processing of a captured image in the image processing device 5b. FIG. 7 is a front view of an inspection region image of hot melt applied to the top flap. FIG. 8 is a front view of the background image. FIG. 9 is a front view of the shading correction image. FIG. 10 is a front view of the binarized image. FIG. 11 is a front view of a closing image. FIG. 12 is a front view of the opening process image. FIG. 13 is a front view of a longitudinal length measurement image. FIG. 14 is a front view of a horizontal length measurement image. FIG. 15 is a front view of a vertical displacement measurement image. FIG. 16 is a front view of a lateral displacement measurement image.
図5を参照して、画像処理装置5aでの処理を説明すると、先ず、ステップS101において、各トップ用カメラ4aにより撮像された撮像画像は、画像処理装置5aへと入力される。
そして、画像処理装置5aに入力された撮像画像は、ステップS102において、図7に示す検査領域画像45が決定される。検査領域画像45は、ホットメルト部46と背景部47とホットメルトの糸引き部48とから構成されている。
The processing in the image processing device 5a will be described with reference to FIG. 5. First, in step S101, the captured image captured by each top camera 4a is input to the image processing device 5a.
Then, in step S102, the inspection area image 45 shown in FIG. 7 is determined from the captured image input to the image processing device 5a. The inspection area image 45 includes a hot melt part 46, a background part 47, and a hot melt stringing part 48.
次いで、ステップS103において、図8に示すように、検査領域画像45から背景部47が抽出され、背景画像49が作成される。
そして、ステップS104において、図9に示すように、検査領域画像45から背景画像49の差分を取ることによって、背景部47の輝度ムラの影響を無くす、シェーディング処理が行われ、シェーディング補正画像50が作成される。
Next, in step S103, as shown in FIG. 8, the background portion 47 is extracted from the inspection region image 45, and a background image 49 is created.
Then, in step S104, as shown in FIG. 9, a difference between the inspection area image 45 and the background image 49 is taken to perform a shading process that eliminates the influence of luminance unevenness of the background portion 47, and the shading correction image 50 is displayed. Created.
ステップS105において、図10に示すように、各検査領域毎に予め設定された2値化閾値を使用し、ホットメルトの特徴量(面積、長さ等)を計測しやすくするために白と黒に2値化し、2値化画像51を作成する。この2値化処理に際して、2値化処理後の2値化画像51において、図10に示すように、ホットメルト部46の中に穴(ノイズ)52が生じる場合がある。
S106において、図11に示すように、2値化の際にホットメルト部46の中にできた穴(ノイズ)52を埋めるクロージング処理が行われ、クロージング処理画像53が作成される。
ステップS107において、図12に示すように、ホットメルトの糸引き部48を除去するオープニング処理が行われ、オープニング処理画像54が作成される。
In step S105, as shown in FIG. 10, white and black are used to facilitate measurement of hot melt feature quantities (area, length, etc.) using a binary threshold value preset for each inspection region. And binarized image 51 is created. In the binarization process, in the binarized image 51 after the binarization process, as shown in FIG. 10, a hole (noise) 52 may be generated in the hot melt part 46.
In S106, as shown in FIG. 11, a closing process for filling a hole (noise) 52 formed in the hot melt part 46 at the time of binarization is performed, and a closing process image 53 is created.
In step S107, as shown in FIG. 12, an opening process for removing the hot melt stringing section 48 is performed, and an opening process image 54 is created.
そして、その後、ステップS108において、面積、縦長さ、横長さ、縦位置ずれ及び横位置ずれの計測処理が行われる。面積の計測処理においては、図12に示すように、オープニング処理画像54の白い部分の画素数をカウントし、面積とする。縦長さの計測処理においては、図13に示すように、オープニング処理画像54のホットメルト部46の長手方向(図13における上下方向)の縦長さaを測定し、画素数をミリメートルへと分解能変換する。横長さの計測処理においては、図14に示すように、オープニング処理画像54のホットメルト部46の幅方向(図14における左右方向)の横長さbを測定し、画素数をミリメートルへと分解能変換する。縦位置ずれの計測処理においては、図15に示すように、オープニング処理画像54のホットメルト部46の重心位置55を求め、その重心位置55の長手方向成分eとオープニング処理画像54の長手方向の中心位置cとの縦ずれを測定し、画素数をミリメートルへと分解能変換する。横位置ずれの計測処理においては、図16に示すように、オープニング処理画像54のホットメルト部46の重心位置55幅方向成分fとオープニング処理画像54の幅方向の中心位置dとの横ずれを測定し、画素数をミリメートルへと分解能変換する。 After that, in step S108, the area, the vertical length, the horizontal length, the vertical position deviation, and the horizontal position deviation are measured. In the area measurement process, as shown in FIG. 12, the number of pixels in the white part of the opening process image 54 is counted and used as the area. In the vertical length measurement process, as shown in FIG. 13, the vertical length a of the hot melt part 46 in the opening processed image 54 in the longitudinal direction (vertical direction in FIG. 13) is measured, and the resolution is converted to millimeters. To do. In the horizontal length measurement process, as shown in FIG. 14, the horizontal length b in the width direction (left-right direction in FIG. 14) of the hot melt portion 46 of the opening processing image 54 is measured, and the resolution is converted to millimeters. To do. In the measurement processing of the vertical position deviation, as shown in FIG. 15, the gravity center position 55 of the hot melt portion 46 of the opening processing image 54 is obtained, and the longitudinal component e of the gravity center position 55 and the longitudinal direction of the opening processing image 54 are obtained. The vertical deviation from the center position c is measured, and the resolution is converted to millimeters. In the lateral displacement measurement process, as shown in FIG. 16, the lateral displacement between the center-of-gravity position 55 width direction component f of the hot melt portion 46 of the opening processing image 54 and the center position d of the opening processing image 54 in the width direction is measured. The resolution is converted to millimeters.
図17は各内サイドフラップに塗布されたホットメルトの検査領域画像の正面図である。図18は黒印刷除去画像の正面図である。図19はオープニング処理画像の正面図である。図20は輪郭抽出画像の正面図である。図21は輪郭の2値化画像の正面図である。図22は輪郭の接続画像の正面図である。図23は輪郭の穴埋め画像の正面図である。図24は収縮画像の正面図である。図25はホットメルト抽出後の検査領域枠設定画像の正面図である。図26は縦長さ測定画像の正面図である。図27は横長さ測定画像の正面図である。図28は縦位置ずれ測定画像の正面図である。図29は横位置ずれ測定画像の正面図である。 FIG. 17 is a front view of an inspection region image of hot melt applied to each inner side flap. FIG. 18 is a front view of the black print removed image. FIG. 19 is a front view of the opening process image. FIG. 20 is a front view of the contour extraction image. FIG. 21 is a front view of a binarized image of an outline. FIG. 22 is a front view of a contour connection image. FIG. 23 is a front view of a contour hole filling image. FIG. 24 is a front view of the contracted image. FIG. 25 is a front view of an inspection area frame setting image after hot melt extraction. FIG. 26 is a front view of a longitudinal length measurement image. FIG. 27 is a front view of a horizontal length measurement image. FIG. 28 is a front view of a vertical displacement measurement image. FIG. 29 is a front view of a lateral displacement measurement image.
次に、図6を参照して、画像処理装置5bでの処理について説明すると、先ず、ステップS201において、各サイド用カメラ4bにより撮像された撮像画像は、画像処理装置5bへと入力される。
そして、ステップS202において、撮像画像の縮小が行われ、撮像画像の横幅が二分の一倍に縮小される。
次いで、ステップS203において、図17に示すように、縮小された撮像画像について、検査領域画像56が決定される。検査領域画像56は、各フラップが長方形に映らないため、各フラップの写り方に合わせた4角形領域で設定する。検査領域画像56は、ホットメルト部57と背景部58とホットメルトの糸引き部59とから構成されている。
ステップS204において、図18に示すように、背景部58における黒い印刷等を除去するクロージング処理が行われ、黒印刷除去画像60が作成される。
Next, processing in the image processing device 5b will be described with reference to FIG. 6. First, in step S201, a captured image captured by each side camera 4b is input to the image processing device 5b.
In step S202, the captured image is reduced, and the horizontal width of the captured image is reduced by a factor of two.
Next, in step S203, as shown in FIG. 17, an inspection region image 56 is determined for the reduced captured image. Since each flap does not appear in a rectangle, the inspection area image 56 is set as a quadrangular area that matches the way the flaps are captured. The inspection area image 56 includes a hot melt part 57, a background part 58, and a hot melt stringing part 59.
In step S204, as shown in FIG. 18, a closing process for removing black printing or the like in the background portion 58 is performed, and a black print removal image 60 is created.
ステップS205において、図19に示すように、ホットメルトの糸引き部59を除去するオープニング処理が行われ、オープニング処理画像61が作成される。
ステップS206において、図20に示すように、ホットメルト部57の輪郭部63を抽出するソーベルフィルタ処理が行われ、輪郭抽出画像62が作成される。
ステップS207において、図21に示すように、各検査領域毎に予め設定された2値化閾値を使用し、輪郭部63をはっきりさせるために輪郭部63を白、背景部58を黒に分け、輪郭の2値化画像64が作成される。この2値化処理に際して、2値化処理後の輪郭の2値化画像64において、図21に示すように、輪郭部63に途切れ部分65が生じる場合があり、また、輪郭部63の内側は穴部66となっている。
In step S205, as shown in FIG. 19, an opening process for removing the hot melt stringing section 59 is performed, and an opening process image 61 is created.
In step S206, as shown in FIG. 20, the Sobel filter process for extracting the contour portion 63 of the hot melt portion 57 is performed, and the contour extraction image 62 is created.
In step S207, as shown in FIG. 21, a binarization threshold value set in advance for each inspection region is used, and the contour portion 63 is divided into white and the background portion 58 is divided into black in order to clarify the contour portion 63. A binarized image 64 of the contour is created. In the binarization processing, in the binarized image 64 of the contour after the binarization processing, as shown in FIG. 21, a discontinuous portion 65 may occur in the contour portion 63, and the inside of the contour portion 63 is A hole 66 is formed.
ステップS208において、図22に示すように、輪郭部63の途切れ部分65を接続するクロージング処理が行われ、輪郭の接続画像67が作成される。
ステップS209において、図23に示すように、輪郭部63の内側の穴部66を埋め、ホットメルト部69とするクロージング処理が行われ、輪郭の穴埋め画像68が作成される。
In step S208, as shown in FIG. 22, a closing process for connecting the discontinuous portion 65 of the contour portion 63 is performed, and a contour connection image 67 is created.
In step S209, as shown in FIG. 23, a closing process is performed to fill the hole portion 66 inside the contour portion 63 to form the hot melt portion 69, and a contour hole-filled image 68 is created.
ステップS210において、図24に示すように、ホットメルト部69は、輪郭抽出時に実際のメルトより大きめに抽出されているため、元のサイズに収縮し、ホットメルト部71とするエロージョン処理が行われ、収縮画像70が作成される。
ステップS211において、収縮画像70について検査領域枠73が設定され、検査領域枠設定画像72が作成される。
In step S210, as shown in FIG. 24, since the hot melt part 69 is extracted larger than the actual melt at the time of contour extraction, the hot melt part 69 contracts to the original size and is subjected to an erosion process as the hot melt part 71. A contracted image 70 is created.
In step S211, an inspection area frame 73 is set for the contracted image 70, and an inspection area frame setting image 72 is created.
そして、その後、ステップS212において、面積、縦長さ、横長さ、縦位置ずれ及び横位置ずれの計測処理が行われる。面積の計測処理においては、図25に示すように、検査領域枠設定画像72の白い部分の画素数をカウントし、面積とする。縦長さの計測処理においては、図26に示すように、検査領域枠設定画像72のホットメルト部71の幅方向(図26における上下方向)の縦長さgを測定し、画素数をミリメートルへと分解能変換する。横長さの計測処理においては、図27に示すように、検査領域枠設定画像72のホットメルト部71の長手方向(図27における左右方向)の横長さhを測定し、画素数をミリメートルへと分解能変換する。縦位置ずれの計測処理においては、図28に示すように、検査領域枠設定画像72のホットメルト部71の重心位置74を求め、その重心位置74の幅方向成分kと検査領域枠73の幅方向の中心位置iとの縦ずれを測定し、画素数をミリメートルへと分解能変換する。横位置ずれの計測処理においては、図29に示すように、検査領域枠設定画像72におけるホットメルト部71の重心位置74の長手方向成分lと検査領域枠73の長手方向の中心位置jとの横ずれを測定し、画素数をミリメートルへと分解能変換する。 Thereafter, in step S212, measurement processing of area, vertical length, horizontal length, vertical position shift, and horizontal position shift is performed. In the area measurement process, as shown in FIG. 25, the number of pixels in the white portion of the inspection region frame setting image 72 is counted and set as the area. In the vertical length measurement process, as shown in FIG. 26, the vertical length g of the hot melt portion 71 of the inspection region frame setting image 72 in the width direction (vertical direction in FIG. 26) is measured, and the number of pixels is changed to millimeters. Convert resolution. In the horizontal length measurement process, as shown in FIG. 27, the horizontal length h in the longitudinal direction (left-right direction in FIG. 27) of the hot melt portion 71 of the inspection area frame setting image 72 is measured, and the number of pixels is changed to millimeters. Convert resolution. In the vertical displacement measurement process, as shown in FIG. 28, the center of gravity position 74 of the hot melt portion 71 of the inspection area frame setting image 72 is obtained, and the width direction component k of the center of gravity position 74 and the width of the inspection area frame 73 are obtained. The vertical deviation from the center position i of the direction is measured, and the resolution is converted to millimeters. In the measurement process of the lateral displacement, as shown in FIG. 29, the longitudinal direction component l of the center of gravity position 74 of the hot melt part 71 and the longitudinal center position j of the inspection region frame 73 in the inspection region frame setting image 72 are obtained. The lateral shift is measured, and the resolution is converted to the number of pixels in millimeters.
画像処理装置5a及び画像処理装置5bにより測定された面積、縦長さ、横長さ、縦位置ずれ及び横位置ずれの各検査項目は、予め設定された検査パラメータの範囲(予め設定された値)と比較され、OK、NG及びSUSPECTの各検査項目毎に判定される。そして、全検査領域及び全検査項目でOKの時のみOK信号を制御装置7に出力し、どれか1つでもNGがある場合にはNGと出力し、NGが全く無くSUSPECTが1つでもある場合にはSUSPECTを出力する。また、SUSPECT信号を連続して出力した場合には、点検信号を出力するようになっている。 Each inspection item of area, vertical length, horizontal length, vertical position deviation, and horizontal position deviation measured by the image processing apparatus 5a and the image processing apparatus 5b includes a preset inspection parameter range (preset value). It is compared and judged for each inspection item of OK, NG, and SUSPECT. Then, an OK signal is output to the control device 7 only when all inspection areas and all inspection items are OK. If any one is NG, NG is output, there is no NG, and there is only one SUSPECT. In this case, SUSPECT is output. Further, when the SUSPECT signal is continuously output, an inspection signal is output.
画像処理装置5a及び画像処理装置5bよりOK又はNG信号を受信した制御装置7は、NG信号を受信した場合には、箱体成形装置2に対して、NG信号に係る箱体6を除去するよう指令を出力する。これにより、熱可塑性接着剤の塗布異常を速やかに検出して、熱可塑性接着剤が正常に塗布されていない箱体が搬出されることを防止することができる。 When receiving the NG signal, the control device 7 that has received the OK or NG signal from the image processing device 5a and the image processing device 5b removes the box 6 related to the NG signal from the box forming device 2. Command is output. Thereby, abnormal application of the thermoplastic adhesive can be quickly detected, and the box body to which the thermoplastic adhesive is not normally applied can be prevented from being carried out.
本実施形態においては、ホットメルト40及び41は、それぞれトップフラップ29又は内サイドフラップ25、26、30及び31に塗布されているが、かかる場所に限定されるものではなく、箱体成形6の成形に必要な部分に塗布してもよい。また、本実施形態においては、画像処理装置5a及び5bにおいて、塗布された熱可塑性接着剤の面積、縦長さ、横長さ、縦位置及び横位置の全てを計測し、判定しているが、かかる場合に限定されるものではなく、面積、縦長さ、横長さ、縦位置及び横位置のうち1つを計測し、判定するものであってもよい。 In the present embodiment, the hot melts 40 and 41 are respectively applied to the top flap 29 or the inner side flaps 25, 26, 30 and 31, but the hot melts 40 and 41 are not limited to such places. You may apply | coat to a part required for shaping | molding. In the present embodiment, the image processing apparatuses 5a and 5b measure and determine all the area, vertical length, horizontal length, vertical position, and horizontal position of the applied thermoplastic adhesive. It is not limited to the case, and one of area, vertical length, horizontal length, vertical position, and horizontal position may be measured and determined.
1 熱可塑性接着剤検査装置
2 箱体成形装置
3a トップ用照明装置
3b サイド用照明装置
4a トップ用カメラ
4b サイド用カメラ
5a 画像処理装置
5b 画像処理装置
6 箱体
7 制御装置
20 箱展開シート
21 天面パネル
22 底面パネル
23 側面パネル
24 側面パネル
25 内サイドフラップ
26 内サイドフラップ
27 外サイドフラップ
28 外サイドフラップ
29 トップフラップ
30 内サイドフラップ
31 内サイドフラップ
32 外サイドフラップ
33 外サイドフラップ
34 折り曲げ線
35 折り曲げ線
36 折り曲げ線
37 折り曲げ線
38 折り曲げ線
39 折り曲げ線
40 ホットメルト
41 ホットメルト
45 検査領域画像
46 ホットメルト部
47 背景部
48 ホットメルトの糸引き部
49 背景画像
50 シェーディング補正画像
51 2値化画像
52 穴(ノイズ)
53 クロージング処理画像
54 オープニング処理画像
55 重心位置
56 検査領域画像
57 ホットメルト部
58 背景部
59 ホットメルトの糸引き部
60 黒印刷除去画像
61 オープニング処理画像
62 輪郭抽出画像
63 輪郭部
64 輪郭の2値化画像
65 途切れ部分
66 穴部
67 輪郭の接続画像
68 輪郭の穴埋め画像
69 ホットメルト部
70 収縮画像
71 ホットメルト部
72 検査領域枠設定画像
73 検査領域枠
74 重心位置
a 縦長さ
b 横長さ
c 長手方向の中心位置
d 幅方向の中心位置
e 長手方向成分
f 幅方向成分
g 縦長さ
h 横長さ
i 幅方向の中心位置
j 長手方向の中心位置
k 幅方向成分
l 長手方向成分
S101 撮像画像入力
S102 検査領域画像の決定
S103 背景画像の作成
S104 シェーディング処理
S105 2値化処理
S106 クロージング処理
S107 オープニング処理
S108 計測処理
S201 撮像画像入力
S202 撮像画像の縮小
S203 検査領域画像の決定
S204 クロージング処理
S205 オープニング処理
S206 ソーベルフィルタ処理
S207 2値化処理
S208 クロージング処理
S209 クロージング処理
S210 エロージョン処理
S211 検査領域枠の設定
S212 計測処理
80 滑り防止用熱可塑性接着剤検査装置
81 熱可塑性接着剤噴射部材
82 熱可塑性接着剤
83 搬送部材
84 検知部材
DESCRIPTION OF SYMBOLS 1 Thermoplastic adhesive test | inspection apparatus 2 Box body shaping | molding apparatus 3a Top illumination apparatus 3b Side illumination apparatus 4a Top camera 4b Side camera 5a Image processing apparatus 5b Image processing apparatus 6 Box 7 Control apparatus 20 Box expansion sheet 21 Top Surface panel 22 Bottom panel 23 Side panel 24 Side panel 25 Inner side flap 26 Inner side flap 27 Outer side flap 28 Outer side flap 29 Top flap 30 Inner side flap 31 Inner side flap 32 Outer side flap 33 Outer side flap 34 Folding line 35 Folding line 36 Folding line 37 Folding line 38 Folding line 39 Folding line 40 Hot melt 41 Hot melt 45 Inspection area image 46 Hot melt part 47 Background part 48 Hot melt stringing part 49 Background image 50 Shading correction image 51 Binarized image 52 holes (noise)
53 Closing processing image 54 Opening processing image 55 Center of gravity position 56 Inspection area image 57 Hot melt part 58 Background part 59 Hot melt stringing part 60 Black print removal image 61 Opening processing image 62 Contour extraction image 63 Contour part 64 Contour binary Image 65 Discontinuity portion 66 Hole portion 67 Contour connection image 68 Contour hole filling image 69 Hot melt portion 70 Shrinkage image 71 Hot melt portion 72 Inspection region frame setting image 73 Inspection region frame 74 Center of gravity position a Vertical length b Horizontal length c Long Center position d in the width direction Center position e in the width direction Longitudinal component f Width component g Vertical length h Horizontal length i Center position in the width direction j Center position in the longitudinal direction k Width direction component l Longitudinal component S101 Captured image input S102 Inspection Region image determination S103 Background image creation S104 Shading process S105 Binary Process S106 Closing process S107 Opening process S108 Measurement process S201 Captured image input S202 Reduction of captured image S203 Determination of inspection area image S204 Closing process S205 Opening process S206 Sobel filter process S207 Binary process S208 Closing process S209 Closing process S210 Erosion process S211 Inspection area frame setting S212 Measurement processing 80 Anti-slip thermoplastic adhesive inspection device 81 Thermoplastic adhesive injection member 82 Thermoplastic adhesive 83 Conveying member 84 Detection member
Claims (2)
前記箱体成形装置に設けられ、前記箱展開シートの必要部分に塗布された熱可塑性接着剤に光を照射する光源装置と、前記箱体成形装置に設けられ、前記熱可塑性接着剤からの反射光を撮像する撮像装置と、該撮像装置と接続され、該撮像装置から送られてきた画像データを処理し、塗布された熱可塑性接着剤の面積、縦長さ、横長さ、縦位置及び横位置のうちいずれか1つ以上を、予め設定された値と比較することにより、前記熱可塑性接着剤が正常に塗布されているかを判定する画像処理装置とを有することを特徴とする、熱可塑性接着剤検査装置。 It is provided in a box forming apparatus that forms a box by bending a box development sheet, applying a thermoplastic adhesive to a necessary part of the box development sheet, and bonding the necessary part with the applied thermoplastic adhesive. In thermoplastic adhesive inspection equipment,
A light source device for irradiating light to a thermoplastic adhesive applied to a necessary part of the box spread sheet provided in the box forming device, and a reflection from the thermoplastic adhesive provided in the box forming device. An image pickup device that picks up light, and is connected to the image pickup device and processes image data sent from the image pickup device. The area, vertical length, horizontal length, vertical position, and horizontal position of the applied thermoplastic adhesive An image processing apparatus that determines whether the thermoplastic adhesive is normally applied by comparing at least one of the above and a preset value. Agent inspection device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004265868A JP4500635B2 (en) | 2004-09-13 | 2004-09-13 | Thermoplastic adhesive inspection device and inspection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004265868A JP4500635B2 (en) | 2004-09-13 | 2004-09-13 | Thermoplastic adhesive inspection device and inspection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006078451A true JP2006078451A (en) | 2006-03-23 |
JP4500635B2 JP4500635B2 (en) | 2010-07-14 |
Family
ID=36158027
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004265868A Expired - Lifetime JP4500635B2 (en) | 2004-09-13 | 2004-09-13 | Thermoplastic adhesive inspection device and inspection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4500635B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011089962A (en) * | 2009-10-26 | 2011-05-06 | Ihi Corp | Apparatus, method and program for coated state inspection |
JP2015034778A (en) * | 2013-08-09 | 2015-02-19 | アズビルトレーディング株式会社 | Inspection method, inspection system, and image processing apparatus |
JP2015137954A (en) * | 2014-01-23 | 2015-07-30 | 三菱重工食品包装機械株式会社 | Hot melt inspection device and method |
JP2016095842A (en) * | 2014-11-14 | 2016-05-26 | ソニー株式会社 | Method and system for processing video content |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101860311B1 (en) * | 2017-12-23 | 2018-05-23 | (주)대호실업 | Apparatus for manufacturing cosmetic cap for container |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61127427A (en) * | 1984-11-16 | 1986-06-14 | サッポロビール株式会社 | Hot-melt adhesion inspection device for packaging vessel |
JPS63234140A (en) * | 1987-03-23 | 1988-09-29 | Ishikawajima Harima Heavy Ind Co Ltd | Detecting method for adhesion defect part |
JPH07101423A (en) * | 1993-09-30 | 1995-04-18 | Asahi Breweries Ltd | Adhesion-inspecting device of packing container |
JPH07333154A (en) * | 1994-06-03 | 1995-12-22 | Nireco Corp | Pasty object detection device |
JPH09183404A (en) * | 1995-12-28 | 1997-07-15 | Kirin Brewery Co Ltd | Apparatus for examining anti-slipping theromsetting adhesive |
JPH1010051A (en) * | 1996-06-25 | 1998-01-16 | Fanuc Ltd | Applying condition detecting device using vision sensor |
-
2004
- 2004-09-13 JP JP2004265868A patent/JP4500635B2/en not_active Expired - Lifetime
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61127427A (en) * | 1984-11-16 | 1986-06-14 | サッポロビール株式会社 | Hot-melt adhesion inspection device for packaging vessel |
JPS63234140A (en) * | 1987-03-23 | 1988-09-29 | Ishikawajima Harima Heavy Ind Co Ltd | Detecting method for adhesion defect part |
JPH07101423A (en) * | 1993-09-30 | 1995-04-18 | Asahi Breweries Ltd | Adhesion-inspecting device of packing container |
JPH07333154A (en) * | 1994-06-03 | 1995-12-22 | Nireco Corp | Pasty object detection device |
JPH09183404A (en) * | 1995-12-28 | 1997-07-15 | Kirin Brewery Co Ltd | Apparatus for examining anti-slipping theromsetting adhesive |
JPH1010051A (en) * | 1996-06-25 | 1998-01-16 | Fanuc Ltd | Applying condition detecting device using vision sensor |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011089962A (en) * | 2009-10-26 | 2011-05-06 | Ihi Corp | Apparatus, method and program for coated state inspection |
JP2015034778A (en) * | 2013-08-09 | 2015-02-19 | アズビルトレーディング株式会社 | Inspection method, inspection system, and image processing apparatus |
JP2015137954A (en) * | 2014-01-23 | 2015-07-30 | 三菱重工食品包装機械株式会社 | Hot melt inspection device and method |
JP2016095842A (en) * | 2014-11-14 | 2016-05-26 | ソニー株式会社 | Method and system for processing video content |
US10133927B2 (en) | 2014-11-14 | 2018-11-20 | Sony Corporation | Method and system for processing video content |
Also Published As
Publication number | Publication date |
---|---|
JP4500635B2 (en) | 2010-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6383457B2 (en) | Intermittently connected optical fiber tape inspection method, inspection apparatus, and manufacturing method | |
JP2004109047A (en) | Inspection method and inspection device of printed matter | |
TWI605241B (en) | Inspection method, inspection device and manufacturing method of intermittently associated optical fiber ribbon | |
WO2018012192A1 (en) | Inspection method, inspection/notification method, manufacturing method including inspection method, inspection apparatus, and manufacturing apparatus | |
JP6639896B2 (en) | Airtightness inspection device | |
JP2019184380A (en) | Imaging device and inspection system using imaging device | |
JP4500635B2 (en) | Thermoplastic adhesive inspection device and inspection method | |
JP2007298472A (en) | Inspection device and method for case | |
JP4444048B2 (en) | Thermoplastic adhesive inspection device and inspection method | |
JP2003042975A (en) | Jointing inspection device | |
JP2007311472A (en) | Image acquisition method for component-recognition-data preparation, and component mounting machine | |
JP7053840B2 (en) | Inspection equipment, manufacturing equipment, and inspection method for packaging containers for smoking articles | |
JP6289919B2 (en) | Hot melt inspection apparatus and method | |
JP4016381B2 (en) | Surface defect inspection equipment | |
JP5784406B2 (en) | Inspection method for processed products | |
JP2000266514A (en) | Method and device for inspecting metallic sheet | |
JP6251056B2 (en) | Hot melt inspection apparatus and method | |
JP4238105B2 (en) | Paint misalignment detection method | |
JP6980538B2 (en) | Tablet inspection method and tablet inspection equipment | |
JP7323795B2 (en) | Article inspection device | |
JP3415307B2 (en) | Appearance inspection device | |
JP4980019B2 (en) | Folded laminate quality inspection device and transport equipment including the same | |
JP2008215955A (en) | Inverted can detector | |
JP6167608B2 (en) | Pattern inspection system, pattern inspection method | |
TWI598973B (en) | Heat sink offset detection method and device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060501 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081002 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081014 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090421 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100413 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100419 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130423 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4500635 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130423 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130423 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140423 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |