JP2020165763A - Inspection device - Google Patents

Inspection device Download PDF

Info

Publication number
JP2020165763A
JP2020165763A JP2019065656A JP2019065656A JP2020165763A JP 2020165763 A JP2020165763 A JP 2020165763A JP 2019065656 A JP2019065656 A JP 2019065656A JP 2019065656 A JP2019065656 A JP 2019065656A JP 2020165763 A JP2020165763 A JP 2020165763A
Authority
JP
Japan
Prior art keywords
image
sheet
edge
unit
inspection device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019065656A
Other languages
Japanese (ja)
Other versions
JP7255289B2 (en
Inventor
吉川 幸男
Yukio Yoshikawa
幸男 吉川
昭 野村
Akira Nomura
昭 野村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nidec Powertrain Systems Corp
Original Assignee
Nidec Tosok Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nidec Tosok Corp filed Critical Nidec Tosok Corp
Priority to JP2019065656A priority Critical patent/JP7255289B2/en
Publication of JP2020165763A publication Critical patent/JP2020165763A/en
Application granted granted Critical
Publication of JP7255289B2 publication Critical patent/JP7255289B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

To provide an inspection device which can determine whether a sheet is being attached excellently by a simple configuration.SOLUTION: The inspection device includes: an imaging unit for taking an image of an inspection target object with a sheet attached thereon along an imaging axis; an optical part for allowing a simultaneous imaging of a first image as an image of a first surface facing the imaging unit for the inspection target object and a second image as an image of a second surface along the imaging axis of the inspection target object; a detection unit for detecting an edge of the sheet in the first image and in the second image taken through the optical component; and a determination unit for determining whether the sheet is being attached excellently on the basis of the result of detection by the detection unit.SELECTED DRAWING: Figure 6

Description

本発明は、検査装置に関する。 The present invention relates to an inspection device.

金属缶の外観を検査する検査装置が知られている(例えば、特許文献1参照)。特許文献1に記載の検査装置は、検査対象である金属缶を撮像するCCDカメラと、CCDカメラで撮像された金属缶の画像を処理する画像処理装置と、を備える。特許文献1に記載の検査装置は、画像処理装置での画像処理に基づいて、金属缶の外観の良否を判定する。 An inspection device for inspecting the appearance of a metal can is known (see, for example, Patent Document 1). The inspection device described in Patent Document 1 includes a CCD camera that captures an image of a metal can to be inspected, and an image processing device that processes an image of the metal can captured by the CCD camera. The inspection device described in Patent Document 1 determines the quality of the appearance of the metal can based on the image processing by the image processing device.

特開平04−121647号公報JP-A-04-121647

しかしながら、特許文献1に記載の検査装置の場合、1つのCCDカメラでは、一方向からの画像しか取得することができず、例えば金属缶に対して複数の方向から画像を取得したい場合には、撮像したい方向の分だけ、CCDカメラを配置する必要があり、装置構成が複雑となるという問題があった。
本発明の目的は、簡単な構成で、シートの貼付状態の良否判断を行うことができる検査装置を提供することにある。
However, in the case of the inspection device described in Patent Document 1, one CCD camera can acquire an image from only one direction. For example, when it is desired to acquire an image from a plurality of directions with respect to a metal can. It is necessary to arrange the CCD camera in the direction in which the image is desired, which causes a problem that the device configuration becomes complicated.
An object of the present invention is to provide an inspection device capable of determining whether or not a sheet is attached with a simple structure.

本発明の検査装置の一つの態様は、シートが貼付された状態の検査対象物を、撮像軸に沿って撮像する撮像部と、前記検査対象物の前記撮像部に対向した第1面を撮像した第1画像と、前記検査対象物の前記撮像軸に沿った第2面を撮像した第2画像と、を一括して撮像可能とする光学部品と、前記光学部品を通して撮影した前記第1画像および前記第2画像中の前記シートのエッジを検出する検出部と、前記検出部での検出結果に基づいて、前記シートの貼付状態の良否判断を行う判断部と、を備える。 One aspect of the inspection apparatus of the present invention is to image an imaging unit that images an inspection object with a sheet attached along an imaging axis and a first surface of the inspection object that faces the imaging unit. An optical component capable of collectively capturing the first image and a second image obtained by capturing a second surface of the inspection object along the imaging axis, and the first image captured through the optical component. A detection unit that detects the edge of the sheet in the second image, and a determination unit that determines whether the sheet is attached or not based on the detection result of the detection unit.

本発明によれば、簡単な構成で、シートの貼付状態の良否判断を行うことができる。 According to the present invention, it is possible to judge whether the sheet is attached or not with a simple structure.

図1は、本発明の検査装置の第1実施形態を示す概略図である。FIG. 1 is a schematic view showing a first embodiment of the inspection device of the present invention. 図2は、図1に示す検査装置のブロック図である。FIG. 2 is a block diagram of the inspection device shown in FIG. 図3は、図1に示す検査装置が備える撮像部で撮像された第1画像および第2画像の一例である。FIG. 3 is an example of the first image and the second image captured by the imaging unit included in the inspection device shown in FIG. 図4は、図3中の第1画像を変換した第1変換画像の一例である。FIG. 4 is an example of a first converted image obtained by converting the first image in FIG. 図5は、図3中の第2画像を変換した第2変換画像の一例である。FIG. 5 is an example of a second converted image obtained by converting the second image in FIG. 図6は、図1に示す検査装置における制御プログラムを示すフローチャートである。FIG. 6 is a flowchart showing a control program in the inspection device shown in FIG. 図7は、本発明の検査装置の第2実施形態を示す概略図である。FIG. 7 is a schematic view showing a second embodiment of the inspection device of the present invention.

以下、本発明の検査装置を添付図面に示す好適な実施形態に基づいて詳細に説明する。
<第1実施形態>
図1は、本発明の検査装置の第1実施形態を示す概略図である。図2は、図1に示す検査装置のブロック図である。図3は、図1に示す検査装置が備える撮像部で撮像された第1画像および第2画像の一例である。図4は、図3中の第1画像を変換した第1変換画像の一例である。図5は、図3中の第2画像を変換した第2変換画像の一例である。図6は、図1に示す検査装置における制御プログラムを示すフローチャートである。なお、以下では、説明の都合上、図1、図4および図5中の上側を「上(または上方)」、下側を「下(または下方)」と言う。本実施形態では、撮像部の撮像軸に沿った方向を上下方向とし、撮像軸の一方側が「上」、他方側が「下」である。また、「上」、「下」とは、単に各部の相対位置関係を説明するための名称であり、実際の配置関係等は、これらの名称で示される配置関係等以外の配置関係等であってもよい。
Hereinafter, the inspection apparatus of the present invention will be described in detail based on the preferred embodiments shown in the accompanying drawings.
<First Embodiment>
FIG. 1 is a schematic view showing a first embodiment of the inspection device of the present invention. FIG. 2 is a block diagram of the inspection device shown in FIG. FIG. 3 is an example of the first image and the second image captured by the imaging unit included in the inspection device shown in FIG. FIG. 4 is an example of a first converted image obtained by converting the first image in FIG. FIG. 5 is an example of a second converted image obtained by converting the second image in FIG. FIG. 6 is a flowchart showing a control program in the inspection device shown in FIG. In the following, for convenience of explanation, the upper side in FIGS. 1, 4 and 5 is referred to as "upper (or upper)" and the lower side is referred to as "lower (or lower)". In the present embodiment, the direction along the imaging axis of the imaging unit is the vertical direction, and one side of the imaging axis is "up" and the other side is "down". Further, "upper" and "lower" are simply names for explaining the relative positional relationship of each part, and the actual arrangement relationship and the like are arrangement relationships other than the arrangement relationship and the like indicated by these names. You may.

図1に示す検査装置1は、検査対象物10の外観を検査する検査工程で用いられる装置である。検査装置1は、検査対象物10を撮像する撮像部2と、撮像部2の下方に配置された光学部品3と、光学部品3の下方に配置された照明部6と、を備える。
また、図2に示すように、検査装置1は、撮像部2と照明部6とに電気的に接続された制御部7と、制御部7に電気的に接続された報知部8と、を備える。制御部7は、撮像部2、照明部6、報知部8の作動を制御することができる。なお、電気的な接続方法としては、特に限定されず、例えば、有線による方法、無線による方法等が挙げられる。
The inspection device 1 shown in FIG. 1 is a device used in an inspection process for inspecting the appearance of the inspection object 10. The inspection device 1 includes an imaging unit 2 that captures an image of an inspection object 10, an optical component 3 arranged below the imaging unit 2, and an illumination unit 6 arranged below the optical component 3.
Further, as shown in FIG. 2, the inspection device 1 includes a control unit 7 electrically connected to the image pickup unit 2 and the illumination unit 6, and a notification unit 8 electrically connected to the control unit 7. Be prepared. The control unit 7 can control the operation of the image pickup unit 2, the illumination unit 6, and the notification unit 8. The electrical connection method is not particularly limited, and examples thereof include a wired method and a wireless method.

検査装置1を構成する各部について説明する前に、検査対象物10について説明する。
図1に示すように、検査対象物10は、撮像部2側、すなわち、上方に向かって開口する口部102と、口部102と反対側の底部103とを有する有底円筒状の容器101であり、本実施形態では、一例として、牛乳瓶である。なお、検査対象物10としては、牛乳瓶に限定されない。
Before explaining each part constituting the inspection apparatus 1, the inspection object 10 will be described.
As shown in FIG. 1, the inspection object 10 is a bottomed cylindrical container 101 having a mouth portion 102 that opens upward, that is, a mouth portion 102 that opens upward, and a bottom portion 103 that is opposite to the mouth portion 102. In the present embodiment, as an example, it is a milk bottle. The inspection target 10 is not limited to a milk bottle.

また、容器101は、外径φd101が底部103側に向かって増大した肩部104を有する。そして、容器101には、口部102側から肩部104側に至るまで部分にシート11が貼付される。シート11は、例えば検査対象物10の物品名111である「MILK」が付されたラベルである。 Further, the container 101 has a shoulder portion 104 whose outer diameter φd 101 increases toward the bottom portion 103 side. Then, the sheet 11 is attached to the container 101 from the mouth 102 side to the shoulder 104 side. The sheet 11 is, for example, a label with "MILK", which is the article name 111 of the inspection object 10.

シート11は、熱収縮性を有する樹脂フィルムである。これにより、シート11を貼付する際には、収縮前の帯状のシート11を容器101の所定箇所に、容器101の全周にわたって巻き付けた状態として、シート11を加熱することにより、シート11が容器101の外形形状に沿って収縮する。シート11の収縮により、当該シート11が容器101に貼付される。 The sheet 11 is a heat-shrinkable resin film. As a result, when the sheet 11 is attached, the sheet 11 is heated by heating the sheet 11 in a state where the strip-shaped sheet 11 before shrinkage is wound around a predetermined position of the container 101 over the entire circumference of the container 101. It shrinks along the outer shape of 101. Due to the shrinkage of the sheet 11, the sheet 11 is attached to the container 101.

なお、容器101に対するシート11の貼付方法としては、熱収縮による方法に限定されず、シート11の構成材料によっては、他の方法を用いることができる。例えばシート11が紙材である場合には、貼付方法として、接着材または粘着剤を用いた方法を採ることができる。また、シート11を構成する樹脂材料の種類によっては、貼付方法として、融着による方法を採ることができる。 The method of attaching the sheet 11 to the container 101 is not limited to the method by heat shrinkage, and other methods can be used depending on the constituent material of the sheet 11. For example, when the sheet 11 is a paper material, a method using an adhesive or an adhesive can be adopted as the sticking method. Further, depending on the type of resin material constituting the sheet 11, a fusing method can be adopted as the sticking method.

次に、検査装置1を構成する各部について説明する。前述したように、検査装置1は、撮像部2と、光学部品3と、照明部6と、報知部8と、制御部7と、を備える。
図1に示すように、検査対象物10の上方には、撮像部2が配置、固定される。撮像部2は、撮像方向が下方を向く。これにより、撮像部2は、シート11が貼付された状態の検査対象物10を、撮像軸Oに沿って撮像することができる。撮像部2で撮像される画像には、本実施形態では、図3に示す第1画像IM1と第2画像IM2とがある。
撮像部2としては、特に限定されず、例えば、CCD(Charge Coupled Device)カメラ、CMOS(Complementary metal-oxide-semiconductor)カメラ等が挙げられる。
Next, each part constituting the inspection device 1 will be described. As described above, the inspection device 1 includes an image pickup unit 2, an optical component 3, an illumination unit 6, a notification unit 8, and a control unit 7.
As shown in FIG. 1, an imaging unit 2 is arranged and fixed above the inspection object 10. The imaging unit 2 has an imaging direction facing downward. As a result, the image pickup unit 2 can take an image of the inspection object 10 with the sheet 11 attached along the image pickup axis O 2 . In the present embodiment, the images captured by the imaging unit 2 include a first image IM1 and a second image IM2 shown in FIG.
The imaging unit 2 is not particularly limited, and examples thereof include a CCD (Charge Coupled Device) camera and a CMOS (Complementary metal-oxide-semiconductor) camera.

撮像部2と検査対象物10の間には、光学部品3が配置される。光学部品3は、検査対象物10で反射した反射光RLの撮像部2への入射角度を調整するレンズ3Aである。これにより、検査対象物10の撮像部2に対向した第1面SF1を撮像した第1画像IM1と、検査対象物10の撮像軸Oに沿った第2面SF2を撮像した第2画像IM2と、を一括して撮像することができる。なお、第1面SF1および第2面SF2は、いずれも仮想面であり、第1面SF1は、検査対象物10の上方に臨む投影面となり、第2面SF2は、検査対象物10の側方、すなわち、径方向外側に臨む投影面となる。 An optical component 3 is arranged between the image pickup unit 2 and the inspection object 10. The optical component 3 is a lens 3A that adjusts the angle of incidence of the reflected light RL reflected by the inspection object 10 on the image pickup unit 2. Thus, the inspection object 10 and the first image IM1 of the captured first surface SF1 facing the imaging unit 2, the second image obtained by capturing the second surface SF2 along the imaging axis O 2 of the test object 10 IM2 And can be imaged at once. The first surface SF1 and the second surface SF2 are both virtual surfaces, the first surface SF1 is a projection surface facing above the inspection object 10, and the second surface SF2 is on the side of the inspection object 10. In other words, it is a projection plane facing outward in the radial direction.

レンズ3Aは、撮像軸Oに沿った線を法線O31とする平面31と、平面31の全周にわたって設けられ、平面31に対して傾斜した傾斜面32とを有する凸レンズを備える。本実施形態では、平面31は、上下に一対設けられ、傾斜面32も上下に一対設けられる。
そして、反射光RLのうち、第1面SF1を経る反射光RL1は、各平面31を順に透過して、撮像部2で受光される。これにより、平面視画像としての第1画像IM1が得られる。図3に示すように、第1画像IM1中のシート11は、円形である。
The lens 3A includes a convex lens having a plane 31 whose normal line O 31 is a line along the image pickup axis O 2 and an inclined surface 32 provided over the entire circumference of the plane 31 and inclined with respect to the plane 31. In the present embodiment, a pair of flat surfaces 31 are provided vertically, and a pair of inclined surfaces 32 are also provided vertically.
Then, of the reflected light RL, the reflected light RL1 passing through the first surface SF1 passes through each plane 31 in order and is received by the imaging unit 2. As a result, the first image IM1 as a plan view image is obtained. As shown in FIG. 3, the sheet 11 in the first image IM1 is circular.

また、反射光RLのうち、第2面SF2を経る反射光RL2は、各傾斜面32で順に屈折して、撮像部2で受光される。これにより、側面視画像としての第2画像IM2が得られる。図3に示すように、第2画像IM2中のシート11は、第1画像IM1中のシート11の外側に位置し、当該第1画像IM1中のシート11と同心的な円形である。
このように、凸レンズという簡単な構成のレンズ3Aを用いることにより、検査対象物10に対する撮像方向が異なる2種類の画像、すなわち、第1画像IM1と第2画像IM2とを一括して撮像部2に撮像させることができる。
Further, of the reflected light RL, the reflected light RL2 passing through the second surface SF2 is refracted in order on each inclined surface 32 and received by the imaging unit 2. As a result, the second image IM2 as a side view image is obtained. As shown in FIG. 3, the sheet 11 in the second image IM2 is located outside the sheet 11 in the first image IM1 and has a circular shape concentric with the sheet 11 in the first image IM1.
In this way, by using the lens 3A having a simple configuration called a convex lens, two types of images having different imaging directions with respect to the inspection object 10, that is, the first image IM1 and the second image IM2 are collectively captured by the imaging unit 2. Can be imaged.

光学部品3と検査対象物10の間には、撮像部2による撮像時に検査対象物10を照らす照明部6が配置される。これにより、第1画像IM1と第2画像IM2とを鮮明に撮像することができる。
本実施形態では、照明部6は、撮像軸Oに沿った線を中心線Oとする円環状のリング照明61を有する。これにより、照明部6を簡単な構成とすることができる。また、第1画像IM1および第2画像IM2を鮮明に撮像するのに十分な程度に、検査対象物10を照らすことができる。なお、リング照明61の内径φd61は、検査対象物10の最大となる外径φd101よりも大きいのが好ましい。
Between the optical component 3 and the inspection object 10, an illumination unit 6 that illuminates the inspection object 10 at the time of imaging by the imaging unit 2 is arranged. As a result, the first image IM1 and the second image IM2 can be clearly imaged.
In the present embodiment, the illumination unit 6 has an annular ring illumination 61 having a line along the image pickup axis O 2 as a center line O 6 . As a result, the lighting unit 6 can have a simple structure. In addition, the inspection object 10 can be illuminated to an extent sufficient to clearly capture the first image IM1 and the second image IM2. The inner diameter φd 61 of the ring illumination 61 is preferably larger than the maximum outer diameter φd 101 of the inspection object 10.

また、照明部6は、リング照明61を有する構成であるが、これに限定されず、検査対象物10の種類、検査対象物10の配置箇所によっては、例えば、ローアングル照明、水平対向照明、バー照明、面発光照明、ライン照明、また集光装置等を有する構成となっていてもよい。
また、例えば検査装置1が設置された室内の照明器具からの光または自然光で照明可能である場合には、照明部6を省略することもできる。
Further, the illumination unit 6 has a configuration having a ring illumination 61, but is not limited to this, and depending on the type of the inspection object 10 and the arrangement location of the inspection object 10, for example, low-angle illumination, horizontally opposed illumination, and the like. It may be configured to include bar illumination, surface emission illumination, line illumination, a condensing device, and the like.
Further, for example, when it is possible to illuminate with the light from the lighting equipment in the room where the inspection device 1 is installed or natural light, the lighting unit 6 may be omitted.

前述したように、検査対象物10は、熱収縮によりシート11が貼付される。シート11の貼付は、検査工程よりも前の貼付工程で行われる。貼付工程では、例えば、加熱前のシート11の状態、シート11の加熱温度、シート11の加熱時間等の加熱条件等の諸条件によっては、貼付されたシート11にしわ等のような、外観品質上好ましくない変形(以下単に「変形」ということがある)が生じる場合がある。シート11の変形は、検査対象物10を商品として販売する際、検査対象物10の見栄えを損なわせるおそれがある。 As described above, the sheet 11 is attached to the inspection object 10 due to heat shrinkage. The sheet 11 is attached in a pasting step prior to the inspection step. In the pasting step, for example, depending on various conditions such as the state of the sheet 11 before heating, the heating temperature of the sheet 11, the heating time of the sheet 11, and other heating conditions, the appearance quality such as wrinkles on the pasted sheet 11 may occur. In addition, unfavorable deformation (hereinafter, may be simply referred to as "deformation") may occur. Deformation of the sheet 11 may impair the appearance of the inspection object 10 when the inspection object 10 is sold as a commercial product.

そこで、検査工程では、検査装置1が、シート11の貼付状態の良否判断(以下単に「良否判断」という)を行うよう構成される。以下、良否判断を行うための構成および作用について説明する。
図2に示すように、制御部7は、検出部4と、判断部5とを有する。制御部7は、CPU(Central Processing Unit)と各種メモリとが内蔵されており、これらが検出部4および判断部5の機能を担う。
Therefore, in the inspection step, the inspection device 1 is configured to determine whether the sheet 11 is attached or not (hereinafter, simply referred to as "good or bad judgment"). Hereinafter, the configuration and operation for making a quality judgment will be described.
As shown in FIG. 2, the control unit 7 has a detection unit 4 and a determination unit 5. The control unit 7 has a built-in CPU (Central Processing Unit) and various memories, which are responsible for the functions of the detection unit 4 and the determination unit 5.

検出部4は、光学部品3を通して撮影した第1画像IM1および第2画像IM2中のシート11のエッジ(エッジEG1、エッジEG2)を、画像処理により検出する。なお、エッジ検出法としては、特に限定されず、例えば、キャニー法、閾値処理を用いる方法、エッジ連結処理を用いる方法、微分エッジ検出を用いる方法等が挙げられる。 The detection unit 4 detects the edges (edge EG1, edge EG2) of the sheet 11 in the first image IM1 and the second image IM2 taken through the optical component 3 by image processing. The edge detection method is not particularly limited, and examples thereof include a canny method, a method using threshold value processing, a method using edge connection processing, and a method using differential edge detection.

検出部4は、まず、第1画像IM1中の円形のシート11を、直線的に展開して変換された第1変換画像IM1’を生成する(図4参照)。画像の変換には、例えば、1次変換を用いることができる。なお、図4中の上側が検査対象物10の口部102側となり、下側が検査対象物10の底部103側となる。そして、検出部4は、第1変換画像IM1’中のシート11の口部102側のエッジEG1’を、良否判断に用いる際の、第1画像IM1中のシート11のエッジEG1として検出する。エッジEG1’は、エッジEG1を展開して得られたエッジであり、本実施形態のように良否判断に用いる第1基準線SL1が直線状をなす場合、後述する第1基準線SL1との乖離(第1乖離α)の演算を迅速に行うことができる。 First, the detection unit 4 linearly expands the circular sheet 11 in the first image IM1 to generate a converted first converted image IM1'(see FIG. 4). For the conversion of the image, for example, a primary conversion can be used. The upper side in FIG. 4 is the mouth 102 side of the inspection object 10, and the lower side is the bottom 103 side of the inspection object 10. Then, the detection unit 4 detects the edge EG1'on the mouth 102 side of the sheet 11 in the first converted image IM1'as the edge EG1 of the sheet 11 in the first image IM1 when it is used for the quality determination. The edge EG1'is an edge obtained by expanding the edge EG1, and when the first reference line SL1 used for quality determination is linear as in the present embodiment, it deviates from the first reference line SL1 described later. The calculation of (first deviation α) can be performed quickly.

また、検出部4は、第2画像IM2中の円形のシート11を、直線的に展開して変換された第2変換画像IM2’を生成する(図5参照)。画像の変換には、第1変換画像IM1’を生成するときと同様に、例えば、1次変換を用いることができる。なお、図5中の上側が検査対象物10の口部102側となり、下側が検査対象物10の底部103側となる。そして、検出部4は、第2変換画像IM2’中のシート11の底部103側のエッジEG2’を、良否判断に用いる際の、第2画像IM2中のシート11のエッジEG2として、検出する。エッジEG2’は、エッジEG2を展開して得られたエッジであり、本実施形態のように良否判断に用いる第2基準線SL2が直線状をなす場合、後述する第2基準線SL2との乖離(第2乖離β)の演算を迅速に行うことができる。 Further, the detection unit 4 linearly expands the circular sheet 11 in the second image IM2 to generate the converted second converted image IM2'(see FIG. 5). For the image conversion, for example, a primary conversion can be used as in the case of generating the first converted image IM1'. The upper side in FIG. 5 is the mouth 102 side of the inspection object 10, and the lower side is the bottom 103 side of the inspection object 10. Then, the detection unit 4 detects the edge EG2'on the bottom 103 side of the sheet 11 in the second converted image IM2'as the edge EG2 of the sheet 11 in the second image IM2 when it is used for the quality determination. The edge EG2'is an edge obtained by expanding the edge EG2, and when the second reference line SL2 used for quality determination is linear as in the present embodiment, it deviates from the second reference line SL2 described later. The calculation of (second deviation β) can be performed quickly.

判断部5は、検出部4での検出結果に基づいて、シート11の貼付状態の良否判断を行う。検査対象物10上のシート11に変形が生じた際には、シート11の変形分だけ、エッジEG1’(エッジEG1)が第1基準線SL1からズレたり、エッジEG2’(エッジEG2)が第2基準線SL2からズレたりする。そして、ズレ量(第1乖離α、第2乖離β)の大小に応じて、判断部5が良否判断をする。 The determination unit 5 determines whether the sheet 11 is attached or not based on the detection result of the detection unit 4. When the sheet 11 on the inspection object 10 is deformed, the edge EG1'(edge EG1) is deviated from the first reference line SL1 by the amount of the deformation of the sheet 11, and the edge EG2'(edge EG2) is the first. 2 It deviates from the reference line SL2. Then, the determination unit 5 determines the quality according to the magnitude of the deviation amount (first deviation α, second deviation β).

そして、判断方法は、本実施形態では、下記の2つ条件のうちの少なくとも一方の条件が満足した場合、検査対象物10上のシート11にしわ等の変形が生じたとみなして、貼付状態が不良と判断する方法である。
1つ目の条件は、検出部4により検出された第1変換画像IM1’中のエッジEG1’と、第1基準線SL1との間の第1乖離α(図5参照)が、第1閾値α0以上であることである。
2つ目の条件は、検出部4により検出された第2変換画像IM2’中のエッジEG2’と、第2基準線SL2との間の第2乖離β(図6参照)が、第2閾値β0以上であることである。
Then, in the present embodiment, when at least one of the following two conditions is satisfied, it is considered that the sheet 11 on the inspection object 10 is deformed such as wrinkles, and the sticking state is changed. This is a method of judging that it is defective.
The first condition is that the first deviation α (see FIG. 5) between the edge EG1'in the first converted image IM1'detected by the detection unit 4 and the first reference line SL1 is the first threshold value. It is α0 or more.
The second condition is that the second deviation β (see FIG. 6) between the edge EG2'in the second converted image IM2'detected by the detection unit 4 and the second reference line SL2 is the second threshold value. It is β0 or more.

なお、第1基準線SL1および第2基準線SL2は、予め設定されており、制御部7が有するメモリに予め記憶される。
第1閾値α0および第2閾値β0も予め設定されており、制御部7が有するメモリに予め記憶される。なお、第1閾値α0および第2閾値β0は、適宜変更可能、すなわち、書き換え可能である。
The first reference line SL1 and the second reference line SL2 are preset and stored in the memory of the control unit 7.
The first threshold value α0 and the second threshold value β0 are also set in advance and are stored in advance in the memory of the control unit 7. The first threshold value α0 and the second threshold value β0 can be appropriately changed, that is, rewritten.

また、制御部7は、報知部8と電気的に接続される。報知部8は、判断部5での判断結果を報知する。報知方法としては、特に限定されず、例えば、音声による報知、発光による報知、音声と発光とを組み合わせることによる報知等が挙げられる。 Further, the control unit 7 is electrically connected to the notification unit 8. The notification unit 8 notifies the determination result of the determination unit 5. The notification method is not particularly limited, and examples thereof include voice notification, light emission notification, and notification by combining voice and light emission.

次に、シート11の貼付状態の良否判断を行い、当該良否判断の結果を報知するまでの制御プログラムについて、図6に示すフローチャートに基づいて説明する。制御プログラムは、制御部7が有するメモリに予め記憶されており、制御部7で実行される。
まず、照明部6を作動させて、検査対象物10を照らす(ステップS101)。そして、照明部6により検査対象物10を照らした状態のまま、撮像部2を作動させて、検査対象物10を撮像する(ステップS102)。これにより、第1画像IM1と第2画像IM2とが得られる。
Next, a control program for determining the quality of the pasted state of the sheet 11 and notifying the result of the quality determination will be described with reference to the flowchart shown in FIG. The control program is stored in advance in the memory of the control unit 7, and is executed by the control unit 7.
First, the lighting unit 6 is operated to illuminate the inspection object 10 (step S101). Then, while the inspection object 10 is illuminated by the illumination unit 6, the imaging unit 2 is operated to take an image of the inspection object 10 (step S102). As a result, the first image IM1 and the second image IM2 are obtained.

次いで、前述したように、検出部4により、第1画像IM1を変換して、第1変換画像IM1’を生成するとともに、第2画像IM2を変換して、第2変換画像IM2’を生成する(ステップS103)。ステップS103後、検出部4により、第1変換画像IM1’中のエッジEG1’と、第2変換画像IM2’中のエッジEG2’とを検出する(ステップS104)。 Next, as described above, the detection unit 4 converts the first image IM1 to generate the first converted image IM1'and converts the second image IM2 to generate the second converted image IM2'. (Step S103). After step S103, the detection unit 4 detects the edge EG1'in the first converted image IM1'and the edge EG2'in the second converted image IM2'(step S104).

次いで、エッジEG1’と第1基準線SL1との間の第1乖離αの平均値を演算する(ステップS105)とともに、エッジEG2’と第2基準線SL2との間の第2乖離βの平均値を演算する(ステップS105)。なお、各演算結果は、例えば、画素数で得られる。 Next, the average value of the first deviation α between the edge EG1'and the first reference line SL1 is calculated (step S105), and the average of the second deviation β between the edge EG2'and the second reference line SL2 is calculated. Calculate the value (step S105). The calculation result is obtained by, for example, the number of pixels.

次いで、第1乖離αが第1閾値α0以上であるか否かを判断するとともに(ステップS107)、第2乖離βが第2閾値β0以上であるか否かを判断する(ステップS108)。
ステップS107での判断の結果、第1乖離αが第1閾値α0以上ではなく、ステップS108での判断の結果も、第2乖離βが第2閾値β0以上ではない場合には、シート11の貼付状態の良否判断を「良」とする(ステップS109)。ステップS109の後、報知部8により、良否判断が「良」である旨を報知する(ステップS110)。
Next, it is determined whether or not the first deviation α is equal to or greater than the first threshold value α0 (step S107), and whether or not the second deviation β is equal to or greater than the second threshold value β0 (step S108).
If the result of the determination in step S107 is that the first deviation α is not equal to or greater than the first threshold value α0 and the result of the determination in step S108 is also that the second deviation β is not equal to or greater than the second threshold value β0, the sheet 11 is attached. The quality judgment of the state is set to "good" (step S109). After step S109, the notification unit 8 notifies that the quality determination is “good” (step S110).

一方、ステップS107での判断の結果、第1乖離αが第1閾値α0以上である場合には、シート11の貼付状態の良否判断を「否」とする(ステップS111)。ステップS111の後、報知部8により、良否判断が「否」である旨を報知する(ステップS112)。
これと同様に、ステップS108での判断の結果、第2乖離βが第2閾値β0以上である場合にも、シート11の貼付状態の良否判断を「否」とする(ステップS111)。ステップS111の後、報知部8により、良否判断が「否」である旨を報知する(ステップS112)。
On the other hand, as a result of the determination in step S107, when the first deviation α is equal to or greater than the first threshold value α0, the quality determination of the pasted state of the sheet 11 is set to “No” (step S111). After step S111, the notification unit 8 notifies that the quality determination is "no" (step S112).
Similarly, as a result of the determination in step S108, even when the second deviation β is equal to or greater than the second threshold value β0, the quality determination of the pasted state of the sheet 11 is set to “No” (step S111). After step S111, the notification unit 8 notifies that the quality determination is "no" (step S112).

なお、ステップS105とステップS106とは、実行順番が逆転してもよい。また、ステップS107とステップS108とは、実行順番が逆転してもよい。
以上のように、例えば検査対象物10が牛乳瓶であり、シート11が牛乳瓶に貼付されたラベルの場合、制御部7で実行される制御プログラムにより、ラベルの貼付状態の良否判断を迅速かつ正確に行うことができる。そして、良否判断が「良」の場合には、検査対象物10を商品として流通させることができる。一方、良否判断が「否」の場合には、検査対象物10を再検査したり、または、シート11の貼り直しをすることができる。
The execution order of step S105 and step S106 may be reversed. Further, the execution order of step S107 and step S108 may be reversed.
As described above, for example, when the inspection object 10 is a milk bottle and the sheet 11 is a label attached to the milk bottle, the control program executed by the control unit 7 can quickly determine whether the label is attached or not. Can be done accurately. Then, when the quality judgment is "good", the inspection object 10 can be distributed as a product. On the other hand, when the quality judgment is "No", the inspection object 10 can be re-inspected or the sheet 11 can be reattached.

<第2実施形態>
図7は、本発明の検査装置の第2実施形態を示す概略図である。
以下、図7を参照して本発明の検査装置の第2実施形態について説明するが、前述した実施形態との相違点を中心に説明し、同様の事項については省略する。
本実施形態は、光学部品の構成状が異なること以外は前記第1実施形態と同様である。
<Second Embodiment>
FIG. 7 is a schematic view showing a second embodiment of the inspection device of the present invention.
Hereinafter, the second embodiment of the inspection device of the present invention will be described with reference to FIG. 7, but the differences from the above-described embodiment will be mainly described, and the same matters will be omitted.
The present embodiment is the same as the first embodiment except that the configurations of the optical components are different.

図7に示すように、光学部品3は、撮像部2と照明部6との間に配置されたミラー3Bを有する。ミラー3Bは、撮像軸Oに沿った線を中心線O3Bとする円筒状であり、内周面に鏡面33を有する。なお、ミラー3Bの内径φd3Bは、ミラー3Bと検査対象物10との位置関係にもよるが、例えば、検査対象物10の最大となる外径φd101よりも大きいのが好ましい。 As shown in FIG. 7, the optical component 3 has a mirror 3B arranged between the image pickup unit 2 and the illumination unit 6. The mirror 3B has a cylindrical shape with a line along the image pickup axis O 2 as the center line O 3B, and has a mirror surface 33 on the inner peripheral surface. The inner diameter φd 3B of the mirror 3B is preferably larger than the maximum outer diameter φd 101 of the inspection object 10, although it depends on the positional relationship between the mirror 3B and the inspection object 10.

反射光RL1は、ミラー3Bの内側を通過して、撮像部2で受光される。これにより、平面視画像としての第1画像IM1が得られる。また、反射光RL2は、ミラー3Bで順に反射して(屈折して)、撮像部2で受光される。これにより、側面視画像としての第2画像IM2が得られる。
以上のように、ミラー3Bという簡単な構成の光学部品3を用いても、撮像部2に第1画像IM1と第2画像IM2とを一括して撮像させることができる。
The reflected light RL1 passes through the inside of the mirror 3B and is received by the imaging unit 2. As a result, the first image IM1 as a plan view image is obtained. Further, the reflected light RL2 is sequentially reflected (refracted) by the mirror 3B and received by the imaging unit 2. As a result, the second image IM2 as a side view image is obtained.
As described above, even if the optical component 3 having a simple structure called the mirror 3B is used, the image pickup unit 2 can collectively image the first image IM1 and the second image IM2.

以上、本発明の検査装置を図示の実施形態について説明したが、本発明は、これに限定されず、検査装置を構成する各部は、同様の機能を発揮し得る任意の構成と置換することができる。また、任意の構成物が付加されていてもよい。
また、本発明の検査装置は、前記各実施形態のうちの、任意の2以上の構成(特徴)を組み合わせてもよい。
Although the inspection device of the present invention has been described above with reference to the illustrated embodiment, the present invention is not limited to this, and each part constituting the inspection device may be replaced with an arbitrary configuration capable of exhibiting the same function. it can. Moreover, an arbitrary composition may be added.
In addition, the inspection device of the present invention may combine any two or more configurations (features) of the above-described embodiments.

また、エッジ検出を行う際には、変換画像を用いたが、これに限定されず、撮像部で撮像された画像を変換せずに用いてもよい。 Further, when performing edge detection, a converted image is used, but the present invention is not limited to this, and the image captured by the imaging unit may be used without conversion.

1…検査装置、2…撮像部、3…光学部品、3A…レンズ、3B…ミラー、31…平面、32…傾斜面、33…鏡面、4…検出部、5…判断部、6…照明部、61…リング照明、7…制御部、8…報知部、10…検査対象物、101…容器、102…口部、103…底部、104…肩部、11…シート、111…物品名、EG1…第1エッジ、EG1’…第1エッジ、EG2…第2エッジ、EG2’…第2エッジ、IM1…第1画像、IM1’…第1変換画像、IM2…第2画像、IM2’…第2変換画像、O…撮像軸、O31…法線、O3B…中心線、O…中心軸、RL…反射光、RL1…反射光、RL2…反射光、S101〜S112…ステップ、SF1…第1面、SF2…第2面、SL1…第1基準線、SL2…第2基準線、α…第1乖離、α0…第1閾値、β…第2乖離、β0…第2閾値、φd3B…内径、φd61…内径、φd101…外径

1 ... Inspection device, 2 ... Imaging unit, 3 ... Optical parts, 3A ... Lens, 3B ... Mirror, 31 ... Flat surface, 32 ... Inclined surface, 33 ... Mirror surface, 4 ... Detection unit, 5 ... Judgment unit, 6 ... Lighting unit , 61 ... Ring lighting, 7 ... Control unit, 8 ... Notification unit, 10 ... Inspection object, 101 ... Container, 102 ... Mouth, 103 ... Bottom, 104 ... Shoulder, 11 ... Sheet, 111 ... Article name, EG1 ... 1st edge, EG1'... 1st edge, EG2 ... 2nd edge, EG2' ... 2nd edge, IM1 ... 1st image, IM1'... 1st conversion image, IM2 ... 2nd image, IM2'... 2nd Converted image, O 2 ... imaging axis, O 31 ... normal line, O 3B ... center line, O 6 ... center axis, RL ... reflected light, RL1 ... reflected light, RL2 ... reflected light, S101 to S112 ... step, SF1 ... 1st surface, SF2 ... 2nd surface, SL1 ... 1st reference line, SL2 ... 2nd reference line, α ... 1st deviation, α0 ... 1st threshold, β ... 2nd deviation, β0 ... 2nd threshold, φd 3B ... Inner diameter, φd 61 ... Inner diameter, φd 101 ... Outer diameter

Claims (9)

シートが貼付された状態の検査対象物を、撮像軸に沿って撮像する撮像部と、
前記検査対象物の前記撮像部に対向した第1面を撮像した第1画像と、前記検査対象物の前記撮像軸に沿った第2面を撮像した第2画像と、を一括して撮像可能とする光学部品と、
前記光学部品を通して撮影した前記第1画像および前記第2画像中の前記シートのエッジを検出する検出部と、
前記検出部での検出結果に基づいて、前記シートの貼付状態の良否判断を行う判断部と、を備えることを特徴とする検査装置。
An imaging unit that captures an inspection object with a sheet attached along the imaging axis,
It is possible to collectively image a first image of the first surface of the inspection object facing the imaging unit and a second image of the second surface of the inspection object along the imaging axis. Optical parts and
A detection unit that detects the edge of the sheet in the first image and the second image taken through the optical component, and
An inspection device including a determination unit that determines whether or not the attached state of the sheet is good or bad based on the detection result of the detection unit.
前記判断部は、前記検出部により検出された前記第1画像中の前記シートのエッジと、予め設定された第1基準線との間の乖離が第1閾値以上であることと、前記検出部により検出された前記第2画像中の前記シートのエッジと、予め設定された第2基準線との間の乖離が第2閾値以上であることとのうちの少なくとも一方が満足した場合、前記貼付状態が不良と判断する請求項1に記載の検査装置。 The determination unit determines that the deviation between the edge of the sheet in the first image detected by the detection unit and the preset first reference line is equal to or greater than the first threshold value. When at least one of the deviation between the edge of the sheet in the second image detected by the above and the preset second reference line is equal to or more than the second threshold value is satisfied, the attachment is performed. The inspection device according to claim 1, wherein the condition is determined to be defective. 前記検査対象物は、前記撮像部に向かって開口する口部と、前記口部と反対側の底部とを有する容器であり、
前記検出部は、前記第1画像中の前記シートのエッジとして、前記シートの前記口部側のエッジを検出し、前記第2画像中の前記シートのエッジとして、前記シートの前記底部側のエッジを検出する請求項2に記載の検査装置。
The inspection object is a container having a mouth portion that opens toward the imaging portion and a bottom portion that is opposite to the mouth portion.
The detection unit detects the edge of the sheet on the mouth side as the edge of the sheet in the first image, and as the edge of the sheet in the second image, the edge on the bottom side of the sheet. The inspection device according to claim 2.
前記第1画像中の前記シートは、円形であり、前記第2画像中の前記シートは、前記第1画像中の前記シートと同心的な円形であり、
前記検出部は、前記第1画像中の前記シートを直線的に展開して変換された第1変換画像と、前記第2画像中の前記シートを直線的に展開して変換された第2変換画像とを生成してから、前記シートのエッジを検出する請求項1〜3のいずれか1項に記載の検査装置
The sheet in the first image is circular, and the sheet in the second image is circular concentric with the sheet in the first image.
The detection unit linearly develops and converts the sheet in the first image, and linearly develops and converts the first conversion image, and the second image in which the sheet in the second image is linearly developed and converted. The inspection device according to any one of claims 1 to 3, which detects an edge of the sheet after generating an image.
前記光学部品は、レンズまたはミラーを有する請求項1〜4のいずれか1項に記載の検査装置。 The inspection device according to any one of claims 1 to 4, wherein the optical component has a lens or a mirror. 前記レンズは、前記撮像軸に沿った線を法線とする平面と、前記平面の全周にわたって設けられ、前記平面に対して傾斜した傾斜面とを有する凸レンズを備える請求項5に記載の検査装置。 The inspection according to claim 5, wherein the lens includes a plane having a normal line along the imaging axis and a convex lens provided over the entire circumference of the plane and having an inclined surface inclined with respect to the plane. apparatus. 前記ミラーは、前記撮像軸に沿った線を中心線とする円筒状である請求項6に記載の検査装置。 The inspection device according to claim 6, wherein the mirror has a cylindrical shape with a line along the imaging axis as a center line. 前記検査対象物を照らす照明部を備える請求項1〜7のいずれか1項に記載の検査装置。 The inspection device according to any one of claims 1 to 7, further comprising a lighting unit that illuminates the inspection object. 前記照明部は、前記撮像軸に沿った線を中心線とするリング照明を有する請求項8に記載の検査装置。

The inspection device according to claim 8, wherein the illumination unit has ring illumination having a line along the imaging axis as a center line.

JP2019065656A 2019-03-29 2019-03-29 inspection equipment Active JP7255289B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019065656A JP7255289B2 (en) 2019-03-29 2019-03-29 inspection equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019065656A JP7255289B2 (en) 2019-03-29 2019-03-29 inspection equipment

Publications (2)

Publication Number Publication Date
JP2020165763A true JP2020165763A (en) 2020-10-08
JP7255289B2 JP7255289B2 (en) 2023-04-11

Family

ID=72714405

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019065656A Active JP7255289B2 (en) 2019-03-29 2019-03-29 inspection equipment

Country Status (1)

Country Link
JP (1) JP7255289B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6883812B1 (en) * 2021-01-19 2021-06-09 大豊精機株式会社 Imaging system for visual inspection

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03502138A (en) * 1988-10-26 1991-05-16 アイネックス‐ヴィステック・テクノロジーズ・インコーポレイテッド Article inspection system for analyzing edges and adjacent sides
JPH05180621A (en) * 1991-12-27 1993-07-23 Fuji Facom Corp Apparatus for inspecting seal of top face of bottle opening
JP2004163425A (en) * 2002-10-22 2004-06-10 Sealive Inc Visual examination apparatus
JP2005331302A (en) * 2004-05-19 2005-12-02 Nidec Tosok Corp Outside surface inspection method and outside surface inspection device
JP2006028209A (en) * 2004-07-12 2006-02-02 Mitsubishi Plastics Ind Ltd Polyester resin composition, and heat-shrinkable polyester film, molded article and container composed of the resin composition
DE102006031906A1 (en) * 2006-07-07 2008-01-10 Kappner, Helmut A. Testing device for testing of workpieces, has objective comprising optical axis for receiving light reflected by workpiece, and reflection element, in direction of optical axis, is arranged between objective and workpiece
JP2015187581A (en) * 2014-03-27 2015-10-29 日本電気株式会社 Inspection device and inspection method
US20170241916A1 (en) * 2014-10-17 2017-08-24 Tiama Method, device and inspection line for visualizing the flatness of a surface of a container ring
JP2018091874A (en) * 2018-03-20 2018-06-14 株式会社イシダ Inspection device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL104473A (en) 1993-01-21 1996-10-31 Makhteshim Chem Works Ltd Natural coloring products
JP5180621B2 (en) 2008-03-04 2013-04-10 本田技研工業株式会社 Articulated robot

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03502138A (en) * 1988-10-26 1991-05-16 アイネックス‐ヴィステック・テクノロジーズ・インコーポレイテッド Article inspection system for analyzing edges and adjacent sides
JPH05180621A (en) * 1991-12-27 1993-07-23 Fuji Facom Corp Apparatus for inspecting seal of top face of bottle opening
JP2004163425A (en) * 2002-10-22 2004-06-10 Sealive Inc Visual examination apparatus
JP2005331302A (en) * 2004-05-19 2005-12-02 Nidec Tosok Corp Outside surface inspection method and outside surface inspection device
JP2006028209A (en) * 2004-07-12 2006-02-02 Mitsubishi Plastics Ind Ltd Polyester resin composition, and heat-shrinkable polyester film, molded article and container composed of the resin composition
DE102006031906A1 (en) * 2006-07-07 2008-01-10 Kappner, Helmut A. Testing device for testing of workpieces, has objective comprising optical axis for receiving light reflected by workpiece, and reflection element, in direction of optical axis, is arranged between objective and workpiece
JP2015187581A (en) * 2014-03-27 2015-10-29 日本電気株式会社 Inspection device and inspection method
US20170241916A1 (en) * 2014-10-17 2017-08-24 Tiama Method, device and inspection line for visualizing the flatness of a surface of a container ring
JP2018091874A (en) * 2018-03-20 2018-06-14 株式会社イシダ Inspection device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6883812B1 (en) * 2021-01-19 2021-06-09 大豊精機株式会社 Imaging system for visual inspection
JP2022110992A (en) * 2021-01-19 2022-07-29 大豊精機株式会社 Imaging system for visual inspection

Also Published As

Publication number Publication date
JP7255289B2 (en) 2023-04-11

Similar Documents

Publication Publication Date Title
US7924418B2 (en) Inspection apparatus and method
JPH03502138A (en) Article inspection system for analyzing edges and adjacent sides
JP2020008904A (en) Learning data collection apparatus, learning data collection system and learning data collection method
JPS61193009A (en) Inspecting device for top surface of opening of container
US7956902B2 (en) Imaging device
JP2020165763A (en) Inspection device
TW200402090A (en) Mark position detection device and mark position detection method
KR101615117B1 (en) Apparatus for Detecting the Defects of Graphene and the Detection Method of the same
TW201629474A (en) Inspection device
CN101464419A (en) Curve lens detection system
US20150212010A1 (en) Test Method for Optical Detection of Cup Bottom
WO2016186018A1 (en) Container inspection device and inspection method
JP5959430B2 (en) Bottle cap appearance inspection device and appearance inspection method
JP6359363B2 (en) Container inspection device and container inspection method
US7414662B2 (en) Multifunction lens
JP4173286B2 (en) Inspection device
JP2013124120A (en) Container with shrink label, and shrink label attachment-state testing method of the container with shrink label
JP2021015035A (en) Image inspection method and image inspection device for image display device
JP2000155100A (en) Inner face inspecting method for three-piece can
JPH09269209A (en) Cap inspection device
JP4069535B2 (en) Collapsed lid detector
JP2021039414A (en) Inspection apparatus
JP4534827B2 (en) Film defect detection method and defect detection apparatus
JP2000193599A (en) Rupture detector of label
JP7435464B2 (en) Workpiece discrimination system, workpiece discrimination device, and workpiece discrimination method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220301

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20220301

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220401

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230313

R150 Certificate of patent or registration of utility model

Ref document number: 7255289

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150