JP2019117104A - Inspection system - Google Patents
Inspection system Download PDFInfo
- Publication number
- JP2019117104A JP2019117104A JP2017250836A JP2017250836A JP2019117104A JP 2019117104 A JP2019117104 A JP 2019117104A JP 2017250836 A JP2017250836 A JP 2017250836A JP 2017250836 A JP2017250836 A JP 2017250836A JP 2019117104 A JP2019117104 A JP 2019117104A
- Authority
- JP
- Japan
- Prior art keywords
- light
- image sensor
- linear image
- light source
- light sources
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 76
- 238000003384 imaging method Methods 0.000 claims abstract description 29
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 abstract description 45
- 238000005286 illumination Methods 0.000 abstract description 38
- 230000003287 optical effect Effects 0.000 description 12
- 230000005856 abnormality Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 230000032258 transport Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 239000000758 substrate Substances 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
Description
本願は、検査装置に関する。 The present application relates to an inspection apparatus.
フィルムまたは紙などのシート状の対象物に異物または欠陥などの異常がないかを検査する種々の方法が知られている。 Various methods are known for inspecting a sheet-like object such as film or paper for abnormalities such as foreign matter or defects.
例えば、特許文献1は、シート状の被検査物の表面を撮像することによって被検査物の欠陥を検査する検査装置を開示している。特許文献1の検査装置は、リニア撮像素子と、リニア撮像素子のセル列に沿った方向に配列された複数の発光領域を有する線状の照明装置とを備える。複数の発光領域の点灯が、リニア撮像素子のデータ転送動作ごとに行われる。この検査装置は、リニア撮像素子によって生成された複数の画像に基づいて被検査物の欠陥を検査する。 For example, Patent Document 1 discloses an inspection apparatus which inspects a defect of an inspection object by imaging the surface of a sheet-like inspection object. The inspection apparatus of Patent Document 1 includes a linear imaging device and a linear illumination device having a plurality of light emitting regions arranged in a direction along a cell row of the linear imaging device. Lighting of the plurality of light emitting areas is performed for each data transfer operation of the linear imaging element. The inspection apparatus inspects the defect of the inspection object based on the plurality of images generated by the linear imaging device.
特許文献2は、被検査物であるシートに表側から光を照射する2つの表側光源と、裏側から光を照射する1つの裏側光源と、カメラとを備えた検査装置を開示している。カメラは、2つの表側光源が発光している状態で検査領域の明視野像を取得し、裏側光源が発光している状態で検査領域の暗視野像を取得する。明視野像を得るか暗視野像を得るかは、シートの性状に応じて、検査に適した一方または双方が選択される。 Patent Document 2 discloses an inspection apparatus provided with two front side light sources for irradiating light from the front side to a sheet to be inspected, one back side light source for irradiating light from the back side, and a camera. The camera acquires a bright field image of the inspection area in a state in which the two front light sources emit light, and acquires a dark field image of the inspection area in a state in which the back light source emits light. Whether to obtain a bright-field image or a dark-field image depends on the nature of the sheet, and one or both suitable for inspection is selected.
本開示は、複数の照明方法による検査を、より簡単な構成で実現する技術を提供する。 The present disclosure provides a technique for realizing inspection with a plurality of illumination methods with a simpler configuration.
本開示の一態様に係る検査装置は、駆動装置によって第1の方向に搬送されるシート状の対象物を検査する。前記検査装置は、前記対象物が静止している場合に、前記対象物における同一の部分を光で照射するように配置された複数の光源と、前記第1の方向に交差する第2の方向に配列された複数の光検出セルを含むリニアイメージセンサであって、前記対象物における前記光で照射された部分を一定時間ごとに撮像するリニアイメージセンサと、前記複数の光源を制御する制御回路であって、前記駆動装置が前記対象物を搬送している状態で、前記リニアイメージセンサによる撮像のタイミングに同期して、前記複数の光源を順に点灯させる制御回路と、を備える。 An inspection apparatus according to an aspect of the present disclosure inspects a sheet-like object conveyed in a first direction by a drive device. The inspection apparatus is configured to, when the object is stationary, include a plurality of light sources arranged to irradiate the same part of the object with light, and a second direction intersecting the first direction. A linear image sensor including a plurality of light detection cells arranged in a row, the linear image sensor capturing an image of a portion of the object irradiated with the light at predetermined intervals, and a control circuit controlling the plurality of light sources A control circuit that sequentially turns on the plurality of light sources in synchronization with the timing of imaging by the linear image sensor in a state in which the driving device is transporting the object.
本開示の包括的または具体的な態様は、装置、システム、方法、集積回路、コンピュータプログラム、または記録媒体で実現されてもよい。あるいは、装置、システム、方法、集積回路、コンピュータプログラム、および記録媒体の任意な組み合わせで実現されてもよい。 The general or specific aspects of the present disclosure may be embodied in an apparatus, a system, a method, an integrated circuit, a computer program, or a storage medium. Alternatively, the present invention may be realized as any combination of an apparatus, a system, a method, an integrated circuit, a computer program, and a storage medium.
本開示の技術によれば、より簡単な構成で、複数の照明方法による検査を行うことが可能になる。 According to the technology of the present disclosure, it is possible to perform inspection by a plurality of illumination methods with a simpler configuration.
本開示の実施形態を説明する前に、本発明者らによって見出された知見を説明する。 Before describing the embodiments of the present disclosure, the findings found by the present inventors will be described.
対象物(本明細書において、「被検物」とも称する。)をカメラを用いて検査するときの照明方法には、目的に応じて様々な方法がある。 There are various methods of illumination when inspecting an object (also referred to herein as a “test object”) using a camera, depending on the purpose.
図1は、光源とカメラとを用いて対象物を検査する方法の代表的な例を示す図である。図1(a)は、落射照明による検査方法の例を示している。図1(b)は、斜光照明による検査方法の例を示している。図1(c)は、透過照明による検査方法の例を示している。図1において、矢印は、光線を例示的に示している。 FIG. 1 is a diagram showing a typical example of a method of inspecting an object using a light source and a camera. FIG. 1A shows an example of an inspection method using epi-illumination. FIG. 1 (b) shows an example of the inspection method by oblique light illumination. FIG. 1C shows an example of the inspection method using transmitted illumination. Arrows in FIG. 1 exemplarily indicate light rays.
図1(a)に示す落射照明による方法では、光源200は、対象物300から見てカメラ100と同一の側から対象物300に光を入射させる。そのために、ハーフミラーまたはビームスプリッタなどの光学部材400が用いられる。この方法は、主に平面状の被検物の表面における反射率または色などの状態を観察する用途に適する。
In the method by the epi-illumination shown in FIG. 1A, the
図1(b)に示す斜光照明による方法では、光源200は、カメラ100と対象物300とを結ぶ直線に対して斜めに光を対象物300に入射させる。この方法は、主に被検物の表面における凹凸などの微細構造を観察する用途に適する。
In the oblique illumination method shown in FIG. 1B, the
図1(c)に示す透過照明による方法では、光源200は、対象物300から見てカメラ100の側とは反対の側から対象物300に光を入射させる。カメラ100は、対象物300を透過した光による像を取得する。この方法は、主に被検物の透過率または被検物の裏面の状態を観察する用途に適する。
In the transmission illumination method shown in FIG. 1C, the
このような複数の照明方法による検査を、シート状の対象物の同一の箇所について行う場合、以下のような構成が考えられる。 When the inspection by such a plurality of illumination methods is performed on the same portion of the sheet-like object, the following configuration can be considered.
図2は、複数の照明方法を用いてシート状の対象物を検査するシステムの一例を示す図である。この例では、被検査物はロール紙またはフィルムなどのシート状の製品である。被検査物は、駆動装置によって一方向に搬送される。製品は、製造工程と検査工程とを経た後、適切な大きさに裁断される。 FIG. 2 is a diagram showing an example of a system for inspecting a sheet-like object using a plurality of illumination methods. In this example, the inspection object is a sheet-like product such as roll paper or film. The inspection object is transported in one direction by the drive device. The product is cut to an appropriate size after undergoing the manufacturing process and the inspection process.
製造工程においては、原材料であるロール紙またはフィルムなどへの印刷または加工が行われる。続く検査工程では、製品に対して、複数の照明方法による検査が行われる。例えば、落射照明による表面の文字、模様、または色などの状態の検査、斜光照明による凹凸の検査、透過照明による裏面の状態の検査などが順に行われる。これらの検査により、印刷の欠陥、異物の混入、またはキズなどの異常が検出され得る。 In the manufacturing process, printing or processing on a roll paper or a film which is a raw material is performed. In the subsequent inspection process, the product is inspected by a plurality of illumination methods. For example, an inspection of the state of characters, patterns or colors on the surface by epi-illumination, an inspection of irregularities by oblique illumination, an inspection of the state of the back surface by transmissive illumination, etc. are sequentially performed. By these inspections, abnormalities such as printing defects, inclusion of foreign matter, or scratches can be detected.
このような複数の照明方法を用いた検査が行われるシステムでは、複数のカメラを検査ごとに用意し、複数の工程に分けて撮影することになる。このため、検査全体を実施するために必要なスペースが大きくなる。また、システムが比較的複雑であり、装置の調整または保守に手間を要する。結果として、システムのコストが増加し易い。 In a system in which inspections using such a plurality of illumination methods are performed, a plurality of cameras are prepared for each inspection, and divided into a plurality of steps to be photographed. This increases the space required to perform the entire test. In addition, the system is relatively complex, and it takes time to adjust or maintain the device. As a result, the cost of the system tends to increase.
被検物が静止している場合は、1台のカメラに複数の照明装置を取り付け、発光させる照明装置を切り替えながらその都度撮影する方法が可能である。しかし、シート状の製品を搬送しながら検査する場合には、被検物が静止しないため、そのような方法を適用することができない。 When the test object is stationary, a method is possible in which a plurality of lighting devices are attached to one camera and shooting is performed each time while switching the lighting device to be lit. However, when the sheet-like product is inspected while being transported, such a method can not be applied because the test object does not stand still.
そこで、本発明者らは、より簡単な構成で、複数の照明方法による検査を可能にする検査方法を検討した。その結果、以下に説明する構成により、上記課題を解決できることを見出した。 Therefore, the present inventors examined an inspection method that enables inspection with a plurality of illumination methods with a simpler configuration. As a result, it has been found that the above problem can be solved by the configuration described below.
本開示の実施形態による検査装置は、駆動装置によって第1の方向に搬送されるシート状の対象物を検査する。前記検査装置は、前記対象物が静止している場合に、前記対象物における同一の部分を光で照射するように配置された複数の光源と、前記第1の方向に交差する第2の方向に配列された複数の光検出セルを含むリニアイメージセンサと、前記複数の光源を制御する制御回路とを備える。前記リニアイメージセンサは、前記対象物における前記光で照射された部分を一定時間ごとに撮像する。前記制御回路は、前記駆動装置が前記対象物を搬送している状態で、前記リニアイメージセンサによる撮像のタイミングに同期して、前記複数の光源を順に点灯させる。 An inspection apparatus according to an embodiment of the present disclosure inspects a sheet-like object conveyed in a first direction by a drive device. The inspection apparatus is configured to, when the object is stationary, include a plurality of light sources arranged to irradiate the same part of the object with light, and a second direction intersecting the first direction. And a control circuit that controls the plurality of light sources. The linear image sensor images a portion of the object irradiated with the light at regular intervals. The control circuit sequentially turns on the plurality of light sources in synchronization with timing of imaging by the linear image sensor in a state where the drive device is transporting the object.
このような構成により、複数の光源を、例えば1つずつ一定時間ごとに点灯させながら、その都度リニアイメージセンサで対象物を撮像することができる。これにより、照明方法の異なる複数種類の検査を、省スペースで実施することができる。 According to such a configuration, it is possible to image an object with the linear image sensor each time while turning on a plurality of light sources, for example, one by one at predetermined time intervals. Thereby, a plurality of types of inspections with different illumination methods can be performed in a space-saving manner.
ある実施形態において、前記リニアイメージセンサは、前記複数の光検出セルによって検出された光の量に応じた一次元画像信号を前記一定時間ごとに出力する。前記検査装置は、前記リニアイメージセンサから出力された複数の一次元画像信号から、前記複数の光源からの光にそれぞれ基づく複数の2次元画像信号を生成する信号処理回路をさらに備え得る。 In one embodiment, the linear image sensor outputs a one-dimensional image signal corresponding to an amount of light detected by the plurality of light detection cells at each predetermined time. The inspection apparatus may further include a signal processing circuit that generates a plurality of two-dimensional image signals based on light from the plurality of light sources from the plurality of one-dimensional image signals output from the linear image sensor.
これにより、複数の光源を切り替えながら取得した複数の一次元画像信号を組み合わせて、複数の光源にそれぞれ対応する複数の2次元画像信号を取得することができる。 Thereby, the plurality of one-dimensional image signals acquired while switching the plurality of light sources can be combined to obtain the plurality of two-dimensional image signals respectively corresponding to the plurality of light sources.
以下、本開示の例示的な実施形態を説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。以下の説明において、同一または類似する構成要素については、同じ参照符号を付している。 Hereinafter, exemplary embodiments of the present disclosure will be described. However, more detailed description than necessary may be omitted. For example, detailed description of already well-known matters and redundant description of substantially the same configuration may be omitted. This is to avoid unnecessary redundancy in the following description and to facilitate understanding by those skilled in the art. It is noted that the inventors provide the attached drawings and the following description so that those skilled in the art can fully understand the present disclosure, and intend to limit the claimed subject matter by these. Absent. In the following description, the same or similar components are given the same reference numerals.
(実施形態)
図3は、本開示の例示的な実施形態における検査システムの全体の構成を示す模式図である。検査システムは、例えば工場の生産ラインにおいて用いられる。検査システムは、検査装置10と、駆動装置600とを備える。
(Embodiment)
FIG. 3 is a schematic view showing the overall configuration of an inspection system in an exemplary embodiment of the present disclosure. The inspection system is used, for example, in a production line of a factory. The inspection system includes an
駆動装置600は、シート状の対象物300を一方向(「第1の方向」と称する)に搬送する。駆動装置600は、搬送用の複数のローラーと、少なくとも1つのモータとを備える。図3の例では、対象物300の両端に2つのローラーが配置されている。2つのローラの各々はモータに接続され、モータによって回転する。これにより、対象物300を第1の方向に搬送する。駆動装置600は、対象物300の動きを検出するロータリーエンコーダおよび対象物300を支持する支持台などの他の構成要素も備え得る。
The
本実施形態における検査装置10は、3つの光源と、1つのカメラとを備える。3つの光源は比較的狭いエリアに集約して配置され、カメラの数は1つのみである。このため、図2に示す構成と比較して、省スペース化を図ることができる。
The
図4は、検査装置10の構成を模式的に示す図である。検査装置10は、3つの光源200A、200B、200Cと、カメラ100と、制御回路500とを備える。カメラ100は、少なくとも1つのレンズを含む光学系110と、イメージセンサ120と、信号処理回路130とを備える。
FIG. 4 is a view schematically showing the configuration of the
3つの光源200A、200B、200Cは、対象物300が静止している場合に、対象物300における同一の部分を光で照射するように配置されている。ここで「同一の部分」とは、厳密に同一の部分である必要はなく、各光源からの光によって照射される領域が部分的に重なっていればよい。本実施形態においては、3つの光源200A、200B、200Cは順に点灯し、同時に点灯することはない。しかし、仮にこれらが同時に点灯したとすると、3つの光源200A、200B、200Cの各々からの光束は、対象物300上で重なる部分を有する。
The three
第1の光源200Aおよび第2の光源200Bは、対象物300から見てイメージセンサ120の側から対象物300に光を入射させる。他方、第3の光源200Cは、対象物300から見てイメージセンサ120の側の反対側から対象物300に光を入射させる。
The first
より具体的には、第1の光源200Aは、イメージセンサ120と同じ側から対象物300に垂直に光を入射させる。つまり第1の光源200Aは、落射照明による方法で対象物300を照射する。このため、第1の光源200Aからの光の経路上にハーフミラーまたはビームスプリッタなどの光学部材400が配置される。第1の光源200Aから出射した光は、光学部材400で反射され、対象物300の一部に入射する。その反射光は、光学部材400を透過し、光学系110を介してカメラ100に入射する。
More specifically, the first
第2の光源200Bは、イメージセンサ120と同じ側から対象物300に斜めに光を入射させる。つまり、第2の光源200Bから出た光束の中心軸と、対象物300の表面を平面で近似した場合の当該平面の法線方向とのなす角度は、0°よりも大きく90°よりも小さい。この角度は、検査の目的に応じて適切な値に設定される。第2の光源200Bから出射した光は、対象物300で反射され、光学部材400を透過してカメラ100に入射する。
The second
第3の光源200Cは、イメージセンサ120の反対側から対象物300に垂直に光を入射させる。つまり第3の光源200Cは、透過照明による方法で対象物300を照射する。第3の光源200Cから出射した光は、対象物300を透過し、光学部材400を透過してカメラ100に入射する。
The third
カメラ100に入射した光は、光学系110によって集束され、イメージセンサ120の撮像面に入射する。イメージセンサ120は、リニアイメージセンサ(「ラインセンサ」とも称する)であり、入射した光に基づく一次元の画像信号を一定時間ごとに繰り返し生成する。生成された画像信号は、信号処理回路130に送られる。信号処理回路130は、複数の一次元画像信号から、二次元画像信号を生成する。
The light incident on the
図5は、カメラ100による撮像の様子を模式的に示す図である。カメラ100は、対象物300の搬送方向に交差(典型的には直交)する線状の領域を撮影する。対象物300が一定の速度で搬送されている状態で、カメラ100は、対象物300を一定時間ごとに撮影する。
FIG. 5 is a view schematically showing a state of imaging by the
図6は、カメラ100におけるイメージセンサ120の一部の構造を模式的に示す断面図である。イメージセンサ120は、半導体基板121と、半導体基板121の表面に一次元的に配列された複数の光検出セル122a、122b、122c、・・・とを備えている。半導体基板121の表面には、光検出セル122a、122b、122c、・・・を不図示の駆動回路に接続する配線層125が形成されている。イメージセンサ120は、さらに、光検出セル122a、122b、122c、・・・に集光する複数のマイクロレンズのアレイ123を備えている。光検出セル122a、122b、122c、・・・は、対象物300の搬送方向(第1の方向)に交差する第2の方向に配列されている。各光検出セルは、例えばフォトダイオードなどの光電変換素子を含む。各光検出セルは、入射光量に応じた信号電荷を発生させる。各光検出セルが蓄積した電荷は一定時間ごとに読み出され、一次元画像信号として信号処理回路130に送られる。このような構造により、イメージセンサ120は、対象物300における光で照射された部分を一定時間ごとに撮像する。
FIG. 6 is a cross-sectional view schematically showing the structure of a part of the
イメージセンサ120は、図6に示す構成に限らず、任意のリニアイメージセンサを利用できる。リニアイメージセンサは、例えばCOMS型でもCCD型でもよい。
The
図7は、カメラ100の動作を説明するための図である。本実施形態におけるカメラ100は、リニアイメージセンサを備えるラインセンサーカメラである。ラインセンサーカメラでは、複数の光検出セルが一次元的に配列されているため、一度に一次元的な画像しか得られない。しかし、本実施形態のようにカメラ100と対象物300とを相対的に移動させることにより、二次元の画像を生成することができる。
FIG. 7 is a diagram for explaining the operation of the
図7に示すように、対象物300が移動している状態で、カメラ100のイメージセンサ120は、対象物300を一定時間ごとに撮影する。このとき、イメージセンサ120は、対象物300の微小な移動単位で撮影を繰り返す。イメージセンサ120は、撮影ごとに一次元画像信号(以下、「ライン信号」とも称する)を生成してメモリに記録する。この動作により、一次元の画像が多数生成される。メモリに記録された複数ラインの画像を読み出して再構成することにより、二次元画像を生成することができる。
As shown in FIG. 7, in a state where the
本実施形態では、1台のカメラ100で複数の照明方法による撮影を実現する。制御回路500は、イメージセンサ120による撮像のタイミングに同期して光源200A、200B、200Cの点灯を順に切り替える。ここで、各光源の点灯の切り替えは、イメージセンサ120による1回の撮像ごとに行われてもよいし、複数の撮像ごとに行われてもよい。これにより、1行ごとまたは複数行ごとに異なる照明方法による画像が得られる。
In the present embodiment, photographing by a plurality of illumination methods is realized by one
図8は、イメージセンサ120の撮像のタイミングを定める同期信号と、3つの光源200A、200B、200Cの各々の点灯のタイミングの一例を示す図である。同期信号は、例えばカメラ100の内部または外部に配置された制御回路からイメージセンサ120に入力され得る。同期信号は、駆動装置600が備えるロータリーエンコーダから入力されてもよい。あるいは、制御回路500が同期信号を生成してイメージセンサ120に入力してもよい。図示されるように、同期信号は、一定時間ごとにイメージセンサ120に入力される。同期信号の周期は、必要な解像度に応じて適宜決定される。同期信号の周期は、例えば数マイクロ秒から数ミリ秒程度であり得る。
FIG. 8 is a diagram showing an example of the synchronization signal that determines the imaging timing of the
制御回路500は、カメラ100から同期信号を監視し、同期信号のタイミングに応じて光源200A、200B、200Cを1つずつ順に点灯させる動作を繰り返す。この例では、nを0以上の整数として、3n+1回目の撮影では、制御回路500は、第1の光源200Aのみを点灯させ、他の光源200B、200Cを消灯させる。3n+2回目の撮影では、制御回路500は、第2の光源200Bのみを点灯させ、他の光源200A、200Cを消灯させる。3n+3回目の撮影では、制御回路500は、第3の光源200Cのみを点灯させ、他の光源200A、200Bを消灯させる。
The
このような制御により、光源200Aからの光による撮像と、光源200Bからの光による撮像と、光源200Cからの光による撮像とが繰り返される。
By such control, imaging with light from the
図9は、本実施形態における画像生成方法を説明するための図である。図9(a)は、第1の光源200Aを用いて撮影したときに得られる二次元画像の例を示している。図9(b)は、第2の光源200Bを用いて撮影したときに得られる二次元画像の例を示している。図9(c)は、第3の光源200Cを用いて撮影したときに得られる二次元画像の例を示している。なお、図示される画像は例示であり、わかり易くするために、現実に得られる画像よりも単純化している。
FIG. 9 is a diagram for explaining an image generation method in the present embodiment. FIG. 9A shows an example of a two-dimensional image obtained when shooting is performed using the first
本実施形態では、1回目、4回目、7回目、・・・の撮影時には、第1の光源200A(落射照明)が点灯する。2回目、5回目、8回目、・・・の撮影時には、第2の光源200B(遮光照明)が点灯する。3回目、6回目、9回目、・・・の撮影時には、第3の光源200C(透過照明)が点灯する。イメージセンサ120は、撮影ごとに一次元画像信号を生成して出力する。出力される複数の一次元画像信号の各々は、後に信号処理回路130によって生成される二次元画像における1つの行の信号に相当する。つまり、nを0以上の整数として、3n+1行目の画像信号は第1の光源200Aからの光に基づく一次元画像を表す。3n+2行目の画像信号は、第2の光源200Bからの光に基づく一次元画像を表す。3n+3行目の画像信号は、第3の光源200Cからの光に基づく一次元画像を表す。図9(d)は、所定行数の一次元画像信号を合成して得られる画像の例を示している。
In the present embodiment, the first
信号処理回路130は、所定行数(例えば、数十行から数万行程度)の一次元画像信号の撮影が完了すると、メモリに記録されたそれらの信号から、3つの二次元画像信号を生成する。信号処理回路130は、1、4、7、・・・行目の信号から第1の光源200Aによる二次元画像信号を生成する。同様に、信号処理回路130は、2、5、8、・・・行目の信号から第2の光源200Bによる二次元画像信号を生成する。信号処理回路130は、3、6、9、・・・行目の信号から第3の光源200Cによる二次元画像信号を生成する。これらの二次元画像に基づき、各種の検査を行うことができる。
The
カメラ100の解像度は、カメラ100の照明ごとのスキャン速度と対象物300の搬送速度とから決定される。解像度は、単位長さあたりの行数で表される。照明ごとのスキャン速度は、単位時間あたりの当該照明を用いた撮影の回数で表される。搬送速度は、単位時間当たりの移動距離である。解像度は、以下の式によって表される。
解像度(行/mm)=スキャン速度(行/秒)÷搬送速度(mm/秒)
The resolution of the
Resolution (line / mm) = scan speed (line / second) / transport speed (mm / second)
カメラ100のスキャン速度は、光源の数に反比例する。本実施形態のように3種類の照明を用いた場合、1種類の照明を用いた場合と比較して、スキャン速度は1/3になる。高い解像度を維持するために、スキャン速度の高いカメラが用いられる。
The scan speed of the
カメラのスキャン速度が高まると、照明の切り替え速度も高めることになる。各光源は、例えば発光ダイオード(LED)などの、高速に切り替えることが可能な光源が用いられ得る。各光源は、LED以外の光源であってもよい。例えば、レーザダイオード(LD)と拡散板とを組み合わせた光源または有機発光素子を用いた光源を用いてもよい。用途によっては蛍光灯または白熱電球を用いてもよい。但し、蛍光灯および白熱電球は、点滅に時間を要するため、高速な切替ができない。しかし、光源の特性上、これらの照明を利用したい場合があり得る。その場合には、例えば照明装置と被検物との間に機械式または液晶式のシャッターを設けることで、対応できる。すなわち、応答速度の遅い光源を点灯させた状態で、シャッターの開閉を高速に制御することで、高速な点滅を実現することができる。このように、光源は特定の種類のものに限定されず、任意の光源を使用することができる。 As the camera scanning speed increases, so does the lighting switching speed. Each light source may be a fast switchable light source, such as a light emitting diode (LED). Each light source may be a light source other than an LED. For example, a light source in which a laser diode (LD) and a diffusion plate are combined or a light source using an organic light emitting element may be used. Depending on the application, fluorescent or incandescent bulbs may be used. However, since fluorescent lamps and incandescent lamps require time to blink, high-speed switching can not be performed. However, due to the characteristics of the light source, it may be desirable to use these lights. In that case, it can respond, for example by providing a mechanical or liquid-crystal-type shutter between an illuminating device and a to-be-tested object. That is, high speed blinking can be realized by controlling the opening and closing of the shutter at high speed while the light source with the slow response speed is turned on. As such, the light source is not limited to a specific type, and any light source can be used.
各光源から出射する光の波長および強度は、用途によって任意に設定可能である。複数の光源の全てが同じ波長域の光を出射する必要はない。本実施形態では、3つの光源200A、200B、200Cが用いられるが、これは一例に過ぎない。用途によっては、2つ、または4つ以上の光源を用いてもよい。例えば、前述の光源200A、200B、200Cのうちのいずれか2つのみを用いて検査を行ってもよい。また、複数の光源の全てが異なる位置に異なる姿勢で配置されていなくてもよい。ほぼ同一の位置および姿勢で配置された複数の光源を使用してもよい。その場合でも、波長または強度を変化させることで、複数通りの検査を実施することができる。
The wavelength and intensity of light emitted from each light source can be arbitrarily set depending on the application. It is not necessary for all of the plurality of light sources to emit light of the same wavelength range. In the present embodiment, three
イメージセンサ120は、例えばコンタクトイメージセンサであってもよい。コンタクトイメージセンサは、対象物300にほぼ接触するほどの至近距離で撮像を行う。コンタクトイメージセンサは、ワーキングディスタンスが小さく、大型のレンズを必要としないなどの特徴を有する。このため、用途によってはコンタクトイメージセンサを用いる利点がある。コンタクトイメージセンサを用いる場合、前述の複数の光源は、コンタクトイメージセンサの筐体内に設けられていてもよい。
The
イメージセンサは、一般的なリニアイメージセンサ(ラインセンサー)でも、コンタクトイメージセンサーでも同様に使用できる。しかし、コンタクトイメージセンサーではワーキングディスタンスが小さいため、光源の配置が制限される場合がある。ワーキングディスタンスの大きいリニアイメージセンサを用いることができる場合は問題がないが、スペースの問題でコンタクトイメージセンサを使用せざるを得ない場合もある。その場合には、光学系の配置の工夫または画像処理ロジックの工夫によって対応することになる。 The image sensor can be used similarly to a general linear image sensor (line sensor) or a contact image sensor. However, in the contact image sensor, the arrangement of the light source may be limited because the working distance is small. There is no problem if a linear image sensor with a large working distance can be used, but there are also cases where the contact image sensor has to be used due to space problems. In such a case, it is possible to cope with the arrangement of the optical system or the device of the image processing logic.
次に、本実施形態における検査装置10の動作の例を説明する。
Next, an example of the operation of the
図10は、検査装置10によって実行される動作の一例を示すフローチャートである。検査装置10は、検査開始の指示を受けると、例えば図10に示す動作を実行する。この動作は、制御回路500におけるプロセッサがコンピュータプログラムを実行することによって実現され得る。制御回路500は、例えばプロセッサとメモリなどの記録媒体とを備える。コンピュータプログラムは、記録媒体に格納され、プロセッサによって実行され得る。
FIG. 10 is a flowchart showing an example of an operation performed by the
以下、各ステップの動作を説明する。 The operation of each step will be described below.
ステップS101:制御回路500は、第1の光源200Aを点灯させ、他の光源200B、200Cを消灯した状態で、イメージセンサ120に撮像させる。イメージセンサ120は、撮像によって取得した1つの行の一次元画像信号(ライン信号)をメモリなどの記録媒体に記録する。
Step S101: The
ステップS102:ステップS101の開始から一定時間が経過すると、制御回路500は、第2の光源200Bを点灯させ、他の光源200A、200Cを消灯した状態で、イメージセンサ120に撮像させる。イメージセンサ120は、撮像によって取得した次の行のライン信号を記録媒体に記録する。
Step S102: When a predetermined time has elapsed from the start of step S101, the
ステップS103:ステップS102の開始から一定時間が経過すると、制御回路500は、第3の光源200Cを点灯させ、他の光源200A、200Bを消灯した状態で、イメージセンサ120に撮像させる。イメージセンサ120は、撮像によって取得したさらに次の行のライン信号を記録媒体に記録する。
Step S103: When a predetermined time has elapsed from the start of step S102, the
ステップS104:制御回路500は、所定のライン数の記録が完了したかを判定する。この判定がNoの場合は、ステップS101からS104を再度実行する。これにより、所定のライン数の記録が完了するまで、第1から第3の光源200A、200B、200Cを順に用いた撮像が繰り返される。判定がYesの場合は、ステップS105に移行する。
Step S104: The
ステップS105:制御回路500は、撮影停止の指令があったか否かを判定する。この指令は、例えば検査システムのユーザまたは管理者の操作に起因して制御回路500に入力され得る。Yesの場合はシステムの動作を停止する。Noの場合はステップS106に移行する。
Step S105: The
ステップS106:信号処理回路130は、所定ライン数の一次元画像信号を記録媒体から読み出し、それらの信号に基づいて、3つの二次元画像信号を生成する。信号処理回路130は、1行目、4行目、7行目、・・・のライン信号を抽出し、それらを組み合わせて第1の光源200Aからの光に基づく二次元画像信号を生成する。信号処理回路130はまた、2行目、5行目、8行目、・・・のライン信号を抽出し、それらを組み合わせて第2の光源200Bからの光に基づく二次元画像信号を生成する。信号処理回路130はまた、3行目、6行目、9行目、・・・のライン信号を抽出し、それらを組み合わせて第3の光源200Cからの光に基づく二次元画像信号を生成する。なお、信号処理回路130は、各二次元画像信号を生成する際、必要に応じてデータが欠落している行のデータを補間してもよい。例えば、光源200Aに対応する二次元画像について、2行目および3行目のデータを、1行目および4行目のデータを用いて補間してもよい。
Step S106: The
ステップS107:信号処理回路130は、生成した3つの二次元画像の各々に基づき、異常の有無を判断する。信号処理回路130は、例えば、公知の画像処理アルゴリズムを実行して、各二次元画像を解析する。これにより、例えば印刷の正常性、異物の混入の有無、傷または汚れの有無などを判断する。異常が検出されなかった場合は、ステップS101に戻り、前述の動作を再度実行する。異常が検出された場合は、ステップS108に移行する。
Step S107: The
ステップS108:信号処理回路130は、画像解析の結果、異常を検出すると、異常が検出された画像信号に異常を示すフラグを付して記録する。そして、制御回路500に異常が検出された旨の信号(アラート)を送信する。制御回路500は、アラートを受けると、例えばユーザまたは管理者が使用する携帯端末または管理装置に通知を送る。これにより、ユーザまたは管理者は、製品に異常があったことを知ることができる。この場合も、ステップS101に戻り、対象物300の残りの部分の検査を継続する。
Step S108: When the
以上のような動作により、検査装置10は、複数の照明方法による検査を行うことができる。本実施形態では、1つのカメラ100で複数の光源200A、200B、200Cを用いた検査を実行することができる。このため、省スペースかつ簡単な構成で、所望の検査を実現できる。
By the operation as described above, the
なお、上記の構成および動作は例示にすぎず、本開示の技術は上記の態様に限定されない。上記の構成および動作を適宜改変した検査装置、検査システム、および検査方法も、本開示の範囲に含まれる。 The above configuration and operation are merely examples, and the technology of the present disclosure is not limited to the above embodiments. An inspection apparatus, an inspection system, and an inspection method, which appropriately modify the above configuration and operation, are also included in the scope of the present disclosure.
例えば、「シート状の対象物」は、紙およびフィルムに限らず、検査のために搬送される物であればよい。例えば、シートに封入された錠剤または食品であってもよい。錠剤または食品の凹凸、色、または品質などを検査する用途に本開示の技術を適用することができる。 For example, the "sheet-like object" is not limited to paper and film, and may be any material to be transported for inspection. For example, it may be a tablet or a food enclosed in a sheet. The technology of the present disclosure can be applied to applications that examine irregularities, colors, quality, and the like of tablets or foods.
また、複数の光源は、落射照明、遮光照明、および透過照明に限らず、どのような照明方法であってもよい。検査に用いられる光の波長は可視光に限らず、紫外線または赤外線であってもよい。 Also, the plurality of light sources are not limited to the epi-illumination, the shaded illumination, and the transmission illumination, and any illumination method may be used. The wavelength of light used for inspection is not limited to visible light, and may be ultraviolet light or infrared light.
駆動装置600は、ローラーとモータによって対象物300を搬送する機構に限らず、電動式の可動ベルトのような装置でもよい。その場合、可動ベルトの上に載せられた製品自体が、シート状の構造を有している必要はない。シート状ではない製品がベルト上を搬送される形態では、ベルトと製品との組み合わせが「シート状の対象物」であるものと解釈する。
The
上記の実施形態では、イメージセンサによる1行の撮像ごとに光源が切り替えられるが、本開示の技術はこのような態様に限定されない。例えば、2行ごと、3行ごとなど、複数行ごとに点灯する光源が切り換えられてもよい。1つの光源が点灯している状態で連続して撮像される行数が増加するほど、解像度は低下するが、各光源に要求される応答速度は緩和される。 In the above embodiment, the light source is switched for each row of imaging by the image sensor, but the technology of the present disclosure is not limited to such an aspect. For example, the light source to be lit may be switched every plural rows, such as every two rows or every three rows. The resolution decreases as the number of continuously imaged rows increases while one light source is on, but the response speed required for each light source is reduced.
本開示の技術は、工場または倉庫などにおける製品の検査などの用途に利用できる。 The technology of the present disclosure can be used for applications such as inspection of products in factories or warehouses.
100 カメラ
110 光学系
120 イメージセンサ
121 半導体基板
122a、122b、122c 光検出セル
123 マイクロレンズ
130 信号処理回路
200、200A、200B、200C 光源
300 対象物
400 光学部材
500 制御回路
600 駆動装置
DESCRIPTION OF
Claims (7)
前記対象物が静止している場合に、前記対象物における同一の部分を光で照射するように配置された複数の光源と、
前記第1の方向に交差する第2の方向に配列された複数の光検出セルを含むリニアイメージセンサであって、前記対象物における前記光で照射された部分を一定時間ごとに撮像するリニアイメージセンサと、
前記複数の光源を制御する制御回路であって、前記駆動装置が前記対象物を搬送している状態で、前記リニアイメージセンサによる撮像のタイミングに同期して、前記複数の光源を順に点灯させる制御回路と、
を備える検査装置。 An inspection apparatus for inspecting a sheet-like object conveyed in a first direction by a driving device, comprising:
A plurality of light sources arranged to illuminate the same part of the object with light when the object is stationary;
A linear image sensor including a plurality of light detection cells arranged in a second direction crossing the first direction, wherein the linear image picks up a portion of the object irradiated with the light at regular intervals. Sensor,
A control circuit for controlling the plurality of light sources, in which the plurality of light sources are sequentially lighted in synchronization with timing of imaging by the linear image sensor in a state where the driving device is transporting the object. Circuit,
Inspection device provided with
前記リニアイメージセンサから出力された複数の一次元画像信号から、前記複数の光源からの光にそれぞれ基づく複数の2次元画像信号を生成する信号処理回路をさらに備える、
請求項1に記載の検査装置。 The linear image sensor outputs a one-dimensional image signal corresponding to the amount of light detected by the plurality of light detection cells at each predetermined time interval.
The signal processing circuit further includes: generating a plurality of two-dimensional image signals based on lights from the plurality of light sources from the plurality of one-dimensional image signals output from the linear image sensor.
The inspection apparatus according to claim 1.
前記対象物から見て前記リニアイメージセンサの側から前記対象物に光を入射させ、前記対象物によって反射した光を前記リニアイメージセンサに入射させる第1の光源と、
前記対象物から見て前記リニアイメージセンサの側の反対側から前記対象物に光を入射させ、前記対象物を透過した光を前記リニアイメージセンサに入射させる第2の光源と、
を含む、請求項1から3のいずれかに記載の検査装置。 The plurality of light sources are
A first light source for causing light to be incident on the object from the side of the linear image sensor as viewed from the object, and for causing light reflected by the object to be incident on the linear image sensor;
A second light source for causing light to be incident on the object from the opposite side to the side of the linear image sensor with respect to the object, and for causing light transmitted through the object to be incident on the linear image sensor;
The inspection apparatus according to any one of claims 1 to 3, comprising
前記対象物から見て前記リニアイメージセンサの側から前記対象物に垂直に光を入射させ、前記対象物によって反射した光を前記リニアイメージセンサに入射させる第1の光源と、
前記対象物から見て前記リニアイメージセンサの側から前記対象物に斜めに光を入射させ、前記対象物によって反射した光を前記リニアイメージセンサに入射させる第2の光源と、
前記対象物から見て前記リニアイメージセンサの側の反対側から前記対象物に光を入射させ、前記対象物を透過した光を前記リニアイメージセンサに入射させる第3の光源と、
を含む、請求項1から3のいずれかに記載の検査装置。 The plurality of light sources are
A first light source for causing light to be perpendicularly incident on the object from the side of the linear image sensor as viewed from the object, and for causing light reflected by the object to be incident on the linear image sensor;
A second light source for causing light to obliquely enter the object from the side of the linear image sensor as viewed from the object, and for causing light reflected by the object to be incident on the linear image sensor;
A third light source for causing light to be incident on the object from the opposite side to the side of the linear image sensor with respect to the object, and for causing light transmitted through the object to be incident on the linear image sensor;
The inspection apparatus according to any one of claims 1 to 3, comprising
前記駆動装置と、
を備える、検査システム。 The inspection apparatus according to any one of claims 1 to 6.
The drive device;
, An inspection system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017250836A JP2019117104A (en) | 2017-12-27 | 2017-12-27 | Inspection system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017250836A JP2019117104A (en) | 2017-12-27 | 2017-12-27 | Inspection system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019117104A true JP2019117104A (en) | 2019-07-18 |
Family
ID=67304293
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017250836A Pending JP2019117104A (en) | 2017-12-27 | 2017-12-27 | Inspection system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019117104A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102179236B1 (en) * | 2019-07-22 | 2020-11-16 | 주식회사 에스에프에이 | Inspection system using multifaceted optical system and image synthesis and its inspection method |
KR20220071098A (en) * | 2020-11-23 | 2022-05-31 | 주식회사 에스엔디솔루션 | Apparatus for outer inspection of inspecting object using machine vision algorithm based on rule base and method thereof |
CN115629079A (en) * | 2022-10-19 | 2023-01-20 | 湖南迪普视智能科技有限公司 | Film surface defect detection system and method |
CN116256373A (en) * | 2023-05-15 | 2023-06-13 | 南京华视智能科技有限公司 | Perovskite battery film surface defect detection method |
JP7502108B2 (en) | 2020-07-31 | 2024-06-18 | ファスフォードテクノロジ株式会社 | Die bonding apparatus and method for manufacturing semiconductor device |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0623969A (en) * | 1992-07-10 | 1994-02-01 | Nireco Corp | Device for monitoring both-face printed matter |
JP2000241362A (en) * | 1999-02-18 | 2000-09-08 | Spectra Physics Visiontech Oy | Surface quality inspecting apparatus and method |
JP2006162427A (en) * | 2004-12-07 | 2006-06-22 | Toshiba Corp | Method and device for inspecting led chip |
JP2010019657A (en) * | 2008-07-10 | 2010-01-28 | Rozefu Technol:Kk | Inspection device using color illumination |
JP2010223613A (en) * | 2009-03-19 | 2010-10-07 | Futec Inc | Optical examining device |
JP2014163771A (en) * | 2013-02-25 | 2014-09-08 | Kurabo Ind Ltd | Appearance inspection device |
JP2014205306A (en) * | 2013-04-12 | 2014-10-30 | 橋本電機工業株式会社 | Veneer screening and stacking apparatus, and veneer screening method |
JP2017122621A (en) * | 2016-01-06 | 2017-07-13 | フロンティアシステム株式会社 | Fabric surface inspection device and illumination device for the same |
-
2017
- 2017-12-27 JP JP2017250836A patent/JP2019117104A/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0623969A (en) * | 1992-07-10 | 1994-02-01 | Nireco Corp | Device for monitoring both-face printed matter |
JP2000241362A (en) * | 1999-02-18 | 2000-09-08 | Spectra Physics Visiontech Oy | Surface quality inspecting apparatus and method |
JP2006162427A (en) * | 2004-12-07 | 2006-06-22 | Toshiba Corp | Method and device for inspecting led chip |
JP2010019657A (en) * | 2008-07-10 | 2010-01-28 | Rozefu Technol:Kk | Inspection device using color illumination |
JP2010223613A (en) * | 2009-03-19 | 2010-10-07 | Futec Inc | Optical examining device |
JP2014163771A (en) * | 2013-02-25 | 2014-09-08 | Kurabo Ind Ltd | Appearance inspection device |
JP2014205306A (en) * | 2013-04-12 | 2014-10-30 | 橋本電機工業株式会社 | Veneer screening and stacking apparatus, and veneer screening method |
JP2017122621A (en) * | 2016-01-06 | 2017-07-13 | フロンティアシステム株式会社 | Fabric surface inspection device and illumination device for the same |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102179236B1 (en) * | 2019-07-22 | 2020-11-16 | 주식회사 에스에프에이 | Inspection system using multifaceted optical system and image synthesis and its inspection method |
JP7502108B2 (en) | 2020-07-31 | 2024-06-18 | ファスフォードテクノロジ株式会社 | Die bonding apparatus and method for manufacturing semiconductor device |
KR20220071098A (en) * | 2020-11-23 | 2022-05-31 | 주식회사 에스엔디솔루션 | Apparatus for outer inspection of inspecting object using machine vision algorithm based on rule base and method thereof |
KR102625633B1 (en) | 2020-11-23 | 2024-01-16 | 주식회사 에스엔디솔루션 | Apparatus for outer inspection of inspecting object using machine vision algorithm based on rule base and method thereof |
CN115629079A (en) * | 2022-10-19 | 2023-01-20 | 湖南迪普视智能科技有限公司 | Film surface defect detection system and method |
CN116256373A (en) * | 2023-05-15 | 2023-06-13 | 南京华视智能科技有限公司 | Perovskite battery film surface defect detection method |
CN116256373B (en) * | 2023-05-15 | 2023-09-12 | 南京华视智能科技有限公司 | Perovskite battery film surface defect detection method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019117104A (en) | Inspection system | |
US7714996B2 (en) | Automatic inspection system for flat panel substrate | |
JP5132982B2 (en) | Pattern defect inspection apparatus and method | |
US20110310244A1 (en) | System and method for detecting a defect of a substrate | |
US20110141272A1 (en) | Apparatus and method for inspecting an object surface defect | |
JP2007078404A (en) | Inspection device of solar cell panel | |
KR20190082198A (en) | Optical Inspection Device | |
WO2008110061A1 (en) | Plane substrate auto-test system and the method thereof | |
WO2013073459A1 (en) | Automatic visual inspection device | |
US7489394B2 (en) | Apparatus for inspecting a disk-like object | |
JP2010048712A (en) | Defect inspection device | |
KR101650138B1 (en) | Multiple surface inspection system and method | |
JP4912083B2 (en) | Fruit and vegetable inspection equipment | |
JP2010286457A (en) | Surface inspection apparatus | |
JP4932595B2 (en) | Surface flaw inspection device | |
EP1978353B1 (en) | Multiple surface inspection system and method | |
JP7500545B2 (en) | Multi-modality multiplexed lighting for optical inspection systems | |
JP2018040761A (en) | Device for inspecting appearance of inspection target object | |
JPH09252035A (en) | Visual inspection method and device of semiconductor wafer | |
TW201910748A (en) | Optical inspection system and image processing method thereof | |
JP2007309779A (en) | Device and method for inspecting quality of printed matter | |
JP2004085204A (en) | Buckling inspection device and method | |
JP2015102364A (en) | Visual inspection device | |
JP2008051892A (en) | Microscope apparatus | |
JP2013195378A (en) | Liquid crystal inspection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201202 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210921 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20211118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220412 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221018 |