JP2019502901A - 走行中の製品ウェブを監視する装置および方法 - Google Patents

走行中の製品ウェブを監視する装置および方法 Download PDF

Info

Publication number
JP2019502901A
JP2019502901A JP2018525403A JP2018525403A JP2019502901A JP 2019502901 A JP2019502901 A JP 2019502901A JP 2018525403 A JP2018525403 A JP 2018525403A JP 2018525403 A JP2018525403 A JP 2018525403A JP 2019502901 A JP2019502901 A JP 2019502901A
Authority
JP
Japan
Prior art keywords
camera
data
elements
control
evaluation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018525403A
Other languages
English (en)
Other versions
JP6789291B2 (ja
Inventor
クラインドアプ マークス
クラインドアプ マークス
ベトケ トーマス
ベトケ トーマス
グラーフ ノアベアト
グラーフ ノアベアト
ヴァルガ ガーボル
ヴァルガ ガーボル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Protechna Herbst GmbH and Co KG
Original Assignee
Protechna Herbst GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Protechna Herbst GmbH and Co KG filed Critical Protechna Herbst GmbH and Co KG
Publication of JP2019502901A publication Critical patent/JP2019502901A/ja
Application granted granted Critical
Publication of JP6789291B2 publication Critical patent/JP6789291B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8901Optical details; Scanning details
    • G01N21/8903Optical details; Scanning details using a multiple detector array
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8896Circuits specially adapted for system specific signal conditioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30124Fabrics; Textile; Paper
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Textile Engineering (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

特に欠陥(F)について、走行中の製品ウェブ(5)をこの製品ウェブ(5)の評価された画像データに基づき監視する監視装置(8)は、製品ウェブ(5)の搬送方向(T)に垂直に互いに並置してポジショニング可能な少なくとも2つのカメラ素子(14,140)を備えている。この監視装置は、制御および評価ユニット(20,200)と、少なくとも1つのカメラ素子(14,140)を制御および評価ユニット(20,200)と接続する少なくとも1つのシリアル通信リンク(21,22)とを含む。各カメラ素子(14)は、未加工データ(B1)を記録するためのエリアスキャンカメラ素子(15)を備えている。監視装置(8)は、少なくとも1つのカメラモジュール(13,130,131)を備えており、このモジュールは、少なくとも2つのカメラ素子(14,140)を備えた少なくとも1つのカメラグループ(G1,G2)とハウジング(17)とを含む。1つのカメラグループ(G1,G2)のカメラ素子(14,140)は、シリアル通信リンク(21,22)に接続されている。カメラ素子は、エリアスキャンカメラ素子(15)により記録された未加工データ(B1)を、シリアル通信リンク(21,22)を介して制御および評価ユニット(20,200)へ転送するように構成されている。制御および評価ユニット(20,200)は、未加工データ(B1)から画像データを生成し、カメラグループ(G1,G2)のカメラ素子(14,140)の画像データを評価するように構成されている。

Description

本発明は、独立請求項の上位概念に記載の、走行中の製品ウェブを特に欠陥について監視する装置および方法に関する。
欧州特許出願公開第1654532号明細書(EP1654532)には、タフティング製品の製造中に欠陥個所を検出する装置および方法が記載されている。この装置は、タフティング製品に光を照射する光源と、タフティング製品から送出された光を検出する光学検出装置とを備えている。光学検出装置は、照射領域内にあるタフティング製品背面から反射した光の強度を検出し、検出された光強度に基づき、欠陥個所に起因するタフティング製品背面の非平坦性を特定する。この光源は、多数の赤外線発光ダイオードである。光源から送出される光は、タフティング製品背面と鋭角を成している。検出装置は、ラインスキャンカメラと、通常の輝度信号を抑圧するための、および糸の破損または二重糸による欠陥個所を識別するためのフィルタとを含んでいる。光源および検出装置は、タフティングマシンの1つの動作サイクルに同期合わせされている。この場合、複数の検出サイクルが実行され、時折発生する視野の制限が時間的に隠される。3台のラインスキャンカメラが設けられており、これらのカメラによってタフティング製品の全幅が監視される。
独国特許出願公開第10123870号明細書(DE10123870)の発明対象は、評価装置に接続された電子スキャン装置を用いて、製造機械における織物を自動的に監視する装置である。スキャン装置は、搬送方向と交差して複数のライン状のセンサ素子を含んでおり、これらのセンサ素子によって、部分的にオーバラップする複数のトラックに織物が分解される。センサ素子として、密着型画像センサ素子が設けられている。織物の送りが、織物の画像ラインの記録のベースとして用いられる。
独国特許出願公開第10117698号明細書(DE10117698)によれば、移動する紡織繊維製品を検査するためのセンサシステムが公知である。この場合、繊維製品の搬送方向に対し約90°ずらして、または互いに違いに、少なくとも3つのセンサストリップが取り付けられている。これらのセンサストリップは、複数のCMOS素子またはCCD素子から製造されており、その際にこれらの素子各々は、少なくとも20個の画素を有している。これらのセンサストリップは、1つの共通の評価システムと接続されている。これらのセンサストリップは、1つの共通のガラス板を通して繊維製品を検査する。
欧州特許出願公開第2103927号明細書(EP2103927)に記載されている繊維補強材料の自動監視方法によれば、補強材料の全幅に及ぶ、監視すべき補強材料の光学像が生成される。ついでこの像が、材料特性識別のためにコンピュータにおいて分析される。補強材料は、定置型のラインスキャナの前を通過する。ラインスキャナは、1つの光源と1つの光センサとを含んでいる。
独国特許第3639636号明細書(DE3639636C2)から、紡織繊維および平坦な製品を自動的に検査する方法および回路装置が公知である。これによれば製品表面が、複数の同種のカラーエリアスキャンカメラから成る装置によって、それぞれ区間ごとに捕捉される。この場合、三原色の信号がディジタル化されて評価される。製品が移動しているときに、製品がストロボスコープで照射される。
米国特許第5,696,591号明細書(US5,696,591A)には、走行中の製品ウェブにおける長手方向の欠陥を検出するための、本発明の上位概念による方法および装置が記載されている。製品ウェブの搬送方向と交差するようにポジショニングされた、それぞれ1つの制御ユニットを備えた複数のカメラによって、製品ウェブ表面の隣り合う複数の列の画像データが記録される。これらのカメラにより記録された製品ウェブの未加工データが、制御ユニットによって収集され、ディジタル化され、画像データとなるよう処理される。この場合、製品ウェブの幅全体にわたって光強度プロフィルの平均値が形成され、評価ユニットに伝達されて、そこにおいてそれらのプロフィルから長手方向の欠陥が検出される。評価ユニットは、シリアル通信ラインを介してカメラと接続されたメインコンピュータである。製品ウェブは、たとえば赤外線光を放出する光源によって照射される。各カメラは、CCDエリアスキャン素子を備えたCCDカメラであり、たとえば搬送方向と交差して2048個の素子を備え、搬送方向に96個の素子を備えたCCDカメラである。画像データを収集する速度は、予め定められた製品ウェブ速度とは同期合わせされていない。
走行中の製品ウェブをその全幅にわたって監視するために、複数の完全なカメラを互いに並置するのは煩雑であり、それに付随して複数のカメラのためにかなり高いコストがかかる。
米国特許第8,058,602号明細書(US8,058,602B2)の発明対象である細長い産業用カメラは、カメラ装置と、このカメラ装置に対し間隔をおいて配置された別個のレンズ装置とを、ハウジング内に備えている。カメラ装置は、複数の区間から成る1つの回路基板を備えており、各区間は、互いに配列された複数のリニアセンサたとえばリニアCMOSセンサを含んでいる。この産業用カメラは、製品ウェブの画像を約1:1のスケールで記録するように構成されている。画像データの伝達および評価に関して、詳しい情報はない。
欧州特許出願公開第1654532号明細書 独国特許出願公開第10123870号明細書 独国特許出願公開第10117698号明細書 欧州特許出願公開第2103927号明細書 独国特許第3639636号明細書 米国特許第5,696,591号明細書 米国特許第8,058,602号明細書
本発明の課題は、低コストで確実に全幅にわたる監視を実現できるようにした、走行中の製品ウェブを特に欠陥について監視する装置および方法を開発することである。
この課題は、独立請求項により解決される。
特に欠陥について、走行中の製品ウェブを、この製品ウェブの評価された画像データに基づき監視する本発明に係る監視装置には、少なくとも2つのカメラ素子が設けられており、これらのカメラ素子は、製品ウェブの搬送方向に対し垂直に互いに並置してポジショニング可能である。この装置は、制御および評価ユニットと、カメラ素子と制御および評価ユニットとを接続する少なくとも1つのシリアル通信リンクとを含む。各カメラ素子は、未加工データを記録するエリアスキャンカメラ素子を備えている。
以下では、エリアスキャンカメラ素子により記録された画像データを、未加工データと称する。黒白画像を供給するカメラ素子であれば、未加工データには、画素とも称するエリアスキャンカメラ素子の個々のエリアスキャン素子の輝度値が含まれている。
カラー画像を供給するカメラ素子であれば、未加工データには、個々のエリアスキャン素子の輝度値が含まれており、それらの輝度値から、エリアスキャンカメラ素子の外部で色値が求められる。
別の選択肢として、カラー画像を供給するカメラ素子において、未加工データには、エリアスキャンカメラ素子において求められた個々のエリアスキャン素子の色値が含まれている。
監視装置は、少なくとも1つのカメラモジュールを備えている。各カメラモジュールは、少なくとも2つのカメラ素子を備えた少なくとも1つのカメラグループを含んでいる。各カメラモジュールには、ハウジングが設けられている。1つのカメラグループのカメラ素子は、シリアル通信リンクに接続されている。各カメラグループにおいてカメラ素子は、エリアスキャンカメラ素子により記録された未加工データを、シリアル通信リンクを介して制御および評価ユニットへ転送するように、構成されている。制御および評価ユニットは、すべてのカメラグループについて、カメラ素子の未加工データから画像データを生成し、それらを評価するように、構成されている。
制御および評価ユニットへ転送される製品ウェブの画像の未加工データを記録するだけのカメラ素子を、簡単かつ低コストで構築することができる。それらのカメラ素子は、エリアスキャンカメラ素子のほかには、僅かな追加部品しか必要としない。特に、複数のカメラ素子をカメラグループとして統合し、それぞれ1つの共通のシリアル通信リンクを介して未加工データを伝送することによって、バス状の配置構成によるケーブル配線コストが最小限に抑えられる。
1つのカメラグループのカメラ素子のエリアスキャンカメラ素子により記録される未加工データの伝送は、相応に構成されたカメラ素子を用いることによって、カメラ素子ごとにそれぞれ1つのリンクを介してではなく、1つのシリアル通信リンクのみを介して行われる。これによって、本発明に係る装置の設置時および動作時の機械的および電子的なコストが節約される。
シリアル通信リンクによって高性能の通信リンクが実現され、ひいては未加工データの高速かつ正確な評価が可能となる。これによって、製品ウェブにおいて欠陥が生じたときに、たとえば編み機などのように製品ウェブを製造または処理する繊維機械を、確実かつ迅速にスイッチオフすることができるようになる。
1つの実施形態によれば、1つのカメラグループには8個までのカメラ素子が含まれている。8個のカメラ素子のアドレッシングは、たとえば対応するスイッチの3桁のバイナリコードを介して行われる。1つの例として、かかるスイッチを手動でも操作することができる。
別の選択肢によれば、カメラ素子のアドレッシングが自動的に行われ、この場合、各カメラ素子によって次のカメラ素子がさらにスイッチングされる。
1つの実施形態によれば、1つのカメラグループにおける複数のカメラ素子のうち少なくとも1つのカメラ素子は、2つのデータリンクと1つのマルチプレクサとを備えている。これらのカメラ素子各々において、それぞれ一方のデータリンクはカメラデータリンクとして形成されており、これはカメラ素子のエリアスキャンカメラ素子へと導かれている。カメラ素子の他方のデータリンクは、カメラ素子中を通って導かれているスルーデータリンクとして形成されており、これはカメラグループのさらに別のカメラ素子に接続可能である。カメラ素子のこれら両方のデータリンクは、マルチプレクサによって順次、シリアル通信リンクに接続可能である。
1つのカメラグループの複数のカメラ素子のうち、場合によっては最後のカメラ素子を除きすべてのカメラ素子に、これら2つのデータリンクとマルチプレクサとが設けられている。これらのデータリンクのうち1つのデータリンクを、マルチプレクサを介してシリアル通信ラインに接続可能である。1つのカメラ素子内に2つのデータリンクを配置することによって、付加的なラインを用いることなく、複数のカメラ素子を1つのシリアル通信リンクに接続することができる。
1つの実施形態によれば、マルチプレクサは、シリアル通信ラインを介して制御および評価ユニットにより制御可能である。
1つの実施形態によれば、1つのカメラモジュールには、少なくとも2つのカメラグループが含まれており、このカメラグループはそれぞれ、カメラ素子相互間および制御および評価ユニットへの1つのシリアル通信リンクを備えている。制御および評価ユニットは、複数のカメラグループの未加工データを並列処理するように、構成されている。
制御および評価ユニットにおける適切なプロセッサにより、それぞれ異なるカメラグループの未加工データを並列処理することによって、画像処理速度が高められる。たとえば2つのカメラグループが接続されているならば、画像処理速度はおおよそ2倍になる。
1つの実施形態によれば、制御および評価ユニットは、少なくとも2つのコアを備えたプロセッサと、共通のメモリ領域を備えたメモリモジュールとを含んでいる。有利には、このプロセッサのすべてのコアは共通のメモリ領域を使用する。
1つの実施形態によれば、カメラグループのカメラ素子は、交互にハウジング内に互いに並置されてポジショニングされている。
それぞれ異なるグループのカメラ素子を交互に配置することの利点は、カメラグループあたりのカメラ素子数がほぼ同じ量になることである。このことは、交互の配置が以下で述べる拡張モジュール内で続く場合にも当てはまる。これにより、グループ内で未加工データを伝送する時間が、ほぼ同じ長さとなる。
カメラモジュールのハウジングは、互いに並置された複数のカメラ素子を取り囲んでいる。ハウジングの外面形状は、たとえば実質的に円筒状である。1つの実施形態によれば、外周は円形である。別の選択肢によれば、外周は矩形、正方形または多角形である。
1つの実施形態によれば、ハウジングはハウジング形材を含んでいる。1つの例によれば、ハウジングが含んでいるハウジング形材の外面形状は、一方の側が開放された円筒バレルの形状を有しており、さらにハウジング形材の開放された側を封止する少なくとも1つの取り外し可能なカバーを有している。取り外し可能なカバーによって、形材中に配置された素子たとえばカメラ素子に良好に近づいて取り扱うことができるようになる。
1つの実施形態によれば、ハウジング形材および/またはハウジングのカバーは、押出形材の区間として形成されている。1つの例によれば、押出形材はアルミニウムから製造されている。
別の選択肢によれば、この装置は、1つまたは複数のカメラモジュールのほかに、制御および評価ユニットを含む制御モジュールを備えている。
さらに別の選択肢によれば、メインカメラモジュール(マスタカメラモジュール)として形成されたカメラモジュールが、制御および評価ユニットを含んでいる。
1つの実施形態によれば、制御および評価ユニットは、ハウジングのカバーのところに配置されている。
1つの実施形態によれば、少なくとも2つのカメラモジュールが設けられており、この場合、複数のカメラモジュールのハウジングが互いに接続されている。
両方のカメラモジュールのハウジングは、同じハウジング形材の区間を有している。この場合、これらのカメラモジュールが接続されると、ハウジング形材の横断面が互いに当接する。1つの実施形態によれば、接続部材が設けられており、この部材は、両方のハウジングの形材の開放部分において、両方のカメラモジュールにわたって延在している。この接続部材によって、ハウジングの接続が固定される。
監視装置のマスタカメラモジュール以外の別のカメラモジュールを、拡張カメラモジュールと称する。
1つの実施形態によれば、監視装置は、1つのマスタカメラモジュールと1つの拡張カメラモジュールとを含んでおり、拡張カメラモジュール内に、1つまたは複数のカメラグループの別のカメラ素子が配置されている。
1つの実施形態によれば、エリアスキャンカメラ素子は、1つのエリアスキャンセンサと1つの光学素子とを備えている。
1つの例によれば、光学素子の焦点(フォーカス)を調節することができる。
1つの実施形態によれば、エリアスキャンセンサは、CMOSエリアスキャンセンサとして形成されている。CMOSエリアスキャンセンサによって、僅かな電流消費で高い記録速度を実現することができる。選択的な実施形態によれば、エリアスキャンセンサは、CCDエリアスキャンセンサとして形成されている。
1つの実施形態によれば、エリアスキャンカメラ素子は、互いにそれぞれカメラ間隔をおいて配置されており、この場合、カメラ間隔は0.3m乃至2.0mである。好ましくは、カメラ間隔は0.5m乃至0.8mである。
カメラ間隔は、監視装置と製品ウェブとの間隔および光学素子の焦点距離を考慮して、選定される。光学素子の焦点距離が短くなるにつれて、カメラ間隔が長くなるように選定することができる。ただし、製品ウェブまで所与の間隔があるときに焦点距離が短くなると、光学的な品質が劣化してしまう。
1つのカメラモジュールのハウジングの長さは、カメラ間隔のほぼ整数倍になる。好ましくは、カメラモジュールには2乃至8個のカメラ素子が設けられている。
1つのカメラモジュールのハウジングは、カメラ素子ごとに1つのハウジング区間を有している。
1つの実施形態によれば、1つのハウジング区間の内部に回路基板部材が設けられており、この回路基板部材上にカメラ素子が配置されている。
別の選択肢によれば、回路基板部材は、それぞれハウジング区間全体にわたり延在している。これらの回路基板部材は、たとえばボード・トゥー・ボード・コネクタを介して、互いに接続されている。
さらに別の選択肢によれば、シリアル通信リンクはケーブルおよびプラグコネクタを備えており、これらによってカメラ素子が互いに接続されている。プラグ接続は、たとえばRJ45プラグコネクタとして形成されている。
1つの実施形態によれば、監視装置には、製品ウェブのための照射装置が設けられている。照射装置はカメラ素子ごとに、少なくとも2つのLED(発光ダイオード)を備えた少なくとも1つの照射素子を有している。照射素子は、各エリアスキャンカメラ素子間の接続ライン上にLEDが位置するように、構成されている。
1つの選択的な実施形態によれば、LEDは、エリアスキャンカメラ素子の接続ラインに対し平行なライン上に配置されている。
1つの実施形態によれば、LEDは、たとえば少なくとも1Wの電力好ましくは2Wの電力を有する高性能LEDとして形成されている。高性能のLEDひいては光度の強いLEDを使用することによって、カメラ素子あたりに必要とされるLEDの個数を少なくすることができる。これによって、たとえば各カメラ素子間の接続ライン上でのそれらの配置が簡単になる。
1つの実施形態によれば、LEDは赤外線LEDとして形成されており、エリアスキャンカメラの前に昼光阻止フィルタが設けられている。これによって、可視の周囲光のシャドーイングおよび輝度変化の影響を回避することができる。
1つの実施形態によれば、各LEDの前に光学部材たとえばレンズが配置されている。別の選択肢によれば、照射素子は1つの共通のハウジング内に、少なくとも1つのLEDと1つの光学部材とを含んでいる。
既述の本発明に係る装置において、本発明に係る方法を実施することができる。これらの方法は、装置の利点および特徴を、対応して有している。
特に欠陥について、走行中の製品ウェブを監視する本発明に係る方法によれば、製品ウェブが搬送方向に搬送される。この場合、製品ウェブの画像データが評価される。製品ウェブの搬送方向に対し垂直に互いに並置されてポジショニングされた少なくとも2つのカメラ素子と、制御および評価ユニットと、少なくとも1つのカメラ素子を制御および評価ユニットと接続する少なくとも1つのシリアル通信リンクとを用いて、画像データが生成されて評価される。画像データの未加工データは、1つのカメラ素子のエリアスキャンカメラ素子によってそれぞれ記録される。
製品ウェブの1つの画像における画像データの未加工データは、少なくとも2つのカメラ素子を備えた少なくとも1つのカメラグループを含む少なくとも1つのカメラモジュールによって、記録される。1つのカメラグループにおける複数のカメラ素子は、1つのシリアル通信リンクに接続されている。各カメラグループにおいて、記録された未加工データは、カメラ素子からシリアル通信リンクを介して制御および評価ユニットへ導かれる。制御および評価ユニットにおいて、未加工データから画像データが生成され、カメラグループのカメラ素子の画像データが評価される。
1つの実施形態によれば、各カメラ素子において、1つのエリアスキャンカメラ素子により記録された未加工データが、シリアライザによってシリアル通信リンクにシリアルに供給される。シリアルの未加工データは、制御および評価ユニットにおいて、デシリアライザにより並列化されて評価される。シリアルデータ伝送によって、大量の未加工データの確実な伝送が保証される。これによれば、データライン間のクロストークおよび遅延時間差による問題が回避される。
1つの実施形態によれば、カメラグループにおけるカメラ素子のエリアスキャンカメラ素子から、1つのカメラグループの少なくとも1つのカメラ素子を介して、未加工データが導かれる。カメラグループにたとえば2つのカメラ素子が含まれているならば、1つのカメラ素子によって自身の未加工データと、たとえば第2のカメラ素子の未加工データとが交互に、シリアル通信リンクに導かれる。自身の未加工データと外部の未加工データとを転送するために、1つのカメラ素子には2つのデータリンクと1つのマルチプレクサとが設けられている。
この場合、カメラデータリンクとして形成されたデータリンクを介して、カメラ素子のエリアスキャンカメラ素子からの未加工データすなわち自身の未加工データが、シリアル通信リンクへ導かれ、かつスルーデータリンクとして形成されたデータリンクを介して、少なくとも1つの別のカメラ素子のエリアスキャンカメラ素子の未加工データすなわち外部の未加工データが、シリアル通信リンクへ導かれる。マルチプレクサによって、カメラ素子の両方のデータリンクが順次、シリアル通信リンクに接続される。
1つの実施形態によれば、少なくとも2つのカメラグループにおける複数のカメラ素子の未加工データが、制御および評価ユニットにおいて並列処理される。
1つの実施形態によれば、制御および評価ユニットによって、未加工データから処理されたデータが求められる。この目的で、少なくとも複数行の未加工データが累積されて、平均値が形成される。1つの実施形態によれば、処理されたデータが制御および評価ユニットによって、たとえば欠陥について評価され、必要に応じて警告信号が生成される。
図面に概略的に描かれた実施例に基づき、本発明についてさらに詳しく説明する。
本発明に係る監視装置を備えた編み機の概略的な装置構成を示す側面図である。 監視装置を備えた編み機を概略的に示す正面図である。 第1の実施例による監視装置を概略的に示す機能図である。 監視装置の複数のカメラ素子を簡略化して示すブロック回路図である。 監視装置を簡略化して示すブロック回路図である。 監視装置の制御および評価ユニットを簡略化して示すブロック回路図である。 監視装置の1つのカメラ素子を簡略化して示すブロック回路図である。 監視装置の1つの照射素子を簡略化して示すブロック回路図である。 監視装置の画像評価について示すグラフである。 制御および評価ユニットへ未加工データを伝送するフローチャートを示す図である。 第2の実施例の監視装置を著しく簡略化された分解図として示す図である。 図11の監視装置の簡略化された断面図である。
第1の実施例:
図1には、複数の編み具(それらのうち1つだけを示す)が設けられた機械フレーム1を備えた編み機、たとえば縦糸3用のガイドレール2とスライドニードル4とを備えた縦編み機、が概略的に示されている。編み具において形成された製品ウェブ5は、ローラ6a、6b、6cを介して、たとえば図示されていない巻き取り装置へ供給される。
製品ウェブ5の上方に、走行中の製品ウェブ5を監視するための第1の実施例の本発明に係る監視装置8が配置されている。図1では、装置8の断面が1つの円によって略示されている。監視装置8は、製品ウェブと交差する方向で延在している。この装置8は、取り付け装置9によって機械フレーム1に固定されている。監視装置8は、搬送方向Tにおいて編み具の後方であって変向ローラ6a、6b、6cの前方に配置されている。装置8は照射装置を備えており、その光ビーム10は製品ウェブ5に配向されている。
図2には、装置8を備えた編み機の正面図が示されている。機械フレーム1は1つのフレームを含んでおり、本実施例ではこのフレーム内に、6つの部分整経ビーム11、監視装置8、(スライドニードルを備えた)ニードルバー4のためのガイドレール2、ならびにローラ6b、6cおよび巻き取りローラ7が支承されている。図2では製品ウェブ5が、ローラ6bから離れて巻き取りローラ7に巻回された最終製品として、示されている。監視装置8は、たとえばローラ6、7の軸と平行に、すなわち製品ウェブ5と交差して、両側で機械フレーム1のフレームまで延在している。
図3には、監視装置8の概略的な機能図が示されている。本実施例では監視装置8は、複数のカメラ素子14を備えたカメラモジュール13を含んでおり、これらのカメラ素子のうち、図3には3つのカメラ素子だけが示されている。カメラ素子14は、エリアスキャンセンサ15aと光学素子16とを備えたそれぞれ1つのエリアスキャンカメラ素子15を有している。
カメラモジュール13には、ハウジング17が設けられている。
カメラ素子14は、装置8の配置によって、製品ウェブ5の搬送方向Tに対し垂直に、すなわち製品ウェブ5と交差して、互いに並置されてポジショニングされている。この場合、エリアスキャンカメラ素子15はハウジング17内において、互いにカメラ間隔Kaを隔てて、かつそれぞれ製品ウェブ5と交差して延在するカメラ素子14の中央に、配置されている。
装置8は、製品ウェブ5に対し間隔Aを隔てて配置されている。間隔Aは、製品ウェブ5から0.2m乃至2.0mであり、特に0.6m乃至1.1mである。
エリアスキャンカメラ素子15の監視幅l、すなわち製品ウェブ5の監視すべき区間の幅は、間隔Aと、各エリアスキャンカメラ素子15間のカメラ間隔Kaとに依存する。
エリアスキャンカメラ素子15のカメラ間隔Kaは0.3m乃至2.0mであり、好ましくは0.5m乃至0.8mである。本実施例によれば、エリアスキャンカメラ素子15は、約0.6mのカメラ間隔Kaをおいて互いに並置されている。
図3には、2つのエリアスキャンカメラ素子15間のカメラ間隔Kaと、1つのカメラ素子14に対応づけられた製品ウェブ5の1つの区間の対応する幅Bと、監視幅lとが示されている。監視幅lは、1つのカメラ素子14に対応づけられた幅Bより広い。すなわち、互いに並置された2つのエリアスキャンカメラ素子15により監視される監視範囲lは、いくらかオーバラップしている。
光学素子16は対物レンズを含んでおり、これはたとえばSマウント対物レンズとして構成されている。本実施例によれば、この対物レンズは、エリアスキャンセンサ15aまでのその距離について変位可能であり、つまりは光学素子の焦点(フォーカス)を調整可能である。焦点距離は3mm乃至16mmであり、好ましくは6mm乃至8mmである。
別の選択肢として、対物レンズは、レンズ曲率を変更可能な少なくとも1つのレンズを備えている。レンズ曲率が可変の、つまりは焦点距離が可変のレンズは、液体レンズである。
対物レンズの焦点距離は、望ましいカメラ間隔Kaおよび望ましい監視幅lのときの、製品ウェブまでの間隔Aに依存して選定される。
各カメラ素子14には、連続してつながっているハウジング17の1つのハウジング区間が対応づけられており、この場合、1つのハウジング区間から次のハウジング区間への移行部は、図3では破線によって示されている。カメラ素子14のハウジング17における1つのハウジング区間の幅は、幅Bに対応しており、やはり0.6mである。
カメラ素子14はたとえば、エリアスキャンカメラ素子15を備えた、図示されていないそれぞれ1つの回路基板部材を有している。光学素子16も、この回路基板部材に取り付けられている。
カメラモジュール13のハウジング17は、エリアスキャンカメラ素子15の前およびLED19の前に、光透過性領域を有している。
ハウジング17は、ハウジング形材の1つの区間と、少なくとも1つのカバーとを含んでいる。ハウジング形材およびカバーは、アルミニウムから成る押出形材によって製造されている。ハウジング形材には、ひいてはハウジング17には、少なくとも部分的に円筒バレルが設けられている。ハウジング17の直径は7cm乃至18cmであり、好ましくは10cm乃至15cmである。本実施例によれば、直径は約11cmであり、たとえば11.2cmである。
本実施例によれば、製品ウェブを監視する装置8には照射装置が設けられている。照射装置はカメラ素子14ごとに、保持装置とたとえば6個のLED19(発光ダイオード)とを備えた照射素子18を有している。LED19は、各エリアスキャンカメラ素子15間の接続線上に、もしくは外側のエリアスキャンカメラ素子15におけるそれらの各延長線上に、配置されている。図3に示されているカメラ素子14には、エリアスキャンカメラ素子15の各側に3つずつ、それぞれ6個のLED19が、対応づけられている。6個のLED19の光ビーム10によって、監視すべき幅lが照射される。
図4には、監視装置8の複数のカメラ素子14の簡略化されたブロック回路図が示されている。本実施例の監視装置8は上述のカメラモジュール13を含んでおり、このモジュール13は、それぞれ3つのカメラ素子14を有するカメラグループG1およびG2を備えている。つまりカメラモジュール13には6つのカメラ素子14が設けられており、それらが2つのカメラグループG1,G2に分割されている。
さらに監視装置8には、1つの制御および評価ユニット20と、カメラグループG1,G2ごとに1つのシリアル通信リンク21,22とが設けられている。通信リンク21,22によって、カメラグループG1,G2のカメラ素子14それぞれが互いに接続され、かつ制御および評価ユニット20と接続される。制御および評価ユニット20は、エリアスキャンカメラ素子15により記録された未加工データを並列処理するように構成されている。
シリアル通信リンク21,22は、データ、クロック信号および制御信号を伝送するためのバスラインを有している。本実施例によれば、データリンクはLVDSラインとして形成されている。制御リンクは、I2Cバスラインとして形成されている。さらに別の選択肢によれば、制御リンクはCANバスラインとして形成されている。
カメラモジュール13を備えた本実施例の場合、このモジュールは、制御および評価ユニット20ならびにシリアル通信リンク21,22を含んでいる。
各カメラグループG1,G2のカメラ素子14は、エリアスキャンカメラ素子15により記録された未加工データが、個々のシリアル通信リンク21,22を介して制御および評価ユニット20へ導かれるように、構成されている。制御および評価ユニット20は、未加工データから画像データを生成して、それらのデータを評価するように、構成されている。制御および評価ユニット20は、通信ライン23を介して編み機の機械制御部と接続可能である。
3つのカメラ素子14を備えた各カメラグループG1,G2における少なくとも2つのカメラ素子14には、2つのデータリンクと1つのマルチプレクサ26とが設けられている。データリンクのうちの1つは、カメラデータリンク24として形成されており、これはカメラ素子14のエリアスキャンカメラ素子15へと導かれている。第2のデータリンクは、シリアル通信リンク21におけるデータリンク21aの区間であるスルーデータリンクとして形成されており、これはカメラ素子14を通って導かれている。カメラ素子14のこれら両方のデータリンクは、マルチプレクサ26によって順次、個々のシリアル通信リンク21,22に接続可能である。
図5には、監視装置8の簡略化されたブロック回路図が示されている。図5に示されているように、両方のグループG1およびG2のカメラ素子14は、交互に互いに並置されてポジショニングされている。第1のグループG1のシリアル通信リンク21によって、左から右に見て、第1、第3および第5のカメラ素子14が互いに接続され、かつ、制御および評価ユニット20と接続されている。第2のグループG2のシリアル通信リンク22によって相応に、第2、第4および第6のカメラ素子14が互いに接続され、かつ、制御および評価ユニット20と接続されている。
監視装置8には、照射装置の照射素子18を制御するためのリンク27,28が設けられている。リンク27によって、第1のカメラグループG1のカメラ素子14に対応づけられた照射装置18が互いに接続され、かつ制御および評価ユニット20と接続されている。同様のことは、リンク28についても当てはまる。
リンク27,28は、制御信号のためのバスラインを備えている。
本実施例によれば、リンク27,28はI2Cバスラインを備えている。別の選択肢として、リンク27,28はCANバスラインを備えている。
制御および評価ユニット20は、制御素子18のLED19を制御信号によって個別にまたはグループでオン/オフするように、構成されている。
図6には、監視装置8の制御および評価ユニット20の簡略化されたブロック回路図が示されている。制御および評価ユニット20は、少なくとも1つのマイクロプロセッサ29(CPU)と、カメラグループG1,G2各々のための出力端32,33を含むそれぞれ1つの制御素子30,31とを備えている。
第1のカメラグループG1のための制御素子30は、たとえば未加工データを伝送するためのデータリンク21aの区間、伝送をクロック制御するためのクロックリンク21bの区間、および伝送を制御するための制御リンク21cの区間など、複数の区間を有する通信リンク21の区間を含んでいる。制御素子30は、第1のリピータ34すなわち到達距離を長くするためにクロックリンク21b中に接続された信号増幅装置および信号処理装置と、制御リンク21c中に接続されたスイッチオフ可能な第2のリピータ35とを含んでいる。第2のリピータ35は、制御ライン36を介してマイクロプロセッサ29によりアクティベート可能である。制御素子30は、電流供給リンク37の区間を含んでいる。
電流供給リンク37ならびに制御リンク21c、クロックリンク21bおよびデータリンク21aは、出力端32に接続されている。第1のカメラグループG1のカメラ素子14は、この出力端32を介して制御および評価ユニット20と接続可能である。
第2のカメラグループG2のための制御素子31も、同様に構成されている。第2のカメラグループG2のための制御素子31は、たとえば未加工データを伝送するためのデータリンク22aの区間、伝送をクロック制御するためのクロックリンク22bの区間、および伝送を制御するための制御リンク22cの区間など、複数の区間を有する通信リンク22の区間を含んでいる。制御素子31は、クロックリンク22b中に接続された第1のリピータ38と、制御リンク22c中に接続されたスイッチオフ可能な第2のリピータ39とを含んでいる。第2のリピータ39は、制御ライン40を介してマイクロプロセッサ29によりアクティベート可能である。制御素子31は、電流供給リンク41の区間を含んでいる。
電流供給リンク41ならびに制御リンク22c、クロックリンク22bおよびデータリンク22aは、出力端33に接続されている。第2のカメラグループG2のカメラ素子14は、この出力端33を介して制御および評価ユニット20と接続可能である。
制御および評価ユニット20は、カメラグループG1,G2各々の照射素子18のための出力端44,45を備えたそれぞれ1つの供給素子42,43を含んでいる。
第1のカメラグループG1のための供給素子42は、照射素子18への通信ライン24の区間を含んでいる。通信ライン24は、制御リンクとして形成されている。供給素子42は、通信ライン24中に接続されたスイッチオフ可能なリピータ46を含んでいる。スイッチオフ可能なリピータ46は、制御ライン47を介してマイクロプロセッサ29によりアクティベート可能である。供給素子42は、電流供給リンク48の区間を含んでいる。
電流供給リンク48ならびに通信ライン24は、出力端44に接続されている。第1のカメラグループG1の照射素子18は、この出力端44を介して制御および評価ユニット20と接続可能である。
第2のカメラグループG2のための供給素子43も、同様に構成されている。供給素子43は、照射素子18への通信ライン25の区間を含んでいる。通信ライン25は、制御リンクとして形成されている。供給素子43は、通信ライン25中に接続されたスイッチオフ可能なリピータ49を含んでいる。スイッチオフ可能なリピータ49は、ライン50を介してマイクロプロセッサ29によりアクティベート可能である。供給素子43は、電流供給リンク51の区間を含んでいる。
電流供給リンク51ならびに通信ライン25は、出力端45に接続されている。第2のカメラグループG2の照射素子18は、この出力端45を介して制御および評価ユニット20と接続可能である。
図7には、監視装置8の1つのカメラ素子14の簡略化されたブロック回路図が示されている。図7に示されたカメラ素子14はたとえば、CMOSエリアスキャンセンサとして構成されたエリアスキャンカメラ素子15を備えた第1のカメラグループG1の第1のカメラ素子14である。
カメラ素子14には、入力端52と、後続のカメラ素子14たとえば第1のカメラグループG1の第2のカメラ素子14のための出力端53とが設けられている。さらにカメラ素子14は、電流供給リンク37の区間と、シリアル通信リンク21すなわちデータリンク21a、クロックリンク21bおよび制御リンク21cの区間とを含んでおり、これらのリンクはそれぞれ入力端52および出力端53と接続されている。
さらにカメラ素子14には、アドレッシングスイッチ54、IOエキスパンダ55、リピータ56およびアクティベート可能なリピータ57が含まれている。IOエキスパンダ55は、制御リンク21cに接続されており、さらにアドレッシングスイッチ54と接続されている。制御リンク21cは、アクティベート可能なリピータ57を介して、エリアスキャンカメラ素子15と接続可能である。アクティベート可能なリピータ57は、ライン58を介してIOエキスパンダ55によりスイッチング可能である。リピータ56は、制御リンク21c中に接続されている。
データリンク21aの区間は、カメラ素子14のスルーデータリンクを成している。
カメラ素子14はシリアライザ59を含んでおり、これにはエリアスキャンカメラ素子15の出力端が接続されている。さらにカメラ素子14は、データリンク21a中に接続された上述のマルチプレクサ26を含んでいる。シリアライザ59は、カメラデータリンク24を介してマルチプレクサ26と接続されている。マルチプレクサ26は、1つのライン62または複数のラインを介して、IOエキスパンダ55によりスイッチング可能である。
カメラ素子14は、クロックリンク21b中に接続されたリピータ63を含んでいる。エリアスキャンカメラ素子15は、ライン64を介してリピータ63と接続されており、ひいてはクロックリンク21bに接続されている。エリアスキャンカメラ素子15は、1つのライン65を介して、または複数のラインを介して、IOエキスパンダ55により制御可能である。
カメラ素子14はさらに、電流供給リンク37中に接続された電圧調整ユニット66を含んでいる。
カメラ素子14はさらに、1つまたは複数のポジション照射素子を含んでおり、本実施例では赤色LED67を含んでおり、これはライン68を介してIOエキスパンダ55によりスイッチオン可能である。これによって、識別された製品欠陥のポジションが表示される。
図8には、監視装置の1つの照射素子18の簡略化されたブロック回路図が示されている。
照射素子18は、上述のカメラ素子14に対応づけられている。照射素子18には、入力端69と出力端70とが設けられている。さらに照射素子18は、電流供給リンク48の区間と通信ライン24の区間とを含んでおり、これらはそれぞれ入力端69および出力端70と接続されている。
さらに照射素子18は、アドレッシングスイッチ71、IOエキスパンダ72およびリピータ73を含んでいる。IOエキスパンダ72は、通信ライン24に接続されており、さらにアドレッシングスイッチ71と接続されている。リピータ73は、通信ライン24中に接続されている。
照射素子18はさらに、LED19のためのドライバ74を含んでおり、このドライバは、電流供給リンク48とLED19との間に接続されている。ドライバ74は、ライン75を介してIOエキスパンダ72により制御可能である。
照射素子18はさらに、電流供給リンク48中に接続された電圧調整ユニット76を含んでいる。
別の選択肢として、上述のポジション素子は、照射素子18のIOエキスパンダ72により制御可能である。このケースではそれらのポジション素子は、IOエキスパンダ72と接続されており、IOエキスパンダ55とは接続されていない。
図9には、監視装置の制御および評価ユニット20による画像評価に関するグラフが示されている。
この場合、製品ウェブ5の狭い被照射ストリップの幅X(単位mm)にわたり、すべての画像区間の未加工データBlが記録される。各画像区間の未加工データBlから、製品ウェブ5の幅Xにわたり輝度プロフィルのデータB1(画像データ)が導出される。この目的で、画像区間の未加工データBlがブロックにまとめられて、平均値が形成される。1つのブロックは、搬送方向に対し交差する方向のいくつかの画素と、搬送方向におけるいくつかの画素とを含んでおり、たとえばそれぞれ3個の画素を含んでいる。このブロックの平均値は、図9の下方のグラフにおける輝度プロフィルのデータB1の値である。
制御および評価ユニット20による評価の際に、輝度プロフィルのデータB1がデータB2に正規化され、フィルタリングされる(評価された画像データ)。正規化によって、光学素子16のレンズ湾曲に起因して製品ウェブ周縁領域に生じる輝度プロフィルの強度損失が補償される。
正規化されフィルタリングされた輝度プロフィルのデータB2は、図9の上方のグラフに示されている。データB1によるグラフもデータB2によるグラフも、950mm乃至1000mmの間の比較的明るい欠陥個所による作用が示されている。
別の選択肢として、走行中の製品ウェブ5を監視するための本発明に係る監視装置8は、製品ウェブ5の下方に配置されている。
別の選択肢によれば、監視装置は少なくとも2つのカメラモジュールを含んでいる。この場合、カメラモジュールのハウジング17が互いに接続されている。
別の選択肢によれば、監視装置は上述のカメラモジュール13を含んでおり、このモジュールは、制御および評価ユニット20を含み、さらにそれぞれ2つのカメラ素子を備えた2つのカメラグループを有するさらに別のカメラモジュールを含んでいる。カメラモジュール13は、メインカメラモジュール(マスタカメラモジュール)とも呼ばれる。別のカメラモジュールは、拡張モジュールと呼ばれる。
1つまたは複数の拡張モジュールは、マスタカメラモジュールと同数のカメラグループを含んでいる。
動作中、搬送方向Tで搬送される走行中の製品ウェブ5が、監視装置8により特に欠陥について監視される。この目的で、製品ウェブ5の画像データが評価される。本実施例によれば、製品ウェブ5の搬送方向に対し垂直に互いに並置されてポジショニングされた複数のカメラ素子14、制御および評価ユニット20、ならびにカメラ素子14と制御および評価ユニット20とを接続する通信リンク25によって、画像データが生成されて評価される。画像データの未加工データは、個々のカメラ素子14のエリアスキャンカメラ素子15によって記録される。
未加工データの記録は、カメラグループG1,G2およびハウジング17を含むカメラモジュール13によって行われる。エリアスキャンカメラ素子15により記録された未加工データは、対応するシリアル通信リンク21,22に接続された個々のカメラグループG1,G2のカメラ素子14を通って、それらのシリアル通信リンク21,22を介して制御および評価ユニット20へ転送される。それらの未加工データから、制御および評価ユニット20により画像データが生成される。カメラグループG1,G2のカメラ素子14の画像データは、制御および評価ユニット20によって評価される。
カメラグループG1,G2のうち1つのカメラグループにおけるカメラ素子14のエリアスキャンカメラ素子15からの未加工データが、カメラグループG1またはG2のカメラ素子14をそれぞれ介して、対応するシリアル通信リンク21,22へ導かれる。
既述のように、カメラ素子14にはこの目的で、それぞれ2つのデータリンクが設けられており、詳しくはカメラデータリンク24として形成されたデータリンクと、スルーデータリンクとして形成されたデータリンクすなわちデータリンク21aの区間とが設けられており、さらにマルチプレクサ26が設けられている。
考察しているカメラ素子14のエリアスキャンカメラ素子15からの未加工データは、カメラデータリンク24を介して、かつカメラグループG1,G2における別のカメラ素子14のエリアスキャンカメラ素子15の未加工データは、スルーデータリンクを介して、すなわちデータリンク21aの区間を介して、シリアル通信リンク21,22へ導かれる。マルチプレクサ26によってカメラ素子14の両方のデータリンクが順次、個々のシリアル通信リンク21,22に接続される。
両方のカメラグループG1,G2における複数のカメラ素子14の未加工データが、制御および評価ユニット20において並列処理される。
図10には、カメラグループG1,G2のカメラ素子14から制御および評価ユニット20へ、制御および評価ユニット20によって未加工データを伝送するための概略的なフローチャートが示されている。
これによればカメラグループG1,G2ごとに最初に、自身のグループ内でインデックスi=0が割り当てられている第1のカメラ素子14[0]が、制御および評価ユニット20と接続される。接続後、制御および評価ユニット20のメモリの1つの領域が用意される。カメラ素子14[0]の未加工データが伝送されて、画像始端が識別されるとただちにそのメモリに書き込まれる。画像始端が次に識別されると、カメラ素子14[0]の未加工データがメモリから評価ユニットへ転送される。インデックスiが1だけ高められ、カメラグループG1,G2においてそのインデックスに対応する次のカメラ素子14[i]が、制御および評価ユニット20と接続される。この方法は、最後のカメラ素子(カメラグループG1,G2ごとに3つのカメラ素子14が設けられているのであれば三番目のカメラ素子)の未加工データが読み込まれて転送されてしまうまで、さらに次のカメラ素子14[i]に対して繰り返される。その後、インデックスが再び0にセットされ、それによってカメラグループG1,G2の第1のカメラ素子14[0]が、制御および評価ユニット20と再び接続される。
製品ウェブが監視される間、たとえば製品ウェブを製造する編み機(図1参照)が動作中の間、データ伝送が繰り返される。これは終了信号に従って終了する。
第2の実施例:
第2の実施例は、以下で述べる特徴以外は第1の実施例に対応する。第2の実施例の監視装置は、図11および図12に描かれている。この監視装置は、2つのカメラモジュールすなわちマスタカメラモジュール130と拡張カメラモジュール131とを含んでいる。
マスタカメラモジュール130は、制御および評価ユニット200、ならびに1つのカメラグループG1,G2にそれぞれ3つずつ、6つのカメラ素子140を含んでいる。第1、第3および第5のカメラ素子は、第1のカメラグループG1に属しており、他のカメラ素子140は、第2のカメラグループG2に属している。拡張カメラモジュール131は2つのカメラ素子140を含んでおり、この場合、第1のカメラ素子は第1のカメラグループに属しており、第2のカメラ素子140は第2のカメラグループに属している。
図12には、カメラ素子140の領域内のたとえばマスタカメラモジュール130のハウジング17の断面が示されている。ハウジング17は、マスタカメラモジュール130の長さ全体にわたって延在するハウジング形材170を含んでおり、その外面形状は、一方の側に向かって開放された円筒バレルの形態を有する。ハウジング形材170は、その開放された側とは反対側の半部に、中間壁171a,171bおよび171cを有しており、これらの中間壁によって、マスタカメラモジュール130の長さ全体にわたって延在するほぼ正方形の開口部172が形成されている。ハウジング形材170には、マスタカメラモジュール130の長さ全体にわたって延在する中央壁173が設けられている。この中央壁173に、カメラ素子140が取り付けられている。本実施例によれば、中央壁173は途中で分断されている。これによって生じる中空スペースが、ケーブルダクトとして用いられる。
マスタカメラモジュール130のハウジング17は、開放された側を封止する複数のカバー174a,174b,174c,174dを含んでいる。図面の左側のカバー174aには、制御および評価ユニット200が取り付けられている。カバー174aを単に取り外すだけで、制御および評価ユニット200に近づいて取り扱うことができる。
図11には、マスタカメラモジュール130のハウジング17に関して、たとえば拡張カメラモジュールのない用途のために、ハウジング形材170の両方の端部のための2つの終端カバー176a,176bが示されている。
カバー174a乃至174dが互いに当接する個所に、封止部材175が設けられている。ハウジング形材170と終端カバー176a,176bとの間に、さらに別の封止部材177が設けられている。封止部材175,177は、ディスク状に形成されている。ハウジング形材170とカバー174a乃至174dとの間に、長手方向に延在する封止ストリップ178が設けられている。
ハウジング形材170には、複数の縦溝179が設けられている。監視装置8の複数のホルダ180が、長手方向に互いに間隔をおいて、これらの縦溝179のそれぞれ2つに取り付けられている。縦溝179ならびにホルダ180における図示されていない縦孔は、監視装置8を製品ウェブ5に対し種々の傾斜角でポジショニングできるように、配置されている。
拡張カメラモジュール131は、マスタカメラモジュール130と同様に、カメラ素子140の領域に構築されている。拡張カメラモジュール131のハウジング17は、ハウジング形材170とカバー174eとを含んでいる。これらの両方のカメラモジュール130および131のハウジング17は、つまりはそれらのハウジング形材170は、互いに接続されている。カメラモジュール130,131が互いに当接するハウジング形材170の端部は開放されており、つまり終端カバー176が設けられていない。たとえば鋼から成る長手方向に延在する形材190が、両方のカメラモジュール130,131のハウジング形材170の開口部172内に配置されている。形材190によって、両方のカメラモジュール130,131の接続が固定される。この形材の長さは、少なくとも1つのカメラ間隔Kaに相当する。本実施例によれば形材190の長さは、カメラ間隔Kaのほぼ2倍に相当する。
本実施例の場合には、監視装置は照射装置なしで実施されている。ハウジング17の光透過性領域は、カバー174内の透明な窓150によって形成されている。この窓150を通して、エリアスキャンカメラ素子15が製品ウェブの画像を記録する。
照射を行う監視ユニットの選択的な形態によれば、たとえば全長にわたり延在する窓がカバー174に設けられている。
別の選択肢によれば、監視装置は、4つのカメラ素子を有する比較的大きい拡張モジュールを含んでおり、それらのカメラ素子のうち、第1および第3のカメラ素子は第1のカメラグループに属しており、第2および第4のカメラ素子は第2のカメラグループに属している。
さらに別の選択肢によれば、監視装置は、同じ大きさまたはそれぞれ異なる大きさの複数の拡張モジュールを含んでいる。
1 機械フレーム
2 ガイドレール
3 縦糸
4 ニードルバー
5 製品ウェブ
6 ローラ
7 ローラ
8 装置
9 取り付け装置
10 光ビーム
11 整経ビーム
13 カメラモジュール(マスタカメラモジュール)
14 カメラ素子
15 エリアスキャンカメラ素子
15a エリアスキャンセンサ
16 光学素子
17 ハウジング
18 照射素子
19 LED
20 制御および評価ユニット
21 通信リンク
22 通信リンク
24 カメラデータリンク
26 マルチプレクサ
27 リンク
28 リンク
29 マイクロプロセッサ
30 制御素子
31 制御素子
32 出力端
33 出力端
34 第1のリピータ
35 第2のリピータ
36 制御ライン
37 電流供給リンク
38 第1のリピータ
39 スイッチオフ可能な第2のリピータ
40 制御ライン
41 電流供給リンク
42 供給素子
43 供給素子
44 出力端
45 出力端
46 スイッチオフ可能なリピータ
47 ライン
48 電流供給リンク
49 スイッチオフ可能なリピータ
50 ライン
51 電流供給リンク
52 入力端
53 出力端
54 アドレッシングスイッチ
55 IOエキスパンダ
56 リピータ
57 アクティベート可能なリピータ
58 ライン
59 シリアライザ
62 ライン
63 リピータ
64 ライン
65 ライン
66 電圧調整ユニット
67 赤色LED
68 ライン
69 入力端
70 出力端
71 アドレッシングスイッチ
72 IOエキスパンダ
73 リピータ
74 ドライバ
75 ライン
76 電圧調整ユニット
130 マスタカメラモジュール
131 拡張カメラモジュール
140 カメラ素子
150 窓
170 ハウジング形材
171a,b,c 中間壁
172 開口部
173 中央壁
174a〜e カバー
175 封止部材
176a,b 終端カバー
177 封止部材
178 封止ストリップ
179 溝
180 ホルダ
T 搬送方向
A 間隔
B カメラモジュールの幅
D ハウジングの直径
l 検出される領域の幅
X 製品ウェブの幅
G1 カメラグループ
G2 カメラグループ
Bl 画像の未加工データ
B1 処理されたデータ
B2 正規化されたデータ

Claims (12)

  1. 特に欠陥について、走行中の製品ウェブ(5)を該製品ウェブ(5)の評価された画像データに基づき監視する監視装置(8)であって、
    前記製品ウェブ(5)の搬送方向(T)に対し垂直に互いに並置してポジショニング可能な少なくとも2つのカメラ素子(14,140)と、
    制御および評価ユニット(20,200)と、
    該制御および評価ユニット(20,200)と少なくとも1つのカメラ素子(14,140)とを接続する少なくとも1つのシリアル通信リンク(21,22)と、
    が設けられており、
    各カメラ素子(14,140)は、未加工データを記録するエリアスキャンカメラ素子(15)を備えている、
    走行中の製品ウェブ(5)を監視する監視装置(8)において、
    少なくとも2つのカメラ素子(14,140)とハウジング(17)とを備えた少なくとも1つのカメラグループ(G1,G2)を含む、少なくとも1つのカメラモジュール(13,130,131)が設けられており、
    1つのカメラグループ(G1,G2)の前記カメラ素子(14,140)は、1つのシリアル通信リンク(21,22)に接続されており、
    各カメラグループ(G1,G2)において前記カメラ素子(14,140)は、前記エリアスキャンカメラ素子(15)により記録された前記未加工データを、前記シリアル通信リンク(21,22)を介して前記制御および評価ユニット(20)へ伝送するように構成されており、
    前記制御および評価ユニット(20)は、前記未加工データから画像データを生成し、前記カメラグループ(G1,G2)の前記カメラ素子(14,140)の画像データを評価するように構成されている、
    ことを特徴とする、走行中の製品ウェブを監視する監視装置(8)。
  2. 1つのカメラグループ(G1,G2)の前記カメラ素子(14,140)のうち少なくとも1つのカメラ素子は、2つのデータリンクと1つのマルチプレクサ(26)とを備えており、
    それぞれ一方のデータリンクは、前記カメラ素子(14,140)の前記エリアスキャンカメラ素子(15)へと導かれているカメラデータリンク(24)として形成されており、他方のデータリンクは、前記カメラ素子(14,140)中を通って導かれているスルーデータリンクとして形成されており、該スルーデータリンクは、前記カメラグループ(G1,G2)の別のカメラ素子(14,140)のデータリンクに接続可能であり、
    前記マルチプレクサ(26)によって、前記カメラ素子(14,140)の両方の前記データリンクは順次、前記シリアル通信リンク(21,22)に接続可能である、
    請求項1記載の監視装置(8)。
  3. 1つのカメラモジュール(13,130,131)は、少なくとも2つのカメラグループ(G1,G2)を含み、
    前記制御および評価ユニット(20,200)は、前記カメラグループ(G1,G2)の前記未加工データを並列処理するように構成されている、
    請求項1または2記載の監視装置(8)。
  4. 前記カメラグループ(G1,G2)の前記カメラ素子(14,140)は、交互に前記ハウジング(17)内に互いに並置されてポジショニングされている、
    請求項3記載の監視装置(8)。
  5. マスタカメラモジュールとして形成されたカメラモジュール(130)は、前記制御および評価ユニット(200)を含む、
    請求項1から4までのいずれか1項記載の監視装置(8)。
  6. 少なくとも2つのカメラモジュール(130,131)が設けられており、該カメラモジュール(130,131)の前記ハウジング(17)は互いに接続されている、
    請求項1から5までのいずれか1項記載の監視装置(8)。
  7. 前記エリアスキャンカメラ素子(15)は、1つのエリアスキャンセンサと1つの光学素子(16)とを備えている、
    請求項1記載の監視装置(8)。
  8. 前記エリアスキャンカメラ素子(15)は、互いにそれぞれカメラ間隔(Ka)をおいて配置されており、
    カメラ間隔(Ka)は0.3m乃至2.0mであり、好ましくは0.5m乃至0.8mである、
    請求項1または2記載の監視装置(8)。
  9. 照射装置が設けられており、該照射装置は、カメラ素子(14,140)ごとに、複数のLED(19)を備えた少なくとも1つの照射素子(18)を有しており、該照射素子(18)は、前記エリアスキャンカメラ素子(15)の接続ライン上に配置されている、
    請求項1から5までのいずれか1項記載の監視装置(8)。
  10. 搬送方向(T)に搬送される走行中の製品ウェブ(5)を、特に欠陥について、監視する方法であって、
    前記製品ウェブ(5)の画像データを評価し、
    前記画像データを、前記製品ウェブ(5)の搬送方向(T)に対し垂直に互いに並置されてポジショニングされた少なくとも2つのカメラ素子(14,140)と、制御および評価ユニット(20,200)と、該制御および評価ユニット(20,200)と少なくとも1つのカメラ素子(14,140)とを接続する少なくとも1つのシリアル通信リンク(21,22)とを用いて、生成および評価し、
    前記画像データの未加工データを、個々の前記カメラ素子(14,140)のエリアスキャンカメラ素子(15)により記録する、
    走行中の製品ウェブ(5)を監視する方法において、
    前記未加工データを、少なくとも1つのカメラモジュール(13,130,131)により記録し、ただし、前記カメラモジュール(13,130,131)は、少なくとも2つのカメラ素子(14,140)を備えた少なくとも1つのカメラグループ(G1,G2)と、ハウジング(17)とを含み、1つのカメラグループ(G1,G2)の前記カメラ素子(14,140)は、1つのシリアル通信リンク(21,22)に接続されており、
    各カメラグループ(G1,G2)において前記カメラ素子(14,140)によって、前記エリアスキャンカメラ素子(15)により記録された前記未加工データを、前記シリアル通信リンク(21,22)を介して、前記制御および評価ユニット(20,200)へ伝送し、
    該制御および評価ユニット(20,200)によって、前記未加工データから画像データを生成し、前記カメラグループ(G1,G2)の前記カメラ素子(14,140)の画像データを評価する、
    ことを特徴とする、走行中の製品ウェブ(5)を監視する方法。
  11. 2つのデータリンクと1つのマルチプレクサ(26)とが設けられている1つのカメラグループ(G1,G2)の少なくとも1つのカメラ素子(14,140)によって、前記カメラグループ(G1,G2)の少なくとも2つのカメラ素子(14,140)の前記エリアスキャンカメラ素子(15)からの未加工データを、2つのデータリンクを介して前記シリアル通信リンク(21,22)へ伝送し、
    ここで、カメラデータリンク(24)として形成されたデータリンクを介して、前記カメラ素子(14,140)の前記エリアスキャンカメラ素子(15)からの未加工データを、かつ、スルーデータリンクとして形成されたデータリンクを介して、少なくとも1つの別のカメラ素子(14,140)のエリアスキャンカメラ素子(15)の未加工データを、前記シリアル通信リンク(21,22)へ伝送し、該伝送にあたり前記マルチプレクサ(26)を用いて、前記カメラ素子(14,140)の両方の前記データリンクを順次、前記シリアル通信リンク(21,22)に接続する、
    請求項10記載の方法。
  12. 少なくとも2つのカメラグループ(G1,G2)における前記カメラ素子(14,140)の前記未加工データを、前記制御および評価ユニット(20,200)において並列処理する、
    請求項11記載の方法。
JP2018525403A 2015-11-11 2016-11-03 走行中の製品ウェブを監視する装置および方法 Active JP6789291B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015119444.9A DE102015119444B4 (de) 2015-11-11 2015-11-11 Vorrichtung und Verfahren zur Überwachung einer laufenden Warenbahn
DE102015119444.9 2015-11-11
PCT/EP2016/076539 WO2017080904A1 (de) 2015-11-11 2016-11-03 Vorrichtung und verfahren zur überwachung einer laufenden warenbahn

Publications (2)

Publication Number Publication Date
JP2019502901A true JP2019502901A (ja) 2019-01-31
JP6789291B2 JP6789291B2 (ja) 2020-11-25

Family

ID=57256282

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018525403A Active JP6789291B2 (ja) 2015-11-11 2016-11-03 走行中の製品ウェブを監視する装置および方法

Country Status (8)

Country Link
US (1) US20190049391A1 (ja)
EP (1) EP3374760B1 (ja)
JP (1) JP6789291B2 (ja)
KR (1) KR102114654B1 (ja)
CN (1) CN108351308B (ja)
DE (1) DE102015119444B4 (ja)
TW (1) TWI629465B (ja)
WO (1) WO2017080904A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107248158A (zh) * 2017-07-20 2017-10-13 广东工业大学 一种图像处理的方法及系统
DE102017221474A1 (de) * 2017-11-29 2019-05-29 Robert Bosch Gmbh Überwachungsmodul, Überwachungsmodulanordnung, Überwachungsanlage und Verfahren
FI128235B (en) * 2018-12-10 2020-01-15 Procemex Oy Ltd Top side light
BE1027378B1 (nl) * 2019-06-18 2021-01-28 Bms Bvpa Inspectiesysteem en werkwijze
US11685104B2 (en) 2019-12-20 2023-06-27 Industrial Technology Research Institute Dynamic correcting system of manufacturing process using wire and dynamic correcting method using the same
TWI772991B (zh) 2020-12-02 2022-08-01 財團法人工業技術研究院 編織路徑生成方法與裝置以及動態修正方法與編織系統
IT202000007145U1 (it) * 2020-12-29 2022-06-29 Fedrigoni Spa Sistema di monitoraggio per impianti per la produzione di carta.
CN114441545A (zh) * 2022-03-14 2022-05-06 无锡职业技术学院 一种高度自适应绕组视觉检测平台及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4170419A (en) * 1977-02-23 1979-10-09 Camsco, Inc. Optical web inspection system
JPH05505676A (ja) * 1990-03-13 1993-08-19 マーコニ・メディカル・システムズ・インコーポレイテッド ウェブ検査システム
JPH0933449A (ja) * 1995-07-20 1997-02-07 Toyobo Co Ltd シートの微小突起検査装置
JP2000171215A (ja) * 1998-12-03 2000-06-23 Techno Wave:Kk 物流情報読取り装置
JP2004050815A (ja) * 2002-04-25 2004-02-19 Canon Inc 映像読取装置
JP2007132757A (ja) * 2005-11-09 2007-05-31 Osaka City 外観検査方法および同装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3639636C2 (de) 1986-11-20 1996-04-18 Robert Prof Dr Ing Massen Automatische Inspektion von Textilbahnen
US5847753A (en) * 1993-04-16 1998-12-08 Eastman Kodak Company Camera system for scanning a moving surface
JPH0755443A (ja) * 1993-08-23 1995-03-03 Hewtec:Kk 欠点検査装置
US5696591A (en) 1996-01-05 1997-12-09 Eastman Kodak Company Apparatus and method for detecting longitudinally oriented flaws in a moving web
US5870203A (en) * 1996-03-15 1999-02-09 Sony Corporation Adaptive lighting control apparatus for illuminating a variable-speed web for inspection
US5990469A (en) * 1997-04-02 1999-11-23 Gentex Corporation Control circuit for image array sensors
DE10117698A1 (de) 2001-04-09 2002-10-10 Hubert A Hergeth Sensorleiste
DE10123870A1 (de) 2001-05-16 2003-05-15 Opdi Tex Gmbh Vorrichtung zur automatischen Überwachung von Flächengebilden, insbesondere textilen Gewebebahnen an der Produktionsmaschine
US8441700B2 (en) * 2003-04-25 2013-05-14 Quad/Tech, Inc. Image processing of a portion of multiple patches of a colorbar
DE10336748A1 (de) 2003-08-11 2005-03-10 Herbst Protechna Gmbh Vorrichtung und Verfahren zum Erfassen von Fehlerstellen in Tufting-Ware und Tufting-Maschine
EP1718954A4 (en) * 2004-01-22 2010-08-11 Wintriss Engineering Corp LIGHTING SYSTEM FOR MATERIAL INSPECTION
US20090060316A1 (en) * 2006-02-22 2009-03-05 Hannu Ruuska Method for Monitoring a Rapidly-Moving Paper Web and Corresponding System
TWI317703B (en) * 2006-12-12 2009-12-01 Ind Tech Res Inst Tire and detection and alarm mechanism thereof
DE102008014656A1 (de) 2008-03-17 2009-10-01 Eads Deutschland Gmbh Verfahren zur automatisierten Überwachung textiler Verstärkungsmaterialien für die Herstellung faserverstärkter Kunststoffe
US8058602B2 (en) 2009-02-25 2011-11-15 Cmos Sensor, Inc. Long-length industry camera image sensor for flat surface inspection application
CA2683206C (en) * 2009-10-17 2018-07-03 Hermary Opto Electronics Inc. Enhanced imaging method and apparatus
DE102009050073A1 (de) * 2009-10-20 2011-04-21 Fachhochschule Gelsenkirchen Bildsensoranordnung zur Erfassung von Bildinformationen für die automatische Bilddatenverarbeitung
US8704903B2 (en) * 2009-12-29 2014-04-22 Cognex Corporation Distributed vision system with multi-phase synchronization
CN202615607U (zh) * 2012-06-13 2012-12-19 天津市胜大腾辉建筑安装工程有限公司 交通视频检测识别一体机
JP2015005827A (ja) * 2013-06-19 2015-01-08 キヤノン・コンポーネンツ株式会社 イメージセンサユニット、画像読取装置および画像形成装置
US9911454B2 (en) * 2014-05-29 2018-03-06 Jaunt Inc. Camera array including camera modules

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4170419A (en) * 1977-02-23 1979-10-09 Camsco, Inc. Optical web inspection system
JPH05505676A (ja) * 1990-03-13 1993-08-19 マーコニ・メディカル・システムズ・インコーポレイテッド ウェブ検査システム
JPH0933449A (ja) * 1995-07-20 1997-02-07 Toyobo Co Ltd シートの微小突起検査装置
JP2000171215A (ja) * 1998-12-03 2000-06-23 Techno Wave:Kk 物流情報読取り装置
JP2004050815A (ja) * 2002-04-25 2004-02-19 Canon Inc 映像読取装置
JP2007132757A (ja) * 2005-11-09 2007-05-31 Osaka City 外観検査方法および同装置

Also Published As

Publication number Publication date
DE102015119444A1 (de) 2017-05-11
KR102114654B1 (ko) 2020-05-25
CN108351308A (zh) 2018-07-31
JP6789291B2 (ja) 2020-11-25
WO2017080904A1 (de) 2017-05-18
EP3374760A1 (de) 2018-09-19
TW201728899A (zh) 2017-08-16
DE102015119444B4 (de) 2018-01-18
CN108351308B (zh) 2021-08-10
KR20180081574A (ko) 2018-07-16
US20190049391A1 (en) 2019-02-14
TWI629465B (zh) 2018-07-11
EP3374760B1 (de) 2024-05-15

Similar Documents

Publication Publication Date Title
JP6789291B2 (ja) 走行中の製品ウェブを監視する装置および方法
US20100110174A1 (en) Method for device for detecting low-contrast and high-contrast defects in transparent or translucent objects
JP2005244953A (ja) 移動中の印刷物の所定部分の画像を撮影する装置
DE102011113670A1 (de) Beleuchtungsvorrichtung, Inspektionsvorrichtung und Inspektionsverfahren für die optische Prüfung eines Objekts
FI127055B (fi) Järjestelmä rainan tarkkailemiseksi ja vastaava menetelmä rainan tarkkailemiseksi
JP2004197295A5 (ja)
US4954891A (en) Light guided illuminating/sectioning device for sheet inspection system
US11410294B2 (en) Compact automated inspection for foreign materials during the manufacture of large composite
KR100814062B1 (ko) 연속적으로 이동되는 투과 가능한 판재의 자동 결함 검사시스템 및 자동 결함 검사방법
WO2012139088A2 (en) System and method for generating multiple, interlaced images using a single scanning camera with multiple, alternating light sources
JP2019117104A (ja) 検査装置
JP2008298557A (ja) 光学フィルムの検査方法及び装置
EP2253948B1 (de) Vorrichtung und Verfahren zum optischen Untersuchen eines Gegenstandes
CN111141745B (zh) 一种图像检测装置及其检测方法
JP2022501580A (ja) 光学検査システム向けマルチモダリティ多重化照明
CN115791831A (zh) 不规则反光表面缺损的检测方法
KR101261274B1 (ko) 자동 광학 검사 장치
JP7479138B2 (ja) オーバーヘッドサイドライト
JP2020107605A5 (ja)
US9810527B2 (en) Image detection system for detecting an object
IT202100016571A1 (it) Apparato di ispezione ottica e relativo procedimento
KR20180061149A (ko) 제품의 일치를 검사하기 위한 장치 및 방법
EP1008846A1 (en) Machine vision system and tile inspection apparatus incorporating such a system
KR20200064002A (ko) 이미지 센서 판독 방법
BE1027378A1 (nl) Inspectiesysteem en werkwijze

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180510

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201102

R150 Certificate of patent or registration of utility model

Ref document number: 6789291

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250