JP2010127809A - Visual inspection apparatus, visual inspection system, and program - Google Patents

Visual inspection apparatus, visual inspection system, and program Download PDF

Info

Publication number
JP2010127809A
JP2010127809A JP2008303801A JP2008303801A JP2010127809A JP 2010127809 A JP2010127809 A JP 2010127809A JP 2008303801 A JP2008303801 A JP 2008303801A JP 2008303801 A JP2008303801 A JP 2008303801A JP 2010127809 A JP2010127809 A JP 2010127809A
Authority
JP
Japan
Prior art keywords
defect
information
image
image data
inspection apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008303801A
Other languages
Japanese (ja)
Inventor
Yoshiji Edera
義治 江寺
Tomoyoshi Kudo
智義 工藤
Noriyuki Kobayashi
徳幸 小林
Hironori Asano
裕則 浅野
Keiki Nagata
敬貴 永田
Norikazu Ishijima
範和 石島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Nippon Paper Industries Co Ltd
Jujo Paper Co Ltd
Original Assignee
Omron Corp
Nippon Paper Industries Co Ltd
Jujo Paper Co Ltd
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Nippon Paper Industries Co Ltd, Jujo Paper Co Ltd, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2008303801A priority Critical patent/JP2010127809A/en
Publication of JP2010127809A publication Critical patent/JP2010127809A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To facilitate comparison and monitoring of information on an identical defect. <P>SOLUTION: An visual inspection apparatus includes a determination means for acquiring image data imaged by a plurality of camera devices disposed longitudinally along a roll paper transfer direction and performing image recognition processing for each image data from each camera device to determine whether there is a defect, a defect information creation means for clipping images containing the defect when the defect is detected by the determination means and creating defect information associating the clipped images with position information identifying a position of the detected defect, and a processing means for output of the defect information to a display device. The processing means includes functions to extract the defect information on the identical defect imaged by different camera devices from the position information and output the clipped images (defect images) as to the extracted defect simultaneously to an identical display screen (defect time series display screen shown in the figure). <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

この発明は、紙,フィルム,不織布,鉄鋼,非鉄金属等のシート状の素材(物品)の外観を検査する外観検査装置及び外観検査システム並びにプログラムに関する。   The present invention relates to an appearance inspection apparatus, an appearance inspection system, and a program for inspecting the appearance of a sheet-like material (article) such as paper, film, nonwoven fabric, steel, and non-ferrous metal.

紙(ロール紙)その他のシート状物等の製造システムでは、品質を保持するため、生産工程においてリアルタイムで異物の付着や孔あき等の欠陥の有無を監視している。係る欠陥の有無を監視するための監視システム(検査システム)は、たとえば、製造工程の各所にカメラを設置し、そこから得られた画像データに基づいて検査装置が画像認識処理を行い欠陥の有無を判断し、欠陥があった場合にはその欠陥に関する情報を表示装置に出力することで、監視員(オペレータ)に知らせるようにしたものがある。   In a manufacturing system for paper (roll paper) and other sheet-like materials, the presence or absence of foreign matter or perforations is monitored in real time in the production process in order to maintain quality. A monitoring system (inspection system) for monitoring the presence or absence of such defects includes, for example, cameras installed in various parts of the manufacturing process, and the inspection apparatus performs image recognition processing based on image data obtained from the cameras, and whether or not there are defects. In some cases, if there is a defect, information about the defect is output to a display device so as to notify the monitoring staff (operator).

表示装置に表示する情報は、欠陥位置を特定する位置情報や、大きさ(縦・横の長さや面積等)や、欠陥の種類等を示すテキスト情報と、実際の画像データであるイメージ情報がある。この表示レイアウトは、たとえば、図1に示すように、テキスト情報は、1つの欠陥について関連する情報を1列に示した表形式とし、イメージ情報は、別枠で所定数(図では3個)を出力するようにしている。テキスト情報は、検出された順番に逐次出力する。同様に、イメージ情報も最新の所定数(たとえば3個)を出力することになる。この種の画像認識処理により紙等のシート状物に対して欠陥の有無を検査する検査システムとしては、例えば特許文献1等に開示されている。
特許第3982646号公報
The information displayed on the display device includes position information for specifying the defect position, text information indicating the size (vertical / horizontal length and area, etc.), the type of defect, and image information that is actual image data. is there. In this display layout, for example, as shown in FIG. 1, the text information is in a tabular form in which information related to one defect is shown in one column, and the image information has a predetermined number (three in the figure) in another frame. I am trying to output. Text information is sequentially output in the order of detection. Similarly, the latest predetermined number (for example, three) of image information is output. An inspection system for inspecting a sheet-like object such as paper for the presence or absence of defects by this type of image recognition processing is disclosed in, for example, Patent Document 1 and the like.
Japanese Patent No. 398646

画像認識処理の対象となる画像データは、紙等の被検査対象物の反射光や透過光であり、2次元の画像データを撮像するエリアセンサカメラや、1次元のラインセンサカメラ等(以下、“カメラ“)を用いて取得する。そして、係る被検査対象物の表面や裏面の両面を検査したり、紙等の被監視対象物が複数工程を経て製造されることからどの工程で欠陥を生じたかを検証するために各工程の処理直後の被検査対象物を検査したりするため、カメラは、複数設置されることが多々ある。   Image data to be subjected to image recognition processing is reflected light or transmitted light of an inspection object such as paper, and is an area sensor camera that captures two-dimensional image data, a one-dimensional line sensor camera, etc. Acquire using "Camera"). In order to inspect both the front and back surfaces of the object to be inspected, and to verify which process caused the defect because the object to be monitored such as paper is manufactured through a plurality of processes. In order to inspect an object to be inspected immediately after processing, a plurality of cameras are often installed.

すると、ある上流側の工程で欠陥が生じた場合、その欠陥がその後の各工程の処理後にも現れることになり、そうすると、同じ欠陥が複数のカメラにて取得した画像データ中に存在することになる。従って、同じ欠陥は、それぞれのカメラで画像データとして検出された都度、その検出されたタイミングで欠陥として検出され、表示装置に出力されることになる。一方、カメラは、生産ラインの各所に点在することになり、ロール紙の生産ラインでは、その全長が100m以上になることも多々あることから、同じ欠陥について、個々のカメラにて得られた画像データに現れるタイミングは、大きくずれることになる。しかも、ある工程で欠陥が生じた場合、1個のみ欠陥が発生することもあるが、ある範囲に複数或いは多数欠陥が発生することもある。   Then, if a defect occurs in a certain upstream process, the defect will appear after each subsequent process, and the same defect exists in the image data acquired by a plurality of cameras. Become. Therefore, each time the same defect is detected as image data by each camera, it is detected as a defect at the detected timing and output to the display device. On the other hand, the cameras are scattered in various parts of the production line, and in the roll paper production line, the total length is often 100 m or more, so the same defects were obtained with individual cameras. The timing of appearing in the image data is greatly shifted. Moreover, when a defect occurs in a certain process, only one defect may occur, but a plurality of or many defects may occur in a certain range.

すると、表示装置には、複数のカメラで検出された欠陥に関する情報が、時々刻々と更新されながら多数表示されることになり、特にカメラの設置数が多くなると不良情報が多くなり、オペレータは、かえって整理できずに適切な監視をすることができなくなる。   Then, on the display device, information on defects detected by a plurality of cameras will be displayed while being updated from moment to moment, especially when the number of cameras installed increases, the defect information increases, On the contrary, it is impossible to properly monitor without being organized.

さらに、同一の欠陥についてあるカメラで検出した不良情報が表示された後で、次のカメラで検出した不良情報が表示されるまでの間にタイムラグが生じると共に、その間に別の欠陥についての不良情報が表示されることが多々あり、1つの不良欠陥がどこの生産工程で発生しどのように変化していったのかなどの検討も行い難い。その結果、生産にどのような影響をあたえたのかという生産工程の上流から下流までの検査結果を一目で確認することもできない。つまり、単純にカメラの設置数を増やして得られる情報量を多くしただけでは、各生産工程へのフィードバックが十分に行えない。   Furthermore, after the defect information detected by a camera for the same defect is displayed, a time lag occurs between the time when the defect information detected by the next camera is displayed, and the defect information for another defect in the meantime. Is often displayed, and it is difficult to examine in which production process one defective defect occurred and how it changed. As a result, it is impossible to confirm at a glance the inspection results from the upstream to the downstream of the production process as to how the production has been affected. In other words, simply increasing the number of cameras installed to increase the amount of information that can be obtained does not provide sufficient feedback to each production process.

この発明は、同一の欠陥についての情報を容易に比較・監視することができ、生産ラインでの不具合等の分析並びに生産工程へのフィードバックをしやすくするための情報を適切に提供することができる外観検査装置及び外観検査システム並びにプログラムを提供することを目的とする。   The present invention can easily compare and monitor information on the same defect, and can appropriately provide information for facilitating analysis of defects on the production line and feedback to the production process. An object is to provide an appearance inspection apparatus, an appearance inspection system, and a program.

上記の目的を達成するため、本発明に係る外観検査装置は、(1)紙等のシート状の物品の外観検査装置であって、物品の搬送方向に沿って、前後に配置された複数のカメラ装置で撮像された画像データを取得すると共に、各カメラ装置からの画像データ単位で画像認識処理を行い、欠陥の有無を判断する判断手段と、その判断手段で欠陥を検出した場合に、その欠陥を含む画像を切り出すとともに、その切り出した画像と、検出した欠陥の位置を特定する位置情報と、を関連付けた欠陥情報を作成する欠陥情報作成手段と、位置情報に基づき、異なるカメラ装置で撮像された同一の欠陥についての欠陥情報を抽出し、その抽出した欠陥について切り出した画像を同一の表示画面に同時に出力する処理手段と、を備えるようにした。位置情報は、実施形態の付属情報・加工付属情報の一部に組み込まれている。判断手段は、実施形態では、検出ラック部21に対応している。欠陥情報作成手段は、実施形態では検出ラック部21と欠陥処理部22とにより実現されている。実施形態では、検出ラック部21で一旦画像の切り出しと、それに関連する付属情報(位置情報)の生データを作成し、欠陥処理部22でその生データから人間が見て理解しやすいデータ(加工付属情報)を作成しているが(位置情報の場合は、“パルス値やビット”の生データから、“mやmm”のように直感しやすいデータに変換している)が、本発明ではこのように2つの処理手段で2段階に行うものに限ることはなく、両者の機能を1つの処理手段でまとめて行ったり、直接、追加加工情報を求めたり、逆に、生データのままとしたりするなど、各種の方法が採れる。カメラ装置は、実施形態では、ラインセンサカメラを用いたが、エリアセンサカメラでも良い。また、実施形態は、ロール紙のように幅が広いために、1つのカメラ装置を複数のラインCCDカメラで構成したが、検査対象物の物品の幅と、カメラの視野との関係から単独のカメラで構成してももちろん良い。   In order to achieve the above object, an appearance inspection apparatus according to the present invention is (1) an appearance inspection apparatus for a sheet-like article such as paper, and includes a plurality of front and rear arrangements along the conveyance direction of the article. When acquiring image data captured by the camera device and performing image recognition processing in units of image data from each camera device to determine the presence or absence of a defect, An image including a defect is cut out, and defect information creating means for creating defect information in which the cut image is associated with position information for specifying the position of the detected defect, and imaged by different camera devices based on the position information. And a processing unit that extracts defect information about the same defect and outputs an image cut out for the extracted defect to the same display screen at the same time. The position information is incorporated in a part of the attached information / processing attached information of the embodiment. The determination means corresponds to the detection rack unit 21 in the embodiment. The defect information creating means is realized by the detection rack unit 21 and the defect processing unit 22 in the embodiment. In the embodiment, once the image is cut out by the detection rack unit 21 and the raw data of the associated information (position information) is created, the defect processing unit 22 uses the raw data to easily understand the data (processing) (Incidental information) is created (in the case of position information, the raw data of “pulse values and bits” is converted into intuitive data such as “m and mm”). In this way, the processing is not limited to two processing means, but the functions of both are performed together by one processing means, additional processing information is obtained directly, or conversely, raw data is left as it is. Various methods can be taken. In the embodiment, the line sensor camera is used as the camera device, but an area sensor camera may be used. In addition, in the embodiment, since the width is wide like roll paper, one camera device is configured by a plurality of line CCD cameras. However, the single camera device is independent from the relationship between the width of the article to be inspected and the field of view of the camera. Of course, it may be configured with a camera.

本発明の外観検査装置では、異なるカメラ装置でそれぞれ撮像した画像データ中に検出された同一欠陥のものとみなされる画像(切り出し画像)が、同一画面内に同時に表示されるので、オペレータは、同一の欠陥についての情報を容易に比較・監視することができる。その結果、それらを比較することで、生産ラインのどのタイミング(工程)から欠陥が発生したかの特定や、表示された欠陥の画像の状態(大きさ・形状その他の特徴等)の変化から、各工程相互の関係などの分析を迅速かつ容易に行える。位置情報に基づいて、同一欠陥の画像を推定・抽出するようにしたので、簡単に抽出することができる。   In the visual inspection apparatus of the present invention, images (cut-out images) that are regarded as having the same defect detected in image data captured by different camera devices are simultaneously displayed on the same screen, so the operator is the same Information about defects can be easily compared and monitored. As a result, by comparing them, it is possible to identify from which timing (process) on the production line the defect has occurred and from the change in the state of the displayed defect image (size, shape, other characteristics, etc.) Analysis of the relationship between each process can be performed quickly and easily. Since the image of the same defect is estimated and extracted based on the position information, it can be easily extracted.

(2)位置情報は、物品の搬送方向に沿った前後方向の位置と、その物品の幅方向の側縁からの位置であり、同一の欠陥についての欠陥情報の抽出は、位置情報で特定される欠陥の位置が許容範囲内の場合に同一の欠陥と推定するものであり、その許容範囲は、前後方向の位置についての許容範囲を、側縁からの位置についての許容範囲よりも大きくするとよい。搬送方向(流れ方向)は、各工程の処理を行うことで、物品自体が伸び縮みすることがあると共に、巻物のような場合には幅方向に比べて非常に長くなるので誤差も大きくなる。従って、前後方向の位置についての許容範囲を広く設定することで、確実に同一の欠陥に基づく画像を抽出し、表示することができる。   (2) The position information is the position in the front-rear direction along the conveyance direction of the article and the position from the side edge in the width direction of the article. Extraction of defect information for the same defect is specified by the position information. When the position of the defect is within the allowable range, it is estimated that the defect is the same, and the allowable range may be larger than the allowable range for the position from the side edge. . In the transport direction (flow direction), the processing of each process may cause the article itself to expand and contract, and in the case of a scroll, the length becomes very long compared to the width direction, and the error also increases. Therefore, by setting a wide allowable range for the position in the front-rear direction, it is possible to reliably extract and display an image based on the same defect.

(3)処理手段は、同一の欠陥についての欠陥情報と推定される候補が複数存在する場合、それら複数の候補のうちの1つを初期候補として表示装置に出力し、外部から与えられる切替指示にしたがって別の候補を表示する機能を備えるとよい。初期候補は、例えば、位置情報が同じ(ずれが最も小さい)ものにするとよい。孔や異物等の欠陥が近くで複数発生した場合、一意に同一の欠陥の画像を特定することが困難となることがある。また、(2)でも説明したように、物品の伸縮等によりそもそも同一欠陥の存在位置(前後方向での位置(紙の前端,検査開始位置等からの距離))が、各カメラ装置の撮像位置で異なることもある。従って、処理手段が、1つのものを特定するのではなく、複数の候補がある場合にはそれらを切り替えて表示可能とし、オペレータ等の人間が最終判断をするようにすることで、より確実に、同一欠陥の画像を同時に表示することができる。なお、欠陥の寸法形状等の特徴量同士を比較し、同一の欠陥の画像を特定するアルゴリズムを付加することもできるが、各工程の処理を行うことで、欠陥の寸法・形状自体が変わることもあるので、位置に基づいて特定するのが好ましい。   (3) When there are a plurality of candidates estimated as defect information for the same defect, the processing means outputs one of the plurality of candidates to the display device as an initial candidate, and a switching instruction given from the outside It is preferable to provide a function for displaying other candidates according to the above. For example, the initial candidates may have the same position information (the smallest deviation). When a plurality of defects such as holes and foreign matters occur nearby, it may be difficult to uniquely identify the same defect image. In addition, as described in (2), the position where the same defect exists (position in the front-rear direction (distance from the front edge of the paper, inspection start position, etc.)) due to the expansion and contraction of the article is the imaging position of each camera device. It may be different. Therefore, the processing means does not specify one thing, but when there are a plurality of candidates, they can be switched and displayed, and a human being such as an operator makes a final decision, thereby making it more reliable. , Images of the same defect can be displayed simultaneously. Although it is possible to add an algorithm that compares feature quantities such as the defect shape and shape and identifies the image of the same defect, the size and shape of the defect itself can be changed by performing each process. Therefore, it is preferable to specify based on the position.

(4)欠陥情報作成手段で作成される欠陥情報は、欠陥の寸法を含むその欠陥の特徴を示すテキスト情報を有し、処理手段は、切り出した画像とともに、対応するテキスト情報も併せて表示するようにするとよい。このようにすると、画像以外の欠陥情報を合わせてみることで、欠陥の分析等がより容易に行えると共に、同一の欠陥に基づく画像か否かの判断の参考にもなる。   (4) The defect information created by the defect information creating means has text information indicating the feature of the defect including the dimension of the defect, and the processing means displays the corresponding text information together with the cut image. It is good to do so. In this way, by combining defect information other than the image, it is possible to analyze the defect more easily and to be a reference for determining whether the images are based on the same defect.

(5)本発明の外観検査システムは、シート状の物品の生産ラインにおける物品の搬送方向に沿って、前後に配置された複数のカメラ装置と、その複数のカメラ装置からの出力に基づいて動作する(1)から(4)のいずれかに記載の外観検査装置と、を備えて構成できる。   (5) The appearance inspection system according to the present invention operates based on a plurality of camera devices arranged at the front and rear along the conveyance direction of the article in the sheet-like article production line, and outputs from the plurality of camera apparatuses. The visual inspection apparatus according to any one of (1) to (4) can be configured.

(6)本発明のプログラムは、コンピュータを、物品の搬送方向に沿って、前後に配置された複数のカメラ装置で撮像された画像データを取得すると共に、各カメラ装置からの画像データ単位で画像認識処理を行い、欠陥の有無を判断する判断手段、その判断手段で欠陥を検出した場合に、その欠陥を含む画像を切り出すとともに、その切り出した画像と、検出した欠陥の位置を特定する位置情報と、を関連付けた欠陥情報を作成する欠陥情報作成手段、位置情報に基づき、異なるカメラ装置で撮像された同一の欠陥についての欠陥情報を抽出し、その抽出した欠陥について切り出した画像を同一の表示画面に同時に出力する処理手段、として機能させるためのプログラムとすることができる。   (6) The program of the present invention obtains image data captured by a plurality of camera devices arranged in the front and back along the conveyance direction of the article, and images in units of image data from each camera device. A determination unit that performs recognition processing to determine the presence or absence of a defect, and when a defect is detected by the determination unit, an image including the defect is cut out, and the extracted image and position information that identifies the position of the detected defect And defect information creation means for creating defect information associated with the same, and based on the position information, the defect information for the same defect imaged by different camera devices is extracted, and the same image is displayed for the extracted defect It can be set as the program for functioning as a processing means which outputs simultaneously on a screen.

本発明は、同一欠陥と判断するためのアルゴリズムを設け、複数の検査フレームのカメラ装置が検出した画像を同一画面内に同時に表示するようにしたので、同一の欠陥についての情報を容易に比較・監視することができ、生産ラインでの不具合等の分析並びに生産工程へのフィードバックをしやすくするための情報を適切に提供することができる。   In the present invention, an algorithm for determining the same defect is provided, and images detected by the camera devices of a plurality of inspection frames are displayed simultaneously on the same screen, so that information on the same defect can be easily compared and It is possible to monitor and appropriately provide information for facilitating the analysis of defects on the production line and the feedback to the production process.

図2は、本発明の好適な一実施形態を示している。本実施形態の外観検査システムは、紙(ロール紙)の生産ラインに組み込まれ、生産ライン上を搬送される被検査対象物である帯状の紙を撮像して得られた画像データに基づいて欠陥(不良)の有無を判断するものである。   FIG. 2 shows a preferred embodiment of the present invention. The appearance inspection system according to the present embodiment is incorporated into a paper (roll paper) production line and has defects based on image data obtained by imaging a strip-shaped paper that is an object to be inspected that is conveyed on the production line. This is to determine the presence or absence of (defect).

具体的には、紙1に正対して、複数のカメラ装置10を設置する。各カメラ装置10は、いずれも複数のラインCCDカメラ11を横一列に配置したカメラの集合体で構成される。それら1つのカメラ装置10に実装される複数個のラインCCDカメラ11は、同一ライン上、つまり、紙1を進行方向と直交する(幅方向に横断する)一直線上を検出するように配置される。   Specifically, a plurality of camera devices 10 are installed facing the paper 1. Each of the camera devices 10 is composed of a camera assembly in which a plurality of line CCD cameras 11 are arranged in a horizontal row. A plurality of line CCD cameras 11 mounted on the one camera device 10 are arranged so as to detect on the same line, that is, on a straight line perpendicular to the traveling direction (crossing in the width direction) of the paper 1. .

また、図では、便宜上、カメラ装置10を等間隔に3個設け、それぞれが紙1の同一面側に配置するようにしたが、実際には、紙1の表面や裏面の外観を検出すべく、異なる面に配置することもあるし、配置間隔は各工程を行う装置の配置レイアウトに応じて適宜異なる。つまり、ロール紙の生産ラインは、例えば、不純物を取り除き、漂白して煮溶かした紙の繊維を含んだ液体を網の上に乗せて脱水する工程→脱水された湿紙を加圧されたロール間にフェルトとともに通過させて搾水する工程→紙を乾燥させる工程→乾燥させた紙の表面に対してコーティング等の表面加工処理を行う工程→厚みを整える工程→帯状に連続して搬送されてくる紙を巻き取る工程等、複数の工程を順次実行するもので、各工程を行うための処理装置が生産工場内の各所に配置される。その全長は、100m以上になることもあり、上記のカメラ装置10は、所定の処理装置の下流側に配置される。そして、カメラ装置10は、設置した位置において、検出したい欠陥の種類等に適した画像データを得るため、透過光或いは反射光を検出したり、光量その他のパラメータが調整されたりしている。   Further, in the figure, for convenience, three camera devices 10 are provided at equal intervals and are arranged on the same surface side of the paper 1, but in reality, the appearance of the front surface and the back surface of the paper 1 should be detected. In some cases, they may be arranged on different planes, and the arrangement interval differs appropriately depending on the arrangement layout of the apparatus performing each step. In other words, the roll paper production line is, for example, a process in which a liquid containing paper fibers which have been bleached and boiled and dissolved is placed on a net for dehydration → a roll in which dehydrated wet paper is pressurized The process of squeezing with felt in between → The process of drying the paper → The process of surface treatment such as coating on the surface of the dried paper → The process of adjusting the thickness → The belt is continuously conveyed A plurality of processes such as a process of winding the paper is sequentially performed, and processing devices for performing each process are arranged in various places in the production factory. The total length may be 100 m or more, and the camera device 10 is disposed on the downstream side of a predetermined processing device. The camera device 10 detects transmitted light or reflected light and adjusts the amount of light and other parameters in order to obtain image data suitable for the type of defect to be detected at the installed position.

各カメラ装置10(ラインCCDカメラ11)の出力は、リアルタイムで順次画像認識処理装置20に与えられる。画像認識処理装置20は、パーソナルコンピュータ或いは専用の装置等で構成され、検出ラック部21と、欠陥処理部22と、データ処理部23と、を備えている。各カメラ装置10から1ラインずつ送られる画像データは、検出ラック部21に与えられる。この検出ラック部21は、生産ラインを構成する紙1を搬送する搬送装置の駆動系に接続されたエンコーダからのパルス出力も与えられる。画像認識処理装置20は、パルスの1周期で進む紙1の距離を初期データとして持っており、その距離とパルス数を乗算することで、カメラ装置10で撮像した画像データ(ライン)の位置、つまり、任意の検査開始位置からの撮像した画像データまでの距離を求めることができる。   The output of each camera device 10 (line CCD camera 11) is sequentially supplied to the image recognition processing device 20 in real time. The image recognition processing device 20 is configured by a personal computer or a dedicated device, and includes a detection rack unit 21, a defect processing unit 22, and a data processing unit 23. Image data sent line by line from each camera apparatus 10 is given to the detection rack unit 21. The detection rack unit 21 is also supplied with a pulse output from an encoder connected to a drive system of a transport device that transports the paper 1 constituting the production line. The image recognition processing device 20 has, as initial data, the distance of the paper 1 that travels in one pulse cycle, and by multiplying the distance by the number of pulses, the position of the image data (line) imaged by the camera device 10, That is, the distance from the arbitrary inspection start position to the captured image data can be obtained.

検出ラック部21は、各カメラ装置10から時々刻々と入力される1ライン毎の画像データを一時記憶メモリに格納するとともに、nライン分の画像データを読み出し、所定の寸法の2次平面画像データからなる認識対象画像を生成し、その認識対象画像に対して画像認識処理を行い、異物付着・孔空き等の欠陥の有無を判断する。そして、欠陥を検出した場合には、その欠陥を含む所定の大きさ(例えば256×256)の画像データを切り出すと共に、その切り出した画像データとその欠陥についての付属情報を関連付けて欠陥処理部22に渡す。欠陥の有無を認識するための画像認識処理アルゴリズムは、特許文献1に記載のものや、その他の各種のアルゴリズムを用いることができる。検出ラック部21は、検出した欠陥を特定するための付属情報として、その存在位置のパルス値(エンコーダから取得)と、視野内の位置(紙の一方の側縁からの位置(nビット):紙の一方の側縁から各ラインCCDカメラ11の一方の端までの距離は既知であるので、係る距離に撮像したラインCCDカメラ11における端からの欠陥の位置を加算して求める)と、欠陥の幅及び長さ(前後方向)と、カメラを特定するカメラNo(ビームNo)と、欠陥の特徴としての明暗情報(“明るい/暗い”+程度等)等を求める。この求めた付属情報は、図4に示すようなデータ構造のテーブルとして欠陥処理部22へ渡される。なお、係る付属情報の算出(抽出)処理は、従来と同様の処理で実現できる。   The detection rack unit 21 stores image data for each line input from the camera device 10 every moment in a temporary storage memory, reads out image data for n lines, and obtains secondary plane image data having a predetermined size. A recognition target image is generated, image recognition processing is performed on the recognition target image, and the presence / absence of defects such as foreign matter adhesion and perforations is determined. When a defect is detected, image data of a predetermined size (for example, 256 × 256) including the defect is cut out, and the defect processing unit 22 associates the cut-out image data with the attached information about the defect. To pass. As an image recognition processing algorithm for recognizing the presence or absence of a defect, the one described in Patent Document 1 and other various algorithms can be used. The detection rack unit 21 includes, as attached information for identifying the detected defect, a pulse value of the existing position (obtained from the encoder) and a position in the field of view (position from one side edge of the paper (n bits): Since the distance from one side edge of the paper to one end of each line CCD camera 11 is known, it is obtained by adding the position of the defect from the end of the imaged line CCD camera 11 to the distance) Width and length (front-rear direction), camera No. (beam No.) for identifying the camera, light / dark information (such as “bright / dark” + degree) as a feature of the defect, and the like. The obtained attached information is transferred to the defect processing unit 22 as a table having a data structure as shown in FIG. Note that the attached information calculation (extraction) process can be realized by a process similar to the conventional one.

また、ラインCCDカメラ11は、1ライン毎に画像データを取得するものであるので、上述したように2次元の認識対象画像を生成するためには、複数ライン分の画像データをまとめて読み出す必要がある。そこで、例えば、ラインCCDカメラ11分のリングバッファを用意し、各ラインCCDカメラ11から送られてくる画像データを対応するリングバッファに振り分けて格納し、各リングバッファから所定ライン分を読み出すことで対応できる。   Further, since the line CCD camera 11 acquires image data for each line, in order to generate a two-dimensional recognition target image as described above, it is necessary to read out image data for a plurality of lines collectively. There is. Therefore, for example, a ring buffer for the line CCD camera 11 is prepared, the image data sent from each line CCD camera 11 is distributed and stored in the corresponding ring buffer, and a predetermined line is read from each ring buffer. Yes.

欠陥処理部22は、検出ラック部21から送られてきた欠陥についての付属情報から、人間(オペレータ)が認識できるデータに加工し、求めた加工付属情報をデータ処理部23に送る。加工付属情報のデータ構造は、例えば、欠陥位置を特定する前後方向の位置(巻長さデータ)及び紙の一方側縁からの距離データ(この、紙端からの距離を“FR距離”と称する)と、欠陥の寸法を特定する欠陥幅及び欠陥長さと、カメラNoと、明暗情報等がある。長さに関するデータは、検出ラック部21で作成したものは、生データであるのでその単位がビット数やパルス数などであったが、この欠陥処理部22では、m,mm等の人間が容易に認識できる単位に変換している。具体的には、エンコーダから出力されるパルスの1周期で進む紙1の距離を初期データとして持っており、任意の検査開始位置からのパルス数から、現在の紙の長さ方向の位置を求めることができる。そこで、欠陥処理部22は、パルス値に1パルス当たりの移動長さを乗算することで、欠陥が生じている位置の紙1の検査開始位置からの距離(巻長さ)を求めることができる。また、画素数・ビット数で特定していた欠陥位置や、欠陥の大きさは、1画素,1ビット当たりの長さ(mm)を知っているので、検出ラック部21の生データから、単位換算をしてm或いはmmを単位とした数値に変換する。これにより、例えば図5に示すようなデータ構造からなる加工付属情報を生成し、記憶装置31に格納する。なお、係る加工付属情報の算出(抽出)処理は、従来と同様の処理で実現できる。記憶装置31に格納する加工(修正)付属情報は、検出された順にレコード番号(図では、左端に記載)が付与され、その順に格納される。   The defect processing unit 22 processes the attached information about the defect sent from the detection rack unit 21 into data that can be recognized by a human (operator), and sends the obtained processing attached information to the data processing unit 23. The data structure of the processing attachment information includes, for example, a position in the front-rear direction (winding length data) for specifying the defect position and distance data from one side edge of the paper (this distance from the paper edge is referred to as “FR distance”). ), A defect width and a defect length for specifying the dimension of the defect, a camera No., brightness information, and the like. The data related to the length is generated by the detection rack unit 21 and is raw data, so its unit is the number of bits, the number of pulses, etc. In this defect processing unit 22, humans such as m and mm are easy. It is converted to a unit that can be recognized. Specifically, the initial data includes the distance of the paper 1 that travels in one cycle of the pulses output from the encoder, and the current position in the length direction of the paper is obtained from the number of pulses from the arbitrary inspection start position. be able to. Therefore, the defect processing unit 22 can obtain the distance (winding length) from the inspection start position of the paper 1 at the position where the defect occurs by multiplying the pulse value by the movement length per pulse. . Further, since the defect position specified by the number of pixels and the number of bits and the size of the defect know the length (mm) per pixel and 1 bit, the unit is obtained from the raw data of the detection rack unit 21. Convert to a numerical value in units of m or mm. Thereby, for example, processing attachment information having a data structure as shown in FIG. 5 is generated and stored in the storage device 31. The processing ancillary information calculation (extraction) process can be realized by a process similar to the conventional process. The processing (correction) attached information stored in the storage device 31 is assigned a record number (described at the left end in the figure) in the order of detection, and stored in that order.

データ処理部23は、欠陥処理部22で作成され、記憶装置31に格納された画像データ(欠陥を含む切り出しデータ)と、加工付属情報に基づき、所定の条件に合致する情報(画像/テキスト)を表示装置30に出力する。表示装置30の表示画面に表示する欠陥情報(画像データ+テキストデータ)のレイアウトは、従来と同様に図1に示すものを用いることができる。これは、検出された順、つまり、レコード番号順に表示される。よって、テキスト情報からなる加工付属情報は、最新のものから所定数分だけ表示され、新たな欠陥が検出されると、表示内容が更新される。同様に、切り出された画像データは、最新の3個が表示される。なお、これらの表示レイアウト並びに表示方法は、従来と同様である。   The data processing unit 23 is information (image / text) that matches a predetermined condition based on the image data (cut-out data including the defect) created by the defect processing unit 22 and stored in the storage device 31 and the processing attached information. Is output to the display device 30. The layout of defect information (image data + text data) displayed on the display screen of the display device 30 can be the one shown in FIG. This is displayed in the order of detection, that is, in the order of record numbers. Therefore, a predetermined number of pieces of processing attached information made up of text information are displayed from the latest information, and the display content is updated when a new defect is detected. Similarly, the latest three pieces of cut-out image data are displayed. Note that these display layouts and display methods are the same as those in the prior art.

ここで本実施形態では、図3に示すような欠陥時系列表示画面を用意し、異なるカメラ装置10で検出された同一の欠陥についての欠陥情報(画像+テキスト)を並べて表示できるようにしている。本実施形態では、6個のカメラ装置10を備えているので、欠陥時系列表示画面でも、6つの小ウインドウWを用意し、各カメラ装置10で撮像した画像データ等をそれぞれに表示できるようにしている。また、各小ウインドウWに表示するカメラ装置10は、生産ラインの並びに順に合わせ、最も上流側のカメラ装置(ビーム名A)を右端の小ウインドウWに対応付け、以下、生産ラインの流れ(紙の搬送方向)に従って設置されるカメラ装置を順番にそれぞれ左側の小ウインドウWに対応付け、最も下流側のカメラ装置を左端の小ウインドウWに対応づける。   Here, in the present embodiment, a defect time series display screen as shown in FIG. 3 is prepared so that defect information (image + text) regarding the same defect detected by different camera devices 10 can be displayed side by side. . In the present embodiment, since six camera devices 10 are provided, six small windows W are prepared on the defect time series display screen so that image data captured by each camera device 10 can be displayed respectively. ing. The camera apparatus 10 displayed in each small window W is matched with the production line in order, and the most upstream camera apparatus (beam name A) is associated with the rightmost small window W. Hereinafter, the production line flow (paper) The camera devices installed in accordance with the transport direction) are sequentially associated with the left small window W, and the most downstream camera device is associated with the left small window W.

各小ウインドウWは、下側に欠陥画像表示領域W1を、上側にテキスト情報表示領域W2を設け、さらに、それらの表示領域W1,W2の左外側には、NEXT選択ボタンB1,B2と、初期画面ボタンB3が配置されたレイアウト構成を採っている。欠陥画像表示領域W1は、切り出された欠陥を含む画像データが表示される領域である。テキスト情報表示領域W2は、欠陥画像表示領域W1に表示された画像データに関連付けられた加工付属情報を表示する領域である。NEXT選択ボタンB1,B2は、同一の欠陥と思われる画像データが複数存在する場合、これらのNEXT選択ボタンB1,B2をクリックすることで、他の画像データを読み出して表示する。この欠陥画像表示領域W1に表示される画像データが切り替わると、それに伴い、テキスト情報表示領域W2に表示する情報も切り替える。また、初期画面ボタンB3をクリックすると、初期状態で同一の欠陥と推定された画像データが選択され、表示される。なお、同一の欠陥と思われる画像データが複数存在する場合、NEXT選択ボタンB1の下側,NEXT選択ボタンB2の上側に、その候補の数が表示される。つまり、他の画像データが無い場合には、“0”となり、存在する場合にはその数が数値として表示される。図3の場合、左側の2つの小ウインドウWは、共に下にNEXT選択ボタンB1の下側に“1”が、NEXT選択ボタンB2の上側に“2”が表示されているので、各NEXT選択ボタンB1,B2をクリックすることで、表示する画像を切り替えることができる。そして、その切り替えに伴い、数値がそれぞれ±1されて更新される。このように、欠陥画像表示領域W1に表示する画像データを切り替え、実際に別の小ウインドウに表示された画像と見比べることで、最終的にオペレータが同一の欠陥と思える画像データを適切に選択することができる。なお、上記のように画像の切り替えを行う都度、数値を更新するようにした場合、数値が“0”になった場合にはそれ以上その方向に候補がないことが容易に理解できる。もちろん、そのように数値の更新を行うことはせず、初期状態のままとしても良い。   Each small window W is provided with a defect image display area W1 on the lower side and a text information display area W2 on the upper side. Further, on the outer left side of these display areas W1 and W2, there are NEXT selection buttons B1 and B2, The layout configuration in which the screen button B3 is arranged is adopted. The defect image display area W1 is an area where image data including the cut out defect is displayed. The text information display area W2 is an area for displaying the processing attached information associated with the image data displayed in the defect image display area W1. The NEXT selection buttons B1 and B2 read and display other image data by clicking these NEXT selection buttons B1 and B2 when there are a plurality of image data that appear to be the same defect. When the image data displayed in the defect image display area W1 is switched, the information displayed in the text information display area W2 is switched accordingly. When the initial screen button B3 is clicked, the image data estimated to be the same defect in the initial state is selected and displayed. When there are a plurality of image data that are considered to be the same defect, the number of candidates is displayed below the NEXT selection button B1 and above the NEXT selection button B2. That is, when there is no other image data, it is “0”, and when it exists, the number is displayed as a numerical value. In the case of FIG. 3, since the two small windows W on the left side are both displayed with “1” below the NEXT selection button B1 and “2” above the NEXT selection button B2, each NEXT selection is displayed. By clicking the buttons B1 and B2, the image to be displayed can be switched. In accordance with the switching, the numerical values are respectively updated by ± 1. In this way, by switching the image data to be displayed in the defect image display area W1 and comparing it with the image actually displayed in another small window, the operator finally selects image data that seems to be the same defect. be able to. When the numerical value is updated each time the image is switched as described above, it can be easily understood that there is no more candidate in that direction when the numerical value becomes “0”. Of course, the numerical value is not updated as such and may be left in the initial state.

なお、図3では6個の小ウインドウWの全てに欠陥画像が表示されている例を示したが、実際には、一部の小ウインドウWのみに表示されることもある(表示されない小ウインドウもある)。これは、例えば、3番目のカメラ装置の直前の工程で欠陥が生じた場合、1,2番目のカメラ装置では欠陥が検出されず、3番目のカメラ装置で撮像した画像から欠陥画像が表示されるので、係る場合、少なくとも、右側の2つの小ウインドウWには、欠陥画像が表示されず、それに伴いテキスト情報も表示されない。また、このように仮に3番目のカメラ装置で欠陥が検出されたとしても、4番目以降のカメラ装置で撮像した画像データからは欠陥が検出されないこともある。これは、例えば、欠陥が孔部であり、その後の工程でコーティングされることで当該孔部が埋められて欠陥として現れなくなったり、紙1の表面に異物が付着している場合に裏面側を撮像するカメラ装置で撮像した画像データ中には係る異物がなく欠陥と認識されなかったりすることなどの理由からである。   Note that FIG. 3 shows an example in which defect images are displayed in all six small windows W, but in actuality, there may be cases where only some small windows W are displayed (small windows that are not displayed). There is also.) For example, if a defect occurs in the process immediately before the third camera device, the defect is not detected in the first and second camera devices, and a defect image is displayed from the image captured by the third camera device. Therefore, in such a case, at least in the two small windows W on the right side, the defect image is not displayed, and accordingly, the text information is not displayed. Even if a defect is detected by the third camera device in this way, the defect may not be detected from image data captured by the fourth and subsequent camera devices. This is because, for example, the defect is a hole, and the hole is buried by coating in a subsequent process so that it does not appear as a defect, or when a foreign matter is attached to the surface of the paper 1, This is because the image data captured by the camera device that captures the image is not recognized as a defect because there is no such foreign matter.

次に、係る欠陥時系列表示画面を表示するためのデータ処理部23の機能を説明する。このデータ処理部23は、図6に示すフローチャートを実行する機能を備える。まず、オペレータから与えられた“リアル表示一時停止命令”を検出すると、図1に示すリアル表示を一時停止する(S1)。このリアル表示一時停止命令は、図示省略するが、外観検査装置(画像認識処理装置20)の入力装置(キーボード)からのコマンド入力や、マウス等のポインティングデバイスを操作し、表示装置30のリアル表示をしている画面の上方等に配置したメニューバー等を適宜クリックして、メニュー項目の1つとして用意された“リアル表示一時停止命令”を選択することにより行っても良く、各種の方法が採れる。   Next, the function of the data processing unit 23 for displaying the defect time series display screen will be described. The data processing unit 23 has a function of executing the flowchart shown in FIG. First, when the “real display pause command” given by the operator is detected, the real display shown in FIG. 1 is paused (S1). Although not shown in the drawing, the real display pause command is used to input a command from the input device (keyboard) of the appearance inspection device (image recognition processing device 20) or to operate a pointing device such as a mouse to display the real display on the display device 30. This may be done by appropriately clicking on the menu bar or the like placed above the screen that is being operated, and selecting the “real display pause command” prepared as one of the menu items. Can be taken.

データ処理部23は、任意の欠陥画像の指定を受け付ける(S2)。係る指定は、例えば、一時停止しているリアル表示画面(新たな欠陥検出に伴う更新を行わず、停止命令を受けたときの画面のまま保持)で表示された3つの欠陥画像の中の1つをクリックすることで、行うことができる。もちろん、表示されたテキスト情報の項目の中から任意のものを選択することで、それに関連付けられた画像データを指定するようにしてもよい。オペレータがリアルタイムで表示された欠陥画像を見た場合に、その原因を特定するためにリアルタイム表示を一時停止し、上述した時系列表示画面を表示する利用が考えられるので、リアル表示画面で表示された欠陥画像を選択するのが、操作性が良好となり好ましい。   The data processing unit 23 accepts designation of an arbitrary defect image (S2). Such designation is, for example, one of the three defect images displayed on the temporarily stopped real display screen (the screen is not updated when a new defect is detected and the stop command is received). You can do this by clicking on one. Of course, by selecting an arbitrary item from the displayed text information items, the image data associated therewith may be designated. When an operator sees a defect image displayed in real time, the real-time display is temporarily stopped to identify the cause, and the above-described time-series display screen can be used. It is preferable to select a defective image because the operability is good.

次に、データ処理部23は、表示装置30に表示したメニュー表示画面或いはプルダウンメニューリストから、“時系列表示”が選択されるのを待ち(S3)、選択されたならば、図3に示すような欠陥時系列表示画面に表示を切り替える(S5)。   Next, the data processing unit 23 waits for “time series display” to be selected from the menu display screen or pull-down menu list displayed on the display device 30 (S3). The display is switched to such a defect time series display screen (S5).

次にデータ処理部23は、処理ステップS2で指定された欠陥画像に関連付けられた加工付属情報のうち、対象となっている欠陥の流れ方向の距離(巻長さ:検査開始位置からの距離)と幅方向位置(FR距離)を取得し、その取得した情報と、各カメラ装置(ビーム)で撮像した画像データから抽出された欠陥の流れ方向の距離と幅方向位置とを比較し、許容範囲内のものを抽出する(S6)。ここで、許容範囲は、幅方向(FR距離)については比較的狭くし、流れ方向の距離についてはそれに比べて長く設定している。これは、紙が幅方向に大きく伸びることはあまりなく幅方向の大きなずれの要因としては蛇行すること等があり得るが、それもあまり(発生頻度/ずれ距離)ないので、許容範囲を狭く設定することで、不必要な候補が抽出されてしまうことを抑制する。   Next, the data processing unit 23, in the processing attached information associated with the defect image specified in the processing step S2, the distance in the flow direction of the target defect (winding length: distance from the inspection start position). And the width direction position (FR distance) are acquired, the acquired information is compared with the distance in the flow direction of the defect extracted from the image data captured by each camera device (beam) and the width direction position, and an allowable range is obtained. The inside one is extracted (S6). Here, the allowable range is relatively narrow in the width direction (FR distance), and the distance in the flow direction is set to be longer than that. This is because the paper does not extend greatly in the width direction, and as a cause of a large deviation in the width direction, there is a possibility of meandering, etc. However, since it is not too much (occurrence frequency / deviation distance), the allowable range is set narrow. This suppresses unnecessary candidates from being extracted.

これに対し、流れ方向では、例えば、水分を含ませたり、乾燥させたり、コーティング処理したりすることで、伸縮するため、パルス値に基づいて算出した検査開始位置からの距離が、同一地点(同一の欠陥)で異なることが多々ある。そこで、流れ方向の距離については許容範囲を広く設定する。   On the other hand, in the flow direction, for example, the distance from the inspection start position calculated based on the pulse value is the same ( The same defect) is often different. Therefore, a wide allowable range is set for the distance in the flow direction.

これにより、例えば図2に示す例では、欠陥2aと欠陥2bとは、流れ方向の距離が許容範囲内に入り同一の欠陥の候補として選択される可能性はあるが、欠陥2aと欠陥2cとは、幅方向の位置が違うので、流れ方向は近くても許容範囲内に入らず、別の欠陥と認識することができる。   Thereby, in the example shown in FIG. 2, for example, the defect 2a and the defect 2b may be selected as candidates for the same defect within the allowable range of the distance in the flow direction. Since the position in the width direction is different, even if the flow direction is close, it does not fall within the allowable range and can be recognized as another defect.

次に、各ビームで許容範囲内の中で、一番近い候補を検索し、該当するものがあるか否かを判断する(S7)。許容範囲内に該当する欠陥がない場合、そのビーム(カメラ装置10)に対応する欠陥時系列表示画面の小ウインドウWには欠陥表示をしない(S8)。一方、処理ステップS2で指定された欠陥を撮像したカメラ装置とは別のカメラ装置で撮像した欠陥の幅方向と流れ方向距離が、指定された欠陥のそれらと許容範囲内にある欠陥が存在する場合、最も近いものを初期候補として選択するとともに、同一のカメラ装置で撮像された許容範囲内の欠陥が複数ある場合には、流れ方向の前後で、それぞれ候補を抽出する。このとき、初期候補を基準に近いものから順に抽出する(最大10個)。これにより、装置が決定した同一の欠陥についての欠陥画像の候補である初期候補と、可能性のある他の候補が抽出される(S9)。   Next, the closest candidate within the allowable range of each beam is searched to determine whether there is a corresponding one (S7). When there is no defect corresponding to the allowable range, no defect is displayed in the small window W of the defect time series display screen corresponding to the beam (camera device 10) (S8). On the other hand, there is a defect in which the width direction and the flow direction distance of the defect imaged by a camera device different from the camera device that imaged the defect specified in the processing step S2 are within the allowable range with those of the specified defect. In this case, the closest candidate is selected as the initial candidate, and if there are a plurality of defects within the allowable range imaged by the same camera device, the candidates are extracted before and after the flow direction, respectively. At this time, initial candidates are extracted in order from the closest to the reference (up to 10). As a result, an initial candidate that is a defect image candidate for the same defect determined by the apparatus and other possible candidates are extracted (S9).

ついで、データ処理部23は、そのようにして抽出した欠陥画像並びにそれに関連づけられた加工付属情報を取得し、対応するビーム用の小ウインドウWに、初期候補の欠陥画像と加工付属情報を表示する。これにより、データ処理部23は、欠陥時系列表示画面を出力することになる(S10)。   Next, the data processing unit 23 acquires the defect image thus extracted and the processing attached information associated therewith, and displays the defect image and the processing attached information of the initial candidate in the corresponding small window W for the beam. . As a result, the data processing unit 23 outputs a defect time series display screen (S10).

また、複数候補がない場合(S11でNo)、そのビームについての小ウインドウWは、表示の切り替え・変化がない(S14)。たとえば図3の場合、ビームA〜ビームDまでの小ウインドウWは、これに該当する。一方、複数候補がある場合(S11でYes)、データ処理部23は、前後候補キーの入力、つまり、NEXT選択ボタンB1またはNEXT選択ボタンB2がクリックされるのを待ち(S12)、クリックされたならば、該当する方向の次の候補(次に近い候補)を抽出し、各領域W1,W2に表示する(S13)。なお、特に、処理ステップS7以降の処理については、各カメラ装置(ビーム)単位で実行することになる。   If there are no multiple candidates (No in S11), the small window W for the beam has no display switching / change (S14). For example, in the case of FIG. 3, the small window W from the beam A to the beam D corresponds to this. On the other hand, when there are a plurality of candidates (Yes in S11), the data processing unit 23 waits for the input of the previous / next candidate key, that is, the NEXT selection button B1 or the NEXT selection button B2 is clicked (S12). If so, the next candidate in the corresponding direction (the next closest candidate) is extracted and displayed in each of the areas W1 and W2 (S13). In particular, the processing after processing step S7 is executed for each camera device (beam).

よって、本実施形態では、欠陥時系列表示にて別工程で検出したそれぞれの画像を一目で確認できる。よって、不良欠陥の発生箇所及び不良欠陥の変化を確認できるので、生産への影響を確認できる。紙の生産において不良欠陥による紙切れは大きな生産ロスにつながるが、本実施形態の欠陥時系列表示を活用することで生産の上流側へフィードバックするアクションを迅速に行うことができ、品質管理及び生産の効率化に役立つことができる。   Therefore, in this embodiment, it is possible to confirm at a glance each image detected in a separate process in the defect time series display. Therefore, since the occurrence location of the defective defect and the change of the defective defect can be confirmed, the influence on the production can be confirmed. Out of paper due to defective defects in paper production leads to a large production loss, but by using the defect time series display of this embodiment, it is possible to quickly perform an action to feed back to the upstream side of production, and quality control and production It can help increase efficiency.

上述した実施形態の各処理部(検査ラック部21,欠陥処理部22,データ処理部23)は、ハードウェアとして実現することもできるし、ソフトウェア(アプリケーションプログラム)として実現することもできる。   Each processing unit (the inspection rack unit 21, the defect processing unit 22, and the data processing unit 23) of the above-described embodiment can be realized as hardware or can be realized as software (application program).

欠陥情報の表示レイアウトの一例を示す図である。It is a figure which shows an example of the display layout of defect information. 本発明の公的な一実施形態を示す図である。It is a figure which shows one public embodiment of this invention. 欠陥時系列表示画面の一例を示す図である。It is a figure which shows an example of a defect time series display screen. 検出ラック部で生成される付属情報のデータ構造の一例を示す図である。It is a figure which shows an example of the data structure of the attached information produced | generated in a detection rack part. 欠陥処理部で生成される加工付属情報のデータ構造の一例を示す図である。It is a figure which shows an example of the data structure of the process attachment information produced | generated in a defect process part. データ処理部23の機能を示すフローチャートである。3 is a flowchart showing functions of a data processing unit 23.

符号の説明Explanation of symbols

10 カメラ装置
11 ラインCCDカメラ
20 画像認識処理装置
21 検出ラック部
22 欠陥処理部
23 データ処理部
30 表示装置
31 記憶装置
DESCRIPTION OF SYMBOLS 10 Camera apparatus 11 Line CCD camera 20 Image recognition processing apparatus 21 Detection rack part 22 Defect processing part 23 Data processing part 30 Display apparatus 31 Memory | storage device

Claims (6)

シート状の物品の外観検査装置であって、
前記物品の搬送方向に沿って、前後に配置された複数のカメラ装置で撮像された画像データを取得すると共に、各カメラ装置からの画像データ単位で画像認識処理を行い、欠陥の有無を判断する判断手段と、
その判断手段で欠陥を検出した場合に、その欠陥を含む画像を切り出すとともに、その切り出した画像と、検出した欠陥の位置を特定する位置情報と、を関連付けた欠陥情報を作成する欠陥情報作成手段と、
前記位置情報に基づき、異なるカメラ装置で撮像された同一の欠陥についての欠陥情報を抽出し、その抽出した欠陥について前記切り出した画像を同一の表示画面に同時に出力する処理手段と、
を備えたことを特徴とする外観検査装置。
A visual inspection apparatus for a sheet-like article,
Acquire image data captured by a plurality of camera devices arranged at the front and back along the conveyance direction of the article, and perform image recognition processing in units of image data from each camera device to determine the presence or absence of defects. Judgment means,
When a defect is detected by the determination unit, a defect information creating unit that cuts out an image including the defect and creates defect information in which the cut image is associated with position information for specifying the position of the detected defect. When,
Processing means for extracting defect information about the same defect imaged by different camera devices based on the position information, and simultaneously outputting the clipped image of the extracted defect to the same display screen;
An appearance inspection apparatus comprising:
前記位置情報は、前記物品の搬送方向に沿った前後方向の位置と、その物品の幅方向の側縁からの位置であり、
前記同一の欠陥についての欠陥情報の抽出は、前記位置情報で特定される欠陥の位置が許容範囲内の場合に同一の欠陥と推定するものであり、
その許容範囲は、前記前後方向の位置についての許容範囲を、前記側縁からの位置についての許容範囲よりも大きくしたことを特徴とする請求項1に記載の外観検査装置。
The position information is a position in the front-rear direction along the conveyance direction of the article, and a position from a side edge in the width direction of the article,
The defect information extraction for the same defect is to estimate the same defect when the position of the defect specified by the position information is within an allowable range,
The visual inspection apparatus according to claim 1, wherein the permissible range is such that the permissible range for the position in the front-rear direction is larger than the permissible range for the position from the side edge.
前記処理手段は、同一の欠陥についての欠陥情報と推定される候補が複数存在する場合、それら複数の候補のうちの1つを初期候補として表示装置に出力し、外部から与えられる切替指示にしたがって別の候補を表示する機能を備えたことを特徴とする請求項1または2に記載の外観検査装置。   When there are a plurality of candidates estimated as defect information on the same defect, the processing means outputs one of the plurality of candidates as an initial candidate to the display device, and follows a switching instruction given from the outside The appearance inspection apparatus according to claim 1, further comprising a function of displaying another candidate. 前記欠陥情報作成手段で作成される前記欠陥情報は、欠陥の寸法を含むその欠陥の特徴を示すテキスト情報を有し、
前記処理手段は、前記切り出した画像とともに、対応する前記テキスト情報も併せて表示するものであることを特徴とする請求項1から3のいずれか1項に記載の外観検査装置。
The defect information created by the defect information creating means has text information indicating the feature of the defect including the dimension of the defect,
The appearance inspection apparatus according to claim 1, wherein the processing unit displays the cut-out image together with the corresponding text information.
シート状の物品の生産ラインにおける前記物品の搬送方向に沿って、前後に配置された複数のカメラ装置と、
その複数のカメラ装置からの出力に基づいて動作する請求項1から4のいずれか1項に記載の外観検査装置と、を備えた外観検査システム。
A plurality of camera devices arranged at the front and rear along the conveying direction of the article in the production line of the sheet-like article,
An appearance inspection system comprising: the appearance inspection apparatus according to claim 1, wherein the appearance inspection apparatus operates based on outputs from the plurality of camera devices.
コンピュータを、
前記物品の搬送方向に沿って、前後に配置された複数のカメラ装置で撮像された画像データを取得すると共に、各カメラ装置からの画像データ単位で画像認識処理を行い、欠陥の有無を判断する判断手段、
その判断手段で欠陥を検出した場合に、その欠陥を含む画像を切り出すとともに、その切り出した画像と、検出した欠陥の位置を特定する位置情報と、を関連付けた欠陥情報を作成する欠陥情報作成手段、
前記位置情報に基づき、異なるカメラ装置で撮像された同一の欠陥についての欠陥情報を抽出し、その抽出した欠陥について前記切り出した画像を同一の表示画面に同時に出力する処理手段、
として機能させるためのプログラム。
Computer
Acquire image data picked up by a plurality of camera devices arranged at the front and back along the conveyance direction of the article, and perform image recognition processing in units of image data from each camera device to determine the presence or absence of defects. Judgment means,
When a defect is detected by the determination unit, a defect information creating unit that cuts out an image including the defect and creates defect information in which the cut image is associated with position information for specifying the position of the detected defect. ,
Processing means for extracting defect information about the same defect imaged by different camera devices based on the position information, and simultaneously outputting the clipped image of the extracted defect to the same display screen;
Program to function as.
JP2008303801A 2008-11-28 2008-11-28 Visual inspection apparatus, visual inspection system, and program Pending JP2010127809A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008303801A JP2010127809A (en) 2008-11-28 2008-11-28 Visual inspection apparatus, visual inspection system, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008303801A JP2010127809A (en) 2008-11-28 2008-11-28 Visual inspection apparatus, visual inspection system, and program

Publications (1)

Publication Number Publication Date
JP2010127809A true JP2010127809A (en) 2010-06-10

Family

ID=42328311

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008303801A Pending JP2010127809A (en) 2008-11-28 2008-11-28 Visual inspection apparatus, visual inspection system, and program

Country Status (1)

Country Link
JP (1) JP2010127809A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014066648A (en) * 2012-09-26 2014-04-17 Hitachi High-Technologies Corp Substrate inspection method and apparatus
WO2024024797A1 (en) * 2022-07-29 2024-02-01 コニカミノルタ株式会社 Image management system, image management device, image management method, and image management program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000028547A (en) * 1998-07-09 2000-01-28 Nkk Corp Surface defect inspecting device for steel plate
JP2003262593A (en) * 2002-03-08 2003-09-19 Mitsubishi Rayon Co Ltd Apparatus and method for detection of defect
JP2003329601A (en) * 2002-05-10 2003-11-19 Mitsubishi Rayon Co Ltd Apparatus and method for inspecting defect
JP2003329600A (en) * 2002-05-09 2003-11-19 Nippon Steel Corp Method for controlling quality of steel plate
JP2007114036A (en) * 2005-10-20 2007-05-10 Nippon Steel Corp Visualization support device, control method for same, and interprocess visualization system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000028547A (en) * 1998-07-09 2000-01-28 Nkk Corp Surface defect inspecting device for steel plate
JP2003262593A (en) * 2002-03-08 2003-09-19 Mitsubishi Rayon Co Ltd Apparatus and method for detection of defect
JP2003329600A (en) * 2002-05-09 2003-11-19 Nippon Steel Corp Method for controlling quality of steel plate
JP2003329601A (en) * 2002-05-10 2003-11-19 Mitsubishi Rayon Co Ltd Apparatus and method for inspecting defect
JP2007114036A (en) * 2005-10-20 2007-05-10 Nippon Steel Corp Visualization support device, control method for same, and interprocess visualization system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014066648A (en) * 2012-09-26 2014-04-17 Hitachi High-Technologies Corp Substrate inspection method and apparatus
WO2024024797A1 (en) * 2022-07-29 2024-02-01 コニカミノルタ株式会社 Image management system, image management device, image management method, and image management program

Similar Documents

Publication Publication Date Title
Çelik et al. Development of a machine vision system: real-time fabric defect detection and classification with neural networks
JP2007132757A (en) Visual examination method and device
WO2001041068A1 (en) Defect inspecting system
JP2019211288A (en) Food testing system and program
JP7263074B2 (en) Information processing device, its control method, program, and storage medium
US8023720B2 (en) Method and apparatus for identifying repeated patterns
JP5305002B2 (en) Appearance inspection device
CN114638779B (en) Textile quality inspection system, method, device, computer equipment and storage medium
EP3904868A1 (en) Learned model generation method, learned model, surface defect inspection method, steel manufacturing method, pass/fail determination method, grade determination method, surface defect determination program, pass/fail determination program, determination system, and steel manufacturing equipment
TWI531787B (en) An automatic optical detection method and an automatic optical detection system for carrying out the method
JP2010127809A (en) Visual inspection apparatus, visual inspection system, and program
JP4944739B2 (en) Program creation device for image processing controller
JP5595011B2 (en) Inspection system for detection and verification of surface defects on metal bars
JP2013145171A (en) Appearance inspection device
JP2003262593A (en) Apparatus and method for detection of defect
JP5267789B2 (en) Appearance inspection apparatus and program
JP2007303851A5 (en)
JP2007303851A (en) In-line x-ray fluoroscopic apparatus
JP4415285B1 (en) Wire inspection apparatus, wire inspection method, and wire inspection program
JP6402737B2 (en) Steel material unrolled width detection device and method
JP6459550B2 (en) Anomaly detection method and anomaly detection apparatus for mechanical equipment
JP6890101B2 (en) An image identification device and an article manufacturing device equipped with an image identification device
JP2013003688A (en) Defective factor detection device and defective factor detection method
WO2022091924A1 (en) Assistance system, assistance method, and storage medium
US10852244B2 (en) Image processing apparatus, image processing method, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Effective date: 20110610

Free format text: JAPANESE INTERMEDIATE CODE: A621

A977 Report on retrieval

Effective date: 20120822

Free format text: JAPANESE INTERMEDIATE CODE: A971007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120829

A02 Decision of refusal

Effective date: 20130109

Free format text: JAPANESE INTERMEDIATE CODE: A02