JP2019023588A - 欠陥検査システム及び欠陥検査方法 - Google Patents

Abstract

【課題】欠陥の識別精度向を提供する。【解決手段】欠陥検査システムでは、撮像部により、搬送方向Ｘに輝度が変化する２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）等が撮像され、ライン分割処理部により、２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）等が搬送方向Ｘに並列するラインＬ１（ｔ１）〜Ｌｋ（ｔｍ）等に分割され、２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）等の同じ位置のラインＬ１（ｔ１）〜Ｌ１（ｔｋ）等を時系列順に並列させたライン分割画像ＤＬ１（ｔ１）〜ＤＬｋ（ｔ（１−（ｋ−１）））の画像データに処理され、同じ検査対象Ｔの撮像画像でもライン分割画像ＤＬ１（ｔ１）等は異なる輝度を有する。欠陥種別識別部により、輝度及び見え方が異なるライン分割画像ＤＬ１（ｔ１）〜ＤＬｋ（ｔ（１−（ｋ−１）））に含まれる欠陥種別の識別に関する機械学習の結果を蓄積したデータに基づいて検査対象Ｔの欠陥Ｄの種別が識別され、欠陥Ｄの識別精度が向上する。【選択図】図７

Description

本発明は、欠陥検査システム及び欠陥検査方法に関する。

検査対象の撮像画像に基づいて検査対象の欠陥を検査する欠陥検査システムとして、例えば、偏光フィルム及び位相差フィルム等の光学フィルム、電池のセパレータに用いられる積層フィルム等の欠陥を検出する欠陥検査システムが知られている。この種の欠陥検査システムは、搬送方向にフィルムを搬送し、フィルムの２次元画像を離散時間ごとに撮像し、撮像した２次元画像に基づいて欠陥検査を行う。例えば、特許文献１のシステムは、２次元画像を搬送方向に並列する複数のラインに分割し、離散時間ごとに撮像された２次元画像のそれぞれにおける同じ位置のラインを時系列順に並列させたライン分割画像を生成する。ライン分割画像は、輝度変化を強調した欠陥強調処理画像に処理される。欠陥強調処理画像により、フィルムの欠陥の有無や位置が容易に特定される。

特許第４７２６９８３号明細書

ところで、上記技術のように検査対象の２次元画像が欠陥強調処理画像に処理されたとしても、最終的には欠陥の識別は人間による判定によって行われており、欠陥の識別精度には改善の余地がある。

そこで本発明は、欠陥の識別精度を向上させることができる欠陥検査システム及び欠陥検査方法を提供することを目的とする。

本発明は、検査対象に光を照射する光源と、光源から検査対象に照射されて検査対象を透過又は反射した光による２次元画像を離散時間ごとに撮像する撮像部と、光源及び撮像部に対して検査対象を搬送方向に相対的に搬送する搬送部と、撮像部により撮像された２次元画像の画像データを処理する画像処理部とを備え、撮像部は、２次元画像における搬送方向と合致する方向に輝度が変化する２次元画像を撮像し、画像処理部は、２次元画像を搬送方向に並列する複数のラインに分割し、撮像部により離散時間ごとに撮像された２次元画像のそれぞれにおける同じ位置のラインを時系列順に並列させたライン分割画像の画像データに処理するライン分割処理部と、ライン分割処理部により処理された２以上のライン分割画像に含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて検査対象の欠陥の種別を識別する欠陥種別識別部とを有する欠陥検査システムである。

この構成によれば、検査対象に光を照射する光源と、光源から検査対象に照射されて検査対象を透過又は反射した光による２次元画像を離散時間ごとに撮像する撮像部と、光源及び撮像部に対して検査対象を搬送方向に相対的に搬送する搬送部と、撮像部により撮像された２次元画像の画像データを処理する画像処理部とを備えた欠陥検査システムにおいて、撮像部により、２次元画像における搬送方向と合致する方向に輝度が変化する２次元画像が撮像され、画像処理部のライン分割処理部により、２次元画像が搬送方向に並列する複数のラインに分割され、撮像部により離散時間ごとに撮像された２次元画像のそれぞれにおける同じ位置のラインを時系列順に並列させたライン分割画像の画像データに処理されるため、同じ検査対象が撮像された画像であってもライン分割画像のそれぞれは異なる輝度を有する画像となる。さらに、画像処理部の欠陥種別識別部により、ライン分割処理部により処理された２以上のそれぞれ異なる輝度を有するライン分割画像に含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて検査対象の欠陥の種別が識別されるため、同じ検査対象が撮像された画像であってもその輝度が異なり、見え方が異なる２つ以上のライン分割画像に対する機械学習の結果に基づいて欠陥の種別が識別されることになるため、欠陥の識別精度を向上させることができる。

この場合、欠陥種別識別部は、輝度が１０％以上異なる２以上のライン分割画像に含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて検査対象の欠陥の種別を識別することが好適である。

この構成によれば、欠陥種別識別部は、輝度が１０％以上異なる２つのライン分割画像に含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて検査対象の欠陥の種別を識別するため、同じ検査対象が撮像された画像であってもその輝度が１０％以上に大きく異なり、見え方が大きく異なる２つのライン分割画像に対する機械学習の結果に基づいて欠陥の種別が識別されることになるため、欠陥の識別精度をより向上させることができる。

また、光源と検査対象との間に位置し、光源から検査対象に照射される光の一部を遮光することにより、撮像部で離散時間ごとに撮像される２次元画像に明部と暗部とを形成する遮光体をさらに備え、搬送部は、光源、遮光体及び撮像部に対して検査対象を明部と暗部との境界線に交わる搬送方向に相対的に搬送し、欠陥種別識別部は、２次元画像における明部の位置のラインを時系列順に並列させたライン分割画像と、２次元画像における暗部の位置のラインを時系列順に並列させたライン分割画像とに含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて検査対象の欠陥の種別を識別することが好適である。

この構成によれば、光源と検査対象との間に位置する遮光体により、光源から検査対象に照射される光の一部が遮光されることにより撮像部で離散時間ごとに撮像される２次元画像に明部と暗部とが形成され、搬送部により、光源、遮光体及び撮像部に対して検査対象が明部と暗部との境界線に交わる搬送方向に相対的に搬送されるため、離散時間ごとに撮像された一連の２次元画像における検査対象の各部位が明部及び暗部の両方に入る。また、欠陥種別識別部は、２次元画像における明部の位置のラインを時系列順に並列させたライン分割画像と、２次元画像における暗部の位置のラインを時系列順に並列させたライン分割画像とに含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて検査対象の欠陥の種別を識別するため、明部及び暗部のそれぞれに属し、見え方が大きく異なる２つのライン分割画像像に対する機械学習の結果に基づいて欠陥の種別が識別されることになり、欠陥の識別精度をより向上させることができる。

一方、本発明は、欠陥検査システムの光源から検査対象に光を照射する照射工程と、欠陥検査システムの撮像部により、照射工程により光源から検査対象に照射されて検査対象を透過又は反射した光による２次元画像を離散時間ごとに撮像する撮像工程と、欠陥検査システムの搬送部により、光源及び撮像部に対して検査対象を搬送方向に相対的に搬送する搬送工程と、欠陥検査システムの画像処理部により、撮像工程で撮像された２次元画像の画像データを処理する画像処理工程とを備え、撮像工程では、２次元画像における搬送方向と合致する方向に輝度が変化する２次元画像を撮像し、画像処理工程では、２次元画像を搬送方向に並列する複数のラインに分割し、撮像工程で離散時間ごとに撮像された２次元画像のそれぞれにおける同じ位置のラインを時系列順に並列させたライン分割画像の画像データに処理するライン分割処理工程と、ライン分割処理工程で処理された２以上のライン分割画像に含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて検査対象の欠陥の種別を識別する欠陥種別識別工程とを有する欠陥検査方法である。

この場合、欠陥種別識別工程では、輝度が１０％以上異なる２つのライン分割画像に含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて検査対象の欠陥の種別を識別することが好適である。

また、照射工程では、光源と検査対象との間に位置し、光源から検査対象に照射される光の一部を遮光する遮光体により、撮像工程で離散時間ごとに撮像される２次元画像に明部と暗部とを形成し、搬送工程では、光源、遮光体及び撮像部に対して検査対象を明部と暗部との境界線に交わる搬送方向に相対的に搬送し、欠陥種別識別工程では、２次元画像における明部の位置のラインを時系列順に並列させたライン分割画像と、２次元画像における暗部の位置のラインを時系列順に並列させたライン分割画像とに含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて検査対象の欠陥の種別を識別することが好適である。

本発明の欠陥検査システム及び欠陥検査方法によれば、欠陥の識別精度を向上させることができる。

実施形態に係る欠陥検査システムを示す斜視図である。 図１の欠陥検査システムの光源、撮像部、遮光体及び検査対象の配置を示す図である。 図１の欠陥検査システムの画像処理部の詳細を示すブロック図である。 実施形態に係る欠陥検査方法の工程を示すフローチャートである。 図４の画像処理工程の詳細を示すフローチャートである。 （Ａ）、（Ｂ）、（Ｃ）、（Ｄ）、（Ｅ）、（Ｆ）及び（Ｇ）は、図１の欠陥検査システムの画像処理部のライン分割処理部で処理される画像を示す図である。 （Ａ）は時系列の２次元画像を示す図であり、（Ｂ）は各位置のラインを時系列順に並列させたライン分割画像のそれぞれを示す図であり、（Ｃ）は（Ｂ）のライン分割画像のそれぞれが検査対象の同じ位置を示すように時刻をずらした位置合わせ画像を示す図である。 畳み込みニューラルネットワークを示す図である。

以下、図面を参照して本発明の欠陥検査システム及び欠陥検査方法の好適な実施形態について詳細に説明する。図１及び図２に示すように、本発明の実施形態に係る欠陥検査システム１は、光源２、撮像部３、搬送部４、画像処理部５、遮光体６、平行光レンズ７及び表示装置８を備えている。本実施形態の欠陥検査システムは、偏光フィルム及び位相差フィルム等の光学フィルム、電池のセパレータに用いられる積層フィルム等のフィルムを検査対象Ｔとし、検査対象Ｔの欠陥を検出する。検査対象Ｔは、搬送部４の搬送方向Ｘに延在し、搬送方向Ｘに直交する幅方向Ｙに予め設定された幅を有する。検査対象Ｔに生じる欠陥とは、所望の状態とは異なる状態を指すものであり、例えば、異物、打痕、気泡（成形時に生じる物等）、異物気泡（異物の混入により生じる物等）、傷、クニック（折り目痕等により生じる物等）、及びスジ（厚さの違いにより生じる物等）が挙げられる。欠陥検査システム１は、これらの欠陥の種別を識別する。欠陥検査システム１は、欠陥の種別の識別に加えて、欠陥が検査対象Ｔのどの面に発生しているのかを特定することができる。

図１及び図２に示すように、光源２は検査対象Ｔに光を照射する。光源２は、幅方向Ｙに平行な線状な光を照射するように配置されている。光源２としては、メタルハライドランプ、ハロゲン伝送ライト、蛍光灯など、検査対象Ｔであるフィルムの組成および性質に影響を与えない光を照射するものであれば、特に限定されない。

撮像部３は、光源２から検査対象Ｔに照射されて検査対象Ｔを透過又は反射した光による２次元画像を離散時間ごとに撮像する。撮像部３は、複数の光学部材と光電変換素子とを有している。光学部材は、光学レンズ、シャッター等から構成され、検査対象Ｔであるフィルムを透過した光を光電変換素子の表面に結像させる。光電変換素子は、２次元画像を撮像するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（ComplementaryMetal-Oxide Semiconductor）等の撮像素子で構成されるエリアセンサである。撮像部３は、色彩を有さない２次元画像及び色彩を有する２次元画像のいずれを撮像するものでもよい。

搬送部４は、光源２及び撮像部３に対して検査対象Ｔを搬送方向Ｘに相対的に搬送する。搬送部４は、例えば、検査対象Ｔであるフィルムを搬送方向Ｘに搬送する送出ローラと受取ローラを備え、ロータリーエンコーダなどにより搬送距離を計測する。本実施形態では、搬送部４による検査対象Ｔの搬送速度は、搬送方向Ｘに２〜１００ｍ／分程度に設定される。搬送部４における搬送速度は、画像処理部５等によって設定及び制御される。

画像処理部５は、撮像部３により撮像された２次元画像の画像データを処理する。画像処理部５は、２次元画像データの画像処理を行うものであれば、特に限定されるものではなく、例えば、画像処理ソフトウェアがインストールされたＰＣ（パーソナルコンピュータ）、画像処理回路が記述されたＦＰＧＡ（Field Programmable Gate Array）を搭載する画像キャプチャボード等を適用することができる。

遮光体６は、光源２と検査対象Ｔとの間に位置し、光源２から検査対象Ｔに照射される光の一部を遮光することにより、撮像部３で離散時間ごとに撮像される２次元画像に明部と暗部とを形成する。遮光体６により、撮像部３は、２次元画像における搬送方向Ｘと合致する方向に輝度が変化する２次元画像を撮像する。より具体的には、搬送部４は、光源２、平行光レンズ７、遮光体６、及び撮像部３に対して検査対象Ｔを明部と暗部との境界線に交わる搬送方向Ｘに相対的に搬送する。本実施形態では、境界線は搬送方向Ｘに垂直な幅方向Ｙに平行である。なお、撮像部３が２次元画像における搬送方向Ｘと合致する方向に輝度が変化する２次元画像を撮像することが可能であれば、遮光体６を備えなくてもよい。平行光レンズ７は、光源２から検査対象Ｔ及び遮光体６に照射される光の進行方向を平行にする。平行光レンズ７は、例えば、テレセントリック光学系により構成することができる。

画像処理部５に接続された表示装置８は、例えば、ＰＣ（パーソナルコンピュータ）等からなり、画像処理部５により識別された欠陥の種別をＬＣ（Liquid Crystal）表示パネル、プラズマ表示パネル、ＥＬ（ElectroLuminescence）表示パネル等に表示する。なお、画像処理部５が処理された画像を表示する表示装置を有していてもよい。

以下、画像処理部５の詳細について説明する。図３に示すように、画像処理部５は、ライン分割処理部９と欠陥種別識別部１０とを有する。ライン分割処理部９は、２次元画像を搬送方向Ｘに並列する複数のラインに分割し、撮像部３により離散時間ごとに撮像された２次元画像のそれぞれにおける同じ位置のラインを時系列順に並列させたライン分割画像の画像データに処理する。欠陥種別識別部１０は、ライン分割処理部９により処理された２以上のライン分割画像に含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて検査対象Ｔの欠陥の種別を識別する。機械学習の結果を蓄積したデータは、欠陥種別識別部１０を含むＰＣのハードディスク等の記憶装置に記憶され、機械学習の結果に伴い更新される。

なお、本実施形態では、ライン分割画像に含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータとは、欠陥検査システム１の内部の撮像部３で離散時間ごとに撮像された一連の２次元画像が処理されたライン分割画像に含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータの他に、欠陥検査システム１の外部で別途作成されたライン分割画像に含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータも含まれる。つまり、本実施形態では、欠陥検査システム１の内部で機械学習がなされた状態で欠陥の種別が識別される態様の他に、欠陥検査システム１の内部では未だ機械学習がなされていない状態で欠陥検査システム１の外部で別途作成された機械学習の結果を蓄積したデータに基づいて欠陥の種別が識別される態様も含まれる。

欠陥種別識別部１０は、輝度が１０％以上異なる２つのライン分割画像に含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて検査対象Ｔの欠陥の種別を識別する。また、欠陥種別識別部１０は、遮光体６により、２次元画像における明部の位置のラインを時系列順に並列させたライン分割画像と、２次元画像における暗部の位置のラインを時系列順に並列させたライン分割画像とに含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて検査対象Ｔの欠陥の種別を識別する。

以下、本実施形態の欠陥検査方法について説明する。図４に示すように、欠陥検査システム１の光源２から検査対象Ｔに光を照射する照射工程が行われる（Ｓ１）。図６（Ａ）に示すように、照射工程では、光源２と検査対象Ｔとの間に位置し、光源２から検査対象Ｔに照射される光の一部を遮光する欠陥検査システム１の遮光体６により、撮像工程で離散時間ごとに撮像される２次元画像Ｆ（ｔ１）に境界線ｂを境界とした明部ｌと暗部ｄとが形成される。図６（Ａ）に示すように、時刻ｔ＝ｔ１における２次元画像Ｆ（ｔ１）は、光源２からの光が遮光体６により遮光されるため、搬送方向Ｘの下流側に至るにつれて２次元画像Ｆ（ｔ１）内の明度が高くなる。また、２次元画像Ｆ（ｔ１）には、検査対象Ｔのフィルム上の欠陥Ｄが写っている。時刻ｔ＝ｔ２，ｔ３，…，ｔｍにおける２次元画像Ｆ（ｔ２），Ｆ（ｔ３），…，Ｆ（ｔｍ）についても同様である（ｍは任意の自然数。）。

図４に示すように、欠陥検査システム１の撮像部３により、照射工程により光源２から検査対象Ｔに照射されて検査対象Ｔを透過又は反射した光による２次元画像Ｆ（ｔ１）を離散時間ごとに撮像する撮像工程が行われる（Ｓ２）。図６（Ａ）に示すように、撮像工程では、遮光体６により光源２から検査対象Ｔに照射される光の一部が遮光されるため、２次元画像Ｆ（ｔ１）における搬送方向Ｘと合致する方向に輝度が変化する２次元画像Ｆ（ｔ１）が撮像される。時刻ｔ＝ｔ２，ｔ３…ｔｍにおける２次元画像Ｆ（ｔ２），Ｆ（ｔ３），…，Ｆ（ｔｍ）についても同様である。

また、図４に示すように、欠陥検査システム１の搬送部４により、光源２及び撮像部３に対して検査対象Ｔを搬送方向Ｘに相対的に搬送する搬送工程が行われる（Ｓ３）。図６（Ａ）に示すように、搬送工程では、光源２、平行光レンズ７、遮光体６及び撮像部３に対して検査対象Ｔを明部ｌと暗部ｄとの境界線ｂに交わる搬送方向Ｘに相対的に搬送する。本実施形態では、境界線ｂは搬送方向Ｘに直交する幅方向Ｙに平行であるが、境界線ｂと搬送方向Ｘとのなす角度は９０°以外でもよい。また、境界線ｂは必ずしも厳密なものではなく、境界線ｂとは、明部ｌが含む２次元画像Ｆ（ｔ１）の最も輝度が大きい部位と暗部ｄが含む２次元画像Ｆの最も輝度が小さい部位との中間の線を意味する。

図４に示すように、欠陥検査システム１の画像処理部５により、撮像工程で撮像された２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）の画像データを処理する画像処理工程が行われる（Ｓ４）。以下、画像処理工程の詳細について説明する。図５に示すように、画像処理工程では、欠陥検査システム１の画像処理部５のライン分割処理部９により、ライン分割処理工程が行われる（Ｓ４１）。図６（Ｂ）に示すように、ライン分割処理工程では、ライン分割処理部９は、２次元画像Ｆ（ｔ１）を搬送方向Ｘに並列する複数の１番目のラインＬ１（ｔ１）〜ｊ番目のラインＬｊ（ｔ１）〜ｋ番目のラインＬｋ（ｔ１）に分割する（ｊ及びｋは任意の自然数、ｊ≦ｋ）。ラインＬ１（ｔ１）〜ラインＬｋ（ｔ１）の搬送方向Ｘの幅は、時刻ｔ１，時刻ｔ２，…，時刻ｔｊ，…，時刻ｔｍのそれぞれの１フレーム間隔において、検査対象Ｔが搬送方向Ｘに搬送される距離と同一である。時刻ｔ＝ｔ２，ｔ３…ｔｍにおける２次元画像Ｆ（ｔ２），Ｆ（ｔ３），…，Ｆ（ｔｍ）についても同様の処理が行われる。

ライン分割処理部９は、２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）を撮像工程で離散時間ごとに撮像された２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）のそれぞれにおける同じ位置のラインＬ１（ｔ１），Ｌ１（ｔ２）等を時系列順に並列させたライン分割画像の画像データに処理する。１番目のライン分割画像を例に挙げて説明する。図６（Ｃ）に示すように、ライン分割処理部９は、離散時間ごとに撮像された２次元画像Ｆ（ｔ１），Ｆ（ｔ２），Ｆ（ｔ３），…のそれぞれにおける搬送方向Ｘの最も下流側の１番目のラインＬ１（ｔ１），Ｌ１（ｔ２），Ｌ１（ｔ３），…を時系列順（搬送方向Ｘ）に並列させる。図６（Ｄ）に示すように、ライン分割処理部９は、２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）のそれぞれにおける１番目のラインＬ１（ｔ１）〜Ｌ１（ｔｍ）を時系列順に並列させて、１番目のライン分割画像ＤＬ１（ｔ１）を生成する。

図６（Ｅ）、図６（Ｆ）及び図６（Ｇ）に示すように、ライン分割処理部９は、２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）のそれぞれにおける１番目のラインＬ１（ｔ１）〜Ｌ１（ｔｍ），…，ｊ番目のラインＬｊ（ｔ１）〜Ｌｊ（ｔｍ），…，ｋ番目のラインＬｋ（ｔ１）〜Ｌｋ（ｔｍ）にも同様の処理を行い、１番目のライン分割画像ＤＬ１（ｔ１），…，ｊ番目のライン分割画像ＤＬＪ（ｔ１），…，ｋ番目のライン分割画像ＤＬｋ（ｔ１）を生成する。図６（Ｅ）に示すように、ライン分割画像ＤＬ１（ｔ１）は、２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）における明部ｌの位置のラインＬ１（ｔ１）〜Ｌ１（ｔｍ）を時系列順に並列させたものである。また、図６（Ｆ）に示すように、ライン分割画像ＤＬｊ（ｔ１）は、２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）における境界線ｂの付近の位置のラインＬｊ（ｔ１）〜Ｌ１（ｔｍ）を時系列順に並列させたものである。また、図６（Ｇ）に示すように、また、ライン分割画像ＤＬｋ（ｔ１）は、２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）における暗部ｄの位置のラインＬｋ（ｔ１）〜Ｌｋ（ｔｍ）を時系列順に並列させたものである。

図６（Ｅ）〜図６（Ｇ）に示すように、ライン分割画像ＤＬ１（ｔ１）〜ＤＬｋ（ｔ１）は、離散時間ごとに撮像された２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）のそれぞれにおける同じ位置のラインＬ１（ｔ１）〜Ｌｋ（ｔ１）のそれぞれを時系列順に並列させたものであるから、同じ時刻の範囲のライン分割画像ＤＬ１（ｔ１）〜ＤＬｋ（ｔ１）は検査対象Ｔの異なる位置を示しており、ライン分割画像ＤＬ１（ｔ１）〜ＤＬｋ（ｔ１）の中の欠陥Ｄの位置もそれぞれずれている。そこで、本実施形態では、それぞれ異なる時刻の範囲で撮像された２次元画像のそれぞれにおける同じ位置のラインを時系列順に並列されたライン分割画像を作成することにより、ライン分割画像のそれぞれが検査対象Ｔの同じ位置を示すように位置合わせを行う。

図７（Ａ）に示すように、撮像工程で２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）が離散時間ごとに撮像される。検査対象Ｔは搬送方向Ｘに搬送されていくため、２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）の中の欠陥Ｄの位置はそれぞれずれている。図７（Ｂ）に示すように、上述したようにして、ライン分割画像ＤＬ１（ｔ１）〜ＤＬｊ（ｔ１）〜ＤＬｋ（ｔ１）が生成される。同じ時刻の範囲のライン分割画像ＤＬ１（ｔ１）〜ＤＬｋ（ｔ１）は検査対象Ｔの異なる位置を示しているため、ライン分割画像ＤＬ１（ｔ１）〜ＤＬｋ（ｔ１）の中の欠陥Ｄの位置もそれぞれずれている。

搬送方向Ｘの下流側から１番目のラインＬ１（ｔ１）〜Ｌ１（ｔｍ）に対して、例えば、同じ時刻の範囲の搬送方向Ｘの下流側からｊ番目のラインＬｊ（ｔ１）〜Ｌｊ（ｔｍ）は、（ｊ−１）分のフレーム間隔に検査対象Ｔが搬送される距離だけ検査対象Ｔの搬送方向Ｘの上流側の位置を示している。したがって、図７（Ｃ）に示すように、１番目のラインＬ１（ｔｍ）〜Ｌ１（ｔ（ｍ＋（ｍ−１）））のライン分割画像ＤＬ１（ｔｍ）に対して、例えば、ｊ番目のラインのライン分割画像については、時刻ｔ１〜時刻ｔｍの範囲に対して（ｊ−１）分のフレーム間隔の時間だけ遡った時刻ｔ（ｍ−（ｊ−１））〜時刻ｔ（ｍ＋（ｍ−ｊ））の範囲のライン分割画像ＤＬｊ（ｔ（ｍ−（ｊ−１）））が検査対象Ｔの同じ位置を示すことになる。

同様に、１番目のラインＬ１（ｔｍ）〜Ｌ１（ｔ（ｍ＋（ｍ−１）））のライン分割画像ＤＬ１（ｔｍ）に対して、例えば、ｋ番目のラインのライン分割画像については、時刻ｔ１〜時刻ｔｍの範囲に対して（ｋ−１）分のフレーム間隔の時間だけ遡った時刻ｔ（ｍ−（ｋ−１））〜時刻ｔ（ｍ＋（ｍ−ｋ））の範囲のライン分割画像ＤＬｋ（ｔ（ｍ−（ｋ−１）））が検査対象Ｔの同じ位置を示すことになる。

あるいは、１番目のラインＬ１（ｔ１）〜Ｌ１（ｔ（１＋（ｍ−１）））のライン分割画像ＤＬ１（ｔ１）に対して、例えば、ｊ番目のラインのライン分割画像については、時刻ｔ（１−（ｊ−１））〜時刻ｔ（１＋（ｍ−ｊ））の範囲のライン分割画像ＤＬｊ（ｔ（１−（ｊ−１）））が検査対象Ｔの同じ位置を示す。また、１番目のラインＬ１（ｔ１）〜Ｌ１（ｔ（１＋（ｍ−１）））のライン分割画像ＤＬ１（ｔ１）に対して、例えば、ｋ番目のラインのライン分割画像については、時刻ｔ（１−（ｋ−１））〜時刻ｔ（１＋（ｍ−ｋ））の範囲のライン分割画像ＤＬｋ（ｔ（１−（ｋ−１）））が検査対象Ｔの同じ位置を示す。このように時刻の範囲をずらすことにより、ライン分割画像のそれぞれが検査対象Ｔの同じ位置を示すように位置合わせを行うことができる。

なお、位置ずれの量が既知の場合や、ライン分割画像のサイズが欠陥に対して十分大きな場合は必ずライン分割画像内に欠陥が収まるため、位置合わせをしなくても欠陥が含まれるライン分割画像を機械学習のために使用することが可能である。したがって、このような場合には、位置合わせは行われなくともよい。

図５に示すように、欠陥検査システム１の画像処理部５の欠陥種別識別部１０により、欠陥種別識別工程が行われる（Ｓ４２）。欠陥種別識別工程では、欠陥種別識別部１０は、ライン分割処理工程で処理された２以上のライン分割画像ＤＬ１（ｔ１），…，ＤＬｊ（ｔ（１−（ｊ−１））），…，ＤＬｋ（ｔ（１−（ｋ−１）））に含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて検査対象Ｔの欠陥Ｄの種別を識別する。

欠陥種別識別工程では、欠陥種別識別部１０は、輝度が１０％以上異なる２つのライン分割画像ＤＬ１（ｔ１），ＤＬｋ（ｔ１）に含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて検査対象Ｔの欠陥Ｄの種別を識別する。より具体的には、欠陥種別識別工程では、欠陥種別識別部１０は、２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）における明部ｌの位置のラインＬ１（ｔ１）〜Ｌ１（ｔｋ）を時系列順に並列させたライン分割画像ＤＬ１（ｔ１）と、２次元画像Ｆ（ｔ（１−（ｋ−１）））〜Ｆ（ｔ（１＋（ｍ−ｋ）））における暗部ｄの位置のラインＬｋ（ｔ（１−（ｋ−１）））〜Ｌｋ（ｔ（１＋（ｍ−ｋ）））を時系列順に並列させたライン分割画像ＤＬｋ（ｔ（１−（ｋ−１）））とに含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて検査対象Ｔの欠陥Ｄの種別を識別する。機械学習は、例えば、畳み込みニューラルネットワークが行われる。なお、機械学習により欠陥の種別を識別可能であれば、畳み込みニューラルネットワーク以外のニューラルネットワークやその他の手法を用いることも可能である。

図８に示すように、畳み込みニューラルネットワーク１００は、入力層１１０、隠れ層１２０及び出力層１３０を備えている。入力層１１０には、欠陥検査システム１の画像処理部５により、ライン分割処理工程で処理されたライン分割画像ＤＬ１（ｔ１）〜ＤＬｋ（ｔ（１−（ｋ−１）））のうち２以上のライン分割画像が入力される。隠れ層１２０は、重みフィルタによる画像処理が行われる畳み込み層１２１，１２３と、畳み込み層１２１，１２３から出力された二次元配列を縦横に小さくして有効な値を残す処理を行うプーリング層１２２と、各層の重み係数ｎが更新される全結合層１２４とを有する。出力層１３０では、機械学習による欠陥Ｄの種別の識別結果が出力される。畳み込みニューラルネットワーク１００では、出力された識別結果と正解値との誤差を逆方向Ｒに逆伝播することによって各層の重みが学習される。

例えば、画像処理部５に予め複数のライン分割画像を欠陥Ｄの種別の識別の正解とともに入力して学習させておくことにより、新たに入力されたライン分割画像ＤＬ１（ｔ１）等に含まれる物が特定の欠陥Ｄの種別であるかどうかが順次識別され、識別結果が順次出力される。順次出力された識別結果と正解との誤差は逆方向Ｒに逆伝播され、各層の重み係数ｎが順次更新され、データとして蓄積される。各相の重みが順次更新された状態で、さらに新たに入力されたライン分割画像ＤＬ１（ｔ１）等に含まれる物が特定の欠陥の種別であるかどうかが順次識別され、識別結果が順次出力され、順次出力された識別結果と正解との誤差に基づいて各層の重み係数ｎが順次更新され、データとして蓄積されることが繰り返されることにより、識別結果と正解との誤差が小さくなり、欠陥Ｄの種別の識別の精度が向上する。

本実施形態によれば、検査対象Ｔに光を照射する光源２と、光源２から検査対象Ｔに照射されて検査対象Ｔを透過又は反射した光による２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）等を離散時間ごとに撮像する撮像部３と、光源２及び撮像部３に対して検査対象Ｔを搬送方向Ｘに相対的に搬送する搬送部４と、撮像部３により撮像された２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）等の画像データを処理する画像処理部５とを備えた欠陥検査システム１において、撮像部３により、２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）等における搬送方向Ｘと合致する方向に輝度が変化する２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）等が撮像され、画像処理部５のライン分割処理部９により、２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）等が搬送方向Ｘに並列する複数のラインＬ１（ｔ１）〜Ｌｋ（ｔｍ）等に分割され、撮像部３により離散時間ごとに撮像された２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）等のそれぞれにおける同じ位置のラインＬ１（ｔ１）〜Ｌ１（ｔｍ）等を時系列順に並列させたライン分割画像ＤＬ１（ｔ１）〜ＤＬｋ（ｔ（１−（ｋ−１）））の画像データに処理されるため、同じ検査対象が撮像された画像であってもライン分割画像ＤＬ１（ｔ１）〜ＤＬｋ（ｔ（１−（ｋ−１）））のそれぞれは異なる輝度を有する画像となる。さらに、画像処理部５の欠陥種別識別部１０により、ライン分割処理部９により処理された２以上のそれぞれ異なる輝度を有するライン分割画像ＤＬ１（ｔ１）〜ＤＬｋ（ｔ（１−（ｋ−１）））に含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて検査対象Ｔの欠陥Ｄの種別が識別されるため、同じ検査対象Ｔが撮像された画像であってもその輝度が異なり、見え方が異なる２つ以上のライン分割画像ＤＬ１（ｔ１）〜ＤＬｋ（ｔ（１−（ｋ−１）））等に対する機械学習の結果に基づいて欠陥Ｄの種別が識別されることになるため、欠陥Ｄの識別精度を向上させることができる。

また、本実施形態によれば、欠陥種別識別部１０は、輝度が１０％以上異なる２つのライン分割画像ＤＬ１（ｔ１），ＤＬｋ（ｔ（１−（ｋ−１）））に含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて検査対象Ｔの欠陥Ｄの種別を識別するため、同じ検査対象Ｔが撮像された画像であってもその輝度が１０％以上に大きく異なり、見え方が大きく異なる２つのライン分割画像ＤＬ１（ｔ１），ＤＬｋ（ｔ（１−（ｋ−１）））に対する機械学習の結果に基づいて欠陥Ｄの種別が識別されることになるため、欠陥Ｄの識別精度をより向上させることができる。

また、本実施形態によれば、光源２と検査対象Ｔとの間に位置する遮光体６により、光源２から検査対象Ｔに照射される光の一部が遮光されることにより撮像部３で離散時間ごとに撮像される２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）等に明部ｌと暗部ｄとが形成され、搬送部４により、光源２、遮光体６及び撮像部３に対して検査対象Ｔが明部ｌと暗部ｄとの境界線ｂに交わる搬送方向Ｘに相対的に搬送されるため、離散時間ごとに撮像された一連の２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）等における検査対象Ｔの各部位が明部ｌ及び暗部ｄの両方に入る。また、欠陥種別識別部１０は、２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）等における明部ｌの位置のラインＬ１（ｔ１）〜Ｌ１（ｔｍ）を時系列順に並列させたライン分割画像ＤＬ１（ｔ１）と、２次元画像Ｆ（ｔ（１−（ｋ−１）））〜Ｆ（ｔ（１＋（ｍ−ｋ）））における暗部ｄの位置のラインＬｋ（ｔ（１−（ｋ−１）））〜Ｌｋ（ｔ（１＋（ｍ−ｋ）））を時系列順に並列させたライン分割画像ＤＬｋ（ｔ（１−（ｋ−１）））とに含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて検査対象Ｔの欠陥Ｄの種別を識別するため、明部ｌ及び暗部ｄのそれぞれに属し、見え方が大きく異なる２つのライン分割画像ＤＬ１（ｔ１），ＤＬｋ（ｔ（１−（ｋ−１）））に対する機械学習の結果に基づいて欠陥Ｄの種別が識別されることになり、欠陥Ｄの識別精度をより向上させることができる。

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく様々な形態で実施される。例えば、上記実施形態では、検査対象Ｔがフィルムである場合について中心に説明したが、本発明の欠陥検査システム及び欠陥検査方法は、例えば、生産ラインにおいて、容器に充填された液体の充填量検査に適用することができる。本実施形態の欠陥検査システム１及び欠陥検査方法により、容器内の所望の位置まで液体が到達していないか、あるいは、液体が容器内の所望の位置を超えていないか等の欠陥を検出することができる。

また、本実施形態の欠陥検査システム１及び欠陥検査方法は、生産ラインにおいて、ガラス製品等の割れやキズ等の外観検査に適用することができる。ガラス製品に割れやキズ等の欠陥が有る場合には輝度が他の部位よりも高くなることを利用して欠陥を抽出することができる。

１…欠陥検査システム、２…光源、３…撮像部、４…搬送部、５…画像処理部、６…遮光体、７…平行光レンズ、８…表示装置、９…ライン分割処理部、１０…欠陥種別識別部、１００…畳み込みニューラルネットワーク、１１０…入力層、１２０…隠れ層、１２１，１２３…畳み込み層、１２２…プーリング層、１２４…全結合層、１３０…出力層、Ｔ…検査対象、Ｘ…搬送方向、Ｙ…幅方向、Ｆ（ｔ１）…２次元画像、ｌ…明部、ｄ…暗部、ｂ…境界線、Ｄ…欠陥、ＤＬ１（ｔ１），ＤＬｊ（ｔ１），ＤＬｋ（ｔ１）…ライン分割画像、Ｌ１（ｔ１），Ｌｊ（ｔ１），Ｌｋ（ｔ１）…ライン、ｎ…重み係数、Ｒ…逆方向。

Claims (6)

1. 検査対象に光を照射する光源と、
   前記光源から前記検査対象に照射されて前記検査対象を透過又は反射した前記光による２次元画像を離散時間ごとに撮像する撮像部と、
   前記光源及び前記撮像部に対して前記検査対象を搬送方向に相対的に搬送する搬送部と、
   前記撮像部により撮像された前記２次元画像の画像データを処理する画像処理部と、
   を備え、
   前記撮像部は、
   前記２次元画像における前記搬送方向と合致する方向に輝度が変化する前記２次元画像を撮像し、
   前記画像処理部は、
   前記２次元画像を前記搬送方向に並列する複数のラインに分割し、前記撮像部により前記離散時間ごとに撮像された前記２次元画像のそれぞれにおける同じ位置の前記ラインを時系列順に並列させたライン分割画像の前記画像データに処理するライン分割処理部と、
   前記ライン分割処理部により処理された２以上の前記ライン分割画像に含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて前記検査対象の欠陥の種別を識別する欠陥種別識別部と、
   を有する、欠陥検査システム。
2. 前記欠陥種別識別部は、輝度が１０％以上異なる２つの前記ライン分割画像に含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて前記検査対象の欠陥の種別を識別する、請求項１に記載の欠陥検査システム。
3. 前記光源と前記検査対象との間に位置し、前記光源から前記検査対象に照射される前記光の一部を遮光することにより、前記撮像部で離散時間ごとに撮像される前記２次元画像に明部と暗部とを形成する遮光体をさらに備え、
   前記搬送部は、
   前記光源、前記遮光体及び前記撮像部に対して前記検査対象を前記明部と前記暗部との境界線に交わる前記搬送方向に相対的に搬送し、
   前記欠陥種別識別部は、前記２次元画像における前記明部の位置の前記ラインを時系列順に並列させたライン分割画像と、前記２次元画像における前記暗部の位置の前記ラインを時系列順に並列させたライン分割画像とに含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて前記検査対象の欠陥の種別を識別する、請求項１又は２に記載の欠陥検査システム。
4. 欠陥検査システムの光源から検査対象に光を照射する照射工程と、
   前記欠陥検査システムの撮像部により、前記照射工程により前記光源から前記検査対象に照射されて前記検査対象を透過又は反射した前記光による２次元画像を離散時間ごとに撮像する撮像工程と、
   前記欠陥検査システムの搬送部により、前記光源及び前記撮像部に対して前記検査対象を搬送方向に相対的に搬送する搬送工程と、
   前記欠陥検査システムの画像処理部により、前記撮像工程で撮像された前記２次元画像の画像データを処理する画像処理工程と、
   を備え、
   前記撮像工程では、
   前記２次元画像における前記搬送方向と合致する方向に輝度が変化する前記２次元画像を撮像し、
   前記画像処理工程では、
   前記２次元画像を前記搬送方向に並列する複数のラインに分割し、前記撮像工程で前記離散時間ごとに撮像された前記２次元画像のそれぞれにおける同じ位置の前記ラインを時系列順に並列させたライン分割画像の前記画像データに処理するライン分割処理工程と、
   前記ライン分割処理工程で処理された２以上の前記ライン分割画像に含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて前記検査対象の欠陥の種別を識別する欠陥種別識別工程と、
   を有する、欠陥検査方法。
5. 前記欠陥種別識別工程では、輝度が１０％以上異なる２つの前記ライン分割画像に含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて前記検査対象の欠陥の種別を識別する、請求項４に記載の欠陥検査方法。
6. 前記照射工程では、
   光源と検査対象との間に位置し、前記光源から前記検査対象に照射される光の一部を遮光する遮光体により、前記撮像工程で離散時間ごとに撮像される前記２次元画像に明部と暗部とを形成し、
   前記搬送工程では、
   前記光源、前記遮光体及び前記撮像部に対して前記検査対象を前記明部と前記暗部との境界線に交わる前記搬送方向に相対的に搬送し、
   前記欠陥種別識別工程では、
   前記２次元画像における前記明部の位置の前記ラインを時系列順に並列させたライン分割画像と、前記２次元画像における前記暗部の位置の前記ラインを時系列順に並列させたライン分割画像とに含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて前記検査対象の欠陥の種別を識別する、請求項４又は５に記載の欠陥検査方法。