JP2013545979A - ウェブベース材料における不均一性の高速処理と検出 - Google Patents

Abstract

不均一性欠陥の存在を検出し、各種の不均一性欠陥の深刻度を示す出力を提供するためのコンピュータ検査システムについて説明する。この検査システムのスループットを増加させる技法について説明する。ほぼ均一であると予測される所定量の材料の検査に必要な平均時間を大幅に削減するアルゴリズム及びハードウェアのアプローチについて説明する。本明細書において説明する技法は、基準特徴セットで開始し、特徴が、各種の不均一性欠陥の深刻度を計算するのに十分になるまで、必要に応じてのみ追加の特徴計算をトリガーすることによって計算する画像特徴の動的選択を含む。抽出される特徴の数及び特徴の抽出順はリアルタイムで動的に判定され、特徴抽出に伴うコストを削減する。

Description

（関連出願の相互参照）
本出願は、米国特許仮出願第６１／４１３，２５０号（２０１０年１１月１２日出願）の利益を請求し、この開示内容全体は本明細書に参照により組み込まれる。

（発明の分野）
本発明は、移動するウェブを検査するためのコンピュータシステムなど、自動検査システムに関する。

移動ウェブ材料の解析に関するコンピュータ検査システムは、近代の製造作業に重要であることが判明している。生産ラインの目標は、完全に均一であり、ばらつきのない材料を製造することである。しかし、不均一性は、ウェブベース材料を製造する際に一般的な問題である。これは、様々なプロセス中の変動要因又は処方エラーが原因で生じ得る。したがって、光学検査センサー（例えば、カメラ）によって捕獲されたデジタル画像に基づいて、製造された製品の品質を自動的に分類できる撮像ベースの検査システムを導入することがますます一般的になっている。最も単純な場合において、一部の検査システムは、捕獲された各デジタル画像（すなわち、「サンプル」）に、サンプル又はその一部が許容可能か、許容不可能かを示す等級を割り当てようとするアルゴリズム（「分類子」と呼ばれることが多い）を適用する。

これらの検査システムは、各欠陥が製造された材料の単一領域に局在する「点」欠陥を識別しようとすることが多い。しかし、広い領域にわたってウェブ材料が不均一なばらつきを示す「不均一性」欠陥、つまり「不均一性」と呼ばれる他の種類の欠陥が存在し得る。このような不均一性の例としては、まだら、びびり、バンディング、及び縞が挙げられる。これらのような不均一性タイプの欠陥は、本質的に分散しており、局部的ではない。その結果、このような欠陥をコンピュータ検査システムで検出し、数値化することは、局部的な点欠陥よりも困難であり得る。

製造された材料の不均一性を検出しようとする場合、検査システムは、通常、サンプル画像の収集及び処理を行って、特定の不均一性を示す特徴を抽出する。検査システムは、これらの特徴に基づいて１つ以上の分類子を適用して、不均一性の深刻度を評価する。特徴抽出は、コンピュータ集約型であり、検査プロセスの制限要因であってよい。例えば、この工程では、フィルタリング処理、形態学的処理、時間的処理、スペクトラル処理、又は統計処理を含んでよいルーチンを通して、数百万画素を含む高解像度画像をおそらく５０以下の然るべき数字（又は特徴）に減らす。次に、得られた数は、対象製品の品質評価の基準を形成する。数百万の画素値を数十の有益な数字にまとめるためには相当の時間を要し得るので、現代のコンピュータであっても高速の生産速度に対してリアルタイムでは実行できない。１つの可能な手段としては、より高額なコンピュータを更に多く購入することが考えられるが、検査システムのコストを法外に高額にし、データ分散及び結果集約という実施上の更なる問題をもたらす。

一般に、本開示は、不均一性欠陥の存在を検出し、各欠陥の深刻度を示す出力を提供するためのコンピュータ検査システムについて説明する。ウェブ形態で製造された材料で特定パターンを検出し、分類するように設計された検査システムのスループットを増加させる技法について説明する。ほぼ均一であると予測される所定量の材料の検査に必要な平均時間を大幅に削減するアルゴリズム及びハードウェアのアプローチについて説明する。したがって、これらの技法は、著しい生産性の向上をもたらし得る。本明細書に記載のアルゴリズム技法には、基準特徴セットで開始し、必要に応じてのみ追加の特徴計算をトリガーして、計算する画像特徴を動的（すなわち、オンライン）に判定することが含まれる。

一実施形態では、ウェブ材料の製造時にウェブ材料をリアルタイムで検査し、不均一性欠陥の深刻度を計算するためのオンラインコンピュータ検査システムについて説明する。この検査システムは、ウェブ材料のサンプル画像から抽出する特徴をリアルタイムで選択するための動的トリガーの連鎖を定義するモデルを記憶するメモリを含む。コンピュータは、ソフトウェアを実行して、現在製造中の製造されたウェブ材料から捕獲されたサンプル画像を処理して、第１の特徴セットを抽出する。ソフトウェアはモデルを適用して、抽出された特徴がウェブ材料の不均一性欠陥の深刻度を計算するのに十分になるまで、サンプル画像から抽出する追加の特徴セットの選択を動的にトリガーする。

別の実施形態では、ウェブ材料の製造時にウェブ材料をリアルタイムで検査し、不均一性欠陥の深刻度を計算するための方法について説明する。この方法は、製造中のウェブ材料から捕獲された画像をオンラインコンピュータ検査システムで受領する工程と、検査システムで画像を処理して、第１の特徴セットを抽出する工程と、検査システムで第１の特徴セットを処理して、ウェブ材料の不均一性欠陥の深刻度レベルを計算できるかどうかを判定する工程と、を含む。この方法は、第１の特徴セットから深刻度レベルを計算できないと判定する場合、モデルを適用して、画像から抽出する第２の特徴セットを動的に選択する工程と、検査システムで画像を処理して、第２の特徴セットを抽出する工程と、検査システムで第２の特徴セットを処理して、ウェブ材料の不均一性欠陥の深刻度レベルを計算できるかどうかを判定する工程と、を更に含む。この方法は、第１の特徴セット及び第２の特徴セットから深刻度レベルを計算できると判定する場合、検査システムでウェブ材料の不均一性欠陥の深刻度レベルを計算する工程を更に含む。

本明細書に記載の技法は、ウェブ上で製造される任意の材料を含む多数の生産ラインにおいて、適用性及び有用性を有する。この技法は、均一性が重視される様々な製品に対する幅広い適用性を有する。幾つかの例としては、光学フィルム、窓用フィルム、及び研磨材が挙げられる。

本発明の１つ以上の実施形態の詳細を添付図面及び以下の説明に示す。本発明の他の特徴、目的、及び利点は、説明及び図面、並びに特許請求の範囲から明らかとなるであろう。

本明細書に記載の技法を適用し得る、ウェブ製造及び加工システムの例を示すブロック図。 例示的なウェブ製造工場における、検査システムの例示的な実施形態を示す構成図。 本明細書に記載のシステムの操作例を示すフローチャート。 特徴抽出モジュールが、連続的で、より大きい特徴セットからの結果を使用してリアルタイムで「最適な特徴セット」を構築して、追加の特徴計算をトリガーする、動的システムアーキテクチャの例を示すフローチャート。 ＲＯＣ空間における３段階シーケンスの性能を示す。 基準のランダム法と欲張り最適法との違いを示すヒストグラム。 シミュレーション研究に基づいた性能結果を示すプロット。 シミュレーション研究に基づいた性能結果を示すプロット。

図１は、本明細書に記載の技法を適用し得る、システム２の例を示すブロック図である。ウェブ製造工場６Ａ〜６Ｎ（ウェブ製造工場６）は、ウェブロール７の形態でウェブ材料を製造及び発送する製造現場を意味する。ウェブ製造工場６は、地理的に分散していてもよく、ウェブ製造工場の各々は、１つ以上の製造プロセスラインを有してもよい。一般に、ウェブロール７は、製造工場６のいずれかで製造され、追加処理のためにウェブ製造工場間で発送されてよい。完成したウェブロール１０は、製品１２Ａ〜１２Ｎ（製品１２）に加工するために加工現場８Ａ〜８Ｎ（加工現場８）に発送される。図１に示すように、加工制御システム４、ウェブ製造工場６Ａ〜６Ｍ（ウェブ製造工場６）、及び加工現場８Ａ〜８Ｎ（加工現場８）は、ウェブ材料の製造及び製品１２への加工に関する情報（例えば、欠陥情報）を交換するために、コンピュータネットワーク９で相互に接続されている。

一般に、ウェブロール７、１０は、既製のウェブ材料を含んでもよく、そのウェブ材料は、ある方向には一定の寸法を、またその直交方向には所定の又は不定の長さを有する任意のシート状材料であってよい。ウェブ材料の例には、金属、紙、織布、不織布、ガラス、ポリマーフィルム、フレキシブル回路又はこれらの組み合わせが含まれるが、これらに限られない。金属には、鋼又はアルミニウムなどの材料を挙げることができる。織布には一般的に様々な織物が挙げられる。不織布には、紙、濾材又は絶縁材料などが挙げられる。フィルムには、例えば積層体及びコーティングされたフィルムを含む無色（clear）かつ不透明なポリマーフィルムが挙げられる。

加工現場８は、ウェブ製造工場６からウェブロール１０を受領し、顧客１４Ａ〜１４Ｎ（顧客１４）に販売する製品１２に組み込むために、完成したウェブロール１０を個々のシートに加工してよい。加工システムは、製品に関連付けられた等級レベルなど様々な基準に基づいて、所定の完成したウェブロール１０をどの製品１４に加工するかを判定してよい。つまり、どのシートが製品１２のうちのどれに組み込まれるべきかという選択プロセスは、特定の等級レベルを各シートが満たしているかに基づき得る。本願に記載する技法に従えば、加工現場８はまた、完成したウェブロール１０の異常、すなわち潜在的な欠陥に関するデータを受領してもよい。最終的に、加工現場８は、完成したウェブロール１０を個々のシートに変換してもよく、それらのシートは、消費者１４Ａ〜１４Ｎ（消費者１４）への販売のために、製品１２に組み込まれてもよい。

製品１２に組み込むための個々のシートに加工する準備のできた完成したウェブロール１０を生産するために、未完成のウェブロール７は、１つのウェブ製造工場、例えばウェブ製造工場６Ａにて、あるいは複数の製造工場にて、多数のプロセスラインによるプロセスを受けることが必要となり得る。各プロセスに関して、ウェブロールは典型的に、ウェブがそこから製造プロセスの中へ送られるソースロールとして使用される。各プロセスの後、ウェブは通常ウェブロール７に再度収集されて、別の製品ラインに移動されるか又は別の製造工場に出荷され、次にそこで広げられ、処理され、かつ再度ロールに収集される。最終的に完成したウェブロール１０が製造されるまでこのプロセスが繰り返される。多数の応用例で、各ウェブロール７のウェブ材料は、１つ以上のウェブ製造工場６の１つ以上の生産ラインで多数のコーティングを施されることがある。このコーティングは一般に、最初の製造プロセスの場合にはベースウェブ材料の露出表面に、後の製造プロセスの場合には既に施されたコーティングの露出表面に施される。コーティングの例には、接着剤、ハードコート、低接着性裏面コーティング、金属化コーティング、中性密度コーティング、電気的に導電性若しくは非導電性コーティング、又はこれらの組み合わせが挙げられる。

ウェブロール７の所与の１つの各製造プロセスの間、１つ以上の検査システムがウェブの異常情報を獲得する。例えば、図２に示されているように、生産ラインのための検査システムは、ウェブが処理されるとき、例えば、１つ以上のコーティングがウェブに塗布されるとき、連続して移動するウェブに近接して配置される１つ以上の画像取得装置を含んでもよい。画像取得装置は、連続して移動するウェブの連続的な部分を走査してデジタル画像を取得する。検査システムは、１つ以上のアルゴリズムを使用して画像を解析し、ウェブが加工される最終製品１２に応じて、実際の「欠陥」を示し得るいわゆる「局部的」異常情報をもたらす。検査システムは、例えば、各欠陥が単一領域に局在する「点」欠陥に関する異常情報をもたらしてよい。別の例としては、検査システムは、ウェブ材料が点欠陥の領域よりも大きい領域に広がる不均一なばらつきを示す「不均一」欠陥、つまり「不均一性」に関する異常情報をもたらしてよい。このような不均一性の例としては、まだら、びびり、バンディング、及び縞が挙げられる。

ウェブ製造工場６内の検査システムは、ウェブ製造時にリアルタイムで不均一性欠陥の存在を検出し、各欠陥の深刻度を示す出力を提供するためのアルゴリズムを適用してよい。例えば、コンピュータ検査システムは、不均一性の存在及びそれらの深刻度に関してウェブ製造工場６内のプロセスエンジニアなどユーザーにリアルタイムのフィードバックを提供してよい。これによりユーザーは、プロセス条件を調整して、生産を大幅に遅延させたり、大量の使用不能材料を製造したりせずに問題を修正することにより、不均一性の出現に迅速に対応できる。コンピュータ検査システムは、最終的に不均一性（例えば、「良」又は「不良」）の等級ラベルを割り当てるか、連続的尺度又はより正確な標本尺度（０〜１０の尺度で１．６３など）に基づいて所定サンプルの不均一性深刻度の測定値を算出することにより深刻度レベルを計算するアルゴリズムを適用してよい。

このプロセス中、検査システムは、本明細書に記載の技法を適用して、計算する画像特徴を動的に（すなわち、ウェブ材料の製造中にリアルタイムで）判定してよい。一実施例では、検査システムは、基準特徴セットの抽出から開始し、必要に応じてのみ追加の特徴計算をトリガーする。これらの技法は、取得された各サンプル画像について、連続的で、より大きい特徴セットの結果を使用してリアルタイムで「最適な特徴セット」を構築して、追加の特徴計算をトリガーする。検査システムは、基準特徴セットから開始し、続いて基準特徴セットの値に基づいて、計算する追加の特徴（存在する場合）を決定する。同様に、これらの追加の特徴セットは解析され、必要な追加の特徴が判定される。特徴抽出プロセスの各工程における決定は、本明細書において潜在的トリガーイベントと称される。一実施形態では、検査システムは、制御されたマルコフ連鎖モデル下での分類精度の期待利得を最適化するために、各潜在的トリガーイベントにおいて追加の特徴計算をトリガーするかどうかを決定する。

幾つかの実施形態では、検査システムの解析用コンピュータは、トレーニングデータに基づいて開発された連続等級付けモデルを適用して、捕獲されたデジタル画像を処理する。トレーニングデータは、通常、アルゴリズムの「トレーニングフェーズ」中に処理され、連続等級付けモデルは、トレーニングデータにとって最適になるように開発される。つまり、トレーニングフェーズ及び連続等級付けモデルの開発後にトレーニングデータを連続等級付けモデルに適用すると、トレーニングデータが高精度で分類される。トレーニングデータからモデルが開発されると、解析用コンピュータは、潜在的にはリアルタイムで、処理の「分類フェーズ」中に新たに製造された製品から取得されたサンプルにモデルを適用し、「許容可能」若しくは「許容不能」、又は「１」、「３」、若しくは「５」など不連続の等級付けラベルに限定されない、不均一性深刻度の連続図を提供する。コンピュータ検査システムは、サンプルの連続等級付けを提供してよい。例えば、コンピュータ検査システムはアルゴリズムを適用して、０〜１０の尺度で１．６３など連続的尺度でウェブ材料内の不均一性欠陥の深刻度測定値をもたらしてよい。更に、サンプルの連続等級付けを達成するために用いられる連続等級付けモデルは、不均一性の深刻度が粗雑に離散化された尺度でのみ判明しているトレーニング画像セットから開発されてよい。

幾つかの実施形態では、所定の製造されたウェブのデジタル画像の追加解析は、加工制御システム４によってオフラインで実行されてよい。加工制御システム４は、所定のウェブの分類に基づいて、各ウェブロール１０の加工計画を選択し、生成してよい。デジタル画像の解析及び深刻度レベルの測定は、特定の不均一性はある製品（例えば、製品１２Ａ）に欠陥をもたらし得るが、この異常性は、別の製品（例えば、製品１２Ｂ）では欠陥の原因になり得ないという点で用途に特有である。各加工計画は、最終的に消費者１４に販売され得る製品１２を作製するために、対応する完成したウェブロール１０を加工処理する規定の指示を表すものである。例えば、ウェブロール１０は、最終製品、例えば、ノートブックコンピュータのディスプレイに適用するための特定寸法のシートに加工され得る。別の例として、この同じウェブロール１０は、携帯電話のディスプレイに適用するための最終製品に加工されてもよい。加工制御システム４は、異常に適用され得る異なる欠陥検出アルゴリズムに照らして、どの製品がウェブの最大利用率といった特定のパラメーターを最良に達成するかを識別することができる。

図２は、図１の例示的なウェブ製造工場６Ａ内にある、ウェブプロセスライン２１の一部に配置された検査システムの例示的な実施形態を示すブロック図である。この例示的な実施形態において、ウェブ２０の一区間が、２つの支持ロール２２、２４の間に配置されている。画像取得装置２６Ａ〜２６Ｎ（画像取得装置２６）は、連続して移動するウェブ２０にごく近接して配置され、連続して移動するウェブ２０の連続的な部分を走査して画像データを取得する。取得コンピュータ２７が画像取得装置２６から画像データを収集し、その画像データを解析用コンピュータ２８に送信する。

画像取得装置２６は、移動ウェブ２０の連続的な部分を読取ることができ、並びにデジタルデータストリームの形態で出力を提供することができる従来の画像デバイスであってもよい。図２に示されているように、撮像装置２６は、デジタルデータストリームを直接提供するカメラ又は追加のアナログ−デジタルコンバータを有するアナログカメラであってもよい。例えばレーザースキャナなどの他のセンサが、画像収集装置として利用されてもよい。ウェブの連続的な部分は、データが単一のラインの連続によって得られているということを示す。単一のラインは、センサ要素又はピクセルの一列に位置する、連続して移動するウェブの領域を含む。画像を収集するのに好適な装置の例には、ダルサ社（Dalsa）（カナダ国オンタリオ州ワーテルロー（Waterlo））のＰｉｒａｎｈａ Ｍｏｄｅｌｓ、又はアトメル社（Atmel）（カリフォルニア州サンホセ（San Jose））のＭｏｄｅｌ Ａｖｉｉｖａ ＳＣ２ ＣＬなどのラインスキャンカメラが挙げられる。更なる例には、サーフェイス・インスペクション・システムズ社（Ｓｕｒｆａｃｅ検査システムＧｍｂＨ）（ドイツ、ミュンヘン（Munich））からの、アナログ−デジタルコンバータと連結したレーザースキャナが挙げられる。

画像データは、画像の取得を支援する光学アセンブリの利用を通じて、任意に取得することができる。この組立体はカメラの一部であってもよく、又はカメラから分離されているいずれか一方でもよい。光学的組立体は、撮像プロセス中に反射光、透過光又は反射透過光（transflected light）を利用する。反射光は、例えば、表面のスクラッチなどウェブ表面の変形によって生じた欠陥の検出に、しばしば好適である。

いくつかの実施形態において、認識マーク制御器３０が認識マークリーダ２９を制御して、ロール及び位置の情報をウェブ２０から集める。例えば、基準マーク制御器３０は、バーコード又は他のしるしをウェブ２０から読み取るための１つ以上の写真光学センサを有していてもよい。加えて、認識マーク制御器３０は、ウェブ２０及び／又はローラ２２、２４と係合した１つ以上の高精度エンコーダから位置信号を受信してもよい。この位置信号に基づいて、認識マーク制御器３０は、検出された各認識マークに対する位置情報を判定する。基準マーク制御器３０は、検出された異常と関連付けるために、解析用コンピュータ２８にロール及び位置情報を伝える。

解析用コンピュータ２８は、取得用コンピュータ２７からの画像データストリームを処理する。特徴抽出モジュール４３は、本明細書に記載の技法に従って解析用コンピュータ２８上で実行し、ウェブ材料２０の製造中にリアルタイムで画像１枚単位で計算する画像の特徴を動的に判定する。つまり、製造中に取得された各画像に対して、特徴抽出モジュール４３は、連続的で、より大きい特徴セットの結果を使用してリアルタイムで「最適な特徴セット」を構築して、各種の潜在的な不均一性について深刻度レベルを計算できるようになるまで追加の特徴計算をトリガーする。一実施形態では、コンピュータ化された不均一性作図モジュール３９（「作図モジュール３９」）が、トレーニングデータ３５に基づいて開発された連続等級付けモデル３４（「モデル３４」）を使用するアルゴリズムを適用して抽出された特徴を処理して、不均一性欠陥の存在を検出し、各欠陥の深刻度レベルの連続図を提供する。作図モジュール３９の詳細については、米国特許仮出願第６１／３９４，６５５号（Ｒｉｂｎｉｃｋら）、表題「ＣＯＮＴＩＮＵＯＵＳ ＣＨＡＲＴＩＮＧ ＯＦ ＮＯＮ−ＵＮＩＦＯＲＭＩＴＹ ＳＥＶＥＲＩＴＹ ＦＯＲ ＤＥＴＥＣＴＩＮＧ ＶＡＲＩＡＢＩＬＩＴＹ ＩＮ ＷＥＢ−ＢＡＳＥＤ ＭＡＴＥＲＩＡＬＳ」を参照されたい。

トレーニングデータ３５は、通常、１人以上のエキスパート３８によって等級が割り当てられた、大量の代表的なサンプルデジタル画像のセットで構成される。既に自動的に等級付けされたデータもトレーニングに使用できる。デジタル画像は、例えば、ウェブ２０、又はウェブプロセスライン２１で事前に製造された別のウェブから取得されたサンプルを表してよい。トレーニングサーバー３６は、エキスパート３８がサンプルを表す大量のデジタル画像に効率的かつ一貫して等級（すなわち、ラベル）を割り当てるのを支援する、コンピュータ化されたエキスパート等級付けツール３７（「等級付けツール３７」）を提供するソフトウェアを実行するための動作環境を提供してよい。エキスパート等級付けツール３７の例の詳細については、米国特許仮出願第６１／３９４，４２８号（Ｒｉｂｎｉｃｋら）、表題「ＣＯＭＰＵＴＥＲ−ＡＩＤＥＤ ＡＳＳＩＧＮＭＥＮＴ ＯＦ ＲＡＴＩＮＧＳ ＴＯ ＤＩＧＩＴＡＬ ＳＡＭＰＬＥＳ ＯＦ Ａ ＭＡＮＵＦＡＣＴＵＲＥＤ ＷＥＢ ＰＲＯＤＵＣＴ」を参照されたい。

トレーニングデータ３５が確立されると、トレーニングモジュール４１はトレーニングデータを処理して、作図モジュール３９がウェブ材料２０の取得用コンピュータ２７から受領した画像データのリアルタイム解析に引き続き使用するための連続等級付けモデル３４を生成する。このようにして、ウェブ材料２０の領域の新しい画像は、連続等級付けモデル３４に従って分類できる。検出され得る欠陥の例としては、まだら、びびり、バンディング、及び縞などの不均一性、並びに斑点、かき傷、及び油たれなど点欠陥が挙げられる。

解析用コンピュータ２８は、ウェブ２０の情報を識別するロール及び場合によっては各異常の位置情報を含めて、ウェブ２０の異常情報をデータベース３２に記憶してよい。例えば、解析用コンピュータ２８は、基準マーク制御器３０によってもたらされる位置情報を使用して、プロセスラインの座標系内の各異常の空間位置又は画像領域を判定する。すなわち、基準マーク制御器３０からの位置データに基づき、解析用コンピュータ２８は、現在のプロセスラインによって使用されている座標系内の各異常に関するｘ、ｙ及び、場合によってはｚ位置、又は範囲を判定する。例えば、座標系は、ｘ次元が、ウェブ２０を横断する距離を表し、ｙ次元がウェブの長さに沿った距離を示し、ｚ次元がウェブの高さを表すように定義されてもよく、これはコーティング、材料又はウェブに既に適用された他の層の数に基づいてもよい。更に、ｘ、ｙ、ｚ座標系の原点は、プロセスライン内のある物理的な箇所で規定されてもよく、典型的には、ウェブ２０の初期供給点の配置に関連付けられる。データベース３２は、１つ以上のデータベースサーバーを実行するデータストレージファイル又は１つ以上のデータベース管理システム（ＤＢＭＳ）を含む、様々な形態の任意の数で実行されてもよい。データベース管理システムは、例えば、リレーショナル（ＲＤＢＭＳ）、階層的（ＨＤＢＭＳ）、多次元（ＭＤＢＭＳ）、オブジェクト指向（ＯＤＢＭＳ若しくはＯＯＤＢＭＳ）又はオブジェクトリレーショナル（ＯＲＤＢＭＳ）データベース管理システムであってもよい。一例として、データベース３２は、ＳＱＬサーバー（SQL Server）（商標）によってマイクロソフト社（Microsoft Corporation）から提供されているリレーショナルデータベースとして実行される。

処理が終了すると、解析用コンピュータ２８は、データベース３２に収集されたデータを、ネットワーク９を介して加工制御システム４に送信してよい。例えば、解析用コンピュータ２８は、連続等級付けモデル３４に従った、後続のオフラインでの詳細解析のために、ロール情報、並びに異常情報及び各異常に対応する副画像を加工制御システム４に伝えてよい。例えば、この情報は、データベース３２と加工管理システム４との間のデータベース同期によって通信されてもよい。いくつかの実施形態において、製品１２のうちの、各異常によって欠陥が発生し得る製品を、解析用コンピュータ２８ではなく加工管理システム４が判定してもよい。完成したウェブロール１０についてのデータがデータベース３２に収集されると、そのデータは、加工現場８に伝えられる、及び／又は除去可能、つまり水性のマークで直接ウェブの表面上にて、若しくはウェブ上の異常をマークする前若しくはその間にウェブに貼り付けられ得るカバーシート上にて、ウェブロール上の異常をマークするために使用されることができる。

解析用コンピュータ２８及びトレーニングサーバー３６の構成要素は、少なくとも一部分において、１つ以上のハードウェアマイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は任意の他のこれらに準ずる集積若しくは個別論理回路、並びにかかる構成要素の任意の組み合わせを含む、解析用コンピュータ２８の１つ以上のプロセッサによって実行されるソフトウェア命令として実装されてよい。このソフトウェア命令は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読み出しメモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み出しメモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、ハードディスク、ＣＤ−ＲＯＭ、フロッピーディスク、カセット、磁気媒体、光媒体、又は他のコンピュータ読み取り可能な記憶媒体など、コンピュータ読み取り可能な非一時的媒体に記憶されてよい。製造工場６Ａ内への配置を例として示されているが、解析用コンピュータ２８並びにトレーニングサーバー３６は、製造工場外、例えば、中央位置又は加工現場に配置されてよい。例えば、解析用コンピュータ２８及びトレーニングサーバー３６は、加工制御システム４内で動作してよい。別の例では、上述の構成要素は、単一の計算プラットフォームで実行し、同一のソフトウェアシステムに統合されてよい。

図３は、図２の検査システムの概要を提供するフローチャートである。この例では、プロセスは、２つの一般的な処理フェーズ（トレーニングフェーズ４５及びオンライン予測フェーズ４７）を含む。例示のために、検査システムは、連続的尺度、又は０〜１０の尺度で１．６３などのより精度の高い標本尺度に基づいた所定のサンプルの不均一性深刻度の測定値の算出に関して説明される。これらの技法は、上記に限定されることなく、ウェブ材料内の不均一性欠陥の分類又は等級付けの他の形態に適用されてよい。

初めに、トレーニングモジュール４１は、通常、画像セットの形態であり、場合によっては粗雑に離散化された尺度に基づいて深刻度の等級付けが既に判明している、トレーニングデータ３５を入力として受領する（５０）。つまり、トレーニングデータ３５はウェブ２０から取得されたサンプルを表すデジタル画像であってよく、コンピュータ化されたエキスパート等級付けツール３７（「等級付けツール３７」）は、米国特許仮出願第６１／３９４，４２８号に記載の方法で個別の等級５３を各デジタル画像に割り当ててよい。

次に、トレーニングモジュール４１の特徴抽出ソフトウェアモジュールが各画像を処理して、特徴を抽出する（５２）。特徴抽出は、各画像に固有の関連情報のコンパクトな数値表現として、各画像の数値記述子を提供する。トレーニングフェーズ中の特徴抽出はオフラインで実施されるため、特徴抽出ソフトウェアモジュールは、各トレーニング画像について特徴抽出計算一式を実行し得る。特徴は、トレーニングセット内の画像間の関係に関する有用な情報を保存しつつ、同時に無用な画像特徴を除外する任意の方法で抽出され得る。一般的な特徴抽出技法の例としては、フィルターセットを使用して画像を畳み込み積分し、フィルタリングした画像の統計値を計算する方法、又は色若しくは輝度ヒストグラムに基づいて特徴を抽出する方法が挙げられる。場合によっては、画素値を特徴として用いることができる。ただし、この場合、典型的には画像全体を記憶する必要があるため、記述子はコンパクトではない。一般に、得られた特徴は、対応する画像内の関連情報のコンパクト記述子として処理される。

本明細書に記載の技法は、任意の特定の特徴抽出法と共に用いることに限定されるものではなく、他の種類の特徴がより適切である用途に容易に適用されてよい。一般に、画像から抽出された特徴は、特定の種類の不均一性について画像に関する識別情報を含むという点において記述的である。したがって、特徴が抽出されると、各画像に対応する特徴ベクトルがこの画像に含まれる関連情報の大部分を示す。

１つの例示の特徴抽出アルゴリズムは、特に外見に関連するために、画像全域で画素特徴の小規模な共分散行列を計算することである。一旦この小規模な共分散行列（例えば、５×５）が抽出されると、画像を直接処理するのではなく、これらの行列のみに基づいて、画像間の一対比較を効率的に実行できる。例えば、グレースケール画像は、画素座標ｘ及びｙによってＩ（ｘ，ｙ）として指標化された２次元配列として定義される。各画素位置（ｘ，ｙ）、つまり特徴ベクトルは、画素の輝度値並びにその画素における一次導関数及び二次導関数に基づいて以下のように抽出される。

画像導関数（勾配）は、各画素における輝度値間の前進差分又は中心差分を計算するだけで概算できる。より高次の導関数又はフィルタリングされた画像の結果を含む他の特徴は、（式１）のベクトルに組み込むことができる。同様に、全ての導関数を含める必要はない。例えば、所定の方向の導関数が特定の欠陥の情報を提供しない場合、（式１）から削除できる。最終的に、これらの画素特徴の共分散行列が画像全域で以下のように計算される。

式中、Ｎは画像内の画素数であり、

画素特徴の平均値である。これは、後続の処理工程で画像間の一対距離を計算する際に有用であり得る。これらの共分散行列記述子の場合、一対距離は以下のように計算される。

式中、λ_ｉ（Ｃ_Ｉ１；Ｃ_Ｉ２）は、２つの共分散行列のｉ番目の一般化固有値である。詳細については、Ｏ．Ｔｕｚｅｌ，Ｆ．Ｐｏｒｉｋｌｉ，ａｎｄ Ｐ．Ｍｅｅｒ．「Ｒｅｇｉｏｎ Ｃｏｖａｒｉａｎｃｅ：Ａ Ｆａｓｔ Ｄｅｓｃｒｉｐｔｏｒ ｆｏｒ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ」，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２００６を参照されたい。

各トレーニング画像の特徴抽出後、トレーニングモジュール４１は特徴ベクトルを処理してトレーニング画像の連続等級付けを学習し、これらの不均一性の深刻度に基づいて連続等級付けモデル３４を生み出す（５４）。トレーニングフェーズ４５の間、トレーニングモジュール４１は、これらの不均一性の深刻度に基づいてトレーニング画像の連続等級付けを学習する。各レーニング画像について当初判明していることは、対応するサンプルが、特定の種類の不均一性に対して「良」若しくは「不良」、又は「１」、「３」、若しくは「５」であるかどうかを示す、エキスパート等級付けが全てである。これらのエキスパート等級付けは、トレーニング画像のしばしば大まかな順位付けを提供する。すなわち、トレーニング画像は、２若しくは３の別個の区分、又は操作者がかかる情報を提供できる場合はより多くの区分に等級付けされ得る。トレーニングモデル４１は、この大まかな順位付けを入力として使用し、特定の不均一性に関する連続的尺度に沿ってトレーニング画像が最良から最悪までにランク付けされる連続等級付けを学習する。例えば、「良」の画像には「不良」と分類された画像よりも低い深刻度のランク付けを割り当てるなど、良いランク付けは、可能な限りエキスパート等級付けに留意するべきであるが、場合によっては、トレーニングモジュール４１は、別個のラベルによって示唆された大まかなランク付けに反することを完全に防ぐことはできない。これは、トレーニングデータの手動分類が主観的であるために、エキスパート等級付けに誤りが含まれることがあり得るし、実際によく誤りが含まれているからである。

オンライン予測フェーズ４７の間、作図モジュール３９は、学習した連続等級付けモデル３４を生産ラインでリアルタイムに適用する。製造中のウェブのサンプル画像が捕獲されると（５６）、特徴抽出モジュール４３は、画像から特徴を抽出する（５８）。以下で詳述するように、特徴抽出モジュール４３は、ウェブ材料２０の製造中にどの画像の特徴をリアルタイムで画像１枚単位で計算するかを動的に判定する。製造中に取得された各サンプル画像について、特徴抽出モジュール４３は、連続的で、より大きい特徴セットの結果を使用してリアルタイムで「最適な特徴セット」を構築して、追加の特徴計算をトリガーする。特徴抽出モジュール４３は、サンプル画像から抽出する特徴をリアルタイムで選択するための動的トリガー連鎖を定義する、モデル（例えば、マルコフモデル）を記憶してよい。特徴抽出モジュール４３はモデルを適用して、抽出された特徴がウェブ材料の不均一性欠陥の深刻度レベルを計算するのに十分になるまで追加の特徴セットの選択を繰り返し動的にトリガーして、サンプル画像から抽出する（５９、６０）。したがって、任意の所定のサンプル画像について抽出される特徴の数及び特徴の抽出順は、特徴抽出モジュール４３によってリアルタイムで動的に判定される。コンピュータ検査システムは、「良」若しくは「不良」などの深刻度等級付けラベルを割り当てるか、１〜１０の尺度で「１．６３」などの深刻度値を生成することにより深刻度レベルを計算してよい。続いて、不均一性欠陥の計算された深刻度は、ユーザーに対する出力となってよい。例えば、抽出された特徴が、連続等級付けモデル３４に基づいて割り当てられる深刻度等級にとって十分になると、深刻度等級はユーザーに対する出力となり得る。

図４は、特徴抽出モジュール４３が、連続的で、より大きい特徴セットからの結果を使用してリアルタイムで「最適な特徴セット」を構築して、追加の特徴計算をトリガーする、動的システムアーキテクチャの例を示すフローチャートである。ウェブ材料の新しい画像の捕獲後、解析用コンピュータ２８は、エッヂトリミング、平坦化など多少の前処理を実行し、記録又は出力ディスプレイに表示するためにある特定の統計値を計算してよい。

次に、特徴抽出モジュール４３は第１のトリガーポイント６０に達し、フロー中のこの時点までの新しい画像について計算される特徴を解析することによって、追加処理をトリガーするかどうかが決定される。例えば、特徴抽出モジュール４３は、他の特徴抽出計算と比較して、操作者がより単純かつ高速処理と識別している基準特徴セットを適用してよい。トリガーポイント６０において、特徴抽出モジュール４３は、いわゆるブロブレシピを用いてある形態素（ブロブ）解析を適用して、基準特徴セットを用いて点欠陥を検出する。同時に、特徴抽出モジュール４３は、基準特徴セットが、新しい画像内の不均一性のばらつきを信頼度内で評価するのに十分な証拠を提供するかどうかを判定する。例えば、現在の画像の分類を支援するためにより多くの特徴をトリガーするかどうかという判断は、単純な経験則に従って判定され得る。例えば、動的に判定された次善の特徴セットの追加による不均一性欠陥に関する画像の誤分類コストの削減予想額がある閾値を上回る場合には、特徴抽出モジュールは追加の特徴抽出をトリガーするように単純な決定規則を設定してよい。コストの削減予想額、すなわち、要求される信頼度は、以下で詳述する学習されたマルコフモデルを用いて判定できる。そうではない場合、特徴抽出モジュール４３はトリガーポイント６２に進み、引き続きより複雑な処理をトリガーする。つまり、第２のトリガーポイント６２において、特徴抽出モジュール４３は、追加の特徴を抽出するために、第２の特徴抽出セットの計算、例えば画像の平坦化／周辺化（marginalization）を実行する。この第２の特徴抽出セットの計算は、最初に実行された基準特徴セットよりも複雑で、コンピュータ集約型であり得る。特徴抽出モジュール４３は、分類子とも呼ばれる画像レシピ（入力が、フロー中のこの時点までの新しい画像について抽出された特徴の一部又は全てである数学モデル）を用いて不均一性の程度及び種類を再度識別しようとする。

この処理はトリガーポイント６０Ｍの連鎖として繰り返され、各トリガーポイントにおいて、いずれかの種類の不均一性が画像内に存在する程度を判定するために、より複雑な追加画像処理計算が必要かどうかが判定される。各トリガーポイントにおけるこの判定は、フロー中のこの時点までの新しい画像について計算された特徴に基づいて行われる。

場合によっては、ウェブ材料からリアルタイムで捕獲されたサンプル画像は、複数のパターンを含んでいてよい。特徴抽出モジュール４３は、図４に示すプロセスセットに従って、任意の不均一性の最も正確な分類を実現する可能性の高い特徴がトリガーされるように動作する。このプロセスは、コンピュータ検査システムによって撮像された個別のサンプルそれぞれに対して実行されてよい。あるいは、特徴抽出モジュール４３は、Ｘサンプル（Ｘは設定可能なパラメーター）ごとにプロセス構成要素のトリガー又は取り消しの必要性が確認される、ポーリング法の下で動作してよい。

一例において、特徴抽出モジュール４３は、動的トリガーに関する制御されたマルコフモデルに従って動作するように設定される。この実施形態では、特徴抽出モジュール４３は、将来のトリガーイベントに関連する任意のトリガー工程ｔにおいて十分な情報の要約として機能する状態ベクトルｘ（ｔ）を定義する設定データを含む。完全を期すために、トリガーは、単一の画像サンプルを解析するプロセスの任意の時点で起こり、特徴抽出モジュール４３が計算する追加の特徴を選択する機会を有する。

一例において、状態ベクトルは、一群の分類子｛Φ_ｉ（ｔ）｝_ｉ＝１ ^Ｎを使用して定義され、式中、トリガー工程ｔにおいて、Φ_ｉ（ｔ）は、工程ｔにおいてトリガーされる特徴及び前の工程｛Φ_ｉ（ｔ−１）｝_ｉ＝１ ^Ｎにおける分類子のみに依存する。ＲＯＣ最適分類子強調アルゴリズムを用いてかかる一連の分類子群を構成できる方法の例は、国際公開第２０１０／０５９６７９号に記載されている。この例では、バイナリ分類子は、分類されたトレーニングデータから学習される決定規則（すなわち、複数であり得る変数に基づいた閾値）セットで構成される。しかし、一般に、任意の別個の分類子アルゴリズムを用いることができた。他の例としては、サポートベクターマシン（ＳＶＭ）、ロジスティック回帰、又は決定木が挙げられる。

特徴抽出モジュール４３の状態ベクトルの定義に関連して、工程ｔにおける状態ベクトルのｉ番目の要素は、Φ_ｉ（ｔ）によって割り当てられる分類子として見なされる（すなわち、ｘ_ｉ（ｔ）＝Φ_ｉ（ｔ））。一例は、ｘ（ｔ）∈｛０，１｝^Ｎとなるバイナリ分類子であるが、本明細書に記載の方法は、多項式の場合にも拡張できる。

特徴抽出モジュール４３の設定データは、所定のトリガーイベントにおける処置を決定する制御変数、すなわち、次に計算されるように指定される、１つ以上の既に計算されていない特徴の更なるセットが含まれる。考察を単純にするために、単一の特徴ｆが各トリガーイベントで選択されるべきであるとする。しかし、アルゴリズムは、ｆが、それどころか複数の特徴を表すと見なされる場合と同様である。分類子は、現在のサンプル画像に基づいた判断によって状態ベクトルを判定し、ｆ及び前の工程における一群の分類子にのみ依存するため、特徴抽出モジュール４３は、最適に選択されるべき制御値ｆによってパラメーター化された条件付き分布Ｐ_ｆ（ｘ（ｔ＋１）│ｘ（ｔ））を用いて、現在の状態ベクトルに基づいた将来の状態ベクトルの予測を計算する。つまり、Ｐ_ｆは、マルコフ連鎖の遷移関数と呼ばれる。特徴抽出モジュール４３は、制御戦略を実施するために遷移関数を予測する。サンプル画像のトレーニングセット及び関連付けられた一連の分類子群を所与とすると、特徴抽出モジュール４３は、単純なヒストグラム予測

（式中、特徴ｆが選択される場合、

はトレーニングサンプルの数であり、工程ｔにおける状態がｘ（ｔ）であり、工程ｔ＋１における状態がｘ（ｔ＋１）である）を用いるように設定されてよい。ノイズの多い

及び空間のスパースサンプリングなど高次元に付随する問題を回避するために、Ｎを小さくするように選択してよい。あるいは、特徴抽出モジュール４３は、

のパラメーター化又はカーネル平滑化を使用するように設定されてよい。

これらの構成要素を整えた状態で、特徴抽出モジュール４３は、期待損失を最小化するｆを選択する遷移関数推定値を使用して、任意のトリガーイベントにおいて動的にｆを選択する。例えば、値ｃ_ａ│ｂが、ａをｂとして誤分類するコストとして割り当てられると仮定すると（ａ，ｂ∈｛０，１｝）、ｘ_ｉ（ｔ）＝１である場合、分類子ｉを用いることの期待損失は、これが誤りである（すなわち、正確な分類は０である）という仮定の下で決定される。この結果、期待損失はｃ_１│０ｐ_ｔ（０）ＦＡ_ｆ ^ｉとなる。式中、ｐ_ｔ（０）は任意の所定のサンプルが本当に０である事前確率であり、ＦＡ_ｆ ^ｉは、分類子ｉ（現在の制御値ｆによって明示的に指標化されて依存関係が強調される）の誤警告率（ｐ_ｔ（０│１））である。同様に、ｘ_ｉ（ｔ）＝０の場合、分類子ｉを用いることの期待損失は、ｃ_０│１ｐ_ｔ（１）（１−ＣＤ_ｆ ^ｉ）であり、式中、ＣＤ_ｆ ^ｉは分類子ｉの正検出率ｐ_ｔ（１│１）である。損失関数は、以下のように表現できる。

一例として、特徴抽出モジュール４３は、全トリガーイベントに対する総予測コストΣ_ｔｃ_ｔ（ｘ，ｆ）を最小化する制御戦略を使用する。状態のサイズ及び制御空間が大きすぎない場合、この問題は、まさに動的プログラミングによって解決できる。あるいは、ｆ_ｔ ^＊＝ｍｉｎ_ｆｃ_ｔ（ｘ，ｆ）を選択し、各工程で欲張り経験則を適用して妥当な準最適解決法を見付けてよい。一実施形態では、全トリガーイベントの考えられる軌道がオフラインで計算され、特徴抽出モジュール４３が参照テーブルをオンラインで使用するようにプログラミングされる。このような方法では、現在のサンプルの最も顕著な特徴をトリガーするための制御されたマルコフ連鎖モデルを使用して、各サンプル画像に対して計算される特徴の数を低減させることが可能である。したがって、任意のトリガーイベントに応えて選択される特徴は、現在抽出されている特徴及び計算された遷移関数に基づいて動的に判定され得る。

上述の技法は、例えば、単項分類子の損失関数の単純合計を用いて、多項分類子のケースに容易に拡張できる。また、ｃ_ａ│ｂは、異なる欠陥区分に対して異なる基準で測定して相対的重要性を取り込んだり、特徴依存の計算時間に応じて追加因子を含めることができる。更に、上述の技法は、例示のコスト関数に関して説明してきた。他の可能性も存在する。例えば、クラスエントロピーの事後分布にペナルティーを課すコスト関数を検討してもよい。

プロセス開発ラインから収集したフィルム画像を用いて、シミュレーション研究を実施した。サンプルセット一式には、様々な不均一性を示した８７６７枚の画像が含まれる。不均一性は、大きく７つの区分に分類できる。びびり区分及び（大）まだら区分に加えて、小まだら、棒跡／バンディング、染み／水跡、縞、及び対角変形欠陥がある。一連の分類子群は、それぞれ別個の区分に対して設計した。つまり、ヒストグラム及びガボールフィルター処理を用いて抽出したセット２６の統計及びスペクトルの特徴から選択した特徴を閾値化することにより、不均一性の有無を判定する、７つの異なるブール分類子群シーケンス（不均一性区分ごとに１つ）を設計した。分類子は、国際公開第２０１０／０５９６７９号に記載の技法に従って設計し、サンプルセット一式に適合させた。

各分類子群シーケンスは、所定の群シーケンスにおいて連続する各分類子が、高い精度で目的の区分に不均一性をそれぞれ割り当てる傾向にある、連続的で、より複雑な分類子（すなわち、より多くの特徴を用いる）を含むように設計した。トリガーイベントは、そのシーケンスにおける次の最も複雑な分類子セットに単一の選択した分類子群を前進させるものとして定義した。分類子群シーケンスにおける前進を可能にするのは追加の特徴であるため、これは、各トリガーイベントにおける現在のサンプルの追加特徴セットの計算に直接対応する。

図５は、ＲＯＣ空間における３段階シーケンスの性能を示す。図に示すように、各群８０Ａ、８０Ｂ、及び８０Ｃは、８個の分類子で構成した。シーケンスがＲＯＣプロットの左上隅に近づいているという事実は、各工程（赤、次に緑、次に青）における性能の向上を示している。

１回のシミュレーション試験には、８７６７枚のセットから５０枚のランダムな画像サンプルを選択する工程、及び１０種類のトリガーイベントに対してそれぞれ解析する工程が含まれ、各イベントは、単一の欠陥区分の分類子群を前進させるものであった。「一歩先を行く」欲張り最適化及び全ての誤分類エラーに割り当てた単位コストと共に上述の方法を用いて、各サンプルの「最適な」１０種類のトリガーを計算した。各サンプルのランダムトリガー選択（１０種類のトリガーイベントを全てのトリガー候補セットからランダムに選択）とこれを比較した。平均性能を評価するために、１０００回のシミュレーション試験を実施した。図６は、基準のランダム法（Ａ）と欲張り最適法（Ｂ）との違いを示すヒストグラムである。これらのヒストグラムは、１０００回の試験及び各試験あたり５０枚の画像を集計したものである。

図７及び８は、シミュレーション研究に基づいた性能結果を示すプロットである。図７は、試験／画像における平均誤分類コストを図示する。上述のように、全ての誤分類には単位コストを割り当てた。図に示すように、欲張り最適の制御トリガーは、全イベントにわたってランダムトリガーよりも低い平均コストを有し、最も顕著な差異は最初の２〜３のトリガーの後に見られる。図８は、特定のトリガー戦略がコスト低減をもたらした５０枚のサンプルの（試験全体にわたる）平均欠陥数を示す比較プロットである。図に示すように、欲張りトリガーは、５０枚のサンプルの大部分において、平均的により良い性能を発揮した。

特徴トリガー向けの制御されたマルコフ連鎖モデルは、明らかな向上をもたらすことを示す。欲張りアルゴリズムは単純だが、効率的手法と見なされ得るため、更なる向上は、より洗練された制御値の最適化を用いることによって得られてよい。また、本調査で考慮した特徴セットは比較的小規模（２６種類の特徴）である。より大規模な特徴セットから選択することが必要な場合、これらの技法は更により有利になり得る。このような場合、計算する最良の特徴を動的に検出することは、実際の生産ラインにおいて更に多くの利点を有し得る。一実施形態では、テーブル参照によってオンライン計算を実施でき、コストのかかる参照テーブルの構築はオフラインで実行できるため、この技法に伴うオンライン計算は最小限である。

別のトリガーケースは、現在の品質を継続させるように制御するために最近のフレームと画像とを比較し、変化を検出すると、より詳細な解析をトリガーする場合である。例えば、現在のウェブが「良好なウェブ」段階にある場合、しばしば差異など単純な特徴を用いて、新たな不均一性の出現を検出できる。この検出は、より詳細な解析をトリガーし、次に追加の特徴の計算を要求する。

更に、オンライン製品ライン上の材料から取得された最近のサンプル画像は、米国特許仮出願第６１／３９４，６５５号（Ｒｉｂｎｉｃｋら）、表題「ＣＯＮＴＩＮＵＯＵＳ ＣＨＡＲＴＩＮＧ ＯＦ ＮＯＮ−ＵＮＩＦＯＲＭＩＴＹ ＳＥＶＥＲＩＴＹ ＦＯＲ ＤＥＴＥＣＴＩＮＧ ＶＡＲＩＡＢＩＬＩＴＹ ＩＮ ＷＥＢ−ＢＡＳＥＤ ＭＡＴＥＲＩＡＬＳ」に記載の手順に従って作図できる。上記明細書に記載の手順に従って、新しいサンプル画像（フレーム）を作図できる。これは、既に分類されたトレーニングデータ（最近作図されたフレームで拡張可能なセット）を使用して実行できる。作図値において顕著な変化が検出されると、トリガーが実施され、新しいフレーム内の任意の不均一性の区分及び深刻度を検出するために拡張された特徴セットが要求される。

本発明の様々な実施形態について説明してきた。これらの及び他の実施形態は、以下の特許請求の範囲に含まれる。

Claims (19)

1. ウェブ材料の製造時にこのウェブ材料をリアルタイムで検査し、不均一性欠陥の深刻度を計算するための方法であって、
   ウェブ材料製造中に捕獲された画像をオンラインコンピュータ検査システムで受領する工程と、
   前記検査システムで前記画像を処理して、第１の特徴セットを抽出する工程と、
   モデルを用いて前記検査システムで前記第１の特徴セットを処理して、このモデルに従って前記画像から抽出する第２の特徴セットを動的に選択する工程と、
   前記第２の特徴セットが前記画像から抽出される場合に、前記不均一性欠陥に関して前記画像を誤分類するコストの削減予想額を前記モデルに従って判定する工程と、
   前記コストの削減予想額が閾値を超える場合、前記検査システムで前記画像を処理して前記第２の特徴セットを抽出する工程と、
   前記画像から抽出した前記第１の特徴セット及び前記第２の特徴セットを用いて、前記検査システムで前記ウェブ材料の不均一性欠陥の深刻度レベルを計算する工程と、を含む方法。
2. 前記モデルが、抽出する前記第２の特徴セット及び前記画像から抽出する任意の追加の特徴セットの選択を制御するための１つ以上の動的トリガーの連鎖を定義するマルコフモデルを含む、請求項１に記載の方法。
3. 一群の分類子を指定する現在の状態ベクトルを定義する工程と、
   少なくとも１つの前記第１の特徴セットによってパラメーター化された条件付き分布を用いて前記現在の状態ベクトルに基づいて将来の状態ベクトルの予測を計算する工程であって、この条件付き分布が前記マルコフモデルの動的トリガーの遷移関数を示す、工程と、
   前記計算された遷移関数に基づいて特徴セット全体から前記第２の特徴セットを動的に選択する工程と、を更に含む、請求項２に記載の方法。
4. 前記第２の特徴セットを動的に選択する工程が、前記第２の特徴セットを選択して、前記特徴セット全体のいずれかを選択することに伴う総予測コストを最小化することを含む、請求項３に記載の方法。
5. 前記モデルを用いて前記検査システムで前記第２の特徴セットを処理して、前記モデルに従って前記画像から抽出する第３の特徴セットを動的に選択する工程と、
   前記第３の特徴セットが前記画像から抽出される場合に、前記不均一性欠陥に関して前記画像を誤分類するコストの第２の削減予想額を前記モデルに従って判定する工程と、
   前記コストの第２の削減予想額が前記閾値を超える場合、前記検査システムで前記画像を処理して前記第３の特徴セットを抽出する工程と、
   前記画像から抽出した前記第１の特徴セット、前記第２の特徴セット、及び前記第３の特徴セットを用いて、前記検査システムで前記ウェブ材料の不均一性欠陥の深刻度レベルを計算する工程と、を更に含む、請求項１に記載の方法。
6. 前記深刻度レベルを計算する工程が、１つ以上の分類子を適用して、前記不均一性欠陥の等級付けラベルを判定できるかどうかを判定することを含む、請求項１に記載の方法。
7. 前記オンラインコンピュータ検査システムで前記画像を受領する前に、コンピュータでソフトウェアを実行して、各トレーニング画像の画素値からこの各トレーニング画像の数値記述子を計算することにより、複数のトレーニング画像のそれぞれから特徴を抽出する工程であって、このトレーニング画像内に存在する不均一性欠陥の別個の等級付けラベルセットの１つがこの各画像に割り当てられている、工程と、
   前記等級付けソフトウェアで前記トレーニング画像の前記数値記述子を処理して、前記トレーニング画像に割り当てられた前記別個の等級付けラベルに基づいて、前記トレーニング画像の連続等級付けを計算する工程と、を更に含み、
   前記オンラインコンピュータ検査システムで前記深刻度レベルを計算する処理工程が、前記連続等級付けに従って前記不均一性欠陥の前記深刻度レベルを計算することを含む、請求項１に記載の方法。
8. 前記深刻度レベルをユーザーに出力するためのユーザーインターフェースを提供する工程を更に含む、請求項１に記載の方法。
9. ユーザーインターフェースを提供する工程が、時間の経過に従って、前記ウェブ材料の前記不均一性欠陥の深刻度レベルをグラフ化する図を更新することを含む、請求項８に記載の方法。
10. 前記ユーザーから入力を受領する工程と、
    前記入力に応じて、前記製造されたウェブ材料のプロセス制御パラメーターを調節する工程と、を更に含む、請求項８に記載の方法。
11. 前記画像を処理して前記第１の特徴セットを抽出する工程が、前記検査システム内に統合されたパイプライン型グラフィック処理ユニット（ＧＰＵ）のハードウェア構成要素を起動して前記画像を処理し、同時に前記第１の特徴セットを抽出することを含む、請求項１に記載の方法。
12. ウェブ材料の製造時にこのウェブ材料をリアルタイムで検査し、不均一性欠陥の深刻度を計算するためのオンラインコンピュータ検査システムであって、
    画像からどの特徴をリアルタイムで抽出するかを選択するための動的トリガーの連鎖を定義するモデルを記憶するメモリと、
    現在製造中の製造されたウェブ材料から捕獲されたサンプル画像を処理して、第１の特徴セットを抽出するソフトウェアを実行するコンピュータと、を含み、
    前記ソフトウェアが前記モデルを適用して、抽出された特徴が定義済みの信頼度内で前記ウェブ材料の不均一性欠陥の深刻度レベルを計算するのに十分になるまで、前記サンプル画像から抽出する追加の特徴セットの選択を繰り返し動的にトリガーする、検査システム。
13. 前記ソフトウェアが前記モデルを適用して、前記新しい画像から抽出する第２の特徴セットの選択をトリガーし、
    トリガーされると、前記ソフトウェアが、前記画像から抽出された前記第１の特徴セットに基づいて、特徴セット全体から前記第２の特徴セットを動的に選択し、
    前記ソフトウェアが前記サンプル画像を処理して、前記画像から前記第２の特徴セットを抽出し、前記第１の特徴セット及び前記第２の特徴セットに基づいて前記不均一性欠陥の深刻度レベルを計算する、請求項１２に記載の検査システム。
14. 前記モデルがマルコフモデルを含む、請求項１２に記載の検査システム。
15. 前記モデルの各トリガーに対して、前記ソフトウェアが一群の分類子を指定する現在の状態ベクトルを定義し、前記サンプル画像から既に抽出された少なくとも１つの特徴によってパラメーター化された条件付き分布を用いて、前記現在の状態ベクトルに基づいて将来の状態ベクトルの予測を計算し、この条件付き分布が前記モデルの前記それぞれのトリガーの遷移関数を示し、
    前記モデルの各トリガーに対して、前記ソフトウェアが、前記計算された遷移関数に基づいて抽出する追加の特徴セットを動的に選択する、請求項１２に記載の検査システム。
16. 前記各トリガーに対して、前記ソフトウェアが、前記不均一性欠陥の深刻度レベルの計算に伴う総予測コストを最小化する追加の特徴セットを動的に選択する、請求項１５に記載の検査システム。
17. 前記深刻度レベルをユーザーに出力するためのユーザーインターフェースを更に含む、請求項１２に記載の検査システム。
18. 前記検査システム内に統合されたパイプライン型グラフィック処理ユニット（ＧＰＵ）を更に含み、前記動的トリガーのそれぞれにおいて前記ＧＰＵを繰り返し起動して前記サンプル画像を処理し、同時に前記特徴を抽出するように前記ソフトウェアが設定されている、請求項１１に記載の検査システム。
19. コンピュータプロセッサに
    オンラインコンピュータ検査システムで、製造中のウェブ材料から捕獲された画像を受領させ、
    前記検査システムで前記画像を処理して、第１の特徴セットを抽出させ、
    前記検査システムで前記第１の特徴セットを処理して、前記ウェブ材料の不均一性欠陥の深刻度レベルを計算できるかどうかを判定させ、
    前記第１の特徴セットから前記深刻度レベルを計算出来ないと判定した場合に、モデルを適用して抽出する第２の特徴セットを動的に選択させ、
    モデルを用いて前記検査システムで前記第１の特徴セットを処理して、このモデルに従って前記画像から抽出する第２の特徴セットを動的に選択させ、
    前記第２の特徴セットが前記画像から抽出される場合に、前記不均一性欠陥に関して前記画像を誤分類するコストの削減予想額を前記モデルに従って判定させ、
    前記コストの削減予想額が閾値を超える場合、前記検査システムで前記画像を処理して前記第２の特徴セットを抽出させ、
    前記画像から抽出した前記第１の特徴セット及び前記第２の特徴セットを用いて、前記検査システムで前記ウェブ材料の不均一性欠陥の深刻度レベルを計算させるソフトウェア命令を含む、コンピュータ読み取り可能な非一時的媒体。

Images