JP2023026360A - 複合材料レイアップにおける欠陥のインプロセス検出およびマッピングの方法 - Google Patents

Abstract

【課題】複合材料レイアップにおける欠陥のインプロセス検出及びマッピング方法の提供。【解決手段】欠陥を検出する方法は、赤外線カメラを使用して、基準レイアップヘッドによってレイアップされている基準レイアップの基準画像をキャプチャすることを含む。方法は、基準画像に欠陥がないか手動で確認すること、及び基準画像内の欠陥を示す基準欠陥マスクを生成することを含む。方法は、基準画像及び基準欠陥マスクを使用してニューラルネットワークを訓練し、生産画像を入力として与えられると、各欠陥の欠陥位置と欠陥タイプを示す生産欠陥マスクを出力する機械学習モデルを作成することを、さらに含む。方法はまた、赤外線カメラを用いて、生産レイアップヘッドによってレイアップされている生産レイアップの生産画像をキャプチャすることと、生産画像にモデルを適用して、生産画像内の各欠陥を示す生産欠陥マスクを自動的に生成することと、を含む。【選択図】なし

Description

本開示は、一般に、複合材料の製造に関し、より具体的には、複合材料レイアップにおける欠陥のインプロセス検出およびマッピングの方法に関する。

複合材料構造体は、高い強度対重量比、耐腐食性、軽量化、およびその他の好ましい特性により、航空機を含む様々な用途で使用されている。さらに、複合材料は、航空機の様々な構造体の耐用年数を延ばす。詳細には、航空機の製造では、胴体、翼、尾部、および航空機の他の部品を形成するために複合材料構造体を使用することができる。

ただし、製造プロセス中に複合材料の品質を監視することは困難である。複合材料構造体は、通常、複数の複合材料プライを一度に１つずつレイアップツール上にレイアップすることによって製造される。自動繊維配置ヘッドなどの複合材料レイアップヘッドが、通常、各複合材料プライをテープまたはトウの複数の個々のコースとして自動的にレイアップするために使用される。コースは、並んで互いに平行に基板に順次載置される。レイアッププロセス中、全体的なレイアップの品質に影響を与える可能性がある問題について、複合材料レイアップを監視しなければならない。例えば、複合材料のトウにおける、ねじれ、折り目、隙間、および重なりなどの欠陥の存在について、複合材料レイアップを監視しなければならない。発生する可能性のあるその他の欠陥には、トウの欠落、異物（ＦＯＤ）、ファズボール、トウと基板との間の低品質のタックなどがある。

複合材料レイアップの欠陥を監視する従来の方法には、レイアップ後の各複合材料プライの、品質保証（ＱＡ）担当者による目視検査が含まれる。一般的には有効であるが、ＱＡ担当者による目視検査は、複合材料レイアップの定性的な測定であるため、人的ミスの影響を受ける。さらに、ＱＡ担当者が複合材料プライの目視検査を行う場合、複合材料レイアップヘッドの動作を一時的に停止する必要がある。多プライレイアップの各複合材料プライを目視検査するには時間がかかるため、目視検査方式は、全体的な生産速度に大きな影響を与える。

製造中に複合材料レイアップの品質を監視する別の方法は、インプロセスの画像ベースの方法である。ただし、このような方法は、エッジ検出とヒューリスティックに基づく意思決定を含む従来のマシンビジョンアルゴリズムに依存している。マシンビジョン方式では、複数のカメラの取り付けや位置決めなど、機器の複雑なセットアップが必要である。さらに、マシンビジョン方式では、意図されるトウエッジの位置、予想される熱勾配、および許容偏差についての、時間のかかるビルド固有の事前プログラミングが必要である。さらに、マシンビジョン方式は、特定のヒューリスティックの品質および従来のアルゴリズムの計算の複雑さによって制約を受け、その結果、検出信頼度は理想的とは言えず、検出できる欠陥タイプの範囲が制限される。また、マシンビジョン方式では、レイアップヘッドが特定の速度閾値未満で動作する必要があり、これは生産速度に悪影響を及ぼす。

このように、レイアップヘッドの動作を停止しなければならない時間を最小限に抑え、必要とされる機器セットアップと事前プログラミングを最小限にし、計算効率がよく、ビルド固有でない、複合材料レイアップを検査する方法に対する必要性が、当技術分野に存在する。

複合材料レイアップの検査に関連する上記の必要性は、複合材料レイアップにおける欠陥のインプロセス検出の方法を提供する本開示によって、対処される。この方法は、基準レイアップヘッドによってレイアップされている基準レイアップのコースの一連の基準画像を、基準レイアップヘッドの赤外線カメラを使用してキャプチャすることを含む。この方法はさらに、欠陥がないか基準画像を手動で確認することと、欠陥を含む基準画像ごとに、基準画像内の各欠陥の欠陥位置を示し、欠陥タイプを識別する基準欠陥マスクを生成することと、を含む。この方法はまた、生産画像を入力として与えられると、モデルによって検出された各欠陥の欠陥位置と欠陥タイプを示す生産欠陥マスクを出力する機械学習欠陥識別モデルを作成するように、人工ニューラルネットワークを、セグメンテーションを実行するように、基準画像および対応する基準欠陥マスクを使用して訓練することを含む。この方法は、生産レイアップヘッドによってレイアップされている生産レイアップの少なくとも１つのコースの一連の生産画像を、生産レイアップヘッドの赤外線カメラを使用してキャプチャすることを、さらに含む。さらに、この方法は、モデルを生産画像に適用することと、欠陥を含む生産画像ごとに、モデルによって検出された各欠陥の欠陥位置を示し、欠陥タイプを識別する生産欠陥マスクを自動的に生成することと、を含む。

基準レイアップヘッドによってレイアップされている基準レイアップのコースであって、互いに横に並んだ関係にある複数のトウを含むコースの一連の基準画像を、基準レイアップヘッドの１つ以上の赤外線カメラを使用してキャプチャすることを含む、複合材料レイアップにおける欠陥のインプロセス検出の方法もまた開示される。この方法はまた、欠陥がないか基準画像を手動で確認することと、欠陥を含む基準画像ごとに、コース内の各トウのトウ境界および一意のトウ識別番号、ならびに基準画像内の各欠陥の欠陥位置を示し、基準画像内の各欠陥の欠陥タイプを識別する基準欠陥マスクを生成することと、を含む。この方法は、生産画像を入力として与えられると、コース内の各トウのトウ境界およびトウ識別番号、ならびにモデルによって検出された各欠陥の欠陥位置と欠陥タイプを示す生産欠陥マスクを出力する機械学習欠陥識別モデルを作成するように、人工ニューラルネットワークを、インスタンスセグメンテーションを実行するように、基準画像および対応する基準欠陥マスクを使用して訓練することを、さらに含む。さらに、この方法は、生産レイアップヘッドによってレイアップされている生産レイアップのトウの１つ以上のコースの一連の生産画像を、生産レイアップヘッドの１つ以上の赤外線カメラを使用してキャプチャすることを含む。さらに、この方法は、モデルを生産画像に適用することと、欠陥を含む生産画像ごとに、欠陥タイプを示し、コースの長さ方向に沿って欠陥位置を特定し、欠陥を含む１つ以上のトウのトウ識別番号を示す生産欠陥マスクを自動的に生成することと、を含む。

画像アノテーションソフトウェアプログラムを使用して、基準レイアップヘッドによって基板上へ載置中の基準レイアップのコースの複数の基準画像のそれぞれについて、基準欠陥マスクを手動で生成することを含む、複合材料レイアップにおける欠陥のインプロセスマッピングの方法が、さらに開示される。各基準画像は、コース内の少なくとも１つの欠陥を示している。この方法はまた、生産画像を入力として与えられると、モデルによって検出された各欠陥の欠陥位置と欠陥タイプを示す生産欠陥マスクを出力する機械学習欠陥識別モデルを作成するように、人工ニューラルネットワークを、インスタンスセグメンテーションを実行するように、基準画像および対応する基準欠陥マスクを使用して訓練することを含む。この方法は、生産レイアップヘッドによってレイアップされている生産レイアップの１つ以上のコースの一連の生産画像を、生産レイアップヘッドの赤外線カメラを使用してキャプチャすることを、さらに含む。さらに、この方法は、モデルをリアルタイムで生産画像に適用して、生産レイアップのコース内の欠陥を自動的に位置特定して分類することを含む。

論じられた特徴、機能、および利点は、本開示の様々な形態において独立して達成されることができ、または、さらに他の形態において組み合わされてもよく、そのさらなる詳細を、以下の説明および図面を参照して見ることができる。

例示的な形態を示すが、必ずしも縮尺通りには描かれていない添付の図面と併せて、以下の詳細な説明を参照することにより、本開示は、よりよく理解され得る。図面は例であり、説明または特許請求の範囲を限定するものではない。

複合材料レイアップにおける欠陥のインプロセス検出の方法の一例のフローチャートの図である。 複合材料レイアップにおける欠陥のインプロセス検出の方法の別の例のフローチャートの図である。 基準レイアップツール上に基準レイアップをレイアップしている基準レイアップヘッドの一例を示す。 図３の基準レイアップヘッドの側面図である。 図４の線５に沿った斜視図であり、基板上に複合材料の単一幅テープを分配している基準レイアップヘッドを示している。 基板上に複合材料の並んだトウを分配している基準レイアップヘッドの一例の斜視図である。 基準レイアップヘッドの赤外線カメラによってキャプチャされた基準画像の一例を示し、パッカー、ファズボール、異物、トウの脱落を示している。 図７の基準画像に重ね合わされた基準欠陥マスク（すなわち、画素マスク）の一例を示し、各トウのトウ境界を示し、図７の各欠陥の欠陥位置と欠陥タイプを示している。 図８の基準欠陥マスクを示す。 基準レイアップヘッドの赤外線カメラによってキャプチャされた基準画像の一例を示し、しわ、トウのねじれ、樹脂ボール、トウの欠落を示している。 基準画像に重ね合わされた基準欠陥マスクを示し、トウ境界、図１０の各欠陥の欠陥位置、および欠陥タイプを示している。 図１１の基準欠陥マスクを示す。 基準レイアップヘッドの赤外線カメラによってキャプチャされた基準画像の一例を示し、隙間、トウの折り目、低品質のタックを示している。 基準画像に重ね合わされた基準欠陥マスクを示し、トウ境界、図１３の各欠陥の欠陥位置、および欠陥タイプを示している。 図１４の基準欠陥マスクを示す。 人工ニューラルネットワークのモデルアーキテクチャの概略図である。 モデルアーキテクチャ最適化ループの概略図である。 生産レイアップヘッドによって生産レイアップツール上にレイアップされている生産複合材料レイアップの一例の斜視図である。 生産画像がモデルに投入されているコースの１つを示す。 生産欠陥マスクを生成するためにモデルに投入されている生産画像の概略図である。 図１９のコースのデジタル表現との生産欠陥マスクの空間的位置合わせ中におけるコンピュータの表示画面を示す。 コースのデジタル表現と空間的に位置合わせされて、それによって欠陥マップを形成する、生産欠陥マスクを示す、図２１の表示画面である。 図１８の生産レイアップの複合材料プライの欠陥位置を含む欠陥マップを示す表示画面である。 図２３の欠陥マップの一部分の拡大図であり、複合材料プライ内のいくつかの欠陥の部品上の座標および欠陥タイプを示している。 複合材料レイアップにおける欠陥のインプロセスマッピングの方法の一部分のフローチャートの図である。 図２５Ａの方法の続き部分のフローチャートの図である。

本開示に示されている図は、提示された形態の様々な特徴を表しており、相違点のみが、詳細に説明される。

開示された形態は、開示された形態の全てではないが、いくつかが示されている添付の図面を参照して、以下により完全に説明される。実際、いくつかの異なる形態が提供され得るが、本明細書に記載された形態に限定されると解釈されるべきではない。むしろ、これらの形態は、本開示が完全なものになり、本開示の範囲を当業者に完全に伝えるように、提供されている。

この明細書には、「一形態（ｏｎｅ ｖｅｒｓｉｏｎ）」または「ある形態（ａ ｖｅｒｓｉｏｎ）」への言及が含まれている。「一形態」または「ある形態」という語句の事例は、必ずしも同じ形態を指すとは限らない。同様に、この明細書には、「一例（ｏｎｅ ｅｘａｍｐｌｅ）」または「ある例（ａｎ ｅｘａｍｐｌｅ）」への言及が含まれている。「一例」または「ある例」という語句の事例は、必ずしも同じ例を指すとは限らない。特定の特徴、構造、または特性は、本開示と合致する任意の適切な方法で組み合わせることができる。

本明細書で使用される場合、「含む（ｃｏｍｐｒｉｓｉｎｇ）」は、制限のない用語であり、特許請求の範囲で使用される場合、この用語は、追加の構造またはステップを排除しない。

本明細書で使用される場合、「構成された（ｃｏｎｆｉｇｕｒｅｄ ｔｏ）」は、様々な部品または構成要素が、１つまたは複数のタスクを実行するように「構成された」と説明または主張され得る、ということを意味する。そのような文脈では、「構成された」は、部品または構成要素が、それらの１つまたは複数のタスクを動作中に実行する構造を含む、ということを示すことによって構造を含意するために、使用される。したがって、部品または構成要素は、その指定された部品または構成要素が現在動作していない（例えば、オンになっていない）場合でも、タスクを実行するように構成されていると言える。

本明細書で使用される場合、単数形で記載され、単語「ａ（１つの）」または「ａｎ（１つの）」が前に付いている要素またはステップは、複数の要素またはステップを必ずしも排除しないと理解されるべきである。

本明細書で使用される場合、「～のうちの少なくとも１つ」という語句は、アイテムのリストとともに使用される場合、リストのアイテムのうちの１つ以上のアイテムの様々な組み合わせを使用することができ、リスト内の各アイテムのうちの１つのみが必要とされればよい、ということを意味する。言い換えると、「～のうちの少なくとも１つ」とは、リストから任意の組み合わせのアイテムおよび任意の数のアイテムを使用することができるが、リスト内のアイテムの全てが必要なわけではない、ということを意味する。アイテムは、ある特定の物体、事物、またはカテゴリであり得る。

本開示の様々な実施例を示す図面を参照すると、図１に示すのは、図１８に示す生産レイアップ５６０などの複合材料レイアップ内の欠陥５０８（図７～図１５）のインプロセス（工程内）検出の方法１００である。図３を参照すると、方法１００は、基準レイアップヘッド４０４を用いて、基板４７６上に複合材料４５２のコース４５０を載置することを含む。コース４５０は、基準レイアップヘッド４０４によって、互いに平行な関係で順次レイアップされて、複合材料プライ４７４を形成する複数のコース４５０のうちの１つである。完成すると、基準レイアップ４７０は、互いの上にレイアップされた複数の複合材料プライ４７４から構成される。いくつかの例では、基板４７６は、基準レイアップツール４７８のツール表面４８０である。他の例では、基板４７６は、基準レイアップヘッド４０４によって以前にレイアップされた複合材料プライ４７４である。

図３では、基準レイアップ４７０は、ほぼ平面状のツール表面４８０を有する基準レイアップツール４７８上に基準レイアップヘッド４０４によってレイアップされた平坦なパネル４７２である。基準レイアップ４７０は、実験室の設定などの制御された環境でレイアップすることができる。平坦なパネル４７２として示されているが、基準レイアップ４７０は、基準レイアップツール４７８のサイズ、形状、および構成によって規定されるような、様々な異なるサイズ、形状、および構成のうちの任意の１つでレイアップされ得る。

図３では、基準レイアップヘッド４０４は、ロボット装置４００のロボットアーム４０２によって支持されている。しかしながら、図示されていない他の例では、基準レイアップヘッド４０４は、オーバーヘッドガントリーによって、または基板４７６に対して基準レイアップヘッド４０４を移動させるための他の種々の支持機構のうちのいずれかの機構によって支持されることができる。あるいは、ここで開示されている方法は、基準レイアップヘッド４０４が静止しており、基板４７６（例えば、基準レイアップツール４７８）が基準レイアップヘッド４０４に対して移動する構成で実施されてもよい。以下でより詳細に説明するように、基準レイアップヘッド４０４は、当技術分野で知られているような自動繊維配置（ＡＦＰ）ヘッドであってもよい。

図４は、基板４７６上にコース４５０を載置している基準レイアップヘッドの側面図である。図５は、複合材料４５２の単一幅テープ４５４として基板４７６上にコース４５０を載置している基準レイアップヘッド４０４を示す。図６は、以下でより詳細に説明するように、並んだトウ４５６のアレイとして基板４７６上にコース４５０を載置している基準レイアップヘッド４０４を示す。

図４～図６を参照すると、方法１００のステップ１０２は、基準レイアップヘッド４０４によってレイアップされている基準レイアップ４７０のコース４５０の一連の基準画像５００（例えば、図７、図１０、図１３）を、基準レイアップヘッド４０４の赤外線カメラ４０６を使用してキャプチャすることを含む。赤外線カメラ４０６は、基準レイアップヘッド４０４の圧縮装置４１０の後方に取り付けられている。赤外線カメラ４０６によってキャプチャされた基準画像５００は、赤外線画像である。圧縮装置４１０は、基板４７６に押しつけてコース４５０を圧縮するように構成されている。基準レイアップヘッド４０４はまた、圧縮装置４１０の前方に配置された加熱装置４１４を含む。加熱装置４１４は、コース４５０と基板４７６との間のタック（例えば、付着）を改善するために、基板４７６に熱４１６を加えるように構成されている。

図７～図１５を参照すると、方法１００のステップ１０４は、欠陥５０８がないか基準画像５００を手動で確認することと、欠陥５０８を含む基準画像５００ごとに、基準画像５００内の各欠陥５０８の欠陥位置５１０および欠陥タイプ５１６を示す基準欠陥マスク５０４（例えば、画素マスク）を生成することと、を含む。ステップ１０４において、技術者（例えば、ドメインエキスパート）は、欠陥５０８がないか各基準画像５００を視覚的に確認する。以下でより詳細に説明するように、技術者によって検出され得る欠陥タイプ５１６の例には、基板４７６上にレイアップされた複合材料４５２のテープ４５４またはトウ４５６における、ねじれ５１８、折り目５２０、隙間５２２、および重なり５２４が含まれるが、これらに限定されない。その他の欠陥５０８には、テープまたはトウの欠落５３２、異物５３６、樹脂ボール５３８、ファズボール５４０、および低品質のタック５３４が含まれる。

上述したように、基準画像５００の中に欠陥５０８を検出すると、技術者は、基準画像５００について基準欠陥マスク５０４（例えば、デジタルオブジェクト）を（例えば、コンピュータを用いて）生成する。基準欠陥マスク５０４は、各欠陥５０８の境界を示すために技術者によって生成された境界ボックス５１２などの欠陥境界５１１を含む。さらに、各欠陥５０８に対して、技術者は、欠陥タイプ５１６を識別する欠陥ラベル５１４を欠陥５０８に付ける（例えば、図８、図１１、および図１４を参照）。以下に説明するように、基準画像５００の手動確認、および基準欠陥マスク５０４の生成は、画像アノテーションソフトウェアプログラムを用いたコンピュータ支援方式で技術者によって実行されてもよい。

方法１００のステップ１０６は、入力として生産画像５６６（図２０）を与えられると、モデル６０２によって検出された各欠陥５０８の欠陥位置５１０および欠陥タイプ５１６を示す生産欠陥マスク５６８（図２０～図２２）を出力する機械学習欠陥識別モデル６０２（例えば、図１７のモデル）を作成するように、人工ニューラルネットワーク６００（図１６）を、セグメンテーション（例えば、セマンティック画像セグメンテーションまたはインスタンスセグメンテーションのいずれか）を実行するように、基準画像５００（例えば、図７、図１０、および図１３）および対応する基準欠陥マスク５０４（例えば、図９、図１２、および図１５）を使用して訓練することを含む。図１８は、生産レイアップツール５６４上に生産レイアップ５６０をレイアップするプロセスにおける生産レイアップヘッド５６２を示す。

図１８～図２０を参照すると、方法１００のステップ１０８は、生産レイアップヘッド５６２によってレイアップされている生産レイアップ５６０のコース４５０の一連の生産画像５６６を、生産レイアップヘッド５６２の赤外線カメラ４０６を使用してキャプチャすることを含む。図１８の例において、生産レイアップヘッド５６２は、上述の基準レイアップヘッド４０４（図３～図６）と同様であっても異なっていてもよい。赤外線カメラ４０６は、図４～図６における基準レイアップヘッド４０４への赤外線カメラ４０６の取り付けと同様に、赤外線カメラ４０６の視野４０８が圧縮装置４１０のすぐ後方のコース４５０の領域に向けられるように、生産レイアップヘッド５６２に取り付けられている。

図９、図１２、および図１５を参照すると、方法１００のステップ１１０は、モデル６０２を生産画像５６６に適用することと、欠陥５０８を含む生産画像５６６ごとに、モデル６０２によって検出された各欠陥５０８の欠陥位置５１０および欠陥タイプ５１６を示す生産欠陥マスク５６８を、（例えば、モデル６０２を用いて）自動的に生成することと、を含む。図２０は、モデル６０２への入力としての一連の生産画像５６６の例を、概略的に示す。モデル６０２は、レイアップ中にリアルタイムで生産画像５６６に適用することができる。モデル６０２は、少なくとも１つの欠陥５０８を含む生産画像５６６ごとに生産欠陥マスク５６８を生成する。モデル６０２によって生成された生産欠陥マスク５６８は、図９、図１２、および図１５の基準欠陥マスク５０４と同様に、各欠陥５０８の位置を示す境界ボックス５１２などのマークを含む。生産欠陥マスク５６８はまた、図９、図１２、および図１５に示される基準欠陥マスク５０４と同様に、各生産画像５６６内の各欠陥５０８の欠陥タイプ５１６を識別する欠陥ラベル５１４を含む。

図１の方法１００は、図２０～図２１に示され、以下により詳細に説明されるように、各生産欠陥マスク５６８を、対応する生産画像５６６内にキャプチャされたコース４５０の領域のデジタル表現６３０と空間的に位置合わせすることを、さらに含む。生産欠陥マスク５６８をコース４５０のデジタル表現６３０と空間的に位置合わせした結果として、欠陥マップ６３２が作成される。欠陥マップ６３２は、生産レイアップ５６０の少なくとも１つのコース４５０のデジタル表現６３０を含み、コース４５０に関連付けられた各欠陥５０８の部品上位置６３６および欠陥タイプ５１６をさらに含む。図２２は、生産レイアップ５６０（図１８）の複合材料プライ４７４（図１８）の単一のコース４５０の欠陥マップ６３２の例を示す。図２３は、生産レイアップ５６０の複合材料プライ４７４全体の欠陥マップ６３２の例を示す。

欠陥マップ６３２を使用して、技術者（例えば、品質保証（ＱＡ）担当者）は、生産レイアップ５６０上に各欠陥５０８を物理的に位置特定して、欠陥５０８を物理的に検査して、欠陥５０８が許容可能か許容不可能かを決定することができる。欠陥５０８の検査に基づいて、以下でより詳細に説明するように、欠陥５０８を修復するかどうか、および／または同じ欠陥タイプ５１６のさらなる発生を低減するために１つ以上のレイアッププロセスパラメータを調整するかどうかについて決定を行うことができる。

有利なことに、本明細書に開示される検査方法は、ＱＡ担当者による各複合材料プライ４７４の全領域についての、時間と費用のかかる検査を排除し、レイアッププロセス中に欠陥５０８を迅速に検出し、明確な欠陥位置５１０および欠陥タイプ５１６を識別する自動プロセスに置き換える。上記で言及し、以下でより詳細に説明するように、ここで開示されている方法は、単一の赤外線カメラ４０６を使用して実行することができ、複合材料レイアップのビルド形状についての事前知識を必要とせず、計算効率のよい機械学習アプローチを具現化する。したがって、ここで開示されている方法は、必要な機器セットアップおよび事前プログラミングが最小限であり、様々な異なる複合材料レイアップビルド形状に対して一般化可能である。ここで開示されている方法によって実行される検査は、インプロセスで行われるので、レイアップヘッドのダウンタイムは、従来の手動および／またはアウトオブプロセス（工程外）の検査方法に関連するレイアップヘッドの相当量のダウンタイムと比較して、大幅に短縮される。

次に図２を参照すると、複合材料レイアップ内の欠陥５０８のインプロセス検出のさらなる方法２００のフローチャートが示され、ここでは、基準レイアップヘッド４０４は、図６に示されるように、複合材料４５２の並んだトウ４５６としてコース４５０を分配し、これは、単一幅のテープ４５４としてコース４５０を分配する図５の基準レイアップヘッド４０４とは対照的である。この点に関して、欠陥５０８のインプロセス検出およびマッピングの、ここで開示されている方法１００、２００、３００（図２５Ａ～図２５Ｂ）のいずれか１つが、基準レイアップヘッド４０４と生産レイアップヘッド５６２の多種多様な構成のうちのいずれか１つを使用して実施され得る。方法２００は、方法１００と範囲が類似しており、方法１００に関連するステップ、機能、および装置のうちの任意の１つ以上が、方法２００および以下で説明する方法３００を含む、本明細書で開示される任意の他の方法に適用可能である。同様に、方法２００に関連するステップ、機能、および装置のうちの任意の１つ以上が、方法１００および方法３００を含む、本明細書に開示される任意の他の方法に適用可能である。

図６の例では、基準レイアップヘッド４０４が、事前にプログラムされた径路に沿って基板４７６に対して移動しながら、基準レイアップヘッド４０４は、トウ４５６を集めて、それらをコース４５０になるように並べて配列し、コース４５０を基板４７６上に載置する。基準レイアップヘッド４０４は、基板４７６上に載置する前に、トウ４５６を案内し、切断し、クランプするための様々な構成要素を含む。図３、図４、および図６に示され、上述したように、基準レイアップヘッド４０４は、圧縮装置４１０、圧縮装置４１０の前方に配置された少なくとも１つの加熱装置４１４、および圧縮装置４１０の後方に配置された少なくとも１つの赤外線カメラ４０６を含む。

方法２００は、複合材料４５２のトウ４５６を基板４７６上に載置することを含み、基板４７６は、上述のように、基準レイアップツール４７８のツール表面４８０であってもよいし、または基板４７６は、基準レイアップヘッド４０４によって以前に載置された複合材料４５２のコース４５０であってもよい。図３の例では、基準レイアップツール４７８は、平坦なツール表面４８０を有し、これにより、基準レイアップツール４７８の製造を簡素化することができ、セットアップ（例えば、事前プログラミング）および基準レイアップヘッド４０４の動作を簡素化することもできる。さらに、基準レイアップツール４７８に平坦なツール表面４８０を提供することで、基準レイアップ４７０をレイアップし、基準画像５００をキャプチャするプロセスを簡素化することができる。生産レイアップ５６０内で潜在的に発生する可能性のある各欠陥タイプ５１６が、基準レイアップヘッド４０４によって基準レイアップ４７０内の複数の場所で生成される。

基準レイアップヘッド４０４によって載置された複合材料４５２は、樹脂が予め含浸された単方向強化繊維（すなわちプリプレグ）からなる。強化繊維は、プラスチック、ガラス、セラミック、炭素、金属、またはそれらの任意の組み合わせなどの様々な材料のうちのいずれか１つで形成される。樹脂は、熱硬化性樹脂または熱可塑性樹脂であり、様々な有機または無機材料のうちのいずれか１つで形成される。複合材料４５２の並んだトウ４５６（図６）からなるコース４５０では、各トウは、０．２５～０．５０インチ以上の幅を有する。対照的に、複合材料４５２の単一幅テープ４５４（図５）からなるコース４５０は、数インチ（例えば、２インチ）から１２インチ以上の幅を有し得る。並んだトウ４５６から構成されたコース４５０は、単一幅のテープ４５４よりも、湾曲したツール表面４８０上でのレイアップにより適している場合がある。対照的に、単一幅のテープ４５４は、一つには、複数のトウ４５６よりも、より短時間で、かつコスト効率の良い方法でより大きな表面積を覆うことができる単一幅のテープ４５４の能力により、ほぼ平坦または平面状のツール表面４８０上でのレイアップに適している場合がある。

さらに図２を参照し、加えて図６を参照すると、基板４７６上への複合材料４５２のコース４５０の載置中に、方法２００は、図４に示すように、加熱装置４１４を使用して、圧縮装置４１０のすぐ前方の位置で基板４７６に熱４１６を加えることを含む。基板４７６に熱４１６を加えると、以前に載置された複合材料４５２の樹脂の粘度が低下し、それによって、コース４５０と基板４７６との間のタックまたは付着のレベルが増加する。さらに、基板４７６へ熱４１６を加えることは、図４に示すように、基板４７６からコース４５０への熱４１６の伝導により、コース４５０の樹脂粘度を低下させる。加熱装置４１４は、赤外線ヒーター、レーザーヒーター、キセノンフラッシュランプ、または様々な代替の加熱装置４１４の構成のうちのいずれか１つとして提供されてもよい。

方法２００のステップ２０２は、並んだトウ４５６として基板４７６に載置された基準レイアップ４７０のコース４５０の一連の基準画像５００（すなわち、赤外線画像）を、基準レイアップヘッド４０４の１つ以上の赤外線カメラ４０６を使用してキャプチャすることを含む。コース４５０のトウ４５６は、図６に示されるように、互いと重なりがなく隙間のない関係で基板４７６に載置される。基準画像５００がキャプチャされると、方法２００は、各基準画像５００に、基準レイアップ４７０のビルド識別番号、各基準画像５００の画像キャプチャ時刻、および基準レイアップ４７０上の画像キャプチャ位置を割り当てることを、さらに含むことができる。画像キャプチャ位置は、基準レイアップツール４７８に対する、または基準レイアップ４７０がレイアップされている製造セル内または実験室内の他の特徴部に対する基準レイアップヘッド４０４の座標（例えば、ｘ，ｙ，ｚ）の観点から提供されてもよい。

図５～図６において、赤外線カメラ４０６は、赤外線カメラ４０６の視野４０８がコース４５０の全幅にわたって広がり、さらに、コース４５０の両側の基板４７６の小区画をキャプチャすることができるように、取り付けられ、方向付けられている。赤外線カメラ４０６は、１０分の１秒ごとに、もしくは基準レイアップヘッド４０４の数インチの移動ごとになど、定期的に、またはコース４５０の全長が基準画像５００によって共同でキャプチャされることを確実にする他の任意の方法で、基準画像５００をキャプチャするように構成されてもよい。図には、基準レイアップヘッド４０４に取り付けられた単一の赤外線カメラ４０６が示されているが、図示されていない他の例では、基準レイアップヘッド４０４は、コース４５０が基準レイアップヘッド４０４から分配されるときにコース４５０の異なる領域をキャプチャするようにそれぞれ取り付けられた２つ以上の赤外線カメラ４０６を含んでもよい。

基準画像５００をキャプチャするステップ２０２は、赤外線カメラ４０６を使用して、図６に示すように、圧縮装置４１０のすぐ後方のコース４５０上の位置における基準画像５００をキャプチャすることを含む。上述のように、圧縮装置４１０は、基板４７６に押しつけてコース４５０を圧縮する、またはプレスするように構成されている。図示の例では、圧縮装置４１０は、圧縮ローラー４１２である。圧縮ローラー４１２は、コース４５０を圧縮する際にローラーが基板４７６の湾曲に少なくとも部分的に追従できるように、エラストマーまたは追従的な材料で形成されている。

基準画像５００をキャプチャしながら基準レイアップ４７０をレイアップするプロセスは、全ての複合材料プライ４７４がレイアップされるまで継続してもよい。あるいは、基準レイアップ４７０をレイアップし、基準画像５００をキャプチャするプロセスは、各欠陥タイプ５１６の少なくとも１つが少なくとも１つの基準画像５００内にキャプチャされるまで継続してもよい。各欠陥タイプ５１６は、複数の基準画像５００内にキャプチャされる。各欠陥タイプ５１６について複数の基準画像５００を有することは、生産レイアップ５６０において同じ欠陥タイプ５１６を正確に識別する際のモデル６０２のロバスト性を向上させ得る。

ニューラルネットワーク６００の訓練の準備として、方法２００は、部品外画像（図示せず）、遮られた視界画像（図示せず）、および／または非レイアップヘッド移動画像（図示せず）である基準画像５００を削除することを含む。部品外画像は、コース４５０が基板４７６上に分配されていない基準画像５００として説明され得る。部品外画像は、１つのコース４５０の終わりが基板４７６上に載置された後、基準レイアップヘッド４０４が基板４７６上に別のコース４５０を載置し始める準備のために再位置決めしている際に、発生する可能性がある。遮られた視界画像は、コース４５０の一部が赤外線カメラ４０６の通常の視野４０８（例えば、図５～図６）から（例えば、ハードウェアによって）遮られている基準画像５００として、説明され得る。非レイアップヘッド移動画像は、基準レイアップヘッド４０４が静止しているときにキャプチャされた基準画像５００として、説明され得る。

ニューラルネットワーク６００を訓練するための基準画像５００のさらなる準備において、方法２００は、基準画像５００（例えば、図７、図１０、および図１３）を前処理することを含む。例えば、方法は、各基準画像５００をクロッピングして、基準画像５００から非レイアップ特徴部５０２の一部または全部を除去することを含み得る。非レイアップ特徴部５０２は、基準レイアップヘッド４０４の構成要素または基準レイアップツール４７８の構成要素などの無関係な背景特徴を含んでもよい。基準画像５００はまた、ニューラルネットワーク６００を訓練するための準備としてスケーリングされてもよい。各基準画像５００（例えば、サーモグラフィー画像）は、コース４５０、基板４７６、および欠陥５０８の温度差を表す、黒から白までの様々なレベルのグレーの範囲の画素で構成されるグレースケール画像であってもよい。画素強度値は、０から２５５までの範囲の整数であってもよい。この方法は、画素強度値の範囲を平均画素値で中心化し、画素強度値の範囲を標準偏差で再スケーリングすることによって、各基準画像５００を正規化することを含んでもよい。

図２で、方法２００のステップ２０４は、欠陥５０８がないか基準画像５００を手動で確認することと、１つ以上の欠陥５０８を含む各基準画像５００にアノテーションを付けることと、を含む。各基準画像５００にアノテーションを付けることは、図８、図１１、および図１４に示される基準画像５００および基準欠陥マスク５０４と同様に、基準画像５００内の各欠陥５０８の欠陥位置５１０および欠陥タイプ５１６を示す基準欠陥マスク５０４（すなわち、ラベル付き画素マスク）を生成することを含む。各欠陥５０８の欠陥位置５１０は、方法１００について上述したように、基準画像内の各欠陥５０８の周りに境界ボックス５１２を形成することによって、基準欠陥マスク５０４上に示され得る。図８、図１１、および図１４の基準欠陥マスク５０４は、欠陥５０８を含む基準レイアップ４７０の各領域を囲む欠陥境界５１１を示す。欠陥境界５１１は、欠陥５０８の形状に従う不規則な形状を有し得る。図示の例では、欠陥境界５１１は、直線の辺を有する境界ボックス５１２である。図示されていない代替例では、各欠陥５０８の欠陥位置５１０は、欠陥５０８を表す画素を色分けすることによって示され得る。欠陥位置５１０を示す方法に関係なく、特定の欠陥５０８は単一の基準画像５００を越えて広がっている可能性があるので、複数の基準画像５００内に見える任意の単一の欠陥５０８は単一の欠陥５０８としてマッピングされることに留意されたい。例えば、単一の基準画像５００を越えて延びているテープまたはトウの欠落５３２の場合、基準画像５００にそれぞれ関連付けられた基準欠陥マスク５０４は、テープまたはトウの欠落５３２が単一の欠陥５０８であることを欠陥マップ６３２上に示す。

ステップ２０４において、各欠陥５０８の欠陥タイプ５１６を示すことは、各欠陥５０８を、以下の欠陥タイプ５１６、すなわち、ねじれ５１８、折り目５２０、隙間５２２、重なり５２４、ブリッジング（図示せず）、パッカー５２８、しわ５３０、テープまたはトウの欠落５３２、低品質のタック５３４、樹脂ボール５３８、ファズボール５４０、または異物５３６、のうちの１つとして示すことを含む。画像アノテーションを実行する技術者は、各欠陥５０８を囲む境界ボックス５１２の隣に適切な欠陥ラベル５１４を付けることができる。

図７は、パッカー５２８、ファズボール５４０、異物５３６、およびトウの脱落５４２を含む欠陥５０８を含む基準画像５００の例を示す。図１０は、しわ５３０、ねじれ５１８、樹脂ボール５３８、およびトウの欠落５３２を含む欠陥５０８を含む基準画像５００の例を示す。図１３は、隙間５２２、折り目５２０、および低品質のタック５３４を含む欠陥５０８を含む基準画像５００の例を示す。図示されていないが、レイアップヘッド（例えば、自動繊維配置ヘッド）によってレイアップされたとき、単一幅のテープ４５４（図５）には、上記で識別された欠陥タイプ５１６のうちのいずれか１つ以上が発生する可能性がある。

ねじれ５１８（図１０）は、複合材料４５２がレイアップヘッドによって基板４７６上に載置されている際に、複合材料４５２がそれ自体の周りにらせん状に巻かれた（例えば、１８０°）、トウまたはテープ４５４の長さに沿った位置として、説明され得る。折り目５２０（図１３）は、複合材料４５２が、レイアップヘッドによって載置されたときに二つ折りになるか、またはそれ自体の上に折り重ねられた、テープ４５４またはトウ４５６の長さに沿った位置として、説明され得る。テープまたはトウの脱落５４２（図７）は、最初は基板４７６に載置されたが、レイアップヘッドによって意図せず切断されたテープ４５４もしくはトウ４５６として、またはレイアップヘッド上のテープ４５４もしくはトウ４５６のスプールの枯渇の結果であるとして、説明され得る。隙間５２２（図１３）は、同じ複合材料プライ４７４内の隣接するテープ４５４の側縁部または隣接するトウ４５６の側縁部が、それらの長さの一部区間にわたって互いに離間している状態として、説明され得る。重なり５２４（図１０）は、同じ複合材料プライ４７４内の隣接するテープ４５４または隣接するトウ４５６が、それらの長さの一部区間にわたって互いの上にある状態である。

ブリッジングは、テープ４５４またはトウ４５６が基板４７６の表面における谷（すなわち、凹状の湾曲）をまたぐ状態であり、レイアップツールのツール表面４８０における内側の角で発生する可能性がある。パッカー５２８（図７）は、テープ４５４またはトウ４５６の側縁部に沿って局所的に盛り上がっている複合材料４５２の領域として説明することができ、面内方向に誘導されているテープ４５４またはトウ４５６において発生する可能性がある。しわ５３０（図１０）は、パッカー５２８と類似しており、テープ４５４またはトウ４５６の側縁部間の内側領域における面外歪みとして説明され得る。低品質のタック５３４（図１３）は、コース４５０と基板４７６との間の付着レベルが閾値未満であることと、説明され得る。

異物５３６（図７）は、複合材料レイアップへの組み込みが意図されていない任意のタイプの外来物質として説明することができ、裏紙やフィルムの小片、プラスチックや金属の粒子、水や油などの液体、または任意の他のタイプの物質を含むことができる。異物５３６の他の例には、樹脂ボール５３８およびファズボール５４０が含まれるが、これらに限定されない。樹脂ボール５３８（図１０）は、テープ４５４またはトウ４５６がレイアップヘッドを通過する際にレイアップヘッドの構成要素（例えば、トウガイド）上に蓄積し、最終的に基板４７６上に落下し得る樹脂の小球として、説明され得る。ファズボール５４０（図７）は、レイアップヘッドを通過する間にテープ４５４またはトウ４５６の側縁部に沿って形成され、レイアップヘッドから基板４７６上に、または基板４７６に載置されているコース４５０上に落下し得る繊維フィラメントの緩い束として、説明され得る。

基準画像５００を確認する技術者は、周囲の画素と異なる画素強度値を有し得る連続した画素群のサイズおよび形状に基づいて、上述の欠陥５０８の欠陥タイプ５１６を検出および識別することができる。例えば、樹脂ボール５３８は、特定のサイズ（例えば、３～７ｍｍの幅）の丸みを帯びた形状を有し、樹脂ボール５３８の下にある複合材料４５２を表す、より明るい形状の画素によって囲まれ得る黒色の画素群によって表され得る。

並んだトウ４５６（図６）でコース４５０が構成されている基準画像５００の場合、欠陥マスクを生成するステップは、図９、図１２、および図１５の基準欠陥マスク５０４に示されるように、基準欠陥マスク５０４上に、コース４５０内の各トウのトウ境界４５８を示すことと、一意のトウ識別番号４６２を各トウ４５６にラベル付けすることとを、さらに含むことができる。基準画像５００を確認する技術者は、欠陥５０８が検出される方法と同様に、画素強度のコントラストに基づいて、トウ４５６のトウ境界４５８を検出することができる。

図８は、図７の基準画像５００に関して生成された基準欠陥マスク５０４（すなわち、画素マスク）の例を示す。図１０は、図９の基準画像５００に関して生成された基準欠陥マスク５０４の例を示す。図１３は、図１２の基準画像５００に関して生成された基準欠陥マスク５０４の例を示す。各基準欠陥マスク５０４は、コース４５０内の各トウ４５６のトウ境界４５８またはトウ側縁部４６０を示し、一意のトウ識別番号４６２を各トウ４５６にラベル付けする。

基準画像５００の視覚的確認、および基準欠陥マスク５０４の生成は、画像アノテーションソフトウェアプログラムを使用して実行される。画像アノテーションソフトウェアプログラムの例には、どちらもＰｙｔｈｏｎプログラミング言語による、Ｎａｐａｒｉ^ＴＭと呼ばれる画像アノテーションツール、およびＳｃｉｋｉｔ－ｉｍａｇｅ^ＴＭと呼ばれる画像処理ツールが含まれるが、これらに限定されない。基準画像５００の視覚的確認は、自動繊維配置装置（例えば、レイアップヘッド）を用いた複合材料のレイアップ中に発生し得る様々な欠陥タイプ５１６を認識した経験を有するドメインエキスパートによって行われる。欠陥５０８を含む基準画像５００に対する基準欠陥マスク５０４を生成した後、この方法は、各基準画像５００および対応する基準欠陥マスク５０４を画像／マスクデータベース５０６（例えば、図１７）に保存することを含む。

図１６～図１７を参照すると、方法２００のステップ２０６は、入力として生産画像５６６（例えば、赤外線画像）を与えられると、モデル６０２によって検出された各欠陥５０８の欠陥位置５１０および欠陥タイプ５１６を示す生産欠陥マスク５６８を自動的に出力する機械学習欠陥識別モデル６０２（すなわち、モデル）を作成するように、人工ニューラルネットワーク６００を、セグメンテーションを実行するように、基準画像５００および対応する基準欠陥マスク５０４を使用して訓練することを含む。並んだトウ４５６（図６）でコース４５０が構成されている基準画像５００の場合、生産欠陥マスク５６８は、以下でより詳細に説明するように、コース４５０内の各トウのトウ境界４５８およびトウ識別番号４６２も含む。

ニューラルネットワーク６００を訓練するステップ２０６は、セマンティック画像セグメンテーションまたはインスタンスセグメンテーションのいずれかを実行するようにニューラルネットワーク６００を訓練することを含む。セマンティック画像セグメンテーションでは、モデル６０２は、各欠陥５０８のクラス（すなわち、欠陥タイプ）を決定するが、同じ画像内の欠陥５０８を別々のオブジェクトとして区別することはしない。例えば、生産画像５６６が、同じ欠陥タイプ５１６の２つの欠陥５０８を含む場合、モデル６０２は、欠陥５０８を別々のオブジェクトとして区別しないことがある。対照的に、インスタンスセグメンテーションでは、欠陥５０８の各インスタンスが、別々のオブジェクトとして識別される。

図１６は、人工ニューラルネットワーク６００のモデルアーキテクチャの一例の概略図である。ニューラルネットワーク６００は、畳み込みニューラルネットワーク６００である。モデル６０２は、入力層（図示せず）および出力層６１６を有し得る。さらに、モデル６０２は、エンコーダ部６０６およびデコーダ部６０８を含む。エンコーダ部６０６は、ある量の畳み込み層６１０およびある量のダウンサンプリング層６１２を含む。デコーダ部６０８は、ある量の畳み込み層６１０およびある量のアップサンプリング層６１４を含む。モデル６０２のエンコーダ部として使用できるアーキテクチャの例には、ＥｆｆｉｃｉｅｎｔＮｅｔ、Ｉｎｃｅｐｔｉｏｎ、およびＭｏｂｉｌｅＮｅｔが含まれるが、これらに限定されない。図１６に示されるように、エンコーダ部のアーキテクチャは、デコーダ部６０８を形成するためにミラーリングされる。

図１６では、各層は、ニューラルネットワーク６００のコア処理ユニットとして説明され得るニューロン６１８から構成される。各層のニューロン６１８は、チャネル６２０を介して、隣接する層のニューロン６１８に相互接続される。各チャネルは、初期の重み（つまり、数値）を有する。入力層は、基準画像５００（図１７参照）である入力を受け取る。出力層６１６は、基準欠陥マスク５０４（図１７）内に示された欠陥タイプ５１６（図９、図１２、図１５）である、ニューラルネットワーク６００の出力を予測する。

エンコーダ部６０６では、畳み込み層６１０が、基準画像５００内の特徴を要約し、ダウンサンプリング層６１２が、特徴の寸法を縮小する。デコーダ部６０８では、アップサンプリング層６１４が、特徴の寸法を増加させ、画素を欠陥マスク（例えば、基準欠陥マスク５０４または生産欠陥マスク５６８）になるようにグループ化する。ニューラルネットワーク６００は、追加の変換をニューロン６１８の出力に適用する活性化関数を含む。ニューラルネットワーク６００に実装され得る活性化関数の例としては、シグモイド関数、ソフトマックス関数、ｔａｎｈ関数、および整流線形ユニット（ＲｅＬＵ）などの既知の数学関数が挙げられるが、これらに限定されない。

エンコーダ部６０６およびデコーダ部６０８の畳み込み層６１０は、順伝播（例えば、図１６において左から右へ）によって協働し、基準画像５００内の欠陥タイプ５１６を予測または推論する。与えられた基準画像５００に対して、出力層６１６は、基準画像５００で予測された欠陥タイプ５１６と欠陥位置５１０を出力する。出力層６１６内の欠陥タイプ５１６および欠陥位置５１０（すなわち、予測された出力）は、対応する基準欠陥マスク５０４内に示された欠陥タイプ５１６および欠陥位置５１０（すなわち、実際の出力）と比較され、予測が誤りである場合、誤差の大きさは、逆伝播（例えば、図１６において右から左へ）によってニューラルネットワーク６００を通って逆方向に転送されて、重みが自動的に調整される。モデル６０２が基準欠陥マスク５０４内の欠陥タイプ５１６を十分な正解率（例えば、９５パーセントの正解率）で正しく識別するまで、順伝播および逆伝播のサイクルが、反復的に続く。

図１７は、モデル６０２の構成を最適化するためのモデルアーキテクチャ最適化ループ６０４の図である。モデル６０２の最適化は、モデルアーキテクチャ最適化ループ６０４においてモデルパラメータを選択および調整することを含む。モデルパラメータは、モデルの操作時に最初に選択される。モデルパラメータは、最適化中に調整される。例えば、モデル６０２のエンコーダ部６０６における畳み込み層６１０とダウンサンプリング層６１２の量が、調整されてもよい。加えて、モデル６０２のデコーダ部６０８における畳み込み層６１０とアップサンプリング層６１４の量が、調整されてもよい。調整され得る他のモデルパラメータは、ニューラルネットワーク６００に入力される基準画像５００のサイズ（すなわち、画素の量）、および／またはニューラルネットワーク６００における様々な種類の活性化関数の選択を含む。１つ以上のモデルパラメータを調整した後、方法は、ニューラルネットワーク６００を基準画像５００内の欠陥タイプ５１６にフィッティングさせることを含む。モデル６０２が、各基準欠陥マスク５０４内に存在する欠陥タイプ５１６を十分な正解率（例えば、９５パーセントの正解率）で正しく識別するまで、モデルパラメータを調整するステップ、および欠陥タイプ５１６にニューラルネットワーク６００をフィッティングさせるステップは、繰り返される。

図１８を参照して、製造中の生産レイアップ５６０の一例を示す。方法２００は、生産レイアップヘッド５６２を用いて、生産レイアップ５６０の複合材料プライ４７４のコース４５０を基板４７６上に載置することを含む。上述のように、生産レイアップヘッド５６２は、上述の基準レイアップヘッド４０４と同じであっても異なっていてもよい。ロボット装置４００によって支持されているのが示されているが、生産レイアップヘッド５６２は、オーバーヘッドガントリー（図示せず）によって、または生産レイアップヘッド５６２を基板４７６に対して移動させるための他の種々の機構のうちのいずれかの機構によって支持されてもよい。生産レイアップヘッド５６２は、図４～図６の基準レイアップヘッド４０４の上述した構成と同様の方法で取り付けられた赤外線カメラ４０６を含む。

図１８では、基板４７６は、生産レイアップツール５６４である。あるいは、基板４７６は、生産レイアップヘッド５６２によって生産レイアップツール５６４上に以前にレイアップされた複合材料プライ４７４であってもよい。図示の例では、各コース４５０は、図６に示す配置と同様に、互いに横に並んだ関係にある複合材料４５２のトウ４５６で構成されている。

方法２００のステップ２０８は、生産レイアップヘッド５６２によって載置されている生産レイアップ５６０のコース４５０の一連の生産画像５６６を、生産レイアップヘッド５６２の赤外線カメラ４０６を使用してキャプチャすることを含む。一連の生産画像５６６は、レイアップヘッドが複合材料４５２を基板４７６上に載置している間、リアルタイムでキャプチャされる。各生産画像５６６は、生産レイアップ５６０のビルド識別番号でラベル付けされてもよい。さらに、各生産画像５６６は、画像キャプチャ時刻および図１８に示す部品原点６３４などの基準位置に対する生産レイアップヘッド５６２の画像キャプチャ位置でラベル付けされてもよい。

図２０を参照すると、方法２００のステップ２１０は、モデル６０２を生産画像５６６に適用することと、欠陥５０８を含む生産画像５６６ごとに、欠陥タイプ５１６、コース４５０上の欠陥位置５１０、および欠陥５０８を含む１つ以上のトウ４５６のトウ識別番号を示す生産欠陥マスク５６８を自動的に（すなわち、人間の介入なしに）生成することと、を含む。モデル６０２は、各生産画像５６６が生成された直後に、各生産画像５６６に適用されてもよい。あるいは、モデル６０２は、コース４５０をレイアップした後に、一連の生産画像５６６に適用されてもよい。さらなる例では、モデル６０２は、複合材料プライ４７４全体をレイアップした後に、生産画像５６６に適用されてもよい。

図１９は、生産レイアップヘッド５６２によって生産レイアップツール５６４に最も新しく載置されたコース４５０のデジタル表現６３０を示すコンピュータ６４０を示す。コース４５０のデジタル表現６３０は、複合材料レイアップのコンピュータ支援設計（ＣＡＤ）モデルから抽出することができる。図２０は、生産欠陥マスク５６８を生成するためにモデル６０２に投入されている生産画像５６６を示す。生産画像５６６を入力として受け取ることに応答して、モデル６０２は、少なくとも１つの欠陥５０８を含む各生産画像５６６について生産欠陥マスク５６８を出力する（図９、図１２、および図１５）。上述したように、各生産欠陥マスク５６８は、各欠陥５０８の周りに境界ボックス５１２を配置するなどして、生産画像５６６内の各欠陥５０８の欠陥位置５１０を示す。さらに、各生産欠陥マスク５６８は、欠陥ラベル５１４によって、各欠陥５０８の欠陥タイプ５１６を識別する。

図２１～図２４を参照すると、コンピュータ６４０の表示画面６４２が示されている。１つ以上の生産欠陥マスク５６８を生成すると、方法２００は、各生産欠陥マスク５６８を、対応する生産画像５６６内にキャプチャされたコース４５０の領域のデジタル表現６３０と空間的に位置合わせして、図２２に示すような欠陥マップ６３２をもたらすことを含む。各生産欠陥マスク５６８を生産レイアップ５６０のコース４５０のデジタル表現６３０と空間的に位置合わせするプロセスは、生産欠陥マスク５６８内に示された各欠陥５０８の画素単位の位置に基づいて、コース４５０に関連付けられた各欠陥５０８の部品上位置６３６を推論することを含む。さらに、各欠陥５０８の部品上位置６３６を推論することは、欠陥５０８を含むトウ４５６のトウ識別番号と、欠陥５０８を含む生産画像５６６の画像キャプチャ時刻における生産レイアップ５６０に対する生産レイアップヘッド５６２の位置とに基づいてもよい。生産レイアップヘッド５６２の位置は、ビルドログ、コース形状、およびマシンコード（すなわち、生産レイアップヘッド５６２の移動経路を定めるプログラミング命令）を介して取得されてもよい。生産レイアップヘッド５６２に対する赤外線カメラ４０６の位置と向きもまた、各欠陥５０８の部品上位置６３６を推論するために使用することができる。

いくつかの例では、複合材料プライ４７４の全てのコース４５０をレイアップした後に、欠陥マップ６３２が生成されてもよい。図２３～図２４は、生産レイアップツール５６４上にレイアップされた複合材料プライ４７４全体のデジタル表現６３０を含み、複合材料プライ４７４に関連付けられた各欠陥５０８の部品上位置６３６を（境界ボックス５１２などの欠陥境界５１１によって）示す欠陥マップ６３２の例を示している。図２４は、図２３の欠陥マップ６３２の一部を拡大した図であり、いくつかの欠陥５０８の部品上座標と欠陥タイプ５１６を図示している。

図２２～図２４の例では、各欠陥マップ６３２は、生産レイアップ５６０のデジタル表現６３０を含み、生産欠陥マスク５６８内に画定された各欠陥５０８の欠陥位置５１０および欠陥タイプ５１６を含む。図２４の欠陥マップ６３２では、各欠陥５０８の部品上位置６３６は、部品原点６３４に対するｘ、ｙ、ｚ座標で定められる。各部品上位置６３６において、欠陥マップ６３２は、トウ４５６のトウ境界４５８を示し、欠陥５０８を含むトウ４５６のトウ識別番号４６２を記載し、さらに、欠陥５０８の欠陥タイプ５１６を記載している。

方法２００は、欠陥マップ６３２を使用して、欠陥マップ６３２上に示された欠陥５０８の１つ以上を、生産部品（すなわち、生産レイアップ５６０）上に物理的に位置特定することを含んでもよい。例えば、生産レイアップ５６０の複合材料プライ４７４の各コース４５０のレイアップに続いて、品質保証担当者は、コース４５０に関して自動的に生成された欠陥マップ６３２上に画定された各欠陥５０８（もしあれば）を物理的に位置特定することができる。品質保証担当者は、欠陥５０８の１つ以上を物理的に検査して、欠陥５０８が許容可能か許容不可能かを決定することができる。許容不可能な場合、欠陥５０８を修復するかどうか、および／または１つ以上のレイアップ制御プロセスを調整するかどうかについての決定を行うことができる。

欠陥５０８に対する修復のタイプは、欠陥タイプ５１６、コース４５０の形状に対する、および／または複合材料プライ４７４内の他の欠陥５０８に対する欠陥位置５１０、ならびに他の要因を含む様々な要因によって決定され得る。方法２００は、生産レイアップ５６０の後続のコース４５０を載置する前に、欠陥５０８の１つ以上を修復することを含んでもよい。例えば、方法２００は、コース４５０の長さ方向の一部区間を除去して交換すること、またはコース４５０の１つ以上のトウ４５６の全長を除去して交換することを含んでもよい。

上述したように、方法２００は、生産レイアップ５６０をレイアップすることに関連する１つ以上のレイアップ制御プロセスを調整することを含むこともできる。レイアップ制御プロセスは、欠陥マップ６３２上に示された欠陥５０８と同じ欠陥タイプ５１６の欠陥５０８のその後の形成を低減するように調整される。例えば、方法２００は、後続のコース４５０をレイアップする際の生産レイアップヘッド５６２の移動速度を調整することを含んでもよい。この点において、生産レイアップヘッド５６２は、コース４５０の異なる長さ方向区間において異なる移動速度で移動するように調整されてもよい。一例では、生産レイアップヘッド５６２の移動速度は、表面の湾曲の度合いが大きい生産レイアップ５６０の長さ方向区間に沿って減少し、ほぼ平坦または平面状である生産レイアップ５６０の区間に沿って増加してもよい。

低品質のタック５３４として識別された欠陥５０８の場合、方法２００は、加熱装置４１４（図４）の熱４１６出力（図４）を調整して、圧縮ローラー４１２（図４）による圧縮の前に基板４７６の温度を上昇させ、それによってコース４５０と基板４７６との間のタック（すなわち、付着力）を増加させることを、含むことができる。圧縮ローラー４１２によって基板４７６に押しつけるようにコース４５０に加えられる圧縮圧力の量もまた、タックを改善するために調整することができる。調整され得る他のレイアップ制御プロセスは、製造環境の周囲空気温度および／または湿度レベル、レイアップヘッドによる載置前の複合材料４５２のアウトタイム、ならびに基板４７６上への生産レイアップヘッド５６２による載置中のコース４５０内の張力の大きさを含む。

いくつかの例では、方法２００は、欠陥５０８と、最も近い隣接する欠陥５０８との間の距離に基づいて、コース４５０内の各欠陥５０８が許容可能か許容不可能かを決定することを含み得る。欠陥５０８が許容不可能とみなされる場合、方法２００は、欠陥５０８を修復すること、および／または欠陥タイプ５１６に基づいて１つ以上のレイアッププロセスパラメータを調整することを含む。例えば、コース４５０を除去せずにアクセス可能な、樹脂ボール５３８やファズボール５４０などの異物５３６の場合、コース４５０を修復するステップは、欠陥５０８を単に除去することを含む。コース４５０を除去しなければアクセスできない異物５３６の場合、コース４５０を修復するステップは、複合材料プライ４７４全体をレイアップする前または後にコース４５０を除去し、異物５３６を除去し、手動で、または生産レイアップヘッド５６２を用いてコース４５０を再載置することを含む。

コース４５０内のねじれ５１８、折り目５２０、隙間５２２、重なり５２４、ブリッジング（図示せず）、パッカー５２８、またはしわ５３０などの欠陥５０８の場合、コース４５０を修復するステップは、欠陥５０８を含むテープ４５４またはトウ４５６の少なくとも一部を除去し、コース４５０と基板４７６との間のタックを増加させるために加熱装置４１４からの熱出力を増加させてコース４５０を再載置することを含む。コース４５０内のブリッジング（図示せず）、パッカー５２８、またはしわ５３０などの欠陥５０８の場合、方法２００は、少なくとも、欠陥５０８が発生したコース４５０の区間に沿って、生産レイアップヘッド５６２の移動速度を低下させることを含むこともできる。テープまたはトウの欠落５３２の場合、コース４５０を修復するステップは、テープ４５４またはトウ４５６を、手動で、または生産レイアップヘッド５６２を使用して、欠落した場所に載置することを含む。

いくつかの例では、方法２００は、生産画像５６６を使用して、モデル６０２の正解率をさらに高めることを、含むことができる。例えば、生産レイアップ５６０の新しい構成を製造する初期段階において、方法は、欠陥５０８がないか生産画像５６６を手動で確認することと、欠陥５０８を含む生産画像５６６ごとに、生産画像５６６内の各欠陥５０８の欠陥位置５１０および欠陥タイプ５１６を示す基準欠陥マスク５０４を生成することと、を含むことができる。生産画像５６６の手動確認と、欠陥５０８を含む生産画像５６６の欠陥マスクの生成は、ステップ２０４で基準画像５００について上述したのと同じ方法で実行されてもよく、画像アノテーションソフトウェアプログラムを使用して実行することができる。生産画像５６６を手動で確認し、欠陥マスクを生成した後、方法２００は、上述のステップ２０６と同様の方法で生産画像５６６および対応する欠陥マスクをニューラルネットワーク６００に入力して、生産レイアップヘッド５６２によって載置される後続のコース４５０の生産画像５６６内の欠陥５０８を検出する際のモデル６０２の正解率を高めるためにモデル６０２をさらに訓練することを、含む。

次に図２５Ａ～図２５Ｂを参照すると、複合材料レイアップ内の欠陥５０８のインプロセスマッピングの方法３００が示されている。上述のように、方法１００および／または方法２００に関連する上記のステップ、機能、および装置のうちの任意の１つ以上が、方法３００に適用可能である。方法３００は、上記の方法１００および方法２００と範囲が類似している。しかし、方法３００では、基準レイアップ４７０のレイアップおよび／または基準画像５００のキャプチャは、第三者によって実行されてもよい。方法３００のステップ３０２は、基準レイアップヘッド４０４による基板４７６上への載置中の基準レイアップ４７０のコース４５０の複数の基準画像５００のそれぞれについて、基準欠陥マスク５０４を、画像アノテーションソフトウェアプログラムを使用して手動で生成することを含む。上述のように、各基準画像５００は、サーモグラフィー画像であり、コース４５０に関連付けられた１つ以上の欠陥５０８を示し得る。方法３００のステップ３０４は、入力として生産画像５６６を与えられると、モデル６０２によって検出された各欠陥５０８の欠陥位置５１０および欠陥タイプ５１６を示す生産欠陥マスク５６８を出力する機械学習欠陥識別モデル６０２を作成するように、人工ニューラルネットワーク６００を、インスタンスセグメンテーションを実行するように、基準画像５００および対応する基準欠陥マスク５０４を使用して訓練することを含む。

方法３００のステップ３０６は、生産レイアップヘッド５６２によってレイアップされている生産レイアップ５６０の１つ以上のコース４５０の一連の生産画像５６６を、生産レイアップヘッド５６２の赤外線カメラ４０６を使用してキャプチャすることを含む。上述のように、図１８は、生産レイアップヘッド５６２によって生産レイアップツール５６４に載置されている生産レイアップ５６０のコース４５０の例を示す。方法３００のステップ３０８は、モデル６０２をリアルタイムで生産画像５６６に適用して、生産レイアップ５６０のコース４５０内の欠陥５０８を自動的に位置特定して分類することを含む。上述のように、図２０は、ステップ３０４で作成されたモデル６０２に適用されている生産画像５６６の例を示す。

図２０に示すように、方法３００のステップ３１０は、上述のように、欠陥５０８を含む生産画像５６６ごとに、モデル６０２によって検出された各欠陥５０８の欠陥位置５１０および欠陥タイプ５１６を示す生産欠陥マスク５６８を自動的に生成することを含む。方法３００のステップ３１２は、図２１の例に示すように、各生産欠陥マスク５６８をコース４５０のデジタル表現６３０と空間的に位置合わせして、図２２～図２４に示すように、コース４５０に関連付けられた各欠陥５０８の部品上位置６３６および欠陥タイプ５１６を含む欠陥マップ６３２をもたらすことを含む。

方法３００のステップ３１４は、欠陥マップ６３２を使用して、コース４５０に関連付けられた欠陥５０８の１つ以上を物理的に位置特定することを含む。上述のように、方法は、生産レイアップ５６０の後続のコース４５０を載置する前に欠陥５０８の１つ以上を修復すること、および／または現在の生産レイアップ５６０もしくは将来の生産レイアップ５６０において同じ欠陥タイプ５１６の欠陥５０８の形成を低減するように少なくとも１つのレイアップ制御プロセスを調整することを含む。方法３００は、生産レイアップ５６０の各複合材料プライ４７４における全てのコース４５０がレイアップされるまで、各コース４５０についてステップ３０６、３０８、３１０、および３１２を繰り返すことを含むステップ３１６を、さらに含む。

本開示による、さらなる例示的かつ非排他的な例が、以下の段落で説明される。

本開示による一例では、複合材料レイアップ内の欠陥５０８のインプロセス検出の方法は、基準レイアップヘッド４０４によってレイアップされている基準レイアップ４７０のコース４５０の一連の基準画像５００を、基準レイアップヘッド４０４の赤外線カメラ４０６を使用してキャプチャするステップと、欠陥５０８がないか基準画像５００を手動で確認し、欠陥５０８を含む基準画像５００ごとに、基準画像５００内の各欠陥５０８の欠陥位置５１０を示し、欠陥タイプ５１６を識別する基準欠陥マスク５０４を生成するステップと、生産画像５６６を入力として与えられると、モデル６０２によって検出された各欠陥５０８の欠陥位置５１０および欠陥タイプ５１６を示す生産欠陥マスク５６８を出力する機械学習欠陥識別モデル６０２を作成するように、人工ニューラルネットワーク６００を、セグメンテーションを実行するように、基準画像５００および対応する基準欠陥マスク５０４を使用して訓練するステップと、生産レイアップヘッド５６２によってレイアップされている生産レイアップ５６０の少なくとも１つのコース４５０の一連の生産画像５６６を、生産レイアップヘッド５６２の赤外線カメラ４０６を使用してキャプチャするステップと、モデル６０２を生産画像５６６に適用し、欠陥５０８を含む生産画像５６６ごとに、モデル６０２によって検出された各欠陥５０８の欠陥位置５１０を示し、欠陥タイプ５１６を識別する生産欠陥マスク５６８を自動的に生成するステップと、を含む。

任意選択で、前の段落の方法において、ニューラルネットワーク６００を訓練することは、畳み込みニューラルネットワークを訓練することを含む。

任意選択で、前の段落のうちの１つの段落の方法において、畳み込みニューラルネットワークを訓練することは、モデルアーキテクチャのエンコーダ部６０６における畳み込み層６１０およびダウンサンプリング層６１２の量、モデルアーキテクチャのデコーダ部６０８における畳み込み層６１０およびアップサンプリング層６１４の量、ニューラルネットワーク６００に入力される基準画像５００のサイズ、ニューラルネットワーク６００の活性化関数の種類、のうちの少なくとも１つを含むモデルパラメータを、モデルアーキテクチャ最適化ループ６０４において選択または調整することと、ニューラルネットワーク６００を基準画像５００内の欠陥タイプ５１６にフィッティングさせることと、モデル６０２が基準欠陥マスク５０４内に示された欠陥タイプ５１６を正しく識別するまで、モデルパラメータを調整するステップとニューラルネットワーク６００をフィッティングさせるステップを繰り返すことと、を含む。

任意選択で、前の段落のうちの１つの段落の方法は、各生産欠陥マスク５６８を、対応する生産画像５６６内にキャプチャされたコース４５０の領域のデジタル表現６３０と空間的に位置合わせし、コース４５０に関連付けられた各欠陥５０８の部品上位置６３６および欠陥タイプ５１６を含む欠陥マップ６３２をもたらすことを、さらに含む。

任意選択で、前の段落のうちの１つの段落の方法において、各生産欠陥マスク５６８をコース４５０のデジタル表現６３０と空間的に位置合わせすることは、モデル６０２によって検出された各欠陥５０８の画素単位の位置、欠陥５０８を含む生産画像５６６の画像キャプチャ時刻における生産レイアップ５６０に対する生産レイアップヘッド５６２の位置、ならびに生産レイアップヘッド５６２に対する赤外線カメラ４０６の位置および向き、のうちの少なくとも１つに基づいて、コース４５０に関連付けられた各欠陥５０８の部品上位置６３６を推論することを含む。

任意選択で、前の段落のうちの１つの段落の方法は、コース４５０に関連付けられた欠陥５０８の１つ以上を、欠陥マップ６３２を使用して物理的に位置特定することと、生産レイアップ５６０の後続のコース４５０を載置する前に欠陥５０８の１つ以上を修復すること、および欠陥マップ６３２上に示された欠陥５０８の１つ以上と同じ欠陥タイプ５１６の欠陥５０８のその後の形成を低減するように、少なくとも１つのレイアッププロセスパラメータを調整すること、のうちの少なくとも一方を実行することと、をさらに含む。

任意選択で、前の段落のうちの１つの段落の方法において、少なくとも１つのレイアッププロセスパラメータを調整することは、基板４７６上にコース４５０を載置する際の生産レイアップヘッド５６２の移動速度、コース４５０の載置前に基板４７６を加熱するための加熱装置４１４の熱出力、および基板４７６に押しつけてコース４５０を圧縮する圧縮装置４１０の圧縮圧力、のうちの少なくとも１つを調整することを含む。

任意選択で、前の段落のうちの１つの段落の方法において、コース４５０は、単一幅のテープ４５４として、または複数の横に並んだトウ４５６としてレイアップされ、各欠陥５０８の欠陥タイプ５１６を識別するステップは、欠陥５０８を、ねじれ、折り目、隙間、重なり、ブリッジング、パッカー、しわ、テープまたはトウの欠落、低品質のタック、異物、樹脂ボール、ファズボール、のうちの１つとして識別することを含む。

任意選択で、前の段落のうちの１つの段落の方法において、基準画像５００をキャプチャすることは、赤外線カメラ４０６を使用して、基準レイアップヘッド４０４の圧縮装置４１０のすぐ後方のコース４５０上の位置における基準画像５００をキャプチャすることを含み、圧縮装置４１０は、基板４７６に押しつけてコース４５０を圧縮するように構成されている。

任意選択で、前の段落のうちの１つの段落の方法は、基準レイアップヘッド４０４の加熱装置４１４を使用して、圧縮装置４１０のすぐ前方の基板４７６の領域に熱４１６を加えることを、さらに含む。

任意選択で、前の段落のうちの１つの段落の方法は、部品外画像、遮られた視界画像、および非レイアップヘッド移動画像のうちの少なくとも１つである基準画像５００を削除することを、さらに含む。

任意選択で、前の段落のうちの１つの段落の方法において、各基準画像５００は、強度値を有する画素で構成され、この方法は、基準画像５００から非レイアップ特徴部を除去するために各基準画像５００をクロッピングすることと、基準画像５００の画素の強度値を平均画素値で中心化し、画素の強度値の範囲を標準偏差で再スケーリングすることによって、各基準画像５００を正規化することと、のうちの少なくとも一方を実行することによって、ニューラルネットワーク６００を訓練するための準備として基準画像５００を前処理することを、さらに含む。

任意選択で、前の段落のうちの１つの段落の方法において、各欠陥５０８の欠陥位置５１０を示すことは、基準画像５００内の各欠陥５０８の周りに欠陥境界５１１を形成すること、または、基準画像５００内の各欠陥５０８を表す画素を色分けすること、のうちの一方を含む。

任意選択で、前の段落のうちの１つの段落の方法において、基準欠陥マスク５０４を生成することは、画像アノテーションソフトウェアプログラムを使用して実行される。

任意選択で、前の段落のうちの１つの段落の方法において、セグメンテーションを実行するようにニューラルネットワーク６００を訓練することは、セマンティック画像セグメンテーションまたはインスタンスセグメンテーションのうちの一方を実行するようにニューラルネットワーク６００を訓練することを含む。

任意選択で、前の段落のうちの１つの段落の方法は、欠陥５０８がないか生産画像５６６を手動で確認し、手動で検出された欠陥５０８を含む生産画像５６６ごとに、生産画像５６６内の各欠陥５０８の欠陥位置５１０および欠陥タイプ５１６を示す基準欠陥マスク５０４を生成すること、ならびに生産画像５６６および対応する基準欠陥マスク５０４をニューラルネットワーク６００に入力して、生産レイアップヘッド５６２によって載置される後続のコース４５０の生産画像５６６内の欠陥５０８を検出する際のモデル６０２の正解率を高めるためにモデル６０２をさらに訓練すること、をさらに含む。

本開示による別の例では、複合材料レイアップ内の欠陥５０８のインプロセス検出の方法は、基準レイアップヘッド４０４によってレイアップされている基準レイアップ４７０のコース４５０であって、互いに横に並んだ関係にある複数のトウ４５６を含むコース４５０の一連の基準画像５００を、基準レイアップヘッド４０４の１つ以上の赤外線カメラ４０６を使用してキャプチャすることと、欠陥５０８がないか基準画像５００を手動で確認し、欠陥５０８を含む基準画像５００ごとに、コース４５０内の各トウ４５６のトウ境界４５８および一意のトウ識別番号４６２を示し、基準画像５００内の各欠陥５０８の欠陥位置５１０を示し、欠陥タイプ５１６を識別する基準欠陥マスク５０４を生成することと、生産画像５６６を入力として与えられると、コース４５０内の各トウ４５６のトウ境界４５８およびトウ識別番号４６２、ならびにモデル６０２によって検出された各欠陥５０８の欠陥位置５１０および欠陥タイプ５１６を示す生産欠陥マスク５６８を出力する機械学習欠陥識別モデル６０２を作成するように、人工ニューラルネットワーク６００を、インスタンスセグメンテーションを実行するように、基準画像５００および対応する基準欠陥マスク５０４を使用して訓練することと、生産レイアップヘッド５６２によってレイアップされている生産レイアップ５６０のトウ４５６のコース４５０の一連の生産画像５６６を、生産レイアップヘッド５６２の１つ以上の赤外線カメラ４０６を使用してキャプチャすることと、モデル６０２を生産画像５６６に適用し、欠陥５０８を含む生産画像５６６ごとに、欠陥タイプ５１６を示し、コース４５０の長さ方向に沿って欠陥位置５１０を特定し、欠陥５０８を含む１つ以上のトウ４５６のトウ識別番号４６２を示す生産欠陥マスク５６８を自動的に生成することと、を含む。

任意選択で、前の段落の方法は、各生産欠陥マスク５６８を、対応する生産画像５６６内にキャプチャされたコース４５０の領域のデジタル表現６３０と空間的に位置合わせし、コース４５０に関連付けられた各欠陥５０８の部品上位置６３６および欠陥タイプ５１６を含む欠陥マップ６３２をもたらすことを、さらに含む。

条項１９．各生産欠陥マスク５６８をコース４５０のデジタル表現６３０と空間的に位置合わせすることは、モデル６０２によって検出された各欠陥５０８の画素単位の位置、欠陥５０８を含む１つ以上のトウ４５６のトウ識別番号４６２、欠陥５０８を含む生産画像５６６の画像キャプチャ時刻における生産レイアップ５６０に対する生産レイアップヘッド５６２の位置、ならびに生産レイアップヘッド５６２に対する赤外線カメラ４０６の位置および向き、のうちの少なくとも１つに基づいて、コース４５０に関連付けられた各欠陥５０８の部品上位置６３６を推論することを含む、条項１７または１８の方法。

本開示による別の例では、複合材料レイアップ内の欠陥５０８のインプロセスマッピングの方法は、基準レイアップヘッド４０４によって基板４７６上へ載置中の基準レイアップ４７０のコース４５０の複数の基準画像５００であって、各基準画像５００がコース４５０内の少なくとも１つの欠陥５０８を示す、複数の基準画像５００のそれぞれについて、基準欠陥マスク５０４を、画像アノテーションソフトウェアプログラムを使用して手動で生成することと、生産画像５６６を入力として与えられると、モデル６０２によって検出された各欠陥５０８の欠陥位置５１０および欠陥タイプ５１６を示す生産欠陥マスク５６８を出力する機械学習欠陥識別モデル６０２を作成するように、人工ニューラルネットワーク６００を、インスタンスセグメンテーションを実行するように、基準画像５００および対応する基準欠陥マスク５０４を使用して訓練することと、生産レイアップヘッド５６２によってレイアップされている生産レイアップ５６０の１つ以上のコース４５０の一連の生産画像５６６を、生産レイアップヘッド５６２の赤外線カメラ４０６を使用してキャプチャすることと、モデル６０２をリアルタイムで生産画像５６６に適用して、生産レイアップ５６０の１つ以上のコース４５０内の欠陥５０８を自動的に位置特定して分類することと、を含む。

本開示の多くの修正ならびに他の形態および例が、前述の説明および関連する図面に提示された教示の利益を有する、本開示が属する技術分野の当業者に思い浮かぶであろう。本明細書に記載された形態および例は、例示であって、限定的または網羅的であることを意図していない。本明細書では特定の用語を用いているが、これらは、一般的かつ説明的な意味でのみ使用されており、限定を目的としたものではない。本明細書に列挙したものに加えて、本開示の範囲内の機能的に等価な方法および装置が、前述の説明から可能である。このような修正および変形は、添付の特許請求の範囲に含まれることが意図されている。本開示は、添付の特許請求の範囲が権利を有する同等物の全範囲と共に、特許請求の範囲の条項によってのみ限定されるものである。

Claims (15)

1. 複合材料レイアップ内の欠陥（５０８）のインプロセス検出の方法であって、
   基準レイアップヘッド（４０４）によってレイアップされている基準レイアップ（４７０）のコース（４５０）の一連の基準画像（５００）を、前記基準レイアップヘッド（４０４）の赤外線カメラ（４０６）を使用してキャプチャするステップと、
   欠陥（５０８）がないか前記基準画像（５００）を手動で確認し、欠陥（５０８）を含む基準画像（５００）ごとに、前記基準画像（５００）内の各欠陥（５０８）の欠陥位置（５１０）を示し、欠陥タイプ（５１６）を識別する基準欠陥マスク（５０４）を生成するステップと、
   機械学習欠陥識別モデル（６０２）であって、生産画像（５６６）を入力として与えられると、前記モデル（６０２）によって検出された各欠陥（５０８）の前記欠陥位置（５１０）および前記欠陥タイプ（５１６）を示す生産欠陥マスク（５６８）を出力する機械学習欠陥識別モデル（６０２）を作成するように、人工ニューラルネットワーク（６００）を、セグメンテーションを実行するように、前記基準画像（５００）および対応する基準欠陥マスク（５０４）を使用して訓練するステップと、
   生産レイアップヘッド（５６２）によってレイアップされている生産レイアップ（５６０）の少なくとも１つのコース（４５０）の一連の生産画像（５６６）を、前記生産レイアップヘッド（５６２）の赤外線カメラ（４０６）を使用してキャプチャするステップと、
   前記モデル（６０２）を前記生産画像（５６６）に適用し、欠陥（５０８）を含む生産画像（５６６）ごとに、前記モデル（６０２）によって検出された各欠陥（５０８）の前記欠陥位置（５１０）を示し、前記欠陥タイプ（５１６）を識別する生産欠陥マスク（５６８）を自動的に生成するステップと、
   を含む方法。
2. 前記ニューラルネットワーク（６００）を訓練することが、畳み込みニューラルネットワークを訓練することを含む、請求項１に記載の方法。
3. 前記畳み込みニューラルネットワークを訓練することが、
   モデルアーキテクチャのエンコーダ部（６０６）における畳み込み層（６１０）およびダウンサンプリング層（６１２）の量、
   前記モデルアーキテクチャのデコーダ部（６０８）における畳み込み層（６１０）およびアップサンプリング層（６１４）の量、
   前記ニューラルネットワーク（６００）に入力される前記基準画像（５００）のサイズ、
   前記ニューラルネットワーク（６００）の活性化関数の種類、
   のうちの少なくとも１つを含むモデルパラメータを、モデルアーキテクチャ最適化ループ（６０４）において選択または調整することと、
   前記ニューラルネットワーク（６００）を前記基準画像（５００）内の前記欠陥タイプ（５１６）にフィッティングさせることと、
   前記モデル（６０２）が、前記基準欠陥マスク（５０４）内に示された前記欠陥タイプ（５１６）を正しく識別するまで、前記モデルパラメータを調整するステップと前記ニューラルネットワーク（６００）をフィッティングさせるステップを繰り返すことと、
   を含む、請求項２に記載の方法。
4. 各生産欠陥マスク（５６８）を、対応する前記生産画像（５６６）内にキャプチャされた前記コース（４５０）の領域のデジタル表現（６３０）と空間的に位置合わせし、前記コース（４５０）に関連付けられた各欠陥（５０８）の部品上位置（６３６）および前記欠陥タイプ（５１６）を含む欠陥マップ（６３２）をもたらすことを、さらに含む、請求項１から３のいずれか一項に記載の方法。
5. 各生産欠陥マスク（５６８）を前記コース（４５０）の前記デジタル表現（６３０）と空間的に位置合わせすることが、
   前記モデル（６０２）によって検出された各欠陥（５０８）の画素単位の位置、
   前記欠陥（５０８）を含む前記生産画像（５６６）の画像キャプチャ時刻における前記生産レイアップ（５６０）に対する前記生産レイアップヘッド（５６２）の位置、ならびに
   前記生産レイアップヘッド（５６２）に対する前記赤外線カメラ（４０６）の位置および向き、
   のうちの少なくとも１つに基づいて、前記コース（４５０）に関連付けられた各欠陥（５０８）の前記部品上位置（６３６）を推論することを含む、請求項４に記載の方法。
6. 前記コース（４５０）に関連付けられた前記欠陥（５０８）の１つ以上を、前記欠陥マップ（６３２）を使用して物理的に位置特定することと、
   前記生産レイアップ（５６０）の後続のコース（４５０）を載置する前に、前記欠陥（５０８）の１つ以上を修復すること、および
   前記欠陥マップ（６３２）上に示された前記欠陥（５０８）の１つ以上と同じ欠陥タイプ（５１６）の欠陥（５０８）のその後の形成を低減するように、少なくとも１つのレイアッププロセスパラメータを調整すること、
   のうちの少なくとも一方を実行することと、
   をさらに含む、請求項４に記載の方法。
7. 少なくとも１つのレイアッププロセスパラメータを調整することが、
   基板（４７６）上にコース（４５０）を載置する際の前記生産レイアップヘッド（５６２）の移動速度、
   前記コース（４５０）の載置前に前記基板（４７６）を加熱するための加熱装置（４１４）の熱出力、および
   前記基板（４７６）に押しつけて前記コース（４５０）を圧縮する圧縮装置（４１０）の圧縮圧力、
   のうちの少なくとも１つを調整することを含む、請求項６に記載の方法。
8. 前記コース（４５０）が、単一幅のテープ（４５４）として、または複数の横に並んだトウ（４５６）としてレイアップされ、各欠陥（５０８）の前記欠陥タイプ（５１６）を識別するステップが、
   欠陥（５０８）を、ねじれ、折り目、隙間、重なり、ブリッジング、パッカー、しわ、テープまたはトウの欠落、低品質のタック、異物、樹脂ボール、ファズボール、のうちの１つとして識別することを含む、請求項１から３のいずれか一項に記載の方法。
9. 前記基準画像（５００）をキャプチャすることが、
   前記赤外線カメラ（４０６）を使用して、前記基準レイアップヘッド（４０４）の圧縮装置（４１０）であって、基板（４７６）に押しつけて前記コース（４５０）を圧縮するように構成された圧縮装置（４１０）のすぐ後方の前記コース（４５０）上の位置における前記基準画像（５００）をキャプチャすることと、
   前記基準レイアップヘッド（４０４）の加熱装置（４１４）を使用して、前記圧縮装置（４１０）のすぐ前方の前記基板（４７６）の領域に熱（４１６）を加えることと、
   を含む、請求項１から３のいずれか一項に記載の方法。
10. 部品外画像、遮られた視界画像、および非レイアップヘッド移動画像、のうちの少なくとも１つである基準画像（５００）を削除することを、さらに含む、請求項１から３のいずれか一項に記載の方法。
11. 各基準画像（５００）は、強度値を有する画素で構成され、前記方法が、
    各基準画像（５００）を、前記基準画像（５００）から非レイアップ特徴部を除去するようにクロッピングすること、および
    各基準画像（５００）を正規化することであって、前記基準画像（５００）の前記画素の前記強度値を平均画素値で中心化し、前記画素の前記強度値の範囲を標準偏差で再スケーリングすることによって、各基準画像（５００）を正規化すること、
    のうちの少なくとも一方を実行することによって、前記ニューラルネットワーク（６００）を訓練するための準備として前記基準画像（５００）を前処理することを、さらに含む、請求項１から３のいずれか一項に記載の方法。
12. 各欠陥（５０８）の前記欠陥位置（５１０）を示すことが、
    前記基準画像（５００）内で各欠陥（５０８）の周りに欠陥境界（５１１）を形成すること、または
    前記基準画像（５００）内で各欠陥（５０８）を表す画素を色分けすること、
    のうちの一方を含む、請求項１から３のいずれか一項に記載の方法。
13. 前記基準欠陥マスク（５０４）を生成することが、画像アノテーションソフトウェアプログラムを使用して実行される、請求項１から３のいずれか一項に記載の方法。
14. セグメンテーションを実行するように前記ニューラルネットワーク（６００）を訓練することが、
    セマンティック画像セグメンテーションまたはインスタンスセグメンテーションのうちの一方を実行するように前記ニューラルネットワーク（６００）を訓練することを含む、請求項１から３のいずれか一項に記載の方法。
15. 欠陥（５０８）がないか前記生産画像（５６６）を手動で確認し、手動で検出された欠陥（５０８）を含む生産画像（５６６）ごとに、前記生産画像（５６６）内の各欠陥（５０８）の前記欠陥位置（５１０）および前記欠陥タイプ（５１６）を示す基準欠陥マスク（５０４）を生成することと、
    前記生産画像（５６６）および対応する基準欠陥マスク（５０４）を前記ニューラルネットワーク（６００）に入力して、前記生産レイアップヘッド（５６２）によって載置される後続のコース（４５０）の前記生産画像（５６６）内の欠陥（５０８）を検出する際の前記モデル（６０２）の正解率を高めるために前記モデル（６０２）をさらに訓練することと、
    をさらに含む、請求項１から３のいずれか一項に記載の方法。

Images