JP2023145412A - 欠陥検出方法及びシステム - Google Patents

Abstract

【課題】ウエハ等の欠陥を発見し、欠陥を分類する能力を改善する。【解決手段】自動欠陥検出及び分類システムは、１つ以上のコンピューティング・デバイスが、被試験対象物の超音波スキャンで取得したスキャン・データにアクセスする（６０２）。２Ｄスキャン画像を含む第１入力特徴マップがスキャン・データから生成され（６０４）、第１ディープ・ニューラル・ネットワークに入力されて（６０８）、第１出力特徴マップを生成する。欠陥のない対象物の画像を含む第２入力特徴マップが、第１ディープ・ニューラル・ネットワークと同じ構造及び重み値を有する第２ディープ・ニューラル・ネットワークに入力され（６１０）、第２出力特徴マップを生成する。被試験対象物は、第１及び第２出力特徴マップの間の距離が大きい場合に欠陥が含まれると判断される（６１４）。【選択図】図６

Description

本開示は、超音波非破壊検査（ＮＤＴ）において利用される、スキャンされた超音波画像から欠陥を自動的に検出及び分類するメカニズムを提供するシステム及び方法に関する。

機械的位置決めシステムは、超音波トランシーバ・トランスデューサと、被試験デバイス（ＤＵＴ）の反対側にあるレシーバ・トランスデューサとを同期してスキャンできる。非破壊検査（Non-Destructive Testing：NDT）は、例えば、複数のデバイスを有することがある半導体ウエハと、チップ・パッケージの試験に使用されることがある。ＤＵＴからトランシーバに戻る反射信号は、ＴＤＲ（Time Domain Reflection：時間領域反射）波形であり、一方、第２のレシーバから収集される波形は、ＴＤＴ（Time Domain Transmission：時間領域伝送）波形である。両方の波形の時間軸は、ＤＵＴを表す位置空間のＺ軸に沿った距離に正比例する。これらトランスデューサは、ＤＵＴのＸ軸とＹ軸によって定義される位置空間に沿ってスキャンされる。スキャンされた波形は、アクイジション（データ取り込み）システムによってデジタル化され、画像生成ブロックは、ＴＤＴ/ＴＤＲスキャン・データに基づいて、ＤＵＴの欠陥画像を作成する。

特開２０２２－０２７４７３号公報 国際公開第２０１９／２１６３０３号 特開２０１４－１４９１７７号公報

「ハイパースペクトルセンサー・イメージ分光カメラ」、株式会社アルゴ、［online］、［２０２３年３月２５日検索］、インターネット<https://www.argocorp.com/cam/special/HeadWall/how_it_works.html> 「次元削減のためのシャム ネットワークの学習」、The MathWorks, Inc.、［online］、［２０２３年３月２７日検索］、インターネット<https://jp.mathworks.com/help/deeplearning/ug/train-a-siamese-network-for-dimensionality-reduction.html> 「ResNet-18 畳み込みニューラル ネットワーク」、The MathWorks, Inc.、［online］、［２０２３年３月２７日検索］、インターネット<https://jp.mathworks.com/help/deeplearning/ref/resnet18.html> 「現場ですぐ使える！ Python プログラミング 逆引き大全４００の極意」、特に、第６７８頁、Tips 353 「畳み込みニューラルネットワークとは」など、株式会社秀和システム、２０２１年１月２０日第１版第１刷発行

従来、人間のオペレータが、画像を観察し、ウエハ（wafer）又はパッケージの欠陥を認識するようにトレーニングを受ける。このタスクを実行するには、多くの経験とトレーニングが必要である。現在、特定する必要がある欠陥の形式のいくつかを自動的に検出して分類できるアルゴリズムがある。しかし、これらのアルゴリズムでは、必要に応じて、欠陥を検出できない場合がある。

本開示技術の実施形態は、概して、欠陥を発見し、これらを分類する能力を改善するために、ディープ・ニューラル・ネットワークを利用する。ディープ・ニューラル・ネットワークは、ディープ・ラーニング・ニューラル・ネットワークとも呼ばれ、複数の処理層を含むネットワークである。これらの層は、中間特徴マップと比較的小さな重みのカーネルとの間の畳み込み演算又は相互相関処理を実行しても良い。対照的に、最終的な分類は、全結合されたネットワークの出力層によって実行されても良い。

本開示のいくつかの実施形態の一態様としては、ディープ・ニューラル・ネットワークの入力として使用する３次元（３Ｄ）画像テンソルを構築するための新規なアプローチを利用するものがある。３Ｄ画像テンソルは、デジタル・カラー画像で一般に使用されており、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のスペクトル次元を有する。本願では、３ＤテンソルをＲＧＢ画像テンソルと呼ぶこともあるが、３つのコンポーネントに限定されず、任意の数のコンポーネントを使用できる。この新しいＲＧＢ画像の表現には、ディープ・ネットワークに追加のパラメータを入力して、分類を支援するためのオプションのグラフ画像エンコーディングもある。例えば、欠陥のない良好な基準画像を赤（Ｒ）チャンネルに配置し、被試験対象物のスキャン画像（欠陥を示す可能性がある）を緑（Ｇ）チャンネルに配置し、他のパラメータ・データを、パラメータ・データを表すグラフィック画像として青（Ｂ）チャンネルに配置しても良い。即ち、ＲＧＢ画像テンソルの３つのＲＧＢコンポーネントの構造を利用するものの、実際の色として、赤（Ｒ）、緑（Ｇ）、青（Ｂ）を利用しなくても良い。

本開示のいくつかの実施形態の別の新規な態様としては、シャム・ニューラル・ネットワーク（Siamese Neural Network：ＳＮＮ）を利用して、基準画像をＤＵＴスキャン画像と比較して合否（合格/不合格）分類を行うことがある。

添付の図面は、様々な代表的実施形態をよりわかりやすく説明するために利用される視覚的に表したもので、当業者であれば、開示される代表的実施形態及びそれらの固有の効果をよりよく理解できよう。これらの図面において、同様の参照符号は、対応又は類似する要素を特定している。

図１は、様々な代表的実施形態による超音波スキャナのブロック図である。 図２は、様々な代表的実施形態による、超音波スキャナからのスキャン・データを処理する装置の簡略化されたブロック図である。 図３は、様々な代表的実施形態による、超音波スキャナからのスキャン・データを処理するニューラル・ネットワークをトレーニングするための装置の簡略化されたブロック図である。 図４は、本開示の別の実施形態による超音波欠陥検出及び分類システムのブロック図である。 図５は、様々な代表的実施形態による、超音波スキャナでスキャンされた対象物中の欠陥を検出するようにシャム・ニューラル・ネットワークをトレーニングするための装置の簡略化されたブロック図である。 図６は、様々な代表的実施形態による、コンピュータで実装される欠陥検出及び分類方法のフローチャートである。 図７Ａは、様々な代表的実施形態による第１入力特徴マップの概略図である。 図７Ｂは、様々な代表的実施形態による第２入力特徴マップの概略図である。 図７Ｃは、様々な代表的実施形態による別の入力特徴マップの概略図である。

本開示技術は、多種多様な実施形態が可能であるところ、本願では、詳細で具体的な実施形態を図示し、説明するが、本願で図示し、説明する実施形態は、本開示技術の原理の例を提供すると考えるべきものであり、本開示で図示し、説明する特定の実施形態に限定することを意図するものではないことが理解できよう。なお、以下の説明では、同様の参照符号が、複数の図面において、同一、類似又は対応する部分を説明するために使用される。説明をシンプルで明確なものとするため、対応又は類似する要素を示すのに、参照符号を複数の図面で繰り返すことがある。

図１は、様々な代表的実施形態による超音波スキャナ１００のブロック図である。超音波スキャナ１００には、超音波トランシーバ（送受信部）１０２と、超音波レシーバ（受信部）１０４とがある。超音波トランシーバ１０２及び超音波レシーバ１０４の２つは、超音波トランスデューサとも呼ばれる。位置決めスキャナ１０６は、スキャンされる被試験対象物１０８（被試験デバイス（ＤＵＴ）とも呼ぶ）に対するトランシーバ１０２及びレシーバ１０４の位置決めを行う。

コントローラ１１０は、システムをセットアップし、ＤＵＴ１０８の領域全体について、超音波トランシーバ１０２と超音波レシーバ１０４の物理的スキャンを同期させる。スキャンは、対象物の表面に平行なＸＹ平面で行われても良い。コントローラ１１０は、また、パルス生成部１１２及びデータ取得（アクイジション）システム１１４などのシステムの他の要素を同期させる。データ取得システム１１４は、スキャン・プロセス中に超音波トランスデューサ１０２及び１０４から受信した信号をデジタル数値に変換し、それらをメモリに記憶する。以下で説明するように、コントローラ１１０は、また、スキャン画像から導出されるスキャン画像よりも小さな複数のサブ画像によって、システムのループ処理を増加させても良い。加えて、コントローラ１１０は、各サブ画像に基づいて、複数の良好な基準画像のループ処理及び３Ｄテンソル画像の生成を制御しても良い。データ取得システム１１４は、デジタル・スキャン・データ１１６を出力し、コントローラ１１０は、スキャン位置データ１１８を出力する。スキャン・データ１１６は、スキャン画像及び基準画像の生成に使用される時間領域伝送（ＴＤＴ）波形及び時間領域反射（ＴＤＲ）波形を有していても良い。これら波形の伝搬時間は、ＸＹＺ波形位置データ空間におけるＺ軸の距離に正比例する。

スキャン・データ１１６及びスキャン位置データ１１８は、データ・プロセッサ１２０に渡される。データ・プロセッサ１２０は、スキャン・データに基づいて被試験対象物中の欠陥を検出し、更に、オプションで欠陥を分類するように構成される。データ・プロセッサ１２０は、ストレージ（記憶部）１２２に記憶された、基準画像、ＤＵＴ特性及びニューラル・ネットワークの重み値などの記憶されたデータを使用しても良い。ユーザ・インタフェース１２４は、画像を表示するのに加えて、ユーザがインタラクティブな操作を行うために使用できる。データ・プロセッサ１２０は、破線の矢印１２６によって示されるように、コントローラ１１０にフィードバックを提供しても良い。このように、データ・プロセッサ１２０は、コントローラ１１０、ストレージ１２２、ユーザ・インタフェース１２４に出力を提供できる。データ・プロセッサ１２０は、汎用のプログラマブル・コンピュータ・プロセッサ、専用プロセッサ又はこれらの組み合わせであっても良い。データ・プロセッサ１２０は、ニューラル・ネットワーク演算の効率的な処理を支援するアクセラレータ・ハードウェアを有していても良い。

図２は、様々な代表的実施形態による、超音波スキャナからのスキャン・データを処理するための装置２００の機能ブロック図である。スキャン・データ処理装置２００は、例えば、図１に示すような、データ・プロセッサ１２０及びストレージ１２２から構成されても良い。スキャン・データ処理装置２００は、スキャナと一体化され、製造中のデバイスについて、その欠陥の自動検出やデバイスの分類に使用されても良い。この装置２００は、１つ以上のデータ・プロセッサ及びストレージを用いて実装されても良い。

画像生成部２０２は、超音波スキャナからスキャン・データ１１６を受信し、これからＤＵＴの画像を作成する。スキャン・データは、デジタル化されたＴＤＲ／ＴＤＴ波形データから構成されていても良い。当業者には明らかなように、様々な方法が用いられ得る。例えば、ＴＤＲ波形やＴＤＴ波形は、ハイパー・スペクトル・イメージング・フォーマット（非特許文献１参照）に直接マッピングすることができ、このとき、カラー平面の各カラー・チャンネルは、ＤＵＴ位置空間のＺ軸に沿った波形の１つのサンプルの位置を表すか、又は、Ｚ軸に沿った波形の位置の範囲（レンジ）を表す。結果として得られる３Ｄ画像は、人間が見る通常の画像表示ではなく、ＤＵＴのベクトル空間の異なった表示である。この手法により、Ｚ軸に沿った欠陥の表示をはるかに高い解像度で実現できる。ハイパー・スペクトル画像は、続いて、ディープ・ニューラル・ネットワークへの入力として使用されても良い。

サブ画像抽出ブロック２０４は、超音波スキャナ１００のコントローラ１１０からスキャン位置データ１１８を受信する。これは、大きなスキャン画像のどの部分からサブ画像２０６を抽出するかを指定するインデックスの形式でコントローラから受けても良い。例えば、ある１つの回路の複製が多数あるウエハでは、サブ画像が、１つの回路だけを有していても良い。しかしながら、一般には、サブ画像が、スキャン画像の全部又は一部であっても良い。ある実施形態では、サブ画像の選択が、トレーニングのためにシステムをセットアップするときに、ユーザ・インタフェースを介して、ユーザによるインタラクティブな操作によって行われても良い。

基準画像配列ブロック２０８は、サブ画像の位置毎に良好な基準画像２１０を保持（記憶）していてもよい。ここで、良好な基準画像とは、良好な（欠陥がない）ことが既知のデバイスの画像である。更に、各サブ画像について、良好な基準画像の例を追加して保持しても良い。以下では、サブ画像夫々に対応する基準画像について、サブ基準画像と呼ぶこともある。これら良好な基準画像は、システムをトレーニング又は実行する前に、最初のステップの１つとして、取得され、保存されても良い。複数の基準画像を各サブ画像と共に使用することで、各サブ画像に関して複数の入力情報を追加で作成することができ、これにより、より多くのトレーニング・データを生成できる。

グラフ画像生成ブロック２１２は、ディープ・ニューラル・ネットワークへの入力として、その他のデータを提供するような状況において使用しても良いオプションのブロックである。グラフ画像生成ブロック２１２は、例えば、部品の温度若しくはバージョン番号などのパラメータ又は必要に応じて分類を支援するために使用されても良い任意の他のパラメータを受信しても良い。入力されたパラメータは、グラフに変換され、画像に組み込まれる。複数のパラメータのグラフ２１４が、１つの画像の中に配置されても良い。サブ画像２０６、基準画像２１０及びパラメータ・グラフ２１４は、入力マップ生成部２１６において組み合わされて、ディープ・ニューラル・ネットワーク２２０に入力される入力特徴マップ２１８を生成する。ディープ・ニューラル・ネットワーク２２０は、例えば、コンピュータで実装されるニューラル・ネットワークであってもよく、汎用プロセッサ若しくは専用プロセッサ又はこれらの組み合わせから構成されても良い。

ある実施形態では、入力特徴マップは、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）チャンネルを有するＲＧＢ画像テンソルである。ＲＧＢ画像テンソルは、一般的には、カラー画像を格納するために使用されているが、このアプリケーションでは、チャンネルは可視色に対応していない。パラメータ・グラフ（パラメータのグラフ等の図表）２１４を画像テンソルのＲＧＢチャンネルに組み込むことができる多くの方法がある。１つの手法は、特定の１つのカラー・チャンネル、例えば、青（Ｂ）チャンネルを、グラフ画像だけに使用することである。しかし、３Ｄ相互相関フィルタを使用した場合では、基準画像と欠陥画像が学習プロセスにおいて相関する。これにより、青チャンネルのグラフ・データと、他の２つのチャンネルの間に干渉が発生する。別の手法では、基準画像及び欠陥画像と同じ画像にパラメータ・グラフを組み込む。このとき、グラフは、スキャン画像の領域の外側に配置しても良く、これにより、層間の相互相関フィルタは、グラフ・データと画像データとを結合しないようになる。

入力マップ生成部２１６は、未加工の（raw：生の）ＤＵＴのサブ画像を１つのチャンネルに配置し、このサブ画像に関する良好な基準画像の１つを第２チャンネルに配置する。オプションで、第２の良好な画像やパラメータ・グラフ画像を第３チャンネルに配置する。ＤＵＴサブ画像と良好な画像と間の差分の計算は必要ない。なお、サブ画像の位置の夫々に、複数の良好な基準画像が存在しても良い。従って、各サブ画像には、ネットワークをトレーニングするための追加の入力例として使用するために作成された複数のＲＧＢテンソル画像が含まれても良い。パラメータのグラフの画像は、画像全体内のＤＵＴ画像及び基準画像の境界の外側に組み込まれても良く、これにより、画像データに対して、グラフ・データが重ならないようにして、相関フィルタを適用できる。

オプションで、入力特徴マップ２１８をストレージ１２２に記憶して、後の分析のために又はディープ・ニューラル・ネットワークをトレーニングするときの入力として使用しても良い。

ＲＧＢ画像テンソルのような入力特徴マップ２１８は、ディープ・ニューラル・ネットワーク２２０に入力され、ＤＵＴ１０８に欠陥があるか否か、もしあるなら欠陥のクラス（class：種別）を示す出力２２２を生成する。ディープ・ニューラル・ネットワーク２２０は、重み値２２４のセットを用いて入力特徴マップを処理する。これらの重み値の一部は、以下で説明するように、別のアプリケーションからコピーされても良い。これに代えて、重み値は、トレーニング・プロセスによって選択されても良い。ディープ・ニューラル・ネットワーク２２０は、計算論理回路を使用してシリアル形式で実装されても良く、このとき、入力特徴マップは、コンピュータで読み出し可能なストレージから読み出された重み値と組み合わされる。これに代えて、重み値２２４は、例えば電気回路における抵抗素子のコンダクタンス値などのネットワーク自体の特性として実現されても良い。

図３は、様々な代表的実施形態による、超音波スキャナからのスキャン・データを処理するニューラル・ネットワークをトレーニングするための装置３００の機能ブロック図である。図２を参照して上述したように、入力特徴マップ２１８は、基準画像２１０、サブ画像２０６及びオプションのパラメータ・グラフ画像２１４に基づいて、入力マップ生成部２１６によって生成される。これらの画像は、スキャン・プロセス中に生成されたり、保存されたトレーニング・データから読み込まれても良い。記憶されたトレーニング・データは、スキャン画像又は合成画像であっても良い。

自動分類部３０２は、サブ画像２０６中の任意の欠陥にラベル付けるために使用されても良い。これに代えて又はこれに加えて、マニュアル（手作業）による分類を利用してもよく、このとき、ユーザがトレーニングに使用する画像の分類を行う。しかし、自動分類を利用すると、トレーニング・プロセスを更に自動化でき、ユーザがトレーニング・データを得るために必要となる手作業でのラベル付けの作業量を減らすことができる。既存の自動化ツールとその基本的な処理ブロックを利用しても良く、これにより、ユーザは、観察する必要があるユーザのカスタムなウエハとパッケージの領域を定めることができる。このラベルは、スキャンされた対象物又は欠陥に関する任意の追加情報（欠陥の位置又は範囲など）と共に、メタデータ３０４を形成する。

分類部３０２への入力には、ＤＵＴサブ画像２０６及び基準サブ画像２１０がある。分類部３０２からの出力は、メタデータ３０４のセットであり、これは、合否（合格又は不合格）を示すと共に、不合格の場合、欠陥又は欠陥の種別を提供する。分類部は、通常、ニューラル・ネットワーク２２０のトレーニング中にのみ分類処理を実行する。しかし、ユーザが、不合格の部品を再度検査したり、ネットワークのトレーニングを定期的にアップデートするために追加のデータを収集する必要がある場合にも、分類部が分類処理を実行しても良い。

分類アルゴリズムに基づく出力を格納するメタデータ３０４は、配列の形式で格納されても良い。このメタデータの配列の構造に対する各インデックスは、テンソル配列内の対応するＲＧＢ画像テンソルに対応するインデックスに関連付けられる。このため、各ＲＧＢ画像テンソルは、各ＲＧＢ画像テンソルが含むＤＵＴサブ画像に対応する。ＲＧＢ画像テンソルと関連するメタデータは、ニューラル・ネットワークをトレーニングする時に、ディープ・ニューラル・ネットワークへの入力として提供される。トレーニング後、ネットワークが、実行（ランタイム）時に、欠陥を分類するために使用されると、対応するメタデータがニューラル・ネットワークから出力されても良い。

ニューラル・ネットワーク２２０は、入力の特徴を抽出するための多くの層を有していても良く、その後に分類のための全結合された分類層が続く。一実施形態では、ネットワーク層が無関係な画像を用いて事前トレーニングされる「転移学習（transfer learning）」アプローチが使用される。ディープ・ネットワーク２２０の層は、チャンネル間（例えば、３つのＲＧＢチャンネル）及び各チャンネル平面内で、３Ｄ相互相関フィルタを使用しても良い。転移学習を使用する場合、全結合された分類層は、このアプリケーションに関する正しい個数の分類出力を有する新しいトレーニングされていない全結合層に置き換えられる。次に、テンソル画像配列とメタデータ配列を入力として受けることで、ネットワークがトレーニングされる。トレーニング・プロセスの間、出力２２２の要素は、エラー・ブロック３０６において、メタデータ３０４内の対応する要素と比較される。結果として生じるエラー３０８は、ネットワークによって使用される重み値２２４をアップデートするためにトレーニング・ブロック３１０において使用される。トレーニング・アルゴリズムの多くは、当業者には公知である。一実施形態では、全ての重み値がアップデートされる。

別の実施形態では、以前にトレーニングされたネットワークの特徴抽出層（重み値２２４Ａを有する）が、新しいアプリケーションのための所望の分類を行うように構造化された出力層（重み値２２４Ｂを有する）と組み合わされる。例えば、ネットワークには、事前トレーニング済みの特徴抽出層と、それに続く全結合層、ソフトマックス（SoftMax）層及び分類層があっても良い。トレーニング・ブロック３１０は、出力層についての重み値２２４Ｂをアップデートし、一方、転移学習は、特徴抽出層における重み値２２４Ａに対して使用される。例えば、ソフトマックス層の正規化係数は、ネットワーク出力を０と１の間に保つようにトレーニングされ、分類層は、分類に使用されるエントロピー関数を計算するようにトレーニングされる。事前トレーニングされた特徴抽出層の数は、トレーニングされる層の数をはるかに超えても良い。このため、転移学習によれば、必要なトレーニング時間とデータの量を大幅に削減できる。

ネットワークがトレーニングされても、将来、より多くのデータ配列が収集されたら、定期的にトレーニングを再度行っても良い。十分な量の追加データの準備ができたら、ネットワークは、ランタイムを一時停止して、新しいデータでトレーニングをアップデートしても良い。トレーニング済みネットワークがランタイム中は、メタデータ配列は入力されなくなり、テンソル画像配列のみが入力される。次に、ネットワークは、所与の通常と異なるＲＧＢテンソル入力画像に関連付けられているメタデータのセットを出力する。

ランタイム時には、ディープ・ネットワークへのメタデータ入力がないため、既存の分類アルゴリズム・ブロックは使用されない。しかし、ＤＵＴなどの部品が欠陥スキャンで不合格の場合、この分類部３０２を使用して、不合格の部品を更に検査し、既存の方法を使用して分類することができる。

ランタイム時に、ユーザが定期的にシステムを停止し、分類アルゴリズムを使用して部品を更に検査すると、より多くのトレーニング・データを作成できる。ある時点で、新しいデータを充分に用意できたら、ネットワークの拡張トレーニングを行って、これら新しいデータを、ネットワークの学習に組み込むようにしても良い。

図３のブロック図には示していないが、一実施形態では、システムが、ランタイム時に複数のメタデータ・セットを作成するようにプログラムされ、複数の基準画像夫々のメタデータは、各サブ画像に関連付けられる。メタデータ・セットの最終的な種別は、メタデータ値のヒストグラムに従って、正しい可能性が高いセットに基づいて、複数のセットから選択できる。

上記のシステムは、相互相関層を使用する単一のディープ・ニューラル・ネットワークへの入力として、ＲＧＢ画像構造を利用する。このネットワークは、畳み込み層ではなく、相互相関層を利用する。相互相関層と畳み込み層は、特定の対称性を持つ一部のカーネルの場合では、等価であるが、通常、相互相関層は、畳み込み層と等価ではない。ニューラル・ネットワークは、欠陥が検出され、分類された既存のデータを使用してトレーニングされても良い。これに代えて又はこれに加えて、ニューラル・ネットワークは、その実際の現場でトレーニングされても良い。ニューラル・ネットワークの実際の現場でのトレーニング中、システムは、多くのＤＵＴをスキャンし、既存の自動検出及び分類アルゴリズムによってＤＵＴを調べ、これにより、所与の画像を合格又は不合格としてラベル付けし、欠陥にラベルを付ける。サイズ、位置、タイプなどの欠陥のプロパティを含むメタデータを生成しても良い。トレーニングに使用するために、自動での種別に加えて、手作業による（マニュアル）種別データの例をメタデータに組み込んでも良い。ウエハ又はパッケージの場合、最初の高解像度画像は、ウエハのサブ回路を観察するのに適し、かつ、ディープ・ネットワークへの入力として使用するのに許容可能な適切なサイズの小さな画像（サブ画像）に細分化される。

トレーニング中、ネットワークは、入力として、ＲＧＢテンソル画像の配列を、各画像に関連付けられたクラス（種別）ラベルを含むメタデータ構造の配列と共に受ける。

トレーニング後、システムのランタイムは、ＤＵＴをスキャンし、画像とサブ画像のＲＧＢテンソルを作成し、それをディープ・ネットワークへの入力として適用することから構成される。ネットワークの出力は、欠陥クラス・ラベルと、オプションで、サイズや位置など、欠陥の他の特定された属性（プロパティ）である。

上述したブロックの多くは、以下に説明する様々な実施形態と共通である。

図４は、本開示の他の実施形態による超音波欠陥検出及び分類システム４００のブロック図である。このシステムは、ニューラル・ネットワークがシャム・ニューラル・ネットワーク（Siamese Neural Network：ＳＮＮ）を含む点を除いて、上述のシステムと類似している。シャム・ニューラル・ネットワークは、比較的少ないデータ数でも、２つの画像が類似する否かを判断するのに適することが知られている。シャム・ニューラル・ネットワークには、トレーニング後に同じ重み値又は係数を使用する２つの同一のディープ・ニューラル・ネットワークが含まれている。図４を参照すると、第１入力マップ生成部４０２は、第１ディープ・ニューラル・ネットワーク４０４に入力する画像データを用意する。第１ディープ・ニューラル・ネットワーク４０４は、例えば、転移学習を用いて予めトレーニングされても良い。入力特徴マップは、例えば、ＲＧＢ画像テンソル生成部から出力されても良く、このとき、スキャンされたＤＵＴサブ画像が、入力特徴マップのＲＧＢの３つのチャンネル全てに配置される。第２入力特徴マップ生成部４０６は、第２ディープ・ニューラル・ネットワーク４０８へ入力する画像データを用意する。第２入力特徴マップ生成部４０６は、１つ以上のサブ基準画像を３つのＲＧＢチャンネルに配置することによってＲＧＢ画像テンソルを生成しても良い。

ディープ・ニューラル・ネットワーク４０４及び４０８は、例えば、コンピュータで実装されるニューラル・ネットワークであっても良く、また、汎用プロセッサ若しくは専用プロセッサ又はこれらの組み合わせで構成されても良い。

一実施形態では、ＤＵＴ入力側のＲＧＢ画像は、３つのチャンネル全てにおいて同じＤＵＴ画像を含んでもよい。しかし、グラフ・パラメータ画像生成部４１０から生成される画像は、これらチャンネルのうちの１つに又は画像チャンネル内に独立して組み込まれても良い。別の実施形態では、各チャンネルが、基準画像を異なる形で取り込んでも良い。

図４のシステムの重要な特徴は、同じ重み値４１２が第１及び第２ディープ・ニューラル・ネットワークの両方によって使用されることである。これにより、同じ入力特徴マップがネットワークの両側に適用されたときに、ネットワークからの出力が同じになる。

動作中、第１ディープ・ニューラル・ネットワーク４０４からの出力４１４と、第２ディープ・ニューラル・ネットワーク４０８からの出力４１６とが比較ブロック４１８において比較され、合否（合格/不合格）信号４２０を生成する。これら出力４１４及び４１６が、類似している場合、スキャンされた対象物に欠陥がない（つまり、検査に合格）とされることが予想される。これら出力４１４及び４１６が異なる場合、スキャンされた対象物に欠陥が含まれている（つまり、検査に不合格）とされることが予想される。

オプションで、合否信号４２０を使用して自動欠陥分類部４２２の動作を制御しても良く、このとき、自動欠陥分類部４２２は、スキャンされたサブ画像２０６と１つ以上の基準画像２１０との比較に基づいて、欠陥分類情報４２４を生成する

このように、第１ディープ・ニューラル・ネットワーク４０４、第２ディープ・ニューラル・ネットワーク４０８及び比較ブロック４１８を含むシャム・ニューラル・ネットワークは、合格/不合格（合否）の分類を行う。このタスクは、２つの画像間の類似性の程度を調べることに特化して構成されているため、標準的なネットワークよりも巧みに行われる。もしＤＵＴが不合格の場合、標準的なネットワークを使用して欠陥を更に分類する必要がある。標準的なネットワークを使用すると、オプションで、欠陥の分類に役立つ追加のパラメータのグラフを入力できる。

図５は、様々な代表的実施形態に従って、超音波スキャナでスキャンされた対象物中の欠陥を検出するためにシャム・ニューラル・ネットワークをトレーニングするための装置５００の簡略化されたブロック図である。図５に示す実施形態では、分類部５０２は、基準画像２１０及びサブ画像２０６を受けて、合否信号５０４によって示されるように、スキャン画像から抽出されたサブ画像に欠陥があるか否かを判断する。別の実施形態では、スキャン画像から抽出されたサブ画像は、例えば、手動作業（マニュアル）でのラベル付けなどの他の手段によって、欠陥があるか否かのラベル付けをしても良い。更に別の実施形態では、スキャン画像に基づくサブ画像は、欠陥を示すために作成された合成画像であっても良い。合否信号５０４は、対照損失（contrastive loss）生成部５０６に渡される。一実施形態では、対照損失Ｌは、次のように計算される。
［数１］
Ｌ＝Ｙ×Ｄ＋(１－Ｙ) × ｍａｘ(ｍａｒｇｉｎ－Ｄ，０)

ここで、Ｄは、第１及び第２ニューラル・ネットワーク夫々の出力４１４と４１６との間のユークリッド距離であり、Ｙは、サブ画像２０６に欠陥がない場合には値０をとり、欠陥を示すときは値１をとる。

トレーニング・ブロック５１０は、対照損失５０８を利用して、対照損失が減少するように重み値４１２をアップデートする。一実施形態では、初期重み値は、転移学習を用いて得られる。

図６は、様々な代表的実施形態によるコンピュータで実装される欠陥検出及び分類方法６００のフローチャートである。図６を参照すると、工程６０２では、１つ以上のコンピューティング・デバイスが、対象物の超音波スキャンで取得されたスキャン・データにアクセスする。工程６０４では、２次元（２Ｄ）スキャン画像がスキャン・データから生成される。オプションで、工程６０６において、第１入力特徴マップが、２Ｄスキャン画像から生成される。第１入力特徴マップは、上述したように、例えば、パラメータ・グラフ又は３Ｄ画像テンソルなどの追加データを有していても良い。第１入力特徴マップは、工程６０８において、第１ディープ・ニューラル・ネットワークに入力され、第１出力特徴マップが生成される。欠陥のない対象物の１つ以上の画像を含む第２入力特徴マップが、工程６１０において第２ディープ・ニューラル・ネットワークに入力され、第２出力特徴マップが生成される。第２ディープ・ニューラル・ネットワークは、第１ディープ・ニューラル・ネットワークと同じ構造及び重み値を有する。

第１及び第２出力特徴マップは、工程６１２において比較される。判断工程６１４からの否定的な（「いいえ」の）分岐によって図示されるように、第１及び第２出力特徴マップの間の距離が（ある閾値と比較して）大きくない場合、フローは、工程６１６へと続き、欠陥は検出されない、とされる。よって、スキャンされた対象物には、欠陥がないと判断される。判断工程６１４からの肯定的な（「はい」の）分岐によって図示されるように、第１及び第２出力特徴マップ間の距離が大きい場合、工程６１８に示されるように、欠陥が検出された、と判断される。オプションで、工程６２０において、欠陥が、自動欠陥分類部を利用するか又はユーザによる手作業での分類を利用するかのいずれかで、分類されても良い。

一実施形態では、第１入力特徴マップは、３次元（３Ｄ）画像テンソルであり、この第１の３Ｄ画像テンソルの３つのチャンネル全てに２Ｄスキャン画像を有している。また、第２入力特徴マップは、３次元（３Ｄ）画像テンソルであり、３つのチャンネルの夫々に欠陥のない対象物の２Ｄスキャン画像を有する。各チャンネルは、異なる画像を含むことができる。

上述したように、第１及び第２ディープ・ニューラル・ネットワークの重み値は、カラー画像を用いてトレーニングされたディープ・ニューラル・ネットワークからコピーされても良い。第１及び第２ディープ・ニューラル・ネットワークの重み値は、第１ディープ・ニューラル・ネットワークの出力特徴マップと第２ディープ・ニューラル・ネットワークの出力特徴マップとの間の距離の対照損失に基づいて調整されても良い。

図７Ａは、様々な代表的実施形態による第１入力特徴マップ７００の概略図である。第１入力特徴マップは、「Ｒ」、「Ｇ」及び「Ｂ」チャンネルを持つ３Ｄ画像テンソルである。この形式は、一般的には、カラー画像の赤（Ｒ）、緑（Ｇ）、青（Ｂ）のチャンネルを保存するために使用される。しかし、図７Ａでは、各チャンネルは、スキャンされた対象物の２Ｄ画像を格納するために使用される。従って、画像７０２は、３つのチャンネル全てに配置される。図示の例では、画像の領域７０４が欠陥を示している。

図７Ｂは、様々な代表的実施形態による第２入力特徴マップ７１０の概略図である。この場合も、第２入力特徴マップは、「Ｒ」、「Ｇ」及び「Ｂ」チャンネルを有する３Ｄ画像テンソルである。図７Ｂにおいて、各チャンネルは、欠陥のない対象物の２Ｄ画像を格納するために使用される。このため、欠陥のない対象物の２Ｄ画像７１２が「Ｒ」チャンネルに配置され、欠陥のない対象物の２Ｄ画像７１４が「Ｇ」チャンネルに配置され、欠陥のない対象物の２Ｄ画像７１６が「Ｂ」チャンネルに配置される。

図７Ｃは、様々な代表的実施形態による別の入力特徴マップ７２０の概略図である。ここでも、入力特徴マップは「Ｒ」、「Ｇ」及び「Ｂ」チャンネルを有する３Ｄ画像テンソルである。図７Ｃにおいて、スキャン画像７２２は「Ｒ」チャンネルに配置され、欠陥のない画像７２４は「Ｇ」チャンネルに配置され、パラメータの図表（グラフ）画像７２６は「Ｂ」チャンネルに配置される。図示の例では、画像７２２の領域７２８が欠陥を示している。別の実施形態では、パラメータ・データの図表は、画像によって占められる領域の外側のチャンネルの周辺に配置されても良い。

３チャンネルを有する３Ｄ画像テンソルを使用する利点は、ＲＧＢカラー画像入力を使用して事前にトレーニングされた高性能ニューラル・ネットワークに、３Ｄ画像テンソルを入力できることである。このような事前トレーニング済みネットワークの一例としては、ＲｅｓＮｅｔ－１８（非特許文献３参照）があるが、本開示技術の実施形態は、いかなる特定の事前トレーニング済みネットワークにも限定されるものではない。これらの事前トレーニング済みネットワークの出力層は、欠陥の検出と分類を自動化するために置き換えられ、再トレーニングされる。ネットワークを、全くのゼロからトレーニングするには、はるかに多くの入力画像が必要になるため、これは大きな利点である。下位層に事前トレーニング済みの特徴抽出層を使用し、置き換えられた出力層のみをトレーニングすることで、より少ないデータと労力でネットワークをトレーニングし、高性能ネットワークを提供できる。

上述したように、本願の実施形態による３Ｄ画像テンソルの３つの入力チャンネルには、赤色、緑色、青色のコンポーネントは含まれていない。その代わりに、欠陥のない画像が、第１カラー・チャンネルに配置され、スキャンされた画像（欠陥がある可能性がある）が、別の第２カラー・チャンネルに配置され、パラメータの棒グラフ等の図表が、更に別の第３カラー・チャンネルに配置される。

このアプローチの更なる利点は、このように構築された３Ｄ画像テンソルを、依然としてカラー画像として見ることができることである。例えば、欠陥のない画像を赤チャンネルに配置し、欠陥のある画像を緑チャンネルに配置すると、生じる色は、画像間の差異に応じて変化する。即ち、２つの画像が同じ領域では、生じる画像には、赤と緑が同量（ただし、場所により輝度は異なる）が含まれるが、２つの画像が異なる領域では、赤又は緑のどちらかが支配的になる。ニューラル・ネットワークには、欠陥が生じている領域に現れる色の違いに敏感であることが期待される。このアプローチは、シャム・ニューラル・ネットワークと共に使用することで、合否（合格/不合格）の出力を生成でき、また、多層残差ネットワーク（residual network：ResNet）などの他のニューラル・ネットワークと共に使用して、自動分類を提供できる。

本開示技術の実施形態は、機械学習を使用して、ウエハや半導体パッケージなどの被試験デバイス（ＤＵＴ）について得られた超音波スキャン画像の分類を支援する。実施形態は、相互相関層を含むディープ・ネットワークを使用しても良い。実施形態は、また、既知の良好な基準画像を、欠陥がある可能性のあるＤＵＴの画像と比較し、次いで、ＤＵＴの画像を合格又は不合格として分類する目的で、シャム・ニューラル・ネットワークを使用しても良い。ネットワークのトレーニングは、既存の分類アルゴリズムを使用して実行され、ユーザによる手作業（マニュアル）のラベル付けの作業量を最小限に抑えられる。必要に応じて、手作業のラベル付けを使用することもできる。

本開示技術の態様は、特別に作成されたハードウェア、ファームウェア、デジタル・シグナル・プロセッサ又はプログラムされた命令に従って動作するプロセッサを含む特別にプログラムされた汎用コンピュータ上で動作できる。本願における「コントローラ」又は「プロセッサ」という用語は、マイクロプロセッサ、マイクロコンピュータ、ＡＳＩＣ及び専用ハードウェア・コントローラ等を意図する。本開示技術の態様は、１つ又は複数のコンピュータ（モニタリング・モジュールを含む）その他のデバイスによって実行される、１つ又は複数のプログラム・モジュールなどのコンピュータ利用可能なデータ及びコンピュータ実行可能な命令で実現できる。概して、プログラム・モジュールとしては、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含み、これらは、コンピュータその他のデバイス内のプロセッサによって実行されると、特定のタスクを実行するか、又は、特定の抽象データ形式を実現する。コンピュータ実行可能命令は、ハードディスク、光ディスク、リムーバブル記憶媒体、ソリッド・ステート・メモリ、ＲＡＭなどのコンピュータ可読記憶媒体に記憶しても良い。当業者には理解されるように、プログラム・モジュールの機能は、様々な実施例において必要に応じて組み合わせられるか又は分散されても良い。更に、こうした機能は、集積回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのようなファームウェア又はハードウェア同等物において全体又は一部を具体化できる。特定のデータ構造を使用して、本開示技術の１つ以上の態様をより効果的に実施することができ、そのようなデータ構造は、本願に記載されたコンピュータ実行可能命令及びコンピュータ使用可能データの範囲内と考えられる。

開示された態様は、場合によっては、ハードウェア、ファームウェア、ソフトウェア又はこれらの任意の組み合わせで実現されても良い。開示された態様は、１つ以上のプロセッサによって読み取られ、実行され得る１つ又は複数のコンピュータ可読媒体によって運搬されるか又は記憶される命令として実現されても良い。そのような命令は、コンピュータ・プログラム・プロダクトと呼ぶことができる。本願で説明するコンピュータ可読媒体は、コンピューティング装置によってアクセス可能な任意の媒体を意味する。限定するものではないが、一例としては、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を含んでいても良い。

コンピュータ記憶媒体とは、コンピュータ読み取り可能な情報を記憶するために使用することができる任意の媒体を意味する。限定するものではないが、例としては、コンピュータ記憶媒体としては、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリやその他のメモリ技術、コンパクト・ディスク読み出し専用メモリ（ＣＤ-ＲＯＭ）、ＤＶＤ（Digital Video Disc）やその他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置やその他の磁気記憶装置、及び任意の技術で実装された任意の他の揮発性又は不揮発性の取り外し可能又は取り外し不能の媒体を含んでいても良い。コンピュータ記憶媒体としては、信号そのもの及び信号伝送の一時的な形態は除外される。

通信媒体とは、コンピュータ可読情報の通信に利用できる任意の媒体を意味する。限定するものではないが、例としては、通信媒体には、電気、光、無線周波数（ＲＦ）、赤外線、音又はその他の形式の信号の通信に適した同軸ケーブル、光ファイバ・ケーブル、空気又は任意の他の媒体を含んでも良い。

実施例

以下では、本願で開示される技術の理解に有益な実施例が提示される。この技術の実施形態は、以下で記述する実施例の１つ以上及び任意の組み合わせを含んでいても良い。

実施例１は、コンピュータで実装される欠陥検出方法であって、
１つ以上のコンピューティング・デバイスにおいて、被試験対象物の超音波スキャンで取得されたスキャン・データにアクセスするステップと、
上記スキャン・データから、２次元（２Ｄ）スキャン画像を含む第１入力特徴マップを生成するステップと、
上記第１入力特徴マップを第１ディープ・ニューラル・ネットワークに入力して、第１出力特徴マップを生成するステップと、
欠陥のない対象物のスキャン画像を含む第２入力特徴マップを、上記第１ディープ・ニューラル・ネットワークと同じ構造及び重み値を有する第２ディープ・ニューラル・ネットワークに入力して、第２出力特徴マップを生成するステップと、
上記第１及び第２出力特徴マップ間の距離が大きい場合に、スキャンされた上記被試験対象物が欠陥を含むと判断するステップと
を具える。

実施例２は、実施例１のコンピュータで実装される欠陥検出方法であって、
上記第１入力特徴マップを生成するステップが、３つのチャンネルの全てに２Ｄスキャン画像を有する第１の３次元（３Ｄ）画像テンソルを生成構築するステップを有し、
上記第２入力特徴マップを生成するステップが、第２の３次元（３Ｄ）画像テンソルを生成するステップとを有し、上記第２の３Ｄ画像テンソルが、
上記第２の３Ｄ画像テンソルの第１チャンネルに欠陥のない対象物の第１の２Ｄスキャン画像と、
上記第２の３Ｄ画像テンソルの第２チャンネルに欠陥のない対象物の第２の２Ｄスキャン画像と、
上記第２の３Ｄ画像テンソルの第３チャンネルに欠陥のない対象物の第３の２Ｄスキャン画像と
を有する。

実施例３は、実施例１のコンピュータで実装される欠陥検出方法であって、カラー画像を使用してトレーニングされたディープ・ニューラル・ネットワークから、上記第１及び第２ディープ・ニューラル・ネットワークの重み値をコピーする。

実施例４は、実施例１のコンピュータで実装される欠陥検出方法であって、上記第１ディープ・ニューラル・ネットワークの出力と上記第２ディープ・ニューラル・ネットワークの出力との間の距離の対照損失に基づいて、上記第１及び第２ディープ・ニューラル・ネットワークの重み値を調整するステップを更に具える。

実施例５は、実施例１のコンピュータで実装される欠陥検出方法であって、スキャンされた上記被試験対象物が欠陥を含むと判断されたときに、上記被試験対象物の上記２Ｄスキャン画像を自動欠陥分類部に渡すステップを更に具える。

実施例６は、コンピュータで実装される欠陥検出方法であって、
１つ以上のコンピューティング・デバイスにおいて、被試験対象物の超音波スキャンで取得されたスキャン・データにアクセスするステップと、
上記スキャン・データから、２次元（２Ｄ）スキャン画像を生成するステップと、
上記２Ｄスキャン画像に関連する情報の２Ｄグラフィック表示画像を生成するステップと、
被試験対象物の欠陥分類メタデータを生成するステップと、
第１チャンネルに上記２Ｄスキャン画像を有し、第２チャンネルに欠陥のない対象物の２Ｄ画像を有し、第３チャンネルに上記２Ｄグラフィック表示画像を有する３次元（３Ｄ）画像テンソルを生成するステップと、
上記３Ｄ画像テンソルをディープ・ニューラル・ネットワークに入力するステップと、
上記ディープ・ニューラル・ネットワークの出力を上記欠陥分類メタデータと比較するステップと、
上記ディープ・ニューラル・ネットワークの出力と上記欠陥分類メタデータとの間の整合性を改善するように上記ディープ・ニューラル・ネットワークの出力層の重み値を調整するステップと、
調整された上記重み値を保存するステップと
を具える。

実施例７は、実施例６のコンピュータで実装される欠陥検出方法であって、カラー画像を用いてトレーニングされたディープ・ニューラル・ネットワークから上記ディープ・ニューラル・ネットワークの特徴マッピング層の重み値をコピーするステップを更に具える。

実施例８は、実施例６のコンピュータで実装される欠陥検出方法であって、
上記被試験対象物の欠陥分類メタデータをトレーニング・データ・セットに格納するステップと、
上記３次元（３Ｄ）画像テンソルを上記トレーニング・データ・セットに格納するステップと
を有する上記トレーニング・データ・セットを記憶するステップを更に具える。

実施例９は、欠陥検出システムであって、
第１入力特徴マップに第１重み値セットを適用することによって第１出力特徴マップを生成するように構成されたコンピュータで実装される第１ニューラル・ネットワークと、
被試験対象物の超音波スキャンで取得されたデータに、上記第１ニューラル・ネットワークの上記第１入力特徴マップをマッピングするように構成された入力プリ・プロセッサと、
１つ以上の基準超音波スキャン・データからマッピングされる第２入力特徴マップに上記第１重み値セットを適用することによって第２出力特徴マップを生成するように構成されたコンピュータで実装される第２ニューラル・ネットワークと、
上記第１出力特徴マップと上記第２出力特徴マップとの間の差に基づいて類似度を生成するように構成された比較部と、
上記類似度に基づいて、スキャンされた上記被試験対象物に欠陥が含まれるか否かを判断するように構成された判断ロジックと
を具える。

実施例１０は、実施例９の欠陥検出システムであって、上記基準超音波スキャン・データを記憶するメモリを更に具え、上記基準超音波スキャン・データが、欠陥のない対象物のスキャン・データである。

実施例１１は、実施例９の欠陥検出システムであって、上記入力プリ・プロセッサが、
上記被試験対象物の超音波スキャンで取得したスキャン・データから２次元（２Ｄ）スキャン画像を生成する処理と、
上記第１入力特徴マップとして、３つのチャンネルの全てに上記２Ｄスキャン画像を有する第１の３次元（３Ｄ）画像テンソルを生成する処理と
を行うよう構成される。

実施例１２は、実施例１１の欠陥検出システムであって、上記第２入力特徴マップが、第２の３次元（３Ｄ）画像テンソルであり、
上記第２の３Ｄ画像テンソルの第１チャンネルに第１の２Ｄ基準超音波スキャン画像と、
上記第２の３Ｄ画像テンソルの第２チャンネルに第２の２Ｄ基準超音波スキャン画像と、
上記第２の３Ｄ画像テンソルの第３チャンネルに第３の２Ｄ基準超音波スキャン画像とを有する。

実施例１３は、実施例１１の欠陥検出システムであって、上記入力プリ・プロセッサが、
上記被試験対象物の超音波スキャンで取得したスキャン・データから２次元（２Ｄ）スキャン画像を生成する処理と、
上記２Ｄスキャン画像に関連する情報の２Ｄグラフィック表示画像を生成する処理と、
上記２Ｄスキャン画像の周辺に上記２Ｄグラフィック表示画像を追加して、上記第１入力特徴マップを提供する処理と
を行うよう構成される。

実施例１４は、実施例９の欠陥検出システムであって、上記判断ロジックが、スキャンされた上記被試験対象物に欠陥が含まれると判断した場合に、上記欠陥検出システムが上記２Ｄスキャン画像を処理して、上記欠陥の分類を行うよう構成される。

実施例１５は、実施例９の欠陥検出システムであって、上記入力プリ・プロセッサが、
被試験対象物に欠陥が含まれているか否かを示すメタデータにアクセスする処理と、
上記第１出力特徴マップと上記第２出力特徴マップとアクセスされた上記メタデータとの間のユークリッド距離に基づいて、対照損失を生成する処理と、
少なくとも部分的に上記対照損失の変化に基づいて上記第１重み値セットをアップデートする処理と
を更に行うよう構成される。

実施例１６は、実施例９の欠陥検出システムであって、コンピュータで実装される上記第１ニューラル・ネットワークが、複数の相互相関層を有するディープ・ニューラル・ネットワークを含む。

加えて、本願の記述は、特定の特徴に言及している。本明細書での開示技術は、これら特定の特徴のあり得る全ての組み合わせを含むと理解すべきである。例えば、ある特定の特徴が特定の形態に関連して開示される場合、その特徴は、可能である限り、他の形態との関連においても利用できる。

また、本願において、２つ以上の定義されたステップ又は工程を有する方法に言及する場合、これら定義されたステップ又は工程は、状況的にそれらの可能性を排除しない限り、任意の順序で又は同時に実行しても良い。

説明の都合上、本発明の具体的な実施例を図示し、説明してきたが、本発明の要旨と範囲から離れることなく、種々の変更が可能なことが理解できよう。従って、本発明は、添付の請求項以外では、限定されるべきではない。

当業者は、本開示が実施例によって記載されたことを理解できよう。本開示は、記載及び請求されるように本開示と等価である専用ハードウェアや専用プロセッサなどのハードウェア・コンポーネント等価物を使用して実施できる。同様に、専用プロセッサや専用ハード・ワイヤード・ロジックを使用して、本開示の代替の等価実施形態を構築できる。

本願に記載される様々な実施形態は、プログラミング命令を実行する専用ハードウェア、設定変更可能なハードウェア又はプログラムされたプロセッサを使用して実装され、フローチャートの形態で説明される、こうしたプログラミング命令は、任意の適切な電子記憶媒体に格納されても良いし、任意の適切な電子通信媒体を介して送信されても良い。当業者であれば、上述のプロセス及びメカニズムが、本開示から逸脱することなく、任意に変形して実施されても良いことを理解できよう。例えば、実行される特定の動作の順序を変化させることができ、本開示から逸脱することなく、追加の動作を加えることができ、又は、動作を削除できる。そのような考え得る変形は、等価とみなされる。

本願で詳細に説明されている様々な代表的実施形態は、これらに限定すること意図するものではなく、例として提示されている。当業者であれば、記載された実施形態の形態及び詳細に様々な変更を加えることで、添付の特許請求の範囲内に留まる等価な実施形態を得られることが理解できよう。

１００ 超音波スキャナ
１０２ 超音波トランシーバ
１０４ 超音波レシーバ
１０６ 位置決めスキャナ
１０８ 対象物（被試験デバイス：ＤＵＴ）
１１０ コントローラ
１１２ パルス生成部
１１４ データ取得システム
１１６ デジタル・スキャン・データ
１１８ スキャン位置データ
１２０ データ・プロセッサ
１２２ ストレージ
１２４ ユーザ・インタフェース
２００ スキャン・データ処理装置
２０２ 画像生成部
２０４ サブ画像抽出ブロック
２０６ サブ画像
２０８ 基準画像配列ブロック
２１０ 基準画像
２１２ グラフ画像生成ブロック
２１４ パラメータのグラフ
２１６ 入力マップ生成部
２１８ 入力特徴マップ
２２０ ディープ・ニューラル・ネットワーク
２２２ 欠陥の有無や欠陥のクラス
２２４ 重みの値
３００ ニューラル・ネットワークのトレーニング装置
３０２ 自動分類部
３０４ メタデータ
３０６ エラー・ブロック
３０８ エラー
３１０ トレーニング・ブロック
４００ 超音波欠陥検出及び分類システム
４０２ 第１入力マップ生成部
４０４ 第１ディープ・ニューラル・ネットワーク
４０６ 第２入力マップ生成部
４０８ 第２ディープ・ニューラル・ネットワーク
４１０ グラフ・パラメータ画像生成部
４１２ 重み値
４１８ 比較ブロック
４２０ 合否信号
４２２ 自動欠陥分類部
４２４ 欠陥分類情報
５００ シャム・ニューラル・ネットワークのトレーニング装置
５０２ 自動欠陥分類部
５０４ 合否信号
５０６ 対照損失生成部
５０８ 対照損失
７００ 第１入力特徴マップ
７０２ スキャンされた対象物の２Ｄ画像
７０４ 画像中の欠陥のある領域
７１０ 第２入力特徴マップ
７１２ 欠陥のない対象物の２Ｄ画像
７１４ 欠陥のない対象物の２Ｄ画像
７１６ 欠陥のない対象物の２Ｄ画像
７２０ 別の入力特徴マップ
７２２ スキャンされた対象物の２Ｄ
７２４ 欠陥のない対象物の２Ｄ画像
７２６ パラメータのグラフ画像
７２８ 画像中の欠陥のある領域

Claims (13)

1. １つ以上のコンピューティング・デバイスにおいて、被試験対象物の超音波スキャンで取得されたスキャン・データにアクセスするステップと、
   上記スキャン・データから、２次元（２Ｄ）スキャン画像を含む第１入力特徴マップを生成するステップと、
   上記第１入力特徴マップを第１ディープ・ニューラル・ネットワークに入力して、第１出力特徴マップを生成するステップと、
   欠陥のない対象物のスキャン画像を含む第２入力特徴マップを、上記第１ディープ・ニューラル・ネットワークと同じ構造及び重み値を有する第２ディープ・ニューラル・ネットワークに入力して、第２出力特徴マップを生成するステップと、
   上記第１及び第２出力特徴マップ間の距離が大きい場合に、スキャンされた上記被試験対象物が欠陥を含むと判断するステップと
   を具えるコンピュータで実装される欠陥検出方法。
2. 上記第１入力特徴マップを生成するステップが、３つのチャンネルの全てに２Ｄスキャン画像を有する第１の３次元（３Ｄ）画像テンソルを生成構築するステップを有し、
   上記第２入力特徴マップを生成するステップが、第２の３次元（３Ｄ）画像テンソルを生成するステップとを有し、上記第２の３Ｄ画像テンソルが、
   上記第２の３Ｄ画像テンソルの第１チャンネルに欠陥のない対象物の第１の２Ｄスキャン画像と、
   上記第２の３Ｄ画像テンソルの第２チャンネルに欠陥のない対象物の第２の２Ｄスキャン画像と、
   上記第２の３Ｄ画像テンソルの第３チャンネルに欠陥のない対象物の第３の２Ｄスキャン画像と
   を有する請求項１のコンピュータで実装される欠陥検出方法。
3. 上記第１ディープ・ニューラル・ネットワークの出力と上記第２ディープ・ニューラル・ネットワークの出力との間の距離の対照損失に基づいて、上記第１及び第２ディープ・ニューラル・ネットワークの重み値を調整するステップを更に具える請求項１のコンピュータで実装される欠陥検出方法。
4. スキャンされた上記被試験対象物が欠陥を含むと判断されたときに、上記被試験対象物の上記２Ｄスキャン画像を自動欠陥分類部に渡すステップを更に具える請求項１のコンピュータで実装される欠陥検出方法。
5. １つ以上のコンピューティング・デバイスにおいて、被試験対象物の超音波スキャンで取得されたスキャン・データにアクセスするステップと、
   上記スキャン・データから、２次元（２Ｄ）スキャン画像を生成するステップと、
   上記２Ｄスキャン画像に関連する情報の２Ｄグラフィック表示画像を生成するステップと、
   被試験対象物の欠陥分類メタデータを生成するステップと、
   第１チャンネルに上記２Ｄスキャン画像を有し、第２チャンネルに欠陥のない対象物の２Ｄ画像を有し、第３チャンネルに上記２Ｄグラフィック表示画像を有する３次元（３Ｄ）画像テンソルを生成するステップと、
   上記３Ｄ画像テンソルをディープ・ニューラル・ネットワークに入力するステップと、
   上記ディープ・ニューラル・ネットワークの出力を上記欠陥分類メタデータと比較するステップと、
   上記ディープ・ニューラル・ネットワークの出力と上記欠陥分類メタデータとの間の整合性を改善するように上記ディープ・ニューラル・ネットワークの出力層の重み値を調整するステップと、
   調整された上記重み値を保存するステップと
   を具えるコンピュータで実装される欠陥検出方法。
6. 上記被試験対象物の欠陥分類メタデータをトレーニング・データ・セットに格納するステップと、
   上記３次元（３Ｄ）画像テンソルを上記トレーニング・データ・セットに格納するステップと
   を有する上記トレーニング・データ・セットを記憶するステップを更に具える請求項５のコンピュータで実装される欠陥検出方法。
7. 第１入力特徴マップに第１重み値セットを適用することによって第１出力特徴マップを生成するように構成されたコンピュータで実装される第１ニューラル・ネットワークと、
   被試験対象物の超音波スキャンで取得されたデータに、上記第１ニューラル・ネットワークの上記第１入力特徴マップをマッピングするように構成された入力プリ・プロセッサと、
   １つ以上の基準超音波スキャンからマッピングされる第２入力特徴マップに上記第１重み値セットを適用することによって第２出力特徴マップを生成するように構成されたコンピュータで実装される第２ニューラル・ネットワークと、
   上記第１出力特徴マップと上記第２出力特徴マップとの間の差に基づいて類似度を生成するように構成された比較部と、
   上記類似度に基づいて、スキャンされた上記被試験対象物に欠陥が含まれるか否かを判断するように構成された判断ロジックと
   を具える欠陥検出システム。
8. 上記基準超音波スキャン・データを記憶するメモリを更に具え、上記基準超音波スキャン・データが、欠陥のない対象物のスキャン・データである請求項７の欠陥検出システム。
9. 上記入力プリ・プロセッサが、
   上記被試験対象物の超音波スキャンで取得したスキャン・データから２次元（２Ｄ）スキャン画像を生成する処理と、
   上記第１入力特徴マップとして、３つのチャンネルの全てに上記２Ｄスキャン画像を有する第１の３次元（３Ｄ）画像テンソルを生成する処理と
   を行うよう構成される請求項７の欠陥検出システム。
10. 上記第２入力特徴マップが、第２の３次元（３Ｄ）画像テンソルであって、
    上記第２の３Ｄ画像テンソルの第１チャンネルにおいて第１の２Ｄ基準超音波スキャン画像を有し、
    上記第２の３Ｄ画像テンソルの第２チャンネルにおいて第２の２Ｄ基準超音波スキャン画像を有し、
    上記第２の３Ｄ画像テンソルの第３チャンネルにおいて第３の２Ｄ基準超音波スキャン画像を有する請求項７の欠陥検出システム。
11. 上記入力プリ・プロセッサが、
    上記被試験対象物の超音波スキャンで取得したスキャン・データから２次元（２Ｄ）スキャン画像を生成する処理と、
    上記２Ｄスキャン画像に関連する情報の２Ｄグラフィック表示画像を生成する処理と、
    上記２Ｄスキャン画像の周辺に上記２Ｄグラフィック表示画像を追加して、上記第１入力特徴マップを提供する処理と
    を行うよう構成される請求項７の欠陥検出システム。
12. 上記判断ロジックが、スキャンされた上記被試験対象物に欠陥が含まれると判断した場合に、上記欠陥検出システムが上記２Ｄスキャン画像を処理して、上記欠陥の分類を行うよう構成される請求項７の欠陥検出システム。
13. 上記入力プリ・プロセッサが、
    被試験対象物に欠陥が含まれているか否かを示すメタデータにアクセスする処理と、
    上記第１出力特徴マップと上記第２出力特徴マップとアクセスされた上記メタデータとの間のユークリッド距離に基づいて、対照損失を生成する処理と、
    少なくとも部分的に上記対照損失の変化に基づいて上記第１重み値セットをアップデートする処理と
    を更に行うよう構成される請求項７の欠陥検出システム。

Images