JP2023503751A - 欠陥検出方法、装置、コンピュータ機器および記憶媒体 - Google Patents

Abstract

本発明は、欠陥検出方法、装置、コンピュータ機器および記憶媒体を提供する。当該方法は、検出されるべき画像およびテンプレート画像を取得することと、前記検出されるべき画像に対して特徴抽出を実行して、前記検出されるべき画像の第１特徴マップを取得し、前記テンプレート画像に対して特徴抽出を実行して、前記テンプレート画像に対応する第２特徴マップを取得することと、前記第１特徴マップおよび前記第２特徴マップに対して特徴混同処理を実行して、特徴融合画像を取得することと、前記特徴融合画像に基づいて、前記検出されるべき画像の欠陥検出結果を取得することと、を含む。本発明の実施例は、より高い欠陥検出精度を有する。【選択図】図１

Description

（関連出願の相互参照）
本願は、２０２０年１０月３０日に中国特許局に提出された、出願番号が２０２０１１１９１７４３．３である、中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照によって本願に組み込まれる。

本発明は、画像処理技術分野に関し、具体的には、欠陥検出方法、装置、コンピュータ機器および記憶媒体に関する。

科学技術の発展に伴い、様々な工業部品や製品に対する現代の製造業のニーズもますます高まっている。いくつかの機械装置、電子素子の品質も、いくつかの部品が要求を満たしているか否かに大きく依存する。したがって、物体表面の欠陥の検出も、標準化された生産における重要なリンクである。現在のニューラルネットワークベースの欠陥検出方法は、通常、大量の欠陥位置が注釈されたサンプル画像を使用して、ニューラルネットワークをトレーニングし、その後、トレーニングされたニューラルネットワークを使用して、物体の検出されるべき画像に対して欠陥検出を実行する。このような検出方法には、検出の精度が低い問題がある。

本発明の実施例は、少なくとも、欠陥検出方法、装置、コンピュータ機器および記憶媒体を提供する。

第１態様によれば、本発明の実施例は、欠陥検出方法を提供する。前記方法は、検出されるべき画像およびテンプレート画像を取得することと、前記検出されるべき画像に対して特徴抽出を実行して、前記検出されるべき画像の第１特徴マップを取得し、前記テンプレート画像に対して特徴抽出を実行して、前記テンプレート画像に対応する第２特徴マップを取得することと、前記第１特徴マップおよび前記第２特徴マップに対して特徴混同処理を実行して、特徴融合画像を取得することと、前記特徴融合画像に基づいて、前記検出されるべき画像の欠陥検出結果を取得することと、を含む。

したがって、処理されるべき画像の第１特徴マップと、テンプレート画像の第２特徴マップと、を特徴混同処理することにより、第１特徴マップと第２特徴マップとの間に存在する生産誤差、マッチング誤差、およびノイズの収集などの誤差を減らし、その後、特徴融合画像を利用して、第１特徴マップのより正確な欠陥検出結果を取得することができる。

一可能な実施形態において、前記検出されるべき画像に対して特徴抽出を実行して、前記検出されるべき画像の第１特徴マップを取得することは、前記検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する第１特徴マップを取得することを含み、前記テンプレート画像に対して特徴抽出を実行して、前記テンプレート画像に対応する第２特徴マップを取得することは、前記テンプレート画像に対してマルチレベルの特徴抽出を実行して、各前記第１特徴マップに対応する第２特徴マップを取得することを含み、前記第１特徴マップおよび前記第２特徴マップに対して特徴混同処理を実行して、特徴融合画像を取得することは、各第１特徴マップについて、前記各第１特徴マップおよび前記各第１特徴マップに対応する第２特徴マップに対して特徴混同処理を使用して、前記各第１特徴マップに対応する特徴融合画像を取得することを含む。

したがって、検出されるべき画像およびテンプレート画像に対してマルチレベルの特徴抽出をそれぞれ実行することにより、取得された特徴融合画像に検出されるべき画像およびテンプレート画像内のより多くの特徴が含まれ、さらに、特徴融合画像に基づいて検出されるべき画像の欠陥検出結果を決定するため、より高い精度を有する。

一可能な実施形態において、前記特徴融合画像に基づいて、前記検出されるべき画像の欠陥検出結果を取得することは、前記各第１特徴マップに対応する特徴融合画像に基づいて、前記各第１特徴マップの欠陥検出結果を取得することと、マルチレベルの特徴抽出にそれぞれ対応する第１特徴マップの欠陥検出結果に基づいて、前記検出されるべき画像の欠陥検出結果を取得することと、を含む。

したがって、マルチレベルの特徴抽出にそれぞれ対応する欠陥検出結果を取得し、マルチレベルの特徴抽出にそれぞれ対応する欠陥検出結果を利用することにより決定された検出されるべき画像の欠陥検出結果は、より高い検出精度を有する。

一可能な実施形態において、前記検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する中間特徴マップを取得し、前記各レベルの特徴抽出が、最後の特徴抽出である場合、最後の特徴抽出に対応する中間特徴マップを、当該最後の特徴抽出に対応する第１特徴マップとして使用し、前記各レベルの特徴抽出が、最後の特徴抽出以外の他のレベルの特徴抽出である場合、前記各レベルの特徴抽出に対応する中間特徴マップを、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第１特徴マップと特徴融合して、前記各レベルの特徴抽出に対応する第１特徴マップを取得する。

したがって、検出されるべき画像に対してマルチレベルの特徴抽出を実行することにより、異なるレベルの特徴抽出によって得られた第１特徴マップは、検出されるべき画像内の異なる特徴を含み、さらに、マルチレベルの特徴抽出にそれぞれ対応する第１特徴マップの欠陥検出結果に基づいて決定された検出されるべき画像の欠陥検出結果は、より高い検出精度を有する。

一可能な実施形態において、前記各レベルの特徴抽出に対応する中間特徴マップを、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第１特徴マップと特徴融合して、前記各レベルの特徴抽出に対応する第１特徴マップを取得することは、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第１特徴マップをアップサンプリングして、アップサンプリングベクトルを取得することと、前記アップサンプリングベクトルを、当該レベルの特徴抽出に対応する中間特徴マップと重ね合わせた後、当該レベルの特徴抽出に対応する第１特徴マップを取得することと、を含む。

したがって、アップサンプリングを介して、第１特徴マップおよび中間特徴マップに対応する次元を統一にし、両者の融合をより容易にする。

一可能な実施形態において、前記各第１特徴マップおよび前記各第１特徴マップに対応する第２特徴マップに対して特徴混同処理を実行することは、前記各第１特徴マップおよび前記各第１特徴マップに対応する第２特徴マップに基づいて、前記第１特徴マップに対応する第２特徴マップに対して特徴増強処理を実行して、当該枚の第１特徴マップに対応する第２特徴マップの特徴増強画像を取得することと、前記各第１特徴マップおよび前記各第１特徴マップに対応する第２特徴マップに基づいて、前記各第１特徴マップに対応する注意マスク画像を取得することであって、ここで、前記注意マスク画像のうちの任意の１つの画素点の画素値は、当該第１特徴マップのうち、当該任意の１つの画素点と一致する位置の第１特徴点に欠陥がある異常値を表す、ことと、前記特徴増強画像および前記注意マスク画像に基づいて、前記各第１特徴マップに対応する特徴融合画像を取得することと、を含む。

したがって、特徴増強は、テンプレート画像の第２特徴マップに対して特徴増強を実行することにより、検出されるべき画像に存在するノイズ収集、マッチング誤差および生産誤差によって引き起こす、検出されるべき画像とテンプレート画像との差異を減らし、検出されるべき画像に対する欠陥検出精度を向上させることができる。

さらに、検出されるべき画像の第１特徴マップに対応する注意マスク画像を生成し、当該注意マスク画像内の各画素点の画素値は、第１特徴マップにおける対応位置の第１特徴点に、欠陥があるか否かの異常値を表し、その後、注意マスク画像に従って、第１特徴マップの欠陥検出結果を決定し、より高い検出精度を有する。

一可能な実施形態において、前記各第１特徴マップおよび各第１特徴マップに対応する第２特徴マップに基づいて、各第１特徴マップに対応する第２特徴マップに対して特徴増強処理を実行することは、各第１特徴マップのうちの各第１特徴点について、第１特徴マップに対応する第２特徴マップの複数の第２特徴点から、当該第１特徴点に対応する複数の関連特徴点を決定することであって、ここで、当該第１特徴点に対応する各関連特徴点と、当該第１特徴点位置と一致するターゲット第２特徴点との距離は、プリセットの条件を満たす、ことと、当該第１特徴点と各関連特徴点との類似度に基づいて、当該第１特徴点位置と一致するターゲット第２特徴点に対して特徴増強処理を実行することと、を含む。

したがって、各第１特徴点に関連特徴点を決定し、複数の関連特徴点のそれぞれと、対応する第１特徴点との類似度に基づいて、当該対応する第３画素点異常値を決定し、さらに当該第３画素点に対応する第２画素点の異常値を得ることにより、第２画素点の異常値が、テンプレート画像内の複数の画素点の影響を受けるため、生産誤差、マッチング誤差、ノイズ収集などの、検出されるべき画像内の第２画素点の欠陥検出結果に対する影響を低減させ、処理されるべき画像に対する欠陥検出精度を向上させる。

一可能な実施形態において、前記当該第１特徴点と各関連特徴点との類似度に基づいて、当該第１特徴点位置と一致するターゲット第２特徴点に対して特徴増強処理を実行することは、当該第１特徴点と各関連特徴点との類似度および各関連特徴点の特徴値に基づいて、当該第１特徴点位置と一致するターゲット第２特徴点に対して特徴増強処理を実行することを含む。

したがって、関連特徴点と第１特徴点との類似度、および各関連特徴点の特徴値を介して、第１特徴点位置と一致するターゲット第２特徴点の特徴値を再決定して、再決定された特徴値が、第１特徴点間に存在する様々な誤差を減らすことができるため、特徴増強画像に基づいて欠陥検出を実行する場合に、より高い検出精度を有することができる。

一可能な実施形態において、前記当該第１特徴点と各関連特徴点との類似度、および各関連特徴点の特徴値に基づいて、当該第１特徴点位置と一致するターゲット第２特徴点に対して特徴増強処理を実行することは、当該第１特徴点と各関連特徴点との類似度に基づいて、当該第１特徴点に対応する複数の関連特徴点にそれぞれ対応する特徴値に対して加重加算を実行して、第１合計値を取得することと、複数の関連特徴点にそれぞれ対応する類似度を加算して、第２合計値を取得することと、前記第１合計値と前記第２合計値の比率を、前記ターゲット第２特徴点に対して特徴増強処理を実行した後の特徴値として使用することと、を含む。

一可能な実施形態において、前記当該枚の第１特徴マップおよび当該枚の第１特徴マップに対応する第２特徴マップに基づいて、当該枚の第１特徴マップに対応する注意マスク画像を取得することは、当該枚の第１特徴マップのうちの各第１特徴点について、当該枚の第１特徴マップに対応する第２特徴マップの複数の第２特徴点から、当該第１特徴点に対応する複数の関連特徴点を決定することであって、ここで、当該第１特徴点に対応する各関連特徴点と、当該第１特徴点位置と一致するターゲット第２特徴点との距離は、プリセットの条件を満たす、ことと、当該第１特徴点と各関連特徴点との類似度に基づいて、当該第１特徴点の異常値を決定することと、前記第１特徴マップのうち、各第１特徴点に対応する異常値に基づいて、前記注意マスク画像を取得することと、を含む。

一可能な実施形態において、前記当該第１特徴点と各関連特徴点との類似度に基づいて、当該第１特徴点の異常値を決定することは、複数の関連特徴点のそれぞれと、当該第１特徴点との類似度の最大類似度を決定することと、前記最大類似度に基づいて、当該第１特徴点の異常値を決定することと、を含む。

一可能な実施形態において、下記の方式を採用して、第１特徴点と、当該第１特徴点に対応する任意の１つの関連特徴点との類似度を決定する。前記第１特徴マップにおける前記第１特徴点の位置およびプリセットの距離閾値に基づいて、第１特徴サブマップを取得し、前記第２特徴マップにおける、当該第１特徴点に対応する任意の１つの関連特徴点の位置および前記距離閾値に基づいて、第２特徴サブマップを取得し、前記第１特徴サブマップおよび前記第２特徴サブマップに基づいて、前記第１特徴点と、当該第１特徴点に対応する当該任意の１つの関連特徴点との類似度を決定する。

一可能な実施形態において、前記特徴増強画像および前記注意マスク画像に基づいて、前記第１特徴マップに対応する特徴融合画像を取得することは、前記特徴増強画像および当該枚の第１特徴マップに対してマージ処理を実行して、当該枚の第１特徴マップに対応するマージ特徴マップを取得することと、前記注意マスク画像および前記マージ特徴マップに基づいて、前記特徴融合画像を取得することと、を含む。

第２態様によれば、本発明の実施例は、さらに、欠陥検出装置を提供し、検出されるべき画像およびテンプレート画像を取得するように構成される取得部と、前記検出されるべき画像に対して特徴抽出を実行して、前記検出されるべき画像の第１特徴マップを取得し、前記テンプレート画像に対して特徴抽出を実行して、前記テンプレート画像に対応する第２特徴マップを取得するように構成される特徴抽出部と、前記第１特徴マップおよび前記第２特徴マップに対して特徴混同処理を実行して、特徴融合画像を取得するように構成される特徴混同部と、前記特徴融合画像に基づいて、前記検出されるべき画像の欠陥検出結果を取得するように構成される検出部と、を備える。

一可能な実施形態において、前記特徴抽出部は、前記検出されるべき画像に対して特徴抽出を実行して、前記検出されるべき画像の第１特徴マップを取得する場合には、前記検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する第１特徴マップを取得するように構成され、前記特徴抽出部は、前記テンプレート画像に対して特徴抽出を実行して、前記テンプレート画像に対応する第２特徴マップを取得する場合には、前記テンプレート画像に対してマルチレベルの特徴抽出を実行して、各前記第１特徴マップに対応する第２特徴マップを取得するように構成され、前記特徴混同部は、前記第１特徴マップおよび前記第２特徴マップに対して特徴混同処理を実行して、特徴融合画像を取得する場合には、各第１特徴マップについて、前記各第１特徴マップおよび前記各第１特徴マップに対応する第２特徴マップに対して特徴混同処理を使用して、前記各第１特徴マップに対応する特徴融合画像を取得するように構成される。

一可能な実施形態において、検出部は、前記特徴融合画像に基づいて、前記検出されるべき画像の欠陥検出結果を取得する場合に、前記各第１特徴マップに対応する特徴融合画像に基づいて、前記各第１特徴マップの欠陥検出結果を取得し、マルチレベルの特徴抽出にそれぞれ対応する第１特徴マップの欠陥検出結果に基づいて、前記検出されるべき画像の欠陥検出結果を取得するように構成される。

一可能な実施形態において、前記特徴抽出部は、前記検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する第１特徴マップを取得する場合、前記検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する中間特徴マップを取得し、前記各レベルの特徴抽出が、最後の特徴抽出である場合、最後の特徴抽出に対応する中間特徴マップを、当該最後の特徴抽出に対応する第１特徴マップとして使用し、前記各レベルの特徴抽出が、最後の特徴抽出以外の他のレベルの特徴抽出である場合、前記各レベルの特徴抽出に対応する中間特徴マップを、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第１特徴マップと特徴融合して、前記各レベルの特徴抽出に対応する第１特徴マップを取得するように構成される。

一可能な実施形態において、前記特徴抽出部は、各レベルの特徴抽出に対応する中間特徴マップを、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第１特徴マップと特徴融合して、前記各レベルの特徴抽出に対応する第１特徴マップを取得する場合、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第１特徴マップをアップサンプリングして、アップサンプリングベクトルを取得し、前記アップサンプリングベクトルを、当該レベルの特徴抽出に対応する中間特徴マップと重ね合わせた後、当該レベルの特徴抽出に対応する第１特徴マップを取得するように構成される。

一可能な実施形態において、前記特徴混同部は、前記各第１特徴マップ、および前記各第１特徴マップに対応する第２特徴マップに対して特徴混同処理を実行する場合、
前記各第１特徴マップおよび前記各第１特徴マップに対応する第２特徴マップに基づいて、前記第１特徴マップに対応する第２特徴マップに対して特徴増強処理を実行して、各第１特徴マップに対応する第２特徴マップの特徴増強画像を取得し、
前記各第１特徴マップおよび前記各第１特徴マップに対応する第２特徴マップに基づいて、前記各第１特徴マップに対応する注意マスク画像を取得し、ここで、前記注意マスク画像のうちの任意の１つの画素点の画素値は、当該第１特徴マップのうち、当該任意の１つの画素点と一致する位置の第１特徴点に欠陥がある異常値を表し、
前記特徴増強画像および前記注意マスク画像に基づいて、前記各第１特徴マップに対応する特徴融合画像を取得するように構成される。

一可能な実施形態において、前記特徴混同部は、前記各第１特徴マップおよび各第１特徴マップに対応する第２特徴マップに基づいて、各第１特徴マップに対応する第２特徴マップに対して特徴増強処理を実行する場合、各第１特徴マップのうちの各第１特徴点について、第１特徴マップに対応する第２特徴マップの複数の第２特徴点から、当該第１特徴点に対応する複数の関連特徴点を決定し、ここで、当該第１特徴点に対応する各関連特徴点と、当該第１特徴点位置と一致するターゲット第２特徴点との距離は、プリセットの条件を満たし、当該第１特徴点と各関連特徴点との類似度に基づいて、当該第１特徴点位置と一致するターゲット第２特徴点に対して特徴増強処理を実行するように構成される。

一可能な実施形態において、前記特徴混同部は、前記当該第１特徴点と各関連特徴点との類似度に基づいて、当該第１特徴点位置と一致するターゲット第２特徴点に対して特徴増強処理を実行する場合、当該第１特徴点と各関連特徴点との類似度および各関連特徴点の特徴値に基づいて、当該第１特徴点位置と一致するターゲット第２特徴点に対して特徴増強処理を実行するように構成される。

一可能な実施形態において、前記特徴混同部は、前記当該第１特徴点と各関連特徴点との類似度および各関連特徴点の特徴値に基づいて、当該第１特徴点位置と一致するターゲット第２特徴点に対して特徴増強処理を実行する場合、当該第１特徴点と各関連特徴点との類似度に基づいて、当該第１特徴点に対応する複数の関連特徴点にそれぞれ対応する特徴値に対して加重加算を実行して、第１合計値を取得し、複数の関連特徴点にそれぞれ対応する類似度を加算して、第２合計値を取得し、前記第１合計値と前記第２合計値の比率を、前記ターゲット第２特徴点に対して特徴増強処理を実行した後の特徴値として使用するように構成される。

一可能な実施形態において、前記特徴混同部は、前記当該枚の第１特徴マップおよび当該枚の第１特徴マップに対応する第２特徴マップに基づいて、当該枚の第１特徴マップに対応する注意マスク画像を取得場合、当該枚の第１特徴マップのうちの各第１特徴点について、当該枚の第１特徴マップに対応する第２特徴マップの複数の第２特徴点から、当該第１特徴点に対応する複数の関連特徴点を決定し、ここで、当該第１特徴点に対応する各関連特徴点と、当該第１特徴点位置と一致するターゲット第２特徴点との距離は、プリセットの条件を満たし、当該第１特徴点と各関連特徴点との類似度に基づいて、当該第１特徴点の異常値を決定し、前記第１特徴マップのうち、各第１特徴点に対応する異常値に基づいて、前記注意マスク画像を取得するように構成される。

一可能な実施形態において、前記特徴混同部は、前記当該第１特徴点と各関連特徴点との類似度に基づいて、当該第１特徴点の異常値を決定する場合、複数の関連特徴点のそれぞれと、当該第１特徴点との類似度の最大類似度を決定し、前記最大類似度に基づいて、当該第１特徴点の異常値を決定するように構成される。

一可能な実施形態において、前記特徴混同部は、下記の方式を採用して、第１特徴点と、当該第１特徴点に対応する任意の１つの関連特徴点との類似度を決定するように構成される。前記第１特徴マップにおける前記第１特徴点の位置およびプリセットの距離閾値に基づいて、第１特徴サブマップを取得し、前記第２特徴マップにおける、当該第１特徴点に対応する任意の１つの関連特徴点の位置および前記距離閾値に基づいて、第２特徴サブマップを取得し、前記第１特徴サブマップおよび前記第２特徴サブマップに基づいて、前記第１特徴点と、当該第１特徴点に対応する当該任意の１つの関連特徴点との類似度を決定する。

一可能な実施形態において、前記特徴混同部は、前記特徴増強画像および前記注意マスク画像に基づいて、前記第１特徴マップに対応する特徴融合画像を取得する場合、前記特徴増強画像および当該枚の第１特徴マップに対してマージ処理を実行して、当該枚の第１特徴マップに対応するマージ特徴マップを取得し、前記注意マスク画像および前記マージ特徴マップに基づいて、前記特徴融合画像を取得するように構成される。

第３態様によれば、本発明の実施例はさらにコンピュータ機器を提供する。前記コンピュータ機器は、互いに接続されるプロセッサとメモリとを備え、前記メモリは、前記プロセッサによって実行可能な機械可読命令を記憶し、前記プロセッサは、コンピュータ機器が実行するとき、前記機械可読命令を実行して、上記の第１態様、または第１態様のいずれか一つの可能な実施形態における欠陥検出方法を実施する。

第４態様によれば、本発明の実施例はさらにコンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体は、コンピュータプログラムを記憶し、当該コンピュータプログラムは、プロセッサによって実行されるときに、前記プロセッサに上記の第１態様、または第１態様のいずれか一つの可能な実施形態における欠陥検出方法を実行させる。

本発明の一態様によれば、コンピュータプログラムを提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードは、電子機器で実行されるときに、前記電子機器内のプロセッサに、上記のいずれか一つの可能な実施形態における欠陥検出方法を実行させる。

本発明の上記の目的、特徴および利点をより明確且つ理解するために、以下は、好ましい実施例を添付の図面と合わせて、詳細な説明をする。

本発明の実施例による欠陥検出方法のフローチャートを示す。 本発明の実施例による特徴融合されたネットワークの例示的な構造図を示す。 本発明の実施例による特徴融合されたネットワークの例示的な構造図を示す。 本発明の実施例による特徴融合されたネットワークの例示的な構造図を示す。 本発明の実施例による特徴融合されたネットワークの例示的な構造図を示す。 本発明の実施例による、ニューラルネットワークを使用して欠陥検出を実現する概略図を示す。 本発明の実施例による、第１特徴マップおよび当該枚の第１特徴マップに対応する第２特徴マップに対して特徴混同処理を実行する具体的な方法のフローチャートを示す。 本発明の実施例による特徴増強画像の例示的なフローチャートを示す。 本発明の実施例による特徴混同ネットワークの例示的な構造図を示す。 本発明の実施例による欠陥検出装置の概略図を示す。 本発明の実施例によるコンピュータ機器の概略図を示す。

本発明の実施例の技術的解決策をより明確に説明するために、実施例で必要な図面を簡単に紹介する。ここでの図面は、本明細書に組み込まれてその一部を構成し、これらの図面は、本発明と一致する実施例を示すものであり、明細書とともに本発明の実施例の技術的解決策を説明するために使用される。図面は、本発明のいくつかの実施例のみを示したため、範囲の限定として見なされるべきではなく、当業者にとっては、創造的な作業なしに、これらの図面に従って他の関連する図面を得ることもできることを理解されたい。

本発明の実施例の目的、技術的解決策および利点をより明確にするために、以下は、本発明の実施例の図面を参照して、本発明の実施例における技術的解決策を明確、且つ完全に説明し、明らかに、説明される実施例は、本願実施例の一部に過ぎず、実施例の全てではない。通常、ここでの図面で説明および示された本発明の実施例のコンポーネンは、様々な異なる構成で配置および設計されることができる。そのため、以下は、是面で提供された本発明の実施例の詳細な説明は、保護請求の本発明の範囲を制限することを目的としなく、本発明の選択された実施例を表示することに過ぎない。本発明の実施例に基づいて、創造的な努力なしに当業者によって取得される他のすべての実施例は、すべて本願の保護範囲に含まれる。

研究によると、物体表面の欠陥を検出する方法は、通常、以下の２つがある。

（１）テンプレートなしの方法であって、当該方法は、通常、単純な画像処理で、検出されるべき対象の検出されるべき画像に欠陥がある位置および欠陥のカテゴリを取得し、さらに、大量のサンプルを使用して、ニューラルネットワークモデルをトレーニングして、検出されるべき対象の検出されるべき画像をトレーニングされたニューラルネットワークモデルに入力して、検出されるべき対象の検出されるべき画像の欠陥検出結果を取得することもできる。このようなテンプレートなしの方式は、テンプレート画像内の関連情報が足りないため、設計された部品および欠陥のある部品を区別できないため、大量の間違った検出ターゲットをリコールする可能性がある。

（２）テンプレートありの方法であって、当該方法は、テンプレート画像および検出されるべき対象の検出されるべき画像を使用して、欠陥を位置づけし分類するが、検出されるべき対象の生産プロセスでは、常に、検出されるべき対象に特定の生産誤差が存在するため、さらに、検出されるべき対象の検出されるべき画像とテンプレート画像を比較する場合にも、画像間のマッチング誤差があるため、さらに、検出されるべき画像の収集プロセス中にノイズ収集がある可能性があるため、このような誤差は、現在の部品の欠陥検出結果に、大量の誤検出領域が存在し、欠陥検出の精度を低減させる。

したがって、検出されるべき対象に対して欠陥検出を実行する現在の方法はすべて、検出精度の低いという問題がある。

上記の研究に基づいて、本発明は、欠陥検出方法および装置を提供し、検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する第１特徴マップ画像を取得し、テンプレート画像に対してマルチレベルの特徴抽出を実行して、各第１特徴マップに対応する第２特徴マップを取得し、その後、各第１特徴マップについて、当該枚の第１特徴マップおよび当該枚の第１特徴マップに対応する第２特徴マップに対して、特徴混同処理を実行して、当該枚の第１特徴マップに対応する特徴融合画像を取得することにより、処理されるべき画像とテンプレート画像内の特徴を融合することを介して、第１特徴マップと第２特徴マップとの間の存在する生産誤差、マッチング誤差およびノイズの収集などの誤差を減らし、その後、特徴融合画像を利用して、第１特徴マップの欠陥検出結果を取得し、さらに、マルチレベルの特徴抽出にそれぞれ対応する第１特徴マップの欠陥検出結果を統合し、より高い精度で検出されるべき画像の欠陥検出結果を取得する。

以上の技術案に存在する欠陥はすべて、実施および綿密な研究の後に発明者によって得られた結果である。したがって、上記の問題の発見プロセスおよび以下の本発明が上記の問題に対して提出された技術的解決策はすべて、本発明のプロセスで、本発明に対して発明者によってなされた貢献であるべきである。

類似する参照番号および文字は、次の図面で類似した項目を示し、従って、特定の一項が１つの図面で定義されると、後の図面では、それに対してさらなる定義及び説明を実行する必要がないことを注意されたい。

本実施例を理解し易くするために、まず、本発明の実施例によって開示される欠陥検出方法を詳細に紹介する。本発明の実施例による欠陥方法の実行主体は、通常、特定のコンピューティング能力を有するコンピュータ機器であり、コンピュータ機器は、例えば、端末機器またはサーバまたは他の処理機器を含み、端末機器は、品質検出専用の機器であってもよく、メモリに記憶されるコンピュータ可読命令を呼び出してプロセッサによって実装されてもよい。

さらに、本発明の実施例による欠陥検出方法は、検出されるべき対象に対して欠陥検出を実行するために使用される以外に、ワークピース、機械部品などの他のアイテムに対して欠陥検出を実行することもできる。

以下は、検出されるべき対象に対して欠陥検出を実行することを例として、本発明の実施例による欠陥検出方法を説明する。

図１を参照すると、本発明の実施例による欠陥検出方法のフローチャートであり、前記方法は、ステップＳ１０１～Ｓ１０４を含む。

ステップＳ１０１において、検出されるべき画像およびテンプレート画像を取得する。

ステップＳ１０２において、前記検出されるべき画像に対して特徴抽出を実行して、前記検出されるべき画像の第１特徴マップを取得し、前記テンプレート画像に対して特徴抽出を実行して、前記テンプレート画像に対応する第２特徴マップを取得する。

ステップＳ１０３において、前記第１特徴マップおよび前記第２特徴マップに対して特徴混同処理を実行して、特徴融合画像を取得する。

ステップＳ１０４において、前記特徴融合画像に基づいて、前記検出されるべき画像の欠陥検出結果を取得する。

以下は、上記のＳ１０１～Ｓ１０４に対して詳細に説明する。

Ｉ：上記のＳ１０１において、テンプレート画像は、工業生産において標準的な設計図、または検出されるべき対象に対して欠陥検出を実行する場合に使用される、合格対象を撮影した画像を指し、ここで、合格対象は、即ち、欠陥のない対象である。検出されるべき画像は、検出されるべき対象に対して取得された画像を指す。

例示的に、検出されるべき対象は、例えば、各タイプも機械部品、材料、プリント回路基板、電子コンポーネントなどのうちの少なくとも１つを含む。

部品を検出されるべき対象として使用することを例とする。

検出されるべき部品に対して欠陥検出を実行する場合、例えば、まず、検出されるべき部品のモデルまたは識別情報を取得し、その後、部品のモデルまたは識別情報に従って、事前に構築されたテンプレート画像ライブラリから、検出されるべき部品に対応するテンプレート画像を取得する。また例えば、テンプレート画像ライブラリに検出されるべき部品のテンプレート画像がない場合、例えば、まず、複数の検出されるべき部品から欠陥のないテンプレート部品を決定し、その後、当該テンプレート部品の画像を取得して、テンプレート画像を取得する。

検出されるべき画像は、例えば、欠陥検出機器に設置された画像収集コンポーネントによって取得でき、他の機器によって伝送された検出されるべき画像を受信することもできる。

ＩＩ：上記のＳ１０２において、処理されるべき画像に対して特徴抽出を実行することは、例えば、以下の方式を採用できる。

前記検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する第１特徴マップを取得する。

本発明の実施例において、検出されるべき画像に対してマルチレベルの特徴抽出を実行した後、マルチレベルの特徴に基づいて特徴融合し、さらに、各レベルの特徴抽出に対応する第１特徴マップを取得することができる。ここで、各レベルの特徴抽出に対応する第１特徴マップを取得する方式は、図２ａに示されたように、特徴化画像ピラミッドネットワークを採用でき、図２ｂに示されたように、単一な特徴マップネットワークを採用することもでき、図２ｃに示されたように、ピラミッド特徴層ネットワークを採用することもでき、図２ｄに示されたように、特徴ピラミッドネットワーク（ＦＰＮ：Ｆｅａｔｕｒｅ Ｐｙｒａｍｉｄ Ｎｅｔｗｏｒｋｓ）を採用することもでき、それに対して、本発明の実施例は限定しない。

例示的に、各レベルの特徴抽出はすべて、処理されるべき画像の一枚の中間特徴マップを取得することができる。ここで、任意の隣接する２つの特徴抽出に対して、前レベルの特徴抽出によって得られた中間特徴マップは、後レベルの特徴抽出の入力であり、即ち、後レベルの特徴抽出は、前レベルの特徴抽出によって得られた中間特徴マップに基づいて当該後レベルの特徴抽出を実行して、当該後レベルの特徴抽出の中間特徴マップを取得する。マルチレベルの特徴抽出のうちの最後の特徴抽出について、最後の特徴抽出に対応する中間特徴マップを、当該最後の特徴抽出に対応する第１特徴マップとして使用し、マルチレベルの特徴抽出のうち、最後の特徴抽出以外の他のレベルの特徴抽出について、各レベルの特徴抽出に対応する中間特徴マップを、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第１特徴マップと特徴融合して、前記各レベルの特徴抽出に対応する第１特徴マップを取得する。

各レベルの特徴抽出に対応する中間特徴マップを、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第１特徴マップと特徴融合する場合、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第１特徴マップのサイズが、当該レベルの特徴抽出に対応する中間特徴マップより小さいことに応答して、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第１特徴マップをアップサンプリングして、アップサンプリング画像を取得し、当該アップサンプリング画像のサイズは、当該レベルの特徴抽出に対応する中間特徴マップのサイズと一致し、その後、当該アップサンプリング画像を、当該レベルの特徴抽出に対応する中間特徴マップと重ね合わせた後、当該レベルの特徴抽出に対応する第１特徴マップを取得する。

各レベルの特徴抽出に対応する中間特徴マップを、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第１特徴マップと特徴融合する場合、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第１特徴マップのサイズが、当該レベルの特徴抽出に対応する中間特徴マップと等しいことに応答して、例えば、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第１特徴マップを、当該レベルの特徴抽出に対応する中間特徴マップと直接に重ね合わせて、当該レベルの特徴抽出に対応する第１特徴マップを取得することができる。

本発明の一実施例において、例えば、事前にトレーニングされた特徴抽出ネットワークを使用して、検出されるべき画像に対してマルチレベルの特徴抽出を実行することができる。

いくつかの実施例において、特徴抽出ネットワークは、ＡｌｅｘＮｅｔ、オックスフォード大学コンピュータビジョングループ（ＶＧＧ：Ｖｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ）によって開発された深層畳み込みニューラルネットワーク、残差ニューラルネットワーク（ＲｅｓＮｅｔ：Ｒｅｓｉｄｕａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、スクイーズネットワーク（ＳｑｕｅｅｚｅＮｅｔ）、密集ネットワーク（ＤｅｎｓｅＮｅｔ）、ＧｏｏｇＬｅＮｅｔ、ＳｈｕｆｆｌｅＮｅｔ、モバイルニューラルネットワーク（ＭｏｂｉｌｅＮｅｔ）、ＲｅｓＮｅＸｔなどの、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）ベースの構造を採用できる。

例示的に、図３ａを参照すると、本発明の実施例は、さらに、４レベルネットワーク層を含む、特徴抽出ネットワークの構造示例を提供し、当該４レベルネットワーク層は順次に、第１レベルネットワーク層、第２レベルネットワーク層、第３レベルネットワーク層および第４レベルネットワーク層を含む。

上記の４レベルネットワーク層を介して、処理されるべき画像Ａに対して４レベルの特徴抽出を実行し、各レベルのネットワーク層はすべて、当該レベルのネットワーク層に対応する中間特徴マップを出力することができる。ここで、第１レベルネットワーク層は、検出されるべき画像に対して第１レベルの特徴抽出を実行して、中間特徴マップＡ１を取得し、第２レベルネットワーク層は、中間特徴マップＡ１に対して第２レベルの特徴抽出を実行して、中間特徴マップＡ２を取得し、第３レベルネットワーク層は、中間特徴マップＡ２に対して第３レベルの特徴抽出を実行して、中間特徴マップＡ３を取得し、第４レベルネットワーク層は、中間特徴マップＡ３に対して第４レベルの特徴抽出を実行して、中間特徴マップＡ４を取得する。

第４レベルネットワーク層について、中間特徴マップＡ４を、第４レベルの特徴抽出に対応する第１特徴マップＡ４’として使用し、
第３レベルネットワーク層について、第４レベルの特徴抽出に対応する第１特徴マップＡ４’をアップサンプリングした後、第３レベルの特徴抽出に対応する中間特徴マップＡ３と重ね合わせて、第３レベルの特徴抽出に対応する第１特徴マップＡ３’を取得する。

第２レベルネットワーク層について、第３レベルの特徴抽出に対応する第１特徴マップＡ３’をアップサンプリングした後、第２レベルの特徴抽出に対応する中間特徴マップＡ２と重ね合わせて、第２レベルの特徴抽出に対応する第１特徴マップＡ２’を取得する。

第１レベルネットワーク層について、第２レベルの特徴抽出に対応する第１特徴マップＡ２’をアップサンプリングした後、第１レベルの特徴抽出に対応する中間特徴マップＡ１と重ね合わせて、第１レベルの特徴抽出に対応する第１特徴マップＡ１’を取得する。

テンプレート画像に対して特徴抽出を実行する場合、例えば、テンプレート画像に対してマルチレベルの特徴抽出を実行して、各第１特徴マップに対応する第２特徴マップを取得することができ、第２特徴マップを取得するプロセスは、第１特徴マップを取得するプロセスと類似し、ここでは繰り返して説明しない。

ここで、例えば、事前にトレーニングされた特徴抽出ネットワークを採用して、テンプレート画像に対してマルチレベルの特徴抽出を実行して、マルチレベルの特徴抽出にそれぞれ対応する第２特徴マップを取得することができる。

ここで、当該特徴抽出ネットワークは、上記の第１特徴マップを取得する特徴抽出ネットワークと同じネットワークであってもよく、ツインネットワークの２つの特徴抽出ブランチであってもよい。２つの特徴抽出ネットワークが、ツインネットワークの２つの特徴抽出ブランチである場合、２つの特徴抽出ブランチのパラメータは同じである。

例示的に、図３ａに示された例を参照すると、第２特徴マップを取得する特徴抽出ネットワークと、第１特徴ハイライトを取得する特徴抽出ネットワークは、ツインネットワークの２つの特徴抽出ブランチである。

第２特徴マップを取得するための特徴抽出ネットワークは、第１特徴マップを取得するための特徴抽出ネットワークと同じであり、４レベルネットワーク層を含み、４レベルネットワーク層は順次に、第１レベルネットワーク層、第２レベルネットワーク層、第３レベルネットワーク層および第４レベルネットワーク層を含む。

上記の４レベルネットワーク層を介して、テンプレート画像Ｂに対して４レベルの特徴抽出を実行し、各レベルのネットワーク層はすべて、当該レベルのネットワーク層に対応する中間特徴マップを出力することができる。ここで、第１レベルネットワーク層は、テンプレート画像に対して第１レベルの特徴抽出を実行して、中間特徴マップＢ１を取得し、第２レベルネットワーク層は、中間特徴マップＢ１に対して第２レベルの特徴抽出を実行して、中間特徴マップＢ２を取得し、第３レベルネットワーク層は、中間特徴マップＢ２に対して第３レベルの特徴抽出を実行して、中間特徴マップＢ３を取得し、第４レベルネットワーク層は、中間特徴マップＢ３に対して第４レベルの特徴抽出を実行して、中間特徴マップＢ４を取得する。

第４レベルネットワーク層について、中間特徴マップＢ４を、第４レベルの特徴抽出に対応する第２特徴マップＢ４’として使用し、
第３レベルネットワーク層について、第４レベルの特徴抽出に対応する第２特徴マップＢ４’をアップサンプリングした後、第３レベルの特徴抽出に対応する中間特徴マップＢ３と重ね合わせて、第３レベルの特徴抽出に対応する第２特徴マップＢ３’を取得する。

第２レベルネットワーク層について、第３レベルの特徴抽出に対応する第２特徴マップＢ３’をアップサンプリングした後、第２レベルの特徴抽出に対応する中間特徴マップＢ２と重ね合わせて、第２レベルの特徴抽出に対応する第２特徴マップＢ２’を取得する。

第１レベルネットワーク層について、第２レベルの特徴抽出に対応する第２特徴マップＢ２’をアップサンプリングした後、第１レベルの特徴抽出に対応する中間特徴マップＢ１と重ね合わせて、第１レベルの特徴抽出に対応する第２特徴マップＢ１’を取得する。

本発明の別の一実施例において、複数の同じ部品に対して欠陥検出を実行する場合、複数の部品に対応するテンプレート画像は、一般的な場合にはすべて同じであるため、複数の同じ部品に対応する同じテンプレート画像について、マルチレベルの特徴抽出のプロセスを一回のみ実行し、マルチレベルの特徴抽出にそれぞれ対応する第２特徴マップを取得した後、各レベルの特徴抽出にそれぞれ対応する第２特徴マップを、実行主体のプリセットの記憶位置に格納することができる。ある部品に対して欠陥検出を実行する場合、現在、当該部品に対応するテンプレート画像の第２特徴マップがある場合、テンプレート画像に対してマルチレベルの特徴抽出を再び実行する必要なく、プリセットの記憶位置から直接に読み取ることができる。

別の一実施例において、検出されるべき画像に対して少なくとも一レベルの特徴抽出を実行して、最後の特徴抽出の出力を、検出されるべき画像の第１特徴マップとして使用し、テンプレート画像に対して少なくとも一レベルの特徴抽出を実行して、最後の特徴抽出の出力を、テンプレート画像の第２特徴マップとして使用することもできる。

ＩＩＩ：上記のＳ１０３において、第１特徴マップと第２特徴マップに対して特徴混同処理を実行する場合、例えば、各第１特徴マップについて、前記各第１特徴マップおよび前記各第１特徴マップに対応する第２特徴マップに対して特徴混同処理を使用して、前記各第１特徴マップに対応する特徴融合画像を取得することができる。

例示的に、図３ｂを参照すると、本発明の実施例は、さらに、第１特徴マップおよび当該枚の第１特徴マップに対応する第２特徴マップに対して特徴混同処理を実行する方法を提供し、以下のステップを含む。

ステップＳ３０１において、当該枚の第１特徴マップおよび当該枚の第１特徴マップに対応する第２特徴マップに基づいて、当該枚の第１特徴マップに対応する第２特徴マップに対して特徴増強処理を実行して、当該枚の第１特徴マップに対応する第２特徴マップの特徴増強画像を取得する。

いくつかの実施例において、図４ａに示されたように、正規化相互相関マッチングアルゴリズム（ＮＣＣ：Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）に基づいて、第２特徴マップＦ_２から、第１特徴点と一致するターゲット第２ターゲット特徴点ｆ_２を決定し、第１特徴マップ内の各第１特徴点位置と一致するターゲット第２特徴点ｆ_２に対して、それぞれ特徴増強を実行して、第２特徴マップの特徴増強画像Ｆ_２２を取得することができる。

いくつかの実施例において、例えば、以下の方式を採用して、当該枚の第１特徴マップに対応する第２特徴マップに対して特徴増強処理を実行することができる。

当該枚の第１特徴マップのうちの各第１特徴点について、当該枚の第１特徴マップに対応する第２特徴マップの複数の第２特徴点から、当該第１特徴点に対応する複数の関連特徴点を決定し、ここで、当該第１特徴点に対応する各関連特徴点と、当該第１特徴点位置と一致するターゲット第２特徴点との距離は、プリセットの条件を満たし、当該第１特徴点と各関連特徴点との類似度に基づいて、当該第１特徴点位置と一致するターゲット第２特徴点に対して特徴増強処理を実行する。

例示的に、各第１特徴点について、第１特徴マップおよび第２特徴マップのサイズが両方ともｎ×ｍである場合、ここで、
第１特徴マップは、

に表す。
第２特徴マップは、

に表す。

第１特徴マップ内の任意の１つの第１特徴点

に対して、その位置と一致するターゲット第２特徴点は、

である。

任意の１つの第１特徴点に対応する複数の関連特徴点は、例えば、第２特徴マップでは、ターゲット第２特徴点との距離は、プリセットのある距離閾値より小さい第２特徴点である。

例示的に、当該距離は、例えば、Ｌ１距離、Ｌ２距離、ユークリッド距離、マンハッタン距離のうちの任意の１つである。

各第１特徴点に複数の関連特徴点を決定する場合、まず、第２特徴マップから、当該第１特徴点に、位置が一致するターゲット第２特徴点を決定し、その後、第２特徴マップのうち、ターゲット第２特徴点との距離が、プリセットの条件を満たすすべての第２特徴点を、すべて当該第１特徴点に対応する複数の関連特徴点として使用する。第２特徴マップのうち、ターゲット第２特徴点との距離が、プリセットの条件を満たすすべての第２特徴点を候補特徴点として使用し、その後、ランダムサンプリング、または一様間隔サンプリングの方式に従って、複数の候補特徴点から複数の関連特徴点を決定することもできる。

第１特徴点の複数の関連特徴点を決定した後、例えば、以下の方式を採用して、各関連特徴点と第１特徴点との類似度を決定することができる。

前記第１特徴マップにおける前記第１特徴点の位置およびプリセットの距離閾値に基づいて、第１特徴サブマップを取得し、前記第２特徴マップにおける、当該第１特徴点に対応する任意の１つの関連特徴点の位置および前記プリセットの距離閾値に基づいて、第２特徴サブマップを取得し、前記第１特徴サブマップおよび前記第２特徴サブマップに基づいて、前記第１特徴点と、当該第１特徴点に対応する当該任意の１つの関連特徴点との類似度を決定する。ここで、プリセットの距離閾値は、必要に応じて設定することができ、これに対して、本発明の実施例は限定しない。

一可能な実施形態において、第１特徴点に対応する第１特徴サブマップを決定する場合、例えば、第１特徴マップで、前記第１特徴点を円心とし、当該プリセットの距離閾値を半径とする第１円形領域で、前記第１特徴マップの当該第１円形領域内に位置する第１特徴点に基づいて、前記第１特徴サブマップを取得することができる。

ここで、第１特徴サブマップ内の第１特徴点は、第１円形領域内に位置するすべての第１特徴点を含んでもよく、第１円形領域内に位置する第１特徴点の一部を含んでもよい。

いくつかの実施例において、任意の１つの関連特徴点に対応する第２特徴サブマップを決定する場合、例えば、前記第２特徴マップで、当該任意の１つの各関連特徴点を円心とし、当該プリセットの距離閾値を半径とする第２円形領域を決定し、前記第２特徴マップの当該第２円形領域内に位置する第２特徴点に基づいて、前記第２特徴サブマップを取得することができる。

ここで、第２特徴サブマップ内の第２特徴点は、第２円形領域内に位置するすべての第２特徴点を含んでもよく、第２円形領域内に位置する第２特徴点の一部のみを含んでもよい。

例示的に、第１特徴サブマップ内の第１特徴点が、第１円形領域内に位置する第１特徴点の一部のみを含む場合、第２特徴サブマップ内の第２特徴点も、第２円形領域内に位置する第２特徴点の一部のみを含み、第１特徴サブマップ内の第１特徴点は、第２サブマップ中の第２特徴点位置と一対一でマッチングする。

別の一可能な実施形態において、第１特徴点に対応する第１特徴サブマップを決定する場合、例えば、前記第１特徴マップで、第１特徴点を中心とし、決定された前記ターゲット辺の長さを辺の長さとする第１正方形領域を決定し、前記第１特徴マップの当該第１正方形領域内に位置する第１特徴点に基づいて、前記第１特徴サブマップを取得することができる。

第１特徴点に対応する第１特徴サブマップを決定する場合、第１特徴サブマップに含まれる第１特徴点は、例えば、第１正方形領域内に位置する第１特徴点を含み、第１正方形領域内に位置する第１特徴点の一部のみを含んでもよい。

いくつかの実施例において、任意の１つの関連特徴点に対応する第２特徴サブマップを決定する場合、例えば、前記プリセットの距離閾値に基づいて、ターゲット辺の長さを決定し、前記第２特徴マップで、前記各関連特徴点を中心とし、決定された前記ターゲット辺の長さを辺の長さとする第２正方形領域を決定し、前記第２特徴マップの当該第２正方形領域内に位置する第２特徴点に基づいて、前記第２特徴サブマップを取得することができる。

関連特徴点に対応する第２特徴サブマップを決定する場合、第２特徴サブマップに含まれる第２特徴点は、例えば、第２正方形領域内に位置するすべての第２特徴点を含み、第２正方形領域内に位置する第２特徴点の一部のみを含んでもよい。

第１特徴サブマップおよび第２特徴サブマップを取得した後、第１特徴サブマップに基づいて、第１特徴点と、当該第１特徴点に対応する任意の１つの関連特徴点との類似度を決定する。

例示的に、任意の１つの第１特徴点に対応する関連特徴点がＮ個ある場合、当該第１特徴点と第ｎ個の関連特徴点との類似度

は、以下の式（１）を満たす。

（１）

ここで、

は、第１特徴サブマップを表し、

は、第ｎ個の関連特徴点の第２特徴サブマップを表し、

は、第１特徴サブマップを第ｎ個の関連特徴点の第２特徴サブマップと行列乗算することを表し、

は、行列内のすべての要素の要素値を加算することを表し、Ｎ≧ｎ≧１である。

第１特徴点と各関連特徴点との類似度を取得した後、例えば、当該第１特徴点と各関連特徴点との類似度および各関連特徴点の特徴値に基づいて、当該第１特徴点位置と一致するターゲット第２特徴点に対して特徴増強処理を実行することができる。

例示的に、例えば、前記各関連特徴点と第１特徴点との類似度に基づいて、複数の前記関連特徴点にそれぞれ対応する特徴値に対して加重加算を実行して、第１合計値を取得しおよび、複数の関連特徴点にそれぞれ対応する類似度を加算して、第２合計値を取得し、前記第１合計値と前記第２合計値の比率を、第１特徴点位置と一致するターゲット第２特徴点に対して特徴増強処理を実行した後の特徴値として使用することができる。

例示的に、任意の１つの第１特徴点に対して、当該第１特徴点位置と一致するターゲット第２特徴点に対して特徴増強処理を実行した後の特徴値

は、以下の式（２）を満たす。

（２）

ここで、

は、第ｎ個の関連特徴点に対応する特徴値を表す。

第１特徴マップ内の各第１特徴点位置と一致するターゲット第２特徴点に対してそれぞれ特徴増強を実行した後、第２特徴マップの特徴増強画像を取得する。

本発明の実施例による特徴混同処理のプロセスは、さらに、以下のステップを含む。

ステップＳ３０２において、当該枚の第１特徴マップおよび当該枚の第１特徴マップに対応する第２特徴マップに基づいて、当該枚の第１特徴マップに対応する注意マスク画像を取得し、ここで、前記注意マスク画像のうちの任意の１つの画素点の画素値は、当該第１特徴マップのうち、当該任意の１つの画素点と一致する位置の第１特徴点に欠陥がある異常値を表す。

ここで、上記のＳ３０１およびＳ３０２は、後先のロジック関係がないことに留意されたい。

いくつかの実施例において、例えば、以下の方式を採用して、任意の１枚の第１特徴マップに対応する注意マスク画像を取得することができる。当該枚の第１特徴マップのうちの各第１特徴点について、当該枚の第１特徴マップに対応する第２特徴マップの複数の第２特徴点から、当該第１特徴点に対応する複数の関連特徴点を決定し、ここで、当該第１特徴点に対応する各関連特徴点と、当該第１特徴点位置と一致するターゲット第２特徴点との距離は、プリセットの条件を満たし、当該第１特徴点と各関連特徴点との類似度に基づいて、当該第１特徴点の異常値を決定する。

ここで、第１特徴点に対応する関連特徴点の方式および第１特徴点と関連特徴点との類似度を決定する方式は、上記のＳ３０１と類似し、ここでは繰り返して説明しない。

第１特徴点と各関連特徴点との類似度を決定した後、例えば、複数の関連特徴点のそれぞれと、当該第１特徴点との類似度の最大類似度を決定し、前記最大類似度に基づいて、当該第１特徴点の異常値を決定することができる。

任意の１つの第１特徴点の異常値Ｓは、例えば、以下の式（３）を満たす。

（３）

ここで、Ｈは、最大類似度を表す。λは、１、０．５などのプリセットの係数である。具体的には、実際の必要に応じて設定することができる。

さらに例えば、複数の関連画素点のそれぞれと、当該第１画素点との類似度に従って、類似度平均値を決定し、当該類似度平均値に基づいて、当該第１画素点の異常値を決定することができる。

第１特徴マップ内の各第１特徴点に対応する異常値を決定した後、前記第１特徴マップ内の各第１特徴点に対応する異常値に基づいて、前記注意マスク画像を取得し、この場合、例えば、すべての第１特徴点にそれぞれ対応する異常値によって構成される画像を、注意マスク画像として使用することができる。

ステップＳ３０３において、前記特徴増強画像および前記注意マスク画像に基づいて、当該枚の第１特徴マップに対応する特徴融合画像を取得する。

ここで、例えば、前記特徴増強画像および当該枚の第１特徴マップに対してマージ処理を実行して、当該枚の第１特徴マップに対応するマージ特徴マップを取得した後、前記注意マスク画像および前記マージ特徴マップに基づいて、前記特徴融合画像を取得する。

いくつかの実施例において、例えば、特徴増強画像を第１特徴マップと重ね合わせて、マージ特徴マップを取得することができる。

注意マスク画像およびマージ特徴マップに基づいて、特徴融合画像を取得する場合、例えば、注意マスク画像をマージ特徴マップと行列乗算して、特徴融合画像を取得することができる。

本発明の実施例において、第１特徴マップおよび、閾値に対応する第２特徴マップに対して特徴混同処理を実行するプロセスは、例えば、事前にトレーニングされた特徴混同ネットワークを使用して実現できる。

例示的に、図４ｂを参照すると、本発明の実施例は、さらに、特徴増強部および異常注意部を備える、特徴混同ネットワークの構造を提供する。

ここで、異常注意部は、上記のＳ３０２による方法に基づいて、第１特徴マップの注意マスク画像を取得するように構成される。特徴増強部は、上記のＳ３０２による方法に基づいて、第１特徴マップに対応する第２特徴マップに対応する特徴増強画像を取得するように構成される。

その後、特徴増強画像を、第１特徴マップと重ね合わせて、マージ特徴マップを取得し、注意マスク画像およびマージ特徴マップに基づいて、特徴融合画像を取得する。

別の一実施例において、第１特徴マップおよび第２特徴マップが、両方とも１つのみある場合、上記と類似する方式に応じて、第１特徴マップと第２特徴マップに対して特徴混同処理を実行して、特徴融合画像を取得することができ、具体的な特徴混同処理方法は、ここでは繰り返して説明しない。

ＩＶ：上記のＳ１０４において、特徴融合画像に基づいて、前記検出されるべき画像の欠陥検出結果を取得する場合、マルチレベルの特徴処理にそれぞれ対応する第１特徴マップおよび第２特徴マップを取得することに応答して、例えば、前記各第１特徴マップに対応する特徴融合画像に基づいて、前記各第１特徴マップの欠陥検出結果を取得し、マルチレベルの特徴抽出にそれぞれ対応する第１特徴マップの欠陥検出結果に基づいて、前記検出されるべき画像の欠陥検出結果を取得することができる。

例示的に、事前にトレーニングされた検出ネットワークを採用して、特徴融合画像に対して欠陥検出処理を実行して、検出されるべき画像に対応する欠陥検出結果を取得することができる。本発明の実施例による事前にトレーニングされた検出ネットワークは、ＦＣＯＳ、Ｆｏｖｅａ、網膜ネットワーク（ＲｅｔｉｎａＮＥＴ）、ｆａｓｔｅｒ Ｒ－ＣＮＮなどであり得、事前にトレーニングされた検出ネットワークに対して、必要に応じて設定することができ、本発明の実施例は限定しない。

いくつかの実施例において、事前にトレーニングされた検出ネットワークは、完全畳み込み画素ごとのターゲット検出（ＦＣＯＳ：Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｏｎｅ－Ｓｔａｇｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ）ネットワークを採用することができる。ここで、ＦＣＯＳネットワークは、第１特徴マップにおける欠陥カテゴリ、欠陥中心度、欠陥フレームの位置を検出することができる。

ここで、欠陥中心度は、第１特徴マップ内のある特徴点が、欠陥フレーム中心である確率を指示するために使用される。

第１特徴マップにおける欠陥フレームの位置は、第１特徴マップに欠陥がある位置を指示する。

例示的に、図３ａに示された例において、ＦＣＯＳ検出ヘッドを介して、４レベルの特徴抽出にそれぞれ対応する第１特徴マップの欠陥検出結果を取得し、当該欠陥検出結果は、欠陥カテゴリ、欠陥中心度、欠陥フレームの位置を含む。

マルチレベルの特徴抽出のうちの各レベルの特徴抽出に対応する第１特徴マップの検出結果を取得した後、例えば、非最大抑制方法（ＮＭＳ：Ｎｏｎ－Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ）を採用して、マルチレベルの特徴抽出にそれぞれ対応する第１特徴マップの検出結果に対してマージ処理を実行して、検出されるべき画像の欠陥検出結果を取得することができる。

さらに例えば、マルチレベルの特徴抽出にそれぞれ対応する第１特徴マップの検出結果の交差を取得して、検出されるべき画像の欠陥検出結果を決定することもできる。

本発明の実施例は、検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する第１特徴マップ画像を取得し、テンプレート画像に対してマルチレベルの特徴抽出を実行して、各第１特徴マップに対応する第２特徴マップを取得し、その後、各第１特徴マップについて、当該枚の第１特徴マップおよび当該枚の第１特徴マップに対応する第２特徴マップに対して、特徴混同処理を実行して、当該枚の第１特徴マップに対応する特徴融合画像を取得することにより、処理されるべき画像とテンプレート画像内の特徴を融合することを介して、第１特徴マップと第２特徴マップとの間の存在する生産誤差、マッチング誤差およびノイズの収集などの誤差を減らし、その後、特徴融合画像を利用して、第１特徴マップの欠陥検出結果を取得し、さらに、マルチレベルの特徴抽出にそれぞれ対応する第１特徴マップの欠陥検出結果を統合し、より高い精度で検出されるべき画像の欠陥検出結果を取得する。

当業者は、具体的な実施形態の上記方法において、ステップの書き込み順序は、厳密な実行順序で、実装過程の制限となることではなく、各ステップの特定の実行順序は、その機能と可能性に基づくべきであることを理解することができる。

同じ発明構想に基づいて、本発明の実施例では、さらに、欠陥検出方法に対応する欠陥検出装置を提供し、本発明の実施例における装置が問題を解决する原理と本発明の実施例の上記の欠陥検出方法と似てるため、装置の実施は方法の実施を参照でき、繰り返す部分は再び説明しない。

図５を参照すると、本発明の実施例による欠陥検出装置の概略図であり、前記装置は、取得部５１、特徴抽出部５２、特徴混同部５３および検出部５４を備え、ここで、
取得部５１は、検出されるべき画像およびテンプレート画像を取得するように構成され、
特徴抽出部５２は、前記検出されるべき画像に対して特徴抽出を実行して、前記検出されるべき画像の第１特徴マップを取得し、前記テンプレート画像に対して特徴抽出を実行して、前記テンプレート画像に対応する第２特徴マップを取得するように構成され、
特徴混同部５３は、前記第１特徴マップおよび前記第２特徴マップに対して特徴混同処理を実行して、特徴融合画像を取得するように構成され、
検出部５４は、前記特徴融合画像に基づいて、前記検出されるべき画像の欠陥検出結果を取得するように構成される。

一可能な実施形態において、前記特徴抽出部５２は、前記検出されるべき画像に対して特徴抽出を実行して、前記検出されるべき画像の第１特徴マップを取得する場合には、前記検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する第１特徴マップを取得するように構成され、前記特徴抽出部５２は、前記テンプレート画像に対して特徴抽出を実行して、前記テンプレート画像に対応する第２特徴マップを取得する場合には、前記テンプレート画像に対してマルチレベルの特徴抽出を実行して、各前記第１特徴マップに対応する第２特徴マップを取得するように構成され、前記特徴混同部５３は、前記第１特徴マップおよび前記第２特徴マップに対して特徴混同処理を実行して、特徴融合画像を取得する場合には、各第１特徴マップについて、前記各第１特徴マップおよび前記各第１特徴マップに対応する第２特徴マップに対して特徴混同処理を使用して、前記各第１特徴マップに対応する特徴融合画像を取得するように構成される。

一可能な実施形態において、検出部５４は、前記特徴融合画像に基づいて、前記検出されるべき画像の欠陥検出結果を取得する場合に、前記各第１特徴マップに対応する特徴融合画像に基づいて、前記各第１特徴マップの欠陥検出結果を取得し、マルチレベルの特徴抽出にそれぞれ対応する第１特徴マップの欠陥検出結果に基づいて、前記検出されるべき画像の欠陥検出結果を取得するように構成される。

一可能な実施形態において、前記特徴抽出部５２は、前記検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する第１特徴マップを取得する場合、前記検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する中間特徴マップを取得し、前記各レベルの特徴抽出が、最後の特徴抽出である場合、最後の特徴抽出に対応する中間特徴マップを、当該最後の特徴抽出に対応する第１特徴マップとして使用し、前記各レベルの特徴抽出が、最後の特徴抽出以外の他のレベルの特徴抽出である場合、前記各レベルの特徴抽出に対応する中間特徴マップを、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第１特徴マップと特徴融合して、前記各レベルの特徴抽出に対応する第１特徴マップを取得するように構成される。

一可能な実施形態において、前記特徴抽出部５２は、各レベルの特徴抽出に対応する中間特徴マップを、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第１特徴マップと特徴融合して、前記各レベルの特徴抽出に対応する第１特徴マップを取得する場合、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第１特徴マップをアップサンプリングして、アップサンプリングベクトルを取得し、前記アップサンプリングベクトルを、当該レベルの特徴抽出に対応する中間特徴マップと重ね合わせた後、当該レベルの特徴抽出に対応する第１特徴マップを取得するように構成される。

一可能な実施形態において、前記特徴混同部５３は、前記各第１特徴マップおよび前記各第１特徴マップに対応する第２特徴マップに対して特徴混同処理を実行する場合、前記各第１特徴マップおよび前記各第１特徴マップに対応する第２特徴マップに基づいて、前記第１特徴マップに対応する第２特徴マップに対して特徴増強処理を実行して、当該枚の第１特徴マップに対応する第２特徴マップの特徴増強画像を取得し、前記各第１特徴マップおよび前記各第１特徴マップに対応する第２特徴マップに基づいて、前記各第１特徴マップに対応する注意マスク画像を取得し、ここで、前記注意マスク画像のうちの任意の１つの画素点の画素値は、当該第１特徴マップのうち、当該任意の１つの画素点と一致する位置の第１特徴点に欠陥がある異常値を表し、前記特徴増強画像および前記注意マスク画像に基づいて、前記各第１特徴マップに対応する特徴融合画像を取得するように構成される。

一可能な実施形態において、前記特徴混同部５３は、前記当該枚の第１特徴マップおよび当該枚の第１特徴マップに対応する第２特徴マップに基づいて、当該枚の第１特徴マップに対応する第２特徴マップに対して特徴増強処理を実行する場合、当該枚の第１特徴マップのうちの当該枚の第１特徴点について、第１特徴マップに対応する第２特徴マップの複数の第２特徴点から、当該第１特徴点に対応する複数の関連特徴点を決定し、ここで、当該第１特徴点に対応する各関連特徴点と、当該第１特徴点位置と一致するターゲット第２特徴点との距離は、プリセットの条件を満たし、当該第１特徴点と各関連特徴点との類似度に基づいて、当該第１特徴点位置と一致するターゲット第２特徴点に対して特徴増強処理を実行するように構成される。

一可能な実施形態において、前記特徴混同部５３は、前記当該第１特徴点と各関連特徴点との類似度に基づいて、当該第１特徴点位置と一致するターゲット第２特徴点に対して特徴増強処理を実行する場合、当該第１特徴点と各関連特徴点との類似度および各関連特徴点の特徴値に基づいて、当該第１特徴点位置と一致するターゲット第２特徴点に対して特徴増強処理を実行するように構成される。

一可能な実施形態において、前記特徴混同部５３は、前記当該第１特徴点と各関連特徴点との類似度および各関連特徴点の特徴値に基づいて、当該第１特徴点位置と一致するターゲット第２特徴点に対して特徴増強処理を実行する場合、当該第１特徴点と各関連特徴点との類似度に基づいて、当該第１特徴点に対応する複数の関連特徴点にそれぞれ対応する特徴値に対して加重加算を実行して、第１合計値を取得し、複数の関連特徴点にそれぞれ対応する類似度を加算して、第２合計値を取得し、前記第１合計値と前記第２合計値の比率を、前記ターゲット第２特徴点に対して特徴増強処理を実行した後の特徴値として使用するように構成される。

一可能な実施形態において、前記特徴混同部５３は、前記当該枚の第１特徴マップおよび当該枚の第１特徴マップに対応する第２特徴マップに基づいて、当該枚の第１特徴マップに対応する注意マスク画像を取得場合、当該枚の第１特徴マップのうちの各第１特徴点について、当該枚の第１特徴マップに対応する第２特徴マップの複数の第２特徴点から、当該第１特徴点に対応する複数の関連特徴点を決定し、ここで、当該第１特徴点に対応する各関連特徴点と、当該第１特徴点位置と一致するターゲット第２特徴点との距離は、プリセットの条件を満たし、当該第１特徴点と各関連特徴点との類似度に基づいて、当該第１特徴点の異常値を決定し、前記第１特徴マップのうち、各第１特徴点に対応する異常値に基づいて、前記注意マスク画像を取得するように構成される。

一可能な実施形態において、前記特徴混同部５３は、前記当該第１特徴点と各関連特徴点との類似度に基づいて、当該第１特徴点の異常値を決定する場合、複数の関連特徴点のそれぞれと、当該第１特徴点との類似度の最大類似度を決定し、前記最大類似度に基づいて、当該第１特徴点の異常値を決定するように構成される。

一可能な実施形態において、前記特徴混同部５３は、下記の方式を採用して、第１特徴点と、当該第１特徴点に対応する任意の１つの関連特徴点との類似度を決定するように構成される。前記第１特徴マップにおける前記第１特徴点の位置およびプリセットの距離閾値に基づいて、第１特徴サブマップを取得し、前記第２特徴マップにおける、当該第１特徴点に対応する任意の１つの関連特徴点の位置および前記距離閾値に基づいて、第２特徴サブマップを取得し、前記第１特徴サブマップおよび前記第２特徴サブマップに基づいて、前記第１特徴点と、当該第１特徴点に対応する当該任意の１つの関連特徴点との類似度を決定する。

一可能な実施形態において、前記特徴混同部５３は、前記特徴増強画像および前記注意マスク画像に基づいて、当該枚の第１特徴マップに対応する特徴融合画像を取得する場合、前記特徴増強画像および当該枚の第１特徴マップに対してマージ処理を実行して、当該枚の第１特徴マップに対応するマージ特徴マップを取得し、前記注意マスク画像および前記マージ特徴マップに基づいて、前記特徴融合画像を取得するように構成される。

本発明の実施例および他の実施例において、「部分」は、部分回路、部分プロセッサ、部分プログラムまたはソフトウェア等であってもよく、もちろん、ユニットであってもよく、モジュールまたは非モジュール化であってもよい。

装置内の各モジュールの処理プロセスおよび各モジュール間の対話プロセスの説明は、上記の方法実施例における関連する説明を参照でき、ここでは、詳細に説明しない。

本発明の実施例は、さらに、コンピュータ機器１０を提供する。図６に示されたように、本発明の実施例によるコンピュータ機器１０の例示的な構造図である。コンピュータ機器１０は、
プロセッサ１１とメモリ１２とを備え、前記メモリ１２は、前記プロセッサ１１によって実行可能な機械可読命令を記憶し、前記プロセッサ１１は、コンピュータ機器が実行するときに、前記機械可読命令を実行して、
検出されるべき画像およびテンプレート画像を取得することと、
前記検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する第１特徴マップを取得し、前記テンプレート画像に対してマルチレベルの特徴抽出を実行して、各前記第１特徴マップに対応する第２特徴マップを取得することと、
各第１特徴マップについて、当該枚の第１特徴マップおよび当該枚の第１特徴マップに対応する第２特徴マップに対して特徴混同処理を実行して、当該枚の第１特徴マップに対応する特徴融合画像を取得することと、
前記特徴融合画像に基づいて、当該枚の第１特徴マップの欠陥検出結果を取得することと、
マルチレベルの特徴抽出にそれぞれ対応する第１特徴マップの欠陥検出結果に基づいて、前記検出されるべき画像の欠陥検出結果を取得することと、を実施する。

上記の命令の具体的な実行プロセスは、本発明の実施例に記載の欠陥検出方法のステップを参照でき、ここでは繰り返して説明しない。

本発明の実施例は、さらに、コンピュータプログラムを記憶するコンピュータ可読記憶媒体を提供し、当該コンピュータプログラムは、プロセッサによって実行されるとき、プロセッサに上記の方法実施例に記載の欠陥検出方法のステップを実行させる。ここで、当該記憶媒体は、揮発性または不揮発性のコンピュータ可読記憶媒体であり得る。

本発明の実施例による欠陥検出方法のコンピュータプログラム製品は、プログラムコードを記憶するコンピュータ可読記憶媒体を含み、前記プログラムコードに含まれる命令は、コンピュータに上記の方法実施例に記載の欠陥検出方法のステップを実行させ、具体的には、上記の方法実施例を参照でき、ここでは繰り返して説明しない。

本発明の実施例は、さらに、プロセッサによって実行されるとき、プロセッサに上記の実施例の任意の１つの方法を実行させるコンピュータプログラムを提供する。当該コンピュータプログラム製品は、具体的に、ハードウェア、ソフトウェアまたはそれらを組み合わせる方式を介して実現されることができる。１つの例示的な実施例において、前記コンピュータプログラム製品は、具体的には、コンピュータ記憶媒体として具現され、別の例示的な実施例において、コンピュータプログラム製品は、具体的には、ソフトウェア開発キット（ＳＤＫ：Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ）などのソフトウェア製品として具現される。

当業者なら理解できるが、説明の便宜および簡潔のために、上記に説明されるシステムおよび装置の具体的な作業プロセスは、上記の方法の実施例における対応するプロセスを参照することができ、ここでは繰り返して説明しない。本発明によるいくつかの実施例において、開示されたシステム、装置および方法は、他の方法で実現できることを理解されたい。上記で説明された装置実施例は、例示的なものに過ぎず、例えば、前記ユニットの分離は、論理機能の分離に過ぎず、実際の実現ときには別の分離方法があり、例えば、複数のユニットまたはコンポーネントを別のシステムに統合または集積したり、または一部の特徴を無視したり、または実行しないことができる。なお、表示または議論される相互結合、または直接結合、または通信接続は、いくつかの通信インターフェースを使用して実現することができ、装置またはユニット間の間接結合または通信接続は、電気的または機械的な形であってもよく、他の形であってもよい。

前記分離部品として説明されるユニットは、物理的に分離されてもされなくてもよく、ユニットとして表示される部品は、物理的ユニットであってもなくてもよい。つまり、１箇所に配置されてもよく、複数のネットワークユニットに分散されてもよい。実際のニーズに従って、その中の一部またはすべてのユニットを選択して、本実施例の技術案の目的を実現することができる。

さらに、本発明の各実施例における各機能ユニットは、１つの処理ユニットに統合されてもよく、または各ユニットが、物理的に別々に存在してもよく、または２つまたは２つ以上のユニットが１つのユニットに統合されてもよい。

前記機能が、ソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用される場合、プロセッサ実行可能な不揮発のコンピュータ可読記憶媒体に記憶されることができる。このような理解に基づいて、本発明の技術的解決策は、本質的にまたは先行技術に対して寄与する部分または前記技術的解決策の一部は、ソフトウェア製品の形で具現されることができ、前記コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、１台のコンピュータ機器（パーソナルコンピュータ、サーバ、またはネットワーク機器等であり得る）に本発明の各実施例に記載の方法のすべてまたは一部のステップを実行させるためのいくつかの命令を含む。前述した記憶媒体は、Ｕディスク、モバイルハードディスク、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスクまたは光ディスク等のプログラムコードを記憶することができる様々な媒体を含む。

最後に、上記の実施例は、本発明の技術的解決策を説明するための本発明の具体的な実施形態に過ぎず、それに対する限制ではなく、本発明の保護範囲はこれに限定されないことに留意されたい。上記の実施例を参照して本発明に対して詳細に説明したが、当業者は、本発明で開示された技術範囲内で任意の本技術分野を精通している技術人は、依然として、上記の実施例で記載された技術的解決策を修正し、または変更を容易に想到し、またはそのうちの部分的な技術特徴に対して均等に置き換えることができ、これらの修正、変化または置き換えは、対応する技術的解決策の本質を本発明の実施例の技術的解決策の思想および範囲を逸脱させなく、すべて、本発明の保護範囲に含まれるべきであることを理解するはずである。したがって、本発明の保護範囲は、特許請求の保護範囲を基準とするべきである。

Claims (17)

1. 欠陥検出方法であって、
   検出されるべき画像およびテンプレート画像を取得することと、
   前記検出されるべき画像に対して特徴抽出を実行して、前記検出されるべき画像の第１特徴マップを取得し、前記テンプレート画像に対して特徴抽出を実行して、前記テンプレート画像に対応する第２特徴マップを取得することと、
   前記第１特徴マップおよび前記第２特徴マップに対して特徴混同処理を実行して、特徴融合画像を取得することと、
   前記特徴融合画像に基づいて、前記検出されるべき画像の欠陥検出結果を取得することと、を含む、欠陥検出方法。
2. 前記検出されるべき画像に対して特徴抽出を実行して、前記検出されるべき画像の第１特徴マップを取得することは、
   前記検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する第１特徴マップを取得することを含み、
   前記テンプレート画像に対して特徴抽出を実行して、前記テンプレート画像に対応する第２特徴マップを取得することは、
   前記テンプレート画像に対してマルチレベルの特徴抽出を実行して、各前記第１特徴マップに対応する第２特徴マップを取得することを含み、
   前記第１特徴マップおよび前記第２特徴マップに対して特徴混同処理を実行して、特徴融合画像を取得することは、
   各第１特徴マップについて、前記各第１特徴マップおよび前記各第１特徴マップに対応する第２特徴マップに対して特徴混同処理を使用して、前記各第１特徴マップに対応する特徴融合画像を取得することを含む、
   請求項１に記載の欠陥検出方法。
3. 前記特徴融合画像に基づいて、前記検出されるべき画像の欠陥検出結果を取得することは、
   前記各第１特徴マップに対応する特徴融合画像に基づいて、前記各第１特徴マップの欠陥検出結果を取得することと、
   マルチレベルの特徴抽出にそれぞれ対応する第１特徴マップの欠陥検出結果に基づいて、前記検出されるべき画像の欠陥検出結果を取得することと、を含む、
   請求項２に記載の欠陥検出方法。
4. 前記検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する第１特徴マップを取得することは、
   前記検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する中間特徴マップを取得することと、
   前記各レベルの特徴抽出が、最後の特徴抽出である場合、最後の特徴抽出に対応する中間特徴マップを、当該最後の特徴抽出に対応する第１特徴マップとして使用することと、
   前記各レベルの特徴抽出が、最後の特徴抽出以外の他のレベルの特徴抽出である場合、前記各レベルの特徴抽出に対応する中間特徴マップを、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第１特徴マップと特徴融合して、前記各レベルの特徴抽出に対応する第１特徴マップを取得することと、を含む、
   請求項２または３に記載の欠陥検出方法。
5. 前記各レベルの特徴抽出に対応する中間特徴マップを、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第１特徴マップと特徴融合して、前記各レベルの特徴抽出に対応する第１特徴マップを取得することは、
   当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第１特徴マップに対してアップサンプリングを実行して、アップサンプリングベクトルを取得することと、
   前記アップサンプリングベクトルを当該レベルの特徴抽出に対応する中間特徴マップと重ね合わせた後、当該レベルの特徴抽出に対応する第１特徴マップを取得することと、を含む、
   請求項４に記載の欠陥検出方法。
6. 前記各第１特徴マップおよび前記各第１特徴マップに対応する第２特徴マップに対して特徴混同処理を実行することは、
   前記各第１特徴マップおよび前記各第１特徴マップに対応する第２特徴マップに基づいて、前記第１特徴マップに対応する第２特徴マップに対して特徴増強処理を実行して、当該枚の第１特徴マップに対応する第２特徴マップの特徴増強画像を取得することと、
   前記各第１特徴マップおよび前記各第１特徴マップに対応する第２特徴マップに基づいて、前記各第１特徴マップに対応する注意マスク画像を取得することであって、前記注意マスク画像のうちの任意の１つの画素点の画素値は、当該第１特徴マップのうち、当該任意の１つの画素点と一致する位置の第１特徴点に欠陥がある異常値を表す、ことと、
   前記特徴増強画像および前記注意マスク画像に基づいて、前記各第１特徴マップに対応する特徴融合画像を取得することと、を含む、
   請求項２ないし５のいずれか一項に記載の欠陥検出方法。
7. 前記各第１特徴マップおよび前記各第１特徴マップに対応する第２特徴マップに基づいて、前記第１特徴マップに対応する第２特徴マップに対して特徴増強処理を実行することは、
   当該枚の第１特徴マップのうちの各第１特徴点について、当該枚の第１特徴マップに対応する第２特徴マップの複数の第２特徴点から、当該第１特徴点に対応する複数の関連特徴点を決定することであって、当該第１特徴点に対応する各関連特徴点と、当該第１特徴点位置と一致するターゲット第２特徴点との距離は、プリセットの条件を満たす、ことと、
   当該第１特徴点と各関連特徴点との類似度に基づいて、当該第１特徴点位置と一致するターゲット第２特徴点に対して特徴増強処理を実行することと、を含む、
   請求項６に記載の欠陥検出方法。
8. 前記当該第１特徴点と各関連特徴点との類似度に基づいて、当該第１特徴点位置と一致するターゲット第２特徴点に対して特徴増強処理を実行することは、
   当該第１特徴点と各関連特徴点との類似度および各関連特徴点の特徴値に基づいて、当該第１特徴点位置と一致するターゲット第２特徴点に対して特徴増強処理を実行することを含む、
   請求項７に記載の欠陥検出方法。
9. 前記当該第１特徴点と各関連特徴点との類似度および各関連特徴点の特徴値に基づいて、当該第１特徴点位置と一致するターゲット第２特徴点に対して特徴増強処理を実行することは、
   当該第１特徴点と各関連特徴点との類似度に基づいて、当該第１特徴点に対応する複数の関連特徴点にそれぞれ対応する特徴値に対して加重加算を実行して、第１合計値を取得することと、
   複数の関連特徴点にそれぞれ対応する類似度を加算して、第２合計値を取得することと、
   前記第１合計値と前記第２合計値の比率を、前記ターゲット第２特徴点に対して特徴増強処理を実行した後の特徴値として使用することと、を含む、
   請求項８に記載の欠陥検出方法。
10. 前記当該枚の第１特徴マップおよび当該枚の第１特徴マップに対応する第２特徴マップに基づいて、当該枚の第１特徴マップに対応する注意マスク画像を取得することは、
    当該枚の第１特徴マップのうちの各第１特徴点について、当該枚の第１特徴マップに対応する第２特徴マップの複数の第２特徴点から、当該第１特徴点に対応する複数の関連特徴点を決定することであって、当該第１特徴点に対応する各関連特徴点と、当該第１特徴点位置と一致するターゲット第２特徴点との距離は、プリセットの条件を満たす、ことと、
    当該第１特徴点と各関連特徴点との類似度に基づいて、当該第１特徴点の異常値を決定することと、
    前記第１特徴マップのうち、各第１特徴点に対応する異常値に基づいて、前記注意マスク画像を取得することと、を含む、
    請求項６ないし９のいずれか一項に記載の欠陥検出方法。
11. 前記当該第１特徴点と各関連特徴点との類似度に基づいて、当該第１特徴点の異常値を決定することは、
    複数の関連特徴点のそれぞれと当該第１特徴点との類似度の最大類似度を決定することと、
    前記最大類似度に基づいて、当該第１特徴点の異常値を決定することと、を含む、
    請求項１０に記載の欠陥検出方法。
12. 前記第１特徴点と、当該第１特徴点に対応する任意の１つの関連特徴点との類似度を決定することは、
    前記第１特徴マップにおける前記第１特徴点の位置およびプリセットの距離閾値に基づいて、第１特徴サブマップを取得することと、
    前記第２特徴マップにおける、当該第１特徴点に対応する任意の１つの関連特徴点の位置および前記距離閾値に基づいて、第２特徴サブマップを取得することと、
    前記第１特徴サブマップおよび前記第２特徴サブマップに基づいて、前記第１特徴点と、当該第１特徴点に対応する当該任意の１つの関連特徴点との類似度を決定することと、を含む
    請求項７ないし１１のいずれか一項に記載の欠陥検出方法。
13. 前記特徴増強画像および前記注意マスク画像に基づいて、前記各第１特徴マップに対応する特徴融合画像を取得することは、
    前記特徴増強画像および当該枚の第１特徴マップに対してマージ処理を実行して、当該枚の第１特徴マップに対応するマージ特徴マップを取得することと、
    前記注意マスク画像および前記マージ特徴マップに基づいて、前記特徴融合画像を取得することと、を含む、
    請求項６ないし１２のいずれか一項に記載の欠陥検出方法。
14. 欠陥検出装置であって、
    検出されるべき画像およびテンプレート画像を取得するように構成される取得部と、
    前記検出されるべき画像に対して特徴抽出を実行して、前記検出されるべき画像の第１特徴マップを取得し、前記テンプレート画像に対して特徴抽出を実行して、前記テンプレート画像に対応する第２特徴マップを取得するように構成される特徴抽出部と、
    前記第１特徴マップおよび前記第２特徴マップに対して特徴混同処理を実行して、特徴融合画像を取得するように構成される特徴混同部と、
    前記特徴融合画像に基づいて、前記検出されるべき画像の欠陥検出結果を取得するように構成される検出部と、を備える、欠陥検出装置。
15. 互いに接続されるプロセッサとメモリとを備えるコンピュータ機器であって、
    前記メモリは、前記プロセッサによって実行可能な機械可読命令を記憶し、
    前記プロセッサは、コンピュータ機器が実行するとき、前記機械可読命令を実行して、請求項１ないし１３のいずれか一項に記載の欠陥検出方法を実施する、コンピュータ機器。
16. プロセッサによって実行されるとき、前記プロセッサに請求項１ないし１３のいずれか一項に記載の欠陥検出方法を実行させるためのコンピュータプログラムを記憶した、コンピュータ可読記憶媒体。
17. コンピュータ機器で実行されるとき、前記コンピュータ機器内のプロセッサに、請求項１ないし１３のいずれか一項に記載の欠陥検出方法を実行させるためのコンピュータ可読コードを含む、コンピュータプログラム。

Images