JP2023503751A - 欠陥検出方法、装置、コンピュータ機器および記憶媒体 - Google Patents
欠陥検出方法、装置、コンピュータ機器および記憶媒体 Download PDFInfo
- Publication number
- JP2023503751A JP2023503751A JP2021566097A JP2021566097A JP2023503751A JP 2023503751 A JP2023503751 A JP 2023503751A JP 2021566097 A JP2021566097 A JP 2021566097A JP 2021566097 A JP2021566097 A JP 2021566097A JP 2023503751 A JP2023503751 A JP 2023503751A
- Authority
- JP
- Japan
- Prior art keywords
- feature
- image
- feature map
- map
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 135
- 230000007547 defect Effects 0.000 title claims abstract description 125
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 255
- 238000000034 method Methods 0.000 claims abstract description 79
- 230000004927 fusion Effects 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 39
- 230000008569 process Effects 0.000 claims description 51
- 238000004590 computer program Methods 0.000 claims description 11
- 230000002950 deficient Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 9
- 230000002159 abnormal effect Effects 0.000 description 8
- 238000005070 sampling Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000003416 augmentation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003623 enhancer Substances 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本発明は、欠陥検出方法、装置、コンピュータ機器および記憶媒体を提供する。当該方法は、検出されるべき画像およびテンプレート画像を取得することと、前記検出されるべき画像に対して特徴抽出を実行して、前記検出されるべき画像の第1特徴マップを取得し、前記テンプレート画像に対して特徴抽出を実行して、前記テンプレート画像に対応する第2特徴マップを取得することと、前記第1特徴マップおよび前記第2特徴マップに対して特徴混同処理を実行して、特徴融合画像を取得することと、前記特徴融合画像に基づいて、前記検出されるべき画像の欠陥検出結果を取得することと、を含む。本発明の実施例は、より高い欠陥検出精度を有する。【選択図】図1
Description
(関連出願の相互参照)
本願は、2020年10月30日に中国特許局に提出された、出願番号が202011191743.3である、中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照によって本願に組み込まれる。
本願は、2020年10月30日に中国特許局に提出された、出願番号が202011191743.3である、中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照によって本願に組み込まれる。
本発明は、画像処理技術分野に関し、具体的には、欠陥検出方法、装置、コンピュータ機器および記憶媒体に関する。
科学技術の発展に伴い、様々な工業部品や製品に対する現代の製造業のニーズもますます高まっている。いくつかの機械装置、電子素子の品質も、いくつかの部品が要求を満たしているか否かに大きく依存する。したがって、物体表面の欠陥の検出も、標準化された生産における重要なリンクである。現在のニューラルネットワークベースの欠陥検出方法は、通常、大量の欠陥位置が注釈されたサンプル画像を使用して、ニューラルネットワークをトレーニングし、その後、トレーニングされたニューラルネットワークを使用して、物体の検出されるべき画像に対して欠陥検出を実行する。このような検出方法には、検出の精度が低い問題がある。
本発明の実施例は、少なくとも、欠陥検出方法、装置、コンピュータ機器および記憶媒体を提供する。
第1態様によれば、本発明の実施例は、欠陥検出方法を提供する。前記方法は、検出されるべき画像およびテンプレート画像を取得することと、前記検出されるべき画像に対して特徴抽出を実行して、前記検出されるべき画像の第1特徴マップを取得し、前記テンプレート画像に対して特徴抽出を実行して、前記テンプレート画像に対応する第2特徴マップを取得することと、前記第1特徴マップおよび前記第2特徴マップに対して特徴混同処理を実行して、特徴融合画像を取得することと、前記特徴融合画像に基づいて、前記検出されるべき画像の欠陥検出結果を取得することと、を含む。
したがって、処理されるべき画像の第1特徴マップと、テンプレート画像の第2特徴マップと、を特徴混同処理することにより、第1特徴マップと第2特徴マップとの間に存在する生産誤差、マッチング誤差、およびノイズの収集などの誤差を減らし、その後、特徴融合画像を利用して、第1特徴マップのより正確な欠陥検出結果を取得することができる。
一可能な実施形態において、前記検出されるべき画像に対して特徴抽出を実行して、前記検出されるべき画像の第1特徴マップを取得することは、前記検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する第1特徴マップを取得することを含み、前記テンプレート画像に対して特徴抽出を実行して、前記テンプレート画像に対応する第2特徴マップを取得することは、前記テンプレート画像に対してマルチレベルの特徴抽出を実行して、各前記第1特徴マップに対応する第2特徴マップを取得することを含み、前記第1特徴マップおよび前記第2特徴マップに対して特徴混同処理を実行して、特徴融合画像を取得することは、各第1特徴マップについて、前記各第1特徴マップおよび前記各第1特徴マップに対応する第2特徴マップに対して特徴混同処理を使用して、前記各第1特徴マップに対応する特徴融合画像を取得することを含む。
したがって、検出されるべき画像およびテンプレート画像に対してマルチレベルの特徴抽出をそれぞれ実行することにより、取得された特徴融合画像に検出されるべき画像およびテンプレート画像内のより多くの特徴が含まれ、さらに、特徴融合画像に基づいて検出されるべき画像の欠陥検出結果を決定するため、より高い精度を有する。
一可能な実施形態において、前記特徴融合画像に基づいて、前記検出されるべき画像の欠陥検出結果を取得することは、前記各第1特徴マップに対応する特徴融合画像に基づいて、前記各第1特徴マップの欠陥検出結果を取得することと、マルチレベルの特徴抽出にそれぞれ対応する第1特徴マップの欠陥検出結果に基づいて、前記検出されるべき画像の欠陥検出結果を取得することと、を含む。
したがって、マルチレベルの特徴抽出にそれぞれ対応する欠陥検出結果を取得し、マルチレベルの特徴抽出にそれぞれ対応する欠陥検出結果を利用することにより決定された検出されるべき画像の欠陥検出結果は、より高い検出精度を有する。
一可能な実施形態において、前記検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する中間特徴マップを取得し、前記各レベルの特徴抽出が、最後の特徴抽出である場合、最後の特徴抽出に対応する中間特徴マップを、当該最後の特徴抽出に対応する第1特徴マップとして使用し、前記各レベルの特徴抽出が、最後の特徴抽出以外の他のレベルの特徴抽出である場合、前記各レベルの特徴抽出に対応する中間特徴マップを、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第1特徴マップと特徴融合して、前記各レベルの特徴抽出に対応する第1特徴マップを取得する。
したがって、検出されるべき画像に対してマルチレベルの特徴抽出を実行することにより、異なるレベルの特徴抽出によって得られた第1特徴マップは、検出されるべき画像内の異なる特徴を含み、さらに、マルチレベルの特徴抽出にそれぞれ対応する第1特徴マップの欠陥検出結果に基づいて決定された検出されるべき画像の欠陥検出結果は、より高い検出精度を有する。
一可能な実施形態において、前記各レベルの特徴抽出に対応する中間特徴マップを、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第1特徴マップと特徴融合して、前記各レベルの特徴抽出に対応する第1特徴マップを取得することは、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第1特徴マップをアップサンプリングして、アップサンプリングベクトルを取得することと、前記アップサンプリングベクトルを、当該レベルの特徴抽出に対応する中間特徴マップと重ね合わせた後、当該レベルの特徴抽出に対応する第1特徴マップを取得することと、を含む。
したがって、アップサンプリングを介して、第1特徴マップおよび中間特徴マップに対応する次元を統一にし、両者の融合をより容易にする。
一可能な実施形態において、前記各第1特徴マップおよび前記各第1特徴マップに対応する第2特徴マップに対して特徴混同処理を実行することは、前記各第1特徴マップおよび前記各第1特徴マップに対応する第2特徴マップに基づいて、前記第1特徴マップに対応する第2特徴マップに対して特徴増強処理を実行して、当該枚の第1特徴マップに対応する第2特徴マップの特徴増強画像を取得することと、前記各第1特徴マップおよび前記各第1特徴マップに対応する第2特徴マップに基づいて、前記各第1特徴マップに対応する注意マスク画像を取得することであって、ここで、前記注意マスク画像のうちの任意の1つの画素点の画素値は、当該第1特徴マップのうち、当該任意の1つの画素点と一致する位置の第1特徴点に欠陥がある異常値を表す、ことと、前記特徴増強画像および前記注意マスク画像に基づいて、前記各第1特徴マップに対応する特徴融合画像を取得することと、を含む。
したがって、特徴増強は、テンプレート画像の第2特徴マップに対して特徴増強を実行することにより、検出されるべき画像に存在するノイズ収集、マッチング誤差および生産誤差によって引き起こす、検出されるべき画像とテンプレート画像との差異を減らし、検出されるべき画像に対する欠陥検出精度を向上させることができる。
さらに、検出されるべき画像の第1特徴マップに対応する注意マスク画像を生成し、当該注意マスク画像内の各画素点の画素値は、第1特徴マップにおける対応位置の第1特徴点に、欠陥があるか否かの異常値を表し、その後、注意マスク画像に従って、第1特徴マップの欠陥検出結果を決定し、より高い検出精度を有する。
一可能な実施形態において、前記各第1特徴マップおよび各第1特徴マップに対応する第2特徴マップに基づいて、各第1特徴マップに対応する第2特徴マップに対して特徴増強処理を実行することは、各第1特徴マップのうちの各第1特徴点について、第1特徴マップに対応する第2特徴マップの複数の第2特徴点から、当該第1特徴点に対応する複数の関連特徴点を決定することであって、ここで、当該第1特徴点に対応する各関連特徴点と、当該第1特徴点位置と一致するターゲット第2特徴点との距離は、プリセットの条件を満たす、ことと、当該第1特徴点と各関連特徴点との類似度に基づいて、当該第1特徴点位置と一致するターゲット第2特徴点に対して特徴増強処理を実行することと、を含む。
したがって、各第1特徴点に関連特徴点を決定し、複数の関連特徴点のそれぞれと、対応する第1特徴点との類似度に基づいて、当該対応する第3画素点異常値を決定し、さらに当該第3画素点に対応する第2画素点の異常値を得ることにより、第2画素点の異常値が、テンプレート画像内の複数の画素点の影響を受けるため、生産誤差、マッチング誤差、ノイズ収集などの、検出されるべき画像内の第2画素点の欠陥検出結果に対する影響を低減させ、処理されるべき画像に対する欠陥検出精度を向上させる。
一可能な実施形態において、前記当該第1特徴点と各関連特徴点との類似度に基づいて、当該第1特徴点位置と一致するターゲット第2特徴点に対して特徴増強処理を実行することは、当該第1特徴点と各関連特徴点との類似度および各関連特徴点の特徴値に基づいて、当該第1特徴点位置と一致するターゲット第2特徴点に対して特徴増強処理を実行することを含む。
したがって、関連特徴点と第1特徴点との類似度、および各関連特徴点の特徴値を介して、第1特徴点位置と一致するターゲット第2特徴点の特徴値を再決定して、再決定された特徴値が、第1特徴点間に存在する様々な誤差を減らすことができるため、特徴増強画像に基づいて欠陥検出を実行する場合に、より高い検出精度を有することができる。
一可能な実施形態において、前記当該第1特徴点と各関連特徴点との類似度、および各関連特徴点の特徴値に基づいて、当該第1特徴点位置と一致するターゲット第2特徴点に対して特徴増強処理を実行することは、当該第1特徴点と各関連特徴点との類似度に基づいて、当該第1特徴点に対応する複数の関連特徴点にそれぞれ対応する特徴値に対して加重加算を実行して、第1合計値を取得することと、複数の関連特徴点にそれぞれ対応する類似度を加算して、第2合計値を取得することと、前記第1合計値と前記第2合計値の比率を、前記ターゲット第2特徴点に対して特徴増強処理を実行した後の特徴値として使用することと、を含む。
一可能な実施形態において、前記当該枚の第1特徴マップおよび当該枚の第1特徴マップに対応する第2特徴マップに基づいて、当該枚の第1特徴マップに対応する注意マスク画像を取得することは、当該枚の第1特徴マップのうちの各第1特徴点について、当該枚の第1特徴マップに対応する第2特徴マップの複数の第2特徴点から、当該第1特徴点に対応する複数の関連特徴点を決定することであって、ここで、当該第1特徴点に対応する各関連特徴点と、当該第1特徴点位置と一致するターゲット第2特徴点との距離は、プリセットの条件を満たす、ことと、当該第1特徴点と各関連特徴点との類似度に基づいて、当該第1特徴点の異常値を決定することと、前記第1特徴マップのうち、各第1特徴点に対応する異常値に基づいて、前記注意マスク画像を取得することと、を含む。
一可能な実施形態において、前記当該第1特徴点と各関連特徴点との類似度に基づいて、当該第1特徴点の異常値を決定することは、複数の関連特徴点のそれぞれと、当該第1特徴点との類似度の最大類似度を決定することと、前記最大類似度に基づいて、当該第1特徴点の異常値を決定することと、を含む。
一可能な実施形態において、下記の方式を採用して、第1特徴点と、当該第1特徴点に対応する任意の1つの関連特徴点との類似度を決定する。前記第1特徴マップにおける前記第1特徴点の位置およびプリセットの距離閾値に基づいて、第1特徴サブマップを取得し、前記第2特徴マップにおける、当該第1特徴点に対応する任意の1つの関連特徴点の位置および前記距離閾値に基づいて、第2特徴サブマップを取得し、前記第1特徴サブマップおよび前記第2特徴サブマップに基づいて、前記第1特徴点と、当該第1特徴点に対応する当該任意の1つの関連特徴点との類似度を決定する。
一可能な実施形態において、前記特徴増強画像および前記注意マスク画像に基づいて、前記第1特徴マップに対応する特徴融合画像を取得することは、前記特徴増強画像および当該枚の第1特徴マップに対してマージ処理を実行して、当該枚の第1特徴マップに対応するマージ特徴マップを取得することと、前記注意マスク画像および前記マージ特徴マップに基づいて、前記特徴融合画像を取得することと、を含む。
第2態様によれば、本発明の実施例は、さらに、欠陥検出装置を提供し、検出されるべき画像およびテンプレート画像を取得するように構成される取得部と、前記検出されるべき画像に対して特徴抽出を実行して、前記検出されるべき画像の第1特徴マップを取得し、前記テンプレート画像に対して特徴抽出を実行して、前記テンプレート画像に対応する第2特徴マップを取得するように構成される特徴抽出部と、前記第1特徴マップおよび前記第2特徴マップに対して特徴混同処理を実行して、特徴融合画像を取得するように構成される特徴混同部と、前記特徴融合画像に基づいて、前記検出されるべき画像の欠陥検出結果を取得するように構成される検出部と、を備える。
一可能な実施形態において、前記特徴抽出部は、前記検出されるべき画像に対して特徴抽出を実行して、前記検出されるべき画像の第1特徴マップを取得する場合には、前記検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する第1特徴マップを取得するように構成され、前記特徴抽出部は、前記テンプレート画像に対して特徴抽出を実行して、前記テンプレート画像に対応する第2特徴マップを取得する場合には、前記テンプレート画像に対してマルチレベルの特徴抽出を実行して、各前記第1特徴マップに対応する第2特徴マップを取得するように構成され、前記特徴混同部は、前記第1特徴マップおよび前記第2特徴マップに対して特徴混同処理を実行して、特徴融合画像を取得する場合には、各第1特徴マップについて、前記各第1特徴マップおよび前記各第1特徴マップに対応する第2特徴マップに対して特徴混同処理を使用して、前記各第1特徴マップに対応する特徴融合画像を取得するように構成される。
一可能な実施形態において、検出部は、前記特徴融合画像に基づいて、前記検出されるべき画像の欠陥検出結果を取得する場合に、前記各第1特徴マップに対応する特徴融合画像に基づいて、前記各第1特徴マップの欠陥検出結果を取得し、マルチレベルの特徴抽出にそれぞれ対応する第1特徴マップの欠陥検出結果に基づいて、前記検出されるべき画像の欠陥検出結果を取得するように構成される。
一可能な実施形態において、前記特徴抽出部は、前記検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する第1特徴マップを取得する場合、前記検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する中間特徴マップを取得し、前記各レベルの特徴抽出が、最後の特徴抽出である場合、最後の特徴抽出に対応する中間特徴マップを、当該最後の特徴抽出に対応する第1特徴マップとして使用し、前記各レベルの特徴抽出が、最後の特徴抽出以外の他のレベルの特徴抽出である場合、前記各レベルの特徴抽出に対応する中間特徴マップを、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第1特徴マップと特徴融合して、前記各レベルの特徴抽出に対応する第1特徴マップを取得するように構成される。
一可能な実施形態において、前記特徴抽出部は、各レベルの特徴抽出に対応する中間特徴マップを、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第1特徴マップと特徴融合して、前記各レベルの特徴抽出に対応する第1特徴マップを取得する場合、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第1特徴マップをアップサンプリングして、アップサンプリングベクトルを取得し、前記アップサンプリングベクトルを、当該レベルの特徴抽出に対応する中間特徴マップと重ね合わせた後、当該レベルの特徴抽出に対応する第1特徴マップを取得するように構成される。
一可能な実施形態において、前記特徴混同部は、前記各第1特徴マップ、および前記各第1特徴マップに対応する第2特徴マップに対して特徴混同処理を実行する場合、
前記各第1特徴マップおよび前記各第1特徴マップに対応する第2特徴マップに基づいて、前記第1特徴マップに対応する第2特徴マップに対して特徴増強処理を実行して、各第1特徴マップに対応する第2特徴マップの特徴増強画像を取得し、
前記各第1特徴マップおよび前記各第1特徴マップに対応する第2特徴マップに基づいて、前記各第1特徴マップに対応する注意マスク画像を取得し、ここで、前記注意マスク画像のうちの任意の1つの画素点の画素値は、当該第1特徴マップのうち、当該任意の1つの画素点と一致する位置の第1特徴点に欠陥がある異常値を表し、
前記特徴増強画像および前記注意マスク画像に基づいて、前記各第1特徴マップに対応する特徴融合画像を取得するように構成される。
前記各第1特徴マップおよび前記各第1特徴マップに対応する第2特徴マップに基づいて、前記第1特徴マップに対応する第2特徴マップに対して特徴増強処理を実行して、各第1特徴マップに対応する第2特徴マップの特徴増強画像を取得し、
前記各第1特徴マップおよび前記各第1特徴マップに対応する第2特徴マップに基づいて、前記各第1特徴マップに対応する注意マスク画像を取得し、ここで、前記注意マスク画像のうちの任意の1つの画素点の画素値は、当該第1特徴マップのうち、当該任意の1つの画素点と一致する位置の第1特徴点に欠陥がある異常値を表し、
前記特徴増強画像および前記注意マスク画像に基づいて、前記各第1特徴マップに対応する特徴融合画像を取得するように構成される。
一可能な実施形態において、前記特徴混同部は、前記各第1特徴マップおよび各第1特徴マップに対応する第2特徴マップに基づいて、各第1特徴マップに対応する第2特徴マップに対して特徴増強処理を実行する場合、各第1特徴マップのうちの各第1特徴点について、第1特徴マップに対応する第2特徴マップの複数の第2特徴点から、当該第1特徴点に対応する複数の関連特徴点を決定し、ここで、当該第1特徴点に対応する各関連特徴点と、当該第1特徴点位置と一致するターゲット第2特徴点との距離は、プリセットの条件を満たし、当該第1特徴点と各関連特徴点との類似度に基づいて、当該第1特徴点位置と一致するターゲット第2特徴点に対して特徴増強処理を実行するように構成される。
一可能な実施形態において、前記特徴混同部は、前記当該第1特徴点と各関連特徴点との類似度に基づいて、当該第1特徴点位置と一致するターゲット第2特徴点に対して特徴増強処理を実行する場合、当該第1特徴点と各関連特徴点との類似度および各関連特徴点の特徴値に基づいて、当該第1特徴点位置と一致するターゲット第2特徴点に対して特徴増強処理を実行するように構成される。
一可能な実施形態において、前記特徴混同部は、前記当該第1特徴点と各関連特徴点との類似度および各関連特徴点の特徴値に基づいて、当該第1特徴点位置と一致するターゲット第2特徴点に対して特徴増強処理を実行する場合、当該第1特徴点と各関連特徴点との類似度に基づいて、当該第1特徴点に対応する複数の関連特徴点にそれぞれ対応する特徴値に対して加重加算を実行して、第1合計値を取得し、複数の関連特徴点にそれぞれ対応する類似度を加算して、第2合計値を取得し、前記第1合計値と前記第2合計値の比率を、前記ターゲット第2特徴点に対して特徴増強処理を実行した後の特徴値として使用するように構成される。
一可能な実施形態において、前記特徴混同部は、前記当該枚の第1特徴マップおよび当該枚の第1特徴マップに対応する第2特徴マップに基づいて、当該枚の第1特徴マップに対応する注意マスク画像を取得場合、当該枚の第1特徴マップのうちの各第1特徴点について、当該枚の第1特徴マップに対応する第2特徴マップの複数の第2特徴点から、当該第1特徴点に対応する複数の関連特徴点を決定し、ここで、当該第1特徴点に対応する各関連特徴点と、当該第1特徴点位置と一致するターゲット第2特徴点との距離は、プリセットの条件を満たし、当該第1特徴点と各関連特徴点との類似度に基づいて、当該第1特徴点の異常値を決定し、前記第1特徴マップのうち、各第1特徴点に対応する異常値に基づいて、前記注意マスク画像を取得するように構成される。
一可能な実施形態において、前記特徴混同部は、前記当該第1特徴点と各関連特徴点との類似度に基づいて、当該第1特徴点の異常値を決定する場合、複数の関連特徴点のそれぞれと、当該第1特徴点との類似度の最大類似度を決定し、前記最大類似度に基づいて、当該第1特徴点の異常値を決定するように構成される。
一可能な実施形態において、前記特徴混同部は、下記の方式を採用して、第1特徴点と、当該第1特徴点に対応する任意の1つの関連特徴点との類似度を決定するように構成される。前記第1特徴マップにおける前記第1特徴点の位置およびプリセットの距離閾値に基づいて、第1特徴サブマップを取得し、前記第2特徴マップにおける、当該第1特徴点に対応する任意の1つの関連特徴点の位置および前記距離閾値に基づいて、第2特徴サブマップを取得し、前記第1特徴サブマップおよび前記第2特徴サブマップに基づいて、前記第1特徴点と、当該第1特徴点に対応する当該任意の1つの関連特徴点との類似度を決定する。
一可能な実施形態において、前記特徴混同部は、前記特徴増強画像および前記注意マスク画像に基づいて、前記第1特徴マップに対応する特徴融合画像を取得する場合、前記特徴増強画像および当該枚の第1特徴マップに対してマージ処理を実行して、当該枚の第1特徴マップに対応するマージ特徴マップを取得し、前記注意マスク画像および前記マージ特徴マップに基づいて、前記特徴融合画像を取得するように構成される。
第3態様によれば、本発明の実施例はさらにコンピュータ機器を提供する。前記コンピュータ機器は、互いに接続されるプロセッサとメモリとを備え、前記メモリは、前記プロセッサによって実行可能な機械可読命令を記憶し、前記プロセッサは、コンピュータ機器が実行するとき、前記機械可読命令を実行して、上記の第1態様、または第1態様のいずれか一つの可能な実施形態における欠陥検出方法を実施する。
第4態様によれば、本発明の実施例はさらにコンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体は、コンピュータプログラムを記憶し、当該コンピュータプログラムは、プロセッサによって実行されるときに、前記プロセッサに上記の第1態様、または第1態様のいずれか一つの可能な実施形態における欠陥検出方法を実行させる。
本発明の一態様によれば、コンピュータプログラムを提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードは、電子機器で実行されるときに、前記電子機器内のプロセッサに、上記のいずれか一つの可能な実施形態における欠陥検出方法を実行させる。
本発明の上記の目的、特徴および利点をより明確且つ理解するために、以下は、好ましい実施例を添付の図面と合わせて、詳細な説明をする。
本発明の実施例の技術的解決策をより明確に説明するために、実施例で必要な図面を簡単に紹介する。ここでの図面は、本明細書に組み込まれてその一部を構成し、これらの図面は、本発明と一致する実施例を示すものであり、明細書とともに本発明の実施例の技術的解決策を説明するために使用される。図面は、本発明のいくつかの実施例のみを示したため、範囲の限定として見なされるべきではなく、当業者にとっては、創造的な作業なしに、これらの図面に従って他の関連する図面を得ることもできることを理解されたい。
本発明の実施例の目的、技術的解決策および利点をより明確にするために、以下は、本発明の実施例の図面を参照して、本発明の実施例における技術的解決策を明確、且つ完全に説明し、明らかに、説明される実施例は、本願実施例の一部に過ぎず、実施例の全てではない。通常、ここでの図面で説明および示された本発明の実施例のコンポーネンは、様々な異なる構成で配置および設計されることができる。そのため、以下は、是面で提供された本発明の実施例の詳細な説明は、保護請求の本発明の範囲を制限することを目的としなく、本発明の選択された実施例を表示することに過ぎない。本発明の実施例に基づいて、創造的な努力なしに当業者によって取得される他のすべての実施例は、すべて本願の保護範囲に含まれる。
研究によると、物体表面の欠陥を検出する方法は、通常、以下の2つがある。
(1)テンプレートなしの方法であって、当該方法は、通常、単純な画像処理で、検出されるべき対象の検出されるべき画像に欠陥がある位置および欠陥のカテゴリを取得し、さらに、大量のサンプルを使用して、ニューラルネットワークモデルをトレーニングして、検出されるべき対象の検出されるべき画像をトレーニングされたニューラルネットワークモデルに入力して、検出されるべき対象の検出されるべき画像の欠陥検出結果を取得することもできる。このようなテンプレートなしの方式は、テンプレート画像内の関連情報が足りないため、設計された部品および欠陥のある部品を区別できないため、大量の間違った検出ターゲットをリコールする可能性がある。
(2)テンプレートありの方法であって、当該方法は、テンプレート画像および検出されるべき対象の検出されるべき画像を使用して、欠陥を位置づけし分類するが、検出されるべき対象の生産プロセスでは、常に、検出されるべき対象に特定の生産誤差が存在するため、さらに、検出されるべき対象の検出されるべき画像とテンプレート画像を比較する場合にも、画像間のマッチング誤差があるため、さらに、検出されるべき画像の収集プロセス中にノイズ収集がある可能性があるため、このような誤差は、現在の部品の欠陥検出結果に、大量の誤検出領域が存在し、欠陥検出の精度を低減させる。
したがって、検出されるべき対象に対して欠陥検出を実行する現在の方法はすべて、検出精度の低いという問題がある。
上記の研究に基づいて、本発明は、欠陥検出方法および装置を提供し、検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する第1特徴マップ画像を取得し、テンプレート画像に対してマルチレベルの特徴抽出を実行して、各第1特徴マップに対応する第2特徴マップを取得し、その後、各第1特徴マップについて、当該枚の第1特徴マップおよび当該枚の第1特徴マップに対応する第2特徴マップに対して、特徴混同処理を実行して、当該枚の第1特徴マップに対応する特徴融合画像を取得することにより、処理されるべき画像とテンプレート画像内の特徴を融合することを介して、第1特徴マップと第2特徴マップとの間の存在する生産誤差、マッチング誤差およびノイズの収集などの誤差を減らし、その後、特徴融合画像を利用して、第1特徴マップの欠陥検出結果を取得し、さらに、マルチレベルの特徴抽出にそれぞれ対応する第1特徴マップの欠陥検出結果を統合し、より高い精度で検出されるべき画像の欠陥検出結果を取得する。
以上の技術案に存在する欠陥はすべて、実施および綿密な研究の後に発明者によって得られた結果である。したがって、上記の問題の発見プロセスおよび以下の本発明が上記の問題に対して提出された技術的解決策はすべて、本発明のプロセスで、本発明に対して発明者によってなされた貢献であるべきである。
類似する参照番号および文字は、次の図面で類似した項目を示し、従って、特定の一項が1つの図面で定義されると、後の図面では、それに対してさらなる定義及び説明を実行する必要がないことを注意されたい。
本実施例を理解し易くするために、まず、本発明の実施例によって開示される欠陥検出方法を詳細に紹介する。本発明の実施例による欠陥方法の実行主体は、通常、特定のコンピューティング能力を有するコンピュータ機器であり、コンピュータ機器は、例えば、端末機器またはサーバまたは他の処理機器を含み、端末機器は、品質検出専用の機器であってもよく、メモリに記憶されるコンピュータ可読命令を呼び出してプロセッサによって実装されてもよい。
さらに、本発明の実施例による欠陥検出方法は、検出されるべき対象に対して欠陥検出を実行するために使用される以外に、ワークピース、機械部品などの他のアイテムに対して欠陥検出を実行することもできる。
以下は、検出されるべき対象に対して欠陥検出を実行することを例として、本発明の実施例による欠陥検出方法を説明する。
図1を参照すると、本発明の実施例による欠陥検出方法のフローチャートであり、前記方法は、ステップS101~S104を含む。
ステップS101において、検出されるべき画像およびテンプレート画像を取得する。
ステップS102において、前記検出されるべき画像に対して特徴抽出を実行して、前記検出されるべき画像の第1特徴マップを取得し、前記テンプレート画像に対して特徴抽出を実行して、前記テンプレート画像に対応する第2特徴マップを取得する。
ステップS103において、前記第1特徴マップおよび前記第2特徴マップに対して特徴混同処理を実行して、特徴融合画像を取得する。
ステップS104において、前記特徴融合画像に基づいて、前記検出されるべき画像の欠陥検出結果を取得する。
以下は、上記のS101~S104に対して詳細に説明する。
I:上記のS101において、テンプレート画像は、工業生産において標準的な設計図、または検出されるべき対象に対して欠陥検出を実行する場合に使用される、合格対象を撮影した画像を指し、ここで、合格対象は、即ち、欠陥のない対象である。検出されるべき画像は、検出されるべき対象に対して取得された画像を指す。
例示的に、検出されるべき対象は、例えば、各タイプも機械部品、材料、プリント回路基板、電子コンポーネントなどのうちの少なくとも1つを含む。
部品を検出されるべき対象として使用することを例とする。
検出されるべき部品に対して欠陥検出を実行する場合、例えば、まず、検出されるべき部品のモデルまたは識別情報を取得し、その後、部品のモデルまたは識別情報に従って、事前に構築されたテンプレート画像ライブラリから、検出されるべき部品に対応するテンプレート画像を取得する。また例えば、テンプレート画像ライブラリに検出されるべき部品のテンプレート画像がない場合、例えば、まず、複数の検出されるべき部品から欠陥のないテンプレート部品を決定し、その後、当該テンプレート部品の画像を取得して、テンプレート画像を取得する。
検出されるべき画像は、例えば、欠陥検出機器に設置された画像収集コンポーネントによって取得でき、他の機器によって伝送された検出されるべき画像を受信することもできる。
II:上記のS102において、処理されるべき画像に対して特徴抽出を実行することは、例えば、以下の方式を採用できる。
前記検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する第1特徴マップを取得する。
本発明の実施例において、検出されるべき画像に対してマルチレベルの特徴抽出を実行した後、マルチレベルの特徴に基づいて特徴融合し、さらに、各レベルの特徴抽出に対応する第1特徴マップを取得することができる。ここで、各レベルの特徴抽出に対応する第1特徴マップを取得する方式は、図2aに示されたように、特徴化画像ピラミッドネットワークを採用でき、図2bに示されたように、単一な特徴マップネットワークを採用することもでき、図2cに示されたように、ピラミッド特徴層ネットワークを採用することもでき、図2dに示されたように、特徴ピラミッドネットワーク(FPN:Feature Pyramid Networks)を採用することもでき、それに対して、本発明の実施例は限定しない。
例示的に、各レベルの特徴抽出はすべて、処理されるべき画像の一枚の中間特徴マップを取得することができる。ここで、任意の隣接する2つの特徴抽出に対して、前レベルの特徴抽出によって得られた中間特徴マップは、後レベルの特徴抽出の入力であり、即ち、後レベルの特徴抽出は、前レベルの特徴抽出によって得られた中間特徴マップに基づいて当該後レベルの特徴抽出を実行して、当該後レベルの特徴抽出の中間特徴マップを取得する。マルチレベルの特徴抽出のうちの最後の特徴抽出について、最後の特徴抽出に対応する中間特徴マップを、当該最後の特徴抽出に対応する第1特徴マップとして使用し、マルチレベルの特徴抽出のうち、最後の特徴抽出以外の他のレベルの特徴抽出について、各レベルの特徴抽出に対応する中間特徴マップを、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第1特徴マップと特徴融合して、前記各レベルの特徴抽出に対応する第1特徴マップを取得する。
各レベルの特徴抽出に対応する中間特徴マップを、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第1特徴マップと特徴融合する場合、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第1特徴マップのサイズが、当該レベルの特徴抽出に対応する中間特徴マップより小さいことに応答して、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第1特徴マップをアップサンプリングして、アップサンプリング画像を取得し、当該アップサンプリング画像のサイズは、当該レベルの特徴抽出に対応する中間特徴マップのサイズと一致し、その後、当該アップサンプリング画像を、当該レベルの特徴抽出に対応する中間特徴マップと重ね合わせた後、当該レベルの特徴抽出に対応する第1特徴マップを取得する。
各レベルの特徴抽出に対応する中間特徴マップを、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第1特徴マップと特徴融合する場合、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第1特徴マップのサイズが、当該レベルの特徴抽出に対応する中間特徴マップと等しいことに応答して、例えば、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第1特徴マップを、当該レベルの特徴抽出に対応する中間特徴マップと直接に重ね合わせて、当該レベルの特徴抽出に対応する第1特徴マップを取得することができる。
本発明の一実施例において、例えば、事前にトレーニングされた特徴抽出ネットワークを使用して、検出されるべき画像に対してマルチレベルの特徴抽出を実行することができる。
いくつかの実施例において、特徴抽出ネットワークは、AlexNet、オックスフォード大学コンピュータビジョングループ(VGG:Visual Geometry Group)によって開発された深層畳み込みニューラルネットワーク、残差ニューラルネットワーク(ResNet:Residual Neural Network)、スクイーズネットワーク(SqueezeNet)、密集ネットワーク(DenseNet)、GoogLeNet、ShuffleNet、モバイルニューラルネットワーク(MobileNet)、ResNeXtなどの、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)ベースの構造を採用できる。
例示的に、図3aを参照すると、本発明の実施例は、さらに、4レベルネットワーク層を含む、特徴抽出ネットワークの構造示例を提供し、当該4レベルネットワーク層は順次に、第1レベルネットワーク層、第2レベルネットワーク層、第3レベルネットワーク層および第4レベルネットワーク層を含む。
上記の4レベルネットワーク層を介して、処理されるべき画像Aに対して4レベルの特徴抽出を実行し、各レベルのネットワーク層はすべて、当該レベルのネットワーク層に対応する中間特徴マップを出力することができる。ここで、第1レベルネットワーク層は、検出されるべき画像に対して第1レベルの特徴抽出を実行して、中間特徴マップA1を取得し、第2レベルネットワーク層は、中間特徴マップA1に対して第2レベルの特徴抽出を実行して、中間特徴マップA2を取得し、第3レベルネットワーク層は、中間特徴マップA2に対して第3レベルの特徴抽出を実行して、中間特徴マップA3を取得し、第4レベルネットワーク層は、中間特徴マップA3に対して第4レベルの特徴抽出を実行して、中間特徴マップA4を取得する。
第4レベルネットワーク層について、中間特徴マップA4を、第4レベルの特徴抽出に対応する第1特徴マップA4’として使用し、
第3レベルネットワーク層について、第4レベルの特徴抽出に対応する第1特徴マップA4’をアップサンプリングした後、第3レベルの特徴抽出に対応する中間特徴マップA3と重ね合わせて、第3レベルの特徴抽出に対応する第1特徴マップA3’を取得する。
第3レベルネットワーク層について、第4レベルの特徴抽出に対応する第1特徴マップA4’をアップサンプリングした後、第3レベルの特徴抽出に対応する中間特徴マップA3と重ね合わせて、第3レベルの特徴抽出に対応する第1特徴マップA3’を取得する。
第2レベルネットワーク層について、第3レベルの特徴抽出に対応する第1特徴マップA3’をアップサンプリングした後、第2レベルの特徴抽出に対応する中間特徴マップA2と重ね合わせて、第2レベルの特徴抽出に対応する第1特徴マップA2’を取得する。
第1レベルネットワーク層について、第2レベルの特徴抽出に対応する第1特徴マップA2’をアップサンプリングした後、第1レベルの特徴抽出に対応する中間特徴マップA1と重ね合わせて、第1レベルの特徴抽出に対応する第1特徴マップA1’を取得する。
テンプレート画像に対して特徴抽出を実行する場合、例えば、テンプレート画像に対してマルチレベルの特徴抽出を実行して、各第1特徴マップに対応する第2特徴マップを取得することができ、第2特徴マップを取得するプロセスは、第1特徴マップを取得するプロセスと類似し、ここでは繰り返して説明しない。
ここで、例えば、事前にトレーニングされた特徴抽出ネットワークを採用して、テンプレート画像に対してマルチレベルの特徴抽出を実行して、マルチレベルの特徴抽出にそれぞれ対応する第2特徴マップを取得することができる。
ここで、当該特徴抽出ネットワークは、上記の第1特徴マップを取得する特徴抽出ネットワークと同じネットワークであってもよく、ツインネットワークの2つの特徴抽出ブランチであってもよい。2つの特徴抽出ネットワークが、ツインネットワークの2つの特徴抽出ブランチである場合、2つの特徴抽出ブランチのパラメータは同じである。
例示的に、図3aに示された例を参照すると、第2特徴マップを取得する特徴抽出ネットワークと、第1特徴ハイライトを取得する特徴抽出ネットワークは、ツインネットワークの2つの特徴抽出ブランチである。
第2特徴マップを取得するための特徴抽出ネットワークは、第1特徴マップを取得するための特徴抽出ネットワークと同じであり、4レベルネットワーク層を含み、4レベルネットワーク層は順次に、第1レベルネットワーク層、第2レベルネットワーク層、第3レベルネットワーク層および第4レベルネットワーク層を含む。
上記の4レベルネットワーク層を介して、テンプレート画像Bに対して4レベルの特徴抽出を実行し、各レベルのネットワーク層はすべて、当該レベルのネットワーク層に対応する中間特徴マップを出力することができる。ここで、第1レベルネットワーク層は、テンプレート画像に対して第1レベルの特徴抽出を実行して、中間特徴マップB1を取得し、第2レベルネットワーク層は、中間特徴マップB1に対して第2レベルの特徴抽出を実行して、中間特徴マップB2を取得し、第3レベルネットワーク層は、中間特徴マップB2に対して第3レベルの特徴抽出を実行して、中間特徴マップB3を取得し、第4レベルネットワーク層は、中間特徴マップB3に対して第4レベルの特徴抽出を実行して、中間特徴マップB4を取得する。
第4レベルネットワーク層について、中間特徴マップB4を、第4レベルの特徴抽出に対応する第2特徴マップB4’として使用し、
第3レベルネットワーク層について、第4レベルの特徴抽出に対応する第2特徴マップB4’をアップサンプリングした後、第3レベルの特徴抽出に対応する中間特徴マップB3と重ね合わせて、第3レベルの特徴抽出に対応する第2特徴マップB3’を取得する。
第3レベルネットワーク層について、第4レベルの特徴抽出に対応する第2特徴マップB4’をアップサンプリングした後、第3レベルの特徴抽出に対応する中間特徴マップB3と重ね合わせて、第3レベルの特徴抽出に対応する第2特徴マップB3’を取得する。
第2レベルネットワーク層について、第3レベルの特徴抽出に対応する第2特徴マップB3’をアップサンプリングした後、第2レベルの特徴抽出に対応する中間特徴マップB2と重ね合わせて、第2レベルの特徴抽出に対応する第2特徴マップB2’を取得する。
第1レベルネットワーク層について、第2レベルの特徴抽出に対応する第2特徴マップB2’をアップサンプリングした後、第1レベルの特徴抽出に対応する中間特徴マップB1と重ね合わせて、第1レベルの特徴抽出に対応する第2特徴マップB1’を取得する。
本発明の別の一実施例において、複数の同じ部品に対して欠陥検出を実行する場合、複数の部品に対応するテンプレート画像は、一般的な場合にはすべて同じであるため、複数の同じ部品に対応する同じテンプレート画像について、マルチレベルの特徴抽出のプロセスを一回のみ実行し、マルチレベルの特徴抽出にそれぞれ対応する第2特徴マップを取得した後、各レベルの特徴抽出にそれぞれ対応する第2特徴マップを、実行主体のプリセットの記憶位置に格納することができる。ある部品に対して欠陥検出を実行する場合、現在、当該部品に対応するテンプレート画像の第2特徴マップがある場合、テンプレート画像に対してマルチレベルの特徴抽出を再び実行する必要なく、プリセットの記憶位置から直接に読み取ることができる。
別の一実施例において、検出されるべき画像に対して少なくとも一レベルの特徴抽出を実行して、最後の特徴抽出の出力を、検出されるべき画像の第1特徴マップとして使用し、テンプレート画像に対して少なくとも一レベルの特徴抽出を実行して、最後の特徴抽出の出力を、テンプレート画像の第2特徴マップとして使用することもできる。
III:上記のS103において、第1特徴マップと第2特徴マップに対して特徴混同処理を実行する場合、例えば、各第1特徴マップについて、前記各第1特徴マップおよび前記各第1特徴マップに対応する第2特徴マップに対して特徴混同処理を使用して、前記各第1特徴マップに対応する特徴融合画像を取得することができる。
例示的に、図3bを参照すると、本発明の実施例は、さらに、第1特徴マップおよび当該枚の第1特徴マップに対応する第2特徴マップに対して特徴混同処理を実行する方法を提供し、以下のステップを含む。
ステップS301において、当該枚の第1特徴マップおよび当該枚の第1特徴マップに対応する第2特徴マップに基づいて、当該枚の第1特徴マップに対応する第2特徴マップに対して特徴増強処理を実行して、当該枚の第1特徴マップに対応する第2特徴マップの特徴増強画像を取得する。
いくつかの実施例において、図4aに示されたように、正規化相互相関マッチングアルゴリズム(NCC:Normalized Cross Correlation)に基づいて、第2特徴マップF2から、第1特徴点と一致するターゲット第2ターゲット特徴点f2を決定し、第1特徴マップ内の各第1特徴点位置と一致するターゲット第2特徴点f2に対して、それぞれ特徴増強を実行して、第2特徴マップの特徴増強画像F22を取得することができる。
いくつかの実施例において、例えば、以下の方式を採用して、当該枚の第1特徴マップに対応する第2特徴マップに対して特徴増強処理を実行することができる。
当該枚の第1特徴マップのうちの各第1特徴点について、当該枚の第1特徴マップに対応する第2特徴マップの複数の第2特徴点から、当該第1特徴点に対応する複数の関連特徴点を決定し、ここで、当該第1特徴点に対応する各関連特徴点と、当該第1特徴点位置と一致するターゲット第2特徴点との距離は、プリセットの条件を満たし、当該第1特徴点と各関連特徴点との類似度に基づいて、当該第1特徴点位置と一致するターゲット第2特徴点に対して特徴増強処理を実行する。
任意の1つの第1特徴点に対応する複数の関連特徴点は、例えば、第2特徴マップでは、ターゲット第2特徴点との距離は、プリセットのある距離閾値より小さい第2特徴点である。
例示的に、当該距離は、例えば、L1距離、L2距離、ユークリッド距離、マンハッタン距離のうちの任意の1つである。
各第1特徴点に複数の関連特徴点を決定する場合、まず、第2特徴マップから、当該第1特徴点に、位置が一致するターゲット第2特徴点を決定し、その後、第2特徴マップのうち、ターゲット第2特徴点との距離が、プリセットの条件を満たすすべての第2特徴点を、すべて当該第1特徴点に対応する複数の関連特徴点として使用する。第2特徴マップのうち、ターゲット第2特徴点との距離が、プリセットの条件を満たすすべての第2特徴点を候補特徴点として使用し、その後、ランダムサンプリング、または一様間隔サンプリングの方式に従って、複数の候補特徴点から複数の関連特徴点を決定することもできる。
第1特徴点の複数の関連特徴点を決定した後、例えば、以下の方式を採用して、各関連特徴点と第1特徴点との類似度を決定することができる。
前記第1特徴マップにおける前記第1特徴点の位置およびプリセットの距離閾値に基づいて、第1特徴サブマップを取得し、前記第2特徴マップにおける、当該第1特徴点に対応する任意の1つの関連特徴点の位置および前記プリセットの距離閾値に基づいて、第2特徴サブマップを取得し、前記第1特徴サブマップおよび前記第2特徴サブマップに基づいて、前記第1特徴点と、当該第1特徴点に対応する当該任意の1つの関連特徴点との類似度を決定する。ここで、プリセットの距離閾値は、必要に応じて設定することができ、これに対して、本発明の実施例は限定しない。
一可能な実施形態において、第1特徴点に対応する第1特徴サブマップを決定する場合、例えば、第1特徴マップで、前記第1特徴点を円心とし、当該プリセットの距離閾値を半径とする第1円形領域で、前記第1特徴マップの当該第1円形領域内に位置する第1特徴点に基づいて、前記第1特徴サブマップを取得することができる。
ここで、第1特徴サブマップ内の第1特徴点は、第1円形領域内に位置するすべての第1特徴点を含んでもよく、第1円形領域内に位置する第1特徴点の一部を含んでもよい。
いくつかの実施例において、任意の1つの関連特徴点に対応する第2特徴サブマップを決定する場合、例えば、前記第2特徴マップで、当該任意の1つの各関連特徴点を円心とし、当該プリセットの距離閾値を半径とする第2円形領域を決定し、前記第2特徴マップの当該第2円形領域内に位置する第2特徴点に基づいて、前記第2特徴サブマップを取得することができる。
ここで、第2特徴サブマップ内の第2特徴点は、第2円形領域内に位置するすべての第2特徴点を含んでもよく、第2円形領域内に位置する第2特徴点の一部のみを含んでもよい。
例示的に、第1特徴サブマップ内の第1特徴点が、第1円形領域内に位置する第1特徴点の一部のみを含む場合、第2特徴サブマップ内の第2特徴点も、第2円形領域内に位置する第2特徴点の一部のみを含み、第1特徴サブマップ内の第1特徴点は、第2サブマップ中の第2特徴点位置と一対一でマッチングする。
別の一可能な実施形態において、第1特徴点に対応する第1特徴サブマップを決定する場合、例えば、前記第1特徴マップで、第1特徴点を中心とし、決定された前記ターゲット辺の長さを辺の長さとする第1正方形領域を決定し、前記第1特徴マップの当該第1正方形領域内に位置する第1特徴点に基づいて、前記第1特徴サブマップを取得することができる。
第1特徴点に対応する第1特徴サブマップを決定する場合、第1特徴サブマップに含まれる第1特徴点は、例えば、第1正方形領域内に位置する第1特徴点を含み、第1正方形領域内に位置する第1特徴点の一部のみを含んでもよい。
いくつかの実施例において、任意の1つの関連特徴点に対応する第2特徴サブマップを決定する場合、例えば、前記プリセットの距離閾値に基づいて、ターゲット辺の長さを決定し、前記第2特徴マップで、前記各関連特徴点を中心とし、決定された前記ターゲット辺の長さを辺の長さとする第2正方形領域を決定し、前記第2特徴マップの当該第2正方形領域内に位置する第2特徴点に基づいて、前記第2特徴サブマップを取得することができる。
関連特徴点に対応する第2特徴サブマップを決定する場合、第2特徴サブマップに含まれる第2特徴点は、例えば、第2正方形領域内に位置するすべての第2特徴点を含み、第2正方形領域内に位置する第2特徴点の一部のみを含んでもよい。
第1特徴サブマップおよび第2特徴サブマップを取得した後、第1特徴サブマップに基づいて、第1特徴点と、当該第1特徴点に対応する任意の1つの関連特徴点との類似度を決定する。
ここで、
は、第1特徴サブマップを表し、
は、第n個の関連特徴点の第2特徴サブマップを表し、
は、第1特徴サブマップを第n個の関連特徴点の第2特徴サブマップと行列乗算することを表し、
は、行列内のすべての要素の要素値を加算することを表し、N≧n≧1である。
は、第1特徴サブマップを表し、
は、第n個の関連特徴点の第2特徴サブマップを表し、
は、第1特徴サブマップを第n個の関連特徴点の第2特徴サブマップと行列乗算することを表し、
は、行列内のすべての要素の要素値を加算することを表し、N≧n≧1である。
第1特徴点と各関連特徴点との類似度を取得した後、例えば、当該第1特徴点と各関連特徴点との類似度および各関連特徴点の特徴値に基づいて、当該第1特徴点位置と一致するターゲット第2特徴点に対して特徴増強処理を実行することができる。
例示的に、例えば、前記各関連特徴点と第1特徴点との類似度に基づいて、複数の前記関連特徴点にそれぞれ対応する特徴値に対して加重加算を実行して、第1合計値を取得しおよび、複数の関連特徴点にそれぞれ対応する類似度を加算して、第2合計値を取得し、前記第1合計値と前記第2合計値の比率を、第1特徴点位置と一致するターゲット第2特徴点に対して特徴増強処理を実行した後の特徴値として使用することができる。
第1特徴マップ内の各第1特徴点位置と一致するターゲット第2特徴点に対してそれぞれ特徴増強を実行した後、第2特徴マップの特徴増強画像を取得する。
本発明の実施例による特徴混同処理のプロセスは、さらに、以下のステップを含む。
ステップS302において、当該枚の第1特徴マップおよび当該枚の第1特徴マップに対応する第2特徴マップに基づいて、当該枚の第1特徴マップに対応する注意マスク画像を取得し、ここで、前記注意マスク画像のうちの任意の1つの画素点の画素値は、当該第1特徴マップのうち、当該任意の1つの画素点と一致する位置の第1特徴点に欠陥がある異常値を表す。
ここで、上記のS301およびS302は、後先のロジック関係がないことに留意されたい。
いくつかの実施例において、例えば、以下の方式を採用して、任意の1枚の第1特徴マップに対応する注意マスク画像を取得することができる。当該枚の第1特徴マップのうちの各第1特徴点について、当該枚の第1特徴マップに対応する第2特徴マップの複数の第2特徴点から、当該第1特徴点に対応する複数の関連特徴点を決定し、ここで、当該第1特徴点に対応する各関連特徴点と、当該第1特徴点位置と一致するターゲット第2特徴点との距離は、プリセットの条件を満たし、当該第1特徴点と各関連特徴点との類似度に基づいて、当該第1特徴点の異常値を決定する。
ここで、第1特徴点に対応する関連特徴点の方式および第1特徴点と関連特徴点との類似度を決定する方式は、上記のS301と類似し、ここでは繰り返して説明しない。
第1特徴点と各関連特徴点との類似度を決定した後、例えば、複数の関連特徴点のそれぞれと、当該第1特徴点との類似度の最大類似度を決定し、前記最大類似度に基づいて、当該第1特徴点の異常値を決定することができる。
ここで、Hは、最大類似度を表す。λは、1、0.5などのプリセットの係数である。具体的には、実際の必要に応じて設定することができる。
さらに例えば、複数の関連画素点のそれぞれと、当該第1画素点との類似度に従って、類似度平均値を決定し、当該類似度平均値に基づいて、当該第1画素点の異常値を決定することができる。
第1特徴マップ内の各第1特徴点に対応する異常値を決定した後、前記第1特徴マップ内の各第1特徴点に対応する異常値に基づいて、前記注意マスク画像を取得し、この場合、例えば、すべての第1特徴点にそれぞれ対応する異常値によって構成される画像を、注意マスク画像として使用することができる。
ステップS303において、前記特徴増強画像および前記注意マスク画像に基づいて、当該枚の第1特徴マップに対応する特徴融合画像を取得する。
ここで、例えば、前記特徴増強画像および当該枚の第1特徴マップに対してマージ処理を実行して、当該枚の第1特徴マップに対応するマージ特徴マップを取得した後、前記注意マスク画像および前記マージ特徴マップに基づいて、前記特徴融合画像を取得する。
いくつかの実施例において、例えば、特徴増強画像を第1特徴マップと重ね合わせて、マージ特徴マップを取得することができる。
注意マスク画像およびマージ特徴マップに基づいて、特徴融合画像を取得する場合、例えば、注意マスク画像をマージ特徴マップと行列乗算して、特徴融合画像を取得することができる。
本発明の実施例において、第1特徴マップおよび、閾値に対応する第2特徴マップに対して特徴混同処理を実行するプロセスは、例えば、事前にトレーニングされた特徴混同ネットワークを使用して実現できる。
例示的に、図4bを参照すると、本発明の実施例は、さらに、特徴増強部および異常注意部を備える、特徴混同ネットワークの構造を提供する。
ここで、異常注意部は、上記のS302による方法に基づいて、第1特徴マップの注意マスク画像を取得するように構成される。特徴増強部は、上記のS302による方法に基づいて、第1特徴マップに対応する第2特徴マップに対応する特徴増強画像を取得するように構成される。
その後、特徴増強画像を、第1特徴マップと重ね合わせて、マージ特徴マップを取得し、注意マスク画像およびマージ特徴マップに基づいて、特徴融合画像を取得する。
別の一実施例において、第1特徴マップおよび第2特徴マップが、両方とも1つのみある場合、上記と類似する方式に応じて、第1特徴マップと第2特徴マップに対して特徴混同処理を実行して、特徴融合画像を取得することができ、具体的な特徴混同処理方法は、ここでは繰り返して説明しない。
IV:上記のS104において、特徴融合画像に基づいて、前記検出されるべき画像の欠陥検出結果を取得する場合、マルチレベルの特徴処理にそれぞれ対応する第1特徴マップおよび第2特徴マップを取得することに応答して、例えば、前記各第1特徴マップに対応する特徴融合画像に基づいて、前記各第1特徴マップの欠陥検出結果を取得し、マルチレベルの特徴抽出にそれぞれ対応する第1特徴マップの欠陥検出結果に基づいて、前記検出されるべき画像の欠陥検出結果を取得することができる。
例示的に、事前にトレーニングされた検出ネットワークを採用して、特徴融合画像に対して欠陥検出処理を実行して、検出されるべき画像に対応する欠陥検出結果を取得することができる。本発明の実施例による事前にトレーニングされた検出ネットワークは、FCOS、Fovea、網膜ネットワーク(RetinaNET)、faster R-CNNなどであり得、事前にトレーニングされた検出ネットワークに対して、必要に応じて設定することができ、本発明の実施例は限定しない。
いくつかの実施例において、事前にトレーニングされた検出ネットワークは、完全畳み込み画素ごとのターゲット検出(FCOS:Fully Convolutional One-Stage Object Detection)ネットワークを採用することができる。ここで、FCOSネットワークは、第1特徴マップにおける欠陥カテゴリ、欠陥中心度、欠陥フレームの位置を検出することができる。
ここで、欠陥中心度は、第1特徴マップ内のある特徴点が、欠陥フレーム中心である確率を指示するために使用される。
第1特徴マップにおける欠陥フレームの位置は、第1特徴マップに欠陥がある位置を指示する。
例示的に、図3aに示された例において、FCOS検出ヘッドを介して、4レベルの特徴抽出にそれぞれ対応する第1特徴マップの欠陥検出結果を取得し、当該欠陥検出結果は、欠陥カテゴリ、欠陥中心度、欠陥フレームの位置を含む。
マルチレベルの特徴抽出のうちの各レベルの特徴抽出に対応する第1特徴マップの検出結果を取得した後、例えば、非最大抑制方法(NMS:Non-Maximum Suppression)を採用して、マルチレベルの特徴抽出にそれぞれ対応する第1特徴マップの検出結果に対してマージ処理を実行して、検出されるべき画像の欠陥検出結果を取得することができる。
さらに例えば、マルチレベルの特徴抽出にそれぞれ対応する第1特徴マップの検出結果の交差を取得して、検出されるべき画像の欠陥検出結果を決定することもできる。
本発明の実施例は、検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する第1特徴マップ画像を取得し、テンプレート画像に対してマルチレベルの特徴抽出を実行して、各第1特徴マップに対応する第2特徴マップを取得し、その後、各第1特徴マップについて、当該枚の第1特徴マップおよび当該枚の第1特徴マップに対応する第2特徴マップに対して、特徴混同処理を実行して、当該枚の第1特徴マップに対応する特徴融合画像を取得することにより、処理されるべき画像とテンプレート画像内の特徴を融合することを介して、第1特徴マップと第2特徴マップとの間の存在する生産誤差、マッチング誤差およびノイズの収集などの誤差を減らし、その後、特徴融合画像を利用して、第1特徴マップの欠陥検出結果を取得し、さらに、マルチレベルの特徴抽出にそれぞれ対応する第1特徴マップの欠陥検出結果を統合し、より高い精度で検出されるべき画像の欠陥検出結果を取得する。
当業者は、具体的な実施形態の上記方法において、ステップの書き込み順序は、厳密な実行順序で、実装過程の制限となることではなく、各ステップの特定の実行順序は、その機能と可能性に基づくべきであることを理解することができる。
同じ発明構想に基づいて、本発明の実施例では、さらに、欠陥検出方法に対応する欠陥検出装置を提供し、本発明の実施例における装置が問題を解决する原理と本発明の実施例の上記の欠陥検出方法と似てるため、装置の実施は方法の実施を参照でき、繰り返す部分は再び説明しない。
図5を参照すると、本発明の実施例による欠陥検出装置の概略図であり、前記装置は、取得部51、特徴抽出部52、特徴混同部53および検出部54を備え、ここで、
取得部51は、検出されるべき画像およびテンプレート画像を取得するように構成され、
特徴抽出部52は、前記検出されるべき画像に対して特徴抽出を実行して、前記検出されるべき画像の第1特徴マップを取得し、前記テンプレート画像に対して特徴抽出を実行して、前記テンプレート画像に対応する第2特徴マップを取得するように構成され、
特徴混同部53は、前記第1特徴マップおよび前記第2特徴マップに対して特徴混同処理を実行して、特徴融合画像を取得するように構成され、
検出部54は、前記特徴融合画像に基づいて、前記検出されるべき画像の欠陥検出結果を取得するように構成される。
取得部51は、検出されるべき画像およびテンプレート画像を取得するように構成され、
特徴抽出部52は、前記検出されるべき画像に対して特徴抽出を実行して、前記検出されるべき画像の第1特徴マップを取得し、前記テンプレート画像に対して特徴抽出を実行して、前記テンプレート画像に対応する第2特徴マップを取得するように構成され、
特徴混同部53は、前記第1特徴マップおよび前記第2特徴マップに対して特徴混同処理を実行して、特徴融合画像を取得するように構成され、
検出部54は、前記特徴融合画像に基づいて、前記検出されるべき画像の欠陥検出結果を取得するように構成される。
一可能な実施形態において、前記特徴抽出部52は、前記検出されるべき画像に対して特徴抽出を実行して、前記検出されるべき画像の第1特徴マップを取得する場合には、前記検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する第1特徴マップを取得するように構成され、前記特徴抽出部52は、前記テンプレート画像に対して特徴抽出を実行して、前記テンプレート画像に対応する第2特徴マップを取得する場合には、前記テンプレート画像に対してマルチレベルの特徴抽出を実行して、各前記第1特徴マップに対応する第2特徴マップを取得するように構成され、前記特徴混同部53は、前記第1特徴マップおよび前記第2特徴マップに対して特徴混同処理を実行して、特徴融合画像を取得する場合には、各第1特徴マップについて、前記各第1特徴マップおよび前記各第1特徴マップに対応する第2特徴マップに対して特徴混同処理を使用して、前記各第1特徴マップに対応する特徴融合画像を取得するように構成される。
一可能な実施形態において、検出部54は、前記特徴融合画像に基づいて、前記検出されるべき画像の欠陥検出結果を取得する場合に、前記各第1特徴マップに対応する特徴融合画像に基づいて、前記各第1特徴マップの欠陥検出結果を取得し、マルチレベルの特徴抽出にそれぞれ対応する第1特徴マップの欠陥検出結果に基づいて、前記検出されるべき画像の欠陥検出結果を取得するように構成される。
一可能な実施形態において、前記特徴抽出部52は、前記検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する第1特徴マップを取得する場合、前記検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する中間特徴マップを取得し、前記各レベルの特徴抽出が、最後の特徴抽出である場合、最後の特徴抽出に対応する中間特徴マップを、当該最後の特徴抽出に対応する第1特徴マップとして使用し、前記各レベルの特徴抽出が、最後の特徴抽出以外の他のレベルの特徴抽出である場合、前記各レベルの特徴抽出に対応する中間特徴マップを、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第1特徴マップと特徴融合して、前記各レベルの特徴抽出に対応する第1特徴マップを取得するように構成される。
一可能な実施形態において、前記特徴抽出部52は、各レベルの特徴抽出に対応する中間特徴マップを、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第1特徴マップと特徴融合して、前記各レベルの特徴抽出に対応する第1特徴マップを取得する場合、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第1特徴マップをアップサンプリングして、アップサンプリングベクトルを取得し、前記アップサンプリングベクトルを、当該レベルの特徴抽出に対応する中間特徴マップと重ね合わせた後、当該レベルの特徴抽出に対応する第1特徴マップを取得するように構成される。
一可能な実施形態において、前記特徴混同部53は、前記各第1特徴マップおよび前記各第1特徴マップに対応する第2特徴マップに対して特徴混同処理を実行する場合、前記各第1特徴マップおよび前記各第1特徴マップに対応する第2特徴マップに基づいて、前記第1特徴マップに対応する第2特徴マップに対して特徴増強処理を実行して、当該枚の第1特徴マップに対応する第2特徴マップの特徴増強画像を取得し、前記各第1特徴マップおよび前記各第1特徴マップに対応する第2特徴マップに基づいて、前記各第1特徴マップに対応する注意マスク画像を取得し、ここで、前記注意マスク画像のうちの任意の1つの画素点の画素値は、当該第1特徴マップのうち、当該任意の1つの画素点と一致する位置の第1特徴点に欠陥がある異常値を表し、前記特徴増強画像および前記注意マスク画像に基づいて、前記各第1特徴マップに対応する特徴融合画像を取得するように構成される。
一可能な実施形態において、前記特徴混同部53は、前記当該枚の第1特徴マップおよび当該枚の第1特徴マップに対応する第2特徴マップに基づいて、当該枚の第1特徴マップに対応する第2特徴マップに対して特徴増強処理を実行する場合、当該枚の第1特徴マップのうちの当該枚の第1特徴点について、第1特徴マップに対応する第2特徴マップの複数の第2特徴点から、当該第1特徴点に対応する複数の関連特徴点を決定し、ここで、当該第1特徴点に対応する各関連特徴点と、当該第1特徴点位置と一致するターゲット第2特徴点との距離は、プリセットの条件を満たし、当該第1特徴点と各関連特徴点との類似度に基づいて、当該第1特徴点位置と一致するターゲット第2特徴点に対して特徴増強処理を実行するように構成される。
一可能な実施形態において、前記特徴混同部53は、前記当該第1特徴点と各関連特徴点との類似度に基づいて、当該第1特徴点位置と一致するターゲット第2特徴点に対して特徴増強処理を実行する場合、当該第1特徴点と各関連特徴点との類似度および各関連特徴点の特徴値に基づいて、当該第1特徴点位置と一致するターゲット第2特徴点に対して特徴増強処理を実行するように構成される。
一可能な実施形態において、前記特徴混同部53は、前記当該第1特徴点と各関連特徴点との類似度および各関連特徴点の特徴値に基づいて、当該第1特徴点位置と一致するターゲット第2特徴点に対して特徴増強処理を実行する場合、当該第1特徴点と各関連特徴点との類似度に基づいて、当該第1特徴点に対応する複数の関連特徴点にそれぞれ対応する特徴値に対して加重加算を実行して、第1合計値を取得し、複数の関連特徴点にそれぞれ対応する類似度を加算して、第2合計値を取得し、前記第1合計値と前記第2合計値の比率を、前記ターゲット第2特徴点に対して特徴増強処理を実行した後の特徴値として使用するように構成される。
一可能な実施形態において、前記特徴混同部53は、前記当該枚の第1特徴マップおよび当該枚の第1特徴マップに対応する第2特徴マップに基づいて、当該枚の第1特徴マップに対応する注意マスク画像を取得場合、当該枚の第1特徴マップのうちの各第1特徴点について、当該枚の第1特徴マップに対応する第2特徴マップの複数の第2特徴点から、当該第1特徴点に対応する複数の関連特徴点を決定し、ここで、当該第1特徴点に対応する各関連特徴点と、当該第1特徴点位置と一致するターゲット第2特徴点との距離は、プリセットの条件を満たし、当該第1特徴点と各関連特徴点との類似度に基づいて、当該第1特徴点の異常値を決定し、前記第1特徴マップのうち、各第1特徴点に対応する異常値に基づいて、前記注意マスク画像を取得するように構成される。
一可能な実施形態において、前記特徴混同部53は、前記当該第1特徴点と各関連特徴点との類似度に基づいて、当該第1特徴点の異常値を決定する場合、複数の関連特徴点のそれぞれと、当該第1特徴点との類似度の最大類似度を決定し、前記最大類似度に基づいて、当該第1特徴点の異常値を決定するように構成される。
一可能な実施形態において、前記特徴混同部53は、下記の方式を採用して、第1特徴点と、当該第1特徴点に対応する任意の1つの関連特徴点との類似度を決定するように構成される。前記第1特徴マップにおける前記第1特徴点の位置およびプリセットの距離閾値に基づいて、第1特徴サブマップを取得し、前記第2特徴マップにおける、当該第1特徴点に対応する任意の1つの関連特徴点の位置および前記距離閾値に基づいて、第2特徴サブマップを取得し、前記第1特徴サブマップおよび前記第2特徴サブマップに基づいて、前記第1特徴点と、当該第1特徴点に対応する当該任意の1つの関連特徴点との類似度を決定する。
一可能な実施形態において、前記特徴混同部53は、前記特徴増強画像および前記注意マスク画像に基づいて、当該枚の第1特徴マップに対応する特徴融合画像を取得する場合、前記特徴増強画像および当該枚の第1特徴マップに対してマージ処理を実行して、当該枚の第1特徴マップに対応するマージ特徴マップを取得し、前記注意マスク画像および前記マージ特徴マップに基づいて、前記特徴融合画像を取得するように構成される。
本発明の実施例および他の実施例において、「部分」は、部分回路、部分プロセッサ、部分プログラムまたはソフトウェア等であってもよく、もちろん、ユニットであってもよく、モジュールまたは非モジュール化であってもよい。
装置内の各モジュールの処理プロセスおよび各モジュール間の対話プロセスの説明は、上記の方法実施例における関連する説明を参照でき、ここでは、詳細に説明しない。
本発明の実施例は、さらに、コンピュータ機器10を提供する。図6に示されたように、本発明の実施例によるコンピュータ機器10の例示的な構造図である。コンピュータ機器10は、
プロセッサ11とメモリ12とを備え、前記メモリ12は、前記プロセッサ11によって実行可能な機械可読命令を記憶し、前記プロセッサ11は、コンピュータ機器が実行するときに、前記機械可読命令を実行して、
検出されるべき画像およびテンプレート画像を取得することと、
前記検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する第1特徴マップを取得し、前記テンプレート画像に対してマルチレベルの特徴抽出を実行して、各前記第1特徴マップに対応する第2特徴マップを取得することと、
各第1特徴マップについて、当該枚の第1特徴マップおよび当該枚の第1特徴マップに対応する第2特徴マップに対して特徴混同処理を実行して、当該枚の第1特徴マップに対応する特徴融合画像を取得することと、
前記特徴融合画像に基づいて、当該枚の第1特徴マップの欠陥検出結果を取得することと、
マルチレベルの特徴抽出にそれぞれ対応する第1特徴マップの欠陥検出結果に基づいて、前記検出されるべき画像の欠陥検出結果を取得することと、を実施する。
プロセッサ11とメモリ12とを備え、前記メモリ12は、前記プロセッサ11によって実行可能な機械可読命令を記憶し、前記プロセッサ11は、コンピュータ機器が実行するときに、前記機械可読命令を実行して、
検出されるべき画像およびテンプレート画像を取得することと、
前記検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する第1特徴マップを取得し、前記テンプレート画像に対してマルチレベルの特徴抽出を実行して、各前記第1特徴マップに対応する第2特徴マップを取得することと、
各第1特徴マップについて、当該枚の第1特徴マップおよび当該枚の第1特徴マップに対応する第2特徴マップに対して特徴混同処理を実行して、当該枚の第1特徴マップに対応する特徴融合画像を取得することと、
前記特徴融合画像に基づいて、当該枚の第1特徴マップの欠陥検出結果を取得することと、
マルチレベルの特徴抽出にそれぞれ対応する第1特徴マップの欠陥検出結果に基づいて、前記検出されるべき画像の欠陥検出結果を取得することと、を実施する。
上記の命令の具体的な実行プロセスは、本発明の実施例に記載の欠陥検出方法のステップを参照でき、ここでは繰り返して説明しない。
本発明の実施例は、さらに、コンピュータプログラムを記憶するコンピュータ可読記憶媒体を提供し、当該コンピュータプログラムは、プロセッサによって実行されるとき、プロセッサに上記の方法実施例に記載の欠陥検出方法のステップを実行させる。ここで、当該記憶媒体は、揮発性または不揮発性のコンピュータ可読記憶媒体であり得る。
本発明の実施例による欠陥検出方法のコンピュータプログラム製品は、プログラムコードを記憶するコンピュータ可読記憶媒体を含み、前記プログラムコードに含まれる命令は、コンピュータに上記の方法実施例に記載の欠陥検出方法のステップを実行させ、具体的には、上記の方法実施例を参照でき、ここでは繰り返して説明しない。
本発明の実施例は、さらに、プロセッサによって実行されるとき、プロセッサに上記の実施例の任意の1つの方法を実行させるコンピュータプログラムを提供する。当該コンピュータプログラム製品は、具体的に、ハードウェア、ソフトウェアまたはそれらを組み合わせる方式を介して実現されることができる。1つの例示的な実施例において、前記コンピュータプログラム製品は、具体的には、コンピュータ記憶媒体として具現され、別の例示的な実施例において、コンピュータプログラム製品は、具体的には、ソフトウェア開発キット(SDK:Software Development Kit)などのソフトウェア製品として具現される。
当業者なら理解できるが、説明の便宜および簡潔のために、上記に説明されるシステムおよび装置の具体的な作業プロセスは、上記の方法の実施例における対応するプロセスを参照することができ、ここでは繰り返して説明しない。本発明によるいくつかの実施例において、開示されたシステム、装置および方法は、他の方法で実現できることを理解されたい。上記で説明された装置実施例は、例示的なものに過ぎず、例えば、前記ユニットの分離は、論理機能の分離に過ぎず、実際の実現ときには別の分離方法があり、例えば、複数のユニットまたはコンポーネントを別のシステムに統合または集積したり、または一部の特徴を無視したり、または実行しないことができる。なお、表示または議論される相互結合、または直接結合、または通信接続は、いくつかの通信インターフェースを使用して実現することができ、装置またはユニット間の間接結合または通信接続は、電気的または機械的な形であってもよく、他の形であってもよい。
前記分離部品として説明されるユニットは、物理的に分離されてもされなくてもよく、ユニットとして表示される部品は、物理的ユニットであってもなくてもよい。つまり、1箇所に配置されてもよく、複数のネットワークユニットに分散されてもよい。実際のニーズに従って、その中の一部またはすべてのユニットを選択して、本実施例の技術案の目的を実現することができる。
さらに、本発明の各実施例における各機能ユニットは、1つの処理ユニットに統合されてもよく、または各ユニットが、物理的に別々に存在してもよく、または2つまたは2つ以上のユニットが1つのユニットに統合されてもよい。
前記機能が、ソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用される場合、プロセッサ実行可能な不揮発のコンピュータ可読記憶媒体に記憶されることができる。このような理解に基づいて、本発明の技術的解決策は、本質的にまたは先行技術に対して寄与する部分または前記技術的解決策の一部は、ソフトウェア製品の形で具現されることができ、前記コンピュータソフトウェア製品は、1つの記憶媒体に記憶され、1台のコンピュータ機器(パーソナルコンピュータ、サーバ、またはネットワーク機器等であり得る)に本発明の各実施例に記載の方法のすべてまたは一部のステップを実行させるためのいくつかの命令を含む。前述した記憶媒体は、Uディスク、モバイルハードディスク、読み取り専用メモリ(ROM:Read-Only Memory)、ランダムアクセスメモリ(RAM:Random Access Memory)、磁気ディスクまたは光ディスク等のプログラムコードを記憶することができる様々な媒体を含む。
最後に、上記の実施例は、本発明の技術的解決策を説明するための本発明の具体的な実施形態に過ぎず、それに対する限制ではなく、本発明の保護範囲はこれに限定されないことに留意されたい。上記の実施例を参照して本発明に対して詳細に説明したが、当業者は、本発明で開示された技術範囲内で任意の本技術分野を精通している技術人は、依然として、上記の実施例で記載された技術的解決策を修正し、または変更を容易に想到し、またはそのうちの部分的な技術特徴に対して均等に置き換えることができ、これらの修正、変化または置き換えは、対応する技術的解決策の本質を本発明の実施例の技術的解決策の思想および範囲を逸脱させなく、すべて、本発明の保護範囲に含まれるべきであることを理解するはずである。したがって、本発明の保護範囲は、特許請求の保護範囲を基準とするべきである。
Claims (17)
- 欠陥検出方法であって、
検出されるべき画像およびテンプレート画像を取得することと、
前記検出されるべき画像に対して特徴抽出を実行して、前記検出されるべき画像の第1特徴マップを取得し、前記テンプレート画像に対して特徴抽出を実行して、前記テンプレート画像に対応する第2特徴マップを取得することと、
前記第1特徴マップおよび前記第2特徴マップに対して特徴混同処理を実行して、特徴融合画像を取得することと、
前記特徴融合画像に基づいて、前記検出されるべき画像の欠陥検出結果を取得することと、を含む、欠陥検出方法。 - 前記検出されるべき画像に対して特徴抽出を実行して、前記検出されるべき画像の第1特徴マップを取得することは、
前記検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する第1特徴マップを取得することを含み、
前記テンプレート画像に対して特徴抽出を実行して、前記テンプレート画像に対応する第2特徴マップを取得することは、
前記テンプレート画像に対してマルチレベルの特徴抽出を実行して、各前記第1特徴マップに対応する第2特徴マップを取得することを含み、
前記第1特徴マップおよび前記第2特徴マップに対して特徴混同処理を実行して、特徴融合画像を取得することは、
各第1特徴マップについて、前記各第1特徴マップおよび前記各第1特徴マップに対応する第2特徴マップに対して特徴混同処理を使用して、前記各第1特徴マップに対応する特徴融合画像を取得することを含む、
請求項1に記載の欠陥検出方法。 - 前記特徴融合画像に基づいて、前記検出されるべき画像の欠陥検出結果を取得することは、
前記各第1特徴マップに対応する特徴融合画像に基づいて、前記各第1特徴マップの欠陥検出結果を取得することと、
マルチレベルの特徴抽出にそれぞれ対応する第1特徴マップの欠陥検出結果に基づいて、前記検出されるべき画像の欠陥検出結果を取得することと、を含む、
請求項2に記載の欠陥検出方法。 - 前記検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する第1特徴マップを取得することは、
前記検出されるべき画像に対してマルチレベルの特徴抽出を実行して、各レベルの特徴抽出に対応する中間特徴マップを取得することと、
前記各レベルの特徴抽出が、最後の特徴抽出である場合、最後の特徴抽出に対応する中間特徴マップを、当該最後の特徴抽出に対応する第1特徴マップとして使用することと、
前記各レベルの特徴抽出が、最後の特徴抽出以外の他のレベルの特徴抽出である場合、前記各レベルの特徴抽出に対応する中間特徴マップを、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第1特徴マップと特徴融合して、前記各レベルの特徴抽出に対応する第1特徴マップを取得することと、を含む、
請求項2または3に記載の欠陥検出方法。 - 前記各レベルの特徴抽出に対応する中間特徴マップを、当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第1特徴マップと特徴融合して、前記各レベルの特徴抽出に対応する第1特徴マップを取得することは、
当該レベルの特徴抽出の次のレベルの特徴抽出に対応する第1特徴マップに対してアップサンプリングを実行して、アップサンプリングベクトルを取得することと、
前記アップサンプリングベクトルを当該レベルの特徴抽出に対応する中間特徴マップと重ね合わせた後、当該レベルの特徴抽出に対応する第1特徴マップを取得することと、を含む、
請求項4に記載の欠陥検出方法。 - 前記各第1特徴マップおよび前記各第1特徴マップに対応する第2特徴マップに対して特徴混同処理を実行することは、
前記各第1特徴マップおよび前記各第1特徴マップに対応する第2特徴マップに基づいて、前記第1特徴マップに対応する第2特徴マップに対して特徴増強処理を実行して、当該枚の第1特徴マップに対応する第2特徴マップの特徴増強画像を取得することと、
前記各第1特徴マップおよび前記各第1特徴マップに対応する第2特徴マップに基づいて、前記各第1特徴マップに対応する注意マスク画像を取得することであって、前記注意マスク画像のうちの任意の1つの画素点の画素値は、当該第1特徴マップのうち、当該任意の1つの画素点と一致する位置の第1特徴点に欠陥がある異常値を表す、ことと、
前記特徴増強画像および前記注意マスク画像に基づいて、前記各第1特徴マップに対応する特徴融合画像を取得することと、を含む、
請求項2ないし5のいずれか一項に記載の欠陥検出方法。 - 前記各第1特徴マップおよび前記各第1特徴マップに対応する第2特徴マップに基づいて、前記第1特徴マップに対応する第2特徴マップに対して特徴増強処理を実行することは、
当該枚の第1特徴マップのうちの各第1特徴点について、当該枚の第1特徴マップに対応する第2特徴マップの複数の第2特徴点から、当該第1特徴点に対応する複数の関連特徴点を決定することであって、当該第1特徴点に対応する各関連特徴点と、当該第1特徴点位置と一致するターゲット第2特徴点との距離は、プリセットの条件を満たす、ことと、
当該第1特徴点と各関連特徴点との類似度に基づいて、当該第1特徴点位置と一致するターゲット第2特徴点に対して特徴増強処理を実行することと、を含む、
請求項6に記載の欠陥検出方法。 - 前記当該第1特徴点と各関連特徴点との類似度に基づいて、当該第1特徴点位置と一致するターゲット第2特徴点に対して特徴増強処理を実行することは、
当該第1特徴点と各関連特徴点との類似度および各関連特徴点の特徴値に基づいて、当該第1特徴点位置と一致するターゲット第2特徴点に対して特徴増強処理を実行することを含む、
請求項7に記載の欠陥検出方法。 - 前記当該第1特徴点と各関連特徴点との類似度および各関連特徴点の特徴値に基づいて、当該第1特徴点位置と一致するターゲット第2特徴点に対して特徴増強処理を実行することは、
当該第1特徴点と各関連特徴点との類似度に基づいて、当該第1特徴点に対応する複数の関連特徴点にそれぞれ対応する特徴値に対して加重加算を実行して、第1合計値を取得することと、
複数の関連特徴点にそれぞれ対応する類似度を加算して、第2合計値を取得することと、
前記第1合計値と前記第2合計値の比率を、前記ターゲット第2特徴点に対して特徴増強処理を実行した後の特徴値として使用することと、を含む、
請求項8に記載の欠陥検出方法。 - 前記当該枚の第1特徴マップおよび当該枚の第1特徴マップに対応する第2特徴マップに基づいて、当該枚の第1特徴マップに対応する注意マスク画像を取得することは、
当該枚の第1特徴マップのうちの各第1特徴点について、当該枚の第1特徴マップに対応する第2特徴マップの複数の第2特徴点から、当該第1特徴点に対応する複数の関連特徴点を決定することであって、当該第1特徴点に対応する各関連特徴点と、当該第1特徴点位置と一致するターゲット第2特徴点との距離は、プリセットの条件を満たす、ことと、
当該第1特徴点と各関連特徴点との類似度に基づいて、当該第1特徴点の異常値を決定することと、
前記第1特徴マップのうち、各第1特徴点に対応する異常値に基づいて、前記注意マスク画像を取得することと、を含む、
請求項6ないし9のいずれか一項に記載の欠陥検出方法。 - 前記当該第1特徴点と各関連特徴点との類似度に基づいて、当該第1特徴点の異常値を決定することは、
複数の関連特徴点のそれぞれと当該第1特徴点との類似度の最大類似度を決定することと、
前記最大類似度に基づいて、当該第1特徴点の異常値を決定することと、を含む、
請求項10に記載の欠陥検出方法。 - 前記第1特徴点と、当該第1特徴点に対応する任意の1つの関連特徴点との類似度を決定することは、
前記第1特徴マップにおける前記第1特徴点の位置およびプリセットの距離閾値に基づいて、第1特徴サブマップを取得することと、
前記第2特徴マップにおける、当該第1特徴点に対応する任意の1つの関連特徴点の位置および前記距離閾値に基づいて、第2特徴サブマップを取得することと、
前記第1特徴サブマップおよび前記第2特徴サブマップに基づいて、前記第1特徴点と、当該第1特徴点に対応する当該任意の1つの関連特徴点との類似度を決定することと、を含む
請求項7ないし11のいずれか一項に記載の欠陥検出方法。 - 前記特徴増強画像および前記注意マスク画像に基づいて、前記各第1特徴マップに対応する特徴融合画像を取得することは、
前記特徴増強画像および当該枚の第1特徴マップに対してマージ処理を実行して、当該枚の第1特徴マップに対応するマージ特徴マップを取得することと、
前記注意マスク画像および前記マージ特徴マップに基づいて、前記特徴融合画像を取得することと、を含む、
請求項6ないし12のいずれか一項に記載の欠陥検出方法。 - 欠陥検出装置であって、
検出されるべき画像およびテンプレート画像を取得するように構成される取得部と、
前記検出されるべき画像に対して特徴抽出を実行して、前記検出されるべき画像の第1特徴マップを取得し、前記テンプレート画像に対して特徴抽出を実行して、前記テンプレート画像に対応する第2特徴マップを取得するように構成される特徴抽出部と、
前記第1特徴マップおよび前記第2特徴マップに対して特徴混同処理を実行して、特徴融合画像を取得するように構成される特徴混同部と、
前記特徴融合画像に基づいて、前記検出されるべき画像の欠陥検出結果を取得するように構成される検出部と、を備える、欠陥検出装置。 - 互いに接続されるプロセッサとメモリとを備えるコンピュータ機器であって、
前記メモリは、前記プロセッサによって実行可能な機械可読命令を記憶し、
前記プロセッサは、コンピュータ機器が実行するとき、前記機械可読命令を実行して、請求項1ないし13のいずれか一項に記載の欠陥検出方法を実施する、コンピュータ機器。 - プロセッサによって実行されるとき、前記プロセッサに請求項1ないし13のいずれか一項に記載の欠陥検出方法を実行させるためのコンピュータプログラムを記憶した、コンピュータ可読記憶媒体。
- コンピュータ機器で実行されるとき、前記コンピュータ機器内のプロセッサに、請求項1ないし13のいずれか一項に記載の欠陥検出方法を実行させるためのコンピュータ可読コードを含む、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011191743.3 | 2020-10-30 | ||
CN202011191743.3A CN112288723B (zh) | 2020-10-30 | 2020-10-30 | 缺陷检测方法、装置、计算机设备及存储介质 |
PCT/CN2021/089654 WO2022088628A1 (zh) | 2020-10-30 | 2021-04-25 | 缺陷检测方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023503751A true JP2023503751A (ja) | 2023-02-01 |
Family
ID=74352960
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021566097A Withdrawn JP2023503751A (ja) | 2020-10-30 | 2021-04-25 | 欠陥検出方法、装置、コンピュータ機器および記憶媒体 |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP2023503751A (ja) |
KR (1) | KR20220058842A (ja) |
CN (1) | CN112288723B (ja) |
WO (1) | WO2022088628A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112288723B (zh) * | 2020-10-30 | 2023-05-23 | 北京市商汤科技开发有限公司 | 缺陷检测方法、装置、计算机设备及存储介质 |
CN112967264A (zh) * | 2021-03-19 | 2021-06-15 | 深圳市商汤科技有限公司 | 缺陷检测方法及装置、电子设备和存储介质 |
CN112801047B (zh) * | 2021-03-19 | 2021-08-17 | 腾讯科技(深圳)有限公司 | 缺陷检测方法、装置、电子设备及可读存储介质 |
CN113406092B (zh) * | 2021-08-18 | 2022-01-11 | 阿里巴巴(中国)有限公司 | 数字化生产检测系统、方法、装置、设备及存储介质 |
CN113744268B (zh) * | 2021-11-04 | 2022-04-22 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种裂纹检测方法、电子设备及可读存储介质 |
CN115496976B (zh) * | 2022-08-29 | 2023-08-11 | 锋睿领创(珠海)科技有限公司 | 多源异构数据融合的视觉处理方法、装置、设备及介质 |
CN115564775B (zh) * | 2022-12-05 | 2023-04-14 | 北京矩视智能科技有限公司 | 基于轻量级注意力机制的缺陷检测方法、装置及存储介质 |
CN115965856B (zh) * | 2023-02-23 | 2023-05-30 | 深圳思谋信息科技有限公司 | 图像检测模型构建方法、装置、计算机设备及存储介质 |
CN116071356B (zh) * | 2023-03-06 | 2023-06-16 | 中国市政工程西南设计研究总院有限公司 | 用于设计企业的设计图缺陷智慧检查平台及检查方法 |
CN116152226A (zh) * | 2023-04-04 | 2023-05-23 | 东莞职业技术学院 | 基于可融合的特征金字塔的换向器内侧图像缺陷检测方法 |
CN116883417B (zh) * | 2023-09-08 | 2023-12-05 | 武汉东方骏驰精密制造有限公司 | 基于机器视觉的工件质检方法及装置 |
CN117495884B (zh) * | 2024-01-02 | 2024-03-22 | 湖北工业大学 | 一种钢铁表面缺陷分割方法、装置、电子设备及存储介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101872475B (zh) * | 2009-04-22 | 2012-03-28 | 中国科学院自动化研究所 | 一种扫描文档图像自动配准方法 |
CN103456009B (zh) * | 2013-08-28 | 2016-04-20 | 深圳市中瀛鑫科技股份有限公司 | 目标检测方法与装置、监控系统 |
US10062156B2 (en) * | 2016-02-25 | 2018-08-28 | Kla-Tencor Corporation | Method and system for detecting defects on a substrate |
CN107464230B (zh) * | 2017-08-23 | 2020-05-08 | 京东方科技集团股份有限公司 | 图像处理方法及装置 |
CN107590453B (zh) * | 2017-09-04 | 2019-01-11 | 腾讯科技(深圳)有限公司 | 增强现实场景的处理方法、装置及设备、计算机存储介质 |
CN109118514B (zh) * | 2018-06-11 | 2022-07-15 | 西安电子科技大学 | 一种目标跟踪方法 |
CN110807362B (zh) * | 2019-09-23 | 2024-08-20 | 腾讯科技(深圳)有限公司 | 一种图像检测方法、装置和计算机可读存储介质 |
CN110688951B (zh) * | 2019-09-26 | 2022-05-31 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN111179253B (zh) * | 2019-12-30 | 2023-11-24 | 歌尔股份有限公司 | 一种产品缺陷检测方法、装置与系统 |
CN111160477B (zh) * | 2019-12-31 | 2024-03-19 | 哈尔滨智兀科技有限公司 | 一种基于特征点检测的图像模板匹配方法 |
CN111429403B (zh) * | 2020-02-26 | 2022-11-08 | 北京航空航天大学杭州创新研究院 | 一种基于机器视觉的汽车齿轮成品缺陷检测方法 |
CN111461260B (zh) * | 2020-04-29 | 2023-04-18 | 上海东普信息科技有限公司 | 基于特征融合的目标检测方法、装置、设备及存储介质 |
CN111814905A (zh) * | 2020-07-23 | 2020-10-23 | 上海眼控科技股份有限公司 | 目标检测方法、装置、计算机设备和存储介质 |
CN112288723B (zh) * | 2020-10-30 | 2023-05-23 | 北京市商汤科技开发有限公司 | 缺陷检测方法、装置、计算机设备及存储介质 |
-
2020
- 2020-10-30 CN CN202011191743.3A patent/CN112288723B/zh active Active
-
2021
- 2021-04-25 WO PCT/CN2021/089654 patent/WO2022088628A1/zh active Application Filing
- 2021-04-25 KR KR1020217037651A patent/KR20220058842A/ko unknown
- 2021-04-25 JP JP2021566097A patent/JP2023503751A/ja not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
CN112288723A (zh) | 2021-01-29 |
WO2022088628A1 (zh) | 2022-05-05 |
CN112288723B (zh) | 2023-05-23 |
KR20220058842A (ko) | 2022-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023503751A (ja) | 欠陥検出方法、装置、コンピュータ機器および記憶媒体 | |
US11126862B2 (en) | Dense crowd counting method and apparatus | |
Elangovan et al. | Glaucoma assessment from color fundus images using convolutional neural network | |
CN110047069B (zh) | 一种图像检测装置 | |
US20180181796A1 (en) | Image processing method and apparatus | |
Ravi et al. | Attention deep learning‐based large‐scale learning classifier for Cassava leaf disease classification | |
JP6844563B2 (ja) | 検査装置、画像識別装置、識別装置、検査方法、及び検査プログラム | |
Alharbi et al. | Detection of peripheral malarial parasites in blood smears using deep learning models | |
US20210096530A1 (en) | System and method for identifying manufacturing defects | |
CN111914654B (zh) | 一种文本版面分析方法、装置、设备和介质 | |
Ganesh et al. | A novel context aware joint segmentation and classification framework for glaucoma detection | |
CN113837151B (zh) | 表格图像处理方法、装置、计算机设备及可读存储介质 | |
CN114419029B (zh) | 表面缺陷检测模型的训练方法、表面缺陷检测方法及装置 | |
US20190370940A1 (en) | Method and apparatus with feature data generation | |
CN111325224A (zh) | 计算机可读存储介质、输入数据检查方法以及计算装置 | |
CN111753702A (zh) | 目标检测方法、装置及设备 | |
CN114004289A (zh) | 一种车辆损伤识别模型建立方法、损伤识别方法及装置 | |
CN112597997A (zh) | 感兴趣区域确定方法、图像内容识别方法及装置 | |
Tiwari et al. | A blind blur detection scheme using statistical features of phase congruency and gradient magnitude | |
CN113012152B (zh) | 一种图像篡改链检测方法、装置及电子设备 | |
Choi et al. | Simultaneous classification and out-of-distribution detection for wafer bin maps | |
US20210004954A1 (en) | Neural network-type image processing device, appearance inspection apparatus and appearance inspection method | |
Gunes et al. | Detecting Direction of Pepper Stem by Using CUDA‐Based Accelerated Hybrid Intuitionistic Fuzzy Edge Detection and ANN | |
WO2021098801A1 (en) | Data cleaning device, data cleaning method and face verification method | |
CN116912203B (zh) | 基于多智能模型结合的异常眼底图像低耗检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211105 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20230214 |