JP2023038144A - 複数の機械学習プログラムを使用して画像の異常を検出するための方法およびシステム - Google Patents
複数の機械学習プログラムを使用して画像の異常を検出するための方法およびシステム Download PDFInfo
- Publication number
- JP2023038144A JP2023038144A JP2022002275A JP2022002275A JP2023038144A JP 2023038144 A JP2023038144 A JP 2023038144A JP 2022002275 A JP2022002275 A JP 2022002275A JP 2022002275 A JP2022002275 A JP 2022002275A JP 2023038144 A JP2023038144 A JP 2023038144A
- Authority
- JP
- Japan
- Prior art keywords
- training
- program
- image
- search
- anomaly
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 159
- 230000005856 abnormality Effects 0.000 title abstract 4
- 238000010801 machine learning Methods 0.000 title description 14
- 238000012549 training Methods 0.000 claims abstract description 276
- 238000013528 artificial neural network Methods 0.000 claims description 50
- 230000009466 transformation Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 230000014509 gene expression Effects 0.000 claims description 8
- 238000000844 transformation Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 50
- 210000002569 neuron Anatomy 0.000 description 49
- 238000001514 detection method Methods 0.000 description 45
- 230000010339 dilation Effects 0.000 description 20
- 238000004590 computer program Methods 0.000 description 12
- 230000007547 defect Effects 0.000 description 12
- 238000013459 approach Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 9
- 230000002159 abnormal effect Effects 0.000 description 8
- 230000003416 augmentation Effects 0.000 description 8
- 230000007704 transition Effects 0.000 description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 7
- 238000009826 distribution Methods 0.000 description 7
- 210000004027 cell Anatomy 0.000 description 6
- 238000003909 pattern recognition Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000011109 contamination Methods 0.000 description 5
- 230000001788 irregular Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 230000004069 differentiation Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012886 linear function Methods 0.000 description 4
- 230000002547 anomalous effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000000701 chemical imaging Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19127—Extracting features by transforming the feature space, e.g. multidimensional scaling; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、一般に、マシンビジョンシステムに関し、より詳細には、撮像センサによって観察されるシーンの異常の検出に関する。
画像データにおける異常の検出および位置特定は、多くのマシンビジョンアプリケーションにおいて重要なタスクである。一般的な手法は、画像内の異常のラベルまたは注釈の形態で提供される、人間の監督によって画像上で機械学習を訓練することによって、モデルと呼ばれる予測プログラムを作成することである。しかしながら、異常画像は、モデル作成中に利用できないことが多く、実際に発生し得るすべての可能な異常タイプを決定することは困難である。したがって、異常が注釈付けされるかまたは訓練画像に存在することを必要としない異常検出方法が望ましい。例えば、製造業界では、光学検査タスクは、異常検出モデルを訓練するために使用することができる欠陥サンプルの網羅的なセットがないことが多い。これは、現代の製造機械のエラー率が低いこと、および製造中に発生する可能性のある欠陥の多様性が高いことに起因する。本明細書は、画像内の異常を検出するための方法を記載している。前記方法は、モデル作成のために異常に注釈を付けたり訓練画像に存在させたりする必要がない。
本発明は、特許請求の範囲において特定される。
好ましい実施形態によれば、ステップ(d5)で計算された前記異常スコアは、少なくとも1つの第2の異常検出プログラムによって計算された1つまたは複数の第2の異常スコアと組み合わされ、異常の存在は、ステップ(d5)で計算された前記異常スコアの値の一部またはすべてと前記第2の異常スコアの値の一部またはすべてとに基づいて決定される。
本発明は、添付の図面と併せて、以下の詳細な説明からより完全に理解されるであろう。
表示および定義
以下のデータはすべて、電子形式、好ましくはデジタル形式で利用可能であると想定される。記載された方法およびアルゴリズムは、電子形態であると考えられ、1つまたは複数の場所の1つまたは複数のコンピュータ上のコンピュータプログラムとして実装される。
本明細書では、画像チャネルは、1つまたは複数の値を含む2次元グリッドである。前記2次元グリッドでは、前記値は、1つまたは複数の行および1つまたは複数の列に配置される。前記2つの寸法のうちの第1の寸法は、前記グリッドの高さ、すなわち行の数である。前記2つの寸法のうちの第2の寸法は、前記グリッドの幅、すなわち列の数である。前記2次元グリッド内の各セルは、最大で1つの値を含む。画素位置は、前記2次元グリッド内の行-列座標を指す。画像は、1つまたは複数の画像チャネルを含む。画像の画像チャネルの前記2次元グリッドの値は、前記画像の値と呼ばれる。好ましい実施形態では、画像のすべての画像チャネルは、同じ幅および同じ高さを有する。代替的な実施形態では、画像の少なくとも2つの画像チャネルは、それらの幅またはそれらの高さ、またはその両方に関して異なる。画像のすべての画像チャネルが同じ幅および同じ高さを有する場合、前記幅および前記高さは、それぞれ画像の幅および高さと呼ばれる。画像のすべての画像チャネルが同じ幅および同じ高さを有する場合、前記画像の各画像チャネルは、前記画像の画素位置と呼ばれる画素位置の同じ集合を有する。好ましい実施形態では、すべての画像は、同じ高さ、同じ幅、および同じ数のチャネル、例えば、RGB画像の場合は3つのチャネル、またはグレースケール画像の場合は1つのチャネルを有する。代替的な実施形態では、少なくとも2つの画像は、それらの幅、それらの高さ、およびそれらのチャネルの数の3つの属性のうちの少なくとも1つに関して異なる。好ましい実施形態では、前記2次元グリッドの各セルは、正確に1つの値を含む。代替的な実施形態では、少なくとも1つの画像は、少なくとも1つのセルは値を含まない少なくとも1つのチャネルを有する。簡潔さおよび理解性のために、画像はまた、2D画素グリッド以外の画像データ構造、例えば3Dボクセルグリッドまたは3D点群を指す。
本方法は、訓練段階と探索段階の2つの段階を含む。本方法の訓練段階では、エンコーダプログラム、デコーダプログラム、および回帰プログラムが訓練される。探索段階において、前記プログラムは、1つまたは複数の探索反復を実行することによって1つまたは複数の探索画像における異常を検出するために使用される。
このセクションでは、パラメータ初期化ステップ101について説明する。図1に示す異常検出プロセス100では、前記パラメータ初期化ステップ101はステップ101と呼ばれる。第1の訓練反復200の前に、前記エンコーダプログラム、デコーダプログラム、および回帰プログラムのパラメータは初期値に設定される。
このセクションでは、訓練画像取得ステップ102について説明する。図1に示す異常検出プロセス100では、前記訓練画像取得ステップはステップ102と呼ばれる。第1の訓練反復200の前に、1つまたは複数の訓練画像が取得される。
以下のセクションでは、訓練反復200を実行するためのプロセスについて説明する。図1に示す異常検出プロセス100において、訓練反復はステップ200と呼ばれる。前記パラメータが初期化され(ステップ101)、1つまたは複数の訓練画像が取得された(ステップ102)後、第1の訓練反復200が開始する。各訓練反復200の後には、別の訓練反復200、探索反復400、あるいは1つまたは複数の追加の訓練画像102の取得のいずれかが続く。
このセクションでは、訓練画像拡張ステップ202について説明する。図2に示す訓練反復プロセス200において、前記訓練画像拡張ステップはステップ202と呼ばれる。ステップ201で選択された前記訓練画像の各々は、必要に応じて、訓練反復プロセス200の後続のステップで使用される前に拡張されてもよい。
以下のセクションでは、訓練反復200において性能スコア300を計算するためのプロセスについて説明する。図2に示す訓練反復プロセス200では、性能スコアの計算はステップ300と呼ばれる。1つまたは複数の訓練画像が選択され(ステップ201)、必要に応じて拡張された(ステップ202)後、選択された訓練画像ごとに1つまたは複数の性能スコアが計算される。場合によって拡張された選択された訓練画像に対する性能スコア300の前記計算は、前記選択された訓練画像自体のみを必要とし、他の選択された訓練画像に依存しない。したがって、性能スコア300の前記計算は、別の選択された訓練画像の拡張202または性能スコア計算300と同時に実行されてもよい。
このセクションは、復号性能基準と呼ばれる性能基準を使用して、前記取得されたターゲット表現303を前記訓練復号出力307と比較するステップ308を説明する。前記復号性能基準によって計算された性能スコアは、復号性能スコア309と呼ばれる。図3に示す性能スコア計算プロセス300では、前記復号性能基準計算はステップ308と呼ばれ、前記復号性能スコアは309で示される。前記復号性能基準308の性能入力値は、前記訓練復号出力値307の一部またはすべてと、前記取得されたターゲット表現値303の一部またはすべてとを含む。
このセクションでは、回帰性能基準と呼ばれる性能基準を使用して、前記訓練回帰出力311を前記訓練復号出力307と比較するステップ312を説明する。前記回帰性能基準によって計算された性能スコアは、回帰性能スコア313と呼ばれる。図3に示す性能スコア計算プロセス300では、前記回帰性能基準計算はステップ312と呼ばれ、前記回帰性能スコアは313で示される。前記回帰性能基準312の性能入力値は、前記訓練復号出力値307の一部またはすべてと、前記訓練回帰出力値311の一部またはすべてとを含む。
ここでは、パラメータ調整ステップ203について説明する。図2に示す訓練反復プロセス200において、前記パラメータ調整ステップはステップ203と呼ばれる。パラメータ調整ステップ203において、前記エンコーダプログラム、前記デコーダプログラム、および前記回帰プログラムの前記パラメータの一部またはすべては、前記選択された訓練画像301について計算された前記性能スコア309および313の一部またはすべてを改善するように調整される。
本方法の探索段階では、訓練段階で訓練された前記エンコーダプログラム、前記デコーダプログラム、および前記回帰プログラムは、1つまたは複数の探索反復400を実行することによって、1つまたは複数の探索画像401内の異常を探索するために使用される。図1に示す異常検出プロセス100において、探索反復はステップ400と呼ばれる。図4は、所与の探索画像401の1つまたは複数の異常スコアを計算するための例示的な探索反復プロセス400のフロー図である。複数の探索反復プロセス400は、1つまたは複数の探索画像内の異常を探索するために、1つまたは複数の場所に配置された1つまたは複数のコンピュータのシステムによって同時に実行することができる。探索反復プロセス400のステップは、以下のセクションで説明される。
探索反復400の開始時に、探索画像を必要に応じて拡張することができる。好ましい実施形態では、探索画像は拡張されない。代替的な実施形態では、少なくとも1つの探索画像は、前記訓練段階で使用される前記拡張方法のうちの少なくとも1つで拡張される。代替的な実施形態では、少なくとも1つの探索画像は、前記訓練段階で使用されない少なくとも1つの追加の拡張方法で拡張される。代替的な実施形態では、少なくとも1つの探索画像は、毎回異なる拡張方法、異なる拡張パラメータ、またはその両方で複数回拡張され、例えば、前記拡張探索画像にわたって各拡張探索画像について計算された異常スコアを平均化するために、探索画像ごとに複数の拡張探索画像が得られる。代替的な実施形態では、例えば複数の探索画像の要素ごとの平均を計算することによって、複数の探索画像が一緒に拡張される。
このセクションでは、探索類似度基準と呼ばれる類似度基準を使用して、前記探索回帰出力404を前記探索復号出力403と比較するステップ405を説明する。前記探索類似度基準によって計算された類似度値は、探索類似度値406と呼ばれる。図4に示す探索反復プロセス400では、前記探索類似度基準計算はステップ405と呼ばれ、前記探索類似度値は406で示される。前記探索回帰出力404は、前記探索類似度基準405の値の前記第1の集合として使用される。前記探索復号出力403は、前記探索類似度基準405の値の前記第2の集合として使用される。好ましい実施形態では、前記探索類似度基準は、前記探索画像内の各画素位置について1つの探索類似度値を計算する。代替的な実施形態では、前記探索類似度基準によって計算された1つまたは複数の探索類似度値は、前記探索画像内の1つまたは複数の画素位置に対応する。代替的な実施形態では、前記探索類似度基準は、前記探索画像内の位置に空間的に対応しない1つまたは複数の探索類似度値を計算する。代替的な実施形態では、前記探索類似度基準は、探索画像全体または前記探索画像のサブセットに対応する単一の探索類似度値を計算する。
このセクションでは、前記探索類似度値406に基づいて前記探索画像401の1つまたは複数の異常スコア408を計算するステップについて説明する。図4に示す探索反復プロセス400では、前記異常スコア計算はステップ407と呼ばれ、前記計算された異常スコアは408で示される。
前記異常スコア408は、第2の異常検出プログラムと呼ばれる少なくとも1つの異常検出プログラムを前記探索画像401にさらに適用することによって計算された、第2の異常スコアと呼ばれる1つまたは複数の他の異常スコアと組み合わせることができる。例えば、前記第2の異常検出プログラムは、Bergmannら(BERGMANN、P.らによる「Uninformed Students:Student-Teacher Anomaly Detection With Discriminative Latent Embeddings」、Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR)、2020年、4183-4192ページ)によって提唱された前記生徒-教師法とすることができる。好ましい実施形態では、前記異常スコア408は、他の異常スコアと組み合わされない。代替的な実施形態では、前記異常スコア408は、空間配置された領域異常スコアを含み、第1の異常マップと呼ばれる1つまたは複数の異常マップを形成し、前記第1の異常マップは、少なくとも1つの第2の異常検出プログラムによって計算された1つまたは複数の第2の異常マップと組み合わされる。第1および第2の異常マップの前記組み合わせでは、前記第1および第2の異常マップは、前記第1および第2の異常マップの組み合わせの前に、1つまたは複数の変換、例えば要素ごとのアフィン変換によって変換される。前記変換は、適用される異常マップを変更しない恒等関数を含むことができる。次いで、第1および第2の異常マップの前記組み合わせは、前記第1および第2の変換された異常マップの一部またはすべてを合計して少なくとも1つの合計異常マップを形成することによって実行され、前記合計された異常マップの少なくとも1つの異常スコアは、前記第1および第2の変換された異常マップからの異常スコアの合計である。代替的な実施形態では、前記異常スコア408は、1つまたは複数の第2の異常検出プログラムによって計算された1つまたは複数の第2の異常スコアと組み合わされ、異常の存在は、前記異常スコア408の値の一部またはすべてと前記第2の異常スコアの値の一部またはすべてとに基づいて決定される。
Claims (16)
- 少なくとも1つの機械学習プログラムを使用してデジタル画像の異常を検出するためのコンピュータ実装方法であって、
(a)1つまたは複数の訓練画像を取得するステップと、
(b)少なくとも1つの訓練反復を実行することによって前記訓練画像上で前記方法を訓練するステップであって、各訓練反復は、
(b1)前記訓練画像から1つまたは複数の画像を選択するステップと、
(b2)選択された訓練画像ごとに複数の性能スコアを計算するステップであって、
(b21)前記選択された訓練画像のターゲット表現を取得するステップと、
(b22)前記選択された訓練画像にエンコーダプログラムを適用することによって、前記選択された訓練画像よりも低次元の中間訓練表現を計算するように前記エンコーダプログラムに命令するステップと、
(b23)前記中間訓練表現にデコーダプログラムを適用することによって前記中間訓練表現よりも高次元の訓練復号出力を計算するように前記デコーダプログラムに命令するステップと、
(b24)前記訓練復号出力および前記選択された訓練画像の前記ターゲット表現に基づいて1つまたは複数の復号性能スコアを計算するステップと、
(b25)前記選択された訓練画像に回帰プログラムを適用することによって訓練回帰出力を計算するように前記回帰プログラムに命令するステップと、
(b26)前記選択された訓練画像の前記訓練回帰出力および前記訓練復号出力に基づいて1つまたは複数の回帰性能スコアを計算するステップと、を備える、計算するステップと、
(b3)前記機械学習プログラムの前記パラメータを調整して、前記選択された訓練画像の前記性能スコアを改善するステップと、を備える、訓練するステップと、
(c)1つまたは複数の探索画像を取得するステップと、
(d)各探索画像について、前記探索画像における異常を検出するステップであって、
(d1)前記エンコーダプログラムを前記探索画像に適用することによって、前記探索画像よりも低次元の中間探索表現を計算するように前記エンコーダプログラムに命令するステップと、
(d2)前記デコーダプログラムを前記中間探索表現に適用することによって、前記中間探索表現よりも高次元の探索復号出力を計算するように前記デコーダプログラムに命令するステップと、
(d3)前記回帰プログラムを前記探索画像に適用することによって探索回帰出力を計算するように前記回帰プログラムに命令するステップと、
(d4)前記探索画像の前記探索回帰出力および前記探索復号出力に探索類似度基準を適用して、1つまたは複数の探索類似度値を計算するステップと、
(d5)前記探索類似度値に基づいて前記探索画像の1つまたは複数の異常スコアを計算するステップと、を備える、検出するステップと、を備える、方法。 - ステップ(d5)で計算された前記異常スコアは、少なくとも1つの第2の異常検出プログラムによって計算された1つまたは複数の第2の異常スコアと組み合わされ、異常の存在は、ステップ(d5)で計算された前記異常スコアの値の一部またはすべてと前記第2の異常スコアの値の一部またはすべてとに基づいて決定される、請求項1に記載の方法。
- 第1の異常検出プログラムのみによって計算された、または少なくとも1つの第2の異常検出プログラムによって計算された1つまたは複数の第2の異常スコアと組み合わされた前記計算された異常スコアの一部またはすべては空間配置され、前記探索画像の一部またはすべてについて1つまたは複数の異常マップを形成する、請求項1または2に記載の方法。
- 前記異常マップの一部またはすべては、少なくとも1つの第2の異常検出プログラムによって計算された1つまたは複数の異常マップと組み合わされ、
(e1)ステップ(d5)の1つまたは複数の異常マップを第1の異常マップとして取得するステップと、
(e2)前記探索画像に少なくとも1つの第2の異常検出プログラムを適用することによって1つまたは複数の第2の異常マップを計算するステップと、
(e3)前記第1および第2の異常マップに1つまたは複数の変換を適用するステップと、
(e4)前記第1および第2の変換された異常マップの一部またはすべてを合計して、少なくとも1つの合計された異常マップを形成するステップであって、前記合計された異常マップ内の少なくとも1つの異常スコアは、前記第1および第2の変換された異常マップからの異常スコアの前記合計である、ステップと、を備える、請求項2および3に記載の方法。 - 少なくとも1つの訓練画像について、前記ターゲット表現は、ニューラルネットワークを前記訓練画像に適用するときの前記ニューラルネットワークの前記出力値の一部またはすべてを含む、請求項1~4のいずれか1項に記載の方法。
- 少なくとも1つの訓練画像について、前記ターゲット表現は、前記訓練画像の前記値の一部またはすべてを含む、請求項1~5のいずれか1項に記載の方法。
- 少なくとも1つの訓練画像について、前記ターゲット表現は1つまたは複数の注釈値を含む、請求項1~6のいずれか1項に記載の方法。
- 前記エンコーダプログラム、デコーダプログラム、および回帰プログラムのうちの少なくとも1つは畳み込みニューラルネットワークである、請求項1~7のいずれか1項に記載の方法。
- 少なくとも1つの訓練画像について、前記復号性能スコアの少なくとも1つの前記計算は、前記ターゲット表現と前記訓練復号出力の前記値の一部またはすべてとの要素ごとの比較を含む、請求項1~8のいずれか1項に記載の方法。
- 少なくとも1つの訓練画像について、前記復号性能スコアのうちの1つは、前記取得されたターゲット表現と前記訓練復号出力の前記値の一部またはすべてとの間の二乗ユークリッド距離である、請求項9に記載の方法。
- 少なくとも1つの訓練画像について、前記回帰性能スコアの少なくとも1つの前記計算は、前記訓練回帰出力と前記訓練復号出力の前記値の一部またはすべてとの要素ごとの比較を含む、請求項1~10のいずれか1項に記載の方法。
- 少なくとも1つの訓練画像について、前記回帰性能スコアの1つは、前記訓練回帰出力と前記訓練復号出力の前記値の一部またはすべてとの間の前記二乗ユークリッド距離である、請求項11に記載の方法。
- 少なくとも1つの探索画像について、前記探索類似度基準は、前記探索回帰出力と前記探索復号出力の前記値の一部またはすべてとの間の1つまたは複数の二乗画素位置ユークリッド距離を計算する、請求項1~12のいずれか1項に記載の方法。
- 前記エンコーダプログラムおよび前記デコーダプログラムの一方または両方は、前記回帰プログラムの前記第1のパラメータ調整の前に1つまたは複数の訓練画像上で訓練される、請求項1~13のいずれか1項に記載の方法。
- 前記訓練画像のうちの少なくとも1つは、少なくとも1つの拡張方法を使用して拡張され、前記エンコーダプログラムおよび前記デコーダプログラムのうちの少なくとも1つは、前記拡張された訓練画像のうちの少なくとも1つに適用される、請求項1~14のいずれか1項に記載の方法。
- プロセッサを備えるシステムであって、前記プロセッサは、請求項1~15のいずれか1項に記載の方法によるデジタル画像の異常を検出するための前記コンピュータ実装方法を実行するように構成されている、システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21195025 | 2021-09-06 | ||
EP21195025.8A EP4145401A1 (en) | 2021-09-06 | 2021-09-06 | Method for detecting anomalies in images using a plurality of machine learning programs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023038144A true JP2023038144A (ja) | 2023-03-16 |
JP7373097B2 JP7373097B2 (ja) | 2023-11-02 |
Family
ID=77640570
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022002275A Active JP7373097B2 (ja) | 2021-09-06 | 2022-01-11 | 複数の機械学習プログラムを使用して画像の異常を検出するための方法およびシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230073223A1 (ja) |
EP (1) | EP4145401A1 (ja) |
JP (1) | JP7373097B2 (ja) |
KR (1) | KR20230036030A (ja) |
CN (1) | CN115775220A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116612537B (zh) * | 2023-07-21 | 2023-10-03 | 武汉理工大学 | 一种基于背景弱化及一致性计算的半监督动作检测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200076842A1 (en) * | 2018-09-05 | 2020-03-05 | Oracle International Corporation | Malicious activity detection by cross-trace analysis and deep learning |
JP2021012595A (ja) * | 2019-07-08 | 2021-02-04 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、および、プログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6632288B2 (ja) * | 2014-12-12 | 2020-01-22 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
JP6599294B2 (ja) * | 2016-09-20 | 2019-10-30 | 株式会社東芝 | 異常検知装置、学習装置、異常検知方法、学習方法、異常検知プログラム、および学習プログラム |
US10679129B2 (en) * | 2017-09-28 | 2020-06-09 | D5Ai Llc | Stochastic categorical autoencoder network |
EP3477553B1 (en) * | 2017-10-27 | 2023-08-30 | Robert Bosch GmbH | Method for detecting an anomalous image among a first dataset of images using an adversarial autoencoder |
US20190320934A1 (en) * | 2018-04-18 | 2019-10-24 | Siemens Healthcare Gmbh | Medical image acquisition with sequence prediction using deep learning |
JP6885517B1 (ja) * | 2020-03-17 | 2021-06-16 | 株式会社村田製作所 | 診断支援装置及びモデル生成装置 |
WO2021191908A1 (en) * | 2020-03-25 | 2021-09-30 | Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. | Deep learning-based anomaly detection in images |
US11328402B2 (en) * | 2020-09-29 | 2022-05-10 | Hong Kong Applied Science and Technology Research Institute Company Limited | Method and system of image based anomaly localization for vehicles through generative contextualized adversarial network |
US20220108163A1 (en) * | 2020-10-02 | 2022-04-07 | Element Ai Inc. | Continuous training methods for systems identifying anomalies in an image of an object |
US11216932B1 (en) * | 2021-03-26 | 2022-01-04 | Minds AI Technologies Ltd | Electronic substrate defect detection |
US11763086B1 (en) * | 2021-03-29 | 2023-09-19 | Amazon Technologies, Inc. | Anomaly detection in text |
EP4116869A1 (en) * | 2021-07-07 | 2023-01-11 | Leica Microsystems CMS GmbH | A method and an apparatus for predicting a future state of a biological system, a system and a computer program |
EP4138032A1 (en) * | 2021-08-17 | 2023-02-22 | Siemens Aktiengesellschaft | Predicting a quality of a printed circuit board assembly from production data |
US11615523B2 (en) * | 2021-08-18 | 2023-03-28 | Zhejiang Gongshang University | Methods for recognizing small targets based on deep learning networks |
-
2021
- 2021-09-06 EP EP21195025.8A patent/EP4145401A1/en active Pending
-
2022
- 2022-01-11 JP JP2022002275A patent/JP7373097B2/ja active Active
- 2022-01-19 US US17/579,396 patent/US20230073223A1/en active Pending
- 2022-06-23 CN CN202210720005.6A patent/CN115775220A/zh active Pending
- 2022-07-04 KR KR1020220081597A patent/KR20230036030A/ko unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200076842A1 (en) * | 2018-09-05 | 2020-03-05 | Oracle International Corporation | Malicious activity detection by cross-trace analysis and deep learning |
JP2021012595A (ja) * | 2019-07-08 | 2021-02-04 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、および、プログラム |
Also Published As
Publication number | Publication date |
---|---|
EP4145401A1 (en) | 2023-03-08 |
KR20230036030A (ko) | 2023-03-14 |
CN115775220A (zh) | 2023-03-10 |
JP7373097B2 (ja) | 2023-11-02 |
US20230073223A1 (en) | 2023-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11556797B2 (en) | Systems and methods for polygon object annotation and a method of training an object annotation system | |
Žbontar et al. | Stereo matching by training a convolutional neural network to compare image patches | |
Chen et al. | Learning linear regression via single-convolutional layer for visual object tracking | |
WO2014205231A1 (en) | Deep learning framework for generic object detection | |
Savian et al. | Optical flow estimation with deep learning, a survey on recent advances | |
Aroulanandam et al. | Object Detection in Convolution Neural Networks Using Iterative Refinements. | |
EP3012779A1 (en) | Method and apparatus for extracting feature correspondences from multiple images | |
US12073567B2 (en) | Analysing objects in a set of frames | |
Etezadifar et al. | A new sample consensus based on sparse coding for improved matching of SIFT features on remote sensing images | |
KR102166117B1 (ko) | 시멘틱 매칭 장치 및 방법 | |
Liang et al. | Weakly-supervised salient object detection on light fields | |
JP7373097B2 (ja) | 複数の機械学習プログラムを使用して画像の異常を検出するための方法およびシステム | |
Raju et al. | Detection based long term tracking in correlation filter trackers | |
Moon et al. | Genflow: Generalizable recurrent flow for 6d pose refinement of novel objects | |
Alsultani et al. | The use of spatial relationships and object identification in image understanding | |
Ramasamy et al. | Object detection and tracking in video using deep learning techniques: A review | |
Tan et al. | Active learning of neural collision handler for complex 3D mesh deformations | |
Jospin et al. | Bayesian learning for disparity map refinement for semi-dense active stereo vision | |
Wang et al. | Robust Online Segmentation of Unknown Objects for Mobile Robots. | |
Feng et al. | Scene Text Detection with Recurrent Instance Segmentation | |
Kim et al. | Place recognition for SLAM using texture-independent features and DCGAN | |
Salazar et al. | Multi-modal RGB-D image segmentation from appearance and geometric depth maps | |
Ng | Cross-Modal Data Fusion for 3D Instance Segmentation of Indoor Scenes | |
Yang et al. | Salient object detection via multi-grained refinement polygon topology positive feedback | |
Rydén | Instance-level Object Detection of Grocery Store items using R-CNN: s |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220303 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230309 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230516 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230612 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7373097 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |