DE112022002858T5 - Bildbasierte anomalieerkennung basierend auf einer maschinellen lernanalyse eines objekts - Google Patents

Bildbasierte anomalieerkennung basierend auf einer maschinellen lernanalyse eines objekts Download PDF

Info

Publication number
DE112022002858T5
DE112022002858T5 DE112022002858.0T DE112022002858T DE112022002858T5 DE 112022002858 T5 DE112022002858 T5 DE 112022002858T5 DE 112022002858 T DE112022002858 T DE 112022002858T DE 112022002858 T5 DE112022002858 T5 DE 112022002858T5
Authority
DE
Germany
Prior art keywords
anomaly
feature
classification
model
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112022002858.0T
Other languages
English (en)
Inventor
Daniel S. Gonzales
Yan Zhang
Andrea Mirabile
Alessandro Bay
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zebra Technologies Corp
Original Assignee
Zebra Technologies Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zebra Technologies Corp filed Critical Zebra Technologies Corp
Publication of DE112022002858T5 publication Critical patent/DE112022002858T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

Ein System zur Objektanalyse wird hierin offenbart. Das Objektanalysesystem kann ein Eingabebild empfangen, das ein Objekt darstellt. Das Objektanalysesystem kann unter Verwendung eines Merkmalsextraktionsmodells und aus dem Eingabebild eine erste Merkmalsausgabe bestimmen, die einem oder mehreren Merkmalen des Objekts zugeordnet ist. Das Merkmalsextraktionsmodell kann auf der Grundlage von Referenzbildern trainiert werden, die Referenzobjekte darstellen, die einem Typ des Objekts entsprechen. Das Objektanalysesystem kann unter Verwendung eines Klassifizierungsmodells bestimmen, dass ein Anomaliestatus des Objekts anzeigt, dass das Objekt eine Anomalie aufweist. Das Klassifizierungsmodell kann auf der Grundlage der Referenzbilder trainiert werden. Das Objektanalysesystem kann unter Verwendung eines Anomalie-Lokalisierungsmodells eine Position der Anomalie im Eingabebild auf der Grundlage einer zweiten Merkmalsausgabe des neuronalen Faltungsnetzwerk-Kodierers bestimmen. Das Anomalie-Lokalisierungsmodell kann auf der Grundlage der Referenzbilder trainiert werden. Das Objektanalysesystem kann eine Aktion durchführen, die dem Ort der Anomalie zugeordnet ist.

Description

  • HINTERGRUND
  • Die Qualitätskontrolle ist ein Prozess, bei dem ein Produkt analysiert und/oder überprüft wird, um sicherzustellen, dass das Produkt bestimmte Qualitätsstandards und/oder -kriterien erfüllt. Bei physischen Produkten kann eine visuelle Inspektion des Produkts erforderlich sein, um eine Anomalie am oder im Zusammenhang mit dem Produkt festzustellen, die verhindern würde, dass das Produkt die bestimmten Qualitätsstandards und/oder -kriterien erfüllt. Die Form einer solchen Anomalie kann vom Typ des Produkts abhängen und/oder in Bezug auf verschiedene Merkmale einzigartig sein. Daher besteht ein Bedarf an einem System, das in der Lage ist, eindeutige Anomalien an einem bestimmten Produkt oder in Verbindung mit einem bestimmten Produkt zu erkennen.
  • BESCHREIBUNG
  • In einigen Implementierungen umfasst ein Verfahren zum Erkennen einer Anomalie, die einem Objekt zugeordnet ist, das Empfangen eines Eingabebildes, das das Objekt darstellt; das Verarbeiten des Eingabebildes unter Verwendung eines Merkmalsextraktionsmodells, um ein oder mehrere Merkmale des Objekts in einer ersten Merkmalsausgabe anzuzeigen, wobei das Merkmalsextraktionsmodell auf der Grundlage von Referenzbildern trainiert wird, die einem Typ des Objekts zugeordnet sind, wobei die Referenzbilder ein oder mehrere nicht anomale Objekte darstellen, die von demselben Typ wie der Typ des Objekts sind; das Bestimmen, basierend auf dem einen oder den mehreren Merkmalen, unter Verwendung eines Klassifizierungsmodells, dass ein Anomaliestatus des Objekts anzeigt, dass das Objekt eine Anomalie enthält, wobei das Klassifizierungsmodell konfiguriert ist, um den Anomaliestatus basierend auf einem Klassifizierungsergebnis, das der ersten Merkmalsausgabe zugeordnet ist, und einer Klassifizierungsschwelle des Klassifizierungsmodells zu bestimmen, wobei die Klassifizierungsschwelle basierend auf einer Ähnlichkeitsanalyse bestimmt wird, die die Referenzbilder einbezieht; das Bestimmen eines Ortes der Anomalie, der dem Anomaliestatus zugeordnet ist, basierend auf einer zweiten Merkmalsausgabe des Merkmalsextraktionsmodells, wobei der Ort der Anomalie unter Verwendung eines Anomalie-Lokalisierungsmodells bestimmt wird, das basierend auf den Referenzbildern trainiert wird; das Erzeugen von Anomaliedaten, die der Anomalie zugeordnet sind, basierend auf dem Anomaliestatus und dem Ort; und das Bereitstellen der Anomaliedaten an ein Objektverwaltungssystem.
  • In einigen Implementierungen enthält eine Vorrichtung einen oder mehrere Speicher und einen oder mehrere Prozessoren, die mit dem einen oder den mehreren Speichern gekoppelt sind, die konfiguriert sind zum: Empfangen eines Eingabebildes, das ein Objekt darstellt; Verarbeiten des Eingabebildes unter Verwendung eines Merkmalsextraktionsmodells, um eine erste Merkmalsausgabe zu erzeugen, die einem oder mehreren Merkmalen des Objekts zugeordnet ist, wobei das Merkmalsextraktionsmodell auf der Grundlage von Referenzbildern trainiert wird, die einem Typ des Objekts zugeordnet sind; Bestimmen eines Anomaliestatus des Objekts unter Verwendung eines Klassifizierungsmodells auf der Grundlage der ersten Merkmalsausgabe, wobei das Klassifizierungsmodell trainiert wird, um den Anomaliestatus auf der Grundlage einer Ähnlichkeitsanalyse zu bestimmen, die nicht anomale Objekte umfasst, die in den Referenzbildern dargestellt sind; Bestimmen, basierend auf dem Anomaliestatus, der anzeigt, dass das Eingabebild das Objekt mit einer Anomalie darstellt, eines Ortes der Anomalie in dem Eingabebild, basierend auf einer zweiten Merkmalsausgabe des Merkmalsextraktionsmodells, wobei der Ort der Anomalie unter Verwendung eines Anomalie-Lokalisierungsmodells bestimmt wird, das basierend auf den Referenzbildern trainiert wird; Erzeugen, basierend auf dem Anomaliestatus und dem Ort, von Anomaliedaten, die der Anomalie zugeordnet sind; und Ausführen einer den Anomaliedaten zugeordnet Aktion.
  • In einigen Implementierungen enthält ein zugreifbares maschinenlesbares Medium, das einen Satz von Befehlen speichert, einen oder mehrere Befehle, die, wenn sie von einem oder mehreren Prozessoren einer Vorrichtung ausgeführt werden, die Vorrichtung veranlassen zum: Empfangen eines Eingabebildes, das ein Objekt darstellt; Bestimmen einer ersten Merkmalsausgabe, die einem oder mehreren Merkmalen des Objekts zugeordnet ist, unter Verwendung eines neuronalen Faltungsnetzwerk-Kodierers und aus dem Eingabebild, wobei der neuronale Faltungsnetzwerk-Kodierer auf der Grundlage von Referenzbildern trainiert wird, die Referenzobjekte darstellen, die ein Typ des Objekts sind; Bestimmen, unter Verwendung einer Stützvektormaschine, dass ein Anomaliestatus des Objekts anzeigt, dass das Objekt eine Anomalie enthält, wobei die Stützvektormaschine auf der Grundlage der Referenzbilder trainiert wird; Bestimmen, unter Verwendung eines neuronalen Faltungsnetzwerk-Dekodierers, eines Ortes der Anomalie in dem Eingabebild auf der Grundlage einer zweiten Merkmalsausgabe des neuronalen Faltungsnetzwerk-Kodierers, wobei der neuronale Faltungsnetzwerk-Dekodierer so konfiguriert ist, dass er den Ort der Anomalie auf der Grundlage einer zweiten Merkmalsausgabe des neuronalen Faltungsnetzwerk-Kodierer bestimmt, und wobei der neuronale Faltungsnetzwerk-Dekodierer auf der Grundlage der Referenzbilder trainiert wird; und Ausführen einer dem Ort der Anomalie zugeordneten Aktion.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • Die beigefügten Figuren, in denen gleiche Bezugszeichen identische oder funktional ähnliche Elemente in den einzelnen Ansichten bezeichnen, sind zusammen mit der nachfolgenden detaillierten Beschreibung in die Offenbarung inkorporiert und bilden einen Bestandteil der Offenbarung und dienen dazu, hierin beschriebene Ausführungsformen von Konzepten, die die beanspruchte Erfindung umfassen, weiter zu veranschaulichen und verschiedene Prinzipien und Vorteile dieser Ausführungsformen zu erklären.
    • 1 ist eine Darstellung einer Beispielimplementierung im Zusammenhang mit einem Training eines maschinellen Lernmodells eines hier beschriebenen Objektanalysesystems zugeordnet ist.
    • 2 ist eine Darstellung einer Beispielimplementierung im Zusammenhang mit einer bildbasierten Anomalieerkennung unter Einbeziehung eines hier beschriebenen Objektanalysesystems.
    • 3 ist eine Darstellung einer Beispielimplementierung im Zusammenhang mit einem hier beschriebenen Klassifizierungsmodell.
    • 4 ist eine Darstellung einer Beispielimplementierung im Zusammenhang mit einem hier beschriebenen Anomalie-Lokalisierungsmodell.
    • 5 ist eine Darstellung, die ein Beispiel für das Training und die Verwendung eines maschinellen Lernmodells in Verbindung mit der bildbasierten Anomalieerkennung zeigt.
    • 6 ist eine Darstellung einer Beispielumgebung, in der die hier beschriebenen Systeme und/oder Verfahren implementiert werden können.
    • 7 ist eine Darstellung von Beispielkomponenten einer oder mehrerer Vorrichtungen aus 6.
    • 8 ist ein Flussdiagramm eines Beispielprozesses für eine bildbasierte Anomalieerkennung auf der Grundlage einer maschinellen Lernanalyse eines Objekts.
  • Fachleute werden erkennen, dass Elemente in den Figuren der Einfachheit und Klarheit halber dargestellt sind und nicht notwendigerweise maßstabsgetreu gezeichnet wurden. Zum Beispiel können die Dimensionen einiger der Elemente in den Figuren relativ zu anderen Elementen übertrieben sein, um das Verständnis von Ausführungsformen der vorliegenden Erfindung zu verbessern.
  • Die Vorrichtungs- und Verfahrenskomponenten wurden, wo es angemessen ist, durch herkömmliche Symbole in den Zeichnungen dargestellt, die nur jene spezifischen Details zeigen, die zum Verständnis der Ausführungsformen der vorliegenden Erfindung relevant sind, um somit die Offenbarung nicht mit Einzelheiten zu verdecken, die für die Fachleute auf dem Gebiet, die auf die vorliegende Beschreibung zurückgreifen, ohne weiteres ersichtlich sind.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Die folgende detaillierte Beschreibung von Ausführungsbeispielen bezieht sich auf die beigefügten Zeichnungen. Die gleichen Referenznummern in verschiedenen Zeichnungen können gleiche oder ähnliche Elemente bezeichnen.
  • Die Anomalieerkennung kann mithilfe einer bildbasierten Analyse erfolgen. Beispielsweise kann ein Bildverarbeitungsmodell (z. B. ein Computer-Bildverarbeitungsmodell) trainiert werden, um Anomalien auf einem Objekt, wie einem Produkt, einer Ausrüstung, einer Struktur oder einem anderen Typ von physischem Objekt, zu erkennen. Das Bildverarbeitungsmodell kann anhand von Bildern trainiert werden, die Objekte zeigen, die Anomalien aufweisen (die als „anomale Objekte“ bezeichnet werden können), wie z. B. Kratzer, Risse, Löcher, Verfärbungen, fehlende Elemente, zusätzliche Elemente oder andere Typen von Anomalien. Aufgrund einer Vielzahl von Typen von Anomalien, einer Vielzahl von Merkmalen (z. B. Größe, Form, Position) der einzelnen Typen von Anomalien und/oder der Fähigkeit der Merkmale der Anomalien, sich im Laufe derZeit zu ändern (z. B. aufgrund unbekannter oder unerwarteter Veränderungen in einer Umgebung), kann ein solches Bildverarbeitungsmodell jedoch relativ ungenau sein, was zu falsch negativen oder falsch positiven Erkennungen von Anomalien führt. Da das Bildverarbeitungsmodell beispielsweise nicht darauf trainiert wurde, einen bestimmten Typ von Anomalie und/oder ein bestimmtes Merkmal der Anomalie zu identifizieren, mag das Bildverarbeitungsmodell nicht in der Lage sein, diesen Typ von Anomalie auf einem Objekt genau zu erkennen. Daher besteht ein Bedarf an einem Objektanalysesystem, das robust und genau einzigartige Anomalien und/oder unbekannte Anomalien auf einem Objekt oder in Verbindung mit einem Objekt erkennen kann.
  • Einige hierin beschriebene Implementierungen bieten ein Objektanalysesystem zum Erkennen, Klassifizieren und/oder Lokalisieren einer Anomalie auf einem Objekt. Das Objektanalysesystem kann eine Anordnung von Modellen enthalten und/oder verwenden, die auf der Grundlage von Referenzbildern trainiert werden, die ein oder mehrere Referenzobjekte darstellen, die keine Anomalien enthalten oder aufweisen. Das Objektanalysesystem kann beispielsweise ein Merkmalsextraktionsmodell, ein Klassifizierungsmodell und ein Anomalie-Lokalisierungsmodell umfassen, die so konfiguriert sind, dass sie ein Objekt analysieren, um zu bestimmen, ob das Objekt eine Anomalie aufweist. Die Modelle können trainiert werden, um Merkmale eines Referenzobjekts aus einer Analyse der Referenzbilder zu identifizieren, zu analysieren und/oder zu erkennen, die das eine oder mehrere nicht anomale Objekte darstellen. Auf diese Weise kann das Objektanalysesystem die Anomalie auf der Grundlage eines Vergleichs zwischen dem Referenzobjekt und einem Objekt, das in einem Eingabebild (z. B. einem Bild, das ein Objekt darstellt, das vom Objektanalysesystem analysiert wird) abgebildet ist, erkennen, klassifizieren und/oder lokalisieren. Auf diese Weise kann das hier beschriebene Objektanalysesystem eine Anomalie auf einem Objekt robust und genau erkennen, klassifizieren und/oder lokalisieren, ohne dass es mit Hilfe von Trainingsbildern trainiert wird, die eine bestimmte Anomalie oder eine bestimmte Konfiguration einer Anomalie darstellen. Darüber hinaus können die Modelle des Objektanalysesystems mit weniger Trainingsdaten als andere Systeme trainiert werden, wodurch Rechenressourcen (z. B. Verarbeitungsressourcen, Aufbewahrungsressourcen und/oder Speicherressourcen) gespart werden, während die Robustheit und Genauigkeit der bildbasierten Anomalieerkennung im Vergleich zu anderen Systemen beibehalten und/oder verbessert wird.
  • 1 ist ein Diagramm einer Beispielimplementierung 100, die dem Training eines maschinellen Lernmodells eines Objektanalysesystems zugeordnet ist. Wie in 1 gezeigt, umfasst die Beispielimplementierung 100 eine Referenzdatenstruktur und ein Betriebsverwaltungssystem, das ein Merkmalsextraktionsmodell und ein Klassifikationsmodell enthält. In der Beispielimplementierung 100 kann das Objektanalysesystem das Merkmalsextraktionsmodell und das Klassifikationsmodell trainieren, um eine Anomalie an einem Objekt auf der Grundlage von Referenzbildern zu erkennen, die ein oder mehrere Objekte darstellen. Während die Beispielimplementierung 100 im Zusammenhang mit dem Training des Merkmalsextraktionsmodells und/oder des Klassifikationsmodells beschrieben werden kann, um eine Anomalie auf einem bestimmten Objekttyp zu erkennen und/oder zu klassifizieren, können die im Zusammenhang mit 1 beschriebenen Beispiele in ähnlicher Weise im Zusammenhang mit dem Training des Merkmalsextraktionsmodells und/oder der Klassifikation angewendet werden, um eine Anomalie auf mehreren Typen von Objekten zu erkennen und/oder zu klassifizieren.
  • Wie in 1 und unter der Referenznummer 110 gezeigt, kann das Objektanalysesystem Referenzbilddaten empfangen, die einem Objekttyp zugeordnet sind. Zum Beispiel kann das Objektanalysesystem die Referenzbilddaten von der Referenzbilddatenstruktur während einer Trainingsperiode erhalten, die dem Training des Merkmalsextraktionsmodells und/oder des Klassifikationsmodells zugeordnet ist. Die Referenzbilddatenstruktur kann eine Speichervorrichtung und/oder eine Speichervorrichtung umfassen, die Referenzbilder von einer oder mehreren Bildquellen (z. B. einer oder mehreren Bilderfassungsvorrichtungen, einer oder mehreren Bilddatenbanken und/oder einem oder mehreren Netzwerken oder Systemen) empfängt und/oder speichert. Die Referenzbilddaten können Referenzbilder enthalten, die einen Typ von Objekt darstellen (z. B. ein Typ von Objekt, das zur Erkennung von Anomalien durch das Objektanalysesystem analysiert werden soll). In einigen Implementierungen können die Referenzbilder mehrere Arten von Objekten abbilden (z. B. damit das Merkmalsextraktionsmodell und/oder das Klassifizierungsmodell Anomalien an mehreren Typen von Objekten gemäß den hier beschriebenen Beispielen erkennen kann).
  • Wie hier beschrieben, können die Referenzbilder nicht anomale Objekte darstellen, damit das Merkmalsextraktionsmodell die Merkmale eines in einem Bild dargestellten Objekts identifizieren und/oder das Objekt auf der Grundlage der identifizierten Merkmale als anomal oder nicht anomal klassifizieren kann. Ein nicht anormales Objekt kann ein Objekt sein, das keine Anomalie aufweist. Ein nicht anormales Objekt, wie es hier verwendet wird, kann beispielsweise als normales Objekt, als Standardobjekt oder als akzeptables Objekt in Bezug auf eine Norm (z. B. eine Industrienorm) oder eine Toleranz (z. B. eine Konstruktionstoleranz und/oder eine Fertigungstoleranz) betrachtet werden.
  • Wie in 1 mit der Referenznummer 120 gezeigt, extrahiert das Objektanalysesystem Merkmale von nicht anomalen Objekten. Die nicht anomalen Objekte können in den Referenzbildern dargestellt werden, die Referenzobjekte desselben Typs von Objekt zeigen. Zum Beispiel kann das Objektanalysesystem über das Merkmalsextraktionsmodell die Referenzbilddaten (und/oder Referenzbilder der Referenzbilddaten) analysieren, um Merkmale eines Objekttyps zu identifizieren. Genauer gesagt kann das Objektanalysesystem die Referenzbilddaten analysieren, um Merkmale von Referenzobjekten zu identifizieren, die in den Bilddaten dargestellt sind. Bei solchen Merkmalen kann es sich um eine Reihe von Merkmalen handeln, die in den Referenzbildern häufig dargestellt werden.
  • In einigen Implementierungen kann das Merkmalsextraktionsmodell ein Bildverarbeitungsmodell enthalten und/oder diesem zugeordnet sein, das trainiert ist, um die Referenzbilder vorzuverarbeiten, um Pixel der Referenzbilder zu identifizieren und/oder zu extrahieren, die den Referenzobjekten zugeordnet sind und/oder diese abbilden. Beispielsweise kann das Bildverarbeitungsmodell ein Objekterkennungsmodell, ein Segmentierungsmodell, ein Kantendetektionsmodell und/oder einen anderen Typ von Modell enthalten und/oder damit verbunden sein, das so konfiguriert ist, dass es einen Begrenzungsrahmen bestimmt, die Darstellungen eines Objekts in den Referenzbildern zugeordnet ist. Dementsprechend kann die Bildverarbeitungstechnik jeglichen Hintergrund und/oder Rauschen in den Referenzbildern entfernen, um die Genauigkeit und Effizienz der Identifizierung von Merkmalen der Referenzobjekte zu verbessern. Auf diese Weise kann das Merkmalsextraktionsmodell trainiert werden, indem nur Teile der Referenzbilder verwendet werden, die die Merkmale der Referenzobjekte enthalten oder anzeigen (z. B. um das unüberwachte Lernen und/oder das unüberwachte Training des Merkmalsextraktionsmodells zu erleichtern und/oder zu verbessern).
  • Das Merkmalsextraktionsmodell kann ein maschinelles Lernmodell enthalten und/oder damit verbunden sein, das trainiert wird (z. B. durch das Objektanalysesystem und/oder ein anderes System) und/oder wie an anderer Stelle hierin beschrieben verwendet wird. Beispielsweise kann das Objektanalysesystem das Merkmalsextraktionsmodell so trainieren, dass es einen Typ von Objekt auf der Grundlage der Referenzbilder der Referenzbilddaten analysiert, die dem Typ des Objekts zugeordnet sind. In einigen Implementierungen kann das Merkmalsextraktionsmodell so trainiert werden, dass es den Satz von Merkmalen identifiziert, um den Satz von Merkmalen dem Klassifizierungsmodell zur Verfügung zu stellen (z. B. als eine erste Merkmalsausgabe von einer Ausgabeschicht des Merkmalsextraktionsmodells). Auf diese Weise kann der Satz von Merkmalen verwendet werden, um das Klassifizierungsmodell zu trainieren, um zu bestimmen, ob ein Eingabebild ein anormales Objekt oder ein nicht anormales Objekt darstellt, wie an anderer Stelle hierin beschrieben.
  • Wie in 1 und unter der Referenznummer 130 gezeigt, trainiert das Objektanalysesystem das Klassifikationsmodell auf der Grundlage der Referenzbilder. Beispielsweise kann das Objektanalysesystem das Klassifizierungsmodell auf der Grundlage des Satzes von Merkmalen trainieren, die durch das Merkmalsextraktionsmodell identifiziert und/oder extrahiert werden. Das Objektanalysesystem kann das Klassifizierungsmodell trainieren, um einen Anomaliestatus eines in einem Bild dargestellten Objekts zu bestimmen. Der Anomaliestatus kann zum Beispiel angeben, ob das Objekt anomal oder nicht anomal ist (z. B. gemäß einer binären Klassifizierungstechnik). Zusätzlich oder alternativ kann der Anomaliestatus, wenn ein Objekt eine Anomalie enthält, eine bestimmte Art von Anomalie anzeigen.
  • Das Klassifizierungsmodell kann eine Stützvektormaschine (Support-Vektor-Maschine) enthalten und/oder mit ihr verbunden sein. Beispielsweise kann das Objektanalysesystem (und/oder ein anderes System) die Stützvektormaschine trainieren, um eine Ähnlichkeit mit den nicht anomalen Objekten, die in den Referenzbildern der Referenzbilddaten dargestellt sind, zu bestimmen und/oder vorherzusagen. Genauer gesagt, kann das Klassifizierungsmodell über die Stützvektormaschine ein Klassifizierungsergebnis auf der Grundlage des Satzes von Merkmalen bestimmen. Ferner kann das Klassifizierungsmodell so trainiert werden, dass es den Klassifizierungswert mit einem Schwellenwert vergleicht, um zu bestimmen, ob ein in einem Eingabebild dargestelltes Objekt ein anormales Objekt oder ein nicht anomales Objekt ist. In einigen Implementierungen kann der Schwellenwert ein fester Schwellenwert sein, wie z. B. ein fester Wert (z. B. innerhalb eines festen Bereichs), der unabhängig von der Menge der aus den Referenzbilddaten gelernten Merkmale festgelegt wird. Zusätzlich oder alternativ kann der Schwellenwert ein benutzerdefinierter Schwellenwert sein, der spezifisch für den Satz von Merkmalen eines oder mehrerer Referenzobjekte ist, die durch das Merkmalsextraktionsmodell identifiziert wurden. Ein solcher benutzerdefinierter Schwellenwert kann zu einem oder mehreren Klassifizierungsschwellenwerten weiter verfeinert werden, um relativ geringfügige Variationen oder Abweichungen von Merkmalen (z. B. Variationen oder Abweichungen, die gemäß einem Standard oder einer Toleranz nicht als Anomalien gelten würden) der in den Referenzbildern dargestellten nicht anomalen Objekte zu berücksichtigen.
  • Wie in 1 und unter der Referenznummer 140 weiter gezeigt, ermittelt das Objektanalysesystem eine Klassifizierungsschwelle auf der Grundlage von Testdaten. Beispielsweise können, wie in 1 gezeigt, Sätze von Testdaten und Trainingsdaten aus den Referenzbilddaten konfiguriert und/oder angeordnet werden. Genauer gesagt kann ein erster Satz von Trainings- und Testdaten ein erstes Bild (Bild_1) als Testdaten aus einem Satz von N Bildern enthalten, das über eine Ähnlichkeitsanalyse mit den übrigen Bildern (Bild_2 bis Bild_N) verglichen wird, die zum Trainieren des Klassifikationsmodells in einer ersten Iteration verwendet werden. Aus der Ähnlichkeitsanalyse kann das Klassifizierungsmodell (z. B. über die Stützvektormaschine) ein erstes Klassifizierungsergebnis (dargestellt als Stützvektormaschinen (SVM)-Ergebnis von s_1) für den ersten Satz von Trainings- und Testdaten bestimmen. In ähnlicher Weise kann ein zweiter Satz von Trainingsdaten und Testdaten ein zweites Bild (Bild_2) als Testdaten aus dem Satz von N Bildern enthalten, das über die Ähnlichkeitsanalyse mit den verbleibenden Bildern (Bild_1 und Bild_3 bis Bild_N) verglichen wird, die zum Trainieren des Klassifizierungsmodells in einer zweiten Iteration verwendet werden. Anhand der Ähnlichkeitsanalyse kann das Klassifizierungsmodell (z. B. über die Stützvektormaschine) ein zweites Klassifizierungsergebnis (dargestellt als SVM-Ergebnis von s_2) für den ersten Satz von Trainings- und Testdaten ermitteln usw. Auf diese Weise können N Klassifizierungsergebnisse aus N Sätzen von Testdaten und Trainingsdaten ermittelt werden, um einen Klassifizierungsschwellenwert zu bestimmen. Beispielsweise kann der Klassifizierungsschwellenwert auf der Grundlage der Verschiebung eines identifizierten oder erlernten Schwellenwerts aus dem Training des Klassifizierungsmodells entsprechend dem Satz von Merkmalen, die durch das Merkmalsextraktionsmodell identifiziert wurden, bestimmt werden. Auf diese Weise kann das Objektanalysesystem (und/oder ein anderes System) auf der Grundlage einer Ähnlichkeitsanalyse, die nicht anomale, in den Referenzbildern dargestellte Objekte einbezieht, das Klassifizierungsmodell trainieren (oder verfeinern), um einen Klassifizierungsschwellenwert zu ermitteln, um Fehler oder Ungenauigkeiten zu verringern, die andernfalls durch relativ geringfügige Variationen oder Abweichungen von Merkmalen von Referenzobjekten (z. B. vernachlässigbare Unterschiede in Formen, Größen, Farben oder Konfigurationen von Merkmalen) verursacht werden könnten.
  • Dementsprechend kann das Objektanalysesystem (und/oder ein anderes System), wie im Zusammenhang mit der Beispielimplementierung 100 beschrieben, ein Merkmalsextraktionsmodell trainieren und/oder das Merkmalsextraktionsmodell verwenden, um ein Klassifizierungsmodell zu trainieren, um einen Anomaliestatus eines Objekts auf der Grundlage von Referenzbildern zu bestimmen, die nicht anomale Objekte darstellen. Auf diese Weise können das Merkmalsextraktionsmodell und das Klassifizierungsmodell so koordiniert werden, dass sie verschiedene Anomalien auf einem Objekt robust und genau erkennen, ohne dass sie zuvor darauf trainiert wurden, die spezifischen Arten von Anomalien oder die spezifischen Merkmale der Anomalien zu erkennen. Das Merkmalsextraktionsmodell und/oder das Klassifizierungsmodell kann mit allen geeigneten Techniken trainiert werden, wie in Verbindung mit 5 beschrieben.
  • Wie bereits erwähnt, ist 1 als Beispiel zu verstehen. Andere Beispiele können von der Beschreibung in 1 abweichen. Die Anzahl und Anordnung der in 1 gezeigten Vorrichtung ist ein Beispiel. In der Praxis kann es zusätzliche Vorrichtungen, weniger Vorrichtungen, verschiedene unterschiedlich angeordnete Vorrichtungen als die in 1 gezeigten geben. Darüber hinaus können zwei oder mehr der in 1 gezeigten Vorrichtungen in einer einzigen Vorrichtung implementiert sein, oder eine einzelne in 1 gezeigte Vorrichtung kann als mehrere verteilte Vorrichtungen implementiert sein. Zusätzlich oder alternativ kann ein in 1 dargestellter Satz von Vorrichtungen (z. B. ein oder mehrere Vorrichtungen) eine oder mehrere Funktionen ausführen, die von einem anderen in 1 dargestellten Satz von Vorrichtungen ausgeführt werden.
  • 2 ist ein Diagramm einer Beispielimplementierung 200, die der bildbasierten Anomalieerkennung unter Einbeziehung eines Objektanalysesystems zugeordnet ist. Wie in 2 gezeigt, umfasst die Beispielimplementierung 200 ein Objektanalysesystem, ein Objektverwaltungssystem und eine Benutzervorrichtung. In der Beispielimplementierung 200 umfasst das Objektanalysesystem ein Merkmalsextraktionsmodell, ein Klassifikationsmodell und ein Anomalie-Lokalisierungsmodell.
  • Das Merkmalsextraktionsmodell und/oder das Klassifikationsmodell können in ähnlicher Weise trainiert werden, wie oben im Zusammenhang mit 1 beschrieben. In der Beispielimplementierung 200 kann das Merkmalsextraktionsmodell einen neuronalen Faltungsnetzwerk-Kodierer enthalten oder mit diesem verbunden sein. Außerdem kann das Anomalie-Lokalisierungsmodell einem neuronalen Faltungsnetzwerk-Dekodierer entsprechen. Auf diese Weise können das Merkmalsextraktionsmodell und das Anomalie-Lokalisierungsmodell als ein neuronaler Faltungsnetzwerk-Autokodierer angeordnet sein, wie an anderer Stelle hierin beschrieben. Das Klassifizierungsmodell kann eine oder mehrere Stützvektormaschinen, wie an anderer Stelle beschrieben, enthalten und/oder mit ihnen verbunden sein.
  • In der Beispielimplementierung 200 kann das Objektverwaltungssystem eine Bilderfassungsvorrichtung (z. B. eine Kamera) enthalten und/oder mit ihr verbunden sein, die so konfiguriert ist, dass sie ein Bild eines Objekts, wie hier beschrieben, erfasst und/oder bereitstellt. Das Objektverwaltungssystem kann unter anderem ein Montage- oder Fertigungssystem, ein Bestandsverwaltungssystem und/oder ein Transportsystem umfassen. Das Objektanalysesystem kann mit dem Objektverwaltungssystem verbunden sein, um die Verarbeitung eines Objekts zu erleichtern, je nachdem, ob das Objektanalysesystem eine Anomalie (oder einen bestimmte Typ von Anomalie) an dem Objekt feststellt. In einigen Implementierungen kann das Objektanalysesystem so konfiguriert sein, dass es Muster von erkannten Anomalien anzeigt und/oder identifiziert, die auf ein Problem mit einer oder mehreren Komponenten oder Elementen des Objektverwaltungssystems hinweisen (z. B. ein fehlerhaftes Teil einer Fertigungsmaschine, das Objekte mit Anomalien verursacht). Dementsprechend kann das Objektanalysesystem dem Objektverwaltungssystem und/oder der Benutzervorrichtung Informationen zur Verfügung stellen, die es dem Objektverwaltungssystem und/oder einem Benutzer der Benutzervorrichtung ermöglichen, ein Objekt (oder das Objektverwaltungssystem) zu bearbeiten und/oder zu verwalten, je nachdem, ob das Objekt als anomales Objekt eingestuft wird.
  • Wie in 2 und unter der Referenznummer 210 gezeigt, empfängt das Objektanalysesystem ein Eingabebild. Zum Beispiel kann das Objektanalysesystem das Eingabebild von der Bilderfassungsvorrichtung erhalten. Die Bilderfassungsvorrichtung kann innerhalb des Objektverwaltungssystems konfiguriert und/oder positioniert werden, um die bildbasierte Anomalieerkennung gemäß den hier beschriebenen Beispielen zu erleichtern. In einigen Implementierungen kann die Bilderfassungsvorrichtung innerhalb des Objektverwaltungssystems in derselben oder einer ähnlichen Position wie eine oder mehrere Bilderfassungsvorrichtungen konfiguriert werden, die zur Erfassung der oben beschriebenen Referenzbilder in Verbindung mit dem Training des Merkmalsextraktionsmodells und/oder des Klassifizierungsmodells in der Beispielimplementierung 100 verwendet wurden. Auf diese Weise kann das Eingabebild ein Objekt darstellen, das von dem Objektverwaltungssystem in ähnlicher Weise verarbeitet wird, wie die nicht anomalen Objekte in den oben beschriebenen Referenzbildern dargestellt werden.
  • Wie in 2 und unter der Referenznummer 220 weiter gezeigt, identifiziert das Objektanalysesystem die abgebildeten Merkmale des Objekts. Wie gezeigt, kann das Objektanalysesystem beispielsweise über das Merkmalsextraktionsmodell Bilddaten empfangen, die mit dem Eingabebild verbunden sind, und Objektmerkmale aus den Pixelwerten der Bilddaten identifizieren (z. B. Pixelwerte, die das Objekt im Eingabebild darstellen). Der neuronale Faltungsnetzwerk-Kodierer des Merkmalsextraktionsmodells kann auf der Grundlage von Referenzbildern trainiert werden, die nicht anomale Objekte darstellen, wie an anderer Stelle hierin beschrieben. In einigen Implementierungen hat der neuronale Faltungsnetzwerk-Kodierer mehrere Schichten. Zum Beispiel kann der neuronale Faltungsnetzwerk-Kodierer eine Eingabeschicht enthalten, die die Bilddaten empfängt, eine oder mehrere Zwischenschichten, die darauf trainiert sind, die Bilddaten entsprechend den im Bild dargestellten identifizierten Merkmalen zu verarbeiten, und eine Ausgabeschicht, die dem Klassifizierungsmodell Merkmalsdaten als erste Merkmalsausgabe liefert. Auf diese Weise kann das Klassifizierungsmodell einen Satz von Merkmalen empfangen und/oder identifizieren, die das Merkmalsextraktionsmodell in dem Eingabebild identifiziert hat, um dem Klassifizierungsmodell zu ermöglichen, einen Anomaliestatus des Objekts zu bestimmen.
  • In einigen Implementierungen kann das Objektanalysesystem auf der Grundlage des Eingabebildes eine oder mehrere Vorverarbeitungstechniken für das Bild durchführen, um die hier beschriebene bildbasierte Anomalieerkennung zu erleichtern. Zum Beispiel kann das Objektanalysesystem (z. B. über das Merkmalsextraktionsmodell) ein Bildverarbeitungsmodell verwenden (z. B. ein Modell, das eine Objekterkennungstechnik, eine Segmentierungstechnik und/oder eine Kantendetektionstechnik verwendet), um ein im Eingabebild dargestelltes Objekt zu lokalisieren. Genauer gesagt, kann die Vorverarbeitungstechnik einen dem Objekt zugeordneten Begrenzungsrahmen identifizieren, die einen Umfang des Objekts auf der Grundlage einer Analyse auf Pixelebene angibt. Dementsprechend können Pixel des Eingabebildes, die das Objekt darstellen, aus Pixeln des Eingabebildes extrahiert werden, die keinen Teil des Objekts darstellen (z. B. um Hintergrund und/oder Rauschen aus dem Eingabebild zu entfernen). Zusätzlich oder alternativ können die Pixel, die keinen Teil des Objekts darstellen, auf einen festen Wert (z. B. Null) gesetzt werden, so dass das Modell zur Merkmalsextraktion (oder das Klassifizierungsmodell oder das Anomalie-Lokalisierungsmodell) keine Ressourcen für die Analyse der Pixel verschwenden muss, die keinen Teil des Objekts darstellen. Auf diese Weise können die Bilddaten in der Beispielimplementierung 200 nur Pixel enthalten, die das Objekt darstellen (oder mit ihm verbunden sind), so dass das Merkmalsextraktionsmodell nur die Pixel des Eingabebildes analysiert, die einen Teil des Objekts darstellen.
  • Das Merkmalsextraktionsmodell kann dem Anomalie-Lokalisierungsmodell Lokalisierungsdaten zur Verfügung stellen. In einigen Implementierungen stellt das Merkmalsextraktionsmodell die Lokalisierungsdaten bereit (oder ermöglicht es dem Anomalie-Lokalisierungsmodell, diese zu erhalten), nachdem das Anomalie-Lokalisierungsmodell ausgelöst wurde, um einen Ort der Anomalie zu bestimmen (z. B. auf der Grundlage der Feststellung, dass das Objekt eine Anomalie enthält). Auf diese Weise kann das Merkmalsextraktionsmodell dem Anomalie-Lokalisierungsmodell erst dann Lokalisierungsdaten zur Verfügung stellen, wenn eine Anomalie zu lokalisieren ist, wie an anderer Stelle hierin beschrieben.
  • Das Merkmalsextraktionsmodell kann Lokalisierungsdaten als eine zweite Merkmalsausgabe von einer Zwischenschicht des neuronalen Faltungsnetzwerk-Kodierers liefern. Dementsprechend können die erste Merkmalsausgabe und die zweite Merkmalsausgabe von verschiedenen Schichten eines neuronalen Faltungsnetzwerks (z. B. dem neuronalen Faltungsnetzwerk-Kodierer) des Merkmalsextraktionsmodells stammen. Das Merkmalsextraktionsmodell kann so trainiert werden, dass es die Lokalisierungsdaten von einer Zwischenschicht ausgibt, die ein Merkmal erkennt, das auf eine Anomalie hinweist, und/oder von einer Zwischenschicht, die ein unbekanntes Merkmal erkennt, wie z. B. ein Merkmal, das während einer Trainingsperiode des Merkmalsextraktionsmodells und/oder des Klassifikationsmodells nicht gelernt wurde. Auf diese Weise kann das Merkmalsextraktionsmodell dem Anomalie-Lokalisierungsmodell erlauben, parallel zum Merkmalsextraktionsmodell, das zusätzliche Merkmale identifiziert, den Ort der Anomalie zu bestimmen. Dementsprechend kann das Anomalie-Lokalisierungsmodell den Ort der Anomalie, wie an anderer Stelle hierin beschrieben, relativ früher anzeigen, als wenn die Lokalisierungsdaten von der Ausgabeschicht (oder denselben wie die Merkmalsdaten) bereitgestellt würden und/oder wenn das Anomalie-Lokalisierungsmodell in Reihe zwischen dem Merkmalsextraktionsmodell und dem Klassifikationsmodell angeordnet wäre. Auf diese Weise kann das Objektanalysesystem, da das Klassifizierungsmodell nicht so lange warten muss, um mit einer Anomalie verbundene Ortsinformationen zu empfangen, wie oben beschrieben, eine Anomalie gemäß einem Ort der Anomalie, wie an anderer Stelle hierin beschrieben, schneller erkennen und/oder klassifizieren, als wenn das Anomalie-Lokalisierungsmodell die Lokalisierungsdaten von der Ausgabeschicht des Merkmalsextraktionsmodells erhält und/oder wenn das Anomalie-Lokalisierungsmodell in Reihe zwischen dem Merkmalsextraktionsmodell und dem Klassifizierungsmodell angeordnet ist.
  • Wie in 2 und unter der Referenznummer 230 weiter dargestellt, lokalisiert das Objektanalysesystem anomale Merkmale auf der Grundlage von Pixelfehlern. Beispielsweise kann das Anomalie-Lokalisierungsmodell des Objektanalysesystems die Pixelfehler innerhalb der Lokalisierungsdaten vom Merkmalsextraktionsmodell empfangen und die anomalen Merkmale gemäß den Lokalisierungsdaten lokalisieren. Wie oben erwähnt, kann das Anomalie-Lokalisierungsmodell die Lokalisierungsdaten als zweite Merkmalsausgabe des Merkmalsextraktionsmodells aus einer anderen Schicht als eine erste Merkmalsausgabe des Merkmalsextraktionsmodells empfangen, die die Merkmalsdaten enthält.
  • In einigen Implementierungen kann das Anomalie-Lokalisierungsmodell ausgelöst werden (z. B. durch das Klassifizierungsmodell), um den Ort einer Anomalie zu bestimmen und/oder die Lokalisierungsdaten zu erhalten, nachdem das Klassifizierungsmodell festgestellt hat, dass das Eingabebild ein anomales Objekt darstellt. In einem solchen Fall kann das Anomalie-Lokalisierungsmodell die Lokalisierungsdaten erst dann empfangen oder erhalten, wenn das Klassifizierungsmodell eine Anomalie an einem Objekt erkennt und/oder feststellt, dass das Eingabebild ein anomales Objekt darstellt (z. B. gemäß einer binären Klassifizierungstechnik). Auf diese Weise kann das Model Anomalie-Lokalisierungsmodell die Lokalisierungsdaten des Modells zur Merkmalsextraktion erst dann verarbeiten, wenn das Klassifizierungsmodell eine Anomalie erkannt hat, wodurch Rechenressourcen eingespart werden, die andernfalls durch den Versuch verschwendet würden, eine (nicht vorhandene) Anomalie in einem Eingabebild zu lokalisieren, das ein nicht anomales Bild darstellt.
  • Der neuronale Faltungsnetzwerk-Dekodierer des Anomalie-Lokalisierungsmodells kann auf der Grundlage von Referenzbildern trainiert werden, die keine anomalen Objekte zeigen. Das Anomalie-Lokalisierungsmodells kann beispielsweise auf ähnliche Weise trainiert werden wie das Merkmalsextraktionsmodell, wie an anderer Stelle beschrieben. Die Pixelfehler können auf der Grundlage einer Ähnlichkeitsanalyse (z. B. unter Verwendung eines Strukturähnlichkeitsindexmaßes (SSIM) pro identifiziertem Pixelfehler) bestimmt werden, die das Eingabebild und ein rekonstruiertes Bild des Objekts aus den Lokalisierungsdaten umfasst. Das rekonstruierte Bild kann beispielsweise repräsentativ für Pixelwerte sein, die der Darstellung eines nicht anomalen Objekts entsprechen. Dementsprechend kann das Anomalie-Lokalisierungsmodell auf der Grundlage der Bestimmung eines Konfidenzniveaus durch das Anomalie-Lokalisierungsmodell, das mit den Pixelwerten des Eingabebildes (und/oder der Lokalisierungsdaten) verbunden ist, die den Pixelwerten des rekonstruierten Bildes entsprechen (z. B. nicht innerhalb eines bestimmten Wertebereichs der Pixelwerte liegen), den Ort einer Anomalie auf dem Objekt identifizieren (z. B. wie zumindest in Verbindung mit 4 weiter beschrieben).
  • Das Anomalie-Lokalisierungsmodell kann den Ort innerhalb der Anomalie-Lokalisierungsinformationen angeben. Zum Beispiel können die Anomalie-Lokalisierungsinformationen Koordinaten des Bildes und/oder Lokalisierungsinformationen identifizieren, die sich auf das Objekt beziehen (z. B. unter Verwendung von Richtungsbezeichnern, wie oberer Teil, unterer Teil, mittlerer Teil, linker Teil, rechter Teil, und/oder unter Verwendung von Oberflächenbezeichnern, wie obere Fläche, Seitenfläche, untere Fläche usw.). In einigen Implementierungen kann das Anomalie-Lokalisierungsmodell die Größe einer Anomalie auf der Grundlage einer Menge von Pixelfehlern, einer Menge von Pixeln in einem aus den Pixelfehlern bestimmten Cluster (z. B. einer Gruppe von Pixeln, die sich innerhalb eines Bereichs oder einer Begrenzung befinden, der/die durch identifizierte Pixelfehler gebildet wird) und/oder den Koordinaten des Bildes, die die Pixelfehler enthalten, bestimmen. Das Anomalie-Lokalisierungsmodell kann dem Klassifizierungsmodell die Größe der Anomalie innerhalb der Anomalie-Lokalisierungsinformationen anzeigen. Auf diese Weise kann das Objektanalysesystem unter Verwendung des Anomalie-Lokalisierungsmodells den Ort einer Anomalie bestimmen und/oder der Stützvektormaschine anzeigen.
  • Wie in 2 und unter der Referenznummer 240 weiter dargestellt, bestimmt das Objektanalysesystem ein Klassifizierungsergebnis auf der Grundlage der Merkmale. Beispielsweise kann das Klassifizierungsmodell des Objektanalysesystems die Merkmalsdaten und/oder die Anomalie-Lokalisierungsinformationen empfangen und ein Klassifizierungsergebnis bestimmen, das auf einen Anomaliestatus des Objekts hinweist, basierend auf den Merkmalsdaten und/oder den Anomalie-Lokalisierungsinformationen. In einigen Implementierungen kann das Klassifizierungsmodell ein Klassifizierungsergebnis (z. B. über eine Stützvektormaschine) auf der Grundlage einer ersten Merkmalsausgabe des Merkmalsextraktionsmodells (z. B. der Merkmalsdaten aus der Ausgabeschicht des neuronalen Faltungsnetzwerk-Kodierers) bestimmen.
  • Wie oben erwähnt, kann das Klassifizierungsmodell eine Stützvektormaschine enthalten oder mit ihr verbunden sein, die so konfiguriert ist, dass sie das Klassifizierungsergebnis liefert, das den Anomaliestatus anzeigt. In einigen Implementierungen kann die Stützvektormaschine des Klassifizierungsmodells eine Einklassen-Stützvektormaschine sein, die speziell für die Analyse des Typs des im Eingabebild dargestellten Objekts trainiert wurde, wie an anderer Stelle hierin beschrieben. Der Anomaliestatus kann anzeigen, ob das Eingabebild das Objekt mit einer Anomalie darstellt, basierend auf dem Klassifizierungsergebnis, das darauf hinweist, dass das Objekt ein anomales Merkmal enthält. Der Anomaliestatus kann auf der Grundlage eines Vergleichs des Klassifizierungsergebnisses mit einem Klassifizierungsschwellenwert (z. B. einem Schwellenwert, der damit verbunden ist, ob ein anomales Merkmal auf eine Anomalie hinweist oder nicht) bestimmt und/oder angezeigt werden. In einem solchen Fall kann das Klassifizierungsmodell eine binäre Klassifizierung gemäß dem Klassifizierungsschwellenwert ausgeben (basierend darauf, ob der Klassifizierungswert den Klassifizierungsschwellenwert erfüllt oder nicht erfüllt). Dementsprechend kann der Anomaliestatus anzeigen, ob das Objekt ein anomales Merkmal enthält oder nicht. In einigen Implementierungen kann der Anomaliestatus, wenn das Objekt ein anomales Merkmal enthält, bestimmte Merkmale einer Anomalie anzeigen, die mit dem anomalen Merkmal verbunden sind (z. B. Typ, Ort und/oder Größe, neben anderen Beispielen).
  • In einigen Implementierungen kann das Anomalie-Lokalisierungsmodell dem Klassifizierungsmodell eine binäre Klassifizierung liefern (z. B. die Angabe, ob das Objekt anomal oder nicht anomal ist). Auf diese Weise kann das Klassifizierungsmodell die binäre Klassifizierung des Anomalie-Lokalisierungsmodells mit einer Stützvektormaschinenklassifizierung (z. B. einer binären Klassifizierung der Stützvektormaschine) des Klassifizierungsmodells kombinieren, um zu überprüfen, ob der Klassifizierungswert genau anzeigt, ob das Objekt anomal oder nicht anomal ist. Dementsprechend kann das Anomalie-Lokalisierungsmodell das Vertrauen und/oder die Genauigkeit in Bezug auf die Erkennung (oder Vorhersage), ob ein Objekt eine Anomalie aufweist, verbessern. Wenn eine binäre Klassifizierung des Anomalie-Lokalisierungsmodells die Stützvektormaschinenklassifizierung des Klassifizierungsmodells nicht verifiziert oder validiert (oder umgekehrt), kann das Objektanalysesystem in einigen Implementierungen anzeigen (z. B. an die Benutzervorrichtung und/oder das Objektverwaltungssystem), dass eine weitere Verarbeitung erforderlich ist. Zusätzlich oder alternativ kann das Objektanalysesystem ein anderes Eingabebild anfordern oder erhalten, das das Objekt darstellt (und eine Analyse auf der Grundlage des anderen Eingabebildes durchführen), und/oder das Objektverwaltungssystem veranlassen, das Objekt neu zu konfigurieren, bevor ein anderes Bild angefordert oder erhalten wird, das das Objekt darstellt.
  • In 2 kann das Klassifizierungsmodell mehrere Stützvektormaschinen verwenden, um identifizierte Anomalien auf dem Objekt zu klassifizieren. Zum Beispiel kann das Klassifizierungsmodell eine erste Stützvektormaschine enthalten, die trainiert ist, um eine binäre Klassifizierung zu bestimmen (z. B. gemäß einem ersten Klassifizierungsschwellenwert), die anzeigt, ob das Objekt eine Anomalie enthält oder nicht enthält, eine zweite Stützvektormaschine, die trainiert ist, um eine binäre Klassifizierung zu bestimmen (z.B. gemäß einem zweiten Klassifizierungsschwellenwert), die anzeigt, ob eine identifizierte Anomalie ein Kratzer ist oder nicht, und eine dritte Stützvektormaschine, die trainiert ist, um eine binäre Klassifizierung zu bestimmen (z.B. gemäß einem dritten Klassifizierungsschwellenwert), die anzeigt, ob die Anomalie eine Verfärbung ist oder nicht, neben anderen Beispielen. Dementsprechend kann das Klassifizierungsmodell, wie gezeigt, über die erste Stützvektormaschine Anomaliedaten erzeugen, die anzeigen, dass das Objekt eine Anomalie enthält und/oder dass zwei identifizierte Merkmale des Objekts zwei Anomalien entsprechen (Anomalie 1 und Anomalie 2). Außerdem kann das Klassifizierungsmodell, wie gezeigt, über die zweite Stützvektormaschine Anomaliedaten erzeugen, die anzeigen, dass eine erste Anomalie (Anomalie 1) ein Kratzer ist. Darüber hinaus kann das Klassifizierungsmodell über die dritte Hilfsvektormaschine Anomaliedaten erzeugen, die darauf hinweisen, dass eine zweite Anomalie (Anomalie 2) eine Verfärbung ist.
  • In einigen der gezeigten Implementierungen kann das Objektanalysesystem die Informationen zur Position der Anomalie mit der Anomalieklassifizierung kombinieren, um die Anomaliedaten zu erzeugen. Wie gezeigt, können die Anomaliedaten für die erste Anomalie beispielsweise anzeigen, dass sich ein Kratzer auf dem Objekt befindet, der bei den Koordinaten (x1, y1) abgebildet ist und eine Größe von 3 Millimetern hat. Ferner können die Anomaliedaten für die zweite Anomalie anzeigen, dass sich eine Verfärbung auf dem Objekt befindet, das bei den Koordinaten (x2, y2) dargestellt ist und eine Größe von 1 Millimeter hat. In einigen Implementierungen, wie an anderer Stelle beschrieben, können die Anomaliedaten mit dem Eingabebild kombiniert werden, um den Ort einer Anomalie und/oder den Typ der Anomalie anzuzeigen. Beispielsweise kann das Objektanalysesystem einen Standortindikator (z. B. eine Hervorhebung, einen Umriss, einen Pfeil und/oder eine Überlagerung, neben anderen Beispielen) erzeugen, der den Standort einer Anomalie auf dem Objekt anzeigt, wie es im Eingabebild dargestellt ist, indem der Standortindikator über das Eingabebild gelegt und/oder der Standortindikator in das Eingabebild eingebettet wird.
  • Wie in 2 und unter der Referenznummer 250 weiter dargestellt, stellt das Objektanalysesystem der Benutzervorrichtung Anomaliedaten zur Verfügung. Beispielsweise kann das Objektanalysesystem eine Benachrichtigung an die Benutzervorrichtung senden, die die Anomaliedaten enthält und/oder einen Benutzer der Benutzervorrichtung warnt (z. B. über eine Eingabeaufforderung oder einen Benachrichtigungsindikator), dass ein Objekt eine Anomalie enthält (z. B. um dem Benutzer zu ermöglichen, das Objekt innerhalb des Objektverwaltungssystems zu identifizieren und/oder zu behandeln). In einigen Implementierungen kann das Objektanalysesystem einen Bericht auf der Grundlage der Anomaliedaten erstellen. Der Bericht kann beispielsweise mit einem Zeitraum oder einem Stapel von Objekten verknüpft sein, die das Objektanalysesystem, wie hier beschrieben, analysiert hat. In einigen Implementierungen kann der Bericht Statistiken anzeigen, die mit erkannten Anomalien verbunden sind (z. B. eine Menge von Objekten, bei denen Anomalien festgestellt wurden, eine Menge bestimmter Typen von Anomalien, ein Muster oder ein Trend, der mit bestimmten Merkmalen von Anomalien verbunden ist, und/oder Ähnliches). In einigen Implementierungen kann das Objektanalysesystem die Anomaliedaten an die Benutzervorrichtung liefern, basierend auf dem Erkennen, dass das Objekt eine Anomalie enthält, basierend auf dem Erkennen, dass eine Schwellenmenge von analysierten Objekten während eines bestimmten Zeitraums eine Anomalie enthält, basierend auf dem Erkennen, dass ein Schwellenprozentsatz von analysierten Objekten während eines bestimmten Zeitraums eine Anomalie enthält, und/oder basierend auf dem Erkennen eines bestimmten Trends, der mit einem bestimmten Merkmal einer Anomalie auf Objekten verbunden ist, die sich über einen bestimmten Zeitraum entwickelt haben (z. B. mehrere Objekte weisen eine gleiche oder ähnliche Anomalie auf, was auf ein Problem mit einer oder mehreren Komponenten des Objektverwaltungssystems hinweisen kann, das die Anomalien verursacht).
  • Wie in 2 und unter der Referenznummer 260 weiter dargestellt, erleichtert das Objektanalysesystem die Objektverarbeitung. Beispielsweise kann das Objektanalysesystem die Anomaliedaten dem Objektverwaltungssystem zur Verfügung stellen, um das Objektverwaltungssystem zu veranlassen, das Objekt zu verwalten. Genauer gesagt kann das Objektanalysesystem die Anomaliedaten dem Objektverwaltungssystem zur Verfügung stellen, um das Objektverwaltungssystem zu veranlassen, eine oder mehrere Vorrichtungen zu steuern, um das Objekt gemäß einer oder mehrerer Operationen zu verwalten. Eine solche Operation kann beispielsweise das Aussortieren des Objekts (z. B. durch Entfernen des Objekts aus der Verarbeitung), das Kennzeichnen des Objekts als anomal (z. B. über einen Kennzeichnungsmechanismus des Objektanalysesystems) und/oder das Weiterleiten des Objekts an einen Bereich, der für anomale Objekte vorgesehen ist (z. B. ein Bereich, in dem die anomalen Objekte weiter inspiziert und/oder repariert werden können), neben anderen Beispielen umfassen. In einigen Implementierungen kann das Objektanalysesystem entsprechend den Anomaliedaten das Objektverwaltungssystem steuern, um eine oder mehrere mit dem Objekt verbundene Operationen durchzuführen.
  • Auf diese Weise kann das Objektanalysesystem ein robustes und genaues bildbasiertes Modell zur Erkennung von Anomalien verwenden, um die Verwaltung und/oder Verarbeitung von Objekten zu erleichtern und sicherzustellen, dass die analysierten Objekte bestimmte Kriterien oder Standards erfüllen (z. B. keine anomalen Objekte sind), bevor die Objekte aus dem Objektverwaltungssystem ausgegeben, im Feld verwendet und/oder an Verbraucher verkauft werden, wodurch die Wahrscheinlichkeit einer Gefahr oder eines beeinträchtigten Verbrauchererlebnisses durch Objekte, die die bestimmten Kriterien oder Standards nicht erfüllen (z. B. anomale Objekte), verringert oder verhindert wird.
  • Wie bereits erwähnt, ist 2 als Beispiel zu verstehen. Andere Beispiele können von der Beschreibung in 2 abweichen. Die Anzahl und Anordnung der in 2 gezeigten Vorrichtungen ist ein Beispiel. In der Praxis kann es zusätzliche Vorrichtungen, weniger Vorrichtungen, verschiedene Vorrichtungen oder unterschiedliche angeordnete Vorrichtungen als die in 2 gezeigten geben. Darüber hinaus können zwei oder mehr der in 2 gezeigten Vorrichtungen in einer einzigen Vorrichtung implementiert sein, oder eine einzelne in 2 gezeigte Vorrichtung kann als mehrere verteilte Vorrichtungen implementiert sein. Zusätzlich oder alternativ kann ein in 2 dargestellter Satz von Vorrichtungen (z. B. eine oder mehrere Vorrichtungen) eine oder mehrere Funktionen ausführen, die von einem anderen in 2 dargestellten Satz von Vorrichtungen ausgeführt werden.
  • 3 ist ein Diagramm einer Beispielimplementierung in Verbindung mit einem hierin beschriebenen Klassifikationsmodell. Wie in 3 gezeigt, umfasst eine Beispielimplementierung ein Beispiel für eine Anordnung von Stützvektormaschinen, die in einem an anderer Stelle hierin beschriebenen Klassifikationsmodell enthalten sein, von diesem genutzt und/oder in Verbindung mit diesem trainiert werden können. Die Anordnung kann eine Kaskade 300 von mehreren Stützvektormaschinen umfassen, einschließlich einer ersten Stützvektormaschine und nachfolgenden Stützvektormaschinen (sSVM_t) für verschiedene Typen (t) von Anomalien. Die erste Stützvektormaschine und die nachfolgenden Stützvektormaschinen können individuelle Einzelklassen-Stützvektormaschinen sein, die unabhängig voneinander für einen bestimmten Zweck trainiert werden. Genauer gesagt kann die erste Stützvektormaschine so trainiert werden, dass sie eine binäre Klassifizierung liefert, ob ein empfangenes Eingabebild eine Anomalie enthält oder keine Anomalie enthält. Die Schwellenwerte der Stützvektormaschinen können variieren und entsprechend den Referenzbildern von nicht anomalen Objekten bestimmt werden, wie an anderer Stelle hier beschrieben. Darüber hinaus können die einzelnen nachfolgenden Stützvektormaschinen in der Kaskade 300 eine binäre Klassifizierung liefern, die angibt, ob die Anomalie einem entsprechenden Typ von Anomalie entspricht, für deren Erkennung die einzelnen nachfolgenden Stützvektormaschinen trainiert sind.
  • Dementsprechend kann die erste Stützvektormaschine, wie unter der Referenznummer 302 gezeigt, ein Eingabebild analysieren, um festzustellen, ob das Eingabebild ein nicht anormales Objekt darstellt. Wenn die erste Stützvektormaschine feststellt, dass das Eingabebild ein nicht anormales Objekt darstellt, zeigt die erste Stützvektormaschine an, dass das Objekt „Ok“ ist (z. B. was repräsentativ für nicht anormal sein kann), wie durch die Referenznummer 304 gezeigt. Wenn die erste Stützvektormaschine feststellt, dass das Eingabebild ein anomales Objekt darstellt, kann die erste Stützvektormaschine anzeigen, dass eine Anomalie erkannt wurde, wie durch die Referenznummer 306 dargestellt. Darüber hinaus bestimmt eine nachfolgende Stützvektormaschine in einer ersten Iteration, wie durch die Referenznummer 308 dargestellt, ob die erkannte Anomalie einer bestimmten Art von Anomalie entspricht. Wenn die nachfolgende Stützvektormaschine feststellt, dass es sich bei der Anomalie um einen bestimmten Typ von Anomalie handelt, kann der bestimmte Typ angegeben werden, wie durch die Referenznummer 310 dargestellt. Wenn die nachfolgende Stützvektormaschine feststellt, dass es sich bei der Anomalie nicht um den bestimmten Typ von Anomalie handelt, für dessen Erkennung die nachfolgende Stützvektormaschine trainiert wurde, bestimmt die Kaskade, ob nach einer anderen Anomalie gesucht werden soll, wie durch die Referenznummer 312 dargestellt. Wenn die nachfolgende Stützvektormaschine die letzte Stützvektormaschine in der Kaskade ist, kann die Klassifizierungsanalyse beendet werden. Andernfalls wiederholt das Klassifizierungsmodell die Analyse mit einer anderen nachfolgenden Stützvektormaschine, die darauf trainiert ist, festzustellen, ob es sich bei der Anomalie um einen anderen Typ von Anomalie handelt, wie in Referenznummer 314 dargestellt, und so weiter.
  • Die nachfolgenden Stützvektormaschinen können innerhalb der Kaskade auf jede geeignete Weise angeordnet werden. So kann beispielsweise ein am häufigsten erkannter Typ von Anomalie innerhalb der Kaskade am nächsten zur ersten Stützvektormaschine positioniert werden (z. B. um die Wahrscheinlichkeit zu verringern, dass mehrere Iterationen durch die Kaskade erforderlich sind). Zusätzlich oder alternativ kann eine einfachste oder am wenigsten komplexe Stützvektormaschine (die z.B. so konfiguriert sein kann, dass sie Anomalien identifiziert, die unter den Stützvektormaschinen am leichtesten zu erkennen sind) innerhalb der Kaskade am nächsten zur ersten Stützvektormaschine positioniert werden (z.B. um sicherzustellen, dass die Anomalie zuerst auf die am leichtesten zu erkennenden Anomalien hin analysiert wird, was relativ weniger Verarbeitungsleistung erfordern mag).
  • Dementsprechend kann, wie in 3 gezeigt, eine erste Stützvektormaschine innerhalb einer Kaskade so konfiguriert werden, dass sie eine erste binäre Klassifikation ausgibt, die anzeigt, dass das Objekt ein anomales Merkmal enthält. Darüber hinaus kann eine zweite Stützvektormaschine (z. B. eine der nachfolgenden Stützvektormaschinen) so konfiguriert sein, dass sie auf der Grundlage der ersten binären Klassifizierung, die anzeigt, dass das Objekt ein anomales Merkmal enthält, eine zweite binäre Klassifizierung ausgibt, die anzeigt, dass die Anomalie ein bestimmter Typ von Anomalie ist oder dass die Anomalie nicht der bestimmte Typ von Anomalie ist. Dementsprechend kann das Klassifizierungsmodell Anomaliedaten erzeugen, die auf der Grundlage der zweiten binären Klassifizierung eine Kennzeichnung enthalten, die anzeigt, dass die Anomalie der bestimmte Typ von Anomalie ist oder dass die Anomalie nicht der bestimmte Typ von Anomalie ist.
  • Wie bereits erwähnt, ist 3 als Beispiel zu verstehen. Andere Beispiele können von der Beschreibung in 3 abweichen.
  • 4 ist ein Diagramm einer Beispielimplementierung in Verbindung mit einem Anomalie-Lokalisierungsmodell 400. Wie in 4 gezeigt, umfasst das Anomalie-Lokalisierungsmodell 400 einen neuronalen Faltungsnetzwerk-Autokodierer, der einen Kodierer (z. B. entsprechend dem neuronalen Faltungsnetzwerk-Kodierer, der in Verbindung mit einem oben beschriebenen Merkmalsextraktionsmodell beschrieben wurde) und einen Dekodierer (z. B. entsprechend dem neuronalen Faltungsnetzwerk-Dekodierer, der in Verbindung mit dem oben beschriebenen Anomalie-Lokalisierungsmodell beschrieben wurde) umfasst, die gemäß den an anderer Stelle hierin beschriebenen Beispielen trainiert werden. Darüber hinaus umfasst das Anomalie-Lokalisierungsmodell 400 ein Vergleichsmodul, ein Klassifizierungsmodul und ein Clustermodul.
  • Wie unter der Referenznummer 402 gezeigt, empfängt der neuronale Faltungsnetzwerk-Autokodierer ein Eingabebild. Das Eingabebild soll eine Anomalie enthalten. Der Kodierer identifiziert Merkmale im Eingabebild, die an den Dekodierer weitergegeben werden. Der Dekodierer erzeugt auf der Grundlage der Merkmale ein rekonstruiertes Bild eines Referenzobjekts (z. B. repräsentativ für einen Typ eines Objekts, auf dessen Identifizierung der Faltungs-Autokodierer trainiert wurde), wie unter Referenznummer 404 gezeigt. Bei Referenznummer 406 vergleicht das Vergleichsmodul das Eingabebild und das rekonstruierte Bild (z. B. mit einer SSIM-Fehleranalyse pro Pixel). Auf der Grundlage eines Vergleichs der Pixelwerte (und/oder eines Konfidenzniveaus, dass die Pixelwerte von Pixeln des Eingabebildes den Pixelwerten der entsprechenden Pixel des rekonstruierten Bildes entsprechen) können Pixelfehler erkannt werden, die auf eine Anomalie hinweisen können, und/oder die Orte der Pixelfehler können den Orten der Anomalie entsprechen. Das Vergleichsmodul kann unter der Referenznummer 408 eine Wärmekarte der Anomalie erzeugen, die zur Angabe des Ortes der Anomalie verwendet werden kann. Zusätzlich oder alternativ kann das Clustermodul unter der Bezugsnummer 410 ein Cluster-Verfahren (z. B. ein k-means Clustering) durchführen, um eine Fläche und/oder einen Umfang der Anomalie zu bestimmen, die in die Informationen über den Ort der Anomalie aufgenommen oder angezeigt werden sollen, wie unter der Bezugsnummer 412 dargestellt. Auf diese Weise kann das Anomalie-Lokalisierungsmodell dem Klassifizierungsmodell mit der Anomalie verknüpfte Standortinformationen anzeigen und/oder bereitstellen, die zur Erzeugung von Anomaliedaten verwendet werden können, die mit dem Eingabebild und/oder dem im Eingabebild dargestellten Objekt verknüpft sind.
  • Wie bereits erwähnt, ist 4 als Beispiel zu verstehen. Andere Beispiele können von der Beschreibung in 4 abweichen.
  • 5 ist ein Diagramm, das ein Beispiel 500 für das Training und die Verwendung eines maschinellen Lernmodells in Verbindung mit der bildbasierten Anomalieerkennung zeigt. Das hier beschriebene Training und die Verwendung des maschinellen Lernmodells kann mit einem maschinellen Lernsystem durchgeführt werden. Das maschinelle Lernsystem kann eine Computervorrichtung, einen Server, eine Cloud-Rechenumgebung oder Ähnliches umfassen oder darin enthalten sein, wie z. B. das Objektanalysesystem, das an anderer Stelle hierin ausführlicher beschrieben wird.
  • Wie unter der Referenznummer 505 dargestellt, kann ein maschinelles Lernmodell anhand eines Satzes von Beobachtungen trainiert werden. Der Satz von Beobachtungen kann aus Trainingsdaten (z. B. historischen Daten) gewonnen werden, wie z. B. Daten, die während eines oder mehrerer hier beschriebener Prozesse gesammelt wurden. In einigen Implementierungen kann das maschinelle Lernsystem den Satz von Beobachtungen (z. B. als Eingabe) von einer Referenzdatenstruktur und/oder dem Objektverwaltungssystem (z. B. von einer Bilderfassungsvorrichtung des Objektverwaltungssystems) erhalten, wie an anderer Stelle hierin beschrieben.
  • Wie unter der Referenznummer 510 dargestellt, umfasst der Satz von Beobachtungen einen Merkmalssatz. Der Merkmalssatz kann eine Reihe von Variablen enthalten, und eine Variable kann als Merkmal bezeichnet werden. Eine bestimmte Beobachtung kann einen Satz von Variablenwerten (oder Merkmalswerten) enthalten, die dem Satz von Variablen entsprechen. In einigen Implementierungen kann das maschinelle Lernsystem Variablen für einen Satz von Beobachtungen und/oder Variablenwerte für eine bestimmte Beobachtung auf der Grundlage von Eingaben bestimmen, die von einer Referenzdatenstruktur und/oder dem Objektverwaltungssystem empfangen werden. Beispielsweise kann das maschinelle Lernsystem einen Merkmalsatz (z. B. ein oder mehrere Merkmale und/oder Merkmalswerte) identifizieren, indem es den Merkmalsatz aus strukturierten Daten extrahiert (z. B. Bilddaten, die Bildern zugeordnet sind, die nicht anomale Objekte darstellen), indem es eine Bildverarbeitungstechnik durchführt, um den Merkmalsatz aus unstrukturierten Daten zu extrahieren (z. B. Bilddaten, die mit Bildern verbunden sind, die anomale Objekte und nicht anomale Objekte darstellen), und/oder indem es Eingaben von einem Bediener erhält.
  • Beispielsweise kann ein Merkmalssatz für einen Satz von Beobachtungen ein erstes Merkmal aus Konturdaten (z. B. eine Darstellung eines physischen Elements oder Aspekts eines Objekts, das in einem Bild des Objekts identifizierbar sein kann), ein zweites Merkmal aus Pixeldaten (z. B. ein Rot-, Grün-, Blau- (RGB-) Farbwert von Pixeln des Merkmals), ein drittes Merkmal aus Ortsdaten (z. B. Koordinaten, die einen Ort des Merkmals in der Beobachtung identifizieren) usw. umfassen. Wie gezeigt, kann für eine erste Beobachtung das erste Merkmal den Wert Kontur_1 haben (z. B. ein Bezeichner eines Merkmalstyps), das zweite Merkmal kann den Wert RGB_1 haben (z. B. ein Wert von einem oder mehreren Pixeln, die dem Merkmal in der Beobachtung zugeordnet sind), das dritte Merkmal kann den Wert (X1, Y1) haben (z. B. einen Satz von Koordinaten in Bezug auf einen Referenzpunkt des Objekts und/oder Koordinaten in Bezug auf einen Referenzpunkt des Bildes der Beobachtung, wie z. B. ein Referenzbild oder ein von einer Bilderfassungsvorrichtung erfasstes Bild), und so weiter. Diese Merkmale und Merkmalswerte sind als Beispiele angegeben und können in anderen Beispielen abweichen. Der Merkmalssatz kann beispielsweise eines oder mehrere der folgenden Merkmale enthalten: Größendaten (z. B. Daten, die einen Bereich des Bildes repräsentieren, der das Merkmal der Beobachtung darstellt), Formdaten (z. B. Daten, die einen Umfang des Objekts repräsentieren), Quellendaten (z. B. Daten, die die der Beobachtung zugeordnete Quellvorrichtung identifizieren), Objekttypdaten (z. B. Daten, die einen Typ des der Beobachtung zugeordneten Objekts identifizieren), Objektgrößendaten (z. B. Daten, die eine Größe des Objekts identifizieren) usw.
  • Wie unter der Referenznummer 515 dargestellt, kann der Satz von Beobachtungen mit einer Zielvariablen verbunden sein. Die Zielvariable kann eine Variable mit einem numerischen Wert darstellen, kann eine Variable mit einem numerischen Wert darstellen, der in einen Wertebereich fällt oder einige diskrete mögliche Werte hat, kann eine Variable darstellen, die aus einer von mehreren Optionen auswählbar ist (z. B. eine von mehreren Klassen, Klassifizierungen oder Kennzeichnungen) und/oder kann eine Variable mit einem booleschen Wert darstellen. Eine Zielvariable kann mit einem Zielvariablenwert verbunden sein, und ein Zielvariablenwert kann für eine Beobachtung spezifisch sein. In Beispiel 500 ist die Zielvariable ein Merkmalstyp, der für die erste Beobachtung den Wert Merkmal_1 und für die zweite Beobachtung den Wert Merkmal_2 hat. Merkmal_1 und/oder Merkmal_2 können Merkmalen von nicht anomalen Objekten entsprechen, die einem Typ von Objekt zugeordnet sind (z. B. weil das maschinelle Lernmodell mit Referenzbildern trainiert werden kann, die nicht anomale Objekte darstellen). Entsprechend können die Merkmale (Merkmal_1 und Merkmal_2) einem Referenzobjekt zugeordnet sein, für das das maschinelle Lernmodell trainiert wurde, um es entsprechend den Beobachtungen zu identifizieren und/oder zu konfigurieren.
  • Die Zielvariable kann einen Wert darstellen, für dessen Vorhersage ein maschinelles Lernmodell trainiert wird, und der Merkmalssatz kann die Variablen darstellen, die in ein trainiertes maschinelles Lernmodell eingegeben werden, um einen Wert für die Zielvariable vorherzusagen. Der Satz von Beobachtungen kann Werte der Zielvariablen enthalten, so dass das maschinelle Lernmodell darauf trainiert werden kann, Muster in dem Merkmalssatz zu erkennen, die zu einem Zielvariablenwert führen. Ein maschinelles Lernmodell, das für die Vorhersage eines Zielvariablenwertes trainiert wird, kann als überwachtes Lernmodell bezeichnet werden.
  • In einigen Implementierungen kann das maschinelle Lernmodell auf einem Satz von Beobachtungen trainiert werden, die keine Zielvariable enthalten. Dies kann als unüberwachtes Lernmodell bezeichnet werden. In diesem Fall kann das maschinelle Lernmodell Muster aus der Menge der Beobachtungen ohne Kennzeichnung oder Überwachung lernen und eine Ausgabe liefern, die solche Muster anzeigt, z. B. durch Clustern und/oder Zuordnung, um verwandte Gruppen von Elementen innerhalb der Menge der Beobachtungen zu identifizieren.
  • Wie unter der Referenznummer 520 dargestellt, kann das maschinelle Lernsystem ein maschinelles Lernmodell unter Verwendung des Beobachtungssatzes und eines oder mehrerer maschineller Lernalgorithmen trainieren, wie z. B. eines Regressionsalgorithmus, eines Entscheidungsbaumalgorithmus, eines neuronalen Netzwerkalgorithmus, eines k-nearest neighbor Algorithmus, eines Stützvektormaschinen-Algorithmus oder dergleichen. Nach dem Training kann das maschinelle Lernsystem das maschinelle Lernmodell als trainiertes maschinelles Lernmodell 525 speichern, um es für die Analyse neuer Beobachtungen zu verwenden.
  • Wie unter der Referenznummer 530 dargestellt, kann das maschinelle Lernsystem das trainierte maschinelle Lernmodell 525 auf eine neue Beobachtung anwenden, indem es beispielsweise eine neue Beobachtung empfängt und die neue Beobachtung in das trainierte maschinelle Lernmodell 525 eingibt. Wie gezeigt, kann die neue Beobachtung ein erstes Merkmal Kontur_N, ein zweites Merkmal RGB_N, ein drittes Merkmal (XN, YN), und so weiter, enthalten. Das maschinelle Lernsystem kann das trainierte maschinelle Lernmodell 525 auf die neue Beobachtung anwenden, um eine Ausgabe (z. B. ein Ergebnis) zu erzeugen. Die Art der Ausgabe kann von der Art des maschinellen Lernmodells und/oder der Art der durchgeführten maschinellen Lernaufgabe abhängen. Zum Beispiel kann die Ausgabe einen vorhergesagten Wert einer Zielvariablen enthalten, wie z. B. bei überwachtem Lernen. Zusätzlich oder alternativ kann die Ausgabe Informationen enthalten, die einen Cluster identifizieren, zu dem die neue Beobachtung gehört, und/oder Informationen, die den Grad der Ähnlichkeit zwischen der neuen Beobachtung und einer oder mehreren anderen Beobachtungen angeben, z. B. wenn unüberwachtes Lernen eingesetzt wird.
  • Beispielsweise kann das trainierte maschinelle Lernmodell 525 für die Zielvariable des Merkmalstyps für die neue Beobachtung den Wert „Anomalie“ vorhersagen, wie durch die Referenznummer 535 dargestellt. Die Zielvariable kann beispielsweise eine Anomalie anzeigen, um darauf hinzuweisen, dass die Beobachtung einem anomalen Objekt zugeordnet ist. Das trainierte maschinelle Lernmodell 525 kann den Wert „Anomalie“ vorhersagen, wenn der Merkmalssatz der neuen Beobachtung nicht einem Merkmalstyp zugeordnet werden kann, der beim Training des maschinellen Lernmodells gelernt wurde. Auf der Grundlage dieser Vorhersage kann das maschinelle Lernsystem eine erste Empfehlung aussprechen, eine Ausgabe zur Bestimmung einer ersten Empfehlung bereitstellen, eine erste automatisierte Aktion durchführen und/oder die Durchführung einer ersten automatisierten Aktion veranlassen (z. B. durch Anweisung an einer anderen Vorrichtung, die automatisierte Aktion durchzuführen), neben anderen Beispielen. Die erste Empfehlung kann beispielsweise eine Empfehlung an einen Benutzer einer Benutzervorrichtung beinhalten, eine Anomalie auf einem Objekt der neuen Beobachtung zu behandeln und/oder eine Empfehlung an ein Objektverwaltungssystem, das Objekt auf der Grundlage einer Anomalie zu verwalten (z. B. das Objekt von nicht anomalen Objekten zu sortieren oder zu entfernen). Die erste automatisierte Aktion kann beispielsweise die Bereitstellung von Anomaliedaten an eine Benutzervorrichtung umfassen, um anzuzeigen, dass das Objekt der neuen Beobachtung eine Anomalie enthält, und/oder ein Objektverwaltungssystem veranlassen, das Objekt der neuen Beobachtung auf der Grundlage des Vorhandenseins einer Anomalie zu verwalten (z. B. das Objekt aus nicht anomalen Objekten zu sortieren oder zu entfernen).
  • Als ein weiteres Beispiel kann, wenn das maschinelle Lernsystem einen Wert vorhersagt, der einem gelernten Merkmal für die Zielvariable des Merkmalstyps zugeordnet ist, das maschinelle Lernsystem eine zweite (z. B. andere) Empfehlung aussprechen (z. B. die Empfehlung, das Objekt zu verwenden oder auszugeben, oder eine Empfehlung, die Verwendung oder Ausgabe des Objekts zu ermöglichen) und/oder eine zweite (z. B. andere) automatisierte Aktion durchführen oder veranlassen (z. B. die Verwendung oder Ausgabe des Objekts ermöglichen).
  • In einigen Implementierungen kann das trainierte maschinelle Lernmodell 525 die neue Beobachtung in einem Cluster klassifizieren (z. B. clustern), wie durch die Referenznummer 540 dargestellt. Die Beobachtungen innerhalb eines Clusters können einen Schwellenwert für den Grad der Ähnlichkeit aufweisen. Wenn das maschinelle Lernsystem beispielsweise die neue Beobachtung in einem ersten Cluster klassifiziert (z. B. einem Cluster, der einem ersten Typ von Anomalie zugeordnet ist), kann das maschinelle Lernsystem eine erste Empfehlung aussprechen, wie die oben beschriebene erste Empfehlung. Zusätzlich oder alternativ kann das maschinelle Lernsystem eine erste automatisierte Aktion durchführen und/oder die Durchführung einer ersten automatisierten Aktion veranlassen (z. B. durch Anweisung an einer anderen Vorrichtung, die automatisierte Aktion durchzuführen), basierend auf der Klassifizierung der neuen Beobachtung in dem ersten Cluster, wie die oben beschriebene erste automatisierte Aktion.
  • Als ein weiteres Beispiel kann, wenn das maschinelle Lernsystem die neue Beobachtung in einem zweiten Cluster klassifiziert (z. B. einem Cluster, der einem zweiten Typ von Anomalie zugeordnet ist), das maschinelle Lernsystem eine zweite (z. B. andere) Empfehlung aussprechen (z. B. empfehlen, das Objekt zu zerstören oder zu recyceln, wenn es sich bei dem zweiten Typ von Anomalie um einen Typ handelt, der irreparabel ist), und/oder es kann eine zweite (z. B. andere) automatisierte Aktion durchführen oder veranlassen, wie z. B. die Zerstörung des Objekts.
  • In einigen Implementierungen kann die Empfehlung und/oder die automatisierte Aktion, die der neuen Beobachtung zugeordnet ist, auf einem Zielvariablenwert basieren, der eine bestimmten Kennzeichnung hat (z. B. Klassifizierung oder Kategorisierung), kann darauf basieren, ob ein Zielvariablenwert einen oder mehrere Schwellenwerte erfüllt (z. B. ob der Zielvariablenwert größer als ein Schwellenwert ist, kleiner als ein Schwellenwert ist, gleich einem Schwellenwert ist, in einen Bereich von Schwellenwerten fällt oder ähnliches), und/oder kann auf einem Cluster basieren, in den die neue Beobachtung klassifiziert ist.
  • Auf diese Weise kann das maschinelle Lernsystem einen strengen und automatisierten Prozess anwenden, um eine einem Objekt zugeordnete Anomalie zu erkennen und/oder zu klassifizieren. Das maschinelle Lernsystem ermöglicht die Erkennung und/oder Identifizierung von Dutzenden, Hunderten, Tausenden oder Millionen von Merkmalen und/oder Merkmalswerten für Dutzende, Hunderte, Tausende oder Millionen von Beobachtungen, wodurch die Genauigkeit und Konsistenz erhöht und die Verzögerung im Zusammenhang mit der Erkennung und/oder Klassifizierung einer Anomalie im Zusammenhang mit einem Objekt im Vergleich zu der Notwendigkeit, Rechenressourcen für Dutzende, Hunderte oder Tausende von Bedienern zuzuweisen, um eine Anomalie im Zusammenhang mit einem Objekt unter Verwendung der Merkmale oder Merkmalswerte manuell zu erkennen und/oder zu klassifizieren, verringert wird.
  • Wie bereits erwähnt, ist 5 als Beispiel dargestellt. Andere Beispiele können von der Beschreibung in 5 abweichen.
  • 6 ist ein Diagramm einer Beispielumgebung 600, in der die hier beschriebenen Systeme und/oder Verfahren implementiert werden können. Wie in 6 gezeigt, kann die Umgebung 600 ein Objektanalysesystem 610, eine Referenzbilddatenstruktur 620, ein Objektverwaltungssystem 630, eine Benutzervorrichtung 640 und ein Netzwerk 650 umfassen. Die Vorrichtungen der Umgebung 600 können über drahtgebundene Verbindungen, drahtlose Verbindungen oder eine Kombination aus drahtgebundenen und drahtlosen Verbindungen miteinander verbunden werden.
  • Das Objektanalysesystem 610 umfasst eine oder mehrere Vorrichtungen, die in der Lage sind, Informationen zu empfangen, zu erzeugen, zu speichern, zu verarbeiten, bereitzustellen und/oder weiterzuleiten, die mit der bildbasierten Anomalieerkennung auf der Grundlage einer maschinellen Lernanalyse, wie an anderer Stelle hierin beschrieben, verbunden sind. Das Objektanalysesystem 610 kann eine Kommunikationsvorrichtung und/oder eine Rechenvorrichtung umfassen. Zum Beispiel kann das Objektanalysesystem 610 einen Server umfassen, wie einen Anwendungsserver, einen Client-Server, einen Webserver, einen Datenbankserver, einen Host-Server, einen Proxy-Server, einen virtuellen Server (z. B. auf Computerhardware ausgeführt) oder einen Server in einem Cloud-Rechensystem. In einigen Implementierungen umfasst das Objektanalysesystem 610 Computerhardware, die in einer Cloud-Rechenumgebung verwendet wird.
  • Die Referenzbilddatenstruktur 620 umfasst eine oder mehrere Vorrichtungen, die in der Lage sind, Referenzbilddaten zu erzeugen, zu speichern, zu verarbeiten und/oder bereitzustellen, die einem oder mehreren Typen von Objekten zugeordnet sind, um ein oder mehrere Modelle zu trainieren, wie an anderer Stelle hier beschrieben. Zum Beispiel kann die Referenzbilddatenstruktur 620 eine Aufbewahrungsvorrichtung und/oder eine Speichervorrichtung umfassen, die Referenzbilder von einer oder mehreren Bildquellen empfängt und/oder speichert. Zusätzlich oder alternativ kann die Referenzbilddatenstruktur eine Kommunikationsvorrichtung und/oder eine Rechenvorrichtung zum Empfangen, Verarbeiten und/oder Bereitstellen der Referenzbilddaten an das Objektanalysesystem 610 umfassen.
  • Das Objektverwaltungssystem 630 umfasst eine oder mehrere Vorrichtungen, die in der Lage sind, Informationen zu empfangen, zu erzeugen, zu speichern, zu verarbeiten, bereitzustellen und/oder weiterzuleiten, die der Verwaltung eines Objekts zugeordnet sind, wie an anderer Stelle hierin beschrieben. Beispielsweise kann das Objektverwaltungssystem 630 eine oder mehrere Vorrichtungen umfassen, die so konfiguriert sind, dass sie die Montage eines oder mehrerer Objekte, die Herstellung eines oder mehrerer Objekte, das Sortieren eines oder mehrerer Objekte, die Verteilung eines oder mehrerer Objekte, den Transport eines oder mehrerer Objekte und/oder die Lagerung eines oder mehrerer Objekte erleichtern. Das Objektverwaltungssystem 630 kann eine Kommunikationsvorrichtung, eine Rechenvorrichtung, einen Sensor, eine Robotervorrichtung und/oder jedes andere geeignete Vorrichtung eines Steuerungssystems umfassen, das mit einer bestimmten Branche (z. B. Fertigung, Logistik, Transport und/oder andere Branchen, die mit der Lieferkettenverwaltung verbunden sind) in Verbindung steht.
  • Die Benutzervorrichtung 640 umfasst eine oder mehrere Vorrichtungen, die in der Lage sind, Informationen zu empfangen, zu erzeugen, zu speichern, zu verarbeiten und/oder bereitzustellen, die Überwachungsobjekten zugeordnet sind, die vom Objektanalysesystem 610 analysiert und/oder vom Objektverwaltungssystem 630 verwaltet werden, wie an anderer Stelle hierin beschrieben. Die Benutzervorrichtung 640 kann eine Kommunikationsvorrichtung und/oder eine Rechenvorrichtung umfassen. Beispielsweise kann die Benutzervorrichtung 640 eine drahtlose Kommunikationsvorrichtung, ein Mobiltelefon, eine Benutzervorrichtung, einen Laptop-Computer, einen Tablet-Computer, einen Desktop-Computer, eine Spielkonsole, eine Set-Top-Box, eine tragbare Kommunikationsvorrichtung (z. B. eine intelligente Armbanduhr, eine intelligente Brille, ein kopfmontiertes Display oder ein Virtual-Reality-Headset) oder eine ähnliche Art von Vorrichtung umfassen.
  • Das Netzwerk 650 umfasst ein oder mehrere drahtgebundene und/oder drahtlose Netzwerke. Das Netzwerk 650 kann beispielsweise ein drahtloses Weitbereichsnetz (z. B. ein Mobilfunknetz oder ein öffentliches Mobilfunknetz), ein lokales Netzwerk (z. B. ein drahtgebundenes lokales Netzwerk oder ein drahtloses lokales Netzwerk (WLAN) wie ein Wi-Fi-Netzwerk, ein persönliches Netzwerk (z. B. ein Bluetooth-Netzwerk), ein Nahfeldkommunikationsnetzwerk, ein Telefonnetzwerk, ein privates Netzwerk, das Internet und/oder eine Kombination dieser oder anderer Arten von Netzwerken umfassen. Das Netzwerk 650 ermöglicht die Kommunikation zwischen den Vorrichtungen der Umgebung 600.
  • Die in 6 dargestellte Anzahl und Anordnung von Vorrichtungen und Netzwerken ist ein Beispiel. In der Praxis kann es zusätzliche Vorrichtungen und/oder Netze, weniger Vorrichtungen und/oder Netze, unterschiedliche Vorrichtungen und/oder Netze oder unterschiedlich angeordnete Vorrichtungen und/oder Netze als die in 6 gezeigten geben. Darüber hinaus können zwei oder mehr der in 6 gezeigten Vorrichtungen in einer einzigen Vorrichtung implementiert sein, oder eine einzige in 6 gezeigte Vorrichtung kann als mehrere verteilte Vorrichtungen implementiert sein. Zusätzlich oder alternativ kann ein Satz von Vorrichtungen (z. B. eine oder mehrere Vorrichtungen) der Umgebung 600 eine oder mehrere Funktionen ausführen, die als von einem anderen Satz von Vorrichtungen der Umgebung 600 ausgeführt beschrieben werden.
  • 7 ist ein Diagramm von Beispielkomponenten einer Vorrichtung 700, die dem Objektanalysesystem 610, der Referenzbilddatenstruktur 620, dem Objektverwaltungssystem 630 und/oder der Benutzervorrichtung 640 entsprechen kann. In einigen Implementierungen können das Objektanalysesystem 610, die Referenzbilddatenstruktur 620, das Objektverwaltungssystem 630 und/oder die Benutzervorrichtung 640 eine oder mehrere Vorrichtungen 700 und/oder eine oder mehrere Komponenten der Vorrichtung 700 umfassen. Wie in 7 gezeigt, kann die Vorrichtung 700 einen Bus 710, einen Prozessor 720, einen Speicher 730, eine Speicherkomponente 740, eine Eingabekomponente 750, eine Ausgabekomponente 760 und eine Kommunikationskomponente 770 umfassen.
  • Der Bus 710 umfasst eine Komponente, die eine drahtgebundene und/oder drahtlose Kommunikation zwischen den Komponenten der Vorrichtung 700 ermöglicht. Prozessor 720 umfasst eine zentrale Prozessoreinheit, eine Grafikverarbeitungseinheit, einen Mikroprozessor, eine Steuerung, einen Mikrocontroller, einen digitalen Signalprozessor, ein feldprogrammierbares Gate-Array, eine anwendungsspezifische integrierte Schaltung und/oder eine andere Art von Verarbeitungskomponente. Der Prozessor 720 ist in Hardware, Firmware oder einer Kombination aus Hardware und Software implementiert. In einigen Implementierungen umfasst der Prozessor 720 einen oder mehrere Prozessoren, die so programmiert werden können, dass sie eine Funktion ausführen. Der Speicher 730 umfasst einen Direktzugriffsspeicher, einen Festwertspeicher und/oder einen anderen Speichertyp (z. B. einen Flash-Speicher, einen magnetischen Speicher und/oder einen optischen Speicher).
  • Die Speicherkomponente 740 speichert Informationen und/oder Software im Zusammenhang mit dem Betrieb der Vorrichtung 700. Die Speicherkomponente 740 kann beispielsweise ein Festplattenlaufwerk, ein Magnetplattenlaufwerk, ein optisches Plattenlaufwerk, ein Festkörperplattenlaufwerk, eine Compact Disc, eine Digital Versatile Disc und/oder eine andere Art von nicht transitorischem, computerlesbarem Medium umfassen. Die Eingabekomponente 750 ermöglicht es der Vorrichtung 700, Eingaben zu empfangen, wie z. B. Benutzereingaben und/oder erfasste Eingaben. Die Eingabekomponente 750 kann beispielsweise einen Touchscreen, eine Tastatur, ein Tastenfeld, eine Maus, eine Taste, ein Mikrofon, einen Schalter, einen Sensor, eine Komponente des globalen Positionierungssystems, einen Beschleunigungsmesser, ein Gyroskop und/oder einen Aktor umfassen. Die Ausgabekomponente 760 ermöglicht es der Vorrichtung 700, Ausgaben zu tätigen, z. B. über ein Display, einen Lautsprecher und/oder eine oder mehrere Leuchtdioden. Die Kommunikationskomponente 770 ermöglicht es der Vorrichtung 700, mit anderen Vorrichtungen zu kommunizieren, z. B. über eine drahtgebundene Verbindung und/oder eine drahtlose Verbindung. Die Kommunikationskomponente 770 kann beispielsweise einen Empfänger, einen Sender, einen Sendeempfänger, ein Modem, eine Netzwerkschnittstellenkarte und/oder eine Antenne umfassen.
  • Die Vorrichtung 700 kann einen oder mehrere hierin beschriebene Prozesse durchführen. Zum Beispiel kann ein nicht transitorisches computerlesbares Medium (z. B. Speicher 730 und/oder Speicherkomponente 740) einen Satz von Anweisungen (z. B. eine oder mehrere Anweisungen, Code, Softwarecode und/oder Programmcode) zur Ausführung durch Prozessor 720 speichern. Der Prozessor 720 kann den Satz von Anweisungen ausführen, um einen oder mehrere hier beschriebene Prozesse durchzuführen. In einigen Implementierungen bewirkt die Ausführung des Satzes von Anweisungen durch einen oder mehrere Prozessoren 720, dass der eine oder die mehreren Prozessoren 720 und/oder die Vorrichtung 700 einen oder mehrere hierin beschriebene Prozesse ausführen. In einigen Implementierungen können fest drahtgebundene Schaltungen anstelle von oder in Kombination mit den Anweisungen verwendet werden, um einen oder mehrere hier beschriebene Prozesse auszuführen. Daher sind die hier beschriebenen Implementierungen nicht auf eine bestimmte Kombination von Hardware-Schaltkreisen und Software beschränkt.
  • Die Anzahl und Anordnung der in 7 gezeigten Komponenten ist ein Beispiel. Die Vorrichtung 700 kann zusätzliche Komponenten, weniger Komponenten, unterschiedliche Komponenten oder unterschiedlich angeordnete Komponenten als die in 7 gezeigten enthalten. Zusätzlich oder alternativ kann ein Satz von Komponenten (z. B. eine oder mehrere Komponenten) der Vorrichtung 700 eine oder mehrere Funktionen ausführen, die von einem anderen Satz von Komponenten der Vorrichtung 700 ausgeführt werden.
  • 8 ist ein Flussdiagramm eines Beispielprozesses 800, der mit der bildbasierten Anomalieerkennung auf der Grundlage einer maschinellen Lernanalyse eines Objekts verbunden ist. In einigen Implementierungen können ein oder mehrere Prozessblöcke von 8 von einem Objektanalysesystem (z. B. dem Objektanalysesystem 610) ausgeführt werden. In einigen Implementierungen können ein oder mehrere Prozessblöcke von 8 von einer anderen Vorrichtung oder einer Gruppe von Vorrichtungen durchgeführt werden, die von dem Objektanalysesystem getrennt sind oder dieses umfassen, wie z. B. ein Objektverwaltungssystem (z. B. das Objektverwaltungssystem 630) und/oder eine Benutzervorrichtung (z. B. die Benutzervorrichtung 640). Zusätzlich oder alternativ können ein oder mehrere Prozessblöcke von 8 von einer oder mehreren Komponenten der Vorrichtung 700 ausgeführt werden, wie z. B. Prozessor 720, Speicher 730, Speicherkomponente 740, Eingabekomponente 750, Ausgabekomponente 760 und/oder Kommunikationskomponente 770.
  • Wie in 8 gezeigt, kann der Prozess 800 den Empfang eines Eingabebildes beinhalten, das ein Objekt darstellt (Block 810). Zum Beispiel kann das Objektanalysesystem ein Eingabebild empfangen, das ein Objekt darstellt, wie oben beschrieben.
  • Wie in 8 weiter gezeigt, kann der Prozess 800 die Bestimmung eines ersten Merkmalsausgangs, der einem oder mehreren Merkmalen des Objekts zugeordnet ist, unter Verwendung eines neuronalen Faltungsnetzwerk-Kodierers und aus dem Eingabebild beinhalten (Block 820). Zum Beispiel kann das Objektanalysesystem unter Verwendung eines neuronalen Faltungsnetzwerk-Kodierers und aus dem Eingabebild eine erste Merkmalsausgabe bestimmen, die einem oder mehreren Merkmalen des Objekts zugeordnet ist, wie oben beschrieben. Der neuronale Faltungsnetzwerk-Kodierer kann mit einem Merkmalsextraktionsmodell des Objektanalysesystems verbunden und/oder darin enthalten sein.
  • In einigen Implementierungen wird der neuronale Faltungsnetzwerk-Kodierer auf der Grundlage von Referenzbildern trainiert, die Referenzobjekte eines Objekttyps zeigen. Bei den in den Referenzbildern dargestellten Referenzobjekten kann es sich um nicht anomale Objekte handeln, wie hier beschrieben.
  • Wie in 8 weiter gezeigt, kann der Prozess 800 die Bestimmung, unter Verwendung einer Stützvektormaschine, beinhalten, dass ein Anomaliestatus des Objekts darauf hinweist, dass das Objekt eine Anomalie enthält (Block 830). Beispielsweise kann das Objektanalysesystem unter Verwendung einer Stützvektormaschine feststellen, dass ein Anomaliestatus des Objekts darauf hindeutet, dass das Objekt eine Anomalie enthält, wie oben beschrieben. In einigen Implementierungen wird die Stützvektormaschine auf der Grundlage der Referenzbilder trainiert.
  • Die Stützvektormaschine kann so trainiert werden, dass sie eine binäre Klassifizierung bestimmt, die anzeigt, dass das Objekt ein anomales Merkmal enthält, oder die anzeigt, dass das Objekt kein anormales Merkmal enthält. Die Stützvektormaschine kann trainiert werden, um einen Klassifizierungsschwellenwert zu bestimmen, der zur Bestimmung der binären Klassifizierung auf der Grundlage einer Ähnlichkeitsanalyse mit den Referenzbildern verwendet wird.
  • Wie in 8 weiter gezeigt, kann der Prozess 800 beinhalten, dass unter Verwendung eines neuronalen Faltungsnetzwerk-Dekodierers ein Ort der Anomalie im Eingabebild auf der Grundlage einer zweiten Merkmalsausgabe des neuronalen Faltungsnetzwerk-Kodierers bestimmt wird (Block 840). Beispielsweise kann das Objektanalysesystem unter Verwendung eines neuronalen Faltungsnetzwerk-Dekodierers den Ort der Anomalie im Eingabebild auf der Grundlage eines zweiten Merkmalsausgangs des neuronalen Faltungsnetzwerk-Kodierers bestimmen, wie oben beschrieben. Der neuronale Faltungsnetzwerk-Dekodierer kann mit einem Anomalie-Lokalisierungsmodell des Objektanalysesystems verbunden und/oder darin enthalten sein.
  • In einigen Implementierungen ist der neuronale Faltungsnetzwerk-Dekodierer so konfiguriert, dass er den Ort der Anomalie auf der Grundlage einer zweiten Merkmalsausgabe des neuronalen Faltungsnetzwerk-Kodierers bestimmt. In einigen Implementierungen wird der neuronale Faltungsnetzwerk-Dekodierers auf der Grundlage der Referenzbilder trainiert. Die erste Merkmalsausgabe kann von einer Ausgabeschicht des neuronalen Faltungsnetzwerk-Kodierers stammen, und die zweite Merkmalsausgabe kann von einer Zwischenschicht des neuronalen Faltungsnetzwerk-Kodierers stammen. Der neuronale Faltungsnetzwerk-Kodierer und der neuronale Faltungsnetzwerk-Dekodierer können mit demselben neuronalen Faltungsnetzwerk-Autokodierer verbunden sein, der auf der Grundlage der Referenzbilder trainiert wurde.
  • In einigen Implementierungen kann das Objektanalysesystem Anomaliedaten erzeugen, die den Anomaliedaten zugeordnet sind. Beispielsweise können die Anomaliedaten einen Anomaliestatus des Objekts (z. B. dass das Objekt eine Anomalie enthält oder nicht enthält) und/oder einen Ort einer Anomalie (wenn eine Anomalie erkannt wird) identifizieren. Zusätzlich oder alternativ können die Anomaliedaten unter Verwendung eines Anomalieklassifizierungsmodells erzeugt werden, um anzuzeigen, dass es sich bei der Anomalie um einen bestimmten Typ von Anomalie handelt.
  • Wie in 8 weiter gezeigt, kann der Prozess 800 die Durchführung einer Aktion beinhalten, die dem Ort der Anomalie zugeordnet ist (Block 850). Zum Beispiel kann das Objektanalysesystem eine Aktion durchführen, die dem Ort der Anomalie zugeordnet ist, wie oben beschrieben. In einigen Implementierungen kann das Objektanalysesystem zur Durchführung der Aktion einen Standortindikator erzeugen, der den Standort der Anomalie identifiziert, den Standortindikator mit dem Eingabebild kombinieren, um einen Anomalieindikator zu bilden, und den Anomalieindikator an eine Benutzervorrichtung weiterleiten. Zusätzlich oder alternativ kann das Objektanalysesystem Anomaliedaten bereitstellen (z. B. an eine Benutzervorrichtung), die den Ort der Anomalie identifizieren. Die Anomaliedaten können einen Standortindikator, der den Standort der Anomalie identifiziert, und/oder eine Kombination aus dem Standortindikator und dem Eingabebild enthalten.
  • Obwohl 8 Beispielblöcke des Prozesses 800 zeigt, kann der Prozess 800 in einigen Implementierungen zusätzliche Blöcke, weniger Blöcke, andere Blöcke oder anders angeordnete Blöcke als die in 8 dargestellten umfassen. Zusätzlich oder alternativ können zwei oder mehr der Blöcke des Prozesses 800 parallel ausgeführt werden.
  • In der vorangegangenen Offenbarung wurden bestimmte Ausführungsformen beschrieben. Der Fachmann wird jedoch erkennen, dass verschiedene Modifikationen und Änderungen vorgenommen werden können, ohne dass der Umfang der Erfindung, wie er in den nachstehenden Ansprüchen dargelegt ist, verlassen wird. Dementsprechend sind die Beschreibung und die Figuren eher in einem illustrativen als in einem einschränkenden Sinne zu verstehen, und alle derartigen Modifikationen sollen in den Umfang der vorliegenden Offenbarung einbezogen werden. Darüber hinaus sollten die beschriebenen Ausführungsformen/Beispiele/Implementierungen nicht als sich gegenseitig ausschließend interpretiert werden, sondern als potenziell kombinierbar, wenn solche Kombinationen in irgendeiner Weise permissiv sind. Mit anderen Worten kann jedes Merkmal, das in einem der vorgenannten Beispiele oder Implementierungen offenbart wird, in jedem der anderen vorgenannten Beispiele oder Implementierungen enthalten sein.
  • Der hier verwendete Begriff „Komponente“ soll im weitesten Sinne als Hardware, Firmware und/oder eine Kombination aus Hardware und Software verstanden werden. Die Begriffe „zugreifbares maschinenlesbares Medium“, „nicht transitorisches maschinenlesbares Medium“ und „maschinenlesbare Speichervorrichtung“ werden hier ausdrücklich definiert als ein Speichermedium (z. B. eine Platte eines Festplattenlaufwerks, eine Digital Versatile Disc, eine Compact Disc, ein Flash-Speicher, ein Festwertspeicher, ein Speicher mit wahlfreiem Zugriff oder Ähnliches), auf dem maschinenlesbare Anweisungen (z. B. Code in Form von Software und/oder Firmware) gespeichert werden können. Die Anweisungen können für eine beliebige Zeitdauer gespeichert werden, z. B. dauerhaft, für einen längeren Zeitraum (z. B. während der Ausführung eines mit den Anweisungen verknüpften Programms) oder für einen kurzen Zeitraum (z. B. während der Zwischenspeicherung der Anweisungen, während eines Pufferungsprozesses o. ä.). Darüber hinaus werden die Begriffe „zugreifbares maschinenlesbares Medium“, „nicht transitorisches maschinenlesbares Medium“ und „maschinenlesbare Speichervorrichtung“ hier ausdrücklich so definiert, dass sie die Übertragung von Signalen ausschließen. Das heißt, dass ein „zugreifbares maschinenlesbares Medium“, ein „nicht transitorisches maschinenlesbares Medium“ und eine „maschinenlesbare Speichervorrichtung“ oder Ähnliches, wie sie in den Ansprüchen verwendet werden, nicht als ein sich ausbreitendes Signal interpretiert werden sollten.
  • Je nach Kontext kann sich die Erfüllung eines Schwellenwerts auf einen Wert beziehen, der größer als der Schwellenwert, größer oder gleich dem Schwellenwert, kleiner als der Schwellenwert, kleiner oder gleich dem Schwellenwert, gleich dem Schwellenwert, nicht gleich dem Schwellenwert o. ä. ist.
  • Der Nutzen, die Vorteile, die Problemlösungen und alle Elemente, die dazu führen können, dass ein Nutzen, ein Vorteil oder eine Lösung eintritt oder stärker ausgeprägt wird, sind nicht als kritische, erforderliche oder wesentliche Merkmale oder Elemente eines oder aller Ansprüche zu verstehen. Die beanspruchte Erfindung wird ausschließlich durch die beigefügten Ansprüche definiert, einschließlich aller Änderungen, die während der Anhängigkeit dieser Anmeldung vorgenommen wurden, und aller Äquivalente dieser Ansprüche in der erteilten Fassung.
  • Darüber hinaus können in diesem Dokument relationale Begriffe wie erster und zweiter, oberer und unterer und dergleichen lediglich verwendet sein, um eine Entität oder Aktion von einer anderen Entität oder Aktion zu unterscheiden, ohne notwendigerweise eine tatsächliche derartige Beziehung oder Reihenfolge zwischen solchen Entitäten oder Aktionen zu erfordern oder zu implizieren. Die Ausdrücke „umfasst“, „umfassend“, „hat“, „haben“, „aufweist“, „aufweisend“, „enthält“, „enthaltend“ oder jede andere Variation davon sollen eine nicht-ausschließliche Einbeziehung abdecken, derart, dass ein Prozess, Verfahren, Produkt oder Vorrichtung, das eine Liste von Elementen umfasst, hat, aufweist, enthält, nicht nur diese Elemente aufweist, sondern auch andere Elemente aufweisen kann, die nicht ausdrücklich aufgelistet sind oder einem solchen Prozess, Verfahren, Produkt oder Vorrichtung inhärent sind. Ein Element, dem „umfasst ... ein“, „hat ... ein“, „aufweist ... ein“ oder „enthält ...ein“ vorausgeht, schließt ohne weitere Einschränkungen die Existenz zusätzlicher identischer Elemente in dem Prozess, dem Verfahren, dem Produkt oder der Vorrichtung, die das Element umfasst, hat, aufweist oder enthält, nicht aus.
  • Die Begriffe „ein“ und „eine“ sind als eine oder mehrere definiert, sofern es hierin nicht ausdrücklich anders angegeben wird. Ferner soll der Artikel „der/die/das“, wie hier verwendet, einen oder mehrere Artikel umfassen, auf die in Verbindung mit dem Artikel „der/die/das“ Bezug genommen wird, und kann austauschbar mit „der/die/das eine oder mehrere“ verwendet werden. Darüber hinaus soll der hier verwendete Begriff „Satz“ einen oder mehrere Artikel umfassen (z. B. verwandte Artikel, nicht verwandte Artikel oder eine Kombination aus verwandten und nicht verwandten Artikeln) und kann austauschbar mit „einer/eine/ein oder mehrere“ verwendet werden. Wenn nur ein Gegenstand gemeint ist, wird der Ausdruck „nur einer/eine/ein“ oder eine ähnliche Formulierung verwendet. Auch die hier verwendeten Begriffe „hat“, „haben“, „aufweisend“ oder dergleichen sind als offene Begriffe zu verstehen. Der Ausdruck „basiert auf“ bedeutet „basiert zumindest teilweise auf“, sofern nicht ausdrücklich anders angegeben. Auch der hier verwendete Begriff „oder“ soll bei Verwendung in einer Reihe umfassend sein und kann austauschbar mit „und/oder“ verwendet werden, sofern nicht ausdrücklich etwas anderes angegeben ist (z. B. bei Verwendung in Kombination mit „entweder“ oder „nur eines von“). Die Begriffe „im Wesentlichen“, „im Allgemeinen“, „ungefähr“, „etwa“ oder jede andere Version davon sind so definiert, dass sie von einem Fachmann auf diesem Gebiet nahekommend verstanden werden, und in einer nicht-einschränkenden Ausführungsform ist der Ausdruck definiert als innerhalb von 10%, in einer weiteren Ausführungsform als innerhalb von 5%, in einer weiteren Ausführungsform als innerhalb von 1% und in einer weiteren Ausführungsform als innerhalb von 0,5%. Der Ausdruck „gekoppelt“, wie er hierin verwendet wird, ist als verbunden definiert, jedoch nicht notwendigerweise direkt und nicht notwendigerweise mechanisch. Eine Vorrichtung oder eine Struktur, die auf eine bestimmte Art „konfiguriert“ ist, ist zumindest auch so konfiguriert, kann aber auch auf Arten konfiguriert sein, die nicht aufgeführt sind.
  • Es wird deutlich, dass die hier beschriebenen Systeme und/oder Verfahren in verschiedenen Formen von Hardware, Firmware oder einer Kombination aus Hardware und Software implementiert werden können. Die tatsächliche spezialisierte Steuerungshardware oder der Softwarecode, der zur Implementierung dieser Systeme und/oder Verfahren verwendet wird, ist keine Einschränkung der Implementierungen. Daher werden die Funktionsweise und das Verhalten der Systeme und/oder Verfahren hier ohne Bezugnahme auf einen bestimmten Softwarecode beschrieben, wobei davon ausgegangen wird, dass Software und Hardware entwickelt werden können, um die Systeme und/oder Verfahren auf der Grundlage der hierin enthaltenen Beschreibung zu implementieren.
  • Auch wenn in den Ansprüchen und/oder in der Beschreibung bestimmte Kombinationen von Merkmalen aufgeführt sind, sollen diese Kombinationen die Offenbarung verschiedener Ausführungsformen nicht einschränken. Tatsächlich können viele dieser Merkmale in einer Weise kombiniert werden, die in den Ansprüchen nicht ausdrücklich erwähnt und/oder in der Beschreibung offenbart ist. Obwohl jeder unten aufgeführte abhängige Anspruch direkt von nur einem Anspruch abhängen kann, umfasst die Offenbarung verschiedener Ausführungsformen jeden abhängigen Anspruch in Kombination mit jedem anderen Anspruch in der Anspruchsgruppe. Wie hierin verwendet, bezieht sich eine Formulierung, die sich auf „mindestens eines von“ einer Liste von Elementen bezieht, auf eine beliebige Kombination dieser Elemente, einschließlich einzelner Mitglieder. Zum Beispiel soll „mindestens eines von: a, b oder c“ a, b, c, a-b, a-c, b-c und a-b-c sowie jede Kombination mit mehreren der gleichen Elemente umfassen.
  • Die Zusammenfassung der Offenbarung wird bereitgestellt, um es dem Leser zu ermöglichen, schnell das Wesen der technischen Offenbarung zu ermitteln. Sie wird mit dem Verständnis bereitgestellt, dass sie nicht zur Auslegung oder Einschränkung des Umfangs oder der Bedeutung der Ansprüche verwendet wird. Ferner kann der vorangehenden detaillierten Beschreibung entnommen werden, dass verschiedene Merkmale in verschiedenen Ausführungsformen zum Zwecke der Verschlankung der Offenbarung zusammengefasst sind. Diese Art der Offenbarung ist nicht so auszulegen, dass sie die Absicht widerspiegelt, dass die beanspruchten Ausführungsformen mehr Merkmale erfordern, als ausdrücklich in jedem Anspruch angegeben sind. Vielmehr ist es so, wie die folgenden Ansprüche zeigen, dass der erfinderische Gegenstand in weniger als allen Merkmalen einer einzigen offenbarten Ausführungsform liegt. Somit werden die folgenden Ansprüche hiermit in die detaillierte Beschreibung inkorporiert, wobei jeder Anspruch für sich als ein separat beanspruchter Gegenstand steht.

Claims (20)

  1. Verfahren zum Erkennen einer Anomalie, die einem Objekt zugeordnet ist, umfassend: Empfangen eines Eingabebildes, das das Objekt darstellt, durch eine Vorrichtung; Verarbeiten des Eingabebildes durch die Vorrichtung und unter Verwendung eines Merkmalsextraktionsmodells, um eines oder mehrere Merkmale des Objekts in einer ersten Merkmalsausgabe anzuzeigen, wobei das Merkmalsextraktionsmodell basierend auf Referenzbildern trainiert wird, die einem Typ des Objekts zugeordnet sind, wobei die Referenzbilder ein oder mehrere nicht anomale Objekte darstellen, die vom gleichen Typ sind wie der Typ des Objekts; Bestimmen, durch die Vorrichtung und basierend auf dem einen oder den mehreren Merkmalen, unter Verwendung eines Klassifikationsmodells, dass ein Anomaliestatus des Objekts anzeigt, dass das Objekt eine Anomalie aufweist, wobei das Klassifizierungsmodell so konfiguriert ist, dass es den Anomaliestatus basierend auf einem Klassifizierungsergebnis, das der ersten Merkmalsausgabe zugeordnet ist, und einer Klassifizierungsschwelle des Klassifizierungsmodells bestimmt, wobei die Klassifizierungsschwelle basierend auf einer Ähnlichkeitsanalyse mit den Referenzbildern bestimmt wird; Bestimmen eines Ortes der Anomalie, der dem Anomaliestatus zugeordnet ist, durch die Vorrichtung basierend auf einer zweiten Merkmalsausgabe des Merkmalsextraktionsmodells, wobei der Ort der Anomalie unter Verwendung eines Anomalie-Lokalisierungsmodells bestimmt wird, das basierend auf den Referenzbildern trainiert wird; Erzeugen von Anomaliedaten, die der Anomalie zugeordnet sind, durch die Vorrichtung und basierend auf dem Anomaliestatus und dem Ort; und Bereitstellen der Anomaliedaten durch die Vorrichtung und an ein Objektverwaltungssystem.
  2. Verfahren nach Anspruch 1, wobei das Klassifikationsmodell eine Stützvektormaschine (Support-Vektor-Maschine) umfasst, die so konfiguriert ist, dass sie: das Klassifizierungsergebnis basierend auf der ersten Merkmalsausgabe bestimmt; und den Anomaliestatus basierend auf einem Vergleich des Klassifizierungsergebnisses und der Klassifizierungsschwelle anzeigt, wobei die Stützvektormaschine eine Einklassen-Stützvektormaschine (Support-Vektor-Maschine) ist, die speziell für die Analyse des Typs des Objekts trainiert ist, und wobei der Anomaliestatus eine binäre Klassifizierung ist, die basierend auf dem Vergleich bestimmt wird und anzeigt, dass das Objekt ein anomales Merkmal aufweist oder dass das Objekt kein anomales Merkmal aufweist.
  3. Verfahren nach Anspruch 1, wobei das Klassifikationsmodell umfasst: eine erste Stützvektormaschine, die so konfiguriert ist, dass sie eine erste binäre Klassifizierung gemäß der Klassifizierungsschwelle ausgibt, wobei die erste binäre Klassifizierung anzeigt, dass das Objekt ein anomales Merkmal aufweist, und eine zweite Stützvektormaschine, die so konfiguriert ist, dass sie basierend auf der ersten binären Klassifizierung, die anzeigt, dass das Objekt ein anormales Merkmal aufweist, eine zweite binäre Klassifizierung ausgibt, die anzeigt, dass die Anomalie ein bestimmter Typ von Anomalie ist oder dass die Anomalie nicht der bestimmte Typ von Anomalie ist, wobei die Anomaliedaten so erzeugt werden, dass sie basierend auf der zweiten binären Klassifizierung eine Kennzeichnung enthalten, die anzeigt, dass die Anomalie der bestimmte Typ von Anomalie ist oder dass die Anomalie nicht die bestimmte Art von Anomalie ist.
  4. Verfahren nach Anspruch 1, wobei die erste Merkmalsausgabe von einer Ausgabeschicht eines neuronalen Faltungsnetzwerk-Kodierers des Merkmalsextraktionsmodells stammt, und wobei die zweite Merkmalsausgabe von einer Zwischenschicht des neuronalen Faltungsnetzwerk-Kodierers stammt.
  5. Verfahren nach Anspruch 1, wobei das Anomalie-Lokalisierungsmodel einen neuronalen Faltungsnetzwerk-Dekodierer umfasst, der so konfiguriert ist, dass er den Ort der Anomalie bestimmt.
  6. Verfahren nach Anspruch 5, wobei die zweite Merkmalsausgabe von einer Zwischenschicht eines neuronalen Faltungsnetzwerk-Kodierers des Merkmalsextraktionsmodells stammt.
  7. Verfahren nach Anspruch 1, wobei das Erzeugen der Anomaliedaten umfasst: Erzeugen eines Ortsindikators, der den Ort der Anomalie identifiziert; und Kombinieren des Ortsindikators mit dem Eingabebild.
  8. Vorrichtung, umfassend: einen oder mehrere Speicher; und einen oder mehrere Prozessoren, die mit dem einen oder den mehreren Speichern gekoppelt und so konfiguriert sind, dass sie: ein Eingabebild empfangen, das ein Objekt darstellt; das Eingabebild unter Verwendung eines Merkmalsextraktionsmodells verarbeiten, um eine erste Merkmalsausgabe zu erzeugen, die einem oder mehreren Merkmalen des Objekts zugeordnet ist, wobei das Merkmalsextraktionsmodell basierend auf Referenzbildern trainiert wird, die einem Typ des Objekts zugeordnet sind; unter Verwendung eines Klassifizierungsmodells einen Anomaliestatus des Objekts basierend auf der ersten Merkmalsausgabe bestimmen, wobei das Klassifizierungsmodell trainiert wird, um den Anomaliestatus basierend auf einer Ähnlichkeitsanalyse zu bestimmen, die nicht anomale Objekte umfasst, die in den Referenzbildern dargestellt sind; basierend auf dem Anomaliestatus, der anzeigt, dass das Eingabebild das Objekt mit einer Anomalie darstellt, einen Ort der Anomalie in dem Eingabebild bestimmen, basierend auf einer zweiten Merkmalsausgabe des Merkmalsextraktionsmodells, wobei der Ort der Anomalie unter Verwendung eines Anomalie-Lokalisierungsmodells bestimmt wird, das basierend auf den Referenzbildern trainiert wird; basierend auf dem Anomaliestatus und dem Ort Anomaliedaten erzeugen, die der Anomalie zugeordnet sind; und eine den Anomaliedaten zugeordnete Aktion durchführen.
  9. Vorrichtung nach Anspruch 8, wobei das Merkmalsextraktionsmodell einen neuronalen Faltungsnetzwerk-Kodierer umfasst.
  10. Vorrichtung nach Anspruch 8, wobei das Klassifizierungsmodell eine Stützvektormaschine umfasst, die so konfiguriert ist, dass sie ein Klassifizierungsergebnis bereitstellt, das anzeigt, ob das Objekt ein anomales Merkmal aufweist oder nicht, wobei der Anomaliestatus so konfiguriert ist, dass er anzeigt, dass das Eingabebild das Objekt mit der Anomalie darstellt, basierend auf dem Klassifizierungsergebnis, das anzeigt, dass das Objekt ein anomales Merkmal aufweist.
  11. Vorrichtung nach Anspruch 10, wobei die Ähnlichkeitsanalyse so konfiguriert ist, dass sie eine Klassifizierungsschwelle der Stützvektormaschine bestimmt, die mit dem Klassifizierungsergebnis verglichen wird, um eine binäre Klassifizierung des Anomaliestatus zu bestimmen, der dem Objekt zugeordnet ist, das ein anomales Merkmal aufweist oder kein anomales Merkmal aufweist.
  12. Vorrichtung nach Anspruch 8, wobei die erste Merkmalsausgabe und die zweite Merkmalsausgabe von verschiedenen Schichten eines neuronalen Faltungsnetzwerks des Merkmalsextraktionsmodells stammen.
  13. Vorrichtung nach Anspruch 8, wobei der eine oder die mehreren Prozessoren zum Erzeugen der Anomaliedaten konfiguriert sind, um: einen Ortsindikator zu erzeugen, der den Ort der Anomalie identifiziert; und den Ortsindikator mit dem Eingabebild zu kombinieren.
  14. Vorrichtung nach Anspruch 8, wobei der eine oder die mehreren Prozessoren zur Durchführung der Aktion so konfiguriert sind, dass sie mindestens eines ausführen von: Übermitteln der Anomaliedaten an eine Benutzervorrichtung, oder Steuern eines Objektverwaltungssystems gemäß den Anomaliedaten, um eine dem Objekt zugeordnete Operation durchzuführen.
  15. Zugreifbares, maschinenlesbares Medium, das einen Satz von Anweisungen speichert, wobei der Satz von Anweisungen umfasst: eine oder mehrere Anweisungen, die, wenn sie von einem oder mehreren Prozessoren einer Vorrichtung ausgeführt werden, die Vorrichtung dazu veranlassen: ein Eingabebild zu empfangen, das ein Objekt darstellt; unter Verwendung eines neuronalen Faltungsnetzwerk-Kodierers und aus dem Eingabebild eine erste Merkmalsausgabe zu bestimmen, die einem oder mehreren Merkmalen des Objekts zugeordnet ist, wobei der neuronale Faltungsnetzwerk-Kodierer basierend auf Referenzbildern trainiert wird, die Referenzobjekte darstellen, die einem Typ des Objekts entsprechen; unter Verwendung einer Stützvektormaschine zu bestimmen, dass ein Anomaliestatus des Objekts anzeigt, dass das Objekt eine Anomalie aufweist, wobei die Stützvektormaschine basierend auf den Referenzbildern trainiert wird; einen Ort der Anomalie im Eingabebild unter Verwendung eines neuronalen Faltungsnetzwerk-Dekodierers basierend auf einer zweiten Merkmalsausgabe des neuronalen Faltungsnetzwerk-Kodierers zu bestimmen, wobei der neuronale Faltungsnetzwerk-Dekodierer so konfiguriert ist, dass er den Ort der Anomalie basierend auf einer zweiten Merkmalsausgabe des neuronalen Faltungsnetzwerk-Kodierers bestimmt, und wobei der neuronale Faltungsnetzwerk-Dekodierer basierend auf den Referenzbildern trainiert wird; und eine dem Ort der Anomalie zugeordnete Aktion durchzuführen.
  16. Zugreifbares maschinenlesbares Medium nach Anspruch 15, wobei die Referenzobjekte, die in den Referenzbildern dargestellt sind, nicht anomale Objekte sind.
  17. Zugreifbares maschinenlesbares Medium nach Anspruch 15, wobei die Stützvektormaschine trainiert wird, um eine binäre Klassifikation zu bestimmen, die anzeigt, dass das Objekt ein anomales Merkmal aufweist, oder die anzeigt, dass das Objekt kein anomales Merkmal aufweist, wobei die Stützvektormaschine trainiert wird, um eine Klassifizierungsschwelle zu bestimmen, die verwendet wird, um die binäre Klassifizierung basierend auf einer Ähnlichkeitsanalyse mit den Referenzbildern zu bestimmen.
  18. Zugreifbares maschinenlesbares Medium nach Anspruch 15, wobei die erste Merkmalsausgabe von einer Ausgabeschicht des neuronalen Faltungsnetzwerk-Kodierers stammt, und wobei die zweite Merkmalsausgabe von einer Zwischenschicht des neuronalen Faltungsnetzwerk-Kodierers stammt.
  19. Zugreifbares maschinenlesbares Medium nach Anspruch 15, wobei der neuronale Faltungsnetzwerk-Kodierer und der neuronale Faltungsnetzwerk-Dekodierer demselben neuronalen Faltungsnetzwerk-Autokodierer zugeordnet sind, der basierend auf den Referenzbildern trainiert wird.
  20. Zugreifbares maschinenlesbares Medium nach Anspruch 15, wobei die eine oder die mehreren Anweisungen, die die Vorrichtung veranlassen, die Aktion durchzuführen, die Vorrichtung dazu veranlassen: einen Ortsindikator zu erzeugen, der den Ort der Anomalie identifiziert; den Ortsindikator mit dem Eingabebild zu vergleichen, um einen Anomalieindikator zu bilden; und den Anomalieindikator an eine Benutzervorrichtung weiterzugeben.
DE112022002858.0T 2021-05-28 2022-04-18 Bildbasierte anomalieerkennung basierend auf einer maschinellen lernanalyse eines objekts Pending DE112022002858T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/334,162 US20220383128A1 (en) 2021-05-28 2021-05-28 Image-based anomaly detection based on a machine learning analysis of an object
US17/334,162 2021-05-28
PCT/US2022/025165 WO2022250808A1 (en) 2021-05-28 2022-04-18 Image-based anomaly detection based on a machine learning analysis of an object

Publications (1)

Publication Number Publication Date
DE112022002858T5 true DE112022002858T5 (de) 2024-03-14

Family

ID=84193146

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112022002858.0T Pending DE112022002858T5 (de) 2021-05-28 2022-04-18 Bildbasierte anomalieerkennung basierend auf einer maschinellen lernanalyse eines objekts

Country Status (6)

Country Link
US (1) US20220383128A1 (de)
JP (1) JP2024522120A (de)
KR (1) KR20240001241A (de)
CN (1) CN117413292A (de)
DE (1) DE112022002858T5 (de)
WO (1) WO2022250808A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230079054A1 (en) * 2021-09-10 2023-03-16 Exploration Robotics Technologies Inc. System and method for autonomous inspection for asset maintenance and management
CN116269450B (zh) * 2023-03-21 2023-12-19 苏州海臻医疗器械有限公司 一种基于肌电信号的患者肢体康复状态评估系统及方法
CN116403077B (zh) * 2023-06-07 2023-08-15 中国科学院自动化研究所 异常检测模型训练方法、异常检测方法、装置及电子设备
CN116758400B (zh) * 2023-08-15 2023-10-17 安徽容知日新科技股份有限公司 运输皮带异常检测方法、装置及计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8131107B2 (en) * 2008-05-12 2012-03-06 General Electric Company Method and system for identifying defects in NDT image data
US8724904B2 (en) * 2011-10-25 2014-05-13 International Business Machines Corporation Anomaly detection in images and videos
US9704059B2 (en) * 2014-02-12 2017-07-11 International Business Machines Corporation Anomaly detection in medical imagery
US20160098825A1 (en) * 2014-10-05 2016-04-07 Sigma Labs, Inc. Feature extraction method and system for additive manufacturing

Also Published As

Publication number Publication date
KR20240001241A (ko) 2024-01-03
CN117413292A (zh) 2024-01-16
US20220383128A1 (en) 2022-12-01
WO2022250808A1 (en) 2022-12-01
JP2024522120A (ja) 2024-06-11

Similar Documents

Publication Publication Date Title
DE112022002858T5 (de) Bildbasierte anomalieerkennung basierend auf einer maschinellen lernanalyse eines objekts
US10467502B2 (en) Surface defect detection
DE102013205810B4 (de) System und verfahren zum einschätzen von verfügbaren parkplätzen zum parken auf der strasse mit mehreren plätzen
DE112017001311T5 (de) System und Verfahren zum Trainieren eines Objektklassifikators durch maschinelles Lernen
Liu et al. Fabric defect detection based on information entropy and frequency domain saliency
DE112020000279T5 (de) Erlernen eines erkennungsmodells unter verwenden einer verlustfunktion
Yan et al. YOLO V3+ VGG16-based automatic operations monitoring and analysis in a manufacturing workshop under Industry 4.0
Koosha et al. Statistical process monitoring via image data using wavelets
EP3767403B1 (de) Machine-learning gestützte form- und oberflächenmessung zur produktionsüberwachung
DE112019002848T5 (de) System und verfahren zum auffinden und klassifizieren von mustern in einem bild mit einem bildverarbeitungssystem
Okarma et al. Color independent quality assessment of 3D printed surfaces based on image entropy
BE1029597B1 (de) Bildverarbeitungssysteme und -verfahren zum automatischen Erzeugen eines oder mehrerer Bildverarbeitungsaufträge auf Grundlage interessierender Regionen (ROIs) digitaler Bilder
DE102021121068A1 (de) 3d-erkennung mehrerer transparenter objekte
DE102021201124A1 (de) Trainieren von bildklassifizierernetzen
Makaremi et al. A new method for detecting texture defects based on modified local binary pattern
DE112019006132T5 (de) Verfahren, system und vorrichtung zur hilfsetikett-erkennung und -zuordnung
CN112669300A (zh) 瑕疵检测方法及装置、计算机设备和存储介质
Sahbi Relevance feedback for satellite image change detection
Alkapov et al. Automatic visible defect detection and classification system prototype development for iron-and-steel works
DE102022134493A1 (de) Fehlschlagdetektion und wiederherstellung zur ai-entpalettierung
Mikriukov et al. Revealing Similar Semantics Inside CNNs: An Interpretable Concept-based Comparison of Feature Spaces
Tailanian et al. A contrario multi-scale anomaly detection method for industrial quality inspection
DE102022110871A1 (de) Automatische annotation unter verwendung von ground-truth-daten für modelle des maschinellen lernens
DE102021124348A1 (de) Verfahren zum Bestimmen, ob ein Transportgut in einem Überwachungsbereich angeordnet ist
DE102022107144A1 (de) Komponentenprüfsystem und -verfahren auf produktionsgeschwindigkeit

Legal Events

Date Code Title Description
R012 Request for examination validly filed