DE102018215538A1 - Verfahren und Vorrichtung zur Identifkation eines Gegenstands - Google Patents

Verfahren und Vorrichtung zur Identifkation eines Gegenstands Download PDF

Info

Publication number
DE102018215538A1
DE102018215538A1 DE102018215538.0A DE102018215538A DE102018215538A1 DE 102018215538 A1 DE102018215538 A1 DE 102018215538A1 DE 102018215538 A DE102018215538 A DE 102018215538A DE 102018215538 A1 DE102018215538 A1 DE 102018215538A1
Authority
DE
Germany
Prior art keywords
recording
data
extraction algorithm
features
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018215538.0A
Other languages
English (en)
Inventor
Manuel Kiefer
Willi Pönitz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Trumpf Werkzeugmaschinen SE and Co KG
Original Assignee
Trumpf Werkzeugmaschinen SE and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Trumpf Werkzeugmaschinen SE and Co KG filed Critical Trumpf Werkzeugmaschinen SE and Co KG
Priority to DE102018215538.0A priority Critical patent/DE102018215538A1/de
Priority to CN201980059832.1A priority patent/CN112703508A/zh
Priority to JP2021513836A priority patent/JP2022500757A/ja
Priority to EP19773741.4A priority patent/EP3850545A1/de
Priority to US17/197,070 priority patent/US20230118305A1/en
Priority to PCT/EP2019/073383 priority patent/WO2020053023A1/de
Publication of DE102018215538A1 publication Critical patent/DE102018215538A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41—Interactive pattern learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung (10) zur Erkennung eines Gegenstands. Dabei wird zumindest eine Aufnahme (14), insbesondere in Form einer Fotografie, von dem Gegenstand erstellt. Anhand der Aufnahme (14) werden mittels eines Aufnahme-Extraktionsalgorithmus (20) Aufnahme-Merkmale (22) ermittelt. Anhand hinterlegter Gegenstandsdaten (12) werden Gegenstands-Merkmale (28) ermittelt und mit den Aufnahme-Merkmalen (22) verglichen, um eine Zuordnungsinformation (36) auszugeben. Erfindungsgemäß ist es dabei insbesondere vorgesehen, eine Nutzerbewertung (42) sowohl zur Verbesserung des Aufnahme-Extraktionsalgorithmus (20) als auch des Gegenstands-Extraktionsalgorithmus (26) vorzusehen. Alternativ oder zusätzlich dazu ist es erfindungsgemäß insbesondere vorgesehen, sowohl den Aufnahme-Extraktionsalgorithmus (20) als auch den Gegenstands-Extraktionsalgorithmus (26) auf miteinander verbundenen, vorzugsweise gewichteten, Daten-Aggregations-Routinen basierend auszubilden.

Description

  • Hintergrund der Erfindung
  • Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Identifikation eines Gegenstands. Die Erfindung betrifft weiterhin die Verwendung eines solchen Verfahrens bzw. die Verwendung einer solchen Vorrichtung in einer Industriefertigung.
  • Bei der Fertigung von Gegenständen, insbesondere bei der Fertigung von Blechteilen, wird oftmals ein Gegenstand, insbesondere ein gefertigtes Blechteil, aufgefunden, das keinem bestimmten Auftrag zuordenbar ist. Das Entsorgen des Gegenstands stellt eine Ressourcenverschwendung dar und birgt darüber hinaus die Gefahr, dass der Gegenstand bei einem bestimmten Auftrag fehlt. Die vollständig manuelle Identifikation des Gegenstands ist jedoch aufwändig und kann oftmals nur von erfahrenen Mitarbeitern erfolgreich vorgenommen werden, die nicht immer präsent sind oder zur Identifikation des Gegenstands von anderen Aufgaben entbunden werden müssen. Eine vollständig maschinelle Identifikation eines Gegenstands scheitert demgegenüber oftmals an unzureichenden Aufnahmen des Gegenstands oder unzureichenden Identifikationsprogrammen.
  • Aufgabe der Erfindung
  • Es ist daher Aufgabe der Erfindung, ein Verfahren bzw. eine Vorrichtung bereit zu stellen, die eine effektive Zuordnung eines zufällig aufgefundenen Gegenstands ermöglicht. Weiterhin ist es Aufgabe der Erfindung, eine entsprechende Verwendung des Verfahrens bzw. der Vorrichtung bereitzustellen.
  • Beschreibung der Erfindung
  • Diese Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren gemäß Patentanspruch 1, eine Vorrichtung gemäß Patentanspruch 12 bzw. eine Verwendung gemäß Patentanspruch 16. Die Unteransprüche stellen bevorzugte Weiterbildungen dar.
  • Die Erfindung betrifft somit ein Verfahren zur Identifikation eines Gegenstands. Der Gegenstand kann in Form eines im Wesentlichen zweidimensionalen Gegenstands, beispielsweise in Form eines ebenen Blechteils, oder in Form eines dreidimensionalen Gegenstands, beispielsweise in Form eines Blechteils mit Umformungen, ausgebildet sein. Die Identifikation erfolgt durch Zuordnung einer Aufnahme des Gegenstands zu hinterlegten Gegenstandsdaten. Diese Gegenstandsdaten können in Form von CAD-Daten hinterlegt sein. Das Verfahren weist dabei folgende Verfahrensschritte auf:
    1. A) Erstellen der Aufnahme bzw. Aufnehmen des Gegenstands mit einer Bilderfassungsvorrichtung, wobei die Bilderfassungsvorrichtung in Form einer Kamera ausgebildet sein kann;
    2. B) Ableiten von Aufnahme-Merkmalen aus der Aufnahme anhand eines Aufnahme-Extraktionsalgorithmus;
    3. C) Ableiten von Gegenstands-Merkmalen aus den hinterlegten Gegenstandsdaten anhand eines Gegenstands-Extraktionsalgorithmus;
    4. D) Vergleichen der Aufnahme-Merkmale mit den Gegenstands-Merkmalen anhand eines Vergleichsalgorithmus; und
    5. E) Ausgeben einer Zuordnungsinformation der Aufnahme zu den hinterlegten Gegenstandsdaten.
  • Erfindungsgemäß ist es somit vorgesehen, zumindest eine Information bezüglich der Zuordnung des zu identifizierenden Gegenstands zu hinterlegten Gegenstandsdaten auszugeben. Vorzugsweise wird die Information in Form einer Wahrscheinlichkeitsinformation angegeben, sodass ersichtlich ist, mit welcher Wahrscheinlichkeit der Gegenstand mit den hinterlegten Gegenstandsdaten übereinstimmt. Die Ausgabe kann z.B. auf einem Bildschirm, einer Datenbrille, oder als Datenübergabe erfolgen. Vorteilhafterweise können mehrere Zuordnungsinformationen mit Angabe der Wahrscheinlichkeit ausgegeben.
  • Es werden erfindungsgemäß sowohl Merkmale aus der Aufnahme als auch aus den hinterlegten Gegenstandsdaten extrahiert. Dies ermöglicht eine besonders zuverlässige Zuordnung der Aufnahme zu den hinterlegten Gegenstandsdaten und somit eine besonders hohe Wahrscheinlichkeit der Identifikation des Gegenstands.
  • Bevorzugt weist das Verfahren folgenden Verfahrensschritt auf:
    • F) Auslesen einer Nutzerbewertung der Zuordnungsinformation.
  • Dann sieht das Verfahren vor, eine Bewertung eines Nutzers bezüglich dieser Zuordnungsinformation auszulesen. Die Bewertung durch den Nutzer kann z.B. durch Datenübermittlung oder durch eine Eingabevorrichtung, z.B. Taster, Touchscreen, Stimmenaufnahme, Spracherkennung oder ähnliche Eingabevorrichtungen erfolgen. Wenn dem Nutzer zum Beispiel zwei oder mehr Identifikationstreffer angezeigt werden, sortiert nach der Wahrscheinlichkeit, so kann der Nutzer diejenige auswählen, die seiner Meinung nach wirklich übereinstimmt. Damit hat er eine Nutzerbewertung abgegeben. Dies kann die Verbesserung zukünftig ausgegebener Zuordnungsinformationen ermöglichen.
  • Ein Aufnahme-Extraktionsalgorithmus kann dabei Daten der Aufnahme einlesen, diese in Abhängigkeit von vorgegebenen Aufnahme-Parametern bearbeiten und Aufnahme-Merkmale in Form von den bearbeiteten Daten ausgeben. Die vorgegebenen Aufnahme-Parameter können sogenannte gewichtete Variablen aufweisen. Deren Funktion und Ermittlung wird weiter unten erläutert.
  • Das Verfahren kann weiter bevorzugt folgenden Verfahrensschritt aufweisen:
    • H) Verändern, insbesondere Verbessern, insbesondere Optimieren, von Parametern des Aufnahme-Extraktionsalgorithmus, des Gegenstands-Extraktionsalgorithmus und/oder des Vergleichsalgorithmus anhand der Nutzerbewertung.
  • Die Parameter können sogenannte gewichtete Variablen aufweisen. Deren Ermittlung und Funktion wird weiter unten erläutert.
  • Vor, während und/oder nach dem Verfahrensschritt H) wird vorzugsweise folgender Verfahrensschritt durchgeführt:
    • G) Speichern der Nutzerbewertung der Zuordnungsinformation in einem Nutzerbewertungs-Ergebnisspeicher.
  • Das Speichern der Nutzerbewertung ermöglicht ein Sammeln vieler Nutzerbewertungen, wodurch der Aufnahme-Extraktionsalgorithmus, der Gegenstands-Extraktionsalgorithmus und/oder der Vergleichsalgorithmus signifikant verbesserbar ist/sind.
  • Der Nutzerbewertungs-Ergebnisspeicher kann Cloud-basierend ausgebildet sein. Mit Cloud-basierend ist hier eine, insbesondere örtlich entfernte, vorzugsweise anonymisierte, Speichervorrichtung gemeint, in der Nutzerbwertungen von mehr als einer, vorteilhafterweise von mehreren hundert oder mehreren tausend unterschiedlichen Nutzern gespeichert werden. Hierdurch können verschiedene Nutzer unabhängig vom Fertigungsstandort zur Optimierung des Verfahrens beitragen. Es wurde erkannt, dass die beschriebenen Verfahren durchschlagende Erfolge, also Zuordnungsinformationen mit der richtigen Zuordnung mit der höchsten Wahrscheinlichkeit erst bekommen, wenn mehrere zehntausend, insbesondere mehrere hunderttausend Nutzerbewertungen ausgelesen wurden. Eine solche Datenmenge ist für eine einzelne Fertigungsstätte oftmals in einem Jahr nicht erreichbar. Demnach wäre das Verfahren vermutlich uninteressant geblieben.
  • Das Erstellen bzw. Aufnehmen der Aufnahme kann im für das menschliche Auge sichtbaren Wellenlängenbereich erfolgen. Alternativ oder zusätzlich dazu kann das Erstellen der Aufnahme im für das menschliche Auge nicht sichtbaren Wellenlängenbereich, beispielsweise im IR-Bereich, im UV-Bereich und/oder im Ultraschall-Bereich, erfolgen.
  • Im Verfahrensschritt A) können mehrere Aufnahmen des Gegenstands mit der Bilderfassungsvorrichtung aufgenommen werden. Im Verfahrensschritt B) können die Aufnahme-Merkmale aus mehreren Aufnahmen extrahiert werden. Im Verfahrensschritt E) kann eine Zuordnungsinformation aus mehreren Aufnahmen zu den hinterlegten Gegenständen ausgegeben werden. Es hat sich dabei gezeigt, dass das Erstellen und Verarbeiten mehrerer Aufnahmen die Qualität der Zuordnungsinformation für einen Nutzer erheblich verbessert, da insbesondere der Einfluss von durch die Aufnahmeposition hervorgerufene Artefakte vermindert wird.
  • Vorzugsweise weist/weisen der Aufnahme-Extraktionsalgorithmus, der Gegenstands-Extraktionsalgorithmus und/oder der Vergleichsalgorithmus einen Algorithmus mit mehreren Daten-Aggregations-Routinen auf. Eine Daten-Aggregations-Routine kann ausgelegt sein, mehrere ,ermittelte Daten‘ zu einem neuen Datenpaket zu aggregieren. Das neue Datenpaket kann eine oder mehrere Zahlen oder Vektoren aufweisen. Das neue Datenpaket kann vollständig oder teilweise weiteren Daten-Aggregations-Routinen als „ermittelte Daten“ zur Verfügung gestellt werden. ,Ermittelte Daten‘ können z.B Aufnahmedaten, Gegenstandsdaten, oder von einer der Daten-Aggregations-Routinen zur Verfügung gestellte Datenpakete sein. Besonders bevorzugt ist/sind der Aufnahme-Extraktionsalgorithmus, der Gegenstands-Extraktionsalgorithmus und/oder der Vergleichsalgorithmus in Form eines Algorithmus mit mehreren verbundenen Daten-Aggregations-Routinen ausgebildet. Insbesondere können mehrere hundert, insbesondere mehrere tausend solcher Daten-Aggregations-Routinen miteinander verbunden werden. Die Qualität und Geschwindigkeit des Algorithmus/der Algorithmen wird/werden hierdurch deutlich verbessert. Der Aufnahme-Extraktionsalgorithmus, der Gegenstands-Extraktionsalgorithmus und/oder der Vergleichsalgorithmus kann/können eine Funktion mit gewichteten Variablen aufweisen. Eine, insbesondere mehrere, besonders bevorzugt alle Daten-Aggregations-Routinen können ausgelegt sein, mehrere ,ermittelte Daten‘ jeweils mit einer gewichteten Variablen zu kombinieren, insbesondere zu multiplizieren, und so die ,ermittelten Daten‘ zu ‚kombinierten Daten‘ umzuwandeln dann die ‚kombinierten Daten' zu einem neuen Datenpaket aggregieren, insbesondere zu addieren. Besonders bevorzugt erfolgt die Veränderung der Gewichtung, insbesondere die Veränderung der gewichteten Variablen, anhand der Nutzerbewertung. Zur Ermittlung geeigneter gewichteter Variablen kann der Aufnahme-Extraktionsalgorithmus, der Gegenstands-Extraktionsalgorithmus und/oder der Vergleichsalgorithmus durchlaufen werden mit Daten, insbesondere Aufnahmedaten und/oder Gegenstandsdaten, deren Zusammengehörigkeit jeweils bekannt ist. Die Bestimmung der gewichteten Variablen kann dabei, vorzugsweise in einer ersten Phase, getrennt für den Aufnahme-Extraktionsalgorithmus, den Gegenstands-Extraktionsalgorithmus und den Vergleichsalgorithmus erfolgen.
  • Die Aufnahme-Merkmale und Gegenstands-Merkmale können hierbei selbst Datenpakete, insbesondere mehrere strukturierte Daten, insbesondere Datenvektoren oder Daten-Arrays, sein, die selbst wieder ,ermittelte Daten‘ z.B. für den Vergleichsalgorithmus, insbesondere für die Daten-Aggregations-Routinen des Vergleichsalgorithmus, darstellen können. Die genaue Struktur dieser Aufnahme-Merkmale und Gegenstands-Merkmale kann sich durch die maschinelle Auswertung der Nutzerbewertung verändern, insbesondere verbessern, vorzugsweise optimieren.
  • Indem die durch die Nutzerbewertung eines ersten Nutzers oder einer ersten Gruppe von Nutzern veränderten, insbesondere verbesserten, vorzugsweise optimierten, gewichteten Variablen cloudbasiert verwaltet werden, können auch weitere Nutzer diese in ihren Algorithmen verwenden und von dem Verfahren profitieren.
  • Die genannten Algorithmen oder ein weiterer neben- oder übergeordneter Algorithmus kann ausgebildet sein, zu überwachen und zu erkennen, wann einer oder alle der Algorithmen mit einer vorgegebenen Häufung Zuordnungsinformationen ausgibt, die vom Nutzer als schlecht bewertet werden, und daraufhin eine Negativmeldung ausgeben. Die Ausgabe kann visuell, z.B. auf einem Bildschirm oder in anderer geeigneter Form, z.B. als Datenausgabe, erfolgen. Der überwachende Algorithmus kann ferner ausgebildet sein, auf die Ausgabe einer solchen Negativmeldung mit einer Verbesserungsroutine zu reagieren, die weitere Eigenschaften oder das Zusammenspiel einer oder mehrerer der genannten Algorithmen verändert.
  • In weiter bevorzugter Ausgestaltung des Verfahrens liegen die Gegenstands-Merkmale in Form von Konstruktionsdaten, Materialdaten, Oberflächenbeschaffenheitsdaten und/oder Wärmeleitfähigkeitsdaten vor.
  • Der Vergleichsalgorithmus kann das Bilden eines Skalarprodukts und/oder das Bilden einer Differenz zwischen den Aufnahme-Merkmalen und den Gegenstands-Merkmalen umfassen. Die vorgenannten Maßnahmen haben sich als besonders effektiv bei der Zuordnung der Aufnahme-Merkmale zu den Gegenstands-Merkmalen erwiesen.
  • Weiter bevorzugt umfasst das Ausgeben der Zuordnungsinformation der Aufnahme das Ausgeben mehrerer Zuordnungswahrscheinlichkeiten zu verschiedenen hinterlegten Gegenständen. Ein Nutzer kann dadurch aus verschiedenen Zuordnungsmöglichkeiten wählen. Die Identifikation des Gegenstands ist dadurch mit sehr hoher Erfolgswahrscheinlichkeit durchführbar.
  • Die erfindungsgemäße Aufgabe wird weiterhin gelöst durch eine Vorrichtung zur Identifikation eines Gegenstands durch Zuordnung des Gegenstands zu hinterlegten Gegenstandsdaten, wobei die Vorrichtung Folgendes aufweist:
    1. a) Eine Bilderfassungsvorrichtung zum Erstellen einer Aufnahme des Gegenstands;
    2. b) Eine Aufnahme-Extraktionseinheit mit einem Aufnahme-Extraktionsalgorithmus zum Extrahieren von Aufnahme-Merkmalen aus der Aufnahme;
    3. c) eine Gegenstands-Extraktionseinheit mit einem Gegenstands-Extraktionsalgorithmus zum Extrahieren von Gegenstands-Merkmalen aus den hinterlegten Gegenstandsdaten;
    4. d) eine Vergleichseinheit mit einem Vergleichsalgorithmus zum Vergleichen der Aufnahme-Merkmale mit den Gegenstands-Merkmalen;

    wobei der Aufnahme-Extraktionsalgorithmus, der Gegenstands-Extraktionsalgorithmus und/oder der Vergleichsalgorithmus anhand der Nutzerbewertung optimierbar ausgebildet ist; und
    • e) eine Ausgabeeinheit zur Ausgabe einer Zuordnungsinformation der mit der Bilderfassungsvorrichtung erstellten Aufnahme zu den hinterlegten Gegenstandsdaten.
  • Die erfindungsgemäße Vorrichtung ist vorzugsweise zum Durchführen eines hier beschriebenen Verfahrens ausgebildet.
  • Die Bilderfassungsvorrichtung kann in Form einer Kamera, insbesondere für sichtbares Licht, ausgebildet sein.
  • Die Vorrichtung kann weiterhin Folgendes aufweisen:
    • f) eine Eingabeeinheit zum Auslesen einer Nutzerbewertung bezüglich der Zuordnungsinformation.
  • Weiterhin kann die Vorrichtung Folgendes aufweisen:
    • g) Einen Nutzerbewertungs-Ergebnisspeicher zum Speichern der Nutzerbewertung der Zuordnungsinformation. Der Nutzerbewertungs-Ergebnisspeicher kann Cloud-basiert ausgebildet sein.
  • Der Aufnahme-Extraktionsalgorithmus, der Gegenstands-Extraktionsalgorithmus und/oder der Vergleichsalgorithmus kann/können in Form eines Algorithmus mit mehreren verbundenen Daten-Aggregations-Routinen ausgebildet sein.
  • Besonders vorteilhaft kann/können das Verfahren und/oder die Vorrichtung in einer Industriefertigung mit einer computerbasierten Fertigungssteuerung zur Bearbeitung von reflektierenden Gegenständen, insbesondere Blechteilen, Verwendung finden. Die Aufnahmen mit einer Bilderfassungsvorrichtung von Blechteilen sind in der Vergangenheit häufig für eine Identifikation nicht von ausreichender Qualität gewesen, weil sich Konturen nur sehr schwer vom Hintergrund unterscheiden lassen und Lichtreflektionen falsche Konturen vortäuschen. Deswegen führten Verfahren und Vorrichtungen, die Aufnahmedaten mit Gegenstandsdaten ohne die beschriebenen Algorithmen verglichen, bislang zu keinem Erfolg in der Industriefertigung. Mit reflektierenden Gegenständen sind Gegenstände gemeint mit einer glatten Oberfläche, die das Licht so reflektieren, dass bei dem Erstellen der Aufnahme neben den Konturen auch unerwünschte Lichtreflektionen anderer Objekte auftreten können. Beispiel für solche reflektierenden Gegenstände sind Metalle, Glas, Kunststoffe mit glatter Oberfläche, beschichtete Materialien, wie z.B. beschichtete Platten aus Kunststoff, Holz, Metall, Glas etc.
  • Besonders vorteilhaft ist es, wenn die Fertigungssteuerung zumindest teilweise cloudbasiert ist. Dann können Parameter, insbesondere die gewichteten Variablen, zur Veränderung, insbesondere Verbesserung, insbesondere Optimierung, der Algorithmen von einer ersten Fertigungsstätte auch in anderen Fertigungsstätten genutzt werden und umgekehrt. Es ist so eine viel größere Datenbasis vorhanden und die Identifikation für jeden einzelnen Fertigungsbetrieb kann deutlich verbessert werden.
  • Weitere Vorteile der Erfindung ergeben sich aus der Beschreibung und der Zeichnung. Ebenso können die vorstehend genannten und die noch weiter ausgeführten Merkmale erfindungsgemäß jeweils einzeln für sich oder zu mehreren in beliebigen Kombinationen Verwendung finden. Die gezeigte und beschriebene Ausführungsform ist nicht als abschließend zu verstehen, sondern hat vielmehr beispielhaften Charakter für die Schilderung der Erfindung.
  • Figurenliste
    • 1 zeigt eine schematische Darstellung einer Ausgestaltung des erfindungsgemäßen Verfahrens bzw. der erfindungsgemäßen Vorrichtung.
  • 1 zeigt eine Vorrichtung 10 zur Identifikation eines ohne Zuordnung aufgefundenen Gegenstands. Der Gegenstand kann in Form eines Blechteils ausgebildet sein. Zu dem Gegenstand sind Gegenstandsdaten 12 hinterlegt. Um den aufgefundenen Gegenstand den Gegenstandsdaten 12 zuzuordnen und dadurch zu identifizieren, wird zumindest eine Aufnahme 14 erstellt.
  • Vorzugsweise sind die Gegenstandsdaten 12 in Form von CAD-Daten hinterlegt, insbesondere in einer Gegenstandsdatenbank 16 in Form einer CAD-Datenbank.
  • Die Aufnahme 14 wird mit einer Bilderfassungsvorrichtung 18 erstellt. Die Bilderfassungsvorrichtung 18 kann in Form einer Kamera ausgebildet sein.
  • Die in 1 dargestellte Aufnahme 14 deutet an, dass die Zuordnung einer solchen Aufnahme 14 sehr schwierig sein kann. Dies insbesondere, wenn - wie dargestellt - die Aufnahme 14 nur einen Teil des Gegenstands zeigt, die Aufnahme 14 vor einem unruhigen Hintergrund gemacht wird und/oder die Oberflächenbeschaffenheit des Gegenstands das Erstellen der Aufnahme 14 erschwert.
  • Auf die Aufnahme 14 wird ein Aufnahme-Extraktionsalgorithmus 20 angewendet, um Aufnahme-Merkmale 22 zu extrahieren. Dies ist in 1 schematisch anhand des in der Aufnahme 14 strichpunktiert eingerahmten Bereichs angedeutet. Der Aufnahme-Extraktionsalgorithmus 20 ist in einer Aufnahme-Extraktionseinheit 24 hinterlegt. Der Aufnahme-Extraktionsalgorithmus 20 kann miteinander verbundene, insbesondere zueinander gewichtete, Daten-Aggregations-Routinen aufweisen.
  • Auf die Gegenstandsdaten 12 wird ein Gegenstands-Extraktionsalgorithmus 26 angewendet, um Gegenstands-Merkmale 28 zu extrahieren. Dies ist in 1 schematisch anhand des in den Gegenstandsdaten 12 strichpunktiert eingerahmten Bereichs angedeutet. Der Gegenstands-Extraktionsalgorithmus 26 ist in einer Gegenstands-Extraktionseinheit 30 hinterlegt. Der Gegenstands-Extraktionsalgorithmus 26 kann miteinander verbundene, insbesondere zueinander gewichtete, Daten-Aggregations-Routinen aufweisen.
  • Die Aufnahme-Merkmale 22 und die Gegenstands-Merkmale 28 werden einem Vergleichsalgorithmus 32 zugeführt. Der Vergleichsalgorithmus 32 ist in einer Vergleichseinheit 34 hinterlegt. Der Vergleichsalgorithmus 32 kann miteinander verbundene, insbesondere zueinander gewichtete, Daten-Aggregations-Routinen aufweisen. Vorzugsweise ist der Vergleichsalgorithmus 32 zum Bilden eines Skalarprodukts bzw. einer Differenz zwischen den Aufnahme-Merkmalen 22 und den Gegenstands-Merkmalen28 ausgebildet.
  • Als Ergebnis des Vergleichsalgorithmus 32 wird eine Zuordnungsinformation 36 ausgegeben. Die Ausgabe der Zuordnungsinformation erfolgt in einer Ausgabeeinheit 38. Wie in 1 dargestellt, können mehrere Gegenstandsdaten (hier drei; in 1 nicht mit einem Bezugszeichen bezeichnet) angezeigt werden, wobei jeweils die Zuordnungswahrscheinlichkeit (hier 60%, 35% und 5%) zu den jeweiligen Gegenstandsdaten ausgegeben wird. Hierdurch wird einem Nutzer die Zuordnung des aufgefundenen Gegenstands zu Gegenstandsdaten erheblich erleichtert.
  • Um künftige Zuordnungen zu verbessern, d.h. die Qualität zukünftiger Zuordnungsinformationen zu erhöhen, weist die Vorrichtung 10 eine Eingabeeinheit 40 auf. Die Eingabeeinheit 40 ist dazu ausgebildet, eine Nutzerbewertung 42 auszulesen. Die Nutzerbewertung 42 wird dann dazu eingesetzt, den Aufnahme-Extraktionsalgorithmus 20, den Gegenstands-Extraktionsalgorithmus 26 und/oder den Vergleichsalgorithmus 32 bzw. dessen/deren Parameter zu optimieren.
  • Die Nutzerbewertung 42 kann in einem Nutzerbewertungs-Ergebnisspeicher 44 gespeichert werden, sodass das Verfahren bzw. die Vorrichtung 10 mit einer Vielzahl von Nutzerbewertungen 42 optimierbar ist. Besonders bevorzugt ist dabei der Nutzerbewertungs-Ergebnisspeicher 44 Cloud-basierend ausgebildet. Hierdurch können vorrichtungsübergreifend Nutzerbewertungen 42 in die Optimierung des Verfahrens bzw. der Vorrichtung 10 einfließen.
  • Die Erfindung betrifft mit anderen Worten ein Verfahren und eine Vorrichtung 10 zur Erkennung eines Gegenstands. Dabei wird zumindest eine Aufnahme 14, insbesondere in Form einer Fotografie, von dem Gegenstand erstellt. Anhand der Aufnahme 14 werden mittels eines Aufnahme-Extraktionsalgorithmus 20 Aufnahme-Merkmale 22 ermittelt. Anhand hinterlegter Gegenstandsdaten 12 werden Gegenstands-Merkmale 28 ermittelt und mit den Aufnahme-Merkmalen 22 verglichen, um eine Zuordnungsinformation 36 auszugeben. Erfindungsgemäß ist es dabei insbesondere vorgesehen, eine Nutzerbewertung 42 sowohl zur Verbesserung des Aufnahme-Extraktionsalgorithmus 20 als auch des Gegenstands-Extraktionsalgorithmus 26 vorzusehen. Alternativ oder zusätzlich dazu ist es erfindungsgemäß insbesondere vorgesehen, sowohl den Aufnahme-Extraktionsalgorithmus 20 als auch den Gegenstands-Extraktionsalgorithmus 26 auf miteinander verbundenen, vorzugsweise gewichteten, Daten-Aggregations-Routinen basierend auszubilden.
  • Bezugszeichenliste
    • 10
    Vorrichtung
    12
    Gegenstandsdaten
    14
    Aufnahme
    16
    Gegenstandsdatenbank
    18
    Bilderfassungsvorrichtung
    20
    Aufnahme-Extraktionsalgorithmus
    22
    Aufnahme-Merkmale
    24
    Aufnahme-Extraktionseinheit
    26
    Gegenstands-Extraktionsalgorithmus
    28
    Gegenstands-Merkmale
    30
    Gegenstands-Extraktionseinheit
    32
    Vergleichsalgorithmus
    34
    Vergleichseinheit
    36
    Zuordnungsinformation
    38
    Ausgabeeinheit
    40
    Eingabeeinheit
    42
    Nutzerbewertung
    44
    Nutzerbewertungsergebnisspeicher

Claims (16)

  1. Verfahren zur Identifikation eines Gegenstands durch Zuordnung einer Aufnahme (14) des Gegenstands zu hinterlegten Gegenstandsdaten (12), mit den Verfahrensschritten: A) Erstellen der Aufnahme (14) des Gegenstands mit einer Bilderfassungsvorrichtung (18); B) Extrahieren von Aufnahme-Merkmalen (22) aus der Aufnahme (14) anhand eines Aufnahme-Extraktionsalgorithmus (20); C) Extrahieren von Gegenstands-Merkmalen (28) aus den hinterlegten Gegenstandsdaten (12) anhand eines Gegenstands-Extraktionsalgorithmus (26); wobei der Verfahrensschritt C) vor, während und/oder nach der Verfahrensschritte A) und B) durchgeführt werden kann und wobei anschließend folgende Verfahrensschritte durchgeführt werden: D) Vergleichen der Aufnahme-Merkmale (22) mit den Gegenstands-Merkmalen (28) anhand eines Vergleichsalgorithmus (32); E) Ausgabe einer Zuordnungsinformation (36) der Aufnahme (14) zu den hinterlegten Gegenstandsdaten (12).
  2. Verfahren nach Anspruch 1 mit dem weiteren Verfahrensschritt: F) Auslesen einer Nutzerbewertung (42) der Zuordnungsinformation (36).
  3. Verfahren nach Anspruch 1 oder 2 mit dem weiteren Verfahrensschritt: H) Optimieren des Aufnahme-Extraktionsalgorithmus (20), des Gegenstands-Extraktionsalgorithmus (26) und/oder des Vergleichsalgorithmus (32) anhand der Nutzerbewertung (42).
  4. Verfahren nach Anspruch 3, bei dem vor, während und/oder nach dem Verfahrensschritt H) folgender Verfahrensschritt durchgeführt wird: G) Speichern der Nutzerbewertung (42) der Zuordnungsinformation (36) in einem Nutzerbewertungs-Ergebnisspeicher (44).
  5. Verfahren nach Anspruch 4, bei dem der Nutzerbewertungs-Ergebnisspeicher (44) Cloud-basierend ausgebildet ist.
  6. Verfahren nach einem der vorhergehenden Ansprüche, bei dem das Erstellen der Aufnahme (14) im für das menschliche Auge sichtbaren Wellenlängenbereich erfolgt.
  7. Verfahren nach einem der vorhergehenden Ansprüche, bei dem im Verfahrensschritt A) mehrere Aufnahmen (14) des Gegenstands mit der Bilderfassungsvorrichtung (18) aufgenommen werden, im Verfahrensschritt B) die Aufnahme-Merkmale (22) aus den mehreren Aufnahmen (14) extrahiert werden und im Verfahrensschritt E) eine Zuordnungsinformation (36) der mehreren Aufnahmen (14) zu den hinterlegten Gegenständen ausgegeben wird.
  8. Verfahren nach einem der Ansprüche 2 bis 7, bei dem der Aufnahme-Extraktionsalgorithmus (20), der Gegenstands-Extraktionsalgorithmus (26) und/oder der Vergleichsalgorithmus (32) miteinander verbundene Daten-Aggregations-Routinen aufweist/aufweisen.
  9. Verfahren nach einem der Ansprüche 2 bis 8, bei dem die Gegenstands-Merkmale (28) in Form von Konstruktionsdaten, Materialdaten, Oberflächenbeschaffenheitsdaten und/oder Wärmeleitfähigkeitsdaten vorliegen.
  10. Verfahren nach einem der Ansprüche 2 bis 9, bei dem der Vergleichsalgorithmus (32) das Bilden eines Skalarprodukts und/oder das Bilden einer Differenz zwischen den Aufnahme-Merkmalen (22) und den Gegenstands-Merkmalen (28) umfasst.
  11. Verfahren nach einem der vorhergehenden Ansprüche, bei dem das Ausgeben der Zuordnungsinformation (36) der Aufnahme (14) das Ausgeben von Zuordnungswahrscheinlichkeiten zu verschiedenen hinterlegten Gegenständen umfasst.
  12. Vorrichtung (10) zur Identifikation eines Gegenstands durch Zuordnung des Gegenstands zu hinterlegten Gegenstandsdaten (12), wobei die Vorrichtung (10) Folgendes aufweist: a) Eine Bilderfassungsvorrichtung (18) zum Erstellen einer Aufnahme (14) des Gegenstands; b) Eine Aufnahme-Extraktionseinheit (24) mit einem Aufnahme-Extraktionsalgorithmus (20) zum Extrahieren von Aufnahme-Merkmalen (22) aus der Aufnahme (14); c) eine Gegenstands-Extraktionseinheit (30) mit einem Gegenstands-Extraktionsalgorithmus (26) zum Extrahieren von Gegenstands-Merkmalen (28) aus den hinterlegten Gegenstandsdaten; d) eine Vergleichseinheit (34) mit einem Vergleichsalgorithmus (32) zum Vergleichen der Aufnahme-Merkmale (22) mit den Gegenstands-Merkmalen (28); wobei der Aufnahme-Extraktionsalgorithmus (20), der Gegenstands-Extraktionsalgorithmus (26) und/oder der Vergleichsalgorithmus (32) anhand einer Nutzerbewertung (42) optimierbar ausgebildet ist; e) eine Ausgabeeinheit (38) zur Ausgabe einer Zuordnungsinformation (36) der mit der Bilderfassungsvorrichtung (18) erstellten Aufnahme (14) zu den hinterlegten Gegenstandsdaten (12).
  13. Vorrichtung nach Anspruch 12, wobei die Vorrichtung (10) weiterhin Folgendes aufweist: f) eine Eingabeeinheit (40) zum Auslesen einer Nutzerbewertung (42) der Zuordnungsinformation (36).
  14. Vorrichtung nach Anspruch 12 oder 13, wobei die Vorrichtung (10) weiterhin Folgendes aufweist: g) Einen Nutzerbewertungs-Ergebnisspeicher (44) zum Speichern der Nutzerbewertung (42) der Zuordnungsinformation (36).
  15. Vorrichtung nach einem der Ansprüche 12 bis 14, bei der der Aufnahme-Extraktionsalgorithmus (20), der Gegenstands-Extraktionsalgorithmus (26) und/oder der Vergleichsalgorithmus (32) miteinander verbundene Daten-Aggregations-Routinen aufweist/aufweisen.
  16. Verwendung eines Verfahrens oder einer Vorrichtung nach einem der vorhergehenden Ansprüche in einer Industriefertigung, wobei in der Industriefertigung insbesondere reflektierende Gegenstände, vorzugsweise Blechteile, bearbeitet werden.
DE102018215538.0A 2018-09-12 2018-09-12 Verfahren und Vorrichtung zur Identifkation eines Gegenstands Pending DE102018215538A1 (de)

Priority Applications (6)

Application Number Priority Date Filing Date Title
DE102018215538.0A DE102018215538A1 (de) 2018-09-12 2018-09-12 Verfahren und Vorrichtung zur Identifkation eines Gegenstands
CN201980059832.1A CN112703508A (zh) 2018-09-12 2019-09-03 用于辨识物体的方法和设备
JP2021513836A JP2022500757A (ja) 2018-09-12 2019-09-03 物品を識別するための方法および装置
EP19773741.4A EP3850545A1 (de) 2018-09-12 2019-09-03 Verfahren und vorrichtung zur identifikation eines gegenstands
US17/197,070 US20230118305A1 (en) 2018-09-12 2019-09-03 Method and apparatus for identifying an article
PCT/EP2019/073383 WO2020053023A1 (de) 2018-09-12 2019-09-03 Verfahren und vorrichtung zur identifikation eines gegenstands

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018215538.0A DE102018215538A1 (de) 2018-09-12 2018-09-12 Verfahren und Vorrichtung zur Identifkation eines Gegenstands

Publications (1)

Publication Number Publication Date
DE102018215538A1 true DE102018215538A1 (de) 2020-03-12

Family

ID=68062887

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018215538.0A Pending DE102018215538A1 (de) 2018-09-12 2018-09-12 Verfahren und Vorrichtung zur Identifkation eines Gegenstands

Country Status (6)

Country Link
US (1) US20230118305A1 (de)
EP (1) EP3850545A1 (de)
JP (1) JP2022500757A (de)
CN (1) CN112703508A (de)
DE (1) DE102018215538A1 (de)
WO (1) WO2020053023A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024002622A1 (de) 2022-06-28 2024-01-04 TRUMPF Werkzeugmaschinen SE + Co. KG Verfahren und system zur unterstützung bei der unterscheidung von blech-werkstücken

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015103022A1 (de) * 2015-02-04 2016-08-04 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Verfahren und Vorrichtung zum Erkennen eines bekannten Objekts in einem Sehfeld eines dreidimensionalen Maschinensichtsystems

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6975764B1 (en) * 1997-11-26 2005-12-13 Cognex Technology And Investment Corporation Fast high-accuracy multi-dimensional pattern inspection
US6856698B1 (en) * 1997-11-26 2005-02-15 Cognex Corporation Fast high-accuracy multi-dimensional pattern localization
US8032469B2 (en) * 2008-05-06 2011-10-04 Microsoft Corporation Recommending similar content identified with a neural network
US9082086B2 (en) * 2011-05-20 2015-07-14 Microsoft Corporation Adaptively learning a similarity model
JP5929238B2 (ja) * 2012-01-27 2016-06-01 オムロン株式会社 画像検査方法および画像検査装置
DE102014213518A1 (de) * 2014-07-11 2016-01-14 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Verfahren, Bearbeitungsmaschine und Computerprogrammprodukt zum bildbasierten Platzieren von Werkstückbearbeitungsvorgängen
US9440351B2 (en) * 2014-10-30 2016-09-13 International Business Machines Corporation Controlling the operations of a robotic device
US10249033B1 (en) * 2016-12-20 2019-04-02 Palantir Technologies Inc. User interface for managing defects
US10497257B2 (en) * 2017-08-31 2019-12-03 Nec Corporation Parking lot surveillance with viewpoint invariant object recognition by synthesization and domain adaptation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015103022A1 (de) * 2015-02-04 2016-08-04 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Verfahren und Vorrichtung zum Erkennen eines bekannten Objekts in einem Sehfeld eines dreidimensionalen Maschinensichtsystems

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Wikipedia-Artikel reCAPTCHA vom 05.09.2018, abrufbar unter https://en.wikipedia.org/w/index.php?title=ReCAPTCHA&oldid=858126962 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024002622A1 (de) 2022-06-28 2024-01-04 TRUMPF Werkzeugmaschinen SE + Co. KG Verfahren und system zur unterstützung bei der unterscheidung von blech-werkstücken

Also Published As

Publication number Publication date
WO2020053023A1 (de) 2020-03-19
CN112703508A (zh) 2021-04-23
JP2022500757A (ja) 2022-01-04
EP3850545A1 (de) 2021-07-21
US20230118305A1 (en) 2023-04-20

Similar Documents

Publication Publication Date Title
EP3797337B1 (de) Verfahren zum hantieren eines werkstücks mit hilfe eines entnahmewerkzeugs und maschine zur durchführung des verfahrens
DE112017005651T5 (de) Vorrichtung zur Klassifizierung von Daten
DE102014204827A1 (de) Auflösen ähnlicher Entitäten aus einer Transaktionsdatenbank
EP3038025A1 (de) Retentionsrisikobestimmer
DE102018119682A1 (de) Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und nicht-vorübergehendes computerlesbares speichermedium
KR102190325B1 (ko) 얼굴 이미지들로부터의 질적인 특성의 평가를 위한 컴퓨터-구현된 연산 디바이스를 구축하기 위한 방법
DE102004063769A1 (de) Verfahren und Einrichtung zur automatischen und quantitativen Erfassung des Anteils von Saatgütern oder Körnerfrüchten bestimmter Qualität
WO2018219551A1 (de) Verfahren und vorrichtung zur automatischen gestenerkennung
EP3736817A1 (de) Überprüfung und/oder verbesserung der konsistenz von datenkennzeichnungen bei der medizinischen bildverarbeitung
DE112008001066T5 (de) Verfahren und System zur Bereitstellung eines virtuellen Stellenmarktes
DE102018215538A1 (de) Verfahren und Vorrichtung zur Identifkation eines Gegenstands
DE102019211672A1 (de) Trainingsverfahren für ein künstliches neuronales Netzwerk
DE102022204493A1 (de) Segmentierung einer Sequenz von Videobildern mit einem Transformer-Netzwerk
DE112007001776T5 (de) Verfahren zum Auswählen eines Bildes zur Einfügung in ein Dokument
DE102021204550A1 (de) Verfahren zum Erzeugen wenigstens eines Datensatzes zum Trainieren eines Algorithmus maschinellen Lernens
EP2642749B1 (de) Vorrichtung und Verfahren zur Optimierung der Bestimmung von Aufnahmebereichen
DE19820353C2 (de) Verfahren und Vorrichtung zur Erkennung eines Musters auf einer Vorlage
DE102020205394A1 (de) Computerimplementiertes Verfahren und Vorrichtung zum Erstellen eines Knowledge Graph
DE102007018562A1 (de) Verfahren und Vorrichtung zur Ermittlung und Bereitstellung von Information zu einem Bild
DE102014016676A1 (de) Verfahren zur rechnergestützten Auswahl von Bewerbern aus einer Vielzahl von Bewerbern für ein vorgegebenes Anforderungsprofil
DE102021211828A1 (de) Computerimplementiertes Verfahren zu einer Unterstützung einer Planung und einer Organisation eines Bauprojekts, Vorrichtung zur Datenverarbeitung im Rahmen eines solchen Verfahrens und Computerprogramm zur Implementierung eines solchen Verfahrens
DE102022103844B3 (de) Verfahren zur Optimierung eines Produktionsprozesses auf Basis visueller Informationen und Vorrichtung zur Durchführung des Verfahrens
DE102018205409A1 (de) Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zum Annotieren eines Bildes
EP3685289B1 (de) Verfahren zur überprüfung der identität einer person und bereitstellung von damit verknüpften nutzerdaten
DE102023107278B3 (de) Verfahren zum Authentifizieren einer auf ihrem Substrat mindestens eine bedruckte Fläche aufweisenden Banknote

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009640000

Ipc: G06V0030192000

R081 Change of applicant/patentee

Owner name: TRUMPF WERKZEUGMASCHINEN SE + CO. KG, DE

Free format text: FORMER OWNER: TRUMPF WERKZEUGMASCHINEN GMBH + CO. KG, 71254 DITZINGEN, DE