DE102021123761A1

DE102021123761A1 - Bauteilklassifizierungsvorrichtung, Verfahren zum Klassifizieren von Bauteilen und Verfahren zum Trainieren einer Bauteilklassifizierungsvorrichtung

Info

Publication number: DE102021123761A1
Application number: DE102021123761.0A
Authority: DE
Inventors: Fabian Steinhart; Rolf Burmeister; Ali-Reza Rahnama; Robin Dehde; Sebastian Plamauer; Verena Lang; Benjamin Braun; Steffen Claus; Timo Pohl; Semih Dinc; Nico Koppold; Dominik Kugler
Original assignee: MTU Aero Engines AG
Current assignee: MTU Aero Engines AG
Priority date: 2021-05-10
Filing date: 2021-09-14
Publication date: 2022-11-10

Abstract

Die Erfindung betrifft eine Bauteilklassifizierungsvorrichtung (1) zur Klassifizierung von Bauteilen (3) in vorbestimmte Bauteilklassen (16), aufweisend eine Kameraeinrichtung (6), eingerichtet zur Generierung von Bilddaten (7) eines zu klassifizierenden Bauteils (3), eine Wiegeeinrichtung (4), eingerichtet zur Generierung von Gewichtsdaten (5) des zu klassifizierenden Bauteils (3). Die Bauteilklassifizierungsvorrichtung (1) weist eine Auswerteeinrichtung (12) auf, die dazu eingerichtet ist, vorbestimmte Bildmerkmale (13) nach einem vorbestimmten Bildmerkmalsextraktionsverfahren aus den Bilddaten (7) zu generieren, und die Bilddaten (7) einem vortrainierten, ersten neuronalen Netz zuzuführen, und Bottleneckmerkmale (14) der Bilddaten (7) aus einer vorbestimmten Bottleneckschicht (25) des ersten neuronalen Netzes (23) zu generieren. Die Bauteilklassifizierungsvorrichtung (1) weist eine Klassifizierungseinrichtung (15) auf, die dazu eingerichtet ist, dem Bauteil (3) nach einem vorbestimmten Klassifizierungsverfahren, basierend auf den Gewichtsdaten (5), den Bildmerkmalen (13) und den Bottleneckmerkmalen (14), zumindest eine von mehreren vorbestimmten Bauteilklassen (16), welche vorbestimmte Bauteilgruppen und/oder Bauteile (3) beschreiben zuzuweisen.

Description

Die Erfindung betrifft eine Bauteilklassifizierungsvorrichtung gemäß den Merkmalen des Oberbegriffs des Anspruchs 1, ein Verfahren zum Klassifizieren von Bauteilen gemäß den Merkmalen des Oberbegriffs des Anspruchs 9 sowie ein Verfahren zum Trainieren einer Bauteilklassifizierungsvorrichtung gemäß den Merkmalen des Oberbegriffs des Anspruchs 10.
Bei einer Demontage eines Geräts wie beispielsweise einer Flugzeugturbine fällt eine Vielzahl an Bauteilen der Flugzeugturbine an. Um einen Aufwand bei der Kategorisierung der dabei angefallenen Bauteile zu ermöglichen, ist es üblich, Schrifterkennungsverfahren anzuwenden, welche es ermöglichen, eine an dem Bauteil bereitgestellte Teilenummer oder Seriennummer zu erfassen. Dabei ergibt sich jedoch das Problem, dass aufgrund von Abnutzungen, Verschmutzungen oder aufgrund der metallischen Eigenschaften eine automatisierte Texterfassung nur eingeschränkt möglich ist. Eine andere Möglichkeit, die Kategorisierung von Bauteilen zu vereinfachen, besteht in einer Anwendung von Verfahren klassischer Bildverarbeitung und/oder Verfahren maschinellen Sehens. Aufgrund einer großen Anzahl von Klassen der Bauteile und relativ geringen Abweichungen zwischen den Bauteilen reichen Verfahren maschinellen Sehens jedoch nicht aus, um eine zuverlässige Kategorisierung der Bauteile zu ermöglichen.
In der US 9,934,563 B2 ist eine 3D-objektbasierte mechanische Teileauswahl durch 2D-Bildverarbeitung offenbart. In dem Verfahren ist es vorgesehen, aus einer Anzahl von zweidimensionalen Bildern eines Zielobjekts automatisch gedrehte zweidimensionale Bilder von zu erkennenden Zielobjekten wie zum Beispiel Maschinenteilen zu generieren. Aus den gedrehten zweidimensionalen Bildern wird ein dreidimensionales Bild des Zielobjekts generiert. Dadurch ist es möglich, eine Bilderkennung auch bei unzureichender Beleuchtung sicherzustellen, indem der Bilderkennungsprozess für mehrere Bilder durchgeführt und die erfolgreichen Erkennungsergebnisse gelernt werden.
In der EP 1 942 443 A1 sind ein Verfahren und eine Bauteilklassifizierungsvorrichtung zum Identifizieren von Bauteilen offenbart. In dem Verfahren ist es vorgesehen, individuelle Merkmale eines Bauteils, welche zufällig bei seiner Herstellung und/oder Bearbeitung ausgebildet wurden, in definierten Bereichen zu ermitteln und als ein Satz von Merkmalen für dieses Bauteil zu speichern. Es ist vorgesehen, dass zur Identifikation des Bauteils, dieses in den definierten Bereichen auf das Vorhandensein der individuellen Merkmale untersucht wird und der dabei ermittelte Satz von Merkmalen des Bauteils jeweils mit den gespeicherten Sätzen von Merkmalen verglichen wird, um bei Identität oder hoher Ähnlichkeit das Bauteil zu identifizieren.
In der DE 195 27 147 A1 sind ein Verfahren und eine Bauteilklassifizierungsvorrichtung zur Qualitätsprüfung von geformten Teilen offenbart. Die Bauteilklassifizierungsvorrichtung zur Durchführung der umfasst eine Bewertungseinrichtung zur Bewertung der Qualität eines Gegenstandes durch Vergleich mindestens eines tatsächlichen Maßparameters der tatsächlichen Maßform des Gegenstandes mit einem entsprechenden gewünschten Parameter der gewünschten Form. Die Bauteilklassifizierungsvorrichtung umfasst eine Auswerteeinheit, die dazu eingerichtet ist, eine Dichte des Gegenstands aus einem von einer Wiegeeinrichtung gelieferten Gewicht und einem Volumen einer Sollmaßform zu bestimmen.
In der an der Uni Gießen vorgelegten Dissertation „Automatisierte Detektion und Extraktion von Elektroschrottkomponenten mit Methoden der Bildverarbeitung und des maschinellen Lernens im Hinblick auf das Tantal-Recycling“ von Johannes Rücker ist ein Verfahren beschrieben, in welchem durch ein Erkennungssystem Leiterplatten mit bildgebenden Sensoren vermessen werden und die damit gewonnenen Daten mit Verfahren des maschinellen Lernens und der Bildverarbeitung ausgewertet werden. Dabei werden die Daten segmentiert und anschließend klassifiziert.
In einer Veröffentlichung SUN, Weichen, et al. Small sample parts recognition and localization from unfocused images in precision assembly systems using relative entropy. Precision Engineering, 2021, 68. Jg., S. 206-217; ist eine Bauteilerkennungs- und Lokalisierungsmethode beschrieben, welche auf relativer Entropie basiert und auf kleine Proben angewandt werden kann. Dabei ist es vorgesehen, dass ein Vorlagenbild, basierend auf Konturen eines Bauteils generiert wird und in mehrere Regionen unterteilt wird. Eine Intensitätsverteilung der Regionen wurde aufgenommen, um Vorlagenmerkmale zu generieren.
In einer Veröffentlichung JAIN, Tushar; MEENU, Dr HK. Machine Vision System for Industrial Parts Recognition; ist ein Verfahren maschinellen Sehens zur Erkennung industrieller Bauteile offenbart.
Es ist eine Aufgabe der Erfindung, eine zuverlässige, automatisierte Klassifizierung von Bauteilen zu ermöglichen.
Die Aufgabe wird erfindungsgemäß durch eine Bauteilklassifizierungsvorrichtung gemäß den Merkmalen des Anspruchs 1, ein Verfahren zum Klassifizieren von Bauteilen gemäß den Merkmalen des Anspruchs 9 sowie ein Verfahren zum Trainieren einer Bauteilklassifizierungsvorrichtung gemäß den Merkmalen des Anspruchs 10 gelöst. Vorteilhafte Ausgestaltungen mit zweckmäßigen Weiterbildungen der Erfindung sind in den jeweiligen Unteransprüchen angegeben, wobei vor-teilhafte Ausgestaltungen jedes Erfindungsaspekts als vorteilhafte Ausgestaltungen der jeweils anderen Erfindungsaspekte anzusehen sind.
Ein erster Aspekt der Erfindung betrifft eine Bauteilklassifizierungsvorrichtung, die zur Klassifizierung von Bauteilen in vorbestimmte Bauteilklassen eingerichtet ist. Die Bauteilklassifizierungsvorrichtung umfasst eine Kameraeinrichtung, die dazu eingerichtet ist, Bilddaten des zu klassifizierenden Bauteils zu generieren. Mit anderen Worten ist die Kameraeinrichtung der Bauteilklassifizierungsvorrichtung dazu vorgesehen, Bilddaten, welche Bilder des zu klassifizierenden Bauteils umfassen, von dem Bauteil aufzunehmen. Die Kameraeinrichtung kann eine oder mehrere Kameras aufweisen, welche dazu eingerichtet sind, Bilder im sichtbaren Spektrum und/oder im Infrarotspektrum und/oder im ultravioletten Spektrum von dem Bauteil aus jeweiligen Perspektiven aufzunehmen. Die Bauteilklassifizierungsvorrichtung weist eine Wiegeeinrichtung auf, die dazu eingerichtet ist, Gewichtsdaten des zu klassifizierenden Bauteils zu generieren. Mit anderen Worten ist die Wiegeeinrichtung dazu eingerichtet, ein Gewicht des Bauteils zu erfassen und das Gewicht in den Gewichtsdaten bereitzustellen.
Die Bauteilklassifizierungsvorrichtung weist eine Auswerteeinrichtung auf, die dazu eingerichtet ist, vorbestimmte Bildmerkmale nach einem vorbestimmten Bildmerkmalsextraktionsverfahren aus den Bilddaten zu generieren. Die Auswerteeinrichtung kann einen Prozessor und/oder Microcontroller umfassen, durch welche die vorbestimmten Bildmerkmalsextraktionsverfahren ausgeführt werden können. Die vorbestimmten Bildmerkmalsextraktionsverfahren können Verfahren maschinellen Sehens und/oder vorbestimmte Bildverarbeitungsschritte umfassen. Es kann vorgesehen sein, dass die Bildmerkmale Kantenverläufe, Rundungen oder Abmessungen wie beispielsweise Längen oder Flächen des Bauteils umfassen können, welche mittels des Bildmerkmalsextraktionsverfahrens aus den Bilddaten extrahiert sind.
Die Auswerteeinrichtung ist zudem dazu eingerichtet, die Bilddaten einem vortrainierten ersten neuronalem Netz zuzuführen und vorbestimmte Bottleneckmerkmale der Bilddaten aus einer Bottleneckschicht des ersten neuronalen Netzes zu generieren. Mit anderen Worten ist die Auswerteeinrichtung dazu eingerichtet, die Bilddaten mit dem ersten neuronalen Netz auszuwerten und aus der vorbestimmten Bottleneckschicht des ersten neuronalen Netzes die vorbestimmten Bottleneckmerkmale zu extrahieren. Bei dem ersten neuronalen Netz kann es sich insbesondere um ein vortrainiertes neuronales Netz handeln. Es kann beispielsweise ein vortrainiertes Convolutional neuronal Network (CNN) sein, wie beispielsweise das VGG16. Dadurch kann insbesondere Transfer Learning angewendet werden. Beim Transfer Learning wird ein auf einem deutlich größeren Datensatz trainiertes neuronales Netz als Basis verwendet. Die ist vorteilhaft, wenn ein Datensatz von Bilddaten zu erkennender Bauteile und/oder zu erkennender Bauteilgruppen nur aus wenigen hundert Bildern besteht, welche nicht zu einem Trainieren eines neuronalen Netzes ausreichen würden. Das erste neuronale Netz kann mehrere Schichten, sogenannte Layer aufweisen. Von diesem ersten neuronalen Netz werden dann die letzten Schichten abgeschnitten. Eine validierte Hypothese hierbei ist, dass insbesondere die ersten Schichten eines neuronalen Netzes für die Merkmalsextraktion, also zum Beispiel eine Kanten- und Eckenfilterung, relevant sind. Die letzte verbleibende Schicht des vortrainierten ersten neuronalen Netzes enthält eine hochdimensionale, insbesondere 512- dimensionale oder mehr als 512-dimensionale, Repräsentation von abstrakten Informationen über das zugrundeliegende Bild. Diese Schicht ist die besagte Bottleneckschicht. Die Bottleneckmerkmale umfassen die beschriebenen abstrakten Informationen der Bilddaten. Hier und im Folgenden kann ein künstliches neuronales Netzwerk als Softwarecode verstanden werden, der auf einem computerlesbaren Speichermedium gespeichert ist und eines oder mehrere vernetzte künstliche Neuronen repräsentiert beziehungsweise deren Funktion nachbilden kann. Der Softwarecode kann dabei auch mehrere Softwarecodekomponenten beinhalten, die beispielsweise unterschiedliche Funktionen haben können. Insbesondere kann ein künstliches neuronales Netzwerk ein nichtlineares Modell oder einen nichtlinearen Algorithmus implementieren, das beziehungsweise der eine Eingabe auf eine Ausgabe abbildet, wobei die Eingabe durch einen Eingangsmerkmalsvektor oder eine Eingangssequenz gegeben ist und die Ausgabe beispielsweise eine ausgegebenen Kategorie für eine Klassifizierungsaufgabe, einen oder mehrere prädizierte Werte oder eine prädizierte Sequenz beinhalten kann.
Die Bottleneckmerkmale können Ausgangsmerkmale der Bottleneckschicht des ersten neuronalen Netzes sein. Die Vorteile und Beschaffenheit der Bottleneckschicht und der Bottleneckmerkmale sind aus der Fachliteratur zu neuronalen Netzen bekannt. Die Bottleneckschicht kann eine mittlere oder innere Schicht des ersten neuronalen Netzes sein und zwischen zwei Schichten des ersten neuronalen Netzes angeordnet sein. Die Bottleneckschicht kann sich von anderen der Schichten des ersten neuronalen Netzes durch eine geringere Anzahl an Neuronen und/oder übergebener Merkmale unterscheiden. Die Ausgangsmerkmale der Bottleneckschicht, die besagten Bottleneckmerkmale, können aus diesem Grund eine kleinere Dimensionalität aufweisen als Ausgangsmerkmale der anderen Schichten des ersten neuronalen Netzes. Die Bottleneckmerkmale können somit eine niedrigdimensionale Darstellung der Eingabedaten, beispielsweise den Bilddaten, ermöglichen, welche dem ersten neuronalen Netz zugeführt sind. Es kann in der Erfindung auch vorgesehen sein, Ausgabemerkmale einer beliebigen Schicht des ersten neuronalen Netzes als Bottleneckmerkmale zu verstehen. Dies kann beispielsweise vorgesehen sein, wenn eine vorbestimmte Schicht des ersten neuronalen Netzes Ausgangsmerkmale ausgibt, welche zu einer Klassifizierung des Bauteils geeignet sind. Bottleneckmerkmale können beispielsweise auf Bildmerkmalen beruhen, z.B. auf Kanten, Texturen, homogenen Flächenbereichen. Dagegen stellen die Bottleneckmerkmale noch kein finales Klassifizierungsergebnis dar.
Die Bauteilklassifizierungsvorrichtung umfasst auch eine Klassifizierungseinrichtung, die dazu eingerichtet ist, dem Bauteil nach einem vorbestimmten Klassifizierungsverfahren, basierend auf den Gewichtsdaten, den Bildmerkmalen und den Bottleneckmerkmalen zumindest eine von mehreren vorbestimmten Bauteilklassen, welche vorbestimmte Bauteilgruppen und/oder Bauteile beschreiben, zuzuweisen. Mit anderen Worten ist es die Klassifizierungseinrichtung dazu eingerichtet, zu ermitteln, welche der vorbestimmten Bauteilklassen dem Bauteil zugeordnet werden können. Die Bauteilklassen können unterschiedliche taxonomische Stufen umfassen und beispielsweise Bauteilgruppen, Bauteiluntergruppen oder konkrete Bauteilerkennungsnummern umfassen. Es kann beispielsweise vorgesehen sein, dass durch die Bauteilklassen Bauteilgruppen wie beispielsweise Schrauben, Muttern oder Bleche beschrieben sind oder konkrete Bauteile.
Hier und im Folgenden kann das Klassifizierungsverfahren als ein Computeralgorithmus verstanden werden, der in der Lage ist, das zu klassifizierende Bauteil in den Bildmerkmalen, den Bottleneckmerkmalen und den Gewichtsdaten zu identifizieren und dem zu klassifizierenden Bauteil eine entsprechende Bauteilklasse zuordnet, wobei die Bauteilklassen aus einem vordefinierten Satz von Bauteilklassen ausgewählt werden können. Dabei kann die Zuweisung einer Bauteilklasse zu dem zu klassifizierenden Bauteil derart verstanden werden, dass ein entsprechender Konfidenzwert oder eine Wahrscheinlichkeit dafür, dass das zu klassifizierende Bauteil zu der entsprechenden Bauteilklasse gehört, bereitgestellt wird. Zum Beispiel kann der Algorithmus für ein zu klassifizierendes Bauteil für jede der Bauteilklassen einen solchen Konfidenzwert oder eine Wahrscheinlichkeit bereitstellen. Die Zuweisung der Bauteilklasse kann zum Beispiel die Auswahl oder Bereitstellung der Bauteilklasse mit dem größten Konfidenzwert oder der größten Wahrscheinlichkeit beinhalten. Das Klassifizierungsverfahren und/oder die Klassifizierungseinrichtung können auch als Klassifikator bezeichnet werden.
Durch die Erfindung ergibt sich der Vorteil, dass die Klassifizierungsvorrichtung dazu eingerichtet ist, zur Klassifizierung des Bauteils mehrere Eingangsmerkmale zu generieren, welche Gewichtsmerkmale, Bildmerkmale und die Bottleneckmerkmale umfassen. Dadurch ergibt sich der Vorteil, dass eine zuverlässigere Kategorisierung von Bauteilen möglich ist, als es beispielsweise bei Kategorisierungen, die lediglich auf Bildmerkmalen basieren, der Fall ist.
Die Erfindung umfasst auch Weiterbildungen, durch die sich weitere Vorteile ergeben.
Eine Weiterbildung der Erfindung sieht vor, dass das vorbestimmte Klassifizierungsverfahren eine Zuordnung durch ein zweites neuronales Netz umfasst. Mit anderen Worten ist es dazu vorgesehen, dass die Klassifizierungseinrichtung dazu eingerichtet ist, das Klassifizierungsverfahren durchzuführen, wobei das Klassifizierungsverfahren eine Zuordnung des Bauteils in eine der vorbestimmten Bauteilgruppen mittels eines zweiten neuronalen Netzes umfasst. Es ist beispielsweise vorgesehen, dass die Bottleneckmerkmale, die Bildmerkmale und die Gewichtsmerkmale als Eingangsgrößen einem neuronalen Netz bereitgestellt sind und die Zuordnung zu möglichen, vorbestimmte Bauteilklassen und/oder Bauteilen durch das zweite neuronale Netz erfolgt. Es kann beispielsweise vorgesehen sein, dass die von bei dem ersten neuronalen Netz ignorierten Schichten durch neue Schichten des zweiten neuronalen Netzes ersetzt sein können. Diesen Schichten können die Bottleneckmerkmale, welche durch das erste neuronalen Netz generiert sind, die Bildmerkmale und die Gewichtsdaten zugeführt werden. Die Schichten des zweiten neuronalen Netzes können, dann auf einem eigentlichen Datensatz zur Kategorisierung der Bauteile trainiert sein. Dadurch kann das zweite neuronale Netz beispielsweise aus den bereits von dem ersten neuronalem Netz vorverarbeiteten Bildinformation, den Bottleneckmerkmalen lernen, die Bauteilklassen von zu kategorisierenden Bauteilen vorherzusagen. Gegenüber einem Bild, das aus mehreren hunderttausenden oder Millionen Pixeln besteht, reduziert diese Vorverarbeitung die Komplexität deutlich und ist damit auch um mehrere Größenordnungen ressourcenschonender als naive Ansätze. So kann das Training des zweiten neuronalen Netzes auf einem Endgerät, wie einem Laptop, ausgeführt werden. Dies kann insbesondere für ein Training der Klassifizierungsvorrichtung vorteilhaft sein, um aufwändigere Hardware einzusparen.
Eine Weiterbildung der Erfindung sieht vor, dass die Klassifizierungseinrichtung dazu eingerichtet ist, in dem vorbestimmten Klassifizierungsverfahren einem jeweiligen Wahrscheinlichkeitswert der zumindest einen Bauteilklasse zu ermitteln, welcher beschreibt, mit welcher Wahrscheinlichkeit das Bauteil der Bauteilklasse zugeordnet ist. Es kann beispielsweise vorgesehen sein, dass eine Zuordnung des Bauteils in einer letzten Schicht des zweiten neuronalen Netzes erfolgt. Dabei kann durch die letzte Schicht für zumindest einige der vorbestimmten Bauteilklassen der jeweilige Wahrscheinlichkeitswert ausgegeben sein, mit welcher Wahrscheinlichkeit das Bauteil der jeweiligen Bauteilklasse durch die letzte Schicht des zweiten neuronalen Netzes zugeordnet ist.
Eine Weiterbildung der Erfindung sieht vor, dass die Bauteilklassifizierungsvorrichtung eine Benutzerschnittstelle aufweist, wobei die Bauteilklassifizierungsvorrichtung dazu eingerichtet ist, die zumindest eine Bauteilklasse an der Benutzerschnittstelle auszugeben. Die Benutzerschnittstelle kann beispielsweise einen Bildschirm mit Eingabevorrichtung und/oder ein Anschluss zur Kommunikation mit einer Recheneinheit aufweisen.
Eine Weiterbildung der Erfindung sieht vor, dass die Bauteilklassifizierungsvorrichtung dazu eingerichtet ist, an der Benutzerschnittstelle vorbestimmte Beurteilungsdaten in Bezug auf die Bauteilklasse oder eine manuell vorgegebene Bauteilklasse zu empfangen, wobei die Bauteilklassifizierungsvorrichtung dazu eingerichtet ist, das zweite neuronale Netz in Abhängigkeit von den Beurteilungsdaten in Bezug auf die ermittelte Bauteilklasse und/oder der vorgegebenen manuellen Bauteilklasse anzupassen. Mit anderen Worten ist die Bauteilklassifizierungsvorrichtung dazu eingerichtet, die Beurteilungsdaten zu empfangen, welche die ausgegebene Genauigkeit der Bauteilklasse bewerten. Es kann beispielsweise möglich sein, dass die Benutzerschnittstelle Tasteinrichtungen oder einen Touchscreen aufweist, wodurch es dem Benutzer möglich ist, mittels Benutzereingaben eine Bewertung des Ergebnisses der Klassifizierung einzugeben. Es kann beispielsweise vorgesehen sein, dass durch die Benutzerschnittstelle ermöglicht ist, dass ein Benutzer ein ausgegebenes Ergebnis als richtig oder falsch bewertet. Es kann auch möglich sein, dass ein Benutzer mittels der Benutzerschnittstelle eine Genauigkeit des Ergebnisses bewerten kann und/oder Korrekturen durchführen kann. Die Klassifizierungsvorrichtung ist dazu eingerichtet, die Beurteilungsdaten oder die manuell vorgegebene Bauteilklasse als Eingangswert zum Trainieren des zweiten neuronalen Netzes anzuwenden. Mit anderen Worten ist es vorgesehen, dass das zweite neuronale Netz unter Einbeziehung der Beurteilungsdaten und/oder der manuell vorgegebenen Bauteilklasse trainiert wird. Die Benutzerschnittstelle kann somit zwei Ziele erfüllen. Auf der einen Seite erleichtert es die Validierung der Ergebnisse durch einen Nutzer für die Eingabe der Beurteilungsdaten in die Bauteilklassifizierungsvorrichtung, auf der anderen Seite erlaubt es ein Generieren von Trainingsdaten. Dementsprechend kann die Bauteilklassifizierungsvorrichtung durch den Nutzer, beispielsweise automatisch oder manuell eingeleitet, neu trainiert werden. Es kann beispielsweise ein Training des zweiten neuronalen Netzes eingeleitet werden. Bei dem Training kann zum Beispiel durch ein Regression Testing geprüft werden, ob das neue Modell mindestens genauso gut ist wie die Vorgängerversion.
Eine Weiterbildung der Erfindung sieht vor, dass die Bauteilklassifizierungsvorrichtung dazu eingerichtet ist, eine Datenmenge der Bilddaten nach einem vorbestimmten Datenaugmentationsverfahren zu vergrößern. Mit anderen Worten ist die Bauteilklassifizierungsvorrichtung dazu eingerichtet, die erfassten Bilddaten um abgeleitete Bilddaten zu ergänzen, welche aus den erfassten Bilddaten generiert sind. Mit weiteren anderen Worten ist die Bauteilklassifizierungsvorrichtung dazu eingerichtet das vorbestimmte Datenaugmentationsverfahren, welches auch als Datenerweiterung bezeichnet werden kann, auf die erfassten Bilddaten anzuwenden, um eine Datenmenge der Bilddaten zu vergrößern. Die Bauteilklassifizierungsvorrichtung ist beispielsweise dazu eingerichtet, die erfassten Bilddaten um die abgeleiteten Bilddaten zu ergänzen, wobei die abgeleiteten Bilddaten von den erfassten Bilddaten abgeleitet sind. Es kann beispielsweise vorgesehen sein, dass die Bauteilklassifizierungsvorrichtung dazu eingerichtet ist, Bilder der erfassten Bilddaten durch ein vorbestimmtes Transformationsverfahren zu drehen, zu spiegeln, teilweise zu verdecken, zu verzerren oder in ähnlicher bekannter Weise zu verändern, um die von den erfassten Bilddaten abgeleiteten Bilddaten zu generieren. Die Bauteilklassifizierungsvorrichtung kann dazu eingerichtet sein, die Bilddaten um die abgeleiteten Bilddaten zu ergänzen, um die Datenmenge der Bilddaten zu vergrößern. Dadurch ergibt sich der Vorteil, dass eine größere Datenmenge für eine Erfassung des Bauteils oder ein Training des zweiten neuronalen Netzes der Bauteilklassifizierungsvorrichtung bereitgestellt sein kann.
Eine Weiterbildung der Erfindung sieht vor, dass die Bauteilklassifizierungsvorrichtung dazu eingerichtet ist, die Bildmerkmale durch ein Verfahren maschinellen Sehens zu generieren. Mit anderen Worten werden die Bildklassifikationsdaten durch Verfahren der Bildverarbeitung und/oder des maschinellen Sehens generiert. Es kann beispielsweise vorgesehen sein, dass durch Verfahren der Bildverarbeitung und/oder des maschinellen Sehens beispielsweise Kanten, Radien, Abmessungen und/oder Orientierungen als die Bildmerkmale extrahiert werden können. Das vorbestimmte Bildmerkmalsextraktionsverfahren kann beispielsweise eine Hough-Transformation, eine Segmentierung, eine Radon Transformation, ein Silhouetten-Schnittverfahren und/oder photogrammetrische Verfahrensschritte umfassen.
Eine Weiterbildung der Erfindung sieht vor, dass die Bauteilklassifizierungsvorrichtung dazu eingerichtet ist, Kanten und/oder Krümmungsradien des Bauteils als Bildmerkmale zu erfassen. Mit anderen Worten ist es vorgesehen, dass die Bildmerkmale Kantenlängen, Krümmungsradien oder andere geometrische Größen umfassen können. Dadurch ergibt sich der Vorteil, dass beispielsweise erfasste Abmessungen zur Ermittlung der Bauteilklasse verwendet werden können.
Eine Weiterbildung der Erfindung sieht vor, dass das vorbestimmte Klassifizierungsverfahren ein Random Forest Verfahren umfasst. Mit anderen Worten ist es vorgesehen, dass zumindest ein Verfahrensschritt des vorbestimmten Klassifizierungsverfahrens, eine Klassifizierung umfasst, welche durch mehrere unkorrelierte entscheidungsbäume erfolgt, welche sich bei einem Training des Klassifizierungsverfahrens entwickelt haben können. Durch die Weiterbildung ergibt sich der Vorteil, dass ein Klassifikator eingesetzt sein kann, der insbesondere für eine große Anzahl an Bauteilklassen geeignet ist.
Eine Weiterbildung der Erfindung sieht vor, dass das zweite neuronale Netz eine Feed Forward Neural Net Architektur aufweist. Mit anderen Worten ist das zweite neuronale Netz als Feedforward neural network ausgebildet. Dies bedeutet, dass Informationen zwischen Schichten des zweiten Neuronalen Netzes nur in einer Richtung, der Verarbeitungsrichtung, weitergegeben werden. Die Schichten des zweiten neuronale Netzes weisen dadurch keine rekurrente oder rückgekoppelte Verbindungen auf, bei denen Informationen entgegen der Verarbeitungsrichtung zwischen den Schichten weitergeleitet werden.
Ein zweiter Aspekt der Erfindung betrifft ein Verfahren zur Klassifizierung eines Bauteils durch eine Bauteilklassifizierungsvorrichtung. Es ist vorgesehen, dass durch eine Kameraeinrichtung Bilddaten eines zu klassifizierenden Bauteils generiert werden. Durch eine Wiegeeinrichtung werden Gewichtsdaten des zu identifizieren Bauteils generiert. Durch eine Auswerteeinrichtung werden nach einem vorbestimmten Bildmerkmalsextraktionsverfahren vorbestimmte Bildmerkmale aus den Bilddaten generiert und die Bilddaten werden einem vortrainierten ersten neuronalen Netz zugeführt und Bottleneckmerkmale der Bilddaten aus einer vorbestimmten Bottleneckschicht des ersten neuronalen Netzes generiert. Es ist vorgesehen, dass durch eine Klassifizierungseinrichtung dem Bauteil zumindest eine Bauteilklasse bezüglich des Bauteils nach einem vorbestimmten Klassifizierungsverfahren basierend auf den Gewichtsdaten, den Bildmerkmalen und den Bottleneckmerkmalen aus mehreren vorbestimmten Bauteilklassen zugewiesen wird.
Weitere Merkmale und deren Vorteile sind den Beschreibungen des ersten Erfindungsaspekts zu entnehmen.
Ein dritter Aspekt der Erfindung betrifft ein Verfahren zum Trainieren einer Bauteilklassifizierungsvorrichtung, Es ist vorgesehen, dass in dem Verfahren durch eine Kameraeinrichtung, Bilddaten eines zu klassifizierenden Bauteils generiert werden, und durch eine Wiegeeinrichtung, Gewichtsdaten des zu klassifizierenden Bauteils generiert werden. Durch eine Auswerteeinrichtung werden nach einem vorbestimmten Bildmerkmalsextraktionsverfahren, vorbestimmte Bildmerkmale aus den Bilddaten generiert. Durch die Auswerteeinrichtung werden die Bilddaten einem vortrainierten, ersten neuronalen Netz zugeführt, und Bottleneckmerkmale der Bilddaten aus einer Bottleneckschicht des ersten neuronalen Netzes generiert. Durch eine Klassifizierungseinrichtung, wird dem Bauteil zumindest eine vorgegebenen Bauteilklasse nach einem vorbestimmten Klassifizierungsverfahren, basierend auf den Gewichtsdaten, den Bildmerkmalen und den Bottleneckmerkmalen, zugewiesen. Durch eine Benutzerschnittstelle der Bauteilklassifizierungsvorrichtung werden Bewertungsdaten und/oder eine manuell vorgegebene Bauteilklasse empfangen und das vorbestimmte Klassifizierungsverfahren nach einem vorbestimmten Anpassungsverfahren angepasst.
Weitere Merkmale und deren Vorteile sind den Beschreibungen des ersten und des zweiten Erfindungsaspekts zu entnehmen.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen. Dabei zeigt:

1 eine schematische Darstellung einer Bauteilklassifizierungsvorrichtung,
2 eine schematische Darstellung eines Verfahrens zur Klassifizierung eines Bauteils;
3 eine schematische Darstellung eines Verfahrens zur Klassifikation eines Bauteils;
4 eine schematische Darstellung eines neuronalen Netzes; und
5 eine schematische Darstellung von Bildern der Bilddaten.

1 zeigt eine schematische Darstellung einer Bauteilklassifizierungsvorrichtung. Die Bauteilklassifizierungsvorrichtung 1 kann ein Gehäuse 2 umfassen, in welchem das zu klassifizierende Bauteil 3 anzuordnen ist. Die Bauteilklassifizierungsvorrichtung 1 kann in dem Gehäuse 2 eine Wiegeeinrichtung 4 aufweisen, welche dazu eingerichtet sein kann, Gewichtsdaten 5 des Bauteils 3 zu erfassen. Die Bauteilklassifizierungsvorrichtung 1 kann auch eine Kameraeinrichtung 6 aufweisen, welche dazu eingerichtet sein kann, Bilddaten 7 des Bauteils 3 zu generieren. Die Bilddaten 7 können Bilder aufweisen, welche durch Kameras 8 der Kameraeinrichtung 6 aus unterschiedlichen Perspektiven von dem Bauteil 3 aufgenommen sein können. Um vergleichbare Bilddaten 7 und Gewichtsdaten 5 des Bauteils 3 generieren zu können, kann es erforderlich sein, konstante Erfassungsbedingungen der Gewichtsdaten 5 und der Bilddaten 7 sicherzustellen. Zu diesem Zweck kann eine Ablagefläche 9 angeordnet sein, auf welcher das Bauteil 3 beispielsweise an einer vorbestimmten Position 10 anzuordnen ist. Dadurch kann eine genaue und einheitliche Erfassung der Gewichtsdaten 5 ermöglicht sein. Die Kameras 8 der Kameraeinrichtung 6 können an unterschiedlichen Positionen innerhalb des Gehäuses 2 angeordnet sein und auf die vorbestimmte Position 10 zur Ablage des Bauteils 3 ausgerichtet sein. Dadurch kann es möglich sein, das Bauteil aus unterschiedlichen Winkeln erfassen zu können. Damit eine einheitliche Belichtung des Bauteils 3 während verschiedener Klassifizierungsverfahren ermöglicht ist, kann die Bauteilklassifizierungsvorrichtung 1 eine Beleuchtungseinrichtung 11 aufweisen, welche das Bauteil 3 in dem Gehäuse 2 beleuchten kann. Durch die Bereitstellung des Gehäuses 2 und der Beleuchtungseinrichtung 11 kann sichergestellt sein, dass Lichtverhältnisse oder Lichttöne für unterschiedliche Erfassungen konstant sein können. Die Bauteilklassifizierungsvorrichtung 1 kann eine Auswerteeinrichtung 12 aufweisen, die dazu eingerichtet sein kann, die Bilddaten 7 zu empfangen und vorbestimmte Bildmerkmale 13 nach einem vorbestimmten Bildmerkmalsextraktionsverfahren aus den Bilddaten 7 zu generieren. Die vorbestimmten Bildmerkmale 13 können beispielsweise Kantenverläufe und/oder Längen, Rundungen, Krümmungsradien, Flächenausmaße, Koordinaten von Bohrungen oder andere erfassbare Merkmale aufweisen. Die Bildmerkmale 13 können durch maschinelles Sehen und/oder klassische Bildverarbeitung aus den Bilddaten extrahiert werden. Die Auswerteeinrichtung ist zudem dazu eingerichtet, die Bilddaten 12 einem ersten vortrainierten neuronalen Netz zuzuführen. Das erste neuronale Netz 23 kann an Bilddaten unterschiedlicher Bauteile oder anderen Objekten trainiert sein, welches nicht das Bauteil 3 umfassen muss. Es kann vorgesehen sein, dass das erste neuronale Netz 23 an einem Bilddatensatz trainiert wurde, welcher Objekte umfasst, deren Anzahl und Variationen größer sein können als die der zu erfassenden Bauteile 3. Es ist jedoch möglich, die an den Bilddaten erlernten Merkmale auf die zu erfassenden Bauteile zu übertragen, indem sogenannte Bottleneckmerkmale 14 aus einer vorbestimmten Bottleneckschicht 26 des ersten neuronalen Netzwerks 23 extrahiert werden. Die Bauteilklassifizierungsvorrichtung 1 kann eine Klassifizierungseinrichtung 15 aufweisen, die dazu eingerichtet sein kann, die Bildmerkmale 13, Bottleneckmerkmale 14 und Gewichtsdaten 5 zu empfangen. Die Klassifizierungseinrichtung 15 kann die empfangenen Merkmale einem vorbestimmten Klassifizierungsverfahren zuführen, um das Bauteil 3 nach dem vorbestimmten Klassifizierungsverfahren basierend auf den Gewichtsdaten 5, den Bildmerkmalen 13 und den Bottleneckmerkmalen 14 zu klassifizieren. Das Klassifizierungsverfahren kann beispielsweise das zweite neuronales Netz umfassen, wobei die beschriebenen Merkmale dem zweiten neuronalen Netz bereitgestellt werden können. Das zweite neuronale Netz kann dazu vorgesehen sein, dem Bauteil 3 zumindest eine von mehreren Bauteilklassen 16 zuzuweisen. Die Bauteilklassen 16 können vorbestimmt sein und jeweilige Bauteilklassengruppen, -untergruppen oder konkrete Bauteile beschreiben. Das zweite neuronale Netz kann dabei auf die Trainingsdaten des ersten neuronalen Netzes 23 zurückgreifen, um eine Klassifizierung des Bauteils 3 zu ermöglichen. Dabei ist es vorgesehen, dass das zweite neuronale Netz an Bauteilen 3 trainiert wird, welche es im Folgenden zu kategorisieren gilt. Es kann sein, dass die Klassifizierungseinrichtung 15 dazu eingerichtet ist, den ermittelten Bauteilklassen 16 jeweilige Wahrscheinlichkeiten 17 zuzuordnen, welche angeben, mit welcher Wahrscheinlichkeit das Bauteil 3 der jeweiligen Bauteilklassen 16 zuzuordnen ist.
Die Bauteilklassifizierungsvorrichtung 1 kann eine Benutzerschnittstelle 18 aufweisen, welche dazu eingerichtet ist, einem Nutzer der Bauteilklassifizierungsvorrichtung 1 die ermittelten Bauteilklassen 15 und die Wahrscheinlichkeitswerte 17 auszugeben. Die Benutzerschnittstelle 18 kann beispielsweise einen Touchscreen aufweisen. Die Benutzerschnittstelle 18 kann dazu eingerichtet sein, vorbestimmte Benutzereingaben zu erfassen und/oder vorbestimmte Beurteilungsdaten oder manuell vorgegebene Bauteilklassen 16 des Bauteils 3 entgegenzunehmen. Dadurch kann es ermöglicht sein, dass ein Benutzer die zugewiesene Bauteilklasse 16 durch eine manuell vorgegebene Kategorie ersetzen kann, falls eine Fehlklassifizierung des Bauteils 3 durch die Bauteilklassifizierungsvorrichtung 1 erfolgt ist. Es kann auch vorgesehen sein, dass durch die Beurteilungsdaten 19 bewertet werden kann, ob eine Klassifizierung falsch oder richtig ist. Die empfangenen Beurteilungsdaten 19 können der Auswerteeinrichtung 12 und/oder der Klassifizierungseinrichtung 15 zugeführt werden. Die Klassifizierungseinrichtung 15 kann basierend auf den Beurteilungsdaten 19 das zweite neuronale Netz trainieren. Dadurch ist es möglich, dass weitere Bauteile 3 zur Erfassung hinzugefügt werden können und/oder eine Genauigkeit des zweiten neuronalen Netzes erhöht werden kann.
Die Bauteilklassifizierungsvorrichtung 1 kann beispielsweise neun Kameras 8 aufweisen, die in dem Gehäuse 2 angeordnet sein können. Die Kameras 8 können zur Generierung der Bilddaten 7 vorgesehen sein. Die Wiegeeinrichtung 4 als zusätzliche Sensorik dient zur Gewichtsbestimmung des jeweiligen Bauteils 3. Das zu erkennende Bauteil wird auf der Ablage in der Box gelegt und anschließend über Geometrie- und Gewichtsabgleich erkannt. Die Prozesszeit der Erkennung liegt bei ca. 1 Sekunde. Außerhalb der Box ist eine Kühlung installiert um die Temperierung des Prozessors sicher zu stellen. Die Wiedergabe der erkannten Partnummer erfolgt auf einem separaten Bildschirm mit User Interface, der Benutzerschnittstelle 18. Die Bauteilklassifizierungsvorrichtung 1 kann in diesem Interface Vorschläge zu möglichen Partnummern und/oder Bauteilklassen 16 mit einer prozentualen Trefferwahrscheinlichkeit als Wahrscheinlichkeitswerte 17 wiedergeben.
2 zeigt eine schematische Darstellung eines Verfahrens zur Klassifizierung eines Bauteils (3). Es kann vorgesehen sein, dass zu Beginn des Klassifizierungsverfahrens eine Bildaufnahme S1 zur Generierung der Bilddaten 7 und eine Gewichtsmessung S2 zur Generierung der Gewichtsdaten (5) durch-geführt werden. Es kann vorgesehen sein, dass die während der Bildaufnahme S1 generierten Bilddaten 7 mittels eines vorbestimmten Datenaugmentationsverfahrens S3 transformiert werden, um transformierte Bilddaten 7 zu generieren. Das Datenaugmentationsverfahren kann vorbestimmte Transformationen bestimmen, welche beispielsweise Filter, Rotationen, Spiegelungen, Verdeckungen der einzelnen Bilder 20 umfassen können. Dadurch werden die Bilder 20 variiert und somit eine Anzahl der bereitgestellten Bilder 20 erhöht. Die zusätzlich generierten Bilddaten 7 können in einem Schritt S4 den Bilddaten 7 zugefügt werden. In einem Schritt S5 kann es vorgesehen sein, dass die Bilddaten 7 transformiert werden, um die Bilder 20 auf einen auf das Bauteil 3 zugeschnittenen Bereich zu minimieren. Mit anderen Worten kann es vorgesehen sein, dass in den einzelnen Bildern erfasst wird, in welchem Bereich sich das zu erfassende Bauteil 3 befindet. Bereiche, in denen sich das Bauteil 3 nicht befindet, können während des Verfahrensschritts S6 abgetrennt werden, sodass ein Datenumfang der Bilder 20 minimiert werden kann. Die Bilddaten 7 können in zwei folgenden Verfahrensschritten S7 und S8 ausgewertet werden, um die Bottleneckmerkmale 14 zu extrahieren (S9) und die Bildmerkmale 13 zu erkennen (S10). In dem Verfahrensschritt S7 können zur Bereitstellung der Bottleneckmerkmale 14 die Bilddaten 7 einem vortrainierten ersten neuronalen Netz 23 zugeführt werden. In einer vorbestimmten Bottleneckschicht 26 des ersten neuronalen Netzes 24 können die in dieser Schicht bereitgestellten Merkmale als Bottleneckmerkmale 14 extrahiert werden. Zusätzlich kann ein Bildmerkmal des Extraktionsverfahrens S8 ausgeführt werden, welches aus den Bilddaten 7 vorbestimmte Bildmerkmale 13 extrahieren kann. Die vorbestimmten Bildmerkmale 13 können beispielsweise Lagen oder Längen von Kanten, Rundungen oder Bohrungen umfassen. In einem Verfahrensschritt S12 können die Bildmerkmale 13, die Bottleneckmerkmale 14 und die Gewichtsdaten 5 einem Klassifikator in der Klassifizierungseinrichtung 15 übergeben werden, welcher dann dem Bauteil 3 zumindest eine von mehreren vorbestimmten Bauteilklassen 16 zuordnen kann.
3 zeigt eine schematische Darstellung eines Verfahrens zur Klassifikation eines Bauteils. Gezeigt werden Verfahrensschritte und Beispiele der bearbeiteten Bilddaten 7. Durch die Wiegeeinrichtung 4 können die Gewichtsdaten 5 bereitgestellt werden. Durch die Kameraeinrichtung 6 können Bilddaten 7 bereitgestellt werden. Die Bilddaten 7 können als Rohdaten vorliegen. Es kann vorgesehen sein, dass die Bilddaten 7 in den vorbestimmten Augmentierungsverfahren S4 bearbeitet werden, um weitere Bilddaten basierend auf den ursprünglichen Bilddaten zu generieren. Dabei können transformierte Bilder 20 generiert werden, welche dem Bilddatensatz zugeführt werden können. In dem Verfahrensschritt S6 können die Bilder 20 beschnitten werden, um lediglich einen relevanten Bereich des Bildes weiterzugeben. Das Beschneiden S6 kann auch als Cropping bezeichnet werden. Letztendlich wird dadurch ein zurechtgeschnittenes Bild 21 generiert. Das zurechtgeschnittene Bild 21 kann dem Verfahren S8 zugeführt werden, welches die vorbestimmten Bildmerkmale erkennen und extrahieren kann. Die Bilddaten können auch dem ersten neuronalen Netz zugeführt werden (S7), um eine Extraktion der Bottleneckfeatures aus einer vorbestimmten Bottleneckschicht zu ermöglichen.
Die Schritte S6 bis S8 können als Vorverarbeitung angesehen werden und beschreiben, wie ein aufgenommenes Bild 20 der Bilddaten 7 verarbeitet werden kann, damit die Bildmerkmale 13 und die Bottleneckmerkmale 14 der Klassifizierungseinrichtung 15 bereitgestellt werden können.
Es können beispielsweise 9 Bilder als Bilddaten 7 und die Gewichtsdaten 5 gleichzeitig von dem Bauteil 3 aufgenommen werden. Um mehr Bilder des Bauteils 3 zu gewinnen, kann das vorbestimmte Augmentationsverfahren genutzt werden. Mit Hilfe der Datenaugmentation werden die vorhandenen Bilddaten 7 durch neue Bilder erweitert, indem die neuen Bilder zufällig durch Transformationen der erfassten Bilder 20 erzeugt werden. Beispielsweise kann ein Bild 21 durch Rotation, Spiegelung oder Verschiebung neu erzeugt werden. Dadurch erhält das Modell neue Bilddaten für ein Training, des Klassifizierungsverfahrens aber keine zwei völlig identischen Bilder. Im nächsten Schritt wird das Bauteil 3 auf dem Bild 30 anhand einer Bounding Box detection erkannt und zu einem Bild 21 zurechtgeschnitten.
4 zeigt einen möglichen Aufbau des ersten neuronalen Netzes. Das erste neuronale Netz kann 23 dazu vorgesehen sein, die Bottleneckmerkmale bereitzustellen. Die Bilddaten oder ein ausgeschnittenes Bild können nun einem vortrainierten Convolutional neuronal Network (CNN) (erstes neuronales Netz) und einem OpenCV zugeführt werden. Beim vortrainierten CNN kann es sich um das VGG16 handeln, welches auf dem ImageNet Datensatz vortrainiert ist und Bilder der Größe 224 x 224 als Eingangsdaten entgegennehmen kann. Deshalb kann das zugeschnittene Bild 24 auf die gleiche Größe skaliert werden und kann dann an die VGG16-Architektur übergeben werden. Das erste neuronale Netz kann mehrere Schichten 25 umfassen, die auch als Faltungsblock bekannt sind. Nach einem letzten Faltungsblock, welcher die Bottleneckschicht 26 sein kann, kann ein globales Durchschnittspooling angewendet werden. Dabei kommen als Ausgabe die Bottleneckmerkmale heraus. Die erlernten Repräsentationen dienen dazu, die bei neuen Samples interessanten Merkmale zu entnehmen und in den neuen Klassifikator zu transferieren. Insgesamt werden 512 einzelne Elemente der Bottleneckmerkmale entnommen und dem Klassifikator (Klassifizierungsverfahren) zugeführt.
5 zeigt eine schematische Darstellung von Bildern der Bilddaten. Es können auch einige Bildmerkmale der Bilddaten über die Maske des Bauteils extrahiert werden, einschließlich Breite und Höhe in Pixeln, Fläche der konvexen Hülle und mehr. Insgesamt können 19 Extracted Features als Bildmerkmale aus dem openCV gewonnen und ebenfalls dem Klassifikator Klassifizierungsverfahren übergeben werden. Des Weiteren erhält der Klassifikator die Information über das Gewicht des Bauteils. Die Bilder 21 können zu jeweiligen Bildern 22 gedreht und maskiert werden, um aus diesen dann die Bildmerkmale wie Längen oder Radien entnommen werden können.
Bauteile können anhand ihrer Gewichtsdaten, ihrer Bildmerkmale und ihrer Bottleneckmerkmale klassifiziert werden, das bedeutet einer Predicted Class zugeordnet. Es können beispielsweise zwei verschiedene Klassifikatoren als Klassifikationsverfahren trainiert werden. Das Klassifikationsverfahren kann ein Random Forest Verfahren und/oder ein Dense Layer (Feed Forward Neural Net) als zweites neuronales Netz aufweisen. Bei der Wahl des Klassifikationsverfahrens können sowohl die Trainings- als auch die Klassifikationszeit eine Rolle spielen. Die Trainingszeit beschreibt, wie lange der Algorithmus benötigt, um Zusammenhänge zwischen Eigenschaften und Bauteilklassen zu lernen. Die Trainingszeit wird vom Verfahren und der Menge an genutzten Daten bestimmt. Während die Klassifikationszeit definiert wird, wie lange der Algorithmus braucht, um eine Klassifizierung anhand der Eigenschaften durchzuführen. Abhängig ist sie vom Verfahren und der Anzahl der Eigenschaften.
Damit die Bauteilerfassungseinrichtung 1 anfangen kann Bauteile zu erkennen, ist eine Trainingsdatenbank notwendig, die es zuvor aufzubauen gilt. Je kleiner der Lösungsraum ist aus dem die Bauteilerfassungseinrichtung 1 ein Bauteil erkennen soll, desto höher ist die Wahrscheinlichkeit die richtige Teilenummer zu erkennen. Aus diesem Grund kann es vorteilhaft sein, den Lösungsraum so klein wie möglich zu halten. Zur optimierten Erkennung können Metaklassen programmiert werden, die spezielle Features beinhalten um ähnliche Bauteile besser zu erkennen.
Der Anwender kann zunächst den Triebwerkstyp in die Benutzerschnittstelle eintragen, hierdurch verkleinert sich der Lösungsraum auf Bauteile die nur in dem jeweils eingetragenen Triebwerkstyp
vorkommen können. In einer Metaklasse werden Algorithmen zum Tragen kommen die speziell auf diesen vorab erkannten Bauteiltyp angewandt werden. Hier fokussiert sich die KI z.B. zwischen unterschiedliche Längen von Schrauben oder unterschiedlichen Dicken von Unterlegscheiben. Zur Information für den Anwender wird dann als Resultat in der Benutzerschnittstelle die Vorgeschlagene Teilnummer des Bauteils mit der Ermittlung der Trefferwahrscheinlichkeit und deren Zugehörigkeit zu einer referenzierten Stückliste dargestellt.
Es gibt bisher Lösungen zur Klassifizierung von Bauteilen auf Basis von optical character regognition (OCR), klassischer Bilderverarbeitung, oder Machine Vision. OCR funktioniert bei metallischen und dreckigen Bauteilen nur sehr schlecht. Machine Vision und klass. Bildverarbeitung sind präferierte Lösungen für sehr unterschiedliche Bauteile für einen kleinen Lösungsraum.
Die Zahl der Bauteilklassen ist zu groß und die Unterschiede von Triebwerksbauteilen zu klein, um diese allein mit den oben genannten Technologien zu Unterscheiden. Zusätzlich erschweren Verschmutzung und Abnutzung der Bauteile die Erfassung
Die Verfahren zum maschinellen Lernen im Bereich der Klassifizierung von Objekten sind bekannt. Die Kombination aus optischen und Gewichtsdaten für die Erkennung von optisch sehr ähnlichen Bauteilen ist neu.
Durch die Bauteilklassifizierungsvorrichtung 1 kann es ermöglicht werden, einige Prozesse in der Triebwerksdemontage (zum Beispiel Schüttwarenkitting) zu automatisieren. Eine Erfassung der Bauteile könnte schnell und sicher ohne menschlichen Eingriff erfolgen.
Die Bauteile können anhand ihrer Geometrie über Machine Vision und klassischer Bildverarbeitung mithilfe von Machine Learning erfasst. Die Bildaufnahme erfolgt dabei über mehrere Kameras. Gleichzeitig wird das Gewicht des Bauteils mittels eines Gewichtssensors unter der Auflagefläche erfasst. Die gesammelten Daten werden von dem trainierten Machine Learning Modell verarbeitet, mit den gelernten Bauteilen des gegebenen Triebwerkstyps abgeglichen und eine Klassifizierung wird automatisch vorgenommen. Das so aufgebaute System lernt durch die Rückmeldung der Mitarbeiter dazuund ist in der Lage, neue Bauteilnummern mittels Re-training des Systmems in kurzer Zeit zu erfassen.
Die Bauteilklassifizierungsvorrichtung 1 kann zur Teilenummernerkennung des Bauteils verwendet werden, Serialnummern können zusätzlich in einer Ausführungsform der Bauteilklassifizierungsvorrichtung erkannt werden. Eine qualifizierte Befundung der Bauteile muss in vorangegangenen beziehungsweise nachlaufenden Prozessen erfolgen, da keine Schäden durch die Bauteilklassifizierungsvorrichtung erkannt werden können. Die für den derzeitigen Machine Vision Process konstruierten Gehäuse 2 der Bauteilklassifizierungsvorrichtung 1 können aufgrund ihrer Abmaße nur Bauteile mit der maximalen Größe 80 mm x 80 mm x 50 mm erkennen. Das maximale Bauteilgewicht ist mit 10 Kg begrenzt.
Die Bauteilklassifizierungsvorrichtung 1 erkennt Bauteile mit einer Wahrscheinlichkeit von bis zu 98%, wenn das Bauteil ca. 4-5 mal eintrainiert wurde. Hierbei soll der Anwender idealerweise das gleiche Bauteil (also unterschiedliche Individuen/Instanzen) 4-5 mal eintrainieren. Die Performance kann sich noch durch den neuen Hardwareaufbau und veränderte Klassifizierung im Machine Learning Algorithmus verändern.
In der Demontage von Triebwerksteilen müssen die Einzelteile in einem digitalen System erfasst werden. Derzeit wird dies durch das manuelle Ablesen von Bauteilnummern durch Mitarbeiter und ein anschließendes manuelles Übertragen umgesetzt. In der Vergangenheit gab es bereits Bemühungen die Bauteilnummern per Schrifterkennung auf den Bauteilen zu identifizieren. Aufgrund der generell schlechten Lesbarkeit und teilweise hohen Verschmutzungsgrade ist dies jedoch nicht mit einer zufriedenstellenden Genauigkeit möglich gewesen. Um die manuelle Arbeit und die Fehlerquote zu reduzieren, soll diese Bauteilerkennung teilautomatisiert oder vollautomatisiert werden.
In Zukunft sollen die Bauteile durch die Kameraeinrichtung und weitere Sensorsysteme automatisch erkannt werden. Falls neben einer Kameraeinrichtung, die gegebenenfalls auch mehrere Kameras umfassen kann, weitere Sensoren zur zuverlässigen Erkennung des Bauteils benötigt werden, so werden diese in die Entscheidungsfindung miteinbezogen.
Der Nutzer kann die Entscheidung bestätigen oder bei einer Unentschiedenheit aus bis zu drei Bauteilklassen die korrekte Klasse auswählen. Dies erlaubt ein, auch regelmäßig erfolgendes automatisches Verbessern des trainierten Modells, da kontinuierlich neue Datenpunkte generiert werden. Die Bauteile lassen sich grob nach den drei Dimensionen „Bauteilzustand: neu/alt“, „Geometrie: identisch, ähnlich, unterschiedlich“ und „Bauteilnummer: vorhanden/nicht vorhanden“ unterteilen.
Der gewonnene Datensatz kann hierbei Kamera- und Sensoraufnahmen einzelner Bauteile und der zugehörigen Bauteilklasse umfassen.
Auf Basis dieses Bauteilspektrums kann die Genauigkeit des entwickelten Systems anhand der Genauigkeit (Prozentualer Anteil der Vorhersagen bei denen die tatsächliche Bauteilklasse den vorhergesagten Klasse bzw. in den drei wahrscheinlichsten Bauteilklassen liegt) evaluiert werden. Es kann außerdem eine technisch einfache Möglichkeit umgesetzt sein, neue Teilenummern (Bauteile) in das System zu integrieren.
Die Klassifizierung kann auf Grundlage von Deep Learning erfolgen. Dabei kann insbesondere Transfer Learning angewendet werden, da der Datensatz nur aus wenigen hundert Bildern besteht. Beim Transfer Learning wird ein auf einem deutlich größeren Datensatz trainiertes neuronales Netz als Basis verwendet. Von diesem werden dann die letzten „Layer“ abgeschnitten, und durch neue Layer ersetzt, die dann auf dem eigentlichen Datensatz trainiert werden. Die validierte Hypothese hierbei ist, dass insbesondere die ersten Layer eines neuronalen Netzes für die Feature Extraction, also zum Beispiel die Kanten- und Eckenfilterung, relevant sind. Das letzte verbleibende Layer des vortrainierten Netzes enthält dann also ein hochdimensionale (meist 512- dimensional) Repräsentation von abstrakten Informationen über das zugrundeliegende Bild. So muss man lediglich aus dieser bereits vorverarbeiteten Bildinformation lernen, die Bauteilklassen vorherzusagen. Gegenüber einem Bild, das aus mehreren hunderttausenden oder Millionen Pixeln besteht, reduziert diese Vorverarbeitung die Komplexität deutlich und ist damit auch um mehrere Größenordnungen ressourcenschonender als naive Ansätze. So kann das Training auf einem beliebigen Endgerät, wie auch einem Laptop, ausgeführt werden. Dies wird insbesondere für die selbstlernende Komponente des zu entwickelnden Modells relevant sein, um keine unnötig teure oder aufwändige Hardware zu benötigen
Es können durch die Bauteilklassifizierungsvorrichtung sehr viele Bauteilklassen (potentiell über zehntausend Stück) unterschieden werden. Für diesen Durchstich wird diese Menge auf einen Bruchteil (weniger als fünfhundert) reduziert. Dafür kommen beispielsweise hierarchische Klassifizierungen infrage. Hierbei kann ein Entscheidungsbaum durchlaufen werden, um die korrekte Bauteilklasse zu bestimmen, anstatt mit einer einzelnen Messung zwischen tausenden Bauteilen zu unterscheiden. Vorteilhaft ist hier, dass man je nach Stufe im Entscheidungsbaum unterschiedliche Kriterien, Methoden und Modelle verwenden kann. Zumindest eine zweistufige Klassifizierung erscheint sinnvoll, da neuronale Netze mit so extrem hochdimensionalen (eine Dimension pro möglicher Klasse, also über zehntausend) Probleme bekommen können. Die zusätzlichen Sensordaten können in der Vorsortierung oder für die Auflösung von Unsicherheiten bei der Vorhersage dienen.
Abschließend kann immer ein Mitarbeiter die finale Entscheidung treffen, weshalb eine Benutzerschnittstelle vorgesehen sein kann. Mögliche Ansätze zur automatischen Generierung solch eines Entscheidungsbaumes beim Hinzufügen neuer Bauteilklassen können: auf Basis von vorliegenden Metadaten, also hierarchischer Informationen durch Zuordnung in Objektgruppengeneriert werden; durch die Vorsortierung der Objekteigenschaften, also beispielsweise Gewicht oder andere Eigenschaften; eine Klassifizierung ohne die eigentliche Zielklasse im Modell abzubilden und das Übernehmen der überwiegenden Objektgruppe der vorhergesagten Bauteilklassen für das bisher für das System unbekannte Objekt Basierend auf diesem generierten Baum können dann die Parameter der zugrundeliegenden Modelle und Entscheidungsschwellwerte ebenso automatisiert neu trainiert/festgelegt werden. Gegebenenfalls kann sogar nur ein kleiner Teil des Gesamtmodells modifiziert werden, was die Rechenaufwände deutlich reduzieren sollte. Um die Qualität des Modells sicherzustellen, kann beispielsweise eine Form von Regression Testing verwendet werden, bei dem ein vordefinierter Testdatensatz generiert wird, auf dem das initiale Modell eine gewisse Genauigkeit erreicht. Beim automatischen Generieren eines Modells wird diese neue Version auf demselben Testdatensatz evaluiert und nur akzeptiert, wenn die Modellqualität wenigstens gleich gut ist, wie die des Vorgängers.
Der Programmcode kann beispielsweise, aufgrund der breiten Verfügbarkeit von hilfreichen Frameworks und Bibliotheken im Bereich Artificial Intelligence und Computer Vision in Python entwickelt sein. Das Modell, welches beispielsweise durch das zweite neuronale Netz gebildet sein kann, kann prinzipiell auf zwei Arten weiter verbessert und erweitert werden: (manuelles) Hinzufügen neuer Bauteilklassen. Dies kann optimalerweise durch die Benutzerschnittstelle ermöglicht sein, damit ein Nutzer selbst neue Bauteilklassen hinzufügen kann. Hierbei könnten dann manuell per Eingabe oder durch Sensor-/Kameramessungen automatisiert Datenpunkte für die neue Bauteilklasse aufgenommen werden; (automatisiertes) Weiterlemen des Modells: die Benutzerschnittstelle kann zwei Ziele erfüllen: Auf der einen Seite erleichtert es die Validierung der Bildanalyse durch den Nutzer für die Eingabe in das Zielsystem, auf der anderen Seite erlaubt es das kontinuierliche Generieren von Trainingsdaten. Dementsprechend kann das System regelmäßig (automatisch oder manuell getriggert) neu trainiert werden. Wichtig ist hierbei die Qualitätssicherung, indem (z.B. durch das oben genannte Regression Testing) geprüft wird, ob das neue Modell mindestens genauso gut ist wie die Vorgängerversion.
Bezugszeichenliste

1: Bauteilklassifizierungsvorrichtung
2: Gehäuse
3: Bauteil
4: Wiegeeinrichtung
5: Gewichtsdaten
6: Kameraeinrichtung
7: Bilddaten
8: Kamera
9: Ablagefläche
10: Position
11: Beleuchtungseinrichtung
12: Auswerteeinrichtung
13: Bildmerkmale
14: Bottleneckmerkmale
15: Klassifizierungseinrichtung
16: Bauteilklasse
17: Wahrscheinlichkeitswerte
18: Benutzerschnittstelle
19: Beurteilungsdaten
20: Bild
21: Bild
22: Bild
23: Erstes neuronales Netz
24: Schicht des ersten Neuronalen Netzes
25: Bottleneckschicht
S1 - S12: Verfahrensschritte

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 9934563 B2 [0003]
EP 1942443 A1 [0004]
DE 19527147 A1 [0005]

Claims

Bauteilklassifizierungsvorrichtung (1) zur Klassifizierung von Bauteilen (3) in vorbestimmte Bauteilklassen (16), aufweisend - eine Kameraeinrichtung (6), eingerichtet zur Generierung von Bilddaten (7) eines zu klassifizierenden Bauteils (3), - eine Wiegeeinrichtung (4), eingerichtet zur Generierung von Gewichtsdaten (5) des zu klassifizierenden Bauteils (3), - eine Auswerteeinrichtung (12), die dazu eingerichtet ist, vorbestimmte Bildmerkmale (13) nach einem vorbestimmten Bildmerkmalsextraktionsverfahren aus den Bilddaten (7) zu generieren, und die Bilddaten (7) einem vortrainierten, ersten neuronalen Netz zuzuführen, und Bottleneckmerkmale (14) der Bilddaten (7) aus einer vorbestimmten Bottleneckschicht (25) des ersten neuronalen Netzes (24) zu generieren, - eine Klassifizierungseinrichtung (15), die dazu eingerichtet ist, dem Bauteil (3) nach einem vorbestimmten Klassifizierungsverfahren, basierend auf den Gewichtsdaten (5), den Bildmerkmalen (13) und den Bottleneckmerkmalen (14), zumindest eine von mehreren vorbestimmten Bauteilklassen (16), welche vorbestimmte Bauteilgruppen und/oder Bauteile (3) beschreiben, zuzuweisen.
Bauteilklassifizierungsvorrichtung (1) nach Anspruch 1, dadurch gekennzeichnet, dass das vorbestimmten Klassifizierungsverfahren eine Zuweisung der vorbestimmten Bauteilklassen (16) durch ein zweites neuronales Netz umfasst.
Bauteilklassifizierungsvorrichtung (1) nach Anspruch 2, dadurch gekennzeichnet, dass die Klassifizierungseinrichtung (15) dazu eingerichtet ist, in dem vorbestimmten Klassifizierungsverfahren, einen jeweiligen Wahrscheinlichkeitswert (17) der zumindest einen vorbestimmten Bauteilklasse zu ermitteln, welcher beschreibt, mit welcher Wahrscheinlichkeit die Bauteilklassen (16) dem Bauteil (3) zugeordnet ist.
Bauteilklassifizierungsvorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bauteilklassifizierungsvorrichtung (1) eine Benutzerschnittstelle (18) aufweist, wobei die Bauteilklassifizierungsvorrichtung (1) dazu eingerichtet ist, die zumindest eine zugewiesenen vorbestimmte Bauteilklasse an der Benutzerschnittstelle (18) auszugeben.
Bauteilklassifizierungsvorrichtung (1) nach Anspruch 4 in dessen Rückbezug auf Anspruch 2 oder Anspruch 3, dadurch gekennzeichnet, dass die Bauteilklassifizierungsvorrichtung (1) dazu eingerichtet ist, an der Benutzerschnittstelle (18) vorbestimmte Beurteilungsdaten (19) in Bezug auf die zumindest eine Bauteilklasse und/oder eine manuell vorgegebene Bauteilklasse zu empfangen, wobei die Bauteilklassifizierungsvorrichtung (1) dazu eingerichtet ist, das zweite neuronale Netz in Abhängigkeit von den Beurteilungsdaten (19) in Bezug auf die Bauteilklasse und/oder der manuell vorgegebenen Bauteilklasse anzupassen.
Bauteilklassifizierungsvorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bauteilklassifizierungsvorrichtung (1) dazu eingerichtet ist, eine Menge der Bilddaten (7) durch ein vorbestimmtes Datenaugmentationsverfahren zu erweitern.
Bauteilklassifizierungsvorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bauteilklassifizierungsvorrichtung (1) dazu eingerichtet ist, die Bildmerkmale (13) durch ein Verfahren maschinellen Sehens zu generieren.
Bauteilklassifizierungsvorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das vorbestimmte Klassifizierungsverfahren ein Random Forest Verfahren umfasst.
Bauteilklassifizierungsvorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das zweite neuronale Netz eine Feed Forward Neural Net Architektur aufweist.
Verfahren zur Klassifizierung eines Bauteils (3) durch eine Bauteilklassifizierungsvorrichtung (1), dadurch gekennzeichnet, dass - durch eine Kameraeinrichtung (6) der Bauteilklassifizierungsvorrichtung (1), Bilddaten (7) eines zu klassifizierenden Bauteils (3) generiert werden, - durch eine Wiegeeinrichtung (4) der Bauteilklassifizierungsvorrichtung (1), Gewichtsdaten (5) des zu klassifizierenden Bauteils (3) generiert werden, - durch eine Auswerteeinrichtung (12) der Bauteilklassifizierungsvorrichtung (1) nach einem vorbestimmten Bildmerkmalsextraktionsverfahren, vorbestimmte Bildmerkmale (13) aus den Bilddaten (7) generiert werden, und - durch die Auswerteeinrichtung (12) der Bauteilklassifizierungsvorrichtung (1) die Bilddaten (7) einem vortrainierten, erstem neuronalen Netz zugeführt werden, und Bottleneckmerkmale (14) der Bilddaten (7) aus einer vorbestimmten Bottleneckschicht (25) des ersten neuronalen Netzes (24) generiert werden, und - dem zu klassifizierendem Bauteil (3) durch eine Klassifizierungseinrichtung (15) der Bauteilklassifizierungsvorrichtung (1), nach einem vorbestimmten Klassifizierungsverfahren, basierend auf den Gewichtsdaten (5), den Bildmerkmalen (13) und den Bottleneckmerkmalen (14), zumindest eine von mehreren vorbestimmten Bauteilklassen (16), welche vorbestimmte Bauteilgruppen und/oder Bauteile (3) beschreiben, zugewiesen wird.
Verfahren zum Trainieren einer Bauteilklassifizierungsvorrichtung (1), dadurch gekennzeichnet, dass - durch eine Kameraeinrichtung (6) der Bauteilklassifizierungsvorrichtung (1), Bilddaten (7) eines zu klassifizierenden Bauteils (3) generiert werden, - durch eine Wiegeeinrichtung (4) der Bauteilklassifizierungsvorrichtung (1), Gewichtsdaten (5) des zu klassifizierenden Bauteils (3) generiert werden, - durch eine Auswerteeinrichtung (12) der Bauteilklassifizierungsvorrichtung (1) nach einem vorbestimmten Bildmerkmalsextraktionsverfahren, vorbestimmte Bildmerkmale (13) aus den Bilddaten (7) generiert werden, und - durch die Auswerteeinrichtung (12) der Bauteilklassifizierungsvorrichtung (1) die Bilddaten (7) einem vor-trainierten, erstem neuronalen Netz zugeführt werden, und Bottleneckmerkmale (14) der Bilddaten (7) aus einer Bottleneckschicht (25) des ersten neuronalen Netzes (24) generiert werden, und - dem zu klassifizierendem Bauteil (3) durch eine Klassifizierungseinrichtung (15) der Bauteilklassifizierungsvorrichtung (1), nach einem vorbestimmten Klassifizierungsverfahren, basierend auf den Gewichtsdaten (5), den Bildmerkmalen (13) und den Bottleneckmerkmalen (14), zumindest eine von mehreren vorbestimmten Bauteilklassen (16), welche vorbestimmte Bauteilgruppen und/oder Bauteile (3) beschreiben, zugewiesen wird, - durch eine Benutzerschnittstelle (18) der Bauteilklassifizierungsvorrichtung (1) Bewertungsdaten und/oder eine manuell vorgegebene Bauteilklasse empfangen werden, und - durch die Klassifizierungseinrichtung (15) das vorbestimmte Klassifizierungsverfahren nach einem vorbestimmten Anpassungsverfahren angepasst wird, um den Gewichtsdaten (5), den Bildmerkmalen (13) und den Bottleneckmerkmalen (14) die manuell vorgegebene Bauteilklasse zuzuweisen.