-
Die vorliegende Erfindung betrifft eine Vorrichtung zur Reifenprüfung mit einem Reifenprüfgerät, durch welches mindestens eine Aufnahme mindestens eines Bereiches eines Reifens erzeugt wird, und mit einer Auswerteeinrichtung zur Auswertung der mindestens einen Aufnahme. Beispielsweise kann es sich bei dem Reifenprüfgerät um ein optisches Reifenprüfgerät handeln, insbesondere um ein shearographisches Reifenprüfgerät.
-
Eine solche Vorrichtung ist beispielsweise aus der Druckschrift
EP 2 851 670 A2 bekannt.
-
Die Auswertung der durch das Reifenprüfgerät aufgenommenen Aufnahmen erfolgt in vielen Fällen noch manuell durch eine Bedienperson, welche anhand der Aufnahmen Fehlstellen des Reifens identifiziert und den Reifen anhand der identifizierten Fehlstellen klassifiziert. Erste Ansätze zur Automatisierung der Auswertung der Aufnahmen beruhen auf Algorithmen zur Bildauswertung und Mustererkennung, welche beispielsweise auf Basis einer Grauwertstatistik oder einer Kantenerkennung arbeiten. Diese Ansätze haben sich jedoch bisher als nicht ausreichend zuverlässig in der Erkennung von Defekten erwiesen, und müssen zudem sehr aufwendig an die jeweilige Messsituation oder den zu prüfenden Reifen angepasst werden.
-
Aufgabe der vorliegenden Erfindung ist es daher, eine verbesserte Vorrichtung und ein verbessertes Verfahren zur Reifenprüfung zur Verfügung zu stellen. Insbesondere soll die Auswertung verbessert werden.
-
Diese Aufgabe wird durch eine Vorrichtung gemäß Anspruch 1 und ein Verfahren gemäß Anspruch 12 gelöst. Bevorzugte Ausgestaltungen der vorliegenden Erfindung sind Gegenstand der Unteransprüche.
-
Die vorliegende Erfindung umfasst eine Vorrichtung zur Reifenprüfung mit einem Reifenprüfgerät, durch welches mindestens eine Aufnahme mindestens eines Bereiches eines Reifens erzeugt wird, und mit einer Auswerteeinrichtung zur Auswertung der mindestens einen Aufnahme. Dabei ist vorgesehen, dass zumindest eine Auswertungsfunktion der Auswerteeinrichtung mittels Maschinenlernen (ML) arbeitet.
-
Die Erfinder der vorliegenden Erfindung haben festgestellt, dass sich Maschinenlernen gerade für die speziellen Anforderungen, welche bei der automatischen Auswertung von Aufnahmen bei der Reifenprüfung zu erfüllen sind, besonders eignet. Der Einsatz des Maschinenlernen erlaubt dabei zum einen eine robuste und präzise Auswertung, und zum anderen eine einfachere Anpassung an neue Reifentypen und/oder Messsituationen.
-
Für das Maschinenlern können im Rahmen der vorliegenden Erfindung zunächst beliebige Maschinenlern-Verfahren zum Einsatz kommen. Beispielsweise ist der Einsatz von statistischen Modellen denkbar.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung arbeitet die zumindest eine Auswertungsfunktion mit Deep Learning (DL). Unter Deep Learning wird im Sinne der vorliegenden Erfindung der Einsatz eines künstlichen neuronalen Netzes verstanden. Bevorzugt wird hierbei ein künstliches neuronales Netz mit einer Mehrzahl von Zwischenschichten zwischen der Eingabeschicht und der Ausgabeschicht eingesetzt.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung weist das eingesetzte künstliche neuronale Netz eine Encoder-Decoder-Architektur auf. Weiterhin kann das künstliche neuronale Netz skip-connections umfassen, welche Ergebnisse aus früheren Transformationschichten hierzu korrespondierenden späteren Schichten zur Verfügung stellen und insbesondere Ergebnisse von Encoder-Schichten unmittelbar zugehörigen Decoder-Schichten zur Verfügung stellen, bspw. Decoder-Schichten mit gleicher Anzahl von Pixeln in der Eingabe.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung weist das eingesetzte künstliche neuronale Netz Residual Blocks auf, welche Eingaben von mehreren Schichten transformieren und die Ausgabe zusätzlich mit der Eingabe verrechnen, um das Ergebnis des Blocks zu erhalten. In einer möglichen Ausgestaltung können mehrere Residual Block hintereinander geschaltet werden.
-
Die oben genannten Ausgestaltungen des künstlichen neuronalen Netzes können auch miteinander kombiniert werden.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung nimmt die Auswerteeinrichtung eine Trennung zwischen einem Reifenbereich und einem Hintergrund vor. Dies trägt der Tatsache Rechnung, dass die Aufnahmen typischerweise nicht nur den Reifen zeigen, sondern auch einen Hintergrund, welcher beispielsweise auch Haltevorrichtungen umfassen kann.
-
In einer ersten Variante kann die Trennung zwischen einem Reifenbereich und einem Hintergrund durch eine algorithmische Lösung erfolgen, z. B. mittels einer Grauwertstatistik, und damit ohne den Einsatz von Maschinenlernen.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung kann zusätzlich zu der algorithmischen Lösung eine Parametrisierung der Trennlinie zwischen Reifenbereich und dem Hintergrund eingesetzt werden. Insbesondere kann dabei in der algorithmisch erzeugten pixelweisen Auftrennung ein Fit mit einer Primitiven wie beispielsweise einem Spline, einem Kreisbogen oder einem Ellipsenbogen erfolgen, um bekanntes Wissen zur Kreisform der Reifenfläche einzubringen.
-
In einer zweiten Variante erfolgt die Trennung zwischen dem Reifenbereich und dem Hintergrund dagegen durch mindestens ein ML-Modell.
-
Beispielsweise kann mittels einer Deep Learning Segmentierung eine pixelweise Trennung von Reifenberiech und Hintergrund erfolgen.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung kann zusätzlich zu dem Einsatz von Maschinenlernen zur Trennung zwischen dem Reifenbereich und dem Hintergrund eine Parametrisierung der Trennlinie zwischen Reifenbereich und dem Hintergrund eingesetzt werden. Die Parametrisierung kann beispielsweise durch eine Primitive wie einen Spline, einen Kreisbogen oder einen Ellipsenbogen erfolgen.
-
In einer ersten Variante kann dabei in der durch Maschinenlernen erzeugten pixelweisen Auftrennung ein Fit mit einer Primitiven wie beispielsweise einem Spline, einem Kreisbogen oder einem Ellipsenbogen erfolgen, um bekanntes Wissen zur Kreisform der Reifenfläche einzubringen.
-
In einer zweiten Variante kann eine direkte Schätzung der Parameter der Primitive aus der Aufnahme mittels Maschinenlernen erfolgen.
-
Die Parametrisierung kann insbesondere zur Auswertung von Aufnahmen der Seitenfläche eines Reifens eingesetzt werden, da hier der Reifenbereich immer durch einen Kreisabschnitt approximiert werden kann.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung nimmt die Auswerteeinrichtung eine Lokalisierung von Defektbereichen und/oder eine Klassifikation von Defekten und/oder des Reifens vor.
-
Im Rahmen der Lokalisierung von Defektbereichen kann beispielsweise eine pixelgenaue Segmentierung und/oder eine grobe Eingrenzung von Fehlerstellen auf der Aufnahme vorgenommen werden.
-
Im Rahmen der Klassifikation von Defekten können diese in Klassen eingeteilt werden, welche beispielsweise die Art und/oder die Größe der Defekte beschreiben. Dies kann entweder aufgrund einer erfolgten Lokalisierung von Defektbereichen erfolgen, und/oder unmittelbar aus den Aufnahmen.
-
Im Rahmen der Klassifikation von Reifen können die Reifen in Defektklassen eingeteilt werden, beispielsweise in Reifen ohne Defekte und Reifen mit Defekten, wobei die Reifen mit Defekten weiter in mehrere Klassen eingeteilt werden können, welche sich im Hinblick auf die Art und/oder Anzahl und/oder Schwere der Defekte unterscheiden. Die Klassifikation von Reifen kann anhand einer erfolgten Klassifikation der Defekte der Reifen, anhand einer erfolgten Lokalisierung von Defektbereichen und/oder unmittelbar aus den Aufnahmen erfolgen.
-
Die Art und Weise, durch welche die Lokalisierung und/oder Klassifikation durchgeführt wird, ist im Rahmen der vorliegenden Erfindung zunächst nicht weiter beschränkt.
-
Beispielsweise kann einer, mehrere oder alle der oben beschriebenen Vorgänge zur Lokalisierung und/oder Klassifikation algorithmisch erfolgen, d.h. ohne den Einsatz von Maschinenlernen, oder manuell durch eine Bedienperson. Beispielsweise kann die Segmentierung von Defektregionen algorithmisch erfolgen, z.B. durch eine Kantenerfassung.
-
In einer bevorzugten Ausgestaltung der vorliegenden Erfindung erfolgt die Lokalisierung und/oder Klassifikation jedoch durch mindestens ein ML-Modell. Insbesondere kann mindestens einer der oben beschriebenen Vorgänge zur Lokalisierung und/oder Klassifikation durch ein ML-Modell erfolgen. In einer möglichen Ausgestaltung können auch mehrere oder alle der vorgesehenen, oben beschriebenen Vorgänge zur Lokalisierung und/oder Klassifikation durch mindestens ein ML-Modell erfolgen.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung wird die Lokalisierung, Klassifikation und/oder Trennung zwischen Reifenbereich und Hintergrund durch ein einziges ML-Modell simultan gelöst.
-
Insbesondere kann die Trennung zwischen Reifenbereich und Hintergrund auf der einen Seite und die Lokalisierung und/oder Klassifikation auf der anderen Seite durch ein einziges ML-Modell simultan gelöst werden.
In einer möglichen Ausgestaltung der vorliegenden Erfindung nimmt die Auswerteeinrichtung auf Grundlage der Lokalisierung von Defektbereichen und/oder der Klassifikation von Defekten eines Reifens eine Entscheidung vor, ob es sich bei dem Reifen um Ausschuss handelt oder nicht. Hierbei kann es sich beispielsweise um eine ja/nein-Aussage handeln, oder eine Ausschuss-Wahrscheinlichkeit angegeben werden. Die Aussage kann unmittelbar zur Ansteuerung einer Aussortierungs-Station der Produktionsanlage und zur Aussortierung von Ausschuss-Reifen eingesetzt werden, oder nochmals durch einen menschlichen Prüfer überprüft werden.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung werden die Defektbereiche und/oder Defekte mittels einer oder mehrerer Toleranz-Regeln bezüglich ihrer Ausschussrelevanz beurteilt.
-
Insbesondere erfolgt im Rahmen der vorliegenden Erfindung daher die Lokalisierung von Defektbereichen und/oder der Klassifikation von Defekten eines Reifens mittels Maschinenlernen, die auf diesen Ergebnissen beruhende Entscheidung, ob es sich bei dem Reifen um Ausschuss handelt oder nicht, dagegen regelbasiert. Hierdurch ist die Entscheidungsfindung nachvollziehbar.
-
Eine Toleranz-Regeln kann dabei beispielsweise vorgeben, welche Defektbereiche und/oder Defekte toleriert werden, und welche Defektbereiche und/oder Defekte zu der Entscheidung führen, dass der Reifen Ausschuss ist. Beispielsweise können Defektbereiche und/oder Defekte bezüglich einer oder mehrerer ihrer Eigenschaften wie bspw. Größe, Radius, Länge und/oder Kontrast mit Schwellwerten verglichen werden.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung werden für unterschiedliche Prüfbereiche des Reifens unterschiedliche Toleranz-Regeln eingesetzt. Die Toleranz-Regel, welche auf einen Defektbereich und/oder einen Defekt angewendet werden, hängen daher insbesondere davon ab, in welchem Bereich des Reifens sich der Defektbereich und/oder Defekt befindet. Hierfür kann der Reifen in Prüfregionen aufgeteilt werden, welchen unterschiedliche Toleranz-Regeln zugeordnet werden.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung werden in Abhängigkeit von der Prüfregion unterschiedliche Fehlertoleranzen eingesetzt. Beispielsweise können die Schwellwerte, mit welchen einer oder mehre Eigenschaften der Defektbereiche und/oder Defekte verglichen werden, in Abhängigkeit von der Prüfregion, in welcher sich der Defektbereich und/oder Defekt befindet, unterschiedlich sein.
-
Beispielsweise können die Seitenwände und die Lauffläche des Reifens unterschiedliche Prüfregionen bilden. Weiterhin können auch die Seitenwände des Reifens in unterschiedliche Prüfregionen aufgeteilt sein.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung umfasst die Vorrichtung ein Bediener-Interface, mittels welchem die Toleranz-Regeln vorgebbar und/oder änderbar sind.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung umfasst die Vorrichtung ein Bediener-Interface, mittels welchem die Prüfregionen vorgebbar und/oder änderbar sind.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung umfasst die Vorrichtung ein Interface, über welches ein Benutzer durch das Reifenprüfgerät aufgenommene und/oder simulierte Aufnahmen durch Annotation, insbesondere durch manuelle Trennung, Lokalisierung und/oder Klassifikation aufbereiten kann, wobei die Vorrichtung weiterhin ein Trainingsmodul umfasst, welches ein Training des ML-Modells durch die durch den Benutzer aufbereiteten Aufnahmen erlaubt.
-
Das Interface erlaubt damit die Erstellung von Trainingsdaten zum Training des Maschinenlernverfahrens.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung umfasst die Vorrichtung ein vortrainiertes ML-Modell, wobei das Interface und das Trainingsmodul ein weiteres Training bei Installation und/oder während des Betriebs der Vorrichtung erlauben. Hierdurch wird der Aufwand zum Training des ML-Modells verringert, da dieses bereits vortrainiert ist. Andererseits kann die Vorrichtung dennoch bei der Installation und/oder während des Betriebs an die konkrete Auswertungsaufgabe, bspw. die zu prüfenden Reifentypen und/oder die Messsituation, angepasst werden. Bevorzugt ist die Vorrichtung so ausgestaltet, dass der Prozess des Nachlernens auch mehrfach ausgeführt werden kann, etwa wenn sich die Aufnahmeumgebung verändert, neue Produkte zu prüfen sind, neue Defektklassen zu erkennen sind und/oder andere neue Informationen dem ML-Modell bereitgestellt werden müssen.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung umfasst die Vorrichtung eine Auswertestation zur manuellen Auswertung von Aufnahmen, wobei die Auswertestation durch das ML-Modell unterstützt wird. Die finale Auswertung erfolgt bei dieser Ausgestaltung daher zumindest nicht durchgehend vollautomatisch, sondern zumindest teilweise durch eine Bedienperson. Diese wird jedoch durch automatisierte Teilprozesse unterstützt.
-
In einer ersten Variante kann die Auswertestation so ausgestaltet sein, dass sämtliche Reifen auch durch eine Bedienperson geprüft werden. Beispielsweise kann die Auswertefunktion dabei eine Auswertung, bspw. eine Klassifikation anbieten, welche durch die Bedienperson entweder bestätigt oder geändert wird.
-
In einer zweiten Variante kann die Auswertestation so ausgestaltet sein, dass nur noch ein Teil der Reifen auch durch eine Bedienperson geprüft werden, während ein anderer Teil der Reifen nur noch durch die Auswertefunktion geprüft wird. Insbesondere können dabei nur noch jene Reifen, bei welchen die Auswertefunktion einen hohen Unsicherheitsfaktor ausgibt, einer Bedienperson zur Prüfung vorgelegt werden.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung stellt die Auswertestation Aufnahmen in Abhängigkeit von einer unter Zuhilfenahme des ML-Modells durchgeführten Lokalisation und/oder Klassifikation unterschiedlich dar. Beispielsweise werden dabei Aufnahmen, welche Defekte zeigen, bei der Darstellung priorisiert und/oder hervorgehoben. Weiterhin kann ein Unsicherheitsfaktor des ML-Modells berücksichtigt werden. Beispielsweise können Aufnahmen, bei deren Auswertung die Auswertefunktion einen hohen Unsicherheitsfaktor ausgibt, bei der Darstellung priorisiert und/oder gekennzeichnet und/oder hervorgehoben werden.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung stellt die Vorrichtung Reifen in Abhängigkeit von einer unter Zuhilfenahme des ML-Modells durchgeführten Lokalisation und/oder Klassifikation unterschiedlich dar. Beispielsweise können dabei Reifen, bei welchen keine Defekte erkannt wurden und/oder ein niedriger Unsicherheitsfaktor im Hinblick auf die automatische Klassifikation vorliegt, überhaupt nicht mehr oder nur nachrangig gegenüber Reifen dargestellt werden, bei welchen Defekte erkannt und/oder ein hoher Unsicherheitsfaktor im Hinblick auf die automatische Klassifikation vorliegt.
-
In einer weiteren möglichen Ausgestaltung erfolgt die Reifenprüfung zumindest in einem Betriebsmodus der Vorrichtung für alle Reifen ausschließlich automatisiert durch die Auswertefunktion und ohne eine zusätzliche menschliche Prüfung.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung führt das Reifenprüfgerät ein optisches Messverfahren durch. Insbesondere kann dabei ein interferometrisches Messverfahren zum Einsatz kommen.
-
Insbesondere kann die vorliegende Erfindung zur Auswertung von Aufnahmen eines Reifenprüfgerätes eingesetzt werden, welches eine shearografische Messung zur Erzeugung von Phasendifferenzbildern vornimmt. Bei den erfindungsgemäß ausgewerteten Aufnahmen kann es sich daher insbesondere um Phasendifferenzbilder handeln.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung setzt das Reifenprüfgerät die Reifen einer Druckbelastung aus. Die Aufnahmen können dabei ein Verformung des Reifens durch die Druckbelastung wiedergeben. Insbesondere werden die Reifen dabei einem Unterdruck ausgesetzt.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung umfasst das Reifenprüfgerät eine Druckkammer, insbesondere eine Unterdruckkammer. Bevorzugt sind in der Druckkammer einer oder mehrere Messköpfe zur shearographischen Vermessung der Lauffläche und/oder der Seitenflächen des Reifen angeordnet.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung prüft das Reifenprüfgerät die Lauffläche und/oder der Seitenflächen des Reifens.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung ist das Reifenprüfgerät in einer Transportstrecke für die Reifen angeordnet. Dabei kann mindestens ein Reifenwender vorgesehen sein, um beide Seitenflächen des Reifens von außen prüfen zu können.
-
Die vorliegende Erfindung umfasst weiterhin ein Verfahren zur Auswertung von Aufnahmen eines Reifenprüfgerätes mit den Schritten:
- - Aufnehmen von Aufnahmen durch das Reifenprüfgerät; und
- - Auswerten der Aufnahmen mittels eines ML-Modells.
-
Hierdurch ergeben sich die gleichen Vorteile, welche bereits oben im Hinblick auf die erfindungsgemäße Vorrichtung näher beschrieben wurden.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung werden vorab folgenden Schritte durchgeführt:
- - Aufbereitung von Aufnahmen durch Annotation, insbesondere durch Trennung, Lokalisierung und/oder Klassifikation von Aufnahmen zur Erzeugung von ersten Trainingsdaten;
- - Trainieren des ML-Modells mittels der ersten Trainingsdaten.
-
In möglichen alternativen Ausgestaltungen kann die Aufbereitung der Aufnahmen ggf. jedoch auch entfallen. Beispielsweise kann das ML-Modell in diesem Fall lediglich sinnvolle Beschreibungen der Aufnahmen lernen, beispielsweise mittels Methoden des unsupervised bzw. self-supervised learning.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung wird das ML-Modell vortrainiert ausgeliefert und nach Installation der Vorrichtung werden folgende weitere Schritte durchgeführt:
- - Aufnehmen von Aufnahmen durch das Reifenprüfgerät
- - Aufbereitung der Aufnahmen durch Trennung, Lokalisierung und/oder Klassifikation von Aufnahmen zur Erzeugung von zweiten Trainingsdaten;
- - Nachtrainieren eines ML-Modells mittels der zweiten Trainingsdaten.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung erfolgt ein solches Nachtrainieren mehrfach, bspw. wenn sich die Aufnahmeumgebung verändert, neue Produkte zu prüfen sind, neue Defektklassen zu erkennen sind, oder andere neue Informationen dem ML-Modell bereitgestellt werden müssen
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung werden zur Erzeugung von Trainingsdaten Aufnahmen von Reifen ohne Defekte herangezogen und in diesen Aufnahmen eine Trennung zwischen einem Reifenbereich und einem Hintergrund vorgenommen. Da Defekte an Reifen relativ selten auftreten, ist die Erstellung einer ausreichenden Menge an Trainingsdaten mit Defekten aufwendig. Dieser Aufwand kann verringert werden, indem zumindest zum Erlernen der Trennung zwischen Reifenbereich und einem Hintergrund auf Aufnahmen zurückgegriffen wird, welche Reifen ohne Defekte zeigen.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung werden Trainingsdaten durch Simulation erzeugt.
-
Das erfindungsgemäße Verfahren erfolgt bevorzugt so, wie diese bereits oben im Hinblick auf die Vorrichtung näher beschrieben wurde. Insbesondere kann das Verfahren dabei unter Verwendung der oben beschriebenen Vorrichtung erfolgen.
-
Die vorliegende Erfindung umfasst weiterhin eine Software zur Implementierung einer Vorrichtung, wie sie oben beschrieben wurde. Insbesondere kann die Software ein ML-Modell umfassen.
-
Mittels der Software ist bevorzugt ein Verfahren, wie es oben beschrieben wurde, durchführbar, insbesondere wenn die Software auf der erfindungsgemäßen Vorrichtung abläuft.
-
Die Software kann auf einem Datenträger oder Speicher abgespeichert sein.
-
Die erfindungsgemäße Vorrichtung umfasst bevorzugt mindestens einen Mikroprozessor und einen Speicher, auf welchem die erfindungsgemäße Software abgespeichert ist, wobei die Software Befehle umfasst, durch welche der Mikroprozessor die Vorrichtung zur Implementierung der erfindungsgemäßen Funktionen ansteuert.
-
Bei den erfindungsgemäß geprüften Reifen handelt es sich insbesondere um Gummireifen.
-
Die vorliegende Erfindung wird nun anhand von Ausführungsbeispielen und Zeichnungen näher beschrieben.
-
Dabei zeigen:
- 1 ein erstes Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung,
- 2 eine Messung einer Seitenfläche eines Reifens und eine entsprechende Aufnahme in einem Ausführungsbeispiel der vorliegenden Erfindung,
- 3 eine Messung einer Lauffläche eines Reifens und eine entsprechende Aufnahme in einem Ausführungsbeispiel der vorliegenden Erfindung,
- 4 Beispiele für unterschiedliche Klassen von Defekten,
- 5 eine Prinzipdarstellung eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens,
- 6 Aufnahmen der Lauffläche und einer Seitenfläche eines Reifens mit einer durch ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung vorgenommenen Trennung zwischen Reifenbereich und Hintergrund und einer Lokalisierung von Defekten,
- 7 ein zweites Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung mit einem externen Interface,
- 8 ein erstes Ausführungsbeispiel für ein ML-Modell und
- 9 ein zweites Ausführungsbeispiel für ein ML-Modell.
-
1 zeigt ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung mit einem Reifenprüfgerät 1.
-
Im Ausführungsbeispiel ist das Reifenprüfgerät in einer Transportstrecke angeordnet, von welcher Transportabschnitte 4 und 5, welche vor und hinter dem Reifenprüfgerät 1 angeordnet sind, in 1 dargestellt sind. Die Reifen 6 durchlaufen daher in der im Ausführungsbeispiel auf der Transportstrecke das Reifenprüfgerät. Weiterhin ist eine Wendevorrichtung 2 vorgesehen, um den Reifen zwischen zwei Prüfdurchgängen im Reifenprüfgerät zu wenden.
-
Die Reifen werden im Ausführungsbeispiel auf der Transportstrecke liegend angeliefert, von der Wendevorrichtung gegebenenfalls um 180° gewendet, und im Reifenprüfgerät in mindestens einem Prüfdurchgang geprüft. Das Prüfen der Reifen in einem Prüfdurchgang erfolgt bevorzugt ebenfalls liegend. Das Reifenprüfgerät kann dabei eine interne Transportstrecke aufweisen, auf welcher die Reifen zum einen durch das Reifenprüfgerät hindurch verfahren werden, und auf welchen die Reifen während des Prüfvorgangs liegen.
-
Andere Anordnungen zur Beschickung des Reifenprüfgerätes mit Reifen sind im Rahmen der vorliegenden Erfindung jedoch ebenfalls denkbar. Beispielsweise kann das Reifenprüfgerät manuell beschickt werden.
-
In einer möglichen Ausgestaltung der möglichen Erfindung handelt es sich bei dem Reifenprüfgerät 1 um ein Prüfgerät, bei welchem der Reifen einer Druckbelastung ausgesetzt wird, und sich hierdurch ergebende Verformungen gemessen werden. Insbesondere kann der Reifen dabei einer Unterdruckbelastung ausgesetzt werden.
-
Die Prüfung erfolgt insbesondere holographisch und/oder shearografisch. Ein möglicher Prüfdurchgang kann darin bestehen, dass zunächst bei einer ersten Druckbelastung des Reifens ein erstes Phasenbild aufgenommen wird, daraufhin die Druckbelastung verändert und bei einer zweiten Druckbelastung ein zweites Phasenbild aufgenommen wird. Aus den beiden Phasenbildern wird ein Phasendifferenzbild erstellt, durch dessen Auswertung Fehlstellen und/oder Defekte des Reifens erkannt werden können, da sich diese unter der geänderten Druckbelastung verformen. Dieses Vorgehen kann im Rahmen eines Prüfvorgangs mehrmals wiederholt werden, um unterschiedliche Umfangsbereiche des Reifens zu prüfen.
-
Das Reifenprüfgerät 1 umfasst im Ausführungsbeispiel eine Druckkammer 10, insbesondere eine Unterdruckkammer. Diese weist bevorzugt mindestens eine Öffnung 11 auf, durch welche die Reifen in die Druckkammer hinein und aus dieser heraus verfahren werden können, und welche zur Veränderung des Drucks in der Druckkammer luftdicht verschließbar sind. Die Reifen werden dabei im Ausführungsbeispiel auf einer ersten Seite in die Druckkammer 10 hinein transportiert, geprüft, und nach erfolgter Prüfung auf der gegenüberliegenden Seite wieder aus dem Reifenprüfgerät heraus transportiert.
-
Das Reifenprüfgerät umfasst ein oder mehrere Messköpfe 7, welche bevorzugt über eine Verfahranordnung 8 verfahrbar und/oder drehbar sind. Bei den Messköpfen handelt es sich insbesondere um holographische und/oder shearografische Messköpfe. Durch das Drehen des oder der Messköpfe können unterschiedliche Umfangsbereiche eines liegenden Reifens erfasst werden. Alternativ oder zusätzlich wäre es auch denkbar, den Reifen zu drehen, um unterschiedliche Umfangsbereiche zu prüfen.
-
In alternativen Ausgestaltungen können jedoch auch andere optische Prüfverfahren denkbar.
-
Die Reifenprüfanlage ist bevorzugt für eine sogenannte Bead-to-Bead-Reifenprüfung ausgelegt, bei welcher beide Seitenflächen des Reifens zumindest von außen, und die Lauffläche des Reifens zumindest von innen geprüft werden. Da eine der beiden Seitenflächen während eines Prüfdurchgangs üblicherweise auf einer Unterlage aufliegt, sodass sie nicht von außen geprüft werden kann, kann die gesamte Reifenprüfung in zwei separaten Prüfdurchgängen erfolgen, zwischen welchen der Reifen um 180° gewendet wird.
-
Alternativ können auch nur die Seitenflächen, eine der Seitenflächen oder die Lauffläche, sowie beliebige Kombinationen hiervon, geprüft werden.
-
2 zeigt eine Prüfung einer Seitenfläche 12 des Reifens 6 durch einen Messkopf 7 mit einem Messfeld 19. Die durch den Messkopf aufgenommene Aufnahme 20 umfasst einen äußeren Hintergrund 13, die obere Seitenwand 12 von außen, den oberen Wulst 14, die untere Seitenwand 15' von innen, den unteren Wulst 14' und den inneren Hintergrund 13'.
-
3 zeigt eine Prüfung einer inneren Lauffläche 16 des Reifens 6 durch einen Messkopf 7' mit einem Messfeld 19'. Die durch den Messkopf 7' aufgenommene Aufnahme 20' umfasst den oberen Wulst 14, die obere Seitenwand 15 von innen, die Lauffläche 16 von innen und die untere Seitenwand 15' von innen.
-
4 zeigt das Erscheinungsbild typischer Defekte 21 bis 23, welche durch eine Reifenprüfung auf der durch das Reifenprüfgerät aufgenommenen Aufnahme, insbesondere einem Phasendifferenzbild, erkannt werden sollen.
-
Die erfindungsgemäße Auswertung der durch das Reifenprüfgerät erzeugten Aufnahmen des Reifens dient der Lokalisierung und/oder Quantifizierung von Defekten auf der Aufnahme des Reifens.
-
Der hierfür gemäß dem Stand der Technik eingesetzte bisherige Workflow war dabei der folgende:
- 1. Data Recording mittels Shearographie
- 2. Manuelle Inspektion
oder
- 1. Data Recording mittels Shearographie
- 2. Extraktion handkodierter Merkmale (z.B. Histogramm über Grauwerte, Kantenorientierungen, ...)
- 3. Einfache Analyseverfahren (z.B. Schwellwert) auf der Merkmalsrepräsentation zur Unterscheidung Hintergrund vs. Reifen und Analyse der Defektregionen im Reifenbereich
-
Hiermit waren jedoch die folgenden Nachteile verbunden:
- ■ Manuelle Prüfung ist nötig, welche zeitintensiv ist und in der Genauigkeit variieren kann und dadurch subjektiv ist.
- ■ Automatisierte Prüfungen auf Basis einfacher Schwellwert-Operationen sind in der Applikation für den vollautomatischen Einsatz zu ungenau.
- ■ Automatisierte Prüfungen auf Basis einfacher Image Processing Verfahren (z.B. handkodierte Merkmale) sind zeitaufwendig in der Implementierung, können nicht ohne signifikanten Aufwand auf neue Gerätetypen übertragen werden (im Gegensatz zu lernbasierten Verfahren) und sind häufig zu ungenau für die Applikation.
- ■ Die Position des Reifens im Analysetool kann variieren, was in einfachen Analyseverfahren nur mit erheblichem Aufwand zu berücksichtigen ist (zum Beispiel durch aufwendiges Kalibrieren und Vermessen der Anlagenparameter).
- ■ Reifen sind von oben und von der Seite zu sehen und zeigen variierender Hintergrund, eventuell mit Zusatzobjekten (Metallarmen etc.), was für einfache Analyseverfahren zu komplex ist
-
Um diese Probleme zu beheben, weist die erfindungsgemäße Vorrichtung daher eine Auswerteeinrichtung zur Auswertung der durch das Prüfgerät erzeugten Aufnahmen auf, insbesondere zur Auswertung der Phasendifferenzbilder des shearografischen Prüfgerätes, wobei zur Auswertung ein ML-Modell zum Einsatz kommt.
-
Insbesondere kann das ML-Modell zur Vorhersage der zu prüfenden Reifenregion, d.h. der Trennung zwischen Hintergrund und Reifenbereich, und/oder der (anschließenden) Lokalisierung und/oder Klassifikation der Defektregionen eingesetzt werden. Insbesondere kann das ML-Modell hierzu ein angelerntes Segmentierungsmodell und/oder einen angelernten Klassifikator umfassen. Die Klassifikation kann dabei eine Quantifizierung der Defektregionen umfassen, bspw. die Bestimmung der Fläche und/oder Erstreckung einer Defektregion.
-
Die Vorteile des ML gegenüber bekannten Verfahren wie einer einfacher Image-Processing-Lösung bzw. einer einfachen Computer-Vision-Lösung können wie folgt zusammengefasst werden:
- ◯ Robuste und präzise Vorhersage von Prüfregion und Defekten (insbesondere durch gemeinsames Lernen der Bildrepräsentation und des Prediktors/Klassifikators) .
- ◯ Berücksichtigung des globalen Kontexts kann ohne zusätzlichen Aufwand mitgelernt werden.
- ◯ Anpassung auf neue Reifentypen, Aufnahmeänderungen, etc. kann mit wenig Aufwand durch neues Anlernen erfolgen (z.B. durch Servicepersonal oder Kunde) und benötigt keine algorithmischen Anpassungen mit großem Implementierungsaufwand.
-
5 zeigt ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens, bei welchem ein ML-Modell zur Auswertung der Aufnahmen eingesetzt wird.
-
Eine Trainingsphase 30 umfasst eine Erstellung 31 von Aufnahmen, eine Annotation 32 von Fehlern in den Aufnahmen zur Erzeugung von Trainingsdaten und ein Training 33 eines ML-Modells bzw. maschinellen Lernverfahrens.
-
Zur Erstellung der Aufnahmen werden diese in Schritt 31 bevorzugt aufgenommen, insbesondere mittels Shearographie. Alternativ können die Aufnahmen auch durch eine Simulation erstellt werden. Die Annotation erfolgt händisch und kann ggf. durch klassische Computervision unterstützt werden.
-
Durch das Training des ML-Modells werden dessen Modellparameter bestimmt.
-
Im Normalbetrieb 40 der Vorrichtung erfolgt das Data Recording 41 wiederum durch ein optisches Messverfahren, insbesondere Shearographie. Die Auswertung 42 der Aufnahmen erfolgt unter Zuhilfenahme des in der Trainingsphase 40 angelernten ML-Modells. Insbesondere erfolgt dabei eine automatische Bestimmung der Ausgabeparameter mittels der erlernten Modellparameter.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung ist vorgesehen, dass das ML-Modell nicht nur ein einziges Eingabebild erhält, welches ausgewertet wird, sondern einen Bildstapel, z.B. einen Bildstapel, welcher den gleichen Bereich des Reifens in verschiedenen Auflösungen zeigt.
-
Die Auswerteeinrichtung kann zum einen eine Abtrennung des Hintergrundes von den zu prüfenden Bildbereichen, d. h. dem Reifenbereich, vornehmen (Schritt 1), als auch eine Defektregionenanalyse und/oder Klassifikation (Schritt 2). Bei mindestens einem dieser Schritte kommt dabei ein ML-Verfahren zum Einsatz, insbesondere in Form eines neuronalen Netzwerkes bzw. Deep Learning. Im Rahmen von Schritt 1 kann zudem eine weitere Auftrennung des Reifenbereichs in die oben näher diskutierten unterschiedlichen Bereiche eines Reifens, welche auf der Aufnahme zu sehen sein können, erfolgen.
-
Es bestehen beispielsweise folgende Lösungsmöglichkeiten für Schritt 1 (insbesondere die Hintergrund-Abtrennung):
- - L1: Klassisch algorithmische Lösung (zum Beispiel via Grauwertstatistik);
- - L2: ML Lernbasierte Lösung (zum Beispiel mittels Deep Learning Segmentierung, um pixelweise Vordergrund vom Hintergrund und/oder unterschiedliche Reifenbereiche zu trennen);
- - L3: Kombination von L1 oder L2 mit Fit einer Primitiven (z.B. Spline), um bekanntes Wissen zur Kreisform der Prüffläche einzubringen;
- - L4: Direkte Schätzung von Parametern einer Primitiven (z.B. Splineparameter) aus der Aufnahme mittels eines Deep Learning Verfahrens (z.B. zur Auswertung von Seitenaufnahmen von Reifen, in denen der Vordergrund stets durch einen Kreisabschnitt approximiert werden kann).
-
Weiterhin bestehen beispielsweise folgende Lösungsmöglichkeiten für Schritt 2 (Defektregionenanalyse und/oder Klassifikation):
- - K1: Klassisch algorithmische Segmentierung von Defektregionen (z.B. via Kantenmerkmale o.Ä.);
- - K2: ML Lernbasierte pixelgenaue Segmentierung und ggf. Klassifizierung von Fehlerstellen (z.B. mittels Deep Learning zur Bildsegmentierung);
- - K3: ML Lernbasierte Detektion von Fehlerstellen und Beschreibung mittels rechteckförmiger Bounding Boxes oder anderer parametrisch beschreibbar, geometrischer Primitiva wie etwa Kreis oder Ellipsen (z.B. mittels Deep Learning Verfahren zur Objekterkennung).
-
Die Optionen L2 und K2 können auch mit einem einzigen ML-Modell gelöst werden. Als Eingabe dient hier die Aufnahme, insbesondere ein Sheraographie-Bild. Die Ausgabe erfolgt in Form einer Aufnahme, auf welcher eine pixelweise Unterscheidung von Hintergrund, Reifen und einem oder mehreren Defekttypen vorgenommen wurde.
-
Die Optionen (L4 und K2) oder (L4 und K3) können auch mit einem gemeinsamen ML-Modell simultan gelöst werden (sogenanntes Multi-task-Learning, gemeinsame Vorhersage einer Vordergrund-Hintergrund-Unterscheidung sowie einer Defektreg ionen-Seg m entierung).
-
6a und 6b zeigen beispielhafte Ausgaben einer erfindungsgemäßen Vorrichtung für eine Aufnahme einer Lauffläche (6a) und einer Seitenfläche (6b).
-
Hierbei erfolgt jeweils eine Trennung zwischen Reifenbereich 16, 12 und Hintergrund 13, 13' durch eine Primitive 50, sowie eine Lokalisierung und Klassifikation von Defekten 21, 22 und 23. Die Lokalisierung erfolgt hier durch Bounding Boxes. Alternativ könnte die Lokalisierung auch pixelweise erfolgen.
-
Erfindungsgemäß wird dabei in mindestens einem der Schritte 1 und/oder 2 ein ML-Modell eingesetzt, d. h. mindestens L2, L3 oder L4 oder K2 oder K3.
-
Das ML-Modell kann unabhängig von oder in Kombination mit den oben genannten Vorgehensweisen wie folgt eingesetzt und ausgestaltet sein:
-
Lösung 1 (nur Ersetzen der bisherigen Analyse)
-
Beschreibung
-
- • Eingabe: Aufnahmen, insbesondere aus dem Shearographie-Prozess
- • Ausgabe: Defektkarte (binär oder multi-Klassen, skalar oder Klassenwahrscheinlichkeiten) und/oder Region of Interest (ROI)- Maske der Reifenflächen
- • Das ML-Modell lernt die Prädiktion der Ausgabe aus der Eingabe
-
Lösung 2 (direkte Vorhersage der relevanten Metriken)
-
Beschreibung
-
- • Eingabe: Aufnahmen, insbesondere aus dem Shearographie-Prozess
- • Ausgabe: Schätzung der Defektgrößen und Defektposition (z.B. in mm), ROI-Maske der Reifenflächen
- • Das ML-Modell lernt die Prädiktion der Ausgabe aus der Eingabe.
-
Lösung 3 (nur Lernen der Merkmalsrepräsentationen im existierenden Workflow)
-
Beschreibung
-
- • Eingabe: Aufnahmen, insbesondere aus dem Shearographie-Prozess
- • Ausgabe: Defektkarte (binär oder multi-Klassen, skalar oder Klassenwahrscheinlichkeiten) und/oder Region of Interest (ROI)- Maske der Reifenflächen
- • Ein involviertes ML-Modell lernt lediglich sinnvolle Beschreibungen der Shearographie-Daten, z.B. mittels Unsupervised Learning (AutoEncoders, RBM), der Rest des Workflows gemäß dem Stand der Technik bleibt unverändert, d.h. die durch das ML-Modell erlernten Beschreibungen werden anstelle von handkodierter Merkmale in einem Computer-Vision-Prozess eingesetzt. Eine Annotation kann in diesem Fall entfallen, wodurch der initiale Annotationsaufwand reduziert wird.
-
Für das Erzeugen von Trainingsdaten bestehen unterschiedliche Varianten:
-
Variante 1 (Lernen aus gemessenen Daten)
-
Als Trainingsdaten sind zugehörige Paare aus {Aufnahme, Annotation} nötig. Es werden durch Messungen erhaltene Aufnahmen daher mit einer entsprechenden Annotation versehen. Je nach Lösung (1-3) kann die Annotation eine pixelweise Defektkarte, Defektwahrscheinlichkeitskarte, binäre und multi-klassen Version davon, oder auch nur ein Skalar oder Vektor der Zielgröße sein.
-
Variante 2 (Lernen aus simulierten Daten)
-
Wie Variante 1, nur dass die Aufnahmen aus einem Simulationsverfahren gewonnen werden, welches die Shearographieabbildung geeignet simuliert bzw. approximiert.
-
Variante 3 (Lernen aus gemessenen und simulierten Daten)
-
Das Lernen aus gemessenen und simulierten Daten kann zyklisch erfolgen, kann gemischt werden, kann z.B. als Zwei-Schritt-Verfahren ablaufen (erst V1 dann V2).
-
Unabhängig von der Art und Weise, wie die Trainingsdaten erzeugt werden, kann das ML-Modell in einer möglichen Ausgestaltung mit Daten von verschiedenen „Modalitäten“ angelernt werden, z.B. mit Daten von mehreren, verschiedenen Shearographie-Systemen, oder verschiedenen Beleuchtungssettings.
-
Die Trainingsdaten sollten möglichst repräsentativ sein, d.h. sie sollten mindestens eines und bevorzugt mehrere der folgenden Eigenschaften aufweisen:
- - Verschiedenen Zeitpunkte
- - Verschiedene physische Messmaschinen
- - Verschiedene Defekttypen
- - Verschiedene Defektausprägungen
- - Von verschiedenen Annotierern bewertet
- - Verschiedene Reifentypen
Dies gilt sowohl für tatsächlich aufgenommene als auch für simulierte Daten.
-
Die Annotationen sollten konsistent sein, d.h., die Annotationen sollten in sich möglichst konsistent sein bzw. ein Abschätzen der Annotationsungenauigkeit erlauben und/oder der Akquiseprozess sollte stationär sein.
-
Die Vorrichtung kann in möglichen Ausgestaltungen mit weiteren Ausgestaltungsmerkmalen versehen sein. Die im folgenden beschriebenen Möglichkeiten können dabei mit allen oben beschriebenen Optionen und Varianten kombiniert werden.
-
Ausgestaltungsmerkmal „Kontinuierliches Trainieren + Interface“
-
Es ist praktisch unmöglich, für alle spätere Anwendungsfälle bereits während des Entwicklungszeitpunkts repräsentative Daten vorliegend zu haben. Insbesondere können die Systeme von Kunde zu Kunde unterschiedlich installiert werden, unterschiedliche Umgebungen mit Hintergrundstrukturen vorliegen, unterschiedliche Einstellungen für die Datenaufnahme eingestellt werden, etc.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung ist die Vorrichtung daher so ausgestaltet, dass beim Kunden ein Nachlernen des im Voraus angelernten ML-Modells möglich ist. Dies kann zum Beispiel während einer Installationsphase geschehen, oder auch später in regelmäßigen oder unregelmäßigen Abständen.
-
Insbesondere kann der Prozess des Nachlernens auch mehrfach ausgeführt werden, etwa wenn sich die Aufnahmeumgebung verändern, neue Produkte zu prüfen sind, neue Defektklassen zu erkennen sind, oder andere neue Informationen dem ML-Modell bereitgestellt werden müssen.
-
Ein entsprechendes Ausführungsbeispiel ist in 7 dargestellt, wobei die Vorrichtung zunächst die oben im Hinblick auf 1 beschriebenen Komponenten aufweist.
Um das Nachlernen zu ermöglichen, kann ein Interface vorgesehen sein, um Annotationen für neu aufgenommene Daten zu erstellen, bspw. als Annotation-GUI an einem Operator-PC 60, welcher an dem Reifenprüfgerät angeordnet ist, oder über einen externen Rechner 61, welcher mit der Vorrichtung über ein Netzwerk 62 in Verbindung steht, siehe 7. Das Interface auf dem externen Rechner 61 kann beispielsweise über eine Browser-Lösung implementiert werden.
-
Zusätzlich kann eine Recheneinheit 63 (mit GPU) zur Verfügung stehen, auf der das Nachlernen erfolgen kann, z.B. in der Cloud oder auf einem lokalen PC.
-
Algorithmisch bzw. technisch können für das Nachlernen Verfahren aus dem Bereich Transfer Learning herangezogen werden. Speziell für Deep Neural Networks kann das Nachlernen beispielsweise über ein Fine-Tuning erfolgen, bei dem die bisherigen Parameterwerte des ursprünglich angelernten Modells als Startlösung für das Nach-Trainieren beim Kunden verwendet werden. Durch Fine-Tuning kann das gesamte Lernen schneller und mit weniger Daten erfolgen, als es beim ersten Anlernen während der Entwicklungszeit notwendig war.
-
Ausgestaltungsmerkmal „Priorisierung von Lerndaten‟
-
Während des oben beschriebenen Nachlernens bzw. kontinuierlichen Lernens während der Installation bzw. des Betriebs und/oder Einfahrens der Vorrichtung durch Anpassen der ML-Verfahren können aus Zeit- und Kostengründen nicht beliebig viele Daten annotiert werden.
-
Daher kann in einer möglichen Ausgestaltung der vorliegenden Erfindung vorgesehen sein, dass die neu aufgenommenen Daten durch die Vorrichtung automatisch nach Relevanz sortiert und entsprechend sortiert zur Verfügung gestellt werden. Hierdurch besteht die Möglichkeit, nur die relevantesten Daten zu annotieren. Ein Maß für Relevanz kann die Unsicherheit des initial gelernten Systems sein.
-
Auch hier kann Hardware und/oder Software zum Annotieren und Anlernen vorgesehen sein, entweder lokal oder über Cloud-ähnliche Anbindungen
-
Ausgestaltungsmerkmal „ML-Verfahren ohne pixelweise Annotationen“
-
Das pixelgenaue Annotieren von Bildern ist oft zu kostenintensiv, um in großer Menge durchgeführt zu werden.
-
Gemäß einer möglichen Ausgestaltung der vorliegenden Erfindung ist die Vorrichtung daher so ausgestaltet, dass Trainingsdaten einsetzbar sind, bei welchen die Annotation nur auf Bild-Label-Ebene realisiert wird. Beispielsweise kann die Annotation dahingehend erfolgen, ob ein Bild einen Defekt enthält oder nicht, oder einem Bild eine oder mehrere Defektklassen zugeordnet werden. Bevorzugt ist hierfür ein entsprechend ausgestaltetes Interface vorgesehen.
-
Durch derart annotierte Bilder wird im Rahmen eines Ausführungsbeispiels ein Bild-Klassifikator angelernt, welcher für neue Bilder diese ja-nein-Antwort und/oder Klassifizierung prädiziert, und ggf. anschließend ein Visualisieren in dem Bild vornimmt, welche Regionen entscheidungs-relevant für den ML-Klassifikator waren (z.B. Gradcam, GuidedBackprob). Somit wird neben dem Klassifikations-Ergebnis noch eine Segmentierungsartige Karte erzeugt, ohne vorher segmentierungs-Annotationen benötigt zu haben.
-
Ausgestaltungsmerkmal „Hybrid-Operation-Mode Sichtprüfer + Maschine“
-
Es ist zu erwarten, dass ML-Verfahren initial nicht hinreichend akzeptiert werden, insbesondere da initial keine 100%-Genauigkeit erreicht werden kann, aber extrem geringe Fehlerraten applikativ benötigt werden.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung ist daher eine Hybridlösung aus Maschine und Sichtprüfer realisiert. Die Vorrichtung stellt hierfür ein Interface zur Verfügung, durch welches ein Sichtprüfer die durch die Vorrichtung anhand eines ML-Modells erzeugte Vorhersage überprüfen und ggf. korrigieren kann. Insbesondere kann dabei eine automatisierte pixelweise ML-Analyse mit einer manuellen Verifikation gekoppelt werden.
-
Bevorzugt gibt die Vorrichtung hierbei neben der anhand eines ML-Modells erzeugte Vorhersage weiterhin einen Wert und/oder eine Anzeige für die Konfidenz aus, welche das ML-Modell bei der Vorhersage hatte.
-
Der Sichtprüfer kann die ML-Vorhersage für Aufnahmen beispielsweise ohne nähere Prüfung akzeptieren, wenn das Modell eine hohe Konfidenz hat. Verifizieren/korrigieren muss der Sichtprüfer nur Vorhersagen bei Beispielen, für welche das ML-System eine hohe interne Unsicherheit hat.
-
Ausgestaltungsmerkmal „Voll-automatisierte Finalprüfung“
-
Der bisherige Workflow mit manueller Sichtprüfung kann für hochfrequente Prüfprozesse zu zeitaufwändig sein, z. B. für 24/7-Prüfabläufe, bei denen Sichtprüfer aber nicht immer in 24/7-Schichten verfügbar sind. Auch der im vorherigen Merkmal beschriebene Gesamtworkflow „Hybrid-Operation-Mode Sichtprüfer + Maschine“ kann zu zeitintensiv sein, selbst wenn nur einige (unsichere) Aufnahme manuell verifiziert werden müssen.
-
Gemäß einer möglichen Ausgestaltung der vorliegenden Erfindung erfolgt die Prüfung daher ausschließlich durch ein ML-Verfahren, welches direkt die finale Prüfentscheidung vorhersagt (z.B. als Klassifikationsmodell oder mit zusätzlicher Vorhersage der Segmentierungen wie oben beschrieben).
-
Ausgestaltungsmerkmal „Regelbasierte Ausschuss-Entscheidung“
-
Im Rahmen einer möglichen Ausgestaltung ermittelt die Auswerteeinrichtung zunächst mittels eines ML-Modells eine Segmentierungskarte und/oder eine Klassifikation der Defekte, bspw. eine Vorhersage zum Ort, zur Größe, zur Art und/oder zur Anzahl von Defekten.
-
Dieses Ergebnis wird dann basierend auf gewissen Toleranz-Regeln in die finale Aussage dazu, ob es sich bei dem Reifen um Ausschuss handelt (insbesondere in Form einer ja/nein-Entscheidung), überführt.
-
Hierzu beurteilt die Auswerteeinrichtung die ermittelten Defektregionen und/oder Defekte mittels einer regelbasierten Tolerierung (z.B. bezüglich Radius, Länge, Kontrast, ...) im Hinblick auf ihre Ausschussrelevanz.
-
Die Bewertung nach Defektrelevanz für in Ordnung oder nicht in Ordnung kann in einer möglichen Ausgestaltung von Prüfregionen abhängig sein. Insbesondere können Fehlertoleranzen in Abhängigkeit von Prüfregionen gesetzt werden.
-
Beispielsweise können hierdurch auf der Reifenseite andere Anforderungen an eine Blasengröße als auf der Reifenlaufseite vorgegeben werden.
-
Im folgenden werden einige ML-Modelle beschrieben, welche im Rahmen der vorliegenden Erfindung zum Einsatz kommen können.
-
Die einfachste Möglichkeit zum Lernen eines ML-Modells für die Transformation von Daten sind statistische Modelle (nahezu jede parametrische Verteilung ist vorstellbar). Dies wird in der Praxis jedoch häufig nicht zu einer ausreichenden Genauigkeit führen. Daher kommen im Rahmen der vorliegenden Erfindung bevorzugt Deep-Learning-Verfahren zum Einsatz.
-
In einem möglichen Ausführungsbeispiel der vorliegenden Erfindung kommt als ML-Modell eine Encoder-Decoder-Architektur zum Einsatz. Insbesondere kann eine solche Encoder-Decoder-Architektur zur pixelgenauen Trennung in Hintergrund und Reifenbereich und/oder zur pixelgenauen Segmentierung von Defekten eingesetzt werden. Beispielsweise kann hierbei eine Transformation der Aufnahme zu einer Klassen-Wahrscheinlichkeitskarte erfolgen.
-
In einem möglichen Ausgestaltung kann die Encoder-Decoder-Architektur um Skip-Connections erweitert werden, welche es erlauben, speziell kleinste Feinheiten in Bilddaten akkurat beschreiben zu können. Bekannte ML-Modelle sind hierbei Resnet, DenseNet oder RefineNet.
-
Die Encoder-Decoder-Architektur kann dabei als U-Net ausgestaltet sein, bei welcher die Encoder-Seite in mehreren Schritten die sample-Größe reduziert, während die Decoder-Seite die sample-Größe wieder erhöht.
-
8 zeigt ein Ausführungsbeispiel eines solchen Modells zur Transformation von Aufnahmen 70 in pixelgenaue Segmentierungen 71. Das Ausführungsbeispiel weist zunächst einen Encoder-Pfad 73 aus mehreren Ebenen 74, 74', 74", 74''' von Layern 80 auf, welche die sample-Größe reduzieren. Der Decoder-Pfad 75 weist ebenfalls entspreche Ebenen 74, 74', 74", 74''' von Layern 80 auf, welche die sample-Größe wieder erhöhen.
-
Im Ausführungsbeispiel ist diese klassische Encoder-Decoder-Architektur verallgemeinert, indem Ergebnisse von frühen Transformationslayern durch die Skip-Connections auch späteren Layern zur Verfügung stehen (darstellt durch horizontale Pfeile 72). Im Ausführungsbeispiel verbinden die Skip-Connections dabei Layer des Encoder-Pfades 73 und des Decoder-Pfades 75 der selben Ebene. Dadurch wird insbesondere die räumliche Information beibehalten, was zu einer höheren Genauigkeit führt. Darüber hinaus kann das Zwischenergebnis jedes Pfades als feature interpretiert werden, was die Abbildung auf eine zentrale Featurekollektion verallgemeinert.
-
Anstelle eines U-Nets kann eine blockweise Verarbeitung mit Skip-Connections vorgesehen sein.
-
9 zeigt eine beispielhafte Darstellung eines Residual-Blocks, welcher Eingaben mit mehreren Layern transformiert und die Ausgabe zusätzlich mit der ursprünglichen Eingabe verrechnet, um das finale Ergebnis des Blocks zu erhalten.
-
Mehrere solcher Residual-Blöcke können hintereinander geschaltet werden. Der ausschließliche Datenfluss von einem zum nachfolgenden layer ist somit verallgemeinert
-
Ebenso können Dense-Blöcke eingesetzt werden. Bei einem Dense-Block werden Eingaben mit mehreren layern transformiert. Jeder layer erhält dabei die (verrechneten) Ergebnisse aller vorherigen layer, und leitet seine Ausgabe an den nachfolgenden layer sowie an die finale Ausgabe weiter
-
Die blockweise Verarbeitung kann mit einem U-Net kombiniert werden.
-
Weiterhin können DenseNet-Modelle aus mehreren Dense-Blöcken bestehen. Es verallgemeinert somit Ideen von ResNet und U-Net, indem der Datenfluss und dessen Verarbeitung verallgemeinert wird, was sowohl Genauigkeit als auch Lernbarkeit der Modelle positiv beeinflusst.
-
Weiterhin kann ein RefineNet-Block eingesetzt werden, welcher simultan Eingaben einer Modalität auf mehreren Auflösungsstufen erhält, diese individuell mit Resnet-Blöcken verarbeitet, deren Ergebnisse fusioniert, und dieses Zwischenergebnis schließlich denset-artig transformiert. Ebenso kann ein RefineNet-Modell eingesetzt werden, welches mehrere RefineNet-Blöcke kombiniert, um hoch-präzise, lernbare Transformationen zu realisieren.
-
Insbesondere können Encoder-Decoder-Architekturen, mit oder ohne Skip-Connections, und insbesondere solche Encoder-Decoder-Architekturen, wie sie soeben beschrieben wurden, für die oben beschriebene Lösung 1 eingesetzt werden.
-
Im Rahmen der oben beschriebenen Lösung 2 kann die Vorhersage der Zielgröße in einem möglichen Ausführungsbeispiel als Regressionsproblem aufgefasst werden. Da mehrere Defekte in einem Bild vorkommen können, kann weiterhin vorgesehen sein, dass die Anzahl der Defekte mit vorhergesagt wird, d.h. eine Liste von Defekten mit entsprechender Größe und Vorhersagewahrscheinlichkeit je Bild. Mögliche Detektionsverfahren wie YOLO, SSD, YOL0-9000 oder Mask R-CNN können hierfür entsprechend angepasst werden, indem anstelle der dort vorhergesagten Objektgröße in Pixel sowie der Klassenzugehörigkeit die Defektgröße in mm und die Klassenzugehörigkeit vorhergesagt wird.
-
Im Rahmen der oben beschriebenen Lösung 3 können AutoEncoder oder Restricted Boltzmann Machines (RBM) eingesetzt werden, welche das unüberwachte Lernen von Bildrepräsentationen erlauben. Alternativ können auch überwachte Verfahren wie für Lösung 1 beschrieben angelernt werden, um dann jedoch lediglich deren Aktivierungen als Repräsentation von Bilddaten zu verwenden und diese in den bisherigen Workflow zu integrieren (also z.B. die handcrafted Features ersetzen).
-
Zusammenfassend stellt die vorliegende Erfindung damit eine Vorrichtung und ei Verfahren zur Verfügung, durch welche Aufnahmen von Reifen, insbesondere Phasendifferenzbilder von Shearographieanlagen für Reifen, automatisch bewertet, Fehler erkannt, in Lage und Größe erfasst und/oder in Fehlerklassen eingeteilt, und insbesondere auch von Sensorartefakten unterschieden werden.
-
Phasendifferenzbilder von Shearographieanlagen für Reifen gibt es in unterschiedlichen Ansichten auf den Reifen: Es können Sektoren der Lauffläche und/oder der Seitenwand und mindestens einem Wulst abgebildet sein. Es kann auch ein ganzer Reifen zu sehen sein. Die Bildbereiche gliedern sich also in die einzelnen Bereiche Lauffläche, Seitenwand (nah und fern), Wulstbereich (nah und fern), Hintergrund, die jeweils auch teilweise oder völlig fehlen können.
-
Existierende Verfahren erkennen die unterschiedlichen Bildbereiche und Fehler anhand vorgegebener Kriterien und Schwellwerte für lokale oder globale Unterschiede im Bildkontrast oder Mustererkennungsparameter. Die Vorgabe der Schwellwerte ist fehlerbehaftet und aufwändig.
-
Die Erfindung nutzt dagegen ein selbstlernendes Verfahren, das ohne manuelle Vorgabe von Schwellwerten funktioniert und sich daher in breiten Anwendungsfeldern einsetzen lässt.
-
So ist es möglich, bei der Herstellung und Runderneuerung beliebiger Luftreifen Fehler automatisch zu erkennen und zu klassifizieren. Die Erkennung kann einen Bediener der Anlage bei der Bewertung des geprüften Reifens unterstützen oder gar ersetzen. Das Anlernen der Fehlerbewertung erfolgt dabei durch Prüfung von Reifen mit bekannten Fehlerbildern.
-
Zeit- und Kostenaufwändiges Bestimmen von Parametern entfällt, die Fehlererkennung wird kontinuierlich weiter optimiert und objektiviert und den Bedürfnissen des jeweiligen Kunden automatisch angepasst.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
