-
Die Erfindung bezieht sich auf ein Verfahren zur Erkennung einer entlang einer gekrümmten Linie angeordneten Reifenidentifikationsnummer auf einem Fahrzeugreifen. Sie bezieht sich weiter auf ein mobiles Endgerät zur Durchführung des Verfahrens.
-
Es ist bekannt, die Reifenidentifikationsnummer, insbesondere die DOT-TIN (Department Of Transportation Tire Identification Number), die auf mindestens einer Reifenflanke eines Fahrzeugreifens einvulkanisiert ist, automatisiert zu lesen. Beispielsweise offenbart die
WO 2019/084385 A1 eine Vorrichtung zur Erkennung einer Reifenidentifikationsnummer, die mindestens eine Kamera sowie eine oder zwei Lichtquellen umfasst. Bei der Anwendung muss die Vorrichtung derart platziert werden, dass die Kamera und die Lichtquellen auf die zu lesende Reifenidentifikationsnummer ausgerichtet sind.
-
Eine derartige Vorrichtung ist verhältnismäßig kompliziert und erfordert speziell eingerichtete Hardwarekomponenten. Ferner ist die Handhabung, bei der es auf die genaue Ausrichtung der Vorrichtung zur Reifenidentifikationsnummer ankommt, verhältnismäßig schwierig automatisierbar.
-
Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren anzugeben, mit dem die Erkennung einer Reifenidentifikationsnummer mit technisch einfachen Mitteln zuverlässig und automatisierbar erfolgen kann.
-
Diese Aufgabe wird gelöst mit dem Gegenstand des Patentanspruchs 1. Weitere Ausführungsformen und vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche.
-
Gemäß einem Aspekt der Erfindung wird ein Verfahren zur Erkennung einer entlang einer gekrümmten Linie angeordneten Reifenidentifikationsnummer aus einzelnen Zeichen auf einem Fahrzeugreifen angegeben. Das Fahrzeug umfasst das Aufnehmen zumindest eines Bildes einer Seitenfläche des Fahrzeugreifens mittels einer Bilderfassungseinheit sowie das Anwenden einer ersten Convolutional Neural Netzwerk (CNN)-Einheit zur Bilderkennung auf das Bild zur Ermittlung, ob in dem Bild eine Zeichenfolge enthalten ist. Ferner umfasst das Verfahren, falls das Vorhandensein einer Zeichenfolge erkannt wurde, das Ermitteln einer Position eines Anfangs und eines Endes der Zeichenfolge und das Erstellen eines ersten korrigierten Bildes durch Drehen des Bildes um den Winkel, den eine Verbindungsgerade der Positionen des Anfangs und des Endes der Zeichenfolge mit einer horizontalen Bildachse bildet.
-
Ferner umfasst das Verfahren das Aufteilen der Zeichenfolge in eine Mehrzahl von Abschnitten durch Erstellen von Bildern jedes Abschnitts und Anwenden einer zweiten CNN-Einheit zur Bilderkennung auf die Bilder der Abschnitte zur Erkennung der einzelnen Zeichen.
-
Das Verfahren umfasst somit mehrere Schritte bei der Erkennung der Reifenidentifikationsnummer: in einem Schritt ermittelt die CNN-Einheit, ob eine Zeichenfolge in dem Bild enthalten ist, und welche Position, d.h. welche Koordinaten in einem Koordinatensystem des Bildes ein Anfang und ein Ende der Zeichenfolge hat. Dazu ist die erste CNN-Einheit darauf trainiert, äußere Blöcke der Zeichenfolge zu erkennen. Die Orientation der Zeichenfolge auf dem Bild ist nicht bekannt. Die erste CNN-Einheit unterscheidet typischerweise nicht, ob es sich bei einem äußeren Block der Zeichenkette um einen in der Reifenidentifikationsnummer ersten oder letzten Block handelt. Diese Erkennung erfolgt erst in folgenden Schritten. Die erste CNN-Einheit erkennt jedoch typischerweise nicht nur Anfang und Ende des DOT-Codes, sondern die Position (insbesondere als Koordinaten von Rechtecken um die einzelnen Blöcke) aller Blöcke. Diese Koordinaten können in nachfolgenden Schritten benutzt werden, um die Blöcke auszuschneiden. Zudem erkennt die erste CNN-Einheit typischerweise nicht nur die Positionen der Blöcke, sondern klassifiziert die Blöcke gleichzeitig in entweder „DOT“ oder „alphanumerisch“. Diese Information kann nachfolgend genutzt werden, um das Bild so zu drehen, dass sich der „DOT“ Block auf der linken Seite befindet, und der Code nicht auf dem Kopf steht. Eine derartige Bestimmung der Position und eine Klassifizierung in einem Schritt ist typisch für Objekterkennungsalgorithmen basierend auf CNNs.
-
Unter einer CNN-Einheit wird hier und im Folgenden zumindest ein Algorithmus eines künstlichen „gefalteten“ neuronalen Netzwerks verstanden. Derartige Algorithmen sind bekannt. Die Struktur eines klassischen CNN weist zumindest ein Convolutional Layer auf gefolgt von einem Pooling Layer. Diese Einheit kann sich prinzipiell beliebig oft wiederholen. CNN werden im maschinellen Lernen insbesondere bei der Verarbeitung von Bild- und Audiodateien eingesetzt.
-
Bei dem aufgenommenen Bild kann es sich insbesondere um ein mit einem digitalen Endgerät wie beispielsweise einem Mobiltelefon oder einem Tablet aufgenommenes Bild handeln, das aus einer in gewissen Grenzen beliebigen Entfernung sowie unter einem weitgehend beliebigen Winkel aufgenommen sein kann. Zudem ist es nicht notwendig, dass die Reifenidentifikationsnummer in einer bestimmten Weise ausgerichtet ist. Die Reifenidentifikationsnummer soll lediglich sichtbar und für ein menschliches Auge lesbar sein. Hohe Anforderungen an das aufgenommene Bild werden nicht gestellt, weil die anschließend erfolgende Bearbeitung des Bildes bzw. das Erstellen eines korrigierten Bildes mithilfe von Künstlicher Intelligenz (KI) -Verfahren dies kompensiert.
-
Unter einem KI-Verfahren wird hier und im Folgenden ein automatisiertes Verfahren verstanden, das sich Methoden der künstlichen Intelligenz, insbesondere des maschinellen Lernens, bedient. Insbesondere können bei dem Verfahren Methoden der visuellen Intelligenz zur Anwendung kommen, die die Erkennung und Analyse visueller Objekte ermöglichen.
-
Die Reifenidentifikationsnummer kann auf dem Bild auch auf dem Kopf stehen oder vertikal statt horizontal ausgerichtet sein. Dies erleichtert es einem Benutzer, der das Verfahren durchführt, das Bild aufzunehmen. Eine konkrete Position des Fahrzeugreifens zum Zeitpunkt der Aufnahme des Bildes ist somit nicht erforderlich.
-
Die erste CNN-Einheit ist trainiert, um die unterschiedlichen Blöcke zu erkennen, aus der die Reifenidentifikationsnummer besteht. Typischerweise ist dies ein erster Block mit den Buchstaben „DOT“ und darauf folgend 3-4 Blöcke aus alphanumerischen Zeichen, die Informationen über den Hersteller, die Größe, das Herstellungsdatum sowie das Herstellungswerk des Reifens codieren.
-
Wenn die erste CNN-Einheit die Position des Anfangs und des Endes der Zeichenfolge ermittelt hat, wird das erste korrigierte Bild erstellt, in dem das aufgenommene Bild gedreht wird. Dadurch wird die erkannte Zeichenfolge im Wesentlichen horizontal, wenn auch noch gekrümmt, ausgerichtet.
-
Von einer zweiten CNN-Einheit wird anschließend die Zeichenfolge in eine Mehrzahl von Abschnitten aufgeteilt. Dies erfolgt dadurch, dass aus dem ersten korrigierten Bild einzelne Bereiche herausgeschnitten werden, die jeweils einzelne Abschnitte der Zeichenfolge wiedergeben. Auf diese Abschnitte wird die zweite CNN-Einheit angewandt, um einzelne Zeichen zu erkennen.
-
Das Verfahren hat den Vorteil, dass es sehr bequem durchführbar und automatisierbar ist. Es erfordert keine spezielle Ausrichtung des Fahrzeugreifens und/oder der Kamera während der Aufnahme des Bildes.
-
Durch den Einsatz verschiedener CNN-Einheiten für die verschiedenen Aufgaben bei der Erkennung der Reifenidentifikationsnummer ist es möglich, die Reifenidentifikationsnummer von einem einzigen Bild zu erkennen. Die einzelnen CNN-Einheiten werden dabei jeweils für eine spezielle Aufgabe trainiert.
-
Gemäß einer Ausführungsform wird nach dem Erstellen des ersten korrigierten Bildes ermittelt, ob die Zeichenfolge auf dem ersten korrigierten Bild korrekt ausgerichtet ist oder auf dem Kopf steht, wobei die Erkennung dadurch erfolgt, dass die Position eines vorgegebenen ersten Abschnitts mit der Position eines vorgegebenen zweiten Abschnitts verglichen wird. Beispielsweise kann als erster Abschnitt die Zeichenfolge „DOT“ vorgegeben sein. Für den zweiten Abschnitt, der nicht notwendigerweise direkt auf den ersten Abschnitt folgen muss, kann beispielsweise vorgegeben sein, dass dieser Zahlen enthalten muss. Es kann auch darauf verzichtet werden, für den zweiten Abschnitt eine Vorgabe zu treffen.
-
Diese Ausführungsform erlaubt es, auf einfache Weise zu erkennen, ob die Zeichenfolge auf dem ersten korrigierten Bild korrekt ausgerichtet ist. Steht sie auf dem Kopf, ist die x-Koordinate des ersten vorgegebenen Abschnitts größer als die x-Koordinate eines zweiten Abschnitts. In diesem Fall wird das erste korrigierte Bild um 180° gedreht. Als Koordinatensystem kann insbesondere ein kartesisches Koordinatensystem verwendet werden, das an den Seiten des Bildes ausgerichtet ist.
-
Gemäß einer alternativen Ausführungsform erkennt nach dem Erstellen des ersten korrigierten Bildes eine weitere CNN-Einheit, ob die Zeichenfolge auf dem ersten korrigierten Bild korrekt ausgerichtet ist oder auf dem Kopf steht, wobei die Erkennung dadurch erfolgt, dass die weitere CNN-Einheit erkennt, ob einzelne Zeichen oder Abschnitte der Zeichenfolge auf dem Kopf stehen oder korrekt ausgerichtet sind. Die weitere CNN-Einheit kann dazu beispielsweise auf bestimmte Buchstaben oder Zahlen trainiert werden und erkennen, ob diese auf dem Kopf stehen oder korrekt ausgerichtet sind.
-
Das erste korrigierte Bild wird um 180° gedreht, wenn die weitere CNN-Einheit ermittelt, dass die einzelnen Zeichen oder Abschnitte von Zeichen der Zeichenfolge mit einer Wahrscheinlichkeit von mehr als 50 % auf dem Kopf stehen. Dabei kann für eine höhere Sicherheit der Durchschnitt der Wahrscheinlichkeiten für alle Abschnitte oder mehrere bzw. alle Zeichen der Zeichenfolge gebildet werden.
-
Falls das erste korrigierte Bild um 180° gedreht wurde, werden softwareseitig auch die vorher ermittelten Positionen des Anfangs und des Endes der Zeichenfolge um denselben Winkel gedreht.
-
Durch die Verwendung mehrerer unterschiedlicher CNN-Einheiten wird die Genauigkeit des Verfahrens erhöht, da die unterschiedlichen CNN-Einheiten jeweils für eine spezielle Aufgabe trainiert werden können. Die Verwendung verschiedener CNN-Einheiten für die verschiedenen Verfahrensschritte erlaubt auch eine variable Entfernung zwischen der Kamera und dem Reifen während des Aufnehmen des Bildes, da die CNN-Einheiten für unterschiedliche Entfernungen trainiert werden können.
-
Gemäß einer Ausführungsform wird vor dem Aufteilen der Zeichenfolge in eine Mehrzahl von Abschnitten ein zweites korrigiertes Bild erstellt, in dem die auf einer gekrümmten Linie angeordneten Zeichen der Zeichenfolge auf einer geraden, horizontalen Linie ausgerichtet werden. Mit diesem Schritt, der den Krümmungsradius der gekrümmten Linie, insbesondere des Kreisabschnittes, berücksichtigt, entlang der die Reifenidentifikationsnummer angeordnet ist, wird eine bessere Analysierbarkeit der Zeichenfolge erzielt. Dazu können beispielsweise die Winkel zwischen den einzelnen Blöcken berechnet und dann die Ausschnitte der Blöcke einzeln gedreht werden.
-
Es ist alternativ auch möglich, auf die Erstellung eines zweiten korrigierten Bildes zu verzichten. Beispielsweise kann die CNN-Einheit dann an leicht gekrümmten Zeichenfolgen trainiert werden, um deren Erkennung zu erleichtern.
-
Gemäß einer Ausführungsform wird zum Aufnehmen des zumindest einen Bildes von der Seitenfläche des Fahrzeugreifens die Kamera eines mobilen Endgerätes, beispielsweise eines Mobiltelefons, verwendet und ein Beleuchtungssensor der Kamera eingesetzt zur Erkennung einer dunklen Umgebung, in der ein Blitzlicht der Kamera verwendet werden soll. Dies hat den Vorteil, dass von vornherein eine bessere Bildqualität gegeben ist.
-
Gemäß einem Aspekt der Erfindung wird ein Computerprogrammprodukt angegeben, das Codeanweisungen enthält, um die Schritte des beschriebenen Verfahrens auszuführen, wenn es auf einer Recheneinheit ausgeführt wird.
-
Gemäß einem weiteren Aspekt der Erfindung wird ein mobiles Endgerät angegeben umfassend eine Kamera sowie eine Recheneinheit zur Durchführung des Verfahrens.
-
In einer alternativen Ausführungsform umfasst das mobile Endgerät nicht selbst die Recheneinheit zur Durchführung des Verfahrens, sondern lediglich eine Schnittstelle zu einer externen Recheneinheit zur Durchführung des Verfahrens. Gemäß dieser Ausführungsform werden die durch die Recheneinheit durchgeführten Verfahrensschritte beispielsweise von einem Cloud-Rechner durchgeführt. Eine mobile Anwendung zur Erkennung der Reifenidentifikationsnummer kann dann lediglich das Bild aufnehmen und es an einen Cloud-Server schicken, der die übrigen Verfahrensschritte durchführt und die erkannte Reifenidentifikationsnummer zurückschickt an das mobile Endgerät.
-
Das Verfahren kann sowohl für montierte als auch für nicht montierte Reifen zum Einsatz kommen.
-
Ausführungsformen der Erfindung werden im Folgenden anhand von schematischen Figuren näher beschrieben. Darin zeigen
- 1 einen Ausschnitt aus einem Fahrzeugreifen sowie ein mobiles Endgerät zur Erkennung einer Reifenidentifikationsnummer gemäß einer Ausführungsform der Erfindung;
- 2 ein Ablaufdiagramm eines Verfahrens zur Erkennung einer Reifenidentifikationsnummer gemäß einer Ausführungsform der Erfindung und
- 3 einen Schritt eines Verfahrens Erkennung der Reifenidentifikationsnummer gemäß einer Ausführungsform der Erfindung.
-
1 zeigt einen Ausschnitt aus einem Fahrzeugreifen 1, auf dessen Seitenfläche 2 eine Reifenidentifikationsnummer 3 aus einzelnen Zeichen 4 angeordnet ist. Die Reifenidentifikationsnummer 3 ist dabei typischerweise in der Reifenform derart einvulkanisiert, dass die einzelnen Zeichen 4 erhaben über der Seitenfläche 2 vorstehen. In der gezeigten Ausführungsform handelt es sich bei der Reifenidentifikationsnummer 3 um eine DOT-TIN, die hier aus vier Blöcken 5 mit jeweils vier Zeichen 4 zusammengesetzt ist. Der erste Block 5 enthält die Zeichenfolge „DOT“, während die darauffolgenden Blöcke 5 Informationen über den Reifenhersteller, das Herstellwerk sowie das Herstelldatum enthalten. Die Blöcke 5 sind voneinander durch Zwischenräume getrennt.
-
1 zeigt ferner ein mobiles Endgerät 7, das über eine Kamera 8 zur Aufnahme eines Bildes des Fahrzeugreifens 1 verfügt. Das mobile Endgerät 7 umfasst ferner eine Recheneinheit 9, die zumindest zur Speicherung der Bilddatei geeignet ist und darüber hinaus eine Schnittstelle zur Verbindung mit einer externen Recheneinheit 10 über eine Datenverbindung 11 aufweist. Bei der externen Recheneinheit 10 kann es sich beispielsweise um einen Cloudserver handeln, jedoch auch um einen Laptop oder PC.
-
2 zeigt ein Ablaufdiagramm eines Verfahrens zur Erkennung der Reifenidentifikationsnummer 3. In der gezeigten Ausführungsform umfasst das Verfahren in einem Schritt 100 das Aufnehmen eines Bildes der Seitenfläche 2 des Fahrzeugreifens 1. Dabei kann das Bild aus einer in gewissen Grenzen variablen Entfernung und unter einem praktisch beliebigen Winkel aufgenommen werden. Die Stellung des Fahrzeugreifens 1 zum Zeitpunkt der Aufnahme ist ebenfalls beliebig. Auf dem Bild muss lediglich die Reifenidentifikationsnummer 3 vollständig aufgenommen sein. Das Bild wird mittels der Kamera 8 des mobilen Endgeräts 7 aufgenommen, von der Recheneinheit 9 zwischengespeichert und über die Datenverbindung 11 an die externe Recheneinheit 10 übermittelt, die die weiteren Verfahrensschritte 200 bis 500 durchführt.
-
In dem Verfahrensschritt 200 wird die Position eines Anfangs und eines Endes der Reifenidentifikationsnummer 3 mithilfe einer ersten CNN-Einheit ermittelt. Diese Position ist insbesondere die Position des ersten und des letzten Blocks 5 bzw. des ersten Zeichens 4 des ersten Blocks 5 und des letzten Zeichens 4 des letzten Blocks 5.
-
Im Schritt 300 wird ein erstes korrigiertes Bild erstellt. Dazu wird, wie anhand von 3 erkennbar ist, die ursprüngliche gekrümmte Linie 12, auf der die Zeichenfolge der Reifenidentifikationsnummer 3 angeordnet ist, um einen Winkel α gedreht, um die neue gekrümmte Linie 12' zu erhalten. Der Winkel α wird folgendermaßen ermittelt: durch die Punkte P1 und P2, die die Positionen des Anfangs und des Endes der Zeichenfolge markieren, wird eine Verbindungsgerade berechnet. Anschließend wird der Winkel α ermittelt, den diese Verbindungsgrade mit der horizontalen Bildachse bildet. Anschließend wird die gekrümmte Linie 12 um diesen Winkel α gedreht, beispielsweise um den Punkt P1. Es wäre auch eine Drehung um einen anderen Punkt, beispielsweise um den Punkt P2 oder um den Nullpunkt des Koordinatensystems, denkbar.
-
Das erste korrigierte Bild enthält somit eine horizontal ausgerichtete Zeichenfolge.
-
Falls die Reifenidentifikationsnummer 3 auf dem ursprünglichen Bild in der unteren Reifenhälfte positioniert war, steht die Zeichenfolge auf dem ersten korrigierten Bild auf dem Kopf. Im Schritt 400 wird dies durch einer weitere CNN erkannt und gegebenenfalls durch Drehen des Bildes um 180° korrigiert.
-
In einem Schritt 500 wird die Zeichenfolge mittels einer zweiten CNN-Einheit in einzelne Blöcke 5 aufgeteilt. Auf die einzelnen Blöcke 5 angewendet, erkennt die zweite CNN-Einheit dann die einzelnen Zeichen 4.
-
In einem nicht gezeigten Schritt wird die Reifenidentifikationsnummer 3 aus den einzelnen erkannten Zeichen 4 zusammengesetzt und von der externen Recheneinheit 10 gegebenenfalls an das mobile Endgerät 7 geschickt.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
