-
TECHNISCHES GEBIET
-
Das technische Gebiet bezieht sich im Allgemeinen auf den Bereich von Fahrzeugen und insbesondere auf Verfahren und ein Fahrzeug zum Analysieren der Reifen des Fahrzeugs unter Verwendung von Informationen, die von am Fahrzeug montierten Kameras gewonnen werden.
-
HINTERGRUND
-
Reifenverschleiß und -zustand können für Fahrzeuge, wie beispielsweise Automobile, eine bedeutende Rolle spielen. Es kann jedoch schwierig sein, den Verschleiß und den Zustand von Reifen in bestimmten Situationen zu analysieren, zum Beispiel auf automatisierte Weise und/oder während des Betriebs des Fahrzeugs.
-
Dementsprechend ist es wünschenswert, verbesserte Verfahren und Systeme zum Analysieren von Fahrzeugreifen bereitzustellen. Außerdem werden andere wünschenswerte Merkmale und Eigenschaften der vorliegenden Erfindung aus der nachfolgenden ausführlichen Beschreibung der Erfindung und den hinzugefügten Ansprüchen in Verbindung mit den zugehörigen Zeichnungen und diesem Hintergrund der Erfindung sichtbar.
-
DE 10 2015 110 952 A1 offenbart ein Verfahren zum Bestimmen einer reifenspezifischen Kenngröße eines Fahrzeugreifens mittels einer fahrzeugseitigen Kamera. Hierbei wird ein erfasstes Bild einer Reifenflanke durch eine Auswerteeinrichtung ausgewertet, um die Reifenbeschriftung daraus zu extrahieren. Über eine Datenbank wird anhand der Reifenbeschriftung eine reifenspezifische Kenngröße ermittelt. Zudem wird durch die Kamera die Lauffläche des Reifens erfasst, um ein aktuelles Reifenprofil zu bestimmen. Weiterer Stand der Technik ist aus
EP 3 243 671 A1 ,
DE 10 2010 055 583 A1 und
DE 10 2013 223 367 A1 bekannt.
-
KURZDARSTELLUNG
-
Aufgabe der Erfindung ist es, ein verbessertes Verfahren zum Analysieren von Fahrzeugreifen und ein Fahrzeug mit einem Prozessor für eine verbesserte Analyse von Fahrzeugreifen bereitzustellen.
-
Zur Lösung der Aufgabe sind ein Verfahren mit den Merkmalen des Anspruchs 1 und ein Fahrzeug mit den Merkmalen des Anspruchs 2 vorgesehen. Vorteilhafte Ausbildungen der Erfindung sind der Beschreibung und den Zeichnungen zu entnehmen.
-
Ein erstes Verfahren beinhaltet das Erhalten von Kamerabildern von einem oder mehreren Reifen eines Fahrzeugs unter Verwendung einer oder mehrerer Kameras, die am Fahrzeug montiert sind, während des Betriebs des Fahrzeugs; und das Verarbeiten der Kamerabilder über einen Prozessor, um eine Analyse eines oder mehrerer Reifen basierend auf den Bildern, die über eine oder mehrere Kameras, die am Fahrzeug montiert sind, erhalten wurden, zu erzeugen.
-
Ein zweites Verfahren beinhaltet das Erhalten von Kamerabildern von Spuren eines oder mehrerer Reifen eines Fahrzeugs unter Verwendung einer oder mehrerer Kameras, die am Fahrzeug montiert sind, während des Betriebs des Fahrzeugs, das Verarbeiten der Kamerabilder der Spuren über einen Prozessor, das Analysieren des Laufflächenmusters eines oder mehrerer Reifen basierend auf den verarbeiteten Bildern der Spuren, die über eine oder mehrere Kameras, die am Fahrzeug montiert sind, erhalten wurden, was zu einem ersten Laufflächenmuster führt, und das Vergleichen des ersten Laufflächenmusters mit einem oder mehreren bekannten Laufflächenmustern.
-
Ein Fahrzeug beinhaltet einen oder mehrere Reifen, eine oder mehrere Kameras und einen Prozessor. Die eine oder mehreren Kameras werden am Fahrzeug montiert und sind dazu konfiguriert, Kamerabilder von Spuren zu erzeugen, die von einem oder mehreren der Reifen erzeugt werden. Der Prozessor ist dazu konfiguriert, die Kamerabilder der Spuren zu verarbeiten, das Laufflächenmuster eines oder mehrerer der Reifen basierend auf den verarbeiteten Bildern der Spuren, die über die eine oder die mehreren am Fahrzeug montierten Kameras erhalten wurden, zu analysieren, was zu einem ersten Laufflächenmuster führt, und das erste Laufflächenmuster mit einem oder mehreren bekannten Laufflächenmustern zu vergleichen.
-
Figurenliste
-
Die vorliegende Offenbarung wird im Folgenden in Verbindung mit den nachstehenden Zeichnungsfiguren beschrieben, worin gleiche Bezugszeichen gleiche Elemente bezeichnen und worin gilt:
- 1 ist ein Funktionsblockdiagramm eines Fahrzeugs, das eine Vielzahl von Reifen, eine Vielzahl von Kameras und ein Steuerungssystem zum Analysieren der Reifen unter Verwendung der von den Kameras erhaltenen Bilder beinhaltet;
- 2 ist ein Flussdiagramm eines ersten Prozesses zum Analysieren von Reifen eines Fahrzeugs unter Verwendung von Kamerabildern der Reifen, das in Verbindung mit dem Fahrzeug, den Reifen, den Kameras und dem Steuerungssystem von 1 gemäß einer nicht erfindungsgemäßen Ausführungsform implementiert werden kann;
- 3 stellt Darstellungen für exemplarische Vergleiche von Reifen eines Fahrzeugs gemäß dem Prozess von 2 gemäß einer nicht erfindungsgemäßen Ausführungsform bereit;
- 4 ist ein Flussdiagramm eines zweiten Prozesses zum Analysieren von Reifen eines Fahrzeugs unter Verwendung von Kamerabildern von Spuren der Reifen, das in Verbindung mit dem Fahrzeug, den Reifen, den Kameras und dem Steuerungssystem von 1 gemäß einer erfindungsgemäßen Ausführungsform implementiert werden kann; und
- 5 stellt Darstellungen für exemplarische Vergleiche von Reifen eines Fahrzeugs gemäß dem Prozess von 4 gemäß einer erfindungsgemäßen Ausführungsform bereit;
-
AUSFÜHRLICHE BESCHREIBUNG
-
Die folgende ausführliche Beschreibung ist ihrer Art nach lediglich exemplarisch und soll die Offenbarung oder die Anwendung und Verwendungen derselben in keiner Weise einschränken. Darüber hinaus besteht keinerlei Verpflichtung zur Einschränkung auf eine der im vorstehenden Hintergrund oder in der folgenden ausführlichen Beschreibung dargestellten Theorien.
-
1 veranschaulicht ein Fahrzeug 100 gemäß einer exemplarischen Ausführungsform. Wie nachfolgend ausführlicher beschrieben, beinhaltet das Fahrzeug 100 Räder 101, mit Reifen 114 und ein Steuerungssystem 108. Das Fahrzeug 100 verfügt ebenfalls in der dargestellten Ausführungsform über eine oder mehrere Kameras. In verschiedenen Ausführungsformen liefern die Kameras 102 Bilder der Reifen 114 und/oder der von den Reifen 114 erzeugten Spuren, und das Steuerungssystem 108 analysiert die Reifen 114 basierend auf den Bildern der Kameras 102 während des Betriebs des Fahrzeugs 100, wie zum Beispiel nachfolgend im Zusammenhang mit 1 sowie den 2-5 erläutert.
-
Erfindungsgemäß sind die Kameras 102 am Fahrzeug 100 montiert. In verschiedenen Ausführungsformen sind die Kameras 102 nicht notwendigerweise als dedizierte Kameras 102 ausschließlich für die Reifenüberwachung/Analyse installiert. In verschiedenen Ausführungsformen beinhalten die Kameras 102 Rundumsichtkameras zum Erzeugen von Vogelperspektiven zur Unterstützung des Fahrers. In verschiedenen Ausführungsformen nutzt das Fahrzeug 100 die vorhandenen Kameras 102, um neue Anwendungen/Funktionen zu erforschen, wie beispielsweise die Reifenanalyse der aktuellen Anwendung, und kann die Fähigkeiten/Funktionen des Surround-View-Systems verbessern, ohne zusätzliche Hardwarekosten zu beanspruchen. In verschiedenen Ausführungsformen sind die Kameras 102 an einer oder mehreren Positionen des Fahrzeuges 100 montiert, die einen Blick auf einen oder mehrere Reifen 114 und/oder auf die Spuren der Reifen 114 ermöglichen, um den Reifenverschleiß zu erkennen. In bestimmten weiteren nicht erfindungsgemäßen Ausführungsformen können die Kameras 102 an der Infrastruktur einer Fahrbahn und/oder an einem oder mehreren anderen Orten (z. B. an einer Leitplanke einer Straße, an einer Autowaschanlage usw.) montiert werden.
-
In verschiedenen Ausführungsformen umfasst das Fahrzeug 100 ein Automobil. Das Fahrzeug 100 kann eines von einer Reihe von verschiedenen Typen von Automobilen sein, wie zum Beispiel eine Limousine, ein Kombi, ein Lastwagen oder ein Geländewagen (SUV), und kann einen Zweiradantrieb (2WD) (d. h. Heckantrieb oder Frontantrieb), Vierradantrieb (4WD) oder Allradantrieb (AWD) und/oder verschiedene andere Fahrzeugtypen in bestimmten Ausführungsformen. In bestimmten Ausführungsformen kann das Fahrzeug 100 auch ein Motorrad oder ein anderes Fahrzeug oder ein anderes System umfassen, das ein Kamerabild mit einem festen Referenzpunkt aufweist.
-
Das Fahrzeug 100 beinhaltet eine Karosserie 110, die auf einem Fahrgestell 112 angeordnet ist. Die Karosserie 110 umschließt im Wesentlichen die anderen Komponenten des Fahrzeugs 100. Die Karosserie 110 und das Fahrgestell 112 können gemeinsam einen Rahmen bilden. Das Fahrzeug 100 beinhaltet auch eine Vielzahl von Reifen 114. Die Reifen 114 sind jeweils mit dem Fahrgestell 112 in der Nähe einer jeweiligen Ecke der Karosserie 110 drehbar gekoppelt, um die Bewegung des Fahrzeugs 100 zu erleichtern. In einer Ausführungsform beinhaltet das Fahrzeug 100 vier Reifen 114, obwohl dies in anderen Ausführungsformen (zum Beispiel für Lastkraftwagen und bestimmte andere Fahrzeuge) unterschiedlich sein kann.
-
Ein Antriebssystem 116 ist auf dem Fahrgestell 112 montiert und treibt die Räder 101 (einschließlich der Reifen 114) an. Das Antriebssystem 116 umfasst vorzugsweise ein Antriebssystem. In bestimmten exemplarischen Ausführungsformen umfasst das Antriebssystem 116 einen Verbrennungsmotor und/oder einen Elektromotor/Generator, der mit einem Getriebe gekoppelt ist. In bestimmten Ausführungsformen kann das Antriebssystem 116 variieren und/oder es können zwei oder mehr Antriebssysteme 116 verwendet werden. Als ein Beispiel kann das Fahrzeug 100 weiterhin ein -oder eine Kombination von mehreren- aus einer Anzahl unterschiedlicher Antriebssysteme umfassen, beispielsweise einen mit Benzin oder Diesel betriebenen Verbrennungsmotor, einen „Flexfuel“-Motor (FFV) (d. h. Verwendung von einer Mischung aus Benzin und Ethanol), einen mit einer gasförmigen Verbindung (z. B. Wasserstoff oder Erdgas) betriebenen Motor, einen Verbrennungs-/Elektro-Hybridmotor und einen Elektromotor.
-
Wie in 1 abgebildet, sind die Kameras 102 in verschiedenen Ausführungsformen an der Karosserie 110 des Fahrzeugs 100 montiert. In der abgebildeten Ausführungsform sind an einem Frontbereich 103 der Karosserie 110 (z. B. eine vordere Blende des Fahrzeugs 100), an einem Heckbereich 104 der Karosserie 110 (z. B. eine hintere Blende des Fahrzeugs 100) und an den Seitenspiegeln 105 des Fahrzeugs 100 separate Kameras 102 montiert. Es ist zu schätzen, dass in verschiedenen Ausführungsformen auch andere Kameras 102 an anderen Stellen an der Karosserie 110 des Fahrzeugs 100 montiert werden können.
-
In verschiedenen Ausführungsformen sind die Kameras 102 nicht notwendigerweise als dedizierte Kameras 102 ausschließlich für die Reifenüberwachung/Analyse installiert. In verschiedenen Ausführungsformen beinhalten die Kameras 102 Rundumsichtkameras zum Erzeugen von Vogelperspektiven zur Unterstützung des Fahrers. In verschiedenen Ausführungsformen nutzt das Fahrzeug 100 die vorhandenen Kameras 102, um neue Anwendungen/Funktionen zu erforschen, wie beispielsweise die Reifenanalyse der aktuellen Anwendung, und kann die Fähigkeiten/Funktionen des Surround-View-Systems verbessern, ohne zusätzliche Hardwarekosten zu beanspruchen. In verschiedenen Ausführungsformen sind die Kameras 102 an einer oder mehreren Positionen des Fahrzeuges 100 montiert, die einen Blick auf die Spuren der Reifen 114 ermöglichen, um den Reifenverschleiß zu erkennen.
-
Wie vorstehend erwähnt, liefern die Kameras 102 in verschiedenen Ausführungsformen Bilder von den Spuren, die von den Reifen 114 erzeugt wurden. In bestimmten Ausführungsformen, ähnlich wie in der vorangegangenen Erläuterung, werden die Kameras 102 auch für einen oder mehrere andere Zwecke installiert (z. B. als Rundumansicht für das Fahrzeug 100), und die Kameras 102 werden auch zum Analysieren der Reifen 114 als Zusatz- oder Bonusfunktion verwendet.
-
Ebenso liefert die Kamera 102 in verschiedenen Ausführungsformen Bilder zur Ansicht auf einer oder mehreren Anzeigen 106, die im Inneren des Fahrzeugs 100 angeordnet sind (d. h. innerhalb der Karosserie 110 des Fahrzeugs 100). In verschiedenen Ausführungsformen können die Anzeigen 106 als Teil eines vorderen Armaturenbretts, einer Steuertafel, eines Rückspiegels und/oder eines Navigationssystems und/oder an einer oder mehreren anderen Stellen innerhalb des Fahrzeugs 100 angeordnet sein. In bestimmten Ausführungsformen wird die Anzeige 106 auch von der Steuerung 108 zum Anzeigen von Hinweisen im Zusammenhang mit der Analyse der Reifen 114 verwendet.
-
In verschiedenen Ausführungsformen ist die Steuerung 108 innerhalb der Karosserie 110 des Fahrzeugs 100 angeordnet. In einer Ausführungsform ist das Steuersystem 108 auf dem Fahrgestell 112 angebracht. Das Steuerungssystem 108 steuert den Betrieb der Kameras 102 und verwendet die Bilder der Kameras 102 zum Analysieren der Reifen 114 (z. B. für Verschleiß und Zustand der Reifen 114). In verschiedenen Ausführungsformen steuert das Steuerungssystem 108 auch die Anzeigen 106 und stellt auf den Anzeigen 106 Benachrichtigungen zur Analyse der Reifen 114 zur Verfügung. In bestimmten Ausführungsformen kann das Steuerungssystem 108 auch andere Benachrichtigungen im Zusammenhang mit den Reifen 114 bereitstellen, zum Beispiel eine Audiobenachrichtigung und/oder eine elektronische oder sonstige Benachrichtigung für einen Fahrer, Eigentümer oder Betreiber des Fahrzeugs 100. In verschiedenen Ausführungsformen stellt das Steuerungssystem 108 diese und andere Funktionen gemäß den Schritten der Prozesse 200, 400 bereit, die nachfolgend in Verbindung mit den 2-5 näher beschrieben werden. In bestimmten Ausführungsformen kann das Steuerungssystem 108 außerhalb der Karosserie 110 angeordnet sein, beispielsweise auf einem Remote-Server, in der Cloud oder in einem Remote-Smartphone oder einer anderen Vorrichtung, bei welcher die Bildverarbeitung entfernt erfolgt.
-
Wie ebenfalls in 1 dargestellt, ist das Steuerungssystem 108 in verschiedenen Ausführungsformen über eine Kommunikationsverbindung 109 mit der Kamera 102 gekoppelt und empfängt Kamerabilder von der Kamera 102 über die Kommunikationsverbindung 109. In bestimmten Ausführungsformen umfasst die Kommunikationsverbindung 109 eine oder mehrere drahtgebundene Verbindungen, wie beispielsweise ein oder mehrere Kabel (z. B. Koaxialkabel und/oder ein oder mehrere andere Kabeltypen) und/oder eine oder mehrere drahtlose Verbindungen (z. B. unter Verwendung der drahtlosen Bustechnologie).
-
Wie in 1 abgebildet, beinhaltet das Steuerungssystem 108 eine Sensoranordnung 122 und eine Steuerung 126. Wie ebenfalls in 1 abgebildet, beinhaltet das Steuerungssystem 108 auch einen Sender-Empfänger 124. In bestimmten Ausführungsformen können die Bilder der Kamera 102 durch das Steuerungssystem 108 über einen oder mehrere Sender-Empfänger 124 und/oder Komponenten davon (z. B. einen Empfänger) empfangen werden.
-
Die Sensoranordnung 122 beinhaltet einen oder mehrere Sensoren zum Erhalten von Informationen für die Steuerung 108, zum Beispiel für die Analyse der Reifen 114. Insbesondere beinhaltet die Sensoranordnung 122 in verschiedenen Ausführungsformen die Kameras 102 sowie einen oder mehrere zusätzliche Erfassungssensoren 131 (z. B. Radar, Lidar, Sonar), Gangauswahlsensoren 132 (z. B. zum Erfassen eines Gang- oder Getriebezustands des Fahrzeugs 100, wie beispielsweise „Parken“, „Rückwärtsgang“, „Fahren“, „Leerlauf“ usw.), Geschwindigkeitssensoren 133 (z. B. Raddrehzahlsensoren und/oder Beschleunigungssensoren, die zum Ermitteln einer Geschwindigkeit des Fahrzeugs 100 verwendet werden); und Lenkwinkelsensoren 134 (z. B. Lenkradwinkelsensoren zum Ermitteln eines Winkels zum Lenken des Fahrzeugs 100). In verschiedenen Ausführungen sind die verschiedenen Sensoren der Sensoranordnung 122 auf oder innerhalb des Fahrzeugs 100 angeordnet. In bestimmten Ausführungsformen können diese Sensorinformationen (z. B. die Sendeinformationen, die nicht von den Kamerabildern 102 sind) dem Steuerungssystem 108 von einer oder mehreren anderen Quellen, wie beispielsweise einem CAN-Bus am Fahrzeug 100, zur Verfügung gestellt werden, anstatt direkt von der Sensoranordnung 122 auszugehen.
-
Die Steuerung 126 verarbeitet und analysiert die von den Kameras 102 bereitgestellten Bilder über die Kommunikationsverbindung 109 (und in einigen Ausführungsformen auch vom Sender-Empfänger 124) sowie die von den Sensoren der Sensoranordnung 122 bereitgestellten Daten. Die Steuerung verwendet die Bilder und Daten bei der Analyse der Reifen 114, zum Beispiel im Zusammenhang mit dem Verschleiß und dem Zustand der Reifen 114. Ebenso steuert die Steuerung 126 in verschiedenen Ausführungsformen andere Aspekte der Darstellung von Bildern, die mit der Kamera 102 auf einem oder mehreren Anzeigen 106 des Fahrzeugs 100 verbunden sind (z. B. durch Verarbeiten und Zuschneiden der Bilder und so weiter, und durch das Bereitstellen von Benachrichtigungen, wie beispielsweise auf der Anzeige 106, im Zusammenhang mit der Analyse der Reifen 114). In verschiedenen Ausführungsformen stellt die Steuerung 126 diese und weitere Funktionen entsprechend den nachfolgend aufgeführten Schritten bereit, die weiter unten in Verbindung mit den schematischen Zeichnungen des Fahrzeugs 100 in 1 und den zusätzlichen Zeichnungen der 3-5 in Verbindung mit den Prozessen 200, 400 erläutert werden).
-
In einer Ausführungsform ist die Steuerung 126 mit der Kamera 102, der Anzeige 106, der Sensoranordnung 122 und dem Sendeempfänger 124 gekoppelt. Ebenso ist in der dargestellten Ausführungsform die Steuerung 126 innerhalb des Steuerungssystems 108 innerhalb des Fahrzeugs 100 angeordnet. In bestimmten Ausführungsformen kann die Steuerung 126 (und/oder Komponenten davon, wie beispielsweise der Prozessor 142 und/oder andere Komponenten) Teil der Kamera 102 sein, die innerhalb der Kamera 102 und/oder in der Nähe der Kamera 102 angeordnet ist. Ebenso kann die Steuerung 126 in bestimmten Ausführungsformen an einer oder mehreren anderen Stellen des Fahrzeugs 100 angeordnet sein. Zusätzlich können in bestimmten Ausführungsformen, neben anderen möglichen Variationen, mehrere Steuerungen 126 verwendet werden (z. B. eine Steuerung 126 innerhalb des Fahrzeugs 100 und eine weitere Steuerung innerhalb der Kamera 102). Darüber hinaus kann die Steuerung in bestimmten Ausführungsformen außerhalb des Fahrzeugs platziert werden, beispielsweise in einem Remote-Server, in der Cloud oder auf einer entfernten intelligenten Vorrichtung.
-
Wie in 1 dargestellt, umfasst die Steuerung 126 ein Computersystem. In bestimmten Ausführungsformen kann die Steuerung 126 auch einen oder mehrere Sensoren der Sensoranordnung 122, den Sendeempfänger 124 und/oder Komponenten davon, die Kamera 102 und/oder Komponenten davon, einen oder mehrere Anzeigen 106 und/oder Komponenten davon und/oder ein oder mehrere andere Vorrichtungen und/oder Systeme und/oder Komponenten davon beinhalten. Darüber hinaus ist zu erkennen, dass sich die Steuerung 126 ansonsten von der Ausführungsform, die in 1 dargestellt ist, unterscheiden kann. So kann beispielsweise die Steuerung 126 mit einem oder mehreren Ferncomputersystemen und/oder anderen Steuerungssystemen gekoppelt sein oder diese anderweitig verwenden, z. B. als Teil eines oder mehrerer der vorstehend genannten Vorrichtungen und Systeme des Fahrzeugs 100.
-
In der abgebildeten Ausführungsform beinhaltet das Computersystem der Steuerung 126 einen Prozessor 142, einen Speicher 144, eine Schnittstelle 146, eine Speichervorrichtung 148 und einen Bus 150. Der Prozessor 142 führt die Rechen- und Steuerfunktionen der Steuerung 126 aus und kann jede Art von Prozessor oder mehrere Prozessoren, einzelne integrierte Schaltkreise wie beispielsweise einen Mikroprozessor oder jegliche geeignete Anzahl integrierter Schaltkreisvorrichtungen und/oder Leiterplatten umfassen, die zusammenwirken, um die Funktionen einer Verarbeitungseinheit auszuführen. Während des Betriebs führt der Prozessor 142 ein oder mehrere Programme 152 aus, die im Speicher 144 enthalten sind, und steuert als solches den allgemeinen Betrieb der Steuerung 126 und das Computersystem der Steuerung 126 generell durch Ausführen des hierin beschriebenen Prozesses, wie die Prozesse 200, 400, die nachstehend beschrieben werden in Verbindung mit den 2-5.
-
Der Speicher 144 kann jeder Typ eines geeigneten Speichers sein. So kann beispielsweise der Speicher 144 verschiedene Typen von dynamischem Random Access Memory (DRAM), wie SDRAM, verschiedene Typen von statischem RAM (SRAM) und die verschiedenen Permanentspeichertypen (PROM, EPROM und Flash), beinhalten. Bei bestimmten Beispielen befindet sich der Speicher 144 auf dem gleichen Computerchip wie der Prozessor 142 und/oder ist ortsgleich damit angeordnet. In der dargestellten Ausführungsform speichert der Speicher 144 das vorgenannte Programm 152 gemeinsam mit einem oder mehreren gespeicherten Werten 154 (z. B. bekannte Muster und/oder Eigenschaften der Reifenlauffläche, Reifenspuren und/oder andere Merkmale im Zusammenhang mit den Reifen unter verschiedenen Bedingungen und Zuständen von Alter, Zustand und Reparatur).
-
Der Bus 150 dient zur Übertragung von Programmen, Daten, Status und anderen Informationen oder Signalen zwischen den verschiedenen Komponenten des Computersystems der Steuerung 126. Die Schnittstelle 146 ermöglicht die Kommunikation mit dem Computersystem der Steuerung 126, beispielsweise von einem Systemtreiber und/oder einem anderen Computersystem, und kann unter Verwendung eines geeigneten Verfahrens und einer geeigneten Vorrichtung umgesetzt werden. In einer Ausführungsform erhält die Schnittstelle 146 die verschiedenen Daten von den Sensoren der Sensoranordnung 122 und/oder dem Sendeempfänger 124. Die Schnittstelle 146 kann eine oder mehrere Netzwerkschnittstellen beinhalten, um mit anderen Systemen oder Komponenten zu kommunizieren. Die Schnittstelle 146 kann zudem eine oder mehrere Netzwerkschnittstelle(n) für die Kommunikation mit Technikern und/oder eine oder mehrere Speicherschnittstellen für die Verbindung mit Speichervorrichtungen (wie z. B. Speichergerät 148) beinhalten.
-
Bei dem Speichergerät 148 kann es sich um jegliche geeignete Art von Speichervorrichtung, darunter auch um Direktzugriffsspeichergeräte, wie z. B. Festplattenlaufwerke, Flashsysteme, Diskettenlaufwerke und optische Speicherplatten, handeln. In einer exemplarischen Ausführungsform umfasst die Speichervorrichtung 148 ein Programmprodukt, von dem der Speicher 144 ein Programm 152 empfangen kann, das eine oder mehrere Ausführungsformen von einem oder mehreren Prozessen der vorliegenden Offenbarung ausführt, wie die Schritte der Prozesse 200, 400 (und aller Unterverfahren derselben), im Folgenden beschrieben in Bezug auf die 2-5. In einer weiteren exemplarischen Ausführungsform kann das Programmprodukt direkt in dem Speicher 144 und/oder auf einer Speicherplatte (z. B. Speicherplatte 156) gespeichert sein und darauf zugegriffen werden, wie im Folgenden erläutert. In bestimmten Ausführungsformen kann das Speichern auch aus der Ferne erfolgen, zum Beispiel durch eine Cloud-Speicherung, beispielsweise über Telematik, Assistenz und/oder andere Dienste.
-
Der Bus 150 kann aus allen zur Verbindung von Computersystemen und Komponenten geeigneten physischen oder logischen Mitteln bestehen. Dies schließt ohne Einschränkung auch direkt verdrahtete Verbindungen, Faseroptik, sowie Infrarot- und Drahtlosbustechnologien ein. Während des Betriebs wird das Programm 152 im Speicher 144 abgelegt und vom Prozessor 142 ausgeführt.
-
Obwohl diese exemplarische Ausführungsform im Kontext eines voll funktionierenden Computersystems beschrieben wird, versteht es sich, dass Fachleute auf diesem Gebiet erkennen werden, dass die Mechanismen der vorliegenden Offenbarung als ein Programmprodukt mit einer oder mehreren Arten von nicht flüchtigen computerlesbaren Signalträgermedien verbreitet werden können, die dazu dienen, das Programm und die zugehörigen Befehle zu speichern und deren Verbreitung auszuführen, z. B. ein nichtflüchtiges computerlesbares Medium, welches das Programm und Computerbefehle enthält, die darin gespeichert sind, um einen Computerprozessor (wie den Prozessor 142) zu veranlassen, das Programm auszuführen. Ein derartiges Programmprodukt kann vielerlei Formen annehmen, wobei die vorliegende Offenbarung in gleicher Weise, unabhängig von der spezifischen für die Verbreitung verwendeten Art von computerlesbarem Signalträgermedium, Anwendung findet. Zu den Beispielen für Signalträgermedien gehören: beschreibbare Medien, wie z. B. Disketten, Festplatten, Speicherkarten und optische Speicherplatten, sowie Übertragungsmedien, wie z. B. digitale und analoge Kommunikationsverbindungen. Es versteht sich, dass cloudbasierte Speicherung und/oder andere Techniken in bestimmten Ausführungsformen auch zur Anwendung kommen können. Ebenso versteht es sich, dass das Computersystem der Steuerung 126 sich auch anderweitig von der in 1 dargestellten Ausführungsform unterscheiden kann, beispielsweise darin, dass das Computersystem der Steuerung 126 mit einem oder mehreren Ferncomputersystemen und/oder anderen Steuerungssystemen verbunden sein oder diese anderweitig nutzen kann.
-
2 ist ein Flussdiagramm eines Prozesses 200 zum Analysieren von Reifen eines Fahrzeugs unter Verwendung von Kamerabildern der Reifen einer nicht erfindungsgemäßen Ausführungsform. Der Prozess 200 kann in Verbindung mit dem Fahrzeug 100, den Reifen 114, den Kameras 102 und dem Steuerungssystem 208 von 1 implementiert werden. In einer nicht erfindungsgemäßen Ausführungsform beginnt der Prozess 200, wenn ein Fahr- oder Zündzyklus eines Fahrzeugs beginnt, (wenn sich beispielsweise ein Fahrer dem Fahrzeug nähert oder in das Fahrzeug eintritt oder wenn der Fahrer das Fahrzeug einschaltet und/oder eine Zündung dafür betätigt z. B. durch Betätigen eines Schlüssels mit einer Schlüsselanhänger- oder Starttaste usw.), und setzt sich während der gesamten Dauer des Fahrzeugantriebs oder des Zündzyklus fort. Der Prozess 200 wird im Folgenden auch in Verbindung mit 3 erläutert, der Darstellungen für exemplarische Vergleiche der Reifen 114 des Fahrzeugs 100 in Übereinstimmung mit dem Prozess 200 gemäß einer nicht erfindungsgemäßen Ausführungsform bietet.
-
Wie in 2 abgebildet, werden in einer nicht erfindungsgemäßen Ausführungsform Daten mit 202 erhalten. In bestimmten nicht erfindungsgemäßen Ausführungsformen werden die Daten über eine Nachricht entlang einer Kommunikationsverbindung, wie beispielsweise der Kommunikationsverbindung 109 von 1, und/oder über einen CAN-Bus erhalten. Die Daten können aus beliebig vielen Quellen bezogen werden, zum Beispiel über den Sender-Empfänger 124 von 1. In verschiedenen nicht erfindungsgemäßen Ausführungsformen beinhalten die Daten verschiedene Daten bezüglich des Betriebs des Fahrzeugs 100, wie beispielsweise Lenkwinkel, Raddrehzahl usw., wie sie beispielsweise über entsprechende Sensoren der Sensoranordnung 122 von 1 erhalten werden. In verschiedenen nicht erfindungsgemäßen Ausführungsformen können auch bei 202 verschiedene andere Typen von Fahrzeugsensordaten erhalten werden, wie beispielsweise im Zusammenhang mit einem Lenkrad, der Ausrichtung des Rades 101, einer möglichen Fehlausrichtung und so weiter.
-
Bei 204 wird bestimmt, ob das Fahrzeug 100 eine scharfe Kurve mit geringer Geschwindigkeit fährt. Dieses Ermitteln umfasst in verschiedenen nicht erfindungsgemäßen Ausführungsformen ein Ermitteln über den Prozessor 142 von 1, ob das Fahrzeug 100 bei einer Geschwindigkeit, die kleiner als ein zweiter Schwellenwert ist, eine Drehung mit einem Drehwinkel vornimmt, der größer ist als ein erster Schwellenwert (ein Lenkwinkelschwellenwert), basierend auf den bei 202 erhaltenen Daten (z. B. von den Lenkwinkelsensoren 134 und den Geschwindigkeitssensoren 133 von 1). In bestimmten nicht erfindungsgemäßen Ausführungsformen ist der erste Schwellenwert (Lenkwinkel) ein Drehwinkel, der außerhalb dieses Winkels die volle oder die meisten (z. B. 3/4) Reifenlaufflächenbreite im Kamerablickfeld (FOV) freilegt, sodass das Reifenlaufflächenmuster über die gesamte Laufflächenbreite analysiert werden kann. Ebenso ist der zweite Schwellenwert (Geschwindigkeitsschwellenwert) in bestimmten nicht erfindungsgemäßen Ausführungsformen ein Geschwindigkeitswert (z. B. 5 MPH), sodass das Fahrzeug 100 unterhalb dieser Geschwindigkeit sein muss, um ein klares Bild der Reifenlauffläche zu erhalten. Andernfalls kann es bei höherer Geschwindigkeit zu Unschärfen (Bewegungsunschärfe) kommen, da sich der Reifen schnell bewegt.
-
Wenn bei 204 bestimmt wird, dass das Fahrzeug 100 nicht mit niedriger Geschwindigkeit und eine scharfe Kurve fährt, dann werden bei 206 die Kamerabilder in Bezug auf die Reifen nicht verwendet. In bestimmten nicht erfindungsgemäßen Ausführungsformen werden die Kamerabilder verworfen oder nicht aufgezeichnet, und zwar über Anweisungen des Prozessors 142 von 1. In bestimmten nicht erfindungsgemäßen Ausführungsformen können für einen Benutzer des Fahrzeugs 100 in bestimmten Situationen (z. B. als Teil eines Rückfahrkamerasystems oder eines anderen Systems usw.) Kamerabilder auf der Anzeige 106 im Inneren des Fahrzeugs 100 bereitgestellt werden. In verschiedenen nicht erfindungsgemäßen Ausführungsformen werden Kamerabilder jedoch nicht zum Analysieren der Reifen 114 bei 206 verwendet. Ebenso kehrt der Prozess 200 in verschiedenen nicht erfindungsgemäßen Ausführungsformen zu 202 im Anschluss an 206 zurück.
-
Umgekehrt, wenn bei 204 bestimmt wird, dass das Fahrzeug 100 eine langsame, scharfe Wendung durchführt, dann werden bei 208 Kamerabilder von einer oder mehreren Kameras 102 aus 1 erhalten. In verschiedenen nicht erfindungsgemäßen Ausführungsformen werden Kamerabilder von Seitenkameras 102 des Fahrzeugs 100 (z. B. montiert auf oder in der Nähe der Seitenspiegel 105 von 1) dem Prozessor 142 von 1 gemäß den Anweisungen des Prozessors 142 bereitgestellt.
-
In nicht erfindungsgemäßen Ausführungsformen wird für die jeweilige Seitenkamera 102 bestimmt, ob sich die jeweilige Seitenkamera 102 auf der Wendeseite des Fahrzeugs 100 befindet. Wenn sich zum Beispiel eine Seitenkamera 102 auf der linken Seite des Fahrzeugs 100 (z. B. der Fahrerseite des Fahrzeugs 100, für ein Fahrzeug 100 in den Vereinigten Staaten) befindet, gilt dies als auf der Wendeseite des Fahrzeugs 100, wenn das Fahrzeug nach links abbiegt, wenn die Bildverarbeitung an einer Seitenwand des Reifens 114 durchgeführt wird (zur Laufflächenerkennung für den Reifen 114 ist die Wendeseite für die Kamera 102 in einer Ausführungsform umgekehrt). Gleichermaßen, auch in einer nicht erfindungsgemäßen Ausführungsform, wenn sich zum Beispiel eine Seitenkamera 102 auf der rechten Seite des Fahrzeugs 100 (z. B. der Beifahrerseite des Fahrzeugs 100, für ein Fahrzeug 100 in den Vereinigten Staaten) befindet, gilt dies als auf der Wendeseite des Fahrzeugs 100, wenn das Fahrzeug nach rechts abbiegt, wenn die Bildverarbeitung an einer Seitenwand des Reifens 114 durchgeführt wird (zur Laufflächenerkennung für den Reifen 114 ist die Wendeseite für die Kamera 102 in einer Ausführungsform umgekehrt). Ebenso kann diese Bestimmung durch den Prozessor 142 von 1 vorgenommen werden.
-
Wenn für jede entsprechende Seitenkamera 102 bei 210 bestimmt ist, dass sich die jeweilige Seitenkamera 102 auf der Wendeseite befindet (z. B. dass die jeweilige Seitenkamera 102 eine „Wendeseitenkamera“ ist), dann ist für die Bilder der jeweiligen Wendeseitenkamera eine Vorverarbeitung bei 212 vorgesehen. In bestimmten Ausführungsformen stellt der Prozessor 142 im Verlauf von 212 die Glättung der Kamerabilder bereit. Ebenso beinhaltet die Vorverarbeitung in bestimmten nicht erfindungsgemäßen Ausführungsformen auch Bildverzerrungskorrekturen (z. B. sind Rundumsichtkameras oft Fischeye-Kameras, die Verzerrungen aufweisen können) und Bildverbesserungen, neben anderen möglichen Vorverarbeitungsschritten).
-
Zusätzlich werden bei 214 Kamerabilder von der jeweiligen Wendeseitenkamera für die Seitenwand eines jeweiligen Reifens 114 mit Blick auf die entsprechende Wendeseitenkamera zur Verfügung gestellt (z. B. in einer Ausführungsform ein Vorderreifen 114 auf der gleichen Seite des Fahrzeugs 100 wie die entsprechende Wendeseitenkamera), und eine Merkmalspunkterkennung erfolgt über die jeweilige Wendeseitenkamera und den Prozessor 142. In bestimmten Ausführungsformen ist dieser Teil dazu gedacht, z. B. die Merkmalspunkteerkennung und -anpassung zu nutzen, um zu ermitteln, welchen Teil der Reifenlauffläche oder der Seitenwand wir im aktuellen Rahmen betrachten.
-
Ebenso wird bei bestimmten nicht erfindungsgemäßen Ausführungsformen eine Schätzung eines Winkels bei 216 vorgenommen, bei dem sich der jeweilige Reifen 114 gedreht hat. In verschiedenen nicht erfindungsgemäßen Ausführungsformen wird die Schätzung des Winkels bei 216 durch den Prozessor 142 basierend auf den Daten von 202, die über die Lenkwinkelsensoren 134 bereitgestellt werden, vorgenommen. Die Bilder, Daten und Informationen von 212-216 werden dann für die Reifenmusteranalyse bei 218 verwendet, die im Folgenden beschrieben wird.
-
Unter erneuter Bezugnahme auf 202, wenn für jede entsprechende Seitenkamera 102 bei 210 bestimmt wird, dass sich die jeweilige Seitenkamera 102 nicht auf der Wendeseite befindet (z. B. dass die jeweilige Seitenkamera 102 eine „gegenüberliegende Seitenkamera“ ist), dann ist für die Bilder der jeweils gegenüberliegenden Seitenkamera eine Vorverarbeitung bei 220 vorgesehen. In bestimmten nicht erfindungsgemäßen Ausführungsformen, im Verlauf von 220, stellt der Prozessor 142 die Glättung der Kamerabilder sowie die Vorbereitung für die Verwendung eines Gradienten und Histogramms der Werte für die Kamerabilder bereit. Darüber hinaus ist in bestimmten nicht erfindungsgemäßen Ausführungsformen eine Bildverbesserung, wie z. B. Histogrammausgleich, für die Kamerabilder vorgesehen. Darüber hinaus werden bei 222 Kamerabilder von der jeweils gegenüberliegenden Seitenkamera für die Lauffläche eines jeweiligen Reifens 114 im Hinblick auf die jeweils gegenüberliegende Seitenkamera (z. B. in einer Ausführungsform ein Vorderreifen 114 auf der gleichen Fahrzeugseite 100 wie die jeweils gegenüberliegende Seitenkamera) bereitgestellt und eine Bildanalyse hinsichtlich des Bildes und der Reifenlauffläche vom Bild durchgeführt. In verschiedenen nicht erfindungsgemäßen Ausführungsformen wird die Bildanalyse vom Prozessor 142 durchgeführt. Die Bilder, Daten und Informationen von 220 und 222 werden dann für die Reifenmusteranalyse bei 218 verwendet, die im Folgenden beschrieben wird.
-
Die verschiedenen Bilder, Daten und Informationen von 212-216, 220 und 222 werden für die Reifenanalyse bei 218 verwendet. Insbesondere wird in verschiedenen nicht erfindungsgemäßen Ausführungsformen für die Reifen 114 eine Analyse des Reifenmusters und eine Analyse des Seitenwandmusters durchgeführt. In bestimmten nicht erfindungsgemäßen Ausführungsformen führt der Prozessor 142 eine Seitenwandmusteranalyse für jeden einzelnen Reifen 114 durch, was zu einem ersten Seitenwandmuster für den jeweiligen Reifen 114 führt, basierend auf den Bildern, Daten und Informationen von 212-216, basierend auf den Bildern, die über die Wendeseitenkameras erhalten wurden. Ebenso führt der Prozessor 142 in bestimmten nicht erfindungsgemäßen Ausführungsformen eine Reifenlaufflächenanalyse für jeden einzelnen Reifen 114 durch, was zu einem ersten Laufflächenmuster für den jeweiligen Reifen 114 führt, basierend auf den Bildern, Daten und Informationen von 220 und 222, basierend auf den Bildern, die über die gegenüberliegenden Seitenkameras erhalten wurden. In bestimmten nicht erfindungsgemäßen Ausführungsformen werden die ersten Seitenwandmuster und die ersten Laufflächenmuster für die jeweiligen Reifen 114 unter Verwendung von Histogram of oriented gradients-Werten (HoG-Werten) erzeugt. In weiteren nicht erfindungsgemäßen Ausführungsformen werden die ersten Seitenwandmuster und die ersten Laufflächenmuster für die jeweiligen Reifen 114 unter Verwendung von maschinellem Lernen oder tiefem Lernen durch ein faltendes neurales Netzwerkmodell und/oder durch eine oder mehrere andere Techniken erzeugt. In bestimmten nicht erfindungsgemäßen Ausführungsformen werden andere Arten von Sensordaten in Verbindung mit der Reifenanalyse verwendet, wie beispielsweise die Analyse, die sich auf ein Lenkrad, die Ausrichtung des Rades 101, mögliche Fehlausrichtung usw. bezieht (z. B. die Verwendung von Daten, die das Lenkrad betreffen, während das Fahrzeug 100 auf einer geraden Straße gefahren wird) - zum Beispiel, kann in bestimmten nicht erfindungsgemäßen Ausführungsformen das Erkennen von Fahrzeugzustandsproblemen, die derartige Fahrzeugsensordaten verwenden, dazu verwendet werden, Prioritäten zu setzen, welche Bildverarbeitungsalgorithmen ausgeführt werden und/oder welche Bildverarbeitungsalgorithmen mit größerer Gewichtung bereitgestellt werden können und so weiter (z. B. da eine Fehlausrichtung bestimmte Laufflächenmuster verursachen kann usw.).
-
Eine historische Datenbank mit Laufflächenmustern und Seitenwandmustern wird bei 224 verwendet. Insbesondere wird in bestimmten nicht erfindungsgemäßen Ausführungsformen das erste Laufflächenmuster von 218 mit einem oder mehreren bekannten Laufflächenmustern (z. B. zweite Laufflächenmuster) von Eigenreifen oder anderen Reifen mit einem bekannten Alter und Zustand (z. B. neue Reifen oder Reifen mit einem anderen bekannten Alter, Laufleistung, Verschleiß, Druck, Zustand usw.) aus der historischen Datenbank verglichen. Ebenso wird in bestimmten nicht erfindungsgemäßen Ausführungsformen das erste Seitenwandmuster von 218 mit einem oder mehreren bekannten Seitenwandmustern (z. B. zweite Seitenwandmuster) von Eigenreifen oder anderen Reifen mit bekanntem Alter und Zustand (z. B. neue Reifen sowie Reifen in anderen vordefinierten Zuständen in Bezug auf Alter, Nutzung und Zustand, in bestimmten Ausführungsformen) aus der historischen Datenbank verglichen. In bestimmten nicht erfindungsgemäßen Ausführungsformen stellt der Prozessor 142 die Vergleiche von 224 bereit und aktualisiert auch die historische Datenbank, um das erste Laufflächenmuster und das erste Seitenwandmuster von 218 vom Fahrzeug 100 aufzunehmen und die historische Datenbank zu aktualisieren, um diese Informationen aufzunehmen. In bestimmten nicht erfindungsgemäßen Ausführungsformen kann sich die historische Datenbank auf dem Fahrzeug 100 befinden, zum Beispiel als Teil der gespeicherten Werte 154 des Speichers 144 von 1. In weiteren nicht erfindungsgemäßen Ausführungsformen kann die historische Datenbank vom Fahrzeug 100 entfernt gespeichert werden, zum Beispiel über einen Remote-Server, und das Leitsystem 108 kann über den Sender-Empfänger 124 mit dem Remote-Server verbunden sein, zum Beispiel über ein oder mehrere drahtlose Netzwerke. Darüber hinaus können in bestimmten nicht erfindungsgemäßen Ausführungsformen Fahrzeugbewegungen und -messungen verwendet werden, um die Art des Problems vorab zu ermitteln, z. B. wenn das Fahrzeug nach links oder rechts zieht, was auf eine Fehlausrichtung hinweist, und so weiter.
-
Es werden Bestimmungen in Bezug auf die Reifen bei 226 vorgenommen. Insbesondere nimmt der Prozessor 142 in bestimmten nicht erfindungsgemäßen Ausführungsformen Bestimmungen über den Verschleiß der Reifen 114 des Fahrzeugs 100 der 1 vor, basierend auf einem Vergleich des ersten Laufflächenmusters und des ersten Seitenwandmusters von 218 mit den entsprechenden Laufflächenmustern und Seitenwandmustern der historischen Datenbank, für ein Ermitteln des Verschleißes der Reifen und/oder für andere Zustandsgrößen der Reifen (z. B. Aufblähung, Ausrichtung, Löcher oder andere Mängel usw.).
-
Als Beispiel zeigt 3 illustrative Laufflächenmuster für die jeweiligen Reifen gemäß einer exemplarischen Ausführungsform. Wie in 3 abgebildet, stellt ein erster Reifen 310 einen abgenutzten Reifen dar, mit einem entsprechenden ersten Laufflächenbild 320. Das erste Laufflächenbild 320 zeigt die Laufflächenmarkierungen 322 und Histogram of oriented gradients-Werte (HoG-Werte) in verschiedenen Bereichen 324 in Bezug auf einen abgenutzten Reifen. In einer nicht erfindungsgemäßen Ausführungsform stellt der erste Reifen 310 einen oder mehrere der Reifen 114 des Fahrzeugs 100 von 1 dar, mit einem zugehörigen ersten Laufflächenmuster von 218.
-
Wie ebenfalls in 3 abgebildet, stellt ein zweiter Reifen 330 einen neuen Reifen dar, mit einem entsprechenden zweiten Laufflächenbild 340. Das zweite Laufflächenbild 340 zeigt die Laufflächenmarkierungen 342 und Bereiche 344 betreffend HoG-Werte in Bezug auf einen neuen Reifen. In einer Ausführungsform stellt der zweite Reifen 330 einen oder mehrere der Reifen mit Mustern dar, die der historischen Datenbank von 224 zugeordnet sind.
-
Unter erneuter Bezugnahme auf 2 vergleicht der Prozessor 142 bei 226 in bestimmten nicht erfindungsgemäßen Ausführungsformen das erste Laufflächenmuster von 218 (z. B. entsprechend dem ersten Laufflächenbild 320 von 3) mit einem bekannten Laufflächenmuster von 224 aus der historischen Datenbank (z. B. entsprechend dem zweiten Laufflächenbild 340 von 3). In verschiedenen nicht erfindungsgemäßen Ausführungsformen können Verschleißwerte (und/oder andere Reifenzustandswerte, wie vorstehend erwähnt) durch einen Vergleich zwischen dem ersten Laufflächenmuster von 218 und dem bekannten, neuen Reifenlaufflächenmuster aus der historischen Datenbank bestimmt werden (und/oder mit anderen bekannten Laufflächenmustern der historischen Datenbank, z. B. entsprechend anderen bekannten Verschleißwerten und/oder Zustandswerten, wie Alter, Druck und/oder Laufleistung), z. B. über Gradienten/Histogramme von Wertvergleichen, tiefem Lernen mit neuronalen Netzwerkmodellen usw. Ebenso können in verschiedenen Ausführungsformen Verschleißwerte und/oder andere Zustandswerte ermittelt werden, indem die ersten Seitenwandmuster von 218 mit bekannten Seitenwandmustern (z. B. bei neuen Reifen und/oder anderen Reifen mit anderem bekannten Alter, Laufleistung, Verschleiß und/oder anderen Zustandswerten) der historischen Datenbank verglichen werden. Darüber hinaus können in bestimmten nicht erfindungsgemäßen Ausführungsformen derartige Werte (z. B. Verschleißwerte und/oder andere Zustandswerte) auch mit den protokollierten historischen Werten des gleichen Reifens (oder anderer Reifen in der Vorder-/Hinterachse des Fahrzeugs) verglichen werden, wenn er eher neu war.
-
Darüber hinaus wird bei bestimmten nicht erfindungsgemäßen Ausführungsformen eine weitere Diagnose bei 228 basierend auf den analysierten Reifenverschleiß-/Reifendaten von 226 durchgeführt. Der Prozessor 142 diagnostiziert beispielsweise in bestimmten nicht erfindungsgemäßen Ausführungsformen mögliche Probleme im Zusammenhang mit den Reifen, wie beispielsweise mögliche Abnutzung, Aufblähung, Fehlausrichtung, Löcher, andere Mängel und so weiter. Der Prozessor 142 diagnostiziert ebenfalls in bestimmten nicht erfindungsgemäßen Ausführungsformen mögliche Probleme in Bezug auf andere Fahrzeugsysteme, die durch Reifenprobleme verursacht und/oder beeinflusst werden könnten, wie beispielsweise das Federungssystem oder die Fehlausrichtung des Rades 101 des Fahrzeugs 100, und so weiter. In bestimmten nicht erfindungsgemäßen Ausführungsformen werden in Verbindung mit der Reifenanalyse andere Arten von Sensordaten verwendet, wie beispielsweise die Analyse, die sich auf ein Lenkrad, die Ausrichtung des Rades 101, mögliche Fehlausrichtung usw. bezieht (z. B. Nutzung der Daten des Lenkrads, während das Fahrzeug 100 auf gerader Strecke gefahren wird) - zum Beispiel beim korrelierenden Erkennen von derartigen Fahrzeugzustandsproblemen als Teil der weiteren Diagnose.
-
Bei 230 wird bestimmt, ob eine Warnung, Benachrichtigung oder eine andere Maßnahme gerechtfertigt ist. In bestimmten nicht erfindungsgemäßen Ausführungsformen bestimmt der Prozessor 142 basierend auf den Informationen von 226 und 228, ob eine derartige Warnung, Benachrichtigung oder eine andere Maßnahme aufgrund der Schwere eines Reifens oder eines anderen Fahrzeugsystems zweckmäßig sein kann und/oder ob eine Abhilfemaßnahme angemessen sein kann (z. B. das Aufpumpen der Reifen, das Drehen der Reifen, das Wechseln der Reifen, das Ausrichten des Rades 101 usw.). Es wird darauf hingewiesen, dass in bestimmten nicht erfindungsgemäßen Ausführungsformen und in bestimmten Fahrzeugen ein Druckwächter ebenfalls eine Warnung zum Aufpumpen der Reifen bereitstellen kann, jedoch nicht unbedingt für die anderen Probleme.
-
Wenn bei 230 bestimmt wird, dass eine derartige Warnung, Benachrichtigung oder andere Maßnahme gerechtfertigt ist, dann wird diese Warnung, Benachrichtigung oder Maßnahme bei 232 bereitgestellt. In bestimmten nicht erfindungsgemäßen Ausführungsformen werden eine oder mehrere Benachrichtigungen oder Warnungen über Anweisungen des Prozessors 142 bei 232 bereitgestellt. Bei bestimmten nicht erfindungsgemäßen Ausführungsformen erfolgt eine akustische Benachrichtigung innerhalb des Fahrzeugs 100. Ebenso wird in bestimmten Ausführungsformen eine visuelle Benachrichtigung, z. B. über eine Anzeige 106 von 1 innerhalb des Fahrzeugs 100 (z. B. auf einem Armaturenbrett, Steuertafel, Navigationssystem, Rückspiegel oder dergleichen), bereitgestellt. Darüber hinaus kann in bestimmten nicht erfindungsgemäßen Ausführungsformen eine elektronische Benachrichtigung an einen Eigentümer, Betreiber oder Betreiber des Fahrzeugs 100 erfolgen, beispielsweise per E-Mail, SMS oder dergleichen. In bestimmten Ausführungsformen kehrt der Prozess dann zu 202 zurück.
-
Umgekehrt, wenn bei 230 bestimmt wird, dass eine derartige Warnung, Benachrichtigung oder andere Maßnahme nicht gerechtfertigt ist, dann kehrt der Prozess zu 202 zurück, ohne eine Warnung, Benachrichtigung oder Maßnahme bereitzustellen.
-
4 ist ein Flussdiagramm eines Prozesses 400 zum Analysieren von Reifen eines Fahrzeugs unter Verwendung von Kamerabildern von Reifenspuren gemäß einer erfindungsgemäßen Ausführungsform. Der Prozess 400 kann in Verbindung mit dem Fahrzeug 100, den Reifen 114, den Kameras 102 und dem Steuerungssystem 208 von 1 gemäß einer exemplarischen Ausführungsform implementiert werden. In einer Ausführungsform beginnt der Prozess 400, wenn ein Fahr- oder Zündzyklus eines Fahrzeugs beginnt, (wenn sich beispielsweise ein Fahrer dem Fahrzeug nähert oder in das Fahrzeug eintritt oder wenn der Fahrer das Fahrzeug einschaltet und/oder eine Zündung dafür betätigt z. B. durch Betätigen eines Schlüssels mit einer Schlüsselanhänger- oder Starttaste usw.), und setzt sich während der Dauer des Fahrzeugantriebs oder des Zündzyklus fort. Der Prozess 400 wird im Folgenden auch in Verbindung mit 5 erläutert, der Darstellungen für exemplarische Vergleiche der Reifen 114 des Fahrzeugs 100 in Übereinstimmung mit dem Prozess 400 gemäß einer exemplarischen Ausführungsform bietet.
-
Wie in 4 abgebildet, werden in einer Ausführungsform erste Daten bei 402 erhalten. In bestimmten Ausführungsformen umfassen die ersten Daten auch Daten, die im Zusammenhang mit der Oberfläche und dem Zustand eines Weges oder einer Straße (im Folgenden zusammenfassend als Straße bezeichnet) erhalten werden. In bestimmten Ausführungsformen werden die ersten Daten von einer oder mehreren der Kameras 102 von 1 erhalten, zum Beispiel über die Kommunikationsverbindung 109 von 1. In bestimmten Ausführungsformen können die ersten Daten auch über eine oder mehrere entfernte Quellen erhalten werden, zum Beispiel von einem Wetterdienst, wie beispielsweise einem Wetterdienstbericht, der über den Sender-Empfänger 124 von 1 empfangen wird.
-
Außerdem kann der Straßentyp aus Karteninformationen entnommen werden, z. B. unbefestigte Straße, Schotterstraße usw.
-
Bei 404 wird eine Bestimmung über den Zustand der Straße vorgenommen. In verschiedenen Ausführungsformen wird der Zustand der Straße durch den Prozessor 142 von 1 unter Verwendung der ersten Daten von 402 bestimmt. Ebenso umfasst der Zustand der Straße in bestimmten Ausführungsformen, ob eine Fahrbahnoberfläche trocken ist, oder ob die Fahrbahnoberfläche nass ist, oder ob sie von Schnee, Sand, Schlamm oder ähnlichem bedeckt ist.
-
Wenn bei 404 bestimmt wird, dass der Straßenzustand trocken ist, dann werden bei 406 die Kamerabilder, die zum Erkennen von Reifenspuren verwendet werden, nicht in Bezug auf die Reifen verwendet. In bestimmten Ausführungsformen werden die Kamerabilder verworfen oder nicht aufgezeichnet, und zwar durch Anweisungen des Prozessors 142 von 1. In bestimmten Ausführungsformen können für einen Benutzer des Fahrzeugs 100 in bestimmten Situationen (z. B. als Teil eines Rückfahrkamerasystems oder eines anderen Systems usw.) Kamerabilder auf der Anzeige 106 im Inneren des Fahrzeugs 100 bereitgestellt werden. In verschiedenen Ausführungsformen werden Kamerabilder jedoch nicht zum Analysieren der Reifen 114 bei 406 verwendet. Ebenso kehrt der Prozess 400 in verschiedenen Ausführungsformen zu 402 im Anschluss an 406 zurück. In bestimmten Ausführungsformen funktioniert das zweite Verfahren am besten, wenn die Straße nicht trocken ist, sodass der Reifen 114 einen Reifenabdruck (oder „Fußabdruck“) auf der Oberfläche hinterlassen kann (z. B. auf Neuschnee, Sand oder Schlamm).
-
Wird umgekehrt bei 404 bestimmt, dass der Straßenzustand nicht trocken ist (und z. B. eine Oberfläche mit Schnee, Sand, Schlamm o.ä. bedeckt ist), dann wird der Prozess bei 410 fortgesetzt, wie im Folgenden weiter beschrieben ist.
-
Darüber hinaus werden in bestimmten Ausführungsformen zweite Daten bei 408 erhalten. In verschiedenen Ausführungsformen beinhalten die zweiten Daten von 408 Daten zum Betrieb des Fahrzeugs 100, wie beispielsweise ein ausgewählter Gang oder Getriebezustand (z. B. Fahren, Parken, Rückwärtsgang, Leerlauf), einen Lenkwinkel, eine Raddrehzahl und/oder Fahrzeuggeschwindigkeit usw., wie sie zum Beispiel über entsprechende Sensoren der Sensoranordnung 122 von 1 erhalten werden.
-
Bei 410 wird bestimmt, ob sich das Fahrzeug 100 in einem Rückwärtsgang befindet. In bestimmten Ausführungsformen erfolgt diese Bestimmung durch den Prozessor 142 von 1 unter Verwendung der zweiten Daten von 408 (z. B. dem gewählten Gang, wie er über den Gangwahlsensor 132 von 1 erfasst wird).
-
Wenn bestimmt wird, dass sich das Fahrzeug 100 im Rückwärtsgang befindet, dann werden bei 412 Kamerabilder der Reifenspuren von einer oder mehreren Frontkameras 102 des Fahrzeugs 100 erhalten. Insbesondere werden in bestimmten Ausführungsformen Kameras 102 auf oder in der Nähe der Vorderseite des Fahrzeugs 100 (z. B. die vordere Blende 103 von 1) verwendet, um Bilder von Reifenspuren vor dem Fahrzeug 100 zu erzeugen, zum Beispiel von Vorderreifen 114 des Fahrzeugs 100. In bestimmten Ausführungsformen werden weitere Daten aus den zweiten Daten von 408 gemäß den Anweisungen des Prozessors 142 zum Identifizieren der Reifenspuren des Fahrzeugs 100 verwendet (z. B. wird in einer Ausführungsform ein Lenkwinkel verwendet, um eine Position der Reifenspuren zu identifizieren usw.). Der Prozess fährt daraufhin mit Schritt 416 fort, der unten näher erläutert wird.
-
Umgekehrt, wenn bestimmt wird, dass sich das Fahrzeug 100 in einem Vorwärtsfahrmodus befindet oder sich in einem Stillstand gegenüber der vorherigen Fahrt befindet (z. B. so, dass das Fahrzeug 100 nicht rückwärtsfährt und/oder dass das Fahrzeug 100 vorwärtsfährt und/oder aus der vorherigen Fahrt gestoppt wird), werden bei 414 Kamerabilder der Reifenspuren von einer oder mehreren Rückfahrkameras 102 des Fahrzeugs 100 erhalten. Insbesondere werden in bestimmten Ausführungsformen Kameras 102 auf oder in der Nähe des Fahrzeughecks 100 (z. B. der hintere Teil der Karosserie 110 von 1) verwendet, um Bilder von Reifenspuren hinter dem Fahrzeug 100 zu erzeugen, z. B. von Hinterreifen 114 des Fahrzeugs 100. In bestimmten Ausführungsformen werden weitere Daten aus den zweiten Daten von 408 gemäß den Anweisungen des Prozessors 142 zum Identifizieren der Reifenspuren des Fahrzeugs 100 verwendet (z. B. wird in einer Ausführungsform ein Lenkwinkel verwendet, um eine Position der Reifenspuren zu identifizieren usw.). Der Prozess fährt daraufhin mit Schritt 416 fort, der nachfolgend erläutert wird.
-
Die Bilder von 412 und 414 werden bei 416 vorverarbeitet. In bestimmten Ausführungsformen stellt der Prozessor 142 im Verlauf von 416 für die Kamerabilder eine Glättung, Entzerrung, Transformation und Beschnitt in Bezug auf einen interessierenden Bereich für die Reifenspuren auf den Bildern bereit.
-
Darüber hinaus wird bei 418 eine Bildanalyse bei 222 für die Kamerabilder der Reifenspuren durchgeführt. Erfindungsgemäß wird die Bildanalyse in Bezug auf die Bilder der Reifenlauffläche erstellt und vom Prozessor 142 durchgeführt.
-
Die verschiedenen Bilder, Daten, Informationen und Analyseergebnisse von 412-420 werden für die Reifenmusteranalyse bei 420 verwendet. Insbesondere wird erfindungsgemäß für die Reifen 114 eine Laufflächenmusteranalyse durchgeführt. Der Prozessor 142 führt in bestimmten Ausführungsformen eine Reifenlaufflächenanalyse für jeden einzelnen Reifen 114 durch, was zu einem ersten Laufflächenmuster für den jeweiligen Reifen 114 führt, basierend auf den Bildern, Daten und Informationen und Datenanalysen von 412-420, basierend auf den Bildern, die über die Front- und Rückfahrkameras 102 in Bezug auf die Reifenspuren erhalten wurden. In bestimmten Ausführungsformen werden unter Verwendung von Histogram of oriented gradients-Werten die ersten Laufflächenmuster für den jeweiligen Reifen 114 erzeugt. In weiteren Ausführungsformen werden die ersten Laufflächenmuster für die jeweiligen Reifen 114 unter Verwendung von maschinellem Lernen oder tiefem Lernen mit einem faltenden neuralen Netzwerkmodell und/oder durch eine oder mehrere andere Techniken erzeugt.
-
Eine historische Datenbank mit Laufflächenmustern und Seitenwandmustern wird bei 422 verwendet. Insbesondere wird erfindungsgemäß das erste Laufflächenmuster von 420 mit einem oder mehreren bekannten Laufflächenmustern (z. B. zweite Laufflächenmuster) verglichen, z. B. von einem historischen Bild/Daten des gleichen Reifens 114, als dieser neu war, und/oder von einem oder mehreren anderen Reifen mit bekanntem Alter und Zustand (z. B. neue Reifen oder Reifen mit anderen bekannten Werten für Alter, Laufleistung, Verschleiß, Zustand, Aufblähung usw. in verschiedenen Ausführungsformen) aus der historischen Datenbank. In bestimmten Ausführungsformen stellt der Prozessor 142 die Vergleiche von 422 bereit und aktualisiert auch die historische Datenbank, um das erste Laufflächenmuster von 420 vom Fahrzeug 100 aufzunehmen und die historische Datenbank zu aktualisieren, um diese Informationen aufzunehmen. In bestimmten Ausführungsformen kann sich die historische Datenbank auf dem Fahrzeug 100 befinden, zum Beispiel als Teil der gespeicherten Werte 154 des Speichers 144 von 1. In weiteren Ausführungsformen kann die historische Datenbank vom Fahrzeug 100 entfernt gespeichert werden, zum Beispiel über einen Remote-Server, und das Steuerungssystem 108 kann über den Sender-Empfänger 124 mit dem Remote-Server verbunden sein, zum Beispiel über ein oder mehrere drahtlose Netzwerke.
-
Es werden Bestimmungen in Bezug auf die Reifen bei 424 vorgenommen. Insbesondere nimmt der Prozessor 142 in bestimmten Ausführungsformen Bestimmungen über den Verschleiß der Reifen 114 des Fahrzeugs 100 der 1 vor, basierend auf einem Vergleich des ersten Laufflächenmusters von 420 mit einem oder mehreren Laufflächenmustern der historischen Datenbank, für ein Ermitteln des Verschleißes der Reifen und/oder für andere Zustandsgrößen der Reifen (z. B. Aufblähung, Ausrichtung, Löcher oder andere Mängel usw.).
-
Als Beispiel zeigt 5 illustrative Laufflächenmuster für die jeweiligen Reifen gemäß einer exemplarischen Ausführungsform. Wie in 5 abgebildet, weist ein erster Reifen 510 ein erstes Laufflächenbild 520 auf, mit Laufflächenmarkierungen 522 und einem Histogram of oriented gradients (HoG) 524 in Bezug auf den ersten Reifen 510. Wie auch in 5 abgebildet, weist ein zweiter Reifen 530 ein zweites Laufflächenbild 540 auf, mit den Laufflächenmarkierungen 542 und HoG 544 in Bezug auf ein Histogramm des gerichteten Gradienten in Bezug auf den zweiten Reifen 540. Gemäß bestimmten Ausführungsformen stellt dies ein Beispiel dar, das zeigt, dass zwei Vergleichsreifen (einer neu, der andere teilweise auf der Innenseite abgenutzt) unterschiedliche Laufflächenmuster und unterschiedliche HoG-Werte an abgenutzten und nicht abgenutzten Stellen aufweisen.
-
Unter erneuter Bezugnahme auf 4 vergleicht der Prozessor 142 bei 424 in bestimmten Ausführungsformen das erste Laufflächenmuster von 420 mit einem oder mehreren bekannten Laufflächenmustern von 422 aus der historischen Datenbank. In verschiedenen Ausführungsformen können Verschleißwerte (und/oder andere Reifenzustandswerte, wie vorstehend erwähnt) durch einen Vergleich zwischen dem ersten Laufflächenmuster von 420 und einem bekannten, neuen Reifenlaufflächenmuster (oder ein Reifen in gutem Zustand) aus der historischen Datenbank bestimmt werden (und/oder mit anderen bekannten Laufflächenmustern der historischen Datenbank, z. B. entsprechend anderen bekannten Verschleißwerten und/oder Zustandswerten, wie Alter, Druck und/oder Laufleistung), z. B. über HoG-Wertvergleich, maschinelles Lernen oder tief lernende neuronale Netzwerkmodelle usw.
-
Darüber hinaus wird bei bestimmten Ausführungsformen eine andere Diagnose bei 426 basierend auf den Reifeninformationen von 424 durchgeführt. Der Prozessor 142 diagnostiziert beispielsweise in bestimmten Ausführungsformen mögliche Probleme im Zusammenhang mit den Reifen, wie beispielsweise mögliche Abnutzung, Aufblähung, Fehlausrichtung, Löcher, andere Mängel und so weiter. Der Prozessor 142 diagnostiziert ebenfalls in bestimmten Ausführungsformen mögliche Probleme in Bezug auf andere Fahrzeugsysteme, die durch Reifenprobleme verursacht und/oder beeinflusst werden könnten, wie beispielsweise das Federungssystem oder die Fehlausrichtung des Rades 101 des Fahrzeugs 100, und so weiter.
-
Bei 428 wird bestimmt, ob eine Warnung, Benachrichtigung oder eine andere Maßnahme gerechtfertigt ist. In bestimmten Ausführungsformen bestimmt der Prozessor 142 basierend auf den Informationen von 424 und 426, ob eine derartige Warnung, Benachrichtigung oder eine andere Maßnahme aufgrund der Schwere eines Reifens oder eines anderen Fahrzeugsystems zweckmäßig sein kann und/oder ob eine Abhilfemaßnahme angemessen sein kann (z. B. das Aufpumpen der Reifen, das Drehen der Reifen, das Wechseln der Reifen usw.).
-
Wenn bei 428 bestimmt wird, dass eine derartige Warnung, Benachrichtigung oder andere Maßnahme gerechtfertigt ist, dann wird diese Warnung, Benachrichtigung oder Maßnahme bei 430 bereitgestellt. In bestimmten Ausführungsformen werden eine oder mehrere Benachrichtigungen oder Warnungen über Anweisungen des Prozessors 142 bei 430 bereitgestellt. Bei bestimmten Ausführungsformen erfolgt eine akustische Benachrichtigung innerhalb des Fahrzeugs 100. Ebenso wird in bestimmten Ausführungsformen eine visuelle Benachrichtigung, z. B. über eine Anzeige 106 von 1 innerhalb des Fahrzeugs 100 (z. B. auf einem Armaturenbrett, Steuertafel, Navigationssystem, Rückspiegel o.ä.), bereitgestellt. Darüber hinaus kann in bestimmten Ausführungsformen eine elektronische Benachrichtigung an einen Eigentümer, Betreiber oder Betreiber des Fahrzeugs 100 erfolgen, beispielsweise per E-Mail, SMS oder dergleichen. In bestimmten Ausführungsformen kehrt der Prozess dann zu 202 zurück.
-
Umgekehrt, wenn bei 428 bestimmt wird, dass eine derartige Warnung, Benachrichtigung oder andere Maßnahme nicht gerechtfertigt ist, dann kehrt der Prozess zu 402 zurück, ohne eine Warnung, Benachrichtigung oder Maßnahme bereitzustellen.
-
Dementsprechend werden Verfahren, Systeme und Fahrzeuge für die Reifenanalyse eines Fahrzeugs bereitgestellt, die auf Bildern basieren, die von Fahrzeugkameras erhalten wurden, während das Fahrzeug in Betrieb ist. In bestimmten Ausführungsformen erzeugen bestimmte Kameras (z. B. Seitenkameras) Bilder der Reifen (z. B. der Lauffläche und der Seitenwände der Reifen), die von einem Prozessor für die Reifenanalyse verwendet werden (z. B. durch Vergleichen von Laufflächenmuster und Seitenwandmuster mit bekannten Mustern in einer historischen Datenbank). In bestimmten weiteren Ausführungsformen erzeugen bestimmte weitere Kameras (z. B. Front- und Rückfahrkameras) Bilder von Spuren, die von den Reifen erzeugt werden (z. B. einschließlich Bilder der Lauffläche der Reifen, wie sie in den Spuren dargestellt sind), die von einem Prozessor für die Reifenanalyse verwendet werden (z. B. durch Vergleichen eines Laufflächenmusters aus den Spuren mit bekannten Mustern in der historischen Datenbank).
-
Es versteht sich, dass die offenbarten Systeme, Fahrzeuge und Verfahren von denjenigen abweichen können, die in den Figuren dargestellt und hierin beschrieben sind. Es können beispielsweise das Fahrzeug 100, die Kamera 102, die Anzeigen 106, das Steuerungssystem 108, die Reifen 114 und/oder verschiedene Komponenten derselben von den in den 1-5 dargestellten und in Verbindung damit beschriebenen in verschiedenen Ausführungsformen abweichen. In ähnlicher Weise versteht es sich, dass die Schritte der Prozesse 200, 400 von den in den 2-5 dargestellten Schritten abweichen können und/oder dass verschiedene Schritte der Prozesse 200, 400 gleichzeitig und/oder in einer anderen Reihenfolge als in den 2-5 in verschiedenen Ausführungsformen, auftreten können.
-
Während mindestens eine exemplarische Ausführungsform in der vorstehenden ausführlichen Beschreibung dargestellt wurde, versteht es sich, dass es eine große Anzahl an Varianten gibt. Es versteht sich weiterhin, dass die exemplarische Ausführungsform oder die exemplarischen Ausführungsformen lediglich Beispiele sind und den Umfang, die Anwendbarkeit oder die Konfiguration dieser Offenbarung in keiner Weise einschränken sollen. Die vorstehende ausführliche Beschreibung stellt Fachleuten auf dem Gebiet vielmehr einen zweckmäßigen Plan zur Implementierung der exemplarischen Ausführungsform bzw. der exemplarischen Ausführungsformen zur Verfügung. Es versteht sich, dass verschiedene Veränderungen an der Funktion und der Anordnung von Elementen vorgenommen werden können, ohne vom Umfang der Offenbarung, wie er in den beigefügten Ansprüchen und deren rechtlichen Entsprechungen aufgeführt ist, abzuweichen.