DE102018104857A1 - Verfahren und Systeme zum Analysieren von Fahrzeugreifen unter Verwendung von an einem Fahrzeug montierten Kameras - Google Patents

Verfahren und Systeme zum Analysieren von Fahrzeugreifen unter Verwendung von an einem Fahrzeug montierten Kameras Download PDF

Info

Publication number
DE102018104857A1
DE102018104857A1 DE102018104857.2A DE102018104857A DE102018104857A1 DE 102018104857 A1 DE102018104857 A1 DE 102018104857A1 DE 102018104857 A DE102018104857 A DE 102018104857A DE 102018104857 A1 DE102018104857 A1 DE 102018104857A1
Authority
DE
Germany
Prior art keywords
vehicle
tires
tire
camera images
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102018104857.2A
Other languages
English (en)
Other versions
DE102018104857B4 (de
Inventor
Jinsong Wang
Bakhtiar B. Litkouhi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102018104857A1 publication Critical patent/DE102018104857A1/de
Application granted granted Critical
Publication of DE102018104857B4 publication Critical patent/DE102018104857B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758Involving statistics of pixels or of feature values, e.g. histogram matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60CVEHICLE TYRES; TYRE INFLATION; TYRE CHANGING; CONNECTING VALVES TO INFLATABLE ELASTIC BODIES IN GENERAL; DEVICES OR ARRANGEMENTS RELATED TO TYRES
    • B60C11/00Tyre tread bands; Tread patterns; Anti-skid inserts
    • B60C11/24Wear-indicating arrangements
    • B60C11/246Tread wear monitoring systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00Testing of vehicles
    • G01M17/007Wheeled or endless-tracked vehicles
    • G01M17/02Tyres
    • G01M17/027Tyres using light, e.g. infrared, ultraviolet or holographic techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507Summing image-intensity values; Histogram projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Es werden Verfahren und Systeme zum Analysieren von Reifen eines Fahrzeugs unter Verwendung von Kamerabildern von einer oder mehreren Kameras, die am Fahrzeug (oder an der Infrastruktur) montiert sind, bereitgestellt. In einem Beispiel beinhaltet das Verfahren das Erhalten von Kamerabildern von einem oder mehreren Reifen eines Fahrzeugs unter Verwendung einer oder mehrerer Kameras, die am Fahrzeug montiert sind, während des Betriebs des Fahrzeugs; und das Verarbeiten der Kamerabilder über einen Prozessor, um eine Analyse eines oder mehrerer Reifen basierend auf den Bildern, die über eine oder mehrere Kameras, die am Fahrzeug montiert sind, erhalten wurden, zu erzeugen.

Description

  • TECHNISCHES GEBIET
  • Das technische Gebiet bezieht sich im Allgemeinen auf den Bereich von Fahrzeugen und insbesondere auf Verfahren und Systeme zum Analysieren der Reifen von Fahrzeugen unter Verwendung von Informationen, die von an den Fahrzeugen montierten Kameras gewonnen werden.
  • HINTERGRUND
  • Reifenverschleiß und -zustand können für Fahrzeuge, wie beispielsweise Automobile, eine bedeutende Rolle spielen. Es kann jedoch schwierig sein, den Verschleiß und den Zustand von Reifen in bestimmten Situationen zu analysieren, zum Beispiel auf automatisierte Weise und/oder während des Betriebs des Fahrzeugs.
  • Dementsprechend ist es wünschenswert, verbesserte Verfahren und Systeme zum Analysieren von Fahrzeugreifen bereitzustellen. Außerdem werden andere wünschenswerte Merkmale und Eigenschaften der vorliegenden Erfindung aus der nachfolgenden ausführlichen Beschreibung der Erfindung und den hinzugefügten Ansprüchen in Verbindung mit den zugehörigen Zeichnungen und diesem Hintergrund der Erfindung sichtbar.
  • KURZDARSTELLUNG
  • Gemäß einer exemplarischen Ausführungsform wird ein erstes Verfahren bereitgestellt. Das Verfahren beinhaltet das Erhalten von Kamerabildern von einem oder mehreren Reifen eines Fahrzeugs unter Verwendung einer oder mehrerer Kameras, die am Fahrzeug montiert sind, während des Betriebs des Fahrzeugs; und das Verarbeiten der Kamerabilder über einen Prozessor, um eine Analyse eines oder mehrerer Reifen basierend auf den Bildern, die über eine oder mehrere Kameras, die am Fahrzeug montiert sind, erhalten wurden, zu erzeugen.
  • Gemäß einer weiteren exemplarischen Ausführungsform wird ein zweites Verfahren bereitgestellt. Das Verfahren beinhaltet das Erhalten von Kamerabildern von Spuren eines oder mehrerer Reifen eines Fahrzeugs unter Verwendung einer oder mehrerer Kameras, die am Fahrzeug montiert sind, während des Betriebs des Fahrzeugs; und das Verarbeiten der Kamerabilder über einen Prozessor, um eine Analyse eines oder mehrerer Reifen basierend auf den Bildern, die über eine oder mehrere Kameras, die am Fahrzeug montiert sind, erhalten wurden, zu erzeugen.
  • Gemäß einer weiteren exemplarischen Ausführungsform wird ein Fahrzeug bereitgestellt. Das Fahrzeug beinhaltet einen oder mehrere Reifen, eine oder mehrere Kameras und einen Prozessor. Die eine oder mehreren Kameras werden am Fahrzeug montiert und sind dazu konfiguriert, Kamerabilder von Spuren zu erzeugen, die von einem oder mehreren der Reifen erzeugt werden. Der Prozessor ist dazu konfiguriert, die Kamerabilder zu verarbeiten, um eine Analyse von einem oder mehreren Reifen basierend auf den Bildern zu erzeugen, die über eine oder mehrere Kameras, die am Fahrzeug montiert sind, erhalten wurden.
  • Figurenliste
  • Die vorliegende Offenbarung wird im Folgenden in Verbindung mit den nachstehenden Zeichnungsfiguren beschrieben, worin gleiche Bezugszeichen gleiche Elemente bezeichnen und worin gilt:
    • 1 ist ein Funktionsblockdiagramm eines Fahrzeugs, das eine Vielzahl von Reifen, eine Vielzahl von Kameras und ein Steuerungssystem zum Analysieren der Reifen unter Verwendung der von den Kameras erhaltenen Bilder beinhaltet;
    • 2 ist ein Flussdiagramm eines ersten Prozesses zum Analysieren von Reifen eines Fahrzeugs unter Verwendung von Kamerabildern der Reifen, das in Verbindung mit dem Fahrzeug, den Reifen, den Kameras und dem Steuerungssystem von 1 gemäß einer exemplarischen Ausführungsform implementiert werden kann;
    • 3 stellt Darstellungen für exemplarische Vergleiche von Reifen eines Fahrzeugs gemäß dem Prozess von 2 gemäß einer exemplarischen Ausführungsform bereit;
    • 4 ist ein Flussdiagramm eines zweiten Prozesses zum Analysieren von Reifen eines Fahrzeugs unter Verwendung von Kamerabildern von Spuren der Reifen, das in Verbindung mit dem Fahrzeug, den Reifen, den Kameras und dem Steuerungssystem von 1 gemäß einer exemplarischen Ausführungsform implementiert werden kann; und
    • 5 stellt Darstellungen für exemplarische Vergleiche von Reifen eines Fahrzeugs gemäß dem Prozess von 4 gemäß einer exemplarischen Ausführungsform bereit;
  • AUSFÜHRLICHE BESCHREIBUNG
  • Die folgende ausführliche Beschreibung ist ihrer Art nach lediglich exemplarisch und soll die Offenbarung oder die Anwendung und Verwendungen derselben in keiner Weise einschränken. Darüber hinaus besteht keinerlei Verpflichtung zur Einschränkung auf eine der im vorstehenden Hintergrund oder in der folgenden ausführlichen Beschreibung dargestellten Theorien.
  • 1 veranschaulicht ein Fahrzeug 100 gemäß einer exemplarischen Ausführungsform. Wie nachfolgend ausführlicher beschrieben, beinhaltet das Fahrzeug 100 Räder 101, mit Reifen 114 und ein Steuerungssystem 108. Das Fahrzeug 100 verfügt ebenfalls in der dargestellten Ausführungsform über eine oder mehrere Kameras In verschiedenen Ausführungsformen, wobei die Kameras 102 Bilder der Reifen 114 und/oder der von den Reifen 114 erzeugten Spuren liefern, und das Steuerungssystem 108 analysiert die Reifen 114 basierend auf den Bildern der Kameras 102 während des Betriebs des Fahrzeugs 100, wie zum Beispiel nachfolgend im Zusammenhang mit 1 sowie den 2-5 erläutert.
  • In bestimmten Ausführungsformen sind die Kameras 102 am Fahrzeug 100 montiert. In verschiedenen Ausführungsformen sind die Kameras 102 nicht notwendigerweise als dedizierte Kameras 102 ausschließlich für die Reifenüberwachung/Analyse installiert. In verschiedenen Ausführungsformen beinhalten die Kameras 102 Rundumsichtkameras zum Erzeugen von Vogelperspektiven zur Unterstützung des Fahrers. In verschiedenen Ausführungsformen nutzt das Fahrzeug 100 die vorhandenen Kameras 102, um neue Anwendungen/Funktionen zu erforschen, wie beispielsweise die Reifenanalyse der aktuellen Anwendung, und kann die Fähigkeiten/Funktionen des Surround-View-Systems verbessern, ohne zusätzliche Hardwarekosten zu beanspruchen. In verschiedenen Ausführungsformen sind die Kameras 102 an einer oder mehreren Positionen des Fahrzeuges 100 montiert, die einen Blick auf einen oder mehrere Reifen 114 und/oder auf die Spuren der Reifen 114 ermöglichen, um den Reifenverschleiß zu erkennen. In bestimmten weiteren Ausführungsformen können die Kameras 102 an der Infrastruktur einer Fahrbahn und/oder an einem oder mehreren anderen Orten (z. B. an einer Leitplanke einer Straße, an einer Autowaschanlage usw.) montiert werden.
  • In verschiedenen Ausführungsformen umfasst das Fahrzeug 100 ein Automobil. Das Fahrzeug 100 kann eines von einer Reihe von verschiedenen Typen von Automobilen sein, wie zum Beispiel eine Limousine, ein Kombi, ein Lastwagen oder ein Geländewagen (SUV), und kann einen Zweiradantrieb (2WD) (d. h. Heckantrieb oder Frontantrieb), Vierradantrieb (4WD) oder Allradantrieb (AWD) und/oder verschiedene andere Fahrzeugtypen in bestimmten Ausführungsformen. In bestimmten Ausführungsformen kann das Fahrzeug 100 auch ein Motorrad oder ein anderes Fahrzeug oder ein anderes System umfassen, das ein Kamerabild mit einem festen Referenzpunkt aufweist.
  • Das Fahrzeug 100 beinhaltet eine Karosserie 110, die auf einem Fahrgestell 112 angeordnet ist. Die Karosserie 110 umschließt im Wesentlichen die anderen Komponenten des Fahrzeugs 100. Die Karosserie 110 und das Fahrgestell 112 können gemeinsam einen Rahmen bilden. Das Fahrzeug 100 beinhaltet auch eine Vielzahl von Reifen 114. Die Reifen 114 sind jeweils mit dem Fahrgestell 112 in der Nähe einer jeweiligen Ecke der Karosserie 110 drehbar gekoppelt, um die Bewegung des Fahrzeugs 100 zu erleichtern. In einer Ausführungsform beinhaltet das Fahrzeug 100 vier Reifen 114, obwohl dies in anderen Ausführungsformen (zum Beispiel für Lastkraftwagen und bestimmte andere Fahrzeuge) unterschiedlich sein kann.
  • Ein Antriebssystem 116 ist auf dem Fahrgestell 112 montiert und treibt die Räder 101 (einschließlich der Reifen 114) an. Das Antriebssystem 116 umfasst vorzugsweise ein Antriebssystem. In bestimmten exemplarischen Ausführungsformen umfasst das Antriebssystem 116 einen Verbrennungsmotor und/oder einen Elektromotor/Generator, der mit einem Getriebe gekoppelt ist. In bestimmten Ausführungsformen kann das Antriebssystem 116 variieren und/oder es können zwei oder mehr Antriebssysteme 116 verwendet werden. Als ein Beispiel kann das Fahrzeug 100 weiterhin ein -oder eine Kombination von mehreren- aus einer Anzahl unterschiedlicher Antriebssysteme umfassen, beispielsweise einen mit Benzin oder Diesel betriebenen Verbrennungsmotor, einen „Flexfuel“-Motor (FFV) (d. h. Verwendung von einer Mischung aus Benzin und Ethanol), einen mit einer gasförmigen Verbindung (z. B. Wasserstoff oder Erdgas) betriebenen Motor, einen Verbrennungs-/Elektro-Hybridmotor und einen Elektromotor.
  • Wie in 1 abgebildet, sind die Kameras 102 in verschiedenen Ausführungsformen an der Karosserie 110 des Fahrzeugs 100 montiert. In der abgebildeten Ausführungsform sind an einem Frontbereich 103 der Karosserie 110 (z. B. eine vordere Blende des Fahrzeugs 100), an einem Heckbereich 104 der Karosserie 110 (z. B. eine hintere Blende des Fahrzeugs 100) und an den Seitenspiegeln 105 des Fahrzeugs 100 separate Kameras 102 montiert. Es ist zu schätzen, dass in verschiedenen Ausführungsformen auch andere Kameras 102 an anderen Stellen an der Karosserie 110 des Fahrzeugs 100 montiert werden können.
  • In verschiedenen Ausführungsformen sind die Kameras 102 nicht notwendigerweise als dedizierte Kameras 102 ausschließlich für die Reifenüberwachung/Analyse installiert. In verschiedenen Ausführungsformen beinhalten die Kameras 102 Rundumsichtkameras zum Erzeugen von Vogelperspektiven zur Unterstützung des Fahrers. In verschiedenen Ausführungsformen nutzt das Fahrzeug 100 die vorhandenen Kameras 102, um neue Anwendungen/Funktionen zu erforschen, wie beispielsweise die Reifenanalyse der aktuellen Anwendung, und kann die Fähigkeiten/Funktionen des Surround-View-Systems verbessern, ohne zusätzliche Hardwarekosten zu beanspruchen. In verschiedenen Ausführungsformen sind die Kameras 102 an einer oder mehreren Positionen des Fahrzeuges 100 montiert, die einen Blick auf einen oder mehrere Reifen 114 und/oder auf die Spuren der Reifen 114 ermöglichen, um den Reifenverschleiß zu erkennen.
  • Wie vorstehend erwähnt, liefern die Kameras 102 in verschiedenen Ausführungsformen Bilder von den Reifen 114 und/oder Spuren, die von den Reifen 114 erzeugt wurden. In bestimmten Ausführungsformen, ähnlich wie in der vorangegangenen Erläuterung, werden die Kameras 102 auch für einen oder mehrere andere Zwecke installiert (z. B. als Rundumansicht für das Fahrzeug 100), und die Kameras 102 werden auch zum Analysieren der Reifen 114 als Zusatz- oder Bonusfunktion verwendet.
  • Ebenso liefert die Kamera 102 in verschiedenen Ausführungsformen Bilder zur Ansicht auf einer oder mehreren Anzeigen 106, die im Inneren des Fahrzeugs 100 angeordnet sind (d. h. innerhalb der Karosserie 110 des Fahrzeugs 100). In verschiedenen Ausführungsformen können die Anzeigen 106 als Teil eines vorderen Armaturenbretts, einer Steuertafel, eines Rückspiegels und/oder eines Navigationssystems und/oder an einer oder mehreren anderen Stellen innerhalb des Fahrzeugs 100 angeordnet sein. In bestimmten Ausführungsformen wird die Anzeige 106 auch von der Steuerung 108 zum Anzeigen von Hinweisen im Zusammenhang mit der Analyse der Reifen 114 verwendet.
  • In verschiedenen Ausführungsformen ist die Steuerung 108 innerhalb der Karosserie 110 des Fahrzeugs 100 angeordnet. In einer Ausführungsform ist das Steuersystem 108 auf dem Fahrgestell 112 angebracht. Das Steuerungssystem 108 steuert den Betrieb der Kameras 102 und verwendet die Bilder der Kameras 102 zum Analysieren der Reifen 114 (z. B. für Verschleiß und Zustand der Reifen 114). In verschiedenen Ausführungsformen steuert das Steuerungssystem 108 auch die Anzeigen 106 und stellt auf den Anzeigen 106 Benachrichtigungen zur Analyse der Reifen 114 zur Verfügung. In bestimmten Ausführungsformen kann das Steuerungssystem 108 auch andere Benachrichtigungen im Zusammenhang mit den Reifen 114 bereitstellen, zum Beispiel eine Audiobenachrichtigung und/oder eine elektronische oder sonstige Benachrichtigung für einen Fahrer, Eigentümer oder Betreiber des Fahrzeugs 100. In verschiedenen Ausführungsformen stellt das Steuerungssystem 108 diese und andere Funktionen gemäß den Schritten der Prozesse 200, 400 bereit, die nachfolgend in Verbindung mit den FIG. 2-5 näher beschrieben werden. In bestimmten Ausführungsformen kann das Steuerungssystem 108 außerhalb der Karosserie 110 angeordnet sein, beispielsweise auf einem Remote-Server, in der Cloud oder in einem Remote-Smartphone oder einer anderen Vorrichtung, bei welcher die Bildverarbeitung entfernt erfolgt.
  • Wie ebenfalls in 1 dargestellt, ist das Steuerungssystem 108 in verschiedenen Ausführungsformen über eine Kommunikationsverbindung 109 mit der Kamera 102 gekoppelt und empfängt Kamerabilder von der Kamera 102 über die Kommunikationsverbindung 109. In bestimmten Ausführungsformen umfasst die Kommunikationsverbindung 109 eine oder mehrere drahtgebundene Verbindungen, wie beispielsweise ein oder mehrere Kabel (z. B. Koaxialkabel und/oder ein oder mehrere andere Kabeltypen) und/oder eine oder mehrere drahtlose Verbindungen (z. B. unter Verwendung der drahtlosen Bustechnologie).
  • Wie in 1 abgebildet, beinhaltet das Steuerungssystem 108 eine Sensoranordnung 122 und eine Steuerung 126. Wie ebenfalls in 1 abgebildet, beinhaltet das Steuerungssystem 108 auch einen Sender-Empfänger 124. In bestimmten Ausführungsformen können die Bilder der Kamera 102 durch das Steuerungssystem 108 über einen oder mehrere Sender-Empfänger 124 und/oder Komponenten davon (z. B. einen Empfänger) empfangen werden.
  • Die Sensoranordnung 122 beinhaltet einen oder mehrere Sensoren zum Erhalten von Informationen für die Steuerung 108, zum Beispiel für die Analyse der Reifen 114. Insbesondere beinhaltet die Sensoranordnung 122 in verschiedenen Ausführungsformen die Kameras 102 sowie einen oder mehrere zusätzliche Erfassungssensoren 131 (z. B. Radar, Lidar, Sonar), Gangauswahlsensoren 132 (z. B. zum Erfassen eines Gang- oder Getriebezustands des Fahrzeugs 100, wie beispielsweise „Parken“, „Rückwärtsgang“, „Fahren“, „Leerlauf“ usw.), Geschwindigkeitssensoren 133 (z. B. Raddrehzahlsensoren und/oder Beschleunigungssensoren, die zum Ermitteln einer Geschwindigkeit des Fahrzeugs 100 verwendet werden); und Lenkwinkelsensoren 134 (z. B. Lenkradwinkelsensoren zum Ermitteln eines Winkels zum Lenken des Fahrzeugs 100). In verschiedenen Ausführungen sind die verschiedenen Sensoren der Sensoranordnung 122 auf oder innerhalb des Fahrzeugs 100 angeordnet. In bestimmten Ausführungsformen können diese Sensorinformationen (z. B. die Sendeinformationen, die nicht von den Kamerabildern 102 sind) dem Steuerungssystem 108 von einer oder mehreren anderen Quellen, wie beispielsweise einem CAN-Bus am Fahrzeug 100, zur Verfügung gestellt werden, anstatt direkt von der Sensoranordnung 122 auszugehen.
  • Die Steuerung 126 verarbeitet und analysiert die von den Kameras 102 bereitgestellten Bilder über die Kommunikationsverbindung 109 (und in einigen Ausführungsformen auch vom Sender-Empfänger 124) sowie die von den Sensoren der Sensoranordnung 122 bereitgestellten Daten. Die Steuerung verwendet die Bilder und Daten bei der Analyse der Reifen 114, zum Beispiel im Zusammenhang mit dem Verschleiß und dem Zustand der Reifen 114. Ebenso steuert die Steuerung 126 in verschiedenen Ausführungsformen andere Aspekte der Darstellung von Bildern, die mit der Kamera 102 auf einem oder mehreren Anzeigen 106 des Fahrzeugs 100 verbunden sind (z. B. durch Verarbeiten und Zuschneiden der Bilder und so weiter, und durch das Bereitstellen von Benachrichtigungen, wie beispielsweise auf der Anzeige 106, im Zusammenhang mit der Analyse der Reifen 114). In verschiedenen Ausführungsformen stellt die Steuerung 126 diese und weitere Funktionen entsprechend den nachfolgend aufgeführten Schritten bereit, die weiter unten in Verbindung mit den schematischen Zeichnungen des Fahrzeugs 100 in 1 und den zusätzlichen Zeichnungen der 3-5 in Verbindung mit den Prozessen 200, 400 erläutert werden).
  • In einer Ausführungsform ist die Steuerung 126 mit der Kamera 102, der Anzeige 106, der Sensoranordnung 122 und dem Sendeempfänger 124 gekoppelt. Ebenso ist in der dargestellten Ausführungsform die Steuerung 126 innerhalb des Steuerungssystems 108 innerhalb des Fahrzeugs 100 angeordnet. In bestimmten Ausführungsformen kann die Steuerung 126 (und/oder Komponenten davon, wie beispielsweise der Prozessor 142 und/oder andere Komponenten) Teil der Kamera 102 sein, die innerhalb der Kamera 102 und/oder in der Nähe der Kamera 102 angeordnet ist. Ebenso kann die Steuerung 126 in bestimmten Ausführungsformen an einer oder mehreren anderen Stellen des Fahrzeugs 100 angeordnet sein. Zusätzlich können in bestimmten Ausführungsformen, neben anderen möglichen Variationen, mehrere Steuerungen 126 verwendet werden (z. B. eine Steuerung 126 innerhalb des Fahrzeugs 100 und eine weitere Steuerung innerhalb der Kamera 102). Darüber hinaus kann die Steuerung in bestimmten Ausführungsformen außerhalb des Fahrzeugs platziert werden, beispielsweise in einem Remote-Server, in der Cloud oder auf einer entfernten intelligenten Vorrichtung.
  • Wie in 1 dargestellt, umfasst die Steuerung 126 ein Computersystem. In bestimmten Ausführungsformen kann die Steuerung 126 auch einen oder mehrere Sensoren der Sensoranordnung 122, den Sendeempfänger 124 und/oder Komponenten davon, die Kamera 102 und/oder Komponenten davon, einen oder mehrere Anzeigen 106 und/oder Komponenten davon und/oder ein oder mehrere andere Vorrichtungen und/oder Systeme und/oder Komponenten davon beinhalten. Darüber hinaus ist zu erkennen, dass sich die Steuerung 126 ansonsten von der Ausführungsform, die in 1 dargestellt ist, unterscheiden kann. So kann beispielsweise die Steuerung 126 mit einem oder mehreren Ferncomputersystemen und/oder anderen Steuerungssystemen gekoppelt sein oder diese anderweitig verwenden, z. B. als Teil eines oder mehrerer der vorstehend genannten Vorrichtungen und Systeme des Fahrzeugs 100.
  • In der abgebildeten Ausführungsform beinhaltet das Computersystem der Steuerung 126 einen Prozessor 142, einen Speicher 144, eine Schnittstelle 146, eine Speichervorrichtung 148 und einen Bus 150. Der Prozessor 142 führt die Rechen- und Steuerfunktionen der Steuerung 126 aus und kann jede Art von Prozessor oder mehrere Prozessoren, einzelne integrierte Schaltkreise wie beispielsweise einen Mikroprozessor oder jegliche geeignete Anzahl integrierter Schaltkreisvorrichtungen und/oder Leiterplatten umfassen, die zusammenwirken, um die Funktionen einer Verarbeitungseinheit auszuführen. Während des Betriebs führt der Prozessor 142 ein oder mehrere Programme 152 aus, die im Speicher 144 enthalten sind, und steuert als solches den allgemeinen Betrieb der Steuerung 126 und das Computersystem der Steuerung 126 generell durch Ausführen des hierin beschriebenen Prozesses, wie die Prozesse 200, 400, die nachstehend beschrieben werden in Verbindung mit den 2-5.
  • Der Speicher 144 kann jeder Typ eines geeigneten Speichers sein. So kann beispielsweise der Speicher 144 verschiedene Typen von dynamischem Random Access Memory (DRAM), wie SDRAM, verschiedene Typen von statischem RAM (SRAM) und die verschiedenen Permanentspeichertypen (PROM, EPROM und Flash), beinhalten. Bei bestimmten Beispielen befindet sich der Speicher 144 auf dem gleichen Computerchip wie der Prozessor 142 und/oder ist ortsgleich damit angeordnet. In der dargestellten Ausführungsform speichert der Speicher 144 das vorgenannte Programm 152 gemeinsam mit einem oder mehreren gespeicherten Werten 154 (z. B. bekannte Muster und/oder Eigenschaften der Reifenlauffläche, Reifenspuren und/oder andere Merkmale im Zusammenhang mit den Reifen unter verschiedenen Bedingungen und Zuständen von Alter, Zustand und Reparatur).
  • Der Bus 150 dient zur Übertragung von Programmen, Daten, Status und anderen Informationen oder Signalen zwischen den verschiedenen Komponenten des Computersystems der Steuerung 126. Die Schnittstelle 146 ermöglicht die Kommunikation mit dem Computersystem der Steuerung 126, beispielsweise von einem Systemtreiber und/oder einem anderen Computersystem, und kann unter Verwendung eines geeigneten Verfahrens und einer geeigneten Vorrichtung umgesetzt werden. In einer Ausführungsform erhält die Schnittstelle 146 die verschiedenen Daten von den Sensoren der Sensoranordnung 122 und/oder dem Sendeempfänger 124. Die Schnittstelle 146 kann eine oder mehrere Netzwerkschnittstellen beinhalten, um mit anderen Systemen oder Komponenten zu kommunizieren. Die Schnittstelle 146 kann zudem eine oder mehrere Netzwerkschnittstelle(n) für die Kommunikation mit Technikern und/oder eine oder mehrere Speicherschnittstellen für die Verbindung mit Speichervorrichtungen (wie z. B. Speichergerät 148) beinhalten.
  • Bei dem Speichergerät 148 kann es sich um jegliche geeignete Art von Speichervorrichtung, darunter auch um Direktzugriffsspeichergeräte, wie z. B. Festplattenlaufwerke, Flashsysteme, Diskettenlaufwerke und optische Speicherplatten, handeln. In einer exemplarischen Ausführungsform umfasst die Speichervorrichtung 148 ein Programmprodukt, von dem der Speicher 144 ein Programm 152 empfangen kann, das eine oder mehrere Ausführungsformen von einem oder mehreren Prozessen der vorliegenden Offenbarung ausführt, wie die Schritte der Prozesse 200, 400 (und aller Unterverfahren derselben), im Folgenden beschrieben in Bezug auf die 2-5. In einer weiteren exemplarischen Ausführungsform kann das Programmprodukt direkt in dem Speicher 144 und/oder auf einer Speicherplatte (z. B. Speicherplatte 156) gespeichert sein und darauf zugegriffen werden, wie im Folgenden erläutert. In bestimmten Ausführungsformen kann das Speichern auch aus der Ferne erfolgen, zum Beispiel durch eine Cloud-Speicherung, beispielsweise über Telematik, Assistenz und/oder andere Dienste.
  • Der Bus 150 kann aus allen zur Verbindung von Computersystemen und Komponenten geeigneten physischen oder logischen Mitteln bestehen. Dies schließt ohne Einschränkung auch direkt verdrahtete Verbindungen, Faseroptik, sowie Infrarot- und Drahtlosbustechnologien ein. Während des Betriebs wird das Programm 152 im Speicher 144 abgelegt und vom Prozessor 142 ausgeführt.
  • Obwohl diese exemplarische Ausführungsform im Kontext eines voll funktionierenden Computersystems beschrieben wird, versteht es sich, dass Fachleute auf diesem Gebiet erkennen werden, dass die Mechanismen der vorliegenden Offenbarung als ein Programmprodukt mit einer oder mehreren Arten von nicht flüchtigen computerlesbaren Signalträgermedien verbreitet werden können, die dazu dienen, das Programm und die zugehörigen Befehle zu speichern und deren Verbreitung auszuführen, z. B. ein nichtflüchtiges computerlesbares Medium, welches das Programm und Computerbefehle enthält, die darin gespeichert sind, um einen Computerprozessor (wie den Prozessor 142) zu veranlassen, das Programm auszuführen. Ein derartiges Programmprodukt kann vielerlei Formen annehmen, wobei die vorliegende Offenbarung in gleicher Weise, unabhängig von der spezifischen für die Verbreitung verwendeten Art von computerlesbarem Signalträgermedium, Anwendung findet. Zu den Beispielen für Signalträgermedien gehören: beschreibbare Medien, wie z. B. Disketten, Festplatten, Speicherkarten und optische Speicherplatten, sowie Übertragungsmedien, wie z. B. digitale und analoge Kommunikationsverbindungen. Es versteht sich, dass cloudbasierte Speicherung und/oder andere Techniken in bestimmten Ausführungsformen auch zur Anwendung kommen können. Ebenso versteht es sich, dass das Computersystem der Steuerung 126 sich auch anderweitig von der in 1 dargestellten Ausführungsform unterscheiden kann, beispielsweise darin, dass das Computersystem der Steuerung 126 mit einem oder mehreren Ferncomputersystemen und/oder anderen Steuerungssystemen verbunden sein oder diese anderweitig nutzen kann.
  • 2 ist ein Flussdiagramm eines Prozesses 200 zum Analysieren von Reifen eines Fahrzeugs unter Verwendung von Kamerabildern der Reifen gemäß einer exemplarischen Ausführungsform. Der Prozess 200 kann in Verbindung mit dem Fahrzeug 100, den Reifen 114, den Kameras 102 und dem Steuerungssystem 208 von 1 gemäß einer exemplarischen Ausführungsform implementiert werden. In einer Ausführungsform beginnt der Prozess 200, wenn ein Fahr- oder Zündzyklus eines Fahrzeugs beginnt, (wenn sich beispielsweise ein Fahrer dem Fahrzeug nähert oder in das Fahrzeug eintritt oder wenn der Fahrer das Fahrzeug einschaltet und/oder eine Zündung dafür betätigt z. B. durch Betätigen eines Schlüssels mit einer Schlüsselanhänger- oder Starttaste usw.), und setzt sich während der gesamten Dauer des Fahrzeugantriebs oder des Zündzyklus fort. Der Prozess 200 wird im Folgenden auch in Verbindung mit 3 erläutert, der Darstellungen für exemplarische Vergleiche der Reifen 114 des Fahrzeugs 100 in Übereinstimmung mit dem Prozess 200 gemäß einer exemplarischen Ausführungsform bietet.
  • Wie in 2 abgebildet, werden in einer Ausführungsform Daten mit 202 erhalten. In bestimmten Ausführungsformen werden die Daten über eine Nachricht entlang einer Kommunikationsverbindung, wie beispielsweise der Kommunikationsverbindung 109 von 1, und/oder über einen CAN-Bus erhalten. In bestimmten Ausführungsformen können die Daten aus beliebig vielen Quellen bezogen werden, zum Beispiel über den Sender-Empfänger 124 von 1. In verschiedenen Ausführungsformen beinhalten die Daten verschiedene Daten bezüglich des Betriebs des Fahrzeugs 100, wie beispielsweise Lenkwinkel, Raddrehzahl usw., wie sie beispielsweise über entsprechende Sensoren der Sensoranordnung 122 von 1 erhalten werden. In verschiedenen Ausführungsformen können auch bei 202 verschiedene andere Typen von Fahrzeugsensordaten erhalten werden, wie beispielsweise im Zusammenhang mit einem Lenkrad, der Ausrichtung des Rades 101, einer möglichen Fehlausrichtung und so weiter.
  • Bei 204 wird bestimmt, ob das Fahrzeug 100 eine scharfe Kurve mit geringer Geschwindigkeit fährt. Dieses Ermitteln umfasst in verschiedenen Ausführungsformen ein Ermitteln über den Prozessor 142 von 1, ob das Fahrzeug 100 bei einer Geschwindigkeit, die kleiner als ein zweiter Schwellenwert ist, eine Drehung mit einem Drehwinkel vornimmt, der größer ist als ein erster Schwellenwert (ein Lenkwinkelschwellenwert), basierend auf den bei 202 erhaltenen Daten (z. B. von den Lenkwinkelsensoren 134 und den Geschwindigkeitssensoren 133 von 1). In bestimmten Ausführungsformen ist der erste Schwellenwert (Lenkwinkel) ein Drehwinkel, der außerhalb dieses Winkels die volle oder die meisten (z. B. 3/4) Reifenlaufflächenbreite im Kamerablickfeld (FOV) freilegt, sodass das Reifenlaufflächenprofil über die gesamte Laufflächenbreite analysiert werden kann. Ebenso ist der zweite Schwellenwert (Geschwindigkeitsschwellenwert) in bestimmten Ausführungsformen ein Geschwindigkeitswert (z. B. 5 MPH), sodass das Fahrzeug 100 unterhalb dieser Geschwindigkeit sein muss, um ein klares Bild der Reifenlauffläche zu erhalten. Andernfalls kann es bei höherer Geschwindigkeit zu Unschärfen (Bewegungsunschärfe) kommen, da sich der Reifen schnell bewegt.
  • Wenn bei 204 bestimmt wird, dass das Fahrzeug 100 nicht mit niedriger Geschwindigkeit und eine scharfe Kurve fährt, dann werden bei 206 die Kamerabilder in Bezug auf die Reifen nicht verwendet. In bestimmten Ausführungsformen werden die Kamerabilder verworfen oder nicht aufgezeichnet, und zwar über Anweisungen des Prozessors 142 von 1. In bestimmten Ausführungsformen können für einen Benutzer des Fahrzeugs 100 in bestimmten Situationen (z. B. als Teil eines Rückfahrkamerasystems oder eines anderen Systems usw.) Kamerabilder auf der Anzeige 106 im Inneren des Fahrzeugs 100 bereitgestellt werden. In verschiedenen Ausführungsformen werden Kamerabilder jedoch nicht zum Analysieren der Reifen 114 bei 206 verwendet. Ebenso kehrt der Prozess 200 in verschiedenen Ausführungsformen zu 202 im Anschluss an 206 zurück.
  • Umgekehrt, wenn bei 204 bestimmt wird, dass das Fahrzeug 100 eine langsame, scharfe Wendung durchführt, dann werden bei 208 Kamerabilder von einer oder mehreren Kameras 102 aus 1 erhalten. In verschiedenen Ausführungsformen werden Kamerabilder von Seitenkameras 102 des Fahrzeugs 100 (z. B. montiert auf oder in der Nähe der Seitenspiegel 105 von 1) dem Prozessor 142 von 1 gemäß den Anweisungen des Prozessors 142 bereitgestellt.
  • In bestimmten Ausführungsformen wird für die jeweilige Seitenkamera 102 bestimmt, ob sich die jeweilige Seitenkamera 102 auf der Wendeseite des Fahrzeugs 100 befindet. In einer Ausführungsform, wenn sich zum Beispiel eine Seitenkamera 102 auf der linken Seite des Fahrzeugs 100 (z. B. der Fahrerseite des Fahrzeugs 100, für ein Fahrzeug 100 in den Vereinigten Staaten) befindet, gilt dies als auf der Wendeseite des Fahrzeugs 100, wenn das Fahrzeug nach links abbiegt, wenn die Bildverarbeitung an einer Seitenwand des Reifens 114 durchgeführt wird (zur Laufflächenerkennung für den Reifen 114 ist die Wendeseite für die Kamera 102 in einer Ausführungsform umgekehrt). Gleichermaßen, auch in einer Ausführungsform, wenn sich zum Beispiel eine Seitenkamera 102 auf der rechten Seite des Fahrzeugs 100 (z. B. der Beifahrerseite des Fahrzeugs 100, für ein Fahrzeug 100 in den Vereinigten Staaten) befindet, gilt dies als auf der Wendeseite des Fahrzeugs 100, wenn das Fahrzeug nach rechts abbiegt, wenn die Bildverarbeitung an einer Seitenwand des Reifens 114 durchgeführt wird (zur Laufflächenerkennung für den Reifen 114 ist die Wendeseite für die Kamera 102 in einer Ausführungsform). Ebenso wird in einer Ausführungsform diese Bestimmung durch den Prozessor 142 von 1 vorgenommen.
  • Wenn für jede entsprechende Seitenkamera 102 bei 210 bestimmt ist, dass sich die jeweilige Seitenkamera 102 auf der Wendeseite befindet (z. B. dass die jeweilige Seitenkamera 102 eine „schwenkbare Seitenkamera“ ist), dann ist für die Bilder der jeweiligen schwenkbaren Seitenkamera eine Vorverarbeitung bei 212 vorgesehen. In bestimmten Ausführungsformen stellt der Prozessor 142 im Verlauf von 212 die Glättung der Kamerabilder bereit. Ebenso beinhaltet die Vorverarbeitung in bestimmten Ausführungsformen auch Bildverzerrungskorrekturen (z. B. sind Rundumsichtkameras oft Fischeye-Kameras, die Verzerrungen aufweisen können) und Bildverbesserungen, neben anderen möglichen Vorverarbeitungsschritten).
  • Zusätzlich werden bei 214 Kamerabilder von der jeweiligen Schwenkseitenkamera für die Seitenwand eines jeweiligen Reifens 114 mit Blick auf die entsprechende schwenkbare Seitenkamera zur Verfügung gestellt (z. B. in einer Ausführungsform ein Vorderreifen 114 auf der gleichen Seite des Fahrzeugs 100 wie die entsprechende Schwenkseitenkamera), und die Merkmalspunkterkennung erfolgt über die jeweilige schwenkbare Seitenkamera und den Prozessor 142. In bestimmten Ausführungsformen ist dieser Teil dazu gedacht, z. B. die Merkmalspunkteerkennung und -anpassung zu nutzen, um zu ermitteln, welchen Teil der Reifenlauffläche oder der Seitenwand wir im aktuellen Rahmen betrachten.
  • Ebenso wird bei bestimmten Ausführungsformen eine Schätzung eines Winkels bei 216 vorgenommen, bei dem sich der jeweilige Reifen 114 gedreht hat. In verschiedenen Ausführungsformen wird die Schätzung des Winkels bei 216 durch den Prozessor 142 basierend auf den Daten von 202, die über die Lenkwinkelsensoren 134 bereitgestellt werden, vorgenommen. Die Bilder, Daten und Informationen von 212-216 werden dann für die Reifenmusteranalyse bei 218 verwendet, die im Folgenden beschrieben wird.
  • Unter erneuter Bezugnahme auf 202, wenn für jede entsprechende Seitenkamera 102 bei 210 bestimmt wird, dass sich die jeweilige Seitenkamera 102 nicht auf der Wendeseite befindet (z. B. dass die jeweilige Seitenkamera 102 eine „gegenüberliegende Seitenkamera“ ist), dann ist für die Bilder der jeweils gegenüberliegenden Seitenkamera eine Vorverarbeitung bei 220 vorgesehen. In bestimmten Ausführungsformen, im Verlauf von 220, stellt der Prozessor 142 die Glättung der Kamerabilder sowie die Vorbereitung für die Verwendung eines Gradienten und Histogramms der Werte für die Kamerabilder bereit. Darüber hinaus ist in bestimmten Ausführungsformen eine Bildverbesserung, wie z. B. Histogrammausgleich, für die Kamerabilder vorgesehen. Darüber hinaus werden bei 222 Kamerabilder von der jeweils gegenüberliegenden Seitenkamera für die Lauffläche eines jeweiligen Reifens 114 im Hinblick auf die jeweils gegenüberliegende Seitenkamera (z. B. in einer Ausführungsform ein Vorderreifen 114 auf der gleichen Fahrzeugseite 100 wie die jeweils gegenüberliegende Seitenkamera) bereitgestellt und eine Bildanalyse hinsichtlich des Bildes und der Reifenlauffläche vom Bild durchgeführt. In verschiedenen Ausführungsformen wird die Bildanalyse vom Prozessor 142 durchgeführt. Die Bilder, Daten und Informationen von 220 und 222 werden dann für die Reifenmusteranalyse bei 218 verwendet, die im Folgenden beschrieben wird.
  • Die verschiedenen Bilder, Daten und Informationen von 212-216, 220 und 222 werden für die Reifenanalyse bei 218 verwendet. Insbesondere wird in verschiedenen Ausführungsformen für die Reifen 114 eine Analyse des Reifenprofils und eine Analyse des Seitenwandmusters durchgeführt. In bestimmten Ausführungsformen führt der Prozessor 142 eine Seitenwandmusteranalyse für jeden einzelnen Reifen 114 durch, was zu einem ersten Seitenwandmuster für den jeweiligen Reifen 114 führt, basierend auf den Bildern, Daten und Informationen von 212-216, basierend auf den Bildern, die über die schwenkbaren Seitenkameras erhalten wurden. Ebenso führt der Prozessor 142 in bestimmten Ausführungsformen eine Reifenprofilanalyse für jeden einzelnen Reifen 114 durch, was zu einem ersten Reifenprofil für den jeweiligen Reifen 114 führt, basierend auf den Bildern, Daten und Informationen von 220 und 222, basierend auf den Bildern, die über die gegenüberliegenden Seitenkameras erhalten wurden. In bestimmten Ausführungsformen werden die ersten Seitenwandmuster und die ersten Laufflächenmuster für die jeweiligen Reifen 114 unter Verwendung eines Histogramms von gerichteten Gradienten (HoG)-Werten erzeugt. In weiteren Ausführungsformen werden die ersten Seitenwandmuster und die ersten Laufflächenmuster für die jeweiligen Reifen 114 unter Verwendung von maschinellem Lernen oder tiefem Lernen durch ein faltendes neurales Netzwerkmodell und/oder durch eine oder mehrere andere Techniken erzeugt. In bestimmten Ausführungsformen werden andere Arten von Sensordaten in Verbindung mit der Reifenanalyse verwendet, wie beispielsweise die Analyse, die sich auf ein Lenkrad, die Ausrichtung des Rades 101, mögliche Fehlausrichtung usw. bezieht (z. B. die Verwendung von Daten, die das Lenkrad betreffen, während das Fahrzeug 100 auf einer geraden Straße gefahren wird) - zum Beispiel, kann in bestimmten Ausführungsformen das Erkennen von Fahrzeugzustandsproblemen, die derartige Fahrzeugsensordaten verwenden, dazu verwendet werden, Prioritäten zu setzen, welche Bildverarbeitungsalgorithmen ausgeführt werden und/oder welche Bildverarbeitungsalgorithmen mit einer größeren Anzahl von Acht und so weiter bereitgestellt werden können (z. B. da eine Fehlausrichtung bestimmte Profilmuster verursachen kann usw.).
  • Eine historische Datenbank mit Reifenprofilen und Seitenwandmustern wird bei 224 verwendet. Insbesondere wird in bestimmten Ausführungsformen das erste Laufflächenprofil von 218 mit einem oder mehreren bekannten Laufflächenmustern (z. B. zweite Laufflächenmuster) von Eigenreifen oder anderen Reifen mit einem bekannten Alter und Zustand (z. B. neue Reifen oder Reifen mit einem anderen bekannten Alter, Laufleistung, Verschleiß, Druck, Zustand usw.) aus der historischen Datenbank verglichen. Ebenso wird in bestimmten Ausführungsformen das erste Seitenwandmuster von 218 mit einem oder mehreren bekannten Seitenwandmustern (z. B. zweite Seitenwandmuster) von Eigenreifen oder anderen Reifen mit bekanntem Alter und Zustand (z. B. neue Reifen sowie Reifen in anderen vordefinierten Zuständen in Bezug auf Alter, Nutzung und Zustand, in bestimmten Ausführungsformen) aus der historischen Datenbank verglichen. In bestimmten Ausführungsformen stellt der Prozessor 142 die Vergleiche von 224 bereit und aktualisiert auch die historische Datenbank, um das erste Laufflächenprofil und das erste Seitenwandmuster von 218 vom Fahrzeug 100 aufzunehmen und die historische Datenbank zu aktualisieren, um diese Informationen aufzunehmen. In bestimmten Ausführungsformen kann sich die historische Datenbank auf dem Fahrzeug 100 befinden, zum Beispiel als Teil der gespeicherten Werte 154 des Speichers 144 von 1. In weiteren Ausführungsformen kann die historische Datenbank vom Fahrzeug 100 entfernt gespeichert werden, zum Beispiel über einen Remote-Server, und das Leitsystem 108 kann über den Sender-Empfänger 124 mit dem Remote-Server verbunden sein, zum Beispiel über ein oder mehrere drahtlose Netzwerke. Darüber hinaus können in bestimmten Ausführungsformen Fahrzeugbewegungen und -messungen verwendet werden, um die Art des Problems vorab zu ermitteln, z. B. wenn das Fahrzeug nach links oder rechts zieht, was auf eine Fehlausrichtung hinweist, und so weiter.
  • Es werden Bestimmungen in Bezug auf die Reifen bei 226 vorgenommen. Insbesondere nimmt der Prozessor 142 in bestimmten Ausführungsformen Bestimmungen über den Verschleiß der Reifen 114 des Fahrzeugs 100 der 1 vor, basierend auf einem Vergleich des ersten Laufflächenprofils und des ersten Seitenwandmusters von 218 mit den entsprechenden Laufflächenmustern und Seitenwandmustern der historischen Datenbank, für ein Ermitteln des Verschleißes der Reifen und/oder für andere Zustandsgrößen der Reifen (z. B. Aufblähung, Ausrichtung, Löcher oder andere Mängel usw.).
  • Als Beispiel zeigt 3 illustrative Laufflächenmuster für die jeweiligen Reifen gemäß einer exemplarischen Ausführungsform. Wie in 3 abgebildet, stellt ein erster Reifen 310 einen abgenutzten Reifen dar, mit einem entsprechenden ersten Profilbild 320. Das erste Profilbild 320 zeigt die Profilmarkierungen 322 und das Histogramm der gerichteten Gradienten (HoG)-Werte in verschiedenen Bereichen 324 in Bezug auf einen abgenutzten Reifen. In einer Ausführungsform stellt der erste Reifen 310 einen oder mehrere der Reifen 114 des Fahrzeugs 100 von 1 dar, mit einem zugehörigen ersten Laufflächenprofil von 218.
  • Wie ebenfalls in 3 abgebildet, stellt ein zweiter Reifen 330 einen neuen Reifen dar, mit einem entsprechenden zweiten Profilbild 340. Das zweite Profilbild 340 zeigt die Profilmarkierungen 342 und die Bereiche 344, die die HoG-Werte in Bezug auf einen neuen Reifen. In einer Ausführungsform stellt der zweite Reifen 330 einen oder mehrere der Reifen mit Mustern dar, die der historischen Datenbank von 224 zugeordnet sind.
  • Unter erneuter Bezugnahme auf 2 vergleicht der Prozessor 142 bei 226 in bestimmten Ausführungsformen das erste Profilmuster von 218 (z. B. entsprechend dem ersten Profilbild 320 von 3) mit einem bekannten Profilmuster von 224 aus der historischen Datenbank (z. B. entsprechend dem zweiten Profilbild 340 von 3). In verschiedenen Ausführungsformen können Verschleißwerte (und/oder andere Reifenzustandswerte, wie vorstehend erwähnt) durch einen Vergleich zwischen dem ersten Reifenprofil von 218 und dem bekannten, neuen Reifenprofil aus der historischen Datenbank bestimmt werden (und/oder mit anderen bekannten Profilen der historischen Datenbank, z. B. entsprechend anderen bekannten Verschleißwerten und/oder Zustandswerten, wie Alter, Druck und/oder Laufleistung), z. B. über Gradienten/Histogramme von Wertvergleichen, tiefem Lernen mit neuronalen Netzwerkmodellen usw. Ebenso können in verschiedenen Ausführungsformen Verschleißwerte und/oder andere Zustandswerte ermittelt werden, indem die ersten Seitenwandmuster von 218 mit bekannten Seitenwandmustern (z. B. bei neuen Reifen und/oder anderen Reifen mit anderem bekannten Alter, Laufleistung, Verschleiß und/oder anderen Zustandswerten) der historischen Datenbank verglichen werden. Darüber hinaus können in bestimmten Ausführungsformen derartige Werte (z. B. Verschleißwerte und/oder andere Zustandswerte) auch mit den protokollierten historischen Werten des gleichen Reifens (oder anderer Reifen in der Vorder-/Hinterachse des Fahrzeugs) verglichen werden, wenn er eher neu war.
  • Darüber hinaus wird bei bestimmten Ausführungsformen eine weitere Diagnose bei 228 basierend auf den analysierten Reifenverschleiß-/Reifendaten von 226 durchgeführt. Der Prozessor 142 diagnostiziert beispielsweise in bestimmten Ausführungsformen mögliche Probleme im Zusammenhang mit den Reifen, wie beispielsweise mögliche Abnutzung, Aufblähung, Fehlausrichtung, Löcher, andere Mängel und so weiter. Der Prozessor 142 diagnostiziert ebenfalls in bestimmten Ausführungsformen mögliche Probleme in Bezug auf andere Fahrzeugsysteme, die durch Reifenprobleme verursacht und/oder beeinflusst werden könnten, wie beispielsweise das Federungssystem oder die Fehlausrichtung des Rades 101 des Fahrzeugs 100, und so weiter. In bestimmten Ausführungsformen werden in Verbindung mit der Reifenanalyse andere Arten von Sensordaten verwendet, wie beispielsweise die Analyse, die sich auf ein Lenkrad, die Ausrichtung des Rades 101, mögliche Fehlausrichtung usw. bezieht (z. B. Nutzung der Daten des Lenkrads, während das Fahrzeug 100 auf gerader Strecke gefahren wird) - zum Beispiel beim korrelierenden Erkennen von derartigen Fahrzeugzustandsproblemen als Teil der weiteren Diagnose.
  • Bei 230 wird bestimmt, ob eine Warnung, Benachrichtigung oder eine andere Maßnahme gerechtfertigt ist. In bestimmten Ausführungsformen bestimmt der Prozessor 142 basierend auf den Informationen von 226 und 228, ob eine derartige Warnung, Benachrichtigung oder eine andere Maßnahme aufgrund der Schwere eines Reifens oder eines anderen Fahrzeugsystems zweckmäßig sein kann und/oder ob eine Abhilfemaßnahme angemessen sein kann (z. B. das Aufpumpen der Reifen, das Drehen der Reifen, das Wechseln der Reifen, das Ausrichten des Rades 101 usw.). Es wird darauf hingewiesen, dass in bestimmten Ausführungsformen und in bestimmten Fahrzeugen ein Druckwächter ebenfalls eine Warnung zum Aufpumpen der Reifen bereitstellen kann, jedoch nicht unbedingt für die anderen Probleme.
  • Wenn bei 230 bestimmt wird, dass eine derartige Warnung, Benachrichtigung oder andere Maßnahme gerechtfertigt ist, dann wird diese Warnung, Benachrichtigung oder Maßnahme bei 232 bereitgestellt. In bestimmten Ausführungsformen werden eine oder mehrere Benachrichtigungen oder Warnungen über Anweisungen des Prozessors 142 bei 232 bereitgestellt. Bei bestimmten Ausführungsformen erfolgt eine akustische Benachrichtigung innerhalb des Fahrzeugs 100. Ebenso wird in bestimmten Ausführungsformen eine visuelle Benachrichtigung, z. B. über eine Anzeige 106 von 1 innerhalb des Fahrzeugs 100 (z. B. auf einem Armaturenbrett, Steuertafel, Navigationssystem, Rückspiegel oder dergleichen), bereitgestellt. Darüber hinaus kann in bestimmten Ausführungsformen eine elektronische Benachrichtigung an einen Eigentümer, Betreiber oder Betreiber des Fahrzeugs 100 erfolgen, beispielsweise per E-Mail, SMS oder dergleichen. In bestimmten Ausführungsformen kehrt der Prozess dann zu 202 zurück.
  • Umgekehrt, wenn bei 230 bestimmt wird, dass eine derartige Warnung, Benachrichtigung oder andere Maßnahme nicht gerechtfertigt ist, dann kehrt der Prozess zu 202 zurück, ohne eine Warnung, Benachrichtigung oder Maßnahme bereitzustellen.
  • 4 ist ein Flussdiagramm eines Prozesses 400 zum Analysieren von Reifen eines Fahrzeugs unter Verwendung von Kamerabildern von Reifenspuren gemäß einer exemplarischen Ausführungsform. Der Prozess 400 kann in Verbindung mit dem Fahrzeug 100, den Reifen 114, den Kameras 102 und dem Steuerungssystem 208 von 1 gemäß einer exemplarischen Ausführungsform implementiert werden. In einer Ausführungsform beginnt der Prozess 400, wenn ein Fahr- oder Zündzyklus eines Fahrzeugs beginnt, (wenn sich beispielsweise ein Fahrer dem Fahrzeug nähert oder in das Fahrzeug eintritt oder wenn der Fahrer das Fahrzeug einschaltet und/oder eine Zündung dafür betätigt z. B. durch Betätigen eines Schlüssels mit einer Schlüsselanhänger- oder Starttaste usw.), und setzt sich während der Dauer des Fahrzeugantriebs oder des Zündzyklus fort. Der Prozess 400 wird im Folgenden auch in Verbindung mit 5 erläutert, der Darstellungen für exemplarische Vergleiche der Reifen 114 des Fahrzeugs 100 in Übereinstimmung mit dem Prozess 400 gemäß einer exemplarischen Ausführungsform bietet.
  • Wie in 4 abgebildet, werden in einer Ausführungsform erste Daten bei 402 erhalten. In bestimmten Ausführungsformen umfassen die ersten Daten auch Daten, die im Zusammenhang mit der Oberfläche und dem Zustand eines Weges oder einer Straße (im Folgenden zusammenfassend als Straße bezeichnet) erhalten werden. In bestimmten Ausführungsformen werden die ersten Daten von einer oder mehreren der Kameras 102 von 1 erhalten, zum Beispiel über die Kommunikationsverbindung 109 von 1. In bestimmten Ausführungsformen können die ersten Daten auch über eine oder mehrere entfernte Quellen erhalten werden, zum Beispiel von einem Wetterdienst, wie beispielsweise einem Wetterdienstbericht, der über den Sender-Empfänger 124 von 1 empfangen wird. Außerdem kann der Straßentyp aus Karteninformationen entnommen werden, z. B. unbefestigte Straße, Schotterstraße usw.
  • Bei 404 wird eine Bestimmung über den Zustand der Straße vorgenommen. In verschiedenen Ausführungsformen wird der Zustand der Straße durch den Prozessor 142 von 1 unter Verwendung der ersten Daten von 402 bestimmt. Ebenso umfasst der Zustand der Straße in bestimmten Ausführungsformen, ob eine Fahrbahnoberfläche trocken ist, oder ob die Fahrbahnoberfläche nass ist, oder ob sie von Schnee, Sand, Schlamm oder ähnlichem bedeckt ist.
  • Wenn bei 404 bestimmt wird, dass der Straßenzustand trocken ist, dann werden bei 406 die Kamerabilder, die zum Erkennen von Reifenspuren verwendet werden, nicht in Bezug auf die Reifen verwendet. In bestimmten Ausführungsformen werden die Kamerabilder verworfen oder nicht aufgezeichnet, und zwar durch Anweisungen des Prozessors 142 von 1. In bestimmten Ausführungsformen können für einen Benutzer des Fahrzeugs 100 in bestimmten Situationen (z. B. als Teil eines Rückfahrkamerasystems oder eines anderen Systems usw.) Kamerabilder auf der Anzeige 106 im Inneren des Fahrzeugs 100 bereitgestellt werden. In verschiedenen Ausführungsformen werden Kamerabilder jedoch nicht zum Analysieren der Reifen 114 bei 406 verwendet. Ebenso kehrt der Prozess 400 in verschiedenen Ausführungsformen zu 402 im Anschluss an 406 zurück. In bestimmten Ausführungsformen funktioniert das zweite Verfahren am besten, wenn die Straße nicht trocken ist, sodass der Reifen 114 einen Reifenabdruck (oder „Fußabdruck“) auf der Oberfläche hinterlassen kann (z. B. auf Neuschnee, Sand oder Schlamm).
  • Wird umgekehrt bei 404 bestimmt, dass der Straßenzustand nicht trocken ist (und z. B. eine Oberfläche mit Schnee, Sand, Schlamm o.ä. bedeckt ist), dann wird der Prozess bei 410 fortgesetzt, wie im Folgenden weiter beschrieben ist.
  • Darüber hinaus werden in bestimmten Ausführungsformen zweite Daten bei 408 erhalten. In verschiedenen Ausführungsformen beinhalten die zweiten Daten von 408 Daten zum Betrieb des Fahrzeugs 100, wie beispielsweise ein ausgewählter Gang oder Getriebezustand (z. B. Fahren, Parken, Rückwärtsgang, Leerlauf), einen Lenkwinkel, eine Raddrehzahl und/oder Fahrzeuggeschwindigkeit usw., wie sie zum Beispiel über entsprechende Sensoren der Sensoranordnung 122 von 1 erhalten werden.
  • Bei 410 wird bestimmt, ob sich das Fahrzeug 100 in einem Rückwärtsgang befindet. In bestimmten Ausführungsformen erfolgt diese Bestimmung durch den Prozessor 142 von 1 unter Verwendung der zweiten Daten von 408 (z. B. dem gewählten Gang, wie er über den Gangwahlsensor 132 von 1 erfasst wird).
  • Wenn bestimmt wird, dass sich das Fahrzeug 100 im Rückwärtsgang befindet, dann werden bei 412 Kamerabilder der Reifenspuren von einer oder mehreren Frontkameras 102 des Fahrzeugs 100 erhalten. Insbesondere werden in bestimmten Ausführungsformen Kameras 102 auf oder in der Nähe der Vorderseite des Fahrzeugs 100 (z. B. die vordere Blende 103 von 1) verwendet, um Bilder von Reifenspuren vor dem Fahrzeug 100 zu erzeugen, zum Beispiel von Vorderreifen 114 des Fahrzeugs 100. In bestimmten Ausführungsformen werden weitere Daten aus den zweiten Daten von 408 gemäß den Anweisungen des Prozessors 142 zum Identifizieren der Reifenspuren des Fahrzeugs 100 verwendet (z. B. wird in einer Ausführungsform ein Lenkwinkel verwendet, um eine Position der Reifenspuren zu identifizieren usw.). Der Prozess fährt daraufhin mit Schritt 416 fort, der unten näher erläutert wird.
  • Umgekehrt, wenn bestimmt wird, dass sich das Fahrzeug 100 in einem Vorwärtsfahrmodus befindet oder sich in einem Stillstand gegenüber der vorherigen Fahrt befindet (z. B. so, dass das Fahrzeug 100 nicht rückwärtsfährt und/oder dass das Fahrzeug 100 vorwärtsfährt und/oder aus der vorherigen Fahrt gestoppt wird), werden bei 414 Kamerabilder der Reifenspuren von einer oder mehreren Rückfahrkameras 102 des Fahrzeugs 100 erhalten. Insbesondere werden in bestimmten Ausführungsformen Kameras 102 auf oder in der Nähe des Fahrzeughecks 100 (z. B. der hintere Teil der Karosserie 110 von 1) verwendet, um Bilder von Reifenspuren hinter dem Fahrzeug 100 zu erzeugen, z. B. von Hinterreifen 114 des Fahrzeugs 100. In bestimmten Ausführungsformen werden weitere Daten aus den zweiten Daten von 408 gemäß den Anweisungen des Prozessors 142 zum Identifizieren der Reifenspuren des Fahrzeugs 100 verwendet (z. B. wird in einer Ausführungsform ein Lenkwinkel verwendet, um eine Position der Reifenspuren zu identifizieren usw.). Der Prozess fährt daraufhin mit Schritt 416 fort, der nachfolgend erläutert wird.
  • Die Bilder von 412 und 414 werden bei 416 vorverarbeitet. In bestimmten Ausführungsformen stellt der Prozessor 142 im Verlauf von 416 für die Kamerabilder eine Glättung, Entzerrung, Transformation und Beschnitt in Bezug auf einen interessierenden Bereich für die Reifenspuren auf den Bildern bereit.
  • Darüber hinaus wird bei 418 eine Bildanalyse bei 222 für die Kamerabilder der Reifenspuren durchgeführt. In verschiedenen Ausführungsformen wird die Bildanalyse in Bezug auf die Bilder der Reifenprofile erstellt und vom Prozessor 142 durchgeführt.
  • Die verschiedenen Bilder, Daten, Informationen und Analyseergebnisse von 412-420 werden für die Reifenprofilanalyse bei 420 verwendet. Insbesondere wird in verschiedenen Ausführungsformen für die Reifen 114 eine Reifenprofilanalyse durchgeführt. Der Prozessor 142 führt in bestimmten Ausführungsformen eine Reifenprofilanalyse für jeden einzelnen Reifen 114 durch, was zu einem ersten Reifenprofil für den jeweiligen Reifen 114 führt, basierend auf den Bildern, Daten und Informationen und Datenanalysen von 412-420, basierend auf den Bildern, die über die Front- und Rückfahrkameras 102 in Bezug auf die Reifenspuren erhalten wurden. In bestimmten Ausführungsformen werden unter Verwendung eines Histogramms von gerichteten Gradientenwerten die ersten Laufflächenmuster für den jeweiligen Reifen 114 erzeugt. In weiteren Ausführungsformen werden die ersten Laufflächenmuster für die jeweiligen Reifen 114 unter Verwendung von maschinellem Lernen oder tiefem Lernen mit einem faltenden neuralen Netzwerkmodell und/oder durch eine oder mehrere andere Techniken erzeugt.
  • Eine historische Datenbank mit Reifenprofilen und Seitenwandmustern wird bei 422 verwendet. Insbesondere wird in bestimmten Ausführungsformen das erste Reifenprofil von 420 mit einem oder mehreren bekannten Profilmustern (z. B. zweite Profilmuster) verglichen, z. B. von einem historischen Bild/Daten des gleichen Reifens 114, als dieser neu war, und/oder von einem oder mehreren anderen Reifen mit bekanntem Alter und Zustand (z. B. neue Reifen oder Reifen mit anderen bekannten Werten für Alter, Laufleistung, Verschleiß, Zustand, Aufblähung usw. in verschiedenen Ausführungsformen) aus der historischen Datenbank. In bestimmten Ausführungsformen stellt der Prozessor 142 die Vergleiche von 422 bereit und aktualisiert auch die historische Datenbank, um das erste Reifenprofil und das erste Seitenwandmuster von 420 vom Fahrzeug 100 aufzunehmen und die historische Datenbank zu aktualisieren, um diese Informationen aufzunehmen. In bestimmten Ausführungsformen kann sich die historische Datenbank auf dem Fahrzeug 100 befinden, zum Beispiel als Teil der gespeicherten Werte 154 des Speichers 144 von 1. In weiteren Ausführungsformen kann die historische Datenbank vom Fahrzeug 100 entfernt gespeichert werden, zum Beispiel über einen Remote-Server, und das Steuerungssystem 108 kann über den Sender-Empfänger 124 mit dem Remote-Server verbunden sein, zum Beispiel über ein oder mehrere drahtlose Netzwerke.
  • Es werden Bestimmungen in Bezug auf die Reifen bei 424 vorgenommen. Insbesondere nimmt der Prozessor 142 in bestimmten Ausführungsformen Bestimmungen über den Verschleiß der Reifen 114 des Fahrzeugs 100 der 1 vor, basierend auf einem Vergleich des ersten Reifenprofils von 420 mit einem oder mehreren Profilen der historischen Datenbank, für ein Ermitteln des Verschleißes der Reifen und/oder für andere Zustandsgrößen der Reifen (z. B. Aufblähung, Ausrichtung, Löcher oder andere Mängel usw.).
  • Als Beispiel zeigt 5 illustrative Laufflächenmuster für die jeweiligen Reifen gemäß einer exemplarischen Ausführungsform. Wie in 5 abgebildet, weist ein erster Reifen 510 ein erstes Profilbild 520 auf, mit Profilmarkierungen 522 und einem Histogramm des gerichteten Gradienten (HoG) 524 in Bezug auf den ersten Reifen 510. Wie auch in 5 abgebildet, weist ein zweiter Reifen 530 ein zweites Profilbild 540 auf, mit den Profilmarkierungen 542 und HoG 544 in Bezug auf ein Histogramm des gerichteten Gradienten in Bezug auf den zweiten Reifen 540. Gemäß bestimmten Ausführungsformen stellt dies ein Beispiel dar, das zeigt, dass zwei Vergleichsreifen (einer neu, der andere teilweise auf der Innenseite abgenutzt) unterschiedliche Profilmuster und unterschiedliche HoG-Werte an abgenutzten und nicht abgenutzten Stellen aufweisen.
  • Unter erneuter Bezugnahme auf 2 vergleicht der Prozessor 142 bei 424 in bestimmten Ausführungsformen das erste Reifenprofil von 420 mit einem oder mehreren bekannten Reifenprofilen von 422 aus der historischen Datenbank. In verschiedenen Ausführungsformen können Verschleißwerte (und/oder andere Reifenzustandswerte, wie vorstehend erwähnt) durch einen Vergleich zwischen dem ersten Reifenprofil von 420 und einem bekannten, neuen Reifenprofil (oder ein Reifen in gutem Zustand) aus der historischen Datenbank bestimmt werden (und/oder mit anderen bekannten Profilen der historischen Datenbank, z. B. entsprechend anderen bekannten Verschleißwerten und/oder Zustandswerten, wie Alter, Druck und/oder Laufleistung), z. B. über Gradienten/Histogramme von Wertvergleichen, tiefem Lernen mit neuronalen Netzwerkmodellen usw.
  • Darüber hinaus wird bei bestimmten Ausführungsformen eine andere Diagnose bei 426 basierend auf den Reifeninformationen von 424 durchgeführt. Der Prozessor 142 diagnostiziert beispielsweise in bestimmten Ausführungsformen mögliche Probleme im Zusammenhang mit den Reifen, wie beispielsweise mögliche Abnutzung, Aufblähung, Fehlausrichtung, Löcher, andere Mängel und so weiter. Der Prozessor 142 diagnostiziert ebenfalls in bestimmten Ausführungsformen mögliche Probleme in Bezug auf andere Fahrzeugsysteme, die durch Reifenprobleme verursacht und/oder beeinflusst werden könnten, wie beispielsweise das Federungssystem oder die Fehlausrichtung des Rades 101 des Fahrzeugs 100, und so weiter.
  • Bei 428 wird bestimmt, ob eine Warnung, Benachrichtigung oder eine andere Maßnahme gerechtfertigt ist. In bestimmten Ausführungsformen bestimmt der Prozessor 142 basierend auf den Informationen von 424 und 426, ob eine derartige Warnung, Benachrichtigung oder eine andere Maßnahme aufgrund der Schwere eines Reifens oder eines anderen Fahrzeugsystems zweckmäßig sein kann und/oder ob eine Abhilfemaßnahme angemessen sein kann (z. B. das Aufpumpen der Reifen, das Drehen der Reifen, das Wechseln der Reifen usw.).
  • Wenn bei 428 bestimmt wird, dass eine derartige Warnung, Benachrichtigung oder andere Maßnahme gerechtfertigt ist, dann wird diese Warnung, Benachrichtigung oder Maßnahme bei 430 bereitgestellt. In bestimmten Ausführungsformen werden eine oder mehrere Benachrichtigungen oder Warnungen über Anweisungen des Prozessors 142 bei 430 bereitgestellt. Bei bestimmten Ausführungsformen erfolgt eine akustische Benachrichtigung innerhalb des Fahrzeugs 100. Ebenso wird in bestimmten Ausführungsformen eine visuelle Benachrichtigung, z. B. über eine Anzeige 106 von 1 innerhalb des Fahrzeugs 100 (z. B. auf einem Armaturenbrett, Steuertafel, Navigationssystem, Rückspiegel o.ä.), bereitgestellt. Darüber hinaus kann in bestimmten Ausführungsformen eine elektronische Benachrichtigung an einen Eigentümer, Betreiber oder Betreiber des Fahrzeugs 100 erfolgen, beispielsweise per E-Mail, SMS oder dergleichen. In bestimmten Ausführungsformen kehrt der Prozess dann zu 202 zurück.
  • Umgekehrt, wenn bei 428 bestimmt wird, dass eine derartige Warnung, Benachrichtigung oder andere Maßnahme nicht gerechtfertigt ist, dann kehrt der Prozess zu 402 zurück, ohne eine Warnung, Benachrichtigung oder Maßnahme bereitzustellen.
  • Dementsprechend werden Verfahren, Systeme und Fahrzeuge für die Reifenanalyse eines Fahrzeugs bereitgestellt, die auf Bildern basieren, die von Fahrzeugkameras erhalten wurden, während das Fahrzeug in Betrieb ist. In bestimmten Ausführungsformen erzeugen bestimmte Kameras (z. B. Seitenkameras) Bilder der Reifen (z. B. der Lauffläche und der Seitenwände der Reifen), die von einem Prozessor für die Reifenanalyse verwendet werden (z. B. durch Vergleichen von Reifenprofil und Seitenwandmuster mit bekannten Mustern in einer historischen Datenbank). In bestimmten weiteren Ausführungsformen erzeugen bestimmte weitere Kameras (z. B. Front- und Rückfahrkameras) Bilder von Spuren, die von den Reifen erzeugt werden (z. B. einschließlich Bilder des Reifenprofils, wie sie in den Spuren dargestellt sind), die von einem Prozessor für die Reifenanalyse verwendet werden (z. B. durch Vergleichen eines Reifenprofils aus den Spuren mit bekannten Mustern in der historischen Datenbank).
  • Es versteht sich, dass die offenbarten Systeme, Fahrzeuge und Verfahren von denjenigen abweichen können, die in den Figuren dargestellt und hierin beschrieben sind. Es können beispielsweise das Fahrzeug 100, die Kamera 102, die Anzeigen 106, das Steuerungssystem 108, die Reifen 114 und/oder verschiedene Komponenten derselben von den in den 1-5 dargestellten und in Verbindung damit beschriebenen in verschiedenen Ausführungsformen abweichen. In ähnlicher Weise versteht es sich, dass die Schritte der Prozesse 200, 400 von den in den 2-5 dargestellten Schritten abweichen können und/oder dass verschiedene Schritte der Prozesse 200, 400 gleichzeitig und/oder in einer anderen Reihenfolge als in den 2-5 in verschiedenen Ausführungsformen, auftreten können.
  • Während mindestens eine exemplarische Ausführungsform in der vorstehenden ausführlichen Beschreibung dargestellt wurde, versteht es sich, dass es eine große Anzahl an Varianten gibt. Es versteht sich weiterhin, dass die exemplarische Ausführungsform oder die exemplarischen Ausführungsformen lediglich Beispiele sind und den Umfang, die Anwendbarkeit oder die Konfiguration dieser Offenbarung in keiner Weise einschränken sollen. Die vorstehende ausführliche Beschreibung stellt Fachleuten auf dem Gebiet vielmehr einen zweckmäßigen Plan zur Implementierung der exemplarischen Ausführungsform bzw. der exemplarischen Ausführungsformen zur Verfügung. Es versteht sich, dass verschiedene Veränderungen an der Funktion und der Anordnung von Elementen vorgenommen werden können, ohne vom Umfang der Offenbarung, wie er in den beigefügten Ansprüchen und deren rechtlichen Entsprechungen aufgeführt ist, abzuweichen.

Claims (10)

  1. Verfahren, umfassend: das Erhalten von Kamerabildern von einem oder mehreren Reifen eines Fahrzeugs unter Verwendung einer oder mehrerer Kameras während des Betriebs des Fahrzeugs; und das Verarbeiten der Kamerabilder über einen Prozessor, um eine Analyse von einem oder mehreren Reifen basierend auf den Bildern zu erzeugen, die über eine oder mehrere Kameras, die am Fahrzeug montiert sind, erhalten wurden.
  2. Verfahren nach Anspruch 1, worin das Erhalten der Kamerabilder das Erhalten von Kamerabildern des einen oder der mehreren Reifen von einer oder mehreren Seitenkameras umfasst, die an einer oder mehreren Seiten des Fahrzeugs montiert sind, beim Abbiegen des Fahrzeugs.
  3. Verfahren nach Anspruch 2, worin das Erhalten von Kamerabildern ferner umfasst: das Erhalten erster Bilder einer Lauffläche eines entsprechenden Reifens von einer ersten entsprechenden Kamera, die sich auf einer ersten Seite des Fahrzeugs befindet, beim Abbiegen; und das Erhalten von zweiten Bildern einer Seitenwand des jeweiligen Reifens von einer zweiten Kamera, die sich auf einer zweiten Seite des Fahrzeugs, gegenüber der ersten Seite, während des Abbiegens befindet.
  4. Verfahren nach Anspruch 1, des Weiteren umfassend: das Ermitteln einer Geschwindigkeit des Fahrzeugs unter Verwendung von Daten, die von einem oder mehreren Sensoren bereitgestellt werden; und das Ermitteln eines Wendewinkels einer Fahrzeugumlenkung unter Verwendung der von einem oder mehreren Sensoren bereitgestellten Daten; worin das Erhalten der Kamerabilder das Erhalten der Kamerabilder umfasst, wenn der Drehwinkel größer als ein erster vorgegebener Schwellenwert und die Geschwindigkeit kleiner als ein zweiter vorgegebener Schwellenwert ist.
  5. Verfahren nach Anspruch 1, worin das Verarbeiten der Kamerabilder ferner umfasst: das Ermitteln eines ersten Laufflächenprofils eines entsprechenden Reifens basierend auf den Kamerabildern; und das Vergleichen des ersten Profils mit einem oder mehreren bekannten zweiten Profilen aus einer historischen Datenbank eines anderen Reifens, oder den Fahrzeugreifen, wenn diese relativ neu sind und einen bekannten Verschleiß aufweisen.
  6. Verfahren nach Anspruch 5, worin das Ermitteln des ersten Laufflächenmusters das Ermitteln des ersten Laufflächenmusters unter Verwendung eines Histogramms von gerichteten Gradienten (HoG)-Werten umfasst.
  7. Verfahren nach Anspruch 5, worin das Ermitteln des ersten Laufflächenmusters das Ermitteln des ersten Laufflächenmusters unter Verwendung eines maschinellen Lernverfahrens oder eines tief lernenden neuronalen Netzwerkmodells umfasst.
  8. Verfahren nach Anspruch 1, worin das Verarbeiten der Kamerabilder ferner umfasst: das Ermitteln eines ersten Seitenwandmusters eines entsprechenden Reifens basierend auf den Kamerabildern; und das Vergleichen des ersten Seitenwandmusters mit einem oder mehreren bekannten Seitenwandmustern eines anderen Reifens mit einem bekannten Verschleißgrad.
  9. Verfahren, umfassend: das Erhalten von Kamerabildern von Spuren, die von einem oder mehreren Reifen eines Fahrzeugs erzeugt wurden, unter Verwendung einer oder mehrerer Kameras, die am Fahrzeug montiert sind, während des Betriebs des Fahrzeugs; und das Verarbeiten der Kamerabilder über einen Prozessor, um eine Analyse von einem oder mehreren Reifen basierend auf den Bildern zu erzeugen, die über eine oder mehrere Kameras, die am Fahrzeug montiert sind, erhalten wurden.
  10. Fahrzeug, umfassend: einen oder mehrere Reifen; eine oder mehrere Kameras, die am Fahrzeug montiert sind oder sich an einer Infrastruktur befinden, wobei die eine oder die mehreren Kameras konfiguriert sind, um Kamerabilder von Spuren zu erzeugen, die von einem oder mehreren der Reifen erzeugt werden; und einen Prozessor, der dazu konfiguriert ist, die Kamerabilder zu verarbeiten, um eine Analyse eines oder mehrerer der Reifen basierend auf den Bildern zu erzeugen, die über die eine oder die mehreren Kameras, die am Fahrzeug montiert sind, erhalten wurden.
DE102018104857.2A 2017-03-16 2018-03-02 Verfahren und Systeme zum Analysieren von Fahrzeugreifen unter Verwendung von an einem Fahrzeug montierten Kameras Active DE102018104857B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/461,269 US10078892B1 (en) 2017-03-16 2017-03-16 Methods and systems for vehicle tire analysis using vehicle mounted cameras
US15/461,269 2017-03-16

Publications (2)

Publication Number Publication Date
DE102018104857A1 true DE102018104857A1 (de) 2018-09-20
DE102018104857B4 DE102018104857B4 (de) 2021-11-18

Family

ID=63372578

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018104857.2A Active DE102018104857B4 (de) 2017-03-16 2018-03-02 Verfahren und Systeme zum Analysieren von Fahrzeugreifen unter Verwendung von an einem Fahrzeug montierten Kameras

Country Status (3)

Country Link
US (1) US10078892B1 (de)
CN (1) CN108629363B (de)
DE (1) DE102018104857B4 (de)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020165056A1 (de) * 2019-02-15 2020-08-20 Zf Friedrichshafen Ag Zustandserfassungsvorrichtung, verfahren zum erfassen eines zustands sowie fahrzeug
DE102019120696A1 (de) * 2019-07-31 2021-02-04 Carl Zeiss Optotechnik GmbH Vorrichtung und Verfahren zur Reifenprüfung
DE102019121662A1 (de) * 2019-08-12 2021-02-18 Carl Zeiss Optotechnik GmbH Verfahren zur Prüfung eines Reifens
DE102021004198A1 (de) 2021-08-17 2021-11-04 Daimler Ag Verfahren zur Ermittlung eines Zustands eines Bremsbelags eines Kraftfahrzeugs
DE102020132543A1 (de) 2020-12-08 2022-06-09 Audi Aktiengesellschaft Verfahren zur Erkennung des Verschleißzustandes eines oder mehrerer Reifen eines Kraftfahrzeugs sowie ein Kraftfahrzeug zur Durchführung des Verfahrens
FR3127835A1 (fr) * 2021-10-06 2023-04-07 Psa Automobiles Sa Procede et systeme pour determiner des donnees caracterisant l’usure des pneumatiques d’un vehicule automobile

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108139193B (zh) * 2015-10-06 2021-05-28 实耐宝公司 具有高级诊断和不停止定位的车轮对准器
KR102017148B1 (ko) 2017-03-03 2019-09-02 엘지전자 주식회사 장애물을 학습하는 인공지능 이동 로봇 및 그 제어방법
DE102017206244A1 (de) * 2017-04-11 2018-10-11 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zur ermittlung eines fahrbahnzustands
US10773557B1 (en) * 2017-05-18 2020-09-15 State Farm Mutual Automobile Insurance Company System and method for using image data to determine tire quality
US10583779B2 (en) 2017-10-02 2020-03-10 Magna Electronics Inc. Parking assist system using backup camera
US10960712B2 (en) * 2018-06-28 2021-03-30 Nissan North America, Inc. Tire wear estimation using a hybrid machine learning system and method
CN109455053B (zh) * 2018-11-09 2020-07-28 安徽江淮汽车集团股份有限公司 一种汽车自适应后悬架控制系统及控制方法
US11935222B2 (en) 2018-12-13 2024-03-19 Uveye Ltd. Method of automatic tire inspection and system thereof
CN109649091A (zh) * 2018-12-28 2019-04-19 泉州装备制造研究所 基于计算机视觉的汽车轮胎监测系统
GB2580675A (en) * 2019-01-23 2020-07-29 Wheelright Ltd Tyre sidewall imaging method
US11420593B2 (en) 2019-08-07 2022-08-23 Keep Technologies, Inc. Authentication and control for vehicle intrusion devices
AU2020220060A1 (en) 2019-08-30 2021-03-18 The Goodyear Tire & Rubber Company Method for extracting changes in tyre characteristics
US11615426B2 (en) * 2019-09-17 2023-03-28 Ford Global Technologies, Llc Vehicle wheel custody
US11584342B2 (en) 2019-10-28 2023-02-21 Volkswagen Ag Real-time performance handling virtual tire sensor
CN110853366B (zh) * 2019-11-20 2021-04-16 浙江大华技术股份有限公司 一种检测车辆停放位置方法及装置
US11574469B2 (en) * 2020-05-18 2023-02-07 Moj.Io, Inc. Compute system with wear detection mechanism and method of operation thereof
US11910092B2 (en) * 2020-10-01 2024-02-20 Black Sesame Technologies Inc. Panoramic look-around view generation method, in-vehicle device and in-vehicle system
US11721113B2 (en) 2020-10-09 2023-08-08 Magna Electronics Inc. Vehicular driving assist system with lane detection using rear camera
US11488371B2 (en) 2020-12-17 2022-11-01 Concat Systems, Inc. Machine learning artificial intelligence system for producing 360 virtual representation of an object
CN112937223A (zh) * 2021-01-18 2021-06-11 王安竹 车辆轮胎磨损程度实时监测平台
WO2022226021A1 (en) * 2021-04-21 2022-10-27 Volta Charging, Llc System and method for automatic treadwear classification
US11861665B2 (en) 2022-02-28 2024-01-02 Concat Systems, Inc. Artificial intelligence machine learning system for classifying images and producing a predetermined visual output

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006001255A1 (ja) 2004-06-23 2006-01-05 Bridgestone Corporation タイヤ摩耗検知システム及び空気入りタイヤ
JP2011189795A (ja) * 2010-03-12 2011-09-29 Pacific Ind Co Ltd タイヤ摩耗検出装置
US8542881B2 (en) * 2010-07-26 2013-09-24 Nascent Technology, Llc Computer vision aided automated tire inspection system for in-motion inspection of vehicle tires
DE102010055583B4 (de) 2010-12-21 2022-12-08 Connaught Electronics Ltd. Kraftfahrzeug mit einer Kamera und Verfahren zum Betreiben eines Kamerasystems in einem Kraftfahrzeug
RU2637071C2 (ru) * 2012-04-10 2017-11-29 Пирелли Тайр С.П.А. Шина для колес транспортных средств
DE102012108348A1 (de) * 2012-09-07 2014-03-13 Continental Reifen Deutschland Gmbh Verfahren zur Bestimmung der Profiltiefe eines Fahrzeugreifens mit einem auf der Reifeninnenseite angeordneten Reifenmodul
DE102013207374A1 (de) * 2013-04-23 2014-10-23 Robert Bosch Gmbh Vorrichtung und Verfahren zum Erkennen von Beschriftungen auf Fahrzeugreifen
DE102013223367A1 (de) 2013-11-15 2015-05-21 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels eines Fahrzeugkamerasystems
CN103686083B (zh) * 2013-12-09 2017-01-11 北京理工大学 一种基于车载传感器视频流匹配的实时测速方法
KR101622622B1 (ko) * 2014-10-13 2016-05-31 엘지전자 주식회사 차량 하부 이미지 제공 장치 및 이를 구비한 차량
DE102015110952A1 (de) 2015-07-07 2017-01-12 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bestimmen zumindest einer reifenspezifischen Kenngröße, Fahrerassistenzsystem sowie Kraftfahrzeug
US9836660B2 (en) * 2015-12-03 2017-12-05 GM Global Technology Operations LLC Vision-based wet road surface condition detection using tire tracks
EP3243671A1 (de) 2016-05-11 2017-11-15 Conti Temic microelectronic GmbH Verfahren und vorrichtung zur reifenklassifizierung

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020165056A1 (de) * 2019-02-15 2020-08-20 Zf Friedrichshafen Ag Zustandserfassungsvorrichtung, verfahren zum erfassen eines zustands sowie fahrzeug
DE102019120696A1 (de) * 2019-07-31 2021-02-04 Carl Zeiss Optotechnik GmbH Vorrichtung und Verfahren zur Reifenprüfung
DE102019121662A1 (de) * 2019-08-12 2021-02-18 Carl Zeiss Optotechnik GmbH Verfahren zur Prüfung eines Reifens
DE102020132543A1 (de) 2020-12-08 2022-06-09 Audi Aktiengesellschaft Verfahren zur Erkennung des Verschleißzustandes eines oder mehrerer Reifen eines Kraftfahrzeugs sowie ein Kraftfahrzeug zur Durchführung des Verfahrens
DE102020132543B4 (de) 2020-12-08 2022-10-20 Audi Aktiengesellschaft Verfahren zur Erkennung des Verschleißzustandes eines oder mehrerer Reifen eines Kraftfahrzeugs
DE102021004198A1 (de) 2021-08-17 2021-11-04 Daimler Ag Verfahren zur Ermittlung eines Zustands eines Bremsbelags eines Kraftfahrzeugs
FR3127835A1 (fr) * 2021-10-06 2023-04-07 Psa Automobiles Sa Procede et systeme pour determiner des donnees caracterisant l’usure des pneumatiques d’un vehicule automobile

Also Published As

Publication number Publication date
CN108629363A (zh) 2018-10-09
US20180268532A1 (en) 2018-09-20
CN108629363B (zh) 2022-02-11
DE102018104857B4 (de) 2021-11-18
US10078892B1 (en) 2018-09-18

Similar Documents

Publication Publication Date Title
DE102018104857B4 (de) Verfahren und Systeme zum Analysieren von Fahrzeugreifen unter Verwendung von an einem Fahrzeug montierten Kameras
DE102017201717B4 (de) Verfahren zur Verwendung eines Rückblicksystem für ein Trägerfahrzeug sowie Rückblicksystem zur Ausführung des Verfahrens
DE102019102716A1 (de) Fahrzeug-anhänger rückfahrsichtsystem und -verfahren
DE102018108054A1 (de) Verfahren und systeme zur bestimmung einer kamera-fehlausrichtung
DE102010035232A1 (de) Verfahren und Systeme zum Anzeigen von Fahrzeugrückfahrkamerabildern in verschiedenen Modi
DE102019108645A1 (de) Verfahren und vorrichtung zur erzeugung von situationswahrnehmungsgrafiken unter verwendung von kameras von verschiedenen fahrzeugen
DE102018105951A1 (de) System und verfahren zum dynamischen anzeigen von bildern auf einer elektronischen anzeigevorrichtung eines fahrzeugs
DE102008010119A1 (de) Vorrichtung zum Erfassen eines Objekts und System zur Kommunikation zwischen Fahrzeugen
DE102021101426A1 (de) Erkennung von fahrzeugbetriebsbedingungen
DE102009038682A1 (de) Verfahren und Systeme zur Steuerung externer sichtbarer Anzeigen für Fahrzeuge
DE102016117693A1 (de) Fahrerüberwachung
DE102018116106A1 (de) Videoübertragung für ein ankommendes linksabbiegendes fahrzeug
DE102018131209A1 (de) Synchrone nahbereichsradare zur automatischen anhängerdetektion
DE102016208372A1 (de) Verfahren, Vorrichtung und ein mobiles Anwendergerät zum Erzeugen einer Fahrerinformation im Zusammenhang mit einem von einem Fahrzeug zu zumindest einem Zeitpunkt überdeckten Geländebereich
DE102021104243A1 (de) Verfahren, System und Computerprogrammprodukt zur automatischen Anpassung zumindest einer Fahrassistenzfunktion eines Fahrzeugs an einen Anhängerbetriebszustand
DE102021129887A1 (de) Prädiktive bewertung der fahreraufmerksamkeit
DE102017107559A1 (de) Bewertung zum öffnen von fahrzeugtüren
DE102018125930B4 (de) Kamerabildgeber-Binning-Technik
DE102017124760A1 (de) Fahrzeug mit einer Multifokuskamera
DE102018119873A1 (de) Verfahren zum erfassen einer schneebedeckten strassenoberfläche
DE102021106685A1 (de) Vorrichtung und verfahren zur strassenzustandsklassifizierung unter verwendung von sensordaten
DE102016123135B4 (de) Fahrzeugdatenaufzeichnung
DE102019116836A1 (de) Einblendschnittstellen für rückspiegelanzeigen
EP2129548B1 (de) Verfahren und vorrichtung zur detektion von nachfolgenden fahrzeugen in einem kraftfahrzeug
DE102021129800A1 (de) Identifizierung des zielfahrzeugzustands für die anpassung des automatisierten fahrens bei der fahrzeugkontrolle

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: MANITZ FINSTERWALD PATENT- UND RECHTSANWALTSPA, DE

Representative=s name: MANITZ FINSTERWALD PATENTANWAELTE PARTMBB, DE

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final