-
TECHNISCHES GEBIET
-
Die vorliegende Offenbarung betrifft Fahrzeugsysteme und insbesondere Systeme und Verfahren, die die Sauberkeit eines Fahrzeugs erkennen.
-
ALLGEMEINER STAND DER TECHNIK
-
Automobile und andere Fahrzeuge stellen einen erheblichen Teil der Beförderung für gewerbliche, behördliche und private Einrichtungen bereit. Fahrzeuge, wie etwa autonome Fahrzeuge, fahren auf Fahrbahnen, Parkplätzen und anderen Bereichen, wenn sie Fahrgäste oder Gegenstände von einem Ort zum anderen transportieren. Eine beispielhafte Anwendung von autonomen Fahrzeugen ist deren Betrieb als ein Taxi oder Shuttleservice, das bzw. der einen oder mehrere Fahrgäste als Reaktion auf eine Beförderungsanforderung abholt. Wenn es als ein Taxi oder Shuttleservice betrieben wird, fährt das autonome Fahrzeug zu einem Abholort, so dass ein Fahrgast, der den Service anfordert, in das Fahrzeug einsteigen kann. Das Fahrzeug fährt dann zu einem Zielort und ermöglicht dem Fahrgast, aus dem Fahrzeug auszusteigen. Bevor ein weiterer Fahrgast abgeholt wird, ist es bevorzugt, dass das Äußere des Fahrzeugs für den nächsten Fahrgast sauber ist.
-
Figurenliste
-
Nicht einschränkende und nicht erschöpfende Ausführungsformen der vorliegenden Offenbarung werden in Bezug auf die folgenden Figuren beschrieben, wobei sich in den unterschiedlichen Figuren gleiche Bezugszeichen auf gleiche Teile beziehen, es sei denn, es wird etwas anderes angegeben.
- 1 ist ein Blockdiagramm, das eine Ausführungsform eines Fahrzeugsteuersystems veranschaulicht, das ein Fahrzeugsauberkeitserkennungssystem beinhaltet.
- 2 ist ein Blockdiagramm, das eine Ausführungsform eines Fahrzeugsauberkeitserkennungssystems veranschaulicht.
- 3A und 3B veranschaulichen mehrere Ansichten einer Ausführungsform einer Bilderfassungsstation mit mehreren Kameras.
- 4A und 4B veranschaulichen eine Ausführungsform eines Verfahrens zum Erkennen der Sauberkeit eines Äußeren eines Fahrzeugs.
-
DETAILLIERTE BESCHREIBUNG
-
In der folgenden Offenbarung wird auf die beigefügten Zeichnungen Bezug genommen, die einen Teil hiervon bilden und in denen spezifische Implementierungen, in denen die Offenbarung durchgeführt werden kann, zur Veranschaulichung dargestellt werden. Es versteht sich, dass andere Implementierungen verwendet werden können und strukturelle Änderungen vorgenommen werden können, ohne vom Umfang der vorliegenden Offenbarung abzuweichen. Bezugnahmen in der Beschreibung auf „eine Ausführungsform“, „ein Ausführungsbeispiel“ usw. geben an, dass die beschriebene Ausführungsform ein(e) bestimmte(s) Merkmal, Struktur oder Eigenschaft beinhalten kann, doch es muss nicht notwendigerweise jede Ausführungsform diese(s) bestimmte Merkmal, Struktur oder Eigenschaft beinhalten. Darüber hinaus beziehen sich derartige Formulierungen nicht unbedingt auf dieselbe Ausführungsform. Ferner sei darauf hingewiesen, dass, wenn ein(e) bestimmte(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit einer Ausführungsform beschrieben wird, es im Bereich des Fachwissens des Fachmanns liegt, ein(e) derartige(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit anderen Ausführungsformen zu bewirken, ob dies nun ausdrücklich beschrieben ist oder nicht.
-
Implementierungen der hierin offenbarten Systeme, Vorrichtungen und Verfahren können einen Spezial- oder Universalcomputer umfassen oder verwenden, der Computerhardware beinhaltet, wie etwa zum Beispiel einen oder mehrere Prozessoren und einen oder mehrere Systemspeicher, wie hierin erörtert. Implementierungen innerhalb des Umfangs der vorliegenden Offenbarung können zudem physische und andere computerlesbare Medien zum Transportieren oder Speichern von computerausführbaren Anweisungen und/oder Datenstrukturen beinhalten. Bei derartigen computerlesbaren Medien kann es sich um beliebige verfügbare Medien handeln, auf die durch ein Universal- oder Spezialcomputersystem zugegriffen werden kann. Bei computerlesbaren Medien, auf denen computerausführbare Anweisungen gespeichert werden, handelt es sich um Computerspeichermedien (-vorrichtungen). Bei computerlesbaren Medien, die computerausführbare Anweisungen transportieren, handelt es sich um Übertragungsmedien. Daher können Implementierungen der Offenbarung beispielsweise und nicht einschränkend wenigstens zwei deutlich unterschiedliche Arten von computerlesbaren Medien umfassen: Computerspeichermedien (-geräte) und Übertragungsmedien.
-
Computerspeichermedien (-vorrichtungen) beinhalten RAM, ROM, EEPROM, CD-ROM, Festkörperlaufwerke (Solid State Drives - SSDs) (z. B. basierend auf RAM), Flash-Speicher, Phasenänderungsspeicher (Phase-Change Memory - PCM), andere Speicherarten, andere optische Plattenspeicher, Magnetplattenspeicher oder andere magnetische Speichervorrichtungen oder ein beliebiges anderes Medium, das verwendet werden kann, um die gewünschten Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu speichern, und auf das durch einen Universal- oder Spezialcomputer zugegriffen werden kann.
-
Eine Implementierung der hierin offenbarten Vorrichtungen, Systeme und Verfahren kann über ein Computernetzwerk kommunizieren. Ein „Netzwerk“ ist als eine oder mehrere Datenverbindungen definiert, die den Transport elektronischer Daten zwischen Computersystemen und/oder Modulen und/oder anderen elektronischen Vorrichtungen ermöglichen. Wenn Informationen über ein Netzwerk oder eine andere (entweder festverdrahtete, drahtlose oder eine Kombination aus festverdrahteter oder drahtloser) Kommunikationsverbindung an einen Computer übertragen oder diesem bereitgestellt werden, sieht der Computer die Verbindung korrekt als Übertragungsmedium an. Übertragungsmedien können ein Netzwerk und/oder Datenverbindungen beinhalten, die dazu verwendet werden können, gewünschte Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu transportieren, und auf die durch einen Universal- oder Spezialcomputer zugegriffen werden kann. Kombinationen aus dem Vorstehenden sollten ebenfalls im Umfang computerlesbarer Medien eingeschlossen sein.
-
Computerausführbare Anweisungen umfassen zum Beispiel Anweisungen und Daten, die bei Ausführung an einem Prozessor einen Universalcomputer, Spezialcomputer oder eine Spezialverarbeitungsvorrichtung dazu veranlassen, eine bestimmte Funktion oder Gruppe von Funktionen durchzuführen. Die computerausführbaren Anweisungen können beispielsweise Binärdateien, Zwischenformatanweisungen, wie etwa Assemblersprache, oder sogar Quellcode sein. Obwohl der Gegenstand in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben ist, versteht es sich, dass der in den beigefügten Patentansprüchen definierte Gegenstand nicht notwendigerweise auf die hierin beschriebenen Merkmale oder Handlungen beschränkt ist. Die beschriebenen Merkmale und Handlungen sind vielmehr als beispielhafte Formen der Implementierung der Patentansprüche offenbart.
-
Für den Fachmann versteht es sich, dass die Offenbarung in Netzwerkcomputerumgebungen mithilfe vieler Arten von Computersystemkonfigurationen angewendet werden kann, die einen Armaturenbrett-Fahrzeugcomputer, PCs, Desktop-Computer, Laptops, Nachrichtenprozessoren, Handgeräte, Multiprozessorsysteme, Unterhaltungselektronik auf Mikroprozessorbasis oder programmierbare Unterhaltungselektronik, Netzwerk-PCs, Minicomputer, Großcomputer, Mobiltelefone, PDAs, Tablets, Pager, Router, Switches, verschiedene Speichervorrichtungen und dergleichen beinhalten. Die Offenbarung kann zudem in Umgebungen mit verteilten Systemen angewendet werden, in denen sowohl lokale Computersysteme als auch entfernte Computersysteme, die durch ein Netzwerk (entweder durch festverdrahtete Datenverbindungen, drahtlose Datenverbindungen oder durch eine Kombination aus festverdrahteten und drahtlosen Datenverbindungen) verbunden sind, Aufgaben durchführen. In einer Umgebung mit verteilten Systemen können sich Programmmodule sowohl in lokalen Speichervorrichtungen als auch in Fernspeichervorrichtungen befinden.
-
Ferner können gegebenenfalls hierin beschriebene Funktionen in einem oder mehreren von Hardware, Software, Firmware, digitalen Komponenten oder analogen Komponenten durchgeführt werden. Ein oder mehrere anwendungsspezifische integrierte Schaltungen (ASICs) können zum Beispiel dazu programmiert sein, eines bzw. ein(en) oder mehrere der hier beschriebenen Systeme und Vorgänge auszuführen. Bestimmte Begriffe werden in der gesamten Beschreibung und den Ansprüchen verwendet, um auf bestimmte Systemkomponenten Bezug zu nehmen. Der Fachmann wird erkennen, dass auf Komponenten durch unterschiedliche Bezeichnungen Bezug genommen werden kann. In dieser Schrift soll nicht zwischen Komponenten unterschieden werden, die sich dem Namen nach unterscheiden, nicht jedoch von der Funktion her.
-
Es ist anzumerken, dass die hierin erörterten Sensorausführungsformen Computerhardware, - software, -firmware oder eine beliebige Kombination davon umfassen können, um zumindest einen Teil ihrer Funktionen durchzuführen. Ein Sensor kann zum Beispiel einen Computercode beinhalten, der dazu konfiguriert ist, in einem oder mehreren Prozessoren ausgeführt zu werden, und kann eine Hardware-Logikschaltung/elektrische Schaltung beinhalten, die durch den Computercode gesteuert wird. Diese beispielhaften Vorrichtungen sind hier zu Veranschaulichungszwecken bereitgestellt und nicht als einschränkend gedacht. Ausführungsformen der vorliegenden Offenbarung können in weiteren Arten von Vorrichtungen umgesetzt werden, wie es dem einschlägigen Fachmann bekannt ist.
-
Zumindest einige Ausführungsformen der Offenbarung sind auf Computerprogrammprodukte gerichtet, die eine derartige Logik (z. B. in Form von Software) umfassen, die auf einem beliebigen computernutzbaren Medium gespeichert ist. Derartige Software veranlasst bei Ausführung in einer oder mehreren Datenverarbeitungsvorrichtungen eine Vorrichtung dazu, wie hierin beschrieben zu arbeiten.
-
1 ist ein Blockdiagramm, das eine Ausführungsform eines Fahrzeugsteuersystems 100 innerhalb eines Fahrzeugs veranschaulicht, das ein Fahrzeugsauberkeitserkennungssystem 104 beinhaltet. Ein automatisiertes Fahr-/Assistenzsystem 102 kann verwendet werden, um den Betrieb eines Fahrzeugs zu automatisieren oder zu steuern oder einen menschlichen Fahrer zu unterstützen. Beispielsweise kann das automatisierte Fahr-/Assistenzsystem 102 eines oder mehrere von der Bremsung, der Lenkung, der Spannung des Sicherheitsgurts, der Beschleunigung, den Leuchten, den Warnmeldungen, den Fahrerbenachrichtigungen, dem Radio, den Fahrzeugschlössern oder beliebigen anderen Hilfssystemen des Fahrzeugs steuern. In einem weiteren Beispiel ist das automatisierte Fahr-/Assistenzsystem 102 unter Umständen nicht in der Lage, jegliche Steuerung des Fahrens (z. B. der Lenkung, Beschleunigung oder Bremsung) bereitzustellen, kann jedoch Benachrichtigungen und Warnmeldungen bereitstellen, um einen menschlichen Fahrer darin zu unterstützen, sicher zu fahren. Das Fahrzeugsteuerungssystem 100 beinhaltet ein Fahrzeugsauberkeitserkennungssystem 104, das mit verschiedenen Komponenten in dem Fahrzeugsteuerungssystem interagiert, sowie externe Komponenten und Systeme, um Flecken, Verschmutzung, Abfall, Schmutz und andere Gegenstände auf dem Äußeren des Fahrzeugs zu erkennen. Das Fahrzeugsauberkeitserkennungssystem 104 kann jede Art von Verschmutzung oder Flecken auf dem Äußeren des Fahrzeugs erkennen, wie etwa Vogelkot, Schlamm, Teer, ausgeschüttete Getränke, heruntergefallene Baumteile und dergleichen. Auch wenn das Fahrzeugsauberkeitserkennungssystem 104 in 1 als getrennte Komponente gezeigt ist, kann das Fahrzeugreinigungserkennungssystem 104 in alternativen Ausführungsformen in das automatisierte Fahr-/Assistenzsystem 102 oder eine andere Fahrzeugkomponente integriert sein.
-
Das Fahrzeugsteuersystem 100 beinhaltet außerdem ein/e oder mehrere Sensorsysteme/- vorrichtungen zum Erkenne eines Vorhandenseins nahegelegener Objekte (oder Hindernisse) oder zum Bestimmen eines Standorts eines Stammfahrzeugs (z. B. eines Fahrzeugs, welches das Fahrzeugsteuersystem 100 beinhaltet). Das Fahrzeugsteuersystem 100 kann zum Beispiel ein oder mehrere Radarsysteme 106, ein oder mehrere LIDAR-Systeme 108, ein oder mehrere Kamerasysteme 110, ein globales Positionsbestimmungssystem (global positioning system - GPS) 112 und/oder Ultraschallsysteme 114 beinhalten. Die einen oder mehreren Kamerasysteme 110 können eine nach hinten gerichtete Kamera, die am Fahrzeug (z. B. einem hinteren Abschnitt des Fahrzeugs) montiert ist, eine nach vorn gerichtete Kamera und eine zur Seite gerichtete Kamera beinhalten. Die Kamerasysteme 110 können außerdem eine oder mehrere Innenkameras beinhalten, die Bilder von Fahrgästen und anderen Objekten innerhalb des Fahrzeugs aufnehmen. Das Fahrzeugsteuersystem 100 kann einen Datenspeicher 116 zum Speichern relevanter oder nützlicher Daten für Navigation und Sicherheit beinhalten, wie etwa Kartendaten, Fahrtverlauf oder sonstige Daten. Das Fahrzeugsteuersystem 100 kann zudem einen Sendeempfänger 118 zur drahtlosen Kommunikation mit einem mobilen oder drahtlosen Netzwerk, anderen Fahrzeugen, Infrastruktur oder einem beliebigen anderen Kommunikationssystem beinhalten.
-
Das Fahrzeugsteuersystem 100 kann Fahrzeugsteuerungsaktoren 120 beinhalten, um verschiedene Aspekte des Fahrens des Fahrzeugs zu steuern, wie etwa Elektromotoren, Schalter oder andere Aktoren, um die Bremsung, Beschleunigung, Lenkung, Spannung des Sicherheitsgurts, Türschlösser oder dergleichen zu steuern. Das Fahrzeugsteuersystem 100 kann außerdem eine(n) oder mehrere Anzeigen 122, Lautsprecher 124 oder andere Vorrichtungen beinhalten, so dass einem menschlichen Fahrer oder Fahrgast Benachrichtigungen bereitgestellt werden können. Eine Anzeige 122 kann eine Frontanzeige, eine Anzeige oder eine Angabe am Armaturenbrett, einen Bildschirm oder eine beliebige andere visuelle Angabe beinhalten, die von einem Fahrer oder einem Fahrgast eines Fahrzeugs gesehen werden kann. Die Lautsprecher 124 können einen oder mehrere Lautsprecher eines Soundsystems eines Fahrzeugs beinhalten oder können einen für die Fahrer- oder Fahrgastbenachrichtigung vorgesehenen Lautsprecher beinhalten.
-
Es ist anzuerkennen, dass die Ausführungsform aus 1 nur als Beispiel angegeben wird. Andere Ausführungsformen können weniger oder zusätzliche Komponenten beinhalten, ohne vom Umfang der Offenbarung abzuweichen. Des Weiteren können veranschaulichte Komponenten ohne Einschränkung kombiniert oder in andere Komponenten eingeschlossen werden.
-
In einer Ausführungsform ist das automatisierte Fahr-/Assistenzsystem 102 dazu konfiguriert, das Fahren oder Navigieren eines Stammfahrzeugs zu steuern. Beispielsweise kann das automatisierte Fahr-/Assistenzsystem 102 die Fahrzeugsteuerungsaktoren 120 steuern, um einen Weg auf einer Straße, einem Parkplatz, einer Einfahrt oder an einem anderen Ort zu fahren. Beispielsweise kann das automatisierte Fahr-/Assistenzsystem 102 einen Weg auf Grundlage von durch eine beliebige der Komponenten 106-118 bereitgestellten Informationen oder Wahmehmungsdaten bestimmen. Ein Weg kann außerdem auf Grundlage einer Route bestimmt werden, die das Fahrzeug manövriert, um eine potentielle Kollision mit einem anderen Fahrzeug oder Objekt zu vermeiden oder abzuschwächen. Die Sensorsysteme/- vorrichtungen 106-110 und 114 können verwendet werden, um Echtzeitsensordaten zu erhalten, so dass das automatisierte Fahr-/Assistenzsystem 102 in Echtzeit einen Fahrer unterstützen oder ein Fahrzeug fahren kann.
-
2 ist ein Blockdiagramm, das eine Ausführungsform des Fahrzeugsauberkeitserkennungssystems 104 veranschaulicht. Wie in 2 gezeigt, beinhaltet das Sauberkeitserkennungssystem 104 einen Kommunikationsmanager 202, einen Prozessor 204 und eine Speicher 206. Der Kommunikationsmanager 202 ermöglicht, dass das Fahrzeugsauberkeitserkennungssystem 104 mit anderen Systemen, wie etwa dem automatisierten Fahr-/Assistenzsystem 102, und Bilderfassungsstationen kommuniziert, die hierin erörtert werden. Der Prozessor 204 führt verschiedene Anweisungen aus, um die Funktionalität zu implementieren, die von dem Fahrzeugsauberkeitserfassungssystem 104, wie hierin erörtert, bereitgestellt wird. Der Speicher 206 speichert diese Anweisungen sowie andere Daten, die von dem Prozessor 204 und anderen Modulen und Komponenten verwendet werden, die in dem Fahrzeugsauberkeitserkennungssystem 104 enthalten sind.
-
Zusätzlich beinhaltet das Fahrzeugsauberkeitserkennungssystem 104 ein Bildverarbeitungsmodul 208, das Bilddaten von einem oder mehreren Kamerasystemen 110 sowie einer oder mehreren Bilderfassungsstationen (hierin erörtert) empfängt. In einigen Ausführungsformen beinhaltet das Bildverarbeitungsmodul 208 einen Bildverwaltungsalgorithmus oder -prozess, der ein oder mehrere Sauberbilder, die Bilder des Fahrzeugäußeren darstellen, wenn es sauber ist (z. B. keine Flecken, Verschmutzung, kein Abfall oder andere Gegenstände auf dem Äußeren des Fahrzeugs) verwaltet. Zusätzlich kann das Bildverarbeitungsmodul 208 ein oder mehrere zusätzliche Bilder verwalten, die erfasst werden, nachdem ein Fahrgast aus dem Fahrzeug ausgestiegen ist. Wie hierin erörtert, werden diese zusätzlichen Bilder mit den Sauberbildern verglichen, um zu bestimmen, ob das Fahrzeugäußere einen Fleck, Abfall oder anderen Gegenstand als Ergebnis der Fahrt des Fahrgasts in dem Fahrzeug oder als Ergebnis der Fahrt des Fahrzeugs zum Zielort des vorherigen Fahrgasts aufweist.
-
In einigen Ausführungsformen empfängt das Bildverarbeitungsmodul 208 mehrere Bilder von einer Bilderfassungsstation, die mehrere Kameras beinhaltet, die Bilder von verschiedenen Teilen der Außenflächen des Fahrzeugs aufnehmen. Wie hierin erörtert, können sich die Bilderfassungsstationen an vielen verschiedenen Stellen befinden, die am Fahrzeug zugänglich sind.
-
In bestimmten Ausführungsformen kann das Bildverarbeitungsmodul 208 verschiedene Bildtransformations- und Bildausrichtungsprozeduren durchführen. Wenn beispielsweise ein Fahrzeug angrenzend an eine Bilderfassungsstation in einem Winkel (z. B. nicht richtig innerhalb (oder angrenzend an) der Bilderfassungsstation ausgerichtet) geparkt ist, kann das Bildverarbeitungsmodul 208 das Bild einstellen, so dass es mit der gleichen Ausrichtung oder dem gleichen Winkel wie ein richtig positioniertes Fahrzeug erscheint. Diese Bildeinstellung, um einem richtig positionierten Fahrzeug zu ähneln, ermöglicht einen genaueren Vergleich und eine genauere Analyse der Bilder des sauberen Fahrzeugs mit aktuellen Fahrzeugbildern, um Verschmutzung, Flecken und dergleichen auf dem Fahrzeugäußeren zu identifizieren.
-
Ein Bildquantisierungsmodul
210 ist in der Lage, sowohl Sauberbilder als auch zusätzliche Bilder zu quantisieren, um Störung in den Bildern zu reduzieren. Beim Quantisieren der Bilder reduziert das Bildquantisierungsmodul
210 das Farbspektrum der Bilder auf drei Schattierungen von grau, was dazu beiträgt, Störung in den Bildern zu reduzieren. In einigen Ausführungsformen wird Quantisierung auch als „n-Farben-Grauskalierung“ bezeichnet. Zum Beispiel kann das Bildquantisierungsmodul
210 die Techniken implementieren, die in der
US-Anmeldung Nr. 15/360,856 , eingereicht am 23. November 2016, mit dem Titel „Detection of lane-splitting motorcycles“ offenbart ist, die hiermit in ihrer Gesamtheit hierin aufgenommen ist.
-
Das Fahrzeugsauberkeitserkennungssystem
104 beinhaltet zudem ein Bildsubtraktionsmodul
212, das die zusätzlichen Bilder von den Sauberbildern subtrahiert, um Unterschiede zwischen den Fotos zu identifizieren. Diese Unterschiede können Flecken, Abfall oder andere Gegenstände auf dem Äußeren des Fahrzeugs darstellen. Zum Beispiel kann das Bildsubtraktionsmodul
212 die Techniken implementieren, die in der
US-Anmeldung Nr. 15/360,856 , eingereicht am 23. November 2016, mit dem Titel „Detection of lane-splitting motorcycles“ offenbart ist, die hiermit in ihrer Gesamtheit hierin aufgenommen ist.
-
Ein Konturenidentifizierungsmodul 214 identifiziert eine oder mehrere Konturen in den Unterschieden zwischen den Sauberbildern und den zusätzlichen Bildern, wie durch das Bildsubtraktionsmodul 212 identifiziert. Die Konturen können beispielsweise die Umrisse von Flecken, Verschmutzung oder anderen Gegenständen auf dem Äußeren des Fahrzeugs beinhalten. Das Konturidentifizierungsmodul 214 definiert zudem ein Begrenzungsrechteck um jede Kontur. Das Begrenzungsrechteck ermöglicht einem Benutzer oder einem Rechensystem, die identifizierten Konturen leicht zu identifizieren. Zusätzlich kann das Fahrzeugsauberkeitserkennungssystem 104 auf Grundlage der Anordnung und des Winkels der Kamera, die jedes Bild aufgenommen hat, das Begrenzungsrechteck auf eine bestimmte Stelle auf dem Fahrzeugäußeren abbilden, um beispielsweise das Reinigen des Fahrzeugs zu unterstützen.
-
Ein Analysemodul 216 erkennt Stellen und Arten von Flecken, Verschmutzung und anderen Gegenständen auf dem Äußeren des Fahrzeugs. Zum Beispiel analysiert das Analysemodul 216 die identifizierten Konturen, die das Vorhandensein eines neuen Fleckens oder anderen Gegenstands angeben. Der neue Flecken oder Gegenstand wird durch Analysieren der Form der Kontur sowie der Glattheit der Konturränder eingeordnet. Wenn zum Beispiel die Kontur im Wesentlichen rund mit glatten Rändern ist, handelt es sich wahrscheinlich um einen Flecken. Alternativ, wenn die Kontur eine unregelmäßige Form und/oder scharfe/gezackte Ränder aufweist, ist es wahrscheinlicher, dass es sich um ein Stück Schmutz, Abfall oder einen anderen Gegenstand auf dem Fahrzeugäußeren handelt.
-
In einigen Ausführungsformen greift das Analysemodul 216 auf eine Datenquelle (z. B. eine Datenbank oder Lookup-Tabelle) zu, die Informationen enthält, die mit zuvor eingeordneten Konturen verknüpft sind, wie etwa die Form und Randeigenschaften jeder Kontur und die resultierende Einordnung jeder Kontur. Diese mit den zuvor eingeordneten Konturen verknüpften Informationen können durch das Analysemodul 216 verwendet werden, um künftige Konturen zu analysieren und einzuordnen, wie etwa Identifizieren einer zuvor eingeordneten Kontur in der Datenquelle, die eine große Übereinstimmung mit einer aktuellen Kontur aufweist, die gerade eingeordnet wird. Eine enge Übereinstimmung ermöglicht dem Analysemodul 216, Vermutungen bezüglich der Einordnung der Kontur anzustellen (d. h. die Art des Fleckens, Schmutzes oder anderen Gegenstands zu bestimmen).
-
In einigen Ausführungsformen bestimmt das Analysemodul 216 die Gesamtsauberkeit des Fahrzeugäußeren auf Grundlage der Arten der identifizierten Flecken/Verschmutzung, der Größe der identifizierten Flecken/Verschmutzung, der Stelle der identifizierten Flecken/Verschmutzung und der Anzahl von Flecken/Verschmutzungen auf den Außenflächen des Fahrzeugs. Diese Bestimmung der Gesamtsauberkeit des Fahrzeugäußeren wird verwendet, um zu bestimmen, ob das Äußere des Fahrzeugs gereinigt werden muss, bevor ein neuer Fahrgast angenommen wird. Außerdem können verschiedene Arten von Reinigung erforderlich sein, abhängig von der Heftigkeit der Flecken/Verschmutzung auf dem Fahrzeug. Zum Beispiel kann eine kleine Menge an Schlamm einfach in einer automatisierten Autowaschanlage oder durch einen mobilen Fahrzeugwaschservice entfernt werden. Jedoch können heftigere Flecken, wie etwa Vogelkot oder gewisse Arten von herunterfallenden Baumteilen, eine gründlichere Reinigung in einem Servicecenter oder durch einen erfahreneren mobilen Fahrzeugreinigungsservice erfordern.
-
Ein Fahrzeugwartungsmanager 218 verwaltet die Reinigung und Wartung des Fahrzeugs. Wenn zum Beispiel ein Flecken, eine Verschmutzung, Abfall oder ein anderer Gegenstand auf dem Fahrzeugäußeren erkannt wird, nachdem ein Fahrgast aus dem Fahrzeug ausgestiegen ist, kann der Fahrzeugwartungsmanager 218 bestimmen, ob das Fahrzeug außer Dienst gestellt werden muss, bevor ein neuer Fahrgast angenommen wird. Wenn eine Reinigung erforderlich ist, kann der Fahrzeugwartungsmanager 218 das automatisierte Fahr-/Assistenzsystem 102 anweisen, das Fahrzeug zu einer geeigneten Reinigungs- oder Serviceeinrichtung zu fahren.
-
3A und 3B veranschaulichen mehrere Ansichten einer Ausführungsform einer Bilderfassungsstation mit mehreren Kameras. Wie in 3A gezeigt, beinhaltet eine Bilderfassungsstation 300 zwei vertikale Lagerstrukturen 302 und 304, die an einer Basis 306 montiert sind, die ein Boden, ein Pflaster, der Erdboden oder ein beliebiger anderer Lagerbereich sein kann, an dem die vertikalen Lagerstrukturen zu montieren sind. Eine horizontale Lagerstruktur 308 ist an der Oberseite jeder der zwei vertikalen Lagerstrukturen 302, 304 befestigt. Die Kombination aus vertikalen Lagerstrukturen 302, 304 und horizontaler Lagerstruktur 308 bildet eine Öffnung 310, in die das Fahrzeug fahren kann. In einigen Ausführungsformen kann ein Fahrzeug durch die Öffnung 310 und dann weiter zu einem Ausgang fahren, indem es weiterhin vorwärts fährt. In anderen Ausführungsformen fährt das Fahrzeug in die Öffnung 310 hinein und rückwärts durch die Öffnung heraus.
-
Die Bilderfassungsstation 300 beinhaltet mehrere Kameras 312, 314, 316 und 318, die an den vertikalen Lagerstrukturen 302, 304 montiert sind. Auch wenn vier Kameras 312-318 in 3A gezeigt sind, können alternative Ausführungsformen eine beliebige Anzahl von Kameras verwenden, die an vielen verschiedenen Stellen montiert und positioniert sind, um Bilder in vielen verschiedenen Winkeln und Richtungen aufzunehmen. In einigen Ausführungsformen können eine oder mehrere Kameras an der horizontalen Lagerstruktur 308 montiert sein. Die Kameras 312-318 sind positioniert und ausgerichtet, um Bilder von Außenflächen eines Fahrzeugs aufzunehmen. In einigen Ausführungsformen sind die Kameras 312-318 positioniert und ausgerichtet, um Bilder von im Wesentlichen allen Außenflächen des Fahrzeugs aufzunehmen, mit Ausnahme der Unterseite (z. B. Boden) des Fahrzeugs. Durch Aufnehmen von Bildern im Wesentlichen aller Außenflächen des Fahrzeugs kann das Fahrzeugsauberkeitserkennungssystem 104 die Sauberkeit aller Außenflächen des Fahrzeugs analysieren. Zum Beispiel können die Kameras 312-318 entlang der Seiten des Fahrzeugs sowie auch über dem Fahrzeug positioniert sein. Zusätzlich können mehrere Kameras 312-318 nahe der Front des Fahrzeugs, der Mitte des Fahrzeugs oder dem Heck des Fahrzeugs positioniert sein.
-
Obwohl in 3A nicht gezeigt, kann die Bilderfassungsstation 300 ein oder mehrere Rechensysteme und/oder Kommunikationssysteme beinhalten, die in der Lage sind, Bilder eines Fahrzeugs unter Verwendung der Kameras 312-318 aufzunehmen und diese Bilder an das Fahrzeugsauberkeitserkennungssystem in dem Fahrzeug kommunizieren. Zusätzlich können das eine oder die mehreren Rechensysteme und/oder Kommunikationssysteme bestimmen, ob das Fahrzeug innerhalb der Bilderfassungsstation 300 richtig positioniert ist, bevor Bilder des Fahrzeugs aufgenommen werden. In einigen Ausführungsformen können das eine oder die mehreren Rechensysteme und/oder Kommunikationssysteme einen oder mehrere Prozessoren, eine oder mehrere Speichervorrichtungen, ein oder mehrere Kommunikationsmodule, einen oder mehrere Fahrzeugsensoren und dergleichen beinhalten.
-
Die Bilderfassungsstation 300 kann in vielen verschiedenen Konfigurationen implementiert sein. In einigen Ausführungsformen sind nur vertikale Lagerungen 302 und/oder 304 ohne horizontale Lagerung 308 bereitgestellt. In anderen Ausführungsformen können die vertikalen Lagerungen vorhandene Pfosten oder Stangen sein, wie etwa Ampelpfosten, Telefonmasten, Verkehrszeichenpfosten, Werbeplakatpfosten und dergleichen. Bei einigen Implementierungen können die Kameras 312-318 an der Seite eines Gebäudes oder einer anderen Struktur, die die Kameras lagern kann, montiert sein. Somit kann die Bilderfassungsstation 300 viele Formen annehmen, die ermöglichen, dass ein Fahrzeug in die Nähe der Bilderfassungsstation fährt, so dass die zur Bilderfassungsstation gehörenden Kameras Bilder des Äußeren des Fahrzeugs erlangen können und die Bilder an das Fahrzeugsauberkeitserkennungssystem im Fahrzeug kommunizieren können. In einigen Ausführungsformen kann zumindest ein Teil der Bilderfassungsstation 300 beweglich sein, wie etwa eine Lagerstruktur auf Rädern oder eine an einem beweglichen Arm oder einer anderen beweglichen Baugruppe montierte Kamera.
-
Die Bilderfassungsstation 300 kann an jedem geographischen Ort positioniert sein, der einen bequemen Zugang für Fahrzeuge, wie etwa autonome Fahrzeuge, bereitstellt. In einigen Ausführungsformen befinden sich die Bilderfassungsstationen 300 an Tankstellen, Ladestationen für Elektrofahrzeuge, Parkplätzen, Fahrzeugservicecentern, Bereitstellungs-/Wartebereichen des autonomen Fahrzeugs und dergleichen. Nachdem ein Fahrgast aus einem autonomen Fahrzeug ausgestiegen ist, kann das Fahrzeug beispielsweise zur nächstgelegenen Bilderfassungsstation 300 fahren, um zu bestimmen, ob das Fahrzeug sauber genug ist, um einen weiteren Fahrgast anzunehmen.
-
Wie in 3B gezeigt, erlangen die Kameras 312-318 der Bilderfassungsstation 300 Bilder von verschiedenen Teilen der Außenflächen eines Fahrzeugs 320. Die gestrichelten Linien in 3B zeigen das ungefähre Sichtfeld jeder Kamera 312-318. Wie gezeigt können die Kameras 312-318 einige überlappende Bereiche aufweisen, aber die kombinierten Bilder von allen Kameras 312-318 nehmen im Wesentlichen alle Außenflächen des Fahrzeugs 320 auf. In alternativen Ausführungsformen kann eine beliebige Anzahl von Kameras an beliebig vielen verschiedenen Stellen verwendet werden, um Bilder von Außenflächen eines bestimmten Fahrzeugs aufzunehmen.
-
4A und 4B veranschaulichen eine Ausführungsform eines Verfahrens 400 zum Erkennen der Sauberkeit eines Äußeren eines Fahrzeugs. Zu Beginn empfängt ein Fahrzeugsauberkeitserkennungssystem in einem Fahrzeug bei 402 ein oder mehrere Sauberbilder eines Fahrzeugäußeren. Diese Sauberbilder können als „Referenzbilder“ betrachtet werden und stellen ein sauberes Fahrzeugäußeres dar. In einigen Ausführungsformen sollte das Fahrzeugäußere im Wesentlichen ähnlich zu den Sauberbildern sein, bevor ein Fahrgast zur Beförderung abgeholt wird. Als Reaktion auf eine Beförderungsanforderung (oder andere Anweisung) holt das Fahrzeug bei 404 einen Fahrgast ab und befördert den Fahrgast zu einem Zielort. Der Fahrgast steigt bei 406 am Zielort aus dem Fahrzeug aus.
-
Nachdem der Fahrgast bei 406 aus dem Fahrzeug ausgestiegen ist, fährt das Fahrzeug bei 408 zu einer Bilderfassungsstation und richtet sich selbst innerhalb der Bilderfassungsstation aus. In einigen Ausführungsformen gibt es eine gewünschte Position für das Fahrzeug innerhalb der Bilderfassungsstation, um sicherzustellen, dass alle aufgenommenen Bilder relativ konsistent mit den Sauberbildern sind, die zuvor für die Außenflächen des Fahrzeugs aufgenommen wurden. Das Fahrzeugsauberkeitserkennungssystem empfängt bei 410 ein oder mehrere Bilder des aktuellen Fahrzeugäußeren (d. h. „aktuelle Bilder“) von der Bilderfassungsstation. Wie hierin erörtert, beinhaltet die Bilderfassungsstation eine beliebige Anzahl von Kameras, die Bilder des Fahrzeugäußeren aufnehmen. Diese aufgenommenen Bilder werden an das Fahrzeugsauberkeitserkennungssystem im Fahrzeug (z. B. drahtlos) kommuniziert. In einigen Ausführungsformen ist die Stelle und Position, von der aus die aktuellen Bilder aufgenommen werden, im Wesentlichen ähnlich zu der Stelle und Position, von der aus die Sauberbilder aufgenommen wurden.
-
Das Verfahren 400 fährt damit fort, dass das Fahrzeugsauberkeitserkennungssystem bei 412 die Sauberbilder und die aktuellen Bilder quantisiert, um Störung zu reduzieren. Das Fahrzeugsauberkeitserkennungssystem subtrahiert dann bei 414 die aktuellen Bilder von den Sauberbildern (oder subtrahiert die Sauberbilder von den aktuellen Bildern). In einigen Ausführungsformen subtrahiert das Fahrzeugsauberkeitserkennungssystem bei 414 jedes aktuelle Bild von einem entsprechenden Sauberbild (z. B. Sauberbilder des gleichen Abschnitts des Fahrzeugäußeren).
-
Das Fahrzeugsauberkeitserkennungssystem identifiziert dann bei 416 Unterschiede zwischen den aktuellen Bildern und den Sauberbildern. Wie hierin erörtert, können diese Unterschiede Flecken, Verschmutzung, Abfall oder andere Gegenstände auf der Außenfläche des Fahrzeugs darstellen. Das Fahrzeugsauberkeitserkennungssystem identifiziert bei 418 Konturen in den identifizierten Unterschieden. Die Konturen können beispielsweise den Umriss von Flecken, Verschmutzung, Schmutz oder anderen Gegenständen darstellen.
-
Wenn das Verfahren 400 weitergeht, verknüpft das Fahrzeugsauberkeitserkennungssystem bei 420 ein Begrenzungsrechteck mit jeder identifizierten Kontur. Wie oben angemerkt, ermöglicht das Begrenzungsrechteck einem Benutzer oder einem Rechensystem, die identifizierten Konturen leicht zu identifizieren. Und das Fahrzeugsauberkeitserkennungssystem kann auf Grundlage der Anordnung und des Winkels der Kamera, die jedes Bild aufgenommen hat, das Begrenzungsrechteck auf eine bestimmte Stelle auf dem Äußeren des Fahrzeugs abbilden. Somit kann das Begrenzungsrechteck das Reinigungspersonal oder selbstreinigende Systeme beim Lokalisieren der spezifischen Flecken, Verschmutzung, des Schmutzes und anderer Gegenstände unterstützen.
-
Das Fahrzeugsauberkeitserkennungssystem ordnet bei 422 einen Bereich ein, der durch die Kontur als Flecken, Verschmutzung, Schmutz oder anderer Gegenstand definiert ist. Wie hierin erörtert, kann der durch eine Kontur definierte Bereich eingeordnet werden, indem die Form der Kontur sowie die Glattheit der Konturränder analysiert werden. Wenn zum Beispiel die Kontur im Wesentlichen rund mit glatten Rändern ist, handelt es sich wahrscheinlich um einen Flecken. Wenn jedoch die Kontur eine unregelmäßige Form und/oder scharfe/gezackte Ränder aufweist, ist es wahrscheinlicher, dass es sich um Schmutz oder einen anderen Gegenstand auf der Außenfläche des Fahrzeugs handelt. Wie oben angemerkt, kann das Analysemodul 216 in einigen Ausführungsformen auf eine Datenquelle zugreifen, die Informationen enthält, die mit zuvor eingeordneten Konturen verknüpft sind. Diese zusätzlichen Informationen sind nützlich, um Konturen zu analysieren und einzuordnen, wie etwa Identifizieren einer zuvor eingeordneten Kontur in der Datenquelle, die eine große Übereinstimmung mit einer aktuellen Kontur aufweist, die gerade eingeordnet wird.
-
Das Fahrzeugsauberkeitserkennungssystem bestimmt bei 424, ob Äußere des Fahrzeugs gereinigt werden muss, bevor ein neuer Fahrgast angenommen wird. Wenn beispielsweise das Fahrzeugsauberkeitserkennungssystem einen deutlichen Flecken oder starke Verschmutzung auf einer Außenfläche des Fahrzeugs identifiziert, muss das Fahrzeug möglicherweise gereinigt werden, bevor ein neuer Fahrgast angenommen wird. Zusätzlich kann, wenn das Fahrzeug gereinigt werden muss, die Bestimmung bei 424 die Art der erforderlichen Reinigung beinhalten. Zum Beispiel kann ein kleiner Flecken oder eine kleine Menge an Schlamm einfach durch einen Roboter, ein automatisiertes Reinigungssystem oder durch einen einzelnen Benutzer, der sich in der Nähe des Fahrzeugs befindet, entfernt werden. Wenn jedoch ein deutlicherer Flecken oder stärkere Verschmutzung, die schwierig zu entfernen sind, identifiziert werden, kann es sein, dass das Fahrzeug eine gründlichere Reinigung in einem Fahrzeugservicecenter oder durch einen besser geschulten mobilen Fahrzeugreinigungsservice benötigt. Wenn eine Reinigung bei 426 nicht erforderlich ist, wartet das Fahrzeug bei 434 auf Anweisungen, um einen neuen Fahrgast als Reaktion auf eine neue Beförderungsanforderung abzuholen.
-
Wenn eine Reinigung bei 426 erforderlich ist, kann das Fahrzeug bei 428 außer Dienst gestellt werden, während ein Reinigungsservice organisiert und das Fahrzeugäußere gereinigt wird. Wenn die Fahrzeugreinigung bei 430 abgeschlossen ist, wird das Fahrzeug bei 432 wieder in Dienst gestellt und ist verfügbar, um neue Beförderungsanforderungen anzunehmen. Das Fahrzeug wartet dann bei 434 auf Anweisungen, um einen neuen Fahrgast als Reaktion auf eine neue Beförderungsanforderung abzuholen.
-
Während hierin verschiedene Ausführungsformen der vorliegenden Offenbarung beschrieben werden, versteht es sich, dass diese lediglich als Beispiele und nicht als Einschränkung dienen. Für den entsprechenden Fachmann ist ersichtlich, dass verschiedene Änderungen in Form und Detail daran vorgenommen werden können, ohne vom Geist und Umfang der Offenbarung abzuweichen. Daher sollen die Breite und der Umfang der vorliegenden Offenbarung nicht durch eines der beschriebenen Ausführungsbeispiele eingeschränkt werden, sondern sollen lediglich gemäß den folgenden Patentansprüchen und ihren Äquivalenten definiert sein. Die Beschreibung wird hierin zu Veranschaulichungs- und Beschreibungszwecken dargelegt. Sie erhebt keinerlei Anspruch auf Vollständigkeit und soll die Offenbarung nicht auf die konkrete offenbarte Form beschränken. Viele Modifikationen und Variationen sind in Anbetracht der offenbarten Lehren möglich. Ferner ist anzumerken, dass eine beliebige oder alle der hierin erörterten alternativen Implementierungen in einer beliebigen gewünschten Kombination genutzt werden können, um zusätzliche Hybridimplementierungen der Offenbarung zu bilden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
