DE102018109413A1

DE102018109413A1 - Flecken- und abfallerkennungssysteme und -verfahren

Info

Publication number: DE102018109413A1
Application number: DE102018109413.2A
Authority: DE
Inventors: Shant Tokatyan
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2017-04-21
Filing date: 2018-04-19
Publication date: 2018-10-25
Also published as: GB2564197A; US10509974B2; RU2018112429A; CN108734100A; US20180307926A1; GB201806470D0

Abstract

Beschrieben werden beispielhafte Flecken- und Abfallerkennungssysteme und -verfahren. In einer Umsetzung empfängt ein Verfahren ein sauberes Bild eines Fahrzeuginnenraums und ein zweites Bild des Fahrzeuginnenraums, nachdem ein Fahrgast das Fahrzeug besetzt hat. Das Verfahren quantisiert das saubere Bild und das zweite Bild, um das Rauschen zu reduzieren und Unterschiede zwischen dem sauberen Bild und dem zweiten Bild zu identifizieren. Zusätzlich dazu identifiziert das Verfahren mindestens einer Kontur in den identifizierten Unterschieden und klassifiziert einen durch die Kontur definierten Bereich als eines von einem Fleck, Schmutz, Abfall oder einem anderen Element.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft Fahrzeugsysteme und insbesondere Systeme und Verfahren, die Flecken und Abfall innerhalb eines Fahrzeugs erkennen.
ALLGEMEINER STAND DER TECHNIK
Automobile und andere Fahrzeuge stellen einen erheblichen Teil des Transports für gewerbliche, behördliche und private Einrichtungen bereit. Fahrzeuge, wie etwa autonome Fahrzeuge, fahren auf Fahrbahnen, Parkplätzen und anderen Flächen, wenn sie Fahrgäste oder Objekte von einem Ort zu einem anderen transportieren. Eine beispielhafte Anwendung autonomer Fahrzeuge ist der Betrieb als Taxi oder Shuttledienst, das bzw. der einen oder mehrere Fahrgäste als Reaktion auf eine Transportanforderung abholt. Beim Betrieb als Taxi oder Shuttledienst fährt das autonome Fahrzeug zu einer Abholstelle, sodass ein den Dienst anfordernder Fahrgast in das Fahrzeug einsteigen kann.
Figurenliste
Nicht einschränkende und nicht erschöpfende Ausführungsformen der vorliegenden Offenbarung werden in Bezug auf die folgenden Figuren beschrieben, wobei sich in den verschiedenen Figuren gleiche Bezugszeichen auf gleiche Teile beziehen, sofern nicht anderweitig angegeben.

1 ist ein Blockdiagramm, das eine Ausführungsform eines Fahrzeugsteuersystems veranschaulicht, das ein Flecken- und Abfallerkennungssystem beinhaltet.
2 ist ein Blockdiagramm, das eine Ausführungsform eines Flecken- und Abfallerkennungssystems veranschaulicht.
3 veranschaulicht eine Ausführungsform eines Fahrzeugs mit mehreren Innenkameras.
4A und 4B veranschaulichen eine Ausführungsform eines Verfahrens zum Erkennen von Flecken und Abfall in einem Fahrzeug.
5A - 5C veranschaulichen Ausführungsformen von beispielhaften Bildern, die zum Erkennen von Flecken in einem Fahrzeug verwendet werden.
6A - 6C veranschaulichen Ausführungsformen von beispielhaften Bildern, die zum Erkennen von Abfall in einem Fahrzeug verwendet werden.

DETAILLIERTE BESCHREIBUNG
In der folgenden Offenbarung wird auf die beigefügten Zeichnungen Bezug genommen, die einen Teil hiervon bilden und in denen spezifische Umsetzungen, in denen die Offenbarung durchgeführt werden kann, zur Veranschaulichung dargestellt werden. Es versteht sich, dass andere Umsetzungen verwendet werden können und strukturelle Änderungen vorgenommen werden können, ohne vom Schutzumfang der vorliegenden Offenbarung abzuweichen. Bezugnahmen in der Beschreibung auf „eine Ausführungsform“, „ein Ausführungsbeispiel“ usw. geben an, dass die beschriebene Ausführungsform ein(e) bestimmte(s) Merkmal, Struktur oder Eigenschaft beinhalten kann, doch es muss nicht unbedingt jede Ausführungsform diese(s) bestimmte Merkmal, Struktur oder Eigenschaft beinhalten. Darüber hinaus beziehen sich derartige Formulierungen nicht unbedingt auf dieselbe Ausführungsform. Ferner sei darauf hingewiesen, dass, wenn ein(e) bestimmte(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit einer Ausführungsform beschrieben wird, es im Bereich des Fachwissens des Fachmanns liegt, ein(e) derartige(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit anderen Ausführungsformen zu bewirken, ob dies nun ausdrücklich beschrieben ist oder nicht.
Umsetzungen der hier offenbarten Systeme, Vorrichtungen und Verfahren können einen Spezial- oder Universalcomputer umfassen oder verwenden, der Computerhardware beinhaltet, wie etwa zum Beispiel einen oder mehrere Prozessoren und einen oder mehrere Systemspeicher, wie hier erörtert. Umsetzungen innerhalb des Umfangs der vorliegenden Offenbarung können zudem physische Datenträger und andere computerlesbare Medien zum Transportieren oder Speichern von computerausführbaren Anweisungen und/oder Datenstrukturen einschließen. Bei derartigen computerlesbaren Medien kann es sich um beliebige verfügbare Medien handeln, auf die durch ein Universal- oder Spezialcomputersystem zugegriffen werden kann. Bei computerlesbaren Medien, auf denen computerausführbare Anweisungen gespeichert werden, handelt es sich um Computerspeichermedien (-vorrichtungen). Bei computerlesbaren Medien, die computerausführbare Anweisungen transportieren, handelt es sich um Übertragungsmedien. Daher können Umsetzungen der Offenbarung beispielsweise und nicht einschränkend mindestens zwei deutlich unterschiedliche Arten von computerlesbaren Medien umfassen: Computerspeichermedien (-vorrichtungen) und Übertragungsmedien.
Computerspeichermedien (-vorrichtungen) beinhalten RAM, ROM, EEPROM, CD-ROM, Festkörperlaufwerke (solid state drives - SSDs) (z. B. basierend auf RAM), Flash-Speicher, Phasenänderungsspeicher (phase-change memory - PCM), andere Speicherarten, andere optische Plattenspeicher, Magnetplattenspeicher oder andere magnetische Speichervorrichtungen oder ein beliebiges anderes Medium, das verwendet werden kann, um die gewünschten Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu speichern, und auf das durch einen Universal- oder Spezialcomputer zugegriffen werden kann.
Eine Umsetzung der hierin offenbarten Vorrichtungen, Systeme und Verfahren kann über ein Computernetzwerk kommunizieren. Ein „Netzwerk“ ist als eine oder mehrere Datenverbindungen definiert, die den Transport elektronischer Daten zwischen Computersystemen und/oder Modulen und/oder anderen elektronischen Vorrichtungen ermöglichen. Wenn Informationen über ein Netzwerk oder eine andere (entweder festverdrahtete, drahtlose oder eine Kombination aus festverdrahteter oder drahtloser) Kommunikationsverbindung an einen Computer übertragen oder diesem bereitgestellt werden, sieht der Computer die Verbindung ordnungsgemäß als Übertragungsmedium an. Übertragungsmedien können ein Netzwerk und/oder Datenverbindungen beinhalten, die verwendet werden können, um gewünschte Programmcodemittel in der Form von computerausführbaren Anweisungen oder Datenstrukturen zu übertragen und auf die durch einen Universal- oder Spezialcomputer zugegriffen werden kann. Kombinationen aus dem Vorstehenden sollten ebenfalls im Schutzumfang computerlesbarer Medien enthalten sein.
Computerausführbare Anweisungen umfassen zum Beispiel Anweisungen und Daten, die bei Ausführung an einem Prozessor einen Universalcomputer, Spezialcomputer oder eine Spezialverarbeitungsvorrichtung dazu veranlassen, eine bestimmte Funktion oder Gruppe von Funktionen durchzuführen. Die computerausführbaren Anweisungen können zum Beispiel Binärdateien, Zwischenformatanweisungen, wie etwa Assemblersprache, oder auch Quellcode sein. Obwohl der Gegenstand in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben ist, versteht es sich, dass der in den beigefügten Patentansprüchen definierte Gegenstand nicht notwendigerweise auf die hierin beschriebenen Merkmale oder Handlungen beschränkt ist. Die beschriebenen Merkmale und Handlungen sind vielmehr als beispielhafte Formen der Umsetzung der Patentansprüche offenbart.
Für den Fachmann versteht es sich, dass die Offenbarung in Netzwerkcomputerumgebungen mithilfe vieler Arten von Computersystemkonfigurationen angewendet werden kann, die einen Armaturenbrett-Fahrzeugcomputer, PCs, Desktop-Computer, Laptops, Nachrichtenprozessoren, Handgeräte, Multiprozessorsysteme, Unterhaltungselektronik auf Mikroprozessorbasis oder programmierbare Unterhaltungselektronik, Netzwerk-PCs, Minicomputer, Großcomputer, Mobiltelefone, PDAs, Tablets, Pager, Router, Switches, verschiedene Speichervorrichtungen und dergleichen beinhalten. Die Offenbarung kann zudem in Umgebungen mit verteilten Systemen angewendet werden, in denen sowohl lokale Computersysteme als auch entfernte Computersysteme, die durch ein Netzwerk (entweder durch festverdrahtete Datenverbindungen, drahtlose Datenverbindungen oder durch eine Kombination aus festverdrahteten und drahtlosen Datenverbindungen) verbunden sind, Aufgaben ausführen. In einer Umgebung mit verteilten Systemen können sich Programmmodule sowohl in lokalen Speichervorrichtungen als auch in Fernspeichervorrichtungen befinden.
Ferner können die hier beschriebenen Funktionen gegebenenfalls in einem oder mehreren des Folgenden ausgeführt werden: Hardware, Software, Firmware, digitalen Komponenten oder analogen Komponenten. Ein oder mehrere anwendungsspezifische integrierte Schaltkreise (application specific integrated circuits - ASICs) können zum Beispiel derart programmiert sein, dass sie eines bzw. einen oder mehrere der hierin beschriebenen Systeme und Vorgänge ausführen. Bestimmte Begriffe werden in der gesamten Beschreibung und den Patentansprüchen verwendet, um auf bestimmte Systemkomponenten Bezug zu nehmen. Der Fachmann wird verstehen, dass auf Komponenten durch unterschiedliche Bezeichnungen Bezug genommen werden kann. In dieser Schrift soll nicht zwischen Komponenten unterschieden werden, die sich dem Namen nach unterscheiden, nicht jedoch von der Funktion her.
Es ist anzumerken, dass die hierin erörterten Sensorausführungsformen Computerhardware, -software, -firmware oder eine beliebige Kombination davon umfassen können, um zumindest einen Teil ihrer Funktionen durchzuführen. Ein Sensor kann zum Beispiel Computercode beinhalten, der dazu konfiguriert ist, in einem oder mehreren Prozessoren ausgeführt zu werden, und kann eine Hardware-Logikschaltung/elektrische Schaltung beinhalten, die durch den Computercode gesteuert wird. Diese beispielhaften Vorrichtungen sind hier zum Zwecke der Veranschaulichung bereitgestellt und sollen nicht einschränkend sein. Ausführungsformen der vorliegenden Offenbarung können in weiteren Arten von Vorrichtungen umgesetzt werden, wie es dem einschlägigen Fachmann bekannt ist.
Zumindest einige Ausführungsformen der Offenbarung werden Computerprogrammprodukten zugeführt, die eine derartige Logik (z. B. in Form von Software) umfassen, die auf einem beliebigen computernutzbaren Medium gespeichert ist. Derartige Software veranlasst bei Ausführung in einer oder mehreren Datenverarbeitungsvorrichtungen eine Vorrichtung dazu, wie hierin beschrieben zu arbeiten.
1 ist ein Blockdiagramm, das eine Ausführungsform eines Fahrzeugsteuersystems 100 innerhalb eines Fahrzeugs veranschaulicht, das ein Flecken- und Abfallerkennungssystem 104 beinhaltet. Ein automatisiertes Fahr-/Assistenzsystem 102 kann verwendet werden, um den Betrieb eines Fahrzeugs zu automatisieren oder zu steuern oder einen menschlichen Fahrer zu unterstützen. Beispielsweise kann das automatisierte Fahr-/Assistenzsystem 102 eines oder mehrere von der Bremsung, der Lenkung, der Spannung des Sicherheitsgurts, der Beschleunigung, den Leuchten, den Warnmeldungen, den Fahrerbenachrichtigungen, dem Radio, den Fahrzeugschlössern oder beliebigen anderen Hilfssystemen des Fahrzeugs steuern. In einem weiteren Beispiel ist das automatisierte Fahr-/Assistenzsystem 102 unter Umständen nicht in der Lage, jegliche Steuerung des Fahrens (z. B. der Lenkung, Beschleunigung oder Bremsung) bereitzustellen, kann jedoch Benachrichtigungen und Warnmeldungen bereitstellen, um einen menschlichen Fahrer darin zu unterstützen, sicher zu fahren. Das Fahrzeugsteuersystem 100 beinhaltet ein Flecken- und Abfallerkennungssystem 104, das mit verschiedenen Komponenten in dem Fahrzeugsteuersystem interagiert, um potentielle (oder wahrscheinliche) Hindernisse, die sich nahe dem Fahrzeug (z. B. auf dem Weg des Fahrzeugs) befinden, zu erkennen und darauf zu reagieren. In einer Ausführungsform erkennt das Flecken- und Abfallerkennungssystem 104 Flecken, Schmutz, Abfall und andere Elemente innerhalb des Fahrzeugs. Obwohl das Flecken- und Abfallerkennungssystem 104 in 1 als eine separate Komponente dargestellt ist, kann das Flecken- und Abfallerkennungssystem 104 in alternativen Ausführungsformen in das automatisierte Fahr-/Assistenzsystem 102 oder eine beliebige andere Fahrzeugkomponente integriert sein.
Das Fahrzeugsteuersystem 100 beinhaltet außerdem ein/e oder mehrere Sensorsysteme/-vorrichtungen zum Erfassen eines Vorhandenseins nahegelegener Objekte (oder Hindernisse) oder zum Bestimmen eines Standorts eines Stammfahrzeugs (z. B. eines Fahrzeugs, welches das Fahrzeugsteuersystem 100 beinhaltet). Das Fahrzeugsteuersystem 100 kann zum Beispiel ein oder mehrere Radarsysteme 106, ein oder mehrere LIDAR-Systeme 108, ein oder mehrere Kamerasysteme 110, ein globales Positionsbestimmungssystem (global positioning system - GPS) 112 und/oder Ultraschallsysteme 114 beinhalten. Das eine oder die mehreren Kamerasysteme 110 kann bzw. können eine nach hinten gerichtete Kamera, die an dem Fahrzeug (z. B. einem hinteren Abschnitt des Fahrzeugs) angebracht ist, eine nach vorn gerichtete Kamera und eine zur Seite gerichtete Kamera beinhalten. Die Kamerasysteme 110 können außerdem eine oder mehrere Innenkameras beinhalten, die Bilder von Fahrgästen und anderen Objekten innerhalb des Fahrzeugs aufnehmen. Das Fahrzeugsteuersystem 100 kann einen Datenspeicher 116 zum Speichern relevanter oder nützlicher Daten zur Navigation und Sicherheit beinhalten, wie etwa Kartendaten, Fahrverlauf oder sonstige Daten. Das Fahrzeugsteuersystem 100 kann zudem einen Sendeempfänger 118 zur drahtlosen Kommunikation mit einem mobilen oder drahtlosen Netzwerk, anderen Fahrzeugen, Infrastruktur oder einem beliebigen anderen Kommunikationssystem beinhalten.
Das Fahrzeugsteuersystem 100 kann Fahrzeugsteueraktoren 120 beinhalten, um verschiedene Aspekte des Fahrens des Fahrzeugs zu steuern, wie etwa Elektromotoren, Schalter oder andere Aktoren, um die Bremsung, Beschleunigung, Lenkung, Spannung des Sicherheitsgurts, Türschlösser oder dergleichen zu steuern. Das Fahrzeugsteuersystem 100 kann außerdem eine(n) oder mehrere Anzeigen 122, Lautsprecher 124 oder andere Vorrichtungen beinhalten, sodass einem menschlichen Fahrer oder Fahrgast Benachrichtigungen bereitgestellt werden können. Eine Anzeige 122 kann eine Frontanzeige, eine Anzeige oder eine Angabe am Armaturenbrett, einen Anzeigebildschirm oder eine beliebige andere visuelle Angabe beinhalten, die von einem Fahrer oder Fahrgast eines Fahrzeugs gesehen werden kann. Die Lautsprecher 124 können einen oder mehrere Lautsprecher eines Soundsystems eines Fahrzeugs beinhalten oder können einen für die Fahrer- oder Fahrgastbenachrichtigung vorgesehenen Lautsprecher beinhalten.
Es versteht sich, dass die Ausführungsform aus 1 lediglich als Beispiel dient. Andere Ausführungsformen können weniger oder zusätzliche Komponenten beinhalten, ohne vom Schutzumfang der Offenbarung abzuweichen. Des Weiteren können veranschaulichte Komponenten ohne Einschränkung kombiniert oder in andere Komponenten eingeschlossen werden.
In einer Ausführungsform ist das automatisierte Fahr-/Assistenzsystem 102 dazu konfiguriert, das Fahren oder Navigieren eines Stammfahrzeugs zu steuern. Das automatisierte Fahr-/Assistenzsystem 102 kann zum Beispiel die Fahrzeugsteueraktoren 120 steuern, um einen Weg auf einer Straße, einem Parkplatz, einer Einfahrt oder an einem anderen Ort zu fahren. Zum Beispiel kann das automatisierte Fahr-/Assistenzsystem 102 einen Weg basierend auf durch eine beliebige der Komponenten 106 - 118 bereitgestellten Informationen oder Wahrnehmungsdaten bestimmen. Ein Weg kann zudem basierend auf einer Route bestimmt werden, die das Fahrzeug manövriert, um eine potentielle Kollision mit einem anderen Fahrzeug oder Objekt zu vermeiden oder abzuschwächen. Die Sensorsysteme/-vorrichtungen 106 -110 und 114 können verwendet werden, um Echtzeitsensordaten zu erhalten, sodass das automatisierte Fahr-/Assistenzsystem 102 in Echtzeit einen Fahrer unterstützen oder ein Fahrzeug fahren kann.
2 ist ein Blockdiagramm, das eine Ausführungsform eines Flecken- und Abfallerkennungssystems 104 veranschaulicht. Wie in 2 gezeigt, beinhaltet das Flecken- und Abfallerkennungssystem 104 einen Kommunikationsmanager 202, einen Prozessor 204 und einen Speicher 206. Der Kommunikationsmanager 202 ermöglicht dem Flecken- und Abfallerkennungssystem 104, mit anderen Systemen, wie etwa einem automatisierten Fahr-/Assistenzsystem 102, zu kommunizieren. Der Prozessor 204 führt verschiedene Anweisungen aus, um die Funktionalität umzusetzen, die durch das Flecken- und Abfallerkennungssystem 104, wie hier erörtert, bereitgestellt wird. Der Speicher 206 speichert diese Anweisungen sowie andere Daten, die durch den Prozessor 204 und andere Module und Komponenten verwendet werden, die in dem Flecken- und Abfallerkennungssystem 104 enthalten sind.
Zusätzlich dazu beinhaltet das Flecken- und Abfallerkennungssystem 104 ein Bildverarbeitungsmodul 208, das Bilddaten von einem oder mehreren Kamerasystemen 110 empfängt. In einigen Ausführungsformen beinhaltet das Bildverarbeitungsmodul 208 einen Bildverwaltungsalgorithmus oder -prozess, der ein oder mehrere saubere Bilder verwaltet, das bzw. die den Fahrzeuginnenraum darstellt bzw. darstellen, wenn er sauber ist (z. B. kein(e) Flecken, Schmutz, Abfall oder andere Elemente in dem Fahrzeug). Zusätzlich dazu kann das Bildverarbeitungsmodul 208 ein oder mehrere zusätzliche Bilder verwalten, das bzw. die aufgenommen werden, nachdem ein Fahrgast aus dem Fahrzeug ausgestiegen ist. Wie hier erörtert, werden diese zusätzlichen Bilder mit den sauberen Bildern verglichen, um zu bestimmen, ob der Fahrzeuginnenraum einen Fleck, Abfall oder ein anderes Element infolge des Reisens des Fahrgastes in dem Fahrzeug aufweist.
Ein Bildquantisierungsmodul 210 ist in der Lage, sowohl die sauberen Bilder als auch die zusätzlichen Bilder zu quantisieren, um das Rauschen in den Bildern zu reduzieren. Beim Quantisieren der Bilder reduziert das Bildquantisierungsmodul 210 die Farbspektren der Bilder auf drei Graustufen, was das Reduzieren des Rauschens in den Bildern unterstützt. In einigen Ausführungsformen wird die Quantisierung auch als „n-farbige Graustufenerzeugung“ bezeichnet. Das Bildquantisierungsmodul 210 kann zum Beispiel die Techniken umsetzen, die in der US-Anmeldung Nr. 15/360.856 , eingereicht am 23.11.2016, mit dem Titel „Detection of lane-splitting motorcycles“, die hiermit vollständig hierin aufgenommen ist, offenbart werden.
Das Flecken- und Abfallerkennungssystem 104 beinhaltet zudem ein Bildsubtraktionsmodul 212, das die zusätzlichen Bilder von den sauberen Bildern subtrahiert, um Differenzen zwischen den Fotos zu identifizieren. Diese Differenzen können Flecken, Schmutz, Abfall oder andere Elemente darstellen, die von dem vorherigen Fahrgast zurückgelassen wurden. Das Bildsubtraktionsmodul 212 kann zum Beispiel die Techniken umsetzen, die in der US-Anmeldung Nr. 15/360.856 , eingereicht am 23.11.2016, mit dem Titel „Detection of lane-splitting motorcycles“, die hiermit vollständig hierin aufgenommen ist, offenbart werden.
Ein Konturidentifikationsmodul 214 identifiziert eine oder mehrere Konturen in den Differenzen zwischen den sauberen Bildern und den zusätzlichen Bildern, wie sie durch das Bildsubtraktionsmodul 212 identifiziert wurden. Diese Konturen beinhalten zum Beispiel die Umrisse von Flecken, Schmutz, Abfallstücken oder anderen Elementen, wie etwa Elementen, die von dem vorherigen Fahrgast zurückgelassen wurden. Das Konturidentifikationsmodul 214 definiert zudem einen Begrenzungsrahmen um jede Kontur. Der Begrenzungsrahmen ermöglicht einem Benutzer oder Rechensystem, die identifizierten Konturen einfach zu identifizieren. Zusätzlich dazu kann das Flecken- und Abfallerkennungssystem 104 basierend auf der Platzierung und dem Winkel der Kamera, die jedes Bild aufgenommen hat, den Begrenzungsrahmen einer bestimmten Position in dem Fahrzeug zuordnen.
Ein Abfall-/Fleckenklassifizierungsmodul 216 erkennt die Positionen und Arten von Flecken, Schmutz, Abfall und anderen Elementen in dem Fahrzeug. Zum Beispiel analysiert das Abfall-/Fleckenklassifizierungsmodul 216 die identifizierten Konturen, die das Vorhandensein eines neuen Objekts angeben. Das neue Objekt wird klassifiziert, indem die Form der Kontur sowie die Weichheit der Konturkanten analysiert werden. Wenn die Kontur zum Beispiel im Wesentlichen rund ist und weiche Kanten aufweist, handelt es sich wahrscheinlich um einen Fleck. Wenn alternativ dazu die Kontur eine unregelmäßige Form und/oder scharfe/gezackte Kanten aufweist, handelt es sich eher um ein Abfallstück oder ein anderes Element, das durch den vorherigen Fahrgast in dem Fahrzeug zurückgelassen wurde.
In einigen Ausführungsformen greift das Abfall-/Fleckenklassifizierungsmodul 216 auf eine Datenquelle (z. B. eine Datenbank oder eine Lookup-Tabelle) zu, die Informationen enthält, welche den zuvor klassifizierten Konturen zugeordnet sind, wie etwa die Form- und Kantenmerkmale jeder Kontur und die daraus resultierende Klassifizierung jeder Kontur. Diese Informationen, die den zuvor klassifizierten Konturen zugeordnet sind, können durch das Abfall-/Fleckenklassifizierungsmodul 216 verwendet werden, um zukünftige Konturen zu analysieren und zu klassifizieren, wie etwa Identifizieren einer zuvor klassifizierten Kontur in der Datenquelle, die eine hohe Übereinstimmung mit einer aktuell zu klassifizierenden Kontur aufweist. Eine hohe Übereinstimmung ermöglicht dem Abfall-/Fleckenklassifizierungsmodul 216, Vermutung hinsichtlich der Klassifizierung der Kontur anzustellen.
Ein Fahrzeugwartungsmanager 218 verwaltet die Reinigung und Wartung des Fahrzeugs. Wenn zum Beispiel ein Fleck, Schmutz, Abfall oder ein anderes Element in dem Fahrzeug erkannt wird, nachdem ein Fahrgast aus dem Fahrzeug ausgestiegen ist, kann der Fahrzeugwartungsmanager 218 bestimmen, ob das Fahrzeug außer Dienst gestellt werden muss, bevor der nächste Fahrgast angenommen wird. Wenn eine Reinigung erforderlich ist, kann der Fahrzeugwartungsmanager 218 das automatisierte Fahr-/Assistenzsystem 102 anweisen, das Fahrzeug zu der nächstgelegenen Reinigungs- oder Serviceeinrichtung zu fahren.
3 veranschaulicht eine Ausführungsform eines Fahrzeugs 300 mit mehreren Innenkameras. Wie in 3 gezeigt, weist das Fahrzeug 300 vier Innenkameras 302, 304, 306 und 308 auf. In einigen Ausführungsformen sind die Kameras 302 - 308 in dem Fahrzeug 300 derart positioniert und ausgerichtet, dass sich alle Flächen der Sitze (z. B. die Sitzflächen und die Sitzrückenlehnen) im Sichtfeld mindestens einer Kamera 302-308 befinden. Andere Bereiche des Innenraums des Fahrzeugs 300 können sich ebenfalls in dem Sichtfeld von einer oder mehreren Kameras 302 - 308 befinden. In der Konfiguration des Fahrzeugs 300 sind die Kameras 302 und 304 positioniert und ausgerichtet, um Bilder der Flächen der Vordersitze des Fahrzeugs aufzunehmen. In ähnlicher Weise sind die Kameras 306 und 308 positioniert und ausgerichtet, um Bilder der Flächen der Rücksitze des Fahrzeugs aufzunehmen. Obwohl in 3 vier Innenkameras 302-308 gezeigt sind, kann das Fahrzeug 300 in alternativen Ausführungsformen eine beliebige Anzahl von Innenkameras an verschiedenen Positionen und mit unterschiedlichen Winkeln aufweisen.
4A und 4B veranschaulichen eine Ausführungsform eines Verfahrens 400 zum Erkennen von Flecken und Abfall in einem Fahrzeug. Zu Anfang empfängt ein Flecken- und Abfallerkennungssystem 402 ein oder mehrere saubere Bilder eines Fahrzeuginnenraums. Diese sauberen Bilder können als „Referenzbilder“ angesehen werden und stellen einen sauberen Fahrzeuginnenraum dar. In einigen Ausführungsformen sollte der Innenraum den sauberen Bildern im Wesentlichen ähnlich sein, bevor ein zu transportierender Fahrgast abgeholt wird. Als Reaktion auf eine Transportanforderung (oder -anweisung) holt das Fahrzeug einen Fahrgast ab 404 und transportiert den Fahrgast zu einem Zielort. Am Zielort steigt der Fahrgast aus dem Fahrzeug aus 406.
Nachdem der Fahrgast aus dem Fahrzeug ausgestiegen ist 406, empfängt 408 das Flecken- und Abfallerkennungssystem ein oder mehrere Bilder des aktuellen Fahrzeuginnenraums (d. h. „aktuelle Bilder“). In einigen Ausführungsformen ist die Position und Stellung, von der aus das aktuelle Bild aufgenommen wird, im Wesentlichen der Position und Stellung ähnlich, von der aus die sauberen Bilder aufgenommen wurden. Das Flecken- und Abfallerkennungssystem quantisiert 410 die sauberen Bilder und die aktuellen Bilder, um das Rauschen zu reduzieren. Das Verfahren 400 wird fortgesetzt, indem das Flecken- und Abfallerkennungssystem die aktuellen Bilder von den sauberen Bildern subtrahiert 412. In einigen Ausführungsformen subtrahiert 412 das Flecken- und Abfallerkennungssystem jedes aktuelle Bild von einem entsprechenden sauberen Bild (z. B. den sauberen Bildern des gleichen Abschnitts des Fahrzeuginnenraums).
Das Flecken- und Abfallerkennungssystem identifiziert 414 anschließend Differenzen zwischen den aktuellen Bildern und den sauberen Bildern. Wie hier erörtert, können diese Differenzen Flecken, Schmutz, Abfall oder andere Elemente darstellen, die von dem vorherigen Fahrgast zurückgelassen wurden. Das Flecken- und Abfallerkennungssystem identifiziert 416 Konturen in den identifizierten Differenzen. Die Konturen können zum Beispiel den Umriss von Flecken, Schmutz, Abfallstücken oder anderen Elementen darstellen.
Während das Verfahren 400 fortgesetzt wird, ordnet 418 das Flecken- und Abfallerkennungssystem jeder identifizierten Kontur einen Begrenzungsrahmen zu. Wie vorstehend angemerkt, ermöglicht der Begrenzungsrahmen einem Benutzer oder Rechensystem, die identifizierten Konturen einfach zu identifizieren. Dazu kann das Flecken- und Abfallerkennungssystem basierend auf der Platzierung und dem Winkel der Kamera, die jedes Bild aufgenommen hat, den Begrenzungsrahmen einer bestimmten Position in dem Fahrzeug zuordnen. Somit kann der Begrenzungsrahmen das Reinigungspersonal oder das Selbstreinigungssystem bei der Lokalisierung des spezifischen Fleckes, Schmutzes, Abfallstücks oder anderer Elemente unterstützen.
Das Flecken- und Abfallerkennungssystem klassifiziert 420 einen durch die Kontur definierten Bereich als Fleck, Schmutz, Abfall oder ein anderes Element. Wie hier erörtert, kann der durch eine Kontur definierte Bereich klassifiziert werden, indem die Form der Kontur sowie die Weichheit der Konturkanten analysiert werden. Wenn die Kontur zum Beispiel im Wesentlichen rund ist und weiche Kanten aufweist, handelt es sich wahrscheinlich um einen Fleck. Wenn jedoch die Kontur eine unregelmäßige Form und/oder scharfe/gezackte Kanten aufweist, handelt es sich eher um ein Abfallstück oder ein anderes Element, das durch den vorherigen Fahrgast in dem Fahrzeug zurückgelassen wurde. Wie vorstehend angemerkt, kann das Abfall-/Fleckenklassifizierungsmodul 216 in einigen Ausführungsformen auf eine Datenquelle zugreifen, die Informationen enthält, welche den zuvor klassifizierten Konturen zugeordnet sind. Diese Informationen sind hilfreich, wenn Konturen analysiert und klassifiziert werden, wie etwa Identifizieren einer zuvor klassifizierten Kontur in der Datenquelle, die eine hohe Übereinstimmung mit einer aktuell zu klassifizierenden Kontur aufweist.
Das Flecken- und Abfall erkennungssystem bestimmt 422, ob der Fahrzeuginnenraum gereinigt werden muss, bevor der nächste Fahrgast angenommen wird. Wenn das Flecken- und Abfallerkennungssystem zum Beispiel ein(en) von dem vorherigen Fahrgast zurückgelassenen beträchtlichen Fleck oder Abfallstück identifiziert, muss das Fahrzeug möglicherweise gereinigt werden, bevor ein anderer Fahrgast angenommen wird. Wenn das Fahrzeug gereinigt werden muss, kann die Bestimmung 422 zudem die Art der benötigten Reinigung beinhalten. Ein kleines Abfallstück zum Beispiel kann einfach durch einen Roboter, ein automatisiertes Reinigungssystem oder einen einzelnen in der Nähe des Fahrzeugs befindlichen Benutzer entfernt werden. Wenn jedoch ein beträchtlicher Fleck oder eine große Schmutzmenge erkannt wird, ist möglicherweise eine gründlichere Reinigung des Fahrzeugs in einem Fahrzeugservicecenter oder durch einen mobilen Reinigungsservice erforderlich. Wenn keine Reinigung erforderlich ist, wartet das Fahrzeug auf Anweisungen 432, einen neuen Fahrgast als Reaktion auf eine neue Transportanforderung abzuholen.
Wenn eine Reinigung erforderlich ist 424, kann das Fahrzeug außer Dienst gestellt werden 426, während ein Reinigungsdienst organisiert und die Reinigung des Fahrzeuginnenraums durchgeführt wird. Wenn die Fahrzeugreinigung abgeschlossen ist 428, kann das Fahrzeug wieder für den Dienst freigegeben werden 430 und ist für die Annahme von neuen Transportanforderungen verfügbar. Das Fahrzeug wartet dann auf Anweisungen 432, einen neuen Fahrgast als Reaktion auf eine neue Transportanforderung abzuholen.
Die 5A - 5C veranschaulichen Ausführungsformen von beispielhaften Bildern, die zum Erkennen von Flecken in einem Fahrzeug verwendet werden. 5A zum Beispiel veranschaulicht ein sauberes Bild einer Fläche eines Sitzes mit einer sauberen Serviette. 5B veranschaulicht die gleiche Fläche des Sitzes und die gleiche Serviette, jedoch weist die Serviette einen Fleck auf. Wie hier erörtert, ist 5B ein „zweites Bild“, nachdem ein Fahrgast aus dem Fahrzeug ausgestiegen ist. 5C veranschaulicht das Ergebnis der hier erörterten Bildverarbeitung, welche die Differenzen zwischen dem sauberen Bild und dem zweiten Bild identifiziert. Wie in 5C gezeigt, identifiziert die dichte Konzentration weißer Pixel den Fleck auf der Serviette.
Die 6A - 6C veranschaulichen Ausführungsformen von beispielhaften Bildern, die zum Erkennen von Abfall in einem Fahrzeug verwendet werden. 6A zum Beispiel veranschaulicht ein sauberes Bild einer Fläche eines Sitzes. 6B veranschaulicht die gleiche Fläche des Sitzes, wobei sich jedoch zwei Abfallstücke auf der Fläche des Sitzes befinden. Wie hier erörtert, ist 6B ein „zweites Bild“, nachdem ein Fahrgast aus dem Fahrzeug ausgestiegen ist. 6C veranschaulicht das Ergebnis der hier erörterten Bildverarbeitung, welche die Differenzen zwischen dem sauberen Bild und dem zweiten Bild identifiziert. Wie in 6C gezeigt, identifizieren die zwei Bereiche mit der dichten Konzentration weißer Pixel die zwei Abfallstücke.
Während hierin verschiedene Ausführungsformen der vorliegenden Offenbarung beschrieben werden, versteht es sich, dass diese lediglich als Beispiele und nicht als Einschränkung dienen. Für den entsprechenden Fachmann ist ersichtlich, dass verschiedene Änderungen in Form und Detail daran vorgenommen werden können, ohne vom Geist und Schutzumfang der Offenbarung abzuweichen. Daher sollen die Breite und der Schutzumfang der vorliegenden Offenbarung nicht durch eines der beschriebenen Ausführungsbeispiele eingeschränkt werden, sondern sollen lediglich gemäß den folgenden Patentansprüchen und ihren Äquivalenten definiert sein. Die Beschreibung wird hierin zu Veranschaulichungs- und Beschreibungszwecken dargelegt. Sie erhebt keinerlei Anspruch auf Vollständigkeit und soll die Offenbarung nicht auf die konkrete offenbarte Form beschränken. Viele Modifikationen und Variationen sind in Anbetracht der offenbarten Lehren möglich. Ferner ist anzumerken, dass eine beliebige oder alle der hierin erörterten alternativen Umsetzungen in einer beliebigen gewünschten Kombination genutzt werden können, um zusätzliche Hybridumsetzungen der Offenbarung zu bilden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 15360856 [0020, 0021]

Claims

Verfahren, umfassend: Empfangen eines sauberen Bildes eines Fahrzeuginnenraums; Empfangen eines zweiten Bildes des Fahrzeuginnenraums, nachdem ein Fahrgast das Fahrzeug besetzt hat; Quantisieren des sauberen Bildes und des zweiten Bildes, um das Rauschen zu reduzieren; Identifizieren von Differenzen zwischen dem sauberen Bild und dem zweiten Bild; Identifizieren mindestens einer Kontur in den identifizierten Unterschieden; und Klassifizieren eines durch die Kontur definierten Bereichs als Fleck, Schmutz, Abfall oder ein anderes Element.
Verfahren nach Anspruch 1, ferner umfassend Zuordnen eines Begrenzungsrahmens zu der identifizierten Kontur.
Verfahren nach Anspruch 1, wobei das Klassifizieren des durch die Kontur definierten Bereichs das Bestimmen einer Form der Kontur oder das Bestimmen einer Weichheit der Kanten der Kontur.
Verfahren nach Anspruch 1, ferner umfassend Bestimmen, ob der Fahrzeuginnenraum gereinigt werden muss, basierend auf der Klassifizierung des durch die Kontur definierten Bereichs.
Verfahren nach Anspruch 4, ferner umfassend als Reaktion auf das Bestimmen, dass der Fahrzeuginnenraum gereinigt werden muss: Außer-Dienst-stellen des Fahrzeugs; und Organisieren der Reinigung des Fahrzeuginnenraums.
Verfahren nach Anspruch 4, ferner umfassend Warten auf Anweisungen, einen neuen Fahrgast abzuholen, wenn der Fahrzeuginnenraum nicht gereinigt werden muss.
Verfahren, das Folgendes umfasst: Empfangen eines sauberen Bildes eines Fahrzeuginnenraums; Empfangen eines zweiten Bildes des Fahrzeuginnenraums, nachdem ein Fahrgast das Fahrzeug besetzt hat; Quantisieren des sauberen Bildes und des zweiten Bildes durch ein Flecken- und Abfall erkennungssystem; Identifizieren von Unterschieden zwischen dem sauberen Bild und dem zweiten Bild durch ein Flecken- und Abfallerkennungssystem; Identifizieren einer Kontur in den identifizierten Differenzen durch das Flecken- und Abfall erkennungssystem; Analysieren einer Form der Kontur durch das Flecken- und Abfallerkennungssystem; und Klassifizieren eines durch die Kontur definierten Bereichs durch das Flecken- und Abfallerkennungssystem als eines von einem Fleck, Schmutz, Abfall oder ein anderes Element, basierend auf der Form der Kontur.
Verfahren nach Anspruch 1 oder 7, wobei das Identifizieren von Differenzen zwischen dem sauberen Bild und dem zweiten Bild das Subtrahieren des zweiten Bildes von dem sauberen Bild beinhaltet.
Verfahren nach Anspruch 7, wobei das Klassifizieren des durch die Kontur definierten Bereichs ferner auf einer Weichheit der Kanten der Kontur basiert.
Verfahren nach Anspruch 7, ferner umfassend: umfassend Bestimmen, ob der Fahrzeuginnenraum gereinigt werden muss, basierend auf der Klassifizierung des durch die Kontur definierten Bereichs; und als Reaktion auf das Bestimmen, dass der Fahrzeuginnenraum gereinigt werden muss: Außer-Dienst-stellen des Fahrzeugs; und Organisieren der Reinigung des Fahrzeuginnenraums, bevor ein anderer Fahrgast angenommen wird.
Verfahren nach Anspruch 1 oder 7, wobei das Quantisieren des sauberen Bildes und des zweiten Bildes das Reduzieren der Farbspektren des sauberen Bildes und des zweiten Bildes auf mehrere Graustufen beinhaltet.
Vorrichtung, die Folgendes umfasst: einen Kommunikationsmanager, der dazu konfiguriert ist, ein sauberes Bild eines Fahrzeuginnenraums zu empfangen, und dazu konfiguriert ist, ein zweites Bild des Fahrzeuginnenraums zu empfangen, nachdem ein Fahrgast das Fahrzeug besetzt hat; ein Bildquantisierungsmodul, das dazu konfiguriert ist, das saubere Bild und das zweite Bild zu quantisieren; ein Bildverarbeitungsmodul, das dazu konfiguriert ist, Differenzen zwischen dem sauberen Bild und dem zweiten Bild zu identifizieren; ein Konturidentifikationsmodul, das dazu konfiguriert ist, mindestens einer Kontur in den identifizierten Unterschieden zu identifizieren; und ein Klassifizierungsmodul, das dazu konfiguriert ist, einen durch die Kontur definierten Bereich als eines von einem Fleck, Schmutz, Abfall oder einem anderen Element zu klassifizieren.
Vorrichtung nach Anspruch 12, ferner umfassend einen Fahrzeugwartungsmanager, der dazu konfiguriert ist, zu bestimmen, ob der Fahrzeuginnenraum gereinigt werden muss, basierend auf der Klassifizierung des durch die Kontur definierten Bereichs.
Vorrichtung nach Anspruch 12, wobei das Quantisierungsmodul die Farbspektren des sauberen Bildes und des zweiten Bildes auf mehrere Graustufen reduziert.
Vorrichtung nach Anspruch 12, wobei die Vorrichtung an ein automatisiertes Fahrsystem in dem Fahrzeug gekoppelt ist.