DE102018102285A1

DE102018102285A1 - System und verfahren zum beurteilen des innenraums eines autonomen fahrzeugs

Info

Publication number: DE102018102285A1
Application number: DE102018102285.9A
Authority: DE
Inventors: Bruno Sielly Jales Costa; Madeline J Goh; Jinesh J. Jain
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2017-02-03
Filing date: 2018-02-01
Publication date: 2018-08-09
Also published as: GB2561062A; GB201801668D0; RU2018103182A; CN108388837B; US20180225890A1; MX2018001297A; CN108388837A; US10290158B2

Abstract

Ein autonomes Fahrzeug beinhaltet Innenraumsensoren, die eine IR-Kamera und eine Kamera für sichtbares Licht beinhalten. Bilder eines Innenraums des Fahrzeugs werden unter Verwendung der Kameras sowohl bevor als auch nachdem der Fahrgast in dem Fahrzeug mitfährt aufgenommen. Die IR-Bilder von vorher und nachher werden subtrahiert, um ein Differenzbild zu erhalten. Pixel über einer Schwellenintensität werden zu einem Cluster zusammengefasst. Cluster, die eine Größe über einem Schwellenwert aufweisen, werden als Anomalien bestimmt. Teile von Bildern von der Kamera für sichtbares Licht, die den Anomalien entsprechen, werden an einen Verteiler gesendet, der das Fahrzeug dann für das Abholen eines weiteren Fahrgastes freigeben oder dieses an eine Reinigungsstation schicken kann. Anomalien können auf Grundlage einer Kombination aus den IR-Bildern und den Bildern sichtbaren Lichts identifiziert werden.

Description

ALLGEMEINER STAND DER TECHNIK
GEBIET DER ERFINDUNG
Diese Offenbarung betrifft ein Sensorsystem und Verfahren für ein autonomes Fahrzeug.
ALLGEMEINER STAND DER TECHNIK
Autonome Fahrzeuge sind Gegenstand vieler Forschungs- und Entwicklungsbemühungen. Solche Fahrzeuge beinhalten einen Satz von Sensoren und Steuerlogik, welche die Identifizierung und Umfahrung von Hindernissen und die Navigation zu einem Ziel ermöglichen. Eine Anwendung von autonomen Fahrzeugen ist die Verwendung als Taxis, die auf Anfrage einen Fahrgast abholen können.
Das hierin offenbarte System und Verfahren stellt einen Ansatz zum Bereitstellen von autonomen Taxidiensten bereit.
Figurenliste
Damit die Vorteile der Erfindung ohne Weiteres verstanden werden, erfolgt durch Bezugnahme auf konkrete Ausführungsformen, die in den beigefügten Zeichnungen veranschaulicht sind, eine genauere Beschreibung der vorstehend kurz beschriebenen Erfindung. Unter der Kenntnisnahme, dass diese Zeichnungen lediglich typische Ausführungsformen der Erfindung darstellen und daher nicht als den Umfang beschränkend aufzufassen sind, wird die Erfindung mit zusätzlicher Genauigkeit und Ausführlichkeit durch die Verwendung der beigefügten Zeichnungen beschrieben und erläutert, in denen Folgendes gilt:

1A ist ein schematisches Blockdiagramm eines Systems zum Umsetzen von Ausführungsformen der Erfindung;
1B ist ein schematisches Blockdiagramm eines Fahrzeugs, das Innenraumsensoren zum Umsetzen von Ausführungsformen der Erfindung beinhaltet;
2 ist ein schematisches Blockdiagramm einer beispielhaften Rechenvorrichtung, die zum Umsetzen von Verfahren gemäß den Ausführungsformen der Erfindung geeignet ist;
3 ist ein Prozessablaufdiagramm eines Verfahrens zum Bewerten eines Zustands eines autonomen Taxis gemäß einer Ausführungsform der vorliegenden Erfindung; und
4A bis 4D sind Bilder, welche die Identifizierung von Anomalien in dem Innenraum eines Fahrzeugs gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulichen.

DETAILLIERTE BESCHREIBUNG
Unter Bezugnahme auf 1A und 1B kann ein Fahrzeug 100 (siehe 1B) eine Steuerung 102 aufnehmen. Das Fahrzeug 100 kann ein beliebiges im Fach bekanntes Fahrzeug beinhalten. Das Fahrzeug 100 kann alle der Strukturen und Merkmale eines beliebigen im Fach bekannten Fahrzeugs aufweisen, einschließlich Rädern, eines an die Räder gekoppelten Antriebsstrangs, eines an den Antriebsstrang gekoppelten Motors, eines Lenksystems, eines Bremssystems und anderer in ein Fahrzeug zu integrierender Systeme, die im Fach bekannt sind.
Wie hier ausführlicher erörtert, kann die Steuerung 102 autonome Navigation und Kollisionsvermeidung durchführen. Die Steuerung 102 kann eine oder mehrere Ausgaben von einem oder mehreren Außensensoren 104 empfangen. Zum Beispiel können eine oder mehrere Kameras 106a an dem Fahrzeug 100 angebracht sein und empfangene Bildströme an die Steuerung 102 ausgeben. Die Steuerung 102 kann ein oder mehrere Audioströme von einem oder mehreren Mikrofonen 106b empfangen. Zum Beispiel können die einen oder mehrere Mikrofone 106b oder Mikrofonarrays 106b an dem Fahrzeug 100 angebracht sein und von der Steuerung 102 empfangene Audioströme ausgeben. Die Mikrofone 106b können Richtmikrofone mit einer Empfindlichkeit, die mit dem Winkel variiert, beinhalten.
Die Außensensoren 104 können Sensoren wie etwa einen RADAR(Radio Detection and Ranging)-Sensor 106c, einen LIDAR(Light Detection and Ranging)-Sensor 106d, einen SONAR(Sound Navigation and Ranging)-Sensor 106e und dergleichen beinhalten.
Die Steuerung 102 kann ein autonomes Betriebsmodul 108 ausführen, das die Ausgaben der Außensensoren 104 empfängt. Das autonome Betriebsmodul 108 kann ein Hindernisidentifikationsmodul 110a, ein Kollisionsvorhersagemodul 110b und ein Entscheidungsmodul 110c beinhalten. Das Hindernisidentifikationsmodul 110a analysiert die Ausgaben der Außensensoren und identifiziert mögliche Hindernisse, einschließlich Menschen, Tiere, Fahrzeuge, Gebäude, Bordsteine und andere Objekte und Strukturen. Insbesondere kann das Hindernisidentifikationsmodul 110a Fahrzeugbilder in den Sensorausgaben identifizieren.
Das Kollisionsvorhersagemodul 110b sagt vorher, welche Hindernisbilder auf Grundlage von seinem gegenwärtigen Kurs oder gegenwärtig beabsichtigten Weg wahrscheinlich mit dem Fahrzeug 100 kollidieren werden. Das Kollisionsvorhersagemodul 110b kann die Wahrscheinlichkeit einer Kollision mit Objekten, die durch das Hindernisidentifikationsmodul 110a identifiziert wurden, bewerten. Das Entscheidungsmodul 110c kann eine Entscheidung treffen, um anzuhalten, zu beschleunigen, eine Kurve zu fahren usw., um Hindernisse zu umfahren. Die Weise, auf die das Kollisionsvorhersagemodul 110b mögliche Kollisionen vorhersagt, und die Weise, auf die das Entscheidungsmodul 110c Maßnahmen ergreift, um mögliche Kollisionen zu verhindern, können gemäß einem beliebigen auf dem Fachgebiet autonomer Fahrzeuge bekannten Verfahren oder System sein.
Das Entscheidungsmodul 110c kann den Kurs des Fahrzeugs durch Betätigen von einem oder mehreren Aktoren 112, welche die Richtung und Geschwindigkeit des Fahrzeugs 100 steuern, steuern. Zum Beispiel können die Aktoren 112 einen Lenkaktor 114a, einen Beschleunigungsaktor 114b und einen Bremsaktor 114c beinhalten. Die Konfiguration der Aktoren 114a-114c kann gemäß einer beliebigen Umsetzung solcher im Fachgebiet autonomer Fahrzeuge bekannten Aktoren erfolgen.
In hierin offenbarten Ausführungsformen kann das autonome Betriebsmodul 108 autonome Navigation zu einem spezifizierten Ort, autonomes Parken und andere im Fach bekannte automatisierte Fahraktivitäten durchführen.
Das autonome Betriebsmodul 108 kann ferner ein Innenraummodul 110d beinhalten, das einen Zustand des Innenraums des Fahrzeugs 100 gemäß den hierin offenbarten Verfahren bewertet. Das Innenraummodul 110d kann Ausgaben von einem oder mehreren Innenraumsensoren 116 bewerten. Die Innenraumsensoren 116 können eine oder mehrere Kameras 118a beinhalten, d. h. eine Kamera für sichtbares Licht, wie etwa eine Standbild- oder Videokamera. Die Innenraumsensoren 116 können außerdem eine oder mehrere Infrarot(IR)-Kameras 118b beinhalten. Die Innenraumsensoren 116 können einen beliebigen im Fach bekannten Sensor beinhalten, wie etwa einen elektrochemischen Sensor, Feuchtigkeitssensor oder ein elektronisches Thermometer. Das Innenraummodul 110d kann zum Beispiel die Techniken umsetzen, die in US-Anmeldung Nr. 15/343,726 , eingereicht am 4. November 2016, mit dem Titel „A System and Methods for Assessing the Interior of an Autonomous Vehicle“, die hiermit vollständig hierin aufgenommen ist, offenbart werden.
Wie in 1B gezeigt, können eine oder mehrere Kameras 118a in dem Fahrzeug positioniert und ausgerichtet sein, um alle Sitzoberflächen (Sitzflächen und Sitzrückenlehnen) im Blickfeld von zumindest einer der Kameras 118a zu haben. Andere Bereiche des Innenraums des Fahrzeugs können sich ebenfalls in dem Blickfeld von zumindest einer der Kameras 118a befinden.
Eine oder mehrere IR-Kameras 118b können in dem Fahrzeug positioniert und ausgerichtet sein, um alle Sitzoberflächen (Sitzflächen und Sitzrückenlehnen) im Blickfeld von zumindest einer der IR-Kameras 118b zu haben. Andere Bereiche des Innenraums des Fahrzeugs können sich ebenfalls in dem Blickfeld von zumindest einer der IR-Kameras 118b befinden.
Die Steuerung 102 kann in Datenkommunikation mit einem Server 120 stehen, wie etwa mithilfe eines Netzwerks 122, das eine beliebige verdrahtete oder drahtlose Netzwerkverbindung beinhalten kann, einschließlich einer Verbindung eines Mobilfunk-Datennetzes. Die hierin offenbarten Verfahren können durch den Server 120, die Steuerung 102 oder eine Kombination aus den beiden umgesetzt werden.
2 ist ein Blockdiagramm, das eine beispielhafte Rechenvorrichtung 200 veranschaulicht. Die Rechenvorrichtung 200 kann dazu verwendet werden, verschiedene Vorgänge auszuführen, wie etwa die hierin erörterten. Die Steuerung 102 und das Serversystem 120 können einige oder alle der Attribute der Rechenvorrichtung 200 aufweisen.
Die Rechenvorrichtung 200 beinhaltet einen oder mehrere Prozessor(en) 202, eine oder mehrere Speichervorrichtung(en) 204, eine oder mehrere Schnittstelle(n) 206, eine oder mehrere Massenspeichervorrichtung(en) 208, eine oder mehrere Ein-/Ausgabe-(E/A-)Vorrichtung(en) 210 und eine Anzeigevorrichtung 230, die alle an einen Bus 212 gekoppelt sind. Der/Die Prozessor(en) 202 beinhaltet/beinhalten eine(n) oder mehrere Prozessoren oder Steuerungen, der/die in der/den Speichervorrichtung(en) 204 und/oder der/den Massenspeichervorrichtung(en) 208 gespeicherte Anweisungen ausführen. Der/Die Prozessor(en) 202 kann/können zudem verschiedene Arten von computerlesbaren Medien beinhalten, wie etwa Cache-Speicher.
Die Speichervorrichtung(en) 204 beinhaltet/beinhalten verschiedene computerlesbare Medien, wie etwa flüchtigen Speicher (z. B. Direktzugriffsspeicher (Random Access Memory - RAM) 214) und/oder nichtflüchtigen Speicher (z. B. Festwertspeicher (Read-Only Memory - ROM) 216). Die Speichervorrichtung(en) 204 kann/können zudem wiederbeschreibbaren ROM beinhalten, wie etwa Flash-Speicher.
Die Massenspeichervorrichtung(en) 208 beinhaltet/beinhalten verschiedene computerlesbare Medien, wie etwa Magnetbänder, Magnetplatten, optische Platten, Festkörperspeicher (z. B. Flash-Speicher) und so weiter. Wie in 2 gezeigt, ist eine besondere Massenspeichervorrichtung ein Festplattenlaufwerk 224. Zudem können verschiedene Laufwerke in der/den Massenspeichervorrichtung(en) 208 enthalten sein, um ein Auslesen aus und/oder Schreiben auf die verschiedenen computerlesbaren Medien zu ermöglichen. Die Massenspeichervorrichtung(en) 208 beinhaltet/beinhalten entfernbare Medien 226 und/oder nichtentfernbare Medien.
Die E/A-Vorrichtung(en) 210 beinhaltet/beinhalten verschiedene Vorrichtungen, die es ermöglichen, dass Daten und/oder andere Informationen in die Rechenvorrichtung 200 eingegeben oder daraus abgerufen werden. (Eine) Beispielhafte E/A-Vorrichtung(en) 210 beinhaltet/beinhalten Cursorsteuervorrichtungen, Tastaturen, Tastenfelder, Mikrofone, Monitore oder andere Anzeigevorrichtungen, Lautsprecher, Drucker, Netzwerkschnittstellenkarten, Modems, Linsen, CCDs oder andere Bilderfassungsvorrichtungen und dergleichen.
Die Anzeigevorrichtung 230 beinhaltet eine beliebige Art von Vorrichtung, die dazu in der Lage ist, einem oder mehreren Benutzern der Rechenvorrichtung 200 Informationen anzuzeigen. Zu Beispielen für eine Anzeigevorrichtung 230 gehören ein Monitor, ein Anzeigeendgerät, eine Videoprojektionsvorrichtung und dergleichen.
Die Schnittstelle(n) 206 beinhaltet/beinhalten verschiedene Schnittstellen, die es der Rechenvorrichtung 200 ermöglichen, mit anderen Systemen, Vorrichtungen oder Rechenumgebungen zu interagieren. Zu (einer) beispielhaften Schnittstelle(n) 206 gehören eine beliebige Anzahl von unterschiedlichen Netzwerkschnittstellen 220, wie etwa Schnittstellen mit lokalen Netzwerken (Local Area Networks - LANs), Großraumnetzwerken (Wide Area Networks - WANs), drahtlosen Netzwerken und dem Internet. Zu (einer) andere(n) Schnittstelle(n) gehören eine Benutzerschnittstelle 218 und eine Peripherievorrichtungsschnittstelle 222. Die Schnittstelle(n) 206 kann/können ebenso eine oder mehrere Peripherieschnittstellen beinhalten, wie beispielsweise Schnittstellen für Drucker, Zeigevorrichtungen (Mäuse, Touchpad usw.), Tastaturen und dergleichen.
Der Bus 212 ermöglicht dem/den Prozessor(en) 202, der/den Speichervorrichtung(en) 204, der/den Schnittstelle(n) 206, der/den Massenspeichervorrichtung(en) 208, der/den E/A-Vorrichtung(en) 210 und der Anzeigevorrichtung 230, miteinander sowie mit anderen Vorrichtungen oder Komponenten, die an den Bus 212 gekoppelt sind, zu kommunizieren. Der Bus 212 stellt eine oder mehrere von mehreren Arten von Busstrukturen dar, wie etwa einen Systembus, PCI-Bus, IEEE-1394-Bus, USB-Bus und so weiter.
Zum Zwecke der Veranschaulichung sind Programme und andere ausführbare Programmkomponenten hierin als getrennte Blöcke gezeigt, auch wenn es sich versteht, dass sich derartige Programme und Komponenten zu verschiedenen Zeitpunkten in unterschiedlichen Speicherkomponenten der Rechenvorrichtung 200 befinden können, und werden durch den/die Prozessor(en) 202 ausgeführt. Alternativ können die hierin beschriebenen Systeme und Vorgänge in Hardware oder einer Kombination aus Hardware, Software und/oder Firmware umgesetzt sein. Ein oder mehrere anwendungsspezifische integrierte Schaltkreise (Application Specific Integrated Circuits - ASICs) können zum Beispiel programmiert sein, um eines oder mehrere der hierin beschriebenen Systeme und Verfahren durchzuführen.
Unter Bezugnahme auf 3 kann das veranschaulichte Verfahren 300 verwendet werden, um Daten von den Innenraumsensoren 116 zu erhalten, um den Zustand des Innenraums des Fahrzeugs 100 zu bewerten. Das Verfahren 300 kann durch die Steuerung 102 oder das Serversystem 120 durchgeführt werden oder unter diesen Vorrichtungen aufgeteilt werden.
Das Verfahren 300 kann Empfangen 302 von einem oder mehreren ersten Bildern des Innenraums des Fahrzeugs unter Verwendung von einer oder mehreren Kameras 118a, einer oder mehreren IR-Kameras 118b oder sowohl von den einen oder mehreren Kameras 118a als auch den einen oder mehreren IR-Kameras 118b beinhalten.
Schritt 302 kann direkt vor dem Abholen von einem oder mehreren Fahrgästen bei einer Fahrt erfolgen, z. B. an einem Abholort, bevor die einen oder mehreren Fahrgäste in das Fahrzeug einsteigen, vor Abfahrt von einem Entsendebereich, an einer Reinigungsstation nach der Reinigung oder Inspektion oder nach dem Absetzen von Fahrgästen von einer vorhergehenden Fahrt.
Die einen oder mehreren Bilder aus Schritt 302 können durch die Steuerung 102 gespeichert werden und können zusätzlich oder alternativ an das Serversystem 120 übertragen werden, was diese in einem Fahrtendatenverzeichnis speichern kann.
Die Steuerung 100 kann dann einen oder mehrere Fahrgäste abholen 304, autonom zu einem Ziel navigieren und die einen oder mehreren Fahrgäste an dem Ziel absetzen 306.
Das Verfahren 300 kann dann Empfangen 308 von einem oder mehreren letzten Bildern des Innenraums des Fahrzeugs unter Verwendung von der einen oder mehreren Kameras 118a, der einen oder mehreren IR-Kameras 118b oder sowohl von der einen oder mehreren Kameras 118a als auch den einen oder mehreren IR-Kameras 118b beinhalten. Schritt 308 kann direkt nach dem Absetzen 306 der einen oder mehreren Fahrgäste erfolgen. Zum Beispiel als Reaktion auf das Erfassen des Schließens von einer oder mehreren Türen des Fahrzeugs 100 nach dem Anhalten an dem Ziel. Die bei Schritt 308 empfangenen Bilder können durch die Steuerung 102 lokal gespeichert oder können zusätzlich oder alternativ an das Serversystem 120 übertragen werden.
Das Verfahren 300 kann dann Durchführen 310 einer Hintergrundsubtraktion beinhalten, z. B. Subtrahieren eines ersten Bildes eines Bereichs von einem letzten Bild desselben Bereichs. Zum Beispiel kann das Verfahren 300 in Bezug auf einen Rücksitz eines Fahrzeugs durchgeführt werden, wie in dem Bild sichtbaren Lichts aus 4A gezeigt. In 4B ist ein erstes IR-Bild gezeigt und in 4C ist ein letztes IR-Bild gezeigt, das eine Verschüttung aufweist. Da eine Verschüttung heiß, z. B. verschütteter Kaffee, oder kalt sein kann, z. B. ein kaltes Getränk oder eine Flüssigkeit, die aufgrund von Verdunstung abgekühlt ist, sind Verschüttungen im Allgemeinen auf den IR-Bildern besonders sichtbar. 4D veranschaulicht ein Differenzbild aus dem Subtrahieren der Pixelwerte des Bildes 4B von den entsprechenden Pixelwerten des Bildes 4C; d. h. der Pixel an einer gegebenen Position in dem ersten Bild können von dem Pixel in dieser Position in dem letzten Bild subtrahiert werden, um eine Differenz zu erhalten, die den Pixelwert in dieser Position in dem Differenzbild darstellt.
Das Verfahren 300 kann Anwenden 312 von einem oder mehreren Schwellenwerten oder Anwendung von anderen Bildverarbeitungstechniken beinhalten, um Anomalien in dem Differenzbild hervorzuheben. Zum Beispiel können Pixel in dem Differenzbild, die eine Intensität unter einem Schwellenwert aufweisen, entfernt werden. Wenn zum Beispiel eine Pixelintensität zwischen 0 und 255 liegt, können Intensitäten über 40 in dem Differenzbild beibehalten und weiter bewertet werden. Die übrigen Pixel können dann in Cluster zusammenhängender Pixel gruppiert werden. Der Bereich, der durch jedes Cluster eingenommen wird, kann dann bewertet werden. Cluster, die in einem Bereich unter einem Größenschwellenwert enthalten sind, können aus der weiteren Berücksichtigung entfernt werden. Cluster, die in einem Bereich über dem Größenschwellenwert enthalten sind, können weiterverarbeitet oder als Anomalien identifiziert werden, bei denen es sich um eine verschüttete Flüssigkeit handeln kann. In einigen Ausführungsformen handelt es sich bei dem Größenschwellenwert um einen relativen Größenschwellenwert, d. h. Cluster, die geringer als ein Anteil oder eine Funktion der Größe des Clusters in dem Bild sind, können als unter dem Größenschwellenwert liegend bestimmt werden. Es können andere im Fach bekannte Verarbeitungstechniken durchgeführt werden, wie etwa Retinex-Verarbeitung oder dergleichen.
In einigen Ausführungsformen kann die Anomalieerfassung aus Schritt 314 Verarbeiten sowohl von Bildern sichtbaren Lichts als auch IR-Bildern beinhalten. Ein IR-Differenzbild kann zum Beispiel als eine Differenz von ersten und letzten (d. h. vor und nach der Fahrgastfahrt aufgenommenen) IR-Bildern berechnet werden. Ein Differenzbild sichtbaren Lichts kann als eine Differenz von ersten und letzten Bildern sichtbaren Lichts berechnet werden. Beide dieser Differenzbilder können analysiert werden, um zu bestimmen, ob eine Anomalie vorhanden ist. Zum Beispiel kann Schwellenwertbildung, Clustering und Bewerten von Clustergrößen für das Differenzbild sichtbaren Lichts auf dieselbe Weise wie vorangehend beschrieben durchgeführt werden. Dementsprechend kann die Wahrscheinlichkeit ansteigen, dass eine Anomalie bestimmt wird, wenn Anomalien sowohl in dem IR-Differenzbild als auch dem Differenzbild sichtbaren Lichts aufgefunden werden.
Wenn eine Anomalie 316 in der Ausgabe aus Schritt 314 erfasst wird, kann das Verfahren 300 Übertragen 318 einer Warnung an einen Verteiler beinhalten. In einigen Ausführungsformen kann die Warnung einen Teil eines sichtbaren Bildes beinhalten, das jeder Anomalie entspricht. Wie in 4D gezeigt, gibt zum Beispiel die weiße Region eine Anomalie an. Eine entsprechende Region, z. B. ein Bounding-Rechteck in einem Bild sichtbaren Lichts 4A derselben Region, kann mit der Warnung übertragen werden, wodurch es einem Verteiler ermöglicht wird, zu prüfen, ob eine Verschüttung scheinbar vorhanden ist oder nicht. Zum Beispiel kann das Bild sichtbaren Lichts übertragen werden, wobei die der Anomalie entsprechenden Region hervorgehoben ist, wie etwa mithilfe eines Bounding-Rechtecks, welches das Bild überlagert.
Der Verteiler kann das Fahrzeug dann anweisen, sich zu einer Reinigungsstation zu bewegen, oder das Fahrzeug freigeben 320, um autonom an den nächsten Abholort zu fahren, wie etwa den Abholort, der durch die Steuerung 102 von dem Serversystem 120 empfangen wurde. Die Steuerung 102 veranlasst das Fahrzeug dann dazu, sich zu dem Ort zu bewegen, der durch den Verteiler angegeben wird.
In der vorstehenden Offenbarung wurde auf die beigefügten Zeichnungen Bezug genommen, die einen Teil davon bilden und in denen zur Veranschaulichung konkrete Umsetzungen gezeigt sind, in denen die Offenbarung ausgeführt sein kann. Es versteht sich, dass andere Umsetzungen verwendet werden können und strukturelle Änderungen vorgenommen werden können, ohne vom Schutzumfang der vorliegenden Offenbarung abzuweichen. Bezugnahmen in der Beschreibung auf „eine Ausführungsform“, „ein Ausführungsbeispiel“ usw. geben an, dass die beschriebene Ausführungsform ein bestimmtes Merkmal, eine bestimmte Struktur oder Eigenschaft beinhalten kann, doch es muss nicht notwendigerweise jede Ausführungsform dieses bestimmte Merkmal, diese bestimmte Struktur oder Eigenschaft beinhalten. Darüber hinaus beziehen sich derartige Formulierungen nicht unbedingt auf dieselbe Ausführungsform. Ferner sei darauf hingewiesen, dass, wenn ein(e) bestimmte(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit einer Ausführungsform beschrieben wird, es im Bereich des Fachwissens des Fachmanns liegt, ein(e) derartige(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit anderen Ausführungsformen zu bewirken, ob dies nun ausdrücklich beschrieben ist oder nicht.
Umsetzungen der hierin offenbarten Systeme, Vorrichtungen und Verfahren können einen Spezial- oder Universalcomputer umfassen oder verwenden, der Computerhardware beinhaltet, wie etwa beispielsweise einen oder mehrere Prozessoren und einen oder mehrere Systemspeicher, wie hierin erörtert. Umsetzungen innerhalb des Schutzumfangs der vorliegenden Offenbarung können außerdem physische und andere computerlesbare Medien zum Transportieren oder Speichern von computerausführbaren Anweisungen und/oder Datenstrukturen beinhalten. Bei derartigen computerlesbaren Medien kann es sich um beliebige verfügbare Medien handeln, auf die durch ein Universal- oder Spezialcomputersystem zugegriffen werden kann. Bei computerlesbaren Medien, auf denen computerausführbare Anweisungen gespeichert werden, handelt es sich um Computerspeichermedien (-vorrichtungen). Bei computerlesbaren Medien, die computerausführbare Anweisungen transportieren, handelt es sich um Übertragungsmedien. Daher können Umsetzungen der Offenbarung beispielsweise und nicht einschränkend zumindest zwei deutlich unterschiedliche Arten von computerlesbaren Medien umfassen: Computerspeichermedien (-vorrichtungen) und Übertragungsmedien.
Zu Computerspeichermedien (-vorrichtungen) gehören RAM, ROM, EEPROM, CD-ROM, Festkörperlaufwerke (Solid State Drives - SSDs) (z. B. basierend auf RAM), Flash-Speicher, Phasenänderungsspeicher (Phase-Change Memory - PCM), andere Speicherarten, andere optische Plattenspeicher, Magnetplattenspeicher oder andere magnetische Speichervorrichtungen oder ein beliebiges anderes Medium, das verwendet werden kann, um die gewünschten Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu speichern, und auf das durch einen Universal- oder Spezialcomputer zugegriffen werden kann.
Eine Umsetzung der hierin offenbarten Vorrichtungen, Systeme und Verfahren kann über ein Computernetzwerk kommunizieren. Ein „Netzwerk“ ist als eine oder mehrere Datenverbindungen definiert, die den Transport elektronischer Daten zwischen Computersystemen und/oder Modulen und/oder anderen elektronischen Vorrichtungen ermöglichen. Wenn Informationen über ein Netzwerk oder eine andere (entweder festverdrahtete, drahtlose oder eine Kombination aus festverdrahteter oder drahtloser) Kommunikationsverbindung an einen Computer übertragen oder diesem bereitgestellt werden, sieht der Computer die Verbindung ordnungsgemäß als Übertragungsmedium an. Übertragungsmedien können ein Netzwerk und/oder Datenverbindungen beinhalten, die verwendet werden können, um gewünschte Programmcodemittel in der Form von computerausführbaren Anweisungen oder Datenstrukturen zu übertragen und auf die durch einen Universal- oder Spezialcomputer zugegriffen werden kann. Kombinationen aus den Vorstehenden sollten ebenfalls im Schutzumfang computerlesbarer Medien beinhaltet sein.
Computerausführbare Anweisungen umfassen zum Beispiel Anweisungen und Daten, die bei Ausführung an einem Prozessor einen Universalcomputer, Spezialcomputer oder eine Spezialverarbeitungsvorrichtung dazu veranlassen, eine bestimmte Funktion oder Gruppe von Funktionen auszuführen. Die computerausführbaren Anweisungen können zum Beispiel Binärdateien, Zwischenformatanweisungen, wie etwa Assemblersprache, oder auch Quellcode sein. Obwohl der Gegenstand in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben wurde, versteht es sich, dass der in den beigefügten Patentansprüchen definierte Gegenstand nicht notwendigerweise auf die vorstehend beschriebenen Merkmale oder Handlungen beschränkt ist. Die beschriebenen Merkmale und Handlungen werden vielmehr als beispielhafte Formen der Umsetzung der Patentansprüche offenbart.
Für den Fachmann versteht es sich, dass die Offenbarung in Netzwerkcomputerumgebungen mithilfe vieler Arten von Computersystemkonfigurationen angewendet werden kann, die einen Armaturenbrett-Fahrzeugcomputer, PCs, Desktop-Computer, Laptops, Nachrichtenprozessoren, Handgeräte, Multiprozessorsysteme, Unterhaltungselektronik auf Mikroprozessorbasis oder programmierbare Unterhaltungselektronik, Netzwerk-PCs, Minicomputer, Großcomputer, Mobiltelefone, PDAs, Tablets, Pager, Router, Switches, verschiedene Speichervorrichtungen und dergleichen beinhalten. Die Offenbarung kann zudem in Umgebungen mit verteilten Systemen angewendet werden, in denen sowohl lokale Computersysteme als auch entfernte Computersysteme, die durch ein Netzwerk (entweder durch festverdrahtete Datenverbindungen, drahtlose Datenverbindungen oder durch eine Kombination aus festverdrahteten und drahtlosen Datenverbindungen) verbunden sind, Aufgaben ausführen. In einer Umgebung mit verteilten Systemen können sich Programmmodule sowohl in lokalen Speichervorrichtungen als auch in Fernspeichervorrichtungen befinden.
Ferner können die hierin beschriebenen Funktionen gegebenenfalls in einem oder mehreren der Folgenden ausgeführt werden: Hardware, Software, Firmware, digitalen Komponenten oder analogen Komponenten. Ein oder mehrere anwendungsspezifische integrierte Schaltkreise (Application Specific Integrated Circuits - ASICs) können zum Beispiel programmiert sein, um eines oder mehrere der hierin beschriebenen Systeme und Verfahren durchzuführen. Bestimmte Ausdrücke werden in der gesamten Beschreibung und den Patentansprüchen verwendet, um auf bestimmte Systemkomponenten Bezug zu nehmen. Für den Fachmann versteht es sich, dass auf Komponenten durch unterschiedliche Bezeichnungen Bezug genommen werden kann. In dieser Schrift soll nicht zwischen Komponenten unterschieden werden, die sich dem Namen nach unterscheiden, nicht jedoch von der Funktion her.
Es ist anzumerken, dass die vorstehend erörterten Sensorausführungsformen Computerhardware, -software, -firmware oder eine beliebige Kombination daraus umfassen können, um zumindest einen Teil ihrer Funktionen auszuführen. Ein Sensor kann zum Beispiel Computercode beinhalten, der dazu konfiguriert ist, in einem oder mehreren Prozessoren ausgeführt zu werden, und kann eine Hardware-Logikschaltung/elektrische Schaltung beinhalten, die durch den Computercode gesteuert wird. Diese beispielhaften Vorrichtungen sind hierin zum Zwecke der Veranschaulichung bereitgestellt und sollen nicht einschränkend sein. Ausführungsformen der vorliegenden Offenbarung können in weiteren Arten von Vorrichtungen umgesetzt werden, wie es dem einschlägigen Fachmann bekannt ist.
Zumindest einige Ausführungsformen der Offenbarung wurden Computerprogrammprodukten zugeführt, die eine solche Logik (z. B. in Form von Software) umfassen, die auf einem beliebigen computernutzbaren Medium gespeichert ist. Derartige Software veranlasst bei Ausführung in einer oder mehreren Datenverarbeitungsvorrichtungen eine Vorrichtung dazu, wie hierin beschrieben zu arbeiten.
Während vorstehend verschiedene Ausführungsformen der vorliegenden Offenbarung beschrieben wurden, versteht es sich, dass diese lediglich als Beispiele dienen und nicht als Einschränkung. Für den einschlägigen Fachmann wird ersichtlich, dass verschiedene Änderungen in Form und Detail daran vorgenommen werden können, ohne vom Geist und Umfang der Offenbarung abzuweichen. Daher sollen die Breite und der Umfang der vorliegenden Offenbarung durch keines der vorstehend beschriebenen Ausführungsbeispiele eingeschränkt werden, sondern sollen lediglich in Übereinstimmung mit den folgenden Patentansprüchen und ihren Äquivalenten definiert sein. Die vorstehende Beschreibung wurde zum Zwecke der Veranschaulichung und Beschreibung dargelegt. Sie erhebt keinerlei Anspruch auf Vollständigkeit und soll die Offenbarung nicht auf die konkrete offenbarte Form beschränken. Viele Modifikationen und Variationen sind in Anbetracht der vorstehenden Lehren möglich. Ferner ist anzumerken, dass beliebige oder alle der vorangehend genannten alternativen Umsetzungen in einer beliebigen gewünschten Kombination verwendet werden können, um zusätzliche Hybridumsetzungen der Offenbarung zu bilden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 15343726 [0012]

Claims

System für ein Fahrzeug, umfassend: eine Infrarot(IR)-Kamera, die einen Innenraum des Fahrzeugs erfasst; eine Steuerung, die an die IR-Kamera gekoppelt und zu Folgendem programmiert ist: Empfangen einer ersten Ausgabe von der IR-Kamera; Empfangen einer zweiten Ausgabe von der IR-Kamera nach der ersten Ausgabe; und Aufrufen einer Abhilfemaßnahme, wenn eine Änderung zwischen der ersten Ausgabe und der zweiten Ausgabe eine Anomalie angibt.
System nach Anspruch 1, ferner umfassend: eine Kamera für sichtbares Licht, die mit der Steuerung wirkverbunden ist und ein Sichtfeld des Fahrzeugs in dem Sichtfeld davon aufweist; wobei die Steuerung ferner zu Folgendem programmiert ist: Empfangen einer dritten Ausgabe von der Kamera für sichtbares Licht; wenn die Änderung zwischen der ersten Ausgabe und der zweiten Ausgabe die Anomalie angibt: (a) Identifizieren eines relevanten Bereichs (Region Of Interest - ROI) in der dritten Ausgabe, welcher der Anomalie entspricht, und (b) Übertragen des ROI an einen Verteiler; Empfangen einer Eingabe von dem Verteiler; Autonomes Fahren des Fahrzeugs zu einer Reinigungsstation, wenn die Eingabe eine Anweisung ist, sich zu der Reinigungsstation zu bewegen; und Autonomes Fahren des Fahrzeugs zu einem nächsten Abholort, wenn die Eingabe eine Anweisung ist, sich zu dem nächsten Abholort zu bewegen.
System nach Anspruch 2, wobei die Steuerung ferner zu Folgendem programmiert ist: Empfangen einer vierten Ausgabe von der Kamera für sichtbares Licht vor der dritten Ausgabe; Bewerten einer Kombination aus (a) einer Differenz von der ersten Ausgabe und der zweiten Ausgabe und (b) einer Differenz von der vierten Ausgabe und der dritten Ausgabe; und Aufrufen der Abhilfemaßnahme, wenn die Kombination die Anomalie angibt.
System nach Anspruch 1, wobei die Steuerung ferner programmiert ist, um die erste Ausgabe vor dem Abholen eines Fahrgasts mit der IR-Kamera aufzunehmen und um die zweite Ausgabe nach dem Absetzen des Fahrgasts mit der IR-Kamera aufzunehmen.
System nach Anspruch 4, wobei die Steuerung ferner zu Folgendem programmiert ist: Subtrahieren der ersten Ausgabe von der zweiten Ausgabe, um ein Differenzbild zu erhalten; und Bewerten des Differenzbildes, um zu bestimmen, ob die erste Ausgabe und die zweite Ausgabe die Anomalie angeben.
System nach Anspruch 5, wobei die Steuerung ferner zu Folgendem programmiert ist: Identifizieren von Pixeln in dem Differenzbild, die einen Schwellenwert überschreiten; und Bewerten, ob die Pixel in dem Differenzbild, die den Schwellenwert überschreiten, die Anomalie angeben.
System nach Anspruch 5, wobei die Steuerung ferner zu Folgendem programmiert ist: Identifizieren von Pixeln in dem Differenzbild, die einen Schwellenwert überschreiten; und Bewerten, ob die Pixel in dem Differenzbild, die den Schwellenwert überschreiten, die Anomalie angeben.
System nach Anspruch 5, wobei die Steuerung ferner zu Folgendem programmiert ist: Identifizieren von Pixeln in dem Differenzbild, die einen Schwellenwert überschreiten, um Pixel über dem Schwellenwert zu erhalten; Identifizieren von Clustern von zusammenhängenden Pixeln über dem Schwellenwert; und Identifizieren der Cluster, die größer als der Größenschwellenwert sind, als Anomalien, wenn Cluster größer sind als der Größenschwellenwert.
Verfahren, Folgendes durch eine Steuerung umfassend: Empfangen einer ersten Ausgabe von einer IR-Kamera, die einen Innenraum des Fahrzeugs in einem Sichtfeld davon aufweist; Empfangen einer zweiten Ausgabe von der IR-Kamera nach der ersten Ausgabe; Bestimmen, dass eine Änderung zwischen der ersten Ausgabe und der zweiten Ausgabe eine Anomalie angibt; und Aufrufen einer Abhilfemaßnahme als Reaktion auf das Bestimmen, dass die Änderung zwischen der ersten Ausgabe und der zweiten Ausgabe eine Anomalie angibt.
Verfahren nach Anspruch 9, ferner umfassend: Empfangen einer dritten Ausgabe von einer Kamera für sichtbares Licht, wobei ein Sichtfeld der Kamera für sichtbares Licht den Innenraum des Fahrzeugs beinhaltet; als Reaktion auf das Bestimmen, dass die Änderung zwischen der ersten Ausgabe und der zweiten Ausgabe die Anomalie angibt: (a) Identifizieren eines relevanten Bereichs (Region Of Interest - ROI) in der dritten Ausgabe, welcher der Anomalie entspricht, und (b) Übertragen des ROI an einen Verteiler.
Verfahren nach Anspruch 10, ferner umfassend: Empfangen einer Eingabe von dem Verteiler, die eine Anweisung beinhaltet, sich zu einer Reinigungsstation zu bewegen; und Autonomes Fahrens des Fahrzeugs zu der Reinigungsstation als Reaktion auf die Eingabe.
Verfahren nach Anspruch 10, ferner umfassend: Empfangen einer Eingabe von dem Verteiler, die eine Anweisung beinhaltet, sich zu einem nächsten Abholort zu bewegen; und Autonomes Fahrens des Fahrzeugs zu dem nächsten Abholort als Reaktion auf die Eingabe.
Verfahren nach Anspruch 10, ferner umfassend: Empfangen einer vierten Ausgabe von der Kamera für sichtbares Licht vor der dritten Ausgabe; Bewerten einer Kombination aus einer Differenz von der ersten Ausgabe und der zweiten Ausgabe und einer Differenz von der vierten Ausgabe und der dritten Ausgabe; und Bestimmen, dass die Kombination die Anomalie angibt.
Verfahren nach Anspruch 9, ferner umfassend: Aufnehmen der ersten Ausgabe mit der IR-Kamera vor dem Abholen eines Fahrgasts und Aufnehmen der zweiten Ausgabe mit der IR-Kamera nach dem Absetzen des Fahrgasts; Subtrahieren der ersten Ausgabe von der zweiten Ausgabe, um ein Differenzbild zu erhalten; Identifizieren von Pixeln in dem Differenzbild, die einen Schwellenwert überschreiten; und Bewerten, ob die Pixel in dem Differenzbild, die den Schwellenwert überschreiten, die Anomalie angeben.
Verfahren nach Anspruch 14, ferner umfassend: Identifizieren von Pixeln in dem Differenzbild, die einen Schwellenwert überschreiten, um Pixel über dem Schwellenwert zu erhalten; Identifizieren von Clustern von zusammenhängenden Pixeln über dem Schwellenwert; und Identifizieren der Cluster, die größer sind als der Größenschwellenwert, als Anomalien.