DE112019000967T5

DE112019000967T5 - Verfahren und system für auf fahrzeug-vorinformationen basierende, sichtbasierte fahrzeuginnenraumumgebungsabfühlung

Info

Publication number: DE112019000967T5
Application number: DE112019000967.2T
Authority: DE
Inventors: Mao Ye; Liu Ren
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2018-03-29
Filing date: 2019-03-14
Publication date: 2020-11-12
Also published as: WO2019185359A1; US20210034888A1; US11410436B2; CN112204612A

Abstract

Ein Verfahren zum Betreiben eines ein Fahrzeugabfühlsystem umfassenden Fahrzeugs umfasst das Erzeugen eines Basislinienbildmodells einer Fahrzeugkabine basierend auf Bilddaten der Fahrzeugkabine, die von einer Abbildungsvorrichtung des Fahrzeugabfühlsystems erzeugt werden, wobei das Basislinienbildmodell vor einem Insassenereignis erzeugt wird, und das Erzeugen eines Ereignisbildmodells der Fahrzeugkabine basierend auf Bilddaten der Fahrzeugkabine, die von der Abbildungsvorrichtung erzeugt werden, wobei das Ereignisbildmodell nach dem Insassenereignis erzeugt wird. Das Verfahren umfasst außerdem das Identifizieren von Bildabweichungen durch Vergleichen des Ereignisbildmodells mit dem Basislinienbildmodell mit einer Steuerung des Fahrzeugabfühlsystems, wobei die Bildabweichungen Unterschieden in der Fahrzeugkabine vor dem Insassenereignis und nach dem Insassenereignis entsprechen, und das Betreiben des Fahrzeugs basierend auf den identifizierten Bildabweichungen.

Description

Diese Anmeldung beansprucht die Priorität der vorläufigen US-Anmeldung mit der Seriennummer 62/649.624, die am 29. März 2018 eingereicht wurde und deren Offenbarung als Ganzes durch Verweis hierin aufgenommen ist.
GEBIET
Diese Offenbarung betrifft im Allgemeinen das Gebiet der Videoüberwachung und insbesondere das Gebiet der Videoüberwachung des Zustands einer Insassenkabine eines Motorfahrzeugs.
HINTERGRUND
Sofern hierin nicht anders angegeben sind die in diesem Abschnitt beschriebenen Materialien nicht Stand der Technik für die Ansprüche in dieser Anmeldung und werden durch Einbeziehung in diesen Abschnitt nicht zum Stand der Technik gezählt.
Fahrzeuge auf öffentlichen Autobahnen werden fast ausschließlich von menschlichen Bedienern gesteuert. Da sich Technologien in Richtung autonomes Fahren bewegen, werden manche Fahrzeuge auf öffentlichen Autobahnen automatisch von fortgeschrittenen Computersystemen gesteuert. Autonome Fahrzeuge sind in der Lage, menschliche Insassen zu transportieren, und benötigen keinen menschlichen Bediener. Stattdessen leitet das Computersystem das Fahrzeug beispielsweise zu einer Destination, die von den Insassen ausgewählt wird.
Ein gemeinsam genutztes autonomes Fahrzeug ist beispielsweise ein autonomes Fahrzeug, das von mehreren Insassen geteilt wird und taxiähnliche Dienste bereitstellt. Da das gemeinsam genutzte Fahrzeug autonom ist, ist kein menschlicher Bediener vorhanden. In solch einem System ist es typischerweise wünschenswert, den Status und Zustand des gemeinsam genutzten Fahrzeugs zu überwachen und die Insassen zu überwachen, die transportiert werden, um sicherzustellen, dass sich das Fahrzeug in einem gewünschten Zustand befmdet, und um sicherzustellen, dass es die Insassen bequem haben.
Es wurden zahlreiche Versuche unternommen, um Systeme zur Überwachung der Insassen zu entwickeln, einschließlich Gesichtsverfolgungssystemen, Blickverfolgungssystemen und Systemen, welche die von einem Insassen ausgeführten Gesten verfolgen und erkennen. Jedes dieser Systeme versucht sicherzustellen, dass es die Insassen bequem haben und sich angemessen benehmen, während sie vom autonomen Fahrzeug transportiert werden. Weniger Aufmerksamkeit wurde jedoch dem Abfühlen des Innenbereichs im autonomen Fahrzeug geschenkt. Folglich wären Verbesserungen an Systemen und Verfahren zur Fahrzeuginnenüberwachung vorteilhaft.
KURZDARSTELLUNG
Gemäß einer beispielhaften Ausführungsform der Offenbarung umfasst ein Verfahren zum Betreiben eines Fahrzeugs, das ein Fahrzeugabfühlsystem umfasst, Erzeugen eines Basislinienbildmodells einer Fahrzeugkabine basierend auf Bilddaten der Fahrzeugkabine, die von einer Abbildungsvorrichtung des Fahrzeugabfühlsystems erzeugt werden, wobei das Basislinienbildmodell vor einem Insassenereignis erzeugt wird, und Erzeugen eines Ereignisbildmodells der Fahrzeugkabine basierend auf Bilddaten der Fahrzeugkabine, die von der Abbildungsvorrichtung erzeugt werden, wobei das Ereignisbildmodell nach dem Insassenereignis erzeugt wird. Das Verfahren umfasst außerdem Identifizieren von Bildabweichungen durch Vergleichen des Ereignisbildmodells mit dem Basislinienbildmodell mit einer Steuerung des Fahrzeugabfühlsystems, wobei die Bildabweichungen Unterschieden in der Fahrzeugkabine von vor dem Insassenereignis bis nach dem Insassenereignis entsprechen; und Betreiben des Fahrzeugs basierend auf den identifizierten Bildabweichungen.
Gemäß einer weiteren beispielhaften Ausführungsform der Offenbarung umfasst ein Fahrzeugabfühlsystem für ein entsprechendes Fahrzeug eine Abbildungsvorrichtung, einen Speicher und eine Steuerung. Der Speicher ist konfiguriert, um ein Basislinienbildmodell der Fahrzeugkabine zu speichern, das vor einem Insassenereignis erzeugt wird. Die Steuerung ist betriebsfähig mit der Abbildungsvorrichtung und dem Speicher verbunden. Die Steuerung ist konfiguriert, um ein Ereignisbildmodell der Fahrzeugkabine basierend auf den erzeugten Bilddaten nach dem Insassenereignis zu erzeugen. Die Steuerung ist auch konfiguriert, um Bildabweichungen durch Vergleichen des Ereignisbildmodells mit dem Basislinienbildmodell zu identifizieren und das Fahrzeug basierend auf den identifizierten Bildabweichungen zu betreiben. Die Bildabweichungen entsprechen Unterschieden in der Fahrzeugkabine von vor dem Insassenereignis bis nach dem Insassenereignis.
Ein beispielhaftes Verwendungsfallszenario ist in 3 dargestellt, bei dem ein Insasse in einem gemeinsam genutzten autonomen Fahrzeug fuhr. Beim Aussteigen aus dem Fahrzeug vergaß der Insasse zahlreiche persönliche Besitztümer auf den Sitzen des Fahrzeugs. Solche Situationen stellen Herausforderungen sowohl bei von Menschen bedienten, gemeinsam genutzten Fahrzeuge als auch autonomen gemeinsam genutzten Fahrzeugen dar, weil bei Beendigung des Insassenereignisses kein Mensch vor Ort ist, um das Fahrzeug vor dem nächsten Insassenereignis zu inspizieren.
Als weiteres Beispiel nimmt ein Benutzer eine elektronische Anfrage für eine Fahrt mit einem gemeinsam genutzten autonomen Fahrzeug vor. Der Insasse vergisst beim Aussteigen aus dem Fahrzeug einen Gegenstand, wie etwa eine Geldbörse, im Fahrzeug. Gemäß der Offenbarung detektiert das Fahrzeugabfühlsystem das vergessene Objekt und benachrichtigt den Insassen über eine elektronische Nachricht, z. B. eine E-Mail, Textnachricht oder Sprachnachricht für den Insassen, an den Benutzer. Nach Empfang der Benachrichtigung kann der Insasse entscheiden, den vergessenen Gegenstand zurück zu bekommen.
In einem weiteren beispielhaften Szenario, wenn das Fahrzeugabfühlsystem detektiert, dass die Fahrzeugsitze schmutzig oder beschädigt geworden sind, wird das Fahrzeug vor dem nächsten Insassenereignis automatisch zur Wartung bei einem Servicezentrum geschickt.
Mit diesen Merkmalen, wie sie oben beschrieben sind, wird den Insassen von gemeinsam genutzten autonomen Fahrzeugen sowie gemeinsam genutzten, vom Benutzer betriebenen Fahrzeugen (nichtautonomen Fahrzeugen) eine besserer Benutzererfahrung bereitgestellt.
Um diese Ziele zu erreichen, detektiert das Fahrzeugabfühlsystem Ereignisse von Interesse, die hierin auch als Abweichungen bezeichnet werden. In einer beispielhaften Ausführungsform findet die Detektion von Ereignissen auf verschiedenen unterschiedlichen Ebenen statt. Ein erstes beispielhaftes Ereignis, das vom Fahrzeugabfühlsystem detektiert wird, umfasst Abweichungen zwischen dem Autozustand nach einem Insassenereignis und dem Autozustand vor dem Insassenereignis. Das Insassenereignis ist eine Verwendung des Fahrzeugs durch einen oder mehrere Insassen. Das Fahrzeugabfühlsystem identifiziert einen Bereich der Fahrzeugkabine, wo die Abweichungen vorhanden sind, aber ohne jegliche semantischen Informationen, etwa darüber, welche Art von Objekt die Abweichung verursacht hat. Typischerweise werden Beleuchtungsänderungen nicht als Abweichung oder Ereignis von Interesse erachtet. Ein zweites beispielhaftes Ereignis, das vom Fahrzeugabfühlsystem detektiert wird, umfasst Informationen über eine Änderung der Attribute des Fahrzeugs. Beispielhafte Attribute umfassen eine Position der Sitze und eine Position anderer benutzereinstellbarer Einrichtungen des Fahrzeugs. Das Fahrzeugabfühlsystem erkennt auch die Ursachen der Abweichung. Wenn die Ursache der Abweichung die Detektion eines Objekts ist, dann identifiziert das System den Objekttyp aus einem vordefinierten Satz von Objekten, einschließlich Smartphones, Geldbörsen, Schlüsseln und dergleichen. Wenn das Objekt nicht identifiziert werden kann, wird das Objekt als unbekanntes Objekt klassifiziert. Außerdem detektiert es das Fahrzeugabfühlsystem als weitere beispielhafte Abweichung, wenn der Insasse nach Ende des Insassenereignisses im Fahrzeug geblieben ist.
Ein beispielhafter Ablaufplan des Fahrzeugabfühlsystems, um die oben genannten Ziele zu erreichen, umfasst das Erfassen von Fahrzeuginnenraumbilddaten vor dem Insassenereignis mit dem Fahrzeug in einem Basislinienzustand oder sauberen Zustand; Erfassen von Fahrzeuginnenraumbilddaten nach dem Insassenereignis und Vergleichen der Fahrzeuginnenraumbilddaten vor dem Insassenereignis und der Fahrzeuginnenraumbilddaten nach dem Insassenereignis, um Abweichungen zu detektieren. Beispielhafte Kerntechnologien, die in dem Prozess enthalten sind, sind Videoüberwachungssysteme, die Hintergrundsubtraktion, Veränderungsdetektion, Bildzerlegung und Objekterkennung ausführen.
Die hierin beschriebenen Ausführungsformen des Fahrzeugabfühlsystems stellen Verbesserungen an Technologien bereit, die automatische Überwachung und Analyse des Innenzustands der Kabine eines Fahrzeugs unter verschiedenen Umgebungsbeleuchtungsbedingungen bereitstellen, was besonders vorteilhaft für die Überwachung des Innenraums eines Fahrzeugs ist, das sich zu verschiedenen Orten mit unkontrollierten Umgebungslichtbedingungen bewegt.
Figurenliste

1 ist ein Blockdiagramm eines Fahrzeugs wie hierin offenbart, das ein Fahrzeugabfühlsystem umfasst;
2 ist ein Flussdiagramm, das ein beispielhaftes Verfahren zum Betreiben des Fahrzeugs und des Fahrzeugabfühlsystems aus 1 zeigt;
3 ist eine Darstellung einer beispielhaften Kabine des Fahrzeugs aus 1, wobei die Kabine drei Abweichungen umfasst, die als Laptopcomputer, Geldbörse und Smartphone dargestellt sind;
4 ist eine weitere Darstellung der Kabine aus 3, wobei die Kabine in einer Basislinienkonfiguration dargestellt ist, in der keine Abweichungen vorhanden sind;
5 ist eine Darstellung, die Verarbeitungsmodule des Fahrzeugabfühlsystems aus 1, einschließlich eines Sensordaten-Vorverarbeitungsmoduls, zeigt;
6 ist eine Darstellung, die das Sensordaten-Vorverarbeitungsmodul aus 5 zeigt;
7 ist eine Darstellung des Fahrzeugs und der Verarbeitungsmodule des Fahrzeugabfühlsystems aus 1;
8A zeigt Bilddaten, die von einer Abbildungsvorrichtung des Fahrzeugabfühlsystems aus 1 bei der Kabine in starkem Sonnenlicht erzeugt wurden;
8B zeigt Bilddaten, die von der Abbildungsvorrichtung des Fahrzeugabfühlsystems aus 1 erzeugt wurden, wobei die Bilddaten ein Stopp eines Mehrfachbelichtungssatzes sind und eine kurze Belichtung aufweisen;
8C zeigt Bilddaten, die von der Abbildungsvorrichtung des Fahrzeugabfühlsystems aus 1 erzeugt wurden, wobei die Bilddaten ein Stopp eines Mehrfachbelichtungssatzes sind und eine lange Belichtung aufweisen;
8D zeigt Bilddaten, die von der Abbildungsvorrichtung des Fahrzeugabfühlsystems aus 1 erzeugt wurden, wobei die Bilddaten ein Hochkontrast-(HDR-) Bild sind, das auf einer Kombination der in 8A, 8B und 8C dargestellten Bilder basiert;
9 ist eine Darstellung verschiedener Sitzkonfigurationen der Sitze des Fahrzeugs aus 1; und
10 ist eine Darstellung eines Beispiels für die Pro-Pixel-Wahrscheinlichkeiten für ein grafikbasiertes Detektionsverfahren, wie s vom Fahrzeugabfühlsystem aus 1 verwendet wird.

AUSFÜHRLICHE BESCHREIBUNG
Um das Verständnis der Prinzipien der Offenbarung zu fordern, wird nun auf die in den Zeichnungen dargestellten und in der nachfolgenden schriftlichen Patentschrift dargelegten Ausführungsformen Bezug genommen. Es versteht sich, dass hierdurch keine Einschränkung des Schutzumfangs der Offenbarung beabsichtigt ist. Außerdem versteht sich, dass diese Offenbarung jegliche Änderungen und Modifikationen an den dargestellten Ausführungsformen umfasst und weitere Anwendungen der Prinzipien der Offenbarung umfasst, wie sie einem Fachmann auf dem Gebiet der Offenbarung in den Sinn kommen.
Aspekte der Offenbarung werden in der beiliegenden Beschreibung offenbart. Alternative Ausführungsformen der Offenbarung und ihre Äquivalente können umgesetzt werden, ohne vom Geist oder Schutzumfang der Offenbarung abzuweichen. Es gilt anzumerken, dass jegliche Erläuterung hierin „einer Ausführungsform“, „von einer Ausführungsform“, „einer beispielhaften Ausführungsform“ und dergleichen angibt, dass die beschriebene Ausführungsform ein bestimmtes Merkmal, eine bestimmte Struktur oder ein bestimmtes Charakteristikum umfassen kann und dass solch ein bestimmtes Merkmal, solche eine bestimmte Struktur oder solch ein bestimmtes Charakteristikum nicht notwendigerweise in jeder Ausführungsform enthalten sein ist. Außerdem umfassen Verweise auf das vorstehend nicht notwendigerweise einen Verweis auf dieselbe Ausführungsform. Schließlich kann, unabhängig davon, ob dies explizit beschrieben ist, ein Fachmann auf dem Gebiet der Erfindung leicht erkennen, dass jedes der bestimmten Merkmale, Strukturen oder Charakteristika der gegebenen Ausführungsformen in Verbindung oder Kombination mit jenen jeder beliebigen anderen hierin erläuterten Ausführungsform verwendet werden können.
Für die Zwecke der Offenbarung bedeutet die Formulierung „A und/oder B“ (A), (B) oder (A und B). Für die Zwecke der Offenbarung bedeutet die Formulierung „A, B und/oder C“ (A), (B), (C), (A und B), (A und C), (B und C) oder (A, B und C).
Die Bezeichnungen „umfassend“, „einschließend“, „aufweisend“, „habend“ und dergleichen sind bei Verwendung in Bezug auf Ausführungsformen der Offenbarung synonym.
Wie in 1 dargestellt umfasst ein beispielhaftes Fahrzeug 100 einen Antriebsstrang 104, eine Batterie 108, eine Sitzsteuerung 112, die mit einem Fahrzeugsitz 116 verbunden ist, einen Sendeempfänger 118, einen Speicher 120 und ein Fahrzeugabfühlsystem 124, die jeweils betriebsfähig mit einer Steuerung 128 verbunden sind. Das Fahrzeugabfühlsystem 128 ist konfiguriert, um eine Kabine 130 des Fahrzeugs 100 zu überwachen, in der sich zumindest ein Insasse befindet. Die Kabine 130 befindet sich im Innenraum des Fahrzeugs 100, das durch Insassen und/oder Fahrgäste des Fahrzeugs 100 besetzt ist. Das Abfühlsystem 124 verwendet Videoüberwachung der Kabine 130, um eine automatische Detektion von Bildabweichungen im Zustand der Kabine 130 zu ermöglichen, wenn beispielsweise ein oder mehrere Gegenstände unbeabsichtigterweise im Fahrzeug 100 zurückgelassen werden oder wenn das Fahrzeug 100 Wartung oder Reinigung benötigt. Jedes Element des Fahrzeugs 100 ist hierin beschrieben, sowie ein beispielhaftes Verfahren zum Betreiben des Fahrzeugs 100 und des Abfühlsystems 124.
Der Antriebsstrang 104 ist konfiguriert, um eine Kraft zum Bewegen des Fahrzeugs 100 zu erzeugen. In der in 1 dargestellten beispielhaften Ausführungsform umfasst der Antriebsstrang 104 einen Elektromotor 132, der betriebsfähig mit der Batterie 108 und mit einem Rad 136 oder mit Rädern des Fahrzeugs 100 verbunden ist. Die aufladbare Batterie 108 versorgt den Elektromotor 132 mit elektrischer Leistung zum Rotieren einer Antriebswelle (nicht dargestellt). Die Rotation der Ausgangswelle des Elektromotors 132 bewirkt eine Rotation des Rads 136, was in einer Bewegung des Fahrzeugs 100 resultiert.
Das Fahrzeug 100 ist ein autonom gesteuertes Fahrzeug und die Rotationsgeschwindigkeit des Elektromotors 132 wird von der Steuerung 128 automatisch als Reaktion auf ein Fahrzeugleitprogramm 140 bestimmt, das im Speicher 120 gespeichert ist. In einer weiteren Ausführungsform wird das Fahrzeug 100 von einem Bediener gesteuert und die Rotationsgeschwindigkeit des Elektromotors 132 wird durch die Steuerung 128 als Reaktion auf Eingaben von einem menschlichen Bediener bestimmt. In einer weiteren Ausführungsform ist der Motor 132 ein Verbrennungsmotor (ICE), der entweder von einem Bediener oder vom Fahrzeugleitprogram 140 gesteuert wird. In einer weiteren Ausführungsform ist das Fahrzeug 100 ein Hybridfahrzeug und der Motor 132 umfasst einen Elektromotor und einen ICE, die zusammenarbeiten, um das Rad 136 zu rotieren. Dementsprechend ist das Fahrzeug 100 als beliebiger Fahrzeugtyp bereitgestellt, einschließlich eines autonomen Fahrzeugs, eines benutzergesteuerten Fahrzeugs, eines Elektrofahrzeugs, eines Verbrennungsmotorfahrzeugs und eines Hybridfahrzeugs.
Weiter auf 1 Bezug nehmend ist der Sendeempfänger 118 des Fahrzeugs 100, der auch als drahtloser Sender und Empfänger bezeichnet wird, konfiguriert, um beispielsweise über das Internet Daten, wie z. B. Benachrichtigungsdaten 178, drahtlos vom Fahrzeug 100 zu einer anderen elektronischen Vorrichtung (nicht dargestellt) zu übertragen und Daten von einer anderen elektronischen Vorrichtung drahtlos zu empfangen. Somit verbindet der Sendeempfänger 118 betriebsfähig das Fahrzeug 100 mit dem Internet und mit anderen elektronischen Vorrichtungen. In anderen Ausführungsformen sendet und empfängt der Sendeempfänger 118 Daten unter Verwendung eines Mobilfunknetzes, eines drahtlosen lokalen Netzwerks („Wi-Fi“), eines persönlichen Netzwerks und/oder eines beliebigen anderen drahtlosen Netzwerks. Demgemäß ist der Sendeempfänger 118 mit jedem beliebigen gewünschten drahtlosen Kommunikationsstandard oder -protokoll kompatibel, einschließlich, ohne Einschränkung, Nahfeldkommunikation („NFC“), IEEE 802.11, IEEE 802.15.1 („Bluetooth®“), Global System for Mobiles („GSM“) und Code Division Multiple Access („CDMA“).
Der Speicher 120 ist eine elektronische Speichervorrichtung, die konfiguriert ist, zumindest das Fahrzeugleitprogramm 140, Fahrzeugeinstellungsdaten 144 und Programanweisungsdaten 148 zu speichern. Der Speicher 120 wird hierin auch als nicht nicht-flüchtiges computerlesbares Medium bezeichnet.
Der Sitz 116 ist konfiguriert, um Fahrgäste, Insassen, Benutzer, Fahrer und/oder Bediener des Fahrzeugs 100 aufzunehmen. Der Sitz 116 umfasst ein Sitzunterteil 150 und eine Sitzlehne 152. Die Sitzsteuerung 112 ist konfiguriert, um eine Position des Sitzunterteils 150 und der Sitzlehne 152 zu ändern, um beispielsweise einen Insassen aufzunehmen. Außerdem stellt die Sitzsteuerung 112 in einigen Ausführungsformen als Reaktion auf ein Signal von der Steuerung 128 die Stellung des Sitzes 116 auf eine Standardstellung zurück, nachdem der Insasse das Fahrzeug 100 nach Ende eines Insassenereignisses verlassen at.
Zusätzlich oder alternativ dazu ist die Sitzsteuerung 112 konfiguriert, um die Fahrzeugeinstellungsdaten 144 zu erzeugen, die Daten umfassen, die einer aktuellen Stellung des Sitzes 116 entsprechen. Insbesondere umfassen die Fahrzeugeinstellungsdaten 144 eine Vor-Zurück-Stellung des Sitzunterteils 150 und eine Neigungsstellung der Sitzlehne 152 relativ zum Sitzunterteil 150.
Wie in 1 dargestellt können die Fahrzeugeinstellungsdaten 144 auch Daten umfassen, die der Einstellung oder Stellung anderer konfigurierbarer Elemente des Fahrzeugs 100 entsprechen. Beispielsweise können die Fahrzeugeinstellungsdaten 144 Fensterpositionsdaten umfassen, die der Position von bewegbaren Fenstern des Fahrzeugs 100 entsprechen. Die Fensterpositionsdaten ermöglichen es der Steuerung 128 beispielsweise zu bestimmen, ob die Fenster offen, geschlossen oder teilweise offen sind. Die Fahrzeugeinstellungsdaten 144 können auch die Konfiguration der Fahrzeugtüren umfassen, um anzuzeigen, wenn die Türen offen oder geschlossen sind.
Die Steuerung 128 des Fahrzeugs 100 ist konfiguriert, um die Programmanweisungsdaten 148 auszuführen, um den Antriebsstrang 104, die Sitzsteuerung 112, den Sendeempfänger 118, den Speicher 120 und das Fahrzeugabfühlsystem 124 zu betreiben. Die Steuerung 128 ist zumindest als eine Mikrosteuerung und/oder ein Mikroprozessor bereitgestellt. In autonomen oder halbautonomen Ausführungsformen des Fahrzeugs 100 ist die Steuerung 128 konfiguriert, um das Fahrzeugleitprogramm 140 auszuführen, um das Fahrzeug 100 autonom von einer Anfangsposition unter Verwendung des Straßennetzes zu einer gewünschten Position zu leiten. Die gewünschte Position kann von einem Insassen des Fahrzeugs 100 oder von der Steuerung 128 gewählt werden. Beispielsweise kann die Steuerung 128 bestimmen, dass das Fahrzeug zu einer Servicestation, zu einem Fahrzeughändler, zu einer Autowaschanlage oder zu einem Autoaufbereiter bewegt werden soll.
Bezugnehmend auf 1 umfasst das Fahrzeugabfühlsystem 124 eine Abbildungsvorrichtung 160 und einen Speicher 164, die betriebsfähig mit einer weiteren Steuerung 168 verbunden sind. Die Abbildungsvorrichtung 160, hierin auch als Kamera, Videokamera und Sensor bezeichnet, ist zumindest teilweise innerhalb der Fahrzeugkabine 130 angeordnet und ausgelegt, um Bilddaten 172 zu erzeugen, die die Fahrzeugkabine 130 repräsentieren. Abhängig vom Aufbau des Fahrzeugs 100 erzeugt die Abbildungsvorrichtung 160 konkret Bilddaten 172 eines Bodens des Fahrzeugs 100, der Vordersitze 116, der Rücksitze 116, eines Armaturenbretts 186 (3) und von Türverkleidungen 188 (3) des Fahrzeugs 100. In einigen Ausführungsformen umfasst das Abfühlsystem 124 nur eine Abbildungsvorrichtung 160, die angeordnet ist, um Bilddaten 172 der gesamten Fahrzeugkabine 130 zu erzeugen. In anderen Ausführungsformen umfasst das Abfühlsystem 124 eine Vielzahl von Abbildungsvorrichtungen 160, die jeweils einem bestimmten Bereich der Fahrzeugkabine 130 zugeordnet sind, Wie in 3 und 4 dargestellt, ist beispielsweise in einer Limousine oder einem Crossover-Fahrzeug 100 mit zwei Sitzreihen eine erste Abbildungsvorrichtung 160 angeordnet, um Bilddaten 172 eines Vordersitzbereichs des Fahrzeugs 100 zu erzeugen, und eine zweite Abbildungsvorrichtung 160 ist angeordnet, um Bilddaten 172 eines Rücksitzbereichs des Fahrzeugs 100 zu erzeugen. In einem Personentransporter, einem Minitransporter oder einem anderen Fahrzeug 100 mit drei oder mehr Sitzreihen, kann jede Sitzreihe eine entsprechende Abbildungsvorrichtung 160 umfassen. In einer weiteren Ausführungsform wird jeder Sitz 116 des Fahrzeugs 100 durch eine eigene Abbildungsvorrichtung 160 überwacht, die nur den einen Sitz 116 überwacht. Die Abbildungsvorrichtung 160 kann als Rot-Grün-Blau-und-Tiefe-Sensor (d.h. „RGB-D-Sensor“), Trägheitsmesseinheit („IMU“), Wärmebildkamera und/oder Kamera für sichtbares Licht ausgelegt sein. Die Bilddaten 172 werden von der Abbildungsvorrichtung 160 zu der Steuerung übertragen und in dem Speicher 164 gespeichert.
Der Speicher 164 ist eine elektronische Speichervorrichtung, die ausgelegt ist, um zumindest die Bilddaten 172, Programmbefehle 176 zum Betreiben des Fahrzeugabfühlsystems 124, die Benachrichtigungsdaten 178, einen Vormodellpool 180, ein Ereignisbildmodell 184 der Fahrzeugkabine 130 und Abweichungsdaten 190 zu speichern. Der Speicher 164 wird hierin auch als nicht-flüchtiges computerlesbares Medium bezeichnet.
Wie in 1 dargestellt, umfassen die Benachrichtigungsdaten 178 durch das Fahrzeugabfühlsystem 124 erzeugte Informationen. Beispielsweise umfassen die Benachrichtigungsdaten 178 Informationen in Bezug auf in der Fahrzeugkabine 130 nach einem Insassenereignis zurückgelassene Gegenstände. In einer Ausführungsform umfassen die Benachrichtigungsdaten 178 den Namen oder die Identifizierung des Insassen und die Art des zurückgelassenen Gegenstands, wie z.B. ein Smartphone. Die Benachrichtigungsdaten 178 umfassen auch Informationen in Bezug auf die Sauberkeit der Fahrzeugkabine 130. Die Benachrichtigungsdaten 178 umfassen beispielsweise Informationen darüber, dass einer der Vordersitze 116 verunreinigt ist und dass die anderen Sitze 116 sauber sind. Die Benachrichtigungsdaten 178 können auch Informationen umfassen, die den Fahrzeugeinstellungsdaten 114 entsprechen, wie z.B. die Einstellung der Sitze 116 und der Fenster des Fahrzeugs 100. Die Benachrichtigungsdaten 178 können auch Informationen darüber umfassen, dass der Insasse keine Gegenstände zurückgelassen hat, dass das Fahrzeug 100 sauber ist und dass das Fahrzeug 100 bereit ist für das nächste Insassenereignis.
Der Vormodellpool 180 umfasst eine Vielzahl von Basislinienbildmodellen 192, die der Fahrzeugkabine 130 in verschiedenen Zuständen und Konfigurationen entsprechen. Die Basislinienbildmodelle 192 sind elektronische Datenmodelle der Fahrzeugkabine 130 in einem sauberen Zustand ohne Insassen oder Besitztümer (d.h. Gegenständen) von Insassen, wie z.B. Smartphones, in der Fahrzeugkabine 130 (wie in 4 dargestellt). Das Abfühlsystem 124 ist ausgelegt, um zumindest eines der Basislinienbildmodelle 192 aus dem Vormodellpool 180 zum Vergleich mit den Ereignisbildmodelldaten 184 auszuwählen, um Bildabweichungen der Abweichungsdaten 190 zu identifizieren. In einem Ausführungsbeispiel umfasst der Vormodellpool 180 Basislinienbildmodelle 192 für zahlreiche Positionen der Sitze 116 und andere konfigurierbare oder einstellbare Elemente des Fahrzeugs 100. Die Basislinienbildmodelle 192 sind konkret entsprechenden Fahrzeugeinstellungsdaten 144 zugeordnet. In zumindest einer Ausführungsform werden zumindest einige Basislinienbildmodelle 192 unter Anwendung eines HDR-Prozesses erzeugt und umfassen zumindest ein HDR-Bild der Fahrzeugkabine 130.
Die Ereignisbildmodelldaten 184 werden durch die Steuerung 168 erzeugt und basieren auf Bilddaten 172 von der Abbildungsvorrichtung 160 nach einem Insassenereignis. Die Ereignisbildmodelldaten 184 können somit Insassen und/oder Besitztümer von Insassen, wie z.B. Smartphones, umfassen. In zumindest einer Ausführungsform werden die Ereignisbildmodelldaten 184 unter Anwendung eines HDR-Prozesses erzeugt und umfasst zumindest ein HDR-Bild der Fahrzeugkabine 130. Das zumindest eine HDR-Bild der Fahrzeugkabine 130 ist ausgelegt, um eine Auswirkung von Umgebungsbeleuchtung auf die Erzeugung des Ereignisbildmodells 184 der Fahrzeugkabine 130 zu reduzieren.
Die Abweichungsdaten 190 werden durch die Steuerung 168 erzeugt und basieren auf einem Vergleich eines ausgewählten der Basislinienbildmodelle 192 und der Ereignisbildmodelldaten 184 nach dem Stattfinden eines Insassenereignisses. Das Abfühlsystem 124 identifiziert die Abweichungsdaten 190 als Unterschiede zwischen dem Basislinienbildmodell 192 und den Ereignisbildmodelldaten 184. Die identifizierten Unterschiede der Abweichungsdaten 190 entsprechen typischerweise einem oder mehreren Insassen, einem oder mehreren Gegenständen oder Besitztümern, die durch den Insassen zurückgelassen wurden, Beschädigungen der Fahrzeugkabine 130 und verunreinigte Bereiche der Fahrzeugkabine 130. Die Steuerung 168 verarbeitet die Abweichungsdaten 190 mit einem Gegenstanddetektionsalgorithmus zur Identifizierung der spezifischen Art von durch den Insassen zurückgelassenem Gegenstand. Auf diese Weise ist das Abfühlsystem 124 ausgelegt, um zu identifizieren, dass ein Gegenstand durch den Insassen zurückgelassen wurde, und dann zu identifizieren, dass der Gegenstand beispielsweise ein Smartphone ist. Die Bildabweichungen der Abweichungsdaten 190 werden hierin auch als Ereignisse von Interesse bezeichnet.
Die Steuerung 168 des Fahrzeugabfühlsystem 124 ist ausgelegt, um die Programmbefehlsdaten 176 auszuführen, um das Abfühlsystem 124 zu betreiben. Die Steuerung 168 ist als zumindest eine Mikrosteuerung und/oder Mikroprozessor bereitgestellt.
Bei Betrieb ist das Fahrzeug 100 ausgelegt, um durch das Flussdiagramm in 2 dargestelltes Verfahren auszuführen. In diesem Ausführungsbeispiel ist das Fahrzeug 100 ein gemeinsam genutztes autonomes Fahrzeug, das ausgelegt ist, um autonom zum Standort eines Benutzers/Insassen zu fahren, und dann nach Einsteigen des Insassen in das Fahrzeug 100 den Insassen unter Nutzung des öffentlichen Straßennetzes autonom an einen gewünschten Standort zu befördern. Das Fahrzeug 100 ist an einem Insassenereignis beteiligt, wenn das Fahrzeug 100 zu dem Standort fährt, wo es einen Insassen aufnimmt, und wenn das Fahrzeug 100 den Insassen an den gewünschten Standort befördert. Das Fahrzeug 100 schließt ein Insassenereignis ab, wenn der Insasse an den gewünschten Standort befördert wird und alle Insassen aus dem Fahrzeug 100 aussteigen. Das Fahrzeug 100 fährt typischerweise autonom zu einem anderen Standort, nachdem der Insasse an den gewünschten Standort befördert wurde. Der Insasse kann die Dienste des Fahrzeugs 100 beispielsweise unter Verwendung eines Smartphone-Anwendung beziehen. Der Insasse wird hierin auch als Benutzer bezeichnet.
In Block 204 des Verfahrens 200 hat das Fahrzeug 100 den Insassen an den gewünschten Standort befördert. Typischerweise entfernt der Insasse alle seine persönlichen Besitztümer, wie z.B. elektronische Vorrichtungen, Smartphones, Geldbörsen, Sonnenbrillen, Schlüssel und dergleichen aus dem Fahrzeug, wenn der Insasse an dem gewünschten Standort angekommen ist, um einen Diebstahl oder Verlust seiner persönlichen Gegenstünde zu verhindern. Manche Insassen können jedoch, wie in 3 gezeigt, vergessen, ihre persönlichen Besitztümer zu entfernen und lassen diese in der Fahrzeugkabine 130 zurück, während das Fahrzeug 100 autonom von dem gewünschten Standort wegfährt. Das ist ein Problem für den Insassen, da es schwierig sein kann, das Fahrzeug 100 aufzufinden und die Besitztümer wiederzubekommen. Während die meisten Insassen das Fahrzeug 100 in einem sauberen Zustand zurücklassen, kann es außerdem sein, dass manche Insassen die Fahrzeugkabine 130 verunreinigen, wodurch die Fahrzeugkabine 130 nicht länger bereit ist, um nachfolgende Insassen aufzunehmen. Das Abfühlsystem 124 führt das Verfahren 200 aus, um zu verhindern, dass nachfolgende Insassen des Fahrzeugs 100 aufgrund dieser Probleme Unannehmlichkeiten ausgesetzt sind.
In dem Beispiel aus 3 hat der Insasse viele persönliche Besitztümer zurückgelassen, einschließlich eines Laptop-Computers 304, eines Smartphones 308 und einer Geldbörse 312. Nach dem Erreichen des gewünschten Standorts wird das Abfühlsystem 124 aktiviert, um zu bestimmen, ob das Fahrzeug 100 sich in einem für ein weiteres Insassenereignis geeigneten Zustand befindet. In einer Ausführungsform umfasst das Verfahren 200 das Aktivieren des Abfühlsystems 124, wenn das Fahrzeug 100 detektiert, dass der Insasse/die Insassen aus dem Fahrzeug 100 ausgestiegen ist/sind. Das Fahrzeug 100 detektiert, dass der Insasse aus dem Fahrzeug 100 ausgestiegen ist, indem es die Fahrzeugeinstellungsdaten 144 überwacht, die dem Öffnen und Schließen der Türen entsprechen. Zusätzlich oder alternativ dazu detektiert das Fahrzeug 100 die Gegenwart oder Abwesenheit von Insassen mit Sensoren in den Sitzen 116, wie z.B. Gewichtssensoren. Ein beliebiges anderes Verfahren kann angewandt werden, um zu ermitteln, dass der Insasse/die Insassen am Ende eines Insassenereignisses aus dem Fahrzeug 100 ausgestiegen ist/sind.
In Block 208 des Verfahrens 200 erzeugt das Fahrzeugabfühlsystem 124 die Ereignisbildmodelldaten 184. Die Ereignisbildmodelldaten 184 werden erzeugt, nachdem der Insasse aus dem Fahrzeug 100 am Ende des Insassenereignisses ausgestiegen ist und bevor ein anderer Insasse in das Fahrzeug 100 im Zuge eines nachfolgenden Insassenereignisses einsteigt. In diesem Beispiel werden die Ereignisbildmodelldaten 184 auf Grundlage des Fahrzeugs 100 aus 3 erzeugt, und sie umfassen Bilddaten, die dem Laptop-Computer 304, dem Smartphone 308, der Geldbörse 312 und dem Rest der Fahrzeugkabine 130 entsprechen. Wie in 3 dargestellt, umfasst das Abfühlsystem 124 eine Abbildungsvorrichtung 160 für den vorderen Bereich und eine Abbildungsvorrichtung 160 für den hinteren Bereich. Jede Abbildungsvorrichtung 160 erzeugt Bilddaten 172, die zumindest einem Abschnitt der Fahrzeugkabine 130 entsprechen, beispielsweise einschließlich Sitzunterteilen 150, Sitzlehnen 152, dem Boden des Fahrzeugs 100 und anderen Bereichen, in welchen Insassen typischerweise ihre persönlichen Besitztümer ablegen. Die Steuerung 128 verarbeitet die Bilddaten 172 von beiden Abbildungsvorrichtungen 160 und speichert die Ereignisbildmodelldaten 184 in dem Speicher 164. Die Ereignisbildmodelldaten 184 sind spezifisch für eines der Insassenereignisse und können dem Namen oder Konto des/der Insassen, der/die befördert wurde/n, zugeordnet werden. Zumindest in manchen Ausführungsformen ist die Steuerung 168 außerdem ausgelegt, um die aktuellen Fahrzeugeinstellungsdaten 144 den Ereignisbildmodelldaten 184 zuzuordnen, um die Auswahl eines aus den Basislinienbildmodellen 192 zu erleichtern.
In Block 212 des Verfahrens 200 vergleicht das Fahrzeugabfühlsystem 124 als nächstes die Ereignisbildmodelldaten 184 mit einem ausgewählten aus den Basislinienbildmodellen 192, das aus dem Vormodellpool 180 ausgewählt wurde. Die Basislinienbildmodelle 192 aus dem Vormodellpool 180 werden durch das Abfühlsystem 124 erzeugt, wobei sich die Fahrzeugkabine 130 in einem Basislinienzustand befindet, wie in 4 dargestellt, der hierin auch als Standardzustand oder sauberer Zustand bezeichnet wird. In dem Basislinienzustand sind keine persönlichen Besitztümer in der Fahrzeugkabine 130, und die Fahrzeugkabine 130 befindet sich in einem sauberen Zustand.
Jedes Basislinienbildmodell 192 entspricht einer speziellen Konfiguration des Fahrzeugs 100 auf Grundlage der Fahrzeugeinstellungsdaten 144. Beispielsweise wird ein erstes Basislinienbildmodell 192 erzeugt, in dem die Sitzlehnen 152 sich in einer aufrechten Position befinden, und ein zweites Basislinienbildmodell 192 wird erzeugt, in dem sich die Sitzlehnen 152 in einer zurückgelehnten oder geneigten Position befinden. Die Fahrzeugeinstellungsdaten 144 werden den Basislinienbildmodellen 192 zugeordnet, so dass ein bestimmtes Basislinienbildmodell 192 auf Grundlage der aktuellen Konfiguration des Fahrzeugs 100 gemäß den Fahrzeugeinstellungsdaten 144 aufgefunden und ausgewählt werden kann.
In einer Ausführungsform umfasst das Verfahren 200 das Auswählen eines optimalen Basislinienbildmodells 192 aus dem Vormodellpool 180 durch Vergleichen der Fahrzeugeinstellungsdaten 144, die den Ereignisbildmodelldaten 184 zugeordnet sind, mit den Fahrzeugeinstellungsdaten 144, die jedem der Basislinienbildmodelle 192 zugeordnet sind. Das Basislinienbildmodell 192, das Fahrzeugeinstellungsdaten 144 aufweist, die den Fahrzeugeinstellungsdaten 144 der Ereignisbildmodelldaten 184 am ehesten entsprechen, wird als optimales Basislinienbildmodell 192 ausgewählt.
Dann vergleicht in Block 212 des Verfahrens 200 das Abfühlsystem 124 die Ereignisbildmodelldaten 184 mit dem ausgewählten Basislinienbildmodell 192, um die Abweichungsdaten 190 zu erzeugen. Durch Vergleichen der Modelle 184, 192 identifiziert das Abfühlsystem 124 visuelle Unterschiede zwischen dem Basislinienbildmodell 192 und den Ereignisbildmodelldaten 184. Diese visuellen Unterschiede entsprechen typischerweise Besitztümern, die durch den Insassen zurückgelassen wurden, und verunreinigten Bereichen der Fahrzeugkabine 130. Die visuellen Unterschiede zwischen dem Basislinienbildmodell 192 und dem Ereignisbildmodell 184 werden hierin als „Bildabweichungen“ oder „Abweichungen“ bezeichnet, da die visuellen Unterschiede eine Abweichung von dem sauberen/leeren Zustand der Fahrzeugkabine 130 von vor dem Insassenereignis bis nach dem Insassenereignis darstellen. Die Abweichungen werden in dem Speicher 164 als Abweichungsdaten 190 gespeichert.
Wenn in Block 216 das Abfühlsystem 124 keine Abweichungen identifiziert, wenn es das Ereignisbildmodell 184 mit dem Basislinienbildmodell 192 vergleicht, wird das Fahrzeug 100 wieder in den Dienst gestellt und ist für ein weiteres Insassenereignis bereit. Dementsprechend hat das Abfühlsystem 124 bei Block 220 bestimmt, dass das Fahrzeug 100 keine persönlichen Besitztümer des Insassen aufweist, angemessen sauber ist und sich in einem Zustand befindet, der für den nächsten Insassen geeignet ist. Das Abfühlsystem 124 hat diese Feststellungen ohne Beteiligung von Menschen gemacht und die Benutzererfahrung mit dem Fahrzeugs 100 effektiv verbessert.
Bei Block 224 des Verfahrens 200 hat das Abfühlsystem 124 Abweichungen (in Block 216) identifiziert und bestimmt, ob das Fahrzeug 100 für den Dienst geeignet ist. Das Abfühlsystem 124 nutzt konkret ein Gegenstanderkennungssystem, um die Abweichungen aus den Abweichungsdaten 190 zu klassifizieren. Beispielsweise verarbeitet das Abfühlsystem 124, bei erneuter Betrachtung von 3, die Abweichungsdaten 190 mit dem Gegenstanderkennungssystem, um zu bestimmen, dass die Abweichungen dem Laptop-Computer 304, dem Smartphone 308 und der Geldbörse 312 entsprechen. Auf diese Weise hat das Abfühlsystem 124 einen Gegenstand identifiziert, der nach dem Insassenereignis in der Fahrzeugkabine 130 vorliegt und vor dem Insassenereignis. nicht in der Fahrzeugkabine 130 vorhanden war. Zu diesem Zweck kann das Abfühlsystem 124 eine Datenbank von Objektdaten umfassen, gegenüber welchen die Abweichungsdaten 190 verarbeitet werden, um die konkreten Arten von Gegenständen zu identifizieren, die in der Fahrzeugkabine 130 vorliegen. Ein beliebiges anderes Gegenstanderkennungsverfahren oder Bildverarbeitungsalgorithmus kann durch das Abfühlsystem 124 eingesetzt werden, um die in den Abweichungsdaten 190 vorliegenden Abweichungen zu identifizieren und zu klassifizieren.
Bei Block 224 des Verfahrens 200 ermittelt das Abfühlsystem 124 als nächstes, ob das Fahrzeug 100 sich trotz der identifizierten Abweichungen in einem Zustand befindet, der geeignet ist, um es wieder in den Dienst zu stellen. Das Abfühlsystem 124 nimmt diese Ermittlung vor, indem es die Art der Abweichungen, die identifiziert wurden, bewertet. Wenn das Abfühlsystem 124 beispielsweise festgestellt hat, dass die Abweichungen einer Fahrzeugkabine 130 entsprechen, die unzumutbar schmutzig oder verschmutzt ist, wird das Fahrzeug 100 dann nicht wieder in den Dienst gestellt. Wenn das Abfühlsystem 124 jedoch festgestellt hat, dass die Abweichungen einer Fahrzeugkabine 130 entsprechen, die nur mäßig schmutzig oder verschmutzt ist, wird das Fahrzeug 100 für weitere Insassenereignisse wieder in den Dienst gestellt.
Bei Block 228 des Verfahrens 200 kehrt das Fahrzeug 100 in den Dienst zurück und steht für weitere Insassenereignisse zur Verfügung. Typischerweise werden die Ereignisbildmodelldaten 184 für einen vorbestimmten Zeitraum nach dem Insassenereignis gespeichert. So wird das Fahrzeug 100 zumindest auf diese Weise auf Grundlage der identifizierten Bildabweichungen betrieben.
Wenn bei Block 224 des Verfahrens das Abfühlsystem 124 feststellt, dass das Fahrzeug 100 für die Rückkehr in den Dienst nicht geeignet ist, wird eine andere Vorgehensweise gewählt. In einem solchen Beispiel erzeugt das Abfühlsystem 124 bei Block 232 konkret die Benachrichtigungsdaten 178. Die Benachrichtigungsdaten 178 werden an den Insassen und/oder das Servicezentrum gesendet. Die Benachrichtigungsdaten 178 können beispielsweise den Insassen darüber informieren, dass gewisse persönliche Besitztümer in der Fahrzeugkabine 130 zurückgelassen wurden. Die Benachrichtigungsdaten 178 können die Besitztümer, die zurückgelassen wurden, identifizieren und Anweisungen für den Insassen umfassen, wie er die Besitztümer zurückbekommen kann. In diesem Beispiel werden die Benachrichtigungsdaten 178 außerdem an ein Servicezentrum gesendet, um das Servicezentrum darauf aufmerksam zu machen, dass das Fahrzeug 100 in Kürze ankommen wird und einer Reinigung bedarf und/oder dass persönliche Besitztümer entfernt werden müssen. Die Benachrichtigungsdaten 178 werden von dem Fahrzeug 100 unter Verwendung eines Sendeempfängers 118 des Fahrzeugs 100 an den Insassen und das Servicezentrum gesendet. Das Erzeugen der Benachrichtigungsdaten 178 entspricht dem Betrieb des Fahrzeugs 100 auf Grundlage der identifizierten Abweichungen.
Bei Block 236 des Verfahrens 200 kehrt das Fahrzeug 100 autonom zu einem Servicezentrum zurück. In diesem Beispiel hat das Fahrzeugabfühlsystem 124 identifiziert, dass der vorhergehende Insasse/die vorhergehenden Insassen viele persönliche Besitztümer (in 3 dargestellt) zurückgelassen hat/haben. Um den Diebstahl der Besitztümer des Insassen oder eine unbequeme Fahrt für den nächsten Insassen zu verhindern, wird das Fahrzeug 100 in das Servicezentrum zurückgeführt, so dass die Fahrzeugkabine 130 geleert und/oder gereinigt werden kann. So wird das Fahrzeug 100 auf zumindest diese Weise auf Grundlage der identifizierten Bildabweichungen betrieben.
Das Fahrzeug 100 und das Abfühlsystem 124 stellen eine Verbesserung gegenüber dem Stand der Technik dar, da das Abfühlsystem 124 das Problem der Ermittlung des Zustands eines gemeinsam genutztes autonomen Fahrzeugs 100 löst, wenn sich das autonome Fahrzeug 100 nicht in einer Basisstation oder einem Servicezentrum befindet. In der Vergangenheit war ein menschlicher Prüfer erforderlich, um festzustellen, wann das Fahrzeug verunreinigt ist oder wann persönliche Gegenstände zurückgelassen wurden. Das Abfühlsystem 124 automatisiert diese Aufgabe und bietet gewisse zusätzliche Vorteile. Wenn das Abfühlsystem 124 beispielsweise den Zustand der Fahrzeugkabine 130 nach jedem Insassenereignis bewertet, kann das Abfühlsystem 124 einen konkreten Insassen identifizieren, der die persönlichen Gegenstände zurückgelassen oder die Fahrzeugkabine 130 verunreinigt hat. Somit kann das Abfühlsystem 130 den Verlust von Gegenständen des Insassen verhindern, indem das Fahrzeug 100 zu einer Servicestation zurückgeführt wird, um zu ermöglichen, dass der Insasse die Gegenstände zurückbekommt. Außerdem kann das Abfühlsystem 124 Verluste für die Besitzer des Fahrzeugs 100 verhindern, indem es die Insassen identifiziert, die die Fahrzeugkabine 130 verunreinigt und/oder beschädigt haben.
Weitere Aspekte des Fahrzeugs 100 und des Fahrzeugabfühlsystems 124 sind nachstehend beschrieben.
5 zeigt Beispiele für Verarbeitungsmodule des Abfühlsystems 124, die ein Sensordatenvorverarbeitungsmodul 250 und ein Statusabfühlmodul 254 umfassen. Das Vorverarbeitungsmodul 250 verwendet zwei Eingaben: die Bilddaten 172 und die Fahrzeugeinstellungsdaten 144, um verarbeitete Daten 258 zu erzeugen. Das Statusabfühlmodul 254 verwendet dann die verarbeiteten Daten 258 und in manchen Ausführungsformen die Fahrzeugeinstellungsdaten 144, um die Abfühlergebnisse zu erzeugen, die in dem Speicher 164 als Teil der Ereignisbildmodelldaten 184 gespeichert werden.
6 zeigt eine Ausführungsform des Sensorvorverarbeitungsmoduls 250 aus 5. Das Sensorvorverarbeitungsmodul 250 umfasst drei Verarbeitungsuntermodule 260, 264, 268. Das Sensorvorverarbeitungsmodul 250 aus 6 arbeitet wie folgt. Zunächst empfängt das Vorabrufmodul 260 die Fahrzeugeinstellungsdaten 144 als Referenz und identifiziert ein entsprechendes Basislinienbildmodell 192 aus dem Vormodellpool 180. Das Sensordatenfusionsmodul 268 verwendet die Bilddaten 172 als Eingabe und erzeugt fusionierte Bilddaten 270. Das vorgeleitete Vorverarbeitungsmodul 264 verwendet das ausgewählte Basislinienbildmodell 192 und die fusionierten Daten 270 als Eingaben und erzeugt die verarbeiteten Daten 258, die dem Statusabfühlmodul 254 bereitgestellt werden.
7 zeigt das Fahrzeug 100 und eine beispielhafte Ausführung des Abfühlsystems 124. Die unterbrochenen Linien in 7 geben fakultative Prozessabläufe an, die wunschgemäß durch das Abfühlsystem 124 ein- und ausgeschaltet werden können. Das Abfühlsystem 124 verwendet eine Abbildungsvorrichtung 160, die eine Fischaugenlinse umfasst, so dass die Abbildungsvorrichtung 160 ein weites Sichtfeld aufweist. Das Abfühlsystem 124 ermittelt, wann das System 124 aktiviert werden sollte. Wenn das System aktiviert wird, löst die Steuerung 168 die Abbildungsvorrichtung 160 aus, damit diese beginnt, die Bilddaten 172 zu erzeugen, und löst die Sitzsteuerung 112 aus, um die Fahrzeugeinstellungsdaten 144 zu erzeugen, die beispielsweise die Position und den Neigungswinkel der Sitzlehnen 152 umfassen.
Als nächstes empfängt ein Nachbarsuch- & Vorsynthesemodul 612, das eine Ausführung des Vorabrufmoduls 260 (6) ist, die Fahrzeugeinstellungsdaten 144 und wählt ein Referenzbild basierend auf dem Vormodellpool 180 aus. Inzwischen nimmt die Abbildungsvorrichtung 160 einen Satz aus Bildern mit verschiedenen Belichtungszeiten derselben Szene der Kabine 130 auf. Das Fahrzeug 100 bewegt sich während dieses Bilderzeugungsprozesses üblicherweise nicht. Das HDR-Fusionsmodul 604, das eine Ausführung des Sensordatenfusionsmoduls 268 (6) ist, erzeugt ein Hochkontrast- (HDR-) Bild aus dem Satz von Bildern mit mehreren Belichtungszeiten der Bilddaten 172.
Unter weiterer Bezugnahme auf 7 verarbeitet das referenzgeleitete Bildschattenentfernungsmodul 616, das eine Ausführung des vorgeleiteten Vorverarbeitungsmoduls 264 (6) ist, das HDR-Bild der Bilddaten 172, um starke Belichtungseffekte unter Verwendung des Referenzbilds als Orientierung aus dem Bild zu entfernen. Die Ausgabe ist ein entschattetes Bild.
Das Abweichungsdetektionsmodul 620, das ein Teil einer Ausführung des Statusabfühlmoduls 254 (6) ist, vergleicht das entschattete Bild mit dem Basislinienbildmodel 192 und identifiziert die Regionen in dem Bild, in denen signifikante Abweichungen vorliegen. Diese Abweichungen werden als Abweichungsdaten 190 (d.h. Abfühlergebnisse oder Ereignissen von Interesse) gespeichert. Falls semantische Informationen gewünscht werden, bewirkt das Abweichungsdetektionsmodul 620, dass das Erkennungsmodul 624, das ein weiterer Teil einer Ausführung des Statusabfühlmoduls 254 (6) ist, die Abfühlergebnisse als Eingabe heranzieht und eine Ursache für die detektierte Abweichung identifiziert. Beispielhafte Ursachen für die detektierte Abweichung umfassen u.a. die Gegenwart eines Smartphones 308 in der Kabine 130 und/oder einen verschmutzten Bereich (nicht dargestellt) auf dem Sitz 116. Das Aktionssystem 628 führt dann eine geeignete Aktion aus, wie z.B. das Benachrichtigen des Insassen basierend auf den Detektionsergebnissen über die Benachrichtigungsdaten 178.
In manchen Ausführungsformen gibt es ein Offlinephasen-Vormodellerzeugungsmodul 608, das ausgelegt ist, um den Vormodellpool 180 zu erzeugen. Der Vormodellpool 180 wird vor dem Betrieb des Fahrzeugs 100 erzeugt und in dem Speicher 164 gespeichert. Der Vormodellpool 180 umfasst eine Vielzahl von Basislinienbildmodellen 192 für die erwarteten Konfigurationen der Sitze 116 und anderer beweglicher Objekte innerhalb der Kabine 130.
Unter weiterer Bezugnahme auf 7 umfasst das HDR-Fusionsmodul 604 z.B. eine(n) oder mehrere Digitalsignalprozessoren, Grafikprozessoreinheiten (GPU) oder andere geeignete Digitalverarbeitungsvorrichtungen, die mehrere Bilder, die durch die Abbildungsvorrichtung 160 erzeugt werden, innerhalb eines kurzen Zeitraums empfangen, von denen jedes mit einer anderen Belichtungsdauer erzeugt wurde. Das HDR-Fusionsmodul 604 erzeugt ein einzelnes Hochkontrast- (HDR-) Bild 630 aus den mehreren Bildern, die von der Abbildungsvorrichtung 160 empfangen wurden. Ein Zweck des Erzeugens des HDR-Bilds 630 dient dazu, den Nachteil des begrenzten Dynamikbereichs der typischen Abbildungsvorrichtung 160 zu überwinden und eine ausreichend hohe Anzahl an Details in dunklen sowie in hellen Bereichen der Kabine 130 aufzunehmen, wie in den in 8A, 8B, 8C, 8D dargestellten Beispielen verdeutlicht.
Das HDR-Bild 630 ist besonders in einem Fahrzeug 100 von Nutzen, das zu unterschiedlichen Tageszeiten und an unterschiedlichen Standorten fotografiert wird, wenn das Außenlicht (z.B. Sonne, Mond, Straßenbeleuchtung etc.) nicht gesteuert werden kann. Ein typisches Szenario, wenn sich das Fahrzeug 100 in einer Außenumgebung befindet, ist, dass starke Sonnenlichteinstrahlung den Fahrgastsitz 116 beleuchtet. Mit der typischen Auto-Belichtungseinstellung einer Abbildungsvorrichtung 160 wird das aufgenommene Bild sehr ähnlich wie jenes aus 8A sein, wo die hellen Bereiche überbelichtet sind und die dunklen Bereiche unterbelichtet sind, was zu einem Informationsverlust in beiden Bereichen führt. In dem Abfühlsystem 124 nimmt die Abbildungsvorrichtung 160 einen Satz von Bildern mit unterschiedlichen Belichtungszeiten im Bereich von niedrigen Werten bis hohen Werten auf. Wie die Beispiele in 8B und 8C zeigen, nimmt das Bild mit kurzer Belichtung (8B) Details im hellen Bereich auf, während das Bild mit langer Belichtung (8C) Details des dunklen Bereichs enthält. Das HDR-Fusionsmodul 630 kombiniert die Informationen aus diesem Bildsatz, um das HDR-Bild 630 zu erzeugen, das Details aus beiden Bereichen umfasst, wie in 8D dargestellt.
In dem System aus 7 erzeugt das Vormodellerzeugungsmodul 608 den Vormodellpool 180 basierend auf aufgenommenen Bildern der Kabine 130 in verschiedenen vorbestimmten Konfigurationen. Das Vormodellerzeugungsmodul 608 ist z.B. eine Rechnervorrichtung, die entweder in dem Fahrzeug 100 eingebaut ist oder die eine externe Rechnervorrichtung ist (nicht dargestellt), die den Vormodellpool 180 für eine gesamte Flotte an Fahrzeugen erzeugt, die alle über dieselbe Innenausstattung verfügen.
9 zeigt ein Beispiel für die Konfigurationen des Sitzes 116 innerhalb der Kabine 130. In einer Ausführung umfasst der Vormodellpool 180 HDR-Bilder 630 der Kabine 130 in sauberem Zustand ohne jegliche externen Objekte und unter einheitlicher Beleuchtung ohne starkes Sonnenlicht. Jedes Basislinienbildmodell 192 aus dem Vormodellpool 180 wird erzeugt, wenn sich die Sitze 116 und andere bewegbare Objekte in dem Fahrzeug 100 an vorbestimmten Positionen befinden, wie durch die Fahrzeugeinstelldaten 144 angegeben.
Um den Vormodellpool 180 zu erzeugen, nimmt das System 124 die Basislinienmodelle 192 unter mehreren Konfigurationen der bewegbaren Teile des Fahrzeugs 100 auf. Allerdings ist die Anzahl verschiedener Konfigurationen üblicherweise sehr groß und es ist üblicherweise nicht machbar, alle möglichen Variationen aufzunehmen. In einem solchen Fall führt das Abfühlsystem 124 ein Teil-Abtasten für bestimmte einstellbare Teile des Fahrzeugs 100 durch. Beispielsweise wird der Vormodellpool 180 mit Basislinienbildmodellen 192 des Sitzes 116 nur in einem ausgewählten Satz von Sitzpositionen erstellt, um die Dimensionalität zu reduzieren. Das Nachbarsuch- und Vorsynthesemodul 612 synthetisiert den Vormodellpool 180 basierend auf diesen Probeaufnahmen. Falls manche Attribute der Abweichung (z.B. Größe und Position) von dem System 124 gewünscht werden, können die relevanten Attributinformationen in den Vormodellpool 180 aufgenommen werden. Beispielsweise können in den aufgenommenen HDR-Bildern 630 Bereiche für jeden Fahrgastsitz 116 markiert werden und die Größe kann angegeben werden. Solche Informationen können direkt in dem Abweichungsdetektionsmodul 620 verwendet werden, um die gewünschten Attributinformationen bereitzustellen. Der Vormodellpool 180 umfasst außerdem z.B. ein 3D-Modell der Kabine 130.
Das Nachbarsuch- und Vorsynthesemodul 612 des Abfühlsystems 124 ist unter Verwendung zumindest eines Prozessors ausgeführt, der den Vormodellpool 180 durchsucht, um eines der Basislinienbildmodelle 192 zu identifizieren, das der aktuellen Konfiguration der Sitze 116 und anderer Elemente innerhalb der Kabine 130 basierend auf den Fahrzeugeinstellungsdaten 144 am ehesten entspricht. Eine Ausführungsform einer Nachbarsuche ist ein Brute-Force-Suchvorgang, der die aktuelle Konfiguration und die Konfigurationen in dem Vormodellpool 180 vergleicht. Das Modul 612 erzeugt eine Distanzmetrik über eine gewichtete Summe zwischen den Distanzen in jeder Vergleichsdimension. Beispielsweise unter Annahme, dass der Sitzpositionswert der Fahrzeugeinstellungsdaten 144 als p bezeichnet wird, und dass der Neigungswinkel der Sitzlehne 152 als θ bezeichnet wird, kann die Metrik wie folgt definiert werden: w_p|p - p_c| + w_θ |θ - θ_c |, worin das tiefgestellte c die aktuelle Konfiguration bezeichnet, und die Terme w_p, w_θ die relative Wichtigkeit jeder Dimension miteinbeziehen.
Im Fall, in dem der Vormodellpool 180 eine große Menge Daten enthält, kann ein schneller Suchalgorithmus wie ein KD-Baum verwendet werden. Als Beispiel kann ein KD-Baum ausgehend von dem Vormodellpool 180 unter Verwendung der folgenden Daten erstellt werden: [w_pp, w_θθ]. Nach Erstellung des KD-Baums führt das Modul 612 eine Schnellsuche des KD-Baums durch, um den nächstgelegenen Nachbarn (d.h. das ausgewählte Basislinienbildmodell 192) zu identifizieren.
Wie bereits zuvor erwähnt enthält der Vormodellpool 180 üblicherweise Daten von nur einer Teilmenge der möglichen Konfigurationen der einstellbaren Fahrzeugkomponenten. In diesem Fall passt ein Vorsyntheseschritt das identifizierte benachbarte Modell (d.h. das ausgewählte Basislinienbildmodell 192) in dem Modellpool 180 an die aktuelle Konfiguration des Fahrzeugs 100 an. Wenn der Vormodellpool 180 HDR-Bilder 630 umfasst, kann eine Bildverzerrung durchgeführt werden, um dieses Ziel zu erreichen. Die Grundannahme lautet, dass die Konfiguration des ausgewählten Basislinienbildmodells 192 nahe an der aktuellen Konfiguration ist, wie aus den Fahrzeugeinstellungsdaten 144 bestimmt. Deshalb ist die Differenz zwischen dem ausgewählten Basislinienbildmodell 192 und dem Syntheseziel klein. Um diese kleine Differenz zu kompensieren, können Punkte von Interesse detektiert und zwischen dem ausgewählten Basislinienbildmodell 192 (d.h. einem Nachbarbild) und der Konfiguration, die den Ereignisbildmodelldaten (184) (d.h. einem aktuellen Bild) entspricht, angepasst werden. Basierend darauf kann das Nachbarbild zu dem aktuellen Bild hin verzerrt werden, z.B. basierend auf radialen Basisfunktionen. In diesem Fall ist das verzerrte Bild die Ausgabevordaten aus dem Modul 612.
Die Eingaben in das Schattenentfernungsmodul 616 umfassen das Referenzbild I_A einer sauberen Szene (d.h. ausgewähltes Basislinienbildmodell 192) und das HDR-Bild I_B der aktuellen Szene (d.h. Ereignisbildmodelldaten 184). Das Ziel des Moduls 616 ist es, einen Bildzerlegungsschattenentfernungsprozess durchzuführen, um I_B in zwei Schichten, einschließlich einer Reflexionsschicht R_B, die das Aussehen der Szene mit derselben Beleuchtung wie I_A enthält, und einer Schattierungsschicht S_B zu zerlegen, die nur die Beleuchtungsinformationen enthält. Das Produkt dieser zwei Schichten ergibt wiederum das Originalbild basierend auf der folgenden Gleichung: $I_{B} = S_{B} \cdot R_{B}$
Die hierin beschriebenen Ausführungsformen verwenden das Referenzbild I_A als Orientierung, um einen iterativen Prozess für die Zerlegung zu entwickeln. Die Berechnung wird in einer logarithmischen Skala des Bilds vorgenommen. Die nachstehenden Gleichungen bezeichnen die log-skalierten Bilder mit dem tiefgestellten L. Die Beziehung zwischen diesen Bildern kann unter Verwendung der folgenden Gleichungen beschrieben werden: $I_{A}^{L} = log (I_{A})$
$I_{B}^{L} = log (I_{B})$
$S_{B}^{L} = log (S_{B})$
$R_{B}^{L} = log (R_{B})$
$I_{B}^{L} = S_{B}^{L} + R_{B}^{L}$
Der Vorgang zum Durchführen eines Schattenentfernungsprozesses unter Verwendung des Moduls 616 verwendet den folgenden Prozess: Eingaben: $I_{A}^{L}, I_{B}^{L}, M^{0},$
der mit der Schätzung M̂ = M⁰ beginnt und iteriert, bis die Schätzung M̂ zu einer endgültigen Schätzung basierend auf dem folgenden Prozess konvergiert. Eingaben: $I_{A}^{L}, I_{B}^{L}, M^{0},$
worin M⁰ eine anfängliche Schätzung M̂ = M⁰ ist, und der Prozess iteriert, bis M̂ zu einer endgültigen Schätzung konvergiert. Geleitete Zerlegung durch Optimierung: Eingaben: $I_{A}^{L}, I_{B}^{L}, \hat{M}$
und Ausgaben: ${\hat{R}}_{B}^{L}, {\hat{S}}_{B}^{L}$
Segmentierung zum Identifizieren jener Bereiche, in denen signifikante Abweichungen zwischen I_A und I_B vorliegen: Eingaben: $I_{A}^{L}, {\hat{R}}_{B}^{L}$
und Ausgabe: M̂. Ausgaben: $M = \hat{M} {, R}_{B}^{L} = {\hat{R}}_{B}^{L}, S_{B}^{L} = {\hat{S}}_{B}^{L} .$
In dem oben beschriebenen Prozess ist M eine binäre Maske, die die signifikanten Abweichungen zwischen I_A und I_B angibt. M⁰ ist eine Initialisierung von M, während M̂ die Zwischenschätzung von M während der Iterationen ist. ${\hat{R}}_{B}^{L}$
und ${\hat{S}}_{B}^{L}$
sind die Zwischenschätzungen von $R_{B}^{L}$
und $S_{B}^{L}$
während der Iterationen. Noch genauer minimiert der geleitete Zerlegungsprozess die folgende Energiefunktion, um für ${\hat{R}}_{B}^{L}$
und ${\hat{S}}_{B}^{L}$
$E_{D} = E_{g} + λ_{s} E_{s} + λ_{r} E_{r}$
unter der Bedingung: ${\hat{R}}_{B}^{L} + {\hat{S}}_{B}^{L} = I_{B}^{L}$
zu lösen.
Die Gewichtungen λ_s und λ_r berücksichtigen die relative Wichtigkeit jedes einzelnen Terms in der Funktion. Jeder Term wird in den nachstehenden Absätzen genauer erläutert.
Der Term E_g ist ein Gradiententerm, der die Differenz zwischen dem Gradienten ${\hat{R}}_{B}^{L}$
gegen einige Referenzgradientfelder {G_x, G_y}, reduziert, wie z.B.: $E_{g} = {(\nabla_{x} {\hat{R}}_{B}^{L} - G_{x})}^{T} W_{x}^{g} (\nabla_{x} {\hat{R}}_{B}^{L} - G_{x}) + {(\nabla_{y} {\hat{R}}_{B}^{L} - G_{y})}^{T} W_{y}^{g} (\nabla_{y} {\hat{R}}_{B}^{L} - G_{y})$
worin ∇_x und ∇_y Gradientoperatoren in x- bzw. y-Richtungen sind. In einer Ausführung ist das Gradientfeld der Bildgradient $I_{B}^{L},$
angenommen, dass die Gradienten in I_B hauptsächlich aus der Reflexionsschicht stammen. In diesem Fall sind {G_x, G_y} definiert als $\begin{matrix} G_{x} = \nabla_{x} I_{B}^{L}; & G_{y} = \nabla_{y} I_{B}^{L} \end{matrix} .$
Kompliziertere Verfahren können verwendet werden, um den Pixeln verschiedene Gewichtungen zuzuordnen. Beispielsweise können Klassifikatoren verwendet werden, um zu erkennen, ob eine Kante zu der Reflexionsschicht oder der Schattierungsschicht gehören sollte. Basierend darauf können höhere Werte für Kanten verwendet werden, die als Reflexionskanten klassifiziert werden.
Der Term Es ist ein Schattierungsglätteterm, der die Glätte der Schattierungsschicht durchsetzt und von der Wahl des Schattierungsmodells abhängt. Manche Ausführungsformen des Schattierungsmodells sind zusammen mit entsprechenden Definitionen von Glättetermen nachstehend aufgelistet.
Falls ${\hat{S}}_{B}^{L}$
ein vollständiges Modell ist, d.h. jeder Pixel weist eine Dreikanal- (d.h. rot, grün und blau) Schattierungsschicht ${\hat{S}}_{B}^{L} = {{\hat{S}}_{B,1}^{L}, {\hat{S}}_{B,2}^{L}, {\hat{S}}_{B,3}^{L}}$
auf, dann kann eine der folgenden zwei Optionen verwendet werden. Zuerst wird die Glätte für jede Schicht getrennt unter Verwendung des Laplace-Operators Δ durchgesetzt. Daher gilt: $E_{s} = {\sum_{i = 1}^{3} ‖ Δ {\hat{S}}_{B, i}^{L} ‖}_{2}^{2}$
Zweitens wird die Glätte für beide individuellen Schichten und Kreuzschichten durchgesetzt.
Daher gilt: $E_{s} = {\sum_{i = 1}^{3} ‖ Δ {\hat{S}}_{B, i}^{L} ‖}_{2}^{2} + \sum_{k, l} (λ_{12} E_{S,12} (k, l) + λ_{13} E_{S,13} (k, l) + λ_{13} E_{S,23} (k, l))$
worin (k, l) ein Paar von benachbarten Pixeln in dem Bildraum bezeichnet, und $E_{S, i j} (k, l) = {‖ (Δ {\hat{S}}_{B, i}^{L} (k) - Δ {\hat{S}}_{B, j}^{L} (k)) - (Δ {\hat{S}}_{B, i}^{L} (l) - Δ {\hat{S}}_{B, j}^{L} (l)) ‖}_{2}^{2}$
Der erste Teil ist die Differenz zwischen zwei Kanälen (i,j) für Pixel k, während der zweite Teil die Differenz zwischen denselben zwei Kanälen für das benachbarte Pixel l ist. Der Term misst dann die Differenz zwischen diesen zwei Quantitäten, um eine konsistente Beleuchtungsfarbe zwischen benachbarten Pixeln durchzusetzen.
Falls die Schattierung nur einen Kanal enthält, kann das System den Laplace-Operator der Schicht direkt verwenden: $E_{s} = {‖ Δ {\hat{S}}_{B}^{L} ‖}_{2}^{2}$
Auch ein speziell konstruiertes Schattierungsmodell kann verwendet werden. Ein Beispiel dafür ist: ${\hat{S}}_{B}^{L} = {{\hat{S}}_{B}^{L}, δ_{B,2}, δ_{B,3}}$
worin die Skalarwerte δ_B,2 und δ_B,3 über die Pixel hinweg konstant sind. D.h. für ein beliebiges Pixel k ergibt die speziell konstruierte Schattierung $\begin{matrix} {\hat{S}}_{B, i}^{L} (k) = {\hat{S}}_{B, i}^{L} (k) + δ_{B, i}; & i = 2,3. \end{matrix}$
Mit diesem Modell muss die Glätte nur für den ersten Kanal durchgesetzt werden. Deshalb verwendet diese Ausführungsform dieselbe Energiefunktion: $E_{s} = {‖ Δ {\hat{S}}_{B}^{L} ‖}_{2}^{2}$
Zusätzliche Ausführungsformen verwenden weniger strenge Schattierungsmodelle, die mehr Variationen in den zweiten und dritten Schichten zulassen. Eine Ausführungsform definiert: ${\hat{S}}_{B}^{L} = {{\hat{S}}_{B,1}^{L}, δ_{B,2}^{T} (p), δ_{B,2}^{c} (q), δ_{B,3}^{T} (p), δ_{B,3}^{c} (q), | p = 1, \dots, #Zeilen; q = 1, \dots, #Spalten}$
$\begin{matrix} {\hat{S}}_{B, i}^{L} (k) = {\hat{S}}_{B, i}^{L} (k) + δ_{B, i}^{T} (Zeile von k) + δ_{B, i}^{c} (Spalte von k); & i = 2,3 \end{matrix}$
Dieses Modell ermöglicht, dass die zweite Schicht zwei Wertsätze enthält: $δ_{B,2}^{T} (p)$
ist konstant für Zeile p und $δ_{B,2}^{c} (q)$
ist konstant für Spalte q, und Ähnliches gilt für die dritte Schicht. Anders ausgedrückt umfassen die zweite sowie die dritte Schicht beide n unterschiedliche Werte, worin n = #Zeilen + #Spalten (im vorangegangenen Modell, n = 1). Mit diesem Modell kann der Glätteterm wie folgt definiert werden: $E_{s} = {‖ Δ {\hat{S}}_{B}^{L} ‖}_{2}^{2} + \sum_{i = 2}^{3} (\sum_{p = 2}^{#Zeilen} {(δ_{B, i}^{T} (p - 1) - δ_{B, i}^{T} (p))}^{2} + \sum_{q = 2}^{#Spalten} {(δ_{B, i}^{c} (q - 1) - δ_{B, i}^{c} (q))}^{2})$
Über dem Laplace-Operator für die erste Schicht setzt die Energiefunktion ferner die Werte zwischen den nahegelegenen Zeilen (und Spalten) durch, damit die zweite und die dritte Schicht einander ähnlich sind. Andere speziell konstruierte Schattierungsmodelle (z.B. blockweise konstant) können ebenfalls verwendet und eine ähnliche Glätteenergiefunktion kann abgeleitet werden.
Der Term E_r ist ein Referenzterm, der die Werte im Ziel ${\hat{R}}_{B}^{L}$
durchsetzt, damit diese konsistent mit der Referenz innerhalb des Bereichs sind, der mit keiner signifikanten Abweichung in der Maske markiert wurde, d.h. im Fall, in dem M̂(k) = 0 für Pixel k. Deshalb wird der Term definiert als: $E_{r} = {\sum_{k} (1 - \hat{M} (k)) ({\hat{R}}_{B}^{L} (k) - I_{A}^{L} (k))}^{2}$
Da alle individuellen Terme E_g, E_s. E_r Quadratfunktionen der Unbekannten sind, kann das Minimieren der Gesamtkosten E_D durch Lösen einer linearen Gleichung erreicht werden. Sobald der iterative Prozess konvergiert, ist die Ausgabe des Bildschattenentfernungsmoduls 616 die endgültige Schätzung der Reflexionsschicht $R_{B} = exp (R_{B}^{L}) .$
Nach dem Schattenentfernungsprozess, der entschattetes Bild $R_{B}^{L}$
und das Referenzbild I_A ergibt, lautet das Ziel des Detektionsmoduls 620, die Bereiche zu identifizieren, in denen signifikante Abweichungen vorliegen, und die Abweichungsdaten 190 zu erzeugen. Dies kann auf mehrere Arten erreicht werden, einschließlich, aber nicht ausschließlich Pro-Pixel-Detektion, Graph-basierter Detektion und lembasierter Detektion.
Die Pro-Pixel-Detektion vergleicht diese zwei Bilder (d.h. das ausgewählte Basislinienbildmodell 192 und das Ereignisbildmodell 184) an jedem einzelnen Pixel in einem bestimmten Farbraum. In einem Beispiel werden beide Bilder in den CIELab-Farbraum konvertiert und die Detektion erfolgt über Schwellenwertbildung auf dem a-Kanal und dem b-Kanal für jedes Pixel k wie folgt: $\hat{M} (k) = | I_{A, a} (k) - R_{B, a} (k) | > τ_{a} oder | I_{A,b} (k) - R_{B, b} (k) | > τ_{b}$
worin I_A,a und I_A,b der a-Kanal und der b-Kanal von I_A im CIELab-Raum sind (ähnlich wie für R_B,a und R_B,b); τ_a und τ_b, vordefinierte Schwellenwerte sind.
Die Graph-basierte Detektion berücksichtigt sowohl die Pro-Pixel-Messung als auch die Raumglätte. Das Problem wird üblicherweise mit einem Markov-Zufallsfeld (MRF) formuliert und mit Belief Propagation oder Graph Cut gelöst. In einer Ausführung werden die Wahrscheinlichkeiten eines Pixels k, das in dem Bereich mit signifikanter Abweichung liegt und nicht darin liegt, über logistische Funktionen wie folgt definiert: $p (M (k) = 1 | I_{A}, R_{B}) = \frac{1}{1 + e^{- vd (k)}}$
$d (k) = (\sqrt{w_{a} (k) {(I_{A, a} (k) - R_{B, a} (k))}^{2} + w_{b} (k) {(I_{A, b} (k) - R_{B, b} (k))}^{2}} - τ)$
$p (M (k) = 0 | I_{A}, R_{B}) = 1 - p (M (k) = 1 | I_{A}, R_{B})$
worin v ein Paramter ist, der die Form der Verteilungsfunktion steuert, und τ ein Schwellenwert ähnlich wie die Rolle von τ_a und τ_b oben ist. Die Gewichtungen w_a(k) und w_b(k) werden verwendet, um die Wichtigkeit eines a-Kanals gegenüber eines b-Kanals miteinzubeziehen, die unter den Pixeln dieselbe oder eine andere sein kann. Eine beispielhafte Kurve ist in 10 dargestellt, wobei v = 0,5. Der Glätteterm kann weitverbreitete Modelle wie z.B. das Potts-Modell verwenden, das auf der Farbähnlichkeit nahegelegener Pixel basiert.
10 zeigt ein Beispiel für die Pro-Pixel-Wahrscheinlichkeiten für das Graph-basierte Detektionsverfahren, das oben beschrieben wird. Die Kurve 904 zeigt die bedingte Wahrscheinlichkeit, dass M(k) gleich 0 ist, unter Annahme des Werts von I_A, R_B und die Kurve 908 zeigt die bedingte Wahrscheinlichkeit, dass M(k) gleich 1 ist, unter Annahme des Werts von I_A, R_B. Der Punkt τ zeigt den Schnittpunkt, an dem die Kurven 904 und 908 beide die gleichen Wahrscheinlichkeiten aufweisen.
In den oben erwähnten Verfahren ist der Farbraum nicht auf CIELab beschränkt, auch andere Farbräume, die versuchen, die Beleuchtung vom Farbwert zu trennen, können verwendet werden, wie z.B. YCbCr. Die Ausgabe aus dem Detektionsmodul ist eine verfeinerte binäre Maske M^D, zusammen mit dem entschatteten Bild R_B aus einem früheren Modul. Im Fall, in dem bestimmte Attributinformationen gewünscht sind, wie oben in Bezug auf das System aus 7 beschrieben, nutzt das Modul 620 die relevanten Informationen in dem Vormodellpool 180. Falls das Basislinienbildmodell 192 beispielsweise mit der Position jedes Fahrgastsitzes 116 markiert ist, kann das System 124 bestimmen, ob sich detektierte Abweichung der Abweichungsdaten 190 an dem linken Rücksitz 116 oder dem rechten Rücksitz 116 befindet.
Definiert die Maske M^D die Bereiche mit signifikanten Abweichungen, kann dieses Erkennungsmodul verwendet werden, um zu identifizieren, was die Ursachen für diese Abweichungen sind. Eine nicht eingeschränkte Liste typischer Ursachen für eine Abweichung umfassen die folgenden, wie z.B. Gegenstände aus einem vordefinierten Satz (z.B. Smartphones 308, Geldbörsen 312, Schlüssel), Gegenstände außerhalb des vordefinierten Satzes, die in dem Fahrzeug 100 zurückgelassen wurden, ein Fahrgast, der nicht ausgestiegen ist, ein verschmutzter Sitz und Schäden am Fahrzeuginneren, wie z.B. Kratzer.
Modernste Erkennungsengines können unter Verwendung von Daten trainiert werden, die Instanzen in diesen Kategorien enthalten und die auf den Bereich von Interesse angewendet werden, der basierend auf der Maske M^D zugeschnitten ist. Der Vorteil liegt hier darin, dass die Erkennung auf dem entschatteten Bild R_B (für das Training sowie zum Testen) durchgeführt werden kann. Somit können die Erkennungsengines trainiert werden, damit sie sich auf das Unterscheiden der verschiedenen Ursachen konzentrieren können, ohne gleichzeitig starke Beleuchtungsschwankungen ausgleichen zu müssen.
Ausführungsformen innerhalb des Schutzumfangs der Offenbarung können auch nichtflüchtige, computerlesbare Speichermedien oder ein maschinenlesbares Medium zum Tragen oder Umfassen von darauf gespeicherten computerausführbaren Befehlen oder Datenstrukturen umfassen. Solche nichtflüchtigen computerlesbaren Speichermedien oder maschinenlesbaren Speichermedien können ein beliebiges verfügbares Medium sein, auf das von einem allgemeinen oder Spezial-Computer zugegriffen werden kann. Beispielsweise und nicht einschränkend können solche nichtflüchtigen computerlesbaren Speichermedien oder ein solches maschinenlesbares Medium RAM, ROM, EEPROM, CD-ROM oder einen anderen optischen Diskspeicher, einen Magnetdiskspeicher oder andere magnetische Speichervorrichtungen oder ein beliebiges anderes Medium umfassen, das verwendet werden kann, um die gewünschten Programmcodemittel in Form von computerausführbaren Befehlen oder Datenstrukturen zu tragen oder zu speichern. Kombinationen der Obigen sollten ebenfalls unter den Schutzumfang der nichtflüchtigen, computerlesbaren Speichermedien oder des maschinenlesbaren Mediums fallen.
Ausführungsformen können auch in verteilten Rechnerumgebungen praktiziert werden, in denen Aufgaben durch lokale und Fernprozessorvorrichtungen durchgeführt werden, die über ein Kommunikationsnetzwerk verbunden sind (entweder durch verdrahtete Verbindungen, drahtlose Verbindungen oder einer Kombination daraus).
Computerausführbare Befehle umfassen z.B. Befehle und Daten, die bewirken, dass ein allgemeiner Computer, ein Spezialcomputer oder eine Spezialprozessorvorrichtung eine bestimmte Funktion oder eine Gruppe an Funktionen durchführt. Computerausführbare Befehle umfassen auch Programmmodule, die von Computer in autarken oder Netzwerkumgebungen ausgeführt werden. Im Allgemeinen umfassen Programmmodule Routinen, Programme, Objekte, Komponenten und Datenstrukturen etc., die bestimmte Aufgaben ausführen oder bestimmte abstrakte Datentypen implementieren. Computerausführbare Befehle, dazugehörige Datenstrukturen und Programmmodule stellen Beispiele für die Programmcodemittel zum Ausführen der Schritte der hierin offenbarten Verfahren dar. Die spezielle Reihenfolge solcher ausführbaren Befehle oder dazugehöriger Datenstrukturen stellt ein Beispiel für entsprechende Aktionen zum Implementieren der beschriebenen Funktionen in solchen Schritten dar.
Es gilt anzuerkennen, dass Varianten der oben beschriebenen und anderer Merkmale und Funktionen oder Alternativen davon wünschenswerterweise zu vielen anderen, verschiedenen Systemen, Anwendungen oder Verfahren kombiniert werden können. Verschiedene bis dato unvorhergesehene oder unerwartete Alternativen, Modifikationen, Variationen oder Verbesserungen können nachträglich von Fachleuten auf dem Gebiet vorgenommen werden, die ebenfalls in den folgenden Ausführungsformen in diesen beinhaltet betrachtet werden sollen.

Claims

Verfahren zum Betreiben eines Fahrzeugs, umfassend ein Fahrzeugabfühlsystem, umfassend: Erzeugen eines Basislinienbildmodells einer Fahrzeugkabine basierend auf Bilddaten der Fahrzeugkabine, die von einer Abbildungsvorrichtung des Fahrzeugabfühlsystems erzeugt werden, wobei das Basislinienbildmodell vor einem Insassenereignis erzeugt wird; Erzeugen eines Ereignisbildmodells der Fahrzeugkabine basierend auf Bilddaten der Fahrzeugkabine, die von der Abbildungsvorrichtung erzeugt werden, wobei das Ereignisbildmodell nach dem Insassenereignis erzeugt wird; Identifizieren von Bildabweichungen durch Vergleichen des Ereignisbildmodells mit dem Basislinienbildmodell mit einer Steuerung des Fahrzeugabfühlsystems, wobei die Bildabweichungen Unterschieden in der Fahrzeugkabine von vor dem Insassenereignis bis nach dem Insassenereignis entsprechen; und Betreiben des Fahrzeugs basierend auf den identifizierten Bildabweichungen.
Verfahren nach Anspruch 1, wobei Identifizieren von Bildabweichungen außerdem umfasst: Identifizieren eines Gegenstands, der sich nach dem Insassenereignis in der Fahrzeugkabine befindet und sich vor dem Insassenereignis nicht in der Fahrzeugkabine befand.
Verfahren nach Anspruch 1, wobei das Erzeugen des Ereignisbildmodells der Kabine außerdem umfasst: Erzeugen zumindest eines Hochkontrast- (HDR-) Bildes der Fahrzeugkabine, wobei das zumindest eine HDR-Bild konfiguriert ist, eine Auswirkung von Umgebungsbeleuchtung auf die Erzeugung des Ereignisbildmodells der Fahrzeugkabine zu verringern.
Verfahren nach Anspruch 3, wobei: Erzeugen des Ereignisbildmodells der Kabine außerdem Durchführen eines Bildzerlegungs-Entschattungsprozesses umfasst, um das zumindest eine HDR-Bild in ein zerlegtes Bild zu zerlegen, das eine Reflexionsschicht und eine Schattierungsschicht umfasst, und Identifizieren der Bildabweichungen außerdem Vergleichen des zerlegten Bildes mit einem Referenzbild umfasst, das im Basislinienbildmodell der Fahrzeugkabine enthalten ist.
Verfahren nach Anspruch 4, wobei Identifizieren der Bildabweichungen außerdem umfasst: Verwendung eines Pro-Pixel- oder grafikbasierten Systems, um die Abweichungen während des Vergleichs des zerlegten Bildes mit dem Referenzbild zu ermitteln.
Verfahren nach Anspruch 1, wobei Betreiben des Fahrzeugs basierend auf den identifizierten Bildabweichungen umfasst: Erzeugen von Benachrichtigungsdaten, die den identifizierten Bildabweichungen entsprechen, und Übertragen der Benachrichtigungsdaten an eine elektronische Vorrichtung eines Insassen, der mit dem Insassenereignis zusammenhängt.
Verfahren nach Anspruch 1, wobei Betreiben des Fahrzeugs basierend auf den identifizierten Bildabweichungen umfasst: Bewirken, dass das Fahrzeug selbständig zu einem Servicezentrum fährt.
Verfahren nach Anspruch 1, außerdem umfassend: Erzeugen einer Vielzahl von Basislinienbildmodellen der Fahrzeugkabine; Ermitteln einer Fahrzeugkonfiguration basierend auf Fahrzeugeinstellungsdaten; und Auswählen eines Basislinienbildmodells der Vielzahl von Basislinienbildmodellen zum Vergleich des Ereignisbildmodells basierend auf der ermittelten Fahrzeugkonfiguration.
Fahrzeugabfühlsystem für ein entsprechendes Fahrzeug, umfassend: eine Abbildungsvorrichtung, die konfiguriert ist, Bilddaten einer Fahrzeugkabine zu erzeugen; einen Speicher, der konfiguriert ist, ein Basislinienbildmodell der Fahrzeugkabine zu speichern, das vor einem Insassenereignis erzeugt wird; und eine Steuerung, die betriebsfähig mit der Abbildungsvorrichtung und dem Speicher verbunden ist, wobei die Steuerung konfiguriert ist, ein Ereignisbildmodell der Fahrzeugkabine basierend auf den erzeugten Bilddaten nach dem Insassenereignis zu erzeugen, um Bildabweichungen durch Vergleichen des Ereignisbildmodells mit dem Basislinienbildmodell zu identifizieren, und um das Fahrzeug basierend auf den identifizierten Bildabweichungen zu betreiben, wobei die Bildabweichungen Unterschieden in der Fahrzeugkabine von vor dem Insassenereignis bis nach dem Insassenereignis entsprechen.
Fahrzeugabfühlsystem nach Anspruch 9, wobei die identifizierten Bildabweichungen Schäden an der Fahrzeugkabine und/oder einem Gegenstand entsprechen, der sich nach dem Insassenereignis in der Fahrzeugkabine befindet und sich vor dem Insassenereignis nicht in der Fahrzeugkabine befand.
Fahrzeugabfühlsystem nach Anspruch 9, wobei: die erzeugten Bilddaten zumindest ein Hochkontrast- (HDR-) Bild der Fahrzeugkabine umfassen und das zumindest eine HDR-Bild konfiguriert ist, eine Auswirkung von Umgebungsbeleuchtung auf die Erzeugung des Ereignisbildmodells durch die Steuerung zu verringern.
Fahrzeugabfühlsystem nach Anspruch 11, wobei die Steuerung außerdem konfiguriert ist, (i) das Ereignisbildmodell der Kabine durch Durchführen eines Bildzerlegungs-Entschattungsprozesses zu erzeugen, um das zumindest eine HDR-Bild in ein zerlegtes Bild zu zerlegen, das eine Reflexionsschicht und eine Schattierungsschicht umfasst, und (ii) Bildabweichungen durch Vergleichen des zerlegten Bildes mit einem Referenzbild zu identifizieren, das im Basislinienbildmodell der Fahrzeugkabine enthalten ist.
Fahrzeugabfühlsystem nach Anspruch 12, wobei die Steuerung konfiguriert ist, ein Pro-Pixel- oder grafikbasiertes System zu verwenden, um die Abweichungen während des Vergleichs des zerlegten Bildes mit dem Referenzbild zu ermitteln.
Fahrzeugabfühlsystem nach Anspruch 9, außerdem umfassend: einen Sendeempfänger, der betriebsfähig mit der Steuerung verbunden ist, wobei die Steuerung außerdem konfiguriert ist, Benachrichtigungsdaten zu erzeugen, die den identifizierten Bildabweichungen entsprechen, und wobei der Sendeempfänger konfiguriert ist, die Benachrichtigungsdaten an eine elektronische Vorrichtung eines Insassen zu übertragen, der mit dem Insassenereignis zusammenhängt.
Fahrzeugabfühlsystem nach Anspruch 9, wobei die Steuerung außerdem konfiguriert ist, basierend auf den identifizierten Bildabweichungen zu bewirken, dass das Fahrzeug selbständig zu einem Servicezentrum fährt.
Fahrzeugabfühlsystem nach Anspruch 9, wobei die Steuerung außerdem konfiguriert ist, basierend auf den identifizierten Bildabweichungen zu verhindern, dass weitere Insassenereignisse stattfinden.