DE112019000961T5

DE112019000961T5 - Fahrzeuginternes system zum schätzen einer szene in einem fahrzeuginnenraum

Info

Publication number: DE112019000961T5
Application number: DE112019000961.3T
Authority: DE
Inventors: Dietmar Meister
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2018-03-28
Filing date: 2019-03-04
Publication date: 2020-12-10
Also published as: US11151865B2; WO2019185303A1; CN112154490B; US20210020024A1; CN112154490A

Abstract

Es sind ein fahrzeuginternes System und ein Verfahren zum Überwachen oder Schätzen einer Szene in einem Fahrgastraum des Fahrzeugs offenbart. Das fahrzeuginterne System beinhaltet mehrere Sensoren, die Daten messen, erfassen und/oder empfangen, die sich auf Attribute des Innenbereichs des Fahrgastraums beziehen. Das fahrzeuginterne System beinhaltet einen Szenenschätzer, der ein oder mehrere Attribute des Innenbereichs des Fahrgastraums basierend auf einzelnen Sensorsignalen, die von den Sensoren empfangen werden, bestimmt und/oder schätzt. Der Szenenschätzer bestimmt zusätzliche Attribute basierend auf Kombinationen eines oder mehrerer der Attribute, die basierend auf den Sensorsignalen einzeln bestimmt werden. Die vom Szenenschätzer bestimmten Attribute umfassen kollektiv eine Schätzung der Szene in dem Fahrgastraum des Fahrzeugs.

Description

Die vorliegende Anmeldung beansprucht die Priorität der vorläufigen US-Anmeldung mit der Serien-Nr. 62/649,114, eingereicht am 28. März 2018, deren Offenbarung hiermit durch Bezugnahme in ihrer Gesamtheit aufgenommen wird.
GEBIET
Diese Offenbarung bezieht sich allgemein auf Fahrzeuginnenraumsysteme und insbesondere auf ein System und ein Verfahren zum Schätzen einer Szene innerhalb eines Fahrzeuginnenraums.
HINTERGRUND
Sofern hierin nicht anders angegeben, sind die in diesem Abschnitt beschriebenen Materialien nicht Stand der Technik zu den Ansprüchen in dieser Anmeldung und werden durch Aufnahme in diesen Abschnitt nicht zum Stand der Technik zugelassen.
Da sich die Technologien in Richtung autonomes Fahren entwickeln, wird es in Zukunft keinen menschlichen Fahrer mehr im Auto geben. Das Fehlen eines menschlichen Fahrers stellt jedoch neue Herausforderungen. Insbesondere muss ohne einen menschlichen Fahrer das Auto selbst möglicherweise die Aufgabe übernehmen, den Zustand des Fahrzeuginnenbereichs zu erkennen, was das Identifizieren, ob und wann eine Reinigung oder andere Wartung erforderlich ist, oder das Identifizieren einer Notsituation, in der Rettungsdienste (z. B. Polizei oder Krankenwagen) gerufen werden müssen, beinhalten kann. Daher ist es wünschenswert oder sogar notwendig, dass ein autonomes Fahrzeug ein System im Fahrzeug aufweist, das den Fahrzeuginnenbereich intelligent erfassen kann, um gewisse Ereignisse von Interesse zu detektieren.
Es wurden viele Versuche zur Überwachung von Fahrer und Mitfahrer unternommen (z. B. Gesichtsverfolgung, Blickverfolgung und Gestenerkennung). Der Erfassung der Innenbereichsumgebung im Fahrzeug wurde jedoch weniger Aufmerksamkeit geschenkt. Folglich wären Verbesserungen an Systemen und Verfahren für den Innenraum des Fahrzeugs von Vorteil.
KURZFASSUNG
Ein System zum Überwachen einer Szene in einem Innenbereich eines Fahrgastraums eines Fahrzeugs ist offenbart. Das System umfasst mehrere Sensoren, wobei jeder Sensor der mehreren Sensoren dazu ausgelegt ist, ein jeweiliges Sensorsignal auszugeben, wobei mindestens ein Sensor in den mehreren Sensoren dazu ausgelegt ist, einen Aspekt des Innenbereichs des Fahrgastraums zu messen; und ein Verarbeitungssystem, das funktionsfähig mit den mehreren Sensoren verbunden ist und mindestens einen Prozessor aufweist. Das Verarbeitungssystem ist ausgelegt zum: Empfangen jedes jeweiligen Sensorsignals von den mehreren Sensoren; Bestimmen eines ersten Attributs des Innenbereichs des Fahrgastraums basierend auf einem ersten Sensorsignal von einem ersten Sensor in den mehreren Sensoren; Bestimmen eines zweiten Attributs des Innenbereichs des Fahrgastraums basierend auf einem zweiten Sensorsignal von einem zweiten Sensor in den mehreren Sensoren; und Bestimmen eines dritten Attributs des Innenbereichs des Fahrgastraums basierend auf dem ersten Attribut und dem zweiten Attribut.
Ein Verfahren zum Überwachen einer Szene in einem Innenbereich eines Fahrgastraums eines Fahrzeugs ist offenbart. Das Verfahren umfasst Empfangen, mit einem Verarbeitungssystem, eines jeweiligen Sensorsignals von jedem mehrerer Sensoren, wobei das Verarbeitungssystem funktionsfähig mit den mehreren Sensoren verbunden ist und mindestens einen Prozessor aufweist, wobei jeder Sensor in den mehreren Sensoren dazu ausgelegt ist, das jeweilige Sensorsignal an das Verarbeitungssystem auszugeben, wobei mindestens ein Sensor in den mehreren Sensoren dazu ausgelegt ist, einen Aspekt des Innenbereichs des Fahrgastraums zu messen; Bestimmen, mit dem Verarbeitungssystem, eines ersten Attributs des Innenbereichs des Fahrgastraums basierend auf einem ersten Sensorsignal von einem ersten Sensor in den mehreren Sensoren; Bestimmen, mit dem Verarbeitungssystem, eines zweiten Attributs des Innenbereichs des Fahrgastraums basierend auf einem zweiten Sensorsignal von einem zweiten Sensor in den mehreren Sensoren; und Bestimmen, mit dem Verarbeitungssystem, eines dritten Attributs des Innenbereichs des Fahrgastraums basierend auf dem ersten Attribut und dem zweiten Attribut.
Figurenliste
Die vorstehenden Aspekte und andere Merkmale des Systems und des Verfahrens werden in der folgenden Beschreibung im Zusammenhang mit den begleitenden Zeichnungen erläutert.

1 zeigt ein vereinfachtes Blockdiagramm eines Fahrzeugs mit einem Fahrgastraum und einem fahrzeuginternen System zum Überwachen des Fahrgastraums.
2 zeigt ein Blockdiagramm des fahrzeuginternen Systems mit einer detaillierten Veranschaulichung einer Ausführungsform des Szenenschätzers.
3 zeigt eine vereinfachte beispielhafte Entscheidungstabelle, die in einem Sensorfusionsprozess zum Bestimmen eines Stressniveauattributs eines Mitfahrers im Fahrgastraum verwendet wird.
4 zeigt ein Flussdiagramm für einen beispielhaften Sensorfusionsprozess zum Bestimmen eines Stimmungsklassifizierungsattributs eines Mitfahrers, der im Fahrgastraum des Fahrzeugs sitzt.
5 zeigt ein Flussdiagramm für einen beispielhaften Trainingsprozess zum Abstimmen von Modellparametern, die von dem Sensorfusionsmodul verwendet werden, um Attributströme zu bestimmen.

AUSFÜHRLICHE BESCHREIBUNG
Zum Zwecke der Förderung eines Verständnisses der Prinzipien der Offenbarung wird nun auf die in den Zeichnungen veranschaulichten und in der folgenden schriftlichen Beschreibung beschriebenen Ausführungsformen Bezug genommen. Es versteht sich, dass dadurch keine Beschränkung des Schutzumfangs der Offenbarung beabsichtigt wird. Es versteht sich ferner, dass die vorliegende Offenbarung jegliche Abänderungen und Modifikationen an den veranschaulichten Ausführungsformen einschließt und weitere Anwendungen der Prinzipien der Offenbarung beinhaltet, wie sie einem Fachmann des technischen Gebiets, auf das sich diese Offenbarung bezieht, normalerweise in den Sinn kommen würden.
Übersicht des fahrzeuginternen Systems
1 zeigt ein vereinfachtes Blockdiagramm eines Fahrzeugs 100 mit einem Fahrgastraum 102 und einem fahrzeuginternen System 104 zum Überwachen des Fahrgastraums 102. Obwohl das Fahrzeug 100 hier als ein Kraftfahrzeug veranschaulicht ist, kann das Fahrzeug 100 in ähnlicher Weise eine beliebige Anzahl von Fahrzeugtypen mit einem Fahrgastraum 102 zum Bewegen von Personen oder Fracht umfassen, wie etwa Züge, Busse, U-Bahnen, Flugzeuge, Hubschrauber, Passagierdrohnen, U-Boote, Aufzüge, passagierbewegende Pods. Der Fahrgastraum 102 (der hierin auch als ein Abteil bezeichnet werden kann) ist ein typischerweise geschlossener Raum zur Aufnahme von Passagieren oder Fracht. Obwohl das Fahrzeug 100 so veranschaulicht ist, dass es einen einzelnen Fahrgastraum 102 aufweist, kann das Fahrzeug 100 eine beliebige Anzahl von einzelnen und getrennten Fahrgasträumen 102 enthalten (z.B. mehrere Abteile oder Räume innerhalb eines Zugwaggons).
Das fahrzeuginterne System 104 ist dazu ausgelegt, einen Zustand oder eine Szene im Fahrgastraum 102 des Fahrzeugs 100 zu überwachen und/oder zu schätzen. Das fahrzeuginterne System 104 umfasst eine Erfassungsbaugruppe mit einem oder mehreren Sensoren 106, 108, einen Szenenschätzer 110, einen virtuellen Assistenten 112 und einen Aktor 114. Die Sensoren 106, 108, ein Szenenschätzer 110, ein virtueller Assistent 112 und ein Aktor 114 sind über mehrere Kommunikationsbusse 116, die drahtlos oder drahtgebunden sein können, kommunikativ miteinander gekoppelt.
In der veranschaulichten Ausführungsform sind zwei Sensoren 106 und 108 veranschaulicht. Ein lokaler Sensor 106 ist im Innenbereich des Fahrgastraums 102 gezeigt, und ein Fernsensor 108 ist außerhalb des Fahrgastraums 102 gezeigt. Obwohl nur die zwei Sensoren 106, 108 veranschaulicht sind, kann eine beliebige Anzahl lokaler Sensoren 106 innerhalb des Innenbereichs des Fahrgastraums 102 installiert sein, und eine beliebige Anzahl externer Sensoren 108 kann außerhalb des Fahrgastraums 102 installiert sein.
Der eine oder die mehreren lokalen Sensoren 106 sind dazu ausgelegt, Daten zu messen, zu erfassen und/oder zu empfangen, die sich auf Attribute des Innenbereichs des Fahrgastraums 102 beziehen, einschließlich aller Mitfahrer im Fahrgastraum 102 oder Objekte, die in den Fahrgastraum 102 gebracht werden. Wie hierin verwendet, bezieht sich der Begriff „Attribut“ auf einen Zustand, eine Charakteristik, einen Parameter, einen Aspekt und/oder eine Qualität. Beispielhafte lokale Sensoren 106 können eine Videokamera, einen akustischen Wandler wie etwa ein Mikrofon oder einen Lautsprecher, einen Luftqualitätssensor, eine 3D-Objektkamera, einen Radarsensor, einen Vibrationssensor, einen Feuchtigkeitssensor, eine Kombination davon oder beliebige geeignete Sensoren beinhalten. In einigen Ausführungsformen sind die lokalen Sensoren 106 selbst nicht notwendigerweise innerhalb des Fahrgastraums 102 angeordnet, sind aber dennoch dazu ausgelegt, Daten zu messen, zu erfassen und/oder zu empfangen, die sich auf Attribute beziehen, die den Innenbereich des Fahrgastraums 102 betreffen (z. B. könnte ein außerhalb der Kabine angeordneter Radarsensor Informationen über den Innenbereich der Kabine bereitstellen). In einigen Ausführungsformen kann der lokale Sensor 106 entweder von einem Mitfahrer geführt oder getragen werden und dazu ausgelegt sein, während sich der Mitfahrer im Fahrgastraum 102 befindet, Daten zu messen, zu erfassen und/oder zu empfangen, die sich auf Charakteristiken und/oder Parameter des Innenbereichs des Fahrgastraums 102 beziehen. Ein solcher lokaler Sensor 106, der vom Mitfahrer geführt oder getragen wird, kann eine Armbanduhr, eine elektronische Vorrichtung, ein Armband, eine Brille, ein Hörgerät oder beliebige geeignete Sensoren umfassen. In einer weiteren Ausführungsform kann ein lokaler Sensor 106 in ein Objekt integriert sein, das vom Mitfahrer geführt wird, und dazu ausgelegt sein, während sich der Mitfahrer im Fahrgastraum 102 befindet, Daten zu messen, zu erfassen und/oder zu empfangen, die sich auf Charakteristiken und/oder Parameter des Innenbereichs des Fahrgastraums 102 beziehen. Ein solcher lokaler Sensor 106 kann ein RFID-Tag oder ein beliebiges geeignetes Tag umfassen, das in ein Objekt integriert oder eingebettet ist, wie etwa ein Paket, ein Gepäckstück, eine Geldbörse, einen Koffer oder beliebige geeignete portable Objekte.
Im Gegensatz dazu sind der eine oder die mehreren Fernsensoren 108 (die hierin auch als „externe“ Sensoren bezeichnet werden können) außerhalb des Fahrgastraums 102 angeordnet und dazu ausgelegt, Daten zu messen, zu erfassen und/oder zu empfangen, die sich auf Attribute beziehen, die sich nicht direkt auf den Innenbereich des Fahrgastraums 102 beziehen, wie etwa Attribute der äußeren Umgebung des Fahrzeugs und Attribute des Mitfahrers außerhalb des Kontextes seiner Anwesenheit im Fahrgastraum 102. Ein oder mehrere beispielhafte Fernsensoren 108 können einen Wetterzustandssensor, einen Außenklimasensor, ein Umgebungssensorsystem, einen Nachbarschaftscharakteristiksensor oder beliebige geeignete Sensoren umfassen. Ein oder mehrere weitere beispielhafte Fernsensoren 108 können entfernte Datenquellen wie etwa ein soziales Netzwerk und Wettervorhersagequellen umfassen. In einer Ausführungsform ist der mitgeführte Fernsensor 108 am Fahrzeug 100 außerhalb des Fahrgastraums 102 installiert oder angeordnet. In einer anderen Ausführungsform ist der Sensor 108 an einer anderen Stelle entfernt angeordnet und über eine drahtlose Kommunikation kommunikativ mit dem fahrzeuginternen System 104 gekoppelt.
In mindestens einer Ausführungsform enthalten im Fall mehrerer Fahrgasträume 102 im Fahrzeug 100 die Sensoren des fahrzeuginternen Systems 104 einen entsprechenden lokalen Sensor 106 für jeden einzelnen Fahrgastraum 102, jedoch sind keine doppelten Fernsensoren 108 für jeden einzelnen Fahrgastraum 102 erforderlich. Es versteht sich jedoch, dass die Unterscheidung zwischen „lokalen“ und „externen“ Sensoren 106 und 108 etwas willkürlich ist.
Der Szenenschätzer 110 ist über die Kommunikationsbusse 116 kommunikativ mit den Sensoren 106, 108 gekoppelt. Der Szenenschätzer 110 umfasst mindestens einen Prozessor und/oder eine Steuerung, die funktionsfähig mit einem assoziierten Speicher verbunden sind. Der Durchschnittsfachmann auf dem Gebiet erkennt, dass eine „Steuerung“ oder ein „Prozessor“ ein beliebiges Hardwaresystem, einen beliebigen Hardwaremechanismus oder eine beliebige Hardwarekomponente beinhaltet, das/der/die Daten, Signale oder andere Informationen verarbeitet. Der mindestens eine Prozessor und/oder die Steuerung des Szenenschätzers 110 sind dazu ausgelegt, Programmanweisungen auszuführen, die in seinem assoziierten Speicher gespeichert sind, um Daten zu manipulieren oder eine oder mehrere Komponenten in dem fahrzeuginternen System 104 oder des Fahrzeugs 100 zu betreiben, um die dargelegte Aufgabe oder Funktion durchzuführen.
Der Szenenschätzer 110 ist dazu ausgelegt, Sensorsignale von jedem der Sensoren 106, 108 zu empfangen. Die von den Sensoren 106, 108 empfangenen Sensorsignale können analoge oder digitale Signale sein. Wie an anderer Stelle hierin ausführlicher beschrieben wird, ist der Szenenschätzer 110 dazu ausgelegt, ein oder mehrere Attribute des Innenbereichs des Fahrgastraums 102 basierend auf den empfangenen Sensorsignalen einzeln und basierend auf Kombinationen der empfangenen Sensorsignale zu bestimmen und/oder zu schätzen. Insbesondere ist in mindestens einer Ausführungsform der Szenenschätzer 110 dazu ausgelegt, ein oder mehrere Attribute des Innenbereichs des Fahrgastraums 102 basierend auf jedem einzelnen Sensorsignal zu bestimmen, das von den mehreren Sensoren 106, 108 empfangen wird. Als Nächstes ist der Szenenschätzer 110 dazu ausgelegt, ein oder mehrere zusätzliche Attribute des Innenbereichs des Fahrgastraums 102 basierend auf einer Kombination der Attribute zu bestimmen, die basierend auf den Sensorsignalen einzeln bestimmt wurden. Diese zusätzlichen Attribute des Innenbereichs des Fahrgastraums 102, die basierend auf einer Kombination von Sensorsignalen bestimmt werden, die von den mehreren Sensoren 106, 108 empfangen werden, können als ein oder mehrere komplexe „virtuelle“ Sensoren für den Innenbereich des Fahrgastraums 102 angesehen werden, die Angaben von komplexeren oder abstrakteren Attributen des Innenbereichs des Fahrgastraums 102 liefern können, die mit einem einzelnen herkömmlichen Sensor nicht direkt gemessen werden oder messbar sind.
Beispielhafte Attribute des Innenbereichs des Fahrgastraums 102, die bestimmt und/oder geschätzt werden, können Attribute beinhalten, die sich auf einen Zustand des Innenbereichs des Fahrgastraums 102 beziehen, wie etwa Luftqualität, das Vorhandensein von Flecken, Kratzern, Gerüchen, Rauch oder Feuer, und ein detektierter Schnitt oder Bruch von beliebigen Fahrzeugausrüstungen wie etwa Sitzen, Armaturenbrett und dergleichen. Weitere beispielhafte Attribute des Innenbereichs des Fahrgastraums 102, die bestimmt und/oder geschätzt werden, können Attribute beinhalten, die sich auf den Mitfahrer selbst beziehen, wie etwa Geschlecht, Alter, Größe, Gewicht, Körperprofil, Aktivität, Stimmung oder dergleichen. Weitere beispielhafte Attribute des Innenbereichs des Fahrgastraums 102, die bestimmt und/oder geschätzt werden, können Attribute beinhalten, die sich auf ein Objekt beziehen, das entweder von einem Mitfahrer im Fahrgastraum 102 zurückgelassen oder von dem Mitfahrer in den Fahrgastraum 102 gebracht wird, das sonst nicht in den Innenbereich des Fahrgastraums 102 gehört oder einen Teil von diesem bildet, wie etwa eine Kiste, eine Tasche, ein persönliches Eigentum, einen Kindersitz oder so weiter.
In mindestens einer Ausführungsform ist der Szenenschätzer dazu ausgelegt, während eines Referenzzeitraums Referenzsignale für die Sensoren 106, 108 zu erfassen und/oder Referenzwerte für zumindest einige der vom Szenenschätzer bestimmten Attribute zu bestimmen. Die Referenzsignale und/oder Referenzwerte für die bestimmten Attribute können einmal (z. B. nach der Installation des Systems 104), periodisch und/oder bevor jeder Mitfahrer und/oder jede Gruppe von Fracht den Fahrgastraum 102 betritt bzw. eingeführt wird, erfasst werden. Der Szenenschätzer 110 ist dazu ausgelegt, die Referenzsignale und/oder Referenzwerte für die bestimmten Attribute in einem assoziierten Speicher zu speichern. In einigen Ausführungsformen ist der Szenenschätzer 110 dazu ausgelegt, Referenzsignale bei der Bestimmung der Attribute des Innenbereichs des Fahrgastraums 102 zu verwenden. Insbesondere ist in einigen Ausführungsformen der Szenenschätzer 110 dazu ausgelegt, Änderungen im Zustand des Fahrgastraums 102 zwischen dem Zeitpunkt der Referenzdatenerfassung und dem Zeitpunkt der aktuellen Statusschätzung zu berücksichtigen, um eine genauere Bestimmung der aktuellen Attribute des Innenbereichs des Fahrgastraums 102 bereitzustellen. Beispielsweise kann der Szenenschätzer 110 Referenzsignale verwenden, um Änderungen der Außenlichtbedingungen (z. B. Intensität oder Richtung des Sonnenlichts oder einer beliebigen anderen externen Lichtquelle), Änderungen der Außenluftbedingungen und/oder Änderungen der Außengeräuschumgebung zu berücksichtigen und/oder zu kompensieren.
Der virtuelle Assistent 112 ist über die Kommunikationsbusse 116 kommunikativ mit dem Szenenschätzer 110 gekoppelt. Der virtuelle Assistent 112 umfasst mindestens einen Prozessor und/oder eine Steuerung, die funktionsfähig mit einem assoziierten Speicher verbunden sind. Der Durchschnittsfachmann auf dem Gebiet erkennt, dass eine „Steuerung“ oder ein „Prozessor“ ein beliebiges Hardwaresystem, einen beliebigen Hardwaremechanismus oder eine beliebige Hardwarekomponente beinhaltet, das/der/die Daten, Signale oder andere Informationen verarbeitet. Der mindestens eine Prozessor und/oder die Steuerung des virtuellen Assistenten 112 ist dazu ausgelegt, Programmanweisungen auszuführen, die in seinem assoziierten Speicher gespeichert sind, um Daten zu manipulieren oder eine oder mehrere Komponenten in dem fahrzeuginternen System 104 oder des Fahrzeugs 100 zu betreiben, um die dargelegte Aufgabe oder Funktion durchzuführen.
Der virtuelle Assistent 112 ist dazu ausgelegt, Szenenschätzungssignale vom Szenenschätzer 110 zu empfangen, die das eine oder die mehreren Attribute des Innenbereichs des Fahrgastraums 102 angeben, die vom Szenenschätzer 110 bestimmt und/oder geschätzt werden. In mindestens einer Ausführungsform ist der virtuelle Assistent 112 dazu ausgelegt, eine oder mehrere Handlungen basierend auf den empfangenen Szenenschätzungssignalen vom Szenenschätzer 110 auszulösen. Insbesondere löst in vielen Ausführungsformen der Szenenschätzer 110 keine Handlungen direkt basierend auf den Attributen des Innenbereichs des Fahrgastraums 102 aus und liefert nur die Szenenschätzungsinformationen an den virtuellen Assistenten 112, der für das Ergreifen von Handlungen basierend auf den Szenenschätzungsinformationen verantwortlich ist, falls erforderlich oder gewünscht.
In mindestens einer Ausführungsform ist der virtuelle Assistent 112 kommunikativ mit einem oder mehreren Aktoren 114 des Fahrzeugs 100 gekoppelt, die aktiviert werden können, um verschiedene Handlungen oder Operationen durchzuführen. Diese Handlungen können auf den Innenbereich des Fahrgastraums 102 oder auf andere Systeme außerhalb des Fahrgastraums 102 angewendet werden. In einigen Ausführungsformen kann der virtuelle Assistent 112 kommunikativ mit beliebigen anderen geeigneten Modulen als den Aktoren 114 gekoppelt sein, um zu bewirken, dass die Module eine oder mehrere Handlungen aktivieren und ausführen.
Zusätzlich ist in einigen Ausführungsformen der Szenenschätzer 110 auch kommunikativ mit dem einen oder den mehreren Aktoren 114 des Fahrzeugs 100 gekoppelt. In einigen Ausführungsformen ist der Szenenschätzer 110 dazu ausgelegt, die Aktoren 114 zu betreiben, um die Attribute der Szene des Innenbereichs des Fahrgastraums 102 zu beeinflussen, um die Genauigkeit und Zuverlässigkeit der Szenenschätzungen zu verbessern. Zumindest einige der Aktoren sind dazu ausgelegt, einen Aspekt des Innenbereichs des Fahrgastraums anzupassen, der das erste Sensorsignal und/oder das zweite Sensorsignal beeinflusst. Der Szenenschätzer 110 ist dazu ausgelegt, einen oder mehrere Aktoren 114 vor und/oder während des Bestimmens der Werte der Attribute des Innenbereichs des Fahrgastraums 102 in einen vorbestimmten Zustand zu versetzen. Zum Beispiel kann der Szenenschätzer 110 dazu ausgelegt sein, Lichter zu betreiben, um den Fahrgastraum 102 oder spezifische Elemente darin zu beleuchten, Jalousien zu betreiben, um Außenlicht vom Fahrgastraum auszuschließen, ein Belüftungssystem zu betreiben, um die Luft im Fahrgastraum auszutauschen oder zu reinigen, einen Motor und/oder ein Lenkrad zu betreiben, um das Fahrzeug 100 auf eine bestimmte Weise zu positionieren, einen Sitzmotor zu betreiben, um den Sitz in eine vorbestimmte Standardposition zu bringen, Lautsprecher zu betreiben, um ein spezifisches Referenz- oder Testgeräusch zu erzeugen, und/oder eine Anzeige zu betreiben, um ein Testbild anzuzeigen. Durch das Betreiben eines oder mehrerer Aktoren 114 in einem vorbestimmten Zustand kann die Qualität der Szenenschätzung verbessert werden.
Obwohl das veranschaulichte fahrzeuginterne System 104 ein eigenständiges System ist, können in einigen Ausführungsformen Teile oder die gesamte Funktionalität des Szenenschätzers 110 und des virtuellen Assistenten 112 von einer entfernten Cloud-Rechenvorrichtung implementiert werden, die mit dem fahrzeuginternen System 104 über ein Internet in Kommunikation steht, wobei gemeinsam genutzte Ressourcen, Software und Informationen dem fahrzeuginternen System 104 bei Bedarf bereitgestellt werden.
Szenenschätzer
2 zeigt das fahrzeuginterne System 104 mit einer detaillierten Veranschaulichung einer Ausführungsform des Szenenschätzers 110. Der Szenenschätzer 110 umfasst ein Verarbeitungssystem 150. Das Verarbeitungssystem 150 umfasst einen oder mehrere einzelne Prozessoren, Steuerungen und dergleichen. Insbesondere umfasst in der veranschaulichten Ausführungsform das Verarbeitungssystem 150 eine Vorprozessorbaugruppe 120 mit einem oder mehreren Vorprozessoren 120a, 120b und 120c, ein Sensorfusionsmodul 122 in Form von mindestens einem Prozessor und eine Nachprozessorbaugruppe 124 mit einem oder mehreren Nachprozessoren 124a, 124b und 124c. Der Durchschnittsfachmann auf dem Gebiet erkennt, dass ein „Prozessor“ oder eine „Steuerung“ ein beliebiges Hardwaresystem, einen beliebigen Hardwaremechanismus oder eine beliebige Hardwarekomponente beinhaltet, das/der/die Daten, Signale oder andere Informationen verarbeitet. Die einzelnen Prozessoren 120a, 120b, 120c, 122, 124a, 124b und 124c des hierin beschriebenen Verarbeitungssystems 150 können in Form einer einzelnen Zentralverarbeitungseinheit, mehrerer diskreter Verarbeitungseinheiten, programmierbarer Logikvorrichtungen, eines oder mehrerer Logikgatter, ASIC-Vorrichtungen oder einer beliebigen anderen geeigneten Kombination von Schaltkreisen zum Erreichen der beschriebenen Funktionalität implementiert werden.
Der Szenenschätzer 110 umfasst ferner einen oder mehrere Speicher und Speicher 152 und 154. Der eine oder die mehreren einzelnen Prozessoren des Verarbeitungssystems 150 sind funktionsfähig mit den Speichern 152 und 154 verbunden. Die Speicher 152 und 154 können von jeder Art von Vorrichtung sein, die in der Lage ist, Informationen zu speichern, auf die der eine oder die mehreren einzelnen Prozessoren des Verarbeitungssystems 150 zugreifen können. In zumindest einigen Ausführungsformen sind einer oder beide der Speicher 152, 154 dazu ausgelegt, Programmanweisungen zu speichern, die, wenn sie von einem oder mehreren einzelnen Prozessoren des Verarbeitungssystems 150 ausgeführt werden, das Verarbeitungssystem 150 veranlassen, Daten zu manipulieren oder eine oder mehrere Komponenten in dem fahrzeuginternen System 104 oder des Fahrzeugs 100 zu betreiben, um die beschriebenen Aufgaben oder Funktionen durchzuführen, die dem Verarbeitungssystem 150 zugeordnet sind. Die gespeicherten Programmanweisungen können verschiedene Untermodule, Subroutinen und/oder Unterkomponenten enthalten, die die Merkmale der einzelnen Prozessoren 120a, 120b, 120c, 122, 124a, 124b und 124c des Verarbeitungssystems 150 implementieren.
Die Speicher 152, 154 können nichtflüchtige Computerspeicherungsmedien und/oder Kommunikationsmedien enthalten, wie etwa sowohl unbeständige als auch beständige, sowohl schreibfähige als auch schreibgeschützte, sowohl entfernbare als auch nicht entfernbare Medien, die in beliebigen Medien oder Technologien implementiert sind, einschließlich CD-ROM, DVD, optischer Plattenspeicherung, Magnetkassetten, Magnetband, magnetischer Plattenspeicherung oder anderer bekannter Speicherungsmedientechnologien. In einer Ausführungsform ist der Speicher 152 ein dynamischer Speicher und der Speicher 154 ist ein statischer Speicher. Die Speicher 152, 154 können eine beliebige Anzahl von Speichern enthalten und können partitioniert oder auf andere Weise abgebildet sein, um die Grenzen der verschiedenen Unterkomponenten widerzuspiegeln.
In einigen Ausführungsformen umfasst der Szenenschätzer 110 ferner eine Kommunikationsschnittstellenbaugruppe 156 mit einer oder mehreren Schnittstellen 156a, 156b und 156c, die dazu ausgelegt sind, das Verarbeitungssystem 150 mit den Sensoren 106, 108 und den Aktoren 114 zu koppeln. Die Kommunikationsschnittstellenbaugruppe 156 ist dazu ausgelegt, zu ermöglichen, dass Sensordaten, Steuersignale, Software oder andere Informationen zwischen dem Szenenschätzer 110 und den Sensoren 106, 108 oder den Aktoren 114 in Form von Signalen transferiert werden, die beispielsweise elektronische, elektromagnetische, optische oder andere Signale sein können, die von der Kommunikationsschnittstellenbaugruppe 156 empfangen oder übertragen werden können. In einigen Ausführungsformen kann die Kommunikationsschnittstellenbaugruppe 156 physische Anschlüsse zum Verbinden mit drahtgebundenen Medien wie etwa einem drahtgebundenen Netzwerk oder einer direkt verdrahteten Kommunikation (z. B. den Kommunikationsbussen 116) enthalten. In einigen Ausführungsformen kann die Kommunikationsschnittstellenbaugruppe 156 ein oder mehrere Modems, eine oder mehrere Bussteuerungen oder dergleichen enthalten, die dazu ausgelegt sind, Kommunikationen mit den Sensoren 106, 108 oder den Aktoren 114 zu ermöglichen. In einigen Ausführungsformen kann die Kommunikationsschnittstellenbaugruppe 156 einen oder mehrere drahtlose Sendeempfänger enthalten, die dazu ausgelegt sind, eine drahtlose Kommunikation wie etwa akustische, HF-, Infrarot(IR)- und andere drahtlose Kommunikationsverfahren zu ermöglichen.
Vorverarbeitung im Szenenschätzer
Wie oben besprochen, beinhaltet in der veranschaulichten Ausführungsform das Verarbeitungssystem 150 drei Vorprozessoren 120a, 120b und 120c, die über die Schnittstellen 156a, 156b und 156c der Kommunikationsschnittstellenbaugruppe 156 mit den Sensoren 106, 108 verbunden sind. In der veranschaulichten Ausführungsform ist der Vorprozessor 120a dazu ausgelegt, Sensorsignale von dem Sensor 106 zu empfangen, und die Vorprozessoren 120b und 120c sind dazu ausgelegt, Sensorsignale von dem Sensor 108 zu empfangen. In einigen Ausführungsformen ist jeder Vorprozessor 120a, 120b, 120c ferner dazu ausgelegt, Rückmelde- oder Zusatzsignale von dem Sensorfusionsmodul 122 zu empfangen. Die Sensorsignale von den Sensoren 106, 108 und die Rückmelde- oder Zusatzsignale von dem Sensorfusionsmodul 122 können Audiosignale, digitale Signale, Videosignale, Messsignale oder beliebige geeignete Signale sein.
Es versteht sich, dass mehr oder weniger als drei Vorprozessoren in dem Verarbeitungssystem 150 enthalten sein können, abhängig von der Anzahl der Sensoren 106, 108 und wie viele verschiedene Arten der Vorverarbeitung für jedes jeweilige von den Sensoren 106, 108 empfangene Sensorsignal durchgeführt werden sollen. Darüber hinaus ist für einige Sensoren eine Vorverarbeitung nicht erforderlich und es wird keine Vorverarbeitung von irgendeinem Vorprozessor durchgeführt (d. h. der Sensor kann direkt mit dem Sensorfusionsmodul 122 verbunden sein).
Jeder der Vorprozessoren 120a, 120b und 120c ist dazu ausgelegt, ein einzelnes Sensorsignal von einem der Sensoren 106, 108 zu empfangen und Informationen aus dem jeweiligen Sensorsignal zu extrahieren, um ein Attribut des Innenbereichs des Fahrgastraums 102 zu bestimmen. Insbesondere ist in zumindest einigen Ausführungsformen jeder der Vorprozessoren 120a, 120b und 120c dazu ausgelegt, Informationen aus dem jeweiligen Sensorsignal zu extrahieren, um eine chronologische Folge von Werten für ein Attribut des Innenbereichs des Fahrgastraums 102 zu bestimmen. Diese chronologische Folge von Werten für ein Attribut wird hierin als ein „Attributstrom“ bezeichnet. In mindestens einer Ausführungsform sind die einzelnen Werte in dem Attributstrom mit einem entsprechenden Zeitstempel assoziiert. In mindestens einer Ausführungsform umfassen die einzelnen Werte in dem Attributstrom einzelne Datensätze, die das Attribut zum entsprechenden Zeitstempel beschreiben. Es versteht sich, dass die Struktur der Datensätze sowie deren Inhalt im Allgemeinen für jeden dargestellten Attributtyp unterschiedlich ist. Die Attributströme können eine feste Aktualisierungsrate aufweisen (z. B. ist der Vorprozessor dazu ausgelegt, einen neuen Datensatz jede Sekunde oder mit einer anderen vorbestimmten Aktualisierungsfrequenz zu senden) oder sie können nicht regelmäßig aktualisiert werden (z. B. ist der Vorprozessor dazu ausgelegt, einen neuen Datensatz nur als Reaktion darauf zu senden, dass eine Differenz in der Ausgabe in Bezug auf einen vorherigen Wert eine gewisse Schwellendifferenz erreicht).
Die Datensätze der Attributströme, die von jedem der Vorprozessoren 120a, 120b und 120c bestimmt werden, können Zahlenwerte, Textzeichenfolgen, Emojis (z. B. unbewegt oder dynamisch), Klassifizierungen und dergleichen enthalten. In einem Beispiel kann einer der Vorprozessoren 120a, 120b und 120c dazu ausgelegt sein, ein Audiosignal von einem der Sensoren 106, 108 zu empfangen und einen Strom von Textinformationen zu erzeugen, die aus dem Audiosignal extrahiert werden, wie etwa eine Sprache-zu-Text-Transkription von Wörtern, die von einem Mitfahrer und/oder Benutzer gesprochen werden. In einem anderen Beispiel kann einer der Vorprozessoren 120a, 120b und 120c dazu ausgelegt sein, ein Videosignal von einem der Sensoren 106, 108 zu empfangen und einen Strom von Emotionsattributen, die eine Emotion eines Mitfahrers im Fahrgastraum 102 angeben, basierend auf Informationen, die aus dem Videosignal extrahiert wurden, zu erzeugen. Der Strom von Emotionsattributen kann die folgenden Klassifikationen einschließen: glücklich, traurig, frustriert, wütend und schläfrig usw. In einem weiteren Beispiel kann einer der Vorprozessoren 120a, 120b und 120c dazu ausgelegt sein, ein Kohlendioxid(CO₂)-Luftkonzentrationssignal von einem der Sensoren 106, 108 zu empfangen, das eine CO₂-Konzentration in der Luft angibt (z. B. innerhalb des Fahrgastraums 102 oder außerhalb des Fahrzeugs 100), und einen Strom von Qualitätsklassifizierungen der CO₂-Konzentration (z. B. Klassen von schlecht, okay und gut) basierend auf dem CO₂-Luftkonzentrationssignal zu erzeugen. In einem weiteren Beispiel kann basierend auf der Identifizierung eines Mitfahrers einer der Vorprozessoren 120a, 120b und 120c dazu ausgelegt sein, einen entsprechenden Sozialnetzwerk-Datensatz von einem Fernsensor 108 als ein Sensorsignal zu empfangen, um frühere Verhaltensmuster des Mitfahrers in ähnlichen Fahrzeugen zu extrahieren und einen Attributstrom zu erzeugen.
Die Vorprozessoren 120a, 120b und 120c können dazu ausgelegt sein, eine Vielzahl verschiedener Vorverarbeitungsoperationen durchzuführen, um letztendlich den Attributstrom zu bestimmen. In einigen Ausführungsformen können einer oder mehrere der Vorprozessoren 120a, 120b und 120c dazu ausgelegt sein, ein empfangenes Sensorsignal mit einer vorbestimmten Abtastrate abzutasten. In einigen Ausführungsformen können einer oder mehrere der Vorprozessoren 120a, 120b und 120c dazu ausgelegt sein, ein empfangenes Sensorsignal mit einer vorbestimmten Filterfunktion zu filtern. In einigen Ausführungsformen können einer oder mehrere der Vorprozessoren 120a, 120b und 120c dazu ausgelegt sein, ein empfangenes Signal zu skalieren oder zu verstärken.
In einigen Ausführungsformen sind einer oder mehrere der Vorprozessoren 120a, 120b und 120c dazu ausgelegt, einen Attributstrom zu bestimmen, indem das empfangene Sensorsignal in eine oder mehrere Klassifizierungen aus einem vorbestimmten Satz möglicher Klassen für das spezielle Attribut klassifiziert wird. In einer Ausführungsform kann ein Vorprozessor dazu ausgelegt sein, ein Sensorsignal zu klassifizieren, indem das Sensorsignal mit einer oder mehreren vorbestimmten Schwellen und/oder einem oder mehreren vorbestimmten Bereichen verglichen wird, die jeder möglichen Klasse für das spezielle Attribut entsprechen. Beispielsweise kann ein Vorprozessor dazu ausgelegt sein, ein Geräuschpegelattribut zu bestimmen, indem ein Audiosignal von einem Mikrofonsensor mit vorbestimmten Schwellen verglichen wird, um das Geräuschpegelattribut entweder als „niedrig“, „normal“ oder „hoch“ zu klassifizieren.
In einer anderen Ausführungsform kann ein Vorprozessor dazu ausgelegt sein, ein Sensorsignal unter Verwendung eines neuronalen Netzwerks zu klassifizieren, wie etwa eines Klassifikators auf der Basis eines tiefen faltenden neuronalen Netzwerks, der darauf trainiert ist, eine Klassifizierung eines speziellen Attributs unter Verwendung des Sensorsignals als eine Eingabe auszugeben. In einigen Ausführungsformen kann ein Vorprozessor dazu ausgelegt sein, eine Wahrscheinlichkeit und/oder einen Konfidenzwert für jede Klasse in dem vorbestimmten Satz möglicher Klassen für das spezielle Attribut zu bestimmen. Beispielsweise kann ein Vorprozessor dazu ausgelegt sein, ein Videosignal zu empfangen, das ein Gesicht eines Mitfahrers zeigt, und ein Mitfahrergesichtsausdruckattribut unter Verwendung eines neuronalen Netzwerks zu bestimmen, das dazu ausgelegt ist, eine Wahrscheinlichkeit und/oder einen Konfidenzwert für jede Gesichtsausdruckklasse in einem vorbestimmten Satz von Gesichtsausdruckklassen für das Gesichtsausdruckattribut zu bestimmen. Somit kann eine beispielhafte Ausgabe eine Form wie etwa Freude 20 %, Überraschung 60 %, Traurigkeit 0 %, Abscheu 5 %, Wut 0 % und Angst 15 % annehmen.
In einigen Ausführungsformen sind einer oder mehrere der Vorprozessoren 120a, 120b und 120c dazu ausgelegt, einen Attributstrom durch Extrahieren gewisser Merkmale aus dem Sensorsignal zu bestimmen. Beispielsweise kann im Fall eines Videosignals von einer Videokamera ein Vorprozessor dazu ausgelegt sein, Kanten von Objekten und/oder Personen in dem Videosignal zu detektieren. Ein Vorprozessor kann dazu ausgelegt sein, Gesichter von Personen in dem Videosignal zu detektieren und eine Identität der Person zu bestimmen. Ein Vorprozessor kann dazu ausgelegt sein, eine Körperhaltung von Personen in dem Videosignal zu detektieren. Im Fall eines Audiosignals kann ein Vorprozessor dazu ausgelegt sein, das Vorhandensein gewisser Audiomerkmale oder Audioereignisse im Audiosignal zu detektieren (z. B. ein Glasbruchgeräusch oder von einem Mitfahrer gesprochene Wörter).
In einigen Ausführungsformen sind einer oder mehrere der Vorprozessoren 120a, 120b und 120c dazu ausgelegt, ein Attribut basierend auf einer Kombination des jeweiligen Sensorsignals, das von einem der Sensoren 106, 108 empfangen wird, und Informationen, die aus Rückmelde- oder Zusatzsignalen vom Sensorfusionsmodul 122 extrahiert wurden, zu bestimmen.
Sensorfusion im Szenenschätzer
Ein Sensorfusionsmodul 122 ist dazu ausgelegt, mehrere Attributströme von den Vorprozessoren 120a, 120b und 120c zu empfangen. In einigen Ausführungsformen ist das Sensorfusionsmodul 122 dazu ausgelegt, zusätzliche Rückmelde- oder Zusatzsignale und/oder Daten vom virtuellen Assistenten 112 zu empfangen. Das Sensorfusionsmodul 122 ist dazu ausgelegt, basierend auf den von einem oder mehreren der Vorprozessoren 120a, 120b und 120c bereitgestellten Attributströmen einen oder mehrere zusätzliche Attributströme zu erzeugen, die sich auf den Innenbereich des Fahrgastraums 102 beziehen. Das Sensorfusionsmodul 122 kann dazu ausgelegt sein, den einen oder die mehreren zusätzlichen Attributströme des Innenbereichs des Fahrgastraums 102 unter Verwendung einer Vielzahl verschiedener Verfahren zu bestimmen, die Informationen von mehreren der Sensoren 106, 108 kombinieren.
Die von dem Sensorfusionsmodul 122 erzeugten Attributströme sind im Wesentlichen den von den Vorprozessoren 120a, 120b und 120c erzeugten Attributströmen ähnlich. Die von dem Sensorfusionsmodul 122 erzeugten Attributströme können als ein oder mehrere komplexe „virtuelle“ Sensoren für den Innenbereich des Fahrgastraums 102 angesehen werden, die Angaben für komplexere oder abstraktere Attribute des Innenbereichs des Fahrgastraums 102 liefern, die mit einem einzelnen herkömmlichen Sensor nicht direkt gemessen werden oder messbar sind. Die zusätzlichen Attributströme, die von dem Sensorfusionsmodul 122 ausgegeben werden, können eine feste Aktualisierungsrate aufweisen (z. B. ist das Sensorfusionsmodul 122 dazu ausgelegt, einen neuen Datensatz jede Sekunde oder mit einer anderen vorbestimmten Aktualisierungsfrequenz zu senden) oder können nicht regelmäßig aktualisiert werden (z. B. ist das Sensorfusionsmodul 122 dazu ausgelegt, einen neuen Datensatz nur als Reaktion darauf zu senden, dass eine Differenz in der Ausgabe in Bezug auf einen vorherigen Wert eine gewisse Schwellendifferenz erreicht).
In einigen Ausführungsformen ist das Sensorfusionsmodul 122 dazu ausgelegt, einen deterministischen Algorithmus zu verwenden, um einen zusätzlichen Attributstrom zu erzeugen, wie etwa eine Entscheidungstabelle, einen Entscheidungsbaum oder dergleichen, die/der das zusätzliche Attribut in Abhängigkeit von den Werten von zwei oder mehr der von den Vorprozessoren 120a, 120b und 120c empfangenen Attributströme definiert. Ein detailliertes Beispiel einer Entscheidungstabelle wird hierin später in Bezug auf 3 besprochen.
In einigen Ausführungsformen ist das Sensorfusionsmodul 122 dazu ausgelegt, ein Wahrscheinlichkeitsmodell zu verwenden, um einen zusätzlichen Attributstrom zu erzeugen, wie etwa ein Modell, das das zusätzliche Attribut in Abhängigkeit von einer vorbestimmten Wahrscheinlichkeitsverteilung und von Werten von zwei oder mehr der Attributströme definiert, die von den Vorprozessoren 120a, 120b und 120c empfangen werden.
In einigen Ausführungsformen ist das Sensorfusionsmodul 122 dazu ausgelegt, ein neuronales Netzwerk zu verwenden, um zusätzliche Attributströme zu erzeugen, wie etwa einen Klassifikator auf der Basis eines tiefen faltenden neuronalen Netzwerks, der als Eingabewerte zwei oder mehr der von den Vorprozessoren 120a, 120b und 120c empfangenen Attributströme verwendet.
In einer Ausführungsform ist das Sensorfusionsmodul 122 dazu ausgelegt, einen oder mehrere zusätzliche Attributströme basierend auf einer Kombination der von der Vorverarbeitungsbaugruppe 120 empfangenen Attributströme und auch basierend auf zusätzlichen Rückmelde- oder Zusatzsignalen und/oder vom virtuellen Assistenten 112 empfangenen Daten zu erzeugen.
Nachverarbeitung im Szenenschätzer
Unter fortgesetzter Bezugnahme auf 2 werden die von dem Sensorfusionsmodul 122 ausgegebenen Attributströme der Nachverarbeitungsbaugruppe 124 bereitgestellt. In der veranschaulichten Ausführungsform beinhaltet die Nachverarbeitungsbaugruppe 124 drei Nachprozessoren 124a, 124b und 124c, die funktionsfähig mit dem Sensorfusionsmodul 122 verbunden und dazu ausgelegt sind, die von dem Sensorfusionsmodul 122 ausgegebenen Attributströme zu empfangen. Die Nachprozessoren 124a, 124b und 124c können dazu ausgelegt sein, eine Vielzahl verschiedener Nachverarbeitungsoperationen an den vom Sensorfusionsmodul 122 empfangenen Attributströmen durchzuführen.
Es versteht sich, dass mehr oder weniger als drei Nachprozessoren in dem Verarbeitungssystem 150 enthalten sein können, abhängig von der Anzahl der vom Sensorfusionsmodul 122 bereitgestellten Ausgaben und davon, wie viele verschiedene Arten der Nachverarbeitung an jeder jeweiligen Ausgabe des Sensorfusionsmoduls 122 durchgeführt werden sollen. Darüber hinaus ist für einige Ausgaben des Sensorfusionsmoduls 122 eine Nachverarbeitung nicht erforderlich und es wird keine Nachverarbeitung durch irgendeinen Nachprozessor durchgeführt (d. h. die Ausgabe des Sensorfusionsmoduls 122 kann direkt mit dem virtuellen Assistenten 112 verbunden sein). Die von den Nachprozessoren 124a, 124b und 124c ausgegebenen Attributströme können eine feste Aktualisierungsrate aufweisen (z. B. ist der Nachprozessor dazu ausgelegt, einen neuen Datensatz jede Sekunde oder mit einer anderen vorbestimmten Aktualisierungsfrequenz zu senden) oder können unregelmäßig aktualisiert werden (z. B. ist der Nachprozessor dazu ausgelegt, einen neuen Datensatz nur als Reaktion darauf zu senden, dass eine Differenz in der Ausgabe in Bezug auf einen vorherigen Wert eine gewisse Schwellendifferenz erreicht).
In mindestens einer Ausführungsform sind einer oder mehrere der Nachprozessoren 124a, 124b und 124c dazu ausgelegt, einen Attributstrom vom Sensorfusionsmodul 122 zu empfangen und die Werte in dem Attributstrom mit einem Filter zu filtern, wie etwa einem gleitenden Durchschnittsfilter, einem Tiefpassfilter, einem Hochpassfilter, einem Bandpassfilter. In einem Beispiel kann ein Nachprozessor dazu ausgelegt sein, einen Attributstrom so zu filtern, dass die Werte des Attributs geglättet oder Rauschen oder Ausreißerwerte aus dem Attributstrom entfernt werden.
In mindestens einer Ausführungsform sind einer oder mehrere der Nachprozessoren 124a, 124b und 124c dazu ausgelegt, die Werte in dem Attributstrom zu skalieren, zu normieren oder zu verstärken. In einem Beispiel kann der Nachprozessor in dem Fall, dass der Attributstrom Konfidenzwerte für einen Satz möglicher Klassen für das Attribut umfasst, die Konfidenzwerte so skalieren oder normieren, dass die Summe der Konfidenzwerte für alle möglichen Klassen gleich eins ist (sodass die Konfidenzwerte Wahrscheinlichkeiten für jede der möglichen Klassen sind). In einem anderen Beispiel kann der Nachprozessor die Klasse mit dem höchsten Konfidenzwert als die Ausgabe auswählen oder alternativ den höchsten Konfidenzwert auf 100 % setzen, während die anderen Konfidenzwerte auf 0 % gesetzt werden.
In einer anderen Ausführungsform sind einer oder mehrere der Nachprozessoren 124a, 124b und 124c dazu ausgelegt, zwei verschiedene Attributströme vom Sensorfusionsmodul 122 zu empfangen und die Werte im Attributstrom zu gruppieren, zu paaren, zu kombinieren oder auf andere Weise zu assoziieren. Beispielsweise kann ein Nachprozessor dazu ausgelegt sein, Werte eines Attributstroms mit Werten eines anderen Attributstroms mit einem ähnlichen oder gleichen Zeitstempel zu korrelieren, wodurch Attribute basierend auf dem repräsentierten Zeitpunkt gruppiert werden.
In einer anderen Ausführungsform sind einer oder mehrere der Nachprozessoren 124a, 124b und 124c dazu ausgelegt, einen Attributstrom vom Sensorfusionsmodul 122 zu empfangen und die Werte in dem Attributstrom erneut abzutasten. Beispielsweise kann der vom Sensorfusionsmodul 122 bereitgestellte Attributstrom eine sehr hohe Auflösung und/oder Abtastrate aufweisen. Ein Nachprozessor kann dazu ausgelegt sein, den Attributstrom erneut mit einer niedrigeren Auflösung oder einer niedrigeren Abtastrate abzutasten, oder umgekehrt. Als ein anderes Beispiel kann der vom Sensorfusionsmodul 122 bereitgestellte Attributstrom eine stark variable Aktualisierungsrate aufweisen. Ein Nachprozessor kann dazu ausgelegt sein, den Attributstrom unter Verwendung von Interpolationstechniken erneut mit einer festen Aktualisierungsrate abzutasten.
Der virtuelle Assistent 112 ist dazu ausgelegt, Attributströme von der Nachverarbeitungsbaugruppe 124 zu empfangen, die zusammen eine Schätzung der Szene innerhalb des Innenbereichs des Fahrgastraums 102 repräsentieren. In einigen Ausführungsformen ist der virtuelle Assistent 112 dazu ausgelegt, dem Sensorfusionsmodul 112 gewisse Rückmelde- oder Zusatzsignale bereitzustellen. Wie oben besprochen, ist in mindestens einer Ausführungsform der virtuelle Assistent 112 dazu ausgelegt, eine oder mehrere Handlungen basierend auf den empfangenen Attributströmen vom Szenenschätzer 110 auszulösen, die das Betreiben eines oder mehrerer Aktoren 114 beinhalten können.
Beispielhafte Szenenschätzungsprozesse
Um ein besseres Verständnis des Szenenschätzers 110 bereitzustellen, werden nachstehend beispielhafte Szenenschätzungsprozesse zum Bestimmen zusätzlicher Ausgaben basierend auf zwei oder mehr Sensorsignalen beschrieben. Es versteht sich jedoch, dass die nachstehend besprochenen Beispiele lediglich zu Erklärungszwecken dienen, um die Breite möglicher Sensorfusionsoperationen zu veranschaulichen, die vom Szenenschätzer durchgeführt werden können, und nicht so interpretiert werden sollten, dass sie die Funktionalität des Szenenschätzers 110 einschränken.
Als ein erstes Beispiel ist in einer Ausführungsform der Szenenschätzer 110 dazu ausgelegt, ein Stressniveauattribut eines Mitfahrers, der im Fahrgastraum 102 des Fahrzeugs 100 sitzt, unter Verwendung eines deterministischen Algorithmus zu bestimmen. 3 zeigt eine vereinfachte beispielhafte Entscheidungstabelle 200, die in einem Szenenschätzungsprozess zum Bestimmen eines Stressniveauattributs eines Mitfahrers im Fahrgastraum 102 verwendet wird. In dem Beispiel empfängt der Szenenschätzer 110 ein Geräuschpegelsignal von einem ersten Sensor (z.B. einem im Fahrgastraum 102 installierten Mikrofon) und ein Herzfrequenzsignal von einem zweiten Sensor (z. B. von einer tragbaren Vorrichtung, die vom Mitfahrer im Fahrgastraum 102 getragen wird). Entsprechende Vorprozessoren in der Vorprozessorbaugruppe 120 erzeugen Attributströme basierend auf dem Geräuschpegelsignal und dem Herzfrequenzsignal. Insbesondere erzeugt ein erster Vorprozessor einen Attributstrom, in dem das Geräuschpegelattribut als „niedrig, „normal“ oder „hoch“ klassifiziert wird. Ein zweiter Vorprozessor erzeugt einen Attributstrom, in dem das Herzfrequenzattribut des Mitfahrers ähnlich als „niedrig“, „normal“ oder „hoch“ klassifiziert wird. Das Sensorfusionsmodul 122 ist dazu ausgelegt, ein Stressniveauattribut des Mitfahrers unter Bezugnahme auf die Entscheidungstabelle 200 und die klassifizierten Geräuschpegel- und Herzfrequenzattribute zu bestimmen, die von den Vorprozessoren bereitgestellt werden. Insbesondere ist das Sensorfusionsmodul 122 dazu ausgelegt, zu bestimmen, dass das Stressniveau des Mitfahrers „normal“ ist, wenn der Geräuschpegel „niedrig“ oder „normal“ ist und die Herzfrequenz „niedrig“ oder „normal“ ist. Das Sensorfusionsmodul 122 ist ferner dazu ausgelegt, zu bestimmen, dass das Stressniveau des Mitfahrers „normal“ ist, wenn der Geräuschpegel „hoch“ ist und die Herzfrequenz „niedrig“ oder „normal“ ist. Das Sensorfusionsmodul 122 ist ferner dazu ausgelegt, als Reaktion darauf, dass der Geräuschpegel „niedrig“ oder „normal“ ist und die Herzfrequenz „hoch“ ist, zu bestimmen, dass das Stressniveau des Mitfahrers „erhöht“ ist. Schließlich ist das Sensorfusionsmodul 122 ferner dazu ausgelegt, als Reaktion darauf, dass der Geräuschpegel „hoch“ ist und die Herzfrequenz „hoch“ ist, zu bestimmen, dass das Stressniveau des Mitfahrers „erhöht“ ist. Das Sensorfusionsmodul 122 ist dazu ausgelegt, einen Attributstrom auszugeben, der das bestimmte Stressniveau des Mitfahrers angibt.
Als zweites Beispiel ist in einer Ausführungsform der Szenenschätzer 110 dazu ausgelegt, ein Stimmungsklassifizierungsattribut eines Mitfahrers, der im Fahrgastraum 102 des Fahrzeugs 100 sitzt, unter Verwendung eines probabilistischen und/oder maschinellen Lernmodells zu bestimmen. 4 zeigt ein Flussdiagramm für einen beispielhaften Szenenschätzungsprozess 300 zum Bestimmen eines Stimmungsklassifizierungsattributs eines Mitfahrers, der im Fahrgastraum 102 des Fahrzeugs 100 sitzt. In dem Beispiel beinhaltet das fahrzeuginterne System 104 Sensoren A und B, die Sensorsignale an den Szenenschätzer liefern (Block 302). Der Sensor A ist ein Mikrofon oder ein anderer akustischer Wandler, der dazu ausgelegt ist, Geräusche des Innenbereichs des Fahrgastraums 102 aufzuzeichnen und dem Szenenschätzer 110 ein analoges Audiosignal bereitzustellen. Der Sensor B ist eine Videokamera oder ein optischer Sensor, der dazu ausgelegt ist, ein Video des Innenbereichs des Fahrgastraums 102 aufzuzeichnen und dem Szenenschätzer 110 ein digitales Videosignal bereitzustellen.
Ein erster Vorprozessor der Vorverarbeitungsbaugruppe 120 ist dazu ausgelegt, das vom Sensor A (Block 304) empfangene Audiosignal abzutasten, um das Signal in ein digitales Audiosignal umzuwandeln. Optional ist der erste Vorprozessor der Vorverarbeitungsbaugruppe 120 ferner dazu ausgelegt, ein digitales Filter anzuwenden, um unerwünschtes Rauschen aus dem digitalen Audiosignal zu entfernen (Block 308). Schließlich ist der erste Vorprozessor der Vorverarbeitungsbaugruppe 120 ferner dazu ausgelegt, die Geräusche des Mitfahrers basierend auf dem digitalen Audiosignal in eine oder mehrere Klassen zu klassifizieren (Block 310). Die möglichen Klassifizierungen für die Geräusche des Mitfahrers können beispielsweise Rufen, Schreien, Flüstern und Weinen umfassen. In einer Ausführungsform berechnet der erste Vorprozessor Wahrscheinlichkeiten und/oder Konfidenzwerte für jede mögliche Klassifizierung der Geräusche des Mitfahrers. Somit kann eine beispielhafte Ausgabe eine Form annehmen wie etwa: Rufen 20 %, Schreien 70 %, Flüstern 0 % und Weinen 10 %. Ein Attributstrom A, der die Klassifizierungen der Geräusche des Mitfahrers repräsentiert, wird dem Sensorfusionsmodul 122 bereitgestellt.
Ein zweiter Vorprozessor der Vorverarbeitungsbaugruppe 120 ist dazu ausgelegt, das digitale Videosignal vom Sensor B anzufordern und zu empfangen (Block 306). Der zweite Vorprozessor der Vorverarbeitungsbaugruppe 120 ist ferner dazu ausgelegt, den Gesichtsausdruck des Mitfahrers basierend auf dem digitalen Videosignal zu klassifizieren (Block 312). Die möglichen Klassifikationen für den Gesichtsausdruck des Mitfahrers können beispielsweise Freude, Überraschung, Traurigkeit, Abscheu, Wut und Angst umfassen. In einer Ausführungsform berechnet der zweite Vorprozessor Wahrscheinlichkeiten und/oder Konfidenzwerte für jede mögliche Klassifizierung des Gesichtsausdrucks des Mitfahrers. Somit kann eine beispielhafte Ausgabe eine Form annehmen wie etwa: Freude 20 %, Überraschung 60 %, Traurigkeit 0 %, Abscheu 5 %, Wut 0% und Angst 15 %. Ein Attributstrom B, der die Klassifizierungen des Gesichtsausdrucks des Mitfahrers repräsentiert, wird dem Sensorfusionsmodul 122 bereitgestellt.
Das Sensorfusionsmodul 122 ist dazu ausgelegt, den Attributstrom A, der die Klassifizierungen der Geräusche des Mitfahrers repräsentiert, und den Attributstrom B, der die Klassifizierungen des Gesichtsausdrucks des Mitfahrers repräsentiert, zu empfangen. In einer Ausführungsform werden der Attributstrom A und der Attributstrom B kombiniert (Block 314). Das Sensorfusionsmodul 122 ist dazu ausgelegt, mindestens ein Modell mit Modellparametern und/oder Modelldaten 218 zu verwenden, um einen Attributstrom zu bestimmen, der die Stimmung des Mitfahrers (Block 316) basierend auf den Geräuschen des Mitfahrers (den Attributstrom A) und dem Gesichtsausdruck des Mitfahrers (den Attributstrom B) klassifiziert. Die möglichen Klassifizierungen für die Emotionen des Mitfahrers können beispielsweise Begeisterung, Zufriedenheit, Gelassenheit, Traurigkeit, Frustration, Sorge und Wut umfassen. Das Sensorfusionsmodul 122 berechnet Wahrscheinlichkeiten und/oder Konfidenzwerte für jede mögliche Klassifizierung der Emotion des Mitfahrers. Somit kann eine beispielhafte Ausgabe eine Form annehmen wie etwa: Begeisterung 80 %, Zufriedenheit 10 %, Gelassenheit 0 %, Traurigkeit 0 %, Frustration 0 %, Sorge 10 % und Wut 0 %. Ein Attributstrom C, der die Klassifizierungen der Emotion des Mitfahrers repräsentiert, wird der Nachverarbeitungsbaugruppe 124 und/oder dem virtuellen Assistenten 112 bereitgestellt. Schließlich ist mindestens ein Nachprozessor der Nachverarbeitungsbaugruppe 124 dazu ausgelegt, eine oder mehrere Nachverarbeitungsoperationen wie etwa Skalieren, Gruppieren und Neuabtasten (Block 320) an der Ausgabe des Sensorfusionsmoduls 122 (dem Attributstrom C) durchzuführen. Beispielsweise kann ein Nachprozessor der Nachverarbeitungsbaugruppe 124 dazu ausgelegt sein, den Attributstrom C zu vereinfachen, indem einfach die Klasse mit dem höchsten Konfidenzwert ausgegeben wird. Als ein anderes Beispiel kann ein Nachprozessor der Nachverarbeitungsbaugruppe 124 dazu ausgelegt sein, den Attributstrom C zu filtern, um Rauschen und/oder Ausreißer zu eliminieren (z. B. kann ein Strom, der hauptsächlich Zufriedenheit-Klassifizierungen umfasst, einen zufälligen Ausreißer aufweisen, wie etwa eine einzelne Wut-Klassifizierung, die herausgefiltert werden kann). Nach der Nachverarbeitung wird der Prozess 300 beendet (Block 326).
Wissensdatenbank
Erneut unter Bezugnahme auf 2 nutzt der Szenenschätzer 110 in mindestens einer Ausführungsform eine oder mehrere Wissensdatenbanken 126, 128. In einer Ausführungsform ist die Wissensdatenbank 126 lokal in dem Speicher 154 gespeichert und die Wissensdatenbank 128 ist entfernt gespeichert, wie etwa auf einem externen Server. In mindestens einer Ausführungsform ist die entfernte Wissensdatenbank 128 mehreren Fahrzeugen und/oder mehreren fahrzeuginternen Systemen gemein, während die lokale Wissensdatenbank 126 eine Kombination von Daten, die mehreren Fahrzeugen gemein sind, und Daten, die für das spezielle Fahrzeug 100 einzigartig sind, enthalten kann. In einigen Ausführungsformen wird die lokale Wissensdatenbank 126 weggelassen und alle erforderlichen Daten werden entfernt in der entfernten Wissensdatenbank 128 gespeichert.
In einer Ausführungsform weist die entfernte Wissensdatenbank 128 eine Struktur auf, die dazu ausgelegt ist, eine Ansammlung von Wissen basierend auf dem Fahrzeugtyp oder der Fahrzeugkonfiguration zu unterstützen. In einer Ausführungsform sind die lokale Wissensdatenbank 126 und/oder die entfernte Wissensdatenbank 128 dazu ausgelegt, Informationen zu speichern, die sich auf das Fahrzeug im aktuellen Zustand beziehen (z. B. Fahrgastraumkonfiguration, typische Nutzungsmuster, typische Abnutzungsmuster, typische Sitzplätze für Mitfahrer usw.). In einer Ausführungsform ist die lokale Wissensdatenbank 126 und/oder die entfernte Wissensdatenbank 128 dazu ausgelegt, Informationen zu speichern, die sich auf einzelne Mitfahrer eines Fahrzeugs beziehen (z. B. Social-Media-Profile, angewandtes Verhalten bei früheren Fahrten in ähnlichen Fahrzeugen usw.).
Wie oben besprochen, kann das Sensorfusionsmodul 122 dazu ausgelegt sein, eine Vielzahl verschiedener Modelle zum Bestimmen zusätzlicher Attributströme basierend auf den von der Vorverarbeitungsbaugruppe 120 empfangenen Attributströmen zu verwenden. Insbesondere kann in einigen Ausführungsformen das Sensorfusionsmodul 122 deterministische, probabilistische und/oder maschinelle Lerntechniken nutzen. Die lokale Wissensdatenbank 126 und/oder die entfernte Wissensdatenbank 128 sind dazu ausgelegt, Modellparameter und/oder Modelldaten zu speichern, die zum Bestimmen der zusätzlichen Attributströme verwendet werden (in 4 als Modelldaten 218 gezeigt). Im Fall von deterministischen oder probabilistischen Techniken ist das Sensorfusionsmodul 122 dazu ausgelegt, die zusätzlichen Attributströme unter Bezugnahme auf eine/n oder mehrere vorbestimmte Schwellenparameter, Gleichungsparameter, Verteilungsfunktionen und dergleichen zu bestimmen, deren Werte und Einzelheiten in der lokalen Wissensdatenbank 126 und/oder der entfernten Wissensdatenbank 128 gespeichert sein können. Ebenso ist im Fall von Techniken des maschinellen Lernens das Sensorfusionsmodul 122 dazu ausgelegt, die zusätzlichen Attributströme unter Verwendung eines künstlichen neuronalen Netzwerks unter Bezugnahme auf trainierte Modellparameter, Gewichte, Kernel usw. zu bestimmen, deren Werte und Einzelheiten in der lokalen Wissensdatenbank 126 und/oder der entfernten Wissensdatenbank 128 gespeichert sein können.
In einigen Ausführungsformen können die lokale Wissensdatenbank 126 und/oder die entfernte Wissensdatenbank 128 dazu ausgelegt sein, ähnliche Modellparameter und/oder Modelldaten zu speichern, die von den Vorprozessoren der Vorverarbeitungsbaugruppe 120 und/oder den Nachprozessoren der Nachverarbeitungsbaugruppe 124 verwendet werden. In der veranschaulichten Ausführungsform werden solche Modellparameter und/oder Modelldaten jedoch in verschiedenen Speichern gespeichert, die mit der Vorverarbeitungsbaugruppe 120 oder der Nachverarbeitungsbaugruppe 124 assoziiert sind.
In einigen Ausführungsformen ist das Sensorfusionsmodul 122 dazu ausgelegt, einen oder mehrere der bestimmten Attributströme in der lokalen Wissensdatenbank 126 und/oder der entfernten Wissensdatenbank 128 zu speichern. In einigen Ausführungsformen ist das Sensorfusionsmodul 122 dazu ausgelegt, die gespeicherten Attributströme später abzurufen und weitere darauf basierende Attributströme zu bestimmen. In dem Fall, dass Attributströme in der entfernten Wissensdatenbank 128 gespeichert sind, ist in einigen Ausführungsformen das Sensorfusionsmodul 122 dazu ausgelegt, Attributströme abzurufen, die von einem Sensorfusionsmodul eines anderen fahrzeuginternen Systems eines anderen Fahrzeugs gespeichert wurden, welche verwendet werden können, um weitere darauf basierende Attributströme zu bestimmen.
In einigen Ausführungsformen kann das Sensorfusionsmodul 122 Informationen vom virtuellen Assistenten 112 über die Kommunikationsbusse 116 erhalten oder empfangen, um die Wissensdatenbank(en) 126, 128 zu erweitern oder die Szenenschätzung abzustimmen (unten besprochen). In einer Ausführungsform kann der virtuelle Assistent 112 Informationen über die Umgebung oder den erwarteten Innenbereichsstatus bereitstellen. Das Sensorfusionsmodul 122 ist dazu ausgelegt, die vom virtuellen Assistenten 112 bereitgestellten Informationen zu verwenden, um den Zustand des Fahrgastraums durch das Abstimmen der Szenenschätzung zu verbessern. Beispielsweise erwartet der virtuelle Assistent 112, dass sich Person A im Fahrgastraum befindet, und weiß auch, dass Person B mit Person A verwandt ist. Durch das Teilen von Informationen über Person A und B wird die Identifizierung von Mitfahrern im Fahrgastraum verbessert. In einer anderen Ausführungsform kann der virtuelle Assistent 112 Informationen bereitstellen, die das Sensorfusionsmodul verwenden könnte, um beispielsweise das Wissen mit einem Stakeholder zu erweitern. Beispielsweise schätzt das Sensorfusionsmodul 122 einen Sauberkeitsstatus und der virtuelle Assistent 112 fügt dem Status der Sauberkeit eine Bewertung des Benutzers hinzu. Der vom Menschen wahrgenommene Sauberkeitsstatus zusammen mit der Sensorfusionseingabe kann zu der (den) Wissensdatenbank(en) 126, 128 hinzugefügt und vom Sensorfusionsmodul 122 verwendet werden, um die zusätzlichen Attributströme zu bestimmen.
Training
5 zeigt einen beispielhaften Trainingsprozess 400 zum Abstimmen von Modellparametern, die von dem Sensorfusionsmodul 122 verwendet werden, um Attributströme zu bestimmen. Insbesondere ist, wie oben besprochen, die lokale Wissensdatenbank 126 und/oder die entfernte Wissensdatenbank 128 dazu ausgelegt, Modellparameter und/oder Modelldaten zu speichern, die von dem Sensorfusionsmodul 122 verwendet werden, um die zusätzlichen Attributströme zu bestimmen. In einigen Ausführungsformen werden die Modellparameter, Schwellen usw. unter Verwendung zusätzlicher Trainingsdaten angepasst und/oder abgestimmt (Grundwahrheit 422).
Wie oben ähnlich in Bezug auf das Beispiel von 4 besprochen, ist das Sensorfusionsmodul 122 dazu ausgelegt, Attributströme A und B von der Vorverarbeitungsbaugruppe 120 zu empfangen (Blöcke 314 und 316). Das Sensorfusionsmodul 122 ist dazu ausgelegt, mindestens ein Modell mit Modellparametern und/oder Modelldaten 218 zu verwenden, um einen zusätzlichen Attributstrom C zu erzeugen, der Konfidenzwerte für jede mögliche Klassifizierung des Attributs C umfasst. Als Nächstes ist mindestens ein Nachprozessor der Nachverarbeitungsbaugruppe 124 dazu ausgelegt, eine oder mehrere Nachverarbeitungsoperationen durchzuführen, wie etwa Skalieren, Gruppieren und Neuabtasten des Attributstroms C, der durch das Sensorfusionsmodul 122 erzeugt wurde, wie oben besprochen.
In dem beispielhaften Trainingsprozess 400 wird die Ausgabe der Nachverarbeitungsbaugruppe 124 des Szenenschätzers 110 mit der Grundwahrheit 422 verglichen, um einen Fehler zu bestimmen (Block 424). Der berechnete Fehler wird verwendet, um Werte der Modellparameter und/oder Modelldaten 218 anzupassen, die von dem Sensorfusionsmodul 122 verwendet werden, um die zusätzlichen Attributströme zu bestimmen. In einer Ausführungsform ist ein Prozessor der Verarbeitungsbaugruppe 150, wie etwa ein Nachprozessor der Nachverarbeitungsbaugruppe 124, dazu ausgelegt, den Fehler zu berechnen und die Werte der Modellparameter und/oder Modelldaten anzupassen. Ein beliebiger Prozessor oder ein beliebiges Verarbeitungssystem kann jedoch verwendet werden, um das Training und die Anpassung der Modellparameter und/oder Modelldaten 218 durchzuführen. In dem Fall, dass das Sensorfusionsmodul 122 maschinelle Lerntechniken nutzt, um die zusätzlichen Attributströme zu bestimmen, können eine oder mehrere Verlustfunktionen verwendet werden, um die Modellparameter, Gewichte, Kernel usw. zu trainieren.
Die Grundwahrheit 422 umfasst im Allgemeinen gelabelte Daten, die als die korrekte Ausgabe für den Szenenschätzer 110 angesehen werden, und wird im Allgemeinen eine Form annehmen, die im Wesentlichen der geschätzten Ausgabe vom Szenenschätzer 110 ähnlich ist (z. B. den Attributstrom C nach der Nachverarbeitung). In einigen Ausführungsformen erzeugt ein menschlicher Beobachter manuell die Grundwahrheit 422, die mit der geschätzten Ausgabe des Szenenschätzers 110 verglichen wird, indem er die Szene im Innenbereich des Fahrgastraums 102 beobachtet. Abhängig von der Art der Attribute des Fahrgastraums 102, die vom Szenenschätzer 110 geschätzt werden, kann die Grundwahrheit jedoch auf verschiedene andere Weisen abgeleitet werden.
In einer Ausführungsform ist der virtuelle Assistent 112 kommunikativ mit mehr als einer Informationsquelle gekoppelt, die für eine spezifische Szene relevante Grundwahrheitsinformationen anfordern kann. Die Informationen können vergangene, zukünftige oder prädiktive Informationen einschließen. Beispielsweise kann der virtuelle Assistent 112 Informationen bezüglich typischer Luftqualitätsablesungen bei spezifischen Temperaturen und spezifischer Luftfeuchtigkeit empfangen. Als ein anderes Beispiel kann der virtuelle Assistent 112 Informationen empfangen, die vom Mitfahrer oder dem Stakeholder, der öffentliche Dienste einschließlich Vermietung, öffentlicher Verkehrsmittel usw. bereitstellt, veröffentlicht werden. Die von einem Stakeholder veröffentlichten Informationen können eine Dienstleistung, ein Produkt, ein Angebot, eine Werbung, eine Antwort auf ein Feedback oder dergleichen beinhalten. Der Inhalt der von einem Mitfahrer veröffentlichten Informationen kann eine Beschwerde, einen Kommentar, einen Vorschlag, ein Kompliment, ein Feedback, einen Blog oder dergleichen enthalten. Insbesondere könnte der Mitfahrer Informationen über die Frustration veröffentlichen, die er während seiner letzten Fahrt in einem Auto erfuhr, und der virtuelle Assistent 112 ist dazu ausgelegt, diesen Beitrag einer bestimmten Fahrt dieses Mitfahrers zuzuordnen. In ähnlicher Weise kann der Mitfahrer ein Feedback geben, das darauf hinweist, dass er etwas verschüttet oder auf andere Weise den Innenbereich des Fahrgastraums verschmutzt hat. In einer Ausführungsform könnte vor der regelmäßigen Reinigung oder Wartung der Status des Innenbereichs bewertet werden.
Die Trainingsdaten werden dann entweder in einer lokalen Wissensdatenbank 126, der entfernten Wissensdatenbank 128 oder einer Kombination davon gespeichert. In einigen Ausführungsformen sind die in der lokalen Wissensdatenbank 126 gespeicherten Trainingsdaten für das spezielle Fahrzeug 100 spezifisch und/oder einzigartig. In einigen Ausführungsformen sind Trainingsdaten, die in der entfernten Wissensdatenbank 128 gespeichert sind, auf mehrere Fahrzeuge anwendbar. In einigen Ausführungsformen können die Trainingsdaten an andere Fahrzeuge weitergeleitet, zwischen diesen ausgetauscht oder mit diesen geteilt werden. In einer anderen Ausführungsform können die Trainingsdaten direkt oder indirekt an andere Fahrzeuge übermittelt werden.
In einigen Ausführungsformen können einige Teile des Trainingsprozesses für das Sensorfusionsmodul 122 lokal durchgeführt werden, während andere Teile des Trainingsprozesses für das Sensorfusionsmodul 122 entfernt durchgeführt werden. Nach dem Ferntraining können die aktualisierten Modelldaten für die Szenenschätzereinheiten in den Fahrzeugen bereitgestellt werden.
Es versteht sich, dass Trainingsprozesse, die den oben beschriebenen ähnlich sind, auf die Vorprozessoren der Vorverarbeitungsbaugruppe 120 und die Nachprozessoren der Nachverarbeitungsbaugruppe 124 angewendet werden können. Insbesondere können, wie oben besprochen, zumindest die Vorprozessoren der Vorverarbeitungsbaugruppe 120 Modelle verwenden, die verschiedene vorbestimmte Schwellen, vorbestimmte Bereiche und/oder trainierte neuronale Netzwerke einschließen, um Attributströme zu bestimmen, die dem Sensorfusionsmodul 122 bereitgestellt werden. Diese Parameter können basierend auf Trainingsdaten und/oder der Grundwahrheit auf die gleiche Weise wie oben besprochen angepasst oder abgestimmt werden (z. B. können die Schwellen angepasst werden, die zur Unterscheidung zwischen „niedrigen“, „normalen“ und „hohen“ Klassifizierungen verwendet werden). In zumindest einigen Ausführungsformen sind die von der Vorverarbeitungsbaugruppe 120 und/oder der Nachverarbeitungsbaugruppe 124 durchgeführten Prozesse jedoch allgemein anwendbare Operationen, die nicht spezifisch für die spezielle Umgebung des Fahrzeugs sind (z. B. Filtern, Kantendetektion, Gesichtserkennung). Dementsprechend werden die Operationen der Vorverarbeitungsbaugruppe 120 und/oder der Nachverarbeitungsbaugruppe 124 im Allgemeinen in einer anderen Umgebung unter Verwendung eines robusten Satzes allgemein anwendbarer Trainingsdaten trainiert.
Obgleich die Offenbarung in den Zeichnungen und der vorangehenden Beschreibung veranschaulicht und ausführlich beschrieben wurde, sollte diese in ihrem Charakter als veranschaulichend und nicht beschränkend angesehen werden. Es versteht sich, dass nur die bevorzugten Ausführungsformen präsentiert wurden und dass alle Änderungen, Modifikationen und weiteren Anwendungen, die in das Wesen der Offenbarung fallen, geschützt werden sollen.

Claims

System zum Überwachen einer Szene in einem Innenbereich eines Fahrgastraums eines Fahrzeugs, wobei das System Folgendes umfasst: mehrere Sensoren, wobei jeder Sensor in den mehreren Sensoren dazu ausgelegt ist, ein entsprechendes Sensorsignal auszugeben, wobei mindestens ein Sensor in den mehreren Sensoren dazu ausgelegt ist, einen Aspekt des Innenbereichs des Fahrgastraums zu messen; und ein Verarbeitungssystem, das funktionsfähig mit den mehreren Sensoren verbunden ist und mindestens einen Prozessor aufweist, wobei das Verarbeitungssystem ausgelegt ist zum: Empfangen jedes jeweiligen Sensorsignals von den mehreren Sensoren; Bestimmen eines ersten Attributs des Innenbereichs des Fahrgastraums basierend auf einem ersten Sensorsignal von einem ersten Sensor in den mehreren Sensoren; Bestimmen eines zweiten Attributs des Innenbereichs des Fahrgastraums basierend auf einem zweiten Sensorsignal von einem zweiten Sensor in den mehreren Sensoren; und Bestimmen eines dritten Attributs des Innenbereichs des Fahrgastraums basierend auf dem ersten Attribut und dem zweiten Attribut.
System nach Anspruch 1, wobei das Verarbeitungssystem ausgelegt ist zum: Bestimmen des ersten Attributs durch Klassifizieren des ersten Sensorsignals als mindestens eine Klasse aus einem vorbestimmten Satz von Klassen für das erste Attribut.
System nach Anspruch 2, wobei das Verarbeitungssystem ausgelegt ist zum: Klassifizieren des ersten Sensorsignals als mindestens eine Klasse aus dem vorbestimmten Satz von Klassen für das erste Attribut durch Vergleichen des ersten Sensorsignals mit (i) einem ersten Schwellenwert und/oder (ii) einem ersten Wertebereich.
System nach Anspruch 2, wobei das Verarbeitungssystem ausgelegt ist zum: Klassifizieren des ersten Sensorsignals als mindestens eine Klasse aus dem vorbestimmten Satz von Klassen für das erste Attribut unter Verwendung eines neuronalen Netzwerks.
System nach Anspruch 2, wobei das Verarbeitungssystem ausgelegt ist zum: Bestimmen des ersten Attributs durch Bestimmen (i) einer Wahrscheinlichkeit und/oder (ii) eines Konfidenzwerts für jede Klasse in dem vorbestimmten Satz von Klassen für das erste Attribut basierend auf dem ersten Sensorsignal.
System nach Anspruch 1, wobei das Verarbeitungssystem ausgelegt ist zum: Bestimmen des ersten Attributs durch Extrahieren von Merkmalen aus dem ersten Sensorsignal unter Verwendung eines neuronalen Netzwerks.
System nach Anspruch 1, wobei das Verarbeitungssystem ausgelegt ist zum: Bestimmen des ersten Attributs durch Abtasten und/oder Filtern und/oder Skalieren des ersten Sensorsignals.
System nach Anspruch 1, wobei das Verarbeitungssystem ausgelegt ist zum: Bestimmen des dritten Attributs mit Bezug auf eine Logiktabelle, die einen Wert für das dritte Attribut basierend auf einem Wert des ersten Attributs und einem Wert des zweiten Attributs definiert.
System nach Anspruch 1, wobei das Verarbeitungssystem ausgelegt ist zum: Bestimmen des dritten Attributs unter Verwendung eines neuronalen Netzwerks, das Werte für das dritte Attribut basierend auf Werten des ersten Attributs und Werten des zweiten Attributs bestimmt.
System nach Anspruch 1, wobei das Verarbeitungssystem ausgelegt ist zum: Bestimmen des dritten Attributs durch Bestimmen eines Klassenwerts, der aus einem vorbestimmten Satz von Klassen für das dritte Attribut basierend auf Werten des ersten Attributs und Werten des zweiten Attributs ausgewählt wird.
System nach Anspruch 10, wobei das Verarbeitungssystem ausgelegt ist zum: Bestimmen (i) einer Wahrscheinlichkeit und/oder (ii) eines Konfidenzwerts für jede Klasse in dem vorbestimmten Satz von Klassen für das dritte Attribut basierend auf Werten des ersten Attributs und Werten des zweiten Attributs.
System nach Anspruch 11, wobei das Verarbeitungssystem ausgelegt ist zum: Bestimmen des dritten Attributs durch Auswählen einer Klasse aus dem vorbestimmten Satz von Klassen für das dritte Attribut, die (i) eine höchste Wahrscheinlichkeit und/oder (ii) einen höchsten Konfidenzwert aufweist.
System nach Anspruch 1, wobei das Verarbeitungssystem ausgelegt ist zum: Verarbeiten des dritten Attributs durch Neuabtasten und/oder Filtern und/oder Skalieren des dritten Attributs.
System nach Anspruch 1, wobei: der erste Sensor ein akustischer Sensor ist und das erste Attribut eine Geräuschpegelklassifizierung des Innenbereichs des Fahrgastraums ist; der zweite Sensor ein Herzfrequenzsensor ist und das zweite Attribut eine Herzfrequenzklassifizierung eines Mitfahrers im Innenbereich des Fahrgastraums ist; und das dritte Attribut eine Stressniveauklassifizierung des Mitfahrers ist.
System nach Anspruch 1, wobei: der erste Sensor ein akustischer Sensor ist und das erste Attribut eine Geräuschklassifizierung eines Mitfahrers im Innenbereich des Fahrgastraums ist; der zweite Sensor eine Videokamera ist und das zweite Attribut eine Gesichtsausdruckklassifizierung des Mitfahrers im Innenbereich des Fahrgastraums ist; und das dritte Attribut eine Stimmungsklassifizierung des Mitfahrers ist.
System nach Anspruch 1, wobei das Verarbeitungssystem ausgelegt ist zum: Bestimmen einer chronologischen Folge von Werten für das erste Attribut basierend auf dem ersten Sensorsignal; Bestimmen einer chronologischen Folge von Werten für das zweite Attribut basierend auf dem zweiten Sensorsignal; und Bestimmen einer chronologischen Folge von Werten für das dritte Attribut basierend auf der chronologischen Folge von Werten für das erste Attribut und der chronologischen Folge von Werten für das zweite Attribut.
System nach Anspruch 1, das ferner Folgendes umfasst: mindestens einen Speicher, der funktionsfähig mit dem Verarbeitungssystem verbunden ist, wobei der mindestens eine Speicher dazu ausgelegt ist, Trainingsdaten zu speichern, wobei das Verarbeitungssystem ausgelegt ist zum: Anpassen mindestens eines Parameters eines Modells basierend auf den Trainingsdaten; und Bestimmen des dritten Attributs basierend auf dem ersten Attribut und dem zweiten Attribut unter Verwendung des Modells.
System nach Anspruch 1, wobei das Verarbeitungssystem ausgelegt ist zum: Ausgeben des dritten Attributs an eine Rechenvorrichtung, die funktionsfähig mit dem Verarbeitungssystem verbunden ist.
System nach Anspruch 1, das ferner Folgendes umfasst: einen Aktor, der funktionsfähig mit dem Verarbeitungssystem verbunden und dazu ausgelegt ist, einen Aspekt des Innenbereichs des Fahrgastraums anzupassen, der das erste Sensorsignal und/oder das zweite Sensorsignal beeinflusst; wobei das Verarbeitungssystem dazu ausgelegt ist, den Aktor so zu betreiben, dass er sich in einem vorbestimmten Zustand befindet, während das erste Attribut und das zweite Attribut bestimmt werden.
Verfahren zum Überwachen einer Szene in einem Innenbereich eines Fahrgastraums eines Fahrzeugs, wobei das Verfahren Folgendes umfasst: Empfangen, mit einem Verarbeitungssystem, eines entsprechenden Sensorsignals von jedem mehrerer Sensoren, wobei das Verarbeitungssystem funktionsfähig mit den mehreren Sensoren verbunden ist und mindestens einen Prozessor aufweist, wobei jeder Sensor in den mehreren Sensoren dazu ausgelegt ist, das jeweilige Sensorsignal an das Verarbeitungssystem auszugeben, wobei mindestens ein Sensor in den mehreren Sensoren dazu ausgelegt ist, einen Aspekt des Innenbereichs des Fahrgastraums zu messen; Bestimmen, mit dem Verarbeitungssystem, eines ersten Attributs des Innenbereichs des Fahrgastraums basierend auf einem ersten Sensorsignal von einem ersten Sensor in den mehreren Sensoren; Bestimmen, mit dem Verarbeitungssystem, eines zweiten Attributs des Innenbereichs des Fahrgastraums basierend auf einem zweiten Sensorsignal von einem zweiten Sensor in den mehreren Sensoren; und Bestimmen, mit dem Verarbeitungssystem, eines dritten Attributs des Innenbereichs des Fahrgastraums basierend auf dem ersten Attribut und dem zweiten Attribut.