DE102021129103B3

DE102021129103B3 - Verfahren und System für eine robuste Identifizierung eines Fahrzeuginsassen

Info

Publication number: DE102021129103B3
Application number: DE102021129103.8A
Authority: DE
Inventors: David Bethge; Satiyabooshan Murugaboopathy; Mohamed Kari
Original assignee: Dr Ing HCF Porsche AG
Current assignee: Dr Ing HCF Porsche AG
Priority date: 2021-11-09
Filing date: 2021-11-09
Publication date: 2022-12-08
Anticipated expiration: 2041-11-10
Also published as: US20230147024A1

Abstract

Die Erfindung betrifft ein Verfahren für eine robuste Identifizierung eines Fahrzeuginsassen. Zeitgleiche Datenpaare von Innenraumsensoren (111, 121) bzw. Erfassungselementen werden als Trainingsdatensatz für ein globales Anlernen einer Deep-Canonical-Correlation-Analysis-Architektur (100) mit zwei neuronalen Netzen (113, 123) verwendet, wobei bei einem ersten Schritt eine Authentifizierung der jeweiligen Fahrzeuginsassen aus der Gruppe von Fahrzeugnutzern als eine Initialisierung erfolgt. Bei einem zweiten Schritt bzw. einer nachfolgenden Benutzung ist dann lediglich eines der beiden Erfassungselemente zur Identifizierung des jeweiligen Fahrzeuginsassen erforderlich. Zusätzlich wird ein System beansprucht, durch welches die robuste Identifizierung mittels des erfindungsgemäßen Verfahrens bereitgestellt ist.

Description

Die vorliegende Erfindung betrifft ein Verfahren für eine robuste Identifizierung eines Fahrzeuginsassen mittels Innenraumsensoren. Ferner wird eine entsprechende Vorrichtung und ein entsprechendes System beansprucht.
Vielerlei nutzerspezifische Einstellungen von Bedienelementen innerhalb eines Fahrzeuges werden heutzutage von einem Fahrzeugsystem verwaltet und werden bei einer Identifizierung eines Fahrzeuginsassen vom Fahrzeugsystem automatisch an seinem Sitzplatz ausgeführt. Damit auch die Identifizierung des Fahrzeuginsassen automatisiert erfolgen kann, greift das Fahrzeugsystem auf im Innenraum angeordnete Sensoren zu, welche im Allgemeinen auf einer Erfassung physiologischer Eigenschaften und einer Bilderfassung, insbesondere von einer Kamera, gebildet werden. Problematisch ist es, wenn ein Sensor ausfällt und somit keine automatisierte Identifizierung des Fahrzeuginsassen mehr erfolgen kann. Dies ist insbesondere der Fall für bilderfassende Systeme bei Lichtmangel, bspw. bei eintretender Dunkelheit oder bei Nacht.
Die Druckschrift WO 2016/005378 A1 offenbart ein Verfahren zur Identifizierung eines Fahrzeuginsassen, bei dem zur zuverlässigen Verknüpfung eines Benutzerprofils mit der entsprechenden Person zumindest ein erster Parameter zu einem ersten Zeitpunkt und ein zweiter Parameter zu einem zweiten Zeitpunkt erfasst werden. Vor dem zweiten Zeitpunkt wird zur Identifizierung eine erste Analyse des ersten Parameters durchgeführt. Dabei umfassen die Parameter physiologisch-biometrische Daten und/oder biometrische Verhaltensdaten und/oder Nutzungsanalysen. Die Verknüpfung kann mittels eines selbstlernenden Algorithmus dynamisch aktualisiert werden.
In der Druckschrift WO 2021/043834 A1 wird ein Managementsystem zur Identifikation und zum Bio-Monitoring eines Nutzers eines Kraftfahrzeugs offenbart, wobei das Managementsystem ein personenbezogenes Modul zur Erfassung von persönlichen Daten des Nutzers sowie zur Identifikation des Nutzers, bspw. ein mobiler Pulssensor, und ein fahrzeugbezogenes Modul für einen Zugriff auf zumindest eine Fahrzeugkomponente, bspw. eine Kamera, umfasst. Basierend auf einem Datenaustauch zwischen dem fahrzeugbezogenen und dem personenbezogenen Modul wird eine Änderung, an der zumindest einen Fahrzeugkomponente erlaubt.
Die Druckschrift DE 10 2020 125 978 A1 offenbart ein Verfahren und ein System für ein Kraftfahrzeug zur Authentifizierung eines Insassen, wobei zumindest Gesichtsinformationen vorliegen. Der Insasse kann durch die Gesichtsinformationen in Kombination mit unterschiedlichen anderen Sensordaten, insbesondere Spracherkennungsdaten oder biometrischen Daten, identifiziert werden.
Die Druckschrift „Dumpala S. H., Sheikh I., Chakraborty R., Kopparapu S. K.: Audio-Visual Fusion for Sentiment Classification using Cross-Modal Autoencoder. In: 32nd Conference on Neural Information Processing System, 2018, 1-7. https://nips2018vigil.github.io/static/papers/accepted/19.pdf [abgerufen am 15.07.2022]“ beschreibt multimodale Sentiment-Klassifikation mittels eines Autoencoders. Es werden audiovisuelle Modalitäten genutzt, wobei zwar beide Modalitäten (audio/visuell) als Trainingsdatensätze vorliegen, dann jedoch nur eine der beiden Modalitäten für einen Testlauf zur Verfügung stehen. Dabei wird eine Deep-Canonical-Correlation-Analysis-Methode verwendet.
Die Druckschrift „Liu W., Qiu J.-L., Zheng W.-L., Lu B.-L.: Multimodal Emotion Recognition Using Deep Canonical Correlation Analysis. In: arXCiv, 2019, 1-15. https://arxiv.org/pdf/1908.05349.pdf [abgerufen am 15.07.2022]“ befasst sich mit multimodaler Emotionserkennung und macht hierbei ebenfalls von der Deep-Canonical-Correlation-Analysis-Methode Gebrauch. Bei verrauschten Daten stellt sich die Deep-Canonical-Correlation-Analysis-Methode im Vergleich mit bisherigen Methoden als robuster heraus.
Die Druckschrift „Kagawade V. C., Angadi S. A.: Fusion of Frequency Domain Features of Face and Iris Traits for Person Identification. In: J. Inst. Eng. India Ser. B, Mai 2021, 987-996. https://link.springer.com/content/pdf/10.1007/s40031-021-00602-9.pdf [abgerufen am 15.07.2022]“ beschäftigt sich mit einer Personenidentifizierung durch Zusammenführung von Eigenschaften im Frequenzraum von Gesichts- und Irismerkmalen, welche durch schnelle FourierTransformation verschieden skalierter Gesichts- und Augenbilder unter mehreren Betrachtungswinkeln erhalten werden. Die Deep-Canonical-Correlation-Analysis-Methode wird herangezogen, um die Gesichtsmerkmale und die Irismerkmale zu verknüpfen.
Vor diesem Hintergrund ist es eine Aufgabe der vorliegenden Erfindung, ein robustes Verfahren zur Identifizierung von Fahrzeuginsassen zur Verfügung zu stellen, bei dem von einem Fahrzeugsystem über im Fahrzeuginnenraum angeordnete Sensoren ein jeweiliger Fahrzeuginsasse identifiziert wird. Auch bei Ausfall eines Sensors soll die Identifizierung möglich sein. Ferner soll eine Vorrichtung beansprucht werden, welche dazu konfiguriert ist, das Verfahren auszuführen.
Zur Lösung der voranstehend genannten Aufgabe wird ein Verfahren für eine robuste Identifizierung von Fahrzeuginsassen vorgeschlagen, bei dem in einem Fahrzeuginnenraum ein erster Innenraumsensor und ein zweiter Innenraumsensor angeordnet werden. Zur Identifizierung eines jeweiligen Fahrzeuginsassen unter einer Gruppe von Fahrzeugnutzern wird eine Deep-Canonical-Correlation-Analysis-Methode mit einem dem ersten Innenraumsensor zugeordneten ersten neuronalen Netz und dem zweiten Innenraumsensor zugeordneten zweiten neuronalen Netz ausgeführt. Das erste neuronale Netz und das zweite neuronale Netz weisen einen zueinander symmetrischen Aufbau mit mindestens drei verdeckten Schichten auf und sind jeweilig durch eine Mehrzahl an Netzwerkparametern bestimmt. Aus einem jeweiligen Messvorgang des ersten Innenraumsensors und des zweiten Innenraumsensors wird ein jeweiliger Datenvektor für das jeweilige neuronale Netz als ein jeweiliger Input gebildet. Von dem jeweiligen neuronalen Netz wird als ein jeweiliger Output eine jeweilige Repräsentation ausgegeben. Über eine Korrelation zwischen den jeweiligen Repräsentationen wird eine Verlustfunktion gebildet, wobei die Verlustfunktion minimal ist, wenn die Korrelation maximal ist. In einem ersten einer Initialisierung dienenden Schritt wird jeder Fahrzeuginsasse der Gruppe von Fahrzeugnutzern gegenüber dem Output der jeweiligen neuronalen Netze authentifiziert, indem

◯ für jeden Fahrzeuginsassen in einer vorgegebenen Zahl an Trainingsdurchläufen mittels eines jeweiligen gleichzeitigen Messvorgangs durch den ersten Innenraumsensor und den zweiten Innenraumsensor ein jeweiliges Datenvektorpaar als jeweiliger Input bereitgestellt wird, und dabei
◯ die Mehrzahl an Netzwerkparametern der jeweiligen neuronalen Netze hinsichtlich eines Minimalwertes der Verlustfunktion mittels eines gradientenbasierten Vorgangs optimiert wird, und
◯ nach Abschluss der Trainingsdurchläufe die Repräsentationen des Outputs für alle Datenvektorpaare mit den nun optimierten Netzwerkparametern erneut berechnet werden, darüber eine jeweilige gemittelte Repräsentation gebildet wird, und die jeweilige gemittelte Repräsentation in einem dem jeweiligen Fahrzeuginsassen zugeordneten Nutzerkonto abgespeichert wird.

In einem zweiten einer produktiven Nutzung dienenden Schritt wird der jeweilige Fahrzeuginsasse identifiziert, indem

◯ mittels eines jeweiligen bei jedem erneuten Zugang des Fahrzeuginsassen zum Innenraum des Fahrzeuges durchgeführten Messvorgangs mindestens ein Datenvektor des Datenvektorpaares dem jeweilig zugehörigen trainierten neuronalen Netz als Input bereitgestellt wird, und
◯ durch Vergleich des mindestens einen Outputs mit den jeweiligen in den Nutzerkonten gespeicherten gemittelten Repräsentationen der jeweilige Fahrzeuginsasse identifiziert wird.

Das erfindungsgemäße Verfahren nutzt vorteilhaft die Deep-Canonical-Correlation-Analysis-Methode, bspw. beschrieben in „Galen Andrew, Raman Arora, Jeff Bilmes, Karen Livescu, Proceedings of the 30th International Conference on Machine Learning, PMLR 28(3): 1247-1255, 2013“. Eine Backpropagation zur Optimierung der neuronalen Netze bzw. der Mehrzahl an Netzwerkparametern erfolgt gradientenbasiert. Durch die hinsichtlich Korrelationen des Outputs gestaltete Verlustfunktion wird ein mehrdimensionaler Referenzdatensatz (aus gemittelten Repräsentationen) gebildet, welcher auch bei Ausfall des ersten Innenraumsensors oder des zweiten Innenraumsensors, und der damit einhergehenden ausfallenden Bereitstellung einer Dimension im Datenvektorpaar, trotzdem eine zuverlässige Identifizierung des jeweiligen Fahrzeuginsassen ermöglicht.
Im ersten Schritt hat sich für die vorgegebene Zahl an Trainingsdurchläufen ein Zahlenbereich zwischen 10 und 20 als ausreichend für eine erfolgreiche Identifizierung des jeweiligen Fahrzeuginsassen im zweiten Schritt erwiesen.
Erfindungsgemäß werden zeitgleiche Datenpaare von im Fahrzeuginnenraum angeordneten Sensoren bzw. Erfassungselementen als Trainingsdatensatz für ein globales Anlernen einer Deep-Canonical-Correlation-Analysis-Architektur mit zwei neuronalen Netzen verwendet, wobei bei einem ersten Schritt eine Authentifizierung der jeweiligen Fahrzeuginsassen aus der Gruppe von Fahrzeugnutzern als eine Initialisierung erfolgt. Die beiden daraus gebildeten trainierten neuronalen Netze können auch jeweilig als Encoder für eine dem jeweiligen Sensor zugeordnete Domäne bezeichnet werden. Bei einem zweiten Schritt bzw. einer nachfolgenden Benutzung ist dann lediglich eines der beiden Erfassungselemente zur Identifizierung des jeweiligen Fahrzeuginsassen erforderlich. Denkbar ist auch, das erfindungsgemäße Verfahren in einem beliebigen (von einem Fahrzeug bzw. Fahrzeuginnenraum unabhängigen) Umfeld, welches durch eine Mehrzahl an unterschiedlichen Sensoren überwacht wird, einzusetzen.
In einer Ausführungsform des erfindungsgemäßen Verfahrens wird der erste Innenraumsensor als ein Sensor zur Erfassung von Abbildungsdaten zu dem jeweiligen Fahrzeuginsassen gewählt. Es ist vorstellbar, dass Daten bzw. Abbildungsdaten aus mehr als einem Sensor zusammengefasst in einem einzigen Datenvektor dem ersten neuronalen Netz zugeführt werden.
In einer fortgesetzten Ausführungsform des erfindungsgemäßen Verfahrens wird der erste Innenraumsensor aus folgender Liste gewählt: Kamera bzw. Innenraumkamera, Infrarot-Kamera, Radar.
In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens wird der zweite Innenraumsensor als ein Sensor zur Erfassung physiologischer Daten von dem jeweiligen Fahrzeuginsassen gewählt.
In einer fortgesetzten weiteren Ausführungsform des erfindungsgemäßen Verfahrens wird eine von dem zweiten Innenraumsensor zu erfassende physiologische Eigenschaft aus folgender Liste gewählt: Lidschlag-Beobachtung, Herzschlag, Atmung, Atemanalyse, Haltekraft am Lenkrad, Sitzbelegungserkennung. Der Herzschlag kann bspw. mit einem Elektrokardiogramm-Sensor einer Smartwatch gemessen werden, wobei die Smartwatch in drahtloser Verbindung mit dem Fahrzeugsystem steht. Eine Sitzbelegungserkennung kann bspw. mittels im jeweiligen Autositz angeordneten Piezoelementen durchgeführt werden. Es ist auch denkbar, dass anhand der drahtlosen Verbindung mit einem Endgerät des jeweiligen Fahrzeuginsassen, bspw. Bluetooth, eine Ortung bzw. Sitzplatzzuweisung erfolgt.
Ferner wird ein System für eine robuste Identifizierung von Fahrzeuginsassen beansprucht, bei dem in einem Fahrzeuginnenraum ein Identifizierungssteuergerät, ein erster Innenraumsensor und ein zweiter Innenraumsensor angeordnet sind. Das Identifizierungssteuergerät ist dazu konfiguriert, zur Identifizierung eines jeweiligen Fahrzeuginsassen unter einer Gruppe von Fahrzeugnutzern eine Deep-Canonical-Correlation-Analysis-Methode mit einem dem ersten Innenraumsensor zugeordneten ersten neuronalen Netz und einem dem zweiten Innenraumsensor zugeordneten zweiten neuronalen Netz auszuführen. Das erste neuronale Netz und das zweite neuronale Netz weisen einen zueinander symmetrischen Aufbau mit mindestens drei verdeckten Schichten auf und sind jeweilig durch eine Mehrzahl an Netzwerkparametern bestimmt. Aus einem jeweiligen Messvorgang des ersten Innenraumsensors und des zweiten Innenraumsensors ist für das jeweilige neuronale Netz ein jeweiliger Datenvektor als ein jeweiliger Input gebildet. Das jeweilige neuronale Netz ist dazu ausgestaltet, als einen jeweiligen Output eine jeweilige Repräsentation auszugeben. Das Identifizierungssteuergerät ist dazu konfiguriert, eine Verlustfunktion über eine Korrelation zwischen den jeweiligen Repräsentationen zu bilden, wobei die Verlustfunktion minimal ist, wenn die Korrelation maximal ist. Das Identifizierungssteuergerät ist weiter dazu konfiguriert, in einem ersten einer Initialisierung dienenden Schritt jeden Fahrzeuginsassen der Gruppe von Fahrzeugnutzern gegenüber dem Output der jeweiligen neuronalen Netze zu authentifizieren, indem

◯ für jeden Fahrzeuginsassen in einer vorgegebenen Zahl an Trainingsdurchläufen mittels eines jeweiligen gleichzeitigen Messvorgangs durch den ersten Innenraumsensor und den zweiten Innenraumsensor ein jeweiliges Datenvektorpaar als jeweiliger Input bereitgestellt wird, und dabei
◯ die Mehrzahl an Netzwerkparametern der jeweiligen neuronalen Netze hinsichtlich eines Minimalwertes der Verlustfunktion mittels eines gradientenbasierten Vorgangs optimiert wird,
◯ nach Abschluss der Trainingsdurchläufe die Repräsentationen des Outputs für alle Datenvektorpaare mit den nun optimierten Netzwerkparametern erneut berechnet werden, darüber eine jeweilige gemittelte Repräsentation gebildet wird, und die jeweilige gemittelte Repräsentation in einem dem jeweiligen Fahrzeuginsassen zugeordneten Nutzerkonto abgespeichert wird.

Das Identifizierungssteuergerät ist noch weiter dazu konfiguriert, in einem zweiten einer produktiven Nutzung dienenden Schritt den jeweiligen Fahrzeuginsassen zu identifizieren, indem

In einer Ausgestaltung des erfindungsgemäßen Systems ist der erste Innenraumsensor als ein Sensor zur Erfassung von Abbildungsdaten von dem jeweiligen Fahrzeuginsassen gewählt.
In einer fortgesetzten Ausgestaltung des erfindungsgemäßen Systems ist der Sensor zur Erfassung von Abbildungsdaten aus folgender Liste gewählt: Kamera, Infrarot-Kamera, Radar.
In einer weiteren Ausgestaltung des erfindungsgemäßen Systems ist der zweite Innenraumsensor als ein Sensor zur Erfassung physiologischer Daten von dem jeweiligen Fahrzeuginsassen gewählt.
In einer fortgesetzten weiteren Ausgestaltung des erfindungsgemäßen Systems ist eine von dem zweiten Innenraumsensor zu erfassende physiologische Eigenschaft aus folgender Liste gewählt: Lidschlag-Beobachtung, Herzschlag, Atmungstätigkeit, Atemanalyse, Haltekraft am Lenkrad, Sitzbelegung.
Ferner wird weiter ein Computerprogrammprodukt mit einem computerlesbaren Medium, auf dem ein auf einer Recheneinheit eines Identifizierungssteuergerätes eines Fahrzeugs ausführbarer Programmcode gespeichert ist, beansprucht. Der Programmcode, bei Ausführung auf der Recheneinheit, veranlasst die Recheneinheit dazu, basierend auf einer Deep-Canonical-Correlation-Analysis-Methode mindestens einen der folgenden Schritte auszuführen:

• Bildung eines ersten neuronalen Netzes und eines zweiten neuronalen Netzes mit einem zueinander symmetrischen Aufbau und mindestens drei verdeckten Schichten, jeweilig durch eine Mehrzahl an Netzwerkparametern bestimmt;
• Zuordnung eines jeweiligen Datenvektors aus einem jeweiligen Messvorgang eines ersten Innenraumsensors zu dem ersten neuronalen Netz und eines zweiten Innenraumsensors zu dem zweiten neuronalen Netz als ein jeweiliger Input;
• Bildung eines jeweiligen Outputs des jeweiligen neuronalen Netzes als eine jeweilige Repräsentation;
• Bildung einer Verlustfunktion über eine Korrelation zwischen den jeweiligen Repräsentationen, wobei die Verlustfunktion minimal ist, wenn die Korrelation maximal ist;
• Authentifizierung eines jeden Fahrzeuginsassen einer Gruppe von Fahrzeugnutzern gegenüber dem Output der jeweiligen neuronalen Netze im Rahmen einer Initialisierung, indem
- ◯ für jeden Fahrzeuginsassen in einer vorgegebenen Zahl an Trainingsdurchläufen mittels eines jeweiligen gleichzeitigen Messvorgangs durch den ersten Innenraumsensor und den zweiten Innenraumsensor ein jeweiliges Datenvektorpaar als jeweiliger Input bereitgestellt wird, und dabei
- ◯ die Mehrzahl an Netzwerkparametern der jeweiligen neuronalen Netze hinsichtlich eines Minimalwertes der Verlustfunktion mittels eines gradientenbasierten Vorgangs optimiert wird,
- ◯ nach Abschluss der Trainingsdurchläufe die Repräsentationen des Outputs für alle Datenvektorpaare mit den nun optimierten Netzwerkparametern erneut berechnet werden, darüber eine jeweilige gemittelte Repräsentation gebildet wird, und die jeweilige gemittelte Repräsentation in einem dem jeweiligen Fahrzeuginsassen zugeordneten Nutzerkonto abgespeichert wird;
• Identifizierung des jeweiligen Fahrzeuginsassen nach vorausgegangener Initialisierung, indem
- ◯ mittels eines jeweiligen bei jedem erneuten Zugang des jeweiligen Fahrzeuginsassen zum Innenraum des Fahrzeuges durchgeführten Messvorgangs mindestens ein Datenvektor des Datenvektorpaares dem jeweilig zugehörigen trainierten neuronalen Netz als Input bereitgestellt wird, und
- ◯ durch Vergleich des mindestens einen Outputs mit den jeweiligen in den Nutzerkonten gespeicherten gemittelten Repräsentationen der jeweilige Fahrzeuginsasse identifiziert wird.

Ferner wird noch weiter ein Identifizierungssteuergerät für eine robuste Identifizierung von Fahrzeuginsassen beansprucht, welches dazu konfiguriert ist, mit Hilfe eines erfindungsgemäßen Computerprogrammprodukts ein erfindungsgemäßes Verfahren auszuführen.
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.
Es versteht sich, dass die voranstehend genannten Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.

1 zeigt ein Berechnungsschema zur Deep-Canonical-Correlation-Analysis-Methode in einer Ausführungsform des erfindungsgemäßen Verfahrens.

In 1 wird ein Berechnungsschema 100 zu einer Deep-Canonical-Correlation-Analysis-Methode, auch als DCCA-Methode abgekürzt, in einer Ausführungsform des erfindungsgemäßen Verfahrens gezeigt. Zum Einsatz kommen zwei gleich aufgebaute neuronale Netze 113, 123, welche neben einer Eingabeschicht und einer Ausgabeschicht jeweilig mindestens drei verdeckte Schichten aufweisen. Derart aufgebaute neuronale Netze 113, 123 werden auch als „tief“ bzw. Englisch „Deep Neural Network“ (DNN) bezeichnet. Einen jeweiligen Input 112, 122 für die Eingabeschicht liefern ein erster Innenraumsensor 111 und ein zweiter Innenraumsensor 121. Ein jeweiliger Output 114, 124 der jeweiligen Ausgabeschicht wird als eine erste Repräsentation z₁ 115 und ein zweite Repräsentation z₂ 125 mit einem jeweiligen Datenvektor dargestellt. Beide neuronale Netze 113, 123 werden durch eine Mehrzahl an Netzwerkparametern bestimmt, welche bei einer vorgegebenen Zahl an Trainingsdurchläufen mittels überwachten Lernens hinsichtlich eines Zielwertes adjustiert werden, um im Sinne der Erfindung einen jeweiligen Fahrzeuginsassen aus einer Gruppe von Fahrzeugnutzern zu authentifizieren. Der Zielwert wird durch eine Verlustfunktion Loss(corr[z₁,z₂]) 103 über ein Ergebnis einer Canonical-Correlation-Analysis 101, welche aus einem jeweiligen Input 116, 126 eine Korrelation corr[z₁,z₂] 102 zwischen den Repräsentationen 115, 125 berechnet, bestimmt. Hierzu werden bei einer Rückpropagierung, auch Englisch als „Backpropagation“ bezeichnet, jeweilige Gradienten 131, 132 zu dem Zielwert gebildet, wobei der Zielwert optimiert ist, wenn die Verlustfunktion minimal und also die Korrelation maximal ist. Daraus folgend lernt die DCCA-Methode die beiden neuronalen Netze 113, 123 dergestalt an, dass die jeweiligen von den jeweiligen neuronalen Netzen 113, 123 als Output 114, 124 ausgegebenen Repräsentationen 115, 125 hochgradig linear korreliert sind. Entsprechend wird bei produktiver Nutzung der angelernten neuronalen Netze 113, 123 auch bei Ausfall eines ersten Innenraumsensors 111 oder Ausfall eines zweiten Innenraumsensors 121 eine erfolgreiche Identifizierung eines Fahrzeuginsassen, welcher durch den jeweilig funktionierenden zweiten Innenraumsensor oder funktionierenden ersten Innenraumsensor beobachtet wird, durchgeführt.
Bezugszeichenliste

100: Schema zur DCCA-Rechenmethode
101: Canonical-Correlation-Analysis (CCA)
102: Korrelation
103: Verlustfunktion
111: Erster Innenraumsensor
112: Input zu erstem neuronalen Netz
113: Erstes neuronales Netz
114: Output
115: Erste Repräsentation
116: Erster Input zur CCA
121: Zweiter Innenraumsensor
122: Input zu zweitem neuronale Netz
123: Zweites neuronales Netz
124: Output
125: Zweite Repräsentation
126: Zweiter Input zur CCA
131: Rückfluss erster Gradient zum ersten neuronalen Netz
132: Rückfluss zweiter Gradient zum zweiten neuronalen Netz

Claims

Verfahren für eine robuste Identifizierung von Fahrzeuginsassen, bei dem in einem Fahrzeuginnenraum ein erster Innenraumsensor (111) und ein zweiter Innenraumsensor (121) angeordnet werden, wobei zur Identifizierung eines jeweiligen Fahrzeuginsassen unter einer Gruppe von Fahrzeugnutzern eine Deep-Canonical-Correlation-Analysis-Methode (100) mit einem dem ersten Innenraumsensor (111) zugeordneten ersten neuronalen Netz (113) und einem dem zweiten Innenraumsensor (121) zugeordneten zweiten neuronalen Netz (123) ausgeführt wird, wobei das erste neuronale Netz (113) und das zweite neuronale Netz (123) einen zueinander symmetrischen Aufbau mit mindestens drei verdeckten Schichten aufweisen und jeweilig durch eine Mehrzahl an Netzwerkparametern bestimmt sind, wobei ein jeweiliger Datenvektor aus einem jeweiligen Messvorgang des ersten Innenraumsensors (111) und des zweiten Innenraumsensors (121) für das jeweilige neuronale Netz (113, 123) als ein jeweiliger Input (112, 122) gebildet wird, wobei von dem jeweiligen neuronalen Netz (113, 123) als ein jeweiliger Output (114, 124) eine jeweilige Repräsentation (115, 125) ausgegeben wird, wobei eine Verlustfunktion (103) über eine Korrelation (102) zwischen den jeweiligen Repräsentationen (115, 125) gebildet wird, wobei die Verlustfunktion (103) minimal ist, wenn die Korrelation (102) maximal ist, • wobei in einem ersten einer Initialisierung dienenden Schritt jeder Fahrzeuginsasse der Gruppe von Fahrzeugnutzern gegenüber dem Output (114, 124) der jeweiligen neuronalen Netze (113, 123) authentifiziert wird, indem ◯ für jeden Fahrzeuginsassen in einer vorgegebenen Zahl an Trainingsdurchläufen mittels eines jeweiligen gleichzeitigen Messvorgangs durch den ersten Innenraumsensor (111) und den zweiten Innenraumsensor (121) ein jeweiliges Datenvektorpaar als jeweiliger Input (112, 122) bereitgestellt wird, und dabei ◯ die Mehrzahl an Netzwerkparametern der jeweiligen neuronalen Netze (113, 123) hinsichtlich eines Minimalwertes der Verlustfunktion (103) mittels eines gradientenbasierten (131, 132) Vorgangs optimiert wird, und ◯ nach Abschluss der Trainingsdurchläufe die Repräsentationen (115, 125) des Outputs (114, 124) für alle Datenvektorpaare mit den nun optimierten Netzwerkparametern erneut berechnet werden, darüber eine jeweilige gemittelte Repräsentation gebildet wird, und die jeweilige gemittelte Repräsentation in einem dem jeweiligen Fahrzeuginsassen zugeordneten Nutzerkonto abgespeichert wird, und • wobei in einem zweiten einer produktiven Nutzung dienenden Schritt der jeweilige Fahrzeuginsasse identifiziert wird, indem ◯ mittels eines jeweiligen bei jedem erneuten Zugang des Fahrzeuginsassen zum Innenraum des Fahrzeuges durchgeführten Messvorgangs mindestens ein Datenvektor des Datenvektorpaares dem jeweilig zugehörigen trainierten neuronalen Netz (113, 123) als Input (112, 122) bereitgestellt wird, und ◯ durch Vergleich des mindestens einen Outputs (114, 124) mit den jeweiligen in den Nutzerkonten gespeicherten gemittelten Repräsentationen der jeweilige Fahrzeuginsasse identifiziert wird.
Verfahren nach Anspruch 1, bei dem der erste Innenraumsensor (111) als ein Sensor zur Erfassung von Abbildungsdaten zu dem jeweiligen Fahrzeuginsassen gewählt wird.
Verfahren nach Anspruch 2, wobei der erste Innenraumsensor aus folgender Liste gewählt wird: Kamera, Infrarot-Kamera, Radar.
Verfahren nach einem der voranstehenden Ansprüche, wobei der zweite Innenraumsensor (121) als ein Sensor zur Erfassung physiologischer Daten von dem jeweiligen Fahrzeuginsassen gewählt wird.
Verfahren nach Anspruch 4, wobei eine von dem zweiten Innenraumsensor (121) zu erfassende physiologische Eigenschaft aus folgender Liste gewählt wird: Lidschlag-Beobachtung, Herzschlag, Atmung, Atemanalyse, Haltekraft am Lenkrad, Sitzbelegungserkennung.
System für eine robuste Identifizierung von Fahrzeuginsassen, bei dem in einem Fahrzeuginnenraum ein Identifizierungssteuergerät, ein erster Innenraumsensor (111) und ein zweiter Innenraumsensor (121) angeordnet sind, wobei das Identifizierungssteuergerät dazu konfiguriert ist, zur Identifizierung eines jeweiligen Fahrzeuginsassen unter einer Gruppe von Fahrzeugnutzern eine Deep-Canonical-Correlation-Analysis-Methode (100) mit einem dem ersten Innenraumsensor (111) zugeordneten ersten neuronalen Netz (113) und einem dem zweiten Innenraumsensor (121) zugeordneten zweiten neuronalen Netz (123) auszuführen, wobei das erste neuronale Netz (113) und das zweite neuronale Netz (123) einen zueinander symmetrischen Aufbau mit mindestens drei verdeckten Schichten aufweisen und jeweilig durch eine Mehrzahl an Netzwerkparametern bestimmt sind, wobei ein jeweiliger Datenvektor aus einem jeweiligen Messvorgang des ersten Innenraumsensors (111) und des zweiten Innenraumsensors (121) für das jeweilige neuronale Netz (113, 123) als ein jeweiliger Input (112, 122) gebildet ist, wobei das jeweilige neuronale Netz (113, 123) dazu ausgestaltet ist, als einen jeweiligen Output (114, 124) eine jeweilige Repräsentation (115, 125) auszugeben und das Identifizierungssteuergerät dazu konfiguriert ist, eine Verlustfunktion (103) über eine Korrelation (102) zwischen den jeweiligen Repräsentationen (115, 125) zu bilden, wobei die Verlustfunktion (103) minimal ist, wenn die Korrelation (102) maximal ist, wobei das Identifizierungssteuergerät dazu konfiguriert ist, • in einem ersten einer Initialisierung dienenden Schritt jeden Fahrzeuginsassen der Gruppe von Fahrzeugnutzern gegenüber dem Output (114, 124) der jeweiligen neuronalen Netze (113, 123) zu authentifizieren, indem ◯ für jeden Fahrzeuginsassen der Gruppe an Fahrzeugnutzern in einer vorgegebenen Zahl an Trainingsdurchläufen mittels eines jeweiligen gleichzeitigen Messvorgangs durch den ersten Innenraumsensor (111) und den zweiten Innenraumsensor (121) ein jeweiliges Datenvektorpaar als jeweiliger Input (112, 122) bereitgestellt wird, und dabei ◯ die Mehrzahl an Netzwerkparametern der jeweiligen neuronalen Netze (113, 123) hinsichtlich eines Minimalwertes der Verlustfunktion (103) mittels eines gradientenbasierten (131, 132) Vorgangs optimiert wird, und ◯ nach Abschluss der Trainingsdurchläufe die Repräsentationen (115, 125) des Outputs (114, 124) für alle Datenvektorpaare mit den nun optimierten Netzwerkparametern erneut berechnet werden, darüber eine jeweilige gemittelte Repräsentation gebildet wird, und die jeweilige gemittelte Repräsentation in einem dem jeweiligen Fahrzeuginsassen zugeordneten Nutzerkonto abgespeichert wird, und • in einem zweiten einer produktiven Nutzung dienenden Schritt den jeweiligen Fahrzeuginsassen zu identifizieren, indem ◯ mittels eines jeweiligen bei jedem erneuten Zugang des Fahrzeuginsassen zum Innenraum des Fahrzeuges durchgeführten Messvorgangs mindestens ein Datenvektor des Datenvektorpaares dem jeweilig zugehörigen trainierten neuronalen Netz (113, 123) als Input (112, 122) bereitgestellt wird, und ◯ durch Vergleich des mindestens einen Outputs (114, 124) mit den jeweiligen in den Nutzerkonten gespeicherten gemittelten Repräsentationen der jeweilige Fahrzeuginsasse identifiziert wird.
System nach Anspruch 6, bei dem der erste Innenraumsensor (111) als ein Sensor zur Erfassung von Abbildungsdaten von dem jeweiligen Fahrzeuginsassen gewählt ist.
System nach Anspruch 7, wobei der Sensor zur Erfassung von Abbildungsdaten aus folgender Liste gewählt ist: Kamera, Infrarot-Kamera, Radar.
System nach einem der Ansprüche 6 bis 8, wobei der zweite Innenraumsensor (121) als ein Sensor zur Erfassung physiologischer Daten von dem jeweiligen Fahrzeuginsassen gewählt ist.
System nach Anspruch 9, wobei eine von dem zweiten Innenraumsensor (121) zu erfassende physiologische Eigenschaft aus folgender Liste gewählt ist: Lidschlag-Beobachtung, Herzschlag, Atmungstätigkeit, Atemanalyse, Haltekraft am Lenkrad, Sitzbelegung.
Computerprogrammprodukt mit einem computerlesbaren Medium, auf dem ein auf einer Recheneinheit eines Identifizierungssteuergerätes eines Fahrzeugs ausführbarer Programmcode gespeichert ist, wobei der Programmcode, bei Ausführung auf der Recheneinheit, die Recheneinheit dazu veranlasst, basierend auf einer Deep-Canonical-Correlation-Analysis-Methode (100) mindestens einen der folgenden Schritte auszuführen: • Bildung eines ersten neuronalen Netzes (113) und eines zweiten neuronalen Netzes (123) mit einem zueinander symmetrischen Aufbau und mindestens drei verdeckten Schichten, jeweilig durch eine Mehrzahl an Netzwerkparametern bestimmt; • Zuordnung eines jeweiligen Datenvektors aus einem jeweiligen Messvorgang eines ersten Innenraumsensors (111) zu dem ersten neuronalen Netz (113) und eines zweiten Innenraumsensors (121) zu dem zweiten neuronalen Netz (123) als ein jeweiliger Input (112, 122); • Bildung eines jeweiligen Outputs (114, 124) des jeweiligen neuronalen Netzes (113, 123) als eine jeweilige Repräsentation (115, 125); • Bildung einer Verlustfunktion (103) über eine Korrelation (102) zwischen den jeweiligen Repräsentationen (115, 125), wobei die Verlustfunktion (103) minimal ist, wenn die Korrelation (102) maximal ist; • Authentifizierung eines jeden Fahrzeuginsassen einer Gruppe von Fahrzeugnutzern gegenüber dem Output (114, 124) der jeweiligen neuronalen Netze (113, 123) im Rahmen einer Initialisierung, indem ◯ für jeden Fahrzeuginsassen in einer vorgegebenen Zahl an Trainingsdurchläufen mittels eines jeweiligen gleichzeitigen Messvorgangs durch den ersten Innenraumsensor (111) und den zweiten Innenraumsensor (121) ein jeweiliges Datenvektorpaar als jeweiliger Input (112, 122) bereitgestellt wird, und dabei ◯ die Mehrzahl an Netzwerkparametern der jeweiligen neuronalen Netze (113, 123) hinsichtlich eines Minimalwertes der Verlustfunktion (103) mittels eines gradientenbasierten (131, 132) Vorgangs optimiert wird, ◯ nach Abschluss der Trainingsdurchläufe die Repräsentationen (115, 125) des Outputs (114, 124) für alle Datenvektorpaare mit den nun optimierten Netzwerkparametern erneut berechnet werden, darüber eine jeweilige gemittelte Repräsentation gebildet wird, und die jeweilige gemittelte Repräsentation in einem dem jeweiligen Fahrzeuginsassen zugeordneten Nutzerkonto abgespeichert wird; • Identifizierung des jeweiligen Fahrzeuginsassen nach vorausgegangener Initialisierung, indem ◯ mittels eines jeweiligen bei jedem erneuten Zugang des jeweiligen Fahrzeuginsassen zum Innenraum des Fahrzeuges durchgeführten Messvorgangs mindestens ein Datenvektor des Datenvektorpaares dem jeweilig zugehörigen trainierten neuronalen Netz (113, 123) als Input (112, 122) bereitgestellt wird, und ◯ durch Vergleich des mindestens einen Outputs (114, 124) mit den jeweiligen in den Nutzerkonten gespeicherten gemittelten Repräsentationen der jeweilige Fahrzeuginsasse identifiziert wird.
Identifizierungssteuergerät für eine robuste Identifizierung von Fahrzeuginsassen, welches dazu konfiguriert ist, mit Hilfe eines Computerprogrammproduktes nach Anspruch 11 ein Verfahren der Ansprüche 1 bis 5 auszuführen.