-
Die Erfindung bezieht sich auf ein Verfahren und ein Computerprogrammprodukt zur Identifizierung eines Fahrzeugnutzers. Ferner bezieht sich die Erfindung auf Steuergerät für automatisierte Fahrfunktionen.
-
Die
US4641349A offenbart ein Verfahren und ein System zur Identifizierung einer Person anhand von Irisbildern.
-
Aus dem Stand der Technik sind weitere Verfahren zur Identifizierung von Personen bekannt. Zum Beispiel wird auf der Internetseite https://newatlas.com/facial-bloodvessel-identification/28287/, abgerufen am 16.01.2019, ein Verfahren zur Identifizierung einer Person anhand von Adern und Venen im Gesicht der Person beschrieben.
-
Hier setzt die Erfindung an. Der Erfindung hat die Aufgabe zugrunde gelegen, die Identifizierung von Personen, insbesondere von Fahrzeugnutzern, zu verbessern. Insbesondere soll die Erfindung Täuschungsmethoden zur Verschleierung der eigenen Identität von Fahrzeugnutzern, im Englischen spoofing detection genannt, aufdecken.
-
Das erfindungsgemäße computerimplementierte Verfahren zur Identifizierung eines Fahrzeugnutzers löst diese Aufgabe dadurch, dass zunächst eine Bildaufnahme wenigstens eines Körperbereiches des Fahrzeugnutzers erhalten wird. Ausgehend von dieser Bildaufnahme werden Positionen und/oder Größen von Muskeln mittels eines Merkmalsextraktionsalgorithmus bestimmt. Anschließend werden die so bestimmten Muskeln mit gespeicherten Muskelaufnahmen verglichen. Der Fahrzeugnutzer wird in Abhängigkeit dieses Vergleichs identifiziert.
-
Bei einem computerimplementierten Verfahren werden die Verfahrensschritte auf einem Computer ausgeführt. Ein datenverarbeitendes System ist beispielsweise ein Computer. Ein Steuergerät, insbesondere ein elektronisches Steuergerät, im Englischen electronic control unit, abgekürzt ECU, genannt, ganz besonders ein Steuergerät zum Steuern von automatisierten Fahrfunktionen, im Englischen AD Domain ECU genannt, umfasst einen Computer. Steuergeräte bereiten Eingangssignale auf, verarbeiten diese in dem Computer, und stellen Logik-und/oder Leistungspegel als Regel-und/oder Steuersignale bereit.
-
Ein Fahrzeugnutzer ist beispielsweise ein Fahrzeugführer, ein Fahrzeuginsasse oder eine Person, die eine Fahrt mit einem Fahrzeug als Dienstleistung, im Englischen mobility as a service bezeichnet, nutzt. Der Fahrzeugnutzer befindet sich innerhalb oder außerhalb des Fahrzeuges.
-
Eine Bildaufnahme ist eine Aufnahme mittels eines bildgebenden Verfahrens. Eine Bildaufnahme ist beispielsweise eine Aufnahme einer Kamera, eines Radars, Lidars oder eines Ultraschallsensors. Im medizinischen Bereich ist eine Bildaufnahme beispielsweise auch eine Aufnahme mittels Magentresonanztomographie. Die Bildaufnahmen werden dem Computer, der das Verfahren ausführt, beispielsweise mittels entsprechenden Schnittstellen bereitgestellt.
-
Ein Körperbereich des Fahrzeugnutzers ist beispielsweise dessen Gesicht, Oberkörper, Arme, Hände und/oder Beine.
-
Position und/oder Größe von Muskeln bestimmter Körperbereiche sind in der Regel für möglichst alle Personen unterschiedlich. Ferner sind Position und/oder Größe, zum Beispiel Längsausdehnung oder Volumen, gut definierte Messgrößen. Außerdem hat jede Person Muskeln. Des Weiteren ist durch Referenzwerte belegt, dass das Alter einer Person keinen relevanten Effekt auf bestimmte Muskeln, beispielsweise mimische Muskeln, insbesondere Lachmuskel, hat. Position und/oder Größe von Muskeln sind damit individuelle Körpercharakteristika, mittels denen ein Fahrzeugnutzer identifizierbar ist.
-
Ein Merkmalsextraktionsalgorithmus identifiziert charakteristische Merkmale aus einer Bildaufnahme, wie zum Beispiel Positionen und/oder Größen von Muskeln. Vorzugsweise klassifiziert der Merkmalsalgorithmus die bestimmten Muskeln. Bevorzugt ist der Merkmalsextraktionsalgorithmus konfiguriert, die charakteristischen Merkmale in numerische Werte, insbesondere in Merkmalsvektoren, umzurechnen. Mittels Merkmalsvektoren können die charakteristischen Merkmale besonders einfach wiedererkannt werden. Ein Merkmalsextraktionsalgorithmen ist zum Beispiel Histogram of oriented gradients, der low level features, nämlich Kanten und Ecken, insbesondere deren Orientierung, bestimmt.
-
Die gespeicherten Muskelaufnahmen sind Aufnahmen von Muskeln von Personen. Jede gespeicherte Muskelaufnahme ist beispielsweise mit einer Identifizierungsnummer der Person verknüpft, von der die Aufnahme stammt. Diese Aufnahmen wurden vorab derart hinterlegt, dass der Computer, der das Verfahren ausführt, auf diese Aufnahmen, beispielsweise mit entsprechenden Schnittstellen, zugreifen kann. Beispielsweise sind die Aufnahmen in einer zentralen oder dezentralen Datenbank, insbesondere in einer Blockchain, hinterlegt. Insbesondere sind die Aufnahmen in einer Cloud hinterlegt. Die Muskelaufnahmen wurden beispielsweise in Körperscans der Personen mit Magentresonanztomographie oder Sonographie erhalten. Stimmen die mit dem Merkmalsextraktionsalgorithmus bestimmten Positionen und/oder Größen von Muskeln mit Positionen und/oder Größen von Muskeln in gespeicherten Muskelaufnahmen überein, kann der Fahrzeugnutzer, von dessen Körperbereich die Bildaufnahme stammt, über die Verknüpfung der gespeicherten Muskelaufnahme mit der Identifizierungsnummer der Person identifiziert werden. Der Vergleich mit gespeicherten Muskelaufnahmen wird bevorzugt mit Mitteln der künstlichen Intelligenz durchgeführt, zum Beispiel mit künstlichen neuronalen Netzwerken.
-
Die erfindungsgemäße Identifizierung eines Fahrzeugnutzers über Position und/oder Größe von Muskeln verbessert die Identifizierung des Fahrzeugnutzers und erhöht damit die Sicherheit, insbesondere in Bereichen, in denen hohe Anforderungen an die Sicherheit von Systemabläufen gestellt werden, beispielsweise im Automotive-Bereich. Nicht nur Muskeln des Gesichts eines Fahrzeugnutzers werden bestimmt, sondern auch Muskeln an anderen Körperbereichen, zum Beispiel Beine oder Arme. Selbst wenn der Fahrzeugnutzer sein Gesicht verdeckt, ist er durch Bestimmen der Position und/oder Größe von Muskeln anderer Körperbereiche identifizierbar. Damit wird ein spoofing erkannt.
-
Bevorzugt ist der Merkmalsextraktionsalgorithmus ein Faltungsnetzwerk, das als Eingabe eine Bildaufnahme eines Körperbereichs erhält und das trainiert ist, Muskeln in der Bildaufnahme zu erkennen und als Ausgabe Positionen und/oder Größen der erkannten Muskeln bereitzustellen. Ein Faltungsnetzwerk, im Englischen convolutional neural network genannt, ist ein künstliches neuronales Netzwerk, in dem ein Filter auf eine Schicht von Neuronen unabhängig von der Position mit den gleichen Gewichtungsfaktoren angewendet wird. Das Faltungsnetzwerk umfasst mehrere Poolingschichten zwischen den Faltungsschichten. Poolingschichten verändern die Dimension einer zweidimensionalen Schicht in Breite und Höhe. Poolingschichten werden auch für höherdimensionale Schichten verwendet. Die Architektur des Faltungsnetzwerks ist optimiert, high level features, das heißt Interpretationen von Merkmalen und deren Zusammenhänge, zu bestimmen. Während des Trainings wurde das Faltungsnetzwerk mit Bildaufnahmen und dazugehörigen anatomischen Muskeldarstellungen vorwärtsgespeist und hat dabei gelernt, ausgehend von einer Bildaufnahme Position und/oder Größe von Muskeln zu bestimmen. Die Methoden des Trainings und die Identifizierung des Fahrzeugnutzers über bestimmte Muskeln sind ähnlich zu Methoden der forensischen Gesichtsrekonstruktion. In der forensischen Gesichtsrekonstruktion werden Muskeln und weiches Gewebe anhand der Geometrie eines Schädels oder Schädelknochens bestimmt.
-
Vorzugsweise wird die Bildaufnahme mittels wenigstens einer Innenraumkamera und/oder wenigstens eines Außenraumbildgebers eines Fahrzeuges erhalten. Damit kann das Verfahren mittels eines Innenraumbeobachtungssystems, im Englischen interior observation system genannt, oder eines Außenraumbeobachtungssystems, im Englischen exterior observation system genannt, eines Fahrzeuges, insbesondere eines automatisiert betreibbaren Fahrzeuges durchgeführt werden. Innenraumbeobachtungssysteme erfassen Fahrzeuginsassen. Außenraumbeobachtungssysteme erfassen Fahrzeugnutzer im Außenbereich, zum Beispiel Passagiere, die an einer Haltestelle auf einen autonom fahrenden people-mover warten. Damit können Fahrzeugnutzer von einem automatisierten Fahrzeug, insbesondere einem autonom fahrenden Fahrzeug, über Muskelbestimmung verbessert identifiziert werden.
-
Besonders bevorzugt ist die Innenraumkamera eine Lichtlaufzeitkamera und/oder der Außenraumbildgeber ein an einem Außenbereich des Fahrzeuges anordenbarer Ultraschallsensor ist. Mit der Lichtlaufzeitkamera, im Englischen time-of-flight (TOF) camera genannt, wird ein Tiefenbild des Fahrzeugnutzers erhalten. Dies ist insbesondere vorteilhaft zur dreidimensionalen Muskelbestimmung. Mittels des an dem Fahrzeug anordenbaren Ultraschallsensors können die Muskeln über Sonographie bestimmt werden. Des Weiteren kann der Ultraschallsensor als Einparkhilfe eines Fahrerassistenzsystems dienen.
-
Das erfindungsgemäße Steuergerät ist konfiguriert für automatisierte Fahrfunktionen und umfasst eine erste Schnittstelle, um eine Bildaufnahme wenigstens eines Körperbereichs eines Fahrzeugnutzers zu erhalten. Ferner umfasst das Steuergerät einen Computer. Das Steuergerät löst die eingangs genannt Aufgabe dadurch, dass der Computer konfiguriert ist, das erfindungsgemäße Verfahren auszuführen, um den Fahrzeugnutzer zu identifizieren. Des Weiteren umfasst das Steuergerät eine zweite Schnittstelle, um die Identifizierung des Fahrzeugnutzers auszugeben. Die Ausgabe erfolgt beispielsweise visuell, taktil und/oder akustisch. Das Steuergerät detektiert damit ein spoofing des Fahrzeugnutzers. Im Fall eines detektierten spoofings schaltet das Steuergerät beispielsweise den Betrieb des Fahrzeuges ab, vorzugsweise in einen fail operational Zustand. Alternativ oder zusätzlich setzt das Steuergerät eine Benachrichtigung an einen Betreiber oder Halter des Fahrzeuges oder an eine Ordnungsbehörde ab, um über das spoofing zu informieren.
-
Der Computer des Steuergeräts ist beispielsweise als ein System-on-a-Chip realisiert, das heißt alle oder zumindest ein großer Teil der Funktionen sind auf einem Chip integriert. Der Computer umfasst beispielsweise einen Mehrkernprozessor und Speichermodule. Der Mehrkernprozessor ist für einen Signal-/Datenaustausch mit den Speichermodulen konfiguriert, beispielsweise umfasst der Mehrkernprozessor ein Bussystem. Die Speichermodule bilden den Arbeitsspeicher. Die Speichermodule sind beispielsweise RAM, DRAM SDRAM oder SRAM. Bei einem Mehrkernprozessor sind mehrere Kerne auf einem einzigen Chip, das heißt einem Halbleiterbauelement, angeordnet sind. Mehrkernprozessoren erreichen eine höhere Rechenleistung und sind kostengünstiger in einem Chip zu implementieren im Vergleich zu Mehrprozessorsystemen, bei denen jeder einzelne Kern in einem Prozessorsockel angeordnet ist und die einzelnen Prozessorsockel auf einer Hauptplatine angeordnet sind. Der Computer umfasst vorzugsweise mehrere zentrale Verarbeitungsprozessoren, im Englischen als Central Processing Unit, abgekürzt CPU, bezeichnet. Der Computer umfasst auch mehrere Grafikprozessoren, im Englischen als Graphic Processing Unit, abgekürzt GPU, bezeichnet. Grafikprozessoren besitzen eine spezielle Mikroarchitektur zum parallelen Prozessieren von Abläufen. Insbesondere umfasst ein Grafikprozessor wenigstens eine Prozesseinheit, die speziell zum Ausführen von Tensor- und/oder Matrixmultiplikationen ausgeführt ist. Tensor- und/oder Matrixmultiplikationen sind die zentralen Rechenoperationen für das Deep Learning. Der Computer umfasst vorzugsweise auch Hardware Beschleuniger für künstliche Intelligenz, insbesondere sogenannte Deep Learning Accelerators. Damit ist der Computer insgesamt für maschinelles Lernen optimiert und skalierbar, das heißt der Computer kann für verschiedene SAE J3016 Stufe angepasst werden.
-
Die Erfindung bezieht sich auch auf die Verwendung eines erfindungsgemäßen Steuergeräts in einem automatisiert betreibbaren Fahrzeug, insbesondere in einem autonom fahrenden Fahrzeug, zum Beispiel eines autonom fahrenden peoplemovers.
-
Ein people-mover ist ein universell ausbau- und einsetzbarer Kleinbus, der insbesondere für den Personennahverkehr und Gütertransport ausgerüstet werden kann. Der people-mover dient der Beförderung von Personen und/oder Gütern auf kurzen Strecken, zum Beispiel in Städten, auf Werksgeländen, auf Geländen von Forschungseinrichtungen wie zum Beispiel Universitäten oder außeruniversitären Einrichtungen, Flughäfen oder Messen. Abmessungen in Meter des people-mover nach Länge, Breite und Höhe betragen besonders bevorzugt 4,65 x 1,95 x 2,50. Der people-mover umfasst beispielsweise 10 Sitzplätze und 5 Stehplätze. Abmessungen in Meter des Passagierraums, das heißt des Raums, in dem Passagiere in den people-mover ein- und aussteigen und sich während der Beförderung aufhalten, nach Länge, Breite und Höhe betragen beispielsweise 3,00 x 1,85 x 2,20. Das Leergewicht des peoplemovers beträgt zum Beispiel 2 t. Der people-mover umfasst bevorzugt ein elektrisches Antriebssystem, vorzugsweise einen elektrischen Achsantrieb mit einer Leistung von 150 kW, und besitzt eine Batteriekapazität für eine Einsatzdauer von bis zu 10 h. Der people-mover ist automatisiert betreibbar, vorzugsweise bis zur Automatisierungsstufe SAE Level 5, das heißt vollautomatisiert oder autonom betreibbar.
-
Ein weiterer Aspekt der Erfindung ist ein Computerprogrammprodukt zur Identifizierung eines Fahrzeugnutzers. Das Computerprogrammprodukt umfasst Softwarecodeabschnitte, die bewirken, dass das erfindungsgemäße Steuergerät ein erfindungsgemäßes Verfahren ausführt, wenn das Computerprogramm auf dem Steuergerät läuft.
-
Die Softwarecodeabschnitte des Computerprogrammprodukts stellen eine Abfolge von Befehlen dar, durch die das Steuergerät bei geladenem Computerprogramm veranlasst wird, den Fahrzeugnutzer zu identifizieren. Das Computerprogrammprodukt ruft einen technischen Effekt hervor, nämlich die Identifizierung des Fahrzeugnutzers mittels technischen Mitteln, zum Beispiel eines Computers.
-
Ein weiterer Aspekt der Erfindung ist ein computerlesbarer Datenträger, auf dem das erfindungsgemäße Computerprogrammprodukt gespeichert ist. Die Softwarecodeabschnitte des Computerprogrammprodukts sind auf dem Datenträger gespeichert. Der Computer des Steuergeräts, insbesondere dessen Prozessoren, lädt und führt den Datenträger aus in den Speichermodulen des Computers.
-
Ein weiterer Aspekt der Erfindung ist ein Datenträgersignal, das das erfindungsgemäße Computerprogrammprodukt überträgt. Indem das Computerprogrammprodukt mittels des Datenträgersignals über eine Internetverbindung auf ein Steuergerät übertragen wird, auch Aktualisierung mittels software over the air (SOTA) genannt, wird das Steuergerät nachgerüstet, das erfindungsgemäße Verfahren auszuführen.
-
Durch das computerimplementierte Verfahren, das Computerprogrammprodukt, den computerlesbaren Datenträger und das Datenträgersignal wird die Erfindung als Software, Hardware oder einer Kombination von Software und Hardware bereitgestellt.
- 1 zeigt ein Ausführungsbeispiel der Erfindung.
-
Ein Fahrzeugnutzer 1 ist dargestellt als ein Fahrzeuginsasse in einem Innenraum eines Fahrzeuges 5. Bei dem Fahrzeug 5 handelt es sich beispielsweise um ein Passagierfahrzeug. Das Fahrzeug 5 ist konfiguriert für einen autonomen Fahrbetrieb. In dem Innenraum des Fahrzeuges 5 ist eine Innenraumkamera 3 angeordnet. Die Innenraumkamera 3 ist eine TOF-Kamera. Die Innenraumkamera 3 stellt ein Tiefenbild des Fahrzeugnutzers 1 bereit, zum Beispiel von dem Gesicht des Fahrzeugnutzers 1. In dem ersten Verfahrensschritt wird das Tiefenbild als Bildaufnahme wenigstens eines Körperbereichs des Fahrzeugnutzers 1 erhalten. Das Fahrzeug 5 umfasst auch einen Außenraumbildgeber 4, beispielsweise eine Außenraumkamera. Über die Außenraumkamera 4 werden Bildaufnahmen von Fahrzeugnutzern 1 erhalten, die sich außerhalb des Innenraums des Fahrzeuges 5 befinden.
-
Ausgehend von der Bildaufnahme bestimmt ein Merkmalsextraktionsalgorithmus AI in einem nächsten Schritt Positionen und/oder Größen von beispielsweise mimischen Muskeln 2 in der Bildaufnahme. Der Merkmalsextraktionsalgorithmus AI hat mittels künstlicher Intelligenz, insbesondere maschinellem Lernen gelernt, Positionen und/oder Größen von Muskeln 2 in Bildaufnahmen zu bestimmen. Der Merkmalsextraktionsalgorithmus AI ist beispielsweise ein Faltungsnetzwerk.
-
Sind Positionen und/oder Größen der Muskeln 2 bestimmt, werden diese mit bereits gespeicherten Muskelaufnahmen verglichen. Die gespeicherten Muskelaufnahmen sind in einer Datenbank D hinterlegt. Die Datenbank D ist beispielsweise ein cloudbasierter Speicher. Fällt der Vergleich positiv aus, ist der Fahrzeugnutzer 1 identifiziert.
-
Die einzelnen Verfahrensschritte sind beispielsweise in einem Softwarecode abgebildet. Der Softwarecode ist in einem Computerprogrammprodukt 7 integriert. Das Computerprogrammprodukt 7 wird in einem Steuergerät 6 des Fahrzeuges 5 ausgeführt. Das Steuergerät 6 ist konfiguriert, die Längs- und Quersteuerung des Fahrzeuges 5 in Abhängigkeit von einer Umfeldwahrnehmung des Fahrzeuges 5 autonom zu steuern. Durch die Ausführung des Computerprogrammproduktes 7 detektiert das Steuergerät 6 ein spoofing des Fahrzeugnutzers 1. Damit wird die Sicherheit des Fahrzeugbetreibens erhöht.
-
Bezugszeichenliste
-
- 1
- Fahrzeugnutzer
- 2
- Muskel
- 3
- Innenraumkamera
- 4
- Außenraumbildgeber
- 5
- Fahrzeug
- 6
- Steuergerät
- 7
- Computerprogrammprodukt
- AI
- Merkmalsextraktionsalgorithmus
- D
- Datenbank
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
