-
Die
Erfindung betrifft ein Verfahren zur Erkennung und/oder Identifizierung
eines Fahrers eines Kraftfahrzeugs und/oder einer Person im Bereich eines
Kraftfahrzeugs und ein zugehöriges
Kraftfahrzeug.
-
Im
Fahrzeugbereich werden derzeit Systeme entwickelt, mit denen es
möglich
ist, den Zustand eines Fahrers des Kraftfahrzeugs anhand der Augen, beispielsweise
des Lidschlusses, der Pupillen usw., sowie der Art und Weise, wie
er seine Hände
am Lenkrad hält,
beispielsweise hinsichtlich der Druckkraft und der Feuchtigkeit,
zu ermitteln. Auf Basis dieser Daten kann dann eine Warnung an den
Fahrer ausgegeben beziehungsweise es kann in Fahrerassistentsysteme
eingegriffen werden. Des Weiteren befinden sich Systeme in der Entwicklung,
mit denen es möglich
ist, einen Fahrer anhand der Geometrie seines Kopfes oder eines
Iris-Scans zu identifizieren.
-
Diese
in der Entwicklung befindlichen Systeme beruhen jedoch auf Teilaspekten
der menschlichen Äußerung beziehungsweise
einzelnen Körpermerkmalen.
Dadurch ergibt sich unter Umständen das
Problem, dass ein solches System bei ungünstigen (äußeren) Umständen nicht einwandfrei funktioniert.
Dies kann beispielsweise der Fall sein, wenn bei einem die Augen
erfassenden System der Fahrer eine Sonnenbrille trägt. Insgesamt
ist somit die Güte dieser
Systeme nicht so hoch, wie es für
einen Einsatz im Fahrzeug erforderlich ist.
-
Der
Erfindung liegt damit die Aufgabe zu Grunde, ein Verfahren zur Erkennung
und/oder Identifizierung eines Fahrers eines Kraftfahrzeugs und/oder einer
Person im Bereich eines Kraftfahrzeugs anzugeben, das diesbezüglich verbessert
ist.
-
Zur
Lösung
dieser Aufgabe ist bei einem Verfahren dieser Art erfindungsgemäß vorgesehen, dass
mittels eines Kamerasystems wenigstens eine Bewegung und/oder wenigstens
ein Bewegungsablauf des Fahrers und/oder der Person aufgenommen und
zur Erkennung und/oder Identifizierung des Fahrers und/oder der
Person seitens einer Bildverarbeitungseinheit analysiert wird.
-
Es
ist also zunächst
ein Kamerasystem vorgesehen, bei dem es sich beispielsweise um eine
Anordnung mehrerer Kameras im und am Kraftfahrzeug handeln kann.
Denkbar ist ein Kamerasystem, das eine Infrarotkamera, eine Stereokamera,
verschiedene bildgebende Sensoren und dergleichen aufweist. In anderen
Ausgestaltungen kann auch lediglich eine einzelne Kamera beziehungsweise
ein System gleichartiger Kameras, die im Fahrzeug verteilt sind, vorgesehen
sein. Insbesondere kann eine Kamera des Kamerasystems im Kraftfahrzeug
derart angeordnet sein, dass der Bereich der Mittelkonsole beziehungsweise
der rechten Lenkradseite erfasst wird.
-
Mit
Hilfe des Kamerasystems wird der Fahrer aufgenommen. Ebenso kann
eine andere Person aufgenommen werden, die im Begriff ist, in das
Fahrzeug einzusteigen, oder sich bereits in diesem befindet. Mit
den Bildaufnahmen beziehungsweise Filmaufnahmen des Kamerasystems
werden Bewegungsmuster des Fahrers beziehungsweise der Person erfasst.
Werden mehrere Bildaufnahmen beziehungsweise Filmaufnahmen aufgenommen,
so zeigen diese zwangsläufig
zumindest im Vergleich Bewegungen, die die Person gewollt oder ungewollt ausführt. Die
Bilddaten des Kamerasystems werden zur Erkennung beziehungsweise
Auswertung der Bewegungen, Bewegungsabläufe beziehungsweise Bewegungsmuster
an eine Bildverarbeitungseinheit weitergegeben, die diese analysiert.
-
Das
bedeutet, dass die Bildverarbeitungseinheit beispielsweise mit Hilfe
geeigneter Algorithmen die Unterschiede nacheinander aufgenommener
Bilder erfasst, um so Bewegungen aus den Bildern zu extrahieren.
Anhand in der Bildverarbeitungseinheit abgespeichert beziehungsweise
dieser zum Zugriff vorliegender bekannter Bewegungen beziehungsweise
Bewegungsmuster oder älterer
Aufnahmen des Kamerasystems kann letztlich darauf zurückgeschlossen
werden, ob der Nutzer, also der Fahrer beziehungsweise die Person,
bekannt ist oder nicht. Dementsprechend wird beispielsweise ein
neues Profil angelegt oder auf ein bekanntes Profil z. B. für die Einstellung
verschiedener Fahrzeugsysteme zurückgegriffen. Erfindungsgemäß findet
somit eine Erkennung beziehungsweise Identifizierung des Fahrers
oder der Person statt. Dies bedeutet, dass eine Erkennung gegebenenfalls
auch derart gestaltet sein kann, dass die Bildverarbeitungseinheit
den Rückschluss
zieht, dass die Person, die das Fahrzeug fährt beziehungsweise im Begriff
ist, dieses zu starten, dem System bisher nicht bekannt ist. Gegebenenfalls
kann die Erkennung auch eine Einordnung in bestimmte Personenklassen,
also eine Klassifikation, sein.
-
Insgesamt
ist somit durch die Analyse von Bewegungen beziehungsweise Bewegungsabläufen und
allgemein von Mustern eine Individualisierung und Authentifizierung
von Personen im Bereich eines Kraftfahrzeugs möglich. Es kann also durch die
Auswertung von Bewegungen zuverlässig
auf einen bestimmten Fahrer oder auch einen Beifahrer oder einen
weiteren Insassen rückgeschlossen
werden. Ebenso erfolgt eine (negative) Auswertung für Personen,
die sich dem Kraftfahrzeug unbefugt nähern oder sogar in dieses eindringen
und sich so Zugang zu diesem verschaffen. Die Erkennung beziehungsweise
Identifizierung anhand von Bewegungen kann somit erfindungsgemäß auf das
Kraftfahrzeug selbst beschränkt
sein (also auf den Innenraum), aber ebenso einen bestimmten Bereich
in der Nähe
des Kraftfahrzeugs, beispielsweise den Einstiegsbereich, umfassen.
-
Durch
die Aufnahme von Bewegungen und Bewegungsabläufen wird ein sehr individueller
und charakteristischer Gesamtaspekt der jeweiligen Person erfasst.
Bewegungen sind von Person zu Person sehr unterschiedlich und lassen
sich auch unter Bedingungen erfassen, bei denen andere Systeme nicht
mehr einwandfrei arbeiten. Beispielsweise funktioniert die Analyse
von Bewegungen auch dann noch, wenn der Fahrer eine Sonnenbrille
trägt oder dergleichen.
Zudem ist eine Bewegungserfassung derart umfassend, dass selbst
bei einem Fehlschlag einer Zuordnung einer einzelnen Bewegung durch die
Vielzahl von Bewegungen, die eine Person innerhalb kürzester
Zeit macht, die sichere Erkennung noch gewährleistet bleibt. Damit ist
ohne größeren Aufwand
für den
Fahrer im Unterschied zu rein biometrischen Systemen, bei denen
gegebenenfalls die Erkennung wiederholt werden muss beziehungsweise
ohnehin ein aktives Tun des Fahrers erforderlich ist, eine Identifizierung
einfach möglich.
-
Im
Rahmen der Erfindung können
wenigstens eine bewusste und/oder unbewusste Bewegung und/oder wenigstens
ein bewusster und/oder unbewusster Bewegungsablauf, insbesondere
eine Geste, des Fahrers und/oder der Person aufgenommen und analysiert
werden. Bewegungen beziehungsweise Bewegungsabläufe sind somit erfindungsgemäß in einem
sehr weiten Sinne zu verstehen. Eine Bewegung kann beispielsweise
eine Bewegung des gesamten Körpers
sein, beispielsweise die Art und Weise, wie der Fahrer geht, wenn
er sich dem Fahrzeug nähert,
oder auch nur eine kurze Handbewegung, die der Fahrer zur Bedienung
eines Fahrzeugsystems beziehungsweise bei Verärgerung oder bei einer schwierigen
Fahrsituation ausführt.
-
Insbesondere
können
unbewusste Bewegungen erfasst werden, die zum Teil bewussten Bewegungen überlagert
sind. Beispielsweise ist der bewusste Ablauf des Drehens des Zündschlüssels in
aller Regel von unbewussten und unsteuerbaren Bewegungen überlagert.
Dadurch wird es anderen Personen unmöglich, eine solche Bewegung
nachzuahmen, während
gleichzeitig eine eindeutige Bestimmung beziehungsweise Erkennung
des Fahrers gewährleistet
ist. Ein Mensch macht in bestimmten Situationen, beispielsweise
bei Stress oder Angst, bestimmte unbewusste Gesten, die erfindungsgemäß ebenfalls
zur Erkennung beziehungsweise Identifizierung dieser Person eingesetzt
werden können.
Da der Fahrer oder auch eine Person direkt nach dem Einsteigen in
das Auto anfängt,
unbewusst zu gestikulieren oder bestimmte Bewegungen (bewusst oder unbewusst)
auszuführen,
ist es mög lich,
sehr schnell auf den jeweiligen Fahrer beziehungsweise die Person
zu schließen,
so diese der Bildverarbeitungseinheit bereits bekannt sind.
-
Im
Rahmen der Analyse kann aus dem Vorliegen einer bestimmten Bewegung
und/oder eines bestimmten Bewegungsablaufs, insbesondere einer situationsspezifischen
Bewegung und/oder eines situationsspezifischen Bewegungsablaufs,
und/oder aus der Art der Ausführung
einer bestimmten Bewegung und/oder eines Bewegungsablaufs auf den Fahrer
und/oder auf die Person rückgeschlossen werden.
-
Beispielsweise
kann seitens des Kamerasystems aufgenommen werden, wie der Fahrer
oder die Person die Tür öffnet. Des
Weiteren kann das bereits erwähnte
Drehen des Zündschlüssels aufgenommen
werden, das als bewusster Vorgang vom unbewussten Gesten überlagert
ist. Andere situationsspezifische Bewegungen sind beispielsweise stressbedingte
Bewegungen in schwierigen Fahrsituationen.
-
Beispielsweise
kann aus dem Vorliegen einer bestimmten Bewegung, so beispielsweise
daraus, dass eine Person z. B. generell direkt nach dem Einsteigen
eine Radioeinstellung vornimmt beziehungsweise zum Innenspiegel
greift oder dergleichen, auf den Fahrer oder die Person rückgeschlossen
werden. Es kann also im Rahmen der Erkennung ausgewertet werden,
ob eine bestimmte Bewegung vorgenommen wurde, woraus Schlüsse auf
die Identität
beziehungsweise das Individuum der Person geschlossen werden können. Des
Weiteren kann ergänzend
oder alternativ die Art der Ausführung
bestimmter Bewegungen analysiert werden, die aus den Bilddaten extrahiert
wurden. Beispielhaft zu nennen ist neben den bereits erwähnten Bewegungen
z. B. die Art und Weise der Vornahme des Anschnallvorgangs oder
die Handbewegung beim Schalten und dergleichen.
-
Wenigstens
eine Bewegung und/oder wenigstens ein Bewegungsablauf kann darüber hinaus zur
Fahrer- und/oder Personenzustandserkennung analysiert werden und/oder
es kann ergänzend
wenigstens ein weiteres Fahrer- und/oder
Personenerkennungssystem, insbesondere eine Gesichtserken nung und/oder
ein Iris-Scan und/oder ein biometrisches System, verwendet werden.
Beispielsweise kann durch die Analyse der Bewegungen erkannt werden,
dass der Fahrer sehr müde
ist, wenn beispielsweise der Kopf beim Fahren hin und wieder nach
vorne fällt.
Des Weiteren können
anhand schneller oder fahriger Gesten Stresszustände des Fahrers erkannt werden.
Eine solche Personen- beziehungsweise Fahrerzustandserkennung ist
ergänzend
insbesondere dann möglich,
wenn umfassende Daten der Bewegungen beziehungsweise des Bewegungsablaufs
aus vorherigen Fahrten vorliegen, beispielsweise als in der Bildverarbeitungseinheit
(ausgewertet) abgespeicherte Bilddaten beziehungsweise Bewegungsdaten.
-
Die
Identifizierung beziehungsweise Authentifizierung des Fahrers oder
einer anderen Person kann mit weiteren Fahrer- beziehungsweise Personenerkennungssystemen
kombiniert durchgeführt werden.
Beispielsweise können
zusätzlich
eine Gesichtserkennung beziehungsweise eine Erkennung der Kopfgeometrie
oder ein Iris-Scan beziehungsweise ein anderes biometrisches System
wie eine Fingerabdruckerkennung und dergleichen eingesetzt werden.
Durch das erfindungsgemäße Verfahren werden
dann häufige
Fehlerquellen dieser Systeme aufgefangen beziehungsweise es wird
durch die Kombination von mindestens zwei Erkennungssystemen eine
höhere
Sicherheit erreicht. Damit kann die Güte der Erkennung verbessert
werden und die Anzahl von Fehlklassifikationen beziehungsweise Fehlerkennungen
reduziert werden.
-
Das
Kamerasystem kann derart im und/oder am Kraftfahrzeug angeordnet
sein oder werden, dass wenigstens eine Bewegung und/oder ein Bewegungsablauf
des Fahrers und/oder der Person beim Einsteigen und/oder für eine bestimmte
Zeit nach dem Einsteigen in das Kraftfahrzeug und/oder im Bereich
des Oberkörpers
und/oder des Kopfes und/oder der Arme des sich im Kraftfahrzeug
befindenden Fahrers und/oder der Person aufgenommen und seitens
der Bildverarbeitungseinheit analysiert werden.
-
Das
Kamerasystem, das aus mehreren oder einer einzelnen Kamera bestehen
kann, erfasst also beispielsweise den Bereich über der Mittelkonsole beziehungsweise
die rechte Lenkradseite, die für
Bewegungen wie das Drehen des Zündschlüssels, Schaltvorgänge und
dergleichen relevant ist.
-
Bewegungen
können
auch bereits beim Einsteigen erfasst werden, beispielsweise, über Kameras,
die den türnahen
Außenbereich
des Kraftfahrzeugs erfassen und entsprechend in oder außen am Kraftfahrzeug
angeordnet sind. Es kann auch direkt der Einstiegsvorgang, der ebenfalls
durch die Überlagerung
von unbewussten mit bewussten Gesten charakterisiert ist, aufgenommen
und im Rahmen der Analyse ausgewertet werden. Hierzu sind Kameras relevant,
die den Sitzbereich sowie den Bereich zur Tür hin erfassen.
-
Die
Bewegungen beziehungsweise Bewegungsabläufe können nur den Einstiegsvorgang
betreffen beziehungsweise die Aufnahmen können für eine bestimmte fest definierte
Zeit nach dem Einsteigen aufgezeichnet werden. Ebenso ist es denkbar, dass
Bewegungen während
der gesamten Fahrt und auch bis zum Aussteigen hin erfasst werden,
insbesondere, um für
weitere Fahrten Bewegungsmuster zu extrahieren. Eine Bewegungsanalyse
kann auch solange erfolgen, bis der Fahrer mit einer hinreichenden
vorgegebenen Wahrscheinlichkeit sicher identifiziert ist.
-
Die
Kameras können
beispielsweise lediglich den Kopf oder Oberkörperbereich oder den Bereich
der Hände
erfassen beziehungsweise zur Erstellung einer Aufnahme des Oberkörpers mit
dem Kopf sowie den Händen
geeignet angeordnet sein. In dieser Hinsicht sind unterschiedlichste
Ausgestaltungen des Kamerasystems, das Kameras verschiedener Funktionsprinzipien
umfassen kann, denkbar. Beispielsweise können Infrarotkameras für Wärmebilder
verwendet werden. Es können
unterschiedliche Sensoren für
die Bildaufnahmen, jeweils mit bestimmten Eigenschaften, beispielsweise
Photonic-Mixer-Device-Sensoren,
verwendet werden, ebenso Stereokameras und dergleichen.
-
Die
Aufnahme und Analyse von Bewegungen und/oder Bewegungsabläufen kann
kontinuierlich oder in Zeitintervallen und/oder ereignisabhängig durch geführt und/oder
durch ein Aufschließen
des Fahrzeugs und/oder eine Annäherung
an das Fahrzeug aktiviert werden und/oder es kann wenigstens eine
Aufnahme einer Bewegung und/oder eines Bewegungsablaufs, insbesondere
für eine
externe Anfrage über
eine Datenverbindung und/oder als Referenzaufnahme, abgespeichert
werden.
-
Eine
Abspeicherung kann beispielsweise in der Bildverarbeitungseinheit,
die hierzu eine oder mehrere Speichereinrichtungen umfasst, erfolgen. Die
Abspeicherung kann aber ebenso in anderen vorhandenen Speichereinheiten
des Kraftfahrzeugs vorgenommen werden. Insbesondere ist eine Abspeicherung
in einer Datenbank beziehungsweise einem datenbankähnlich strukturierten
System, das eine einfache Abfrage erlaubt, vorteilhaft.
-
Die
Bewegungen können
erfindungsgemäß also kontinuierlich,
beispielsweise mit dem Einsteigen angefangen und während des
Fahrbetriebs fortgesetzt, aufgenommen werden. Des Weiteren ist es möglich, in
bestimmten Zeitintervallen Bewegungen und Bewegungsabläufe aufzunehmen.
Dadurch kann gegebenenfalls nach und nach eine Erkennung sicherer
gemacht werden beziehungsweise es können zusätzlich Daten im Hinblick auf
den Zustand der Person beziehungsweise des Fahrers gewonnen werden.
-
Die
Bewegungs- oder Bewegungsablaufsaufnahme beziehungsweise -analyse
kann zudem ereignisabhängig
durchgeführt
werden. Beispielsweise kann eine Aufnahme durch einen Anschnallvorgang
angestoßen
werden oder bei einer bestimmten Geschwindigkeit beziehungsweise
bei Fahrdaten, die auf Ungewöhnlichkeiten
schließen
lassen und die hierzu als solche beziehungsweise ausgewertet als Signal
zum Anstoßen
des Bildaufnahmebetriebs der Bildverarbeitungseinheit oder direkt
dem Kamerasystem zugeführt
werden. In einem solchen Fall erfolgt die Fahrererkennung nicht
immer, sondern bei Bedarf.
-
Des
Weiteren kann es zweckmäßig sein,
die Bewegungs- beziehungsweise Bewegungsablaufsaufnahme und -analyse
durch ein Aufschließen
des Fahrzeugs beziehungsweise einen Annäherungsvorgang an das Fahrzeug zu
aktivieren. Beispielsweise kann die Aufnahme dann beginnen, wenn
eine Fernbedienung zum Öffnen
des Fahrzeugs betätigt
wird beziehungsweise wenn ein Näherungssensor
des Fahrzeugs ein entsprechendes Signal an die Bildverarbeitungseinheit
beziehungsweise eine Entscheidungseinheit, die für den Aufnahmebetrieb zuständig sein
kann, aussendet.
-
Die
Bewegungen beziehungsweise Bewegungsabläufe werden zweckmäßigerweise
abgespeichert, um einen Pool von Bewegungen beziehungsweise Bewegungsmustern
vorliegen zu haben, der einem (damit) bekannten Nutzer zuzuordnen
ist. Dabei kann die Abspeicherung auf neue Muster beziehungsweise
neue Bewegungen beschränkt
werden. Gegebenenfalls können
auch unter Umständen nur
leicht unterschiedliche Bewegungsabläufe, die ein und derselbe Fahrer
beziehungsweise ein und dieselbe Person bei Durchführung einer
identischen Aktivität
ausgeführt
hat, aus Vergleichsgründen
abgespeichert werden, um individuelle Varianzen zu berücksichtigen.
Eine Abspeicherung kann auch im Hinblick darauf erfolgen, eine externe
Abfrage über eine
Datenverbindung zu ermöglichen.
Beispielsweise können
Bewegungsdaten abgespeichert werden, die dann über ein Mobiltelefon usw. abgefragt
werden können.
Als Funktechnik können
dabei der Standard des Universal Mobile Telecommunications Systems (UMTS)
oder ein anderer Datenübertragungsstandard
beziehungsweise ein anderes Verfahren zur Datenübertragung verwendet werden.
-
Durch
eine Fernabfrage von Bewegungsdaten kann insbesondere bei einem
unbefugten Zugriff auf ein Fahrzeug, wenn dieses beispielsweise
durch eine bis dato unbekannte Person gestohlen wurde, auf die (ausgewerteten)
Bilddaten zugegriffen werden, um so Informationen über einen
unbefugten Nutzer zu erhalten und diesen gegebenenfalls identifizieren
zu können.
-
Beim
erfindungsgemäßen Verfahren
kann die Bildverarbeitungseinheit die wenigstens eine Bewegung und/oder
den wenigstens einen Bewegungsablauf mit Hilfe wenigstens eines
Algorithmus, insbesondere wenigstens eines Hidden-Markov-Modells, analysieren.
Ein Hidden-Markov-Modell ist ein stochastisches auf zwei Zufallsprozessen
basierendes Modell. Es werden dem gemäß Zustände und Übergangswahrscheinlichkeiten
zur Analyse herangezogen, wozu von außen zugängliche Ausgangssymbole beobachtet
werden, um auf einen ersten (verborgenen) Zufallsprozess mit seinen
einzelnen Zuständen
zu schließen.
-
Darüber hinaus
können
verschiedene andere Algorithmen, insbesondere aus der Bildverarbeitung
bekannte Algorithmen, herangezogen werden, um die Bewegungen und
Bewegungsmuster auszuwerten.
-
Wenigstens
eine aufgenommene Bewegung und/oder wenigstens ein aufgenommener
Bewegungsablauf kann seitens einer Entscheidungseinheit mit wenigstens
einer in dieser abgespeicherten und/oder dieser zum Zugriff zur
Verfügung
stehenden Bewegung und/oder einem Bewegungsablauf verglichen werden
und es kann gegebenenfalls in Abhängigkeit des Vergleichsergebnisses
auf einen bekannten Fahrer und/oder eine bekannte Person rückgeschlossen
und/oder in der Entscheidungseinheit ein neuer Fahrer und/oder eine
neue Person angelegt werden, wobei gegebenenfalls für einen
bekannten Fahrer und/oder eine bekannte Person wenigstens eine noch
nicht abgespeicherte neu aufgenommene Bewegung und/oder wenigstens
ein Bewegungsablauf zur Verbesserung der Erkennung und/oder Identifizierung
abgespeichert wird.
-
Diese
Entscheidungseinheit kann beispielsweise ein Teil der Bildverarbeitungseinheit
beziehungsweise dieser zugeordnet sein oder ein separates Bauteil
darstellen. Die Entscheidungseinheit verfügt zweckmäßigerweise über eine Speichereinrichtung
beziehungsweise Möglichkeiten
zum Zugriff auf einen externen Speicher.
-
Die
Entscheidungseinheit kann als Recheneinrichtung beziehungsweise
Mikroprozessor ausgebildet sein, der, gegebenenfalls in Kombination
mit einer geeigneten Software, dazu ausgebildet ist, einen Bilddatenvergleich
beziehungsweise einen Vergleich der Analyseergebnisse der Bildverarbeitungseinheit im
Hinblick auf die extrahierten Bewegungen beziehungsweise Bewegungsabläufe durchzuführen.
-
Der
Vergleich kann beispielsweise so erfolgen, dass bei einer Vielzahl
bereits abgespeicherter Bewegungen und Bewegungsabläufe, zunächst beispielsweise
nach der Art oder dem Zweck der Bewegung, eine Vorsortierung vorgenommen
wird. Dann kann wiederum ein weiteres Aussortieren für den Vergleich
anhand einiger grundlegender Eigenheiten der Bewegung, die zweckmäßigerweise
als Attribute mit dem jeweiligen abgespeicherten Bewegungsablauf
abgelegt sind, erfolgen. Geeignet sind hierfür Zugriffstechniken einer strukturierten
Datenbank.
-
Letztlich
können
mehrere Bewegungen in dieser Art und Weise verglichen werden, um
sicher auf eine bestimmte Person rückschließen zu können.
-
Findet
sich in der Datenbank beziehungsweise dem Speicher kein vergleichbares
Bewegungsmuster, so können
ein neuer Fahrer beziehungsweise eine neue Person angelegt werden.
Dies kann beispielsweise so erfolgen, dass ein neuer Datenbankeintrag
erstellt wird, der diesen Fahrer mit den aufgenommenen und analysierten
Bewegungen betrifft.
-
Für bereits
vorhandene Personen beziehungsweise Fahrer können neue Bewegungen und Bewegungsabläufe gespeichert
werden, um die Erkennung beziehungsweise Identifizierung für die Zukunft
noch zuverlässiger
zu gestalten.
-
Durch
die gespeicherten Daten wird das System nach und nach an einen einzelnen
Fahrer beziehungsweise eine einzelne Person und an neue Personen
angelernt. Ein initiales Lernen des Systems ist insbesondere im
Hinblick auf unwillkürliche
individuell unterschiedliche Bewegungen erforderlich, die nicht
auf bestimmte Gemütszustände wie
Wut oder Stress und dergleichen bezogen und daher nicht vorhersagbar
sind. Sind diese Abläufe
aber bereits gespeichert, so kann anhand der gespeicherten Daten zuverlässig auf
einen Nutzer geschlossen werden.
-
Mit
besonderem Vorteil wird erfindungsgemäß wenigstens ein Fahrerassistenz-
und/oder Komfort- und/oder Sicherheitssystem des Kraftfahrzeugs in
Abhängigkeit
von einer Erkennung und/oder Identifizierung des Fahrers und/oder
der Person eingestellt. Hierzu werden die Daten aus der Erkennung gegebenenfalls
an Steuergeräte
dieser Systeme weitergeleitet. Es kann also beispielsweise in Abhängigkeit
der Erkennung eines bestimmten Fahrers eine von diesem meist vorgenommene
oder einmalig bereits als gewünscht
angegebene Einstellung eines Fahrerassistenzsystems beziehungsweise
eines Komfort- und/oder Sicherheitssystems vorgenommen werden. Beispielsweise
kann nach einer Erkennung des Fahrers ein Fahrerassistenzsystem
im Hinblick auf einen sportlichen Fahrstil des erkannten Fahrers
eingestellt werden. Eine Lüftungsanlage kann
in einer bevorzugten Art und Weise, beispielsweise bezüglich der
Richtung der Ausströmer,
voreingestellt werden. Ebenso kann ein Radiosystem auf einen Sender
eingeregelt werden, der von dem Fahrer bevorzugt wird. Die Sicherheitssysteme
wie Airbags und dergleichen können
geeignet für
die Person beziehungsweise an den Fahrer angepasst eingestellt werden.
-
Eine
solche Einstellung bestimmter Systeme des Kraftfahrzeugs in Abhängigkeit
von einer Erkennung bietet auch dann Vorteile, wenn im Rahmen des erfindungsgemäßen Verfahrens
auch eine Fahrerzustandserkennung durchgeführt wird. Dann können die
Fahrerzustandsdaten beispielsweise direkt zur Einstellung eines
Fahrerassistenzsystems herangezogen werden. Beispielsweise sind
gegebenenfalls seitens des Systems frühere Warnungen zu erzeugen,
wenn der Verdacht besteht, dass der Fahrer besonders müde ist oder
dieser einen abgelenkten Eindruck macht.
-
Darüber hinaus
betrifft die Erfindung ein Kraftfahrzeug mit einem Kamerasystem,
ausgebildet zur Aufnahme wenigstens einer Bewegung und/oder wenigstens
eines Bewegungsablaufs eines Fahrers und/oder einer Person im Bereich
des Kraftfahrzeugs, und mit einer Bildverarbeitungseinheit, ausgebildet
zur Analyse der wenigstens einen aufgenommen Bewegung und/oder des
wenigstens einen aufgenommenen Bewegungsablauf zur Erkennung und/oder
Identifizierung des Fahrers und/oder der Person, insbe sondere gemäß einem
Verfahren wie vorstehend geschildert. Des Weiteren kann das Kraftfahrzeug
eine Entscheidungseinheit aufweisen, in der Bewegungen beziehungsweise
Bewegungsabläufe,
die von vornherein als Referenzen in einer Datenbank zur Verfügung gestellt
wurden beziehungsweise bereits aufgezeichnet wurden, zum Vergleich abgespeichert
sind. Die Entscheidungseinheit verfügt dabei über die Rechenfähigkeiten
sowie die Software, um den Vergleich durchzuführen.
-
Das
Kraftfahrzeug weist somit eine oder mehrere Kameras auf, beispielsweise
Stereokameras oder eine Infrarotkamera und dergleichen, um Bewegungen
eines Fahrers oder anderer Personen, die sich im Kraftfahrzeug befinden
beziehungsweise sich diesem nähern
oder in dieses einsteigen, aufzuzeichnen. Diese Bilddaten werden
an eine Bildverarbeitungseinheit des Kraftfahrzeugs weitergeleitet,
wo sie im Hinblick auf die Extraktion von Bewegungen beziehungsweise
Bewegungsmustern ausgewertet beziehungsweise analysiert werden.
Anhand des Analyseergebnisses kann, gegebenenfalls durch einen Vergleich
mit den Vergleichsdaten der Entscheidungseinheit, eine Erkennung
beziehungsweise Identifizierung des Fahrers erfolgen. Dabei wird
im Rahmen der Erkennung insbesondere festgestellt, ob der Fahrer
bereits häufiger
mit dem Kraftfahrzeug gefahren ist, also ein bekannter Fahrer beziehungsweise
eine bekannte Person ist, oder ob es sich um einen bislang unbekannten
Nutzer handelt, der demgemäß als neuer
Nutzer beziehungsweise neuer Fahrer oder neue Person erkannt und
gegebenenfalls als solcher oder solche in einer Datenbank angelegt
wird.
-
Weitere
Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich anhand
der folgenden Ausführungsbeispiele
sowie aus den Zeichnungen. Dabei zeigen:
-
1 eine
Ablaufskizze eines erfindungsgemäßen Verfahrens,
-
2 ein
erfindungsgemäßes Kraftfahrzeug und
-
3 eine
Skizze zur Durchführung
eines erfindungsgemäßen Verfahrens
mit einer Fernabfragemöglichkeit.
-
In
der 1 ist eine Ablaufskizze eines erfindungsgemäßen Verfahrens
dargestellt. Dabei wird gemäß dem Schritt
a seitens einer Kamera eine Aufnahme von Bewegungen beziehungsweise
Bewegungsabläufen
im Kraftfahrzeug durchgeführt.
Die Bilddaten, die somit gemäß dem Schritt
a mit der Kamera aufgenommen wurden, werden gemäß dem Schritt b einer Bildverarbeitungseinheit
zugeleitet.
-
Bei
den Bilddaten kann es sich beispielsweise um eine Aufnahme A1 handeln,
die als Filmaufnahme zeigt, wie sich der Fahrer mit der Hand über das
Gesicht streicht. Eine Aufnahme A2 kann, wie hier dargestellt, das
Drehen des Zündschlüssels im Zündschloss
zum Starten des Fahrzeugs betreffen. Eine weitere Aufnahme A3 zeigt
beispielsweise, wie sich der Fahrer beim Beschleunigen des Fahrzeugs unbewusst
weiter nach vorne lehnt, als eine unbewusste Reaktion, um den Beschleunigungsvorgang zu „unterstützen".
-
Diese
Bilddaten gemäß den Filmaufnahmen A1–A3 sowie
weitere Bilddaten werden in der Bildverarbeitungseinheit im Schritt
b analysiert. Aus den Bilddaten werden Bewegungsmuster beziehungsweise
Bewegungen und Bewegungsabläufe
extrahiert. Seitens einer Entscheidungseinheit der Bildverarbeitungseinheit,
die in anderen Ausgestaltungen des Verfahrens eine separate Einheit
sein kann, wird überprüft, ob die
entsprechende Bewegung beziehungsweise der Bewegungsablauf, der
aus den Bilddaten extrahiert wurde, bereits gespeichert beziehungsweise
bekannt ist. Dies erfolgt im Schritt c.
-
Wird
im Schritt c festgestellt, dass die Bewegung beziehungsweise der
Bewegungsablauf (in dieser Form) bekannt sind, so bedeutet dies,
dass die Person beziehungsweise der Fahrer, um dessen Aufnahme es
sich handelte, bekannt ist. Dies wird im Schritt d festgestellt.
In der Folge werden gemäß dem Schritt
e die Einstellungen z. B. von Fahrerassistenzsystemen, die für den Fahrer
beziehungsweise die Person spezifisch sind, vorgenommen. Für den erkannten
Fahrer beziehungsweise die erkannte Person erfolgt also eine individuelle
Einstellung von Fahrerassistenzsystemen, Komfortsystemen und Sicherheitssystemen
und dergleichen.
-
Sind
die Bewegung beziehungsweise der Bewegungsablauf des Schrittes c
nicht gespeichert, so wird gemäß dem Schritt
f ein neuer Fahrer beziehungsweise eine neue Person angelegt. Es
wird also ein Eintrag in einem Speicher der Entscheidungseinheit
erzeugt, der einen neuen Fahrer beziehungsweise eine neue Person
betrifft, dem die Bewegung beziehungsweise der Bewegungsablauf,
der neu erkannt wurde, zuzuordnen ist. Der neue Nutzer wird in der
Entscheidungseinheit abgespeichert.
-
Beim
erfindungsgemäßen Verfahren
ist somit eine Kamera an dem und/oder im Fahrzeug angebracht, die
die Bewegungen des Fahrers oder einer anderen Person vor allem in
den Bereichen Oberkörper,
Kopf und Arme aufnehmen kann. Damit können der Fahrer oder eine andere
Person in der bevorzugten Ausgestaltung schon beim Einsteigen erfasst werden,
so dass das Verfahren eine sehr niedrigere Reaktionszeit hat und
die Erkennungsrate in Verbindung mit anderen Verfahren signifikant
erhöht
wird.
-
Die
gemäß dem Schritt
a aufgenommenen Bilddaten werden zur Auswertung an die Bildverarbeitungseinheit
gemäß dem Schritt
b übertragen,
wo sie mit Hilfe geeigneter Algorithmen analysiert werden. Diese
Analyse ist sehr zuverlässig,
da jeder Mensch individuell unterschiedliche unwillkürliche und
reproduzierbare Bewegungen vornimmt.
-
In
der 2 ist ein erfindungsgemäßes Kraftfahrzeug 1 dargestellt.
Das Kraftfahrzeug weist ein Kamerasystem 2 mit mehreren
Kameras auf, von denen hier beispielhaft zwei gezeigt sind. Die
Kameras des Kamerasystems 2 stehen mit einer Bildverarbeitungseinheit 3 in
Verbindung, der die Bilddaten des Kamerasystems 2 zugeleitet
werden. In der Bildverarbeitungseinheit 3 erfolgt eine
Analyse der mit dem Kamerasystem 2 aufgenommenen Bilddaten
im Hinblick auf Bewegungen und Bewegungsabläufe, die in diesen enthalten
sind. Im vorliegenden Fall werden mit dem Kamerasystem 2 Bild daten
eines Fahrers 4 aufgenommen, der sich auf einem Fahrersitz 5 befindet.
-
Die
Bilddaten des Fahrers 4 betreffen den Bereich seines Oberkörpers, so
dass beispielsweise Lenkbewegungen am Lenkrad 6 erfasst
werden. Des Weiteren werden Gesten des Fahrers 4, die dieser mit
seinen Händen
ausführt
und die als bewusste oder unbewusste Gesten beispielsweise einen
bestimmten Gemütszustand
ausdrücken
oder aber Bediengesten für
die Schaltung oder dergleichen sind, erfasst.
-
Die
seitens der Bildverarbeitungseinheit 3 analysierten Bilddaten
ermöglichen
somit eine individuelle Erkennung des Fahrers 4. Hierzu
werden die extrahierten Bewegungsmuster, die bei der Bildverarbeitung
mit der Bildverarbeitungseinheit 3 unter Verwendung geeigneter
Verarbeitungsalgorithmen ermittelt wurden, an eine Entscheidungseinheit 7 zum Vergleich
weitergeleitet. Die Entscheidungseinheit 7 weist eine Speichereinrichtung
auf, in der Referenzbewegungen beziehungsweise -bewegungsabläufe abgelegt
sind. Bei diesen handelt es sich um bereits zuvor aufgezeichnete
Bewegungen und Bewegungsabläufe
sowie bestimmte Grundbewegungen und Grundbewegungsabläufe, die
als solche dem System vorgegeben wurden.
-
Die
extrahierten Bewegungsmuster werden mit den Referenzbewegungsmustern
der Entscheidungseinheit 7 verglichen, wobei im Rahmen
des Vergleichs festgestellt wird, ob dieses oder ein in einem bestimmten Ähnlichkeitsbereich
liegendes Muster bereits gespeichert ist. Ist dies der Fall, so
kann, insbesondere unter weiterer Berücksichtigung von anderen im
weiteren Fahrverlauf oder beim Einsteigen aufgenommenen Mustern,
die den Fahrer 4 betreffen, darauf geschlossen werden,
dass dieser Nutzer bereits bekannt ist, und dieser kann identifiziert werden.
Dementsprechend können
beispielsweise Fahrerassistenzsysteme und Komfort- und Sicherheitssysteme
an den Fahrer 4 angepasst eingestellt werden.
-
Ist
der Fahrer 4 der Entscheidungseinheit 7 nicht
bekannt, so liefert der Vergleich mit den Referenzdaten ein negatives
Ergebnis. In diesem Fall wird der Fahrer 4 als neuer Benutzer
in der Speichereinrichtung der Entscheidungseinheit 7 angelegt.
-
Die
Fahrererkennung mit Hilfe des Kamerasystems 2 wird im vorliegenden
Fall durch einen Iriserkennung ergänzt, wozu eine entsprechende
Erkennungseinheit 2a vorgesehen ist, deren Informationen über eine
hier nicht dargestellte Verbindung ebenfalls an die Entscheidungseinheit 7 weitergegeben
werden. Damit kann die Erkennung des Fahrers 4 wirksam
unterstützt
werden.
-
In
der 3 ist eine Skizze zur Durchführung eines erfindungsgemäßen Verfahrens
mit einer Fernabfragemöglichkeit
gezeigt. Dargestellt ist wiederum ein Kraftfahrzeug 8,
das über
ein Kamerasystem 9 mit Kameras unterschiedlicher Funktionsweisen,
in diesem Fall Stereokameras und Infrarotkameras, verfügt. Das
Kamerasystem 9 ist hier lediglich durch Darstellung einer
Kamera angedeutet.
-
Die
Bilddaten werden vom Kamerasystem 9 weitergeleitet an eine
Bildverarbeitungseinheit 10, die diese im Hinblick auf
Bewegungen zur Erkennung beziehungsweise Identifizierung der sich
am Fahrzeug befindenden Person 11 analysiert. Das Kamerasystem 9 erfasst
also den Einstiegsvorgang durch die Person 11. Im dargestellten
Fall handelt es sich bei der Person 11, die sich über die
Fahrertür 12 Zutritt
zum Kraftfahrzeug 8 verschafft, um einen unbefugten Nutzer.
-
Die
ausgewerteten Bewegungsdaten, bei denen es sich um Filmabschnitte
handelt, die bestimmte charakteristische Bewegungen der Person 11 zeigen,
werden an die Entscheidungseinheit 13 weiterleitet, um
dort einen Vergleich mit den dort vorliegenden bereits vorhandenen
Bewegungsdaten vorzunehmen. Allgemein sind die an die Entscheidungseinheit 13 weitergeleiteten
Bewegungsdaten verarbeitete Bilddaten, die eine Auswertung im Hinblick
auf Bewegungen und Bewegungsabläufe
erhalten haben, sei es lediglich durch eine Aufteilung in entsprechende
Filmabschnitte oder durch eine weitergehende Auswertung beispielsweise
im Hinblick auf ein Hervorheben des Be wegungsablaufs und ein Entfernen überflüssiger Bildformationen,
eine Mustergewinnung und dergleichen. In der Entscheidungseinheit 13 werden
die Bewegungsdaten abgespeichert. Über die Datenverbindung 14,
die hier durch einen Doppelpfeil als Funkverbindung angedeutet ist,
können
die Daten abgerufen werden, beispielsweise mit Hilfe eines Mobiltelefons 15,
das vorliegend auf eine UMTS-Verbindung als Datenverbindung 14 zurückgreift.
Damit können
Informationen über
einen unbefugten Benutzer, hier die Person 11, erhalten
werden.
-
Insgesamt
ist somit mit dem erfindungsgemäßen Verfahren
beziehungsweise in dem zugehörigen
Kraftfahrzeug eine zuverlässige
Fahrererkennung möglich.
Es wird dabei die große
Bandbreite menschlicher Äußerungen,
die sich in Bewegungen darstellen, berücksichtigt. Damit kann, nicht
zuletzt bei einer Kombination mit weiteren Fahrererkennungssystemen,
der Fahrer beziehungsweise eine andere Person in dem Kraftfahrzeug
zuverlässig identifiziert
und authentifiziert werden.