-
Die
Erfindung betrifft ein Verfahren und eine Vorrichtung zur Nutzererkennung,
insbesondere zur Fahrer-Beifahrer-Unterscheidung bzw. -Erkennung, in
einem Fahrzeug bei einer Betätigung eines Bedienelements.
-
Eine
zuverlässige Fahrer-Beifahrer-Erkennung bzw. -Unterscheidung
gewinnt im Bereich des Kraftfahrzeugbaus zunehmend an Bedeutung.
Zum einen ist es möglich, Komfortfunktionen und/oder Komfortvorrichtungen
und Einrichtungen, die nutzerabhängig konfiguriert und/oder
eingestellt werden, über eine verringerte Anzahl von Bedienelementen, nämlich über
dieselben Bedienelemente, bedienen zu können. So können
aufwendige Bedienelemente eingespart werden. Hierdurch wird Bauraum
für andere Bedienelemente und/oder Anzeigevorrichtungen
usw. eingespart. Darüber hinaus sind die in Kraftfahrzeugen
bereitgestellten Vorrichtungen häufig derart komplex hinsichtlich
ihrer Bedienung ausgestaltet, dass eine Bedienung durch einen Fahrer
während der Fahrt unerwünscht ist, da ihn dieses
zu sehr vom Verkehrsgeschehen ablenkt. In einigen Staaten ist daher
beispielsweise eine Bedienung eines Navigationssystems, welches
dem Fahrer Fahranweisungen ausgibt, um das Fahrzeug zu einem gewünschten
Zielort zu lenken, so auszugestalten, dass diese während
der Fahrt nicht bedienbar sind. Ausgestaltungen im Stand der Technik
erfüllen dieses Verbot beispielsweise dadurch, dass das
Navigationsgerät mit Signalen versorgt wird, die eine Bewegung
des Kraftfahrzeugs anzeigen. Wird beispielsweise an Radimpulssensoren
eine Fahrtgeschwindigkeit des Kraftfahrzeugs festgestellt, so wird
dies dem Navigationsgerät signalisiert, welches daraufhin
Bedieneingaben seitens der Nutzer ignoriert. Ein solches System
ist unkomfortabel, da es zur Änderung einer Zieleingabe
oder anderer Navigationseingaben jeweils erforderlich ist, das Kraftfahrzeug
zum Stillstand zu bringen, bevor eine Änderung der Eingaben
möglich ist. Bei diesen Ausführungsformen ist
auch eine Bedienung durch einen Beifahrer, der sich nicht auf den Straßenverkehr
konzentrieren muss, unmöglich.
-
Aus
dem Stand der Technik sind unterschiedliche Verfahren bekannt, um
eine Fahrer-Beifahrer-Erkennung zu ermöglichen. Aus der
WO 2004/078536 ist ein
Verfahren bekannt, bei dem Hochfrequenzsignale in einen Körper
eines Nutzers eingekoppelt werden, über den Körper übertragen werden
und bei einer Betätigung eines Bedienelements kapazitiv
in einen Empfänger eingekoppelt werden. Sind in unterschiedlichen
Fahrzeugsitzen unterschiedliche Sendeeinheiten vorgesehen, die unterschiedlich
modulierte Hochfrequenzsignale in den jeweils auf dem Fahrzeugsitz
sitzenden Nutzerkörper einkoppeln, so kann über
das empfangene Hochfrequenzsignal eine Unterscheidung der unterschiedlichen
Nutzer bei einem Betätigen eines Bedienelements vorgenommen
werden. Ein solches System zur Fahrer-Beifahrer-Erkennung bzw. -Unterscheidung
benötigt eine Vielzahl von unterschiedlichen Komponenten,
die an unterschiedlichen Orten in einem Fahrzeug verbaut werden
müssen. Ein Fertigungsaufwand ist daher sehr hoch und entsprechend
kostenintensiv. Ferner stoßen solche Systeme, bei denen
Signale in den Körper des Nutzers eingekoppelt werden,
häufig auf Ablehnung, so dass eine Nutzerakzeptanz gering
ist.
-
Der
Erfindung liegt daher das technische Problem zugrunde, eine Vorrichtung
und ein Verfahren zu schaffen, mit denen zuverlässig eine
Fahrer-Beifahrer-Unterscheidung bzw. einer Erkennung eines Nutzers
möglich ist, welche mit technisch einfacheren Mitteln realisierbar
ist.
-
Das
technische Problem wird durch ein Verfahren mit den Merkmalen des
Patentanspruchs 1 sowie eine Vorrichtung mit den Merkmalen des Patentanspruchs
13 erfindungsgemäß gelöst. Vorteilhafte
Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
-
Bei
dem vorgeschlagenen Verfahren zur Nutzerunterscheidung und/oder
Nutzererkennung, insbesondere zur Fahrer-Beifahrer-Unterscheidung und/oder
-Erkennung, in einem Fahrzeug bei einer Betätigung eines
Bedienelements sind ein Erfassen von Bilddaten eines Innenraums
des Fahrzeugs mittels mindestens einer Kamera und ein Auswerten
der Mittels der mindestens einen Kamera erfassten Bilddaten, um
einen die Betätigung ausführenden der Nutzer zu
erkennen, und ein Erzeugen eines den erkannten Nutzer kennzeichnenden
Nutzererkennungssignals vorgesehen. Die Auswertung der Bilddaten
wird hierbei mittels einer Mustererkennung ausgeführt,
die charakteristische Merkmale mindestens einer Extremität
eines der Nutzer ermittelt. Die Merkmale werden zu einem Merkmalvektor
zusammengefasst und der Merkmalvektor klassifiziert, um den Nutzer
zu erkennen und/oder den Nutzer von einem anderen Nutzer zu unterscheiden.
-
Unter
einer Nutzererkennung wird hier ein Erkennen einer dem Nutzer zugeordneten
Funktion oder Sitzposition im Fahrzeug (beispielsweise Fahrer, Beifahrer)
verstanden. Eine Identifizierung eines Nutzers als eine bestimmte
Person oder ein Wiedererkennen ist hierfür nicht zwingend
erforderlich. Eine erfindungsgemäße Vorrichtung
umfasst somit eine Kamera zum Erfassen von Bilddaten eines Innenraums
des Fahrzeugs und eine Auswerteeinheit zum Auswerten der mittels
der mindestens einen Kamera erfassten Bilddaten, um einen die Betätigung
ausführenden der Nutzer zu erkennen, und eine Signaleinheit
zum Erzeugen des den erkannten Nutzer kennzeichnenden Nutzererkennungssignals.
Hierbei ist vorgesehen, dass die Auswerteeinheit eine Mustererkennungseinheit
umfasst, mittels der charakteristische Merkmale mindestens einer
Extremität eines der Nutzer ermittelt werden und die Merkmale
zu einem Merkmalvektor zusammengefasst werden, und eine Klassifizierungseinheit
zum Klassifizieren des Merkmalvektors, um den Nutzer zu erkennen und/oder
von einem anderen Nutzer zu unterscheiden. Über eine Kamera,
welche vorzugsweise oberhalb der Positionen der Nutzer, in einem
Kraftfahrzeug bevorzugt in einem Himmel des Fahrgastraums, bevorzugt
zwischen den Sitzen des Fahrers und des Beifahrers angebracht ist,
können die Nutzer erfasst werden. Die Kamera ist vorzugsweise
als Weitwinkel-Kamera, besonders bevorzugt als 360°-Kamera
ausgebildet. Die Kamera ist vorzugsweise so ausgebildet, dass sie
auch im infraroten Wellenlängenbereich sensitiv ist. Im
Zusammenwirken mit Infrarotlichtquellen ist so eine störungsfreie Funktion
bei Tag und Nacht, d. h. auch bei Dunkelheit, gewährleistet. Über
eine Auswertung der Bilddaten, die einfach zu erfassen sind, ist
es mittels einer Mustererkennung möglich, eine Extremität
des Nutzers zu erkennen. Von dieser mindestens einen Extremität
eines der Nutzer, die zum Ausführen einer Betätigungshandlung
verwendet wird, werden charakteristische Merkmale ermittelt. Diese
charakteristischen Merkmale können verwendet werden, um
die Extremität zu repräsentieren. Die Merkmale
werden hierfür zu einem Merkmalvektor zusammengefasst. Um
die eigentliche Nutzererkennung bzw. Nutzerunterscheidung vorzunehmen
ist es abschließend lediglich erforderlich, den Merkmalvektor
zu klassifizieren. Ist es möglich, die Extremität
hierdurch einem Nutzer zuzuordnen, ist hierüber auch eine
Zuordnung einer Betätigungshandlung zu dem Nutzer möglich.
Das erzeugte Nutzererkennungssignal wird ausgegeben und für
eine Bedienlogik einer Bedienvorrichtung bereitgestellt, so dass
diese beispielsweise eine Komfortfunktion und/oder Komforteinrichtung des
Kraftfahrzeugs nutzerbezogen gemäß der vorgenommenen
Betätigungshandlung an dem Bedienelement steuern und/oder
betätigen kann. Dadurch, dass lediglich mindestens eine
Kamera benötigt wird, die den Innenraum des Fahrzeugs erfasst
und Bilddaten für eine Auswertung zur Verfügung
stellt, die dann von der Auswerteeinheit ausgewertet werden können,
ist ein technischer Aufwand zum Ausführen einer Nutzererkennung
gegenüber den aus dem Stand der Technik bekannten Verfahren
deutlich reduziert. Die Kamera bzw. die hiermit aufgenommenen und
erfassten Bilddaten können auch für andere Zwecke
oder in anderen Systemen eingesetzt werden. Eine Integration der
Nutzerunterscheidung und/oder Nutzererkennung verursacht somit geringe oder
keine Extrakosten. Verfahren der Mustererkennung, um einzelne Gegenstände
in einem Bild, d. h. in Bilddaten, zu ermitteln, sind im Stand der
Technik bekannt. Beispielsweise können im Fahrzeuginnenraum
befindliche Gegenstände dadurch erkannt werden, dass ein
aktuell aufgenommenes Bild, d. h. die aktuell aufgenommenen Bilddaten,
mit einem Bild bzw. Bilddaten verglichen werden, die mittels der
Kamera von einem leeren Fahrgastraum des Fahrzeugs aufgenommen sind.
Die so aufgefundenen im Fahrgastraum befindlichen Gegenstände
werden daraufhin untersucht, ob sie eine Extremität darstellen
können. Hierzu werden Merkmale des gefundenen Gegenstands,
beispielsweise eine Ausdehnung, eine Form usw. ermittelt und ausgewertet.
Wird hierbei eine Extremität erkannt, so werden die Extremität kennzeichnende
Merkmale zu einem Merkmalvektor zusammengefasst. Dieser wird anschließend
klassifiziert. Die Klassifizierung wird so vorgenommen, dass der
Merkmalvektor eine Zuordnung zu einem der Nutzer des Kraftfahrzeugs
ermöglicht. Beispielsweise wird ermittelt, ob die Extremität
eine Extremität von einem Nutzer auf einem Fahrersitz oder
eine Extremität von einem Nutzer auf einem Beifahrersitz
ist. Ebenso ist auch eine Unterscheidung für weitere Insassen
(Nutzer), beispielsweise auf Rücksitzen im Fond möglich.
-
Eine
besonders einfache Auswertung und Klassifizierung wird ermöglicht,
wenn die charakteristischen Merkmale Merkmalspositionen umfassen,
die wiederum vorzugsweise eine Handgelenkposition, eine Ellenbogenposition
und eine Schulterposition eines Nutzers umfassen. Werden von einer
Extremität eines Nutzers Merkmalspositionen, beispielsweise eine
Handgelenksposition, eine Ellenbogenposition und eine Schulterposition
ermittelt, so können diese einfach verwendet werden, um
die Extremität zu charakterisieren. Verbindet man beispielsweise
die ermittelten Merkmalspositionen, so erhält man einen Verlauf
der Extremität und hierüber in der Regel eine Information,
von welchem Nutzer die Extremität ausgeht. Wird eine Betätigung
eines Bedienelements mit dieser Extremität vorgenommen,
so kann hierdurch auf den die Betätigung vornehmenden Nutzer
geschlossen werden.
-
Nicht
in jeder Situation ist jedoch eine zuverlässige Nutzerunterscheidung
nach einer Ermittlung von Merkmalspositionen zu einem Erfassungszeitpunkt
möglich. Bei einer Ausführungsform ist daher vorgesehen,
dass die Mustererkennungseinheit ausgebildet ist, sequenziell unterschiedliche
Mustererkennungsschritte auszuführen und eine Anzahl der ermittelten
Merkmale, insbesondere der Merkmalspositionen, zu steigern, wenn
mittels der Klassifizierungseinheit signalisiert ist, dass eine
Unterscheidung der Nutzer anhand der bereits bekannten Merkmale,
d. h. der bereits ermittelten Merkmale, nicht zuverlässig
möglich ist. Sind beispielsweise die ermittelten Merkmalspositionen
die Handgelenksposition, die Ellenbogenposition und die Schulterposition
und ist es ferner nach einem Verbinden dieser Merkmalspositionen
zu einer Kurve im Raum nicht möglich, anhand des Kurvenverlaufs
die Extremität einem der Nutzer zuzuordnen, so kann es
beispielsweise vorteilhaft sein, eine Mustererkennung auszuführen,
die eine Geometrie der Hand ermittelt. Ist beispielsweise nicht
zu unterscheiden, ob die ermittelte Extremität bei einem
Fahrzeug mit Linkslenker ein rechter Arm des Fahrers oder ein linker
Arm des Beifahrers ist, so kann in der Regel aus einer Reihenfolge
der Finger der Hand ermittelt werden, ob die Extremität,
der die Hand zugeordnet ist, dem Fahrer oder dem Beifahrer zuzurechnen
ist. Bei einer bevorzugten Ausführungsform wird somit eine
Reihenfolge der Finger ermittelt und zur Nutzererkennung und Unterscheidung
herangezogen. Handelt es sich bei der einem Bedienelement in einer
Mittelkonsole angenäherten Extremität um den rechten
Arm des Fahrers, so wird eine Reihenfolge der Finger von links nach
rechts bei einer Betrachtung von oben Daumen, Zeigefinger, Mittelfinger,
Ringfinger, kleiner Finger sein. Handelt es sich hingegen um den
linken Arm des Beifahrers, so wäre bei einer Betrachtung
von oben die Fingerreihenfolge von links nach rechts kleiner Finger,
Ringfinger, Mittelfinger, Zeigefinger, Daumen.
-
Dadurch,
dass eine verfeinerte Auswertung nur dann stattfindet, wenn eine
zuverlässige Identifikation nicht anhand einer zuvor vorgenommenen Mustererkennung
und Auswertung möglich ist, wird der benötigte
Rechenaufwand und Auswerteaufwand minimal gehalten. In den meisten
Fällen wird eine Mustererkennung, die nur eine geringe
Anzahl von Merkmalen der Extremität ermittelt, ausreichen,
um eine Nutzerunterscheidung zu ermöglichen. Lediglich in
den Situationen, in denen dies nicht der Fall ist, wird eine aufwendigere
Mustererkennung und Auswertung durchgeführt.
-
Eine
Auswertung wird insbesondere hinsichtlich ihrer Zuverlässigkeit
gesteigert, wenn Bilddaten ausgewertet werden, die zu unterschiedlichen Zeitpunkten
erfasst sind. Bei einer bevorzugten Ausführungsform ist
daher die Kamera eine Videokamera, die Bilddaten zu unterschiedlichen
Erfassungszeitpunkten erfasst. Bevorzugt wird in den Bilddaten zu
jedem Erfassungszeitpunkt jeweils ein fester Satz von Merkmalen,
insbesondere Merkmalspositionen, besonders bevorzugt der Handgelenksposition,
der Ellenbogenposition und der Schulterposition, der Extremität
ermittelt. In dem Merkmalvektor werden nun die Merkmalspositionen
zu unterschiedlichen Erfassungszeitpunkten zusammengefasst. Hierbei
versteht es sich, dass vorzugsweise für jede Merkmalsposition
nur eine festgelegte Anzahl von zu früheren Zeitpunkten
erfassten Merkmalspositionen in dem Merkmalvektor gehalten werden.
Mit dem Zufügen einer neuen Merkmalsposition zu einem neuen
Erfassungszeitpunkt wird die älteste Merkmalsposition für
dieses charakteristische Merkmal aus dem Merkmalvektor entfernt,
wenn die festgelegt Anzahl überschritten wird. Dies bedeutet,
dass aus dem Merkmalvektor Bewegungen der Extremität abgeleitet werden
können. Eine Klassifizierung des Merkmalvektors kann somit
in der Weise vorgenommen werden, dass der Merkmalvektor mit in einer
Datenbank gespeicherten Merkmalvektoren verglichen wird, in der
Merkmalvektoren von Betätigungshandlungen unterschiedlicher
Personen abgelegt sind. Hierbei können beispielsweise typische
Relativbewegungen einzelner Merkmalpunkte ausgewertet werden. Schwenkt
ein Nutzer beispielsweise seinen Arm in der Weise, dass sein Handgelenk
von seinem Bauch weg in einen Bereich einer Mittelkonsole, die zwischen
dem Fahrersitz und dem Beifahrersitz angeordnet ist, bewegt wird,
so ergibt eine Auswertung der Merkmalsposition Handgelenkposition
einen charakteristischen Bewegungsvektor, der von der Seite, auf
der der entsprechende Nutzer sitzt, zu der Mittelkonsole hin gerichtet
ist. Ein Bewegungsvektor eines auf der anderen Seite der Mittelkonsole
angebrachten Sitzes würde entsprechend eine Bewegung in entgegengesetzter
Richtung ausführen, um ein im Bereich der Mittelkonsole
angeordnetes Bedienelement mit seiner Hand zu betätigen.
Zur Klassifizierung des Merkmalvektors können somit unterschiedlichste
Auswertungen vorgenommen werden. Hierbei ist es möglich,
einzelne Regeln und/oder Abfragen hinsichtlich einzelner Merkmale
abzuprüfen. Ebenso ist es jedoch bei einer anderen Ausführungsform möglich,
dass alternativ oder zusätzlich eine Ähnlichkeit
des Merkmalvektors zu in der Datenbank gespeicherten Merkmalvektoren
ermittelt wird. Hierbei kann eine vorgegebene Metrik verwendet werden,
um einen Abstand der Vektoren zu bestimmen. Wird ein vorgegebener
Abstand gemäß der gewählten Metrik unterschritten,
so gelten die beiden Vektoren als ähnlich. Den in der Datenbank
gespeicherten Merkmalvektoren ist eine Nutzererkennung und/oder
Unterscheidung zugeordnet, so dass diese verwendet werden kann,
um die klassifizierten Merkmalvektoren den entsprechenden Nutzer
zuzuordnen.
-
Während
eines Fahrzyklusses kann eine Nutzererkennung, d. h. eine Fahrer-Beifahrer-Erkennung,
deutlich verbessert und beschleunigt werden, wenn zusätzlich
besondere charakteristische, an den Extremitäten angebrachte
Gegenstände und/oder Besonderheiten und/oder Anomalien
der Extremitäten als Merkmale erfasst werden und abgespeichert werden
und nachfolgend anhand dieser Merkmale eine Wiedererkennung eines
Nutzers ausgeführt wird. Trägt beispielsweise
ein Beifahrer eine charakteristischen Ring, so kann ein Vorhandensein
dieses charakteristischen Rings an der Extremität als Identifizierungsmerkmal
für den Beifahrer genutzt und ausgewertet werden.
-
Unterstützt
werden kann eine Nutzererkennung dadurch, dass mindestens eine Schrankenregion
festgelegt wird und ein Eindringen und/oder eine Eindringrichtung
eines oder mehrerer Merkmalspunkte ausgewertet werden, um die Extremität
einem Nutzer zuzuordnen. Werden beispielsweise rechts und links
einer Mittelkonsole solche Schrankenregionen festgelegt, so kann über
eine Eindringrichtung in die eine oder andere der Schrankenregionen
festgestellt werden, von welcher Seite aus die Extremität auf
die Mittelkonsole zubewegt wird. Ist die Mittelkonsole zwischen
den Fahrzeugsitzen der Nutzer angeordnet, so ist bei einem Fahrzeug
mit Linkslenker ein Eindringen von rechts in eine Schrankenregion
direkt vor einem Bedienelement in der Mittelkonsole ein Hinweis
darauf, dass der Fahrer das Bedienelement betätigen wird
oder betätigt. Dringt hingegen die Extremität
von links in die Schrankenregion ein, so ist dies ein Hinweis, dass
die Extremität dem Beifahrer zuzuordnen ist und eine Betätigung
des Bedienelements durch den Beifahrer vorgenommen wird.
-
Über
eine Korrelation zwischen einer Position des mindestens einen Bedienelements
und einer Merkmalsposition ist es möglich, eine Zuordnung
der Extremität und hierüber des Nutzers zu einem
Bedienelement vorzunehmen. Dieses ist von Vorteil, wenn mehrere
Nutzer zeitgleich Bedienelemente betätigen. Es ist somit
bei einigen Ausführungsformen möglich, einen Bedienort
zu ermitteln, d. h. ein Gebiet, in dem sich Bedienelemente befinden,
oder sogar direkt ein Bedienelement, die oder das der Fahrer oder
Beifahrer bedient.
-
Insbesondere
bei Ausführungsformen, bei denen Bilddaten zu unterschiedlichen
Erfassungszeitpunkten ausgewertet werden und hierbei jeweils dieselben
physischen Merkmale als Merkmalspositionen ermittelt werden, lässt
sich auch in Situationen, in denen zwei Nutzer dicht benachbarte
Bedienelemente betätigen, eine zuverlässige Nutzererkennung der
Extremität durchführen. Über eine zusätzlich
ausgeführte Korrelation der Merkmalspositionen mit den Positionen
der betätigten Bedienelemente ist darüber hinaus
in der Regel eine Zuordnung der Extremitäten zu den einzelnen
betätigten Bedienelementen möglich. Somit können
zeitgleich vorgenommene Betätigungshandlungen unterschiedlicher
Nutzer dennoch korrekt den jeweiligen Nutzern zugeordnet werden. Dieses
ist selbst dann möglich, wenn sich die Extremitäten
in den Bilddaten teilweise verdecken.
-
Auch
wenn eine Nutzerunterscheidung und/oder Nutzererkennung genutzt
wird, ist es in der Regel möglich, über eine gesonderte
Nutzereingabe nutzerbezogene Einstellungen für einen anderen Nutzer
vorzunehmen. Ist beispielsweise nur ein Stellregler für
Sitzheizungen vorhanden, über den die Sitzheizungen des
Fahrersitzes und des Beifahrersitzes abhängig davon geregelt
und eingestellt werden, welcher Nutzer (Fahrer oder Beifahrer) die
Betätigung vornimmt, so ist es über eine gesonderte
Nutzereingabe (beispielsweise eine Betätigung einer weiteren
Bedientaste) möglich, den Stellregler zumindest zeitweise
dem Fahrersitz oder dem Beifahrersitz unabhängig von der
betätigenden Person zuzuordnen. Somit kann dann der Fahrer
für den Beifahrersitz oder der Beifahrer für den
Fahrersitz eine Sitzheizungseinstellung über den Stellregler
vornehmen. Bei einer solchen Ausführungsform kann somit ein
Regelungsort (ein Zielsystem oder eine Zielfunktion, die über
ein Bedienelement bedient werden) gesondert explizit festgelegt
werden.
-
Nachfolgend
wird die Erfindung anhand bevorzugter Ausführungsbeispiele
unter Bezugnahme auf eine Zeichnung näher erläutert.
Hierbei zeigen:
-
1 eine
schematische Darstellung eines Innenraums eines Kraftfahrzeugs;
und
-
2 anhand
von miteinander verbundenen Merkmalspositionen erzeugte Raumkurven,
anhand derer eine Klassifikation des zugehörigen Merkmalvektors
und eine Zuordnung einer Extremität zu einem Nutzer vorgenommen
werden kann.
-
In 1 ist
schematisch ein Innenraum 1 eines Fahrzeugs, insbesondere
eines Kraftfahrzeugs, dargestellt. In dem Innenraum 1 sind
nebeneinander und voneinander beabstandet ein Fahrersitz 2 und ein
Beifahrersitz 3 angeordnet. Zwischen dem Fahrersitz 2 und
dem Beifahrersitz 3 ist eine Mittelkonsole 4 angeordnet.
Die Mittelkonsole 4 weist einen zwischen Sitzflächen
des Fahrersitzes 2 und des Beifahrersitzes 3 angeordneten
Horizontalabschnitt 5 und einen hierzu angewinkelten Armaturenbrettabschnitt 6 im
Bereich des Armaturenbretts auf. Der Armaturenbrettabschnitt 6 ist
in einen Klimabedienabschnitt 7 und einen Multifunktionsdisplayabschnitt 8 unterteilt.
In dem Multifunktionsdisplayabschnitt 8 ist eine als Touchscreen 9 ausgebildete
Anzeige- und Bedienvorrichtung angeordnet. Der Klimabedienabschnitt 7 umfasst
exemplarisch ein Bedienelement 10. Auch in dem Horizontalabschnitt
der Mittelkonsole 4 können weitere Bedienelemente
(nicht dargestellt) angeordnet sein.
-
Das
im Klimabedienabschnitt 7 angeordnete Bedienelement 10 ist
mit einem Klimasteuergerät 11 informationstechnisch
gekoppelt. Dieses Klimasteuergerät 11 ist so ausgestaltet,
dass es beispielsweise eine fahrzeugseitenspezifische Innenraumtemperatureinstellung
ermöglicht. Je nachdem, ob ein auf dem Fahrersitz 2 angeordneter
als Fahrer 12 bezeichneter Nutzer oder ein auf dem Beifahrersitz 3 sitzender
als Beifahrer 13 bezeichneter Nutzer das Bedienelement 10 betätigt,
wird die Temperatur auf der Fahrer- oder Beifahrerseite des Innenraums
beeinflusst. Hierfür ist es notwendig, dass dem Klimasteuergerät 11 ein
Nutzererkennungssignal bereitgestellt wird, welches den eine Betätigung
vornehmenden Nutzer als Fahrer oder Beifahrer identifiziert bzw. erkennt
oder unterscheidet.
-
Hierfür
ist eine Vorrichtung 14 zur Nutzererkennung und/oder Unterscheidung
vorgesehen. Diese umfasst eine Kamera 15 und eine Auswerteeinheit 16,
die informationstechnisch miteinander verbunden sind, sowie eine
Signalerzeugungseinheit 17, die anhand der Ergebnisse der
Auswertung ein Nutzererkennungssignal erzeugt und beispielsweise
dem Klimasteuergerät 11 bereitstellt. Die Kamera 15 ist
vorzugsweise in einem Fahrzeughimmel oberhalb und zwischen den Nutzern,
d. h. dem Fahrer 12 und dem Beifahrer 13, angeordnet.
Bei der Kamera 15 handelt es sich vorzugsweise um eine
digitale Weitwinkel-Videokamera, die farbige Bilddaten bereitstellt.
Farbige Bilddaten umfassen Farbinformationen. Der Sichtbereich der
Kamera 15 beträgt vorzugsweise 360°.
Ein von der Kamera 15 zu einem Zeitpunkt gesehenes Bild
entspricht im Wesentlichen der Ansicht der 1, sofern
man die gestrichelt dargestellten Objekte sowie die Kamera 15 selbst
aus dem Bild wegdenkt. Die von der Kamera 15 aufgenommenen
Bilddaten werden der Auswerteeinheit 16 zugeführt.
Diese umfasst eine Mustererkennungseinheit 18, die anhand
unterschiedlicher Mustererkennungsverfahren, wie sie im Stand der
Technik bekannt sind, Objekte zu erkennen sucht, die dem Fahrer 12 oder
dem Beifahrer 13 zuzuordnen sind. Wird beispielsweise eine Differenz
zu Bilddaten gebildet, die von einem leeren Fahrzeuginnenraum 1 aufgenommen
sind, so lassen sich die Nutzer einfach erkennen. Anhand von in
der Auswerteeinheit abgespeicherten Grunderkennungsinformationen
ist es der Mustererkennungseinheit 18 möglich,
für eine Betätigung verwendete Extremitäten
zu erkennen. Hierbei werden Merkmale von Oberkörperextremitäten 19, 20 des
Fahrers 12 und Oberkörperextremitäten 21, 22 des
Beifahrers 13 ermittelt. Die Oberkörperextremitäten 19–22 umfassen
jeweils ein Schultergelenk 19a–22a, einen Oberarm 19b–22b,
ein Ellenbogengelenk 19c–22c, einen Unterarm 19d–22d,
ein Handgelenk 19e–22e sowie eine Hand 19f–22f.
Für jede erkannte Oberkörperextremität 19–22 werden
charakteristische Merkmale extrahiert. In einem ersten Schritt werden
von der Mustererkennungseinheit jeweils eine Schultergelenkposition 23-19 bis 23-22,
eine Ellenbogenposition 24-19 bis 24-22 und eine
Handgelenksposition 25-19 bis 25-22 ermittelt.
Eine solche Ermittlung ist beispielsweise in der Dissertation von
Thomas Seitz mit dem Titel "Videobasierte Messung
menschlicher Bewegungen konform zum Menschmodell RAMSIS", Fakultät
für Maschinenwesen, Technische Universität München,
2003, beschrieben. Die Merkmalspositionen werden zu einem
Merkmalvektor zusammengefasst. Die Merkmalvektoren werden nun klassifiziert,
um hierüber eine Zuordnung der Oberkörperextremität 19–22,
die zu dem entsprechenden Merkmalvektor korrespondiert, zu einem
der Nutzer vorzunehmen, d. h. dem Fahrer 12 oder dem Beifahrer 13 zuzuordnen.
-
Beispielhaft
wird im Folgenden die linke Oberkörperextremität 21 des
Beifahrers 13 betrachtet. Um den zugehörigen Merkmalvektor,
der die Schultergelenksposition 23-21, die Ellenbogenposition 24-21 und
die Handgelenksposition 25-21 umfasst, werden die einzelnen
Merkmalspositionen in der soeben angegebenen Reihenfolge beispielsweise
miteinander im Raum verbunden. Hierdurch ergibt sich eine Raumkurve 26,
wie sie exemplarisch in 2 dargestellt ist. Zum Vergleich
ist in 2 eine weitere Raumkurve 27 dargestellt,
die sich ergibt, wenn man die Merkmalspositionen der rechten Oberkörperextremität 20 des
Fahrers 12 ebenfalls zu einer Raumkurve verbindet. Gut
zu erkennen ist, dass die Raumkurven 26, 27 jeweils
zwei Kurvenabschnitte 28, 29 bzw. 30, 31 umfassen,
die jeweils einen Oberarm und einen Unterarm repräsentieren.
Zu erkennen ist, dass sich hierzwischen eingeschlossene Winkel α1, α2, jeweils
im mathematisch positiven Sinn gemessen bezüglich einer
Richtung 32, welche durch eine Richtung des den Unterarm
repräsentierenden Kurvenabschnitt 28, 30 vorgegeben
ist, deutlich unterscheiden. Bei einem Winkel kleiner 180° (α1) kann die entsprechende Raumkurve 26 und
entsprechend die zugehörige Oberkörperextremität 21 anhand
des Kurvenverlaufs der Raumkurve 26 dem Beifahrer 13 zugeordnet
werden. Ist hingegen der Winkel größer 180° (α2), wie dies im Fall der Raumkurve 27 ist,
so ist eine Zuordnung zu dem Fahrer 12 möglich.
Diese einfache Zuordnung ist nicht in jedem Falle möglich.
Ein einmal erkannter Winkel α1, α2 kann als solcher abgespeichert und im zeitlichen
Verlauf als charakteristisches Merkmal herangezogen werden.
-
Um
die Zuordnung robuster gegenüber Fehlern bei der Mustererkennung
zu machen, können weitere Merkmale erfasst werden. Insbesondere
werden zu unterschiedlichen Zeitpunkten aufgenommene Bilddaten derselben
Oberkörperextremitäten 19–22 aufgenommen
und ausgewertet. So lassen sich Bewegungsabläufe und Bewegungen
der Oberkörperextremitäten 19–22 ermitteln
und klassifizieren. Hierzu können die sich ergebenden Merkmalvektoren,
die nun Merkmalspositionen zu unterschiedlichen Erfassungszeitpunkten
umfassen, ausgewertet werden, um Bewegungsgeschwindigkeiten, Beschleunigungen
usw. zu ermitteln und auszuwerten. In einer Datenbank können
ebenfalls Merkmalvektoren von standardisierten, d. h. zuvor von
unterschiedlichen Personen erfassten und abgespeicherten Musterbetätigungen
abgelegt sein, mit denen die aktuell erfassten Merkmalvektoren verglichen
werden, um eine Zuordnung zu Beifahrer und Fahrer zu ermöglichen.
-
Alternativ
und/oder zusätzlich können auch die Anordnungen
der Finger 32-19, 36-19 bis 32-22, 36-22 ausgewertet
werden. Da insbesondere ein Ansatzpunkt eines Daumens 32,
aber auch die Längen der einzelnen übrigen Finger 33–36 relativ
zueinander charakteristisch sind, ist es möglich, anhand
einer Reihenfolge der Finger zu ermitteln, ob die betrachtete Oberkörperextremität 19–22 eine
linke oder rechte Oberkörperextremität ist.
-
Bei
der beschriebenen Ausführungsform sind ferner Schrankenregionen 41–46 vorgesehen. Bewegt
sich eine Oberkörperextremität 19–22 über eine
Schrankenregion 41–46 oder in eine Schrankenregion 41–46 hinein,
so wird dies registriert. Wird beispielsweise die Schrankenregion 41 von
rechts nach links von einer Oberkörperextremität 19–22 durchquert,
so ist dies ein Indiz dafür, dass eine Oberkörperextremität 21, 22 des
Beifahrers 13 in den Bereich der Mittelkonsole 6 bewegt
ist. Die Schrankenregion 45 ist so ausgebildet, dass sie
den Raum vor dem Armaturenbrettabschnitt 6 horizontal,
d. h. hinsichtlich einer Höhenposition, unterteilt. Obwohl
die Kamera 15, die vorzugsweise als 360°-Kamera
ausgebildet ist, nur zweidimensionale Bilddaten liefert, lasst sich eine
Höhe der entsprechenden Oberkörperextremität 19–22 unter
Ausnutzung strahlengeometrischer Überlegungen abschätzen.
Da die Abmessungen und Anordnungen der einzelnen zum Fahrzeug gehörenden
Elemente bekannt ist, kann unter Annahme einiger Grundabmessungen
der jeweiligen Oberkörperextremität anhand von
Strahlensätzen eine dreidimensionale Position der einzelnen
Merkmalpositionen errechnet oder abgeschätzt werden. Nimmt einer
der Nutzer beispielsweise eine Betätigung des Bedienelements 10 vor,
so ist die Position der Hand 19f–22f der
entsprechenden Oberkörperextremität 19–22 im
Zeitpunkt der Bedienung annähernd dadurch bekannt, dass
die Position des Bedienelements 10 bekannt ist. Während
der Bedienung kann beispielsweise mittels Strahlensatzüberlegungen
somit eine Breite des Handgelenks 19e–22e errechnet bzw.
abgeschätzt werden. Diese ermittelte Handgelenksbreite
kann im Folgenden verwendet werden, um einen Abstand des Handgelenks 19e–22e von der
Kamera 15 zu ermitteln. Im dargestellten Beispiel ist es
somit möglich, über eine Korrelation der Handgelenkspositionen 23-20 und 23-21 mit
den Positionen des Bedienelements 10 und des Touchscreens 9 der
Multifunktionsbedienvorrichtung die jeweiligen Oberkörperextremitäten 20, 21 den
Bedienelementen zuzuordnen. Über die zusätzlich
ermittelte Zuordnung der Extremitäten 20, 21 zu
den entsprechenden Nutzern, dem Fahrer 12 bzw. dem Beifahrer 13,
ist somit eine Nutzerunterscheidung selbst bei einer zeitgleichen
Bedienung der als Touchscreen 9 ausgebildeten Anzeige-
und Bedienvorrichtung und der Klimaanlage möglich. Dem
Klimasteuergerät 11 und ein einem Anzeige- und
Bedieneinheitssteuergerät 47 wird jeweils ein
entsprechendes Nutzererkennungssignal zugeleitet, so dass nutzerspezifische Bedienungen
der entsprechenden Komfortfunktionen und/oder Komfortgeräte
möglich ist.
-
Bei
einer Weiterbildung kann vorgesehen sein, dass auch charakteristische
Merkmale, beispielsweise Ringe, Anomalien der Oberkörperextremitäten 19–22 usw.
als Merkmale erfasst und ausgewertet werden. Werden solchen charakteristischen Merkmale
nicht nur für einen Fahrzyklus gespeichert, so können
sie auch verwendet werden, um eine Nutzerwiedererkennung auszuführen,
die einen Nutzer als bestimmtes Individuum identifiziert. In einem
solchen Fall ist es möglich, dass die Nutzererkennung ein
den individuellen Nutzer identifizierendes Wiedererkennungssignal
umfasst. Dieses kann von einzelnen Steuergeräten genutzt
werden, um nutzerspezifische Einstellungen, beispielsweise Sitz-
und Spiegeleinstellungen, automatisch vorzunehmen, sobald der Nutzer
im Fahrzeug als solcher erkannt wird.
-
Es
versteht sich für den Fachmann, dass die beschriebene Ausführungsform
lediglich beispielhaften Charakter hat und zum Teil schematisch
vereinfacht ist.
-
- 1
- Innenraum
- 2
- Fahrersitz
- 3
- Beifahrersitz
- 4
- Mittelkonsole
- 5
- Horizontalabschnitt
- 6
- Armaturenbrettabschnitt
- 7
- Klimabedienabschnitt
- 8
- Multifunktionsdisplayabschnitt
- 9
- Touchscreen
- 10
- Bedienelement
- 11
- Klimasteuergerät
- 12
- Fahrer
- 13
- Beifahrer
- 14
- Vorrichtung
zur Nutzererkennung
- 15
- Kamera
- 16
- Auswerteeinheit
- 17
- Signalerzeugungseinheit
- 18
- Mustererkennungseinheit
- 19–22
- Oberkörperextremitäten
- 19a–22a
- Schultergelenk
- 19b–22b
- Oberarm
- 19c–22c
- Ellenbogengelenk
- 19d–22d
- Unterarm
- 19e–22e
- Handgelenk
- 19f–22f
- Hand
- 23
- Schultergelenksposition
- 24
- Ellenbogengelenksposition
- 25
- Handgelenksposition
- 26
- Raumkurve
- 27
- weitere
Raumkurve
- 28–31
- Kurvenabschnitte
- 32–36
- Finger
- 41–46
- Schrankenregionen
- 47
- Anzeige-
und Bedieneinheitssteuergerät
- α1, α2
- Winkel
zwischen dem den Unterarm repräsentierenden Kurvenabschnitt
(28, 30) und dem den Oberarm repräsentierenden
Kurvenabschnitt (29, 31)
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
-
Zitierte Nicht-Patentliteratur
-
- - ”Videobasierte
Messung menschlicher Bewegungen konform zum Menschmodell RAMSIS”, Fakultät
für Maschinenwesen, Technische Universität München,
2003 [0022]