DE102008019731B4 - Verfahren und Vorrichtung zur Fahrer-Beifahrer-Unterscheidung - Google Patents

Verfahren und Vorrichtung zur Fahrer-Beifahrer-Unterscheidung Download PDF

Info

Publication number
DE102008019731B4
DE102008019731B4 DE102008019731.9A DE102008019731A DE102008019731B4 DE 102008019731 B4 DE102008019731 B4 DE 102008019731B4 DE 102008019731 A DE102008019731 A DE 102008019731A DE 102008019731 B4 DE102008019731 B4 DE 102008019731B4
Authority
DE
Germany
Prior art keywords
user
feature vector
feature
driver
passenger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102008019731.9A
Other languages
English (en)
Other versions
DE102008019731A1 (de
Inventor
Tatjana Kruscha
Dr. Seifert Katharina
Dr. Wengelnik Heino
Mirko Langnickel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE102008019731.9A priority Critical patent/DE102008019731B4/de
Publication of DE102008019731A1 publication Critical patent/DE102008019731A1/de
Application granted granted Critical
Publication of DE102008019731B4 publication Critical patent/DE102008019731B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Abstract

Verfahren zur Fahrer-Beifahrer-Unterscheidung in einem Fahrzeug bei einer Betätigung eines Bedienelements (10), wobei das Verfahren umfasst:
Erfassen von Bilddaten eines Innenraums (1) des Fahrzeugs mittels mindestens einer Kamera (15) und
Auswerten der mittels der mindestens einen Kamera (15) erfassten Bilddaten, um einen die Betätigung ausführenden der Nutzer zu erkennen, und
Erzeugen eines den erkannten Nutzer als Fahrer oder Beifahrer kennzeichnenden Nutzererkennungssignals, dadurch gekennzeichnet, dass mittels einer Mustererkennung charakteristische Merkmale mindestens einer Extremität (19-22) eines der Nutzer, die zum Ausführen der Betätigung verwendet wird, ermittelt werden, die Merkmale zu einem Merkmalsvektor zusammengefasst werden und der Merkmalsvektor klassifiziert wird, um den Nutzer als Fahrer oder Beifahrer zu erkennen, wobei die Bilddaten Videodaten umfassen und der Merkmalsvektor Positionsangaben von Merkmalspositionen zu unterschiedlichen Zeitpunkten umfasst und bei der Klassifizierung ein Vergleich des Merkmalsvektors mit in einer Datenbank gespeicherten Regeln vorgenommen wird und/oder eine Klassifizierung über eine Zuordnung des Merkmalsvektors zu Klassen erfolgt, die allgemein anhand von Musterbetätigungen von Nutzern ermittelt sind, wobei eine Ähnlichkeit des Merkmalsvektors zu in der Datenbank gespeicherten Musterbetätigungs-Merkmalsvektoren, denen eine Nutzererkennung als Fahrer oder Beifahrer zugeordnet ist, ermittelt wird, indem eine vorgegebene Metrik verwendet werden, um einen Abstand des Merkmalsvektors von in der Datenbank gespeicherten Klassenvektoren zu bestimmen, wobei dem Merkmalsvektor die Nutzerkennung des in der Datenbank gespeicherten Klassenvektors zugeordnet wird, wenn ein vorgegebener Abstand gemäß der vorgegebenen Metrik unterschritten ist.

Description

  • Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Nutzererkennung im Sinne einer Fahrer-Beifahrer-Unterscheidung, in einem Fahrzeug bei einer Betätigung eines Bedienelements.
  • Eine zuverlässige Fahrer-Beifahrer-Erkennung bzw. -Un terscheidung gewinnt im Bereich des Kraftfahrzeugbaus zunehmend an Bedeutung. Zum einen ist es möglich, Komfortfunktionen und/oder Komfortvorrichtungen und Einrichtungen, die nutzerabhängig konfiguriert und/oder eingestellt werden, über eine verringerte Anzahl von Bedienelementen, nämlich über dieselben Bedienelemente, bedienen zu können. So können aufwendige Bedienelemente eingespart werden. Hierdurch wird Bauraum für andere Bedienelemente und/oder Anzeigevorrichtungen usw. eingespart. Darüber hinaus sind die in Kraftfahrzeugen bereitgestellten Vorrichtungen häufig derart komplex hinsichtlich ihrer Bedienung ausgestaltet, dass eine Bedienung durch einen Fahrer während der Fahrt unerwünscht ist, da ihn dieses zu sehr vom Verkehrsgeschehen ablenkt. In einigen Staaten ist daher beispielsweise eine Bedienung eines Navigationssystems, welches dem Fahrer Fahranweisungen ausgibt, um das Fahrzeug zu einem gewünschten Zielort zu lenken, so auszugestalten, dass diese während der Fahrt nicht bedienbar sind. Ausgestaltungen im Stand der Technik erfüllen dieses Verbot beispielsweise dadurch, dass das Navigationsgerät mit Signalen versorgt wird, die eine Bewegung des Kraftfahrzeugs anzeigen. Wird beispielsweise an Radimpulssensoren eine Fahrtgeschwindigkeit des Kraftfahrzeugs festgestellt, so wird dies dem Navigationsgerät signalisiert, welches daraufhin Bedieneingaben seitens der Nutzer ignoriert. Ein solches System ist unkomfortabel, da es zur Änderung einer Zieleingabe oder anderer Navigationseingaben jeweils erforderlich ist, das Kraftfahrzeug zum Stillstand zu bringen, bevor eine Änderung der Eingaben möglich ist. Bei diesen Ausführungsformen ist auch eine Bedienung durch einen Beifahrer, der sich nicht auf den Straßenverkehr konzentrieren muss, unmöglich.
  • Die Autoren S. Y.CHENG, S. Park und M. M. Trivedi beschreiben in dem Artikel: „Multiperspective thermal IR and video arrays for 3D body tracking and driver activity analysis“, der in 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR‘05)-Workshops. IEEE, 2005, wie man mit einem multimodalen und multiperspektivischen Kamerasystem eine 3D-Spurermittlung eine Körperteils ausführen kann.
  • In der DE 103 37 852 A1 ist ein Fahrzeugsystem zum Betrieb in einem Kraftfahrzeug mit einer Bedieneinrichtung zur Bedienung des Fahrzeugsystems und einer Steuerung zur Beeinflussung einer Bedienung des Fahrzeugsystems über die Bedieneinrichtung vorgeschlagen, wobei eine Einrichtung vorgesehen ist, die dazu ausgebildet ist, zu erkennen, ob ein Bedienzugriff auf die Bedieneinrichtung durch den Fahrzeugführer oder einen sonstigen Insassen des Fahrzeugs erfolgt und dass die Steuerung dazu ausgebildet ist, die Bedienung des Fahrzeugsystems über die Bedieneinrichtung zumindest in Abhängigkeit davon zu beeinflussen, ob ein Bedienzugriff auf die Bedieneinrichtung durch den Fahrzeugführer oder einen anderen Fahrzeuginsassen erfolgt.
  • Aus dem Stand der Technik sind unterschiedliche Verfahren bekannt, um eine Fahrer-Beifahrer-Erkennung zu ermöglichen. Aus der WO 2004/078536 ist ein Verfahren bekannt, bei dem Hochfrequenzsignale in einen Körper eines Nutzers eingekoppelt werden, über den Körper übertragen werden und bei einer Betätigung eines Bedienelements kapazitiv in einen Empfänger eingekoppelt werden. Sind in unterschiedlichen Fahrzeugsitzen unterschiedliche Sendeeinheiten vorgesehen, die unterschiedlich modulierte Hochfrequenzsignale in den jeweils auf dem Fahrzeugsitz sitzenden Nutzerkörper einkoppeln, so kann über das empfangene Hochfrequenzsignal eine Unterscheidung der unterschiedlichen Nutzer bei einem Betätigen eines Bedienelements vorgenommen werden. Ein solches System zur Fahrer-Beifahrer-Erkennung bzw. -Unterscheidung benötigt eine Vielzahl von unterschiedlichen Komponenten, die an unterschiedlichen Orten in einem Fahrzeug verbaut werden müssen. Ein Fertigungsaufwand ist daher sehr hoch und entsprechend kostenintensiv. Ferner stoßen solche Systeme, bei denen Signale in den Körper des Nutzers eingekoppelt werden, häufig auf Ablehnung, so dass eine Nutzerakzeptanz gering ist.
  • Der Erfindung liegt daher das technische Problem zugrunde, eine Vorrichtung und ein Verfahren zu schaffen, mit denen zuverlässig eine Fahrer-Beifahrer-Unterscheidung bzw. einer Erkennung eines Nutzers als Fahrer oder Beifahrer möglich ist, welche mit technisch einfacheren Mitteln realisierbar ist.
  • Das technische Problem wird durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 sowie eine Vorrichtung mit den Merkmalen des Patentanspruchs 10 erfindungsgemäß gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
  • Bei dem vorgeschlagenen Verfahren zur Nutzerunterscheidung und/oder Nutzererkennung im Sinne einer Fahrer-Beifahrer-Unterscheidung und/oder -Erkennung in einem Fahrzeug bei einer Betätigung eines Bedienelements sind ein Erfassen von Bilddaten eines Innenraums des Fahrzeugs mittels mindestens einer Kamera und ein Auswerten der mittels der mindestens einen Kamera erfassten Bilddaten, um einen die Betätigung ausführenden der Nutzer zu erkennen, und ein Erzeugen eines den erkannten Nutzer kennzeichnenden Nutzererkennungssignals vorgesehen. Die Auswertung der Bilddaten wird hierbei mittels einer Mustererkennung ausgeführt, die charakteristische Merkmale mindestens einer Extremität eines der Nutzer ermittelt. Die Merkmale werden zu einem Merkmalsvektor zusammengefasst und der Merkmalsvektor klassifiziert, um den Nutzer zu erkennen und/oder den Nutzer von einem anderen Nutzer zu unterscheiden.
  • Unter einer Nutzererkennung wird hier ein Erkennen einer dem Nutzer zugeordneten Funktion oder Sitzposition im Fahrzeug (beispielsweise Fahrer, Beifahrer) verstanden. Eine Identifizierung eines Nutzers als eine bestimmte Person oder ein Wiedererkennen ist hierfür nicht zwingend erforderlich. Eine erfindungsgemäße Vorrichtung umfasst somit eine Kamera zum Erfassen von Bilddaten eines Innenraums des Fahrzeugs und eine Auswerteeinheit zum Auswerten der mittels der mindestens einen Kamera erfassten Bilddaten, um einen die Betätigung ausführenden der Nutzer zu erkennen, und eine Signaleinheit zum Erzeugen des den erkannten Nutzer kennzeichnenden Nutzererkennungssignals. Hierbei ist vorgesehen, dass die Auswerteeinheit eine Mustererkennungseinheit umfasst, mittels der charakteristische Merkmale mindestens einer Extremität eines der Nutzer ermittelt werden und die Merkmale zu einem Merkmalsvektor zusammengefasst werden, und eine Klassifizierungseinheit zum Klassifizieren des Merkmalsvektors, um den Nutzer zu erkennen und/oder von einem anderen Nutzer zu unterscheiden. Über eine Kamera, welche vorzugsweise oberhalb der Positionen der Nutzer, in einem Kraftfahrzeug bevorzugt in einem Himmel des Fahrgastraums, bevorzugt zwischen den Sitzen des Fahrers und des Beifahrers angebracht ist, können die Nutzer erfasst werden. Die Kamera ist vorzugsweise als Weitwinkel-Kamera, besonders bevorzugt als 360°-Kamera ausgebildet. Die Kamera ist vorzugsweise so ausgebildet, dass sie auch im infraroten Wellenlängenbereich sensitiv ist. Im Zusammenwirken mit Infrarotlichtquellen ist so eine störungsfreie Funktion bei Tag und Nacht, d. h. auch bei Dunkelheit, gewährleistet. Über eine Auswertung der Bilddaten, die einfach zu erfassen sind, ist es mittels einer Mustererkennung möglich, eine Extremität des Nutzers zu erkennen. Von dieser mindestens einen Extremität eines der Nutzer, die zum Ausführen einer Betätigungshandlung verwendet wird, werden charakteristische Merkmale ermittelt. Diese charakteristischen Merkmale können verwendet werden, um die Extremität zu repräsentieren. Die Merkmale werden hierfür zu einem Merkmalsvektor zusammengefasst. Um die eigentliche Nutzererkennung bzw. Nutzerunterscheidung vorzunehmen ist es abschließend lediglich erforderlich, den Merkmalsvektor zu klassifizieren. Ist es möglich, die Extremität hierdurch einem Nutzer zuzuordnen, ist hierüber auch eine Zuordnung einer Betätigungshandlung zu dem Nutzer möglich. Das erzeugte Nutzererkennungssignal wird ausgegeben und für eine Bedienlogik einer Bedienvorrichtung bereitgestellt, so dass diese beispielsweise eine Komfortfunktion und/oder Komforteinrichtung des Kraftfahrzeugs nutzerbezogen gemäß der vorgenommenen Betätigungshandlung an dem Bedienelement steuern und/oder betätigen kann. Dadurch, dass lediglich mindestens eine Kamera benötigt wird, die den Innenraum des Fahrzeugs erfasst und Bilddaten für eine Auswertung zur Verfügung stellt, die dann von der Auswerteeinheit ausgewertet werden können, ist ein technischer Aufwand zum Ausführen einer Nutzererkennung gegenüber den aus dem Stand der Technik bekannten Verfahren deutlich reduziert. Die Kamera bzw. die hiermit aufgenommenen und erfassten Bilddaten können auch für andere Zwecke oder in anderen Systemen eingesetzt werden. Eine Integration der Nutzerunterscheidung und/oder Nutzererkennung verursacht somit geringe oder keine Extrakosten. Verfahren der Mustererkennung, um einzelne Gegenstände in einem Bild, d.h. in Bilddaten, zu ermitteln, sind im Stand der Technik bekannt. Beispielsweise können im Fahrzeuginnenraum befindliche Gegenstände dadurch erkannt werden, dass ein aktuell aufgenommenes Bild, d.h. die aktuell aufgenommenen Bilddaten, mit einem Bild bzw. Bilddaten verglichen werden, die mittels der Kamera von einem leeren Fahrgastraum des Fahrzeugs aufgenommen sind. Die so aufgefundenen im Fahrgastraum befindlichen Gegenstände werden daraufhin untersucht, ob sie eine Extremität darstellen können. Hierzu werden Merkmale des gefundenen Gegenstands, beispielsweise eine Ausdehnung, eine Form usw. ermittelt und ausgewertet. Wird hierbei eine Extremität erkannt, so werden die Extremität kennzeichnende Merkmale zu einem Merkmalsvektor zusammengefasst. Dieser wird anschließend klassifiziert. Die Klassifizierung wird so vorgenommen, dass der Merkmalsvektor eine Zuordnung zu einem der Nutzer des Kraftfahrzeugs ermöglicht. Beispielsweise wird ermittelt, ob die Extremität eine Extremität von einem Nutzer auf einem Fahrersitz oder eine Extremität von einem Nutzer auf einem Beifahrersitz ist. Ebenso ist auch eine Unterscheidung für weitere Insassen (Nutzer), beispielsweise auf Rücksitzen im Fond möglich.
  • Eine besonders einfache Auswertung und Klassifizierung wird ermöglicht, wenn die charakteristischen Merkmale Merkmalspositionen umfassen, die wiederum vorzugsweise eine Handgelenkposition, eine Ellenbogenposition und eine Schulterposition eines Nutzers umfassen. Werden von einer Extremität eines Nutzers Merkmalspositionen, beispielsweise eine Handgelenksposition, eine Ellenbogenposition und eine Schulterposition ermittelt, so können diese einfach verwendet werden, um die Extremität zu charakterisieren. Verbindet man beispielsweise die ermittelten Merkmalspositionen, so erhält man einen Verlauf der Extremität und hierüber in der Regel eine Information, von welchem Nutzer die Extremität ausgeht. Wird eine Betätigung eines Bedienelements mit dieser Extremität vorgenommen, so kann hierdurch auf den die Betätigung vornehmenden Nutzer geschlossen werden.
  • Nicht in jeder Situation ist jedoch eine zuverlässige Nutzerunterscheidung nach einer Ermittlung von Merkmalspositionen zu einem Erfassungszeitpunkt möglich. Bei einer Ausführungsform ist daher vorgesehen, dass die Mustererkennungseinheit ausgebildet ist, sequenziell unterschiedliche Mustererkennungsschritte auszuführen und eine Anzahl der ermittelten Merkmale, insbesondere der Merkmalspositionen, zu steigern, wenn mittels der Klassifizierungseinheit signalisiert ist, dass eine Unterscheidung der Nutzer anhand der bereits bekannten Merkmale, d.h. der bereits ermittelten Merkmale, nicht zuverlässig möglich ist. Sind beispielsweise die ermittelten Merkmalspositionen die Handgelenksposition, die Ellenbogenposition und die Schulterposition und ist es ferner nach einem Verbinden dieser Merkmalspositionen zu einer Kurve im Raum nicht möglich, anhand des Kurvenverlaufs die Extremität einem der Nutzer zuzuordnen, so kann es beispielsweise vorteilhaft sein, eine Mustererkennung auszuführen, die eine Geometrie der Hand ermittelt. Ist beispielsweise nicht zu unterscheiden, ob die ermittelte Extremität bei einem Fahrzeug mit Linkslenker ein rechter Arm des Fahrers oder ein linker Arm des Beifahrers ist, so kann in der Regel aus einer Reihenfolge der Finger der Hand ermittelt werden, ob die Extremität, der die Hand zugeordnet ist, dem Fahrer oder dem Beifahrer zuzurechnen ist. Bei einer bevorzugten Ausführungsform wird somit eine Reihenfolge der Finger ermittelt und zur Nutzererkennung und Unterscheidung herangezogen. Handelt es sich bei der einem Bedienelement in einer Mittelkonsole angenäherten Extremität um den rechten Arm des Fahrers, so wird eine Reihenfolge der Finger von links nach rechts bei einer Betrachtung von oben Daumen, Zeigefinger, Mittelfinger, Ringfinger, kleiner Finger sein. Handelt es sich hingegen um den linken Arm des Beifahrers, so wäre bei einer Betrachtung von oben die Fingerreihenfolge von links nach rechts kleiner Finger, Ringfinger, Mittelfinger, Zeigefinger, Daumen.
  • Dadurch, dass eine verfeinerte Auswertung nur dann stattfindet, wenn eine zuverlässige Identifikation nicht anhand einer zuvor vorgenommenen Mustererkennung und Auswertung möglich ist, wird der benötigte Rechenaufwand und Auswerteaufwand minimal gehalten. In den meisten Fällen wird eine Mustererkennung, die nur eine geringe Anzahl von Merkmalen der Extremität ermittelt, ausreichen, um eine Nutzerunterscheidung zu ermöglichen. Lediglich in den Situationen, in denen dies nicht der Fall ist, wird eine aufwendigere Mustererkennung und Auswertung durchgeführt.
  • Eine Auswertung wird insbesondere hinsichtlich ihrer Zuverlässigkeit erfindungsgemäß gesteigert, indem Bilddaten ausgewertet werden, die zu unterschiedlichen Zeitpunkten erfasst sind. Die Kamera ist daher eine Videokamera, die Bilddaten zu unterschiedlichen Erfassungszeitpunkten erfasst. Bevorzugt wird in den Bilddaten zu jedem Erfassungszeitpunkt jeweils ein fester Satz von Merkmalen, insbesondere Merkmalspositionen, besonders bevorzugt der Handgelenksposition, der Ellenbogenposition und der Schulterposition, der Extremität ermittelt. In dem Merkmalsvektor werden nun die Merkmalspositionen zu unterschiedlichen Erfassungszeitpunkten zusammengefasst. Hierbei versteht es sich, dass vorzugsweise für jede Merkmalsposition nur eine festgelegte Anzahl von zu früheren Zeitpunkten erfassten Merkmalspositionen in dem Merkmalsvektor gehalten werden. Mit dem Zufügen einer neuen Merkmalsposition zu einem neuen Erfassungszeitpunkt wird die älteste Merkmalsposition für dieses charakteristische Merkmal aus dem Merkmalsvektor entfernt, wenn die festgelegt Anzahl überschritten wird. Dies bedeutet, dass aus dem Merkmalsvektor Bewegungen der Extremität abgeleitet werden können. Eine Klassifizierung des Merkmalsvektors kann somit in der Weise vorgenommen werden, dass der Merkmalsvektor mit in einer Datenbank gespeicherten Merkmalsvektoren verglichen wird, in der Merkmalsvektoren von Betätigungshandlungen unterschiedlicher Personen abgelegt sind. Hierbei können beispielsweise typische Relativbewegungen einzelner Merkmalpunkte ausgewertet werden. Schwenkt ein Nutzer beispielsweise seinen Arm in der Weise, dass sein Handgelenk von seinem Bauch weg in einen Bereich einer Mittelkonsole, die zwischen dem Fahrersitz und dem Beifahrersitz angeordnet ist, bewegt wird, so ergibt eine Auswertung der Merkmalsposition Handgelenkposition einen charakteristischen Bewegungsvektor, der von der Seite, auf der der entsprechende Nutzer sitzt, zu der Mittelkonsole hin gerichtet ist. Ein Bewegungsvektor eines auf der anderen Seite der Mittelkonsole angebrachten Sitzes würde entsprechend eine Bewegung in entgegengesetzter Richtung ausführen, um ein im Bereich der Mittelkonsole angeordnetes Bedienelement mit seiner Hand zu betätigen. Zur Klassifizierung des Merkmalsvektors können somit unterschiedlichste Auswertungen vorgenommen werden. Hierbei ist es gemäß einer erfindungsgemäßen Alternative möglich, einzelne Regeln und/oder Abfragen hinsichtlich einzelner Merkmale abzuprüfen. Ebenso ist es erfindunggemäß jedoch bei einer anderen Ausführungsform möglich, dass alternativ oder zusätzlich eine Ähnlichkeit des Merkmalsvektors zu in der Datenbank gespeicherten Merkmalsvektoren ermittelt wird. Hierbei kann eine vorgegebene Metrik verwendet werden, um einen Abstand der Vektoren zu bestimmen. Wird ein vorgegebener Abstand gemäß der gewählten Metrik unterschritten, so gelten die beiden Vektoren als ähnlich. Den in der Datenbank gespeicherten Merkmalsvektoren ist eine Nutzererkennung und/oder Unterscheidung zugeordnet, so dass diese verwendet werden kann, um die klassifizierten Merkmalsvektoren den entsprechenden Nutzer zuzuordnen.
  • Während eines Fahrzyklusses kann eine Nutzererkennung, d.h. eine Fahrer-Beifahrer-Erkennung, deutlich verbessert und beschleunigt werden, wenn zusätzlich besondere charakteristische, an den Extremitäten angebrachte Gegenstände und/oder Besonderheiten und/oder Anomalien der Extremitäten als Merkmale erfasst werden und abgespeichert werden und nachfolgend anhand dieser Merkmale eine Wiedererkennung eines Nutzers ausgeführt wird. Trägt beispielsweise ein Beifahrer eine charakteristischen Ring, so kann ein Vorhandensein dieses charakteristischen Rings an der Extremität als Identifizierungsmerkmal für den Beifahrer genutzt und ausgewertet werden.
  • Unterstützt werden kann eine Nutzererkennung dadurch, dass mindestens eine Schrankenregion festgelegt wird und ein Eindringen und/oder eine Eindringrichtung eines oder mehrerer Merkmalspunkte ausgewertet werden, um die Extremität einem Nutzer zuzuordnen. Werden beispielsweise rechts und links einer Mittelkonsole solche Schrankenregionen festgelegt, so kann über eine Eindringrichtung in die eine oder andere der Schrankenregionen festgestellt werden, von welcher Seite aus die Extremität auf die Mittelkonsole zubewegt wird. Ist die Mittelkonsole zwischen den Fahrzeugsitzen der Nutzer angeordnet, so ist bei einem Fahrzeug mit Linkslenker ein Eindringen von rechts in eine Schrankenregion direkt vor einem Bedienelement in der Mittelkonsole ein Hinweis darauf, dass der Fahrer das Bedienelement betätigen wird oder betätigt. Dringt hingegen die Extremität von links in die Schrankenregion ein, so ist dies ein Hinweis, dass die Extremität dem Beifahrer zuzuordnen ist und eine Betätigung des Bedienelements durch den Beifahrer vorgenommen wird.
  • Über eine Korrelation zwischen einer Position des mindestens einen Bedienelements und einer Merkmalsposition ist es möglich, eine Zuordnung der Extremität und hierüber des Nutzers zu einem Bedienelement vorzunehmen. Dieses ist von Vorteil, wenn mehrere Nutzer zeitgleich Bedienelemente betätigen. Es ist somit bei einigen Ausführungsformen möglich, einen Bedienort zu ermitteln, d.h. ein Gebiet, in dem sich Bedienelemente befinden, oder sogar direkt ein Bedienelement, die oder das der Fahrer oder Beifahrer bedient.
  • Insbesondere bei Ausführungsformen, bei denen Bilddaten zu unterschiedlichen Erfassungszeitpunkten ausgewertet werden und hierbei jeweils dieselben physischen Merkmale als Merkmalspositionen ermittelt werden, lässt sich auch in Situationen, in denen zwei Nutzer dicht benachbarte Bedienelemente betätigen, eine zuverlässige Nutzererkennung der Extremität durchführen. Über eine zusätzlich ausgeführte Korrelation der Merkmalspositionen mit den Positionen der betätigten Bedienelemente ist darüber hinaus in der Regel eine Zuordnung der Extremitäten zu den einzelnen betätigten Bedienelementen möglich. Somit können zeitgleich vorgenommene Betätigungshandlungen unterschiedlicher Nutzer dennoch korrekt den jeweiligen Nutzern zugeordnet werden. Dieses ist selbst dann möglich, wenn sich die Extremitäten in den Bilddaten teilweise verdecken.
  • Auch wenn eine Nutzerunterscheidung und/oder Nutzererkennung genutzt wird, ist es in der Regel möglich, über eine gesonderte Nutzereingabe nutzerbezogene Einstellungen für einen anderen Nutzer vorzunehmen. Ist beispielsweise nur ein Stellregler für Sitzheizungen vorhanden, über den die Sitzheizungen des Fahrersitzes und des Beifahrersitzes abhängig davon geregelt und eingestellt werden, welcher Nutzer (Fahrer oder Beifahrer) die Betätigung vornimmt, so ist es über eine gesonderte Nutzereingabe (beispielsweise eine Betätigung einer weiteren Bedientaste) möglich, den Stellregler zumindest zeitweise dem Fahrersitz oder dem Beifahrersitz unabhängig von der betätigenden Person zuzuordnen. Somit kann dann der Fahrer für den Beifahrersitz oder der Beifahrer für den Fahrersitz eine Sitzheizungseinstellung über den Stellregler vornehmen. Bei einer solchen Ausführungsform kann somit ein Regelungsort (ein Zielsystem oder eine Zielfunktion, die über ein Bedienelement bedient werden) gesondert explizit festgelegt werden.
  • Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf eine Zeichnung näher erläutert. Hierbei zeigen:
    • 1 eine schematische Darstellung eines Innenraums eines Kraftfahrzeugs; und
    • 2 anhand von miteinander verbundenen Merkmalspositionen erzeugte Raumkurven, anhand derer eine Klassifikation des zugehörigen Merkmalsvektors und eine Zuordnung einer Extremität zu einem Nutzer vorgenommen werden kann.
  • In 1 ist schematisch ein Innenraum 1 eines Fahrzeugs, insbesondere eines Kraftfahrzeugs, dargestellt. In dem Innenraum 1 sind nebeneinander und voneinander beabstandet ein Fahrersitz 2 und ein Beifahrersitz 3 angeordnet. Zwischen dem Fahrersitz 2 und dem Beifahrersitz 3 ist eine Mittelkonsole 4 angeordnet. Die Mittelkonsole 4 weist einen zwischen Sitzflächen des Fahrersitzes 2 und des Beifahrersitzes 3 angeordneten Horizontalabschnitt 5 und einen hierzu angewinkelten Armaturenbrettabschnitt 6 im Bereich des Armaturenbretts auf. Der Armaturenbrettabschnitt 6 ist in einen Klimabedienabschnitt 7 und einen Multifunktionsdisplayabschnitt 8 unterteilt. In dem Multifunktionsdisplayabschnitt 8 ist eine als Touchscreen 9 ausgebildete Anzeige- und Bedienvorrichtung angeordnet. Der Klimabedienabschnitt 7 umfasst exemplarisch ein Bedienelement 10. Auch in dem Horizontalabschnitt der Mittelkonsole 4 können weitere Bedienelemente (nicht dargestellt) angeordnet sein.
  • Das im Klimabedienabschnitt 7 angeordnete Bedienelement 10 ist mit einem Klimasteuergerät 11 informationstechnisch gekoppelt. Dieses Klimasteuergerät 11 ist so ausgestaltet, dass es beispielsweise eine fahrzeugseitenspezifische Innenraumtemperatureinstellung ermöglicht. Je nachdem, ob ein auf dem Fahrersitz 2 angeordneter als Fahrer 12 bezeichneter Nutzer oder ein auf dem Beifahrersitz 3 sitzender als Beifahrer 13 bezeichneter Nutzer das Bedienelement 10 betätigt, wird die Temperatur auf der Fahrer- oder Beifahrerseite des Innenraums beeinflusst. Hierfür ist es notwendig, dass dem Klimasteuergerät 11 ein Nutzererkennungssignal bereitgestellt wird, welches den eine Betätigung vornehmenden Nutzer als Fahrer oder Beifahrer identifiziert bzw. erkennt oder unterscheidet.
  • Hierfür ist eine Vorrichtung 14 zur Nutzererkennung und/oder Unterscheidung vorgesehen. Diese umfasst eine Kamera 15 und eine Auswerteeinheit 16, die informationstechnisch miteinander verbunden sind, sowie eine Signalerzeugungseinheit 17, die anhand der Ergebnisse der Auswertung ein Nutzererkennungssignal erzeugt und beispielsweise dem Klimasteuergerät 11 bereitstellt. Die Kamera 15 ist vorzugsweise in einem Fahrzeughimmel oberhalb und zwischen den Nutzern, d.h. dem Fahrer 12 und dem Beifahrer 13, angeordnet. Bei der Kamera 15 handelt es sich vorzugsweise um eine digitale Weitwinkel-Videokamera, die farbige Bilddaten bereitstellt. Farbige Bilddaten umfassen Farbinformationen. Der Sichtbereich der Kamera 15 beträgt vorzugsweise 360°. Ein von der Kamera 15 zu einem Zeitpunkt gesehenes Bild entspricht im Wesentlichen der Ansicht der 1, sofern man die gestrichelt dargestellten Objekte sowie die Kamera 15 selbst aus dem Bild wegdenkt. Die von der Kamera 15 aufgenommenen Bilddaten werden der Auswerteeinheit 16 zugeführt. Diese umfasst eine Mustererkennungseinheit 18, die anhand unterschiedlicher Mustererkennungsverfahren, wie sie im Stand der Technik bekannt sind, Objekte zu erkennen sucht, die dem Fahrer 12 oder dem Beifahrer 13 zuzuordnen sind. Wird beispielsweise eine Differenz zu Bilddaten gebildet, die von einem leeren Fahrzeuginnenraum 1 aufgenommen sind, so lassen sich die Nutzer einfach erkennen. Anhand von in der Auswerteeinheit abgespeicherten Grunderkennungsinformationen ist es der Mustererkennungseinheit 18 möglich, für eine Betätigung verwendete Extremitäten zu erkennen. Hierbei werden Merkmale von Oberkörperextremitäten 19, 20 des Fahrers 12 und Oberkörperextremitäten 21, 22 des Beifahrers 13 ermittelt. Die Oberkörperextremitäten 19-22 umfassen jeweils ein Schultergelenk 19a-22a, einen Oberarm 19b-22b, ein Ellenbogengelenk 19c-22c, einen Unterarm 19d-22d, ein Handgelenk 19e-22e sowie eine Hand 19f-22f. Für jede erkannte Oberkörperextremität 19-22 werden charakteristische Merkmale extrahiert. In einem ersten Schritt werden von der Mustererkennungseinheit jeweils eine Schultergelenkposition 23-19 bis 23-22, eine Ellenbogenposition 24-19 bis 24-22 und eine Handgelenksposition 25-19 bis 25-22 ermittelt. Eine solche Ermittlung ist beispielsweise in der Dissertation von Thomas Seitz mit dem Titel „Videobasierte Messung menschlicher Bewegungen konform zum Menschmodell RAMSIS“, Fakultät für Maschinenwesen, Technische Universität München, 2003, beschrieben. Die Merkmalspositionen werden zu einem Merkmalsvektor zusammengefasst. Die Merkmalsvektoren werden nun klassifiziert, um hierüber eine Zuordnung der Oberkörperextremität 19-22, die zu dem entsprechenden Merkmalsvektor korrespondiert, zu einem der Nutzer vorzunehmen, d.h. dem Fahrer 12 oder dem Beifahrer 13 zuzuordnen.
  • Beispielhaft wird im Folgenden die linke Oberkörperextremität 21 des Beifahrers 13 betrachtet. Um den zugehörigen Merkmalsvektor, der die Schultergelenksposition 23-21, die Ellenbogenposition 24-21 und die Handgelenksposition 25-21 umfasst, werden die einzelnen Merkmalspositionen in der soeben angegebenen Reihenfolge beispielsweise miteinander im Raum verbunden. Hierdurch ergibt sich eine Raumkurve 26, wie sie exemplarisch in 2 dargestellt ist. Zum Vergleich ist in 2 eine weitere Raumkurve 27 dargestellt, die sich ergibt, wenn man die Merkmalspositionen der rechten Oberkörperextremität 20 des Fahrers 12 ebenfalls zu einer Raumkurve verbindet. Gut zu erkennen ist, dass die Raumkurven 26, 27 jeweils zwei Kurvenabschnitte 28, 29 bzw. 30, 31 umfassen, die jeweils einen Oberarm und einen Unterarm repräsentieren. Zu erkennen ist, dass sich hierzwischen eingeschlossene Winkel α1, α2, jeweils im mathematisch positiven Sinn gemessen bezüglich einer Richtung 32, welche durch eine Richtung des den Unterarm repräsentierenden Kurvenabschnitt 28, 30 vorgegeben ist, deutlich unterscheiden. Bei einem Winkel kleiner 180° (α1) kann die entsprechende Raumkurve 26 und entsprechend die zugehörige Oberkörperextremität 21 anhand des Kurvenverlaufs der Raumkurve 26 dem Beifahrer 13 zugeordnet werden. Ist hingegen der Winkel größer 180° (α2), wie dies im Fall der Raumkurve 27 ist, so ist eine Zuordnung zu dem Fahrer 12 möglich. Diese einfache Zuordnung ist nicht in jedem Falle möglich. Ein einmal erkannter Winkel α1, α2 kann als solcher abgespeichert und im zeitlichen Verlauf als charakteristisches Merkmal herangezogen werden.
  • Um die Zuordnung robuster gegenüber Fehlern bei der Mustererkennung zu machen, können weitere Merkmale erfasst werden. Insbesondere werden zu unterschiedlichen Zeitpunkten aufgenommene Bilddaten derselben Oberkörperextremitäten 19-22 aufgenommen und ausgewertet. So lassen sich Bewegungsabläufe und Bewegungen der Oberkörperextremitäten 19-22 ermitteln und klassifizieren. Hierzu können die sich ergebenden Merkmalsvektoren, die nun Merkmalspositionen zu unterschiedlichen Erfassungszeitpunkten umfassen, ausgewertet werden, um Bewegungsgeschwindigkeiten, Beschleunigungen usw. zu ermitteln und auszuwerten. In einer Datenbank können ebenfalls Merkmalsvektoren von standardisierten, d.h. zuvor von unterschiedlichen Personen erfassten und abgespeicherten Musterbetätigungen abgelegt sein, mit denen die aktuell erfassten Merkmalsvektoren verglichen werden, um eine Zuordnung zu Beifahrer und Fahrer zu ermöglichen.
  • Alternativ und/oder zusätzlich können auch die Anordnungen der Finger 32-19, 36-19 bis 32-22, 36-22 ausgewertet werden. Da insbesondere ein Ansatzpunkt eines Daumens 32, aber auch die Längen der einzelnen übrigen Finger 33-36 relativ zueinander charakteristisch sind, ist es möglich, anhand einer Reihenfolge der Finger zu ermitteln, ob die betrachtete Oberkörperextremität 19-22 eine linke oder rechte Oberkörperextremität ist.
  • Bei der beschriebenen Ausführungsform sind ferner Schrankenregionen 41-46 vorgesehen. Bewegt sich eine Oberkörperextremität 19-22 über eine Schrankenregion 41-46 oder in eine Schrankenregion 41-46 hinein, so wird dies registriert. Wird beispielsweise die Schrankenregion 41 von rechts nach links von einer Oberkörperextremität 19-22 durchquert, so ist dies ein Indiz dafür, dass eine Oberkörperextremität 21, 22 des Beifahrers 13 in den Bereich der Mittelkonsole 6 bewegt ist. Die Schrankenregion 45 ist so ausgebildet, dass sie den Raum vor dem Armaturenbrettabschnitt 6 horizontal, d.h. hinsichtlich einer Höhenposition, unterteilt. Obwohl die Kamera 15, die vorzugsweise als 360°-Kamera ausgebildet ist, nur zweidimensionale Bilddaten liefert, lasst sich eine Höhe der entsprechenden Oberkörperextremität 19-22 unter Ausnutzung strahlengeometrischer Überlegungen abschätzen. Da die Abmessungen und Anordnungen der einzelnen zum Fahrzeug gehörenden Elemente bekannt ist, kann unter Annahme einiger Grundabmessungen der jeweiligen Oberkörperextremität anhand von Strahlensätzen eine dreidimensionale Position der einzelnen Merkmalpositionen errechnet oder abgeschätzt werden. Nimmt einer der Nutzer beispielsweise eine Betätigung des Bedienelements 10 vor, so ist die Position der Hand 19f-22f der entsprechenden Oberkörperextremität 19-22 im Zeitpunkt der Bedienung annähernd dadurch bekannt, dass die Position des Bedienelements 10 bekannt ist. Während der Bedienung kann beispielsweise mittels Strahlensatzüberlegungen somit eine Breite des Handgelenks 19e-22e errechnet bzw. abgeschätzt werden. Diese ermittelte Handgelenksbreite kann im Folgenden verwendet werden, um einen Abstand des Handgelenks 19e-22e von der Kamera 15 zu ermitteln. Im dargestellten Beispiel ist es somit möglich, über eine Korrelation der Handgelenkspositionen 23-20 und 23-21 mit den Positionen des Bedienelements 10 und des Touchscreens 9 der Multifunktionsbedienvorrichtung die jeweiligen Oberkörperextremitäten 20, 21 den Bedienelementen zuzuordnen. Über die zusätzlich ermittelte Zuordnung der Extremitäten 20, 21 zu den entsprechenden Nutzern, dem Fahrer 12 bzw. dem Beifahrer 13, ist somit eine Nutzerunterscheidung selbst bei einer zeitgleichen Bedienung der als Touchscreen 9 ausgebildeten Anzeige- und Bedienvorrichtung und der Klimaanlage möglich. Dem Klimasteuergerät 11 und ein einem Anzeige- und Bedieneinheitssteuergerät 47 wird jeweils ein entsprechendes Nutzererkennungssignal zugeleitet, so dass nutzerspezifische Bedienungen der entsprechenden Komfortfunktionen und/oder Komfortgeräte möglich ist.
  • Bei einer Weiterbildung kann vorgesehen sein, dass auch charakteristische Merkmale, beispielsweise Ringe, Anomalien der Oberkörperextremitäten 19-22 usw. als Merkmale erfasst und ausgewertet werden. Werden solchen charakteristischen Merkmale nicht nur für einen Fahrzyklus gespeichert, so können sie auch verwendet werden, um eine Nutzerwiedererkennung auszuführen, die einen Nutzer als bestimmtes Individuum identifiziert. In einem solchen Fall ist es möglich, dass die Nutzererkennung ein den individuellen Nutzer identifizierendes Wiedererkennungssignal umfasst. Dieses kann von einzelnen Steuergeräten genutzt werden, um nutzerspezifische Einstellungen, beispielsweise Sitz- und Spiegeleinstellungen, automatisch vorzunehmen, sobald der Nutzer im Fahrzeug als solcher erkannt wird.
  • Es versteht sich für den Fachmann, dass die beschriebene Ausführungsform lediglich beispielhaften Charakter hat und zum Teil schematisch vereinfacht ist.
  • Bezugszeichenliste
  • 1
    Innenraum
    2
    Fahrersitz
    3
    Beifahrersitz
    4
    Mittelkonsole
    5
    Horizontalabschnitt
    6
    Armaturenbrettabschnitt
    7
    Klimabedienabschnitt
    8
    Multifunktionsdisplayabschnitt
    9
    Touchscreen
    10
    Bedienelement
    11
    Klimasteuergerät
    12
    Fahrer
    13
    Beifahrer
    14
    Vorrichtung zur Nutzererkennung
    15
    Kamera
    16
    Auswerteeinheit
    17
    Signalerzeugungseinheit
    18
    Mustererkennungseinheit
    19-22
    Oberkörperextremitäten
    19a-22a
    Schultergelenk
    19b-22b
    Oberarm
    19c-22c
    Ellenbogengelenk
    19d-22d
    Unterarm
    19e-22e
    Handgelenk
    19f-22f
    Hand
    23
    Schultergelenksposition
    24
    Ellenbogengelenksposition
    25
    Handgelenksposition
    26
    Raumkurve
    27
    weitere Raumkurve
    28-31
    Kurvenabschnitte
    32-36
    Finger
    41-46
    Schrankenregionen
    47
    Anzeige- und Bedieneinheitssteuergerät
    α1, α2
    Winkel zwischen dem den Unterarm repräsentierenden Kurvenabschnitt (28, 30) und dem den Oberarm repräsentierenden Kurvenabschnitt (29, 31)

Claims (18)

  1. Verfahren zur Fahrer-Beifahrer-Unterscheidung in einem Fahrzeug bei einer Betätigung eines Bedienelements (10), wobei das Verfahren umfasst: Erfassen von Bilddaten eines Innenraums (1) des Fahrzeugs mittels mindestens einer Kamera (15) und Auswerten der mittels der mindestens einen Kamera (15) erfassten Bilddaten, um einen die Betätigung ausführenden der Nutzer zu erkennen, und Erzeugen eines den erkannten Nutzer als Fahrer oder Beifahrer kennzeichnenden Nutzererkennungssignals, dadurch gekennzeichnet, dass mittels einer Mustererkennung charakteristische Merkmale mindestens einer Extremität (19-22) eines der Nutzer, die zum Ausführen der Betätigung verwendet wird, ermittelt werden, die Merkmale zu einem Merkmalsvektor zusammengefasst werden und der Merkmalsvektor klassifiziert wird, um den Nutzer als Fahrer oder Beifahrer zu erkennen, wobei die Bilddaten Videodaten umfassen und der Merkmalsvektor Positionsangaben von Merkmalspositionen zu unterschiedlichen Zeitpunkten umfasst und bei der Klassifizierung ein Vergleich des Merkmalsvektors mit in einer Datenbank gespeicherten Regeln vorgenommen wird und/oder eine Klassifizierung über eine Zuordnung des Merkmalsvektors zu Klassen erfolgt, die allgemein anhand von Musterbetätigungen von Nutzern ermittelt sind, wobei eine Ähnlichkeit des Merkmalsvektors zu in der Datenbank gespeicherten Musterbetätigungs-Merkmalsvektoren, denen eine Nutzererkennung als Fahrer oder Beifahrer zugeordnet ist, ermittelt wird, indem eine vorgegebene Metrik verwendet werden, um einen Abstand des Merkmalsvektors von in der Datenbank gespeicherten Klassenvektoren zu bestimmen, wobei dem Merkmalsvektor die Nutzerkennung des in der Datenbank gespeicherten Klassenvektors zugeordnet wird, wenn ein vorgegebener Abstand gemäß der vorgegebenen Metrik unterschritten ist.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die charakteristischen Merkmale Merkmalspositionen umfassen, die wiederum eine Handgelenksposition (25), eine Ellenbogenposition (24) und eine Schulterposition (23) umfassen.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass eine Anzahl der ermittelten charakteristischen Merkmale, insbesondere der Merkmalspositionen, gesteigert wird, wenn eine Unterscheidung der Nutzer anhand der bereits bekannten charakteristischen Merkmale nicht zuverlässig möglich ist.
  4. Verfahren nach einem der genannten Ansprüche, dadurch gekennzeichnet, dass eine mindestens einige der Merkmalspositionen desselben Erfassungszeitpunkts verbindende Kurve im Raum ausgewertet wird, um eine Nutzerunterscheidung vor zu nehmen.
  5. Verfahren nach einem der genannten Ansprüche, dadurch gekennzeichnet, dass mindestens eine Schrankenregion (41-46) festgelegt wird und ein Eindringen und/oder eine Eindringrichtung eines oder mehrerer Merkmalspositionen ausgewertet werden, um die Extremität (19-22) einem Nutzer zuzuordnen.
  6. Verfahren nach einem der genannten Ansprüche, dadurch gekennzeichnet, dass eine Reihenfolge der Finger (32-36) ermittelt wird und zur Nutzererkennung und Unterscheidung herangezogen wird.
  7. Verfahren nach einem der genannten Ansprüche, dadurch gekennzeichnet, dass einige der charakteristischen Merkmale der Extremität (19-22) zumindest während eines Fahrzyklusses des Fahrzeugs gespeichert werden, um diese für eine nachfolgende Klassifizierung eines Merkmalsvektors und hierüber zur Nutzererkennung oder zur Nutzerunterscheidung zu verwenden.
  8. Verfahren nach einem der genannten Ansprüche, dadurch gekennzeichnet, dass eine Korrelation zwischen einer Position mindestens eines Bedienelement (10) und einer Merkmalsposition ausgewertet wird, um eine Zuordnung der eine Betätigung vornehmenden Extremität (19-22) und hierüber des Nutzers zu einem Bedienelement (10) vorzunehmen.
  9. Verfahren nach einem der genannten Ansprüche, dadurch gekennzeichnet, dass an der Extremität (19-22) angebrachte Gegenstände und/oder Anomalien der Extremität (19-22) als charakteristische Merkmale erfasst werden, um nachfolgend anhand dieser charakteristischen Merkmale eine Wiedererkennung eines der Nutzer zu erleichtern.
  10. Vorrichtung zur Bereitstellung eines Nutzererkennungssignals für eine Fahrer-Beifahrer-Unterscheidung in einem Fahrzeug bei einer Betätigung eines Bedienelements, wobei die Vorrichtung umfasst: mindestens eine Kamera (15) zum Erfassen von Bilddaten eines Innenraums (1) des Fahrzeugs und eine Auswerteeinheit (16) zum Auswerten der mittels der mindestens einen Kamera (15) erfassten Bilddaten, um einen die Betätigung ausführenden der zu erkennen, und eine Signalerzeugungseinheit (17) zum Erzeugen des den erkannten Nutzer als Fahrer oder Beifahrer kennzeichnenden Nutzererkennungssignals, dadurch gekennzeichnet, dass die Auswerteeinheit (16) eine Mustererkennungseinheit (18) umfasst, mittels der charakteristische Merkmale mindestens einer Extremität (19-22) eines der Nutzer, die zum Ausführen der Betätigung verwendet wird, ermittelt werden und die charakteristischen Merkmale zu einem Merkmalsvektor zusammengefasst werden, und einer Klassifizierungseinheit zum Klassifizieren des Merkmalsvektors, um den Nutzer als Fahrer oder Beifahrer zu erkennen, wobei die Kamera (15) eine Videokamera ist, die Bilddaten zu unterschiedlichen Erfassungszeitpunkten erfasst und der Merkmalsvektor Positionsangaben von Merkmalspositionen zu unterschiedlichen Zeitpunkten umfasst und wobei mit der Klassifizierungseinheit eine Datenbank verknüpft ist, in der allgemein anhand von Musterbetätigungen von Nutzern ermittelte Klassenvektoren abgelegt sind, die einzelne Klassen repräsentieren, denen wiederum ein Fahrer oder Beifahrer als der Nutzer zugeordnet ist. wobei eine Klassifizierung über eine Zuordnung des Merkmalsvektors zu den Klassen erfolgt, wobei die Klassifizierungseinheit ausgebildet ist, eine Ähnlichkeit des Merkmalsvektors zu in der Datenbank gespeicherten Klassenvektoren zu ermitteln, indem eine vorgegebene Metrik verwendet werden, um einen Abstand des Merkmalsvektors von in der Datenbank gespeicherten Klassenvektoren zu bestimmen, wobei dem Merkmalsvektor die Nutzerkennung des in der Datenbank gespeicherten Klassenvektors zugeordnet wird, wenn ein vorgegebener Abstand gemäß der vorgegebenen Metrik unterschritten ist und/oder die Klassifizierungseinheit eine Vergleichseinheit umfasst, die den Merkmalsvektor mit in der Datenbank gespeicherten Regeln vergleicht.
  11. Vorrichtung nach Anspruch 10, dadurch gekennzeichnet, dass die Merkmalserkennungseinheit (16) ausgebildet ist, über eine Mustererkennung als charakteristische Merkmale Merkmalspositionen zu ermitteln, die mindestens eine Handgelenksposition, eine Ellenbogenposition und eine Schulterposition umfassen.
  12. Vorrichtung nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass die Mustererkennungseinheit (18) ausgebildet ist, sequenziell unterschiedliche Mustererkennungsschritte auszuführen und eine Anzahl der ermittelten charakteristischen Merkmale, insbesondere der Merkmalspositionen zu steigern, wenn mittels der Klassifizierungseinheit signalisiert ist, dass eine Unterscheidung der Nutzer anhand der bereits bekannten charakteristischen Merkmale nicht zuverlässig möglich ist.
  13. Vorrichtung nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass die Korrelationseinheit ausgebildet ist, eine mindestens einige der Merkmalspunkte desselben Erfassungszeitpunkts verbindende Kurve im Raum auszuwerten, um eine Nutzerunterscheidung vorzunehmen.
  14. Vorrichtung nach einem der Ansprüche 10 bis 13, dadurch gekennzeichnet, dass mindestens eine Schrankenregion (41-46) festgelegt ist und ein Eindringen und/oder eine Eindringrichtung eines oder mehrerer Merkmalspositionen ausgewertet werden, um die Extremität (19-22) einem Nutzer zuzuordnen.
  15. Vorrichtung nach einem der Ansprüche 10 bis 14, dadurch gekennzeichnet, dass eine Reihenfolge der Finger (32-36) ermittelt wird und zur Nutzererkennung und/oder zur Nutzerunterscheidung herangezogen wird.
  16. Vorrichtung nach einem der Ansprüche 10 bis 15, dadurch gekennzeichnet, dass die Auswerteeinheit (16) mit einer Speichereinheit gekoppelt ist, in der einige der charakteristischen Merkmale der Extremität (19-22) zumindest während eines Fahrzyklusses des Fahrzeugs gespeichert werden, um diese für eine nachfolgende Klassifizierung eines Merkmalsvektors und hierüber zur Nutzererkennung oder zur Nutzerunterscheidung zu verwenden.
  17. Vorrichtung nach einem der Ansprüche 10 bis 16, dadurch gekennzeichnet, dass die Auswerteeinheit (16) eine Korrelationseinheit umfasst, mittels der eine Korrelation zwischen einer Position mindestens eines Bedienelement (10) und einer Merkmalsposition auswertbar ist, um eine Zuordnung der Extremität (19-22) und hierüber des Nutzers zu dem mindestens einen Bedienelement (10) vorzunehmen.
  18. Vorrichtung nach einem der Ansprüche 10 bis 17, dadurch gekennzeichnet, dass die Mustererkennungseinheit (18) ausgebildet ist, an der Extremität (19-22) angebrachte Gegenstände und/oder Anomalien der Extremität (19-22) als charakteristische Merkmale zu erfassen, um nachfolgend anhand dieser charakteristischen Merkmale eine Wiedererkennung eines der Nutzer durch die Klassifizierungseinheit zu erleichtern.
DE102008019731.9A 2008-04-18 2008-04-18 Verfahren und Vorrichtung zur Fahrer-Beifahrer-Unterscheidung Active DE102008019731B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102008019731.9A DE102008019731B4 (de) 2008-04-18 2008-04-18 Verfahren und Vorrichtung zur Fahrer-Beifahrer-Unterscheidung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102008019731.9A DE102008019731B4 (de) 2008-04-18 2008-04-18 Verfahren und Vorrichtung zur Fahrer-Beifahrer-Unterscheidung

Publications (2)

Publication Number Publication Date
DE102008019731A1 DE102008019731A1 (de) 2009-10-22
DE102008019731B4 true DE102008019731B4 (de) 2022-02-24

Family

ID=41078673

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102008019731.9A Active DE102008019731B4 (de) 2008-04-18 2008-04-18 Verfahren und Vorrichtung zur Fahrer-Beifahrer-Unterscheidung

Country Status (1)

Country Link
DE (1) DE102008019731B4 (de)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010028580B4 (de) * 2010-05-05 2014-02-27 Bayerische Motoren Werke Aktiengesellschaft Verstellvorrichtung zur ergonomischen Einstellung eines Fahrzeugsitzes mit mehreren verstellbaren Sitzkomponenten
DE102011084087B4 (de) 2011-10-06 2020-06-04 Bayerische Motoren Werke Aktiengesellschaft Verstellvorrichtung zur ergonomischen Einstellung eines Fahrzeugsitzes mit mehreren verstellbaren Sitzkomponenten und/oder zur ergonomischen Einstellung von sitzpositionsabhängigen verstellbaren Fahrzeugkomponenten
FR2988653B1 (fr) * 2012-03-29 2016-08-26 Faurecia Sieges D'automobile Reglage d'un siege pour vehicule automobile
FR2988654A1 (fr) * 2012-03-29 2013-10-04 Faurecia Sieges Automobile Reglage automatique d'un siege pour vehicule automobile
DE102012206960B4 (de) 2012-04-26 2019-10-17 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Erkennung zumindest einer vorgegebenen Betätigungsbewegung für eine Bedieneinrichtung eines Fahrzeugs
DE102012219736A1 (de) 2012-10-29 2014-04-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben einer Eingabevorrichtung
DE102013000083A1 (de) * 2013-01-08 2014-07-10 Audi Ag Kraftfahrzeug mit einer personenspezifischen Bedienschnittstelle
DE102013009567B4 (de) * 2013-06-07 2015-06-18 Audi Ag Verfahren zum Betreiben einer Gestenerkennungseinrichtung sowie Kraftfahrzeug mit räumlich beschränkter Gestenerkennung
DE102014200024A1 (de) * 2014-01-06 2015-07-09 Volkswagen Aktiengesellschaft Anzeigebedieneinheit und Verfahren zum Anzeigen zusätzlicher Hinweise auf eine Anzeigeeinheit
DE102014200025A1 (de) 2014-01-06 2015-07-09 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Ausgeben einer Information in einem Fahrzeug
DE102014201930A1 (de) 2014-02-04 2015-08-06 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Anzeigen einer Veränderung einer Einstellung zumindest eines Parameters einer Fahrzeugfunktion
DE102016000626A1 (de) * 2016-01-22 2017-07-27 Audi Ag Bedienvorrichtung für ein Kraftfahrzeug, Kraftfahrzeug sowie Verfahren zum Betreiben einer Bedienvorrichtung
DE102016201981A1 (de) * 2016-02-10 2017-08-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Auswählen, Aktivieren oder Deaktivieren einer Funktion in einem Kraftfahrzeug mithilfe einer Bedieneinrichtung und ein Bediensystem
DE102017206111A1 (de) * 2017-04-10 2018-10-11 Osram Gmbh Bedienvorrichtung, verfahren und fahrzeug

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6505780B1 (en) 2001-12-05 2003-01-14 Koninklijke Philips Electronics N.V. Personalize vehicle settings using RF tags
WO2004078536A2 (de) 2002-08-15 2004-09-16 Ident Technology Ag Schaltungsanordnung zur selektiven schaltsignalgenerierung, insbesondere für eine fahrzeugtürverriegelung, hiermit ausgestattetes fahrzeug, system und verfahren zur absicherung von gefährdungsbereichen sowie system, systemkomponenten und verfahren zur abwicklung eines hermetisch validierbaren datentransfers
DE10337852A1 (de) 2003-08-18 2005-03-17 Robert Bosch Gmbh Fahrzeugsystem
US20080073057A1 (en) 2006-09-22 2008-03-27 Denso Corporation Air conditioner for vehicle and controlling method thereof

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007023141B4 (de) * 2007-05-16 2013-01-24 Audi Ag Verfahren zur Einstellung und/oder Nachstellung wenigstens eines Komfort-und/oder Sicherheitssystems in einem Kraftfahrzeug sowie Kraftfahrzeug

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6505780B1 (en) 2001-12-05 2003-01-14 Koninklijke Philips Electronics N.V. Personalize vehicle settings using RF tags
WO2004078536A2 (de) 2002-08-15 2004-09-16 Ident Technology Ag Schaltungsanordnung zur selektiven schaltsignalgenerierung, insbesondere für eine fahrzeugtürverriegelung, hiermit ausgestattetes fahrzeug, system und verfahren zur absicherung von gefährdungsbereichen sowie system, systemkomponenten und verfahren zur abwicklung eines hermetisch validierbaren datentransfers
DE10337852A1 (de) 2003-08-18 2005-03-17 Robert Bosch Gmbh Fahrzeugsystem
US20080073057A1 (en) 2006-09-22 2008-03-27 Denso Corporation Air conditioner for vehicle and controlling method thereof

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
CHENG, S. Y. Park, S., Trivedi, M. M.: Multiperspective thermal IR and video arrays for 3D body tracking and driver activity analysis. In: 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05)-Workshops. IEEE, 2005. S. 3-3. doi: 10.1109/CVPR.2005.500
GAVRILA, D. M.: The visual analysis of human movement: A survey. In: Computer vision and image understanding, 1999, 73. Jg., Nr. 1, S. 82-98. doi: 10.1006/cviu.1998.0716
GONCALVES, L., et al.: Monocular tracking of the human arm in 3D. In: Proceedings of IEEE International Conference on Computer Vision. IEEE, 1995. S. 764-770. doi: 10.1109/ICCV.1995.466861
KUMAR, A., et al.: Personal verification using palmprint and hand geometry biometric. In: International conference on audio-and video-based biometric person authentication. Springer, Berlin, Heidelberg, 2003. S. 668-678. doi: 10.1007/3-540-44887-X_78
PICKERING, C. A., Burnham, K. J., Richardson, M. J.: A research study of hand gesture recognition technologies and applications for human vehicle interaction. In: 2007 3rd Institution of Engineering and Technology Conference on Automotive Electronics. IET, 2007. S. 1-15. (URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=4383638)
SONG, Y., Feng, X., Perona, P.: Towards detection of human motion. In: Proceedings IEEE Conference on Computer Vision and Pattern Recognition. CVPR 2000 (Cat. No. PR00662). IEEE, 2000. S. 810-817. doi: 10.1109/CVPR.2000.855904
SULLIVAN, J., Carlsson, S.: Recognizing and tracking human action. In: European Conference on Computer Vision. Springer, Berlin, Heidelberg, 2002. S. 629-644. doi: 10.1007/3-540-47969-4_42

Also Published As

Publication number Publication date
DE102008019731A1 (de) 2009-10-22

Similar Documents

Publication Publication Date Title
DE102008019731B4 (de) Verfahren und Vorrichtung zur Fahrer-Beifahrer-Unterscheidung
EP3013621B1 (de) Kraftfahrzeug-bedienschnittstelle mit gestenerkennung
EP1620289B1 (de) Vorrichtung und verfahren zur kalibrierung eines bildsensors
DE102013012466B4 (de) Bediensystem und Verfahren zum Bedienen einer fahrzeugseitigen Vorrichtung
DE102011053449A1 (de) Mensch-Maschine-Schnittstelle auf Fingerzeige- und Gestenbasis für Fahrzeuge
DE102010044449A1 (de) Erkennen des Grades der Fahrfähigkeit des Fahrers eines Kraftfahrzeugs
EP2915022B1 (de) Verfahren zum eingeben eines steuerbefehls für eine komponente eines kraftwagens
DE202015105611U1 (de) Vorrichtung zur Gestensteuerung in einem Fahrzeug
EP3254172B1 (de) Bestimmung einer position eines fahrzeugfremden objekts in einem fahrzeug
DE102011011221B4 (de) Verfahren zur Erkennung der Aufmerksamkeit des Fahrers eines Kraftfahrzeugs
DE102005023697A1 (de) Einrichtung zur Steuerung der Innenbeleuchtung eines Kraftfahrzeugs
DE102016206694B4 (de) Assistenzsystem und Verfahren eines hochautomatisierten Fahrzeugs zur Verbesserung des Zusammenwirkens mit anderen Verkehrsteilnehmern
DE10257963A1 (de) Verfahren und Vorrichtung zur Bestimmung der 3D-Position von PKW-Insassen
DE102015010421A1 (de) Dreidimensionale Erfassung des Fahrzeuginnenraums
EP3642695A1 (de) Verfahren zum betreiben einer anzeigevorrichtung für ein kraftfahrzeug sowie kraftfahrzeug
DE102014118387A1 (de) Erfassungsvorrichtung zum Erkennen einer Geste und/oder einer Blickrichtung eines Insassen eines Kraftfahrzeugs durch synchrone Ansteuerung von Leuchteinheiten, Bedienanordnung, Kraftfahrzeug sowie Verfahren
DE102019005448A1 (de) Vorrichtung und Verfahren zur Steuerung eines Beifahrersitzes in einem Fahrzeug
DE102018209838A1 (de) Steuersystem
DE102018220693B4 (de) Steuerungssystem und Verfahren zum Steuern einer Funktion eines Fahrzeugs, sowie Fahrzeug mit einem solchen
DE102016204274A1 (de) System und Verfahren zum Erfassen einer Eingabegeste eines Nutzers
DE102021005092A1 (de) Verfahren und Vorrichtung zur Erkennung von Emotionszuständen von Insassen eines Fahrzeuges
DE102013021929B4 (de) Kraftfahrzeug mit Kameras und Bildanalyseeinrichtungen
DE102016011016A1 (de) Verfahren zum Betrieb eines Assistenzsystems
DE102020204362A1 (de) Verfahren zum Bewerten einer Geste eines Fahrzeuginsassen in einem Innenraum eines Fahrzeugs, ein Verfahren zum Beleuchten eines Objekts sowie ein Beleuchtungssystem
DE102017211555A1 (de) Verfahren zur Überwachung mindestens eines Insassen eines Kraftfahrzeugs, wobei das Verfahren insbesondere zur Überwachung und Erkennung möglicher Gefahrensituationen für mindestens einen Insassen dient

Legal Events

Date Code Title Description
OM8 Search report available as to paragraph 43 lit. 1 sentence 1 patent law
R012 Request for examination validly filed
R012 Request for examination validly filed

Effective date: 20150119

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R020 Patent grant now final
R082 Change of representative