DE102018207975B4

DE102018207975B4 - Verfahren sowie System zur Erkennung einer Körperhaltung und/oder einer Bewegung eines Fahrzeuginsassen

Info

Publication number: DE102018207975B4
Application number: DE102018207975.7A
Authority: DE
Inventors: Markus Engel
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2018-05-22
Filing date: 2018-05-22
Publication date: 2019-12-12
Anticipated expiration: 2038-05-23
Also published as: DE102018207975A1

Abstract

Ein Verfahren zur Erkennung einer Körperhaltung und/oder einer Bewegung eines Fahrzeuginsassen (12) eines Kraftfahrzeugs mittels einer in einem Fahrzeugsitz (14) angeordneten Sensorvorrichtung (16), die mehrere an verschiedenen Punkten im Fahrzeugsitz (14) angeordnete Sensoreinheiten (24) aufweist, ist gezeigt. Zunächst wird wenigstens eine Messgröße mittels der mehreren Sensoreinheiten (24) an den verschiedenen Punkten ermittelt. Basierend auf den ermittelten Messgrößen an den verschiedenen Punkten wird die Körperhaltung und/oder die Bewegung des Fahrzeuginsassen (12) erkannt. Ferner wird ein System (10) zur Erkennung einer Körperhaltung und/oder einer Bewegung eines Fahrzeuginsassen (12) vorgeschlagen.

Description

Die Erfindung betrifft ein Verfahren zur Erkennung einer Körperhaltung und/oder einer Bewegung eines Fahrzeuginsassen eines Kraftfahrzeugs, ein System zur Erkennung einer Körperhaltung und/oder einer Bewegung eines Fahrzeuginsassen sowie ein Computerprogramm zur Durchführung des Verfahrens.
In modernen Kraftfahrzeugen wird der Fahrer zunehmend von diversen Fahrassistenzsystemen unterstützt, die ein wenigstens teilweise autonomes Fahren des Fahrzeugs ermöglichen. Beispiel hierfür sind Spurhalteassistenzsysteme, Bremsassistenzsysteme, Einparkassistenzsysteme und Spu rwechselassistenzsysteme.
Bis zu einem gewissen Automatisierungsgrad ist der Fahrer dabei stets für die Führung des Fahrzeugs verantwortlich und muss deshalb jederzeit dazu bereit sein, wieder die Kontrolle über das Kraftfahrzeug zu übernehmen. Jedoch können andere Beschäftigungen während der Fahrt, zum Beispiel das Bedienen elektronischer Geräte oder die Suche nach Gegenständen im Handschuhfach, den Fahrer erheblich ablenken, sodass er zumindest zeitweilig nicht dazu in der Lage ist, sofort wieder die Kontrolle über das Kraftfahrzeug zu übernehmen. Solche Ablenkungen können auch in einem normalen, manuellen Betrieb des Kraftfahrzeugs auftreten.
Die Körperhaltung des Fahrers ist ein klares Indiz dafür, ob der Fahrer abgelenkt ist oder dazu bereit ist, das Kraftfahrzeug zu steuern. Beispielsweise deutet eine aufrechte Haltung und einen nach vorne gerichtete Blick darauf hin, dass der Fahrer aufmerksam ist und die Kontrolle über das Fahrzeug jederzeit übernehmen kann. Beugt sich der Fahrer hingegen in Richtung des Handschuhfachs, ist dies ein klares Indiz dafür dass er gerade nicht auf voll auf den Straßenverkehr konzentriert ist.
Aus dem Stand der Technik bekannte Systeme nutzen beispielsweise Innenraumkameras, die den Fahrzeuginsassen überwachen, wodurch festgestellt werden kann, ob der Fahrer dazu bereit ist, die Kontrolle über das Kraftfahrzeug zu übernehmen. Jedoch weisen solche Videoüberwachungssysteme typischerweise eine eher geringe Akzeptanz auf Kundenseite auf.
Die US 6 392 550 B1 offenbart ein System zur Ermittlung der Aufmerksamkeit eines Fahrers eines Kraftfahrzeugs. Über in einem Fahrzeugsitz angeordnete Drucksensoren wird eine Druckverteilung ermittelt, über die auf eine Sitzhaltung des Fahrers geschlossen wird.
Die DE 10 239 761 A1 offenbart ein Verfahren sowie eine Vorrichtung zur Identifikation der Art der Belegung einer Auflagefläche, insbesondere eines Kraftfahrzeugsitzes. Zu diesem Zweck sind Kraftsensoren, beispielsweise in Form einer Sensorfolie, in der Sitzfläche des Kraftfahrzeugs angeordnet.
Aufgabe der Erfindung ist es daher, ein alternatives Verfahren sowie ein alternatives System zur Insassenüberwachung bereitzustellen, bei denen die Nachteile aus dem Stand der Technik verbessert sind.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zur Erkennung einer Körperhaltung und/oder einer Bewegung eines Fahrzeuginsassen eines Kraftfahrzeugs mittels einer in einem Fahrzeugsitz angeordneten Sensorvorrichtung, die mehrere an verschiedenen Punkten im Fahrzeugsitz angeordnete Sensoreinheiten aufweist. Zunächst wird mittels der mehreren Sensoreinheiten an den verschiedenen Punkten eine Messgröße ermittelt. Basierend auf den an den verschiedenen Punkten ermittelten Messgrößen wird dann die Körperhaltung und/oder die Bewegung des Fahrzeuginsassen erkannt. Als Messgröße wird der Druck auf die jeweilige Sensoreinheit und die Beschleunigung an der jeweiligen Sensoreinheit ermittelt.
Das Verfahren nutzt also eine im Fahrzeugsitz angeordneten Sensorvorrichtung, die insbesondere für den Fahrzeuginsassen unsichtbar ist. Folglich sind keine sichtbaren Kameras oder ähnliche optische Sensoren im Fahrzeuginnenraum verbaut, was die Akzeptanz auf Kundenseite erheblich steigert.
Die Erfindung basiert auf dem Grundgedanken, dass eine räumliche Verteilung der Messgröße über den Fahrzeugsitz durch die Körperhaltung und/oder die Bewegung des Fahrzeuginsassen maßgeblich beeinflusst wird. Daher lässt sich aus der Vermessung dieser räumlichen Verteilung der Messgröße also im Umkehrschluss die Körperhaltung und/oder die Bewegung des Fahrzeuginsassen zuverlässig erkennen.
Es kann vorgesehen sein, dass die verschiedenen Punkte gleichmäßig über den Fahrzeugsitz verteilt sind, insbesondere in Form eines Gitters, sodass die Messgröße über den Fahrzeugsitz hinweg gleichmäßig erfasst werden kann.
Alternativ dazu können die verschiedenen Punkte in Bereichen des Fahrzeugsitzes dichter liegen, in denen der Fahrzeuginsasse typischerweise Kontakt mit dem Fahrzeugsitz hat, als in Bereichen, in denen der Fahrzeuginsasse normalerweise keinen Kontakt mit dem Fahrzeugsitz hat. In dieser Ausgestaltung lässt sich die Messgröße in den Bereichen mit der größeren Dichte an Sensoreinheiten besonders genau bestimmen.
Insbesondere handelt es sich um eine stufenlose Messung des Drucks und/oder der Beschleunigung und nicht um eine binäre Messung.
Da der Fahrer je nach Körperhaltung einen unterschiedlichen Druck auf verschiedene Bereiche des Fahrzeugsitzes ausübt, eignet sich der Druck besonders als Messgröße für die Erkennung der Körperhaltung, im Besonderen dann, wenn die Körperhaltung zumindest zeitweise statisch ist.
Die Beschleunigung hingegen eignet sich als Messgröße besonders zur Erkennung einer Änderung der Körperhaltung, also einer Bewegung des Fahrzeuginsassen.
Da sowohl der Druck als auch die Bescheinigung gemessen werden, lässt sich sowohl die Körperhaltung als auch die Bewegung des Fahrzeuginsassen besonders zuverlässig erkennen.
Zudem können durch Messung der Beschleunigung zusätzliche Informationen über einen Zustand des Fahrzeuginsassen gewonnen werden, beispielsweise die Herzfrequenz oder ein Ermüdungszustand des Fahrzeuginsassen.
Ein weiterer Aspekt der Erfindung sieht vor, dass die wenigstens eine Messgröße an mehreren Punkten einer Sitzfläche und/oder einer Rückenlehne des Fahrzeugsitzes ermittelt wird, insbesondere wobei eine Verteilung der Messgröße über Sitzfläche und/oder die Rückenlehne ermittelt wird. Vorzugsweise wird dabei die Messgröße an mehreren Punkten sowohl der Sitzfläche als auch der Rückenlehne erfasst, da die Körperhaltung und/oder die Bewegung des Fahrzeuginsassen so besonders genau erkannt werden kann.
Beispielsweise weist eine Druckverteilung an der Rückenlehne eine charakteristische Form auf, wenn sich der Fahrzeuginsasse nach links oder rechts lehnt.
Ferner weist die Verteilung der Messgröße über die Sitzfläche eine charakteristische Form auf, wenn der Fahrzeuginsasse beispielsweise gerade den Fuß vom Gaspedal nimmt und in Richtung des Bremspedals bewegt oder umgekehrt. Mittels der Sensoreinheiten in der Sitzfläche lassen sich also besonders Bewegungen der Beine des Fahrzeuginsassen zuverlässig erkennen.
In einer Ausgestaltung der Erfindung wird ein zeitlicher Verlauf der Messgröße an wenigstens einem Punkt ermittelt, insbesondere wobei die Körperhaltung und/oder die Bewegung des Fahrzeuginsassen basierend auf dem ermittelten zeitlichen Verlauf erkannt wird. Der zeitliche Verlauf der Messgröße ist besonders für die Erkennung einer Änderung der Körperhaltung (also der Bewegung) des Fahrzeuginsassen relevant. Insbesondere werden diese Informationen an andere Systeme des Kraftfahrzeugs weitergeleitet, beispielsweise an ein Bremsassistenzsystem.
Aus dem zeitlichen Verlauf kann auch eine zukünftige Bewegung des Fahrzeuginsassen extrapoliert werden. Wird beispielsweise aus dem zeitlichen Verlauf der Messgröße in der Sitzfläche erkannt, dass der Fahrer sein Bein in Richtung des Gaspedals oder des Bremspedals bewegt, so kann bereits bevor dies eine entsprechende dem Gaspedal oder dem Bremspedal zugeordnete Sensorik erfasst, eine anstehende Beschleunigung bzw. eine Bremsbereitschaft des Fahrers erkannt werden.
Gemäß einer Ausführungsvariante werden die ermittelten Messgrößen zusammen mit Informationen über den entsprechenden Punkt der jeweiligen Sensoreinheit eine Einheit zur Mustererkennung zugeführt und die Einheit zur Mustererkennung bestimmt die Körperhaltung und/oder die Bewegung des Fahrzeuginsassen mittels Mustererkennung. Auf diese Art und Weise lässt sich die Körperhaltung und/oder die Bewegung des Fahrzeuginsassen besonders zuverlässig erkennen.
Die Mustererkennung kann an den Fahrzeuginsassen individuell angepasst werden. Die Mustererkennung wird also gemäß dieser Variante mit Daten des jeweiligen Fahrzeuginsassen angelernt, sodass die Körperhaltung und/oder die Bewegung des Fahrzeuginsassen nach der Anlernphase besonders genau erkannt werden können.
Alternativ dazu ist die Mustererkennung universell angelernt, beispielsweise mit Daten von verschiedenen Personen, sodass eine individuelle Anlernphase für jeden einzelnen Fahrzeuginsassen nicht mehr notwendig ist.
Vorzugsweise wird die Mustererkennung mittels eines künstlichen neuronalen Netzwerks durchgeführt. Dazu wird das künstliche neuronale Netzwerk mit der an den verschiedenen Punkten im Fahrzeugsitz ermittelten Messgröße vorwärts gespeist. Das künstliche neuronale Netzwerk liefert dann als Ausgangsgröße die Körperhaltung und/oder die Bewegung des Fahrzeuginsassen. Mittels eines (korrekt trainierten) künstlichen neuronalen Netzwerks lässt sich die Körperhaltung und/oder die Bewegung des Fahrzeuginsassen besonders zuverlässig bestimmen.
Gemäß einer Ausführungsform der Erfindung wird das künstliche neuronale Netzwerk mit Soll-Trainingsdaten trainiert, wobei die Soll-Trainingsdaten mittels der Sensoreinheiten ermittelte Messgrößen und dazu korrespondierende tatsächliche Körperhaltungen und/oder Bewegungen des Fahrzeuginsassen umfassen.
Es sind die folgenden Trainingsschritte vorgesehen: Zunächst wird das künstliche neuronale Netzwerk mit den Soll-Trainingsdaten vorwärts gespeist. Mittels des künstlichen neuronalen Netzwerks wird dann eine Körperhaltung und/oder eine Bewegung des Fahrzeuginsassen ermittelt. Nun wird ein Fehler bzw. eine Abweichung zwischen der ermittelten Körperhaltung und der tatsächlichen Körperhaltung und/oder ein Fehler bzw. eine Abweichung zwischen der ermittelten Bewegung und der tatsächlichen Bewegung des Fahrzeuginsassen bestimmt. Durch Rückwärtsspeisen des künstlichen neuronalen Netzwerks mit dem Fehler bzw. der Abweichung werden nun die Gewichtungsfaktoren des neuronalen Netzwerks geändert, insbesondere derart, dass der Fehler minimiert wird. Natürlich kann dabei als Fehler auch „kein Fehler“ bestimmt werden bzw. als Abweichung auch „keine Abweichung“.
Insbesondere wird das künstliche neuronale Netzwerk mit Soll-Trainingsdaten von einem oder mehreren „Testinsassen“ gespeist, d.h. von unterschiedlichen Personen mit verschiedener Physiologie. Auf diese Art und Weise wird das neuronale Netzwerk für eine universelle Mustererkennung trainiert. Anders ausgedrückt wird in dieser Variante die Mustererkennung also nicht individuell an jeden Fahrzeuginsassen angepasst.
Alternativ kann das künstliche neuronale Netzwerk jedoch auch individuell für jeden Fahrzeuginsassen trainiert werden. Die Soll-Trainingsdaten umfassen dann also mittels der Sensoreinheiten ermittelte Messgrößen und dazu korrespondierende tatsächliche Körperhaltungen und/oder Bewegungen des jeweiligen Fahrzeuginsassen.
Gemäß einem weiterführenden Aspekt umfassen die Soll-Trainingsdaten einen zeitlichen Verlauf der Messgrößen und/oder der dazu korrespondierenden tatsächlichen Körperhaltungen und/oder Bewegungen. Der zeitliche Verlauf der Messgröße ist besonders für die Erkennung einer Änderung der Körperhaltung - also der Bewegung - des Fahrzeuginsassen relevant. In dieser Variante des erfindungsgemäßen Verfahrens ist das künstliche neuronale Netzwerk also besonders gut dafür trainiert, Bewegungen des Fahrzeuginsassen zu erkennen.
Vorzugsweise wird die erkannte Körperhaltung und/oder Bewegung des Fahrzeuginsassen an wenigstens ein Fahrassistenzsystem des Kraftfahrzeugs übermittelt. Dabei handelt es sich insbesondere um ein System für wenigstens teilweise autonomes Fahren, zum Beispiel um ein Notfallbremssystem oder ein Spu rhalteassistenzsystem.
Wird beispielsweise erkannt, dass der Fahrer sein Bein sehr schnell in Richtung des Bremspedals bewegt, so kann, bereits bevor dies eine entsprechende dem Bremspedal zugeordnete Sensorik erfasst, eine Notbremsung vorbereitet werden.
Befindet sich das Kraftfahrzeug in einer anderen Situation gerade in einem wenigstens teilweise autonom gesteuerten Modus und wird basierend auf der Körperhaltung und/oder der Bewegung des Fahrers festgestellt, dass er nicht dazu bereit ist, derzeit die Kontrolle über das Kraftfahrzeug zu übernehmen, kann eine entsprechende Warnmeldung ausgegeben werden. Dabei kann es sich um eine optische (z.B. Warnlicht), akustische (z.B. Warnton) und/oder taktile (z.B. Vibration des Lenkrads) Warnmeldung handeln.
Eine solche Warnmeldung kann auch dann ausgegeben werden, wenn sich das Kraftfahrzeug in einem manuellen Fahrmodus befindet und basierend auf der Körperhaltung festgestellt wird, dass der Fahrer abgelenkt ist und/oder sich nicht auf den Straßenverkehr konzentriert.
Die Aufgabe wird ferner erfindungsgemäß gelöst durch ein System zur Erkennung einer Körperhaltung und/oder einer Bewegung eines Fahrzeuginsassen eines Kraftfahrzeugs, mit einer in einem Fahrzeugsitz angeordneten Sensorvorrichtung, die mehrere Sensoreinheiten an verschiedenen Punkten aufweist, und einem Steuergerät, das dazu ausgebildet ist, ein oben beschriebenes Verfahren durchzuführen. Bezüglich der Vorteile wird auf die obigen Erläuterungen verwiesen.
Die verschiedenen Punkte können gleichmäßig über den Fahrzeugsitz verteilt sein, insbesondere in Form eines Gitters.
Alternativ dazu können die verschiedenen Punkte in Bereichen des Fahrzeugsitzes dichter liegen, in denen der Fahrzeuginsasse typischerweise Kontakt mit dem Fahrzeugsitz hat, als in Bereichen, in denen der Fahrzeuginsasse normalerweise keinen Kontakt mit dem Fahrzeugsitz hat.
Vorzugsweise handelt es sich bei der Sensorvorrichtung um eine Sensorfolie, die mehrere der Sensoreinheiten umfasst, insbesondere alle. Zum Beispiel kann die Sensorfolie auch dazu dienen, die Sitzbelegung zu erkennen. Dadurch können Sensoren eingespart und die Kosten des Systems reduziert werden.
Ein Aspekt sieht vor, dass die Sensorvorrichtung in einer Sitzfläche und/oder in einer Rückenlehne des Fahrzeugsitzes angeordnet ist, da diese Bereiche in der Regel vom Fahrzeuginsassen kontaktiert werden.
Vorzugsweise ist die Sensorvorrichtung sowohl in der Sitzfläche als auch in der Rückenlehne angeordnet, da die Körperhaltung und/oder die Bewegung des Fahrzeuginsassen so besonders genau erkannt werden kann.
Die Aufgabe wird außerdem erfindungsgemäß gelöst durch ein Computerprogramm mit Programmcodemitteln, um die Schritte eines oben beschriebenen Verfahrens durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit ausgeführt wird, insbesondere einer Recheneinheit eines Steuergeräts eines oben beschriebenen erfindungsgemäßen Systems. Bezüglich der Vorteile wird auf die obigen Erläuterungen zum Verfahren verwiesen. Insbesondere handelt es sich bei dem Computerprogramm um das oben beschriebene, entsprechend trainierte künstliche neuronale Netzwerk.
Selbstverständlich umfasst die Erfindung auch einen Fahrzeugsitz mit einem solchen System und ein Fahrzeug damit.
Weitere Vorteile und Eigenschaften der Erfindung ergeben sich aus der nachfolgenden Beschreibung und den beigefügten Zeichnungen, auf die Bezug genommen wird. In diesen zeigen:

- 1 schematisch ein erfindungsgemäßes System zur Erkennung einer Körperhaltung und/oder einer Bewegung eines Fahrzeuginsassen;
- 2 das System nach 1 im Betrieb; und
- 3 eine Detailansicht einer Sensorvorrichtung des Systems nach 1.

In 1 ist ein System 10 zur Erkennung einer Körperhaltung und/oder einer Bewegung eines Fahrzeuginsassen 12 eines Kraftfahrzeugs gezeigt.
Das System 10 umfasst eine in einem Fahrzeugsitz 14 des Kraftfahrzeugs angeordnete Sensorvorrichtung 16 sowie ein schematisch dargestelltes Steuergerät 18, das mit der Sensorvorrichtung 16 signalübertragend verbunden ist, wie durch die gestrichelte Linie angedeutet ist.
Das Steuergerät 18 ist wiederum mit einem Fahrassistenzsystem 19 des Kraftfahrzeugs signalübertragend verbunden.
Das Fahrassistenzsystem 19 ist zum Beispiel ein System für wenigstens teilweise autonomes Fahren, insbesondere ein Notfallbremssystem oder ein Spurhalteassistenzsystem.
In der gezeigten Variante ist die Sensorvorrichtung 16 sowohl in einer Sitzfläche 20 als auch in einer Rückenlehne 22 des Fahrzeugsitzes 14 angeordnet. Alternativ kann die Sensorvorrichtung 16 jedoch auch nur in der Sitzfläche 20 oder in der Rückenlehne 22 vorgesehen sein.
Eine schematische Detailansicht eines Teils der Sensorvorrichtung 16 ist in 3 gezeigt. Wie dort gut zu erkennen ist, weist die Sensorvorrichtung 16 eine Sensorfolie mit mehreren Sensoreinheiten 24 auf. Die Sensoreinheiten 24 sind an verschiedenen Punkten der Sensorvorrichtung 16 und damit an verschiedenen Punkten des Fahrzeugsitzes 14 angeordnet.
Zum Beispiel handelt es sich bei der Sensorvorrichtung 16 um eine zum Zwecke einer Sitzbelegungserkennung ohnehin im Fahrzeugsitz 14 vorhandene Sensorfolie.
Im gezeigten Ausführungsform sind die Sensoreinheiten 24 gleichmäßig in Form eines Gitters über die Sensorvorrichtung 16 verteilt. Alternativ können die verschiedenen Sensoreinheiten 24 in Bereichen des Fahrzeugsitzes 14 dichter angeordnet sein, in denen der Fahrzeuginsasse 12 typischerweise Kontakt mit dem Fahrzeugsitz hat, als in Bereichen, in denen der Fahrzeuginsasse 12 normalerweise keinen Kontakt mit dem Fahrzeugsitz 14 hat.
Die Sensoreinheiten 24 sind dazu ausgebildet, eine Messgröße zu erfassen. Im gezeigten Ausführungsbeispiel ist die Messgröße ein auf die jeweilige Sensoreinheit 24 wirkender Druck und eine Beschleunigung an der jeweiligen Sensoreinheit 24.
Ein der Messgröße entsprechendes Messsignal kann von der Sensoreinheit 24 an das Steuergerät 18 weitergeleitet werden.
Die Sensoreinheiten 24 sind zum Beispiel Drucksensoren, die den auf sie wirkenden Druck in mehr als zwei Stufen und insbesondere stufenlos erfassen können. Auch können die Sensoreinheiten 24 zum Beispiel die zeitliche Veränderung des Drucks und damit die Beschleunigung erfassen.
Das Steuergerät 18 hat eine Einheit 26 zur Mustererkennung, in der die Signale der Sensoreinheiten 24 ausgewertet werden.
Während des Betriebs des Kraftfahrzeugs sitzt ein Fahrzeuginsasse 12 auf dem Fahrzeugsitz 14, wie in 2 dargestellt ist.
In 2 ist der Fahrzeuginsasse 12 transparent dargestellt, sodass Kraftflächen 28 (dargestellt durch die schraffierten Bereiche), in denen der Fahrzeuginsasse 12 bedingt durch seine Körperhaltung und/oder seine Bewegung eine Kraft auf den Fahrzeugsitz 14 ausübt, sichtbar sind.
Die Sensoreinheiten 24, die in den Kraftflächen 28 liegen, messen zum Beispiel einen erhöhten Druck als Messgröße und übermitteln die Messgröße oder Informationen darüber an das Steuergerät 18.
Im Steuergerät 18 werden die von den einzelnen Sensoreinheiten 24 kommenden Messsignale zusammengeführt, sodass eine räumliche Verteilung der Messgröße (Druck und Beschleunigung) über den Fahrzeugsitz 14 ermittelt wird.
Hierzu hat das Steuergerät 18 Informationen über die Punkte des Fahrzeugsitzes 14, an denen die Sensoreinheiten 24 angeordnet sind. Alternativ oder zusätzlich enthalten die von den Sendeeinheiten 24 übermittelten Signale Informationen über den Punkt der entsprechenden Sendeeinheit 24.
Insbesondere wird auch ein zeitlicher Verlauf der Messgröße an wenigstens einer Sensoreinheit 24 ermittelt, vorzugsweise ein zeitlicher Verlauf der Messgröße an mehreren Sensoreinheiten 24, weiter bevorzugt an allen Sensoreinheiten 24.
Da die Körperhaltung und/oder die Bewegung des Fahrzeuginsassen 12 die räumliche Verteilung der Messgröße und deren zeitlichen Verlauf erheblich beeinflussen bzw. beeinflusst, kann im Umkehrschluss aus der Verteilung der Messgröße auf die Körperhaltung und/oder die Bewegung des Fahrzeuginsassen 12 geschlossen werden.
Zu diesem Zweck wird die ermittelte räumliche Verteilung der Messgröße der Einheit 26 zur Mustererkennung des Steuergeräts 18 zugeführt. Bei der Einheit 26 zur Mustererkennung handelt es sich beispielsweise um einen Mikrokontroller und/oder um einen Programmcodeblock eines entsprechenden Computerprogramms.
Die Einheit 26 zur Mustererkennung umfasst ein künstliches neuronales Netzwerk, das mit der ermittelten räumlichen Verteilung der Messgröße und/oder deren zeitlichen Verlauf gespeist wird, insbesondere vorwärts gespeist.
Das künstliche neuronale Netzwerk ist dazu trainiert, die Körperhaltung und/oder die Bewegung des Fahrzeuginsassen 12 mittels Erkennung von Mustern in der ermittelten räumlichen Verteilung der Messgröße und/oder deren zeitlichen Verlauf zu bestimmen.
Die mittels des künstlichen neuronalen Netzwerks erkannte Körperhaltung und/oder Bewegung des Fahrzeuginsassen 12 wird nun an das Fahrassistenzsystem 19 des Kraftfahrzeugs übermittelt.
Wird beispielsweise ein schneller Druckverlust, d.h. eine Beschleunigung der dem rechten Bein entsprechenden Kraftfläche 28 gemessen, wird von der Einheit 26 zur Mustererkennung erkannt, dass das rechte Bein sehr schnell in Richtung des Bremspedals bewegt wird.
Diese Information wird an das Fahrassistenzsystem 19 übermittelt, das daraufhin eine Notbremsung vorbereiten kann. Dies geschieht bereits bevor dies eine entsprechende dem Bremspedal zugeordnete Sensorik erfasst hat.
Befindet sich das Kraftfahrzeug in einer anderen Situation gerade in einem wenigstens teilweise autonom gesteuerten Modus und wird basierend auf der Körperhaltung und/oder der Bewegung des Fahrers festgestellt, dass er derzeit nicht dazu bereit ist, die Kontrolle über das Kraftfahrzeug zu übernehmen, kann eine entsprechende Warnmeldung ausgegeben werden. Dabei kann es sich um eine optische (z.B. Warnlicht), akustische (z.B. Warnton) und/oder taktile (z.B. Vibration des Lenkrads) Warnmeldung handeln.
Eine solche Warnmeldung kann auch dann ausgegeben werden, wenn sich das Kraftfahrzeug in einem manuellen Fahrmodus befindet und basierend auf der Körperhaltung festgestellt wird, dass der Fahrer abgelenkt ist und/oder sich nicht auf den Straßenverkehr konzentriert.
Durch das System 10 kann somit der Fahrzeuginsasse 12 auf einfache Weise überwacht werden.
Damit das künstliche neuronale Netzwerk die Körperhaltung und/oder die Bewegung des Fahrzeuginsassen 12 möglichst zuverlässig erkennen kann, muss es vor einem Einsatz trainiert werden. Dies geschieht beispielsweise durch die folgenden Trainingsschritte.
Zunächst wird das künstliche neuronale Netzwerk mit Soll-Trainingsdaten gespeist, insbesondere vorwärts gespeist. Bei den Soll-Trainingsdaten handelt es sich um eine Vielzahl an mittels der Sensoreinheiten 24 ermittelten Messgrößen und den dazu korrespondierenden tatsächlichen Körperhaltungen und/oder Bewegungen eines Testinsassen.
Ferner können die Soll-Trainingsdaten auch einen zeitlichen Verlauf der Messgrößen und/oder der dazu korrespondierenden tatsächlichen Körperhaltungen und/oder Bewegungen umfassen.
Alternativ kann das künstliche neuronale Netzwerk jedoch auch individuell für jeden Fahrzeuginsassen 12 trainiert werden. Die Soll-Trainingsdaten umfassen dann also mittels der Sensoreinheiten 24 ermittelte Messgrößen und dazu korrespondierende tatsächliche Körperhaltungen und/oder Bewegungen des jeweiligen Fahrzeuginsassen 12.
Aus den Soll-Trainingsdaten ermittelt das künstliche neuronale Netzwerk eine Körperhaltung und/oder eine Bewegung des Testinsassen, die mit der tatsächlichen Körperhaltung und/oder der tatsächlichen Bewegung verglichen werden bzw. wird. Aus einer Diskrepanz zwischen der ermittelten Körperhaltung und der tatsächlichen Körperhaltung bzw. aus einer Diskrepanz zwischen der ermittelten Bewegung und der tatsächlichen Bewegung wird ein Fehler bzw. eine Abweichung ermittelt. Bei absoluter Übereinstimmung kann als Fehler auch „kein Fehler“ bzw. als Abweichung auch „keine Abweichung“ ermittelt werden.
Das künstliche neuronale Netzwerk wird dann mit dem Fehler bzw. der Abweichung rückwärts gespeist, um Gewichtungsfaktoren des künstlichen neuronalen Netzwerks derart anzupassen, dass der Fehler bzw. die Abweichung minimiert wird.
Nach mehrmalige Wiederholung der Trainingsschritte erreicht das künstliche neuronale Netzwerk einen Bereich optimaler Erkennungsrate. Vorzugsweise wird an diesem Punkt das Training des künstlichen neuronalen Netzwerks beendet, um eine Überanpassung zu vermeiden.
Der Testinsasse kann ein prototypischer Fahrzeuginsasse sein. Insbesondere wird das künstliche neuronale Netzwerk mit Soll-Trainingsdaten von mehreren Testinsassen gespeist, beispielsweise von mehreren Testinsassen mit verschiedenen Physiologien, wie verschiedener Statur und/oder verschiedener Masse.
Auf diese Art und Weise wird das neuronale Netzwerk für eine universelle Mustererkennung trainiert. Anders ausgedrückt wird in dieser Variante die Mustererkennung also nicht individuell an jeden Fahrzeuginsassen 12 angepasst.

Claims

Verfahren zur Erkennung einer Körperhaltung und/oder einer Bewegung eines Fahrzeuginsassen (12) eines Kraftfahrzeugs mittels einer in einem Fahrzeugsitz (14) angeordneten Sensorvorrichtung (16), die mehrere an verschiedenen Punkten im Fahrzeugsitz (14) angeordnete Sensoreinheiten (24) aufweist, mit den folgenden Schritten: - Ermitteln wenigstens einer Messgröße mittels der mehreren Sensoreinheiten (24) an den verschiedenen Punkten; und - Erkennen der Körperhaltung und/oder der Bewegung des Fahrzeuginsassen (12) basierend auf den ermittelten Messgrößen an den verschiedenen Punkten, wobei als Messgröße der Druck auf die jeweilige Sensoreinheit (24) und die Beschleunigung an der jeweiligen Sensoreinheit (24) ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die wenigstens eine Messgröße an mehreren Punkten einer Sitzfläche (20) und/oder einer Rückenlehne (22) des Fahrzeugsitzes (14) ermittelt wird, insbesondere wobei eine Verteilung der Messgröße über die Sitzfläche (20) und/oder die Rückenlehne (22) ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein zeitlicher Verlauf der Messgröße an wenigstens einem Punkt ermittelt wird, insbesondere wobei die Körperhaltung und/oder die Bewegung des Fahrzeuginsassen (12) basierend auf dem ermittelten zeitlichen Verlauf erkannt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die ermittelten Messgrößen zusammen mit Informationen über den entsprechenden Punkt der jeweiligen Sensoreinheit (24) einer Einheit (26) zur Mustererkennung zugeführt werden, und die Einheit (26) zur Mustererkennung die Körperhaltung und/oder die Bewegung des Fahrzeuginsassen (12) mittels Mustererkennung bestimmt.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Musterkennung an den Fahrzeuginsassen (12) individuell angepasst wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Mustererkennung universell ist.
Verfahren nach einem der Ansprüche 4 bis 6, dadurch gekennzeichnet, dass die Mustererkennung mittels eines künstlichen neuronalen Netzwerks durchgeführt wird.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk mit Soll-Trainingsdaten trainiert wird, wobei die Soll-Trainingsdaten mittels der Sensoreinheiten ermittelte Messgrößen und dazu korrespondierende tatsächliche Körperhaltungen und/oder Bewegungen des Fahrzeuginsassen (12) umfassen, mit den folgenden Trainingsschritten: - Vorwärtsspeisen des künstlichen neuronalen Netzwerks mit den Soll-Trainingsdaten; - Ermitteln einer Körperhaltung und/oder eine Bewegung des Fahrzeuginsassen (12) mittels des künstlichen neuronalen Netzwerks; - Bestimmen eines Fehlers zwischen der ermittelten Körperhaltung und der tatsächlichen Körperhaltung und/oder Bestimmen eines Fehlers zwischen der ermittelter Bewegung und der tatsächlichen Bewegung des Fahrzeuginsassen (12); und - Ändern von Gewichtungsfaktoren des neuronalen Netzwerks durch Rückwärtsspeisen des künstlichen neuronalen Netzwerks mit dem Fehler.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Soll-Trainingsdaten einen zeitlichen Verlauf der Messgrößen und/oder der dazu korrespondierenden tatsächlichen Körperhaltungen und/oder Bewegungen umfassen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die erkannte Körperhaltung und/oder Bewegung des Fahrzeuginsassen (12) an wenigstens ein Fahrassistenzsystem (19) des Kraftfahrzeugs übermittelt wird.
System (10) zur Erkennung einer Körperhaltung und/oder einer Bewegung eines Fahrzeuginsassen (12) eines Kraftfahrzeugs, mit einer in einem Fahrzeugsitz (14) angeordneten Sensorvorrichtung (16), die mehrere Sensoreinheiten (24) an verschiedenen Punkten aufweist, und einem Steuergerät (18), das dazu ausgebildet ist, ein Verfahren nach einem der Ansprüche 1 bis 10 durchzuführen.
System (10) nach Anspruch 11, dadurch gekennzeichnet, dass es sich bei der Sensorvorrichtung (16) um eine Sensorfolie handelt, die mehrere der Sensoreinheiten (24) umfasst.
System (10) nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass die Sensorvorrichtung (16) in einer Sitzfläche (20) und/oder in einer Rückenlehne (22) des Fahrzeugsitzes (14) angeordnet ist.
Computerprogramm mit Programmcodemitteln, um die Schritte eines Verfahrens nach einem der Ansprüche 1 bis 10 durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit ausgeführt wird, insbesondere einer Recheneinheit eines Steuergeräts (18) eines Systems (10) nach einem der Ansprüche 11 bis 13.