DE102017007155A1

DE102017007155A1 - Verfahren und System zur Fahrerunterstützung

Info

Publication number: DE102017007155A1
Application number: DE102017007155.1A
Authority: DE
Inventors: Bernhard Wandtner; Gerald Schmidt
Original assignee: Opel Automobile GmbH
Current assignee: Stellantis Auto Sas Fr
Priority date: 2017-07-27
Filing date: 2017-07-27
Publication date: 2019-01-31

Abstract

Ein Verfahren zur Fahrerunterstützung in einem Fahrzeug, insbesondere in einem Kraftfahrzeug, hat die Schritte;
a) Erkennen (S1-S4) von Objekten in der Umgebung des Fahrzeugs (1), die mit dem Fahrzeug in einen Unfall verwickelt werden könnten,
b) für ein in Schritt a) erkanntes Objekt, Berechnen (S5) einer Restzeit (TTC) bis zum Stattfinden oder Unausweichlichwerden des Unfalls;
c) Erzeugen eines Gefahrenhinweises (S18), wenn die Restzeit (TTC) einen Grenzwert (t_min) unterschreitet (S17), wobei zum Festlegen des Grenzwertes (t_min) gleichzeitige Aktivitäten des Fahrers erfasst und hinsichtlich ihrer Modalität beurteilt werden (S6-S15) und der Grenzwert (t_min) anhand der Modalität einer erfassten Aktivität oder anhand der Anzahl gleichzeitiger Modalitäten festgelegt wird S16).

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Unterstützung eines Fahrers in einem Fahrzeug und ein Unterstützungssystem, welches das Verfahren ausführt.
Unterstützungssysteme, die mit Hilfe geeigneter Sensoren die Umgebung des Fahrzeugs überwachen, um dort Objekte zu erkennen, die mit dem Fahrzeug in einen Unfall verwickelt werden könnten, und ggf. vor einem erkannten Objekt warnen oder autonom Maßnahmen zur Verminderung der von einem erkannten Objekt wie etwa eine Bremsung oder ein Ausweichmanöver durchführen, sind an sich bekannt.
Ein Dilemma derartiger Systeme ist, dass die autonom oder in Reaktion auf die Warnung vom Fahrer getroffene Maßnahme die von einem Objekt ausgehende Gefahr umso wirksamer vermindern können, je früher sie getroffen wird, dass aber die Warnung eines Unterstützungssystems, wenn sie zu einem Zeitpunkt kommt, an dem der Fahrer das Objekt bereits erkannt hat, es aber noch nicht für nötig gehalten hat, darauf zu reagieren, als störend empfunden wird und die Bereitschaft des Fahrers, das System zu nutzen erheblich beeinträchtigt. Es sollte daher in einer Gefahrensituation nicht aufdringlich früh gewarnt werden, andererseits muss die Warnung rechtzeitig kommen, damit der Fahrer, wenn er die von dem Objekt ausgehende Gefahr tatsächlich noch nicht wahrgenommen hat, noch die Möglichkeit hat, durch geeignete Reaktion einen Unfall abzuwenden.
Eine Aufgabe der vorliegenden Erfindung ist, ein Verfahren zur Fahrerunterstützung bzw. ein Fahrerunterstützungssystem zu schaffen, mit denen diese widersprechenden Anforderungen erfüllt werden können.
Die Aufgabe wird einer Ausgestaltung der Erfindung zufolge gelöst durch ein Verfahren zur Fahrerunterstützung in einem Fahrzeug, insbesondere in einem Kraftfahrzeug, mit den Schritten;

a) Erkennen von Objekten in der Umgebung des Fahrzeugs, die mit dem Fahrzeug in einen Unfall verwickelt werden könnten,
b) für ein in Schritt a) erkanntes Objekt, Berechnen einer Restzeit bis zu Stattfinden oder Unausweichlichwerden des Unfalls;
c) Erzeugen eines Gefahrenhinweises, wenn die Restzeit einen Grenzwert unterschreitet,

Das Verfahren nutzt die Erkenntnis, dass der Fahrer voraussichtlich umso länger brauchen wird, um eine Warnung wahrzunehmen und angemessen darauf zu reagieren, je größer die Zahl der Aktivitäten ist, die er gleichzeitig verfolgt, und dass die Art der Aktivitäten einen Einfluss auf die Reaktionsgeschwindigkeit hat, und zwar, dass die Reaktionszeit im Allgemeinen umso länger ist, je ähnlicher die zum Abwenden der Gefahr erforderliche Aktivität des Fahrers einer aktuell verfolgten Aktivität ist. Indem somit der Grenzwert jeweils von Fall zu Fall anhand der aktuellen Aktivitäten des Fahrers festgelegt wird, kann, wenn der Fahrer stark mit unterschiedlichen Aktivitäten ausgelastet ist, der Warnhinweis früher gegeben werden als wenn der Fahrer nur gering ausgelastet ist, so dass trotz relativ langer Reaktionszeit noch eine sinnvolle Reaktion möglich ist, andererseits kann dann, wenn der Fahrer genügend Aufmerksamkeitsreserve hat, um mit kurzer Reaktionszeit zu reagieren, eine unnötig frühe, irritierende Warnung vermieden werden.
Grundsätzlich kann bei den Aktivitäten des Fahrers zwischen Modalitäten des Handelns und Modalitäten des Wahrnehmens unterschieden werden. Insbesondere kann, wenn der Fahrer nur wahrnehmend beschäftigt ist, davon ausgegangen werden, dass er eine Bedienhandlung mit kürzerer Reaktionszeit ausführen kann, als wenn er gleichzeitig bereits handelnd aktiv ist, und dass deshalb, wenn er handelnd aktiv ist, der Grenzwert der Restzeit höher festgelegt werden sollte als wenn er es nicht ist.
In ähnlicher Weise kann innerhalb der Modalitäten des Handelns und des Wahrnehmens jeweils eine Binnendifferenzierung vorgenommen werden. Um eine Gefahrensituation zu erkennen, ist in den meisten Fällen zunächst eine visuelle Wahrnehmungsaktivität erforderlich. Deswegen sollte bei der Festlegung des Grenzwertes auch zwischen Modalitäten des visuellen und des auditiven Wahrnehmens unterschieden werden. Insbesondere sollte dann, wenn eine visuelle Aktivität des Fahrers erfasst wird, der Grenzwert höher festgelegt werden als bei einer auditiven Wahrnehmungsaktivität.
Damit von einer Wahrnehmungsaktivität gesprochen werden kann, genügt es nicht, dass der betreffende Sinn aktiv, bei visueller Wahrnehmung also die Augen geöffnet sind, denn dann wäre eine auditive oder taktile Wahrnehmungsaktivität stets gegeben; es muss hinzukommen, dass der Fahrer den Sinneseindrücken auch tatsächlich bewusste Aufmerksamkeit widmet. Dies kann im Falle der visuellen Wahrnehmung anhand der Augenbewegung beurteilt werden; ändert sich die Blickrichtung innerhalb eines Beobachtungszeitraums stärker, als für unwillkürliche Augenbewegung zu erwarten, insbesondere wenn sie zwischen der Umgebung des Fahrzeugs und dem Innern der Fahrgastzelle hin und herwandert, kann davon ausgegangen werden, dass eine visuelle Wahrnehmungsaktivität vorliegt.
Das Vorliegen einer Aktivität des auditiven Wahrnehmens ist nicht an am Körper des Fahrers erfassbaren Zeichen zu erkennen; hier kann nur indirekt anhand des mit in einem Fahrzeug verwendbaren Sensoren Kabinengeräuschs des Fahrzeugs beurteilt werden, ob eine solche Aktivität vorliegen müsste. Dies wird insbesondere dann der Fall sein, wenn dieses Kabinengeräusch Anteile enthält, die nicht auf eine Infotainmentanlage zurückgeführt werden können.
Bei den Aktivitäten des Handelns kann insbesondere zwischen den Modalitäten des Sprechens und des Bewegens von Extremitäten unterschieden werden. Blickrichtung des Fahrers beurteilt werden. Es kann davon ausgegangen werden, dass ein Fahrer, der mit Mitinsassen spricht oder per Freisprechanlage telefoniert, davon weniger ausgelastet ist und schneller reagieren kann als einer, der gerade mit den Fingern eine Benutzerschnittstelle betätigt, so dass in ersterem Fall der Grenzwert niedriger angesetzt werden kann als in letzterem.
Je mehr verschiedene Aktivitäten des Fahrers gleichzeitig - d.h. in einem gleichen kurzen Beobachtungszeitraum - erfasst werden, umso stärker ist offensichtlich die Aufmerksamkeit des Fahrers in Anspruch genommen, und umso länger ist ggf. die Reaktionszeit des Fahrers auf einen Gefahrenhinweis. Deswegen sollte der Grenzwert bei Erfassung mehrerer gleichzeitiger Modalitäten nicht kleiner und vorzugsweise größer festgelegt wird als bei Erfassung nur einer Teilmenge dieser Modalitäten.
Ein weiterer Ansatz, um den Grenzwert jeweils situationsangepasst festzulegen, ist, ein zum Mindern der Gefahr zu betätigendes Bedienelement zu ermitteln, den Abstand zwischen dem Bedienelement und einer das Bedienelement üblicherweise betätigenden Extremität des Fahrers abzuschätzen und den Grenzwert anhand des Abstandes festzulegen. So kann etwa, wenn zum Abwenden der Gefahr ein Bremsen erforderlich ist, die Position des rechten Fußes des Fahrers relativ zum Bremspedal erfasst und der Grenzwert umso höher angesetzt werden, je weiter der Fuß vom Bremspedal entfernt ist. Wenn ein Lenkmanöver erforderlich ist, kann der Abstand einer Hand des Fahrers vom Lenkrad abgeschätzt und der Grenzwert abstandsabhängig heraufgesetzt werden, z.B. wenn der Fahrer einhändig fährt, für das Lenkmanöver aber beide Hände benötigt werden. Insbesondere bei einem autonom fahrbaren Fahrzeug kann der Fall auftreten, dass der Fahrer zeitweilig keine Hand am Lenkrad hat; in diesem Fall kann er durch den Gefahrenhinweis auf eine Situation aufmerksam gemacht werden, die seinen Eingriff erfordert, wobei der Gefahrenhinweis umso früher erfolgen, der Grenzwert also umso höher angesetzt werden sollte, je länger die Zeit ist, die der Fahrer voraussichtlich brauchen wird, um seine Hände ans Lenkrad zu bringen.
Wenn nicht nur entschieden wird, welches Bedienelement betätigt werden sollte, um die Gefahr zu verringern, sondern gleich ein zum Mindern der Gefahr erforderliches Manöver ermittelt wird, dann kann bei Ausbleiben einer rechtzeitigen Reaktion des Fahrers auf den Gefahrenhinweis das Manöver autonom gesteuert werden. Das Ausbleiben einer rechtzeitigen Reaktion kann spätestens dann festgestellt werden, wenn der Fahrer bis zum spätestmöglichen Zeitpunkt, an dem das Manöver noch gefahren werden und dadurch den Unfall abwenden kann, noch keine zur Gefahrminderung geeignete Eingabe an einem Bedienelement des Fahrzeugs vorgenommen hat. In dem Falle, dass der der Abstand zwischen dem Bedienelement und einer das Bedienelement üblicherweise betätigenden Extremität des Fahrers abgeschätzt wird, kann das Ausbleiben der rechtzeitigen Situation bereits zu einem früheren Zeitpunkt festgestellt werden, insbesondere wenn innerhalb einer vorgegebenen Reaktionszeit nach Erzeugen des Gefahrenhinweises keine Annäherung der Extremität an das Bedienelement zu erkennen ist.
Gegenstand der Erfindung ist ferner ein Fahrerunterstützungssystem mit wenigstens einem Umgebungssensor zum Erfassen von Objekten in der Umgebung des Fahrzeugs, die mit dem Fahrzeug in einen Unfall verwickelt werden könnten, wenigstens einem Innenraumsensor zum Erfassen von Aktivitäten des Fahrers und einer Verarbeitungseinheit zum Durchführen des oben beschriebenen Verfahrens auf der Grundlage von vom Umgebungssensor und vom Innenraumsensor gelieferten Daten, mit anderen Worten, mit einer Verarbeitungseinheit, welche umfasst:

a) Mittel zum Erkennen von Objekten in der Umgebung des Fahrzeugs, die mit dem Fahrzeug in einen Unfall verwickelt werden könnten,
b) Mittel zum Berechnen, für ein in Schritt a) erkanntes Objekt, einer Restzeit bis zu Stattfinden oder Unausweichlichwerden des Unfalls;
c) Mittel zum Erzeugen eines Gefahrenhinweises, wenn die Restzeit einen Grenzwert unterschreitet, und

Die Mittel zum Festlegen des Grenzwertes können eingerichtet sein, um zwischen Modalitäten des Handelns und Modalitäten des Wahrnehmens, vorzugsweise auch innerhalb der Modalitäten des Wahrnehmens zwischen Modalitäten desvisuellen und des auditiven Wahrnehmens und/oder innerhalb der Modalitäten des Handelns zwischen Modalitäten des Sprechens und des Bewegens von Extremitäten zu unterscheiden.
Weitere Erfindungsgegenstände sind ein Computerprogramm-Produkt mit Programmcode-Mitteln, die einen Computer befähigen, das oben beschriebene Verfahren auszuführen oder als Verarbeitungseinheit in dem oben beschriebenen Fahrerunterstützungssystem zu arbeiten, sowie ein Computerlesbarer Datenträger, auf dem Programmanweisungen aufgezeichnet sind, die einen Computer befähigen, in dieser Weise zu arbeiten.
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen unter Bezugnahme auf die beigefügten Zeichnungen. Es zeigen:

1 eine schematische Darstellung eines Kraftfahrzeugs mit einem erfindungsgemäßen Fahrerunterstützungssystem; und
2 ein Flussdiagramm eines von dem Fahrerunterstützungssystem ausgeführten Verfahrens.

1 zeigt ein Blockdiagramm eines Kraftfahrzeugs 1, das mit einem erfindungsgemäßen Fahrerunterstützungssystem ausgestattet ist. Das Fahrerunterstützungssystem umfasst einen oder mehrere Umgebungssensoren 2, z.B. Kameras, Radarsensoren oder dergleichen, die angeordnet sind, um die Umgebung des Kraftfahrzeugs 1 zu überwachen, und eine Verarbeitungseinheit 3, bei der die Daten der Umgebungssensoren 2 zusammenfließen, um in an sich bekannter und hier nicht im Detail erläuterter Weise darauf untersucht zu werden, ob sie die Gegenwart von Objekten in der Umgebung des Fahrzeugs anzeigen, die mit dem Fahrzeug in einen Unfall verwickelt werden könnten.
Als Signalgeber 4, über die die Verarbeitungseinheit 3 einen Gefahrenhinweis ausgibt, um den Fahrer des Fahrzeugs auf ein erkanntes, potentiell gefährliches Objekt aufmerksam zu machen, kann ein Bildschirm in einer Fahrgastzelle 5 des Kraftfahrzeugs an für den Fahrer gut wahrnehmbarer Position angeordnet sein; im hier gezeigten Fall ist der Signalgeber 4 ein Lautsprecher, der an eine Infotainmentanlage 6 angeschlossen ist, um im Normalbetrieb ein von der Infotainmentanlage 6 empfangenes Radioprogramm, einen Tonträger oder dergleichen wiederzugeben, und die Verarbeitungseinheit 3 ist über eine Datenleitung 7 an die Infotainmentanlage 6 angeschlossen, um im Bedarfsfall die normale Audioausgabe der Infotainmentanlage 6 zu unterdrücken und durch den Gefahrenhinweis zu ersetzen.
Die Verarbeitungseinheit 3 kann ferner an Aktoren angeschlossen sein, über die sie in der Lage ist, die Fortbewegung des Kraftfahrzeugs 1 zu steuern. 1 zeigt exemplarisch einen Aktor 8, der auf die Lenkung des Kraftfahrzeugs 1 einwirkt, weitere Aktoren können zum Betätigen von Bremsen oder zum Steuern der Antriebsleistung vorgesehen sein.
Die Verarbeitungseinheit 3 ist ferner mit diversen Innenraumsensoren verbunden, die das Innere der Fahrgastzelle 5, insbesondere den Fahrer, überwachen. Zu diesen Innenraumsensoren zählen eine oder mehrere Kameras 9, die auf den Fahrer ausgerichtet sind, um dessen Blickrichtung, Arm- und Handhaltung zu erfassen. Unterstützend kann am Lenkrad 10 ein Berührungssensor 11 vorhanden sein, um den Kontakt der Hände des Fahrers mit dem Lenkrad 10 zu überwachen. Weitere Kameras, Näherungssensoren 12, 13 oder dergleichen können vorgesehen sein, um die Position der Füße des Fahrers relativ zu Pedalen, insbesondere die Position des rechten Fußes relativ zu üblicherweise durch diesen betätigten Brems- und Fahrpedalen 14, 15 zu überwachen. Ferner können (in 1 nicht gezeigte) Sensoren die der Stellung dieser Pedale 14, 15 erfassen.
Wenigstens ein Mikrofon 16 ist in der Fahrgastzelle 5 angeordnet, um Sprachäußerungen des Fahrers aufzuzeichnen. Das Mikrofon kann direkt mit der Verarbeitungseinheit 3 verbunden sein; im Fall der 1 gehört das Mikrofon zu einer Freisprechanlage 17. Es können mehrere Mikrofone 16 in der Fahrgastzelle 5 verteilt sein, um anhand von Phasenverschiebungen der Audiosignale der verschiedenen Mikrofone Lautäußerungen des Fahrers von denen anderer Fahrzeuginsassen unterscheiden zu können; die Kopplung an die Infotainmentanlage 6 über die Datenleitung 7 ermöglicht es der Verarbeitungseinheit 3 oder der Freisprechanlage 17 ferner, die Audioausgabe der Infotainmentanlage 6 aus dem Signal des Mikrofons herauszufiltern und zu unterdrücken.
2 zeigt ein Arbeitsverfahren der Verarbeitungseinheit 3. Das Verfahren umfasst zwei weitgehend voneinander unabhängige Prozesse, die von einem einzelnen Prozessor der Verarbeitungseinheit 3 im Zeitmultiplex oder von zwei dedizierten Prozessoren ausgeführt werden können.
Der erste Prozess beinhaltet die Auswertung der Daten des wenigstens einen Umgebungssensors 2. Die Verarbeitungseinheit 3 verfügt über ein Umgebungsmodell, in dem in der Umgebung des Fahrzeugs 1 erfasste Objekte, ihre Position und ihre Geschwindigkeit relativ zum Fahrzeug 1 verzeichnet sind. Wenn ein neuer Datensatz von dem wenigstens einen Umgebungssensor 2 vorliegt, wird in Schritt S2 anhand von Daten eines nicht gezeigten Tachometers und eines Lenkwinkelsensors 18 ermittelt, wie sich Position und Fahrtrichtung des Fahrzeugs 1 seit der letzten Aktualisierung des Umgebungsmodells verändert haben. Daraus resultieren zu erwartende Positionen der Objekte des Umgebungsmodells in den von den Umgebungssensoren gelieferten, ortsauflösenden Daten, die die Auswertung der Umgebungssensordaten in Schritt S3, d.h. die Aktualisierung von Positionen und Geschwindigkeiten der bekannten Objekte des Umgebungsmodells sowie ggf. die Erkennung neuer Objekte und deren Hinzufügung zum Umgebungsmodell stark vereinfacht und beschleunigt.
Eine Extrapolation S4 des aktualisierten Umgebungsmodells in die Zukunft lässt erkennen, ob unter den erfassten Objekten des Umgebungsmodells welche sind, die innerhalb des Extrapolationszeitraums mit dem Fahrzeug 1 kollidieren könnten. Existiert kein solches Objekt, dann kehrt der Prozess zu Schritt S1 zurück. Wenn ein solches Objekt gefunden wird, dann wird die bis zur Kollision mit dem Objekt verbleibende Zeit TTC in Schritt S5 berechnet.
Um den rechten Zeitpunkt für die Ausgabe des Gefahrenhinweises an den Fahrer festzulegen, werden die Ergebnisse des zweiten Prozesses benötigt:
Gleichzeitig mit dem ersten Prozess oder zeitlich verschränkt mit diesem werden im zweiten Prozess die Aktivitäten des Fahrers erfasst. Anhand eines Bildes, das jeweils in kurzen Zeitabständen in Schritt S6 von der Kamera 9 empfangen wird, ermittelt die Verarbeitungseinheit 3 in Schritt S7die Blickrichtung des Fahrers und vergleicht sie in Schritt S8 mit in früheren, aber nicht mehr als einige Sekunden zurückliegenden Iterationen des Verfahrens festgestellten Blickrichtungen. Wenn dabei festgestellt wird, dass die Häufigkeit, mit der der Blick des Fahrers nicht auf die Umgebung des Fahrzeugs 1 sondern auf ein Objekt in der Fahrgastzelle 5 gerichtet ist, oder wenn die Blickrichtung in kurzer Zeit häufige starke Richtungswechsel aufweist, dann kann davon ausgegangen werden, dass die visuelle Wahrnehmung die Aufmerksamkeit des Fahrers beansprucht. Andernfalls wird er als visuell nicht beansprucht eingestuft. Das Ergebnis der Beurteilung wird in Schritt S9 aufgezeichnet.
In Schritt S10 vergleicht die Verarbeitungseinheit 3 das vom Mikrofon 16 aufgezeichnete Audiosignal mit der Audioausgabe der Infotainmentanlage 6. Wenn die Infotainmentanlage 6 nicht in Betrieb ist und das Mikrofonsignal auf normales Fahrgeräusch des Fahrzeugs zurückgeführt werden kann, wird der Fahrer als auditiv nicht beschäftigt eingestuft (S11). Wenn die Infotainmentanlage 6 in Betrieb ist, ihre Lautstärke aber eine bestimmte Grenze nicht überschreitet und der Unterschied zwischen aufgezeichnetem Audiosignal und Audioausgabe der Infotainmentanlage auf normales Fahrgeräusch des Fahrzeugs zurückgeführt werden kann, kann der Fahrer ebenfalls als auditiv nicht beschäftigt oder, einer Variante zufolge, als teilweise beschäftigt eingestuft werden (S11). Sind in dem Unterschied von aufgezeichnetem Audiosignal und Audioausgabe hingegen Sprachanteile enthalten, so können diese auf den Fahrer oder auch auf andere Insassen zurückgehen. In beiden Fällen ist es gerechtfertigt, den Fahrer als auditiv beschäftigt zu beurteilen, da er, auch wenn die aktuell erfassten Sprachanteile auf ihn selber zurückgehen, einer Antwort seines Gesprächspartners Aufmerksamkeit widmen wird.
Eine Unterscheidung zwischen Sprache des Fahrers einerseits und Sprache anderer Fahrzeuginsassen oder aus anderen Quellen kann mit Hilfe der Kamera 9 erfolgen; wenn diese Mundbewegungen des Fahrers erfasst (S12), wird der Fahrer überdies als vokal beansprucht beurteilt (S13).
Aus den Bildern der Kamera 9 kann ferner die Stellung bzw. Bewegung von Armen und Händen des Fahrers ermittelt werden (S14). Bewegen sich diese nicht, etwa weil sie am Lenkrad 10 liegen und das Fahrzeug 1 geradeaus fährt, oder weil das Fahrzeug autonom fährt und es nicht notwendig ist, das Lenkrad 10 zu halten, dann wird der Fahrer als manuell nicht beansprucht eingestuft (S15). Falls der Fahrer aktiv lenkt oder mit den Fingern ein anderes Bedienelement betätigt - bei dem es sich sowohl um ein im Fahrzeug eingebautes Bedienelement wie etwa ein Bedienfeld der Infotainmentanlage 6 als auch um ein Bedienelement eines fahrzeugfremden Geräts wie etwa eines Smartphones handeln kann - wird er als manuell beansprucht eingestuft.
Anstatt nur die Bewegung von Händen und Armen zu berücksichtigen, kann mit Hilfe der Sensoren 12, 13 zusätzlich auch eine Fußbewegung des Fahrers erfasst und dieser als allgemein motorisch beansprucht oder unbeansprucht eingestuft werden, oder es kann zwischen Bewegungen von Armen und Händen als einer möglichen Modalität von Fahreraktivität und Fußbewegungen als einer anderen Modalität unterschieden werden und bei Vorliegen einer Fußbewegung der Fahrer unabhängig vom Ergebnis des Schritts S15 als peduell beansprucht eingestuft werden.
In den Schritten S9, S11, S13 und S15 wird so ein Vektor gebildet, dessen vier oder fünf Komponenten zu jeweils verschiedenen möglichen Modalitäten von Aktivitäten angeben, ob sie die Aufmerksamkeit des Fahrers in Anspruch nehmen. Die Komponenten des Vektors können jeweils wenigstens die Werte 0 (nicht aktiv) und 1 (voll aktiv) annehmen, bei manchen Komponenten können wie oben beschrieben auch Zwischenwerte sinnvoll sein. Weitere Komponenten für andere, oben nicht beschriebene Modalitäten der Fahreraktivität einzuführen und auszuwerten kann sinnvoll sein; die weitere Beschreibung wird sich der Einfachheit halber jedoch auf den Fall beschränken, dass die untersuchten Modalitäten sich auf visuelle Wahrnehmung, auditive Wahrnehmung, vokale und motorische Aktivität beschränken, wobei bei letzterer eventuell zwischen manueller und pedueller Aktivität unterschieden werden kann.
Die weitere Verarbeitung des Vektors setzt voraus, dass vorab für jede Modalität eine Vorschrift festgelegt worden ist, nach der im Einzelfall ein Zeitgrenzwert bestimmt wird, der angibt, wie lange vor Ablauf der verbleibenden Zeit TTC der Gefahrenhinweis ausgegeben werden muss. Dieser Zeitgrenzwert muss wenigstens so lang sein wie die Zeitspanne, die der Fahrer braucht, um den Warnhinweis zu verstehen und geeignete Gegenmaßnahmen zu treffen, und die Zeitspanne, die die Gegenmaßnahmen brauchen, damit das Fahrzeug das gefährdende Objekt tatsächlich umgehen kann.
Bei herkömmlichen Fahrzeugen erfordern alle Gegenmaßnahmen, die der Fahrer zur Abwendung einer Gefahr an einem Bedienelement des Fahrzeugs, egal ob Lenkrad, Gas-, Bremspedal oder anderes, vornehmen kann, motorische Aktivität, und es kann angenommen werden, dass der Fahrer, um eine aktuelle motorische Aktivität zu unterbrechen und stattdessen diejenige motorische Aktivität vorzunehmen, die zur Abwehr der Gefahr erforderlich ist, mehr Zeit in Anspruch nehmen wird als die Vornahme derselben Aktivität in dem Fall, dass eine Aktivität von abweichender Modalität zwar unterbrochen werden kann, aber nicht zwangsläufig unterbrochen worden sein muss, um die gefahrenabwehrende Aktivität vornehmen zu können. Deswegen ist ein Grenzwert tmot, um den bei Vorliegen von motorischer Aktivität die Ausgabe des Gefahrenhinweises vor Ablauf der Zeit TTC erfolgen muss, größer als entsprechende Grenzwerte t_vok bei vokaler, t_vid bei visueller und t_aud bei auditiver Aktivität.
Wenn der Vektor mehrere von Null verschiedene Komponenten aufweist, d.h. mehrere gleichzeitige Aktivitäten des Fahrers erfasst worden sind, dann wird ein Grenzwert t_min festgelegt, der zwischen dem größten der oben genannten Grenzwerte tmot, t_vok, t_vid und t_aud, hier also tmot, und der Summe derjenigen Grenzwerte liegt, für die Aktivität festgestellt wurde. Da unabhängig von der Zahl gleichzeitiger Aktivitäten des Fahrers Gegenmaßnahmen nur einmal getroffen werden müssen und nur einmal Zeit benötigen, um zu wirken, kann in der Praxis der Grenzwert t_min bei mehreren gleichzeitigen Aktivitäten festgelegt werden als die Summe der Einzelgrenzwerte, jeweils für die zweite und jede weitere Aktivität vermindert um eine feste Zeitspanne δt, die der zum Wirksamwerden der Gegenmaßnahmen benötigten Zeit entspricht. Wenn beispielsweise gleichzeitig motorische, auditive und vokale Aktivität erfasst werden, ergibt sich in Schritt S16 dann als Grenzwert $t_{min} = t_{mot} + t_{vok} + t_{aud} - 2 δ t .$
Die Verarbeitungseinheit 3 lässt daraufhin in Schritt S17 solange Zeit verstreichen, bis TTC bis auf t_min abgenommen hat. Sobald dies der Fall ist, wird der Gefahrenhinweis ausgegeben (S18).
Im einfachsten Fall endet hiermit eine Iteration des Verfahrens, und die Verarbeitung kehrt zurück zu Schritt S1.
Einer Weiterbildung des Verfahrens zufolge wird, wenn in Schritt S4 ein potentiell gefährliches Objekt gefunden wird, in Schritt S5 nicht nur die Restzeit TTC sondern überdies eine Trajektorie berechnet, auf der das Fahrzeug 1 dem Objekt ausweichen kann. In diesem Fall braucht die Zeit δt, die die Gegenmaßnahmen den Kurs des Fahrzeugs beeinflussen müssen, um eine Kollision des Fahrzeugs mit dem Objekt zu vermeiden, nicht pauschal geschätzt zu werden, sondern kann spezifisch für den Einzelfall berücksichtigt werden, so dass auch in dem Fall, dass die Gegenmaßnahmen ungewöhnlich früh getroffen werden müssen, der Gefahrenhinweis rechtzeitig ausgegeben wird.
Wenn wie oben erwähnt die Verarbeitungseinheit 3 mit Aktoren 8 verbunden ist, die eine Steuerung des Fahrzeugs durch die Verarbeitungseinheit 3 ermöglichen, dann kann die Kenntnis der Ausweichtrajektorie genutzt werden, um das Fahrzeug 1 unter Kontrolle der Verarbeitungseinheit 3 entlang dieser Trajektorie zu lenken, wenn der Fahrer auf den Gefahrenhinweis nicht rechtzeitig reagiert, d.h. spätestens wenn in Schritt S19 von 2 der Zeitabstand TTC bis zur Kollision auf δt abgenommen hat, ohne dass der Fahrer ein geeignetes Ausweichmanöver eingeleitet hat, übernimmt die Verarbeitungseinheit 3 die Kontrolle über das Fahrzeug 1 (S20) und lenkt es auf der Ausweichtrajektorie.
Unter Umständen kann die Kontrollübernahme durch die Verarbeitungseinheit 3 bereits zu einem früheren Zeitpunkt erfolgen, nämlich wenn die Überwachung der Fußbewegung des Fahrers durch die Sensoren 12, 13 erkennen lässt, dass die Füße des Fahrers sich nicht bewegen und dass der Fahrer deswegen eine erforderliche Bedieneingabe an einem der Pedale 14, 15 nicht mehr wird vornehmen können, bevor der Zeitabstand TTC bis zur Kollision auf δt abgenommen hat.
Einer weiteren Weiterbildung zufolge kann die Festlegung von t_mot jeweils im Einzelfall nach einer vorgegebenen Vorschrift erfolgen, die den aktuellen Abstand der Hände des Fahrers vom Lenkrad 10 oder seines rechten Fußes vom Pedal 14 oder 15 berücksichtigt, je nachdem, ob zum Fahren der von der Steuereinheit 3 ermittelten Ausweichtrajektorie ein Lenkeingriff oder eine Betätigung von Brems- oder Fahrpedal 14 oder 15 notwendig ist. Der Abstand der Hände des Fahrers zum Lenkrad 10 bzw. des Fußes zum Pedal 14, 15 kann mit Hilfe der Kamera 9 bzw. der Näherungssensoren 12, 13 quantitativ abgeschätzt werden; denkbar ist aber auch, im Falle des Lenkrades 10 lediglich mit Hilfe des Berührungssensors zwischen Berührung der Hände mit dem Lenkrad 10 und vom Lenkrad beabstandeten Händen zu unterscheiden. Auf diese Weise kann z.B. die Ausgabe des Gefahrenhinweises in dem Fall, dass der Fahrer im Bewusstsein über die von einem Objekt ausgehende Gefahr bereits den Fuß auf dem Pedal 14 oder 15 platziert hat, um eine eventuell erforderliche Eingabe umgehend vornehmen zu können, verzögert werden, während in dem Fall, dass der Fuß nicht am Pedal ist und der Fahrer im Fall eines Gefahrenhinweises noch Zeit braucht, um den Fuß auf dem Pedal zu platzieren, dieser früher ausgegeben wird.
Einer weiteren Abwandlung zufolge kann ein Ausweichmanöver auch durch gesprochene Befehle des Fahrers steuerbar sein. Insbesondere dann, wenn die Verarbeitungseinheit 3 zuvor gelernt hat, dass der Fahrer Sprachbefehle zur Steuerung des Fahrzeugs benutzt, kann es sinnvoll sein, in diesem Fall die Grenzwerte t_mot, t_vok, t_vid und t_aud anders festzulegen, als wenn das Ausweichmanöver nur motorisch gesteuert werden kann; insbesondere kann t_mot, kleiner und sollte t_vok größer gewählt werden als in dem oben betrachteten Fall, dass das Ausweichmanöver durch motorische Eingaben gesteuert werden muss.
Es versteht sich, dass die obige detaillierte Beschreibung und die Zeichnungen zwar bestimmte exemplarische Ausgestaltungen der Erfindung darstellen, dass sie aber nur zur Veranschaulichung gedacht sind und nicht als den Umfang der Erfindung einschränkend ausgelegt werden sollen. Diverse Abwandlungen der beschriebenen Ausgestaltungen sind möglich, ohne den Rahmen der nachfolgenden Ansprüche und deren Äquivalenzbereich zu verlassen. Insbesondere gehen aus dieser Beschreibung und den Figuren auch Merkmale der Ausführungsbeispiele hervor, die nicht in den Ansprüchen erwähnt sind. Solche Merkmale können auch in anderen als den hier spezifisch offenbarten Kombinationen auftreten. Die Tatsache, dass mehrere solche Merkmale in einem gleichen Satz oder in einer anderen Art von Textzusammenhang miteinander erwähnt sind, rechtfertigt daher nicht den Schluss, dass sie nur in der spezifisch offenbarten Kombination auftreten können; stattdessen ist grundsätzlich davon auszugehen, dass von mehreren solchen Merkmalen auch einzelne weggelassen oder abgewandelt werden können, sofern dies die Funktionsfähigkeit der Erfindung nicht in Frage stellt.
Bezugszeichenliste

1: Kraftfahrzeug
2: Umgebungssensor
3: Verarbeitungseinheit
4: Signalgeber
5: Fahrgastzelle
6: Infotainmentanlage
7: Datenleitung
8: Aktor
9: Kamera
10: Lenkrad
11: Berührungssensor
12: Näherungssensor
13: Näherungssensor
14: Pedal
15: Pedal
16: Mikrofon
17: Freisprechanlage
18: Lenkwinkelsensor

Claims

Verfahren zur Fahrerunterstützung in einem Fahrzeug, insbesondere in einem Kraftfahrzeug, mit den Schritten; a) Erkennen (S1-S4) von Objekten in der Umgebung des Fahrzeugs (1), die mit dem Fahrzeug in einen Unfall verwickelt werden könnten, b) für ein in Schritt a) erkanntes Objekt, Berechnen (S5) einer Restzeit (TTC) bis zum Stattfinden oder Unausweichlichwerden des Unfalls; c) Erzeugen eines Gefahrenhinweises (S18), wenn die Restzeit (TTC) einen Grenzwert (t_min) unterschreitet (S17), wobei zum Festlegen des Grenzwertes (t_min) gleichzeitige Aktivitäten des Fahrers erfasst und hinsichtlich ihrer Modalität beurteilt werden (S6-S15) und der Grenzwert (t_min) anhand der Modalität einer erfassten Aktivität oder anhand der Anzahl gleichzeitiger Modalitäten festgelegt wird S16).
Verfahren nach Anspruch 1, bei dem zwischen Modalitäten des Handelns und Modalitäten des Wahrnehmens unterschieden wird.
Verfahren nach Anspruch 1 oder 2, bei dem zwischen Modalitäten des visuellen und des auditiven Wahrnehmens unterschieden wird.
Verfahren nach Anspruch 3, bei dem das Vorliegen einer Aktivität des visuellen Wahrnehmens anhand der Blickrichtung des Fahrers beurteilt wird.
Verfahren nach Anspruch 3 oder 4, bei dem das Vorliegen einer Aktivität des auditiven Wahrnehmens anhand des Kabinengeräuschs des Fahrzeugs beurteilt wird.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem zwischen Modalitäten des Sprechens und des Bewegens von Extremitäten unterschieden wird.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem der Grenzwert (t_lim) im Falle mehrerer gleichzeitiger Modalitäten nicht kleiner festgelegt wird (S17) als bei Erfassung nur einer Teilmenge dieser Modalitäten.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem der Grenzwert (t_mot) im Falle der Erkennung eines Bewegens von Extremitäten höher festgelegt wird als im Falle der Erkennung einer anderen Modalität.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem ein zum Mindern der Gefahr zu betätigendes Bedienelement (10, 14, 15) ermittelt, der Abstand zwischen dem Bedienelement (10, 14, 15) und einer das Bedienelement üblicherweise betätigenden Extremität des Fahrers abgeschätzt und der Grenzwert anhand des Abstandes festgelegt wird.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem ein zum Mindern der Gefahr erforderliches Manöver ermittelt (S5) und bei Ausbleiben (S19) einer rechtzeitigen Reaktion des Fahrers auf den Gefahrenhinweis das Manöver autonom gesteuert wird (S20).
Fahrerunterstützungssystem mit wenigstens einem Umgebungssensor (2) zum Erfassen von Objekten in der Umgebung des Fahrzeugs (1), die mit dem Fahrzeug (1) in einen Unfall verwickelt werden könnten, wenigstens einem Innenraumsensor (9) zum Erfassen von Aktivitäten des Fahrers und einer Verarbeitungseinheit (3) zum Durchführen des Verfahrens nach einem der vorhergehenden Ansprüche auf der Grundlage von vom Umgebungssensor (2) und vom Innenraumsensor (9) gelieferten Daten.
Computerprogramm-Produkt mit Programmcode-Mitteln, die einen Computer befähigen, das Verfahren nach einem der Ansprüche 1 bis 10 auszuführen oder als Verarbeitungseinheit in einem Fahrerunterstützungssystem nach Anspruch 11 zu arbeiten.
Computerlesbarer Datenträger, auf dem Programmanweisungen aufgezeichnet sind, die einen Computer befähigen, das Verfahren nach einem der Ansprüche 1 bis 10 auszuführen oder als Verarbeitungseinheit in einem Fahrerassistenzsystem nach Anspruch 11 zu arbeiten.