DE102018200980A1

DE102018200980A1 - Verfahren zum Ermitteln einer Objektwahrnehmungswahrscheinlichkeit, mit welcher ein Fahrer eines Kraftfahrzeugs Objekte in einem Umfeld des Kraftfahrzeugs wahrnimmt, sowie Steuervorrichtung für ein Kraftfahrzeug und Kraftfahrzeug

Info

Publication number: DE102018200980A1
Application number: DE102018200980.5A
Authority: DE
Inventors: Marius Spika; Jan Sonnenberg; Hannes Wendland; David Geisler; Theodor Heinze; Julia Drüke
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2018-01-23
Filing date: 2018-01-23
Publication date: 2019-07-25
Anticipated expiration: 2038-01-24
Also published as: DE102018200980B4

Abstract

Die Erfindung betrifft ein Verfahren (23) zum Ermitteln einer Objektwahrnehmungswahrscheinlichkeit (Wy, Wz), mit welcher ein Fahrer (11) eines Kraftfahrzeugs (10) Objekte (O1, O2, O3) in einer Umgebung (12) des Kraftfahrzeugs (10) wahrnimmt, wobei durch eine Steuervorrichtung (14) des Kraftfahrzeugs (10) mittels einer Blickrichtungserkennungseinrichtung (15) eine Blickrichtung (19) des Fahrers (11) erkannt wird und in Abhängigkeit von der erkannten Blickrichtung (19) für die Objekte (O1, O2, O3) eine vorläufige Wahrnehmungswahrscheinlichkeit (Wx), dass der Fahrer das jeweilige Objekt (O1, O2, O3) bewusst wahrnimmt, ermittelt wird. Die Erfindung sieht vor, dass zu den Objekten (O1, O2, O3) eine jeweilige optische Salienz (S1, S2, S3), welche eine optische Reizintensität des jeweiligen Objekts (O1, O2, O3) angibt, ermittelt wird und die Objektwahrnehmungswahrscheinlichkeit (Wy, Wz) der Objekte (O1, O2, O3) jeweils als eine Funktion der vorläufigen Wahrnehmungswahrscheinlichkeit (Wx) und der jeweiligen Salienz (S1, S2, S3) des Objekts (O1, O2, O3) festgelegt wird.

Description

Die Erfindung betrifft ein Verfahren zum Ermitteln einer Objektwahrnehmungswahrscheinlichkeit, mit welcher ein Fahrer eines Kraftfahrzeugs Objekte in einem Umfeld oder einer Umgebung des Kraftfahrzeugs wahrnimmt. Zu der Erfindung gehören auch eine Steuervorrichtung für ein Kraftfahrzeug, mittels welcher das Verfahren durchgeführt werden kann, sowie ein Kraftfahrzeug mit der Steuervorrichtung.
Ein sicheres und unfallfreies Fahren erfordert, dass Fremdfahrzeugen oder anderen Verkehrsteilnehmern, wie Fußgängern oder Radfahrern, die laut Straßenverkehrsordnung Vorfahrt haben, auch entsprechend von einem Fahrer eines Kraftfahrzeugs Vorfahrt gewährt wird. Darüber hinaus muss auch etwaigen statischen Objekten, die sich temporär oder dauerhaft auf der Fahrbahn befindenm ausgewichen werden. Hierzu ist es notwendig, dass der Fahrer des Kraftfahrzeugs ein Fremdfahrzeug oder einen anderen Verkehrsteilnehmer mit Vorfahrt oder andere Objekte sieht und wahrnimmt. Je nach Verkehrsszenario und Fahrerzustand existiert eine bestimmte Wahrscheinlichkeit, dass ein solches Fremdfahrzeug, ein anderer Verkehrsteilnehmer oder ein Objekt übersehen wird und somit eine kritische Fahrsituation entsteht. Mittels einer Umfeldsensoreinrichtung des Kraftfahrzeugs kann dies aber entschärft oder abgesichert werden, indem von einer Steuervorrichtung des Kraftfahrzeugs nicht gesehene Fremdfahrzeuge oder Verkehrsobjekte detektiert werden und der Fahrer auf diese rechtzeitig aufmerksam gemacht wird.
Aus der EP 2 511 121 A1 ist hierzu bekannt, zum Klären der Frage, ob ein Fahrer ein bestimmtes Objekt in einer Umgebung des Kraftfahrzeugs gesehen hat, mittels einer Kamera Kamerabilder der Umgebung zu erzeugen und in den Kamerabildern zu überprüfen, welche optische Salienz jedes Objekt jeweils aufweist. Es ergibt sich somit eine Salienzkarte der Umgebung. Es wird davon ausgegangen, dass der Fahrer seinen Blick stets auf das Objekt mit der größten Salienz richtet. Besteht eine Kollisionsgefahr mit einem Objekt geringer Salienz, so wird der Fahrer auf dieses Objekt aufmerksam gemacht. Bei diesem Verfahren kann sich aber eine paradoxe Situation ergeben, wenn der Fahrer zufällig bewusst auf ein weniger salientes Objekt blickt und in der aktuellen Fahrsituation die eigentliche Gefahr von dem salientesten Objekt ausgeht. Er wird dann nicht vor diesem salienteren Objekt gewarnt.
Genauso kann sich die unerwünschte Situation ergeben, dass der Fahrer bereits auf ein weniger salientes Objekt schaut, das er als Gefahr erkannt hat, und er dennoch vor diesem Objekt gewarnt wird, weil das Verfahren davon ausgeht, dass der Fahrer das Objekt mit der größten Salienz anblickt.
Aus der US 2015/0339589 A1 ist ein System bekannt, das in einer Trainingsphase eine Blickrichtung eines Fahrlehrers erfasst und überprüft, welche Objekte in der Umgebung eines Kraftfahrzeugs nach Ansicht des Fahrlehrers offenbar wichtig für die Fahrsicherheit sind, weil er diese betrachtet. Diese Objekte werden als salient eingestuft. In einer späteren Betriebsphase wird eine Blickrichtung einer zu testenden Person daraufhin überprüft, ob sie ihre Aufmerksamkeit auf die salienten Objekte richtet. Andernfalls wird sie auf diese Objekte aufmerksam gemacht. Die hierbei zugrunde gelegte Salienz bezeichnet lediglich die Wichtigkeit oder Kritikalität der Objekte, wie sie aus der Blickrichtung des Fahrlehrers abgeleitet wurde, und spiegelt nicht die optische Salienz wieder, die ein Maß dafür darstellt, dass ein Objekt von einem Fahrer allein aufgrund seiner optischen Erscheinung wahrgenommen wird. So ist kann ein auf die Straße laufender grauer Hund als salienter eingestuft sein als ein bunter Vogel, falls letzterer für die Fahrsicherheit irrelevant ist. Damit wird aber nicht zwischen der Kritikalität für die Verkehrssicherheit einerseits und der optischen Salienz oder Auffälligkeit von Objekten andererseits unterschieden. Somit ist das Verfahren nicht universell anwendbar.
Aus DE 10 2011 084 367 A1 ist die Wahrnehmungsbeurteilung durch Auswertung der Objektposition und des Fahrerblickes sowie eines zeitlichen Verlaufes des Blickes (Dauer, Anzahl, Frequenz) bekannt. Bei Wahrnehmung erscheint die Warnung entweder gar nicht, zeitlich später oder mit geringerer Intensität. Nach der Warnung kann ein fahrdynamischer Eingriff erfolgen. Ein Blick wird vereinfacht als Blickrichtungsvektor (d.h. eine Gerade) modelliert, anstatt als räumliche Verteilung der Wahrnehmungswahrscheinlichkeit.
Der Erfindung liegt die Aufgabe zugrunde, in einem Kraftfahrzeug automatisiert zu ermitteln, welche Objekte ein Fahrer in der Umgebung des Kraftfahrzeugs tatsächlich wahrnimmt, und den Fahrer gegebenenfalls vor sicherheitskritischen Objekten zu warnen, falls er diese nicht wahrgenommen hat.
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren beschrieben.
Durch die Erfindung ist ein Verfahren zum Ermitteln einer Objektwahrnehmungswahrscheinlichkeit bereitgestellt. Die Objektwahrnehmungswahrscheinlichkeit gibt ein Maß oder einen Wert an, mit welchem ein Fahrer jeweils Objekte in einer Umgebung des Kraftfahrzeugs wahrnimmt. Ein solches Objekt kann z.B. ein anderer Verkehrsteilnehmer sein, also z.B. ein anderes Fahrzeug oder ein Fußgänger oder ein Radfahrer, oder ein Tier oder allgemein ein statisches oder ein dynamische Objekt. Je höher der Wert der Objektwahrnehmungswahrscheinlichkeit eines Objekts ist, desto größer ist die Wahrscheinlichkeit, dass der Fahrer sich des Objekts bewusst ist. Das erfindungsgemäße Ermitteln der Objektwahrnehmungswahrscheinlichkeit erfolgt zweistufig. Die Schritte des Verfahrens können durch eine Steuervorrichtung des Kraftfahrzeugs durchgeführt werden.
In einer ersten Stufe werden die Objekte in der Umgebung detektiert. Mittels einer Blickrichtungserkennungseinrichtung wird eine Blickrichtung des Fahrers erkannt. In Abhängigkeit von der erkannten Blickrichtung wird für die Objekte eine vorläufige Wahrnehmungswahrscheinlichkeit dafür ermittelt, dass der Fahrer das jeweilige Objekt bewusst wahrnimmt. Diese erste Stufe sieht also vor, dass man die vorläufige Wahrnehmungswahrscheinlichkeit allein auf Grundlage der Blickrichtung des Fahrers ermittelt. Die Objekte können mittels einer Umfeldsensoreinrichtung erfasst und/oder durch eine Kommunikationseinrichtung (z.B. mittels der sogenannten Fahrzeug-zu-Fahrzeug-Kommunikation oder der Fahrzeug-zu-Infrastruktur-Kommunikation) gemeldet werden. Mit anderen Worten kann für das Detektieren der Objekte eine optische Erfassung zugrundegelegt sein oder zusätzlich oder alternativ zur optischen Erfassung auch eine andere Objektdetektion erfolgen, beispielsweise radarbasiert und/oder Lidar-basiert und/oder basierend auf einer Fahrzeug-zu-Fahrzeug-Kommunikation und/oder einer Fahrzeug-zu-Infrastruktur-Kommunikation.
Die zweite Stufe setzt darauf auf, indem eine optische Salienz der detektierten Objekte mittels einer Bildanalyseeinrichtung des Kraftfahrzeugs und/oder durch eine fahrzeugfremde Einrichtung ermittelt wird. Die fahrzeugfremde Einrichtung kann die Salienz z.B. über die besagte Fahrzeug-zu-Fahrzeug-Kommunikation oder der Fahrzeug-zu-Infrastruktur-Kommunikation ermitteln. Z.B. kann eine Fremdfahrzeug seine eigene Farbe über eine Fahrzeug-zu-Fahrzeug-Kommunikation melden (die zugehörigen Farbdaten kann es in einer Speichereinrichtung gespeichert halten) oder eine im Straßennetz fest installierte Kamera kann eine erkannte Farbe eines Fremdfahrzeugs über die Fahrzeug-zu-Infrastruktur-Kommunikation an das Kraftfahrzeug melden.
Zu den detektierten Objekten wird somit eine jeweilige optische Salienz, welche eine optische Reizintensität oder Auffälligkeit des jeweiligen Objekts angibt oder beschreibt, ermittelt. Die optische Salienz ist unabhängig von der Kritikalität oder der Relevanz des Objekts für den Fahrer. Unabhängig von einer Relevanz für die Verkehrssicherheit wird also zunächst ermittelt, wie optisch auffällig das jeweilige Objekt ist, d.h. seine optische Salienz oder sein visueller Stimulus bestimmt. Die Angabe zur Salienz eines Objektes kann auch aus einem anderen System stammen und dem Fahrzeug kommuniziert werden.
Die eigentlich zu ermittelnde Objektwahrnehmungswahrscheinlichkeit der Objekte wird dann jeweils als eine Funktion der vorläufigen Wahrnehmungswahrscheinlichkeit (Blickrichtungbasiert) und der jeweiligen Salienz des Objekts (optische Auffälligkeit) festgelegt. Mit anderen Worten wird ermittelt, wohin der Fahrer tatsächlich blickt, also die Ausrichtung seiner Blickrichtung ermittelt, und dann zusätzlich geprüft, wie optisch salient oder auffällig die Objekte jeweils sind.
Durch die Erfindung ergibt sich der Vorteil, dass zuverlässiger erkannt werden kann, ob ein Fahrer ein Objekt wahrgenommen oder übersehen hat. So kann auch erkannt werden, ob ein Fahrer ein Objekt, dass er nicht direkt anblickt, dennoch aufgrund von dessen optischer Salienz oder Auffälligkeit erkannt haben muss, weil er es z.B. schon am Rande seines Sichtfelds (peripher) wahrnehmen kann, was mit einer ausschließlichen Blickrichtungserkennung nicht möglich ist. Andererseits würde bei ausschließlicher Betrachtung der Salienz ein optisch unauffälliges Objekt fälschlicherweise als vom Fahrer nicht wahrgenommen klassifiziert werden, obwohl der Fahrer das Objekt fokussiert. Es ergibt sich für jedes der Objekte eine jeweilige Objektwahrnehmungswahrscheinlichkeit, die angibt, zu welchem Grad oder in welchem Maß der Fahrer das jeweilige Objekt wahrgenommen hat. Diese Salienzbeurteilung erfolgt insbesondere auf der Grundlage von Bildbereichen z.B. in zumindest einem Kamerabild, durch welches jeweils zumindest ein Objekt oder einige der Objekte oder Teile von Objekten abgebildet sind. Es wird durch die Salienz angegeben, wie stark das jeweilige Objekt die Aufmerksamkeit des Fahrers visuell voraussichtlich stimuliert. Die Objektwahrnehmungswahrscheinlichkeit kann zum Beispiel berechnet werden als „vorläufige Wahrnehmungswahrscheinlichkeit ohne Salienz“ x Salienz, wobei x beispielhaft eine Multiplikation oder eine andere Verknüpfungsfunktion sein kann. Es kann zusätzlich ein Korrekturwert vorgesehen sein, der beispielsweise einen fahrerindividuellen oder fahrerspezifischen Salienz-Offset oder Skalierung darstellen kann. Ein weiterer Parameter kann hierbei der Abstand des Objektes zur aktuellen Fixationsebene oder Blickfokussierungsebene des Fahrers sein. Fokussiert der Fahrer z.B. auf einen Nahbereich, so ist die Wahrnehmungswahrscheinlichkeit für Objekte in anderen Ebenen potentiell reduziert. Die Blickfokussierungsebene kann z.B. aus einer relativen Augenstellung und/oder einer Linsenform ermitteln werden
Zu der Erfindung gehören auch Ausführungsformen, durch die sich zusätzliche Vorteile ergeben.
Eine Ausführungsform sieht vor, dass die Salienz in Abhängigkeit von zumindest einer der folgenden Eigenschaften ermittelt wird. Es kann eine Farbe des Objekts und/oder seine Helligkeit und/oder der globale Kontrast zugrunde gelegt werden. Zusätzlich oder alternativ kann ein Farbkontrast des Objekts bezüglich einer angrenzenden Objektumgebung oder des Hintergrunds (wie z.B. im Kamerabild sichtbar) und/oder ein Helligkeitskontrast bezüglich der angrenzenden Objektumgebung (wie z.B. im Kamera sichtbar) und/oder ein zeitlicher Verlauf einer Helligkeitsveränderung (zum Beispiel eine Blinkfrequenz und/oder eine maximale und eine minimale Helligkeit beim Blinken) und/oder ein zeitlicher Verlauf einer Farbveränderung (zum Beispiel die Aktivierung eines Bremslichts oder ein Blaulicht) und/oder eine Bewegungsgeschwindigkeit und/oder ein Bewegungsmuster (zum Beispiel ein Pendeln) zugrunde gelegt werden. Jede dieser Eigenschaften stellt einen jeweiligen spezifischen Reiz für das Wahrnehmungssystem eines Menschen dar. Von den genannten Eigenschaften kann eine oder können einige oder alle zum Ermitteln der jeweiligen Salienz eines Objekts zu Grunde gelegt werden. Jede der Eigenschaften weist jeweils den Vorteil auf, dass sie eine spezifische Wahrnehmungseigenschaft eines Menschen widerspiegelt, sodass ein Wert der jeweiligen Eigenschaft ein technisch messbares Maß dafür darstellt, inwieweit ein Mensch das Objekt wahrgenommen hat. Beispielsweise kann bei der Auswertung der Farbe dem Farbwert Rot eine höhere Salienz als dem Farbwert Grau zugeordnet sein. Hierbei kann auch die Blickrichtung des Fahrers berücksichtigt werden, um das räumlich auf den fokalen Sichtbereich begrenzte Farbsehen des Menschen zu berücksichtigen.
Eine Ausführungsform sieht vor, dass durch eine Umfeldanalyseeinrichtung zu den Objekten jeweils auch eine Kritikalität, die ein Unfallpotential des jeweiligen Objekts für den Fahrer beschreibt, ermittelt wird. Die Kritikalität gibt also an, wie sicherheitskritisch das jeweilige Objekt ist. Für jedes der Objekte wird aus seiner Kritikalität und seiner Objektwahrnehmungswahrscheinlichkeit gemäß einer vorbestimmten Bewertungsfunktion eine bewertete Kritikalität ermittelt. Mit anderen Worten werden die Werte für die Kritikalität und die Objektwahrnehmungswahrscheinlichkeit kombiniert. Somit kann in vorteilhafter Weise unterschieden werden zwischen einem Objekt, das eine bestimmte Kritikalität aufweist aber gemäß der Objektwahrnehmungswahrscheinlichkeit vom Fahrer bereits wahrgenommen wurde, und einem Objekt, das dieselbe Kritikalität aufweist, aber gemäß der Objektwahrnehmungswahrscheinlichkeit vom Fahrer voraussichtlich nicht wahrgenommen wurde. Dieses zweite Objekt weist dann eine größere bewertete Kritikalität auf.
Gemäß einer Ausführungsform wird der Wert der Kritikalität umso größer gewählt, je näher das Kraftfahrzeug dem jeweiligen Objekt voraussichtlich kommen wird. Hierzu kann ein geschätzte oder geplante Fahrtrajektorie des Kraftfahrzeugs und/oder eine geschätzte oder bekannte Bewegungstrajektorie des Objekts zu Grunde gelegt werden. Der Wert der Kritikalität kann auch umso größer gewählt werden, je größer eine Wahrscheinlichkeit für eine Kollision des Kraftfahrzeugs mit dem Objekt ist. Hierzu kann die Umfeldanalyseeinrichtung beispielsweise eine Kollisionsprädiktion aus dem Stand der Technik nutzen, wie sie von einem Fahrerassistenzsystem bereitgestellt sein kann. Zusätzlich oder alternativ dazu kann der Wert der Kritikalität angeben, falls das Objekt Vorfahrt vor dem Kraftfahrzeug hat. Somit kann ausgedrückt werden, ob das Objekt voraussichtlich weiterfahren wird, weil es von seiner Vorfahrt ausgeht. Die beschriebenen Kriterien für die Kritikalität weisen den Vorteil auf, dass die Verkehrssicherheit des Fahrers bezüglich dieser Objekte abgeschätzt oder bewertet werden kann.
Eine Ausführungsform sieht vor, dass zu jedem solchen der Objekte, bei welchem die bewertete Kritikalität in einem vorbestimmten Kritikalitätsbereich liegt, zumindest eine Schutzmaßnahme ausgelöst wird. Liegt also der Wert der bewerteten Kritikalität in einem vorbestimmten Werteintervall, nämlich dem Kritikalitätsbereich, so wird zumindest eine Schutzmaßnahme ausgelöst. Hierdurch wird der Fahrer in vorteilhafter Weise vor einem Unfall geschützt. So kann bei Detektion zumindest eines voraussichtlich von den Fahrer nicht gesehenen Objekts, das sich auf Kollisionskurs befindet, der Fahrer als Schutzmaßnahme auf das Objekt aufmerksam gemacht werden. Dabei wird durch Einbeziehen der Blickrichtung des Fahrers sowie der Salienz und der Kritikalität des Objekts der Fahrer aber nur dann auf das Objekt aufmerksam gemacht, falls er es nicht zu sehen scheint und es aber für seine Sicherheit kritisch ist.
Gemäß einer Ausführungsform umfasst der besagte Kritikalitätsbereich mehrere unterschiedliche Kritikalitätsstufen. Ein Objekt ist somit also nicht einfach nur kritisch oder nicht kritisch, sondern auch ein kritisches Objekt kann eine von zumindest zwei unterschiedliche Kritikalitätsstufen aufweisen, die beispielsweise anhand daran unterschieden werden, wie weit das Objekt noch vom Kraftfahrzeug entfernt ist. So können unterschiedliche Schutzmaßnahmen mit unterschiedlicher Intensität gesteuert werden. Beispiele für Schutzmaßnahmen sind jeweils: ein Informationston, ein Warnton, unterschiedliche Darstellungsgrößen eines Warnhinweises (z.B. eines Symbols), unterschiedliche Symbole für den Warnhinweis, unterschiedliche Helligkeitsstufen eines Warnhinweises, ein unterschiedlicher Text für einen Warnhinweis, ein unterschiedlicher Darstellungsort für den Warnhinweis, ein Bremseingriff, ein Lenkeingriff. Jede dieser Schutzmaßnahmen oder einige oder eine Schutzmaßnahme kann jeweils für eine der Kritikalitätsstufen vorgesehen sein. Durch die Abstufung in Kritikalitätsstufen kann eine Steigerung der Schutzmaßnahmen mit steigender Kritikalität realisiert werden.
Eine Ausführungsform sieht vor, dass auf der Grundlage der ermittelten Blickrichtung des Fahrers ein in die Umgebung ausgerichteter Blickrichtungsvektor ermittelt wird und die besagte vorläufige Wahrnehmungswahrscheinlichkeit (ohne Salienz) jedes der Objekte umso größer ist, je geringer der Abstandswert des Objekts zu dem Blickrichtungsvektor ist. Der Abstandswert ist die Länge der kürzesten Verbindungslinie des Objekts zu dem Blickrichtungsvektor, also der senkrecht zum Blickrichtungsvektor gemessene Abstand. Für das Umrechnen oder Abbilden des Abstandswerts auf einen Wert der vorläufigen Wahrnehmungswahrscheinlichkeit kann beispielsweise eine Glockenfunktion, beispielsweise eine Gaußglocke, zugrundegelegt werden. Insbesondere ist eine Gaußverteilung (z.B. eine 3D-Gauß‘sche Normalverteilung) mit hoher Wahrnehmungswahrscheinlichkeit im Zentrum des Blickes und Abnahme nach Außen im peripheren Sichtfeld und/oder außerhalb der Blickfokussierungsebene vorgesehen. Es ergibt sich der Vorteil, dass auch ein solches Objekt als vom Fahrer erkannt oder gesehen bewertet werden kann, das nicht direkt vom Fahrer angeblickt wird, aber gemäß dem gemessenen Abstand in dessen Sichtbereich liegt. Hierdurch kann kompensiert werden, dass die Blickrichtung lediglich einen dreidimensionalen Blickrichtungsvektor beschreibt, während ein Mensch ein Blickfeld mit einem Öffnungswinkel größer als 0° aufweist, also auch Objekte neben dem Blickrichtungsvektor wahrnimmt.
Eine Ausführungsform sieht vor, dass bei der Salienz mehrere unterschiedliche Eigenschaften des Objekts berücksichtigt werden. Beispielhafte Eigenschaften wurden bereits aufgelistet. Je nach Abstandswert des Objekts zu dem Blickrichtungsvektor wird hierbei aber zwischen einem fokalen Sichtbereich und einem peripheren Sichtbereich des Fahrers unterschieden. Der fokalen Sichtbereich ergibt sich durch das Sichtfeld der Farbwahrnehmung, das auf den Zapfen-Zellen der Retina der Augen des Menschen beruht. Der periphere Sichtbereich ist der daran angrenzende und bis zum Rand des Blickfeld des Menschen reichende Sichtbereich, der auf den Stäbchen-Zellen der Retina der Augen des Menschen beruht. Beim Ermitteln der (salienz-bewerteten) Objektwahrnehmungswahrscheinlichkeit für jedes Objekt im fokalen Sichtbereich werden die Eigenschaften anders gewichtet als für jedes Objekt im peripheren Sichtbereich. Im fokalen Sichtbereich können beispielsweise farbbasierte Eigenschaften ein relativ größeres Gewicht oder eine größere Gewichtung erhalten als kontrastbasierte und/oder bewegungsbasierte Eigenschaften. Umgekehrt kann im peripheren Sichtbereich eine farbbasierte Eigenschaft eine geringere Gewichtung oder ein geringeres Gewicht erhalten als eine kontrastbasierte und/oder bewegungsbasierte Eigenschaft. Hierdurch wird in vorteilhafter Weise das Wahrnehmungsvermögen des Menschen präzise nachgebildet.
Gemäß einer Ausführungsform wird beim Ermitteln der Objektwahrnehmungswahrscheinlichkeit eine Blickdauer und/oder eine Blickhistorie auf das jeweilige Objekt berücksichtigt. Die Blickdauer gibt diejenige Zeitdauer an, für welche ein bestimmter Abstand des Blickrichtungsvektors zu dem jeweiligen Objekt vorlag. Je länger der Abstandswert, beispielsweise der geringste Abstandswert, vorlag, desto größer ist die Objektwahrnehmungswahrscheinlichkeit. Die Blickhistorie gibt an, wie oft der Fahrer in Richtung des Objekts geschaut hat oder allgemeine wie oft ein bestimmter Abstandswert, insbesondere der geringste Abstandswert, vorgelegen hat. Je öfter ein Fahrer in die Richtung des Objekts geschaut hat, desto größer ist die Objektwahrnehmungswahrscheinlichkeit. So kann also auch eine kurze, aber häufige Ausrichtung des Blicks des Fahrer hin zu dem Objekt eine Objektwahrnehmungswahrscheinlichkeit ergeben, die einem einmaligen Ausrichten des Blicks für eine entsprechend längere Blickdauer entspricht. In vorteilhafter Weise wird so durch die mentale Verarbeitung des Gesehenen nachgebildet.
Eine Ausführungsform sieht vor, dass die Objektwahrnehmungswahrscheinlichkeit gemäß einer vorbestimmten Vergessensfunktion verringert wird, solange sich kein Ereignis ergibt, durch welches die Objektwahrnehmungswahrscheinlichkeit wieder vergrößert wird. Wendet also ein Fahrer seinen Blick von einem Objekt ab, so führt dies nicht dazu, dass die Objektwahrnehmungswahrscheinlichkeit auf 0 sinkt. Vielmehr verringert sich die Objektwahrnehmungswahrscheinlichkeit gemäß der Vergessensfunktion, die hierzu insbesondere eine stetig differenzierbar en Verlauf aufweist, beispielsweise einen exponentiell Verlauf. Es ergibt sich der Vorteil, dass auch das Merkvermögen oder die Erinnerung des Fahrers berücksichtigt wird.
Eine Ausführungsform sieht vor, dass die Salienz fahrerindividuell ermittelt wird, indem auf der Grundlage eines in der Vergangenheit ermittelten Fahrverhaltens und/oder auf der Grundlage eines persönlichen Erfahrungshorizonts und/oder einer Sehschwäche des Fahrers ein Salienz-Offset ermittelt und beim Ermitteln der Objektwahrnehmungswahrscheinlichkeit angewendet wird. Hat der Fahrer beispielsweise in der Vergangenheit eine bestimmten Objekttyp für eine vorbestimmte Mindestanzahl von Ereignissen übersehen, so kann entsprechend bei der Bewertung eines Objekts dieses Objektstyps die Salienz mit dem Salienz-Offset korrigierten werden, also z.B. verringert werden, um das verringerte Wahrnehmungsvermögen des Fahrers zu berücksichtigen. Ein persönlicher Erfahrungshorizont des Fahrers kann beispielsweise angeben, dass der Fahrer (es kann sich um eine männliche oder eine weibliche Person handeln) selbst ein Kind hat, sodass davon auszugehen ist, dass der Fahrer auf Kinder besonders achtet. Entsprechend kann mit einem Salienz-Offset z.B. diese gesteigerte Aufmerksamkeit durch Erhöhen der Salienz berücksichtigt werden. Als Sehschwäche kann z.B. eine Rot-Grün-Blindheit und/oder eine Dioptrienzahl des Fahrer berücksichtigt werden.
Die Erfindung umfasst auch eine Steuervorrichtung für ein Kraftfahrzeug. Die Steuervorrichtung kann beispielsweise als Steuergerät oder Steuergeräteverbund ausgestaltet sein. Die Steuervorrichtung weist eine Recheneinrichtung auf, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Recheneinrichtung kann beispielsweise auf der Grundlage zumindest eines Mikroprozessors und/oder zumindest eines Mikrocontrollers ausgestaltet sein. Die besagte Blickrichtungserkennungseinrichtung und/oder die besagte Bildanalyseeinrichtung und/oder die besagte Umfeldanalyseeinrichtung kann jeweils beispielsweise ganz oder teilweise durch ein Programmodul der Steuervorrichtung realisiert sein, das durch die Recheneinrichtung ausgeführt werden kann. Die Verfahrensschritte, die durch die Steuervorrichtung durchgeführt werden, können also als ein Programmcode realisierte sein, der in einem Datenspeicher der Steuervorrichtung gespeichert sein kann.
Die Erfindung umfasst schließlich auch ein Kraftfahrzeug, das eine Ausführungsform der erfindungsgemäßen Steuervorrichtung aufweist. Das Kraftfahrzeug kann beispielsweise als Kraftwagen (Personenkraftwagen oder Lastkraftwagen) oder als Landmaschine ausgestaltet sein. Das Kraftfahrzeug kann auch die besagte Umfeldsensoreinrichtung aufweisen, die beispielsweise für die optische Erfassung zumindest eine Kamera aufweisen kann. Des Weiteren kann die Umfeldsensoreinrichtung in der besagten Weise beispielsweise einen Radar und/oder Lidar und/oder eine Ultraschall-Sensoreinrichtung und/oder eine Kommunikationseinrichtung für die Fahrzeug-zu-Fahrzeug-Kommunikation und/oder die Fahrzeug-zu-Infrastruktur-Kommunikation aufweisen.
Die Erfindung umfasst auch die Kombinationen der beschriebenen Ausführungsformen.
Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigt:

1 eine schematische Darstellung einer Ausführungsform des erfindungsgemäßen Kraftfahrzeugs;
2 ein Schaudiagramm zu Veranschaulichung einer Ausführungsform des erfindungsgemäßen Verfahren;
3 eine Skizze zur Veranschaulichung einer Fahrsituation;
4 ein Diagramm mit einer Funktion zur Berechnung einer vorläufigen Wahrnehmungswahrscheinlichkeit;
5 ein Schaudiagramm mit einer Abfolge von Schutzmaßnahmen; und
6 eine Übersicht von unterschiedlichen Kanälen, über welche die Schutzmaßnahmen wirken können

Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.
1 zeigt ein Kraftfahrzeug 10, bei dem es sich um einen Kraftwagen, beispielsweise einem Personenkraftwagen oder Lastkraftwagen, handeln kann. In dem Kraftfahrzeug 10 kann sich ein Fahrer 11 befinden und das Kraftfahrzeug 10 führen, also lenken und/oder Gas geben und/oder bremsen. Der Fahrer 11 kann in dem Kraftfahrzeug 10 darin unterstützt werden, auf andere Verkehrsteilnehmer in einem Umfeld oder einer Umgebung 12 des Kraftfahrzeugs 10 aufmerksam zu werden. Hierzu kann das Kraftfahrzeug 10 eine Umfeldsensoreinrichtung 13, eine Steuervorrichtung 14, eine Blickrichtungserkennungseinrichtung 15 mit einer zugehörigen Erfassungseinrichtung 15' und/oder zumindest eine Fahrzeugkomponente 16 zum Ausführen zumindest einer Schutzmaßnahme aufweisen. Die Umfeldsensoreinrichtung 13 kann eine optische Erfassungseinrichtung 17, beispielsweise eine Kamera zum optischen Erfassen der Umgebung 12 aufweisen. Zusätzlich kann die Umfeldsensoreinrichtung 13 zumindest eine weitere Erfassungseinrichtung 18, beispielsweise einen Radar und/oder eine der weiteren genannten Erfassungseinrichtungen aufweisen.
Die Blickrichtungserkennungseinrichtung 15 kann in an sich bekannter Weise mittels der Erfassungseinrichtung 15' eine Blickrichtung 19 des Fahrers erfassen und beispielsweise als Blickrichtungsvektor 20 angeben. Die Blickrichtung 19 kann somit zu dem Blickrichtungsvektor 20 verlängert werden, um zu erkennen, wohin der Fahrer 11 in der Umgebung 12 blickt oder auf welche Objekte der Blick des Fahrers 11 triff. Durch die Steuervorrichtung 14 kann auf der Grundlage der Umfeldsensoreinrichtung 13 mittels einer Umfeldanalyseeinrichtung 21 zumindest ein Objekt in der Umgebung 12 erkannt werden. Auf Grundlage der optischen Erfassung mittels der Kamera 17 kann zusätzlich zu jedem erfassten Verkehrsteilnehmer oder allgemein jedem erfassten Objekt eine Salienz S mittels einer Bildanalyseeinrichtung 22 erkannt werden.
Die Steuervorrichtung 14 kann die zumindest eine Fahrzeugkomponente 16 ansteuern, um den Fahrer 11 auf zumindest ein Objekt aufmerksam zu machen, das der Fahrer 11 voraussichtlich übersehen hat. Dies kann anhand der Blickrichtung 19 und der Salienz 22 in der im Folgenden beschriebenen Weise ermittelt werden.
2 veranschaulicht hierzu ein Verfahren 23, das durch die Steuervorrichtung 14 durchgeführt werden kann. Für den Fahrer 11 erfolgt eine Detektion seiner Blickrichtung 19 in einem Schritt S10. In einem Schritt S11 kann eine Blickanalyse erfolgen, die eine Blickdauer T und/oder eine Historie H des Blickverlaufs beschreibt. In einem Schritt es 12 kann die Detektion von Objekten in der Umgebung 12 für die Umgebung 12 erfolgen. Beispielhaft sind hier beispielhaft Objekte O1, O2, O3 angegeben. Die Objekte O1, O2, O3 können beispielsweise jeweils andere Verkehrsteilnehmer sein, beispielsweise jeweils ein Kraftfahrzeug oder ein Passant oder ein Fahrradfahrer.In einem Schritt S13 kann durch die Bildanalyseeinrichtung 22 das Ermitteln und die Detektion der Salienz der Objekte in der Umfeldszene der Umgebung 12 erfolgen. Hieraus wird für die Objekte die Salienz S ermittelt. In einem Schritt S14 kann zu den Objekten O1, O2, O3 eine jeweilige Kritikalität K ermittelt werden.
In einem Schritt S15 kann durch Kombinieren der Blickrichtung 19 und der detektierten Objekte O1, O2, O3 ein aktuell angeschautes Objekt oder allgemein eine jeweilige vorläufige Wahrnehmungswahrscheinlichkeit Wx für jedes der Objekte ermittelt werden. Mittels der Salienz S können dann in einem Schritt S16 die Objekte dahingehend bewertet werden, wie auffällig jedes Objekt O1, O2, O3 ist, d.h. ob sich eine gesteigerte Wahrnehmung für den Fahrer 11 aufgrund der Salienz S ergibt. Für jedes Objekt O1, O2, O3 ergibt sich somit eine Objektwahrnehmungswahrscheinlichkeit Wy.
Optional kann in einem Schritt S17 eine Liste der Objekte O1, O2, O3 verwaltet werden, die auf Grundlage der Blickanalyse für die Blickdauer T und/oder die Historie H angibt, wann die Objekte O1, O2, O3 wie lange angeschaut wurden. Es kann hierbei auch eine Vergessensfunktion 24 angewendet werden. Wird dieser optionale Schritt angewendet, wo ist das Resultat dieses Schrittet S17 eine erweiterte Objektwahrnehmungswahrscheinlichkeit Wz, die anstelle der Objektwahrnehmungswahrscheinlichkeit Wy verwendet werden kann.
In einem Schritt S18 kann eine Warnung des Fahrers vor einem Objekt erfolgen, je nach der Kritikalität K des Objekts und der Objektwahrnehmungswahrscheinlichkeit Wy oder der Objektwahrnehmungswahrscheinlichkeit Wz, die sich durch anwenden der Blickdauer T und/oder der Historie H und/oder der Vergessensfunktion 24 auf die Objektwahrnehmungswahrscheinlichkeit Wy ergibt.
3 veranschaulicht noch einmal die Verfahrensschritte für eine beispielhafte Verkehrssituation 25. Ausgehend von dem Kraftfahrzeug 10 mit dem darin befindlichen Fahrer 11, für den sich der Blickrichtungsvektor 20 ergibt, sind für die Verkehrssituation 25, beispielsweise eine Annäherung des Kraftfahrzeugs 10 an eine Kreuzung 26, beispielhaft drei Objekte O1, O2, O3 dargestellt, für die jeweils ein Salienzwert oder eine Salienz S1, S2, S3 ermittelt wurde. Die Salienz ist in 3 durch unterschiedliche Schraffuren repräsentiert, was z.B. eine unterschiedlichen Helligkeit und/oder Farbe und/oder einem unterschiedlichen optischen Kontrast entsprechen kann. Zum Ermitteln der vorläufigen Wahrnehmungswahrscheinlichkeit Wx kann ein jeweiliger Wert A1, A2, A3 eines Abstands A des jeweiligen Objekts O1, O2, O3 zu der Blickverlaufsrichtung 20 ermittelt werden. Je geringer der Abstand A ist, desto größer ist der Wert für die vorläufige Wahrnehmungswahrscheinlichkeit Wx.
4 veranschaulicht hierzu eine beispielhafte Zuordnungsfunktion. 3 in Zusammenschau mit 4 verdeutlicht, dass hierbei auch zwischen einem fokalen Sichtbereich 27 und einen peripheren Sichtbereich 28 unterschieden werden kann, um dann beim Ermitteln der Objektwahrnehmungswahrscheinlichkeit Wy entscheiden zu können, welche Eigenschaft der Salienz S zu berücksichtigen ist. Im fokalen Sichtbereich 27 spielt beispielsweise Farbe eine größere Rolle als im peripheren Sichtbereich 28. Dagegen sind zeitliche Vorgänge, wie eine zeitliche Helligkeitsänderung (z.B. Blinken), im peripheren Sichtbereich 28 größer zu bewerten als im fokalen Sichtbereich 27. Als Raumwinkelwerte für den fokalen Sichtbereich 27 und den peripheren Sichtbereich 28 können als medizinische Durchschnittswerte oder fahrerindividuelle Werte zugrunde gelegt werden.
Zum Bewerten einer Kritikalität (Unfallsgefährlichkeit) kann beispielsweise die voraussichtliche Fahrtrajektorien 29 des Kraftfahrzeugs 10 mit einer voraussichtlichen Fahrtrajektorien 30 der Objekte O1, O2, O3 ins Verhältnis oder in Beziehung gebracht werden. 3 zeigt eine Fahrsituation 25, bei welcher die Objekte O1, O3 jeweils mit einer Geschwindigkeit 31 in die Kreuzung 26 einfahren und sich hierdurch jeweils ein Schnittpunkt 32 der Trajektorien ergibt, sodass eine Kollision oder ein Unfall 33 für die beiden Objekte O1, und O3 mit dem Kraftfahrzeug 10 prädiziert wird. Das Objekt O2 kann beispielsweise stillstehen, sodass es unkritisch ist. Somit ergeben sich aufgrund der prädizierten Kollisionen 33 für die Objekte O1, O3 höhere Kritikalitäten K1, K3 als für die Kritikalität K2 des Objekts O2.
Aufgrund der unterschiedlichen Abstände A1, A3 der Objekte O1, O3 Blickrichtungsvektor 20 weist aber das Objekt O1 eine größere vorläufige Wahrnehmungswahrscheinlichkeit Wx auf als das Objekt O3 (A3 > A1). Je nachdem, welche der Salienzen S1, S3 größer ist, kann sich nun für die Objektwahrnehmungswahrscheinlichkeit Wy oder (unter Berücksichtigung der Blickdauer T und/oder der Historie H und/oder der Vergessensfunktion 24) für die Objektwahrnehmungswahrscheinlichkeit Wz ein größerer Wert für das Objekt O1 oder O3 ergeben. Weist beispielsweise das Objekt O1 eine ähnliche Farbe auf wie der aus Sicht des Fahrers 11 wahrgenommene Hintergrund des Objekts O1, sodass dieses einen geringen Kontrast und damit eine geringe Salienz S1 aufweist, so kann dennoch die Objektwahrnehmungswahrscheinlichkeit Wy für das Objekt O1 geringer sein als für das Objekt O3, wenn dieses eine größere Salienz S3 aufweist als das Objekt O1 ein, weil es beispielsweise rot ist und/oder eine blinkende Warnleuchte auf dem Dach hat. Die Kombination der Kritikalität K mit der Objektwahrnehmungswahrscheinlichkeit WY oder WZ gibt Aufschluss darüber, welches der Objekte O1, O3 für die Fahrsicherheit des Fahrers 11 gefährlicher ist, weil es vom Fahrer übersehen worden sein könnte. Hieraus ergibt sich also eine bewertete Kritikalität.
5 veranschaulicht, wie je nach dem Wert der bewerteten Kritikalität unterschiedliche Schutzmaßnahmen 34 in dem Kraftfahrzeug 10 eingeleitet werden können. Die Kritikalität K selbst kann natürlich noch von einer Zeit T1, T2, T3, T4 bis zur prädizierten Kollision (TOC - Time to Collision) abhängig sein. Schutzmaßnahmen 34 sind beispielsweise jeweils eine Information 35, eine Frühwarnung 36, eine Warnung 37, eine akute Warnung 38 und ein Noteingriff 39. Bei der Information 35 wird der Fahrer über die Fahrsituation 25 informiert, das beispielsweise eine Kreuzung 26 voraus liegt, bei der er keine Vorfahrt hat. Bei der Frühwarnung sollte der Fahrer aufmerksam werden. Bei der Warnung 37 sollte der Fahrer handeln. Bei der Akutwarnung 38 muss der Fahrer sofort handeln. Bei dem Noteingriff greift eine Fahrzeugkomponente 16 mit Fahrerassistenzfunktion in den Fahrbetrieb ein, es gibt also beispielsweise einen Bremseingriff und/oder einen Lenkeingriff. Dies kann unmittelbar vor einer Kollision erfolgen. Den Schutzmaßnahmen 34 kann eine Deeskalation 40 und/oder eine Rückschau 41 nachgeschaltet sein. Bei der Deeskalation 40 muss der Fahrer die Fahraufgabe wieder übernehmen, d.h. das Bremsen und/oder das Lenken des Kraftfahrzeugs 10 wieder selbst durchführen. Bei der Rückschau 41 kann sich der Fahrer über das Erlebnis nach der Fahrsituation 25 oder nach der Fahrt informieren. Dieser Zeitpunkt ist hier als Tn bezeichnet.
6 veranschaulicht, wie durch die Steuervorrichtung 14 für die Schutzmaßnahmen 34 mehrere unterschiedliche Fahrzeugkomponenten 16 angesteuert werden können. Die Schutzmaßnahmen 34 können einen visuellen Kanal 42, einen akustischen Signalkanal 43 und/oder einen haptischen Kanal 44 realisieren. Die dargestellten Elemente können jeweils auch einzeln oder in Teilgruppen realisiert sein. Der visuelle Kanal 42 kann mittels eines freiprogrammierbaren Kombiinstruments 45 und/oder einer Kopf-oben-Anzeige 46 (Head-up-Display) und/oder einer LED-Leiste 47 (LED - Leuchtdiode) realisiert sein. Die LED-Leiste 47 kann einen Bargraphen realisieren, dessen Farbe zusätzlich eingestellt werden kann, sodass z.B. zwischen Gelb und Rot umgeschaltet werden kann. Mittels der LED-Leiste kann die Nähe zur jeweils prädizierten Kollisionen 33 symbolisiert werden. Dargestellt ist, wie ein Warnhinweis 48 und optional ein Text 49 für die unterschiedlichen Schutzmaßnahmen 34 vorgesehen sein kann. Vor der Information 35 kann sich der Fahrer noch über einen Systemzustand 50 informieren, um die Verfügbarkeit der Schutzmaßnahmen 34 zu überprüfen. Auch mittels des Head-up-Display können unterschiedliche Symbole 51 und Texte 52 angezeigt werden.
Mittels des akustischen Kanals 43 kann ein Informationston 53 erzeugt werden, der sich von einem Warnton 54 (z.B. 2 kHz) unterscheiden kann. Die Deeskalation 40 kann beispielsweise durch einen weiteren Ton 55, beispielsweise einen Gong, signalisiert werden. Haptisch kann beispielsweise ein Bremsruck 56 erzeugt werden. Der Noteingriff 39 kann eine Notbremsung 57 vorsehen.
Das Verfahren geht also insgesamt von drei Basisannahmen aus:

Basisannahme 1: Das Kraftfahrzeug 10 verfügt über Informationen zu Objekten aus der Umgebung (Szenenbild, Objektart wie PKW, LKW, Fahrrad, Fußgänger, etc. sowie exakte Position im Raum) - z.B. mittels 3D-Umfeldsensorik, wie zukünftige Fahrzeuge mit Level 4-Automation oder Car-to-X-Kommunikation.
Basisannahme 2: Kamerabasierte Fahrerbeobachtungssysteme liefern die aktuelle Blickrichtung des Fahrers.
Basisannahme 3: Existierende Bildanalysealgorithmen liefern anhand unterschiedlicher Kriterien Informationen darüber, wie stark einzelne Bildbereiche die Aufmerksamkeit beim Menschen erregen (im Folgenden Salienzbeurteilung genannt).
Basisannahme 1+: Existierende Algorithmen zur Analyse von Objekten und des Verkehrsgeschehens liefern Informationen über die Kritikalität (z.B. Objekt auf Kollisionskurs) eines jeden Objektes.

Die Steuervorrichtung und das Verfahren erlauben die Kombination von Umfeldmodell, Fahrerblick und Salienzbeurteilung zur Detektion von nicht gesehenen Fahrzeugen. Anschließend wird der Fahrer auf ein kritisches Fahrzeug aufmerksam gemacht bzw. davor gewarnt, wenn er dieses nicht gesehen hat und daher mit großer Wahrscheinlichkeit eine Kollision/ Verkehrsregelbruch entsteht. Der Fokus liegt auf der Detektion des nicht gesehenen Objektes.
Funktionsweise Situationsdetektion:

Stufe 1)
- - Einbeziehung des Umfeldmodells (Objekte im Raum)
- - Anwendung eines Fahrerbeobachtungssystems zur Bestimmung der Fahrer-Blickrichtung.
- - Anwendung von existierenden Methoden zur Salienzbeurteilung der Szene (Videodaten) vor dem Fahrzeug. Jedem Objekt wird dabei ein bestimmter optischer Reiz zugeordnet ( z.B.: rotes Objekt ist salienter als graue Wand);
- - Bestimmung des aktuell angeschauten Objektes auf geometrischer Basis (z.B. Blickrichtungsvektor kreuzt Objekt oder eine Blickwahrnehmungswahrscheinlichkeit, die mittels einer Wahrscheinlichkeitsfunktion, z.B. einer Gaußglocke, als Funktion des Abstands des Objekts vom Blickrichtungsvektor und/oder der Blickfokussierungsebene berechnet wird)
Stufe 2) Steigerung der Detektionsgenauigkeit des aktuell angeschauten Objektes durch Einbeziehung der Salienz (Objektauffälligkejt). Hierzu wird die Information über Salienz folgendermaßen verwendet. Ein Salienzwert eines in einem Kamerabild abgebildeten Objekts kann z.B. ausgedrückt werden als Integral oder Summe über alle das Objekt darstellenden Bildbereiche, wobei ein jeweiliger lokaler Salienzwert des Objekts in dem jeweiligen Bildbereich integriert wird. Der lokale Salienzwert kann aus einer zu dem Kamerabild erzeugten Salienzkarte entnommen werden. Die Objektwahrnehmungswahrscheinlichkeit W zur einem Zeitpunkt t kann ermittelt werden als $W (t) = F (Wx (t), Ws (t), K (t)),$
mit F einer vom Fachmann wählbaren Verknüpfungsfunktion, Wx(t) der Blickwahrnehmungswahrscheinlichkeit (z.B. wie oben angegeben berechnet) zum Zeitpunkt t, Ws(t) der Salienzwert der Salienz S des Objekts zum Zeitpunkt t (Ws(t) als Wert in einem Intervall von 0 bis 1 ausgedrückt), und K(t) der besagte Korrekturwert zum Zeitpunkt t (z.B. zum Berücksichtigen einer Seeschwäche, z.B. Rot-grün-Sehschwäche, des aktuellen Fahrers und/oder zum Berücksichtigen der Tatsache, dass auch ein teilsichtbares Objekt vom Fahrer als vollständig W(t) entspricht bei dieser Ausführungsform der oben beschriebenen Objektwahrnehmungswahrscheinlichkeit Wy. Eine mögliche Verknüpfungsfunktion F ist die Multiplikation „Objektwahrnehmungswahrscheinlichkeit ohne Salienz Wx(t)“ • Salienzwert Ws(t) • Korrekturwert K(t), wobei • eine Multiplikation ist. Der Korrekturwert K(t) ist optional. Bei Objekten mit geringerer Salienz sinkt demnach die ObjektWahrnehmungswahrscheinlichkeit, während sie bei auffälligeren Objekten (hohe Salienz) steigt. Eine andere mögliche Verknüpfungsfunktion F ist:
- W(t) = ( a • Wx(t) + (1-a) • Ws(t) ) • K(t), mit einem vom Fachmann durch einfache Versuche ermittelbaren Gewichtungsfaktor a zum Anpassen des Systemverhaltens (Tuning-Faktor, Anpassungsfaktor).
Stufe 3) Einbeziehung der Blickdauer und Historie zur Bestimmung aller Objekte, die vom Fahrer in einem Zeitabschnitt t angeschaut wurden. Auf dieser Basis kann für alle aktuell bekannten Objekte im System eine Wahrscheinlichkeit angegeben werden, ob diese vom Fahrer bisher wahrgenommen wurden oder nicht. Mit einem optionalen Gedächtnismodell des Fahrers kann die Objektwahrnehmungswahrscheinlichkeit W(t) berechnet werden als: $W (t) = \int_{t = t 0}^{T} F (W x (t), W s (t), Z (t), K (t)) d t$
mit T dem aktuellen Zeitpunkt, t0 einem vom Fachmann wählbaren Startzeitpunkt (z.B. Zeitpunkt, von dem an sich das Objekt im Blickfeld des Fahrers befand), F der vom Fachmann wählbaren Verknüpfungsfunktion (siehe oben), Wx(t) der Blickwahrnehmungswahrscheinlichkeit (z.B. wie oben angegeben berechnet) zum Zeitpunkt t, Ws(t) der Salienzwert der Salienz S des Objekts zum Zeitpunkt t (Ws(t) als Wert in einem Intervall von 0 bis 1 ausgedrückt), Z(t) einer optionalen, zeitlich gewichteten Vergessensfunktion (z.B. exp(-(T-t)²/τ), mit exp() der Exponentialfunktion und τ (Tau) einem Vergessensfaktor), und K(t) dem besagten optionalen Korrekturwert zum Zeitpunkt t (siehe oben). W(t) entspricht hierbei der oben beschriebenen Objektwahrnehmungswahrscheinlichkeit Wz.
Stufe 4) Einbeziehung von Informationen zur Objektkritikalität, und auf kritische und nicht wahrgenommene Objekte hinzuweisen. Erweiterungsmöglichkeit 1:
- Einbeziehung der Vergessensfunktion Z(t) für Stufe 3 (siehe oben). Die Wahrnehmungswahrscheinlichkeit wird mit einer zeitlich abhängigen (seit dem Zeitpunkt des letzten Blickes auf das Objekt) Vergessensfunktion 24 (z.B. logarithmischer Abfall) multipliziert, sodass Objekte, die länger nicht angeschaut wurden, als unbekannt/vergessen betrachtet werden.
Erweiterungsmöglichkeit 2:
- Kombination der generierten Salienzkarten mit dem Fahrerblick -> Ableitung, dass die Objektwahrnehmwahrscheinlichkeit durch den Fahrer höher ist, wenn der Fahrerblick sich in der Nähe eines salienten Objektes befunden hat oder wenn dieses fixiert wurde.
Erweiterungsmöglichkeit 3:
- Verwendung von fahrerindividuellen Salienzalgorithmen für Stufe 2. Im Vorfeld wird anhand des Fahrerverhaltens bestimmt, wie die Auffälligkeit bestimmter Objekte auf den Fahrer wirkt. Manche Fahrer reagieren z.B. mehr auf Farben, Eltern reagieren stärker auf Kinder im Straßenverkehr, andere Personen reagieren stärker auf Bewegungen von Objekten. Somit wird aus der Beobachtung des Fahrers ein fahrer-spezifisches Salienz-Offset abgeleitet und eingesetzt.
Erweiterungsmöglichkeit 4:
- Kombination von Salienzalgorithmen je nach Blickbereich. Da das Auge peripher (seitlicher Blickbereich) mehr auf Bewegungen reagiert, werden hier eher Bewegungs-basierte Algorithmus verwendet, während im primären Sichtbereich eher Farb- bzw. Kontrastbasierte Verfahren verwendet oder stärker gewichtet werden.
Erweiterungsmöglichkeit 5:
- Verwendung von Salienzdaten erlaubt eine geringere Genauigkeit von Fahrerblickrichtungserkennung, indem darauf geschlossen wird, dass Objekte gesehen wurden, wenn diese hochsalient sind, obwohl sie sich lediglich in der Nähe des ungenaueren Blickvektors befinden.
Funktionsweise Warnung:
- Das System wirkt wie ein „Schutzengel“ und macht den Fahrer frühzeitig in unterschiedlichen Situationen (z.B. Rechts-vor-Links Kreuzungen) auf eine Kollisionsgefahr aufmerksam und unterstützt ihn, falls nötig. Da der Fahrerblick einbezogen wird, erfolgt die Warnung stets fahrerindividuell.

Die Anzeige der Informationen und Warnungen erfolgt gestuft. Ziel der Anzeige ist es, einerseits den Fahrer frühzeitig zu informieren, damit er ein Situationsbewusstsein bezüglich der annähernden Fahrsituation erhält, andererseits den Fahrer bezüglich einer Handlungsaufforderung (z.B. Bremsen) zu warnen. 5 zeigt die Abfolge der einzelnen Stufen eines Warnbaukastens und deren Zielsetzung.
Die Anzeige der frühzeitigen Informationen und Warnungen erfolgt u.a. im frei programmierbaren Kombiinstrument, Head-up-Display und/oder mittels einer LED-Leiste (LED - Leuchtdioden) und/oder akustische Ausgaben (z.B. Warntöne). 6 zeigt die Informationen und Warnungen in den einzelnen Stufen des Warnbaukastens.
Erweiterungsmöglichkeit:

Lenkung des Fahrerblickes bzw. der Aufmerksamkeit auf Objekte, die kritisch sind und nicht wahrgenommen wurden.
1. a) Lichtimpuls aus der Richtung, in der sich das Objekt befindet
2. b) Richtungspfeil im primären Informationsdisplay (Kombi-instrument, oder Head-Up-Display mit Richtung des Objektes
3. c) Audiosignal aus der Richtung, in der sich das Objekt befindet
4. d) auditiver Hinweis zur Richtung: „Fahrzeug von Rechts“, „Fahrrad auf 10 Uhr“, etc.

Aktuell bekannte Lösungen zur Objektwahrnehmung verwenden lediglich die Kombination aus Blick und Umfeldmodell (Blickrichtungsvektor schneidet Objekt im Raum bedeutet Objekt wurde wahrgenommen) Aktuell bekannte Lösungen zur Fahrerunterstützung sind nicht fahrerindividuell. Sie beziehen nicht die Information mit ein, welche Objekte vom Fahrer wahrgenommen wurden.
Somit sind z.B. folgenden Assistenzfunktionen möglich:

- Detektion und Warnung vor nicht gesehener roter Ampel
- Detektion und Warnung vor nicht gesehenem Fußgänger an Zebrastreifen
- Detektion und Warnung vor Verkehrsteilnehmern jeder Art, die für das Verkehrsgeschehen kritisch sind.

Insgesamt zeigt das Beispiel, wie durch die Erfindung in einem Kraftfahrzeug für einen Fahrer die Detektion und das Warnen vor nicht-gesehenen Fahrzeugen automatisiert werden kann.
Bezugszeichenliste

10: Kraftfahrzeug
11: Fahrer
12: Umgebung
13: Umfeldsensoreinrichtung
14: Steuervorrichtung
15: Blickrichtungserkennungseinrichtung
15': Erfassungseinrichtung
16: Fahrzeugkomponente
17: Kamera
18: Radar
19: Blickrichtung
20: Blickrichtungsvektor
21: Umfeldanalyseeinrichtung
22: Bildanalyseeinrichtung
23: Verfahren
24: Vergessensfunktion
25: Fahrsituation
26: Kreuzung
27: Fokalen Sichtbereich
28: Peripherer Sichtbereich
29: Fahrtrichtung
30: Fahrtrichtung
31: Geschwindigkeit
32: Schnittpunkt
33: Kollision
34: Schutzmaßnahme
35: Informationen
36: Frühwarnung
37: Warnung
38: Akute Warnung
39: Noteingriff
40: Deeskalation
41: Rückschau
42: Visueller Kanal
43: Akustische Kanal
44: Haptischer Kanal
45: Kombiinstrument
46: Head-up-Display
47: LED-Leiste
48: Symbol
49: Text
50: Systemzustand
51: Symbol
52: Text
53: Informationston
54: Warnton
55: Ton
56: Bremsdruck
57: Notbremsung
O1, O2, O3: Objekt
S: Salienz
Wx: Vorläufige Wahrnehmungswahrscheinlichkeit
Wy, Wz: Objektwahrnehmungswahrscheinlichkeit
Es 10... S18: Verfahrensschritte
T1, T2, T3, T4, Tn: Zeitpunkt
K1, K2, K3: Kritikalität
A1, A2, A3: Abstandswert
A: Abstand
S1, S2, S3: Wert der Salienz

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 2511121 A1 [0003]
US 2015/0339589 A1 [0005]
DE 102011084367 A1 [0006]

Claims

Verfahren (23) zum Ermitteln einer Objektwahrnehmungswahrscheinlichkeit (Wy, Wz), mit welcher ein Fahrer (11) eines Kraftfahrzeugs (10) Objekte (O1, O2, O3) in einer Umgebung (12) des Kraftfahrzeugs (10) wahrnimmt, wobei durch eine Steuervorrichtung (14) des Kraftfahrzeugs (10): - die Objekte (O1, O2, O3) in der Umgebung (12) detektiert werden, - mittels einer Blickrichtungserkennungseinrichtung (15) eine Blickrichtung (19) des Fahrers (11) erkannt wird und - in Abhängigkeit von der erkannten Blickrichtung (19) für die Objekte (O1, O2, O3) eine vorläufige Wahrnehmungswahrscheinlichkeit (Wx), dass der Fahrer das jeweilige Objekt (O1, O2, O3) bewusst wahrnimmt, ermittelt wird, dadurch gekennzeichnet, dass - zu den detektierten Objekten (O1, O2, O3) eine jeweilige optische Salienz (S1, S2, S3), welche eine optische Reizintensität des jeweiligen Objekts (O1, O2, O3) angibt, ermittelt wird und - die Objektwahrnehmungswahrscheinlichkeit (Wy, Wz) der Objekte (O1, O2, O3) jeweils als eine Funktion der vorläufigen Wahrnehmungswahrscheinlichkeit (Wx) und der jeweiligen Salienz (S1, S2, S3) des Objekts (O1, O2, O3) festgelegt wird.
Verfahren (23) nach Anspruch 1, wobei zum Detektieren der Objekte (O1, O2, O3) diese mittels einer Umfeldsensoreinrichtung (13) erfasst und/oder durch eine Kommunikationseinrichtung gemeldet werden.
Verfahren (23) nach einem der vorhergehenden Ansprüche, wobei die optische Salienz (S1, S2, S3) mittels einer Bildanalyseeinrichtung (22) des Kraftfahrzeugs (10) und/oder durch eine fahrzeugfremde Einrichtung ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Salienz (S1, S2, S3) in Abhängigkeit von zumindest einer der folgenden Eigenschaften ermittelt wird: einer Farbe des Objekts (O1, O2, O3), seiner Helligkeit, eines Farbkontrasts des Objekts (O1, O2, O3) bezüglich einer angrenzenden Objektumgebung oder eines Hintergrunds, eines globalen Kontrasts, eines Helligkeitskontrasts bezüglich der Objektumgebung oder eines Hintergrunds, eines zeitlichen Verlaufs einer Helligkeitsveränderung und/oder Farbveränderung, einer Bewegungsgeschwindigkeit, eines Bewegungsmusters.
Verfahren (23) nach einem der vorhergehenden Ansprüche, wobei durch eine Umfeldanalyseeinrichtung (21) zu den Objekten (O1, O2, O3) jeweils eine Kritikalität (K1, K2, K3), die ein Unfallpotential des jeweiligen Objekts (O1, O2, O3) für den Fahrer (11) beschreibt, ermittelt wird und für jedes der Objekte (O1, O2, O3) aus seiner Kritikalität (K1, K2, K3) und seiner Objektwahrnehmungswahrscheinlichkeit (Wy, Wz) gemäß einer vorbestimmten Bewertungsfunktion eine bewertete Kritikalität (K1, K2, K3) ermittelt wird.
Verfahren (23) nach Anspruch 5, wobei die Kritikalität (K1, K2, K3) umso höher gewählt wird, je näher das Kraftfahrzeug (10) dem jeweiligen Objekt (O1, O2, O3) voraussichtlich kommen wird und/oder je größer eine Wahrscheinlichkeit für eine Kollision (33) des Kraftfahrzeugs (10) mit dem Objekt (O1, O2, O3) ist und/oder falls das Objekt (O1, O2, O3) Vorfahrt vor dem Kraftfahrzeug (10) hat.
Verfahren (23) nach Anspruch 5 oder 6, wobei zu jedem solchen der Objekte (O1, O2, O3), bei welchem die bewertete Kritikalität in einem vorbestimmten Kritikalitätsbereich liegt, zumindest eine Schutzmaßnahme (34) ausgelöst wird.
Verfahren (23) nach Anspruch 7, wobei der Kritikalitätsbereich mehrere unterschiedliche Kritikalitätsstufen umfasst und für die Kritikalitätsstufen unterschiedliche Schutzmaßnahmen (34) vorgesehen sind.
Verfahren (23) nach einem der vorhergehenden Ansprüche, wobei auf der Grundlage der ermittelten Blickrichtung (19) ein in die Umgebung (12) gerichteter Blickrichtungsvektor (20) ermittelt wird und die vorläufige Wahrnehmungswahrscheinlichkeit (Wx) jedes der Objekte (O1, O2, O3) umso größer ist, je geringer ein Abstandswert (A1, A2, A3) des Objekts (O1, O2, O3) zu dem Blickrichtungsvektor (20) ist und/oder wobei die vorläufige Wahrnehmungswahrscheinlichkeit (Wx) jedes der Objekte (O1, O2, O3) umso größer ist, je geringer ein Abstandswert des Objekts (O1, O2, O3) zu einer aktuellen Blickfokussierungsebene des Fahrers (11) ist.
Verfahren (23) nach Anspruch 9, wobei bei der Salienz (S1, S2, S3) mehrere unterschiedliche Eigenschaften des jeweiligen Objekts (O1, O2, O3) berücksichtigt werden und je nach Abstandswert (A1, A2, A3) des Objekts (O1, O2, O3) zu dem Blickrichtungsvektor (20) zwischen einem fokalen Sichtbereich (27) und einem peripheren Sichtbereich (28) des Fahrers (11) unterschieden wird und beim Ermitteln der Objektwahrnehmungswahrscheinlichkeit (Wy, Wz) für jedes Objekt (O1, O2, O3) im fokalen Sichtbereich (27) die Eigenschaften anders gewichtet werden als im peripheren Sichtbereich (28).
Verfahren (23) nach einem der vorhergehenden Ansprüche, wobei beim Ermitteln der Objektwahrnehmungswahrscheinlichkeit (Wy, Wz) eine Blickdauer (T) und/oder eine Blickhistorie (H) auf das jeweilige Objekt (O1, O2, O3) berücksichtigt wird.
Verfahren (23) nach einem der vorhergehenden Ansprüche, wobei die Objektwahrnehmungswahrscheinlichkeit (Wy, Wz) gemäß einer vorbestimmten Vergessensfunktion (24) verringert wird, solange sich kein Ereignis ergibt, durch welches die Objektwahrnehmungswahrscheinlichkeit (24) wieder vergrößert wird.
Verfahren (23) nach einem der vorhergehenden Ansprüche, wobei die Salienz (S1, S2, S3) fahrerindividuell ermittelt wird, indem auf der Grundlage eines in der Vergangenheit ermittelten Fahrerverhaltens und/oder auf der Grundlage eines persönlichen Erfahrungshorizonts und/oder einer Sehschwäche des Fahrers (11) ein Salienz-Offset ermittelt und beim Ermitteln der Objektwahrnehmungswahrscheinlichkeit (Wy, Wz) angewendet wird.
Steuervorrichtung (14) für ein Kraftfahrzeug (10), wobei die Steuervorrichtung (14) eine Recheneinrichtung aufweist, die dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
Kraftfahrzeug (10) mit einer Steuervorrichtung (14) nach Anspruch 14.