DE102012214852A1

DE102012214852A1 - Verfahren zum Ergänzen einer, einem Objekt zugeordneten Objektinformation und Verfahren zum Selektieren von Objekten in einem Umfeld eines Fahrzeugs

Info

Publication number: DE102012214852A1
Application number: DE102012214852.3A
Authority: DE
Inventors: Andreas Offenhaeuser
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2012-08-21
Filing date: 2012-08-21
Publication date: 2014-02-27
Anticipated expiration: 2032-08-22
Also published as: US20150229885A1; WO2014029738A1; DE102012214852B4; CN104584102A; CN104584102B; US10009580B2

Abstract

Die Erfindung betrifft ein Verfahren (200) zum Ergänzen einer, einem Objekt (104) zugeordneten Objektinformation, wobei das Objekt (104) in einem Umfeld (108) eines Fahrzeugs (100) angeordnet ist, wobei das Verfahren (200) einen Schritt (202) des Einlesens, einen Schritt (204) des Auswertens und einen Schritt (206) des Erweiterns aufweist. Im Schritt des Einlesens (202) wird eine Sensorinformation eingelesen, die eine Reaktion eines Fahrers (114) des Fahrzeugs (100) auf das sich in einer Blickrichtung (308) des Fahrers (114) befindliche Objekt (104) repräsentiert. Im Schritt des Auswertens (204) wird die Sensorinformation ausgewertet, um eine Erkennungsinformation zu erhalten, wobei die Erkennungsinformation ein Ergebnis der Auswertung repräsentiert, ob der Fahrer (114) das Objekt (104) erkannt hat. Im Schritt des Erweiterns (206) wird die Objektinformation um die Erkennungsinformation erweitert.

Description

Stand der Technik
Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Ergänzen einer, einem Objekt zugeordneten Objektinformation sowie auf ein Verfahren zum Selektieren von Objekten in einem Umfeld eines Fahrzeugs, auf eine entsprechende Vorrichtung und auf ein entsprechendes Computerprogrammprodukt.
Die DE 199 51 001 A1 beschreibt eine Vorrichtung zur Darstellung von Informationen in einem Fahrzeug. Die Darstellung von Informationen wird aus verschiedenen Datenquellen in ein Blickfeld des Fahrers eingeblendet.
Offenbarung der Erfindung
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zum Ergänzen einer, einem Objekt zugeordneten Objektinformation, ein Verfahren zum Selektieren von Objekten in einem Umfeld eines Fahrzeugs, eine entsprechende Vorrichtung und ein entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
Ein sich im Umfeld des Fahrzeugs befindliches Objekt, insbesondere ein sich im Vorfeld des Fahrzeugs befindliches Objekt kann unter Umständen durch den Fahrer eines Fahrzeugs nicht erkannt werden oder nicht bewusst wahrgenommen werden. Ein Nichterkennen eines Objekts kann unterschiedliche Gründe haben. Beispielsweise kann das Objekt an sich schwer erkennbar sein, beispielsweise aufgrund von widrigen Witterungsbedingungen oder der Fahrer kann abgelenkt oder übermüdet sein. Aber auch ein aufmerksamer Fahrer kann ein Objekt übersehen, beispielsweise weil er durch eine aktuelle Fahrsituation besonders gefordert ist. Durch den erfindungsgemäßen Ansatz kann ermittelt werden, ob der Fahrer ein Objekt erkannt hat oder ein Objekt nicht erkannt hat. Eine bezüglich des Objekts ermittelte Erkennungsinformation, die anzeigt, ob ein Erkennen des Objekts durch den Fahrer vorliegt oder nicht, kann beispielsweise von einem Fahrassistenzsystem des Fahrzeugs genutzt werden. Beispielsweise kann ein relevantes Objekt, von dem angenommen wird, dass es vom Fahrer nicht erkannt wurde, besonders hervorgehoben werden.
Ein Verfahren zum Ergänzen einer Objektinformation, die einem in einem Umfeld eines Fahrzeugs angeordnet Objekt zugeordnet ist, umfasst die folgenden Schritte:
Einlesen einer Sensorinformation, die eine Reaktion eines Fahrers des Fahrzeugs auf das sich in einer Blickrichtung des Fahrers befindliche Objekt repräsentiert;
Auswerten der Sensorinformation, um eine Erkennungsinformation zu erhalten, wobei die Erkennungsinformation Erkennen des Objekts durch den Fahrer anzeigt; und
Erweitern der Objektinformation um die Erkennungsinformation.
Das Objekt kann beispielsweise ein Hindernis, ein anderer Verkehrsteilnehmer, ein Verkehrsschild, ein Tier, ein Fußgänger oder ein Kind sein. Das Objekt kann ein von einer Umfelderfassungseinrichtung des Fahrzeugs erfasstes Objekt repräsentieren. Beispielsweise unter Verwendung einer Objekterkennungseinrichtung kann eine Objektinformation bezüglich des Objekts ermittelt werden und dem Objekt zugeordnet werden. Unter einer Objektinformation kann eine Sammlung von Attributen zu einem Objekt verstanden werden. Die Objektinformation kann ein Datensatz sein. Beispielsweise kann die Objektinformation eine Information über eine Objektklasse des Objekts, eine Position des Objekts in Bezug zu dem Fahrzeug, einen Blickwinkel des Fahrers in Richtung des Objekts und/oder eine Information über eine Kollisionsgefahr des Fahrzeugs mit dem Objekt umfassen. Durch die Objektinformation können somit verschiedene Eigenschaften des Objekts repräsentiert werden. Die Sensorinformation kann eine Information sein, die von einem Sensor, beispielsweise einem Bildsensor, bereitgestellt wird, der ausgebildet ist, um den Fahrer zu erfassen. Die Reaktion kann beispielsweise eine Blickrichtung, eine Blickdauer, eine Bewegung, wie eine Kopfbewegung oder eine Arm- oder Beinbewegung sein. Eine Reaktion kann auch eine Unterbrechung der Bewegung sein. Die Reaktion kann sich auf eine Blickrichtung des Fahrers beziehen. Die Reaktion kann charakteristisch für das Erkennen des Objekts sein. Wenn der Fahrer das Objekt nicht erkennt, wird der Fahrer bezüglich des Objekts keine Reaktion oder eine von einer auf das Erkennen hindeutenden Reaktion abweichende Reaktion zeigen. Im Schritt des Erweiterns kann die Erkennungsinformation der Objektinformation hinzugefügt werden oder eine bestehende Erkennungsinformation ersetzt werden.
Die Erkennungsinformation kann eine Wahrscheinlichkeit des Erkennens des Objekts durch den Fahrer repräsentieren. Die Erkennungsinformation kann also eine Wahrscheinlichkeit dafür sein, dass der Fahrer das Objekt erkannt hat oder aber nicht erkannt hat. Bei einer als stark eingestuften Reaktion kann mit einer hohen Wahrscheinlichkeit darauf geschlossen werden, dass der Fahrer das Objekt erkannt hat. Bei einer als gering eingestuften Reaktion kann mit geringer Wahrscheinlichkeit darauf geschlossen werden, dass der Fahrer das Objekt erkannt hat. Beispielsweise kann eine lange Betrachtungsdauer eine höhere Wahrscheinlichkeit des Erkennens repräsentieren, als eine kurze Betrachtungsdauer.
Die Sensorinformation kann eine räumliche Lage einer Fixationsachse eines Augenbereichs des Fahrers repräsentieren. Der Augenbereich kann beispielsweise die Position des Gesichts oder eines der Augen des Fahrers darstellen. Im Schritt des Auswertens kann eine Verweildauer ausgewertet werden kann, während der die Fixationsachse auf das Objekt gerichtet ist. Fixation kann als ein gezieltes Betrachten (Fixieren) eines Objektes verstanden werden, eine Fixationsachse oder Fixationsrichtung kann als Gerade zwischen der Netzhautstelle höchster Auflösung und dem Fixierobjekt (Gesichtslinie) bzw. als physiologische Hauptsehrichtung des Auges verstanden werden. Wenn die Fixationsachse eine sichtbare Fläche eines Objekts schneidet und dort verweilt, kann mit hoher Wahrscheinlichkeit davon ausgegangen werden, dass der Fahrer das Objekt sieht. Die Fixationsachse kann mittels eines Blickrichtungserfassungsgeräts erfasst werden.
Im Schritt des Auswertens kann die Erkennungsinformation kein Erkennen des Objekts anzeigen, wenn die Fixationsachse kürzer als eine Erkennungsdauer auf das Objekt gerichtet ist. Andererseits kann die Erkennungsinformation ein Erkennen des Objekts anzeigen, wenn die Fixationsachse länger als die Erkennungsdauer auf das Objekt gerichtet ist. Wenn im Schritt des Auswertens beispielsweise erkannt wird, dass die Fixationsachse ohne Verzögerung über ein Objekt hinweg streicht, dann kann davon ausgegangen werden, dass der Fahrer das Objekt nicht erfasst hat. In diesem Fall kann die Erkennungsinformation so bestimmt oder belegt werden, dass sie kein Erkennen, also ein Nicht-Erkennen des Objekts anzeigt. Um das Objekt zu erkennen, fixiert der Fahrer typischer Weise markante Punkte auf dem Objekt und versucht die Punkte dem Objekt zuzuordnen. Dafür benötigt der Fahrer eine kurze Zeitspanne, die Erkennungsdauer.
Im Schritt des Auswertens kann die Erkennungsinformation, die das Erkennen des Objekts durch den Fahrer anzeigt, auf den Zustand kein Erkennen des Objekts gesetzt werden, wenn die Fixationsachse länger als eine Aufmerksamkeitsspanne nicht auf das Objekt gerichtet ist. Die Erkennungsinformation kann somit als "unerkannt" bestimmt werden, wenn die Fixationsachse, nachdem der Fahrer das Objekt erkannt hat, länger als die Aufmerksamkeitsspanne nicht auf das Objekt gerichtet ist. Wenn der Fahrer länger als die Aufmerksamkeitsspanne nicht auf das Objekt geblickt hat, dann kann das Objekt wieder als unerkannt klassifiziert werden. Dadurch kann beispielsweise berücksichtigt werden, dass der Fahrer das Objekt nach dem Erkennen vergessen hat.
Im Schritt des Auswertens kann die Erkennungsinformation ein Erkennen des Objekts anzeigen, d. h., die Erkennungsinformation kann als "unerkannt" bestimmt werden, wenn sich eine Position des Objekts relativ zum Fahrzeug um mehr als einen vorbestimmten Wert verändert und die Fixationsachse innerhalb einer Reaktionszeit nicht auf das Objekt gerichtet ist. Der Blick des Fahrers wird im Allgemeinen durch eine Bewegung des Objekts angezogen. Insbesondere unter schwierigen Sichtbedingungen kann die Bewegung des Objekts das Erkennen erst ermöglichen. Wenn sich das Objekt bewegt und der Fahrer reagiert nicht darauf, hat der Fahrer mit hoher Wahrscheinlichkeit das Objekt nicht erkannt.
Ein Verfahren zum Selektieren von Objekten in einem Umfeld eines Fahrzeugs, wobei eine Objekterkennung des Fahrzeugs ausgebildet ist, um Objektinformationen zu den Objekten bereitzustellen, umfasst die folgenden Schritte:
Erweitern der Objektinformationen um Erkennungsinformationen gemäß einem genannten Verfahren zum Ergänzen;
Auswählen derjenigen der Objekte, deren Erkennungsinformation anzeigt, dass der Fahrer das jeweilige Objekt nicht erkannt hat, um eine Objektgruppe zu erhalten; und
Bereitstellen der Objektinformationen der Objektgruppe an eine Schnittstelle zu einem Fahrerassistenzsystem des Fahrzeugs.
Bei dem Fahrerassistenzsystem kann es sich beispielsweise um eine Anzeigevorrichtung oder um eine Sicherheitsvorrichtung, beispielsweise ein Bremsassistenzsystem sein. Die Objektinformationen der Objekte der Objektgruppe können beispielsweise für ein Anzeigegerät für einen Fahrer des Fahrzeugs bereitgestellt werden, wenn die Objekte innerhalb eines Darstellungsbereichs des Anzeigegeräts angeordnet sind. Ein Anzeigegerät kann eine Fahrersichtfeldanzeige des Fahrzeugs sein. Das Anzeigegerät kann auch ein Monitor im Fahrzeug sein. Ein Darstellungsbereich kann ein Ausschnitt aus dem Umfeld des Fahrzeugs sein. Die Objekte und/oder Objektinformationen innerhalb des Ausschnitts können auf dem Anzeigegerät dargestellt werden. Durch das Darstellen lediglich der unerkannten Objekte kann eine Informationsflut für den Fahrer reduziert werden, denn nur unerkannte Objekte benötigen ein Hervorheben auf dem Anzeigegerät. Ein Hervorheben von erkannten Objekten kann störend wirken, da zwischen einem Bild des Objekts und dem realen Objekt in der Umgebung ein Parallaxenfehler bestehen kann.
Die um die Erkennungsinformationen erweiterten Objektinformationen der aufgrund des Gefährdungsgrads ausgewählten Objekte können zum besonderen Hervorheben dieser Objekte auf dem Anzeigegerät bereitgestellt werden. Beispielsweise können solche Objekte blinkend, in Verbindung mit einem Piktogramm und/oder mit Signalfarbe dargestellt werden.
Im Schritt des Auswählens können gefährliche Objekte ausgewählt werden, die von dem Fahrer unerkannt sind und bei denen eine Kollisionsgefahr besteht. Dazu kann je ein Gefährdungsgrad der Objekte eingelesen werden, wobei der Gefährdungsgrad eine Wahrscheinlichkeit einer Kollision des Objekts mit dem Fahrzeug repräsentiert. Es können gefährliche Objekte ausgewählt werden, die von dem Fahrer unerkannt sind und bei denen eine Kollisionsgefahr besteht, die also beispielsweise einen Gefährdungsgrad aufweisen, der größer als ein Schwellenwert ist. Es kann ein Kollisionssignal für ein Sicherheitssystem des Fahrzeugs unter Verwendung der Objektinformationen der gefährlichen Objekte bereitgestellt werden. Ein Gefährdungsgrad kann unter Verwendung von vorausberechneten Trajektorien des Fahrzeugs und der Objekte berechnet werden. Der Schwellenwert kann beispielsweise überschritten werden, wenn eine Kollision droht. Beispielsweise kann unter Verwendung des Anzeigegeräts ein Fußgänger hervorgehoben werden, der vor das Fahrzeug laufen wird, wenn er nicht stehen bleibt. Wenn der Fahrer den Fußgänger erkennt, besteht keine Notwendigkeit mehr, den Fußgänger weiter hervorzuheben. Wenn der Fahrer den Fußgänger jedoch nicht erkennt, kann beispielsweise basierend auf dem Kollisionssignal ein autonomer Bremsvorgang eingeleitet werden.
Der vorliegende Ansatz kann im Bereich der Fahrerassistenzsysteme eingesetzt werden. Im Bereich der Fahrerassistenzsysteme nimmt die Erkennung, Klassifikation und (semi)-autonome Beeinflussung des Fahrzeugs abhängig von der Situation, die sich im Umfeld des Fahrzeugs darstellt, eine immer größere Rolle ein. Je nach Zustand des Fahrers kann seine eigene Reaktion anders ausfallen und auch seine Reaktion auf einen Systemeingriff kann unterschiedlich ausfallen. Die Information, ob ein Fahrer sich der aktuellen Situation bewusst ist, z. B. das ein Fußgänger auf die Straße zu läuft, kann die Fehlauslöserate von Fahrerassistenzsystemen vermindern.
Der hier vorgestellte Ansatz kann eine Objekterkennung durch Umfeldsensorik, z. B. Radar, Lidar, Video oder Ultraschall, eine Objektklassifizierung durch Algorithmen, eine Unterscheidung zwischen Fußgänger, Fahrzeug, stehendem Objekt und sonstigen Objekten, eine Einschätzung der Gefahr für das aktuelle Fahrzeug und eine Erkennung der Fahrer-Blickrichtung und seiner Kopfposition vereinen. Insbesondere eine genaue Erkennung der Pupille und damit des anvisierten Punktes und nicht nur die allgemeine Blickrichtung des Fahrers können für den hier vorgeschlagenen Ansatz genutzt werden.
Die vorliegende Erfindung schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte zumindest eines der erfindungsgemäßen Verfahren in entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programmprodukt auf einem Computer oder einer Vorrichtung ausgeführt wird.
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
1 eine Darstellung eines Fahrzeugs mit einer Vorrichtung zum Ergänzen einer, einem Objekt zugeordneten Objektinformation und einer Vorrichtung zum Selektieren von Objekten in einem Umfeld des Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
2 ein Ablaufdiagramm eines Verfahrens zum Ergänzen einer, einem Objekt zugeordneten Objektinformation gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
3 eine Darstellung eines Fahrzeugs mit einem System zum zusätzlichen Objektklassifizieren durch eine Blickrichtung des Fahrers gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
4 ein Flussdiagramm eines Verfahrens zum Ergänzen einer, einem Objekt zugeordneten Objektinformation gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und
5 ein Ablaufdiagramm eines Verfahrens zum Selektieren von Objekten in einem Umfeld eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
1 zeigt eine Darstellung eines Fahrzeugs 100 mit einer Vorrichtung 102 zum Ergänzen einer einem Objekt 104 zugeordneten Objektinformation und einer Vorrichtung 106 zum Selektieren von Objekten 104 in einem Umfeld 108 des Fahrzeugs 100 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Fahrzeug 100, beispielsweise ein auf einer Straße fahrendes Kraftfahrzeug, weist eine Umfelderfassungseinrichtung 110, eine Anzeigeeinrichtung 112 für einen Fahrer 114 des Fahrzeugs 100 und eine Fahrererfassungseinrichtung 116 auf. Die Umfelderfassungseinrichtung 110 und die Fahrererfassungseinrichtung 116 sind mit der Vorrichtung 102 zum Ergänzen verbunden. Die Umfelderfassungseinrichtung 110 ist ausgebildet, um Objektinformationen zu Objekten 104 im Umfeld 108 des Fahrzeugs 100 bereitzustellen. Die Fahrererfassungseinrichtung 116 ist ausgebildet, um eine Sensorinformation bereitzustellen, die eine Reaktion eines Fahrers 114 des Fahrzeugs 100 auf das sich in einer Blickrichtung des Fahrers 114 befindliche Objekt 104 repräsentiert. Beispielsweise kann die Fahrererfassungseinrichtung 116 als ein Messsystem zur Fahreraugenblickrichtungserkennung ausgeführt sein. Dazu kann die Fahrererfassungseinrichtung 116 beispielsweise eine Bilderfassungseinrichtung und eine geeignete Bildauswerteeinrichtung aufweisen.
Die Vorrichtung 102 zum Ergänzen weist eine Einrichtung 118 zum Einlesen der Sensorinformation, eine Einrichtung 120 zum Auswerten der Sensorinformation und eine Einrichtung 122 zum Erweitern der Objektinformation auf. Die Einrichtung 118 zum Einlesen ist dazu ausgebildet, die Sensorinformation von der Fahrererfassungseinrichtung 116 einzulesen. Die Einrichtung 120 zum Auswerten ist dazu ausgebildet, die Sensorinformation auszuwerten, um eine Erkennungsinformation zu erhalten. Die Erkennungsinformation repräsentiert ein Ergebnis der Auswertung, ob der Fahrer 114 das Objekt 104 erkannt hat oder nicht erkannt hat. Die Einrichtung 122 zum Erweitern ist dazu ausgebildet, die Objektinformation, die von der Umfelderfassungseinrichtung 110 empfangen wird, um die Erkennungsinformation zu erweitern oder zu ergänzen.
Die Vorrichtung 102 zum Ergänzen der dem Objekt 104 zugeordneten Objektinformation ist mit der Vorrichtung 106 zum Selektieren verbunden. Die Vorrichtung 106 zum Selektieren weist eine Einrichtung 124 zum Einlesen, eine Einrichtung 126 zum Auswählen und eine Einrichtung 128 zum Bereitstellen auf. Die Einrichtung 124 zum Einlesen ist dazu ausgebildet, die Objektinformationen von der Vorrichtung 102 zum Ergänzen zu empfangen. Die Einrichtung 126 zum Auswählen ist dazu ausgebildet, die Objekte auszuwählen, deren Erkennungsinformation repräsentiert, dass der Fahrer 114 das Objekt nicht erkannt hat, um eine Objektgruppe zu erhalten. Die Einrichtung 128 zum Bereitstellen ist mit der Anzeigeeinrichtung 112 verbunden. Die Einrichtung 128 zum Bereitstellen ist dazu ausgebildet, die Objektinformationen der Objektgruppe zum Anzeigen für den Fahrer 114 bereitzustellen. Damit werden dem Fahrer 114 insbesondere Objekte über die Anzeigeeinrichtung 112 dargestellt, die er noch nicht erkannt hat. Objekte 104, die der Fahrer 114 bereits erkannt hat, werden nicht mehr dargestellt, um den Fahrer nicht vom Umfeld 108 abzulenken.
Die Einrichtung 128 zum Bereitstellen kann ferner oder alternativ dazu ausgebildet sein, die um die Erkennungsinformationen ergänzten Objektinformationen an ein anderes Fahrerassistenzsystem bereitzustellen. Die Die Vorrichtung 102 zum Selektieren von Objekten 104 ist optional. Ist keine Vorrichtung 102 zum Selektieren vorgesehen, so kann die von der Vorrichtung 102 zum Ergänzen mit den Erkennungsinformationen ergänzte Objektinformation beispielsweise direkt an ein Fahrerassistenzsystem oder die Anzeigeeinrichtung 112 bereitgestellt werden. Die Anzeigeeinrichtung kann beispielsweise als ein Bildschirm oder als eine Projektionseinrichtung, beispielsweise ein Head-up Display ausgeführt sein.
2 zeigt ein Ablaufdiagramm eines Verfahrens 200 zum Ergänzen einer, einem Objekt zugeordneten Objektinformation gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Objekt ist in einem Umfeld eines Fahrzeugs angeordnet. Beispielsweise können die Schritte des Verfahrens auf Einrichtungen der in 1 gezeigten Vorrichtung zum Ergänzen ausgeführt werden.
Das Verfahren weist einen Schritt 202 des Einlesens, einen Schritt 204 des Auswertens und einen Schritt 206 des Erweiterns auf. Im Schritt 202 des Einlesens wird eine Sensorinformation von einem Fahrererfassungssensor, wie er in 1 dargestellt ist eingelesen. Die Sensorinformation repräsentiert eine Reaktion eines Fahrers des Fahrzeugs auf das sich in einer Blickrichtung des Fahrers befindliche Objekt. Im Schritt 204 des Auswertens wird die Sensorinformation ausgewertet, um eine Erkennungsinformation zu erhalten. Die Erkennungsinformation repräsentiert ein Ergebnis der Auswertung, ob der Fahrer das Objekt erkannt hat. Im Schritt 206 des Erweiterns wird die Objektinformation, die von einer Umfelderfassungseinrichtung bereitgestellt wird, um die Erkennungsinformation erweitert.
3 zeigt eine Darstellung eines Fahrzeugs 100 mit einem System 300 zum zusätzlichen Objektklassifizieren durch eine Blickrichtung des Fahrers gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das System 300 weist einen Radarsensor 302, eine Fahrererfassungseinrichtung mit einem auf einen Fahrer 114 des Fahrzeugs 100 gerichteten Messsystem 304 zur Fahreraugenblickrichtungserkennung und eine Vorrichtung 102 zum Ergänzen auf, wie sie beispielsweise in 1 gezeigt ist.
Der Radarsensor 302 weist einen Erfassungsbereich 306 auf, der sich gemäß diesem Ausführungsbeispiel keilförmig vor dem Fahrzeug 100 erstreckt. In dem Erfassungsbereich 306 sind in diesem Ausführungsbeispiel vier Objekte O1, O2, O3, O4 angeordnet, die von dem Radarsensor 302 erfasst werden. Das Objekt O1 ist unter Verwendung einer dem Objekt O1 zugeordneten Objektinformation als Mensch klassifiziert und in dem Erfassungsbereich 306 angeordnet. Eine entsprechende Positionsangabe kann in der dem Objekt O1 zugeordneten Objektinformation gespeichert sein. Das Objekt O1 befindet sich mehr als eine Fahrzeuglänge vor dem Fahrzeug 100. Das Objekt O2 ist am linken Rand des Erfassungsbereichs angeordnet. Das Objekt O2 ist nicht weiter klassifiziert. Das Objekt O3 befindet sich zentral im Erfassungsbereich 306 und ist weiter als das Objekt O1 vom Fahrzeug 100 entfernt. Auch das Objekt O3 ist nicht weiter klassifiziert. Das Objekt O4 befindet sich an einem rechten Rand des Erfassungsbereichs 306, ist nicht klassifiziert und ist weiter von dem Fahrzeug 100 entfernt, als das Objekt O2 und näher am Fahrzeug 100, als das Objekt O1. Zwischen den Objekten O3, O4 ist genügend Platz, um mit dem Fahrzeug 100 hindurchzufahren. Das Objekt O3 befindet sich an einem linken Rand eines voraussichtlichen Fahrpfads des Fahrzeugs 100.
Das auf den Fahrer 114 gerichtete Messsystem 304 ist vor dem Fahrer 114 angeordnet und ist ausgebildet, um eine Kopfposition des Fahrers 114 sowie eine Blickrichtung 308 der Augen des Fahrers 114 zu erfassen, solange der Kopf des Fahrers 114 innerhalb eines Erfassungsbereichs 310 des Messsystems 304 angeordnet ist. Der Erfassungsbereich 310 ist hier kegelförmig auf eine gemittelte Position des Kopfs ausgerichtet. Die Blickrichtung 308 ist in diesem Ausführungsbeispiel als „Tunnel“ dargestellt, der ausgehend von einem Augenbereich des Fahrers 114 um eine Fixationsachse 312 zumindest eines der Augen, beziehungsweise des dominanten Auges des Fahrers 114 angeordnet ist. Eine Querschnittsfläche des „Tunnels“ entspricht der Fläche, die der Fahrer 114 ohne Augenbewegung und/oder Kopfbewegung vollständig wahrnehmen kann. Die Fixationsachse 312 verbindet dabei direkt und gradlinig ein Zentrum der Fläche mit dem Auge. Das Messsystem 304 kann aufgrund einer Position der Augen und einer Ausrichtung der Augen an der Position die Lage der Fixationsachse 312 im Raum ermitteln.
Das Objekt O3 befindet sich in Blickrichtung 308 des Fahrers 114. Die Vorrichtung 102 ist ausgebildet, um über eine Schnittstelle von dem Radarsensor 302 die Positionen der Objekte O1, O2, O3, O4, beispielsweise als Abstand vom Radarsensor 302 und als Winkel bezogen auf eine Mittelachse des Fahrzeugs 100 als den Objekten O1, O2, O3, O4 zugeordnete Objektinformationen zu empfangen. Des weiteren ist die Vorrichtung 102 ausgebildet, um zusätzliche Objektinformationen über die Objekte O1, O2, O3, O4, beispielsweise die erkannte Klasse „Mensch“ bei dem Objekt O1 und eine aus Sicht des Fahrers 114 sichtbare Fläche der Objekte O1, O2, O3, O4 zu empfangen.
Die Vorrichtung 102 ist ferner ausgebildet, um von dem Messsystem 304 Informationen über die Blickrichtung 308 des Fahrers zu empfangen, beispielsweise als Vektor mit Koordinaten zumindest eines Auges als Stützpunkt. Die Vorrichtung 102 ist ausgebildet, um über räumliche Betrachtung zu ermitteln, ob eines oder mehrere der Objekte O1, O2, O3, O4 in der Blickrichtung 308 liegen. In diesem Ausführungsbeispiel ist die Blickrichtung 308 auf einen rechten Rand des Objekts O3 gerichtet. Wenn die Blickrichtung 308 lange genug auf dem Rand des Objekts O3 verharrt, ist eine Wahrscheinlichkeit, dass der Fahrer 114 das Objekt O3 erkannt hat, groß. Dem Objekt O3 kann deshalb ein Attribut „erkannt“ zugeordnet werden und als Erkennungsinformation in einer Objektinformation zu dem Objekt O3 vermerkt werden.
Mit anderen Worten zeigt 3 eine beispielhafte Umsetzung des hier vorgeschlagenen Ansatzes. Mithilfe des Radar-Sensors 302 werden die umliegenden Objekte O_n erkannt und eine Objekterkennung (z. B. ACC) durchgeführt. Das weitere Messsystem 304 ist auf den Fahrer 114 gerichtet und erkennt seine Kopf und Pupillenposition und errechnet hieraus die Blickrichtung 308 des Fahrers 114. Der hier vorgestellte Ansatz bezieht sich jeweils auf die gewonnenen Informationen beider Systeme 302, 304 und der Kombination dieser Daten. Ziel ist es hierbei festzustellen ob der Fahrer 114 das Objekt O_n, welches vom Radar 302 erkannt wurde schon erblickt hat, oder nicht. Diese zusätzliche Information über das Objekt O_n erlaubt es verbauten Assistenzsystemen gezielter auf Objekte O_n zu reagieren. Auch Mensch-Maschine-Schnittstellen Systeme (HMI-Systeme) können so gezielt nur Informationen einblenden, die für den Fahrer 114 relevant, also dem Fahrer 114 noch nicht bewusst sind.
4 zeigt ein Flussdiagramm eines Verfahrens 200 zum Ergänzen einer, einem Objekt zugeordneten Objektinformation gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Beispielsweise können die Schritte des Verfahrens auf Einrichtungen der in 1 gezeigten Vorrichtung zum Ergänzen ausgeführt werden.
Das Flussdiagramm bildet eine Entscheidungsschleife für ein je ein Objekt O_n, wie sie in 3 dargestellt sind, ab. Die Entscheidungsschleife wird für jedes der Objekte O_n durchgeführt. Nach einem Beginn 400 der Entscheidungsschleife wird in einer Aktion 404 für jedes Objekt O_n eine Schnittmenge von Objekt O_n und Blickrichtung v_G berechnet. Dafür wird untersucht, ob die Blickrichtung das Objekt trifft. Anschließend erfolgt eine Abfrage 406. In der Abfrage 406 wird abgefragt, ob das Objekt O_n gemeinsame Punkte mit v_G aufweist, also die Schnittmenge größer null ist. Wenn die Abfrage 406 mit „Ja“ 408 beantwortet wird, liegt das Objekt O_n im Blickvektor v_G des Fahrers. Wenn die Abfrage 406 mit „Nein“ 410 beantwortet wird, erblickt der Fahrer das Objekt O_n nicht. Im Fall von „Ja“ 408 erfolgt eine Aktion 412. In der Aktion 412 wird eine Verweildauer t_n des Blickes auf dem Objekt O_n gemessen. Unter Verwendung der Verweildauer t_n wird in einer folgenden Aktion 414 eine Wahrscheinlichkeit p_n, dass das Objekt kognitiv wahrgenommen wurde berechnet. Beispielsweise unter Verwendung einer Verarbeitungsvorschrift, wie. p_n neu= 10·t_n. Im Fall von „Nein“ 410 wird in einer Aktion 416 eine zuvor berechnete bzw. eine zuvor zugewiesene Erkennungswahrscheinlichkeit von 0% beibehalten. P_n neu = P_n alt. Mit dem Zuweisen der neuen Erkennungswahrscheinlichkeit p_n neu erreicht die Schleife ihr Ende 402.
Die Kombination der Objektdaten O_n aus dem Radar und der Blickrichtung G des Fahrers kann wie in 4 beschrieben ablaufen. Ein zyklischer Funktionsaufruf errechnet für jedes Objekt O_n, ob es im Blickbereich des Fahrers ist, und leitet hieraus eine Wahrscheinlichkeit ab, mit der der Fahrer das Objekt (kognitiv) wahrgenommen hat. Objekte O_n, die neu vom Radar erkannt werden, werden mit einer Wahrscheinlichkeit von 0% initialisiert. Die Radarobjekte O_n sind mit [X_n, Y_n, Z_n] Koordinaten und Dimension bekannt. Die Blickrichtung des Fahrers kann als Richtungsvektor v_G mit Stützpunkt [X_G, Y_G, Z_G] ermittelt werden.
Mit anderen Worten zeigt 4 einen Ansatz zur zusätzlichen Objektklassifizierung durch die Blickrichtung des Fahrers oder eine Sichtachse eines Fahrers des Fahrzeugs.
Mithilfe der Informationen über Kopfposition und Blickrichtung des Fahrers sowie Einbauposition der verwendeten Sensoren kann der Blick des Fahrers im 3-D-Raum um das Fahrzeug errechnet werden. Aus bereits vorhandenen Sensoren und ihrer angeschlossenen Algorithmen können Informationen über Objekte im Umfeld sowie ihre Klassifikation übernommen werden. Werden nun die Informationen beider Systeme-Blickrichtung und Umgebungsobjekte – vernetzt, kann dadurch erkannt werden welche Objekte sich momentan im Blick des Fahrers befinden. Durch Algorithmen kann nun eine zusätzliche Objektklassifizierung stattfinden, die angibt, wie hoch die Wahrscheinlichkeit ist, dass der Fahrer dieses Objekt komplett erkannt hat und sich der Gefahr bewusst ist.
Diese Information kann mehrere Einsatzgebiete finden. Beispielsweise für eine Anpassung von Eingriffsschwellen aktiver Sicherheitssysteme, z. B. Notbremsassistent oder autonome Ausweichfunktionen. Ist beispielsweise bekannt, dass der Fahrer in der Gefahrensituation das gefährdende Objekt nicht im Blick hat, kann frühzeitig ein sanftes Anbremsen eingeleitet werden, damit der Fahrer sich der Situation bewusst wird und so aktiv die Kontrolle übernimmt. Im Fall, dass der Fahrer sich der Situation bewusst ist und dennoch nicht bremst, kann ein vollständig autonomer Bremsvorgang eingeleitet werden, um so einen Unfall zu verhindern. Hierdurch kann die Möglichkeit einer Fehleinschätzung des Fahrers ausgeschlossen bzw. minimiert werden. Beispielsweise kann eine Lenkung der Aufmerksamkeit des Fahrers z. B. durch Signaltöne, Blinklicht, HUD-Einblendungen (Head-up Display-Einblendungen) auf die auftretende, nicht erkannte Gefahr erfolgen. Bei einer Aufmerksamkeitsüberwachung kann, wenn sich der Fahrer längere Zeit vom Verkehrsgeschehen abwendet, (Blick im Fahrzeuginneren) der Fahrer durch einen Signalton auf seine Fahrlässigkeit aufmerksam gemacht werden. Dadurch kann sich der Fahrer wieder dem Verkehrsgeschehen zuwenden. Beispielsweise kann die Information für eine Einblendung von Informationen im HUD, die vom Fahrer nicht bzw. mit geringer Wahrscheinlichkeit erkannt wurden verwendet werden. Z. B. bei einer Schildererkennung. Übersieht der Fahrer ein Verkehrsschild, so kann die von dem Verkehrsschild angezeigte Information, beispielsweise Geschwindigkeitslimits, Überholverbote, etc. im HUD eingeblendet werden, bis der Blick des Fahrers die Information im HUD erfasst.
5 zeigt ein Ablaufdiagramm eines Verfahrens 500 zum Selektieren von Objekten in einem Umfeld eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Eine Objekterkennung des Fahrzeugs stellt, wie in den 1 und 3 beschrieben, Objektinformationen zu relevanten Objekten bereit. Mit einem beschriebenen Verfahren werden die Objektinformationen um Erkennungsinformation ergänzt.
Das Verfahren 500 weist einen Schritt 502 des Einlesens, einen Schritt 504 des Auswählens und einen Schritt 506 des Bereitstellens auf. Im Schritt 502 werden die Objektinformationen zu erkannten Objekten eingelesen. Im Schritt 504 des Auswählens werden einige oder alle der erkannten Objekte ausgewählt, um eine Objektgruppe zu bilden. Dabei werden solche Objekte ausgewählt, deren Erkennungsinformation repräsentiert, dass der Fahrer das Objekt nicht erkannt hat. Im Schritt 506 werden die Objektinformationen der Objektgruppe bereitgestellt. Die Objektinformationen der Objektgruppe können für Risikoabschätzungen und zur Fahrerinformation verwendet werden.
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden. Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 19951001 A1 [0002]

Claims

Verfahren (200) zum Ergänzen einer Objektinformation, die einem in einem Umfeld (108) eines Fahrzeugs (100) angeordneten Objekt (104) zugeordnet ist, wobei das Verfahren (200) die folgenden Schritte umfasst: Einlesen (202) einer Sensorinformation, die eine Reaktion eines Fahrers (114) des Fahrzeugs (100) auf das sich in einer Blickrichtung (308) des Fahrers (114) befindliche Objekt (104) repräsentiert; Auswerten (204) der Sensorinformation, um eine Erkennungsinformation zu erhalten, wobei die Erkennungsinformation ein Erkennen des Objekts (114) durch den Fahrer (114) anzeigt; und Erweitern (206) der Objektinformation um die Erkennungsinformation.
Verfahren (200) gemäß Anspruch 1, bei dem im Schritt (204) des Auswertens die Erkennungsinformation eine Wahrscheinlichkeit des Erkennens des Objekts (114) durch den Fahrer (114) repräsentiert.
Verfahren (200) gemäß einem der vorhergehenden Ansprüche, bei dem im Schritt (202) des Einlesens die Sensorinformation eine räumliche Lage einer Fixationsachse (312) eines Augenbereichs des Fahrers (114) repräsentiert, und wobei im Schritt (204) des Auswertens eine Verweildauer ausgewertet wird, während der die Fixationsachse (312) auf das Objekt (104) gerichtet ist.
Verfahren (200) gemäß Anspruch 3, bei dem im Schritt (204) des Auswertens die Erkennungsinformation kein Erkennen des Objekts (114) anzeigt, wenn die Fixationsachse (312) kürzer als eine Erkennungsdauer auf das Objekt (104) gerichtet ist und/oder die Erkennungsinformation ein Erkennen des Objekts (114) anzeigt, wenn die die Fixationsachse (312) länger als die Erkennungsdauer auf das Objekt (104) gerichtet ist.
Verfahren (200) gemäß einem der Ansprüche 3 bis 4, bei dem im Schritt (204) des Auswertens die Erkennungsinformation, die das Erkennen des Objekts (104) durch den Fahrer (114) anzeigt auf den Zustand kein Erkennen des Objekts (114) gesetzt wird, wenn die Fixationsachse (312) länger als eine Aufmerksamkeitsspanne nicht auf das Objekt (104) gerichtet ist.
Verfahren (200) gemäß einem der Ansprüche 3 bis 5, bei dem im Schritt (204) des Auswertens die Erkennungsinformation ein Erkennen des Objekts (114) anzeigt, wenn sich eine Position des Objekts (104) relativ zum Fahrzeug (100) um mehr als einen vorbestimmten Wert verändert und die Fixationsachse (312) innerhalb einer Reaktionszeit nicht auf das Objekt (104) gerichtet ist.
Verfahren (500) zum Selektieren von Objekten (O1, O2, O3, O4) in einem Umfeld (108) eines Fahrzeugs (100), wobei eine Objekterkennung des Fahrzeugs (100) ausgebildet ist, um Objektinformationen zu den Objekten (O1, O2, O3, O4) bereitzustellen, und wobei das Verfahren (500) die folgenden Schritte umfasst: Erweitern der Objektinformationen um Erkennungsinformationen gemäß einem Verfahren (200) zum Ergänzen gemäß einem der Ansprüche 1 bis 6; Auswählen (504) derjenigen der Objekte (O1, O2, O4), deren Erkennungsinformation anzeigt, dass der Fahrer (114) das jeweilige Objekt (O1, O2, O4) nicht erkannt hat, um eine Objektgruppe zu erhalten; und Bereitstellen (506) der Objektinformationen der Objektgruppe an eine Schnittstelle zu einem Fahrerassistenzsystem des Fahrzeugs.
Verfahren (500) gemäß Anspruch 7, bei dem im Schritt (504) des Auswählens gefährliche Objekte ausgewählt werden, die von dem Fahrer (114) unerkannt sind und bei denen eine Kollisionsgefahr besteht, wobei im Schritt (506) des Bereitstellens ein Kollisionssignal für ein Fahrerassistenzsystem des Fahrzeugs (100) unter Verwendung der Objektinformationen der gefährlichen Objekte bereitgestellt wird.
Vorrichtung (102, 106), die ausgebildet ist, um die Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 8 durchzuführen.
Computer-Programmprodukt mit Programmcode zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 8, wenn das Programmprodukt auf einer Vorrichtung ausgeführt wird.