DE10161262A1

DE10161262A1 - Aufmerksamkeitsteurung für Bediener einer technischen Einrichtung, basierend auf Infrarot-Bilddaten

Info

Publication number: DE10161262A1
Application number: DE2001161262
Authority: DE
Inventors: Wolf Boll
Original assignee: DaimlerChrysler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2000-06-23
Filing date: 2001-12-13
Publication date: 2003-07-10
Anticipated expiration: 2021-12-14
Also published as: DE10161262B4

Abstract

Zur Aufmerksamkeitssteuerung für einen Bediener einer technischen Einrichtung wird eine Anzeigevorrichtung zur Anzeige von Bildinformation, welche mittels einer im infraroten Wellenlängenbereich sensitiven Kamera erfasst wurde, wird die Bildinformation zumindest in Teilen an den Stellen des Sichtfeldes des Bedieners angezeigt, an welchen sich Objekte befinden, auf welche dieser aufmerksam gemacht werden soll. Der Vorteil der Erfindung besteht darin, daß der Bediener seinen Blick nicht von der zu beobachtenden Szene abwenden muß und er nicht unnötig durch Informationsdarstellung gestört wird. Auch kann der Bediener gezielt auf Lebewesen, sogenannte Warmobjekte, aufmerksam gemacht werden.

Description

Die Erfindung betrifft ein Verfahren und eine zur Durchführung des Verfahrens geeignete Vorrichtung gemäß den Merkmalen der Oberbegriffe der Ansprüche 1 und 18.

Zur Steigerung von Sicherheit und Bedienkomfort kommen mittlerweile bei technischen Einrichtungen immer mehr die Umgebung überwachende Sensoren zum Einsatz. Durch die rasante Entwicklung in der Prozessortechnik und bei der Miniaturisierung von integrierten Bauteilen sind mittlerweile auch Kameras zu erschwinglichen Kosten verfügbar.

Aus diesen Gründen finden auch in Kraftfahrzeugen zunehmend Kamerasysteme Verwendung. In jüngster Zeit wird gezielt daran gearbeitet Bildsensoren, die bei Nacht empfindlicher sind als das menschliche Auge zur Sichtverbesserung für den Fahrzeugführer einzusetzen. Die Schrift EP 0 686 865 zeigt ein Nachtsichtsystem, welches im Fern-Infrarot-Bereich arbeitet. Hierbei wird das vom System generierte Bild in den unteren Teil der Windschutzscheibe gespiegelt. In anderen Versuchen wurden die Bilddaten von Nah-Infrarot-Systemen über ein Head-up Display auf einer ebenen Scheibe vor der Windschutzscheibe abgebildet. Nachteilig wirkt sich bei diesen Systemen jedoch aus, daß zum einen der Fahrzeugführer zur Beobachtung der zusätzlichen Bildinformation seinen Blick von der eigentlichen Straßenszene teilweise abwenden muß und zum anderen, daß die eingespiegelte Szene die Straßenszene teilweise abdeckt. Auch hat sich gezeigt, daß es schwierig ist, diese zusätzliche Bildinformation des Infrarot-Systems dem Fahrer nahezubringen, da sie nicht seinem gewohnheitsmäßigen Empfindungsschatz entspricht.

Um diese Nachteile zu umgehen wurde vorgeschlagen dem Fahrer keine zusätzliche bildliche Darstellung der Umgebung anzubieten, sondern unterhalb der hervorzuhebenden Objekte innerhalb einer Straßenszene eine LED-Zeile einzublenden. Eine solche Einblendung weist jedoch Konstrastprobleme auf und ist durch die ständig Präsenz von Zusatzinformation innerhalb der Hauptblickrichtung äußerst störend.

Aus der nachveröffentlichten Patentanmeldung DE 100 30 813 sind ein Verfahren und eine Vorrichtung zur Aufmerksamkeitssteuerung eines Bedieners einer technischen Einrichtung bekannt, bei welcher handlungsrelevante Informationen in Form von Bildern oder Symbolen für die Dauer unterhalb dessen bewussten und oberhalb dessen unbewussten Wahrnehmungsschwelle dargestellt wird. Dabei wird das jeweilige Bild oder Symbol an den Stellen des Sichtfeldes des Bedieners angezeigt, an welchen sich die Objekte befinden auf welcher dieser aufmerksam gemacht werden soll.

Aufgabe der Erfindung ist es ein Verfahren und ein zur Durchführung dieses Verfahrens geeignete Vorrichtung zur verbesserten Wahrnehmung der Infrarot-Bilddaten, insbesondere eines Nachtsichtsystems zu finden.

Die Aufgabe wird durch ein Verfahren, gemäß den Merkmalen des Anspruchs 1 gelöst. Eine Durchführung dieses Verfahrens geeignete Vorrichtung wird mittels der Merkmale des Anspruchs 18 gelöst.

In erfinderischer Weise ist die Anzeigevorrichtung zur Anzeige von handlungsrelevanten Informationen in Form von Bildern oder Symbolen derart ausgestaltet, dass das jeweilige Bild oder Symbol an den Stellen des Sichtfeldes des Bedieners angezeigt wird, an welchen sich Objekte befinden auf welche dieser aufmerksam gemacht werden soll. Der Vorteil der Erfindung besteht darin, daß der Bediener seinen Blick nicht von der zu beobachtenden Szene abwenden muß und er nicht unnötig durch Informationsdarstellung gestört wird.

Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind in den Unteransprüchen beschrieben.

Die Erfindung eignetet sich für die Aufmerksamkeitssteuerung von Bedienern unterschiedlichster technischer Einrichtungen, bei welchem Personen die Betriebsumgebung zu beobachten und auf auftretende Änderungen zu reagieren haben.

Nachfolgend wird die Erfindung im Rahmen ihres Einsatzes zur Aufmerksamkeitssteuerung von Fahrzeugführern beispielhaft erläutert. Besonders vorteilhaft ist der Einsatz des erfindungsgemäßen Verfahrens hierbei innerhalb eines Systems zur Verbesserung der Nachtsicht. Hierbei werden die Objekte, auf welche aufmerksam gemacht werden soll, zumindest in Teilen durch die Auswertung von Infrarot-Sensordaten gewonnen. So kann der Fahrer auf Fußgänger, welche auf diese Weise auch bei Dunkelheit erkannt werden, aufmerksam gemacht werden, noch bevor deren Gefährdung sicher festgestellt werden kann. Um einen Fahrzeugführer nicht mit Informationen zu überlasten sollte dieser bewußt nur bei Gefahrensituationen deutlich gewarnt werden.

Die Einblendung zumindest von Teilen der Infrarot-Bilddaten kann nach bewerteten Kriterien erfolgen, so zum Beispiel nach Temperaturunterschieden von Objekten in Bezug auf ihre Umgebung, woraus auf Lebewesen, sogenannte Warmobjekte, geschlossen werden kann. Die Bilddaten können insgesamt oder als Einzelobjekte blinkend erfolgen. Das hat den Vorteil, dass bei einem eventuellen Restsichtvermögen im sichtbaren Lichtspektrum die deren direkte Erkennbarkeit nicht unzulässig durch Verdeckung durch die Überblendung beeinträchtigt wird. Außerdem wird ein erwünschter Warneffekt durch das Blinken verstärkt. Es in besonders gewinnbringender Weise auch denkbar, auf sogenannte Warmobjekt mittels zusätzlicher akustischer Mittel hinzuweisen.

Des weiteren ist es auch denkbar in gewinnbringender Weise die Richtung und/oder die Größe der Quergeschwindigkeit, insbesondere von z. B. Warmkörpern, symbolisch durch richtungsweisende Symbole in ein dargestelltes Objekt oder in die dargestellte Szene einzublenden. Dabei können beispielhaft die richtungsweisenden Symbole durch Richtungspfeile und/oder Linienelemente mit unterschiedlicher Blinkfrequenz gebildet werden.

Um die Darstellung der handlungsrelevanten Bildinformation möglichst gut in Deckung mit der Sicht des Umfeldes, umfassend stationäre als auch mobile Objekte, durch den Fahrzeugführer zu bringen, ist es vorstellbar einen zusätzlichen Verarbeitungsaufwand und notwendige Sensorik dadurch zu vermeiden, daß beispielsweise von einer standardisierten Sitzposition und Körpergröße einer Person ausgegangen wird. Das erfindungsgemäße Verfahren läßt sich jedoch gewinnbringend ausgestalten, wenn mittels einer Vorrichtung der im Sichtfeld eines Bedieners befindliche Umgebungsbereich bestimmt wird und mit dem Sichtfeld der im Rahmen der Aufmerksamkeitssteuerung eingesetzten Sensor-Vorrichtung verglichen wird. Auf Grundlage dieses Vergleichs kann sodann die Position bestimmt werden, an welcher dem Bediener die handlungsrelevante Information dargestellt werden soll. Zur Durchführung eines solchen Verfahrensschrittes ist in idealer Weise der im Sichtfeld eines Bedieners befindliche Umgebungsbereich in Kenntnis der invariablen Geometrien und der aktuellen Position von variabel gestaltbaren Geometrien innerhalb des den Bediener umgebenden Raums zu bestimmen. Hierzu kann beispielsweise innerhalb eines Kraftfahrzeugs zur Ermittlung der variabel gestaltbaren Geometrien die aktuelle Sitzposition und/oder die Einstellung der Spiegelverstellung ermittelt werden. Es ist aber genauso denkbar mittels eines Sensors zur Bestimmung der Kopfposition und/oder der Augenausrichtung des Bedieners der im Sichtfeld eines Bedieners befindliche Umgebungsbereich bestimmt wird.

Entsprechend den erläuterten Verfahrensschritten, sollte eine Vorrichtung zur Durchführung des erfindungsgemäßen Verfahrens zumindest aus Sensoren zur Erfassung von zumindest einem Teilbereich des einen Bediener einer technischen Anlage umgebenden Bereichs, aus einer Datenverarbeitungsanlage und aus einer Anzeigeeinheit zur Anzeige von handlungsrelevanten Informationen bestehen. In einer vorteilhaften Ausgestaltung sollte die Vorrichtung des Weiteren eine Einheit enthalten, welche sich zur Ermittlung von variabel gestaltbaren Geometrien innerhalb des den Bediener umgebenden Raums und/oder zur Ermittlung der Kopfposition und/oder der Augenausrichtung des Bedieners eignet.

In vorteilhafterweise enthält die Datenverarbeitungsanlage eine Speichereinheit, in welcher zumindest Daten bezüglich der invariablen Geometrien des den Bediener umgebenden Raums gespeichert sind.

Um in besonders vorteilhafter Weise die Einblendung der Infrarot-Bilddaten in Abhängigkeit der Augen eines Fahrzeuglenkers (Bedieners eines Kraftfahrzeuges) zu ermöglichen, ist es denkbar auf Daten bereits im Fahrzeug vorhandene Systeme insbesondere Out-of-Position'-Erkennunssysteme (z. B.: Sitzplatzerkennung), oder Systeme zur Erkennung des Fahrerzustandes (z. B. Einschlafwarner) mittels welchen die Augenpositionen des Fahrzeuglenker vermessen werden, zurückzugreifen.

In vorteilhafterweise ist es auch denkbar die Höhenwinkeldifferenz zwischen Auge des Bedieners und einer Infrarot- Kamera mittels den Daten eines Abstandsradars zu korrigieren.

Als Anzeige Einheit innerhalb der erfindungsgemäßen Vorrichtung eignet sich in besondere Weise ein Head-up Display, mittels dessen einem Bediener die handlungsrelevante Information ins Blickfeld gespiegelt wird. Dabei ist es denkbar das Head-up Display in einfacher Weise in Form einer LED-Zeile auszuführen, um reine Linieninformation (beispielsweise "Unterstreichungen") in das Sichtfeld eines Bedieners einzuspiegeln.

Claims

1. Verfahren zur Aufmerksamkeitssteuerung eines Bedieners einer technischen Einrichtung, mit einer Anzeigevorrichtung zur Anzeige von Bildinformation, welche mittels einer im infraroten Wellenlängenbereich sensitiven Kamera erfasst wurden, dadurch gekennzeichnet, daß die jeweilige Bildinformation zumindest in Teilen an den Stellen des Sichtfeldes des Bedieners angezeigt wird, an welchen sich Objekte befinden auf welche dieser aufmerksam gemacht werden soll.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Dauer der Anzeige der handlungsrelevanten Informationen variiert werden kann.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß die Dauer der Anzeige proportional mit dem Anstieg einer potentiellen Gefährdung ansteigt.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Anzeige blinkend erfolgt.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass Teile der dargestellten Bilddaten zumindest auf der Basis ihrer Temperaturdifferenz zu ihrer Umgebung ausgewählt werden.

6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass anhand der Temperaturdifferenz auf das Vorhandensein ein Lebewesens geschlossen wird und ein solches durch zusätzliche akustische Warnung angezeigt wird.

7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß mittels einer Vorrichtung der im Sichtfeld eines Bedieners befindliche Umgebungsbereich bestimmt wird und mit dem Sichtfeld der im Rahmen der Aufmerksamkeitssteuerung eingesetzten Sensor-Vorrichtung verglichen wird, und daß auf Grundlage dieses Vergleichs die Position bestimmt wird, an welcher dem Bediener die handlungsrelevante Information dargestellt werden soll.

8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, daß der im Sichtfeld eines Bedieners befindliche Umgebungsbereich in Kenntnis der invariablen Geometrien und der aktuellen Position von variabel gestaltbaren Geometrien innerhalb des den Bediener umgebenden Raums bestimmt werden.

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daß innerhalb eines Kraftfahrzeugs zur Ermittlung der variabel gestaltbaren Geometrien die aktuelle Sitzposition und/oder die Einstellung der Spiegelverstellung ermittelt werden.

10. Verfahren nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, daß mittels eines Sensors zur Bestimmung der Kopfposition und/oder der Augenausrichtung des Bedieners der im Sichtfeld eines Bedieners befindliche Umgebungsbereich bestimmt wird.

11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass zur Bestimmung der Höhenwinkeldifferenz zwischen Auge des Bedieners und der Infrarot-Kamera die Daten eines Abstandsradars herangezogen werden.

12. Vorrichtung zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, daß die Vorrichtung zumindest
aus Sensoren zur Erfassung von zumindest einem Teilbereich des einen Bediener einer technischen Anlage umgebenden Bereichs,
aus einer Datenverarbeitungsanlage, zur Bestimmung der Temperaturen von Objekten innerhalb von Bilddaten
und aus einer Anzeigeeinheit zur Anzeige von handlungsrelevanten Informationen,
besteht.

13. Vorrichtung nach Anspruch 12, dadurch gekennzeichnet, daß die Vorrichtung zusätzlich eine Einheit enthält, welche sich zur Ermittlung von variabel gestaltbaren Geometrien innerhalb des den Bediener umgebenden Raums und/oder zur Ermittlung der Kopfposition und/oder der Augenausrichtung des Bedieners eignet.

14. Vorrichtung nach einem der Ansprüche 12 oder 13, dadurch gekennzeichnet, daß zumindest einer der Sensoren zur Erfassung von zumindest einem Teilbereich des einen Bediener umgebenden Bereichs ein Nachtsichtsystem ist.

15. Vorrichtung nach einem der Ansprüche 12 bis 14, dadurch gekennzeichnet, daß die Datenverarbeitungsanlage eine Speichereinheit enthält in, in welcher zumindest Daten bezüglich der invariablen Geometrien des den Bediener umgebenden Raums gespeichert sind.

16. Vorrichtung nach einem der Ansprüche 12 bis 15, dadurch gekennzeichnet, daß die Anzeigeeinheit ein Head-up Display ist.

17. Vorrichtung nach Anspruch 16, dadurch gekennzeichnet, daß das Head-up Display als LED-Zeile, die in das Sichtfeld des Bedieners gespiegelt werden kann, ausgeführt ist.

18. Vorrichtung nach einem der Ansprüche 12 bis 17, dadurch gekennzeichnet, dass die Vorrichtung über ein Mittel zur Ausgabe akustischer Warninformation verfügt.

19. Vorrichtung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Richtung und die Größe der Quergeschwindigkeit, insbesondere von z. B. Warmkörpern, symbolisch durch richtungsweisende Symbole in ein dargestelltes Objekt oder die dargestellte Szene eingeblendet wird.

20. Vorrichtung nach Anspruch 19, dadurch gekennzeichnet, dass die richtungsweisenden Symbole Richtungspfeile und/oder Linienelemente mit unterschiedlicher Blinkfrequenz sind.