DE19807065C2 - Verfahren zur Steuerung von Funktionen mobiler Systeme - Google Patents

Verfahren zur Steuerung von Funktionen mobiler Systeme

Info

Publication number
DE19807065C2
DE19807065C2 DE19807065A DE19807065A DE19807065C2 DE 19807065 C2 DE19807065 C2 DE 19807065C2 DE 19807065 A DE19807065 A DE 19807065A DE 19807065 A DE19807065 A DE 19807065A DE 19807065 C2 DE19807065 C2 DE 19807065C2
Authority
DE
Germany
Prior art keywords
image information
information obtained
image
eyes
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE19807065A
Other languages
English (en)
Other versions
DE19807065A1 (de
Inventor
Guenter Abersfelder
Heinrich Alexander Eberl
Helmut Grantz
Thorsteinn Halldorsson
Horst Schmidt-Bischoffshausen
Stefan Uhl
Original Assignee
DaimlerChrysler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DaimlerChrysler AG filed Critical DaimlerChrysler AG
Priority to DE19807065A priority Critical patent/DE19807065C2/de
Priority to JP2000532296A priority patent/JP2002503862A/ja
Priority to PCT/DE1999/000421 priority patent/WO1999042315A1/de
Priority to EP99913073A priority patent/EP1056611A1/de
Publication of DE19807065A1 publication Critical patent/DE19807065A1/de
Application granted granted Critical
Publication of DE19807065C2 publication Critical patent/DE19807065C2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K31/00—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator
    • B60K31/0058—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator responsive to externally generated signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D6/00—Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/002—Special television systems not provided for by H04N7/007 - H04N7/18
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Eye Examination Apparatus (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

Die Erfindung betrifft ein Verfahren zur Steuerung von Funktionen mobiler Systeme.
Wie allgemein bekannt ist, erfordert das Führen von mobilen Systemen die volle Konzentration des Fahrers für diese Aufgabe. Der größte Teil von Verkehrsunfällen ist auf die momentane Unaufmerksamkeit des Fahrers zurückzuführen. Andererseits wird der Fahrer heute in seiner Aufmerksamkeit beim Fahren durch andere Tätigkeiten, wie die Unterhaltung aus dem Radio, die Aufnahme von Verkehrs- und Navigationsinformationen und die Bedienung von Fernsprechanlagen abgelenkt. Obwohl das Fahren durch verbesserte Technik am Fahrzeug zunehmend erleichtert und sicherer wird, wächst der Bedarf an Automatisierung der Steuerfunktionen der Fahrzeuge zur Entlastung des Fahrers. Die ersten Maßnahmen in diese Richtung sind z. B. Tempomaten, die eine feste Geschwindigkeit bei längeren Fahrten z. B. entlang von Autobahnen, Landstraßen oder Highways einregeln. Weiterhin sind intelligente Kamerasysteme in Entwicklung, die die Fahrsituation ständig überwachen und streckenweise autonomes Fahren ermöglichen sollen. Eine automatische Steuerung der Fahrzeugfunktionen wäre nicht alleine zur Entlastung des Fahrers bei normalen Fahrsituationen von Vorteil, sondern auch in kritischen Situationen, z. B. in Fällen, wo das Reaktionsvermögen des Fahrers zu langsam ist, oder wo der Fahrer in anderer Weise behindert ist, z. B. einschläft oder plötzlich krank wird.
In der älteren Anmeldung DE 197 28 890 sowie in der vorveröffentlichten DE 196 31 414 A1 wird eine Brille angegeben, mit deren Hilfe über eine Rückspiegelung an ihrer Innenseite das Netzhautreflexbild des Auges bei unterschiedlicher Helligkeit der Umgebung elektronisch aufgenommen wird. Diese in verschiedenen Varianten beschriebene Vorrichtung ermöglicht, daß das vom Auge direkt gesehene Bild mit einem Computer verarbeitet und mit Hilfe einer Beleuchtungseinrichtung, vorzugsweise mit Lasern, über den gleichen Lichtweg in umgekehrter Richtung und nach nochmaliger Reflexion an der Innenseite der Brille physiologisch verzögerungsfrei dem ursprünglichen Bild so überlagert wird, daß ein verbesserter Seheindruck entsteht.
In der WO 93/14454 wird eine Schnittstelle zwischen Mensch und Computer beschrieben, bei der ein Video-Display in einer festen Position in Bezug auf die Augenposition eines Benutzers angeordnet ist. Die Stelle auf dem Display, auf die das Auge fokussiert ist, wird aus dem Bild des Auges ermittelt. Dadurch wird die Bedienung eines Computers erleichtert und eine Bedienung ohne Benutzung der Hände möglich. Ferner kann das beschriebene System aus der Augenposition Beeinträchtigungs-Zustände des Benutzers erkennen.
Die US 5,689,619 zeigt ein Verfahren zur Steuerung mobiler Systeme durch einen sogenannten Eyetracker. Dabei wird die Blickrichtung im Raum bestimmt, indem die Position und Orientierung des Kopfes eines Benutzers gemessen wird und ein Bild des Auges aufgenommen wird. Anschließend wird ein auf einem Display betrachteter Punkt berechnet.
Diese bekannten Systeme haben jedoch den Nachteil, dass ein Display fixiert werden muß, um eine Steuerungsfunktion auszulösen. Dadurch erfolgt beider Steuerung von Funktionen mobiler Systeme eine zusätzliche Belastung des Benutzers und eine Ablenkung vom Verkehrsgeschehen.
Es ist daher die Aufgabe der Erfindung, die Steuerung von Funktionen mobiler Systeme zu vereinfachen, so daß sich der Benutzer besser auf das Verkehrsgeschehen konzentrieren kann.
Diese Aufgabe wird durch das Verfahren zur Steuerung mobiler Systeme gemäß Patentanspruch 1 gelöst. Dabei werden insbesondere mittels einer optoelektronischen Brille vom Netzhautreflexbild gewonnene Bildinformationen oder Helligkeitsinformationen der auf der Netzhaut abgebildeten, wahrgenommenen Umgebungsbilder beider Augen mit aktuellen Fahrdaten korreliert und zur Steuerung von Fahrzeugfunktionen verwendet.
Es werden also mittels einer optoelektronischen Brille vom Netzhautreflexbild des Auges gewonnene Bildinformationen mit einem Rechner ausgewertet und zur Gewinnung von Steuerungssignalen verwendet.
Einzelheiten der Erfindung ergeben sich aus den Unteransprüchen und der Beschreibung, in der anhand der Zeichnung Ausführungsbeispiele erörtert werden. Es zeigen:
Fig. 1 ein schematisches Bild des Aufbaus der opto-elektronischen Brille,
Fig. 2 schematisch den Blick auf eine enge Kurve,
Fig. 3 schematisch den Blick auf eine weite Kurve
Fig. 4 schematisch den Blick auf einen geraden Straßenverlauf bei normal fahrendem Fahrzeug,
Fig. 5 schematisch den Blick auf einen geraden Straßenverlauf bei weit rechts fahrendem Fahrzeug,
Fig. 6 schematisch den Blick auf zwei vorausfahrende Fahrzeuge mit dem linken und mit dem rechten Auge und
Fig. 7 schematisch den Blick auf zwei vorausfahrende Fahrzeuge mit dem linken und mit dem rechten Auge
Die Vorteile der opto-elektronischen Brille, die Bilder direkt aus den beiden Augen des Beobachters aufnimmt, gegenüber anderen, getrennt aufgebauten Kamerasystemen, die Fahrszenen aus einer gegenüber der sehstrahlbezogenen abweichenden Perspektive überwacht, sind die folgenden:
Da das Gesichtfeld der Augen-Kamera mit dem Gesichtsfeld des Fahrers identisch ist, folgt das System immer der Ausrichtung der Augen und ist deshalb ständig auf den momentanen hohen Aufmerksamkeitsbereich der Augen fixiert. Die von der elektronischen Bildverarbeitung gemachten Bildverbesserungen bzw. zusätzliche Bildinformationen können deshalb die vom Fahrer wahrgenommenen Bilder direkt ergänzen. Nach der Verarbeitung und Analyse des Bildes der opto-elektrischen Brille könnte mit Hilfe einer Entscheidungslogik auch ein automatischer Eingriff in Steuerungsfunktionen des Autos durchgeführt werden, um dem Fahrer in dieser Weise eine aktive Beihilfe zu leisten.
Die Funktionsweise der opto-elektronischen Kamera soll im nachfolgenden näher beschrieben werden.
Die opto-elektronische Brille ist so ausgelegt, daß die auf der Netzhaut im Auge aufgenommenen Bilder der Umgebung mit einer festen Abtastfrequenz, seriell mit Hilfe eines Scanners und eines empfindlichen Photodetektors aufgenommen werden. Das serielle Bildsignal wird anschließend zu dem Bildverarbeitungsrechner geleitet. Damit die Bildaufnahme auch den schnellen und langsamen Bewegungen des Auges folgen kann, wird ein Teil des Bildaufnahmezyklus dazu verwendet, die Symmetrieachse der Bildabtastung durch eine aktive Verfolgung der Pupillenöffnung auf diese zu zentrieren. Da dies gleichzeitig an beiden Augen passiert und auch die Bilder auf der Netzhaut beider Augen vorliegen, kann somit die Ausrichtung der beiden Augen gegeneinander vermessen werden.
Das aufgenommene Bild kann mit einer typischen Videonorm im Rechner verarbeitet und die notwendigen Steuerfunktionen aus dem Bild abgeleitet werden. Die serielle Rückprojektion eines verarbeiteten Bildes mit Hilfe von Beleuchtungslasern ins Auge zur Überlagerung mit dem direkt wahrgenommenen Bild kann entweder zwischen zwei Aufnahmezyklen oder auch während eines Aufnahmezyklus stattfinden.
Gemäß der Erfindung wird vorgeschlagen, daß die Helligkeit des vom Auge aufgenommenen Bildes ständig überwacht wird. Bei einer Unterschreitung der Helligkeit unter einen definierten Pegel können dann z. B. beleuchtete Anzeigeelemente oder Autoscheinwerfer aktiviert werden. Da die Bewegung der Augen auch laufend registriert wird, schlägt die Erfindung ferner vor, daß die Scheinwerfer mit Hilfe eines Motorantriebes entsprechend der momentanen Blickrichtung ausgerichtet werden.
Die Erfindung schlägt auch vor, daß gewisse Bildinhalte, die den Strassenverkehr betreffen, wie Seiten- und Spurmarkierung der Straße oder Verkehrsschilder und Ampeln bei der Bildverarbeitung speziell verarbeitet und zur Regelung von Steuerfunktionen verwendet werden. Damit kann z. B. die Krümmung einer gekurvten Straße mit dem System vermessen und die Geschwindigkeit des Wagens an sie angepaßt werden, oder es können Schilder über Geschwindigkeitsbeschränkungen mit einer anschließenden Anpasssung der Geschwindigkeit durch den Rechner gelesen werden. Auch können optische, akustische oder haptische Alarmsignale beim schnellem Fahren in enge Kurven oder bei Überschreitung von Grenzgeschwindigkeiten ausgelöst werden.
Ferner schlägt die Erfindung vor, den perspektivischen Unterschied in den gleichzeitig aufgenommenen Bilder beider Augen dazu zu verwenden, um Entfernung zu Objekten in der Fahrszene rechnerisch zu bestimmen.
Weitere Vorschläge der Erfindung befassen sich mit den Möglichkeiten der zusätzlichen Verwendung der Rückprojektion von Bildern in das Auge. Hier können entweder elektronisch verbesserte Bilder aus der Verkehrssituation zurück ins Auge abgebildet werden, oder Zusatzinformationen, z. B. Navigationshilfen oder Staumeldungen in das Gesichtsfeld an eine nicht störende Stelle eingeblendet werden.
Fig. 1 zeigt nach den oben genannten Anmeldungen ein schematisches Bild der aufgesetzten Brille. Der Strahlengang für die Aufnahme der Umgebungsbildes und des projizierten Bildes ins Auge ist mit den Strahlumlenkungskomponenten angedeutet. Die einzelnen optischen, elektronischen und mechanischen Komponenten wie Spiegel, Photoempfänger, Vorverstärker und Scanner können heute ähnlich wie z. B. moderne Hörgeräte sehr stark miniaturisiert werden, damit das Aufsetzen der Brille, ähnlich wie bei einer Sonnenbrille keine Behinderung für den Fahrer bedeutet. Die Datenübertragung von der Brille zum Rechner oder zu einem anwenderspezifischen Mikroprozessor oder sonstigen elektronischen Einrichungen des Fahrzeuges kann, wie heute wohlbekannt ist, über Glasfaserkabel oder IR-Datenübertragung durchgeführt werden. Einzelheiten dazu sind den eingangs genannten Druckschriften zu entnehmen.
Fig. 2 und 3 zeigen anhand einer Skizze eines Straßenverlaufes, wie unterschiedlich enge und breite Kurven perspektivistisch dem Auge des Fahrers erscheinen. Sie zeigen gleichzeitig, daß aus der Vermessung des geometrischen Verlaufs eine Anpassung der Geschwindigkeit abgeleitet werden kann.
Fig. 4 und 5 zeigen anhand einer Skizze eines geraden Straßenverlaufs im ersten Fall, daß das Fahrzeug normal in der Mitte der rechten Spur fährt und im zweiten Fall, daß es zur weit rechts auf der rechten Spur fährt. Beides ist durch Winkeländerung und Positionsänderung der Markierungslinien der Straße relativ zum Windschutzscheibenrahmen erkennbar. In diesem Falle wird durch eine Auswertung des Bildes des Straßenverlaufs in Relation zum Bild des Windschutzscheibenrahmens die Position des Fahrzeugs auf der Fahrspur abgeleitet.
Die Fig. 6 und 7 zeigen die perspektivistiche Änderung der Position der Bilder von zwei vorausfahrenden Autos im rechten und linken Auge des Fahrers. Dabei fixieren beide Augen den Bus im Hintergrund (Kreis). Der PKW im Vordergrund befindet sich rechts bzw. links von der Mitte. Aus diesem Bildsprung kann der Rechner die Relativposition und Entfernung zu den beiden Fahrzeugen ableiten.
Die gewonnenen Informationen können zu vielfältigen Steuerungssignalen verwendet werden. Die ermittelten Bildinformationen der Augen können mit aktuellen Fahrdaten, Geometriedaten des Fahrzeuges, gespeicherten Bilddaten, wie z. B. Verkehrsschildern korreliert werden.
Je nach der Beurteilung der Situation durch den Rechner werden optische, akustische bzw. haptische Warnsignale ausgelöst, Fahrsysteme wie Bremsen aktiviert, die Lenkung verhärtet, das Fahrlicht oder die Nebelleuchten ein- und ausgeschaltet oder an die Blickrichtung angepaßt. Ein ggf. vorhandenes IR-Beleuchtungssystem kann zur Verbesserung der Nebellichtwerte aktiviert werden.
Ferner kann gleichzeitig mit der Aktivierung von Fahrzeugfunktionen die oben angesprochene Bildbearbeitung stattfinden und eine synchrone Rückprojektion des verbesserten Bildes in das Auge durchgeführt werden.
Des weiteren kann die Sehschärfe bei mangelhafter Akkommodation zum Ablesen von Fahrzeuginstrumente örtlich verbessert werden.
Ferner kann die gewonnene Bildinformation beider Augen in Verbindung mit einem Aktivierungs-Bedienelement zur Bedienung von Fahrzeugfunktionen verwendet werden.
Die gewonnene Bildinformation kann temporär zusätzlich in einem Fahrzeugdatenspeicher zur Rekonstruktion von subjektiven und objektiven Verkehrssituationen abgelegt werden.
Ferner kann beispielsweise bei Erkennung einer unerlaubten Augenposition, die auf eine ungeeignete Sitzstellung des Fahrers schließen läßt, der Airbag deaktiviert werden.
Des weiteren wird zweckmäßig das Lidschlag-Tastverhältnis zur Ermittlung von Unregelmäßigkeiten, wie Schlaf oder Stress verwendet.
Schließlich kann ermittelt werden, ob sich in beiden Augen die gleiche geometrische Bildinformation in der Fovea Centralis befindet um Unregelmäßigkeiten, die auf eine Beinträchtigung der Reaktionsfähigkeit des Fahrers schließen lassen, zu erkennen.

Claims (18)

1. Verfahren zur Steuerung von Funktionen mobiler Systeme, bei dem mittels einer opto­ elektronischen Brille vom Netzhautreflexbild des menschlichen Auges gewonnene Informationen mit einem Rechner ausgewertet und zur Gewinnung von Steuerungssignalen verwendet werden, dadurch gekennzeichnet, daß Helligkeitsinformationen und/oder geometrische Bildinformationen der auf der Netzhaut abgebildeten, wahrgenommenen Umgebungsbilder beider Augen mit aktuellen Fahrdaten korreliert und zur Steuerung von Fahrzeugfunktionen verwendet werden.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß zeitliche Veränderungen der Bildinformationen beider Augen ausgewertet werden.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die ermittelten Bildinformationen der Augen mit Geometriedaten des Fahrzeuges korreliert werden.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die ermittelten Bildinformationen der Augen mit gespeicherten Bilddaten von den Straßenverkehr betreffenden Abbildungen verglichen werden.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die gewonnene Bildinformation zur Auslösung optischer, akustischer und/oder haptischer Warnsignale verwendet wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die gewonnene Bildinformation zur Aktivierung von Fahrsystemen verwendet wird.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die gewonnene Bildinformation zur Verhärtung der Lenkung verwendet wird.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die gewonnene Bildinformation zur Ein- oder Ausschaltung des Fahrlichts verwendet wird.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die gewonnene Bildinformation zur Ausrichtung des Fahrlichts entsprechend der Blickrichtung verwendet wird.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß gleichzeitig eine Bildbearbeitung stattfindet und eine synchrone Rückprojektion des verbesserten Bildes in das Auge durchgeführt wird.
11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Sehschärfe bei mangelhafter Akkommodation zum Ablesen von Fahrzeuginstrumenten örtlich verbessert wird.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das Nebellicht und/oder das Nebelrücklicht geschaltet wird.
13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß ein vorhandenes IR-Beleuchtungssystem zur Verbesserung der Nebellichtwerte aktiviert wird.
14. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die gewonnene Bildinformation beider Augen in Verbindung mit einem Aktivierungs- Bedienelement zur Bedienung von Fahrzeugfunktionen verwendet wird.
15. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die gewonnene Bildinformation temporär in einem Fahrzeugdatenspeicher zur Rekonstruktion von subjektiven und objektiven Verkehrssituationen abgelegt wird.
16. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die gewonnenen Bildinformation unter Erkennung einer unerlaubten Augenposition zur Deaktivierung des Airbags verwendet wird.
17. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das Lidschlag-Tastverhältnis zur Ermittlung von Beeinträchtigungs-Zuständen des Fahrers verwendet wird.
18. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß ermittelt wird, ob sich in beiden Augen die gleiche geometrische Bildinformation in der Fovea Centralis befindet, um Beeinträchtigungs-Zustände zu erkennen.
DE19807065A 1998-02-20 1998-02-20 Verfahren zur Steuerung von Funktionen mobiler Systeme Expired - Fee Related DE19807065C2 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE19807065A DE19807065C2 (de) 1998-02-20 1998-02-20 Verfahren zur Steuerung von Funktionen mobiler Systeme
JP2000532296A JP2002503862A (ja) 1998-02-20 1999-02-16 画像情報によるシステムの制御または操作方法および画像情報の検出方法
PCT/DE1999/000421 WO1999042315A1 (de) 1998-02-20 1999-02-16 Verfahren zum steuern oder bedienen von systemen durch bildinformationen und verfahren zur erfassung von bildinformationen
EP99913073A EP1056611A1 (de) 1998-02-20 1999-02-16 Verfahren zum steuern oder bedienen von systemen durch bildinformationen und verfahren zur erfassung von bildinformationen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE19807065A DE19807065C2 (de) 1998-02-20 1998-02-20 Verfahren zur Steuerung von Funktionen mobiler Systeme

Publications (2)

Publication Number Publication Date
DE19807065A1 DE19807065A1 (de) 1999-09-02
DE19807065C2 true DE19807065C2 (de) 2000-11-30

Family

ID=7858337

Family Applications (1)

Application Number Title Priority Date Filing Date
DE19807065A Expired - Fee Related DE19807065C2 (de) 1998-02-20 1998-02-20 Verfahren zur Steuerung von Funktionen mobiler Systeme

Country Status (1)

Country Link
DE (1) DE19807065C2 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19951001C2 (de) 1999-10-22 2003-06-18 Bosch Gmbh Robert Vorrichtung zur Darstellung von Informationen in einem Fahrzeug
DE102005036002A1 (de) * 2005-08-01 2007-02-08 GM Global Technology Operations, Inc., Detroit Verfahren zur Steuerung der Beleuchtungseinrichtung eines Fahrzeuges, Scheinwerfersystem und Verarbeitungseinrichtung

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993014454A1 (en) * 1992-01-10 1993-07-22 Foster-Miller, Inc. A sensory integrated data interface
US5689619A (en) * 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays
DE19631414A1 (de) * 1996-08-05 1998-02-19 Daimler Benz Ag Vorrichtung zur Aufnahme des Netzhautreflexbildes und Überlagerung von Zusatzbildern im Auge

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993014454A1 (en) * 1992-01-10 1993-07-22 Foster-Miller, Inc. A sensory integrated data interface
DE19631414A1 (de) * 1996-08-05 1998-02-19 Daimler Benz Ag Vorrichtung zur Aufnahme des Netzhautreflexbildes und Überlagerung von Zusatzbildern im Auge
US5689619A (en) * 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Computer erkennt Verkehrszeichen, in: RFE 2/97, S. 7 *
Das Auto der Zukunft kann sehen, in: Münchner Merkur, 6.5.1997, S. 3 *
SCHNEIDERMAN, H. et al.: Vision - based robotic convoy driving, in: Machine Vision and Applications 1995, S. 359-364 *

Also Published As

Publication number Publication date
DE19807065A1 (de) 1999-09-02

Similar Documents

Publication Publication Date Title
EP2883748B1 (de) Verfahren zur Anzeige von optischen Informationen in Fahrzeugen
EP1297511B1 (de) Verfahren und vorrichtung zur überwachung des innenraums und des umfeldes eines fahrzeugs
DE19734307C2 (de) Verfahren und Vorrichtung zur Überwachung und/oder Beeinflussung des Fahrzeugverhaltens eines fahrergesteuerten Kraftfahrzeugs
DE112006002459B4 (de) Fahrzeugumgebungsinformationsausgabesystem und Verfahren zum Ausgeben von Fahrzeugumgebungsinformation
DE10253510A1 (de) Vorrichtung und Verfahren zur Verbesserung der Sicht in einem Kraftfahrzeug
WO2016184541A1 (de) Verfahren zum betreiben einer datenbrille in einem kraftfahrzeug und system mit einer datenbrille
DE102007047643A1 (de) Vorrichtung zum Erfassen eines Augenzustands und Verfahren zum Anbringen derselben
WO2012034767A1 (de) Head-up-display
DE60300919T2 (de) Bildaufnahmegerät der Fahrzeuginsassen in einem Fahrzeug
DE102007044536A1 (de) Vorrichtung zum Überwachen der Umgebung eines Kraftfahrzeugs
EP2986225A1 (de) Verfahren zur bestimmung, ob ein insasse eines fahrzeugs relevante objekte im umfeld des fahrzeugs bemerkt
DE102009002979A1 (de) Projektionsanzeigevorrichtung für Fahrzeuge
EP1617371A2 (de) Verfahren zur Kennzeichnung von Bildinformationen in der Darstellung eines mit einer fahrzeugseitigen Bildaufnahmeeinrichtung aufgenommenen Nachtsichtbildes und zugehöriges Nachtsichtsystem
DE19802220A1 (de) Anzeigevorrichtung
US20150124097A1 (en) Optical reproduction and detection system in a vehicle
DE102008055187A1 (de) Projektionsanzeigevorrichtung für Fahrzeuge
DE102005041535A1 (de) Night-Vision-System, bei dem die Umgebung mittels einer Aufnahmevorrichtung aufgenommen und mittels einer Anzeige zumindest teilweise dargestellt wird
DE102019103197A1 (de) Insassenüberwachungsvorrichtung
DE102014019420A1 (de) Kraftfahrzeugscheinwerfersystem, Kraftfahrzeug, Verfahren zum Betrieb eines Kraftfahrzeugscheinwerfersystems sowie Computerprogrammprodukt
DE102007025147A1 (de) System zur Spurverlassenswarnung und/oder Spurhaltefunktion
DE10359192A1 (de) Nachtsichtsystem für ein Kraftfahrzeug
DE10134596B4 (de) Umgebungsdetektionsvorrichtung und Umgebungsdetektionsverfahren zur Detektion eines Umgebungsbereichs eines Kraftfahrzeugs
DE19807065C2 (de) Verfahren zur Steuerung von Funktionen mobiler Systeme
WO1999042315A1 (de) Verfahren zum steuern oder bedienen von systemen durch bildinformationen und verfahren zur erfassung von bildinformationen
DE102019004692B3 (de) Vorrichtung und Verfahren zur Ermittlung von Bilddaten der Augen, von Augenpositionen und/oder einer Blickrichtung eines Fahrzeugnutzers in einem Fahrzeug

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8127 New person/name/address of the applicant

Owner name: DAIMLERCHRYSLER AG, 70567 STUTTGART, DE EBERL, HEI

D2 Grant after examination
8364 No opposition during term of opposition
8327 Change in the person/name/address of the patent owner

Owner name: EBERL, HEINRICH ALEXANDER, 87463 DIETMANNSRIED, DE

8339 Ceased/non-payment of the annual fee