EP1394756A1 - Vorrichtung zur Überwachung und Beeinflussung der Wachsamkeit eines Fahrzeugführers - Google Patents

Vorrichtung zur Überwachung und Beeinflussung der Wachsamkeit eines Fahrzeugführers Download PDF

Info

Publication number
EP1394756A1
EP1394756A1 EP02019380A EP02019380A EP1394756A1 EP 1394756 A1 EP1394756 A1 EP 1394756A1 EP 02019380 A EP02019380 A EP 02019380A EP 02019380 A EP02019380 A EP 02019380A EP 1394756 A1 EP1394756 A1 EP 1394756A1
Authority
EP
European Patent Office
Prior art keywords
driver
light
sun visor
vehicle driver
image recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP02019380A
Other languages
English (en)
French (fr)
Other versions
EP1394756B1 (de
Inventor
Uwe Peter Dipl.-Ing. Braun
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to EP02019380A priority Critical patent/EP1394756B1/de
Priority to DE50207570T priority patent/DE50207570D1/de
Priority to PT02019380T priority patent/PT1394756E/pt
Priority to AT02019380T priority patent/ATE333688T1/de
Priority to ES02019380T priority patent/ES2269572T3/es
Priority to DK02019380T priority patent/DK1394756T3/da
Publication of EP1394756A1 publication Critical patent/EP1394756A1/de
Application granted granted Critical
Publication of EP1394756B1 publication Critical patent/EP1394756B1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms

Definitions

  • the invention relates to a device for monitoring and influencing the vigilance of a vehicle driver, with an infrared lighting Image recording system for taking pictures of the Area of at least one eye of the driver and an image evaluation system that is used by the image acquisition system evaluates captured images.
  • the present invention is based on the object to create a device that requires vigilance a driver doesn't just monitor to him to warn when fatigue sets in, but to be one onset of driver fatigue when driving at night counteract.
  • This object is achieved in that the image evaluation system depending on a change the visible size of the corneal surface, the blinking frequency and / or the duration of the blinking of the eye aimed at the driver's field of vision or Alignable lighting device that controls broadly counteracting driver fatigue Light emitted.
  • the invention thus creates an automatic monitoring system, that the driver’s eyes when starting Fatigue with light from a radiation spectrum lit which is a release of sleep hormones largely prevented.
  • the imaging system one not visible to the driver arranged camera includes. Through this configuration the impression that is sometimes perceived as disturbing becomes one Prevents surveillance that come from visible cameras can. To hide the camera, it can preferably behind a one-sided transparent mirror or Divider mirror can be arranged.
  • the camera has a deflecting lens is assigned via which the camera The driver's field of vision is captured.
  • a deflecting optic results in a larger one Degree of freedom regarding the mounting location of the camera.
  • the camera can therefore also be installed in locations that offer enough space, but no direct orientation the camera onto the driver's field of vision allow.
  • the deflecting optics after a further configuration depending on the seating position and / or the size of the driver by means of a automatic control is adjustable. This will ensures that the camera always has at least one eye of the respective driver continuously recorded, even if it changes its seating position or if a driver change between different tall people.
  • Another advantageous embodiment of the invention Device consists of this with a electronic control and at least one light sensor to provide the brightness of the surroundings of the Vehicle driver of steered vehicle recorded, wherein by means of the electronic control from the Illumination device emits light radiation in Dependence on the light radiation falling on the light sensor the environment is controlled.
  • Another advantageous embodiment of the invention Device consists of this with a electronic control and at least one light sensor to provide the light radiation of an external Glare source detected, by the lighting device emitted light radiation by means of the electronic control depending on the on the Light sensor covered by light radiation from the outside Glare source is controlled.
  • the device according to the invention additionally the function, dazzling the driver when driving on or long tunnels through oncoming vehicles to prevent.
  • a particularly preferred embodiment of the invention Device is characterized in that at least the image recording system and the lighting device in a assigned to the driver pivotable sun visor are integrated, the Image evaluation system that is outside the sun visor or can also be arranged in the sun visor a data and supply connection with the image recording system and the lighting device is.
  • a sun visor provides an optimal one Installation location for the device according to the invention others allow this to be summarized all essential parts of the device in one only piece of equipment that as a supply part can be prefabricated and as such the effort the dismantling of the vehicle in question is not increased.
  • the sun visor on both sides has a divider mirror, the image recording system in an extended position of the sun visor over a divider and in a folded Position the sun visor over the other divider mirror Images of the area of at least one eye of the driver receives.
  • Figures 1 and 2 show a vehicle driver 1 am Steering wheel 2 of a motor vehicle.
  • the driver 1 is as usual, a swiveling sun visor 3 is assigned, 1 shows the situation in which the Sun visor 3 is in its folded position. This situation generally corresponds to the situation a descent or a long tunnel trip.
  • the sun visor 3 is according to the invention with a Image acquisition system for infrared lighting Taking pictures of the area of at least one Provide eye of the driver 1. Furthermore, a Image evaluation system available, that of the image acquisition system evaluates captured images and depending on one Change in the visible size of the corneal surface, the blinking frequency and / or the blinking duration of the Eye on the field of vision of the driver 1 directed or orientable lighting device 4 controls the wide area of a fatigue of the The driver emits counteracting light.
  • the determination of a critical state of tiredness Driver 1 can in particular on the so-called Cornea reflection method based on the Reflectance of the cornea, which is from Degree of opening of the eyelid depends on, is measured.
  • the image evaluation system can by a suitable Computer (computer) or microprocessor with memory device be realized.
  • a suitable Computer computer
  • that too Image evaluation system can be integrated in the sun visor 3.
  • the computer or microprocessor is at a standstill then via a data and voltage supply connection with the electro-optical and electronic components the sun visor 3 in dialogue.
  • the image evaluation system is also equipped with a warning signal device (not shown) connected to the Vehicle driver 1 by an optical and / or acoustic Warning signal warns when the image evaluation system is with him has found a critical state of fatigue.
  • the image recording system comprises a miniature camera 5, which is a photosensitive CCD array, a lens, a Has aperture and a focusing device.
  • the camera 5, which is invisible to the driver 1 in the sun visor 3 is arranged, the visual field 6 of the Vehicle driver 1 via a deflection lens 7 in the form of a Mirror, which is preferably convex.
  • a deflection lens 7 in the form of a Mirror, which is preferably convex.
  • the Beam path 8 'of the camera 3 is also a splitter mirror 9 arranged that an opening within the wall or Cover of the sun visor 3 covers and for the driver 1 is visible (see FIGS. 4 and 5).
  • a second corresponding divider mirror 10 is on the opposite side of the sun visor 3 is arranged and also visible to the driver when the Sun visor 3 is unfolded.
  • the two divider mirrors 9, 10 are so arranged that the camera 5 in the folded Position of the sun visor 3 over the divider mirror 9 and in the extended position over the divider mirror 10 Images of the area of at least one eye of the driver 1 records.
  • the deflection mirror 7 is movably mounted.
  • the spatial Position of the deflecting mirror 7 is by means of a motor 11 and a gear 12 having an actuator in Dependence of the seating position or the size of the driver 1 set automatically.
  • the engine 11 of the Actuator is controlled by the image evaluation system.
  • the image evaluation system compares those recorded by the camera 5 Images with the reference images and adjusted at one deviation exceeding a certain limit between captured images and reference image Deflecting mirror 7 until the pictures taken with the reference picture (s) again in a certain one Dimension match.
  • the lighting device 4 of the invention Device preferably consists of a plate-shaped, essentially rectangular light guide, the has a wide-area light exit surface.
  • the Light guide consists of glass or a glass-like Plastic, for example acrylic glass.
  • On the light exit surface opposite side of the light guide preferably a reflective coating or Printing on. In the illustrated embodiment takes up about half of the light exit surface Flat side of the sun visor 3. It is only on the Side of the sun visor 3 arranged in the unfolded Position of the sun visor 3 in the direction of travel has.
  • UV-A radiation is emitted, which is a wavelength in the range from 320 to 400 nm.
  • the upper edge of the sun visor 3 has an opening, in which a light sensor 17 is embedded.
  • the light sensor 17 is used to detect the external brightness and is connected to an electronic control, by means of the intensity of the from the lighting device 4 emitted visible and invisible Light radiation depending on the on the light sensor 17 falling light radiation controlled the environment becomes.
  • the computer or microprocessor preferably comprises of the image evaluation system this electronic Control.
  • the light sensors 18, 19 are used for detection the light radiation of oncoming vehicles or external glare sources during night driving as well longer tunnel journeys.
  • the light sensors 18, 19 are with connected to an electronic control, which at least that emitted by the lighting device 4 visible light radiation depending on the on the Light sensors 18, 19 falling light radiation from the Glare source controls.
  • the emitted UV radiation depending on the detected Glare radiation can be controlled.
  • At 20 is an on-off switch designated.

Landscapes

  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Studio Devices (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Ignition Installations For Internal Combustion Engines (AREA)

Abstract

Die Erfindung betrifft eine Vorrichtung zur Überwachung und Beeinflussung der Wachsamkeit eines Fahrzeugführers (1), mit einem eine Infrarotbeleuchtung umfassenden Bildaufnahmesystem zum Aufnehmen von Bildern des Bereiches wenigstens eines Auges des Fahrzeugführers (1) und einem Bildauswertesystem, das vom Bildaufnahmesystem aufgenommene Bilder auswertet. Um bei Nachtfahrten einer eintretenden Müdigkeit des Fahrzeugführers entgegenzuwirken, ist vorgesehen, dass das Bildauswertesystem in Abhängigkeit einer Veränderung der sichtbaren Größe der Cornea-Oberfläche, der Lidschlagfrequenz und/oder der Lidschlagdauer des Auges eine auf das Gesichtsfeld (6) des Fahrzeugführers (1) gerichtete oder ausrichtbare Beleuchtungseinrichtung (4) ansteuert, die breitflächig ein einer Ermüdung des Fahrzeugführers entgegenwirkendes Licht emittiert. Nach einer bevorzugten Ausgestaltung sind die wesentlichen Elemente der erfindungsgemäßen Vorrichtung in einer Sonnenblende (3) integriert. <IMAGE>

Description

Die Erfindung betrifft eine Vorrichtung zur Überwachung und Beeinflussung der Wachsamkeit eines Fahrzeugführers, mit einem eine Infrarotbeleuchtung umfassenden Bildaufnahmesystem zum Aufnehmen von Bildern des Bereiches wenigstens eines Auges des Fahrzeugführers und einem Bildauswertesystem, das vom Bildaufnahmesystem aufgenommene Bilder auswertet.
Es wurde bereits verschiedene Vorrichtungen vorgeschlagen, die dazu dienen, den Wachheits- bzw. Vigilanzzustand eines Fahrzeugführers kontinuierlich zu überwachen und ihn dadurch während des Fahrens rechtzeitig vor dem Einschlafen zu warnen. Dazu werden von einem Bildaufnahmesystem Bilder des Bereiches wenigstens eines Auges aufgenommen und von einem nachgeschalteten Bildauswertesystem analysiert. Bei Vorrichtungen dieser Art, wie sie beispielsweise aus der DE 198 03 158 C1 und der DE 196 21 435 A1 bekannt sind, beinhaltet das Bildauswertesystem Mittel zur Lidschlußerkennung, mit denen ein zunehmendes zeitweises Schließen der Augen festgestellt werden kann, was als zunehmende Müdigkeit interpretiert wird. Dem Bildauswertesystem ist eine Warnsystemeinrichtung zugeordnet, die in Abhängigkeit eines festgestellten Müdigkeitszustandes ein Warnsignal für den Fahrzeugführer erzeugt.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, eine Vorrichtung zu schaffen, welche die Wachsamkeit eines Fahrzeugführers nicht lediglich überwacht, um ihn bei einsetzender Müdigkeit zu warnen, sondern um einer einsetzenden Müdigkeit des Fahrzeugführers bei Nachtfahrten entgegenzuwirken.
Diese Aufgabe wird erfindungsgemäß dadurch gelöst, dass das Bildauswertesystem in Abhängigkeit einer Veränderung der sichtbaren Größe der Cornea-Oberfläche, der Lidschlagfrequenz und/oder der Lidschlagdauer des Auges eine auf das Gesichtsfeld des Fahrzeugführers gerichtete oder ausrichtbare Beleuchtungseinrichtung ansteuert, die breitflächig ein einer Ermüdung des Fahrzeugführers entgegenwirkendes Licht emittiert.
Die Erfindung schafft somit ein automatisches Überwachungssystem, das die Augen des Fahrzeugführers bei einsetzender Müdigkeit mit Licht eines Strahlungsspektrums beleuchtet, welches eine Schlafhormonausschüttung weitestgehend verhindert.
Nach einer bevorzugten Ausgestaltung der erfindungsgemäßen Vorrichtung ist vorgesehen, dass das Bildaufnahmesystem eine für den Fahrzeugführer nicht sichtbar angeordnete Kamera umfasst. Durch diese Ausgestaltung wird der mitunter als störend empfundene Eindruck einer Überwachung verhindert, der von sichtbaren Kameras ausgehen kann. Um die Kamera zu verbergen, kann sie vorzugsweise hinter einem einseitig durchsichtigen Spiegel bzw. Teilerspiegel angeordnet werden.
Weiter ist es vorteilhaft, wenn der Kamera eine Umlenkoptik zugeordnet ist, über welche die Kamera das Gesichtsfeld des Fahrzeugführers erfasst. Durch die Verwendung einer Umlenkoptik ergibt sich einer größerer Freiheitsgrad hinsichtlich des Montageortes der Kamera. Die Kamera kann somit auch an Orten montiert werden, die ausreichend Platz bieten, jedoch keine unmittelbare Ausrichtung der Kamera auf das Gesichtsfeld des Fahrzeugführers erlauben.
Vorteilhaft ist ferner, wenn die Umlenkoptik nach einer weiteren Ausgestaltung in Abhängigkeit der Sitzposition und/oder der Größe des Fahrzeugführers mittels einer automatischen Steuerung verstellbar ist. Hierdurch wird sichergestellt, dass die Kamera stets wenigstens ein Auge des jeweiligen Fahrzeugführers kontinuierlich erfasst, und zwar auch dann, wenn dieser seine Sitzposition ändert bzw. wenn ein Fahrerwechsel zwischen unterschiedlich großen Personen erfolgt ist.
Eine andere vorteilhafte Ausgestaltung der erfindungsgemäßen Vorrichtung besteht darin, diese mit einer elektronischen Steuerung und mindestens einem Lichtsensor zu versehen, der die Helligkeit der Umgebung des vom Fahrzeugführer gelenkten Fahrzeuges erfasst, wobei mittels der elektronischen Steuerung die von der Beleuchtungseinrichtung emittierte Lichtstrahlung in Abhängigkeit von der auf den Lichtsensor fallenden Lichtstrahlung der Umgebung gesteuert wird. Durch diese Ausgestaltung wird erreicht, dass die Beleuchtungseinrichtung bei einsetzender Dunkelheit bzw. bei längeren Tunnelfahrten automatisch eingeschaltet wird und eine Grundbeleuchtung in Form von sichtbarem, diffusem Licht, einschließlich Infrarot-Licht, in Richtung des Gesichtsfeldes des Fahrzeugführers emittiert.
Eine weitere vorteilhafte Ausgestaltung der erfindungsgemäßen Vorrichtung besteht darin, diese mit einer elektronischen Steuerung und mindestens einem Lichtsensor zu versehen, der die Lichtstrahlung einer äußeren Blendungsquelle erfasst, wobei die von der Beleuchtungseinrichtung emittierte Lichtstrahlung mittels der elektronischen Steuerung in Abhängigkeit von der auf den Lichtsensor fallenden Lichtstrahlung der äußeren Blendungsquelle gesteuert wird. Hierdurch übernimmt die erfindungsgemäße Vorrichtung zusätzlich die Funktion, eine Blendung des Fahrzeugführers bei Nachfahrten bzw. längeren Tunnelfahrten durch entgegenkommende Fahrzeuge zu verhindern.
Eine besonders bevorzugte Ausgestaltung der erfindungsgemäßen Vorrichtung ist dadurch gekennzeichnet, dass wenigstens das Bildaufnahmesystem und die Beleuchtungseinrichtung in einer dem Fahrzeugführer zugeordneten verschwenkbaren Sonnenblende integriert sind, wobei das Bildauswertesystem, das außerhalb der Sonnenblende oder ebenfalls in der Sonnenblende angeordnet sein kann, über einen Daten- und Versorgungsanschluß mit dem Bildaufnahmesystem und der Beleuchtungseinrichtung verbunden ist. Zum einen stellt eine Sonnenblende einen optimalen Einbauort für die erfindungsgemäße Vorrichtung dar. Zum anderen ermöglicht diese Ausgestaltung eine Zusammenfassung aller wesentlichen Teile der Vorrichtung in einem einzigen Ausstattungsteil, das als Zulieferungsteil vorgefertigt werden kann und als solches den Aufwand bei der Entmontage des betreffenden Fahrzeuges nicht erhöht.
Eine weitere vorteilhafte Ausgestaltung der Erfindung besteht darin, dass die Sonnenblende beidseitig jeweils einen Teilerspiegel aufweist, wobei das Bildaufnahmesystem in einer ausgeklappten Stellung der Sonnenblende über den einen Teilerspiegel und in einer eingeklappten Stellung der Sonnenblende über den anderen Teilerspiegel Bilder des Bereiches wenigstens eines Auges des Fahrzeugführers aufnimmt.
Weitere bevorzugte und vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.
Nachfolgend wird die Erfindung anhand einer ein Ausführungsbeispiel darstellenden Zeichnung näher erläutert.
Es zeigen:
Fig. 1
eine schematische Darstellung eines Fahrzeugführers in Seitenansicht am Lenkrad eines Kraftfahrzeuges;
Fig. 2
eine schematische Darstellung des Fahrzeugführers gemäß Fig. 1 in Draufsicht;
Fig. 3
eine perspektivische Darstellung einer Sonnenblende von außerhalb eines Fahrzeuges in Richtung eines Fahrzeugführers betrachtet;
Fig. 4
eine weitere perspektivische Darstellung der Sonnenblende gemäß Fig. 3;
Fig. 5
eine Querschnittdarstellung der Sonnenblende gemäß Fig. 3 in einer eingeklappten Stellung und in einer (gestrichelt dargestellten) ausgeklappten Stellung; und
Fig. 6
eine weitere perspektivische Darstellung der Sonnenblende gemäß Fig. 3 in einer ausgeklappten Stellung aus der Sicht eines Fahrzeugführers.
Die Figuren 1 und 2 zeigen einen Fahrzeugführer 1 am Lenkrad 2 eines Kraftfahrzeuges. Dem Fahrzeugführer 1 ist wie üblich eine verschwenkbare Sonnenblende 3 zugeordnet, wobei Fig. 1 die Situation zeigt, in welcher sich die Sonnenblende 3 in ihrer eingeklappten Stellung befindet. Diese Situation entspricht in der Regel der Situation bei einer Nachfahrt oder einer längeren Tunnelfahrt.
Die Sonnenblende 3 ist erfindungsgemäß mit einem eine Infrarotbeleuchtung umfassenden Bildaufnahmesystem zum Aufnehmen von Bildern des Bereiches wenigstens eines Auges des Fahrzeugführers 1 versehen. Ferner ist ein Bildauswertesystem vorhanden, das vom Bildaufnahmesystem aufgenommene Bilder auswertet und in Abhängigkeit einer Veränderung der sichtbaren Größe der Cornea-Oberfläche, der Lidschlagfrequenz und/oder der Lidschlagdauer des Auges eine auf das Gesichtsfeld des Fahrzeugführers 1 gerichtete bzw. ausrichtbare Beleuchtungseinrichtung 4 ansteuert, die breitflächig ein einer Ermüdung des Fahrzeugführers entgegenwirkendes Licht emittiert.
Die Feststellung eines kritischen Müdigkeitszustandes des Fahrzeugführers 1 kann insbesondere auf der sogenannten Cornea-Reflexions-Methode basieren, bei der der Reflexionsgrad der Hornhaut (Cornea), welcher vom Öffnungsgrad des Augenlides abhängt, gemessen wird.
Das Bildauswertesystem kann durch einen geeigneten Rechner (Computer) bzw. Mikroprozessor mit Speichereinrichtung realisiert sein. Vorzugsweise kann auch das Bildauswertesystem in der Sonnenblende 3 integriert sein. Es kann jedoch auch an einem anderen Ort im Fahrzeug angeordnet werden. Der Rechner bzw. Mikroprozessor steht dann über einen Daten- und Spannungsversorgungsanschluss mit den elektrooptischen und elektronischen Komponenten der Sonnenblende 3 im Dialog.
Das Bildauswertesystem ist ferner mit einer Warnsignaleinrichtung (nicht dargestellt) verbunden, die den Fahrzeugführer 1 durch ein optisches und/oder akustisches Warnsignal warnt, wenn das Bildauswertesystem bei ihm einen kritischen Müdigkeitszustandes festgestellt hat.
Das Bildaufnahmesystem umfasst eine Miniatur-Kamera 5, die ein lichtempfindliches CCD-Array, eine Linse, eine Blende und eine Fokussiereinrichtung aufweist. Die Kamera 5, die für den Fahrzeugführer 1 unsichtbar in der Sonnenblende 3 angeordnet ist, erfasst das Gesichtsfeld 6 des Fahrzeugführers 1 über eine Umlenkoptik 7 in Form eines Spiegels, der vorzugsweise konvex ausgebildet ist. Im Strahlengang 8' der Kamera 3 ist ferner ein Teilerspiegel 9 angeordnet, der eine Öffnung innerhalb der Wandung bzw. Hülle der Sonnenblende 3 abdeckt und für den Fahrzeugführer 1 sichtbar ist (vgl. Figuren 4 und 5).
Ein zweiter entsprechender Teilerspiegel 10 ist auf der gegenüberliegenden Seite der Sonnenblende 3 angeordnet und für den Fahrzeugführer ebenfalls sichtbar, wenn die Sonnenblende 3 ausgeklappt wird. Wie insbesondere in Fig. 5 zu erkennen ist, sind die beiden Teilerspiegel 9, 10 so angeordnet, dass die Kamera 5 in der eingeklappten Stellung der Sonnenblende 3 über den Teilerspiegel 9 und in der ausgeklappten Stellung über den Teilerspiegel 10 Bilder des Bereichs wenigstens eines Auges des Fahrzeugführers 1 aufnimmt.
Der Umlenkspiegel 7 ist beweglich gelagert. Die räumliche Lage des Umlenkspiegels 7 wird mittels eines einen Motor 11 und ein Getriebe 12 aufweisenden Stellantriebes in Abhängigkeit der Sitzposition bzw. der Größe des Fahrzeugführers 1 automatisch eingestellt. Der Motor 11 des Stellantriebes wird hierzu vom Bildauswertesystem angesteuert. Im Bildauswertesystem sind ein oder mehrere Referenzbilder gespeichert, die einem zu erfassenden Gesichtsfeld (Gesichtsmuster) entsprechen. Das Bildauswertesystem vergleicht die von der Kamera 5 aufgenommenen Bilder mit den Referenzbildern und verstellt bei einer einen bestimmten Grenzwert übersteigenden Abweichung zwischen aufgenommenen Bildern und Referenzbild den Umlenkspiegel 7 so weit, bis die aufgenommenen Bilder mit dem bzw. den Referenzbildern wieder in einem bestimmten Maß übereinstimmen.
Die Beleuchtungseinrichtung 4 der erfindungsgemäßen Vorrichtung besteht vorzugsweise aus einem plattenförmigen, im wesentlichen rechteckigen Lichtleiter, der eine breitflächige Lichtaustrittsfläche aufweist. Der Lichtleiter besteht aus Glas oder einem glasartigen Kunststoff, beispielsweise Acrylglas. An der der Lichtaustrittsfläche gegenüberliegenden Seite weist der Lichtleiter vorzugsweise eine reflektierende Beschichtung oder Bedruckung auf. Bei dem dargestellten Ausführungsbeispiel nimmt die Lichtaustrittsfläche über die Hälfte einer Flachseite der Sonnenblende 3 ein. Sie ist nur auf der Seite der Sonnenblende 3 angeordnet, die in der ausgeklappten Stellung der Sonnenblende 3 in Fahrtrichtung weist.
An den Rändern des Lichtleiters sind unterschiedliche Lichtquellen angeordnet, wobei ihr Licht jeweils über die schmalen Randflächen in den Lichtleiter eingekoppelt wird (vgl. Fig. 4). Am oberen Längsrand des Lichtleiters ist eine Leuchtdiodenleiste 13 angeordnet, mittels der sichtbares Licht (Licht aus dem Vollspektrum) in den Lichtleiter eingekoppelt wird. An den beiden Querrändern ist jeweils eine Infrarotlicht-Leuchtdiodenleiste 14 bzw. 15 angeordnet. Am unteren Längsrand befindet sich eine Leuchtdiodenleiste 16, die UV-Licht emittiert. Vorzugsweise wird UV-A-Strahlung emittiert, die eine Wellenlänge im Bereich von 320 bis 400 nm besitzt. Versuche haben gezeigt, dass eine Strahlung im UV-A-Spektrum einer Ermüdung von Testpersonen wirksam entgegenwirkt.
Der obere Rand der Sonnenblende 3 weist eine Öffnung auf, in die ein Lichtsensor 17 eingelassen ist. Der Lichtsensor 17 dient der Erfassung der äußeren Helligkeit und ist an einer elektronischen Steuerung angeschlossen, mittels der die Intensität der von der Beleuchtungseinrichtung 4 emittierten sichtbaren und unsichtbaren Lichtstrahlung in Abhängigkeit von der auf den Lichtsensor 17 fallenden Lichtstrahlung der Umgebung gesteuert wird. Vorzugsweise umfasst der Rechner bzw. Mikroprozessor des Bildauswertesystems diese elektronische Steuerung.
Neben dem Lichtsensor 17 sind am oberen Rand der Sonnenblende 3 rechts und links zwei weitere Lichtsensoren 18, 19 angeordnet. Die Lichtsensoren 18, 19 dienen der Erfassung der Lichtstrahlung entgegenkommender Fahrzeuge bzw. äußerer Blendungsquellen während Nachtfahrten sowie längeren Tunnelfahrten. Die Lichtsensoren 18, 19 sind mit einer elektronischen Steuerung verbunden, welche zumindest die von der Beleuchtungseinrichtung 4 emittierte sichtbare Lichtstrahlung in Abhängigkeit von der auf die Lichtsensoren 18, 19 fallenden Lichtstrahlung der Blendungsquelle steuert. Zusätzlich kann aber auch die emittierte UV-Strahlung in Abhängigkeit von der erfassten Blendungsstrahlung gesteuert werden. Vorzugsweise übernimmt der Rechner bzw. Mikroprozessor des Bildauswertesystems auch diese Steuerung. Mit 20 ist ein Ein-Aus-Schalter bezeichnet.
In der ausgeklappten Stellung der Sonnenblende 3 ist die Lichtaustrittsfläche nicht dem Gesichtsfeld 6 des Fahrzeugführers 1 zugewandt. Dies ist allerdings auch nicht zweckmäßig, da die Sonnenblende 3 in der Regel nur bei Fahrten am Tag ausgeklappt wird, nämlich dann, wenn die Sonne den Fahrzeugführer blendet. Auch in der ausgeklappten Stellung kann die Kamera 5 jedoch über den Teilerspiegel 10 das Gesichtsfeld 6 des Fahrzeugführers 1 erfassen. Somit ist in der ausgeklappten Stellung der Sonnenblende 3 gewährleistet, dass in Abhängigkeit eines durch das Bildauswertesystem festgestellten Müdigkeitszustandes des Fahrzeugführers 1 ein Warnsignal an ihn durch eine geeignete optische und/oder akustische Signaleinrichtung abgegeben wird.
Die vorstehend beschriebene Sonnenblende 3 ist somit eine multifunktionale Sonnenblende, die neben ihrer üblichen Funktion zusätzlich die Funktionen
  • der Überwachung der Wachsamkeit eines Fahrzeugführers,
  • der automatischen Ausstrahlung eines einer Ermüdung des Fahrzeugführers entgegenwirkendes Lichtes und
  • der Verhinderung einer Blendung des Fahrzeugführers durch das Fahrtlicht entgegenkommender Fahrzeuge bei Fahrten im Dunkeln übernimmt.
Bezugszeichenliste
1
Fahrzeugführer
2
Lenkrad
3
Sonnenblende
4
Beleuchtungseinrichtung
5
Kamera
6
Gesichtsfeld
7
Umlenkspiegel
8
Strahlengang
8'
Strahlengang
9
Teilerspiegel
10
Teilerspiegel
11
Elektromotor
12
Getriebe
13
Leuchtdiodenleiste (sichtbares Licht)
14
IR-Leuchtdiodenleiste
15
IR-Leuchtdiodenleiste
16
UV-Leuchtdiodenleiste
17
Lichtsensor
18
Lichtsensor
19
Lichtsensor
20
Ein-Aus-Schalter

Claims (14)

  1. Vorrichtung zur Überwachung und Beeinflussung der Wachsamkeit eines Fahrzeugführers (1), mit
    einem eine Infrarotbeleuchtung umfassenden Bildaufnahmesystem zum Aufnehmen von Bildern des Bereiches wenigstens eines Auges des Fahrzeugführers (1) und
    einem Bildauswertesystem, das vom Bildaufnahmesystem aufgenommene Bilder auswertet,
    dadurch gekennzeichnet, dass
    das Bildauswertesystem in Abhängigkeit einer Veränderung der sichtbaren Größe der Cornea-Oberfläche, der Lidschlagfrequenz und/oder der Lidschlagdauer des Auges eine auf das Gesichtsfeld (6) des Fahrzeugführers (1) gerichtete oder ausrichtbare Beleuchtungseinrichtung (4) ansteuert, die breitflächig ein einer Ermüdung des Fahrzeugführers (1) entgegenwirkendes Licht emittiert.
  2. Vorrichtung nach Anspruch 1,
    dadurch gekennzeichnet, dass
    die Beleuchtungseinrichtung (4) außer Infrarot-Licht auch Ultraviolett-Licht und sichtbares Licht emittiert.
  3. Vorrichtung nach Anspruch 1 oder 2,
    dadurch gekennzeichnet, dass
    das Bildaufnahmesystem eine für den Fahrzeugführer (1) unsichtbar angeordnete Kamera (5) umfasst.
  4. Vorrichtung nach Anspruch 3,
    dadurch gekennzeichnet, dass
    der Kamera (5) eine Umlenkoptik (7) zugeordnet ist, über welche die Kamera (5) das Gesichtsfeld (6) des Fahrzeugführers (1) erfasst.
  5. Vorrichtung nach Anspruch 4,
    dadurch gekennzeichnet, dass
    die Umlenkoptik (7) in Abhängigkeit der Sitzposition und/oder Größe des Fahrzeugführers (1) mittels einer Steuerung verstellbar ist.
  6. Vorrichtung nach Anspruch 4 oder 5,
    dadurch gekennzeichnet, dass
    die Umlenkoptik (7) aus einer Spiegeloptik gebildet ist.
  7. Vorrichtung nach mindestens einem der vorhergehenden Ansprüche, gekennzeichnet durch
    eine elektronische Steuerung und mindestens einen Lichtsensor (17), der die Helligkeit der Umgebung des vom Fahrzeugführer (1) gelenkten Fahrzeuges erfasst, wobei die von der Beleuchtungseinrichtung (4) emittierte Lichtstrahlung in Abhängigkeit von der auf den Lichtsensor (17) fallenden Lichtstrahlung der Umgebung mittels der elektronischen Steuerung gesteuert wird.
  8. Vorrichtung nach mindestens einem der vorhergehenden Ansprüche, gekennzeichnet durch
    eine elektronische Steuerung und mindestens einen Lichtsensor, (18, 19) der die Lichtstrahlung einer äußeren Blendungsquelle erfasst, wobei die von der Beleuchtungseinrichtung (4) emittierte Lichtstrahlung in Abhängigkeit von der auf den Lichtsensor (18, 19) fallenden Lichtstrahlung der äußeren Blendungsquelle mittels der elektronischen Steuerung gesteuert wird.
  9. Vorrichtung nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass wenigstens das Bildaufnahmesystem und die Beleuchtungseinrichtung in einer dem Fahrzeugführer (1) zugeordneten verschwenkbaren Sonnenblende (3) integriert sind.
  10. Vorrichtung nach Anspruch 9,
    dadurch gekennzeichnet, dass
    die Sonnenblende (3) mindestens einen Teilerspiegel (9, 10) aufweist, über den das Bildaufnahmesystem Bilder des Bereiches wenigstens eines Auges des Fahrzeugführers (1) aufnimmt.
  11. Vorrichtung nach Anspruch 9 oder 10,
    dadurch gekennzeichnet, dass
    die Sonnenblende (3) beidseitig jeweils einen Teilerspiegel (9, 10) aufweist, wobei das Bildaufnahmesystem in einer ausgeklappten Stellung der Sonnenblende (3) über den einen Teilerspiegel (10) und in einer eingeklappten Stellung der Sonnenblende (3) über den anderen Teilerspiegel (9) Bilder des Bereiches wenigstens eines Auges des Fahrzeugführers (1) aufnimmt.
  12. Vorrichtung nach mindestens einem der Ansprüche 9 bis 11, dadurch gekennzeichnet, dass
    die Beleuchtungseinrichtung (4) eine breitflächige Lichtaustrittsfläche aufweist, die sich mindestens über die Hälfte einer Flachseite der Sonnenblende (3) erstreckt.
  13. Vorrichtung nach mindestens einem der Ansprüche 9 bis 12, dadurch gekennzeichnet, dass
    das Bildauswertesystem in der Sonnenblende (3) integriert ist.
  14. Vorrichtung nach mindestens einem der Ansprüche 9 bis 13, dadurch gekennzeichnet, dass
    das Bildauswertesystem außerhalb der Sonnenblende (3) angeordnet und über einen Daten- und Versorgungsanschluß mit dem Bildaufnahmesystem sowie der Beleuchtungseinrichtung (4) verbindbar ist.
EP02019380A 2002-08-29 2002-08-29 Vorrichtung zur Überwachung und Beeinflussung der Wachsamkeit eines Fahrzeugführers Expired - Lifetime EP1394756B1 (de)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP02019380A EP1394756B1 (de) 2002-08-29 2002-08-29 Vorrichtung zur Überwachung und Beeinflussung der Wachsamkeit eines Fahrzeugführers
DE50207570T DE50207570D1 (de) 2002-08-29 2002-08-29 Vorrichtung zur Überwachung und Beeinflussung der Wachsamkeit eines Fahrzeugführers
PT02019380T PT1394756E (pt) 2002-08-29 2002-08-29 Sistema para controlar e influenciar a vigilância do condutor de um veículo
AT02019380T ATE333688T1 (de) 2002-08-29 2002-08-29 Vorrichtung zur überwachung und beeinflussung der wachsamkeit eines fahrzeugführers
ES02019380T ES2269572T3 (es) 2002-08-29 2002-08-29 Dispositivo para supervisar e influir sobre la vigilancia de un conductor.
DK02019380T DK1394756T3 (da) 2002-08-29 2002-08-29 Indretning til overvågning og påvirkning af en motorförers årvågenhed

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP02019380A EP1394756B1 (de) 2002-08-29 2002-08-29 Vorrichtung zur Überwachung und Beeinflussung der Wachsamkeit eines Fahrzeugführers

Publications (2)

Publication Number Publication Date
EP1394756A1 true EP1394756A1 (de) 2004-03-03
EP1394756B1 EP1394756B1 (de) 2006-07-19

Family

ID=31197859

Family Applications (1)

Application Number Title Priority Date Filing Date
EP02019380A Expired - Lifetime EP1394756B1 (de) 2002-08-29 2002-08-29 Vorrichtung zur Überwachung und Beeinflussung der Wachsamkeit eines Fahrzeugführers

Country Status (6)

Country Link
EP (1) EP1394756B1 (de)
AT (1) ATE333688T1 (de)
DE (1) DE50207570D1 (de)
DK (1) DK1394756T3 (de)
ES (1) ES2269572T3 (de)
PT (1) PT1394756E (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2237237A1 (de) * 2009-03-30 2010-10-06 Tobii Technology AB Augenschließungserkennung mit strukturierter Beleuchtung
DE202017004151U1 (de) 2017-07-05 2017-10-23 Uwe Braun Sicherheitsbrille zur Verbesserung der Reaktionszeit
CN108133572A (zh) * 2017-12-25 2018-06-08 合肥思艾汽车科技有限公司 一种驾驶员疲劳驾驶预警装置
DE102015007362B4 (de) 2015-06-10 2019-12-05 Audi Ag Kombinationsinstrument für ein Kraftfahrzeug und Kraftfahrzeug

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109496309B (zh) * 2018-08-07 2022-05-03 深圳市汇顶科技股份有限公司 疲劳状态的检测方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2215040A (en) * 1988-02-13 1989-09-13 William George David Ritchie A method and apparatus for monitoring the driver of a vehicle
DE29607558U1 (de) * 1996-04-26 1996-07-18 Neumeister, Reiner, 42697 Solingen Vorrichtung zur Überwachung einer Bedienungsperson
US20010022550A1 (en) * 2000-01-28 2001-09-20 Reitter & Schefenacker Gmbh & Co. Kg Monitoring device for vehicles, in particular, motor vehicles
WO2002050792A1 (en) * 2000-12-21 2002-06-27 Todor Stankovic The procedure and device intended for the man-machine system security preservation under a man's drowsiness conditions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2215040A (en) * 1988-02-13 1989-09-13 William George David Ritchie A method and apparatus for monitoring the driver of a vehicle
DE29607558U1 (de) * 1996-04-26 1996-07-18 Neumeister, Reiner, 42697 Solingen Vorrichtung zur Überwachung einer Bedienungsperson
US20010022550A1 (en) * 2000-01-28 2001-09-20 Reitter & Schefenacker Gmbh & Co. Kg Monitoring device for vehicles, in particular, motor vehicles
WO2002050792A1 (en) * 2000-12-21 2002-06-27 Todor Stankovic The procedure and device intended for the man-machine system security preservation under a man's drowsiness conditions

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2237237A1 (de) * 2009-03-30 2010-10-06 Tobii Technology AB Augenschließungserkennung mit strukturierter Beleuchtung
US8314707B2 (en) 2009-03-30 2012-11-20 Tobii Technology Ab Eye closure detection using structured illumination
US8902070B2 (en) 2009-03-30 2014-12-02 Tobii Technology Ab Eye closure detection using structured illumination
US9955903B2 (en) 2009-03-30 2018-05-01 Tobii Ab Eye closure detection using structured illumination
DE102015007362B4 (de) 2015-06-10 2019-12-05 Audi Ag Kombinationsinstrument für ein Kraftfahrzeug und Kraftfahrzeug
DE202017004151U1 (de) 2017-07-05 2017-10-23 Uwe Braun Sicherheitsbrille zur Verbesserung der Reaktionszeit
CN108133572A (zh) * 2017-12-25 2018-06-08 合肥思艾汽车科技有限公司 一种驾驶员疲劳驾驶预警装置

Also Published As

Publication number Publication date
ATE333688T1 (de) 2006-08-15
DE50207570D1 (de) 2006-08-31
DK1394756T3 (da) 2006-11-13
ES2269572T3 (es) 2007-04-01
EP1394756B1 (de) 2006-07-19
PT1394756E (pt) 2006-12-29

Similar Documents

Publication Publication Date Title
EP1297511B1 (de) Verfahren und vorrichtung zur überwachung des innenraums und des umfeldes eines fahrzeugs
EP1711364B1 (de) Vorrichtung zur erfassung der fahrt chtigkeit eines fahrers in einem fahrzeug
EP1783531B1 (de) Projektionsanzeige
DE102004050181B4 (de) Aktives Nachtsichtsystem mit adaptiver Bildgebung
EP3475755B1 (de) Anzeigevorrichtung zur einblendung eines virtuellen bildes in das blickfeld eines benutzers
DE102006008274B4 (de) Kraftfahrzeug mit einer optischen Erfassungsvorrichtung und Verfahren zum Betreiben eines Kraftfahrzeugs
EP1706773B1 (de) Nachtsichtsystem für kraftfahrzeuge mit partiellem optischem filter
EP1194805B1 (de) Bilddarstellungssystem und -verfahren für fahrzeuge
DE60300919T2 (de) Bildaufnahmegerät der Fahrzeuginsassen in einem Fahrzeug
EP1508476B1 (de) Fahrerassistenzsystem für Kraftfahrzeuge
WO2007014625A1 (de) Verfahren zur steuerung der beleuchtungseinrichtung eines fahrzeuges, scheinwerfersystem und verarbeitungseinrichtung
DE102004007521A1 (de) Blendschutzsystem für ein Fahrzeug
EP1262795A2 (de) Verfahren zur Verbesserung der Sicht in Fahrzeugen
DE102009002979A1 (de) Projektionsanzeigevorrichtung für Fahrzeuge
EP1465002B9 (de) Kamera mit Infrarot Filter zur Verbesserung der Sicht in einem Kraftfahrzeug
EP1022191B1 (de) Rückspiegel
DE102016213066A1 (de) Vorrichtung zur Fahrerbeobachtung
EP1503224A2 (de) Vorrichtung zur Sichtverbesserung bei Kraftfahrzeugen
EP1394756B1 (de) Vorrichtung zur Überwachung und Beeinflussung der Wachsamkeit eines Fahrzeugführers
EP1544640B1 (de) Vorrichtung zur Verbesserung der Sichtverhältnisse in einem Kraftfahrzeug
EP3733455A1 (de) Sichtsystem für ein fahrzeug
EP3213963B1 (de) Fahrzeug mit kameraeinrichtung und aussenlichtanlage
DE19903595A1 (de) Rückspiegel
DE19807065C2 (de) Verfahren zur Steuerung von Funktionen mobiler Systeme
EP1706992A1 (de) Optische sensorvorrichtung mit zumindest teilweise in das gerätegehäuse integrierter optik

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LI LU MC NL PT SE SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK RO SI

17P Request for examination filed

Effective date: 20040831

AKX Designation fees paid

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LI LU MC NL PT SE SK TR

17Q First examination report despatched

Effective date: 20050609

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LI LU MC NL PT SE SK TR

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060719

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20060831

REF Corresponds to:

Ref document number: 50207570

Country of ref document: DE

Date of ref document: 20060831

Kind code of ref document: P

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20061019

REG Reference to a national code

Ref country code: SE

Ref legal event code: TRGR

REG Reference to a national code

Ref country code: DK

Ref legal event code: T3

GBT Gb: translation of ep patent filed (gb section 77(6)(a)/1977)

Effective date: 20061025

REG Reference to a national code

Ref country code: PT

Ref legal event code: SC4A

Free format text: AVAILABILITY OF NATIONAL TRANSLATION

Effective date: 20061019

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

ET Fr: translation filed
REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2269572

Country of ref document: ES

Kind code of ref document: T3

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20070420

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20061020

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060719

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20060829

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060719

REG Reference to a national code

Ref country code: NL

Ref legal event code: SD

Effective date: 20110209

BECA Be: change of holder's address

Owner name: UWE BRAUN G.M.B.H.LANGE FELDER, D-19309 LENZEN / E

Effective date: 20110228

REG Reference to a national code

Ref country code: CH

Ref legal event code: NV

Representative=s name: TROESCH SCHEIDEGGER WERNER AG

Ref country code: CH

Ref legal event code: PUE

Owner name: UWE BRAUN GMBH

Free format text: BRAUN, UWE PETER, DIPL.-ING.#MUEHLENWEG 8D#19309 LENZEN (DE) -TRANSFER TO- UWE BRAUN GMBH#LANGE FELDER#19309 LENZEN (ELBE) (DE)

REG Reference to a national code

Ref country code: GB

Ref legal event code: 732E

Free format text: REGISTERED BETWEEN 20110203 AND 20110209

REG Reference to a national code

Ref country code: DE

Ref legal event code: R081

Ref document number: 50207570

Country of ref document: DE

Owner name: UWE BRAUN GMBH, DE

Free format text: FORMER OWNER: BRAUN, UWE PETER, DIPL.-ING., 19309 LENZEN, DE

Effective date: 20110216

REG Reference to a national code

Ref country code: FR

Ref legal event code: TP

Ref country code: SK

Ref legal event code: TE4A

Ref document number: E 1273

Country of ref document: SK

Owner name: BRAUN UWE PETER, DIPL.-ING., POTSDAM, DE

Effective date: 20110329

Ref country code: SK

Ref legal event code: PC4A

Ref document number: E 1273

Country of ref document: SK

Owner name: UWE BRAUN GMBH, LENZEN (ELBE), DE

Free format text: FORMER OWNER: BRAUN UWE PETER, DIPL.-ING., POTSDAM, DE

Effective date: 20101129

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DK

Payment date: 20110819

Year of fee payment: 10

Ref country code: CH

Payment date: 20110817

Year of fee payment: 10

REG Reference to a national code

Ref country code: ES

Ref legal event code: PC2A

Owner name: UWE BRAUN GMBH

Effective date: 20111027

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20110822

Year of fee payment: 10

Ref country code: CZ

Payment date: 20110721

Year of fee payment: 10

Ref country code: GB

Payment date: 20110817

Year of fee payment: 10

Ref country code: PT

Payment date: 20110809

Year of fee payment: 10

Ref country code: TR

Payment date: 20110810

Year of fee payment: 10

Ref country code: SK

Payment date: 20110721

Year of fee payment: 10

Ref country code: ES

Payment date: 20110819

Year of fee payment: 10

Ref country code: FI

Payment date: 20110822

Year of fee payment: 10

Ref country code: DE

Payment date: 20110817

Year of fee payment: 10

Ref country code: FR

Payment date: 20110826

Year of fee payment: 10

Ref country code: SE

Payment date: 20110817

Year of fee payment: 10

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20110819

Year of fee payment: 10

Ref country code: IT

Payment date: 20110825

Year of fee payment: 10

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: BE

Payment date: 20110902

Year of fee payment: 10

BERE Be: lapsed

Owner name: UWE BRAUN G.M.B.H.

Effective date: 20120831

REG Reference to a national code

Ref country code: PT

Ref legal event code: MM4A

Free format text: LAPSE DUE TO NON-PAYMENT OF FEES

Effective date: 20130228

REG Reference to a national code

Ref country code: NL

Ref legal event code: V1

Effective date: 20130301

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: DK

Ref legal event code: EBP

Ref country code: SE

Ref legal event code: EUG

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 333688

Country of ref document: AT

Kind code of ref document: T

Effective date: 20120829

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20120829

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130301

Ref country code: CZ

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120829

Ref country code: SE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120830

Ref country code: FI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120829

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120831

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120831

REG Reference to a national code

Ref country code: SK

Ref legal event code: MM4A

Ref document number: E 1273

Country of ref document: SK

Effective date: 20120829

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20130430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120829

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120831

Ref country code: SK

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120829

Ref country code: PT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130228

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120829

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120829

Ref country code: DK

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120831

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130301

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120831

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 50207570

Country of ref document: DE

Effective date: 20130301

REG Reference to a national code

Ref country code: ES

Ref legal event code: FD2A

Effective date: 20131021

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120830

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120829