DE102010018331A1 - Vorrichtung und Verfahren zum Erkennen einer Gefahrensituation für ein Fahrzeug - Google Patents

Vorrichtung und Verfahren zum Erkennen einer Gefahrensituation für ein Fahrzeug Download PDF

Info

Publication number
DE102010018331A1
DE102010018331A1 DE102010018331A DE102010018331A DE102010018331A1 DE 102010018331 A1 DE102010018331 A1 DE 102010018331A1 DE 102010018331 A DE102010018331 A DE 102010018331A DE 102010018331 A DE102010018331 A DE 102010018331A DE 102010018331 A1 DE102010018331 A1 DE 102010018331A1
Authority
DE
Germany
Prior art keywords
driver
reaction
dangerous situation
danger
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102010018331A
Other languages
English (en)
Inventor
Gerald Schmidt
Uwe BONNE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Priority to DE102010018331A priority Critical patent/DE102010018331A1/de
Priority to US13/094,462 priority patent/US20110261199A1/en
Publication of DE102010018331A1 publication Critical patent/DE102010018331A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/082Selecting or switching between different modes of propelling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/085Changing the parameters of the control units, e.g. changing limit values, working points by control input
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/10Accelerator pedal position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/12Brake pedal position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/14Clutch pedal position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal

Abstract

Die Erfindung betrifft eine Vorrichtung zum Erkennen einer Gefahrensituation (8) für ein Fahrzeug (2) mit einer Erfassungseinrichtung (9), welche die Fahrzeugumgebung (10) erfasst und daraus etwaige Gefahrensituationen (8) erkennt, mit einer Signaleinrichtung (11), die bei Erfassen einer Gefahrensituation (8) ein für den Fahrer (7) wahrnehmbares Warnsignal (12) aussendet, und mit einer Fahrerüberwachungseinrichtung (16), welche die Reaktion des Fahrers (7) auf das Warnsignal (12) erfasst, wobei die Fahrerüberwachungseinrichtung (16) erkennt, ob die Reaktion des Fahrers (7) eine Gefahr erkennende Reaktion repräsentiert und in diesem Fall die Gefahrensituation (8) verifiziert.

Description

  • Die Erfindung betrifft eine Vorrichtung und ein Verfahren, welche zum Erkennen einer Gefahrensituation für ein Fahrzeug dienen. Unter dem Begriff Gefahrensituation sind im Rahmen der vorliegenden Erfindung beispielsweise in Fahrtrichtung des Fahrzeugs liegende Hindernisse, weitere Verkehrsteilnehmer, die eine Kollision mit dem Fahrzeug erwarten lassen, oder im Allgemeinen Objekte zu verstehen, die eine für das Fahrzeug, die Fahrzeuginsassen und/oder andere Verkehrsteilnehmer gefährliche Situation hervorrufen können.
  • Der Deutschen Offenlegungsschrift DE 101 03 401 A1 ist ein Gefahrenabwendungssystem für ein Fahrzeug zu entnehmen mit einer Einrichtung zum Erfassen von Fahrzustandsgrößen, von Umgebungsdaten und der Fahreraktivität. Eine Datenverarbeitungsvorrichtung verarbeitet die erfassten Daten und steuert eine Sicherheitseinrichtung entsprechend einer vorgegebenen Steuerstrategie an. Zudem weist das Fahrzeug eine Einrichtung zur Identifikation des Fahrers auf. Die Datenverarbeitungseinrichtung leitet aus den Fahrzustandsgrößen, den Umgebungsdaten und den Daten über die Aktivität des Fahrers eine auf den Fahrer individuell bezogene Fahrerbelastung ab, welche zur Anpassung der Steuerstrategie und des Interventionsverhaltens des Gefahrenabwendungssystems herangezogen wird. Die Sicherheitseinrichtung umfasst ein Fahrdynamikregelsystem in Verbindung mit einem Informations- und Warnsystem. Wird eine Gefahrensituation erkannt, erfolgt eine Information/Warnung an den Fahrer. Reagiert der Fahrer darauf nicht in angemessener Weise, erfolgt durch das Gefahrenabwendungssystem eine Intervention. Dies kann ein Eingriff in die Bremsanlage, beispielsweise eine Notbremsung, ein Eingriff in die Fahrzeuglenkung, beispielsweise ein Ausweichmanöver oder ein anderer fahrdynamischer Eingriff sein. Ein derartiger Eingriff wird abgebrochen, sobald eine zur Vermeindung einer Gefährdung ausreichende Fahrerreaktion oder eine Reduktion der Gefährdung erfolgt. Die Beurteilung der Reaktion des Fahrers auf die Warnung/Information erfolgt durch ein dafür vorgesehenes Modul des Gefahrenabwendungssystems. Bei dem bekannten System besteht jedoch die Gefahr, dass das System irrtümlich unkritische Situationen als vermeintliche Gefahrensituationen einstuft. Ein daraufhin systemseitig initiierter Eingriff in die Fahrdynamik führt in einer solchen Situation zu einer Komfortverminderung und kann ungünstigstenfalls zu einer Gefährdung der Fahrzeuginsassen und/oder anderer in der Umgebung des Fahrzeugs befindlicher weiterer Verkehrsteilnehmer führen.
  • Der Erfindung liegt vor diesem Hintergrund die Aufgabe zugrunde, eine Vorrichtung und ein Verfahren zum Erkennen einer Gefahrensituation für ein Fahrzeug anzugeben, bei der bzw. dem eine mögliche Fehlauslösung einer Gefahrvermeidungseinrichtung zuverlässig vermieden ist.
  • Diese Aufgabe wird erfindungsgemäß hinsichtlich der Vorrichtung durch eine Vorrichtung mit den Merkmalen des Patentanspruchs 1 und hinsichtlich des Verfahrens durch ein Verfahren mit den Merkmalen des Patentanspruchs 11 gelöst.
  • Demgemäß ist eine Vorrichtung zum Erkennen einer Gefahrensituation für ein Fahrzeug vorgesehen mit einer Erfassungseinrichtung, welche die Fahrzeugumgebung erfasst und daraus etwaige Gefahrensituationen erkennt, mit einer Signaleinrichtung, die bei Erkennen einer Gefahrensituation ein für den Fahrer wahrnehmbares Warnsignal aussendet, und mit einer Fahrerüberwachungseinrichtung, welche die Reaktion des Fahrers auf das Warnsignal erfasst, wobei die Fahrerüberwachungseinrichtung erkennt, ob die Reaktion des Fahrers eine Gefahr erkennende Reaktion repräsentiert und wobei die Vorrichtung in diesem Fall die Gefahrensituation verifiziert.
  • Ein wesentlicher Vorteil der Erfindung besteht in der erhöhten Sicherheit für Insassen eines Fahrzeugs und für weitere Verkehrsteilnehmer, die sich in der Umgebung des Fahrzeugs befinden. Zudem werden unnötige Irritationen für den Fahrer bei fehlerhaftem Erkennen auf eine vermeintliche Gefahrensituation vermieden, weil ggf. erst nach Verifikation – d. h. also nach einem weiteren Prüfungsschritt bzw. nach Bestätigung aufgrund der Auswertung des Verhaltens des Fahrers bzw. seiner Reaktion – weitere Maßnahmen und Interventionen z. B. in Form eines Eingriffs in das Fahrverhalten erfolgen.
  • Die Erfassungseinrichtung, welche die Fahrzeugumgebung erfasst, kann z. B. in Form eines Kamerasystems, eines Ultraschall-, Infrarot-, RADAR- oder LIDAR-Sensorsystems ausgeführt sein.
  • Das von der Signaleinrichtung ausgesendete Warnsignal kann z. B. ein akustisches, optisches oder haptisches Signal sein. Das haptische Signal kann beispielsweise durch Vibrieren des Lenkrads oder des Fahrersitzes erfolgen. Ferner sind Signalisierungen an den Fahrer in Form einer Einwirkung auf das Gas-, Brems- oder Kupplungspedal denkbar. Beispielsweise kann eine Signalisierung an den Fahrer in Form einer für den Fahrer spürbaren leichten Bewegung des Bremspedals erfolgen. Als Warnsignal könnte alternativ oder zusätzlich auch ein leichter Bremseneingriff, eine Reduzierung des Motormoments oder auch nur einen kurzen Bremsruck dienen.
  • Die Reaktion des Fahrers auf ein Warnsignal kann unterschiedlich sein. Denkbar ist, dass der Fahrer bei einer tatsächlichen Gefahrensituation und diesbezüglicher Warnung reagiert, indem er den Fuß vom Gaspedal nimmt, das Bremspedal betätigt oder die Kupplung betätigt. Zudem ist eine Reaktion in Form einer Lenkbewegung oder einer Blickrichtungsänderung – nämlich z. B. in Richtung eines die Gefahrensituation verursachenden Hindernisses – denkbar.
  • Weitere Einzelheiten, Aspekte und Vorteile der Erfindung sind Gegenstand der Unteransprüche, der Zeichnung und deren jeweiliger Beschreibung.
  • In einer vorteilhaften Ausgestaltung der Erfindung beaufschlagt die Vorrichtung bei verifizierter Gefahrensituation eine Gefahrvermeidungseinrichtung mit Informationen, die die Gefahrensituation repräsentieren. Mit dem Begriff „Beaufschlagen” ist im Rahmen der vorliegenden Erfindung gemeint, dass die Vorrichtung Informationen, die die Gefahrensituation repräsentieren, für die Gefahrvermeidungseinrichtung in geeigneter Form, z. B. als Datenpaket, bereitstellt. Die Informationen sind dabei bevorzugt in einer Form, in der sie von der Gefahrvermeidungseinrichtung direkt verarbeitet und zur Vermeidung der Gefahr verwendet werden können. Durch diese Ausgestaltung kann bei Erkennen einer Gefahrensituation ein Eingreifen in die Fahrdynamik des Fahrzeugs durch die Gefahrvermeidungseinrichtung besonders effektiv durchgeführt werden.
  • Das Eingreifen in die Fahrdynamik kann beispielsweise in Form eines Bremsvorgangs oder durch ein von der Gefahrvermeidungseinrichtung gesteuertes Lenken des Fahrzeugs realisiert sein.
  • Gemäß einer weiteren bevorzugten Ausführung der Erfindung umfasst die Fahrerüberwachungseinrichtung ein Kamerasystem. Dadurch ist eine Möglichkeit gegeben, beispielsweise die Bewegungen des Fahrers aufzunehmen und diese beim Erkennen, ob die Reaktion des Fahrers eine Gefahr erkennende Reaktion repräsentiert, zu verwenden.
  • Gemäß einer anderen zweckmäßigen Ausgestaltung der Erfindung umfasst die Fahrerüberwachungseinrichtung ein Ultraschall-Sensorsystem. Dadurch ist eine besonders einfache Möglichkeit zur Überwachung des Fahrers gegeben. Durch das Ultraschall-Sensorsystem können die Bewegungen des Fahrers aufgenommen und beim Erkennen, ob die Reaktion des Fahrers eine Gefahr erkennende Reaktion repräsentiert, verwendet werden.
  • Nach einer besonders zweckmäßigen Ausführung der Erfindung erfolgt das Erkennen, ob die Reaktion des Fahrers eine Gefahr erkennende Reaktion repräsentiert, anhand der Blickrichtung des Fahrers. Durch die Auswertung der Blickrichtung des Fahrers ist eine besonders repräsentative Variante zum Erkennen, ob die Reaktion des Fahrers eine Gefahr erkennende Reaktion repräsentiert, gegeben. Anhand der Blickrichtung ist beispielsweise zu erkennen, ob der Fahrer ein Objekt sieht und dessen Gefahrpotential erkennt, welches die Erfassungseinrichtung als ein die Gefahrensituation auslösendes Objekt erkannt hat.
  • Dabei wird die Blickrichtung des Fahrers in einer vorteilhaften Ausbildung der Vorrichtung durch ein Kamerasystem erfasst.
  • Gemäß einer weiteren Ausgestaltung der Erfindung erfolgt das Erkennen, ob die Reaktion des Fahrers eine Gefahr erkennende Reaktion repräsentiert, anhand der Stellung des Gaspedals. Damit ist eine besonders einfache Möglichkeit zum Erkennen, ob die Reaktion des Fahrers eine Gefahr erkennende Reaktion repräsentiert, gegeben. Beispielsweise lässt eine Betätigung des Gaspedals den Rückschluss zu, dass der Fahrer eine mögliche Gefahrensituation nicht erkannt hat.
  • Nach einer weiteren Ausführungsform der Erfindung erfolgt das Erkennen, ob die Reaktion des Fahrers eine Gefahr erkennende Reaktion repräsentiert, anhand der Stellung des Bremspedals. Auch die Auswertung der Bremspedalstellung lässt einen Rückschluss darauf zu, ob der Fahrer eine mögliche Gefahrensituation erkennt. Beispielsweise kann die Betätigung des Bremspedals als ein Indiz dafür angesehen werden, dass der Fahrer eine Gefahrensituation erkennt.
  • Nach einer weiteren zweckmäßigen Ausgestaltung der Erfindung erfolgt das Erkennen, ob die Reaktion des Fahrers eine Gefahr erkennende Reaktion repräsentiert, anhand der Stellung des Kupplungspedals. Die Stellung des Kupplungspedals kann einen einfachen Hinweis darauf geben, ob der Fahrer die Gefahrensituation erkennt. Ein betätigtes Kupplungspedal lässt zum Beispiel auf das Erkennen einer Gefahrensituation schließen.
  • Nach einer weiteren zweckmäßigen Ausführung der Erfindung umfasst die Fahrerüberwachungseinrichtung eine auf einem künstlichen neuronalen Netz basierende Entscheidungseinheit. Dadurch ist eine besonders vorteilhafte Möglichkeit gegeben, anhand der erfassten Reaktion des Fahrers auf das Warnsignal zu entscheiden, ob der Fahrer die Gefahrensituation erkennt.
  • Unter dem Begriff künstliches neuronales Netz ist im Rahmen der vorliegenden Erfindung die derartige Programmierung eines Computers zu verstehen, dass der Computer die Informationsverarbeitung natürlicher neuronaler Netze – wie beispielweise des Gehirns – simuliert. Dadurch kann die Reaktion des Fahrers auf das Warnsignal als Information aufgenommen und vom künstlichen neuronalen Netz verarbeitet werden. Das Verarbeiten führt zu einer Entscheidung, ob sich aus der Reaktion des Fahrers auf eine Gefahr erkennende Reaktion schließen lässt.
  • In einem praktischen Anwendungsfall kann das künstliche neuronale Netz vor der Verwendung in einer Fahrerüberwachungseinrichtung über eine Vielzahl von Probeläufen mit einer simulierten Gefahrensituation und Testfahrern angelernt werden. Zudem kann sich das künstliche neuronale Netz im Laufe der Verwendung durch weitere Lernvorgänge selbstständig optimieren. Dadurch wird zudem eine Entscheidung, ob die Reaktion des Fahrers eine Gefahr erkennende Reaktion repräsentiert, mit einer erhöhten Wahrscheinlichkeit korrekt getroffen.
  • Nach einer anderen vorteilhaften Ausgestaltung der Erfindung umfasst die Fahrerüberwachungseinrichtung eine auf Wahrscheinlichkeitshypothesen basierende Entscheidungseinheit. Dadurch ist eine besonders einfache Möglichkeit zum Erkennen einer Gefahr erkennenden Reaktion des Fahrers gegeben.
  • Dabei können den unterschiedlichen Reaktionen des Fahrers vorgegebene Wahrscheinlichkeiten dafür zugeordnet sein, dass die jeweilige Reaktion eine Gefahr erkennende Reaktion repräsentiert. Dabei können nicht nur einzelne Reaktionen sondern auch Kombinationen von Reaktionen eines Fahrers bewertet werden. Anhand vorgegebener Schwellwerte für die berechnete Wahrscheinlichkeit, dass die Fahrerreaktion eine Gefahr erkennende Reaktion repräsentiert, wird die Entscheidung getroffen, ob die Reaktion des Fahrers auf das Warnsignal eine Gefahr erkennende Reaktion repräsentiert.
  • Das erfindungsgemäße Verfahren zum Erkennen einer Gefahrensituation für ein Fahrzeug sieht vor, dass
    • a) die Fahrzeugumgebung erfasst wird und
    • b) bei Erkennen einer Gefahrensituation ein für den Fahrer wahrnehmbares Warnsignal ausgesendet wird,
    • c) woraufhin die Reaktion des Fahrers auf das Warnsignal erfasst wird und
    • d) wobei erkannt wird, ob die Reaktion des Fahrers eine Gefahr erkennende Reaktion repräsentiert, und
    • e) wobei in diesem Fall die Gefahrensituation verifiziert wird.
  • Damit ist ein besonders zuverlässiges Verfahren zum Verifizieren einer Gefahrensituation für ein Fahrzeug geschaffen. Durch das Verifizieren (also die verfahrensautonome Bestätigung) werden das fehlerhafte Erkennen einer vermeintlichen Gefahrensituation und damit verbundene Irritationen für den Fahrer und seine Umgebung zuverlässig vermieden.
  • Die Erfindung wird nachfolgend anhand einer Zeichnung beispielhaft weiter erläutert. Dabei sind in den Figuren gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen. Es zeigen:
  • 1 ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung und
  • 2 schematisch den Ablauf des erfindungsgemäßen Verfahrens.
  • 1 zeigt eine erfindungsgemäße Vorrichtung 1 in einem Fahrzeug 2, das sich auf einer Straße 3 in Fahrtrichtung 4 bewegt. Vom Fahrzeug 2 aus gesehen in Fahrtrichtung 4 befindet sich ein Hindernis 5 in Form eines Fußgängers 6, der für das Fahrzeug 2 und einen Fahrer 7 eine Gefahrensituation 8 darstellt. Eine Erfassungseinrichtung 9 erfasst die Fahrzeugumgebung 10 und dabei die Gefahrensituation 8 (d. h. den Fußgänger 6). Wenn der Fußgänger 6 von der Erfassungseinrichtung 9 erfasst wird, sendet eine Signaleinrichtung 11 ein für den Fahrer 7 wahrnehmbares Warnsignal 12 aus. Das Warnsignal 12 umfasst eine akustische und optische Warnanzeige 13, welche im Bereich der Fahrzeugarmaturen 14 ausgesendet wird und somit im Wahrnehmungsbereich 15 des Fahrers 7 vorliegt.
  • Bei Aussenden des Warnsignals 12 erfasst gleichzeitig eine Fahrerüberwachungseinrichtung 16 mit einem Kamerasystem 17 und mit einem Ultraschall-Sensorsystem 18 die Reaktion des Fahrers 7 auf das Warnsignal 12. Das Kamerasystem 17 erfasst die Reaktion des Fahrers 7 auf das Warnsignal 12 durch Auswertung der Bewegungen seines Oberkörpers 19 und der Gesichtszüge 20 des Fahrers 7. Das Ultraschall-Sensorsystem 18 erfasst die Stellung des Gaspedals 21, des Bremspedals 22 und des Kupplungspedals 23. Dabei werden Informationen, die die Reaktion des Fahrers 7 auf das Warnsignal 12 repräsentieren, an eine zur Fahrerüberwachungseinrichtung 16 gehörende Entscheidungseinheit 24 geleitet.
  • Durch Auswertung der Blickrichtung 25 des Fahrers 7, der Stellung des Gaspedals 21, der Stellung des Bremspedals 22 und der Stellung des Kupplungspedals 23 entscheidet die Entscheidungseinheit 24, ob die Reaktion des Fahrers 7 eine Gefahr erkennende Reaktion repräsentiert. Die Entscheidungseinheit 24 umfasst dabei ein auf einem künstlichen neuronalen Netz basierendes Entscheidungsmodul 26 und ein auf Wahrscheinlichkeitshypothesen basierendes Entscheidungsmodul 27.
  • Erkennt die Fahrerüberwachungseinrichtung 16 basierend auf der Entscheidung der Entscheidungseinheit 24, dass es sich bei der Reaktion des Fahrers 7 auf das Warnsignal 12 um eine Gefahr erkennende Reaktion handelt, wird die Gefahrensituation 8 bestätigt (verifiziert). In diesem Fall sendet die Fahrerüberwachungseinrichtung 16 Informationen, die die Gefahrensituation repräsentieren, an eine Gefahrvermeidungseinrichtung 28. Die Gefahrvermeidungseinrichtung 28 greift gegebenenfalls in die Fahrdynamik des Fahrzeugs 2 ein. Das Eingreifen erfolgt z. B. durch einen automatischen Bremsvorgang und/oder durch einen durch die Gefahrvermeidungseinrichtung 28 gesteuerten Lenkvorgang des Fahrzeugs 2. Dadurch wird eine Kollision des Fahrzeugs 2 mit dem Fußgänger 5 vermieden.
  • 2 zeigt schematisch einen möglichen Ablauf des erfindungsgemäßen Verfahrens 30 zum Erkennen einer Gefahrensituation für ein Fahrzeug, wie sie in 1 dargestellt ist. Das Verfahren beginnt in Verfahrensschritt A, in dem die Fahrzeugumgebung erfasst wird. Auf Verfahrensschritt A folgt Verfahrensschritt B, in dem bei Erkennen einer Gefahrensituation ein für einen Fahrer wahrnehmbares Warnsignal ausgesendet wird. Daraufhin wird in einem weiteren Verfahrensschritt C die Reaktion des Fahrers auf das Warnsignal erfasst. Anschließend wird in einem Verfahrensschritt D erkannt, ob die Reaktion des Fahrers eine Gefahr erkennende Reaktion ist und in einem Verfahrensschritt F die Gefahrensituation in dem Fall, dass die Reaktion des Fahrers eine Gefahr erkennende Reaktion repräsentiert, verifiziert und eine gefahrabwendende Maßnahme, wie z. B. eine Geschwindigkeitsverminderung oder Zwangsbremsung, eingeleitet.
  • Während zumindest in der zusammenfassenden Beschreibung und in dem speziellen Beschreibungsteil und der zeichnerischen Darstellung mindestens ein Ausführungsbeispiel dargestellt ist, ist für den Fachmann ersichtlich, dass eine Vielzahl von Variationsmöglichkeiten der Erfindung besteht. Es ist ebenso ersichtlich, dass das bzw. die Ausführungsbeispiel(e) nur beispielhaft zu verstehen sind und den Umfang, die Anwendbarkeit oder die Konfiguration der Erfindung in keiner Weise beschränken sollen. Vielmehr vermitteln die allgemeine Beschreibung, der spezielle Beschreibungsteil und die zeichnerische Darstellung dem Fachmann eine Anleitung, die es ihm erlaubt, die Erfindung in wenigstens eine Ausführungsform umzusetzen, wobei selbstverständlich verschiedene Abwandlungen in der Funktion und Anordnung der einzelnen in den Ausführungsbeispielen beschriebenen Elemente vorgenommen werden können, ohne den durch die nachfolgenden Patentansprüche und deren äquivalent beanspruchten Schutzbereich zu verlassen.
  • Bezugszeichenliste
  • 1
    Vorrichtung
    2
    Fahrzeug
    3
    Straße
    4
    Fahrtrichtung
    5
    Hindernis
    6
    Fußgänger
    7
    Fahrer
    8
    Gefahrensituation
    9
    Erfassungseinrichtung
    10
    Fahrzeugumgebung
    11
    Signaleinrichtung
    12
    Warnsignal
    13
    Warnanzeige
    14
    Fahrzeugarmaturen
    15
    Wahrnehmungsbereich
    16
    Fahrerüberwachungseinrichtung
    17
    Kamerasystem
    18
    Ultraschall-Sensorsystem
    19
    Oberkörper
    20
    Gesichtszüge
    21
    Gaspedal
    22
    Bremspedal
    23
    Kupplungspedal
    24
    Entscheidungseinheit
    25
    Blickrichtung
    26
    Entscheidungsmodul
    27
    Entscheidungsmodul
    28
    Gefahrvermeidungseinrichtung
    30
    Verfahren
    A
    Verfahrensschritt
    B
    Verfahrensschritt
    C
    Verfahrensschritt
    D
    Verfahrensschritt
    E
    Verfahrensschritt
    F
    Verfahrensschritt
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 10103401 A1 [0002]

Claims (12)

  1. Vorrichtung (1) zum Erkennen einer Gefahrensituation (8) für ein Fahrzeug (2) – mit einer Erfassungseinrichtung (9), welche die Fahrzeugumgebung (10) erfasst und daraus etwaige Gefahrensituationen (8) erkennt, – mit einer Signaleinrichtung (11), die bei Erkennen einer Gefahrensituation (8) ein für den Fahrer (7) wahrnehmbares Warnsignal (12) aussendet, und – mit einer Fahrerüberwachungseinrichtung (16), welche die Reaktion des Fahrers (7) auf das Warnsignal (12) erfasst, – wobei die Fahrerüberwachungseinrichtung (16) erkennt, ob die Reaktion des Fahrers (7) eine Gefahr erkennende Reaktion repräsentiert und – in diesem Fall die Gefahrensituation (8) verifiziert.
  2. Vorrichtung nach Anspruch 1, – wobei die Vorrichtung (1) bei verifizierter Gefahrensituation (8) eine Gefahrvermeidungseinrichtung (28) mit Informationen, die die Gefahrensituation (8) repräsentieren, beaufschlagt.
  3. Vorrichtung nach Anspruch 1 oder 2, – wobei die Fahrerüberwachungseinrichtung (16) ein Kamerasystem (17) umfasst.
  4. Vorrichtung nach Anspruch 1, 2 oder 3, – wobei die Fahrerüberwachungseinrichtung (16) ein Ultraschall-Sensorsystem (18) umfasst.
  5. Vorrichtung nach wenigstens einem der vorangehenden Ansprüche, – wobei das Erkennen, ob die Reaktion des Fahrers (7) eine Gefahr erkennende Reaktion repräsentiert, unter Auswertung der Blickrichtung (25) des Fahrers (7) erfolgt.
  6. Vorrichtung nach wenigstens einem der vorangehenden Ansprüche, – wobei das Erkennen, ob die Reaktion des Fahrers eine Gefahr erkennende Reaktion repräsentiert, unter Auswertung der Stellung des Gaspedals (21) erfolgt.
  7. Vorrichtung nach wenigstens einem der vorangehenden Ansprüche, – wobei das Erkennen, ob die Reaktion des Fahrers eine Gefahr erkennende Reaktion repräsentiert, unter Auswertung der Stellung des Bremspedals (22) erfolgt.
  8. Vorrichtung nach wenigstens einem der vorangehenden Ansprüche, – wobei das Erkennen, ob die Reaktion des Fahrers eine Gefahr erkennende Reaktion repräsentiert, unter Auswertung der Stellung des Kupplungspedals (23) erfolgt.
  9. Vorrichtung nach wenigstens einem der vorangehenden Ansprüche, – wobei die Fahrerüberwachungseinrichtung (16) eine auf einem künstlichen neuronalen Netz basierende Entscheidungseinheit (26) umfasst.
  10. Vorrichtung nach wenigstens einem der vorangehenden Ansprüche, – wobei die Fahrerüberwachungseinrichtung (16) eine auf Wahrscheinlichkeitshypothesen basierende Entscheidungseinheit (27) umfasst.
  11. Verfahren zum Erkennen einer Gefahrensituation (8) für ein Fahrzeug (2), a) wobei die Fahrzeugumgebung (10) erfasst wird und b) bei Erkennen einer Gefahrensituation (8) ein für den Fahrer (7) wahrnehmbares Warnsignal (12) ausgesendet wird, c) woraufhin die Reaktion des Fahrers (7) auf das Warnsignal (12) erfasst wird und d) wobei erkannt wird, ob die Reaktion des Fahrers (7) eine Gefahr erkennende Reaktion repräsentiert und e) wobei in diesem Fall die Gefahrensituation (8) verifiziert wird.
  12. Verfahren nach Anspruch 11, – wobei bei Erkennen einer Gefahrensituation (8) in die Fahrdynamik des Fahrzeugs (2) eingegriffen wird.
DE102010018331A 2010-04-27 2010-04-27 Vorrichtung und Verfahren zum Erkennen einer Gefahrensituation für ein Fahrzeug Withdrawn DE102010018331A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102010018331A DE102010018331A1 (de) 2010-04-27 2010-04-27 Vorrichtung und Verfahren zum Erkennen einer Gefahrensituation für ein Fahrzeug
US13/094,462 US20110261199A1 (en) 2010-04-27 2011-04-26 Device and method for detecting a danger situation for a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102010018331A DE102010018331A1 (de) 2010-04-27 2010-04-27 Vorrichtung und Verfahren zum Erkennen einer Gefahrensituation für ein Fahrzeug

Publications (1)

Publication Number Publication Date
DE102010018331A1 true DE102010018331A1 (de) 2011-10-27

Family

ID=44751418

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102010018331A Withdrawn DE102010018331A1 (de) 2010-04-27 2010-04-27 Vorrichtung und Verfahren zum Erkennen einer Gefahrensituation für ein Fahrzeug

Country Status (2)

Country Link
US (1) US20110261199A1 (de)
DE (1) DE102010018331A1 (de)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017201996A1 (de) 2017-02-08 2018-08-09 Bayerische Motoren Werke Aktiengesellschaft Rückmeldung eines automatisierten Fahrzeugs an Verkehrsteilnehmer
DE102017006798A1 (de) * 2017-07-17 2019-01-17 Preh Car Connect Gmbh Ausgeben eines Warnsignals mittels einer Navigationseinrichtung
DE102019201407A1 (de) * 2019-02-04 2020-08-06 Continental Automotive Gmbh Verfahren und Vorrichtung zum Steuern der Aufmerksamkeit eines Fahrers
DE102020100487A1 (de) * 2020-01-10 2021-07-15 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs mit Berücksichtigung einer Reaktion von zumindest einem Insassen, Recheneinrichtung sowie Fahrerassistenzsystem
DE102016117348B4 (de) 2015-09-18 2022-12-29 Toyota Jidosha Kabushiki Kaisha Fahrzeugsteuerungsvorrichtung
DE102015200776B4 (de) 2015-01-20 2023-08-03 Robert Bosch Gmbh Sicherheitssystem für ein Fahrzeug

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9085262B2 (en) 2012-10-08 2015-07-21 Microsoft Technology Licensing, Llc Tinting indication of environmental conditions
US20160378112A1 (en) * 2015-06-26 2016-12-29 Intel Corporation Autonomous vehicle safety systems and methods
US9862315B2 (en) * 2015-08-12 2018-01-09 Lytx, Inc. Driver coaching from vehicle to vehicle and vehicle to infrastructure communications
JP6631545B2 (ja) * 2017-01-24 2020-01-15 株式会社デンソー 依存度推定装置
US10875537B1 (en) * 2019-07-12 2020-12-29 Toyota Research Institute, Inc. Systems and methods for monitoring the situational awareness of a vehicle according to reactions of a vehicle occupant

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4338244C2 (de) * 1992-11-13 1996-05-09 Mitsubishi Electric Corp Gefahrenabwendungssystem für ein Fahrzeug
DE10103401A1 (de) 2001-01-26 2002-08-01 Daimler Chrysler Ag Gefahrenabwendungssystem für ein Fahrzeug
DE10132386A1 (de) * 2001-07-06 2003-01-16 Volkswagen Ag Fahrerassistenzsystem
DE10161261A1 (de) * 2001-12-13 2003-07-03 Daimler Chrysler Ag Dialogsystem für Warn- und Informationssysteme
DE10211946C1 (de) * 2002-03-18 2003-07-31 Siemens Ag Steuer- oder Schaltelement für Fahrzeuge
DE10212985A1 (de) * 2002-03-22 2003-10-02 Bosch Gmbh Robert Verfahren und Vorrichtung zum Signalisieren von Gefahrensituationen in einem Kfz
DE102004046360A1 (de) * 2004-09-24 2006-03-30 Daimlerchrysler Ag Kraftfahrzeug mit einem präventiv wirkenden Schutzsystem
DE60124937T2 (de) * 2000-10-13 2007-09-20 Motorola, Inc., Phoenix Verfahren und gerät zur verbesserung des fahrerverhaltens in einem fahrzeug
DE102006042666A1 (de) * 2006-09-12 2008-03-27 Robert Bosch Gmbh Verfahren zur Vermeidung bzw. Folgenminderung der Kollision eines Fahrzeugs mit mindestens einem Objekt

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19753160C1 (de) * 1997-11-29 1999-04-15 Bosch Gmbh Robert Vorrichtung zum Erkennen einer bevorstehenden Unfallsituation eines Fahrzeugs
US6525656B1 (en) * 2001-04-12 2003-02-25 Daimlerchrysler Ag System for providing advanced warning and road user information
BRPI0411056A (pt) * 2003-06-06 2007-04-17 Volvo Technology Corp método e disposição para controlar subsistemas veiculares baseados na atividade interpretativa do condutor
US20100198491A1 (en) * 2009-02-05 2010-08-05 Paccar Inc Autonomic vehicle safety system
BRPI0925336A2 (pt) * 2009-04-07 2016-04-26 Volvo Technology Corp método e sistema para reforço de segurança e eficiência de tráfego para veículos

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4338244C2 (de) * 1992-11-13 1996-05-09 Mitsubishi Electric Corp Gefahrenabwendungssystem für ein Fahrzeug
DE60124937T2 (de) * 2000-10-13 2007-09-20 Motorola, Inc., Phoenix Verfahren und gerät zur verbesserung des fahrerverhaltens in einem fahrzeug
DE10103401A1 (de) 2001-01-26 2002-08-01 Daimler Chrysler Ag Gefahrenabwendungssystem für ein Fahrzeug
DE10132386A1 (de) * 2001-07-06 2003-01-16 Volkswagen Ag Fahrerassistenzsystem
DE10161261A1 (de) * 2001-12-13 2003-07-03 Daimler Chrysler Ag Dialogsystem für Warn- und Informationssysteme
DE10211946C1 (de) * 2002-03-18 2003-07-31 Siemens Ag Steuer- oder Schaltelement für Fahrzeuge
DE10212985A1 (de) * 2002-03-22 2003-10-02 Bosch Gmbh Robert Verfahren und Vorrichtung zum Signalisieren von Gefahrensituationen in einem Kfz
DE102004046360A1 (de) * 2004-09-24 2006-03-30 Daimlerchrysler Ag Kraftfahrzeug mit einem präventiv wirkenden Schutzsystem
DE102006042666A1 (de) * 2006-09-12 2008-03-27 Robert Bosch Gmbh Verfahren zur Vermeidung bzw. Folgenminderung der Kollision eines Fahrzeugs mit mindestens einem Objekt

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015200776B4 (de) 2015-01-20 2023-08-03 Robert Bosch Gmbh Sicherheitssystem für ein Fahrzeug
DE102016117348B4 (de) 2015-09-18 2022-12-29 Toyota Jidosha Kabushiki Kaisha Fahrzeugsteuerungsvorrichtung
DE102017201996A1 (de) 2017-02-08 2018-08-09 Bayerische Motoren Werke Aktiengesellschaft Rückmeldung eines automatisierten Fahrzeugs an Verkehrsteilnehmer
DE102017201996B4 (de) 2017-02-08 2024-02-15 Bayerische Motoren Werke Aktiengesellschaft Rückmeldung eines automatisierten Fahrzeugs an Verkehrsteilnehmer
DE102017006798A1 (de) * 2017-07-17 2019-01-17 Preh Car Connect Gmbh Ausgeben eines Warnsignals mittels einer Navigationseinrichtung
DE102019201407A1 (de) * 2019-02-04 2020-08-06 Continental Automotive Gmbh Verfahren und Vorrichtung zum Steuern der Aufmerksamkeit eines Fahrers
DE102020100487A1 (de) * 2020-01-10 2021-07-15 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs mit Berücksichtigung einer Reaktion von zumindest einem Insassen, Recheneinrichtung sowie Fahrerassistenzsystem

Also Published As

Publication number Publication date
US20110261199A1 (en) 2011-10-27

Similar Documents

Publication Publication Date Title
DE102010018331A1 (de) Vorrichtung und Verfahren zum Erkennen einer Gefahrensituation für ein Fahrzeug
EP1486933B1 (de) Fahrerassistenzsystem
EP2987154B1 (de) Verfahren und system zur vermeidung eines auffahrens eines folgefahrzeugs auf ein unmittelbares vorausfahrzeug sowie verwendung des systems
WO2018086784A1 (de) Fahrerassistenzsystem für ein kraftfahrzeug
EP3153376B1 (de) Verfahren und vorrichtung zur ermittlung der adaptiven reaktionszeit des fahrers eines kraftfahrzeugs
EP2242674A1 (de) Verfahren und assistenzsystem zum erfassen von objekten im umfeld eines fahrzeugs
DE102014212898A1 (de) Verfahren zum Ermitteln einer Notfall-Trajektorie und Verfahren zum teilautomatisierten oder automatisierten Führen eines Ego-Fahrzeugs
DE102012112802A1 (de) Verfahren zur Steuerung eines Fahrzeugs mit einem ein automatisiertes, teilautomatisiertes und ein manuelles Fahren ermöglichenden Fahrerassistenzsystem
WO2017108263A1 (de) Verfahren zur kollisionsvermeidung eines kraftfahrzeuges mit einem einsatzfahrzeug und ein diesbezügliches system und kraftfahrzeug
DE19647283A1 (de) Vorrichtung zur Vermeidung und/oder Minimierung von Konfliktsituationen im Straßenverkehr
DE102016206694B4 (de) Assistenzsystem und Verfahren eines hochautomatisierten Fahrzeugs zur Verbesserung des Zusammenwirkens mit anderen Verkehrsteilnehmern
WO2016020092A1 (de) Steuerung eines kraftfahrzeugs zur verhinderung einer falschfahrt
DE102010001304A1 (de) Verfahren zum Kontrollieren einer Verkehrssituation
DE102012100698A1 (de) Verfahren und Fahrerassistenzsystem zur Müdigkeitserkennung und/oder Aufmerksamkeitsbeurteilung eines Fahrzeugführers
DE102015200776B4 (de) Sicherheitssystem für ein Fahrzeug
DE102011013486A1 (de) Fahrerassistenzsystem für ein Fahrzeug und Verfahren zum Vermeiden einer Kollision eines Fahrzeugs mit einem Objekt
EP1932735B1 (de) Verfahren und Bremssystem zum Vermeiden von Multikollisionsunfällen und Abmildern ihrer Auswirkungen
DE102020113611A1 (de) Verfahren und Sicherheitssystem zum Absichern einer automatisierten Fahrzeugfunktion und Kraftfahrzeug
DE102013014157A1 (de) Ortsfeste Einrichtung zur Verringerung der Kollisionsgefahr von Kraftfahrzeugen
DE202013010061U1 (de) Vorrichtung zur Kollisionsvermeidung
DE102004053754A1 (de) Verfahren zur Erkennung von auffahrunfallkritischen Situationen im Kolonnenverkehr
DE102011014706A1 (de) Verfahren und Vorrichtung zur Unterstützung eines Fahrers eines Fahrzeuges bei einem ausgelösten Fußgängerschutzmittel
DE102019003864A1 (de) Vorrichtung und Verfahren zur Kollisionserkennung einer Karosserie mit einem Objekt
DE102018220419A1 (de) Vorrichtung und Verfahren zum Warnen eines dritten Fahrzeugs
DE102015208530A1 (de) Verfahren und Vorrichtung zur Reduzierung des Kollisionsrisikos eines Fahrzeugs

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: HORST, CHRISTIAN, DR., DE

Representative=s name: LKGLOBAL ] LORENZ & KOPF PARTG MBB PATENTANWAE, DE

R082 Change of representative

Representative=s name: LKGLOBAL ] LORENZ & KOPF PARTG MBB PATENTANWAE, DE

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee