DE102008042640A1 - Verfahren und Vorrichtung zur Datenreduktion bei der Datenübermittlung an ein Fahrerassistenzsystem - Google Patents

Verfahren und Vorrichtung zur Datenreduktion bei der Datenübermittlung an ein Fahrerassistenzsystem Download PDF

Info

Publication number
DE102008042640A1
DE102008042640A1 DE102008042640A DE102008042640A DE102008042640A1 DE 102008042640 A1 DE102008042640 A1 DE 102008042640A1 DE 102008042640 A DE102008042640 A DE 102008042640A DE 102008042640 A DE102008042640 A DE 102008042640A DE 102008042640 A1 DE102008042640 A1 DE 102008042640A1
Authority
DE
Germany
Prior art keywords
data
values
driver assistance
assistance system
reduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102008042640A
Other languages
English (en)
Other versions
DE102008042640B4 (de
Inventor
Jorge Sans Sangorrin
Paul-Sebastian Lauer
Wolfgang Branz
Andreas Simon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102008042640.7A priority Critical patent/DE102008042640B4/de
Publication of DE102008042640A1 publication Critical patent/DE102008042640A1/de
Application granted granted Critical
Publication of DE102008042640B4 publication Critical patent/DE102008042640B4/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Abstract

Verfahren zur Datenreduktion bei der Übermittlung der aus Umgebungssensorsignalen erzeugten Konturen unterschiedlicher Umgebungsregionen (1', 3', 6', 7') an ein Fahrerassistenzsystem (9), wobei die Umgebungsregionen (1', 3', 6', 7') Bereiche einheitlicher Konfidenz bilden und die Fahrbahn, vorausfahrende Fahrzeuge oder andere Objekte oder Bereiche bezeichnen können und die Konfidenzwerte der jweiligen Umgebungsregionen zur Datenreduktion festlegbaren Schwellwerten zugeordnet werden, bevor diese dem Fahrerassistenzsystem (9) übermittelt werden.

Description

  • Stand der Technik
  • Die Erfindung geht aus von einem Verfahren zur Datenreduktion gemäß Oberbegriff des Anspruchs 1.
  • Die Umweltwahrnehmung für Fahrerassistenzsysteme gewinnt zunehmend an Bedeutung. Zum Einsatz kommen dabei Sensoren, wie beispielsweise Kamerasysteme, Radar und Ultraschall. Die erzeugten Sensordaten enthalten Messwerte und dazugehörige Konfidenzwerte, wobei die Konfidenzwerte ein Maß dafür angeben, mit welcher Zuverlässigkeit ein Messwert einem bestimmten Objekt, zum Beispiel einer Fahrbahn, einem Fahrzeug oder einem Gebäude, zugehörig ist. Die Mess- und Konfidenzwerte werden durch nachgeschaltete Algorithmen untersucht und interpretiert. Das Ergebnis der Interpretation wird dann über eine Schnittstelle an das jeweilige Fahrerassistenzsystem (FAS) übertragen, welches dann unter Berücksichtigung der Sensordaten eine Regelung des Fahrzeugbetriebs übernehmen kann. Mit zunehmender Leistungsfähigkeit der Sensoren nimmt die Komplexität der Informationen, d. h. die zu übertragende Datendichte, immer weiter zu. Aus der DE 102 54 806 B4 ist ein derartiges Fahrerassistenzsystem bekannt.
  • Um diese Information jedoch über eine begrenzt leistungsfähige Schnittstelle (z. B. CAN-Bus) an ein FAS möglichst schnell übertragen zu können, müssen die Daten weiter verdichtet werden.
  • Vorteile der Erfindung
  • Durch Verkettung unterschiedlicher, im folgenden aufgeführten Algorithmen, wird eine Schnittstelle zwischen den durch einen Sensor erfassten Messwerten und dem FAS, das in die Fahrzeugregelung eingreifen kann, definiert. Dabei wird eine skalierbare Reduktion der zu übertragenden Daten in mehreren Stufen ermöglicht.
  • In einem ersten Schritt werden die Messwerte, die zu einem physikalischen Objekt gehören, mittels ihrer Konfidenzwerte über einstellbare Schwellen zu einer Umgebungsregion zusammengefasst. Die Übertragung der Messwerte mit jeweiliger Konfidenz für ein physikalisches Objekt reduziert sich somit auf die Übertragung der Messwerte einer Umgebungsregion mit nur einer einheitlichen Konfidenz, die sich beispielsweise aus Mittelung der ursprünglichen Konfidenzwerte ergibt. Die Umgebungsregionen können dabei in Form von Skalarfeldern abgebildet sein. Da die Anzahl und die Höhe der Schwellen für die zu berücksichtigen Konfidenzwerte einstellbar ist, lassen sich hierüber die Messpunkte zu mehr oder weniger dichten Umgebungsregionen mit jeweils einem Konfidenzmaß zusammenfassen, die für sich physikalische Objekte beschreiben. Hierdurch wird eine mehr oder weniger starke Datenreduktion erreicht.
  • Eine weitere Datenverdichtung kann durch Approximation der Kontur eines resultierenden Objektbereichs (bzw. Umgebungsregion) durch ein Polygon erfolgen. Die Umwandlung in ein Polygon kann z. B. mittels der Haar-Transformation erfolgen, die beschrieben ist in dem Artikel von Davis, T. J.: Fast Decomposition of Digital Curves into Polygons Using the Haar Transform. In: IEEE Transactions an Pattern Analysis an Machine Intelligence (PAMI) 21(1999), August, Nr. 8, S. 786–790. Dabei ist es vorteilhaft, die Anzahl der Polygonecken zur Anpassung an die jeweilige Anwendung einstellen und damit direkten Einfluss auf die Genauigkeit der Approximation nehmen zu können. Weniger bedeutende Umgebungsregionen können hierzu beispielsweise mit einer geringeren Anzahl von Polygonecken dargestellt werden, während für das Fahrerassistenzsystem wichtigere Umgebungsregionen mit einer höheren Anzahl von Polygonecken dargestellt werden können. Durch die Polygonisierung der Konturen wird eine erhebliche Datenreduktion erreicht, sodass auch über begrenzt leistungsfähige Datenkanäle beziehungsweise Schnittstellen die wichtigsten Daten, die das Fahrerassistenzsystem für die Regelung des Fahrzeugbetriebs benötigt, sicher und schnell übertragen werden können.
  • Eine vorteilhafte Weiterbildung der Erfindung sieht vor, dass bei der Übertragung der datenreduzierten Regionenbeschreibung zuerst die Umgebungsregionen mit hoher Konfidenz an das FAS übertragen werden, bevor die Umgebungsregionen mit niedriger Konfidenz übertragen werden. Damit wird erreicht, dass insbesondere bei weniger leistungsfähigen Übertragungswegen zumindest die wichtigsten Daten an das FAS sicher übertragen werden. Sollte die Bandbreite eines Übertragungsweges (CAN- oder LAN-Schnittstelle) nicht ausreichen, könnte die Übertragung abgebrochen werden, wobei die genauesten Informationen dann aber bereits übertragen worden sind.
  • Das erfindungsgemäße Verfahren hat nicht nur den Vorteil, dass auch über begrenzt leistungsfähige Übertragungswege die erforderlichen Daten an ein Fahrassistenzsystem sicher übertragen werden können, sondern es ergibt sich daraus auch der weitere Vorteil, dass das Fahrerassistenzsystem eine geringere Anzahl von Daten bei den weiteren Berechnungen berücksichtigen muss. Insgesamt erhöht sich dadurch die Sicherheit des gesamten Systems, da eine Überlastung des Systems durch die Datenreduzierung vermieden und eine schnellere Berechnung im Fahrerassistenzsystem zur Durchführung der Regelung des Fahrzeugbetriebs ermöglicht wird.
  • Zur Durchführung des erfindungsgemäßen Verfahrens kann ein Steuergerät vorgesehen sein, welches zwischen einem oder mehreren Umgebungssensoren, beispielsweise einer Kamera, und dem Fahrerassistenzsystem zur Datenreduktion eingesetzt ist. Es besteht weiterhin aber auch die Möglichkeit, dass die Datenreduktion durch ein Computerprogramm erfolgt, und zwar mit Programmcode-Mitteln, wofür ein dem Fahrerassistenzsystem vorgeschalteter Mikrocomputer oder ganz allgemein ein Computer zum Einsatz kommen kann.
  • Das vorgestellte Verfahren ist allgemein gültig und lässt sich sowohl auf Daten von Radar- und Lasersensoren als auch auf Kamerasysteme anwenden.
  • Zeichnung
  • Anhand eines in der Zeichnung dargestellten Ausführungsbeispiels für die kamerabasierte Erkennung befahrbarer Flächen und gleichzeitiger Objekterkennung wird die Erfindung nachfolgend näher erläutert. Es zeigen
  • 1 einen schematischen Aufbau eines Sensorsystems mit zugehörigem Fahrerassistenzsystem, und
  • 2 das Prinzip der Schwellwertannäherung an einen Werteverlauf zur Vereinfachung der Umgebungsregionen.
  • Beschreibung des Ausführungsbeispiels
  • In 1 liefert ein Sensor, der hier beispielhaft als Kamera 10 dargestellt ist, Messdaten in Form eines Bildes 20, welche in an sich bekannter Weise einer Objekt- und Freiflächendetektion unterzogen werden. Durch Auswertung der Messdaten des Bildes 20 kann, wie im nachfolgenden Bild 21 dargestellt ist, durch Erzeugung von Umgebungsregionen einheitlicher Konfidenz eine Zusammenfassung der Messpunkte erfolgen. Das Prinzip der Zusammenfassung ist in 2 dargestellt. Einzelne Fahrzeuge 11, 12 (1), bestehen zunächst aus mehreren Teilgebieten 13, 14, 15, 16 (Fahrzeug 11) mit Messdaten, deren Konfidenzen jeweils für sich unterschiedliche Schwellwerte überschreiten. In Bild 21 sind die Teilgebiete 13, 14, 15, 16 des Fahrzeugs 11, sowie die Teilgebiete 17, 18, 19 des Fahrzeugs 12, denen unterschiedliche Konfidenzen zugeordnet sind, mit unterschiedlichen Schraffuren dargestellt.
  • Die Teilgebiete 17, 18, 19 werden weiter durch die in 2 dargestellte Bildung von Niveaulinien zusammengefasst. Benachbarte Teilgebiete mit unterschiedlichen Konfidenzwerten können unter Berücksichtigung von festgelegten Schwellwerten zu einer neuen Umgebungsregion 30 (1 und 2), die durch eine einheitliche Konfidenz gekennzeichnet ist, zusammengefasst werden, z. B. durch Mittelung der Einzelwerte. Diese erste Stufe der Datenverdichtung ist in 2 beispielhaft für das Fahrzeug 12 von 1 dargestellt.
  • In 1 sind in Bild 22 die Konturen der sich neu ergebenden Umgebungsregionen mit einheitlicher Konfidenz, die im Beispiel einen Teil der Fahrbahn und zwei vorausfahrende Fahrzeuge betreffen, mit jeweils einheitlicher Schraffur dargestellt. Die Randpunkte der unterschiedlichen Umgebungsregionen definieren für jede Umgebungsregion eine charakteristische Kontur. Im folgenden werden die Konturen dieser Umgebungsregionen durch Polygone mit den in Bild 23 dar gestellten Eckpunkten 1-1-1-1, 3-3-3-3, 6-6-6-6-6-6-6, 7-7-7-7-7-7 approximiert (zweite Stufe der Datenverdichtung). Dabei besteht die Möglichkeit, nur diejenigen Umgebungsregionen, die für die FAS-Funktion wichtige Daten enthalten, über die Schnittstelle zu übertragen. Dies ist in 1 in Bild 24 im Sensorbild und in Bild 25 im Fahrzeugkoordinatensystem gezeigt. Es werden nur die Umgebungsregionen 1', 3', 6' und 7' übertragen.
  • Die ermittelten Konturdaten beziehungsweise Konturwerte und zugeordneten Konfidenzmaße werden über eine Schnittstelle 8 an ein Fahrerassistenzsystem 9 übertragen, welches anhand der Datenauswertung eine Regelung des Fahrzeugbetriebs ausführt.
  • Die Konturwerte der Umgebungsregion 7' definieren das vorausfahrende Fahrzeug 12 von 1 auf der Fahrbahn und werden in dem Fahrerassistenzsystem des Ego-Fahrzeugs 26 zur Regelung des Fahrbetriebs ausgewertet. Bremst beispielsweise das vorausfahrende Fahrzeug 12 ab, so verringert sich dadurch der Abstand zwischen dem Ego-Fahrzeug 26 und der in 1, Bild 25 dargestellten Umgebungsregion 7', wodurch das Fahrerassistenzsystem eine Verringerung der Geschwindigkeit beim Ego-Fahrzeug 26 veranlasst.
  • Das dargestellte Ausführungsbeispiel zeigt der Einfachheit halber in 1 nur einen Sensor in Form einer Kamera 10, jedoch können zusätzliche Kameras und auch Radarsensoren oder andere Sensoren einzeln oder in Kombination zur Erfassung von Umgebungsregionen zum Einsatz kommen. In jedem Fall werden erfindungsgemäß die von den Sensoren ermittelten Daten einer Datenreduzierung unterzogen, um eine reibungslose Funktion und eine schnelle Bearbeitung im Fahrerassistenzsystem zu erreichen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • - DE 10254806 B4 [0002]
  • Zitierte Nicht-Patentliteratur
    • - Davis, T. J.: Fast Decomposition of Digital Curves into Polygons Using the Haar Transform. In: IEEE Transactions an Pattern Analysis an Machine Intelligence (PAMI) 21(1999), August, Nr. 8, S. 786–790 [0006]

Claims (8)

  1. Verfahren zur Datenreduktion bei der Übermittlung der aus Umgebungssensorsignalen erzeugten Sensordaten unterschiedlicher physikalischer Objekte an ein Fahrerassistenzsystem (9), wobei die Sensordaten Messwerte und den Messwerten zugeordnete Konfidenzwerte enthalten, und die physikalischen Objekte eine Fahrbahn, vorausfahrende Fahrzeuge oder andere Objekte oder Bereiche sein können, dadurch gekennzeichnet, dass die zu einem physikalischen Objekt gehörenden Messwerte, deren Konfidenzwerte einen vorgegebenen Schwellwert überschreiten, zu einer Umgebungsregion mit einem einheitlichen Konfidenzwert zusammengefasst werden, bevor diese dem Fahrerassistenzsystem (9) übermittelt werden.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Anzahl und Höhe der Schwellen der Schwellwerte einstellbar ist.
  3. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass den einzelnen Umgebungsregionen Konfidenzwerte zugeordnet sind, die durch Zuordnung zu unterschiedlichen festlegbaren Schwellwerten eine Datenreduktion erfahren.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Approximation wenigstens einer Kontur einer Umgebungsregion (1', 3', 6', 7') durch ein Polygon erfolgt.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Anzahl der Polygonecken und damit die Genauigkeit der Approximation einstellbar ist.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Übertragung der datenreduzierten Regionenbeschreibungen zuerst die Regionen mit hoher Konfidenz an das Fahrerassistenzsystem (9) übertragen werden, bevor die Regionen mit niedriger Konfidenz übertragen werden.
  7. Vorrichtung zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein zwischen einem oder mehreren Umgebungssensoren und dem Fahrerassistenzsystem (9) eingesetztes Steuergerät die Datenreduktion ausführt.
  8. Computerprogramm mit Programmcode-Mitteln, um alle Schritte von jedem beliebigen der Ansprüche 1–6 durchzuführen, wenn das Programm auf einem Computer ausgeführt wird.
DE102008042640.7A 2008-10-07 2008-10-07 Verfahren und Vorrichtung zur Datenreduktion bei der Datenübermittlung an ein Fahrerassistenzsystem Expired - Fee Related DE102008042640B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102008042640.7A DE102008042640B4 (de) 2008-10-07 2008-10-07 Verfahren und Vorrichtung zur Datenreduktion bei der Datenübermittlung an ein Fahrerassistenzsystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102008042640.7A DE102008042640B4 (de) 2008-10-07 2008-10-07 Verfahren und Vorrichtung zur Datenreduktion bei der Datenübermittlung an ein Fahrerassistenzsystem

Publications (2)

Publication Number Publication Date
DE102008042640A1 true DE102008042640A1 (de) 2010-04-08
DE102008042640B4 DE102008042640B4 (de) 2020-03-26

Family

ID=41794789

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102008042640.7A Expired - Fee Related DE102008042640B4 (de) 2008-10-07 2008-10-07 Verfahren und Vorrichtung zur Datenreduktion bei der Datenübermittlung an ein Fahrerassistenzsystem

Country Status (1)

Country Link
DE (1) DE102008042640B4 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8125372B2 (en) * 2007-04-19 2012-02-28 Robert Bosch Gmbh Driver assistance system and method for checking the plausibility of objects
WO2018210966A1 (de) 2017-05-16 2018-11-22 Elmos Semiconductor Aktiengesellschaft Verfahren zur übertragung von daten über einen fahrzeugdatenbus von einem ultraschallsystem zu einer datenverarbeitungsvorrichtung

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10254806B4 (de) 2002-11-22 2008-07-24 Robert Bosch Gmbh Verfahren zur Informationsverarbeitung

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6807473B1 (en) * 2003-04-09 2004-10-19 Continental Teves, Inc. Road recognition system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10254806B4 (de) 2002-11-22 2008-07-24 Robert Bosch Gmbh Verfahren zur Informationsverarbeitung

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Davis, T. J.: Fast Decomposition of Digital Curves into Polygons Using the Haar Transform. In: IEEE Transactions an Pattern Analysis an Machine Intelligence (PAMI) 21(1999), August, Nr. 8, S. 786-790

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8125372B2 (en) * 2007-04-19 2012-02-28 Robert Bosch Gmbh Driver assistance system and method for checking the plausibility of objects
WO2018210966A1 (de) 2017-05-16 2018-11-22 Elmos Semiconductor Aktiengesellschaft Verfahren zur übertragung von daten über einen fahrzeugdatenbus von einem ultraschallsystem zu einer datenverarbeitungsvorrichtung
US11719785B2 (en) 2017-05-16 2023-08-08 Elmos Semiconductor Se Transmitting ultrasonic signal data

Also Published As

Publication number Publication date
DE102008042640B4 (de) 2020-03-26

Similar Documents

Publication Publication Date Title
EP2285632B1 (de) Fahrerassistenzsystem
WO2014118178A1 (de) Erstellen eines umfeldmodells für ein fahrzeug
DE102016226204B4 (de) Erfassungssystem für ein zielobjekt und ein verfahren zur erfassung eines zielobjekts
DE102017213247A1 (de) Wissenstransfer zwischen verschiedenen Deep-Learning Architekturen
DE102014106506A1 (de) Verfahren zum Durchführen einer Diagnose eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102020212799A1 (de) Durchführen von objekt- und aktivitätserkennung auf der grundlage von daten von einer kamera und einem radarsensor
DE102017214030A1 (de) Verfahren zum Bestimmen eines Reibwerts für einen Kontakt zwischen einem Reifen eines Fahrzeugs und einer Fahrbahn und Verfahren zum Steuern einer Fahrzeugfunktion eines Fahrzeugs
DE19748126A1 (de) Verfahren und Vorrichtung zur Überwachung von Sensoren in einem Fahrzeug
DE102018209250A1 (de) Steuereinrichtung, Verfahren zur Steuerung eines Steuergeräts, computerlesbares Speichermedium und Steuersystem
DE102017220860A1 (de) Verfahren zur Ermittlung der Lage des Schwerpunkts eines Fahrzeugs
DE102017209496A1 (de) Verfahren und Vorrichtung zum Klassifizieren eines Objekts für ein Fahrzeug
DE102018119467B4 (de) Verfahren zum durchführen eines autonomen betriebs eines fahrzeugs durch tiefes räumlich-zeitliches lernen
DE112017007672T5 (de) Hinderniserkennungsvorrichtung, Fahrzeug und Hinderniserfassungssystem
DE102010033213A1 (de) Verfahren zur Auswertung von Signalen eines Ultraschallsensors und Vorrichtung zur Umfelderfassung
DE102016109762A1 (de) Kompressionsalgorithmen für fahrzeugbus-messaging von vorschaudaten
DE102008042640B4 (de) Verfahren und Vorrichtung zur Datenreduktion bei der Datenübermittlung an ein Fahrerassistenzsystem
EP1436173B1 (de) System und verfahren zum erfassen der sitzbelegung eines kraftfahrzeuges
EP0925484B1 (de) Verfahren und vorrichtung zur überwachung von sensoren in einem fahrzeug
DE102017201796A1 (de) Steuervorrichtung zum Ermitteln einer Eigenbewegung eines Kraftfahrzeugs sowie Kraftfahrzeug und Verfahren zum Bereitstellen der Steuervorrichtung
DE102019115896A1 (de) Begrenzte zeitsteuerungsanalyse von fahrzeuginterner kommunikation
DE10026688C1 (de) Verfahren und Vorrichtung zur Bestimmung des Ansprechdrucks von Fahrzeugbremsen
DE102018207923A1 (de) Verbessertes Training eines Klassifikators
DE102017214061A1 (de) Verfahren zum Bestimmen eines Reibwerts für einen Kontakt zwischen einem Reifen eines Fahrzeugs und einer Fahrbahn und Verfahren zum Steuern einer Fahrzeugfunktion eines Fahrzeugs
DE102017207958B4 (de) Verfahren zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug, Kraftfahrzeug, Verfahren zum Betreiben einer Recheneinrichtung sowie System
EP3805998A1 (de) Verarbeitung von sensordaten in einem kraftfahrzeug

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee