DE102017222183A1 - Method and system for monitoring a plurality of environmental sensors of a motor vehicle - Google Patents
Method and system for monitoring a plurality of environmental sensors of a motor vehicle Download PDFInfo
- Publication number
- DE102017222183A1 DE102017222183A1 DE102017222183.6A DE102017222183A DE102017222183A1 DE 102017222183 A1 DE102017222183 A1 DE 102017222183A1 DE 102017222183 A DE102017222183 A DE 102017222183A DE 102017222183 A1 DE102017222183 A1 DE 102017222183A1
- Authority
- DE
- Germany
- Prior art keywords
- detected
- motor vehicle
- environmental sensor
- environmental
- decalibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
- G01S13/876—Combination of several spaced transponders or reflectors of known location for determining the position of a receiver
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/87—Combinations of sonar systems
- G01S15/874—Combination of several spaced transponders or reflectors of known location for determining the position of a receiver
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
- G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/40—Means for monitoring or calibrating
- G01S7/4004—Means for monitoring or calibrating of parts of a radar system
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
- G01S7/4972—Alignment of sensor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/52004—Means for monitoring or calibrating
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9329—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles cooperating with reflectors or transponders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/40—Means for monitoring or calibrating
- G01S7/4052—Means for monitoring or calibrating by simulation of echoes
- G01S7/4082—Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder
- G01S7/4091—Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder during normal radar operation
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Acoustics & Sound (AREA)
- Manufacturing & Machinery (AREA)
- Traffic Control Systems (AREA)
Abstract
Die Erfindung betrifft ein Verfahren (10) zum Überwachen mehrerer Umgebungssensoren (US1, US2, USn) eines Kraftfahrzeugs (12). Dabei wird zunächst zumindest ein Objekt in einer Umgebung des Kraftfahrzeugs (12) mit einem Umgebungssensor der mehreren Umgebungssensoren (US1, US2, USn) erfasst. Anschließend wird der Umgebungssensor anhand eines zu dem zumindest einen Objekt erfassten Merkmals als der das zumindest eine Objekt erfassende Umgebungssensor aus den mehreren Umgebungssensoren (US1, US2, USn) zugeordnet. In einem weiteren Verfahrensschritt wird das Kraftfahrzeug (12) anhand des zumindest einen erfassten Objekts in einer digitalen Karte (14) lokalisiert, wobei dem zumindest einen Objekt ein Referenzobjekt auf der digitalen Karte (14) zugeordnet ist, und eine Dekalibrierung des Umgebungssensors der mehreren Umgebungssensoren (US1, US2, USn) durch Auswerten eines Dekalibrierungskriteriums unter Berücksichtigung des erfassten zumindest einen Objekts durch den dem erfassten Objekt zugeordneten Umgebungssensor und des Referenzobjekts ermittelt. The invention relates to a method (10) for monitoring a plurality of environmental sensors (US1, US2, USn) of a motor vehicle (12). At first, at least one object in an environment of the motor vehicle (12) is detected with an environmental sensor of the plurality of environmental sensors (US1, US2, USn). Subsequently, the environmental sensor is assigned to a detected from the at least one object feature as the at least one object detecting environmental sensor from the plurality of environmental sensors (US1, US2, USn). In a further method step, the motor vehicle (12) is localized on the basis of the at least one detected object in a digital map (14), wherein the at least one object is assigned a reference object on the digital map (14), and a decalibration of the environmental sensor of the plurality of environmental sensors (US1, US2, USn) by evaluating a Dekalibrierungskritium taking into account the detected at least one object by the detected object associated with the environmental sensor and the reference object determined.
Description
Die Erfindung betrifft ein Verfahren zum Überwachen mehrerer Umgebungssensoren eines Kraftfahrzeugs. Bei dem Verfahren wird zumindest ein Objekt in einer Umgebung des Kraftfahrzeugs mit einem Umgebungssensor der mehreren Umgebungssensoren erfasst. Mit anderen Worten können mittels des Umgebungssensors Sensordaten aus der Umgebung des Kraftfahrzeugs, also des Fahrzeugumfeldes, zu zumindest einem Objekt aufgenommen werden. Die Erfindung betrifft auch ein System zum Überwachen mehrerer Umgebungssensoren eines Kraftfahrzeugs.The invention relates to a method for monitoring a plurality of environmental sensors of a motor vehicle. In the method, at least one object in an environment of the motor vehicle is detected with an environmental sensor of the plurality of environmental sensors. In other words, by means of the environmental sensor, sensor data from the surroundings of the motor vehicle, that is to say the vehicle surroundings, can be recorded for at least one object. The invention also relates to a system for monitoring a plurality of environmental sensors of a motor vehicle.
Aktuelle Fahrerassistenzsysteme und insbesondere das autonome Fahren hängen sehr stark von einer Vielzahl unterschiedlicher Sensoren zur Wahrnehmung des Fahrzeugumfeldes ab. Eine Abweichung von der erwarteten Funktion dieser Sensoren führt häufig zu Störungen der jeweiligen Fahrerassistenzfunktionen. Diese Abweichung kann beispielsweise während der Fahrt des Kraftfahrzeugs durch Vibrationen hervorgerufen werden. Die Störung der jeweiligen Fahrerassistenzfunktion äußert sich entweder in einer Degradation, einem kompletten Ausfall der Fahrerassistenzfunktion oder gar einer Fehlfunktion der Fahrerassistenzfunktion. Eine Fehlfunktion der Fahrerassistenzfunktion kann zum Beispiel im Fall eines Notbremsassistenten als Fahrerassistenzsystem zu einem Unfall führen, wenn das eigentliche Hindernis an einer anderen Position wahrgenommen wurde. Derartige Wahrnehmungsfehler können zum Beispiel durch eine Dekalibrierung der Umfeldsensoren oder Umgebungssensoren hervorgerufen werden.Current driver assistance systems and, in particular, autonomous driving depend very much on a large number of different sensors for sensing the vehicle environment. Deviation from the expected function of these sensors often leads to disruptions of the respective driver assistance functions. This deviation can be caused, for example, during driving of the motor vehicle by vibrations. The disturbance of the respective driver assistance function manifests itself either in a degradation, a complete failure of the driver assistance function or even a malfunction of the driver assistance function. A malfunction of the driver assistance function, for example, in the case of an emergency brake assist as a driver assistance system lead to an accident when the actual obstacle was perceived in another position. Such perception errors can be caused, for example, by a decalibration of the environment sensors or environmental sensors.
Aus dem allgemeinen Stand der Technik sind unterschiedliche Verfahren zum Verbessern einer Kalibrierung eines Sensors eines Kraftfahrzeugs oder einer Lokalisieren des Kraftfahrzeugs bekannt.From the general state of the art, different methods for improving a calibration of a sensor of a motor vehicle or locating the motor vehicle are known.
So beschreibt beispielsweise die
Aus der
Derartige Verfahren zum Überprüfen einer Kalibrierung von Umfeldsensoren sind besonders aufwendig zu betreiben. Zudem erfolgt bei den entsprechenden Verfahren eine grobe Abschätzung von einer korrekten Kalibrierung der entsprechenden Umfeldsensoren, wodurch ein Zuverlässigkeitsgrad dieser Verfahren besonders gering ist.Such methods for checking a calibration of environmental sensors are particularly expensive to operate. In addition, the corresponding methods provide a rough estimate of a correct calibration of the corresponding environment sensors, whereby a degree of reliability of these methods is particularly low.
Anstelle für einen sicheren Betrieb des Kraftfahrzeugs Sensoren zu kalibrieren, schlägt die
Ein solches System ist besonders aufwendig zu betreiben und hängt von der Zuverlässigkeit der Sensoren als auch der Straßendatenbank ab.Such a system is particularly expensive to operate and depends on the reliability of the sensors as well as the road database.
Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren zum Überwachen mehrerer Umgebungssensoren eines Kraftfahrzeugs bereitzustellen, welches besonders einfach betreibbar und dennoch besonders zuverlässig, insbesondere hinsichtlich einer Erfassung einer Dekalibrierung der Umgebungssensoren, betrieben werden kann.The object of the present invention is therefore to provide a method for monitoring a plurality of environmental sensors of a motor vehicle, which can be operated particularly easily and yet particularly reliably, in particular with regard to detecting a decalibration of the environmental sensors.
Diese Aufgabe wird durch ein Verfahren und ein System zum Überwachen mehrerer Umgebungssensoren mit den Merkmalen der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen mit zweckmäßigen und nicht trivialen Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben.This object is achieved by a method and a system for monitoring a plurality of environmental sensors having the features of the independent patent claims. Advantageous embodiments with expedient and non-trivial developments of the invention are specified in the dependent claims.
Bei dem Verfahren zum Überwachen mehrerer Umgebungssensoren eines Kraftfahrzeugs wird zunächst zumindest ein Objekt in einer Umgebung des Kraftfahrzeugs mit einem Umgebungssensor der mehreren Umgebungssensoren erfasst. Mit anderen Worten kann die Umwelt insbesondere von mehreren Umgebungssensoren oder Umfeldsensoren wahrgenommen werden, wobei zumindest durch einen Umgebungssensor das zumindest eine Objekt erfasst wird. Besonders bevorzugt können durch den Umgebungssensor auch mehrere Objekte erfasst werden.In the method for monitoring a plurality of environmental sensors of a motor vehicle, at least one object in an environment of the motor vehicle is first detected with an environmental sensor of the plurality of environmental sensors. In other words, the environment can be shared by more than one Environmental sensors or environment sensors are perceived, wherein at least one environmental sensor detects the at least one object. Particularly preferably, several objects can also be detected by the environmental sensor.
Beim Erfassen des zumindest einen Objekts kann der Umgebungssensor zumindest ein Merkmal des Objekts, insbesondere zum Identifizieren des Objekts, aufnehmen. Bevorzugt werden die durch die Umgebungssensoren erfassten Daten verarbeitet. Die Umgebungssensoren können beispielsweise eine oder mehrere Kameras und/oder ein oder mehrere Radare und/oder ein oder mehrere Lidare und/oder ein oder mehrere Laserscanner und/oder ein oder mehrere Ultraschallsensoren aufweisen.When detecting the at least one object, the environmental sensor can record at least one feature of the object, in particular for identifying the object. Preferably, the data acquired by the environmental sensors are processed. The environmental sensors may, for example, comprise one or more cameras and / or one or more radars and / or one or more lidars and / or one or more laser scanners and / or one or more ultrasound sensors.
Bei dem Objekt kann es sich insbesondere um ein statisches oder lokales Objekt, wie beispielsweise eine Fahrbahnmarkierung oder eine Leitplanke oder eine Ampel oder ein Leitpfosten oder ein Schildpfosten oder ein Lampenpfosten, handeln. Durch die mehreren Umgebungssensoren können mehrere, insbesondere unterschiedliche Objekte, erfasst oder wahrgenommen werden. Mit anderen Worten kann mithilfe der Umgebungssensoren und der Interpretation der Sensordaten der Umgebungssensoren das Fahrzeugumfeld vermessen und/oder Beschreibungen der Objekte, insbesondere durch deren jeweilige erfassten Merkmale, erzeugt werden.In particular, the object may be a static or local object, such as a lane marker or guardrail, or a traffic light or a bollard, or a shield post or lamp post. By means of the plurality of environmental sensors, a plurality of, in particular different, objects can be detected or perceived. In other words, with the aid of the environmental sensors and the interpretation of the sensor data of the environmental sensors, the vehicle environment can be measured and / or descriptions of the objects, in particular by their respective detected characteristics, can be generated.
Die der Erfindung zu Grunde liegende Idee besteht insbesondere unter anderem darin, dass einerseits bestimmte Objekte nur von einem Sensor, insbesondere Umgebungssensor, wahrnehmbar und/oder klassifizierbar sein können und andererseits jegliches Objekt eine Information - ein erfasstes Merkmal des Objekts - beinhaltet, von welchem Sensor es wahrgenommen wurde. Die Erfindung zeichnet sich unter anderem dadurch aus, dass der Umgebungssensor anhand eines zu dem zumindest einen Objekt erfassten Merkmals als der das zumindest eine Objekt erfassende Umgebungssensor aus den mehreren Umgebungssensoren zugeordnet wird. Mit anderen Worten wird durch das erfasste Merkmal des Objekts der entsprechende Umgebungssensor als der das Objekt erfassende Umgebungssensor identifiziert.Among other things, the idea underlying the invention consists, inter alia, in that on the one hand certain objects can only be perceived and / or classified by one sensor, in particular environmental sensor, and on the other hand any object contains information - a detected feature of the object - from which sensor it was perceived. Among other things, the invention is characterized in that the environmental sensor is assigned from the plurality of environmental sensors on the basis of a feature detected with respect to the at least one object as the environmental sensor detecting the at least one object. In other words, by the detected feature of the object, the corresponding environmental sensor is identified as the environment sensor detecting the object.
In einem weiteren Verfahrensschritt erfolgt das Lokalisieren des Kraftfahrzeugs anhand des zumindest einen erfassten Objekts in einer digitalen Karte, wobei dem zumindest einen Objekt ein Referenzobjekt auf der digitalen Karte zugeordnet ist. Mit anderen Worten kann das zumindest eine erfasste Objekt eine Grundlage zur Lokalisierung oder Positionierung des Kraftfahrzeugs in der digitalen Karte bilden. Beispielsweise werden zur Positionierung das erfasste oder wahrgenommene Objekt und insbesondere daraus abgeleitete Informationen sowie das Referenzobjekt aus der digitalen Karte und insbesondere daraus abgeleitete Informationen der digitalen Karte miteinander verglichen. Anhand des erfassten Objekts und das dem erfassten Objekt zugeordnete Referenzobjekt wird das Kraftfahrzeug insbesondere relativ zu der digitalen Karte, insbesondere dem Referenzobjekt der digitalen Karte, positioniert. Je mehr Objekte durch den Umgebungssensor erfasst werden, desto genauer kann die Platzierung oder Positionierung oder Lokalisierung des Kraftfahrzeugs in der digitalen Karte erfolgen.In a further method step, the motor vehicle is localized on the basis of the at least one detected object in a digital map, wherein the at least one object is assigned a reference object on the digital map. In other words, the at least one detected object can form a basis for locating or positioning the motor vehicle in the digital map. For example, the detected or perceived object and, in particular, information derived therefrom and the reference object from the digital map and, in particular, information of the digital map derived therefrom, are compared with one another for positioning. Based on the detected object and the reference object assigned to the detected object, the motor vehicle is positioned in particular relative to the digital map, in particular the reference object of the digital map. The more objects are detected by the environmental sensor, the more accurate the placement or positioning or localization of the motor vehicle in the digital map can be done.
Zunächst kann auch eine grobe Abschätzung einer aktuellen Position des Kraftfahrzeugs mit Hilfe aktueller GPS-Daten des Kraftfahrzeugs erfolgen. Zur genaueren Abschätzung der Position des Kraftfahrzeugs kann die Lokalisierung des Kraftfahrzeugs zu dem erfassten Objekt auf einer digitalen Karte mit Hilfe der Zuordnung des Referenzobjekts erfolgen.First, a rough estimate of a current position of the motor vehicle with the aid of current GPS data of the motor vehicle can be made. For a more accurate estimation of the position of the motor vehicle, the localization of the motor vehicle to the detected object on a digital map can take place with the aid of the assignment of the reference object.
Schließlich wird bei dem Verfahren eine Dekalibrierung des Umgebungssensors der mehreren Umgebungssensoren durch Auswerten eines Dekalibrierungskriteriums unter Berücksichtigung des erfassten zumindest einen Objekts durch den dem erfassten Objekt zugeordneten Umgebungssensor und des Referenzobjekts ermittelt. Mit anderen Worten wird zur Erkennung einer Dekalibrierung des Umgebungssensors die Information der digitalen Karte, insbesondere einer hochgenauen Karte, benötigt, da das vom Umgebungssensor erfasste Objekt oder die von den Umgebungssensoren erfassten jeweiligen Objekte mit jenen Elementen der digitalen Karte während des Lokalisierungsschrittes in Übereinstimmung gebracht werden können.Finally, in the method, a decalibration of the environmental sensor of the plurality of environmental sensors is determined by evaluating a decalibration criterion taking into account the detected at least one object by the environmental sensor and the reference object assigned to the detected object. In other words, to detect a decalibration of the environmental sensor, the information of the digital map, particularly a high accuracy map, is needed because the object detected by the environmental sensor or the respective objects detected by the environmental sensors are matched with those elements of the digital map during the localization step can.
Dabei können einzelne Verfahrensschritte des Verfahrens bevorzugt vollautomatisch durch ein Steuergerät des Kraftfahrzeugs durchgeführt werden, welches entweder als eigenständiges Steuergerät vorgesehen sein kann, als Teil eines kompletten Steuergeräteverbundes oder in andere Steuergeräte integriert sein kann. Alle Umgebungssensoren stellen dem Steuergerät bevorzugt ihre aktuellen Messungen, also die aktuellen Sensordaten, bereit. Dabei kann die Bereitstellung auf unterschiedlichen Wegen erfolgen, beispielsweise unmittelbar über private Bus-Verbindungen, indirekt über den zentralen Fahrzeugbus, wobei auch eine Kommunikation über drahtlose Verbindung, insbesondere eine Funkverbindung, sonstige diskrete Verbindungen oder über Steuergeräte-interne Bussysteme denkbar ist.In this case, individual method steps of the method can preferably be carried out fully automatically by a control unit of the motor vehicle, which can be provided either as an independent control unit, as part of a complete control unit network or integrated into other control units. All environmental sensors preferably provide the control unit with its current measurements, ie the current sensor data. In this case, the provision can take place in different ways, for example directly via private bus connections, indirectly via the central vehicle bus, wherein a communication via wireless connection, in particular a radio connection, other discrete connections or via internal ECU bus systems is conceivable.
Mit dem Verfahren zum Überwachen mehrerer Umgebungssensoren des Kraftfahrzeugs kann auf besonders einfache und zuverlässige Art und Weise eine Dekalibrierung des Umgebungssensors erkannt und somit frühzeitig oder rechtzeitig reagiert werden. Damit wird eine Sicherheit und Robustheit von Fahrerassistenzsystemen gesteigert und dadurch eine Sicherheit beim Führen des Kraftfahrzeugs, insbesondere bei einem autonomen Fahren des Kraftfahrzeugs, im Straßenverkehr erhöht.With the method for monitoring a plurality of environmental sensors of the motor vehicle, a decalibration of the environmental sensor can be detected in a particularly simple and reliable manner, and thus early or timely responds. This increases the safety and robustness of driver assistance systems and thereby increases safety in driving the motor vehicle, in particular in an autonomous driving of the motor vehicle, in traffic.
Die Erfindung umfasst auch die Kombinationen der beschriebenen Ausführungsformen.The invention also includes the combinations of the described embodiments.
Besonders bevorzugt werden bei dem Verfahren mehrere Objekte durch die jeweiligen Umgebungssensoren des Kraftfahrzeugs erfasst. Jedem der erfassten Objekte wird zumindest ein Umgebungssensor der mehreren Umgebungssensoren zugeordnet, insbesondere anhand eines mittels des Umgebungssensors zu dem jeweiligen Objekt erfassten Merkmals. Zusätzlich oder alternativ kann durch das Steuergerät eine aktuelle Fahrsituation des Kraftfahrzeugs, insbesondere anhand der erfassten Objekte, bestimmt werden. Zusätzlich oder alternativ kann eine Fahrtrajektorie, insbesondere anhand der erfassten Objekte, bestimmt und das Kraftfahrzeug entlang dieser Fahrtrajektorie gesteuert oder geführt werden.In the method, a plurality of objects are particularly preferably detected by the respective environmental sensors of the motor vehicle. Each of the detected objects is assigned at least one environmental sensor of the plurality of environmental sensors, in particular based on a detected by means of the environmental sensor to the respective object feature. Additionally or alternatively, a current driving situation of the motor vehicle, in particular on the basis of the detected objects, can be determined by the control device. Additionally or alternatively, a driving trajectory, in particular based on the detected objects, determined and controlled the motor vehicle along this Fahrtrajektorie or out.
Eine vorteilhafte Ausführungsform sieht vor, dass beim Auswerten des Dekalibrierungskriteriums eine Abweichung des zumindest einen Objekts von dem erfassten Objekt zugeordneten Referenzobjekt bestimmt wird. Mit anderen Worten ist eine Abweichung des durch den Umgebungssensor wahrgenommenen Objekts von dem entsprechenden Objekt der digitalen Karte - dem Referenzobjekt - zuordenbar. Insbesondere ist jedem erfassten Objekt eine weltfeste Koordinate zugeordnet, wodurch diesem Objekt das Referenzobjekt der digitalen Karte zugeordnet werden kann. Mit „Abweichung“ ist insbesondere eine geographische Abweichung oder ein Abstand zwischen dem erfassten Objekt und dem Referenzobjekt gemeint. Beispielsweise kann eine Abweichung zwischen 1 cm und 1 m erfasst werden. Insbesondere ist mit Dekalbirierung gemeint, dass der Umgebungssensor das Objekt an einer von einer tatsächlichen Position abweichenden Position erfasst. Durch das Bestimmen der Abweichung kann auf besonders einfache und zuverlässige Art und Weise auf eine Dekalibrierung des Umgebungssensors geschlossen werden.An advantageous embodiment provides that when the decalibration criterion is evaluated, a deviation of the at least one object from the reference object assigned to the detected object is determined. In other words, a deviation of the object sensed by the environmental sensor from the corresponding object of the digital map - the reference object - can be assigned. In particular, each detected object is assigned a world-fixed coordinate, as a result of which the reference object of the digital map can be assigned to this object. By "deviation" is meant in particular a geographical deviation or a distance between the detected object and the reference object. For example, a deviation between 1 cm and 1 m can be detected. In particular, by Dekalbirierung is meant that the environmental sensor detects the object at a position deviating from an actual position. By determining the deviation can be concluded in a particularly simple and reliable manner to a decalibration of the environmental sensor.
Eine vorteilhafte Weiterbildung sieht vor, dass die Dekalibrierung des Umgebungssensors erfasst wird, wenn die Abweichung einen vorbestimmten Schwellwert überschreitet. Mit anderen Worten ist das Dekalibrierungskriterium erfüllt, wenn der bestimmte oder erfasste oder errechnete Wert der Abweichung den vorbestimmten Schwellwert überschreitet. Überschreitet diese Abweichung insbesondere einen bestimmten Wert, so ist das ein Hinweis auf einen durch eine Dekalibrierung des Umgebungssensors hervorgerufenen Fehler des Umgebungssensors.An advantageous development provides that the decalibration of the environmental sensor is detected when the deviation exceeds a predetermined threshold value. In other words, the decalibration criterion is met when the determined or sensed value of the deviation exceeds the predetermined threshold. In particular, if this deviation exceeds a certain value, this is an indication of an environmental sensor error caused by decalibration of the environmental sensor.
In vorteilhafter Weise werden durch den Umgebungssensor weitere Objekte erfasst, wobei, wenn bei der Erfassung der weiteren Objekte eine Anzahl an vorbestimmten Abweichungen, welche den vorbestimmten Schwellwert überschreiten, zu den weiteren Objekten zugeordneten Referenzobjekten überschritten wird, wird eine Dekalibrierung des Umgebungssensors erfasst. Bevorzugt ist dabei jedes der erfassten Objekte dem Umgebungssensor, insbesondere anhand der von dem Umgebungssensor erfassten Merkmale der Objekte, zugeordnet. Falls also beispielsweise für den Umgebungssensor, insbesondere über einen vorbestimmten Zeitraum, mehrere Hinweise über ein Überschreiten des bestimmten Werts der Abweichung, auftreten, so kann auf eine Dekalibrierung des Umgebungssensors geschlossen werden.Advantageously, further objects are detected by the environmental sensor, wherein, when a number of predetermined deviations which exceed the predetermined threshold are exceeded in the detection of the further objects to the other objects associated reference objects, a decalibration of the environmental sensor is detected. In this case, each of the detected objects is preferably assigned to the environmental sensor, in particular based on the features of the objects detected by the environmental sensor. If, for example, for the environmental sensor, in particular over a predetermined period of time, several indications of an exceeding of the specific value of the deviation occur, then a decalibration of the environmental sensor can be concluded.
In vorteilhafter Weise werden durch den Umgebungssensor im Betrieb des Kraftfahrzeugs, also während eines Fahrbetriebs, die weiteren Objekte erfasst. Anhand jedes der weiteren erfassten Objekte wird das Kraftfahrzeug in der digitalen Karte lokalisiert, wobei jedem erfassten weiteren Objekt jeweils ein weiteres Referenzobjekt der digitalen Karte zugeordnet ist. Beim Auswerten des Dekalibrierungskriteriums wird jeweils eine Abweichung des aktuell erfassten Objekts von dem diesen Objekt zugeordneten Referenzobjekt bestimmt. Je nachdem wie oft die einzelnen bestimmten Abweichungen den vorbestimmten Schwellwert überschreiten, liegt eine Dekalibrierung des Umgebungssensors vor oder nicht. Beispielsweise kann das Überschreiten des Schwellwerts gezählt werden. Mit anderen Worten kann eine Akkumulation der Abweichungen des Umgebungssensors bestimmt werden. Übersteigt die gezählte Anzahl die vorbestimmte Anzahl, so ist das Dekalibrierungskriterium erfüllt. Beispielsweise kann das Steuergerät dazu eingerichtet sein, die Anzahl zu zählen. Das Erfassen der Anzahl von Abweichungen oder das Zählen der Anzahl kann auch als Akkumulation bezeichnet werden.In an advantageous manner, the additional objects are detected by the environmental sensor during operation of the motor vehicle, that is to say during a driving operation. On the basis of each of the other detected objects, the motor vehicle is localized in the digital map, each detected further object each having a further reference object of the digital map is assigned. When evaluating the decalibration criterion, a deviation of the currently detected object from the reference object assigned to this object is determined in each case. Depending on how often the individual specific deviations exceed the predetermined threshold, a decalibration of the environmental sensor is present or not. For example, the crossing of the threshold value can be counted. In other words, an accumulation of the deviations of the environmental sensor can be determined. If the counted number exceeds the predetermined number, then the decalibration criterion is met. For example, the controller may be configured to count the number. The detection of the number of deviations or the counting of the number can also be referred to as accumulation.
Dabei ist insbesondere der konkrete Umgebungssensor über die Zuordnung des Objekts zu seinem wahrnehmbaren Umgebungssensor feststellbar. Bewegt sich das Kraftfahrzeug also beispielsweise entlang einer vorbestimmten Fahrtrajektorie oder vorbestimmte Fahrstrecke und erfasst der Umgebungssensor während des Abfahrens der Fahrtrajektorie oder der vorbestimmten Fahrstrecke nacheinander Objekte, so wird insbesondere für jedes dieser erfassten Objekte eine Abweichung zu dessen jeweiligem Referenzobjekt erfasst. Übersteigen die Abweichungen den vorbestimmten Schwellwert und übersteigt die Anzahl der Abweichungen, die diesen vorbestimmten Schwellwert übersteigen, eine vorbestimmte Anzahl, also eine vorbestimmte Menge an Abweichungen, so ist das Dekalibrierungskriterium erfüllt.In this case, in particular, the specific environmental sensor can be detected via the assignment of the object to its perceptible environmental sensor. Thus, if the motor vehicle, for example, moves along a predetermined driving trajectory or predetermined driving route and if the environment sensor detects successive objects during the travel trajectory or the predetermined trajectory, a deviation from its respective reference object is detected, in particular for each of these detected objects. If the deviations exceed the predetermined threshold value and the number of deviations exceeding this predetermined threshold exceeds a predetermined number, that is to say a predetermined amount of deviations, the decalibration criterion is met.
Zusätzlich oder alternativ kann es vorgesehen sein, dass das Bestimmen einer Anzahl der Abweichungen durch ein Bayessches Schätzverfahren oder anderes Schätzverfahren zur Akkumulation eingesetzt wird. Additionally or alternatively, it can be provided that the determination of a number of deviations by a Bayesian estimation method or another estimation method for accumulation is used.
Das beschriebene Verfahren kann für jeden der weiteren Umgebungssensoren der mehreren Umgebungssensoren des Kraftfahrzeugs, insbesondere gleichzeitig, durchgeführt werden.The described method can be carried out for each of the further environmental sensors of the plurality of environmental sensors of the motor vehicle, in particular simultaneously.
Der Erfindung liegt die Erkenntnis zugrunde, dass zur Detektion einer Dekalibrierung relativ viele im Fahrzeugumfeld, also der Umgebung des Kraftfahrzeugs, wahrgenommene Objekte erforderlich sind. Andernfalls könnten fehlerhafte Objekte die Positionsschätzung beeinflussen, sodass keine Abweichungen mehr feststellbar wären. Da diese Bedingung insbesondere nicht immer erfüllt sein kann, sieht eine weitere vorteilhafte Ausführungsform vor, dass zur Ermittlung der Dekalibrierung des Umgebungssensors erfasste Daten, welche das durch den Umgebungssensor erfasste Objekt und/oder die bei der Lokalisierung erfasste Position des Kraftfahrzeugs in der digitalen Karte umfassen, an eine Servereinrichtung übermittelt werden, wobei die Servereinrichtung dazu eingerichtet ist, die erfassten Daten mit der Servereinrichtung bereitgestellten Daten zu vergleichen. Bei der Servereinrichtung handelt es sich insbesondere um eine fahrzeugexterne Servereinrichtung, welche auch als Backend-Server bezeichnet werden kann. Damit die Daten des Kraftfahrzeugs an die Servereinrichtung übermittelt oder übertragen werden können, kann das Kraftfahrzeug beispielsweise eine Kommunikationseinheit aufweisen. Mit anderen Worten können an die Servereinrichtung Informationen bezüglich des Fahrzeugzustandes und/oder des Fahrzeugumfeldes kommuniziert werden. Die Kommunikationseinheit ist dazu eingerichtet, mit der Servereinrichtung über eine Funkverbindung, wie beispielsweise eine WLAN-Verbindung, zu kommunizieren oder Daten auszutauschen. Besonders bevorzugt können die Kommunikationseinheit und die Servereinrichtung bidirektional kommunizieren.The invention is based on the finding that for the detection of a decalibration relatively many perceived objects in the vehicle environment, ie the surroundings of the motor vehicle, are required. Otherwise, erroneous objects could influence the position estimate, so that deviations would no longer be detectable. In particular, since this condition can not always be met, a further advantageous embodiment provides that data detected for determining the decalibration of the environmental sensor, which comprise the object detected by the environmental sensor and / or the position of the motor vehicle detected in the localization in the digital map , to a server device, wherein the server device is adapted to compare the acquired data with the server device provided data. The server device is in particular a vehicle-external server device, which can also be referred to as a back-end server. So that the data of the motor vehicle can be transmitted or transmitted to the server device, the motor vehicle can have, for example, a communication unit. In other words, information regarding the vehicle condition and / or the vehicle environment can be communicated to the server device. The communication unit is configured to communicate with the server device via a wireless connection, such as a WLAN connection, or to exchange data. Particularly preferably, the communication unit and the server device can communicate bidirectionally.
Nach der Positionierung des Kraftfahrzeugs, insbesondere relativ zur digitalen Karte, kann die errechnete Position des Kraftfahrzeugs inklusive des wahrgenommenen Objekts, also zusammen mit dem erfassten Objekt, und des Positionierungsfehlers an die Servereinrichtung übermittelt werden. Die Servereinrichtung kann dann dazu eingerichtet sein, eine Lokalisierung des Kraftfahrzeugs in der digitalen Karte erneut durchzuführen unter Berücksichtigung der Servereinrichtung bereitgestellten Daten.After the positioning of the motor vehicle, in particular relative to the digital map, the calculated position of the motor vehicle including the perceived object, ie together with the detected object, and the positioning error can be transmitted to the server device. The server device may then be configured to re-locate the motor vehicle in the digital map, taking into account data provided to the server device.
In vorteilhafter Weise können die bereitgestellten Daten von weiteren Kraftfahrzeugen zur Verfügung gestellt werden. Mit anderen Worten können als die bereitgestellten Daten Wahrnehmungen einer Fahrzeugflotte, also der weiteren Kraftfahrzeuge, bereitgestellt oder der Servereinrichtung hinterlegt werden. So kann die Servereinrichtung dazu eingerichtet sein, die Lokalisierung des Kraftfahrzeugs in der Karte durch die Berücksichtigung der Wahrnehmung einer Fahrzeugflotte durchzuführen.Advantageously, the data provided can be provided by other motor vehicles. In other words, as the data provided perceptions of a vehicle fleet, so the other motor vehicles, provided or the server device are deposited. Thus, the server device can be set up to carry out the localization of the motor vehicle in the map by taking into account the perception of a vehicle fleet.
Eine vorteilhafte Weiterbildung sieht vor, dass die bereitgestellten Daten, mit welchen die erfassten Daten verglichen werden, einer Situation, welche einer Situation der durch die erfassten Daten erfassten Situation entsprechen, zugeordnet werden. Mit anderen Worten kann die Servereinrichtung dazu eingerichtet sein, die durch den Umgebungssensor des Kraftfahrzeugs erfasste Situation mit einer gleichen oder entsprechenden Situation, welche der Servereinrichtung, insbesondere einem Speicher der Servereinrichtung, hinterlegt ist, zu vergleichen. Erfasst beispielsweise der Umgebungssensor drei Objekte in einer vorbestimmten Anordnung zu dem Kraftfahrzeug, so kann die Servereinrichtung dazu eingerichtet sein, eine entsprechende Situation, in der eine derartige Konstellation oder Anordnung von drei Objekten zu einem Kraftfahrzeug vorliegt, mit der durch den Umgebungssensor erfassten Situation zu vergleichen. Die erfasste Situation umfasst das zumindest eine durch den Umgebungssensor erfasste Objekt und/oder die Position des Kraftfahrzeugs in der digitalen Karte. Je nachdem, ob ein Positionierungsfehler vorliegt, wird dieser durch die erfasste Position des Kraftfahrzeugs mit an die Servereinrichtung übermittelt. Die Servereinrichtung schaut sich entsprechend dieser Situation dann vergleichbare Situationen an. Diese Situationen werden insbesondere durch weitere Kraftfahrzeuge bereitgestellt. Die Situationen und/oder der Servereinrichtung bereitgestellte Daten sind einem Speicher, insbesondere einer Datenbank der Servereinrichtung, hinterlegt.An advantageous development provides that the provided data, with which the detected data are compared, are assigned to a situation which corresponds to a situation of the situation detected by the acquired data. In other words, the server device can be set up to compare the situation detected by the surroundings sensor of the motor vehicle with an identical or corresponding situation which is stored by the server device, in particular a memory of the server device. For example, if the environmental sensor detects three objects in a predetermined arrangement relative to the motor vehicle, the server device may be configured to compare a corresponding situation in which such a constellation or arrangement of three objects to a motor vehicle exists with the situation detected by the environmental sensor , The detected situation comprises the at least one object detected by the environmental sensor and / or the position of the motor vehicle in the digital map. Depending on whether a positioning error is present, this is transmitted by the detected position of the motor vehicle with the server device. The server device looks at this situation then comparable situations. These situations are provided in particular by other motor vehicles. The data provided by the situations and / or the server device are stored in a memory, in particular a database of the server device.
In vorteilhafter Weise vergleicht die Servereinrichtung beim Auswerten des Dekalibrierungskriteriums die bereitgestellten Daten mit den erfassten Daten und bestimmt daraus eine Abweichung zwischen den Daten, wobei zum Erfassen der Dekalibrierung die Abweichung mit einem vorbestimmten Schwellwert verglichen wird. Zum einen wird bei den erfassten Daten als auch bei den bereitgestellten Daten eine Abweichung bestimmt. Ist die Abweichung größer als eine Abweichung der bereitgestellten Daten, so liegt eine Dekalibrierung vor. Besonders bevorzugt wird die Dekalibrierung des Umgebungssensors erfasst, wenn die Abweichung einen vorbestimmten Schwellwert überschreitet. Mit anderen Worten wird eine vorbestimmte Abweichung von dem vom Umgebungssensor errechneten Wert festgestellt, so besteht ein Hinweis auf einen durch eine Dekalibrierung hervorgerufenen Fehler. Besonders bevorzugt wird eine Dekalibrierung des Umgebungssensors erst erfasst, wenn eine Anzahl an erfassten Abweichungen eine vorbestimmte Anzahl überschreitet.Advantageously, in evaluating the decalibration criterion, the server device compares the provided data with the acquired data and determines therefrom a deviation between the data, wherein for detecting the decalibration the deviation is compared with a predetermined threshold. On the one hand, a deviation is determined for the recorded data as well as for the provided data. If the deviation is greater than a deviation of the data provided, then there is a decalibration. Particularly preferably, the decalibration of the environmental sensor is detected when the deviation exceeds a predetermined threshold. In other words, if a predetermined deviation from the value calculated by the environmental sensor is detected, there is an indication of an error caused by a decalibration. Particularly preferably, a decalibration of the environmental sensor is not detected until a number of detected deviations exceeds a predetermined number.
Beim Auswerten des Dekalibrierungskriteriums wird jeweils eine Abweichung des aktuell erfassten Objekts von dem diesen Objekt zugeordneten Referenzobjekt der bereitgestellten Daten und/oder eine Abweichung der bei der Lokalisierung erfassten Position des Kraftfahrzeugs mit einer Referenzposition der bereitgestellten Daten bestimmt. Je nachdem wie oft die einzelnen bestimmten Abweichungen den vorbestimmten Schwellwert überschreiten, liegt eine Dekalibrierung des Umgebungssensors vor oder nicht. Übersteigt die gezählte Anzahl eine vorbestimmte Anzahl von Abweichungen, so ist das Dekalibrierungskriterium erfüllt.When evaluating the decalibration criterion, in each case a deviation of the currently detected object from the reference object of the data provided for this object and / or a deviation of the position of the motor vehicle detected during the localization with a reference position of the provided data is determined. Depending on how often the individual specific deviations exceed the predetermined threshold, a decalibration of the environmental sensor is present or not. If the counted number exceeds a predetermined number of deviations, then the decalibration criterion is met.
Eine weitere vorteilhafte Ausführungsform sieht vor, dass, wenn die Abweichung unterhalb des vorbestimmten Schwellwertes liegt, oder wenn keine bereitgestellten Daten der Servereinrichtung hinterlegt sind, die erfassten Daten der Servereinrichtung hinterlegt werden. Mit anderen Worten können die der Servereinrichtung bereitgestellten Daten, wenn die Abweichung unterhalb des vorbestimmten Schwellwertes liegt, durch die erfassten Daten aktualisiert werden.A further advantageous embodiment provides that, if the deviation is below the predetermined threshold value, or if no provided data of the server device are stored, the detected data of the server device are stored. In other words, if the deviation is below the predetermined threshold, the data provided to the server device may be updated by the acquired data.
Zu der Erfindung gehört auch ein System zum Überwachen mehrerer Umgebungssensoren eines Kraftfahrzeugs. Das System umfasst mehrere Umgebungssensoren, wobei zumindest ein Umgebungssensor der mehreren Umgebungssensoren dazu eingerichtet ist, zumindest ein Objekt in einer Umgebung des Kraftfahrzeugs zu erfassen. Ferner umfasst das System ein Steuergerät, welches dazu eingerichtet ist, den Umgebungssensor anhand eines zu dem zumindest einen Objekt erfassten Merkmals mittels des Umgebungssensors zu dem als den das Objekt erfassenden Umgebungssensor aus den mehreren Umgebungssensoren zuzuordnen. Ferner ist das Steuergerät dazu eingerichtet, das Kraftfahrzeug anhand des zumindest einen erfassten Objekts in einer digitalen Karte zu lokalisieren, wobei dem zumindest einen Objekt ein Referenzobjekt auf der digitalen Karte zugeordnet ist. Schließlich ist das Steuergerät dazu eingerichtet, eine Dekalibrierung des Umgebungssensors der mehreren Umgebungssensoren durch Auswerten eines Dekalibrierungskriteriums unter Berücksichtigung des erfassten zumindest einen Objekts durch den dem erfassten Objekt zugeordneten Umgebungssensor und des Referenzobjekts zu ermitteln.The invention also includes a system for monitoring a plurality of environmental sensors of a motor vehicle. The system includes a plurality of environmental sensors, wherein at least one environmental sensor of the plurality of environmental sensors is configured to detect at least one object in an environment of the motor vehicle. Furthermore, the system comprises a control device which is set up to associate the environmental sensor with the aid of the environmental sensor by means of a feature detected with respect to the at least one object to the environmental sensor from the plurality of environmental sensors that detects the object. Furthermore, the control unit is configured to locate the motor vehicle on the basis of the at least one detected object in a digital map, wherein the at least one object is assigned a reference object on the digital map. Finally, the control unit is configured to determine a decalibration of the environmental sensor of the plurality of environmental sensors by evaluating a decalibration criterion taking into account the detected at least one object by the environmental sensor associated with the detected object and the reference object.
Besonders bevorzugt ist die digitale Karte dabei als eine hochgenaue Karte, welche auch als HD-Karte bezeichnet werden kann, ausgebildet.Particularly preferably, the digital card is designed as a high-precision card, which can also be referred to as an HD card.
Die für Navigationsaufgaben eingesetzten Karten enthalten insbesondere Informationen wie einen Verlauf von Straßen und/oder ein Vorhandensein von Kreuzungen und/oder Geschwindigkeitsbegrenzungen und/oder Überholverbote und/oder eine Anzahl von Fahrspuren und/oder Points of Interest (kurz POls) und/oder Übergänge zwischen urbanen und/oder ländlichen Regionen und/oder Brücken und/oder Tunnel und/oder Straßenklassen und/oder Krümmung und/oder Anstieg von Straßen und/oder Höhen. Die Position der jeweiligen Information wird insbesondere mit einer Genauigkeit, insbesondere relativen Genauigkeit, von 1 m bis 3 m oder mit einer Genauigkeit, insbesondere absoluten Genauigkeit, von 5 m von 25 m wiedergegeben. Karten die Umgebung mit einer solchen Genauigkeit abbilden, werden insbesondere auch als SD-Karten bezeichnet.The maps used for navigation tasks contain in particular information such as a course of roads and / or the presence of intersections and / or speed limits and / or overtaking bans and / or a number of lanes and / or points of interest (short POls) and / or transitions between urban and / or rural regions and / or bridges and / or tunnels and / or road classes and / or curvature and / or rise of roads and / or heights. The position of the respective information is reproduced in particular with an accuracy, in particular relative accuracy, of 1 m to 3 m or with an accuracy, in particular absolute accuracy, of 5 m by 25 m. Maps map the environment with such accuracy are also referred to as SD cards in particular.
Die hochgenaue Karte unterscheidet sich von der SD-Karte dadurch, dass die Positionen der abgebildeten Kartenelemente eine höhere Genauigkeit, insbesondere eine höhere relative Genauigkeit und/oder absolute Genauigkeit, aufweisen und andererseits die Karte insbesondere mehr Informationen enthält. Zu den Informationen zählt beispielsweise eine Abbildung des Verlaufs von Fahrspuren und/oder deren Verlauf in Kreuzungen und/oder die Art der Trennung zwischen Fahrspuren. Zusätzlich oder alternativ können Informationen enthalten sein, die für gewisse Teilaspekte des autonomen Fahrens von Bedeutung sein können, insbesondere die geometrische Beschreibung von pfostenartigen Objekten, wie beispielsweise Pfosten von Ampeln oder von Laternen oder von Verkehrszeichen oder Baumstämme oder Leitpfosten, und/oder Schildflächen von Verkehrszeichen und/oder Straßenmarkierungen, wie zum Beispiel Verkehrszeichen oder Pfeile oder Texte oder Haltelinien und/oder Stopplinien und/oder gestrichelte und/oder durchgezogene Linien zwischen Fahrspuren und/oder Sperrflächen, und/oder Wände und/oder Barrieren entlang der Straße, wie zum Beispiel Hauswände und/oder Tunneleinfahrten und/oder Leitplanken und/oder Betonschutzwände, und/oder Ampelanlagen und/oder Bordsteine. Zusätzlich oder alternativ können hochgenaue Karten eine Beschreibung vorbestimmter Elemente oder Objekte im Straßenverkehr und deren Bedeutung umfassen, wie beispielsweise den Aufbau von Ampeln und/oder Bedeutung von Verkehrszeichen.The high-precision card differs from the SD card in that the positions of the imaged map elements have a higher accuracy, in particular a higher relative accuracy and / or absolute accuracy, and on the other hand the map contains more information in particular. The information includes, for example, an illustration of the course of lanes and / or their course in intersections and / or the type of separation between lanes. Additionally or alternatively, information may be included which may be of importance for certain aspects of autonomous driving, in particular the geometric description of post-like objects, such as posts of traffic lights or lanterns or traffic signs or logs or guide posts, and / or road signs of traffic signs and / or road markings, such as traffic signs or arrows or texts or stop lines and / or stop lines and / or dashed and / or solid lines between lanes and / or restricted areas, and / or walls and / or barriers along the road, such as House walls and / or tunnel entrances and / or crash barriers and / or concrete protection walls, and / or traffic lights and / or curbs. Additionally or alternatively, highly accurate maps may include a description of predetermined elements or objects in the traffic and their meaning, such as the construction of traffic lights and / or the meaning of traffic signs.
Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Systems, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Systems hier nicht noch einmal beschrieben.The invention also includes further developments of the system according to the invention, which have features as they have already been described in connection with the developments of the method according to the invention. For this reason, the corresponding developments of the system according to the invention are not described here again.
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:
-
1 eine schematische Darstellung eines Ablaufdiagramm eines Verfahrens zum Überwachen mehrerer Umgebungssensoren eines Kraftfahrzeugs; -
2 eine schematische Darstellung einer erfassten Dekalibrierung eines Umgebungssensors; und -
3 eine schematische Darstellung einer weiteren erfassten Dekalibrierung eines Umgebungssensors.
-
1 a schematic representation of a flowchart of a method for monitoring a plurality of environmental sensors of a motor vehicle; -
2 a schematic representation of a detected decalibration of an environmental sensor; and -
3 a schematic representation of another detected decalibration of an environmental sensor.
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiments explained below are preferred embodiments of the invention. In the exemplary embodiments, the described components of the embodiments each represent individual features of the invention, which are to be considered independently of one another, which each further develop the invention independently of one another and thus also individually or in a different combination than the one shown as part of the invention. Furthermore, the described embodiments can also be supplemented by further features of the invention already described.
In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.In the figures, functionally identical elements are each provided with the same reference numerals.
In
Bei der Wahrnehmung oder Erfassung des Umfelds wird durch einen Umgebungssensor der mehreren Umgebungssensoren
Im Rahmen dieser Verarbeitung, also der Verarbeitungsschritte
Nach den Verarbeitungsschritten
Anschließend wird das Kraftfahrzeug
In einem weiteren Verfahrensschritt wird eine Dekalibrierung der Umgebungssensoren durch Auswerten eines Dekalibrierungskriteriums unter Berücksichtigung der erfassten Objekte durch den die erfassten Objekte zugeordneten Umgebungssensor oder zugeordneten Umgebungssensoren und der Referenzobjekte ermittelt. Beim Auswerten des Dekalibrierungskriteriums wird für jedes erfasste Objekt eine Abweichung des jeweiligen erfassten Objekts von dem erfassten Objekt zugeordneten Referenzobjekt bestimmt. Mit anderen Worten werden im Rahmen der Lokalisierung des Kraftfahrzeugs
Übersteigt die bestimmte Abweichung einen vorbestimmten Schwellwert, so liegt eine Dekalibrierung des entsprechenden Umgebungssensors vor. Mit anderen Worten ist das Dekalibrierungskriterium erfüllt, wenn die bestimmte Abweichung den vorbestimmten Schwellwert überschreitet. Zusätzlich oder alternativ kann es vorgesehen sein, dass jede Abweichung erfasst, insbesondere gezählt, wird. Übersteigt eine Anzahl der erfassten Abweichungen eine vorbestimmte Anzahl, so liegt eine Dekalibrierung eines Umgebungssensors oder der mehreren Umgebungssensoren
Das Zählen der Abweichungen kann in einzelnen Akkumulationsschritten
Ist das Dekalibrierungskriterium für zumindest einen der Umgebungssensoren erfüllt, also liegt eine Dekalibrierung eines Umgebungssensors der mehreren Umgebungssensoren
Bis dahin benötigt das Verfahren zum Überwachen der mehreren Umgebungssensoren
Hierzu wird über eine Verbindung, insbesondere eine Funkverbindung
Daraufhin führt die Servereinrichtung
Alternativ kann in der Servereinrichtung
In dem Verfahrensschritt
In Bezug auf
Übersteigt die Abweichung oder der Fehler einen vorbestimmten Wert so kann daraus eine Dekalibrierung abgeleitet werden. Wird nun eine Abweichung von dem von dem Kraftfahrzeug
Wird kein Fehler oder keine Abweichung festgellt (n), so kann die Datenbank der Servereinrichtung
Insgesamt zeigen die Beispiele, wie durch die Erfindung eine Karten- und Backend-gestütze Erkennung dekalibrierter Sensoren erfolgt.Overall, the examples show how the invention provides card and backend-based detection of de-calibrated sensors.
Die Umwelt wird von Sensoren wahrgenommen und deren Daten durch entsprechende Verfahren verarbeitet. Im Rahmen dieser Verarbeitung erfolgt häufig die Extraktion spezieller Merkmale der Umwelt, die für die weitere Verarbeitung von Bedeutung sind (Fahrbahnmarkierungen, Pfosten etc.). Jegliche Sensorinformation kann in einem optionalen Schritt durch eine Sensordatenfusion zu einem gemeinsamen Umfeldmodell überführt werden. Die Merkmale der Sensoren / der Fusion bilden zusammen mit einem anderem Satz von Merkmalen aus der digitalen Karten mit nicht leerem Schnitt den Eingang in eine Lokalisierung, um das Fahrzeug relativ zur Karte zu positionieren. Entsprechend werden im Rahmen der Lokalisierung Abweichungen erkannt und anhand einer Zuordnung von Merkmalen zu den Sensoren in einem sensorspezifischen Register akkumuliert. Übersteigt der Wert des Akkumulators eine vordefinierte Schwelle, so liegt eine Dekalibrierung vor und die Sensoren werden benachrichtigt, wobei diese Nachricht zusätzlich Referenzobjekte aus der Karte und dem Umfeldmodell beinhaltet, die zur Rekalibrierung oder Neukalibrierung verwendet werden können. Zusätzlich oder alternativ kann das Ergebnis der Lokalisierung inkl. der Fehler an ein Backend gemeldet werden, wo der Fehler gegen eine Datenbank verglichen wird. Weicht der Fehler dabei von der Datenbank ab, so wird eine potentielle Dekalibrierung an das Fahrzeug gemeldet und das Verfahren beginnend mit der Akkumulation durchgeführt. Tritt keine Abweichung des Fehlers von der Datenbank auf bzw. liegen keine Referenzdaten in der Datenbank vor, so wird die Datenbank mit den neuen Daten aktualisiert. Dabei werden Einträge der Datenbank ggf. verfeinert, um in der Datenbank einen durchschnittlichen Fehler abzubilden.The environment is perceived by sensors and their data processed by appropriate procedures. In the context of this processing often takes place the extraction of special characteristics of the environment, which are important for the further processing (road markings, posts etc.). Any sensor information can be converted in an optional step by a sensor data fusion to a common environment model. The features of the sensors / fusion, along with another set of features from the non-blanked digital maps, form the entrance to a location to position the vehicle relative to the map. Accordingly, as part of the localization deviations are detected and accumulated based on an assignment of features to the sensors in a sensor-specific register. If the value of the accumulator exceeds a predefined threshold, then there is a decalibration and the sensors are notified, this message additionally containing reference objects from the map and the environmental model that can be used for recalibration or recalibration. Additionally or alternatively, the result of the localization including the error can be reported to a backend, where the error is compared against a database. If the error deviates from the database, then a potential decalibration is reported to the vehicle and the procedure is carried out beginning with the accumulation. If there is no deviation of the error from the database, or if there are no reference data in the database, the database is updated with the new data. If necessary, entries in the database are refined to reflect an average error in the database.
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- DE 102015113911 A1 [0004]DE 102015113911 A1 [0004]
- DE 102010018088 A1 [0005]DE 102010018088 A1 [0005]
- US 5394333 A [0007]US 5394333 A [0007]
Claims (12)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102017222183.6A DE102017222183A1 (en) | 2017-12-07 | 2017-12-07 | Method and system for monitoring a plurality of environmental sensors of a motor vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102017222183.6A DE102017222183A1 (en) | 2017-12-07 | 2017-12-07 | Method and system for monitoring a plurality of environmental sensors of a motor vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102017222183A1 true DE102017222183A1 (en) | 2019-06-13 |
Family
ID=66629205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102017222183.6A Withdrawn DE102017222183A1 (en) | 2017-12-07 | 2017-12-07 | Method and system for monitoring a plurality of environmental sensors of a motor vehicle |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102017222183A1 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102019211006A1 (en) * | 2019-07-25 | 2021-01-28 | Zf Friedrichshafen Ag | Evaluation of sensor data from a vehicle |
US20210034071A1 (en) * | 2019-07-31 | 2021-02-04 | Volkswagen Aktiengesellschaft | Method and device for checking a calibration of environment sensors |
CN112389456A (en) * | 2019-08-15 | 2021-02-23 | 大众汽车股份公司 | Method and device for checking the calibration of an environmental sensor |
CN113376657A (en) * | 2020-02-25 | 2021-09-10 | 百度(美国)有限责任公司 | Automatic tagging system for autonomous vehicle LIDAR data |
DE102019211327B4 (en) | 2019-07-30 | 2024-02-08 | Zf Friedrichshafen Ag | Device, vehicle and method for improved multi-radar sensor calibration |
WO2024083288A1 (en) * | 2022-10-17 | 2024-04-25 | Continental Autonomous Mobility Germany GmbH | Method and assembly for calibrating one or more sensors of a sensor support |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5394333A (en) | 1991-12-23 | 1995-02-28 | Zexel Usa Corp. | Correcting GPS position in a hybrid naviation system |
DE10012471A1 (en) * | 2000-03-15 | 2001-09-20 | Bosch Gmbh Robert | Navigation system imaging for position correction avoids error build up on long journeys |
US20100076709A1 (en) * | 2008-09-19 | 2010-03-25 | Caterpillar Inc. | Machine sensor calibration system |
DE102010018088A1 (en) | 2010-04-24 | 2011-10-27 | Audi Ag | Method for checking a calibration and motor vehicle |
DE102015113911A1 (en) | 2014-08-28 | 2016-03-03 | GM Global Technology Operations LLC | Sensor offset calibration using map information |
DE102015206605A1 (en) * | 2015-04-14 | 2016-10-20 | Continental Teves Ag & Co. Ohg | Calibration and monitoring of environmental sensors with the aid of highly accurate maps |
DE102016006137A1 (en) * | 2016-04-14 | 2017-02-16 | Daimler Ag | Method for locating a vehicle |
US9719801B1 (en) * | 2013-07-23 | 2017-08-01 | Waymo Llc | Methods and systems for calibrating sensors using road map data |
-
2017
- 2017-12-07 DE DE102017222183.6A patent/DE102017222183A1/en not_active Withdrawn
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5394333A (en) | 1991-12-23 | 1995-02-28 | Zexel Usa Corp. | Correcting GPS position in a hybrid naviation system |
DE10012471A1 (en) * | 2000-03-15 | 2001-09-20 | Bosch Gmbh Robert | Navigation system imaging for position correction avoids error build up on long journeys |
US20100076709A1 (en) * | 2008-09-19 | 2010-03-25 | Caterpillar Inc. | Machine sensor calibration system |
DE102010018088A1 (en) | 2010-04-24 | 2011-10-27 | Audi Ag | Method for checking a calibration and motor vehicle |
US9719801B1 (en) * | 2013-07-23 | 2017-08-01 | Waymo Llc | Methods and systems for calibrating sensors using road map data |
DE102015113911A1 (en) | 2014-08-28 | 2016-03-03 | GM Global Technology Operations LLC | Sensor offset calibration using map information |
DE102015206605A1 (en) * | 2015-04-14 | 2016-10-20 | Continental Teves Ag & Co. Ohg | Calibration and monitoring of environmental sensors with the aid of highly accurate maps |
DE102016006137A1 (en) * | 2016-04-14 | 2017-02-16 | Daimler Ag | Method for locating a vehicle |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102019211006A1 (en) * | 2019-07-25 | 2021-01-28 | Zf Friedrichshafen Ag | Evaluation of sensor data from a vehicle |
DE102019211006B4 (en) | 2019-07-25 | 2022-04-28 | Zf Friedrichshafen Ag | Evaluation of sensor data from a vehicle |
DE102019211327B4 (en) | 2019-07-30 | 2024-02-08 | Zf Friedrichshafen Ag | Device, vehicle and method for improved multi-radar sensor calibration |
US20210034071A1 (en) * | 2019-07-31 | 2021-02-04 | Volkswagen Aktiengesellschaft | Method and device for checking a calibration of environment sensors |
US11645782B2 (en) * | 2019-07-31 | 2023-05-09 | Volkswagen Aktiengesellschaft | Method and device for checking a calibration of environment sensors |
CN112389456A (en) * | 2019-08-15 | 2021-02-23 | 大众汽车股份公司 | Method and device for checking the calibration of an environmental sensor |
CN113376657A (en) * | 2020-02-25 | 2021-09-10 | 百度(美国)有限责任公司 | Automatic tagging system for autonomous vehicle LIDAR data |
CN113376657B (en) * | 2020-02-25 | 2024-05-14 | 百度(美国)有限责任公司 | Automatic tagging system for autonomous vehicle LIDAR data |
WO2024083288A1 (en) * | 2022-10-17 | 2024-04-25 | Continental Autonomous Mobility Germany GmbH | Method and assembly for calibrating one or more sensors of a sensor support |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102017222183A1 (en) | Method and system for monitoring a plurality of environmental sensors of a motor vehicle | |
DE102014008578B4 (en) | Method for determining position data for use in the operation of a vehicle system of a motor vehicle and position data acquisition and distribution system | |
EP3649519B1 (en) | Method for verifying a digital map in a more highly automated vehicle, corresponding device and computer program | |
EP3577420B1 (en) | Method and device for updating a digital map | |
DE102011112404B4 (en) | Method for determining the position of a motor vehicle | |
DE102013012324A1 (en) | Method and device for finding a route | |
DE102014009627A1 (en) | Method for reporting a free parking space for a vehicle | |
WO2019063266A1 (en) | Method for locating a vehicle with advanced automated functions (had), in particular a highly automated vehicle, and a vehicle system | |
DE102016213782A1 (en) | A method, apparatus and computer readable storage medium having instructions for determining the lateral position of a vehicle relative to the lanes of a lane | |
DE102017201663A1 (en) | Method for locating a higher automated, e.g. highly automated vehicle (HAF) in a digital localization map | |
DE102012025067A1 (en) | Driver assistance system for motor vehicle, has computing device to identify longitudinal markings mounted on road-way, and to determine wether identified traffic signs for motor vehicle are applied or not, based on longitudinal markings | |
DE102017201664A1 (en) | Method for locating a higher automated vehicle in a digital map | |
DE102020210515A1 (en) | Method for checking detected changes for an environment model of a digital environment map | |
DE102018212219A1 (en) | Check a geographic map | |
EP3649794B1 (en) | Method, driver assistance system and computer program for verifying a digital map of a more highly automated vehicle (haf), in particular of a highly automated vehicle | |
DE102017206344A1 (en) | Driver assistance system for a vehicle | |
DE102016122200A1 (en) | Forming a rescue lane considering their necessity | |
DE102016215825A1 (en) | Method for externally providing map data for assistance systems of motor vehicles | |
WO2016188615A1 (en) | Geographically locating malfunction sources for motor vehicles | |
EP3649521A1 (en) | Method for operating a more highly automated vehicle (haf), in particular a highly automated vehicle | |
WO2019063208A1 (en) | Method for automatically identifying parking areas and/or non-parking areas | |
DE102018005954A1 (en) | Method for updating map material by at least one at least partially autonomous vehicle, driver assistance system, set up for carrying out such a method, and vehicle having such a driver assistance system | |
DE102018210852A1 (en) | Procedure for the determination of illegal driving behavior by a vehicle | |
DE102017207544A1 (en) | METHOD, DEVICES AND COMPUTER READABLE STORAGE MEDIUM WITH INSTRUCTIONS FOR LOCATING A DATE MENTIONED BY A MOTOR VEHICLE | |
EP3649523B1 (en) | Method for operating a more highly automated vehicle, in particular a highly automated vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |