DE102021001043A1 - Method for the automatic detection and localization of anomalies in data recorded by means of a lidar sensor - Google Patents

Method for the automatic detection and localization of anomalies in data recorded by means of a lidar sensor Download PDF

Info

Publication number
DE102021001043A1
DE102021001043A1 DE102021001043.4A DE102021001043A DE102021001043A1 DE 102021001043 A1 DE102021001043 A1 DE 102021001043A1 DE 102021001043 A DE102021001043 A DE 102021001043A DE 102021001043 A1 DE102021001043 A1 DE 102021001043A1
Authority
DE
Germany
Prior art keywords
data
recognized
lidar sensor
recorded
classified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021001043.4A
Other languages
German (de)
Inventor
Larissa Triess
David Peter
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102021001043.4A priority Critical patent/DE102021001043A1/en
Publication of DE102021001043A1 publication Critical patent/DE102021001043A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur automatischen Erkennung und Lokalisierung von Anomalien in mittels eines Lidarsensors erfassten Daten (D). Erfindungsgemäß wird die Erkennung mittels eines künstlichen neuronalen Netzwerks, welches anhand einer Proxy-Klassifizierungsaufgabe trainiert wurde und ein in drei Kategorien unterteiltes Umgebungsmodell umfasst, durchgeführt, wobei als Anomalien ungewöhnliche Szenarien, unbekannte Objekte und ungewöhnliche Sensorverhalten erkannt und lokalisiert werden. Zur Erkennung und Lokalisierung der Anomalien wird eine Punktzahl pro lokaler Region in einer mittels des Lidarsensors erfassten Punktwolke vergeben und dann, wenn die Punktzahl einen vorgegeben Schwellwert überschreitet, wird eine Datenaufzeichnung automatisch gestartet oder eine aktuelle Datenaufzeichnung wird automatisch als für eine Annotation relevant gekennzeichnet. Mittels des Lidarsensors werden erfasste und als zu einer Anomalie gehörig erkannte Daten (D) in eine synthetische Kategorie (K1) eingeordnet. Mittels des Lidarsensors erfasste und als real erkannte Daten (D) werden in eine reale Kategorie (K2) eingeordnet und mittels des Lidarsensors erfasste und als weder zu einer Anomalie gehörig noch als real erkannt eingestufte Daten (D) werden als zufällig erzeugte Daten (D) gekennzeichnet und in eine sonstige Kategorie (K3) eingeordnet.The invention relates to a method for the automatic detection and localization of anomalies in data (D) recorded by means of a lidar sensor. According to the invention, the detection is carried out by means of an artificial neural network which was trained on the basis of a proxy classification task and comprises an environment model divided into three categories, with unusual scenarios, unknown objects and unusual sensor behavior being recognized and localized as anomalies. To identify and localize the anomalies, a number of points is assigned per local region in a point cloud recorded by means of the lidar sensor, and when the number of points exceeds a predetermined threshold, data recording is started automatically or a current data recording is automatically marked as relevant for an annotation. By means of the lidar sensor, recorded data (D) recognized as belonging to an anomaly are classified in a synthetic category (K1). Data (D) recorded by the lidar sensor and recognized as real are classified in a real category (K2) and data (D) recorded by the lidar sensor and classified as neither belonging to an anomaly nor recognized as real are classified as randomly generated data (D) marked and classified in another category (K3).

Description

Die Erfindung betrifft ein Verfahren zur automatischen Erkennung und Lokalisierung von Anomalien in mittels eines Lidarsensors erfassten Daten.The invention relates to a method for the automatic detection and localization of anomalies in data recorded by means of a lidar sensor.

Lidarsensoren sind für zukünftige Fahrzeuge mit fortschrittlichen Fahrerassistenzsystemen und für autonom betriebene Fahrzeuge unverzichtbar. Sie liefem eine präzise dreidimensionale Darstellung die Fahrzeuge umgebender Verkehrsszenen. Um diese Darstellungen als hierarchische Szenen zu interpretieren, die verschiedene miteinander interagierende Objekte enthalten, werden neuronale Netze verwendet, um eine Objekterkennung, eine punktweise semantische Segmentierung oder eine Bewegungsschätzung durchzuführen. Um diese Netzwerke erfolgreich zu trainieren, sind große Mengen an kommentierten Daten erforderlich, welche aufgezeichnet und bei Bedarf wieder abgerufen werden.Lidar sensors are indispensable for future vehicles with advanced driver assistance systems and for autonomously operated vehicles. They provide a precise three-dimensional representation of the vehicles surrounding traffic scenes. In order to interpret these representations as hierarchical scenes that contain various interacting objects, neural networks are used to carry out object recognition, point-by-point semantic segmentation or motion estimation. In order to train these networks successfully, large amounts of annotated data are required, which are recorded and retrieved if necessary.

Die CN 108 802 761 A beschreibt ein Verfahren zur Steuerung eines autonomen Fahrzeugs mit folgenden Schritten:

  • - Erfassung von Lidar-Daten mittels eines am Fahrzeug angeordneten Lidarsensors während eines Betriebs des autonomen Fahrzeugs;
  • - Bestimmung von Lidarpunktwolkenanomalien basierend auf einem Vergleich einer aktuell erfassten Lidarpunktwolke mit zeitlich vorab in einem Speicher hinterlegten Punktwolkeinformationen mittels einer fahrzeugeigenen Recheneinheit;
  • - Erhalten einer Benachrichtigung von einem Remote-Modul, ob die mögliche Lidarpunktwolkenanomalie eine bestätigte Lidarpunktwolkenanomalie ist; und
  • - Ausführen einer oder mehrerer Fahrzeugaktionen, wenn die mögliche Lidarpunktwolkenanomalie eine bestätigte Lidarpunktwolkenanomalie ist.
The CN 108 802 761 A describes a method for controlling an autonomous vehicle with the following steps:
  • - Acquisition of lidar data by means of a lidar sensor arranged on the vehicle during operation of the autonomous vehicle;
  • - Determination of lidar point cloud anomalies based on a comparison of a currently detected lidar point cloud with point cloud information previously stored in a memory by means of a vehicle's own computing unit;
  • Receiving a notification from a remote module as to whether the possible lidar point cloud anomaly is a confirmed lidar point cloud anomaly; and
  • Perform one or more vehicle actions if the potential lidar point cloud anomaly is a confirmed lidar point cloud anomaly.

Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zur automatischen Erkennung und Lokalisierung von Anomalien in mittels eines Lidarsensors erfassten Daten anzugeben.The invention is based on the object of specifying a novel method for the automatic detection and localization of anomalies in data recorded by means of a lidar sensor.

Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist.The object is achieved according to the invention by a method which has the features specified in claim 1.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous refinements of the invention are the subject matter of the subclaims.

In dem Verfahren zur automatischen Erkennung und Lokalisierung von Anomalien in mittels eines Lidarsensors erfassten Daten wird erfindungsgemäß die Erkennung mittels eines künstlichen neuronalen Netzwerks, welches anhand einer Proxy-Klassifizierungsaufgabe trainiert wurde und ein in drei Kategorien unterteiltes Umgebungsmodell umfasst, durchgeführt. Als Anomalien werden ungewöhnliche Szenarien, unbekannte Objekte und ungewöhnliche Sensorverhalten erkannt und lokalisiert. Zur Erkennung und Lokalisierung der Anomalien wird eine Punktzahl pro lokaler Region in einer mittels des Lidarsensors erfassten Punktwolke vergeben, wobei dann, wenn die Punktzahl einen vorgegeben Schwellwert überschreitet, eine Datenaufzeichnung automatisch gestartet wird oder eine aktuelle Datenaufzeichnung automatisch als für eine Annotation relevant gekennzeichnet wird. Mittels des Lidarsensors erfasste und als zu einer Anomalie gehörig erkannte Daten werden in eine synthetische Kategorie eingeordnet. Mittels des Lidarsensors erfasste und als real erkannte Daten werden in eine reale Kategorie eingeordnet. Mittels des Lidarsensors erfasste und als weder zu einer Anomalie gehörig noch als real erkannt eingestufte Daten werden als zufällig erzeugte Daten gekennzeichnet und in eine sonstige Kategorie eingeordnet.In the method for the automatic detection and localization of anomalies in data recorded by means of a lidar sensor, the detection is carried out according to the invention by means of an artificial neural network which has been trained on the basis of a proxy classification task and comprises an environment model divided into three categories. Unusual scenarios, unknown objects and unusual sensor behavior are recognized and localized as anomalies. To identify and localize the anomalies, a number of points is assigned per local region in a point cloud recorded by means of the lidar sensor, with data recording being started automatically or a current data recording being automatically marked as relevant for an annotation when the number of points exceeds a predetermined threshold value. Data acquired by means of the lidar sensor and recognized as belonging to an anomaly are classified in a synthetic category. Data recorded by the lidar sensor and recognized as real are classified in a real category. Data recorded by means of the lidar sensor and classified as neither belonging to an anomaly nor recognized as real are identified as randomly generated data and placed in another category.

Eine Aufzeichnung solcher Daten ist relativ einfach, da ein den Lidarsensor aufweisendes Fahrzeug mit dem Lidarsensor lediglich für eine bestimmte Zeit fahren muss. Ein Abrufen der Daten, insbesondere so genannter Bounding Boxen oder punktueller Kommentare, ist jedoch sehr zeitaufwändig und teuer. Daher ist es vorteilhaft, eine Datenmenge zu reduzieren, die sinnvoll kommentiert werden muss.Recording such data is relatively simple, since a vehicle having the lidar sensor only needs to drive with the lidar sensor for a certain time. However, calling up the data, in particular so-called bounding boxes or punctual comments, is very time-consuming and expensive. It is therefore advantageous to reduce an amount of data that needs to be commented on in a meaningful way.

Es ist bekannt, dass die reine Menge an Trainingsdaten eine Leistung eines Systems nicht unbedingt verbessert. Enthält ein Trainingsdatensatz eine große Datenmenge, die beispielsweise auf einer Autobahn aufgezeichnet wurde, ist das künstliche neuronale Netzwerk gut dafür geeignet, eine Straßenoberfläche zu segmentieren und Fahrzeuge zu erkennen. Für eine Erkennung von Fußgängern, welche sich normalerweise nicht auf Autobahnen befinden, ist das Netzwerk dagegen nicht oder nur bedingt geeignet. Somit würde ein Hinzufügen von weiteren, Fahrzeugumgebungen im Bereich einer Autobahn betreffenden Trainingsdaten in eine Trainingsdatenbank eine Erkennungsleistung von Fußgängern in städtischen Szenarien nicht verbessern oder sogar weiter verschlechtern. Daher ist es wichtig zu wissen, welche Datenverteilungen bereits in aufgezeichneten Daten enthalten sind und welche nicht.It is known that the sheer amount of training data does not necessarily improve a system's performance. If a training data set contains a large amount of data that was recorded on a motorway, for example, the artificial neural network is well suited to segment a road surface and to recognize vehicles. In contrast, the network is not, or is only partially, suitable for recognizing pedestrians who are normally not on motorways. Thus, adding further training data relating to vehicle environments in the area of a motorway to a training database would not improve or even further worsen a recognition performance of pedestrians in urban scenarios. It is therefore important to know which data distributions are already included in recorded data and which are not.

Das vorliegende Verfahren ermöglicht eine automatische Auslösung für eine Datenaufzeichnung und trägt deshalb in besonders vorteilhafter Weise dazu bei, dass eine Menge von zu kommentierenden Daten erheblich reduziert werden kann. Gleichzeitig werden eine Vielfalt und Qualität eines erzeugten und kommentierten Datensatzes signifikant erhöht, was dazu beiträgt, künstliche neuronale Netzwerke zur Umgebungserkennung besser zu trainieren. Eine Qualität und Vielfalt aufgezeichneter Sensordaten sind dabei entscheidende Elemente für eine Verbesserung einer Leistung künstlicher neuronaler Netze für die Umgebungserkennung. Die automatische Auslösung der Sensoraufzeichnungen zum Abrufen von Kommentierungen reduziert Kosten und eine Zeit für Kommentierungen und verbessert eine Vielfalt des Datensatzes, ohne ihn unnötig durch redundante Daten zu vergrößern.The present method enables automatic triggering for data recording and therefore contributes in a particularly advantageous manner to the fact that a quantity of data to be commented on can be reduced considerably. At the same time, the diversity and quality of a generated and annotated data set are significantly increased, which contributes to artificial neural networks to train better to recognize surroundings. A quality and variety of recorded sensor data are decisive elements for improving the performance of artificial neural networks for environment recognition. The automatic triggering of the sensor recordings to retrieve comments reduces costs and time for comments and improves a diversity of the data set without unnecessarily enlarging it with redundant data.

Somit ermöglicht das vorliegende Verfahren ein automatisches Auslösen oder Markieren von Sensoraufzeichnungen mit unbekannten Objekten oder Szenarien, die für das Training des zur Umgebungserkennung ausgebildeten künstlichen neuronalen Netzwerks vorteilhaft sind. Es ermöglicht eine Kostenreduktion für menschliche Kommentierungen und erhöht eine Vielfalt und Qualität der aufgezeichneten Daten in komprimierter Weise.The present method thus enables automatic triggering or marking of sensor recordings with unknown objects or scenarios that are advantageous for training the artificial neural network designed for environment recognition. It enables a reduction in the cost of human annotations and increases the variety and quality of the recorded data in a compressed manner.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.Embodiments of the invention are explained in more detail below with reference to drawings.

Dabei zeigen:

  • 1 schematisch mittels eines Lidarsensors erfasste Daten und deren Zuordnung zu verschiedenen Kategorien,
  • 2 schematisch mittels eines Lidarsensors erfasste Daten einer Szene mit Anomalien,
  • 3 schematisch mittels eines Lidarsensors erfasste Daten einer weiteren Szene mit Anomalien,
  • 4 schematisch mittels eines Lidarsensors erfasste Daten einer weiteren Szene mit Anomalien,
  • 5 schematisch mittels eines Lidarsensors erfasste Daten mit zufällig erzeugten Daten,
  • 6 schematisch weitere mittels eines Lidarsensors erfasste Daten mit zufällig erzeugten Daten,
  • 7 schematisch weitere mittels eines Lidarsensors erfasste Daten mit zufällig erzeugten Daten und
  • 8 schematisch weitere mittels eines Lidarsensors erfasste Daten mit zufällig erzeugten Daten.
Show:
  • 1 data recorded schematically by means of a lidar sensor and their assignment to different categories,
  • 2 data of a scene with anomalies recorded schematically by means of a lidar sensor,
  • 3 data of another scene with anomalies recorded schematically by means of a lidar sensor,
  • 4th data of another scene with anomalies recorded schematically by means of a lidar sensor,
  • 5 data recorded schematically by means of a lidar sensor with randomly generated data,
  • 6th schematically further data recorded by means of a lidar sensor with randomly generated data,
  • 7th schematically further data acquired by means of a lidar sensor with randomly generated data and
  • 8th schematically further data acquired by means of a lidar sensor with randomly generated data.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.Corresponding parts are provided with the same reference symbols in all figures.

In 1 sind mittels eines Lidarsensors erfasste Daten D und deren Zuordnung zu verschiedenen Kategorien dargestellt. Der Lidarsensor ist insbesondere Bestandteil eines Fahrzeugs und zur Erfassung einer Fahrzeugumgebung ausgebildet und vorgesehen.In 1 are data recorded by means of a lidar sensor D. and their assignment to different categories is shown. The lidar sensor is, in particular, a component of a vehicle and is designed and provided for detecting a vehicle environment.

Um innerhalb der erfassten Daten D Neuheiten und Anomalien, insbesondere ungewöhnliche Szenarien, unbekannte Objekte und ungewöhnliche Sensorverhalten, automatisch erkennen und lokalisieren zu können, wird ein künstliches neuronales Netzwerk verwendet. Hierbei erfolgt ein Lernen einer Verteilung bereits aufgezeichneter Daten D. Dies hat den Vorteil, dass Informationen eines vorhandenen Datensatzes komprimiert in Form von intern erlemten Gewichten des künstlichen neuronalen Netzwerks zur Verfügung stehen. Das künstliche neuronale Netzwerk ist dabei derart trainiert, dass ein vorhandener realer Datensatz innerhalb eines netzwerkinternen Verständnisses als reale oder bekannte Verteilung bezeichnet wird. Ist das Fahrzeug in Betrieb und fährt und ist eine Funktion zur automatischen Erkennung und Lokalisierung von Anomalien in den mittels des Lidarsensors erfassten Daten D aktiv, werden die meisten erkannten Szenarien als vertraut eingestuft. Werden jedoch unbekannte, das heißt in vorherigen Messungen nicht erkannte Objekte oder Szenarien vom Lidarsensor erfasst, werden diese entsprechend als „nicht in den Trainingsdaten enthalten“ gekennzeichnet.To be within the recorded data D. An artificial neural network is used to automatically recognize and localize novelties and anomalies, in particular unusual scenarios, unknown objects and unusual sensor behavior. Here, a distribution of data that has already been recorded is learned D. . This has the advantage that information from an existing data set is available in compressed form in the form of internally learned weights of the artificial neural network. The artificial neural network is trained in such a way that an existing real data record is referred to as a real or known distribution within a network-internal understanding. If the vehicle is in operation and is driving and is a function for the automatic detection and localization of anomalies in the data recorded by means of the lidar sensor D. active, most recognized scenarios are classified as familiar. If, however, unknown objects or scenarios, that is, objects or scenarios not recognized in previous measurements, are detected by the lidar sensor, they are marked as “not included in the training data”.

Mittels des künstlichen neuronalen Netzwerks wird hierbei eine Punktzahl pro lokaler Region in einer mittels des Lidarsensors erfassten Punktwolke vergeben. In Verbindung mit einem Schwellenwert werden diese Informationen als Auslöser für eine Datenaufzeichnung verwendet oder eine aktuelle Datenaufzeichnung wird als für eine Kommentierung relevant gekennzeichnet.By means of the artificial neural network, a number of points is assigned per local region in a point cloud recorded by means of the lidar sensor. In connection with a threshold value, this information is used as a trigger for a data recording or a current data recording is marked as relevant for a comment.

Das künstliche neuronale Netzwerks wurde hierzu anhand einer Proxy-Klassifizierungsaufgabe trainiert und umfasst ein in drei Kategorien unterteiltes Umgebungsmodell. Die Kategorien umfassen hierbei eine synthetische Kategorie K1, in welche mittels des Lidarsensors erfasste und als zu einer Anomalie gehörig erkannte Daten D eingeordnet werden. Weiterhin umfassen die Kategorien eine reale Kategorie K2, in welche mittels des Lidarsensors erfasste und als real erkannte Daten D eingeordnet werden. Ferner umfassen die Kategorien eine sonstige Kategorie K3, in welche mittels des Lidarsensors erfasste und als weder zu einer Anomalie gehörig noch als real erkannt eingestufte Daten D eingeordnet werden. Diese Daten D werden als zufällig erzeugte Daten gekennzeichnet und werden beispielsweise durch Rauschen, wie in einem Bereich B3 dargestellt, erzeugt. Für das so erzeugte künstliche neuronale Netzwerk ist keinerlei Kommentieren erforderlich, um eine Verteilung der Daten D zu lemen.For this purpose, the artificial neural network was trained using a proxy classification task and comprises an environment model divided into three categories. The categories here include a synthetic category K1 , in which data captured by means of the lidar sensor and recognized as belonging to an anomaly D. be classified. The categories also include a real category K2 , in which data captured by means of the lidar sensor and recognized as real D. be classified. The categories also include another category K3 , in which data recorded by means of the lidar sensor and classified as neither belonging to an anomaly nor recognized as real D. be classified. These dates D. are marked as randomly generated data and are represented by, for example, noise such as in an area B3 shown, generated. The artificial neural network generated in this way does not require any commenting in order to distribute the data D. to learn.

Alternativ könnte eine große Datenbank mit bereits aufgezeichneten Daten D gespeichert werden, wobei während der Fahrt des Fahrzeugs eine Nearest-Neighbor-Suche für ein aktuell aufgezeichnetes Szenario durchgeführt würde. Wenn die Entfernung zum nearest Neighbor hoch ist, bedeutet dies, dass dieses Szenario neu ist. Jedoch werden für die Suche nach dem nearest Neighbor Metriken wie „Chamfer Distance“ oder „Earth-Mother-Distance“ verwendet. Diese Metriken sind nicht in der Lage, Informationen auf höherer Ebene zu erfassen, sondern nur eine reine Datenverteilung. Weiterhin können mit diesem Verfahren die Anomalien innerhalb des Scans nicht lokalisiert werden und ein Auffinden der engsten Übereinstimmung ist in einer großen Datenbank langsam und kann daher nicht als Echtzeittrigger im Fahrzeug verwendet werden. Weiterhin müsste ein das Verfahren ausführendes System während der Fahrt des Fahrzeugs über eine Remote-Verbindung mit der Datenbank verbunden sein.Alternatively, there could be a large database of pre-recorded data D. saved , whereby a nearest neighbor search for a currently recorded scenario would be carried out while the vehicle is in motion. If the distance to the nearest neighbor is high, it means that this scenario is new. However, metrics such as “Chamfer Distance” or “Earth-Mother-Distance” are used to search for the nearest neighbor. These metrics are not able to capture information at a higher level, but only a pure data distribution. Furthermore, the anomalies within the scan cannot be localized with this method and finding the closest match is slow in a large database and therefore cannot be used as a real-time trigger in the vehicle. Furthermore, a system executing the method would have to be connected to the database via a remote connection while the vehicle is in motion.

Die 2 bis 4 zeigen mittels eines Lidarsensors erfasste Daten D unterschiedlicher Szenen mit Anomalien. In den Daten D insbesondere farbig unterschiedlich gekennzeichnete Bereiche B1 bis B5 stellen dabei lokale Regionen mit unterschiedlicher interpolierter Punktzahl dar, welche diskrete Werte sind, die sich an auf kreisförmigen Bahnen befindlichen Abfragepunkten befinden.The 2 to 4th show data captured by means of a lidar sensor D. different scenes with anomalies. In the data D. in particular, areas marked in different colors B1 to B5 represent local regions with different interpolated number of points, which are discrete values that are located at query points located on circular paths.

2 zeigt dabei eine Szene, in welcher in einer unteren Hälfte scheinbar schwebende Zweige eines großen Baumes hervorgehoben sind, welche von oben in einen Erfassungsbereich des Lidarsensors eintreten. 2 shows a scene in which apparently floating branches of a large tree are highlighted in a lower half and enter a detection area of the lidar sensor from above.

In 3 ist eine ungewöhnliche Szene in einer Sackgasse mit steilen Hügeln, die das Fahrzeug umgeben, dargestellt.In 3 depicts an unusual scene in a cul-de-sac with steep hills surrounding the vehicle.

In 4 markiert der größte der Bereiche B3 einen Straßenabschnitt mit extremen Höhenänderungen.In 4th marks the largest of the areas B3 a stretch of road with extreme changes in elevation.

In den 5 bis 8 sind unterschiedliche Ausführungsbeispiele von mittels eines Lidarsensors erfassten Daten D mit zufällig erzeugten Daten D, beispielsweise Gaußschem Rauschen, dargestellt.In the 5 to 8th are different exemplary embodiments of data acquired by means of a lidar sensor D. with randomly generated data D. , for example Gaussian noise.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

  • CN 108802761 A [0003]CN 108802761 A [0003]

Claims (4)

Verfahren zur automatischen Erkennung und Lokalisierung von Anomalien in mittels eines Lidarsensors erfassten Daten (D), dadurch gekennzeichnet, dass - die Erkennung mittels eines künstlichen neuronalen Netzwerks, welches anhand einer Proxy-Klassifizierungsaufgabe trainiert wurde und ein in drei Kategorien unterteiltes Umgebungsmodell umfasst, durchgeführt wird, - als Anomalien ungewöhnliche Szenarien, unbekannte Objekte und ungewöhnliche Sensorverhalten erkannt und lokalisiert werden, - zur Erkennung und Lokalisierung der Anomalien eine Punktzahl pro lokaler Region in einer mittels des Lidarsensors erfassten Punktwolke vergeben wird, - dann, wenn die Punktzahl einen vorgegeben Schwellwert überschreitet, eine Datenaufzeichnung automatisch gestartet wird oder eine aktuelle Datenaufzeichnung automatisch als für eine Annotation relevant gekennzeichnet wird, - mittels des Lidarsensors erfasste und als zu einer Anomalie gehörig erkannte Daten (D) in eine synthetische Kategorie (K1) eingeordnet werden, - mittels des Lidarsensors erfasste und als real erkannte Daten (D) in eine reale Kategorie (K2) eingeordnet werden und - mittels des Lidarsensors erfasste und als weder zu einer Anomalie gehörig noch als real erkannt eingestufte Daten (D) als zufällig erzeugte Daten (D) gekennzeichnet und in eine sonstige Kategorie (K3) eingeordnet werden.Method for the automatic detection and localization of anomalies in data (D) recorded by means of a lidar sensor, characterized in that the detection is carried out by means of an artificial neural network which has been trained on the basis of a proxy classification task and comprises an environment model divided into three categories - unusual scenarios, unknown objects and unusual sensor behavior are recognized and localized as anomalies, - a number of points is assigned per local region in a point cloud recorded by means of the lidar sensor to identify and localize the anomalies, - when the number of points exceeds a specified threshold value, a data recording is started automatically or a current data recording is automatically marked as relevant for an annotation, - data (D) recorded by means of the lidar sensor and recognized as belonging to an anomaly are incorporated into a synthetic category (K1) - data (D) recorded by the lidar sensor and recognized as real are classified in a real category (K2) and - data recorded by the lidar sensor and classified as neither belonging to an anomaly nor recognized as real (D) are generated randomly Data (D) and classified in another category (K3). Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk derart trainiert ist, dass ein vorhandener realer Datensatz innerhalb eines netzwerkinternen Verständnisses als reale Verteilung bezeichnet wird.Procedure according to Claim 1 , characterized in that the artificial neural network is trained in such a way that an existing real data record is referred to as a real distribution within a network-internal understanding. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass bei einer Erkennung von bereits in einem realen Datensatz erkannten Szenarien und/oder Objekten diese Szenarien und/oder Objekte als vertraut eingestuft werden.Procedure according to Claim 2 , characterized in that when scenarios and / or objects that have already been recognized in a real data record are recognized, these scenarios and / or objects are classified as familiar. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass bei einer Erkennung von nicht bereits in einem realen Datensatz erkannten Szenarien und/oder Objekten diese Szenarien und/oder Objekte als unbekannt und nicht in den Trainingsdaten enthalten eingestuft werden.Procedure according to Claim 2 or 3 , characterized in that when scenarios and / or objects not already recognized in a real data record are recognized, these scenarios and / or objects are classified as unknown and not contained in the training data.
DE102021001043.4A 2021-02-26 2021-02-26 Method for the automatic detection and localization of anomalies in data recorded by means of a lidar sensor Pending DE102021001043A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102021001043.4A DE102021001043A1 (en) 2021-02-26 2021-02-26 Method for the automatic detection and localization of anomalies in data recorded by means of a lidar sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021001043.4A DE102021001043A1 (en) 2021-02-26 2021-02-26 Method for the automatic detection and localization of anomalies in data recorded by means of a lidar sensor

Publications (1)

Publication Number Publication Date
DE102021001043A1 true DE102021001043A1 (en) 2021-04-15

Family

ID=75155694

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021001043.4A Pending DE102021001043A1 (en) 2021-02-26 2021-02-26 Method for the automatic detection and localization of anomalies in data recorded by means of a lidar sensor

Country Status (1)

Country Link
DE (1) DE102021001043A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021129070A1 (en) 2021-11-09 2023-05-11 Valeo Schalter Und Sensoren Gmbh Recording of the content of an environment of a vehicle with a priori confidences

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021129070A1 (en) 2021-11-09 2023-05-11 Valeo Schalter Und Sensoren Gmbh Recording of the content of an environment of a vehicle with a priori confidences

Similar Documents

Publication Publication Date Title
DE102016003424B4 (en) Method and device for recognizing traffic signs
DE102016219455A1 (en) Motor vehicle, method and active infrastructure for checking an environment detection of a motor vehicle
DE102016210534A1 (en) Method for classifying an environment of a vehicle
DE102018116036A1 (en) Training a deep convolutional neural network for individual routes
DE102018133441A1 (en) Method and system for determining landmarks in the surroundings of a vehicle
DE102018203583A1 (en) Method, driver assistance system and motor vehicle for the prediction of a position or a trajectory by means of a graph-based environment model
EP3644239A1 (en) Device and method for abstracting a dataset
DE102018215753A1 (en) Device and method for determining a trajectory of a vehicle
WO2020048940A1 (en) Method and system for improved object marking in sensor data
DE102021001043A1 (en) Method for the automatic detection and localization of anomalies in data recorded by means of a lidar sensor
DE102017206344A1 (en) Driver assistance system for a vehicle
DE102017004721A1 (en) Method for locating a vehicle
DE102016124888A1 (en) A method for assisting a driver of a motor vehicle when parking using a driver assistance device, corresponding computer program product and driver assistance device
DE102018010039A1 (en) Method for recognizing at least one pattern in an environment of a vehicle, control device for executing such a method, and vehicle with such a control device
DE102018213844A1 (en) Method for testing an at least partially automated driving function for motor vehicles
DE102021111325A1 (en) Method and assistance device for supporting driving operation of a motor vehicle and motor vehicle
DE102015216352A1 (en) Method for detecting a possible collision of a vehicle with a pedestrian on the basis of high-resolution recordings
DE102020004790A1 (en) Device for recognizing traffic signs from a vehicle
DE102019129737A1 (en) Method for classifying an environment of a vehicle
WO2020094323A1 (en) Method for classifying objects by means of an automatically driving motor vehicle, and automatically driving motor vehicle
EP3576013A1 (en) Estimation of a path of a rail path
DE102019001092A1 (en) Method for operating a driver assistance system, as well as electronic computing device, computer program product and data carrier
DE102019203813A1 (en) Detection and approximate location of signal sources
DE102021207456A1 (en) Method for at least partially automated driving of a motor vehicle
DE102020001309A1 (en) Method for operating an electronic computing device for a motor vehicle, as well as an electronic computing device

Legal Events

Date Code Title Description
R230 Request for early publication
R081 Change of applicant/patentee

Owner name: MERCEDES-BENZ GROUP AG, DE

Free format text: FORMER OWNER: DAIMLER AG, 70372 STUTTGART, DE