DE102019210128A1 - Method for evaluating recorded sensor data from a sensor - Google Patents

Method for evaluating recorded sensor data from a sensor Download PDF

Info

Publication number
DE102019210128A1
DE102019210128A1 DE102019210128.3A DE102019210128A DE102019210128A1 DE 102019210128 A1 DE102019210128 A1 DE 102019210128A1 DE 102019210128 A DE102019210128 A DE 102019210128A DE 102019210128 A1 DE102019210128 A1 DE 102019210128A1
Authority
DE
Germany
Prior art keywords
sensor
data
determined
quality
measured values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019210128.3A
Other languages
German (de)
Inventor
Philipp Hüger
Jana Seeland
Toralf HESSEL
Leonie Callies
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE102019210128.3A priority Critical patent/DE102019210128A1/en
Publication of DE102019210128A1 publication Critical patent/DE102019210128A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D18/00Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D2218/00Indexing scheme relating to details of testing or calibration
    • G01D2218/10Testing of sensors or measuring arrangements

Abstract

Die Erfindung betrifft ein Verfahren zum Bewerten von erfassten Sensordaten (20) eines Sensors (10), wobei die erfassten Sensordaten (20) ortsaufgelöst sind und in einem Umfeld erfasste Objekte umfassen, wobei die erfassten Sensordaten (20) des Sensors (10) mit ortsaufgelöst in dem Umfeld erfassten Referenzdaten (21) eines Referenzsensors (11) verglichen werden, und wobei aus einem Vergleichsergebnis eine Sensorgüte (30) des Sensors (10) bestimmt und als Bewertungsergebnis (31) ausgegeben wird. Ferner betrifft die Erfindung eine Vorrichtung (1) zur Datenverarbeitung, ein Computerprogramm und ein computerlesbares Speichermedium.The invention relates to a method for evaluating recorded sensor data (20) of a sensor (10), the recorded sensor data (20) being spatially resolved and including objects detected in an environment, the detected sensor data (20) of the sensor (10) also being spatially resolved Reference data (21) of a reference sensor (11) recorded in the environment are compared, and a sensor quality (30) of the sensor (10) is determined from a comparison result and output as an evaluation result (31). The invention also relates to a device (1) for data processing, a computer program and a computer-readable storage medium.

Description

Die Erfindung betrifft ein Verfahren zum Bewerten von erfassten Sensordaten eines Sensors. Ferner betrifft die Erfindung eine Vorrichtung zur Datenverarbeitung, ein Computerprogramm und ein computerlesbares Speichermedium.The invention relates to a method for evaluating acquired sensor data from a sensor. The invention also relates to a device for data processing, a computer program and a computer-readable storage medium.

Moderne Kraftfahrzeuge sind mit einer Vielzahl von Assistenzsystemen ausgerüstet, die einen Fahrer beim Führen des Fahrzeugs unterstützen oder das Kraftfahrzeug teilautomatisiert oder automatisiert führen können. Den Assistenzsystemen wird hierzu eine Vielzahl von Sensordaten von Sensoren (Radar, LIDAR, Ultraschall, Infrarot etc.) zugeführt, die ein Umfeld des Kraftfahrzeugs erfassen. Zum Bereitstellen von Funktionen ist es wünschenswert zu wissen, wie gut eine Sensorgüte unterschiedlicher Arten von Sensoren ist, um darauf aufbauend eine Auswahl eines geeigneten Sensors für eine Funktion bzw. ein Assistenzsystem treffen zu können.Modern motor vehicles are equipped with a large number of assistance systems which support a driver in driving the vehicle or which can drive the motor vehicle in a partially or automated manner. For this purpose, the assistance systems are supplied with a large number of sensor data from sensors (radar, LIDAR, ultrasound, infrared, etc.) that detect the surroundings of the motor vehicle. In order to provide functions, it is desirable to know how good a sensor quality of different types of sensors is in order to be able to make a selection of a suitable sensor for a function or an assistance system based on this.

Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren zum Bewerten von erfassten Sensordaten eines Sensors zu verbessern.The invention is based on the object of improving a method for evaluating acquired sensor data of a sensor.

Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und eine Vorrichtung mit den Merkmalen des Patentanspruchs 8 gelöst. Weiter wird die Aufgabe erfindungsgemäß durch ein Computerprogramm mit den Merkmalen des Patentanspruchs 9 und ein computerlesbares Speichermedium mit den Merkmalen des Patentanspruchs 10 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.According to the invention, the object is achieved by a method having the features of claim 1 and a device having the features of claim 8. Furthermore, the object is achieved according to the invention by a computer program with the features of patent claim 9 and a computer-readable storage medium with the features of patent claim 10. Advantageous embodiments of the invention emerge from the subclaims.

Insbesondere wird ein Verfahren zum Bewerten von erfassten Sensordaten eines Sensors zur Verfügung gestellt, wobei die erfassten Sensordaten ortsaufgelöst sind und in einem Umfeld erfasste Objekte umfassen, wobei die erfassten Sensordaten des Sensors mit ortsaufgelöst in dem Umfeld erfassten Referenzdaten eines Referenzsensors verglichen werden, und wobei aus einem Vergleichsergebnis eine Sensorgüte des Sensors bestimmt und als Bewertungsergebnis ausgegeben wird.In particular, a method for evaluating acquired sensor data of a sensor is made available, the acquired sensor data being spatially resolved and comprising objects acquired in an environment, the acquired sensor data of the sensor being compared with reference data of a reference sensor acquired in the environment in a spatially resolved manner, and from A comparison result determines a sensor quality of the sensor and is output as an evaluation result.

Ferner wird insbesondere eine Vorrichtung zur Datenverarbeitung geschaffen, umfassend Mittel zur Ausführung der erfindungsgemäßen Verfahrensschritte des Verfahrens.Furthermore, in particular a device for data processing is created, comprising means for carrying out the method steps of the method according to the invention.

Weiter wird insbesondere ein Computerprogramm geschaffen, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, die Verfahrensschritte des erfindungsgemäßen Verfahrens auszuführen.Furthermore, in particular a computer program is created, comprising commands which, when the computer program is executed by a computer, cause the computer to carry out the method steps of the method according to the invention.

Zuletzt wird insbesondere ein computerlesbares Speichermedium geschaffen, umfassend Befehle, die bei der Ausführung durch einen Computer diesen veranlassen, die Verfahrensschritte des erfindungsgemäßen Verfahrens auszuführen.Finally, in particular, a computer-readable storage medium is created, comprising instructions which, when executed by a computer, cause the computer to carry out the method steps of the method according to the invention.

Das Verfahren und die Vorrichtung ermöglichen es, einen Sensor mit Hilfe von erfassten Sensordaten zu bewerten. Dies erfolgt durch einen Vergleich mit im selben Umfeld erfassten Referenzdaten eines Referenzsensors. Der Referenzsensor ist hierbei insbesondere ein Sensor, der eine größere Sensorgüte, insbesondere im Hinblick auf eine Auflösung und ein Detektionsvermögen von Objekten im Umfeld, aufweist. Beispielsweise kann zum Bewerten eines Radar- oder eines Ultraschallsensors ein hochaufgelöster LIDAR-Sensor als Referenzsensor verwendet werden. Die Sensordaten umfassen im genannten Beispiel ortsaufgelöste Radar- oder Ultraschallechos von Objekten in dem Umfeld. Entsprechend umfassen die Referenzdaten LIDAR-Echos von den Objekten in dem Umfeld. Die Sensordaten und die Referenzdaten liegen insbesondere als ortsaufgelöste aus Messwerten gebildeten Punktwolken vor. Es kann vorgesehen sein, dass die Referenzdaten durch mehrmaliges Erfassen und anschließendes Mitteln erzeugt wurden. Der Vergleich von den im selben Umfeld erfassten Sensordaten des zu bewertenden Sensors und den Referenzdaten erfolgt insbesondere automatisiert. Ergebnis des Verfahrens ist eine bestimmte Sensorgüte, die einen Vergleich mit anderen Sensoren ermöglicht.The method and the device make it possible to evaluate a sensor with the aid of acquired sensor data. This is done through a comparison with reference data from a reference sensor recorded in the same environment. The reference sensor is in particular a sensor which has a higher sensor quality, in particular with regard to a resolution and a detection capability of objects in the environment. For example, a high-resolution LIDAR sensor can be used as a reference sensor to evaluate a radar or an ultrasonic sensor. In the example mentioned, the sensor data include spatially resolved radar or ultrasonic echoes from objects in the vicinity. Accordingly, the reference data includes LIDAR echoes from the objects in the environment. The sensor data and the reference data are in particular available as spatially resolved point clouds formed from measured values. Provision can be made for the reference data to be generated by multiple acquisition and subsequent averaging. The comparison of the sensor data recorded in the same environment of the sensor to be evaluated and the reference data takes place in an automated manner in particular. The result of the process is a certain sensor quality that enables a comparison with other sensors.

Insbesondere ist vorgesehen, dass das Verfahren auch für mindestens einen weiteren Sensor durchgeführt wird, wobei der mindestens eine weitere Sensor ein anderes Messverfahren anwendet als der Sensor und/oder andere Eigenschaften als dieser aufweist. Da auch für den mindestens einen weiteren Sensor ein Vergleich mit denselben Referenzdaten durchgeführt wird, können die jeweils für den Sensor und den mindestens einen weiteren Sensor bestimmten Sensorgüten direkt miteinander verglichen werden. Insbesondere kann auf Grundlage der bestimmten Sensorgüten eine Sensorempfehlung und/oder eine Sensorauswahl für eine spezifische Anwendung in einem Assistenzsystem eines Kraftfahrzeugs gegeben bzw. getroffen werden.In particular, it is provided that the method is also carried out for at least one further sensor, the at least one further sensor using a different measuring method than the sensor and / or having different properties than this. Since a comparison with the same reference data is also carried out for the at least one further sensor, the respective sensor qualities determined for the sensor and the at least one further sensor can be compared directly with one another. In particular, a sensor recommendation and / or a sensor selection for a specific application in an assistance system of a motor vehicle can be given or made on the basis of the determined sensor qualities.

Die erfassten Sensordaten und die Referenzdaten liegen ortsaufgelöst vor, wobei einzelne Messwerte der Sensordaten und der Referenzdaten sich insbesondere auf dasselbe Koordinatensystem beziehen. Das Koordinatensystem beruht beispielsweise auf Globalkoordinaten oder lokalen kartesischen Koordinaten. Die Sensordaten können hierbei zweidimensionalen Koordinaten zugeordnet sein, welche zusätzlich mit einer Höheninformation versehen sind. Die Höheninformation umfasst hierbei insbesondere eine Information, ob ein mit einem erfassten Messwert verknüpftes Objekt der Höhe nach für ein Kraftfahrzeug über- oder unterfahrbar ist oder nicht. Unterfahrbar ist beispielsweise eine Autobahnbrücke, eine Schranke hingegen nicht. Alternativ können die Sensordaten auch dreidimensionalen Koordinaten zugeordnet sein. Die Referenzdaten sind insbesondere dreidimensionalen Koordinaten zugeordnet.The recorded sensor data and the reference data are present in a spatially resolved manner, with individual measured values of the sensor data and the reference data relating in particular to the same coordinate system. The coordinate system is based, for example, on global coordinates or local Cartesian coordinates. The sensor data can be assigned to two-dimensional coordinates, which are additionally provided with height information. The height information here includes, in particular, information as to whether or not an object linked to a recorded measured value can be driven over or under by a motor vehicle in terms of height. A motorway bridge, for example, can be driven under, but not a barrier. Alternatively, the sensor data can also be assigned to three-dimensional coordinates. The reference data are assigned, in particular, to three-dimensional coordinates.

Insbesondere kann vorgesehen sein, dass im Rahmen des Verfahrens mehrere Gütekriterien für die Sensorgüte bestimmt werden und anschließend gewichtet oder ungewichtet zum Bestimmen der Sensorgüte berücksichtigt bzw. zusammengefasst werden. Es kann auch vorgesehen sein, dass eine statistische Verteilung von einzelnen Gütekriterien, die jeweils in gleicher Weise für Teile der Sensordaten bestimmt wurden, ausgewertet wird. Ein einzelnes Gütekriterium und/oder ein Gesamtergebnis können normiert sein. Es kann vorgesehen sein, dass eine Abhängigkeit der bzw. des Gesamtergebnisse(s) von einem ausgewählten Gütekriterium ermittelt und bereitgestellt wird.In particular, it can be provided that within the scope of the method several quality criteria for the sensor quality are determined and then weighted or unweighted are taken into account or combined to determine the sensor quality. It can also be provided that a statistical distribution of individual quality criteria, which were each determined in the same way for parts of the sensor data, is evaluated. A single quality criterion and / or an overall result can be standardized. It can be provided that a dependency of the overall result (s) on a selected quality criterion is determined and provided.

Das Verfahren wird insbesondere als computerimplementierte Erfindung ausgeführt.The method is carried out in particular as a computer-implemented invention.

Insbesondere wird das Verfahren mittels einer Recheneinrichtung, die auf einen Speicher zugreifen kann, ausgeführt. Die Recheneinrichtung kann als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird.In particular, the method is carried out by means of a computing device that can access a memory. The computing device can be designed as a combination of hardware and software, for example as program code that is executed on a microcontroller or microprocessor.

In einer Ausführungsform ist vorgesehen, dass zum Bestimmen der Sensorgüte mindestens ein Polygonzug auf Grundlage der ortsaufgelösten Referenzdaten erzeugt wird, wobei das Vergleichen der erfassten ortsaufgelösten Sensordaten mit den ortsaufgelösten Referenzdaten auf Grundlage des mindestens einen Polygonzugs erfolgt. Hierdurch kann eine Außenkontur von Objekten erzeugt werden, die einen Vergleich der erfassten Sensordaten mit den Referenzdaten erleichtert. Das Erzeugen des Polygonzuges erfolgt beispielsweise durch Verbinden von Messwerten bzw. zugehörigen Punkten der Referenzdaten mit ihren jeweils nächsten Nachbarn.In one embodiment it is provided that to determine the sensor quality at least one polygon is generated on the basis of the spatially resolved reference data, the comparison of the acquired spatially resolved sensor data with the spatially resolved reference data being carried out on the basis of the at least one polygon. In this way, an outer contour of objects can be generated, which facilitates a comparison of the recorded sensor data with the reference data. The polygon course is generated, for example, by connecting measured values or associated points of the reference data with their respective closest neighbors.

In einer weiterbildenden Ausführungsform ist vorgesehen, dass ein Toleranzbereich um den mindestens einen Polygonzug definiert wird, wobei zum Bestimmen der Sensorgüte eine Anzahl von Messwerten der ortsaufgelösten Sensordaten bestimmt wird, die innerhalb bzw. außerhalb des Toleranzbereichs liegt. Die Sensorgüte kann dann beispielsweise auf Grundlage eines Verhältnisses zwischen der Anzahl innerhalb und der Anzahl außerhalb des Toleranzbereichs bestimmt werden. Die Sensorgüte nimmt hierbei zu, je mehr Messwerte innerhalb des Toleranzbereichs liegen.In a further developing embodiment it is provided that a tolerance range is defined around the at least one polygonal line, with a number of measured values of the spatially resolved sensor data being determined to determine the sensor quality, which is within or outside the tolerance range. The sensor quality can then be determined, for example, on the basis of a ratio between the number within and the number outside the tolerance range. The sensor quality increases the more measured values are within the tolerance range.

Es kann vorgesehen sein, dass die Sensorgüte hierbei unter Berücksichtigung einer Normierungsvorgabe bestimmt wird, wobei die Normierungsvorgabe einen Anteil von Messwerten, die innerhalb des Toleranzbereichs liegen, für eine Normierung verwendet. Beispielsweise kann vorgesehen sein, dass mindestens 80 % der Messwerte innerhalb des Toleranzbereichs liegen müssen, damit eine Sensorgüte mit einem Wert von 1 bewertet wird. Liegen mehr Messwerte innerhalb des Toleranzbereichs, ist die Sensorgüte größer als 1, liegen weniger Messwerte innerhalb des Toleranzbereichs ist die Sensorgüte kleiner als 1. Die Normierungsvorgabe kann alternativ oder zusätzlich beispielsweise auch eine Anzahl von Messpunkten pro Längeneinheit oder Flächeneinheit des Polygonzuges umfassen.It can be provided that the sensor quality is determined taking into account a standardization specification, the standardization specification using a portion of measured values that are within the tolerance range for a standardization. For example, it can be provided that at least 80% of the measured values must lie within the tolerance range so that a sensor quality is rated with a value of 1. If more measured values are within the tolerance range, the sensor quality is greater than 1, if fewer measured values are within the tolerance range, the sensor quality is less than 1. The standardization specification can alternatively or additionally include, for example, a number of measuring points per unit length or area of the polygon.

Es kann ferner vorgesehen sein, dass eine Fehldetektionsrate bestimmt wird. Die Fehldetektionsrate ist hierbei eine Anzahl von Fehldetektionen, das heißt eine Anzahl von Messwerten, die nicht in dem Toleranzbereich liegen, geteilt durch eine Gesamtanzahl von Messwerten. Die Fehldetektionsrate kann anschließend als Gütekriterium beim Bestimmen der Sensorgüte berücksichtigt werden.It can also be provided that a false detection rate is determined. The false detection rate here is a number of false detections, that is to say a number of measured values that are not in the tolerance range, divided by a total number of measured values. The false detection rate can then be taken into account as a quality criterion when determining the sensor quality.

Weiter kann vorgesehen sein, dass eine Punktdichte bestimmt wird aus eine Anzahl von Messwerten in den Sensordaten pro Längeneinheit oder Flächeneinheit innerhalb des Toleranzbereichs um den Polygonzug. Die Punktdichte kann anschließend als Gütekriterium beim Bestimmen der Sensorgüte berücksichtigt werden.It can further be provided that a point density is determined from a number of measured values in the sensor data per unit of length or unit of area within the tolerance range around the polygon. The point density can then be taken into account as a quality criterion when determining the sensor quality.

Es kann vorgesehen sein, dass zusätzlich eine Fehlerklassifizierung durchgeführt wird und beim Bestimmen der Sensorgüte berücksichtigt wird. Beispielsweise kann vorgesehen sein, dass eine Fehlerklassifizierung eines nicht im Toleranzbereich liegenden Messwertes der Sensordaten in Abhängigkeit einer Über- oder Unterfahrbarkeit erfolgt. Ist ein nicht im Toleranzbereich liegender Messwert nicht als über- oder unterfahrbar klassifiziert, so wird diesem Messwert beispielsweise eine Fehlerklasse „Rot“ zugeordnet. Ist der Messwert hingegen als über- oder unterfahrbar klassifiziert, wird diesem Messwert die Fehlerklasse „Gelb“ zugeordnet. Die jeweils zugeordneten Fehlerklassen können anschließend beim Bestimmen der Sensorgüte zum Gewichten eines hiermit zusammenhängenden Gütekriteriums verwendet werden.It can be provided that an error classification is also carried out and taken into account when determining the sensor quality. For example, it can be provided that an error classification of a measured value of the sensor data that is not in the tolerance range is dependent on an excess or underpassability occurs. If a measured value that is not within the tolerance range is not classified as being driven over or under, this measured value is assigned an error class “red”, for example. If, on the other hand, the measured value is classified as being driven over or under, this measured value is assigned the error class “yellow”. The respectively assigned error classes can then be used when determining the sensor quality to weight an associated quality criterion.

In einer Ausführungsform ist vorgesehen, dass messwertweise ein Abstandsmaß zwischen Messwerten der erfassten Sensordaten und dem mindestens einen Polygonzug bestimmt wird, wobei hierzu jeweils eine Projektion der Messwerte der erfassten Sensordaten auf den mindestens einen Polygonzug erfolgt, wobei die Sensorgüte auf Grundlage der jeweils bestimmten Abstandsmaße bestimmt wird. Um die Sensorgüte zu bestimmen, kann beispielsweise eine Summe eines mittleren quadratischen Abstandes zwischen Messwerten und den jeweils zugehörigen Projektionen berechnet werden. Die Summe des mittleren quadratischen Abstands kann anschließend als Gütekriterium beim Bestimmen der Sensorgüte berücksichtigt werden.In one embodiment it is provided that measured value-wise a distance measure between measured values of the recorded sensor data and the at least one polygon is determined, for which purpose the measured values of the recorded sensor data are projected onto the at least one polygon, the sensor quality being determined on the basis of the respectively determined distance measures becomes. In order to determine the sensor quality, for example, a sum of a mean square distance between measured values and the respective associated projections can be calculated. The sum of the mean square distance can then be taken into account as a quality criterion when determining the sensor quality.

In einer weiterbildenden Ausführungsform ist vorgesehen, dass zum Bestimmen der Sensorgüte eine statistische Auswertung der bestimmten Abstandsmaße erfolgt. Beispielsweise können ein Versatz (engl. Offset) zwischen Messwerten und eine Streuung der Messwerte bestimmt werden und als Gütekriterien beim Bestimmen der Sensorgüte berücksichtigt werden.In a further-developing embodiment, it is provided that a statistical evaluation of the determined distance measures is carried out in order to determine the sensor quality. For example, an offset between measured values and a scatter of the measured values can be determined and taken into account as quality criteria when determining the sensor quality.

In einer Ausführungsform ist vorgesehen, dass Ecken von Objekten in den Referenzdaten bestimmt werden, wobei zum Bestimmen der Sensorgüte für jede in den Referenzdaten bestimmte Ecke bestimmt wird, wie viele Messwerte der erfassten Sensordaten innerhalb eines Toleranzbereichs um die Ecke herum liegen. Da Ecken ein wesentliches Merkmal beim Erfassen und Erkennen von Objekten sind, kann hierdurch eine Bewertung des Sensors unter Berücksichtigung besonders relevanter Merkmale der Objekte erfolgen.In one embodiment, it is provided that corners of objects are determined in the reference data, wherein to determine the sensor quality for each corner determined in the reference data, it is determined how many measured values of the detected sensor data are within a tolerance range around the corner. Since corners are an essential feature when detecting and recognizing objects, this allows the sensor to be assessed taking into account particularly relevant features of the objects.

In einer Ausführungsform ist vorgesehen, dass das Bestimmen der Sensorgüte in Abhängigkeit einer Art und/oder von Anforderungen einer Assistenzfunktion für ein Kraftfahrzeug gewählt wird. Insbesondere können verwendete Gütekriterien auf Grundlage der Art und/oder der Anforderungen der Assistenzfunktion gewählt werden. Ferner können auch Gewichtungen, die beim Bestimmen und/oder Zusammenfassen einzelner Gütekriterien verwendet werden, auf Grundlage der Art und/oder der Anforderungen der Assistenzfunktion gewählt werden. Beispielsweise kann der bereits beschriebene Toleranzbereich auf Grundlage der Art und/oder der Anforderungen der Assistenzfunktion gewählt werden. So kann das Erkennen einer Leitplanke bei einem Spurhalteassistenten mit einer größeren Toleranz erfolgen als beispielsweise das Erkennen eines Pfostens oder eines Bordsteins bei einem Einparkassistenten. Entsprechend wird zum Bewerten eines für den Spurhalteassistenten benötigten Sensors ein größerer Toleranzbereich, z.B. 50 cm, und zum Bewerten eines für den Einparkassistenten benötigten Sensors ein kleinerer Toleranzbereich, z.B. 10 cm, gewählt. Ebenso kann vorgesehen sein, dass der Toleranzbereich um die Ecken herum in Abhängigkeit einer Art und/oder von Anforderungen einer Assistenzfunktion für ein Kraftfahrzeug gewählt wird.In one embodiment it is provided that the determination of the sensor quality is selected as a function of a type and / or requirements of an assistance function for a motor vehicle. In particular, the quality criteria used can be selected on the basis of the type and / or the requirements of the assistance function. Furthermore, weightings that are used when determining and / or combining individual quality criteria can also be selected on the basis of the type and / or the requirements of the assistance function. For example, the tolerance range already described can be selected on the basis of the type and / or the requirements of the assistance function. A lane departure warning system can detect a guardrail with a greater tolerance than a parking assistant detects a post or a curb, for example. Correspondingly, a larger tolerance range, e.g. 50 cm, is chosen for evaluating a sensor required for the lane departure warning system, and a smaller tolerance range, e.g. 10 cm, is chosen for evaluating a sensor required for the parking assistant. It can also be provided that the tolerance range around the corners is selected as a function of a type and / or requirements of an assistance function for a motor vehicle.

In einer weiteren Ausführungsform ist vorgesehen, dass zum Bestimmen der Sensorgüte ein zeitlicher Verlauf von zeitabhängig erfassten Sensordaten berücksichtigt und ausgewertet wird.In a further embodiment, it is provided that, in order to determine the sensor quality, a time profile of time-dependent sensor data recorded is taken into account and evaluated.

In einer Ausführungsform ist vorgesehen, dass Objekte in den Referenzdaten erkannt und/oder markiert werden, wobei beim Bestimmen der Sensorgüte eine Gewichtung von zu Objekten gehörenden erfassten Sensordaten auf Grundlage einer den erkannten und/oder markierten Objekten jeweils zugeordneten Objektklasse erfolgt. Hierdurch können beispielsweise Fehldetektionen beim Erfassen von Fußgängern stärker gewichtet berücksichtigt werden als Fehldetektionen beim Erfassen von statischen Objekten, wie Bäumen oder Mauern etc.In one embodiment it is provided that objects are recognized and / or marked in the reference data, wherein when determining the sensor quality a weighting of acquired sensor data belonging to objects takes place on the basis of an object class assigned to the recognized and / or marked objects. In this way, for example, incorrect detections when detecting pedestrians can be considered more weighted than incorrect detections when detecting static objects such as trees or walls etc.

Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:

  • 1 eine schematische Darstellung einer Ausführungsform der Vorrichtung zum Bewerten von erfassten Sensordaten eines Sensors;
  • 2 eine schematische Darstellung von erfassten Sensordaten und einem aus Referenzdaten gebildeten Polygonzug zur Verdeutlichung einer Ausführungsform des Verfahrens;
  • 3 eine schematische Darstellung von Messwerten in erfassten Sensordaten und einem aus Referenzdaten gebildeten Polygonzug zur Verdeutlichung einer Ausführungsform des Verfahrens;
  • 4a eine schematische Darstellung von Messwerten und einem Polygonzug zur Verdeutlichung eines Versatzes von Messwerten;
  • 4b eine schematische Darstellung von Messwerten und einem Polygonzug zur Verdeutlichung einer Streuung von Messwerten;
  • 5 eine schematische Darstellung von Messwerten in erfassten Sensordaten und einem aus Referenzdaten gebildeten Polygonzug zur Verdeutlichung einer Ausführungsform des Verfahrens;
  • 6 ein schematisches Ablaufdiagramm einer Ausführungsform des Verfahrens zum Bewerten von erfassten Sensordaten eines Sensors.
The invention is explained in more detail below on the basis of preferred exemplary embodiments with reference to the figures. Here show:
  • 1 a schematic representation of an embodiment of the device for evaluating acquired sensor data of a sensor;
  • 2 a schematic representation of acquired sensor data and a polygon course formed from reference data to illustrate an embodiment of the method;
  • 3 a schematic representation of measured values in acquired sensor data and a polygon course formed from reference data to illustrate an embodiment of the method;
  • 4a a schematic representation of measured values and a polygon to illustrate an offset of measured values;
  • 4b a schematic representation of measured values and a polygon to illustrate a spread of measured values;
  • 5 a schematic representation of measured values in acquired sensor data and a polygon course formed from reference data to illustrate an embodiment of the method;
  • 6th a schematic flow chart of an embodiment of the method for evaluating acquired sensor data of a sensor.

In 1 ist eine schematische Darstellung einer Vorrichtung 1 zum Ausführen des Verfahrens gezeigt. Die Vorrichtung 1 umfasst Mittel 2 zum Ausführen des Verfahrens. Die Mittel 2 umfassen eine Recheneinrichtung 3 und einen Speicher 4. Zum Durchführen der Verfahrensschritte kann die Recheneinrichtung 3 auf den Speicher 4 zugreifen und in diesem Rechenoperationen durchführen.In 1 Figure 3 is a schematic representation of an apparatus 1 shown for performing the procedure. The device 1 includes funds 2 to carry out the procedure. The means 2 comprise a computing device 3 and a memory 4th . To carry out the method steps, the computing device 3 on the memory 4th access and perform arithmetic operations in this.

In dem Speicher 4 sind erfasste Sensordaten 20 eines Sensors 10 und zugehörige Referenzdaten 21 eines Referenzsensors 11 abgelegt. Die Sensordaten 20 und die Referenzdaten 21 wurden von dem Sensor 10 bzw. dem Referenzsensor 11 erfasst und der Vorrichtung 1 beispielsweise über eine geeignete Schnittstelle (nicht gezeigt) zugeführt.In the memory 4th are recorded sensor data 20th of a sensor 10 and related reference data 21st a reference sensor 11 filed. The sensor data 20th and the reference data 21st were from the sensor 10 or the reference sensor 11 detected and the device 1 for example supplied via a suitable interface (not shown).

Der Sensor 10 ist beispielsweise ein Ultraschall- oder ein Radarsensor. Der Referenzsensor 11 ist beispielsweise ein hochauflösender LIDAR-Sensor. Die Referenzdaten 21 des Referenzsensors 11, beispielsweise des LIDAR-Sensors, können hierbei auch mehrmals erfasst und anschließend gemittelt worden sein.The sensor 10 is for example an ultrasonic or a radar sensor. The reference sensor 11 is, for example, a high-resolution LIDAR sensor. The reference data 21st of the reference sensor 11 , for example the LIDAR sensor, can also have been recorded several times and then averaged.

Die erfassten Sensordaten 20 sind ortsaufgelöst und umfassen beispielsweise ortsaufgelöste Ultraschallechos oder Radarechos von in einem Umfeld erfassten Objekten. Die Referenzdaten 21 sind ebenfalls ortsaufgelöst und umfassen beispielsweise ortsaufgelöste LIDAR-Echos von den Objekten in dem Umfeld.The recorded sensor data 20th are spatially resolved and include, for example, spatially resolved ultrasonic echoes or radar echoes from objects detected in an environment. The reference data 21st are also spatially resolved and include, for example, spatially resolved LIDAR echoes from the objects in the environment.

Die Recheneinrichtung 3 vergleicht die erfassten Sensordaten 20 des Sensors 10 den Referenzdaten 21 des Referenzsensors 11 und bestimmt aus einem Vergleichsergebnis eine Sensorgüte 30 des Sensors 10. Die bestimmte Sensorgüte 30 wird anschließend von der Recheneinrichtung 3 als Bewertungsergebnis 31 ausgegeben. Die bestimmte Sensorgüte 30 bzw. das Bewertungsergebnis 31 werden insbesondere in Form eines digitalen Datenpakets ausgegeben.The computing device 3 compares the recorded sensor data 20th of the sensor 10 the reference data 21st of the reference sensor 11 and determines a sensor quality from a comparison result 30th of the sensor 10 . The specific sensor quality 30th is then used by the computing device 3 as an evaluation result 31 issued. The specific sensor quality 30th or the evaluation result 31 are output in particular in the form of a digital data packet.

Wird dies für mehrere unterschiedliche Sensoren 10 wiederholt, so kann auf Grundlage der bestimmten Sensorgüten 30 bzw. der Bewertungsergebnisse 31 ein Vergleich zwischen den mehreren unterschiedlichen Sensoren 10 durchgeführt werden, bei dem ein unter vorgegebenen Randbedingungen (z.B. Auflösung, Detektionswahrscheinlichkeit, Kosten etc.) optimaler Sensor 10 identifiziert werden kann.Will this for several different sensors 10 repeatedly, it can be based on the determined sensor ratings 30th or the evaluation results 31 a comparison between the several different sensors 10 can be carried out with a sensor that is optimal under given boundary conditions (e.g. resolution, detection probability, costs, etc.) 10 can be identified.

In 2 ist eine schematische Darstellung von Messwerten 22 von erfassten Sensordaten und einem aus Referenzdaten gebildeten Polygonzug 23 zur Verdeutlichung einer Ausführungsform des Verfahrens gezeigt. Der Polygonzug wurde durch Verbinden von jeweils nächsten Nachbarn von Messwerten der Referenzdaten gebildet.In 2 is a schematic representation of measured values 22nd of acquired sensor data and a polygon course formed from reference data 23 shown to illustrate an embodiment of the method. The polygon was formed by connecting the closest neighbors of measured values of the reference data.

Es kann hierbei vorgesehen sein, dass die Referenzdaten in Form von Messwerten in einem dreidimensionalen Koordinatensystem vorliegen. Alternativ kann auch vorgesehen sein, dass die Referenzdaten in Form von Messwerten in einem zweidimensionalen Koordinatensystem vorliegen, denen zusätzlich jeweils eine Höheninformation zugeordnet ist, welche eine Information umfasst, ob die jeweiligen Messwerte eine Höhe aufweisen, die für ein Kraftfahrzeug über- oder unterfahrbar ist oder nicht.It can be provided here that the reference data are present in the form of measured values in a three-dimensional coordinate system. Alternatively, it can also be provided that the reference data are in the form of measured values in a two-dimensional coordinate system, each of which is additionally assigned height information that includes information as to whether the respective measured values have a height that a motor vehicle can drive over or under Not.

Um den Polygonzug 23 herum wird zum Bestimmen der Sensorgüte ein Toleranzbereich 24 gelegt. Dieser kann fest vorgegeben sein, beispielsweise auf beiden Seiten auf Grundlage eines Abstands zum Polygonzug 23 von 10 cm definiert sein. Es kann alternativ vorgesehen sein, den Toleranzbereich 24 in Abhängigkeit einer Assistenzfunktion des Kraftfahrzeugs zu wählen, für die ein optimaler Sensor gefunden werden soll.Around the polygon 23 around becomes a tolerance range for determining the sensor quality 24 placed. This can be fixed, for example on both sides on the basis of a distance to the polygon 23 be defined by 10 cm. Alternatively, the tolerance range can be provided 24 to choose depending on an assistance function of the motor vehicle for which an optimal sensor is to be found.

Zum Bestimmen der Sensorgüte wird eine Anzahl von Messwerten 22 der Sensordaten ermittelt, die innerhalb bzw. außerhalb des Toleranzbereichs 24 liegen.A number of measured values are used to determine the sensor quality 22nd the sensor data determined that are inside or outside the tolerance range 24 lie.

Für die Messwerte 22, die innerhalb des Toleranzbereichs 24 liegen, können beispielsweise die folgenden Gütekriterien beim Bestimmen der Sensorgüte berücksichtigt werden:

  • - Ein mittlerer quadratischer Abstand: mittl .quadr .Abstand = 1 N k = 1 N ( x k S x k R ) 2
    Figure DE102019210128A1_0001
    wobei N eine Anzahl von Messwerten im Toleranzbereich 24 bezeichnet, xS k und xR k bezeichnen eine Position eines betrachteten Messwertes 22 der Sensordaten bzw. eine Position eines zu diesem Messwert 22 nächstliegenden Messwert der Referenzdaten. Der Ausdruck in der Klammer entspricht dann einem kürzesten Abstand zwischen diesen Messwerten.
  • - Eine Punktdichte: Punktdichte  =  N / L
    Figure DE102019210128A1_0002
    wobei N die Anzahl von Messwerten im Toleranzbereich 24 und L eine Länge des Polygonzuges 23 ist.
For the readings 22nd that are within tolerance 24 are, for example, the following quality criteria can be taken into account when determining the sensor quality:
  • - A mean square distance: average .quadr .Distance = 1 N k = 1 N ( x k S. - x k R. ) 2
    Figure DE102019210128A1_0001
    where N is a number of measured values in the tolerance range 24 denotes, x S k and x R k denote a position of a measured value under consideration 22nd the sensor data or a position for this measured value 22nd closest measured value of the reference data. The expression in brackets then corresponds to the shortest distance between these measured values.
  • - A point density: Point density = N / L
    Figure DE102019210128A1_0002
    where N is the number of measured values in the tolerance range 24 and L is a length of the polygon 23 is.

Für Messwerte 22, die außerhalb des Toleranzbereiches 24 liegen, kann eine Fehlerdetektionsrate bestimmt werden: Fehldetektionsrate  =  Anzahl der Fehldetektionen / N

Figure DE102019210128A1_0003
wobei N die Anzahl der Messwerte ist.For measured values 22nd that are outside the tolerance range 24 an error detection rate can be determined: False detection rate = Number of false detections / N
Figure DE102019210128A1_0003
where N is the number of readings.

Es kann zusätzlich vorgesehen sein, dass ein fehlerhaft detektierter Messwert 25, das heißt ein Messwert 25 außerhalb des Toleranzbereichs 24, in Abhängigkeit einer Über- oder Unterfahrbarkeit des fehlerhaft detektierten Messwertes 25 mit einer Fehlerklasse versehen wird. Ist der Messwert 25 aufgrund einer zugehörigen Höhe als über- oder unterfahrbar eingestuft, so wird dem fehlerhaft detektierten Messwert 25 eine Fehlerklasse „Gelb“ zugeordnet. Ist der Messwert 25 hingegen als nicht über- oder unterfahrbar eingestuft, so wird dem fehlerhaft detektierten Messwert 25 eine Fehlerklasse „Rot“ zugeordnet. In Abhängigkeit der zugeordneten Fehlerklasse kann anschließend beim Bestimmen der Sensorgüte eine unterschiedlich starke Gewichtung der fehlerhaft detektierten Messwerte 25 vorgenommen werden.It can also be provided that an incorrectly detected measured value 25th , that is, a measured value 25th out of tolerance 24 , depending on whether the incorrectly detected measured value can be driven over or under 25th is provided with an error class. Is the reading 25th classified as being driven over or under due to an associated height, the incorrectly detected measured value 25th an error class "yellow" is assigned. Is the reading 25th on the other hand, classified as cannot be driven over or under, the incorrectly detected measured value 25th an error class "red" is assigned. Depending on the assigned error class, the incorrectly detected measured values can then be weighted to different degrees when determining the sensor quality 25th be made.

In 3 ist eine schematische Darstellung von Messwerten 22 in erfassten Sensordaten und einem aus Referenzdaten gebildeten Polygonzug 23 zur Verdeutlichung einer Ausführungsform des Verfahrens gezeigt.In 3 is a schematic representation of measured values 22nd in recorded sensor data and a polygon formed from reference data 23 shown to illustrate an embodiment of the method.

Zum Bestimmen der Sensorgüte bzw. eines Gütekriteriums ist vorgesehen, messwertweise ein Abstandsmaß Δk zwischen Messwerten 22 der erfassten Sensordaten und dem mindestens einen Polygonzug 23 zu bestimmen, wobei hierzu jeweils eine Projektion 26 der Messwerte 22 der erfassten Sensordaten auf den Polygonzug 23 erfolgt, wobei die Sensorgüte bzw. das Gütekriterium auf Grundlage der jeweils bestimmten Abstandsmaße Δk bestimmt wird.To determine the sensor quality or a quality criterion, a distance measure is provided, measured value by measurement Δk between readings 22nd the acquired sensor data and the at least one polygon 23 to be determined, for this purpose a projection 26th of the measured values 22nd the acquired sensor data on the polygon 23 takes place, the sensor quality or the quality criterion on the basis of the respective determined distance dimensions Δk is determined.

Hierbei kann als Gütekriterium ein Gütefunktional aus einer mittleren quadratischen Abweichung der Abstandsmaße Δk bestimmt werden: f ( Δ ) = 1 N k = 1 N + 1 ( Δ k L N + 1 ) 2

Figure DE102019210128A1_0004
wobei N eine Anzahl von Messpunkten und L eine Länge des Polygonzuges bezeichnen. Mit einem Maximum der mittleren quadratischen Abweichung f m a x = ( L N + 1 ) 2 + 1 N ( L L N + 1 ) 2
Figure DE102019210128A1_0005
ergibt sich ein auf einen Bereich von [0,1] normiertes Gütefunktional: I = 1 f m a x f ( Δ )
Figure DE102019210128A1_0006
A quality functional from a mean square deviation of the distance dimensions can be used as a quality criterion Δk be determined: f ( Δ ) = 1 N k = 1 N + 1 ( Δ k - L. N + 1 ) 2
Figure DE102019210128A1_0004
where N denotes a number of measuring points and L denotes the length of the polygon. With a maximum of the mean square deviation f m a x = ( L. N + 1 ) 2 + 1 N ( L. - L. N + 1 ) 2
Figure DE102019210128A1_0005
the result is a quality functional normalized to a range of [0.1]: I. = 1 f m a x f ( Δ )
Figure DE102019210128A1_0006

Es kann vorgesehen sein, dass das berechnete Gütefunktional anschließend statistisch ausgewertet wird. Zum Beispiel können ein Versatz (engl. Offset) und/oder eine Streuung von Messwerten 22 bestimmt werden. Dies ist schematisch in den 4a und 4b gezeigt.It can be provided that the calculated quality functional is then statistically evaluated. For example, an offset and / or a spread of measured values 22nd to be determined. This is shown schematically in the 4a and 4b shown.

Der durch einen Versatz hervorgerufene Effekt ist schematisch in der 4a gezeigt. Hierbei sind sämtliche Messwerte 22 um einen gleichen Versatz 27 gegenüber den Projektionen 26 auf dem Polygonzug 23 verschoben.The effect caused by an offset is shown schematically in FIG 4a shown. Here are all measured values 22nd by an equal offset 27 versus the projections 26th on the traverse 23 postponed.

Der durch eine Streuung hervorgerufene Effekt ist schematisch in der 4b gezeigt. Hierbei sind Messwerte 22 um die Projektionen 26 auf dem Polygonzug 23 herum gestreut, wobei sich die Streuung statistisch auswerten und quantifizieren lässt.The effect caused by scattering is shown schematically in FIG 4b shown. Here are measured values 22nd around the projections 26th on the traverse 23 scattered around, whereby the scatter can be statistically evaluated and quantified.

Ein bestimmter Versatz und eine bestimmte Streuung können anschließend beim Bewerten des Sensors als Gütekriterium berücksichtigt werden.A certain offset and a certain scatter can then be taken into account as a quality criterion when evaluating the sensor.

In 5 ist eine schematische Darstellung von Messwerten 22 in erfassten Sensordaten und einem aus Referenzdaten gebildeten Polygonzug 23 zur Verdeutlichung einer Ausführungsform des Verfahrens gezeigt.In 5 is a schematic representation of measured values 22nd in recorded sensor data and a polygon formed from reference data 23 shown to illustrate an embodiment of the method.

An dem Polygonzug 23 werden Ecken 28 identifiziert. Dies erfolgt beispielsweise, indem eine Änderung einer Steigung des Polygonzuges 23 ausgewertet wird. Orte, an denen sich eine Steigung stark bzw. um ein vorgegebenes Maß ändert, werden als Ecken 28 definiert. Um diese Ecken 28 wird jeweils ein runder Toleranzbereich 29 definiert.At the polygon 23 become corners 28 identified. This is done, for example, by changing a slope of the polygon 23 is evaluated. Places where an incline changes significantly or by a specified amount are called corners 28 Are defined. Around these corners 28 becomes a round tolerance range 29 Are defined.

Es kann hierbei vorgesehen sein, dass der runde Toleranzbereich 29 um die Ecken 28 herum in Abhängigkeit einer Art und/oder von Anforderungen einer Assistenzfunktion für ein Kraftfahrzeug gewählt wird.It can be provided here that the round tolerance range 29 around the corners 28 around depending on a type and / or requirements of an assistance function for a motor vehicle is selected.

Anschließend wird bestimmt, wie viele der Messwerte 22 der Sensordaten sich innerhalb der runden Toleranzbereiche 29 befinden. Ferner kann bestimmt werden, ob alle Ecken 28 erkannt wurden, beispielsweise indem überprüft wird, ob jeweils mindestens ein Messwert 22 innerhalb der Toleranzbereiche 22 vorliegt.Then it is determined how many of the measured values 22nd the sensor data is within the round tolerance ranges 29 are located. It can also be determined whether all corners 28 were recognized, for example by checking whether at least one measured value 22nd within the tolerance ranges 22nd present.

Als ein Gütekriterium kann beispielsweise eine Erkennungsrate berechnet werden: Erkennungsrate = Anzahl erkannter Ecken/Anzahl der Ecken

Figure DE102019210128A1_0007
A recognition rate, for example, can be calculated as a quality criterion: Recognition rate = Number of corners recognized / number of corners
Figure DE102019210128A1_0007

Ferner kann für erkannte Ecken 28 ein mittlerer quadratischer Abstand bestimmt und für alle Ecken 28 aufsummiert werden: mittl .quadr .Abstand = 1 N k = 1 N ( x k S x k R ) 2

Figure DE102019210128A1_0008
wobei N die Anzahl der Ecken 28, xs k die Position des jeweiligen Messwertes 22 des Sensors innerhalb des runden Toleranzbereiches 29 und xR k die zugehörige Position der Ecke 28 auf dem Polygonzug 23 bezeichnen.It can also be used for recognized corners 28 a mean square distance is determined and for all corners 28 be summed up: average .quadr .Distance = 1 N k = 1 N ( x k S. - x k R. ) 2
Figure DE102019210128A1_0008
where N is the number of corners 28 , x s k is the position of the respective measured value 22nd of the sensor within the round tolerance range 29 and x R k is the corresponding position of the corner 28 on the traverse 23 describe.

In 6 ist ein schematisches Ablaufdiagramm einer Ausführungsform des Verfahrens zum Bewerten von erfassten Sensordaten eines Sensors gezeigt.In 6th a schematic flowchart of an embodiment of the method for evaluating acquired sensor data of a sensor is shown.

Nach einem Start 100 des Verfahrens wird in einem Verfahrensschritt 101 aus einer Liste zu bewertender Sensoren ein noch nicht bewerteter Sensor ausgewählt.After a start 100 the process is carried out in one process step 101 a sensor that has not yet been evaluated is selected from a list of sensors to be evaluated.

In einem Verfahrensschritt 102 werden Sensordaten des ausgewählten Sensors und hiermit korrespondierende, das heißt im gleichen Umfeld erfasste, Referenzdaten bereitgestellt.In one process step 102 sensor data of the selected sensor and the corresponding reference data, that is to say recorded in the same environment, are provided.

Die erfassten Sensordaten und die Referenzdaten werden in einem Verfahrensschritt 103 miteinander verglichen. Der Verfahrensschritt 103 umfasst die Verfahrensschritte 104 bis 109.The recorded sensor data and the reference data are processed in one process step 103 compared to each other. The procedural step 103 comprises the procedural steps 104 to 109 .

In einem Verfahrensschritt 104 wird ein Polygonzug durch Verbinden benachbarter Messwerte in den Referenzdaten gebildet.In one process step 104 a polygon is formed by connecting neighboring measured values in the reference data.

In einem Verfahrensschritt 105 werden mehrere Gütekriterien zum Bewerten der erfassten Sensordaten bzw. des Sensors bestimmt. Der Verfahrensschritt 105 umfasst hierzu die Verfahrensschritte 106 bis 108. Im Verfahrensschritt 106 wird ein Toleranzbereich um den Polygonzug herum definiert und bestimmt, wie viele Messwerte der Sensordaten innerhalb dieses Toleranzbereichs liegen. Hieraus wird eine Fehldetektionsrate bestimmt. Im Verfahrensschritt 107 wird für die Messwerte, die innerhalb des in Verfahrensschritt 106 definierten Toleranzbereichs liegen, bestimmt, wie groß eine Summe eines mittleren quadratischen Abstands der Messwerte des Sensors jeweils zum Polygonzug ist. In einem Verfahrensschritt 108 wird bestimmt, wie groß eine Dichte (Messwerte pro Längeneinheit/Fläche/Volumen) der innerhalb des definierten Toleranzbereichs liegenden Messwerte ist.In one process step 105 several quality criteria are determined for evaluating the acquired sensor data or the sensor. The procedural step 105 includes the procedural steps for this 106 to 108 . In the process step 106 a tolerance range is defined around the polygon and it is determined how many measured values of the sensor data are within this tolerance range. A false detection rate is determined from this. In the process step 107 is used for the measured values within the process step 106 defined tolerance range, determines how large a sum of a mean square distance between the measured values of the sensor and the polygon is. In one process step 108 it is determined how great a density (measured values per unit length / area / volume) of the measured values within the defined tolerance range is.

In einem Verfahrensschritt 109 werden die bestimmten Gütekriterien zu einer Sensorgüte zusammengefasst. Dies kann beispielsweise durch gewichtete Summierung erfolgen. Hierbei kann vorgesehen sein, die Gütekriterien und/oder die Sensorgüte zu normieren.In one process step 109 the specific quality criteria are combined to form a sensor quality. This can be done, for example, by weighted summation. It can be provided here to normalize the quality criteria and / or the sensor quality.

In einem Verfahrensschritt 110 wird die bestimmte Sensorgüte als Bewertungsergebnis, beispielsweise in Form eines Sensorgütesignals, bereitgestellt und ausgegeben.In one process step 110 the determined sensor quality is provided and output as an evaluation result, for example in the form of a sensor quality signal.

In einem Verfahrensschritt 111 wird überprüft, ob weitere zu bewertende Sensoren in der Liste vorhanden sind. Ist dies der Fall, wird zum Verfahrensschritt 101 zurückgesprungen.In one process step 111 it is checked whether there are any further sensors to be evaluated in the list. If this is the case, becomes a process step 101 bounced back.

Ist dies hingegen nicht der Fall, so werden die bereitgestellten Sensorgüten der einzelnen Sensoren in einem Verfahrensschritt 111 miteinander verglichen und einer der Sensoren in der Liste anhand eines Vergleichsergebnisses als optimaler Sensor identifiziert. Dies kann unter Berücksichtigung weiterer Randbedingungen, wie beispielsweise Kosten oder Bauraumanforderungen etc., erfolgen. Das Auswahlergebnis wird anschließend in einem Verfahrensschritt 113 ausgegeben.If, on the other hand, this is not the case, the provided sensor qualities of the individual sensors are determined in one process step 111 compared with each other and identified one of the sensors in the list as the optimal sensor based on a comparison result. This can be done taking into account other boundary conditions, such as costs or installation space requirements, etc. The selection result is then made in one process step 113 issued.

Anschließend ist das Verfahren beendet 114.The procedure is then ended 114 .

Es kann vorgesehen sein, dass das Bestimmen der Gütekriterien in Abhängigkeit einer Art und/oder von Anforderungen einer Assistenzfunktion für ein Kraftfahrzeug gewählt wird, für die ein optimaler Sensor gefunden werden soll. Insbesondere kann beispielsweise der in Verfahrensschritt 106 definierte Toleranzbereich in Abhängigkeit der Art und/oder der Anforderungen der Assistenzfunktion für das Kraftfahrzeug gewählt werden.It can be provided that the determination of the quality criteria is selected as a function of a type and / or requirements of an assistance function for a motor vehicle for which an optimal sensor is to be found. In particular, for example, in process step 106 defined tolerance range can be selected depending on the type and / or the requirements of the assistance function for the motor vehicle.

BezugszeichenlisteList of reference symbols

11
Vorrichtungcontraption
22
Mittelmedium
33
RecheneinrichtungComputing device
44th
SpeicherStorage
1010
Sensorsensor
1111
ReferenzsensorReference sensor
2020th
SensordatenSensor data
2121st
ReferenzdatenReference data
2222nd
MesswertMeasured value
2323
PolygonzugTraverse
2424
ToleranzbereichTolerance range
2525th
fehlerhaft detektierter Messwertincorrectly detected measured value
2626th
Projektionprojection
2727
VersatzOffset
2828
Eckecorner
2929
runder Toleranzbereichround tolerance range
3030th
SensorgüteSensor quality
3131
BewertungsergebnisEvaluation result
100-114100-114
VerfahrensschritteProcedural steps
ΔkΔk
AbstandsmaßSpacing

Claims (10)

Verfahren zum Bewerten von erfassten Sensordaten (20) eines Sensors (10), wobei die erfassten Sensordaten (20) ortsaufgelöst sind und in einem Umfeld erfasste Objekte umfassen, wobei die erfassten Sensordaten (20) des Sensors (10) mit ortsaufgelöst in dem Umfeld erfassten Referenzdaten (21) eines Referenzsensors (11) verglichen werden, und wobei aus einem Vergleichsergebnis eine Sensorgüte (30) des Sensors (10) bestimmt und als Bewertungsergebnis (31) ausgegeben wird.Method for evaluating captured sensor data (20) of a sensor (10), the captured sensor data (20) being spatially resolved and comprising objects captured in an environment, the captured sensor data (20) of the sensor (10) also being captured spatially resolved in the environment Reference data (21) of a reference sensor (11) are compared, and a sensor quality (30) of the sensor (10) is determined from a comparison result and output as an evaluation result (31). Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zum Bestimmen der Sensorgüte (30) mindestens ein Polygonzug (23) auf Grundlage der ortsaufgelösten Referenzdaten (21) erzeugt wird, wobei das Vergleichen der erfassten ortsaufgelösten Sensordaten (20) mit den ortsaufgelösten Referenzdaten (21) auf Grundlage des mindestens einen Polygonzugs (23) erfolgt.Procedure according to Claim 1 , characterized in that to determine the sensor quality (30) at least one polygon (23) is generated on the basis of the spatially resolved reference data (21), the comparison of the detected spatially resolved sensor data (20) with the spatially resolved reference data (21) on the basis of the at least a traverse (23) takes place. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass ein Toleranzbereich (24) um den mindestens einen Polygonzug (23) definiert wird, wobei zum Bestimmen der Sensorgüte (30) eine Anzahl von Messwerten (22) der ortsaufgelösten Sensordaten (20) bestimmt wird, die innerhalb bzw. außerhalb des Toleranzbereichs (24) liegt.Procedure according to Claim 2 , characterized in that a tolerance range (24) is defined around the at least one polygonal course (23), with a number of measured values (22) of the spatially resolved sensor data (20) being determined to determine the sensor quality (30), which are inside or outside of the tolerance range (24). Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass messwertweise ein Abstandsmaß (Δk) zwischen Messwerten (22) der erfassten Sensordaten (20) und dem mindestens einen Polygonzug (23) bestimmt wird, wobei hierzu jeweils eine Projektion (26) der Messwerte (22) der erfassten Sensordaten (20) auf den mindestens einen Polygonzug (23) erfolgt, wobei die Sensorgüte (30) auf Grundlage der jeweils bestimmten Abstandsmaße (Δk) bestimmt wird.Procedure according to Claim 2 , characterized in that a distance (Δk) between measured values (22) of the acquired sensor data (20) and the at least one polygon course (23) is determined measured value-wise, a projection (26) of the measured values (22) of the acquired sensor data ( 20) takes place on the at least one polygonal course (23), the sensor quality (30) being determined on the basis of the distance dimensions (Δk) determined in each case. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass zum Bestimmen der Sensorgüte (30) eine statistische Auswertung der bestimmten Abstandsmaße (Δk) erfolgt.Procedure according to Claim 4 , characterized in that a statistical evaluation of the determined distance measures (Δk) is carried out to determine the sensor quality (30). Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass Ecken (28) von Objekten in den Referenzdaten (21) bestimmt werden, wobei zum Bestimmen der Sensorgüte (30) für jede in den Referenzdaten (21) bestimmte Ecke (28) bestimmt wird, wie viele Messwerte (22) der erfassten Sensordaten (20) innerhalb eines Toleranzbereichs (29) um die Ecke (28) herum liegen.Method according to one of the preceding claims, characterized in that corners (28) of objects are determined in the reference data (21), wherein for determining the sensor quality (30) for each corner (28) determined in the reference data (21) it is determined how many measured values (22) of the recorded sensor data (20) lie within a tolerance range (29) around the corner (28). Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Bestimmen der Sensorgüte in Abhängigkeit einer Art und/oder von Anforderungen einer Assistenzfunktion für ein Kraftfahrzeug gewählt wird.Method according to one of the preceding claims, characterized in that the determination of the sensor quality is selected as a function of a type and / or requirements of an assistance function for a motor vehicle. Vorrichtung (1) zur Datenverarbeitung, umfassend Mittel (2) zur Ausführung der Verfahrensschritte des Verfahrens nach einem beliebigen der Ansprüche 1 bis 7.Device (1) for data processing, comprising means (2) for carrying out the method steps of the method according to any one of the Claims 1 to 7th . Computerprogramm, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, die Verfahrensschritte des Verfahrens nach einem beliebigen der Ansprüche 1 bis 7 auszuführen.Computer program, comprising instructions which, when the computer program is executed by a computer, cause the computer program to perform the method steps of the method according to any one of the Claims 1 to 7th execute. Computerlesbares Speichermedium, umfassend Befehle, die bei der Ausführung durch einen Computer diesen veranlassen, die Verfahrensschritte des Verfahrens nach einem beliebigen der Ansprüche 1 bis 7 auszuführen.A computer-readable storage medium comprising instructions which, when executed by a computer, cause the computer to perform the method steps of the method according to any of the Claims 1 to 7th execute.
DE102019210128.3A 2019-07-09 2019-07-09 Method for evaluating recorded sensor data from a sensor Pending DE102019210128A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019210128.3A DE102019210128A1 (en) 2019-07-09 2019-07-09 Method for evaluating recorded sensor data from a sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019210128.3A DE102019210128A1 (en) 2019-07-09 2019-07-09 Method for evaluating recorded sensor data from a sensor

Publications (1)

Publication Number Publication Date
DE102019210128A1 true DE102019210128A1 (en) 2021-01-14

Family

ID=74092301

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019210128.3A Pending DE102019210128A1 (en) 2019-07-09 2019-07-09 Method for evaluating recorded sensor data from a sensor

Country Status (1)

Country Link
DE (1) DE102019210128A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021206709A1 (en) 2021-06-29 2022-12-29 Continental Autonomous Mobility Germany GmbH Procedure for modeling environmental information

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9868446B1 (en) * 2012-09-27 2018-01-16 Waymo Llc Cross-validating sensors of an autonomous vehicle

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9868446B1 (en) * 2012-09-27 2018-01-16 Waymo Llc Cross-validating sensors of an autonomous vehicle

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021206709A1 (en) 2021-06-29 2022-12-29 Continental Autonomous Mobility Germany GmbH Procedure for modeling environmental information

Similar Documents

Publication Publication Date Title
DE102006057552B4 (en) System and method for measuring the distance of a preceding vehicle
DE102006005512B4 (en) System and method for measuring the distance of a preceding vehicle
EP3465264B1 (en) Method for detecting at least one parking space for a vehicle
EP1612580A1 (en) Object recognition method for vehicles
DE102018104243B3 (en) Method and system for detecting parking spaces suitable for a vehicle
DE102016223068A1 (en) Method for detecting blindness in radar sensors for motor vehicles
DE102015213558A1 (en) Device and method for merging two obstacle cards for environment detection
DE102019205565A1 (en) Method and device for evaluating an object height by means of ultrasonic signals received from an ultrasonic sensor attached to a vehicle
DE102018222195A1 (en) Location and / or classification of objects from radar data with machine learning
EP1308751A2 (en) Method for operating a short range object recognition system and system therefor
DE102019210128A1 (en) Method for evaluating recorded sensor data from a sensor
DE102018119632B4 (en) Method for determining the detection range of an environment sensor
EP1433002B1 (en) Method for determining the position of a target object and radar system operating with said method
DE102018121158A1 (en) Ground sensing point method and driver support system configured to perform such a method
DE102019211459B4 (en) Method and device for checking a calibration of environmental sensors
DE102020131766A1 (en) Vehicle system and method for determining a parking area for a vehicle
EP3428682B1 (en) Method for detecting an obstacle in the vicinity of a motor vehicle, evaluation unit, driver assistance system and motor vehicle
DE102019210129A1 (en) Method for checking a calibration of several sensors and a motor vehicle with several sensors
DE102017100871A1 (en) Determining a measure of a local traffic density by a driver assistance system of a motor vehicle
DE102019123827A1 (en) Method for classifying the floor covering by a driving support system
DE102021002910B3 (en) Method and device for evaluating the performance of at least one environmental sensor of a vehicle and vehicle with such a device
DE102018126506A1 (en) Rain detection with an environment sensor for point-by-point detection of an environment of a vehicle, in particular with a LiDAR-based environment sensor
DE102019212279B3 (en) Method and device for checking a calibration of environmental sensors
DE102012008030A1 (en) Method for detecting road edge for vehicle, involves detecting road edge as a function of straight line which is designed depending on feature points
DE102022122339A1 (en) Method and device for measuring a parking space for a motor vehicle

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication