DE102022000644A1

DE102022000644A1 - Method for operating an assistance system for a motor vehicle, and assistance system

Info

Publication number: DE102022000644A1
Application number: DE102022000644.8A
Authority: DE
Inventors: Heiko Schiemenz
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2022-02-22
Filing date: 2022-02-22
Publication date: 2022-06-15

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Assistenzsystems (12) für ein Kraftfahrzeug (10), bei welchem zumindest ein erster Abtastpunkt (20) einer ersten Erfassungseinrichtung (14) des Assistenzsystems (12) und ein zum ersten Abtastpunkt (20) korrespondierender zweiter Abtastpunkt (22) mittels einer zu ersten Erfassungseinrichtung (14) unterschiedlich ausgebildeten zweiten Erfassungseinrichtung (16) des Assistenzsystems (12) erfasst werden, wobei der erste Abtastpunkt (20) mit dem zweiten Abtastpunkt (22) in einem spärlichen Belegungsfeld (24) als Fusionspunkt (26) mittels einer elektronischen Recheneinrichtung (18) des Assistenzsystems (12) fusioniert werden, wobei der erste Abtastpunkt (20) und/oder der zweite Abtastpunkt (22) und/oder der Fusionspunkt (26) zusätzlich mit einer jeweiligen Verbindungsinformation (28) einer ursprünglichen Polylinie (30) in dem Belegungsfeld (24) abgespeichert werden. Ferner betrifft die Erfindung ein Assistenzsystem (12).The invention relates to a method for operating an assistance system (12) for a motor vehicle (10), in which at least a first scanning point (20) of a first detection device (14) of the assistance system (12) and a second scanning point corresponding to the first scanning point (20). (22) by means of a second detection device (16) of the assistance system (12), which is designed differently from the first detection device (14), the first scanning point (20) and the second scanning point (22) in a sparse occupancy field (24) as a fusion point ( 26) are merged by means of an electronic computing device (18) of the assistance system (12), the first scanning point (20) and/or the second scanning point (22) and/or the merging point (26) additionally having a respective piece of connection information (28) of a original polyline (30) are stored in the occupancy field (24). The invention also relates to an assistance system (12).

Description

Die Erfindung betrifft ein Verfahren zum Betreiben eines Assistenzsystems für ein Kraftfahrzeug gemäß dem Oberbegriff von Patentanspruch 1. Ferner betrifft die Erfindung ein Assistenzsystem.The invention relates to a method for operating an assistance system for a motor vehicle according to the preamble of patent claim 1. The invention also relates to an assistance system.

Aus dem Stand der Technik ist bereits die sogenannte Sensorfusion im Zusammenhang mit der Umfelderfassung von Automobilen bekannt, bei welchen Messgrößen der verschiedenen eingesetzten Sensoren beziehungsweise Erfassungseinrichtungen zusammengeführt werden und in einer gemeinsamen abgestimmten Repräsentation des Umfelds angezeigt werden. Beim Einsatz von Sensoren für Fahrerassistenzsysteme im Automobilbau werden zumeist mehrere Sensoren auf Basis unterschiedlicher physikalischer Prinzipien, zum Beispiel Kamera, Radar und Lidar, eingesetzt, um eine hinreichende Genauigkeit bezüglich der Position und der Größe von erkannten Objekten zu erzielen.The so-called sensor fusion in connection with the detection of the surroundings of automobiles is already known from the prior art, in which measured variables of the various sensors or detection devices used are combined and displayed in a jointly coordinated representation of the surroundings. When using sensors for driver assistance systems in automotive engineering, several sensors based on different physical principles, such as camera, radar and lidar, are usually used in order to achieve sufficient accuracy with regard to the position and size of detected objects.

Fahrerassistenzsysteme stellen an die Detektionsraten von Hindernissen sehr hohe Anforderungen, da nur über sehr hohe Detektionsraten ein unfallfreies Fahren sichergestellt werden kann. Eine niedrige Detektionsrate führt dazu, dass Objekte in der Umgebung des Fahrzeugs nicht erkannt und somit notwendige Reaktionen auf diese Objekte, zum Beispiel Warnen, Bremsen oder Ausweichen, nicht durchgeführt werden. Um diese Situation zu vermeiden, werden zum einen sehr hohe Detektionsraten vom Sensor gefordert und zum anderen die Messungen mehrerer Sensoren in einer Sensorfusion zusammengeführt. Eine Möglichkeit, die Sensordaten zusammenzuführen, sind dabei Belegungsfelder, welche in der englischen Sprache auch als occupany grids bezeichnet werden. Hierbei wird im Stand der Technik bereits unter den sogenannten vollständigen Belegungsfeldern und den spärlich besetzten Belegungsfeldern unterschieden. Ein vollständiges Belegungsfeld teilt die Umgebung dabei in rechteckige Zellen auf, in denen die jeweiligen Sensordetektionen eingetragen werden. Ein spärlich besetztes Belegungsfeld teilt die Umgebung in größere Zellen auf, beispielsweise in Winkelsegmente und in jedem Winkelsegment kann eine kleine Anzahl von Sensordetektionen eingetragen werden. Die Anzahl der eingetragenen Sensordetektionen wird dazu verwendet, um die Existenz eines Objekts an dieser Stelle nachzuweisen. Der Vorteil eines spärlich besetzten Belegungsfelds gegenüber einem vollständigen Belegungsfeld ist der wesentlich geringere Speicherplatzbedarf und Rechenaufwand. Ein Nachteil eines spärlich besetzten Belegungsfeldes gegenüber dem vollständigen Belegungsfeld ist, dass die Anzahl der eingetragenen Sensordetektionen stark reduziert ist und dies die Rekonstruktion der ursprünglichen Form der Sensorinformation erschwert.Driver assistance systems place very high demands on the detection rates of obstacles, since accident-free driving can only be ensured with very high detection rates. A low detection rate means that objects in the vehicle's surroundings are not detected and the necessary responses to these objects, such as warnings, braking or evasive action, are not carried out. To avoid this situation, on the one hand very high detection rates are required from the sensor and on the other hand the measurements of several sensors are combined in a sensor fusion. One way of merging the sensor data is with occupancy fields, which are also referred to as occupancy grids. Here, in the prior art, a distinction is already made between the so-called full occupancy fields and the sparsely occupied occupancy fields. A complete occupancy field divides the environment into rectangular cells in which the respective sensor detections are entered. A sparsely populated occupancy field divides the environment into larger cells, for example into angular segments, and a small number of sensor detections can be entered in each angular segment. The number of entered sensor detections is used to prove the existence of an object at this point. The advantage of a sparsely occupied occupancy field compared to a complete occupancy field is the significantly lower storage space requirement and computing effort. A disadvantage of a sparsely occupied occupancy field compared to the complete occupancy field is that the number of entered sensor detections is greatly reduced and this makes the reconstruction of the original form of the sensor information more difficult.

Die DE 10 2019 008 093 A1 betrifft ein Verfahren zum Fusionieren von einer Vielzahl von Sensordaten einer Vielzahl von Erfassungseinrichtungen mittels einer elektronischen Recheneinrichtung eines Fahrerassistenzsystems eines Kraftfahrzeugs, bei welchem mittels der Vielzahl von Erfassungseinrichtungen eine Umgebung des Kraftfahrzeugs erfasst wird und die jeweils mittels der jeweiligen Erfassungseinrichtung erfassten Sensordaten an die elektronische Recheneinrichtung übertragen werden und die übertragenen Sensordaten mittels der elektronischen Recheneinrichtung auf Basis zumindest eines Belegungsgitters einer jeweiligen Erfassungseinrichtung fusioniert werden, wobei die Vielzahl von Sensordaten zur Fusionierung in ein jeweiliges spärliches Belegungsgitter eingeordnet wird und innerhalb des jeweiligen spärlichen Belegungsgitters eine Objektabbildung zumindest eines in der Umgebung des Kraftfahrzeugs erfassten Objekts durchgeführt wird, wobei zusammengehörige Sensordaten des zumindest einen Objekts der Vielzahl von Erfassungseinrichtungen miteinander verbunden werden.the DE 10 2019 008 093 A1 relates to a method for merging a large number of sensor data from a large number of detection devices by means of an electronic computing device of a driver assistance system of a motor vehicle, in which the area around the motor vehicle is detected by means of the large number of detection devices and the sensor data recorded by the respective detection device is transmitted to the electronic computing device and the transmitted sensor data are merged by means of the electronic computing device on the basis of at least one occupancy grid of a respective detection device, the large number of sensor data for merging being classified in a respective sparse occupancy grid and within the respective sparse occupancy grid an object image of at least one detected in the area surrounding the motor vehicle Object is performed, with related sensor data of the at least one object of the plurality of Detection devices are connected to each other.

Aufgabe der vorliegenden Erfindung ist es, ein Verfahren sowie ein Assistenzsystem zu schaffen, mittels welchen aufwandsreduziert eine Umgebungserfassung realisiert werden kann.The object of the present invention is to create a method and an assistance system by means of which an environment detection can be implemented with reduced effort.

Diese Aufgabe wird durch ein Verfahren sowie durch ein Assistenzsystem gemäß den unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausgestaltungsformen sind in den Unteransprüchen angegeben.This object is achieved by a method and by an assistance system according to the independent patent claims. Advantageous embodiments are specified in the dependent claims.

Ein Aspekt der Erfindung betrifft ein Verfahren zum Betreiben eines Assistenzsystems für ein Kraftfahrzeug, bei welchem ein erster Abtastpunkt einer ersten Erfassungseinrichtung des Assistenzsystems und ein zum ersten Abtastpunkt korrespondierender zweiter Abtastpunkt mittels einer zur ersten Erfassungseinrichtung unterschiedlich ausgebildeten zweiten Erfassungseinrichtung des Assistenzsystems erfasst werden, wobei der erste Abtastpunkt mit dem zweiten Abtastpunkt in einem spärlichen Belegungsfeld als Fusionspunkt mittels einer elektronischen Recheneinrichtung des Assistenzsystems fusioniert werden.One aspect of the invention relates to a method for operating an assistance system for a motor vehicle, in which a first scanning point of a first detection device of the assistance system and a second scanning point corresponding to the first scanning point are detected by means of a second detection device of the assistance system that is designed differently from the first detection device, with the first Scanning point are merged with the second scanning point in a sparse occupancy field as a fusion point by means of an electronic computing device of the assistance system.

Es ist dabei vorgesehen, dass der erste Abtastpunkt und/oder der zweite Abtastpunkt und/oder der Fusionspunkt zusätzlich mit einer jeweiligen Verbindungsinformation in einer ursprünglichen Polylinie in dem Belegungsfeld abgespeichert werden.Provision is made here for the first scanning point and/or the second scanning point and/or the merging point to be additionally stored with a respective connection information item in an original polyline in the occupancy field.

Dadurch ist es ermöglicht, dass aufwandsreduziert eine Umgebungserfassung realisiert werden kann. Insbesondere ist somit ein Verfahren zur Umgebungserfassung basierend auf einer Sensorfusion mit spärlich besetzten Belegungsfeldern vorgeschlagen, wobei die entsprechenden Messdaten von den Sensoren beziehungsweise Erfassungseinrichtungen als zusammenhängende Linienzüge, welche auch als Polylinien beziehungsweise Sensor-Polylinien bezeichnet werden, im Belegungsfeld abgebildet werden.This makes it possible for an environment detection to be implemented with reduced effort. In particular, a method for detecting the surroundings based on a sensor fusion with sparsely populated occupancy fields is thus provided beat, with the corresponding measurement data from the sensors or detection devices as connected lines, which are also referred to as polylines or sensor polylines, are mapped in the occupancy field.

Erfindungsgemäß wird dabei der Nachteil einer geringen Abtastung in spärlichen Belegungsfeldern gegenüber vollständigen Belegungsfeldern kompensiert, indem jedem Abtast- beziehungsweise Fusionspunkt Verbindungsinformationen einer ursprünglichen Sensor-Polylinie hinzugefügt werden, wobei beim Abtasten einer Sensor-Polylinie für jeden Abtastpunkt zusätzliche Attribute, wie beispielsweise Zeitstempel, Sensoreingang, Polylinien-ID und Abtast-ID, generiert und zu einer Verbindungsinformation zusammengefasst werden. Die Verwendung der zusätzlichen Verbindungsinformation bei der Objektbildung kann dabei genutzt werden, um Fusionspunkte besonders zuverlässig aus dem Belegungsfeld zu rekonstruieren.According to the invention, the disadvantage of low scanning in sparse occupancy fields compared to complete occupancy fields is compensated for by adding connection information of an original sensor polyline to each scanning or fusion point, with additional attributes such as time stamp, sensor input, Polyline ID and scan ID, are generated and combined into connection information. The use of the additional connection information in the object formation can be used to reconstruct fusion points particularly reliably from the occupancy field.

Nachfolgend wird insbesondere nun die Abbildung der Messdaten auf ein vollständiges und auf ein spärlich besetztes Belegungsfeld verglichen. Es wird davon ausgegangen, dass die Sensoren beziehungsweise die Erfassungseinrichtungen die Messdaten als einen zusammenhängenden Linienzug mit mindestens einem Punkt und maximal endlich vielen Punkten liefern. Ein solcher Linienzug wird auch als Polylinie bezeichnet. Im folgenden Beispiel wird eine Polylinie bestehend aus drei Punkten genannt und in ein vollständiges Belegungsfeld und in ein spärlich besetztes Belegungsfeld eingetragen. Dabei wird die Polylinie entsprechend der Belegungszellen abgetastet und die Abtastpunkte anschließend in Belegungsfeldern eingetragen. Die in das Belegungsfeld eingetragenen Abtastpunkte werden dann wiederum als Fusionspunkte bezeichnet. Insbesondere fällt dabei auf, dass im spärlichen Belegungsfeld wesentlich weniger Abtastpunkte generiert werden, vor allem wenn die Sensor-Polylinie in Richtung der Längsseiten eines Winkelsegments im spärlichen Belegungsfeld ausgerichtet ist. Die grobe Abtastung in Richtung der Längsseiten eines Winkelsegments erschwert die Rekonstruktion der ursprünglichen Sensor-Polylinie, da bei der Rekonstruktion der Form nicht mehr erkennbar ist, ob zwei weiter entfernte Fusionspunkte durch eine Polylinie verbunden werden dürfen. Das erfindungsgemäße Verfahren überwindet dabei den Nachteil der geringen Abtastung im spärlichen Belegungsfeld gegenüber den vollständigen Belegungsfeldern bei gleichzeitig geringem Speicherplatzverbrauch beziehungsweise Rechenaufwand.In the following, in particular, the mapping of the measurement data to a complete and a sparsely populated occupancy field is now compared. It is assumed that the sensors or the detection devices deliver the measurement data as a coherent line with at least one point and a finite maximum number of points. Such a polyline is also called a polyline. In the following example, a polyline consisting of three points is named and entered in a complete occupancy field and in a sparsely occupied occupancy field. The polyline is scanned according to the occupancy cells and the scanning points are then entered in occupancy fields. The sampling points entered in the occupancy field are then in turn referred to as fusion points. In particular, it is noticeable that significantly fewer sampling points are generated in the sparse coverage field, especially when the sensor polyline is aligned in the direction of the long sides of an angular segment in the sparse coverage field. The coarse scanning in the direction of the long sides of an angle segment makes the reconstruction of the original sensor polyline more difficult, since when reconstructing the shape it is no longer recognizable whether two more distant fusion points may be connected by a polyline. The method according to the invention overcomes the disadvantage of the low sampling in the sparse occupancy field compared to the full occupancy fields with at the same time low storage space consumption or computing effort.

Gemäß einer vorteilhaften Ausgestaltungsform wird als Verbindungsinformation ein Zeitstempel abgespeichert.According to an advantageous embodiment, a time stamp is stored as connection information.

Ferner hat es sich als vorteilhaft erwiesen, wenn als Verbindungsinformation eine Erfassungsart abgespeichert wird.Furthermore, it has proven to be advantageous if a detection type is stored as connection information.

In einer weiteren vorteilhaften Ausgestaltungsform wird einer jeweiligen Polylinie ein Kennzeichen zugewiesen.In a further advantageous embodiment, an identifier is assigned to a respective polyline.

Weiterhin vorteilhaft ist, wenn einem jeweiligen Abtastpunkt und/oder Fusionspunkt eine weitere Kennzeichnung zugewiesen wird.It is also advantageous if a further identification is assigned to a respective sampling point and/or fusion point.

Gemäß einer weiteren vorteilhaften Ausgestaltungsform wird die weitere Kennzeichnung derart erzeugt, dass diese die Reihenfolge der jeweiligen Abtastpunkte für eine Rekonstruktion der Polylinie angibt.According to a further advantageous embodiment, the further identification is generated in such a way that it indicates the sequence of the respective scanning points for a reconstruction of the polyline.

Bei dem vorgestellten Verfahren handelt es sich insbesondere um ein computerimplementiertes Verfahren. Daher betrifft ein weiterer Aspekt der Erfindung auch ein Computerprogrammprodukt mit Programmcodemitteln, welche eine elektronische Recheneinrichtung dazu veranlassen, wenn die Programmcodemittel von der elektronischen Recheneinrichtung abgearbeitet werden, ein Verfahren nach dem vorhergehenden Aspekt durchzuführen. Ferner betrifft die Erfindung auch ein computerlesbares Speichermedium mit dem Computerprogrammprodukt.The method presented is in particular a computer-implemented method. A further aspect of the invention therefore also relates to a computer program product with program code means which cause an electronic computing device to carry out a method according to the preceding aspect when the program code means are processed by the electronic computing device. Furthermore, the invention also relates to a computer-readable storage medium with the computer program product.

Ein weiterer Aspekt der Erfindung betrifft ein Assistenzsystem für ein Kraftfahrzeug, mit zumindest einer ersten Erfassungseinrichtung, einer zweiten Erfassungseinrichtung und einer elektronischen Recheneinrichtung, wobei das Assistenzsystem zum Durchführen eines Verfahrens nach dem vorhergehenden Aspekt ausgebildet ist. Insbesondere wird das Verfahren mittels des Assistenzsystems durchgeführt.A further aspect of the invention relates to an assistance system for a motor vehicle, having at least a first detection device, a second detection device and an electronic computing device, the assistance system being designed to carry out a method according to the preceding aspect. In particular, the method is carried out using the assistance system.

Die elektronische Recheneinrichtung weist beispielsweise Prozessoren, Schaltkreise, insbesondere integrierte Schaltkreise, sowie weitere elektronische Bauteile auf, um ein entsprechendes Verfahren durchführen zu können.The electronic computing device has, for example, processors, circuits, in particular integrated circuits, and other electronic components in order to be able to carry out a corresponding method.

Ferner betrifft die Erfindung auch ein Kraftfahrzeug mit einem Assistenzsystem. Das Kraftfahrzeug kann dabei als zumindest teilweise autonom betriebenes beziehungsweise vollautonom betriebenes Kraftfahrzeug ausgebildet sein.Furthermore, the invention also relates to a motor vehicle with an assistance system. The motor vehicle can be designed as an at least partially autonomously operated or fully autonomously operated motor vehicle.

Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele sowie anhand der Zeichnungen. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.Further advantages, features and details of the invention result from the following description of preferred exemplary embodiments and from the drawings. The features and feature combinations mentioned above in the description and those mentioned below in the description of the figures and/or in the Features and feature combinations shown alone in the figures can be used not only in the combination specified in each case, but also in other combinations or on their own, without departing from the scope of the invention.

Dabei zeigen:

1 eine schematische Draufsicht auf eine Ausführungsform eines Kraftfahrzeugs mit einer Ausführungsform eines Assistenzsystems, wobei insbesondere ein spärliches Belegungsgitter angezeigt wird;
2 ein schematisches Blockschaltbild gemäß einer Ausführungsform eines Assistenzsystems; und
3 eine schematische Ansicht gemäß einer Ausführungsform des Verfahrens.

show:

1 a schematic plan view of an embodiment of a motor vehicle with an embodiment of an assistance system, wherein in particular a sparse occupancy grid is displayed;
2 a schematic block diagram according to an embodiment of an assistance system; and
3 a schematic view according to an embodiment of the method.

In den Fig. sind gleiche oder funktionsgleiche Elemente mit gleichen Bezugszeichen versehen.Elements that are the same or have the same function are provided with the same reference symbols in the figures.

1 zeigt eine schematische Draufsicht auf eine Ausführungsform eines Kraftfahrzeugs 10 mit einer Ausführungsform eines Assistenzsystems 12. Das Assistenzsystem 12 weist zumindest eine erste Erfassungseinrichtung 14 sowie eine zweite Erfassungseinrichtung 16 auf. Die erste Erfassungseinrichtung 14 ist dabei insbesondere unterschiedlich ausgebildet als die zweite Erfassungseinrichtung 16. Die erste Erfassungseinrichtung 14 und die zweite Erfassungseinrichtung 16 können dabei jeweilig aus der Klasse von beispielsweise einem Radar, Lidar, Kamera oder Ultraschallsensor ausgebildet sein. Ferner weist das Assistenzsystem 12 zumindest eine elektronische Recheneinrichtung 18 auf. 1 1 shows a schematic top view of an embodiment of a motor vehicle 10 with an embodiment of an assistance system 12. The assistance system 12 has at least a first detection device 14 and a second detection device 16. The first detection device 14 is in particular designed differently than the second detection device 16. The first detection device 14 and the second detection device 16 can each be designed from the class of, for example, a radar, lidar, camera or ultrasonic sensor. Furthermore, the assistance system 12 has at least one electronic computing device 18 .

Bei einem erfindungsgemäßen Verfahren ist insbesondere vorgesehen, dass mittels des Assistenzsystems 12 zumindest ein erster Abtastpunkt 20 mittels der ersten Erfassungseinrichtung 14 des Assistenzsystems 12 und ein zum ersten Abtastpunkt 20 korrespondierender zweiter Abtastpunkt 22 mittels der zweiten Erfassungseinrichtung 16 erfasst werden, wobei der erste Abtastpunkt 20 und der zweite Abtastpunkt 22 in einem spärlichen Belegungsfeld 24, welches vorliegend in einzelne Winkelsegmente aufgeteilt ist, als Fusionspunkt 26 mittels der elektronischen Recheneinrichtung 18 fusioniert werden. Es ist dabei vorgesehen, dass der erste Abtastpunkt 20 und/oder der zweite Abtastpunkt 22 und/oder der Fusionspunkt 26 zusätzlich mit einer jeweiligen Verbindungsinformation 28 (2) einer ursprünglichen Polylinie 30 in dem Belegungsfeld 24 abgespeichert werden.In a method according to the invention, provision is made in particular for assistance system 12 to detect at least a first scanning point 20 using first detection device 14 of assistance system 12 and a second scanning point 22 corresponding to first scanning point 20 to be detected using second detection device 16, with first scanning point 20 and the second scanning point 22 in a sparse occupancy field 24, which is divided into individual angle segments in the present case, can be merged as a fusion point 26 by means of the electronic computing device 18. Provision is made here for the first scanning point 20 and/or the second scanning point 22 and/or the merging point 26 to be additionally provided with a respective connection information item 28 ( 2 ) of an original polyline 30 can be stored in the occupancy field 24 .

Insbesondere kann vorgesehen sein, dass als Verbindungsinformation 28 ein Zeitstempel A (2) und/oder eine Erfassungsart B (2), beispielsweise ob mit Kamera, Radar, Lider oder Ultraschallsensor, abgespeichert werden. Ferner kann einer jeweiligen Polylinie 30 eine Kennzeichnung C (2) zugewiesen werden. Es kann weiterhin einem jeweiligen Abtastpunkt 20, 22 und/oder Fusionspunkt 26 eine weitere Kennzeichnung D (2) zugewiesen werden. Die weitere Kennzeichnung D ist insbesondere dabei derart erzeugt, dass diese eine Reihenfolge T der jeweiligen Abtastpunkte 20, 22 für eine Rekonstruktion der Polylinie 30 angibt.In particular, it can be provided that a time stamp A ( 2 ) and/or an entry type B ( 2 ), for example whether with camera, radar, eyelids or ultrasonic sensor. Furthermore, a respective polyline 30 can be given an identifier C ( 2 ) be assigned to. A further identification D ( 2 ) be assigned to. The further identification D is generated in particular in such a way that it specifies a sequence T of the respective scanning points 20 , 22 for a reconstruction of the polyline 30 .

Insbesondere kann somit der Nachteil der Rekonstruktion der Sensordaten im spärlichen Belegungsfeld 24 nur über das vollständige Belegungsfeld kompensiert werden, wenn jedem Abtastpunkt 20, 22 und damit jedem Fusionspunkt 26 zusätzlich die Verbindungsinformation 28 der ursprünglichen Polylinie 30 hinzugefügt wird. Die Verbindungsinformation 28 weist dabei die folgenden Eigenschaften auf. Mithilfe der Verbindungsinformation 28 ist feststellbar, ob zwei oder mehrere Fusionspunkte 26 auf derselben Polylinie 30 basieren. Die Verbindungsinformation 28 gibt an, in welcher Reihenfolge T die Fusionspunkte 26 verbunden werden müssen, um die ursprüngliche Form der Polylinie 30 wiederherzustellen. Es wird ferner die Rekonstruktion der ursprünglichen Polylinie 30 für verschiedene Erfassungseinrichtungen 14, 16 und über mehrere Sensormesszyklen ermöglicht.In particular, the disadvantage of reconstructing the sensor data in the sparse occupancy field 24 can only be compensated for over the complete occupancy field if the connection information 28 of the original polyline 30 is also added to each sampling point 20, 22 and thus each fusion point 26. The connection information 28 has the following properties. The connection information 28 can be used to determine whether two or more fusion points 26 are based on the same polyline 30 . The connection information 28 indicates the order T in which the fusion points 26 must be connected in order to restore the original shape of the polyline 30 . Furthermore, the original polyline 30 can be reconstructed for different detection devices 14, 16 and over a number of sensor measurement cycles.

Damit diese Eigenschaften erfüllt werden, werden beim Abtasten der Polylinie 30, insbesondere der Sensor-Polylinie, die folgenden zusätzlichen Attribute für jeden Abtastpunkt 20, 22 erzeugt. Jeder Abtastpunkt 20, 22 erhält einen Zeitstempel A, welcher den Zeitpunkt der Generierung des Abtastpunktes 20, 22 angibt. Ferner wird jedem Abtastpunkt 20, 22 die jeweilige Erfassungsart B, insbesondere ein sogenannter Sensor-Input, zugewiesen, auf welchem der Abtastpunkt 20, 22 basiert. Für jede Polylinie 30 wird im Abtastzeitpunkt ein eindeutiger Identifier, welcher insbesondere der Kennzeichnung C entspricht, zugeordnet beziehungsweise erzeugt. Ferner wird für jeden Abtastpunkt 20, 22 der Polylinie 30 ebenfalls ein eindeutiger Identifier, insbesondere die weitere Kennzeichnung D, erzeugt. Der Zahlenwert dieses Identifiers wiederum wird so gewählt, dass er die Reihenfolge T der Abtastpunkte 20, 22 für die Rekonstruktion der Sensor-Polylinie angibt. Die vier zusätzlichen Attribute A, B, C, D werden dabei zu der Verbindungsinformation 28 zusammengefasst und jedem generierten Abtastpunkt 20, 22 zugewiesen.In order for these properties to be met, the following additional attributes are generated for each sample point 20, 22 as the polyline 30, particularly the sensor polyline, is sampled. Each sampling point 20, 22 receives a time stamp A, which indicates the time at which the sampling point 20, 22 was generated. Furthermore, each scanning point 20, 22 is assigned the respective detection type B, in particular a so-called sensor input, on which the scanning point 20, 22 is based. For each polyline 30, a unique identifier, which corresponds in particular to the identifier C, is assigned or generated at the time of scanning. Furthermore, for each scanning point 20, 22 of the polyline 30, a unique identifier, in particular the further identification D, is likewise generated. The numerical value of this identifier is in turn chosen such that it indicates the sequence T of the scanning points 20, 22 for the reconstruction of the sensor polyline. The four additional attributes A, B, C, D are combined to form the connection information 28 and assigned to each sampling point 20, 22 generated.

2 zeigt ein schematisches Blockschaltbild gemäß einer Ausführungsform des Assistenzsystems 12. 2 shows a schematic block diagram according to an embodiment of the assistance system 12.

Insbesondere, da die Verbindungsinformation 28 nur für einen kleinen Zeitraum, beispielsweise kleiner als eine Sekunde, interessant ist, bietet sich zur Erzeugung des Zeitstempels A ein Sägezahnsignal 32 mit einer entsprechenden Periodendauer an. In der 2 ist insbesondere der erweiterte Abtastalgorithmus dargestellt, welcher zusätzlich zu den Abtastpunkten 20, 22 noch die Information der ehemaligen Sensorverbindungen generiert.In particular, since the connection information 28 is only of interest for a short period of time, for example less than one second, a sawtooth signal 32 with a corresponding period length is suitable for generating the time stamp A. In the 2 In particular, the extended scanning algorithm is shown, which in addition to the scanning points 20, 22 also generates the information about the former sensor connections.

Wenn der Abtastpunkt 20, 22 einen neuen Fusionspunkt 26 erzeugt oder einem bereits bestehenden Fusionspunkt 26 zugewiesen wird, dann wird auch die Verbindungsinformation 28 diesem Fusionspunkt 26 zugewiesen. Jeder Fusionspunkt 26 erhält eine Liste 34 von Verbindungsinformationen 28, welche für die Rekonstruktion der ursprünglichen Polylinien 30 verwendet werden kann. Es ist vorteilhaft, wenn diese Liste 34 entsprechend dem Zeitstempel A sortiert ist, sodass zu alte Verbindungsinformationen 28 leicht entfernt werden können. Überschreitet die Verbindungsinformation 28 das Alter, welches durch die maximale Periodendauer der Sägezahnfunktion 32 gegeben ist, dann müssen diese aus dem Belegungsfeld 24 entfernt werden. Damit ist sichergestellt, dass jede Verbindungsinformation 28 eindeutig ist.If the scanning point 20, 22 creates a new fusion point 26 or is assigned to an already existing fusion point 26, then the connection information 28 is also assigned to this fusion point 26. Each merger point 26 receives a list 34 of connection information 28, which can be used for the reconstruction of the original polylines 30. It is advantageous if this list 34 is sorted according to the time stamp A, so that connection information 28 that is too old can be easily removed. If the connection information 28 exceeds the age that is given by the maximum period duration of the sawtooth function 32, then this must be removed from the occupancy field 24. This ensures that each item of connection information 28 is unique.

3 zeigt ein weiteres schematisches Diagramm gemäß einer Ausführungsform des Verfahrens. Insbesondere ist in der 3 gezeigt, dass die zusätzlichen Verbindungsinformationen 28 bei einer Objektbildung 36 verwendet werden, um das bestmöglich fusionierte Objekt aus dem Belegungsfeld 24 zu rekonstruieren. Dies ist in der 3 insbesondere exemplarisch dargestellt. Mithilfe der vier zusätzlichen Attribute A, B, C, D Zeitstempel A, Sensor-Input, Polylinien-ID, Abtastpunkt-ID, welche jedem Fusionspunkt 26 zugeordnet sind, lässt sich eindeutig bestimmten, welche Fusionspunkte 26 auf derselben Polylinie 30 basieren und in welcher Reihenfolge T die Fusionspunkte 26 zu verbinden sind, sodass die Form der ursprünglichen Polylinie 30 entspricht. 3 12 shows another schematic diagram according to an embodiment of the method. In particular, in the 3 shown that the additional connection information 28 is used in an object formation 36 in order to reconstruct the best possible fused object from the occupancy field 24. This is in the 3 particularly shown as an example. Using the four additional attributes A, B, C, D timestamp A, sensor input, polyline ID, sample point ID, which are assigned to each fusion point 26, it can be clearly determined which fusion points 26 are based on the same polyline 30 and in which Order T the fusion points 26 are to be connected, so that the shape of the original polyline 30 corresponds.

Die Reihenfolge T nach dem Zeitstempel A der Attribute A, B, C, D, insbesondere gemäß dem Zeitstempel A, bietet einen besonderen Vorteil, wenn diese auf nativen Datentypen eines Rechenwerks abgebildet wird, zum Beispiel auf einem 32-Bit unsigned integer. Dann lässt sich durch einfaches Subtrahieren zweier Verbindungsinformationen 28 feststellen, ob die Fusionspunkte 26 zur selben Polylinie 30 gehören und ob es sich um einen direkten Vorgänger beziehungsweise direkten Nachfolger handelt.The order T after the time stamp A of the attributes A, B, C, D, in particular according to the time stamp A, offers a particular advantage if this is mapped to the native data types of an arithmetic unit, for example to a 32-bit unsigned integer. Then, by simply subtracting two pieces of connection information 28, it can be determined whether the merging points 26 belong to the same polyline 30 and whether it is a direct predecessor or direct successor.

Die Anordnung der Verbindungsinformationen 28 in einer Liste 34 von n-Elementen ist sehr vorteilhaft, wenn für die Auswertung ein Rechenwerk verwendet wird, welches mehrere Operationen gleichzeitig durchführen kann, zum Beispiel eines SIMD-Rechenwerk (Single-Instruction-Multiple-Data), wobei n die Anzahl der Verbindungsinformation 28 ist, welche gleichzeitig durch das SIMD-Rechenwerk verarbeitet werden können. Da nur eine Subtraktion und ein anschließender Vergleich auszuführen ist, erfolgt die Auswertung der Verbindungsinformation 28 sehr schnell.The arrangement of the connection information 28 in a list 34 of n elements is very advantageous if an arithmetic unit is used for the evaluation, which can perform several operations simultaneously, for example a SIMD arithmetic unit (single-instruction-multiple-data), where n is the number of connection information items 28 which can be processed simultaneously by the SIMD arithmetic unit. Since only one subtraction and one subsequent comparison has to be carried out, the connection information 28 is evaluated very quickly.

Mit diesem Verfahren kann ein Nachteil der spärlichen Belegungsfelder 24 über die vollständigen Belegungsfelder bezüglich der Rekonstruktion der ursprünglichen Sensordaten kompensiert werden und dies bei wenig zusätzlichem Rechenaufwand und Speicherverbrauch.With this method, a disadvantage of the sparse occupancy fields 24 can be compensated for by the complete occupancy fields with regard to the reconstruction of the original sensor data, and this with little additional computing effort and memory consumption.

Das vorgestellte Verfahren kann insbesondere im Fahrerassistenzsystem dazu genutzt werden, kontinuierlich während der Fahrt die statische Umgebung zu erfassen und der Verarbeitungskette zur Verfügung zu stellen. Falls statische Hindernisse in der Fahrspur liegen, kann eine entsprechende Systemreaktion stattfinden. Dies kann das Anzeigen einer Warnung, das Abschalten einer Fahrfunktion, das unterstützte beziehungsweise automatische Bremsen oder das unterstützte beziehungsweise automatische Ausweichen beinhalten.The method presented can be used in the driver assistance system in particular to continuously record the static environment while driving and make it available to the processing chain. If there are static obstacles in the lane, a corresponding system reaction can take place. This can include displaying a warning, switching off a driving function, assisted or automatic braking, or assisted or automatic evasive maneuvers.

Insbesondere kann das Verfahren dazu verwendet werden, Hindernisse im Umfeld von autonomen Fahrfunktionen zu erkennen. Durch die effiziente Repräsentation der Sensormessdaten als Polylinien 30 und die rechenzeitsparende Fusion im spärlichen Belegungsfeld 24 lässt sich das Fusionssystem kostensparend umsetzen. Das Verfahren ist nicht auf statische Objekte beschränkt, es lässt sich auch auf dynamische Objekte anwenden.In particular, the method can be used to identify obstacles in the vicinity of autonomous driving functions. The fusion system can be implemented in a cost-saving manner due to the efficient representation of the sensor measurement data as polylines 30 and the fusion that saves computing time in the sparse occupancy field 24 . The method is not limited to static objects, it can also be applied to dynamic objects.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

DE 102019008093 A1 [0004]

Claims

Method for operating an assistance system (12) for a motor vehicle (10), in which at least a first scanning point (20) of a first detection device (14) of the assistance system (12) and a second scanning point (22) corresponding to the first scanning point (20) are a second detection device (16) of the assistance system (12), which is designed differently from the first detection device (14), the first scanning point (20) and the second scanning point (22) in a sparse occupancy field (24) as a fusion point (26) by means of a electronic computing device (18) of the assistance system (12) are merged, characterized in that the first scanning point (20) and/or the second scanning point (22) and/or the merging point (26) is additionally provided with a respective piece of connection information (28) of an original Polyline (30) are stored in the occupancy field (24).

procedure after claim 1 , characterized in that a time stamp (A) is stored as connection information (28).

procedure after claim 1 or 2 , characterized in that a detection type (B) is stored as connection information (28).

Method according to one of the preceding claims, characterized in that an identification (C) is assigned to a respective polyline (30).

Method according to one of the preceding claims, characterized in that a further identification (D) is assigned to a respective scanning point (20, 22) and/or fusion point (26).

procedure after claim 5 , characterized in that the further identification (D) is generated in such a way that it specifies a sequence (T) of the respective scanning points (20, 22) for a reconstruction of the polyline (30).

Assistance system (12) for a motor vehicle (10), with at least a first detection device (14), a second detection device (16) and an electronic computing device (18), wherein the assistance system (12) for performing a method according to one of Claims 1 until 6 is trained.