DE102022001265A1 - Process, electronic computing system and computer program for assigning fused object representations from two different fusion processes - Google Patents

Process, electronic computing system and computer program for assigning fused object representations from two different fusion processes Download PDF

Info

Publication number
DE102022001265A1
DE102022001265A1 DE102022001265.0A DE102022001265A DE102022001265A1 DE 102022001265 A1 DE102022001265 A1 DE 102022001265A1 DE 102022001265 A DE102022001265 A DE 102022001265A DE 102022001265 A1 DE102022001265 A1 DE 102022001265A1
Authority
DE
Germany
Prior art keywords
merged
representation
representations
object representation
object representations
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022001265.0A
Other languages
German (de)
Inventor
Heiko Schiemenz
Gerrit Scheike
Robert Fischer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Mercedes Benz Group AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mercedes Benz Group AG filed Critical Mercedes Benz Group AG
Priority to DE102022001265.0A priority Critical patent/DE102022001265A1/en
Publication of DE102022001265A1 publication Critical patent/DE102022001265A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition

Abstract

Die Erfindung betrifft ein Verfahren zur Zuordnung von fusionierten Objektdarstellungen (11, 21) aus zwei unterschiedlichen Fusionsverfahren (10, 20), sowie ein elektronisches Rechensystem und ein Computerprogramm. In dem Verfahren wird in einem ersten und in einem zweiten Fusionsverfahren (10, 20) eine Vielzahl von ersten Objektdarstellungen (1,2) eines realen Objektes (3) in einer äußeren Fahrzeugumgebung (4) eines Fahrzeuges (5) mittels eines elektronischen Rechensystems des Fahrzeuges (5) zu einer zu fusionierten Objektdarstellungen (11, 21) des realen Objektes (3) fusioniert wird, wobei die Vielzahl von ersten Objektdarstellungen (1,2) und die Vielzahl von zweiten Objektdarstellungen (31, 32) jeweils mit einer eindeutigen Kennung bereitgestellt werden durch eine Vielzahl von Sensoreinrichtungen (9a, 9b, 9c) des Fahrzeuges (5), wobei die zweite fusionierte Objektdarstellung (21) der ersten fusionierten Objektdarstellung (11) basierend auf den Kennungen der Vielzahl an ersten Objektdarstellungen (1, 2) zugeordnet wird.

Figure DE102022001265A1_0000
The invention relates to a method for assigning fused object representations (11, 21) from two different fusion methods (10, 20), as well as an electronic computing system and a computer program. In the method, in a first and in a second fusion method (10, 20), a large number of first object representations (1,2) of a real object (3) in an external vehicle environment (4) of a vehicle (5) are combined by means of an electronic computing system of the Vehicle (5) to a merged object representations (11, 21) of the real object (3) is merged, wherein the plurality of first object representations (1,2) and the plurality of second object representations (31, 32) each with a unique identifier provided by a plurality of sensor devices (9a, 9b, 9c) of the vehicle (5), the second merged object representation (21) being assigned to the first merged object representation (11) based on the identifiers of the plurality of first object representations (1, 2). becomes.
Figure DE102022001265A1_0000

Description

Die Erfindung betrifft Verfahren zur Zuordnung von fusionierten Objektdarstellungen aus zwei unterschiedlichen Fusionsverfahren gemäß dem Oberbegriff des Anspruches 1. Ferner betrifft die Erfindung ein elektronisches Rechensystem und ein Computerprogramm.The invention relates to a method for assigning fused object representations from two different fusion methods according to the preamble of claim 1. The invention also relates to an electronic computing system and a computer program.

Die grundlegende Aufgabe der Sensorfusion, auch bezeichnet als Fusion von Objektdarstellungen, die durch mehrere Sensoreinrichtungen bereitgestellt werden, im Zusammenhang mit der Umfelderfassung in Fahrzeugen ist es, Messgrößen der eingesetzten Sensorvorrichtungen zusammenzuführen und in einer gemeinsamen abgestimmten Repräsentation des Umfeldes anzuzeigen. Beim Einsatz von Sensorvorrichtungen für Fahrerassistenzsysteme im Automobilbau werden zumeist mehrere Sensorvorrichtungen auf Basis unterschiedlicher physikalischer Messprinzipien - z.B. Kamera, Radar und LiDAR - eingesetzt, um eine hinreichende Genauigkeit bzgl. der Position und der Größe von erkannten, realen Objekten zu erzielen.The basic task of sensor fusion, also referred to as the fusion of object representations provided by several sensor devices, in connection with the detection of the surroundings in vehicles is to combine measured variables from the sensor devices used and display them in a jointly coordinated representation of the surroundings. When using sensor devices for driver assistance systems in automotive engineering, several sensor devices based on different physical measurement principles - e.g. camera, radar and LiDAR - are usually used in order to achieve sufficient accuracy with regard to the position and size of real objects detected.

Für die Repräsentation von Fahrzeugen, Zweirädern, Fußgängern, Leitpfosten usw. werden in der Regel formbasierte Fusionsverfahren eingesetzt, welche die Form von realen Objekten in der äußeren Fahrzeugumgebung mit der Hilfe von Objektdarstellungen in Form von Rechtecken, Boxen bzw. L-Formen (eine Form aus drei Punkten mit einem definierten Winkel zwischen den beiden Stäben), Stäben oder Punkten repräsentiert. Für die Repräsentation von formunabhängigen Objekten, wie z.B. Leitplanken, Verkehrsinseln, Hindernissen mit keiner klar abgrenzten Form, wird eine flexiblere Repräsentationsform bzw. Objektdarstellung benötigt. Hierfür eignet sich ein zusammenhängender Linienzug mit mindestens zwei Punkten und maximal endlich vielen Punkten. Ein solcher Linienzug wird auch als Polylinie bezeichnet. Alternativ eignet sich auch ein einzelner Punkt als flexiblere ObjektdarstellungFor the representation of vehicles, two-wheelers, pedestrians, delineators, etc., shape-based fusion methods are usually used, which combine the shape of real objects in the vehicle's external environment with the help of object representations in the form of rectangles, boxes or L-shapes (a shape represented by three points with a defined angle between the two bars), bars or points. For the representation of shape-independent objects, such as crash barriers, traffic islands, obstacles with no clearly defined shape, a more flexible form of representation or object representation is required. A connected polyline with at least two points and a finite number of points at most is suitable for this. Such a polyline is also called a polyline. Alternatively, a single point is also suitable as a more flexible object representation

Für die Repräsentation von formunabhängigen Objekten werden im Gegensatz zu den klassischen formbasierten Fusionsverfahren Belegungsfelder eingesetzt. Dabei wird zwischen vollständigen Belegungsfeldern und spärlich besetzten Belegungsfeldern unterschieden. Man spricht hierbei auch von formunabhängigen bzw. gridbasierten Fusionsverfahren. Die DE 10 2019 008 093 A1 offenbart die Sensorfusion mit spärlichen Belegungsfeldern.In contrast to the classic shape-based fusion methods, occupancy fields are used for the representation of shape-independent objects. A distinction is made between complete occupancy fields and sparsely occupied occupancy fields. This is also referred to as shape-independent or grid-based fusion processes. the DE 10 2019 008 093 A1 reveals sensor fusion with sparse occupancy fields.

Die formunabhängigen Fusionsverfahren mit Belegungsfedern ersetzen die formbasierten Fusionsverfahren nicht notwendigerweise. Vielmehr können die beiden unterschiedlichen Fusionsverfahren parallel durchgeführt werden, wobei diese sich synergetisch ergänzen können.The shape-independent fusion methods with occupancy springs do not necessarily replace the shape-based fusion methods. Rather, the two different fusion methods can be carried out in parallel, and these can complement each other synergistically.

Jedoch wird im Stand der Technik eine vollständige Synergie der beiden unterschiedlichen Fusionsverfahren noch nicht bereitgestellt, da die jeweiligen Ausgangsdaten in Form von fusionierten Objektdarstellungen der jeweiligen Fusionsverfahren noch nicht effektiv einander zugeordnet werden können.However, complete synergy between the two different fusion methods is not yet provided in the prior art, since the respective output data in the form of fused object representations of the respective fusion methods cannot yet be effectively assigned to one another.

Es ist somit Aufgabe der vorliegenden Erfindung, die Ausgangsdaten bzw. die fusionierten Objektdarstellungen der beiden Fusionsverfahren einander zuordnen zu können, um eine einheitliche Repräsentation der Umgebung sicher zu stellen.It is therefore the object of the present invention to be able to associate the initial data or the fused object representations of the two fusion methods with one another in order to ensure a uniform representation of the environment.

Diese Aufgabe wird durch ein Verfahren, ein elektronisches Rechensystem und ein Computerprogramm gemäß den unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausgestaltungsformen sind in den Unteransprüchen angegeben.This object is achieved by a method, an electronic computing system and a computer program according to the independent patent claims. Advantageous embodiments are specified in the dependent claims.

Ein Aspekt der Erfindung betrifft ein Verfahren zur Zuordnung von fusionierten Objektdarstellungen aus zwei unterschiedlichen Fusionsverfahren. In einem ersten Fusionsverfahren der zwei unterschiedlichen Fusionsverfahren wird eine Vielzahl von ersten Objektdarstellungen eines realen Objektes in einer äußeren Fahrzeugumgebung eines Fahrzeuges mittels eines elektronischen Rechensystems des Fahrzeuges zu einer ersten fusionierten Objektdarstellung des realen Objektes fusioniert.One aspect of the invention relates to a method for assigning fused object representations from two different fusion methods. In a first fusion method of the two different fusion methods, a large number of first object representations of a real object in an external vehicle environment of a vehicle are fused using an electronic computing system of the vehicle to form a first fused object representation of the real object.

In einem zweiten Fusionsverfahren der zwei unterschiedlichen Fusionsverfahren, das bevorzugt unterschiedlich zum ersten Fusionsverfahren ist, wird die Vielzahl von ersten Objektdarstellungen und eine Vielzahl von zweiten Objektdarstellung des realen Objektes mittels des elektronischen Rechensystems des Fahrzeuges zu einer zweiten fusionierten Objektdarstellung des realen Objektes fusioniert.In a second fusion method of the two different fusion methods, which is preferably different from the first fusion method, the plurality of first object representations and a plurality of second object representations of the real object are fused using the vehicle's electronic computing system to form a second fused object representation of the real object.

Die Vielzahl von ersten Objektdarstellungen und die Vielzahl von zweiten Objektdarstellungen werden jeweils mit einer eindeutigen Kennung durch eine Vielzahl von Sensoreinrichtungen des Fahrzeuges bereitgestellt. Mit anderen Worten stellt die Vielzahl von Sensoreinrichtungen die die Vielzahl von ersten Objektdarstellungen und die Vielzahl von zweiten Objektdarstellungen inklusive der jeweiligen eindeutigen Kennung bereit.The plurality of first object representations and the plurality of second object representations are each provided with a unique identifier by a plurality of sensor devices in the vehicle. In other words, the multiplicity of sensor devices provides the multiplicity of first object representations and the multiplicity of second object representations, including the respective unique identifier.

Die zweite fusionierte Objektdarstellung der ersten fusionierten Objektdarstellung wird basierend auf den Kennungen der Vielzahl an ersten Objektdarstellungen zugeordnet. Alternativ oder zusätzlich wird ein vordefiniertes Abstandsmaß zwischen der ersten fusionierten Objektdarstellung und der zweiten fusionierten Objektdarstellung bestimmt. Basierend auf dem Abstandsmaß wird die zweite fusionierte Objektdarstellung der ersten fusionierten Objektdarstellung zugeordnet.The second merged object representation is associated with the first merged object representation based on the identifiers of the plurality of first object representations. Alternatively or additionally, a predefined distance measure between the first merged object representation and the two th merged object representation. Based on the distance measure, the second merged object representation is associated with the first merged object representation.

Die Erfindung schließt nicht aus, dass basierend auf den erfindungsgemäßen Verfahrensschritten fusionierte Objektdarstellungen von mehr als zwei Fusionsverfahren einander zugeordnet werden. Es ist auch nicht grundsätzlich ausgeschlossen, dass das erste und das zweite Fusionsverfahren identisch zueinander sind oder sich nur geringfügig voneinander unterscheiden.The invention does not rule out fused object representations from more than two fusion methods being assigned to one another based on the method steps according to the invention. It is also not ruled out in principle that the first and the second merger process are identical to one another or differ only slightly from one another.

Vorzugsweise gibt jedes Fusionsverfahren jeweils eine fusionierte Objektdarstellung eines realen Objektes aus.Each fusion method preferably outputs a fused object representation of a real object.

Unter einer Vielzahl ist in den vorliegenden Ausführungen zumindest zwei, bevorzugt mehr als zwei zu verstehen. Eine Vielzahl ist nicht auf eine maximale Anzahl begrenzt.In the present embodiments, a large number is to be understood as meaning at least two, preferably more than two. A plurality is not limited to a maximum number.

Die äußere Fahrzeugumgebung befindet sich außerhalb des Fahrzeuges. Man spricht auch von Umwelt oder Umfeld des Fahrzeuges. Bevorzugt ist wenigstens ein Teil der Fahrzeugumgebung mittels der Sensoreinrichtungen des Fahrzeuges in geeigneter Form erfassbar und darstellbar.The external vehicle environment is outside of the vehicle. One also speaks of the environment or surroundings of the vehicle. At least part of the vehicle environment can preferably be detected and displayed in a suitable form by means of the sensor devices of the vehicle.

Unter realen Objekten sind insbesondere physisch in der Fahrzeugumgebung existierende Objekte zu verstehen, beispielsweise Fahrzeuge, Zweiräder, Fußgänger, Leitpfosten, Leitplanken, Verkehrsinseln, Hindernisse, Verkehrsschilder usw. Diese Liste ist nicht abschließend.Real objects are to be understood, in particular, as objects that physically exist in the vehicle environment, for example vehicles, two-wheelers, pedestrians, delineators, crash barriers, traffic islands, obstacles, traffic signs, etc. This list is not exhaustive.

Eine fusionierte Objektdarstellung ist zumindest ein Bestandteil von Ausgangsdaten des zugehörigen Fusionsverfahren. Das jeweilige Fusionsverfahren fügt vorzugsweise eine Vielzahl von Objektdarstellung zu einer einzelnen, fusionierten Objektdarstellung zusammen.A fused object representation is at least one component of the output data of the associated fusion method. The respective fusion method preferably combines a large number of object representations into a single, fused object representation.

Unter einem elektronischen Rechensystem kann insbesondere ein Datenverarbeitungsgerät verstanden werden, das einen Verarbeitungsschaltkreis enthält. Die Recheneinheit kann also insbesondere Daten zur Durchführung von Rechenoperationen verarbeiten. Darunter fallen gegebenenfalls auch Operationen, um indizierte Zugriffe auf eine Datenstruktur durchzuführen.An electronic computing system can be understood in particular as a data processing device that contains a processing circuit. The arithmetic unit can therefore in particular process data for carrying out arithmetic operations. This may also include operations to carry out indexed accesses to a data structure.

Das Rechensystem kann insbesondere einen oder mehrere Computer, einen oder mehrere Mikrocontroller und/oder einen oder mehrere integrierte Schaltkreise enthalten. Das Rechensystem kann auch einen oder mehrere Prozessoren, beispielsweise einen oder mehrere Mikroprozessoren, eine oder mehrere zentrale Prozessoreinheiten, eine oder mehrere Grafikprozessoreinheiten und/oder einen oder mehrere Signalprozessoren, insbesondere einen oder mehrere digitale Signalprozessoren, DSP, enthalten. Die Recheneinheit kann auch einen physischen oder einen virtuellen Verbund von Computern oder sonstigen der genannten Einheiten beinhalten.In particular, the computing system can contain one or more computers, one or more microcontrollers and/or one or more integrated circuits. The computing system can also contain one or more processors, for example one or more microprocessors, one or more central processing units, one or more graphics processor units and/or one or more signal processors, in particular one or more digital signal processors, DSPs. The computing unit can also contain a physical or a virtual network of computers or other of the units mentioned.

In verschiedenen Ausführungsbeispielen beinhaltet die Recheneinheit eine oder mehrere Hardware- und/oder Softwareschnittstellen und/oder eine oder mehrere Speichereinheiten.In various exemplary embodiments, the computing unit includes one or more hardware and/or software interfaces and/or one or more memory units.

Das elektronische Rechensystem kann Teil eines elektronischen Fahrzeugführungssystems sein oder für ein Fahrzeugführungssystem verwendet werden. Unter einem elektronischen Fahrzeugführungssystem kann ein elektronisches System verstanden werden, das dazu eingerichtet ist, ein Fahrzeug vollautomatisch oder vollautonom zu führen, insbesondere ohne dass ein Eingriff in eine Steuerung durch einen Fahrer erforderlich ist. Das Fahrzeug führt alle erforderlichen Funktionen, wie Lenk, Brems- und/oder Beschleunigungsmanöver, die Beobachtung und Erfassung des Straßenverkehrs sowie entsprechende Reaktionen automatisch durch. Insbesondere kann das elektronische Fahrzeugführungssystem einen vollautomatischen oder vollautonomen Fahrmodus des Kraftfahrzeugs nach Stufe 5 der Klassifizierung gemäß SAE J3016 implementieren. Unter einem elektronischen Fahrzeugführungssystem kann auch ein Fahrerassistenzsystem (englisch: „advanced driver assistance system“, ADAS) verstanden werden, welches den Fahrer beim teilweise automatisierten oder teilautonomen Fahren unterstützt. Insbesondere kann das elektronische Fahrzeugführungssystem einen teilweise automatisierten oder teilautonomen Fahrmodus nach den Stufen 1 bis 4 gemäß der SAE J3016-Klassifizierung implementieren. Hier und im Folgenden bezieht sich „SAE J3016“ auf die entsprechende Norm in der Version vom Juni 2018.The electronic computing system can be part of an electronic vehicle guidance system or used for a vehicle guidance system. An electronic vehicle guidance system can be understood to mean an electronic system that is set up to guide a vehicle fully automatically or fully autonomously, in particular without the driver having to intervene in a control system. The vehicle automatically carries out all the necessary functions, such as steering, braking and/or acceleration manoeuvres, monitoring and registering road traffic and responding accordingly. In particular, the electronic vehicle guidance system can implement a fully automatic or fully autonomous driving mode of the motor vehicle according to level 5 of the classification according to SAE J3016. An electronic vehicle guidance system can also be understood as a driver assistance system (English: "advanced driver assistance system", ADAS), which supports the driver in partially automated or partially autonomous driving. In particular, the electronic vehicle guidance system can implement a partially automated or partially autonomous driving mode according to levels 1 to 4 according to the SAE J3016 classification. Here and in the following, "SAE J3016" refers to the corresponding standard in the June 2018 version.

Bei der Vielzahl an Sensoreinrichtungen kann es sich beispielsweise um eine Vielzahl an Umfeldsensoreinrichtungen handeln. Eine Umfeldsensoreinrichtung ist insbesondere dazu in der Lage ist, Sensordaten oder Sensorsignale zu erzeugen, welche eine Umgebung der Umfeldsensoreinrichtung abbildet, darstellt oder wiedergibt. Beispielsweise können Kamerasysteme, Radarsysteme, Lidarsysteme oder Ultraschallsensorsysteme als Umfeldsensoreinrichtung aufgefasst werden.The large number of sensor devices can be, for example, a large number of environmental sensor devices. A surroundings sensor device is in particular capable of generating sensor data or sensor signals which depict, represent or reproduce an area surrounding the surroundings sensor device. For example, camera systems, radar systems, lidar systems or ultrasonic sensor systems can be understood as environment sensor devices.

Eine Sensoreinrichtung umfasst zumindest einen Sensor zum Erfassen und Erzeugen von Sensordaten bzw. Sensorrohdaten, sowie vorzugsweise eine Sensorrecheneinrichtung, die dazu ausgebildet und vorgesehen ist, aus den Sensordaten entsprechende Objektdarstellungen zu generieren und bereitzustellen. Die Sensoreinrichtung stellt zu einer jeweiligen Objektdarstellung eine Kennung, auch Identifier (ID) genannt, bereit, mit der die jeweilige Objektdarstellung eindeutig zu erkennen und von anderen Objektdarstellungen zu unterscheiden ist.A sensor device comprises at least one sensor for detecting and generating sensor data or sensor raw data, and preferably a sensor computing device that is designed and provided to generate corresponding object representations from the sensor data and to provide. For each object representation, the sensor device provides an identifier, also called an identifier (ID), with which the respective object representation can be clearly recognized and distinguished from other object representations.

Bevorzugt stellt jede Sensoreinrichtung zu einem realen Objekt jeweils eine, bevorzugt genau eine, erste Objektdarstellung als einen ersten Ausgangsdatensatz bzw. als erste Ausgangsdaten bereit. Dieser jeweilige erste Ausgangsdatensatz wird als Eingangsdatensatz im ersten und im zweiten Fusionsverfahren verwendetEach sensor device preferably provides one, preferably precisely one, first object representation for a real object as a first output data set or as first output data. This respective first output data record is used as an input data record in the first and in the second fusion method

Bevorzugt stelle jede Sensoreinrichtung zu einem realen Objekt jeweils eine, bevorzugt genaue eine, zweite Objektdarstellung als zweite Ausgangsgröße bereit. Diese jeweiligen zweiten Ausgangsgrößen werden als Eingangsgröße im zweiten Fusionsverfahren verwendet.Each sensor device preferably provides a second object representation, preferably a precise one, as the second output variable for a real object. These respective second output variables are used as input variables in the second fusion method.

Bevorzugt werden demnach von jeder Sensoreinrichtung jeweils eine erste Objektdarstellung und jeweils eine zweite Objektdarstellung von demselben realen Objekt bereitgestellt. Vorzugsweise unterscheiden sich die erste Objektdarstellung und die zweite Objektdarstellung.Accordingly, each sensor device preferably provides a first object representation and a second object representation of the same real object. The first object representation and the second object representation preferably differ.

Vorzugsweise lässt sich aufgrund der Kennung rückschließen, um welche Objektdarstellung es sich handelt und von welcher Sensoreinrichtung diese bereitgestellt wurde. Bevorzugt ist die Kennung ein maschinenlesbarer Code, beispielsweise in Form von Ziffern und/oder Buchstaben.Preferably, based on the identifier, it can be concluded which object representation is involved and by which sensor device it was provided. The identifier is preferably a machine-readable code, for example in the form of numbers and/or letters.

Bevorzugt wird den jeweiligen Fusionsverfahren die Objektdarstellungen zusammen mit den jeweiligen Kennungen als Eingangsgrößen der Fusionsverfahren bereitgestellt. Die jeweilige erste und zweite fusionierte Objektdarstellung beinhaltet zumindest jeweils eine Information darüber, auf Basis welcher ersten Objektdarstellungen die jeweiligen fusionierten Objektdarstellungen fusioniert wurden.The object representations together with the respective identifiers are preferably made available to the respective fusion methods as input variables for the fusion methods. The respective first and second merged object representation each contain at least information about the basis on which first object representations the respective merged object representations were merged.

Die Zuordnung der zweiten fusionierten Objektdarstellung zur ersten fusionierten Objektdarstellung basiert in der ersten oben beschriebenen Alternative beispielsweise auf einem Vergleich der jeweiligen Kennungen der Vielzahl an ersten Objektdarstellungen, auf Basis welcher die erste und die zweite fusionierte Objektdarstellung fusioniert wurde. Stimmen beim Vergleich der Kennungen die Vielzahl an ersten Objektdarstellungen, vorzugsweise zumindest teilweise oder vollständig, überein, wird die zweite fusionierte Objektdarstellung der ersten fusionierten Objektdarstellung zugeordnet.In the first alternative described above, the assignment of the second merged object representation to the first merged object representation is based, for example, on a comparison of the respective identifiers of the plurality of first object representations on the basis of which the first and second merged object representations were merged. If the plurality of first object representations match, preferably at least partially or completely, when the identifiers are compared, the second merged object representation is assigned to the first merged object representation.

Gemäß der zweiten Alternative, die auch zusätzlich zur ersten Alternative angewendet werden kann, wird ein vordefiniertes Abstandsmaß zwischen der ersten fusionierten Objektdarstellung und der zweiten fusionierten Objektdarstellung bestimmt. Das vordefinierte Abstandsmaß umfasst insbesondere einen Abstand oder mehrere Abstände zwischen bestimmten, in geeigneter Weise definierten Punkten der ersten fusionierten Objektdarstellung und bestimmten, in geeigneter Weise definierten Punkten der zweiten fusionierten Objektdarstellung. Ein definierter Punkt kann beispielsweise ein erster oder ein letzter Punkt der jeweiligen Objektdarstellung sein. Es ist auch denkbar, dass ein definierter Punkt ein Abtastpunkt der jeweiligen Objektdarstellung ist. Das Abstandsmaß kann sich vorzugsweise auch aus mehreren Abständen zwischen definierten Punkten der jeweiligen fusionierten Objektdarstellung ergeben oder mehrere Abstände enthalten. Ein Abstand und/oder das vordefinierte Abstandsmaß lässt sich insbesondere durch eine Euklidische-Distanz oder durch eine Mahalanobis-Distanz beschreiben. Unterschreitet beispielsweise das vordefinierte Abstandsmaß einen vordefinierten Grenzwert, wird die zweite fusionierte Objektdarstellung der ersten fusionierten Objektdarstellung zugeordnet.According to the second alternative, which can also be used in addition to the first alternative, a predefined distance between the first merged object representation and the second merged object representation is determined. In particular, the predefined distance measure includes a distance or several distances between certain, suitably defined points of the first merged object representation and certain, suitably defined points of the second merged object representation. A defined point can be, for example, a first or a last point of the respective object representation. It is also conceivable that a defined point is a scanning point of the respective object representation. The distance measure can preferably also result from a number of distances between defined points of the respective merged object representation or contain a number of distances. A distance and/or the predefined distance measure can be described in particular by a Euclidean distance or by a Mahalanobis distance. For example, if the predefined distance falls below a predefined limit value, the second merged object representation is assigned to the first merged object representation.

Bevorzugt werden die einander zugeordneten, ersten und zweiten fusionierten Objektdarstellungen an einen Abnehmer signaltechnisch weitergeben. Der Abnehmer kann ein weiteres elektronisches Rechensystem sein oder eine weitere Einheit des verwendeten Rechensystems.The first and second merged object representations that are associated with one another are preferably passed on to a recipient using signals. The buyer can be another electronic computing system or another unit of the computing system used.

Durch die Erfindung ergeben sich insbesondere die folgenden Vorteile. Die Abnehmer müssen keine rechenzeitintensive Zuordnung der fusionierten ersten Objektdarstellung und der fusionierten zweiten Objektdarstellung durchführen.In particular, the following advantages result from the invention. The recipients do not have to carry out any computation-time-intensive assignment of the merged first object representation and the merged second object representation.

Die Abnehmer der Fusionsdaten müssen vorteilhaft keine doppelte Kritikalitätsbewertung für die fusionierte erste Objektdarstellung und die fusionierte zweite Objektdarstellung durchführen, die einander zugeordnet sind.Advantageously, the buyers of the fusion data do not have to carry out a double criticality assessment for the fused first object representation and the fused second object representation, which are assigned to one another.

Die Abnehmer der Fusionsdaten können sich die für ihren Anwendungsfall am besten passende Repräsentationsform der Objekte auswählen, entweder die fusionierte erste Objektdarstellung oder die fusionierte zweite Objektdarstellung.The buyers of the fusion data can select the form of representation of the objects that best suits their application, either the fused first object representation or the fused second object representation.

Ein weiterer Vorteil einer bevorzugten Ausführungsform ist, dass die geschätzten Geschwindigkeits- und Beschleunigungsvektoren der fusionierten Objekte den Fusionspunkten in einem spärlichen Belegungsfeld zugewiesen werden können und anschließend zur Prädiktion der Fusionspunkte verwendet werden können. Dies bietet den Vorteil der einheitlichen Repräsentation der Bewegungsvektoren zwischen fusionierten formbasierten Objektdarstellungen und fusionierten Polylinien.Another advantage of a preferred embodiment is that the estimated velocity and acceleration vectors of the fused objects can be assigned to the fusion points in a sparse population field and then used to predict the fusion points. This offers the advantage of uniform representation of the motion vectors between merged shape-based object representations and merged polylines.

Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus den Unteransprüchen, sowie der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele sowie anhand der Zeichnungen. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.Further advantages, features and details of the invention result from the subclaims and the following description of preferred exemplary embodiments and with reference to the drawings. The features and combinations of features mentioned above in the description and the features and combinations of features mentioned below in the description of the figures and/or shown alone in the figures can be used not only in the combination specified in each case, but also in other combinations or on their own, without going beyond the scope of the leave invention.

Dabei zeigen:

  • 1 eine schematische Darstellung von Repräsentationsmöglichkeiten von Objekten;
  • 2 ein schematisches Ablaufdiagramm eines erfindungsgemäßen Verfahrens gemäß einer bevorzugten Ausführungsform;
  • 3 ein schematisches Ablaufdiagramm eines erfindungsgemäßen Verfahrens gemäß einer weiteren bevorzugten Ausführungsform;
  • 4 ein schematisches Ablaufdiagramm eines erfindungsgemäßen Verfahrens gemäß einer weiteren bevorzugten Ausführungsform;
  • 5 eine schematische Darstellung eines vollständigen Belegungsfeldes und eines spärlich besetzten Belegungsfeldes.
show:
  • 1 a schematic representation of representation possibilities of objects;
  • 2 a schematic flow chart of a method according to the invention according to a preferred embodiment;
  • 3 a schematic flowchart of a method according to the invention according to a further preferred embodiment;
  • 4 a schematic flowchart of a method according to the invention according to a further preferred embodiment;
  • 5 a schematic representation of a complete occupancy field and a sparsely occupied occupancy field.

Die 1 zeigt eine schematische Darstellung von Repräsentationsmöglichkeiten, bezeichnet als erste Objektdarstellungen 1, 2 und zweite Objektdarstellungen 31, 32 von realen Objekten 3 in einer Fahrzeugumgebung 4 eines Fahrzeuges 5.the 1 shows a schematic representation of representation options, referred to as first object representations 1, 2 and second object representations 31, 32 of real objects 3 in a vehicle environment 4 of a vehicle 5.

Für die Repräsentation von Fahrzeugen, Zweirädern, Fußgängern, Leitpfosten usw. können formbasierte Fusionsverfahren eingesetzt werden, welche die Form von Objekten 3 in der Fahrzeugumgebung 4 mit der Hilfe von Rechtecken, Boxen bzw. L-Formen (eine Form aus drei Punkten mit einem definierten Winkel zwischen den beiden Stäben), Stäben oder Punkten repräsentiert. Diese werden in der vorliegenden Beschreibung auch als erste Objektdarstellungen 1,2 bezeichnet. Den ersten Objektdarstellungen 1, 2 können auch jeweils geschätzten Geschwindigkeits- und Beschleunigungsvektoren zugeordnet werden.For the representation of vehicles, two-wheelers, pedestrians, delineators, etc., shape-based fusion methods can be used, which define the shape of objects 3 in the vehicle environment 4 with the help of rectangles, boxes or L-shapes (a shape made up of three points with a defined angles between the two bars), bars or points. In the present description, these are also referred to as first object representations 1 , 2 . Estimated velocity and acceleration vectors can also be assigned to the first object representations 1, 2.

Für die Repräsentation von formunabhängigen Objekten 3, wie z.B. Leitplanken, Verkehrsinseln, Hindernissen mit keiner klar abgrenzten Form, wird eine flexiblere Repräsentationsform benötigt. Hierfür eignet sich ein einzelner Punkt, vorzugsweise ein zusammenhängender Linienzug mit mindestens zwei Punkten und maximal endlich vielen Punkten. Ein solcher Linienzug wir auch als Polylinie bezeichnet, wobei die Polylinie in der Beschreibung auch als zweite Objektdarstellung 31, 32 bezeichnet wird. In 1 sind die unterschiedlichen Repräsentationsmöglichkeiten in Form der ersten Objektdarstellungen 1, 2 und zweiten Objektdarstellungen 31, 32 dargestellt.A more flexible form of representation is required for the representation of shape-independent objects 3, such as crash barriers, traffic islands, obstacles with no clearly defined shape. A single point is suitable for this, preferably a continuous line with at least two points and a maximum of a finite number of points. Such a line is also referred to as a polyline, the polyline also being referred to as the second object representation 31, 32 in the description. In 1 the different representation options are shown in the form of the first object representations 1, 2 and second object representations 31, 32.

2 zeigt ein schematisches Ablaufdiagramm eines Verfahrens gemäß einer bevorzugten Ausführungsform. Das gezeigte Ablaufdiagramm stellt ein Fusionssystem dar, welches die Vorteile eines formbasierten Fusionserfahrens 10 mit einem formunabhängigen Fusionsverfahren 20, beispielsweise mit spärlichen Belegungsfeldern, kombiniert. 2 shows a schematic flowchart of a method according to a preferred embodiment. The flow chart shown represents a fusion system that combines the advantages of a shape-based fusion method 10 with a shape-independent fusion method 20, for example with sparse occupancy fields.

Hierbei wird vorzugsweise zuerst das formbasierte Fusionsverfahren 10 ausgeführt und anschließend die formunabhängige Fusion 20 im spärlichen Belegungsfeld. Die Ausgangsdaten des formbasierten Fusionsverfahrens 10 werden in diesem Fall als weiterer Eingang für das formunabhängige Fusionsverfahren 20 verwendet. Das Fusionssystem ist nicht auf spärliche Belegungsfelder beschränkt, sondern kann auch auf vollständige Belegungsfelder angewendet werden.In this case, the shape-based fusion method 10 is preferably carried out first and then the shape-independent fusion 20 in the sparse occupancy field. In this case, the output data of the shape-based fusion method 10 are used as a further input for the shape-independent fusion method 20 . The fusion system is not limited to sparse occupancy fields, but can also be applied to full occupancy fields.

Die Sensoreinrichtungen 9a, 9b, 9c verfügen jeweils über zwei Ausgangsschnittstellen. Die erste Sensoreinrichtung 9a stellt über deren erste Ausgangsschnittstelle eine erste Objektdarstellung 1 bereit, die von beiden Fusionsverfahren 10, 20 als Eingangsgröße verwendet wird. Über die zweite Ausgangsschnittstelle der ersten Sensoreinrichtung 9a wird eine zweite Objektdarstellung 31 bereitgestellt, die vom zweiten Fusionsverfahren 20 als Eingangsgröße verwendet wird.The sensor devices 9a, 9b, 9c each have two output interfaces. The first sensor device 9a provides a first object representation 1 via its first output interface, which is used by both fusion methods 10, 20 as an input variable. A second object representation 31, which is used by the second fusion method 20 as an input variable, is provided via the second output interface of the first sensor device 9a.

Die zweite Sensoreinrichtung 9b stellt über deren erste Ausgangsschnittstelle eine erste Objektdarstellung 2 bereit, die von beiden Fusionsverfahren 10, 20 als Eingangsgröße verwendet wird. Über die zweite Ausgangsschnittstelle der zweiten Sensoreinrichtung 9a wird eine zweite Objektdarstellung 32 bereitgestellt, die vom zweiten Fusionsverfahren 20 als Eingangsgröße verwendet wird.The second sensor device 9b provides a first object representation 2 via its first output interface, which is used by both fusion methods 10, 20 as an input variable. A second object representation 32, which is used by the second fusion method 20 as an input variable, is provided via the second output interface of the second sensor device 9a.

Eine Vielzahl von weiteren Sensoreinrichtungen 9c stellen ebenfalls erste und zweite Objektdarstellungen 1, 2, 31, 32 bereit.A large number of further sensor devices 9c also provide first and second object representations 1, 2, 31, 32.

Das erste Fusionsverfahren 10 fusioniert aus den ersten Objektdarstellungen 1,2 eine erste fusionierte Objektdarstellung 11 als Ausgangsdatensatz. Vorzugsweise hat die ersten fusionierten Objektdarstellung 11 eine L-Form oder die Form eines Stabes oder Punktes. Zumindest die erste fusionierte Objektdarstellung 11 wird an einen Abnehmer 30 übergeben.The first fusion method 10 merges a first merged object representation 11 from the first object representations 1, 2 as the initial data set. Preferably, the first merged object representation 11 has an L-shape or the shape of a rod or point. At least the first merged object representation 11 is transferred to a buyer 30 .

Das zweite Fusionsverfahren 20 fusioniert aus den ersten und zweiten Objektdarstellungen 1,2, 31, 32 eine zweite fusionierte Objektdarstellung 21 als Ausgangsgröße aus, wobei zumindest eine Ausgangsgröße des ersten Fusionsverfahrens 10 als Eingangsgröße verwendet wird. Dadurch kann die zweite fusionierte Objektdarstellung 21 der ersten fusionierten Objektdarstellung 11 zugeordnet werden. Vorzugsweise hat die zweite fusionierte Objektdarstellung 21 die Form einer Polylinie. Zumindest die erste fusionierte Objektdarstellung 11 wird an einen Abnehmer 30 übergeben.The second fusion method 20 fuses a second fused object representation 21 as an output variable from the first and second object representations 1, 2, 31, 32, with at least one output variable of the first fusion method 10 being used as the input variable. As a result, the second merged object representation 21 can be assigned to the first merged object representation 11 . The second merged object representation 21 is preferably in the form of a polyline. At least the first merged object representation 11 is transferred to a buyer 30 .

Die 3 zeigt ein schematisches Ablaufdiagramm eines Verfahrens gemäß einer bevorzugten Ausführungsform. Bei diesem Verfahren wird auch von einem Verfahren zur datenbasierten Zuordnung der Fusionsergebnisse gesprochen.the 3 shows a schematic flowchart of a method according to a preferred embodiment. This method is also referred to as a method for data-based assignment of the fusion results.

Die Sensoreinrichtungen 9a, 9b liefern für Objektdarstellung 1, 2 eine eindeutige Kennung 1a, 1b. Bei der formunabhängigen Fusion unter der Verwendung von spärlichen Belegungsfeldern werden diese Objektdarstellungen entsprechend abgetastet. Auf Basis der Kennungen 1a, 1b der Objektdarstellungen 1, 2 können die Abtastpunkte 22 einer ersten fusionierten Objektdarstellung 11 zugeordnet werden. Hierfür wird verglichen, ob die Fusionsdarstellungen 11, 21 auf der Basis derselben Objektdarstellungen 1, 2 erstellt wurden. Die Fusionspunkte können dann anschließend weiterverarbeitet werden, wobei der Identifikator 6 (ID) des korrespondierenden Fusionsobjektes mitgeführt wird. Nach der Objektbildung ist es möglich, den Identifikator 6 (ID) der zweiten fusionierten Objektdarstellung 21 für jede Polylinie am Ausgang auszugeben.The sensor devices 9a, 9b provide a unique identifier 1a, 1b for the object representation 1, 2. In shape-independent fusion using sparse population fields, these object representations are sampled accordingly. The scanning points 22 can be assigned to a first merged object representation 11 on the basis of the identifiers 1a, 1b of the object representations 1, 2. For this purpose, a comparison is made as to whether the fusion representations 11, 21 were created on the basis of the same object representations 1, 2. The fusion points can then be processed further, with the identifier 6 (ID) of the corresponding fusion object being carried along. After object formation, it is possible to output the identifier 6 (ID) of the second merged object representation 21 for each polyline at the output.

Die Sensoreinrichtungen 9a, 9b stellen zumindest jeweils eine erste Objektdarstellung 1, 2 als Ausgangsdaten bereit, die als Eingangsdaten im ersten Fusionsverfahren 10 und im zweiten Fusionsverfahren 20 verwendet werden. Auf die Darstellung der zweiten Objektdarstellungen 31, 32 wurde in diesem Beispiel aus Gründen der Übersichtlichkeit verzichtet. Die Bereitstellung und Verarbeitung der zweiten Objektdarstellungen 31, 32 findet in 3 analog zu 2 statt.The sensor devices 9a, 9b each provide at least a first object representation 1, 2 as output data, which are used as input data in the first fusion method 10 and in the second fusion method 20. The representation of the second object representations 31, 32 was omitted in this example for reasons of clarity. The provision and processing of the second object representations 31, 32 takes place in 3 analogous to 2 instead of.

Die Sensoreinrichtungen 9a, 9b stellen zumindest die ersten Objektdarstellungen 1, 2 jeweils mit einer eindeutigen Kennung 1a, 1b bereit. Einer ersten, ersten Objektdarstellung 1 ist die erste Kennung 1a eindeutig zugeordnet. Einer zweiten, ersten Objektdarstellung 2 ist die zweite Kennung 1b eindeutig zugeordnet. Die Kennungen 1a, 1b sind in diesem Beispiel ein Identifier (ID), die hier als ID 3 und ID 5 bezeichnet sind. Sowohl die Kennungen 1a, 1b als auch der Identifikator 6 werden in den Figuren als ID bezeichnet. The sensor devices 9a, 9b provide at least the first object representations 1, 2 each with a unique identifier 1a, 1b. The first identifier 1a is uniquely assigned to a first, first object representation 1 . The second identifier 1b is uniquely assigned to a second, first object representation 2 . In this example, the identifiers 1a, 1b are an identifier (ID), which are referred to as ID 3 and ID 5 here. Both the identifiers 1a, 1b and the identifier 6 are referred to as ID in the figures.

Zunächst werden die ersten Objektdarstellungen 1,2 im formabhängigen Fusionsverfahren 10 zu einer fusionierten ersten Objektdarstellung 11 fusioniert. Weiterhin wird der fusionierten ersten Objektdarstellung 11 ein eindeutiger Identifikator 6 zugeordnet.First, the first object representations 1 , 2 are merged into a merged first object representation 11 in the shape-dependent fusion process 10 . Furthermore, a unique identifier 6 is assigned to the merged first object representation 11 .

Bevorzugt ist der Identifikator 6 ein maschinenlesbarer Code, beispielsweise in Form von Ziffern und/oder Buchstaben. In diesem Beispiel hat der Identifikator 6 den Wert ID 1. Vorzugsweise lässt sich aufgrund des Identifikators rückschließen, um welche erste fusionierte Objektdarstellung 11 es sich handelt und aus welchen ersten Objektdarstellungen 1,2 diese fusioniert wurde. In diesem Beispiel wurde die erste fusionierte Objektdarstellung 11 mit dem Identifikator ID 1 aus den ersten Objektdarstellungen mit den Kennung ID 3 und ID 5 fusioniert.The identifier 6 is preferably a machine-readable code, for example in the form of numbers and/or letters. In this example, the identifier 6 has the value ID 1. The identifier can preferably be used to deduce which first merged object representation 11 is involved and from which first object representations 1, 2 it was merged. In this example, the first merged object representation 11 with the identifier ID 1 was merged from the first object representations with the identifiers ID 3 and ID 5 .

Im zweiten Fusionsverfahren 20 werden in einem ersten Schritt alle ersten und zweiten Objektdarstellungen abgetastet und erste Abtastpunkte 22 generiert, wobei bekannt ist, aus welchen Objektdarstellungen die Abtastpunkte 22 generiert wurden. In diesem Beispiel wurden die Abtastpunkte 22 aus den ersten Objektdarstellungen 1,2 mit den Kennungen ID 3 und ID 5 generiert.In the second fusion method 20, all first and second object representations are scanned in a first step and first scanning points 22 are generated, it being known from which object representations the scanning points 22 were generated. In this example, the scanning points 22 were generated from the first object representations 1 , 2 with the identifiers ID 3 and ID 5 .

In einem Vergleich wird festgestellt, dass sowohl die ersten Abtastpunkte 22, als auch die zweite Fusionsdarstellung 21 basierend auf denselben Objektdarstellungen 1,2 fusioniert wurden. Infolgedessen wird den ersten Abtastpunkten der Identifikator 6 der ersten fusionierten Objektdarstellungen 11 zugewiesen.A comparison shows that both the first scanning points 22 and the second fusion representation 21 were fused based on the same object representations 1,2. As a result, the identifier 6 of the first merged object representations 11 is assigned to the first sampling points.

In einem weiteren Schritt des zweiten Fusionsverfahrens 20 werden nun die ersten Abtastpunkte 22 zumindest teilweise zu fusionierten ersten Abtastpunkten 22a fusioniert, wobei diese weiterhin den Identifikator 6 zugewiesen ist.In a further step of the second fusion method 20, the first sampling points 22 are now at least partially fused to form the fused first sampling points 22a, which is still assigned the identifier 6.

In einem dritten Schritt wird aus den ersten Abtastpunkten 22 und aus den ersten fusionierten Abtastpunkten 22a die zweite Objektdarstellung 21 gebildet. Die zweite Objektdarstellung 21 ist hierbei derselbe Identifikator 6 wie der ersten Objektdarstellung zugewiesen.In a third step, the second object representation 21 is formed from the first scanning points 22 and from the first merged scanning points 22a. The second object representation 21 is assigned the same identifier 6 as the first object representation.

Die 4 zeigt ein schematisches Ablaufdiagramm eines Verfahrens gemäß einer weiteren bevorzugten Ausführungsform. Bei diesem Verfahren wird auch von einem Verfahren zur ortsbasierten Zuordnung der Fusionsergebnisse gesprochen.the 4 shows a schematic flow chart of a method according to a further preferred embodiment. This method is also referred to as a method for location-based assignment of the fusion results.

Bei diesem Verfahren werden nicht nur die Objektdarstellung 1,2 durch die Verwendung der spärlichen Belegungsfelder im zweiten Fusionsverfahren 20 abgetastet, sondern auch die fusionierten Objektdarstellungen 11 im ersten Fusionsverfahren 10 unter Bildung von zweiten Abtastpunkten 23. Die ersten Abtastpunkte 22, die fusionierten ersten Abtastpunkte 22a und die zweiten Abtastpunkte 23 werden in geeigneter Form zusammengeführt bzw. zumindest teilweise zu zweiten fusionierten Abtastpunkten 23a fusioniert.In this method, not only are the object representations 1, 2 scanned by using the sparse occupancy fields in the second fusion method 20, but also the fused object representations 11 in the first fusion method 10 with the formation of second sample points 23. The first sample points 22, the merged first sample points 22a and the second sample points 23 are brought together in a suitable form or at least partially merged to form second merged sample points 23a.

Anschließend können die Abtastpunkte 22, 22a, 23, 23a mit der abgetasteten ersten fusionierten Objektdarstellung 11 verglichen werden. Befinden sich die erste fusionierte Objektdarstellung 11 in der räumlichen Nähe zu den Abtastpunkten 22, 22a, 23, 23a, dann kann die ersten fusionierte Objektdarstellung 11 zu den Fusionspunkten 22, 22a, 23, 23a zugeordnet werden. Hierfür wird ein Abstandsmaß, das z.B. eine oder mehrere euklidische Distanzen oder Mahalanobis-Distanzen umfasst oder durch diese beschrieben wird, zwischen den zweiten Abtastpunkten 23 der ersten fusionierten Objektdarstellung 11 und den ersten und/oder ersten fusionierten Abtastpunkten 22, 22a im spärlichen Belegungsfeld berechnet. Unterschreitet das Abstandsmaß einen definierten Grenzwert, dann kann die erste fusionierte Objektdarstellung 11 zu den fusionierten zweiten Abtastpunkten 23a assoziiert werden, wodurch jeder fusionierte zweite Abtastpunkt 23a den Identifikator 6 der ersten Objektdarstellung 11 weiter mitführt. Bei der Bereitstellung der fusionierten Polylinien ist es demnach möglich, dass jeder Punkt der Polylinie diesen Identifikator 6 zur Verfügung stellt.The scanning points 22, 22a, 23, 23a can then be compared with the scanned first merged object representation 11. If the first fused object representation 11 is in the spatial vicinity of the scanning points 22, 22a, 23, 23a, then the first fused object representation 11 can be assigned to the fusion points 22, 22a, 23, 23a. For this purpose, a distance measure, which e.g. comprises one or more Euclidean distances or Mahalanobis distances or is described by them, is calculated between the second sample points 23 of the first merged object representation 11 and the first and/or first merged sample points 22, 22a in the sparse occupancy field. If the distance falls below a defined limit value, then the first merged object representation 11 can be associated with the merged second scanning points 23a, as a result of which each merged second scanning point 23a carries the identifier 6 of the first object representation 11 further. When providing the merged polylines, it is therefore possible for each point of the polyline to provide this identifier 6 .

5 zeigt eine schematische Ansicht eines vollständigen Belegungsfeldes 8 und eines spärlich besetzten Belegungsfeldes 7. Die Belegungsfelder Die Belegungsfelder 7, 8 werden in einem gridbasierten Fusionsverfahren dazu verwendet, Messgrößen von Sensoreinrichtungen 9a, 9b, 9c eines Objektes 3 in der Fahrzeugumgebung 4 des Fahrzeuges 5 als Polylinien im jeweiligen Belegungsfeld darzustellen, sodass formunabhängige Objekte repräsentiert werden können. 5 shows a schematic view of a complete occupancy field 8 and a sparsely occupied occupancy field 7. The occupancy fields The occupancy fields 7, 8 are used in a grid-based fusion method to measure variables from sensor devices 9a, 9b, 9c of an object 3 in the vehicle environment 4 of the vehicle 5 as polylines displayed in the respective occupancy field, so that shape-independent objects can be represented.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

  • DE 102019008093 A1 [0004]DE 102019008093 A1 [0004]

Claims (7)

Verfahren zur Zuordnung von fusionierten Objektdarstellungen (11, 21) aus zwei unterschiedlichen Fusionsverfahren (10, 20), wobei in einem ersten Fusionsverfahren (10) eine Vielzahl von ersten Objektdarstellungen (1, 2) eines realen Objektes (3) in einer äußeren Fahrzeugumgebung (4) eines Fahrzeuges (5) mittels eines elektronischen Rechensystems des Fahrzeuges (5) zu einer ersten fusionierten Objektdarstellung (11) des realen Objektes (3) fusioniert wird, wobei in einem zweiten Fusionsverfahren (20), die Vielzahl von ersten Objektdarstellungen (1,2) und eine Vielzahl von zweiten Objektdarstellung (31, 32) des realen Objektes (3) mittels des elektronischen Rechensystems des Fahrzeuges (5) zu einer zweiten fusionierten Objektdarstellung (21) des realen Objektes (3) fusioniert wird, wobei die Vielzahl von ersten Objektdarstellungen (1, 2) und die Vielzahl von zweiten Objektdarstellungen (31, 32) jeweils mit einer eindeutigen Kennung bereitgestellt werden durch eine Vielzahl von Sensoreinrichtungen (9a, 9b, 9c) des Fahrzeuges (5), dadurch gekennzeichnet, dass die zweite fusionierte Objektdarstellung (21) der ersten fusionierten Objektdarstellung (11) basierend auf den Kennungen der Vielzahl an ersten Objektdarstellungen (1,2) zugeordnet wird, und/oder ein vordefiniertes Abstandsmaß zwischen der ersten fusionierten Objektdarstellung (11) und der zweiten fusionierten Objektdarstellung (21) bestimmt wird und basierend auf dem Abstandsmaß die zweite fusionierte Objektdarstellung (21) der ersten fusionierten Objektdarstellung (11) zugeordnet wird.Method for assigning fused object representations (11, 21) from two different fusion methods (10, 20), in a first fusion method (10) a large number of first object representations (1, 2) of a real object (3) in an external vehicle environment ( 4) a vehicle (5) is merged into a first merged object representation (11) of the real object (3) by means of an electronic computing system of the vehicle (5), wherein in a second fusion method (20), the plurality of first object representations (1, 2) and a multiplicity of second object representations (31, 32) of the real object (3) are merged into a second merged object representation (21) of the real object (3) by means of the electronic computing system of the vehicle (5), the multiplicity of first Object representations (1, 2) and the multiplicity of second object representations (31, 32) are each provided with a unique identifier by a multiplicity of sensor devices Directions (9a, 9b, 9c) of the vehicle (5), characterized in that the second merged object representation (21) is assigned to the first merged object representation (11) based on the identifiers of the plurality of first object representations (1,2), and /or a predefined distance between the first merged object representation (11) and the second merged object representation (21) is determined and the second merged object representation (21) is assigned to the first merged object representation (11) based on the distance. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der ersten fusionierten Objektdarstellung (11) ein Identifikator (6) zugewiesen wird, wobei zur Zuordnung der zweiten fusionierten Objektdarstellung (21) zur ersten fusionierten Objektdarstellung (11) der Identifikator (6) auf die zweite fusionierte Objektdarstellung (21) übertragen wird.procedure after claim 1 , characterized in that the first merged object representation (11) is assigned an identifier (6), in order to assign the second merged object representation (21) to the first merged object representation (11), the identifier (6) to the second merged object representation (21) is transferred. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das erste Fusionsverfahren (10) ein formbasiertes Fusionsverfahren (10) ist und/oder das zweite Fusionsverfahren (20) ein formunabhängiges Fusionsverfahren (20) ist.procedure after claim 1 or 2 , characterized in that the first fusion method (10) is a shape-based fusion method (10) and/or the second fusion method (20) is a shape-independent fusion method (20). Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Vielzahl von ersten Objektdarstellungen (1,2) und die erste fusionierte Objektdarstellung (11) das reale Objekt (3) jeweils als eine vordefinierte Form darstellen, wobei die Vielzahl an zweiten Objektdarstellungen (31, 32) und die zweite fusionierte Objektdarstellung (21) das reale Objekt (3) jeweils als eine Polylinie darstellen.Method according to one of the preceding claims, characterized in that the plurality of first object representations (1, 2) and the first merged object representation (11) each represent the real object (3) as a predefined shape, the plurality of second object representations (31 , 32) and the second merged object representation (21) each represent the real object (3) as a polyline. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass im zweiten Fusionsverfahren (20) die Vielzahl an ersten Objektdarstellungen (1,2) und die Vielzahl an zweiten Objektdarstellungen (31, 32) unter Erstellung von jeweiligen Abtastpunkten (22) abgetastet werden, und wobei die zweite fusionierte Objektdarstellung (21) der ersten fusionierten Objektdarstellung (11) auf Basis der jeweiligen Abtastpunkte (22) zugeordnet wird.Method according to one of the preceding claims, characterized in that in the second fusion method (20) the plurality of first object representations (1, 2) and the plurality of second object representations (31, 32) are scanned while creating respective scanning points (22), and wherein the second merged object representation (21) is assigned to the first merged object representation (11) on the basis of the respective sampling points (22). Elektronisches Rechensystem, umfassend Mittel zur Ausführung des Verfahrens nach einem der vorherigen Ansprüche.Electronic computing system comprising means for carrying out the method according to any one of the preceding claims. Computerprogramm, umfassend Befehle, die bei der Ausführung des Computerprogramms durch ein elektronisches Rechensystem dieses veranlassen, das Verfahren nach einem der Ansprüche 1 bis 5 auszuführen.Computer program, comprising instructions which, when the computer program is executed by an electronic computing system, cause the latter to carry out the method according to one of Claims 1 until 5 to execute.
DE102022001265.0A 2022-04-12 2022-04-12 Process, electronic computing system and computer program for assigning fused object representations from two different fusion processes Pending DE102022001265A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022001265.0A DE102022001265A1 (en) 2022-04-12 2022-04-12 Process, electronic computing system and computer program for assigning fused object representations from two different fusion processes

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022001265.0A DE102022001265A1 (en) 2022-04-12 2022-04-12 Process, electronic computing system and computer program for assigning fused object representations from two different fusion processes

Publications (1)

Publication Number Publication Date
DE102022001265A1 true DE102022001265A1 (en) 2022-06-30

Family

ID=81972565

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022001265.0A Pending DE102022001265A1 (en) 2022-04-12 2022-04-12 Process, electronic computing system and computer program for assigning fused object representations from two different fusion processes

Country Status (1)

Country Link
DE (1) DE102022001265A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019008093A1 (en) 2019-11-21 2020-08-27 Daimler Ag Method for merging sensor data from a large number of detection devices using a sparse occupancy grid, as well as a driver assistance system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019008093A1 (en) 2019-11-21 2020-08-27 Daimler Ag Method for merging sensor data from a large number of detection devices using a sparse occupancy grid, as well as a driver assistance system

Similar Documents

Publication Publication Date Title
EP2951804B1 (en) Creating a model for the surroundings of a vehicle
DE102015214338A1 (en) Determining an arrangement information for a vehicle
DE102019008093A1 (en) Method for merging sensor data from a large number of detection devices using a sparse occupancy grid, as well as a driver assistance system
DE102020211970A1 (en) Method for controlling a vehicle
WO2016156377A1 (en) Method for supplying, on a communication interface, height data about an object located in the surroundings of a motor vehicle, sensor device, processing device and motor vehicle
DE102019132150A1 (en) Method for automatically calibrating an environment sensor, in particular a lidar sensor, of a vehicle on the basis of occupancy cards and computing device
DE102017208692A1 (en) Method for providing training data for a functional test of a recognition device and database system
DE102022001265A1 (en) Process, electronic computing system and computer program for assigning fused object representations from two different fusion processes
DE102021005053A1 (en) Method for merging a large number of sensor data by means of an electronic computing device, as well as a driver assistance system
DE102018206743A1 (en) A method of operating a driver assistance system of an ego vehicle having at least one environment sensor for detecting an environment of the ego vehicle, computer-readable medium, system, and vehicle
EP3566104A1 (en) Determining movement information with environment sensors
DE102019218078B4 (en) Determination of a situation in the environment of a motor vehicle
DE102016223526A1 (en) Method and device for determining a first highly accurate position of a vehicle
DE102017205782A1 (en) Control device and method
DE102020005467A1 (en) Process for making anonymized, ADAS-relevant vehicle data available
DE102019132151A1 (en) Method for calibrating an environment sensor of a vehicle on the basis of data from a reference environment sensor, taking into account occupancy cards, computing device and sensor system
DE102020006719A1 (en) Procedure for providing information about road users
DE102019120778A1 (en) Method and device for localizing a vehicle in an environment
DE102018122092A1 (en) Method for determining at least one position parameter of an object in an environment of a motor vehicle, computer program product, driver assistance system and motor vehicle
DE102019001450A1 (en) Method for providing data for locating a vehicle
DE102022000644A1 (en) Method for operating an assistance system for a motor vehicle, and assistance system
DE102021131116B3 (en) Computer-implemented method for detecting errors in a driver assistance program for a motor vehicle
DE102020213947B3 (en) Method for evaluating the surroundings of a motor vehicle by means of an assistance system and assistance system
EP2565580A1 (en) Method for determining the dimensions of an object in the vicinity of a vehicle, corresponding device and vehicle with such a device
DE102016223107A1 (en) System and method for estimating the self-motion of a vehicle

Legal Events

Date Code Title Description
R230 Request for early publication
R012 Request for examination validly filed