DE102013102153A1 - Method for combining sensor signals of LiDAR-sensors, involves defining transformation value for one of two LiDAR sensors, which identifies navigation angle and position of sensor, where target scanning points of objects are provided - Google Patents
Method for combining sensor signals of LiDAR-sensors, involves defining transformation value for one of two LiDAR sensors, which identifies navigation angle and position of sensor, where target scanning points of objects are provided Download PDFInfo
- Publication number
- DE102013102153A1 DE102013102153A1 DE201310102153 DE102013102153A DE102013102153A1 DE 102013102153 A1 DE102013102153 A1 DE 102013102153A1 DE 201310102153 DE201310102153 DE 201310102153 DE 102013102153 A DE102013102153 A DE 102013102153A DE 102013102153 A1 DE102013102153 A1 DE 102013102153A1
- Authority
- DE
- Germany
- Prior art keywords
- sensors
- transformation value
- value
- lidar
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009466 transformation Effects 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000005070 sampling Methods 0.000 claims description 18
- 239000002245 particle Substances 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 5
- 238000000844 transformation Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 8
- 239000010432 diamond Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 229910003460 diamond Inorganic materials 0.000 description 4
- 230000014616 translation Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013398 bayesian method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
Querverweis auf verwandte AnmeldungenCross-reference to related applications
Diese Anmeldung beansprucht den Zeitrang der Priorität von der vorläufigen US-Patentanmeldung Nummer 61/611,465 mit dem Titel ”Verfahren zur Registrierung von Entfernungsbildern von mehreren LiDARs”, angemeldet am 15. März 2012.This application claims the priority of priority from US Provisional Patent Application No. 61 / 611,465 entitled "Method for Registration of Range Images of Multiple LiDARs" filed on Mar. 15, 2012.
HINTERGRUND DER ERFINDUNGBACKGROUND OF THE INVENTION
1. Gebiet der Erfindung1. Field of the invention
Diese Erfindung bezieht sich allgemein auf ein System und ein Verfahren zur Registrierung von Entfernungsbildern von mehreren LiDAR-Sensoren und insbesondere auf ein System und ein Verfahren zum Registrieren von Entfernungsbildern von mehreren LiDAR-Sensoren auf einem Fahrzeug, wobei das Verfahren das Registrieren von zwei Datenrahmen von den mehreren LiDAR-Sensoren zur selben Zeit umfasst.This invention relates generally to a system and method for registration of range images of multiple LiDAR sensors, and more particularly to a system and method for registering range images of multiple LiDAR sensors on a vehicle, the method comprising registering two frames of data includes multiple LiDAR sensors at the same time.
2. Diskussion des Standes der Technik2. Discussion of the Related Art
Viele moderne Fahrzeuge beinhalten Objektdetektionssensoren, die dazu verwendet werden, um vor einer Kollision zu warnen oder diese zu vermeiden, und andere aktive Sicherheitsanwendungen. Die Objektdetektionssensoren können jede Zahl von Detektionstechniken verwenden, beispielsweise Radar mit einer kurzen Reichweite, Kameras mit Bildverarbeitung, Laser oder LiDAR, Ultraschall etc. Die Objektedetektionssensoren detektieren Fahrzeuge und andere Objekte, die sich im Pfad des Trägerfahrzeuges befinden, und die Anwendungssoftware verwendet die Objektdetektionsinformation, um Warnungen bereitzustellen oder geeignete Aktionen vorzunehmen. In vielen Fahrzeugen sind die Objektdetektionssensoren direkt in den vorderen Stoßfängern oder anderen vorderen Verkleidungsteilen des Fahrzeuges integriert.Many modern vehicles include object detection sensors that are used to warn of or avoid a collision and other active safety applications. The object detection sensors may use any number of detection techniques, such as short range radar, image processing cameras, laser or LiDAR, ultrasound, etc. The object detection sensors detect vehicles and other objects located in the path of the host vehicle, and the application software uses the object detection information. to provide alerts or take appropriate action. In many vehicles, the object detection sensors are integrated directly into the front bumpers or other front trim panels of the vehicle.
Damit die Anwendungssoftware optimal ausgeführt werden kann, müssen die Objektdetektionssensoren korrekt am Fahrzeug ausgerichtet sein. Wenn beispielsweise ein Sensor ein Objekt, das sich im Weg des Trägerfahrzeuges befindet, aufgrund einer fehlerhaften Ausrichtung bestimmt, dass das Objekt leicht links verschoben zu dem Weg des Trägerfahrzeugs ist, kann dies signifikante Konsequenzen für die Anwendungssoftware haben. Auch wenn eine Vielzahl von nach vorne gerichteten Objektdetektionssensoren sich auf einem Fahrzeug befinden, ist es wichtig, dass diese alle korrekt ausgerichtet sind, um sich widersprechende Sensorauswertungen zu minimieren oder zu eliminieren.In order for the application software to run optimally, the object detection sensors must be correctly aligned with the vehicle. For example, if a sensor determines an object that is in the path of the host vehicle due to misalignment that the object is slightly shifted left to the path of the host vehicle, this can have significant consequences for the application software. Even though a plurality of forward-looking object detection sensors are located on a vehicle, it is important that all of them are properly aligned to minimize or eliminate conflicting sensor evaluations.
LiDAR-Sensoren sind eine Art von Sensor, welche manchmal auf Fahrzeugen verwendet werden, um Objekte, die sich um das Fahrzeug herum befinden, zu detektieren. Diese Sensoren stellen die Entfernung zu diesen Objekten bereit. LiDAR-Sensoren sind wünschenswert, da sie in der Lage sind, die Orientierung eines verfolgten Objekts bereitzustellen, was andere Arten von Sensoren, beispielsweise Bildsysteme und Radarsensoren im Allgemeinen nicht tun können. Bei einer Art von LiDAR-Sensor werden die Reflektionen von einem Objekt als ein Abtastpunkt als ein Teil von einer Punkt-Cluster-Bereichskarte wiedergegeben, wobei ein separater Abtastpunkt alle 0,5° über das Sichtfeld des Sensors bereitgestellt wird. Demzufolge können mehrere Abtastpunkte, welche wiedergegeben werden, die die Distanz des Zielfahrzeugs von dem Trägerfahrzeug identifizieren vorhanden sein, wenn ein Zielfahrzeug vor dem Trägerfahrzeug detektiert wird.LiDAR sensors are a type of sensor that is sometimes used on vehicles to detect objects that are around the vehicle. These sensors provide the distance to these objects. LiDAR sensors are desirable because they are able to provide the orientation of a tracked object, which other types of sensors, such as vision systems and radar sensors, generally can not. In one type of LiDAR sensor, the reflections from an object are represented as a sample point as part of a dot cluster area map, with a separate sample point provided every 0.5 ° across the field of view of the sensor. As a result, multiple sample points that are displayed representing the distance of the target vehicle from the host vehicle may be present when a target vehicle is detected in front of the host vehicle.
Ein Fahrzeug kann mehrere LiDAR-Sensoren aufweisen, um ein 360°-Sichtfeld um das Fahrzeug bereitzustellen. Diese mehreren LiDAR-Sensoren beinhalten zur Seite gerichtete Sensoren, nach hinten gerichtete Sensoren und nach vorne gerichtete Sensoren. Jeder dieser Sensoren verfolgt Objekte in seinem Sichtfeld unabhängig von den anderen Sensoren. Unter Verwendung von der Wiedergabe von Abtastpunkten von den mehreren Sensoren wird eine Entfernungskarte erzeugt, um die Objekte in der Nähe zum Trägerfahrzeug zu verfolgen. Für ein Fahrzeug mit mehreren LiDAR-Sensoren werden mehrere Punkt-Clusterkarten herausgegeben und für Sensoren, bei denen das Sichtfeld überlappt, können die Sensoren dasselbe Objekt verfolgen. Es ist notwendig, die Abtastpunktkarten der Sensoren so zu kombinieren, dass das gleiche Objekt, das von den Sensoren verfolgt wird, als einzelnes Ziel verarbeitet wird.A vehicle may include multiple LiDAR sensors to provide a 360 ° field of vision around the vehicle. These multiple LiDAR sensors include side-facing sensors, rear-facing sensors, and front-facing sensors. Each of these sensors tracks objects in its field of view independently of the other sensors. Using the reproduction of sampling points from the plurality of sensors, a distance map is generated to track the objects in proximity to the host vehicle. For a vehicle with multiple LiDAR sensors, multiple point cluster maps are issued, and for sensors where the field of view overlaps, the sensors can track the same object. It is necessary to combine the sampling point maps of the sensors so that the same object tracked by the sensors is processed as a single target.
Die US Patentanmeldung 12/942,456 mit dem Titel ”Systeme und Verfahren zum Verfolgen von Objekten”, angemeldet am 9. November 2010 von dem Anmelder der vorliegenden Anmeldung und hiermit inkorporiert durch Bezugnahme, offenbart eine Technik zum Überwachen der Entfernung und der Orientierung eines Zielobjekts von einem Trägerfahrzeug unter Verwendung von LiDAR-Sensoren. Diese Patentanmeldung ist auf einen einzelnen LiDAR-Sensor beschränkt und diskutiert nicht die Verbindung von mehreren LiDAR-Sensoren.US
ZUSAMMENFASSUNG DER ERFINDUNGSUMMARY OF THE INVENTION
Im Einklang mit den Lehren der vorliegenden Erfindung werden ein System und ein Verfahren zum Registrieren von Entfernungsbildern von Objekten offenbart, die von mehreren LiDAR-Sensoren auf einem Fahrzeug detektiert werden. Das Verfahren beinhaltet das Ausrichten von Datenrahmen von zumindest zwei LiDAR-Sensoren, die überlappende Sichtfelder in einer Sensorsignalzusammenführungsoperation aufweisen, um Objekte, die von den Sensoren detektiert werden, zu verfolgen. Das Verfahren definiert einen Transformationswert für zumindest einen der LiDAR-Sensoren, der einen Orientierungswinkel und eine Position des Sensors identifiziert und Zielabtastpunkte von den Objekten, die von den Sensoren detektiert werden, bereitstellt, wobei die Zielabtastpunkte für jeden Sensor eine separate Zielpunktkarte bereitstellt. Das Verfahren projiziert die Zielpunktkarte von dem zumindest einen Sensor auf einen anderen der LiDAR-Sensoren unter Verwendung eines gegenwärtigen Transformationswertes, um die Zielabtastpunkte von den Sensoren zu überlappen, und bestimmt eine Vielzahl von Gewichtungswerten unter Verwendung des gegenwärtigen Transformationswertes, wobei jeder Gewichtungswert eine Positionsänderung von einem der Abtastpunkte für den zumindest einen Sensor auf einen Ort eines Abtastpunktes für einen anderen der Sensoren identifiziert. Das Verfahren berechnet einen neuen Transformationswert unter Verwendung der Gewichtungswerte, vergleicht den neuen Transformationswert mit dem gegenwärtigen Transformationswert, um eine Differenz daraus zu bestimmen, und korrigiert die Vielzahl der Gewichtungswerte basierend auf der Differenz zwischen dem neuen Transformationswert und dem gegenwärtigen Transformationswert bis der neue Transformationswert mit dem gegenwärtigen Transformationswert übereinstimmt, wobei die Sensoren zueinander ausgerichtet sind.In accordance with the teachings of the present invention, a system and method for registering range images of objects detected by multiple LiDAR sensors on a vehicle is disclosed. The method includes aligning data frames of at least two LiDAR sensors having overlapping fields of view in a sensor signal combining operation to track objects detected by the sensors. The method defines a transformation value for at least one of the LiDAR sensors that identifies an orientation angle and position of the sensor and provides target scan points from the objects detected by the sensors, the target scan points providing a separate target point map for each sensor. The method projects the target point map from the at least one sensor to another of the LiDAR sensors using a current transform value to overlap the target scan points from the sensors, and determines a plurality of weight values using the current transform value, each weight value representing a position change of one of the sampling points for the at least one sensor is identified to a location of a sampling point for another one of the sensors. The method computes a new transformation value using the weighting values, compares the new transformation value with the current transformation value to determine a difference thereof, and corrects the plurality of weighting values based on the difference between the new transformation value and the current transformation value until the new transformation value the current transformation value, the sensors being aligned with each other.
Weitere Merkmale der vorliegenden Erfindung werden aus der folgenden Beschreibung und den beigefügten Patentansprüchen in Verbindung mit den beigefügten Figuren deutlich.Further features of the present invention will become apparent from the following description and the appended claims, taken in conjunction with the accompanying drawings.
KURZE BESCHREIBUNG DER FIGURENBRIEF DESCRIPTION OF THE FIGURES
DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELEDETAILED DESCRIPTION OF THE EMBODIMENTS
Die folgende Diskussion der Ausführungsformen der Erfindung, die auf ein System und ein Verfahren zum Registrieren von Entfernungsbildern von mehreren LiDAR-Sensoren auf einem Fahrzeug gerichtet ist, ist rein beispielhafter Natur und in keiner Weise dazu gedacht, die Erfindung oder ihre Anwendungen oder Verwendungen einzuschränken. Beispielsweise wird die vorliegende Erfindung anhand der Registrierung von Entfernungsbildern für LiDAR-Sensoren auf einem Fahrzeug beschrieben. Fachleuten ist es jedoch klar, dass das Registrierungsverfahren der Erfindung auch eine Anwendung außerhalb von Fahrzeuganwendungen haben wird.The following discussion of embodiments of the invention directed to a system and method for registering range images of multiple LiDAR sensors on a vehicle is merely exemplary in nature and is in no way intended to limit the invention or its applications or uses. For example, the present invention will be described in terms of registration of range images for LiDAR sensors on a vehicle. However, those skilled in the art will appreciate that the registration method of the invention will also have application outside of vehicle applications.
Jeder Sensor
Die Position des Zielfahrzeugs
Bevor das Zusammenlegungsverfahren zum Kombinieren der Abtastpunkte von mehreren LiDAR-Sensoren genau diskutiert werden wird, wird eine Diskussion eines Abtastpunktregistrieralgorithmus, der in dem Kasten
In vielen Fahrzeugen werden die Objektdetektionssensoren direkt in den vorderen Aufbau des Fahrzeugs integriert. Diese Art von Installation ist einfach, effektiv und ästhetisch ansprechend, hat aber den Nachteil, dass es keinen praktischen Weg gibt, um die Sensoren physisch zueinander auszurichten. Demzufolge gibt es herkömmlicherweise keinen anderen Weg, um eine Fehlausrichtung zu korrigieren, die davon herrühren kann, dass ein Sensor gegenüber der echten Fahrzeugrichtung aufgrund eines Schadens am Vorderaufbau oder einer Alterung oder einer witterungsbedingten Verbiegung fehlausgerichtet ist, als den gesamten Vorderaufbau mit den Sensoren auszutauschen.In many vehicles, the object detection sensors are integrated directly into the front body of the vehicle. This type of installation is simple, effective, and aesthetically pleasing, but has the disadvantage that there is no practical way to physically align the sensors. Accordingly, conventionally, there is no other way to correct a misalignment that may result from a sensor being misaligned with respect to the real vehicle direction due to damage to the front structure or aging or weathering distortion, than by replacing the entire front structure with the sensors.
Wie unten diskutiert werden wird, matcht die Rahmenregistrierung, die im Kasten
Der EM-Algorithmus beginnt mit dem Auswählen eines Anfangstransformationswertes T0, der Null, ein vorher geschätzten Wert, eine Orientierung zwischen den Sensoren
Die gegenwärtig verwendete Transformation T kann für die vorliegende Orientierung des nach links gerichteten LiDAR-Sensors
Eine neue Transformation T' wird dann unter Verwendung des neu berechneten Gewichts ajk folgendermaßen bestimmt:
Die neue Transformation T' wird dann mit der vorher berechneten Transformation T verglichen und basierend auf ihrer Differenz wird das Gewicht ajk unter Verwendung der neuen Transformation T' erneut berechnet, bis die neu berechnete Transformation T' mit der zuvor berechneten Transformation T übereinstimmt, wobei die Sensoren
In bestimmten Fällen wird die Transformation T zur Ausrichtung der Abtastdatenpunkte hinreichend groß sein, wobei es von Vorteil sein kann, die Lösung von T' in der Gleichung (3) zu verbessern. Für dieses Beispiel wird die Transformation T als x' = T·x definiert, wobei x' = Rx + t ist, und, wobei R eine Rotationsmatrix und t ein Translationsvektor ist. In dieser Analyse sei:
Die Lösung der neuen Transformation T' in der Gleichung (3) kann nun folgendermaßen wiedergegeben werden:
Der oben beschriebene EM-Algorithmus zum Bestimmen der Transformation T kann nur lokal optimal sein und sensitiv für den Anfangstransformationswert sein. Der Algorithmus kann dahingehend verbessert werden, dass eine Partikelschwarmoptimierung (PSO) verwendet wird, um die Anfangstransformation T0 zu finden. Bei dieser Optimierung sei E die Menge der auswählbaren Transformationen T von dem linken LiDAR-Sensor
In den meisten Fällen wird der Wechsel in der Transformation T von einer Abtastzeit auf die nächste Abtastzeit typischerweise gering sein und demzufolge ist es nicht notwendig, ein rechenintensives Verfahren zur Berechnung der neuen Transformation T' für große Änderungen in der Transformation T, wie oben beschrieben, zu verwenden. Insbesondere kann die neue Schätzung aus dem obigen PSO-Algorithmus der Transformation Tn rekursiv unter Verwendung des folgenden wenig rechenintensiven EM-Match-Algorithmus verfeinert werden. Zuerst wird die Transformation Tn auf jeden Abtastpunkt des rechten LiDAR-Sensors
Die korrigierte Transformation ΔT wird bestimmt als:
Gleichung (3) wird dann ersetzt durch:
Um zum Zusammenlegungsalgorithmus zurückzukommen, führt die unten geführte Diskussion zuerst einen vorgeschlagenen Abtastregistrieralgorithmus ein, der die Bewegung des Zielfahrzeugs
Ein wahrscheinlichkeitstheoretisches Objektmodell M wird zuerst definiert und danach wird ein vorgeschlagener iterativer Algorithmus bereitgestellt, um eine feste Transformation aufzufinden, so dass die Wahrscheinlichkeit maximiert wird, weil die Abtastkarten des darauf folgenden Rahmens vorgegeben sind. Um die geometrische Gestalt eines Objekts zu charakterisieren, wird eine Kontur-Wahrscheinlichkeitsdichtefunktion (PDF) in einem Abtastraum definiert.
Diese Nichtparametrisierung der Art der Darstellung der PDF kann wiedergegeben werden als: wobeieine Gauß-Kernek-Funktion ist und σ > 0 ein Glättungsparameter, der als Bandbreite oder als Größe eines Parzen-Fensters bezeichnet wird. This non-parameterization of the way the PDF is displayed can be represented as: in which is a Gauss-Kernek function and σ> 0 is a smoothing parameter called the bandwidth or the size of a Parzen window.
Seien y die Parameter der Transformation TY. Die Operatoren werden als Transformationsoperator Ty(·) mit den Parametern Y und der korrespondierenden inversen Transformation
Sei S = (s1, s2, ..., sns)T die gegenwärtige Abtastkarte, die aus einer Liste von Abtastpunkten besteht. Die Wahrscheinlichkeitsfunktion kann ausgedrückt werden durch: wobei Abtastpunkte sk als unabhängig und gleichförmig verteilte Bereiche des Objektmodells M am Ort y angenommen werden.Let S = (s 1 , s 2 , ..., s ns ) T be the current scan map consisting of a list of sample points. The probability function can be expressed by: wherein sample points s k are assumed to be independent and uniformly distributed regions of the object model M at location y.
Die Aufgabe ist es hier, das Maximum von L(S; y, M) im Hinblick auf die Transformationsparameter y zu finden, was äquivalent dazu ist, das Minimum von J(y; M) ≡ –Log L(S; y, M) zu finden:
Dieses lokale Minimum zeigt die Gegenwart des Objekts in dem folgenden Rahmen an, der eine Darstellung ähnlich definiert zu p(x; M) am Ursprung
Eine Hilfsmatrix A ≡ {akj} with akj ≥ 0 for j = 1, ..., nM and k = 1, ..., ns wird eingeführt, wobei: für alle k.An auxiliary matrix A ≡ {a kj } with a kj ≥ 0 for j = 1, ..., n M and k = 1, ..., n s is introduced, where: for all k.
Demzufolge wird die Gleichung (32): As a result, the equation (32) becomes:
In der Gleichung (32) wird der Normierungsfaktorin einen konstanten Term aufgenommen, welcher vernachlässigt wird. Gleichung (36) ergibt sich dann durch Anwenden der Ungleichung von Jensen auf die Gleichung (34).In the equation (32), the normalization factor becomes taken into a constant term, which is neglected. Equation (36) is then obtained by applying the inequality of Jensen to equation (34).
Unter der Vorgabe, dass die negative Logarithmusfunktion konvex ist, kann die beste obere Grenze für die Gleichung (36) durch Bilden der Ableitung des Ausdrucks der Gleichung (36) und des Lagrange-Multiplikators der Randbedingung aus der Gleichung (33) im Hinblick auf akj und durch Nullsetzen erlangt werden. Die optimale Hilfsvariable kann ausgedrückt werden durch: für j = 1, ..., nM and k = 1, ..., ns.Assuming the negative logarithm function is convex, the best upper bound can be for the equation (36), by taking the derivative of the expression of the equation (36) and the Lagrange multiplier of the constraint from the equation (33) with respect to a kj and zeroing. The optimal auxiliary variable can be expressed by: for j = 1, ..., n M and k = 1, ..., n s .
Demzufolge kann die Gleichung (31) iterativ durch ”Grenzoptimierung” gelöst werden, welche zwischen Optimieren von in Hinblick auf die Hilfsmatrix A, der Parameter y der Transformation T und der Bandbreite der Kernel-Funktion σ terminiert wird.As a result, equation (31) can be iteratively solved by "boundary optimization", which is between optimizing with respect to the auxiliary matrix A, the parameter y of the transformation T and the bandwidth of the kernel function σ is terminated.
Das iterative Verfahren aus dem Algorithmus 1 unten wird so lange wiederholt, bis Konvergenz auftritt, d. h. die Differenz des geschätzten y in zwei Iterationen weniger als eine vorbestimmte kleine Zahl ist. Empirische Resultate zeigen, dass 2–3 Iterationen für den vorgeschlagenen Algorithmus zur Konvergenzbildung ausreichen.The iterative procedure of
Algorithmus 1: AbtastpunktregistrierungAlgorithm 1: Sample Point Registration
- Input: Objektmodell M, gegenwärtige Abtastkarte S und Anfangstransformationsparameter y0.Input: object model M, current scan map S and start transformation parameter y 0 .
- 1) Sei σ = σ0, wobei σ0 eine positive Zahl ist.1) Let σ = σ 0 , where σ 0 is a positive number.
- 2) Berechnen von A: unter Vorgabe der vorhergehenden Schätzung des Transformationsparameters yn wird akj unter Verwendung der Gleichung (37) aktualisiert.2) Compute A: Given the previous estimate of the transformation parameter y n , a kj is updated using equation (37).
-
3) Minimieren von Berechne y* zum Minimieren von d. h.:
y* = argminy – Σk,jakjlogKσ(T –1 / y(sk) – mj). (38) y * = argmin y - Σ k, j a kj logK σ (T -1 / y (s k ) - m j ). (38) - 4) Berechnen von σ: Differenzieren der Gleichung (36) nach σ, Setzen der Ableitung auf Null ergibt: 4) Calculate σ: differentiating equation (36) according to σ, setting the derivative to zero gives:
-
5) Sei yn+1 = y*. Falls dann gehe zu Schritt 2. Ansonsten wird Ausgang y* als der geschätzte Parameter für die Transformation verwendet.5) Let y n + 1 = y *. If then go to
step 2. Otherwise, output y * is used as the estimated parameter for the transformation.
Die folgende Diskussion beschreibt einen speziellen Fall von Punktmengenregistrierungen, die in der Robotik mit LiDAR-Abtastern verwendet werden können. Eine feste Transformation x' = Ty(x) und x' = Rx + t können festgelegt werden, wobei der Parametervektor y aus einer Rotationsmatrix R und dem Translationsvektor t besteht. Gleichung (38) kann vereinfacht werden zu:
Durch Bilden der partiellen Ableitung von Gleichung (40) jeweils nach t und R, kann die Gleichung (40) gelöst werden. Um die Lösung zu veranschaulichen, werden die folgenden Größen definiert: wobei 1 = [1, 1, ..., 1]T ist By forming the partial derivative of Equation (40) respectively after t and R, Equation (40) can be solved. To illustrate the solution, the following quantities are defined: where 1 = [1, 1, ..., 1] T
Die Lösung der Gleichung (40) ist:
Die unten geführte Diskussion schlägt einen Bayes-basierenden Algorithmus vor, der rekursiv die Bewegung schätzt und das Objektmodell M aktualisiert. Sei S0, ..., St, und St+1 die Abtastkarten, die von einem dynamischen Objekt zu den Zeitschritten 0, ..., t, and t + 1 jeweils aufgenommen wurden.The discussion below suggests a Bayesian algorithm that recursively estimates the motion and updates the object model M. Let S 0 , ..., S t , and S t + 1 be the scan maps taken by a dynamic object at time steps 0, ..., t, and t + 1, respectively.
Die unten geführte Diskussion wird eine Bezugnahme auf bipartite Graphen und Bayes-Graphen beinhalten. Diese zwei Arten von Graphen beinhalten Knoten, die verschiedene Dinge darstellen. Die Knoten in einem Bayes-Graphen stellen Variablen dar, die geschätzt werden müssen, so beispielsweise die Transformation T und das Objektmodell M, welche zufällig sind und nur durch eine PDF dargestellt werden können. Diese Knoten sind in einer Sequenz über verschiedene Zeitrahmen angeordnet und jede einzelne Sequenz modelliert nur ein Objekt. Im Gegensatz dazu sind die Knoten in den bipartiten Graphen Segmentierungen von Abtastkarten. Jede Abtastkarte kann viele Objekte im selben Zeitrahmen enthalten. Demzufolge ist es Aufgabe, die Segmente aufzufinden, welche zu einem Objekt korrespondieren. Das Bilden der Assoziationen der Segmente (s1, s2, ..., sn) entlang der Zeitachse kann zum Erhalten mehrerer Sequenzen führen, welche jeweils zu einem Objekt korrespondieren. Auf diese Art können die bipartiten Graphen dazu verwendet werden, um das Bayes-Verfahren anzuwenden, um jedes einzelne Objekt zu verfolgen.The discussion below will include references to bipartite graphs and Bayesian graphs. These two types of graphs contain nodes that represent different things. The nodes in a Bayes graph represent variables that must be estimated, such as the transform T and the object model M, which are random and can only be represented by a PDF. These nodes are arranged in a sequence over different time frames and each individual sequence models only one object. In contrast, the nodes in the bipartite graphs are segmentations of scancards. Each scan card can contain many objects in the same time frame. Consequently, it is the task to find the segments that correspond to an object. Forming the associations of the segments (s 1 , s 2 , ..., s n ) along the time axis may result in obtaining a plurality of sequences, each corresponding to an object. In this way, the bipartite graphs can be used to apply the Bayesian method to track each individual object.
Die unten geführte Diskussion detailliert die Aktualisierungsregeln für den Parameter
In Gleichung (47) ist p(y|S(0:t)) die vorhergehende PDF des Parameters y zum Zeitschritt t – 1 bei gegebenen vorherigen Abtastkarten S(0:t), welche berechnet werden können als:
In Gleichung (48) bezeichnet p(yt|S(0:t)) die nachfolgende PDF für Transformationsparameter zur Zeit t und p(y|yt) die bedingte Wahrscheinlichkeit des folgenden Fortpflanzungsmodells der Objektbewegung:
Der Ausdruck p(Mt-1|S(0:t)) kann als die konjugierte Verteilungsfamilie von L(S; y, M) in der Gleichung (30) modelliert werden, um eine verfolgbare nachfolgende PDF zu erzeugen. Ein Produkt der Gauß-Dichten mit bekannter Varianz σ2 wird angenommen als: wobei: und wobei (ηj, νj) Hyperparameter der vorhergehenden PDF für die j-te Komponente von Mt-1 sind und c(ηj) ein Normierungsfaktor ist.The expression p (M t-1 | S (0: t) ) may be modeled as the conjugate distribution family of L (S; y, M) in equation (30) to produce a traceable subsequent PDF. A product of Gaussian densities with known variance σ 2 is taken as: in which: and where (η j , ν j ) are hyperparameters of the previous PDF for the jth component of M t-1 and c (η j ) is a normalization factor.
Wie aus der
Wir betrachten nun das Problem des Schätzens der vorhergehenden p(y, M|S(0:t+1) zur Zeit t + 1. Da y und M konditional unabhängig sind, d. h.
Unter der Annahme, dass p(y|S(0:t+1)) die Dirac-Delta-PDF bei
Durch Vernachlässigen von Termen, die relevant sind für das Objektmodell M, kann der negative Logarithmus der Gleichung (47) geschrieben werden als: By neglecting terms relevant to the object model M, the negative logarithm of equation (47) can be written as:
Es wird angemerkt, dass Gleichung (56) die beste obere Grenze von J(M) für alle möglichen Werte von y ist.It is noted that equation (56) is the best upper bound of J (M) for all possible values of y.
Wie in der
Die Aktualisierungsregeln für die neuen Hyperparameter
Demzufolge ist die darauffolgende PDF des Ziels zur Zeit t: As a result, the subsequent PDF of the target is at time t:
Es wird angemerkt, dass m in der Gleichung (57) der Mode ist und
Das rekursive Verfolgungs- und Modellaktualisierungsverfahren wird im Algorithmus 2 unten zusammengefasst. Schritt 1 stellt das Objektmodell M für den gegenwärtigen Zeitrahmen bereit, wobei Schritt 2 die Bewegung des Objektmodells M schätzt. Schritt 3 aktualisiert das Objektmodell M basierend auf der gegenwärtigen Abtastkarte. Schritt 4 addiert neue Partikel in das Objektmodell M, wobei Schritt 5 die „Ausreißer” aus dem Objektmodell M entfernt.The recursive tracking and model update method is summarized in
Algorithmus 2: Verfolgen und Aktualisieren des ObjektmodellsAlgorithm 2: Track and update the object model
-
Input: gegenwärtige Abtastkarte St+1, Objektmodell Mt-1 = {νj, ηj} und Transformation
y t.y t . -
Output: geschätztes
y t+1,y t + 1 ,
- 1) Berechnete Hyperparameterfür alle J von p(Mt|S(0:t)) in Gleichung (51). Setze alle Partikel als unbetrachtet.1) Calculated hyperparameters for all J of p (M t | S (0: t) ) in equation (51). Set all particles as unobserved.
-
2) Seifür alle J. Ersetze Gleichung (38) durch Gleichung (55) und lasse dann den Algorithmus 1 ablaufen, um
y t+1algorithm 1 expirey t + 1 - 3) Falls ρj – Σkakj größer ist als ein Schwellenwert, berechne die Hyperparameter unter Verwendung der Gleichungen (60) und (61), setze die Partikel als betrachtet und erhöhe den Betrachtungswert Kj um 1. Wenn Kj > 5, wird der j-te Partikel als reif markiert.3) If ρ j - Σ k a kj is greater than a threshold, compute the hyperparameters using equations (60) and (61), consider the particles as considered, and increase the view value K j by 1. If K j > 5 , the jth particle is marked as ripe.
- 4) Berechne für alle K. Falls kleiner als ein Schwellenwert ist, addiere einen neuen Partikel sk mit den folgenden Werten Kk = 1, νk = sk, ηk = 1 und markiere ihn als betrachtet.4) Calculate for all K. Falls is less than a threshold, add a new particle s k with the following values K k = 1, ν k = s k , η k = 1 and mark it as considered.
- 5) Entferne Partikel, die nicht als betrachtet und nicht reif markiert sind.5) Remove particles that are not marked as viewed and not ripe.
Sobald die Abtastpunkte in Cluster segmentiert sind, matcht der Algorithmus dann die Cluster mit vorhergesagten Objektmodellen M ~ im Kasten
Unter Verwendung der projizierten verfolgten Objektmodelle werden die segmentierten Clustermit vorhergesagten Objektmodellenim Kasten
Ein induzierter bipartiter Graph kann definiert werden aus dem bipartiten Graph B, wobei die Kantenmenge EB die mögliche Assoziierung zwischen den Objekten in und den segmentierten Clustern darstellt. Eine Kante zwischen und existiert dann und nur dann, wenn eine Kante (p, q) in B so existiert, dass und gilt.An induced bipartite graph can be defined from the bipartite graph B, where the edge set E B is the possible association between the objects in and the segmented clusters represents. An edge between and exists if and only if an edge (p, q) exists in B such that and applies.
Sei E(p', q') die Untermenge der Kantenmenge in B, d. h. Das Gewicht und die Kardinalität der Kante werden jeweils definiert als: Let E (p ', q') be the subset of the set of edges in B, ie The weight and cardinality of the edge are defined as:
Sobald der induzierte bipartite Graph B' konstruiert ist und das Gewicht und die Kardinalität der Kanten berechnet sind, werden die starke Kante und die vorgeschobene schwache Verbindung unter Verwendung des Algorithmus 3 unten ausgewählt.Once the induced bipartite graph B 'is constructed and the weight and cardinality of the edges are calculated, the strong edge and the advanced weak connection are selected using
Der Algorithmus legt dann die Datenpunktcluster zusammen und spaltet sie im Kasten
Das vorhergesagte Objektmodell M ~4 wird in zwei gemischte Cluster S3 und S4. aufgespalten. Die Abtastpunkte der gegenwärtigen Cluster S3 und S4 werden erneut geclustert unter Verwendung der vorherigen Kenntnis, dass es ein Objekt in dem vorhergehenden Rahmen gegeben hat. Gewöhnlicherweise wird eine stärkere Evidenz von Unähnlichkeit für ein Aufspalten eines existierenden verfolgbaren Objekts in zwei Cluster benötigt.The predicted object model M ~ 4 is divided into two mixed clusters S 3 and S 4 . split. The sample points of the current clusters S 3 and S 4 are clustered again using the prior knowledge that there was an object in the previous frame. Usually, a stronger evidence of dissimilarity is needed for splitting an existing trackable object into two clusters.
Die zwei vorhergesagten Objektmodelle M ~2 und M ~3 sind zu einem Cluster S2 in dem gegenwärtigen Rahmen assoziiert.The two predicted object models M ~ 2 and M ~ 3 are associated to a cluster S 2 in the current frame.
Die Abtastpunkte in dem Cluster S2 werden erneut geclustert, da eine stärkere Nähe unter den Abtastpunkten für das Zusammenlegen der zwei verfolgbaren Objekte zu einem Objekt benötigt wird.The sample points in the cluster S 2 are clustered again because a greater proximity among the sample points is needed for collapsing the two trackable objects into one object.
Algorithmus 3: AbtastassoziierungsalgorithmusAlgorithm 3: Sample Association Algorithm
- Input: der Clusterund die vorhergesagten Objektmodelle Input: the cluster and the predicted object models
- Output: der verkürzte induzierte bipartite Graph B'.Output: the shortened induced bipartite graph B '.
- 1) Konstruiere den bipartiten Graph B mit Abtastpunkten als Vertices.1) Construct the bipartite graph B with sampling points as vertices.
- 2) Konstruiere den induzierten Graph B' mit Clustern und Konturen wie den Vertices und berechne das Gewicht und die Kardinalität der Kante unter Verwendung der Gleichungen (63) und (64) jeweils.2) Construct the induced graph B 'with clusters and contours such as the vertices and calculate the weight and cardinality of the edge using equations (63) and (64), respectively.
-
3) Für jeden finde so dass die Kardinalität größer als ein Schwellenwert (d. h.,
c(p ' / *, q') > C (p ' / *, q') c (p '/ *, q')> C (p '/ *, q') - 4) Für jeden der nicht durch die hervorgehobenen Kanten abgedeckt ist, finde die Menge so dass jedes Element q'' durch eine und nur eine hervorgehobene Kante abgedeckt ist. Finde p'', so dass (p'', q'') > C und gilt, und hebe die Kante hervor.4) For everyone which is not covered by the highlighted edges, find the amount such that each element q '' is covered by one and only one highlighted edge. Find p '' such that (p '', q '')> C and applies, and lift out the edge.
- 5) Verkürze alle Kanten, die in B' nicht hervorgehoben sind.5) Shorten all edges that are not highlighted in B '.
Wie oben erwähnt werden neue Objekte erzeugt und verschwindende Objekte werden im Kasten
Sobald die neuen Objekte erzeugt sind und die verschwindenden Objekte im Kasten
Das Objekt-File
Falls die Rotation zwischen zwei aufeinanderfolgenden Abtastrahmen klein ist, können die Parameter einer 2D-Transformation approximiert werden durch: wobei (x, y) und (x', y') zwei Punkte in vorangegangenen und gegenwärtigen Rahmen jeweils sind, der Rotationswinkel und (t, t) die Translationen sind.If the rotation between two consecutive sample frames is small, the parameters of a 2D transformation can be approximated by: where (x, y) and (x ', y') are two points in previous and present frames, respectively, the angle of rotation and (t, t) are the translations.
Sei mj = (xj, yj) und
Die folgenden Aktualisierungsregeln können abgeleitet werden: wobei λx, λy und die von der Varianzmatrix Q in der Gleichung (50) abgeleiteten Gewichte sind.The following update rules can be derived: where λ x , λ y and are the weights derived from the variance matrix Q in equation (50).
Durch Ersetzen der Gleichung (38) mit den Gleichungen (67) bis (69) wird der Algorithmus 1 iterativ angewendet, um tx, ty und bei
Wenn ν und ωH die HV-Bodengeschwindigkeit und Gierrate jeweils bezeichnen. Die Bodengeschwindigkeit des Fahrzeugs
Das Verfahren und die Vorrichtung zum Detektieren und Verfolgen mehrerer Objekte, wie oben beschrieben, kann eine 360°-Sichtfeldlösung für das Detektieren von Objekten durch das Trägerfahrzeug
Das erste Problem ist der Teil der Observierung, die entweder durch Okklusion oder Lasermessausfall, beispielsweise wegen niedrigerer Reflektanz oder Spiegelreflexion. Beispielsweise ist der Detektionsbereich eines schwarzen Fahrzeugs viel kleiner als der eines weißen Fahrzeugs.The first problem is that part of the observation, either by occlusion or laser measurement loss, for example, due to lower reflectance or specular reflection. For example, the detection range of a black vehicle is much smaller than that of a white vehicle.
Das nächste Problem ist die unzureichende Messung aufgrund einer niedrigen Auflösung, ein Herausragen von Merkmalen bewirkt und demzufolge unzureichend ist, um Fernfeldobjekte zu detektieren.The next problem is the insufficient measurement due to a low resolution, causing feature protrusion and hence is insufficient to detect far-field objects.
Ein anderes Problem ist das limitierte vertikale Sichtfeld, beispielsweise von 4 das die Detektion von Objekten auf einer nichtebenen Straßenoberfläche auslässt.Another problem is the limited vertical field of view, such as that which omits the detection of objects on a non-planar road surface.
Ein anderes Problem ist das Fehlen von Kontextinformationen, dass ein Objekt aus dem Hintergrund unterscheiden kann.Another problem is the lack of context information that can distinguish an object from the background.
Die vorliegende Erfindung schlägt einen verbesserten Zusammenführungsalgorithmus vor, der die oben diskutierten Einschränkungen für die LiDAR-Sensoren adressiert. Insbesondere verwendet die vorliegende Erfindung die Ausgangssignale von einem oder beiden von einem Radarsensor oder einem Bildsystem auf dem Fahrzeug, um als Cueing-Signal betrieben zu werden, um das Zusammenlegungssystem für die LiDAR-Sensor-Ausgänge dazu zu bringen, ein Ziel zu identifizieren. Radarsensoren haben typischerweise eine weite Reichweite aber ein enges Sichtfeld. Bildsysteme haben typischerweise eine kurze Reichweite, stellen aber Kontakte zu den detektierten Zielen dar. Wie oben erwähnt, ist das verbesserte Zusammenlegungssystem, das oben diskutiert wird, dazu gedacht, die Parameter x, y, vx, vy und ξ für jedes detektierte Objekt zu schätzen.The present invention proposes an improved merging algorithm that addresses the limitations discussed above for the LiDAR sensors. In particular, the present invention utilizes the output signals from one or both of a radar sensor or an imaging system on the vehicle to operate as a cueing signal to cause the LiDAR sensor output merging system to identify a target. Radar sensors typically have a long range but a narrow field of view. Image systems typically have a short range, but are contacts to the detected targets. As mentioned above, the improved merging system discussed above is intended to provide the parameters x, y, v x , v y, and ξ for each detected object appreciate.
Die Registierparameter yo können automatisch durch gematchte Paare zwischen den verfolgten LiDAR-Objekten und Zielen von dem Radarsensor
Danach matcht der Algorithmus die Zieldaten von dem Radarsensor
Das oben diskutierte Verfahren wird dazu verwendet, um einen beschnittenen bipartiten Graphen
Unter Verwendung der projizierten Verfolgungsobjektmodelle M ~ aus dem Kasten
Danach erzeugt der Algorithmus neue Objekte und entfernt verschwindende Objekte im Kasten
Danach stellt der Algorithmus ein Verfolgen und Modellaktualisieren im Kasten
Ähnlich zu der Gleichung (47) werden Bayes- und Kettenregeln jeweils dazu verwendet, um die nachfolgende PDF-gegebenen LiDAR-Abtastkarten und Zieldaten von dem Radar-Sensor
In Gleichung (74) ist p(y, M|S(0:t), o(0:t)) die vorhergegangene PDF von y zum Zeitschritt t + 1 bei gegebenen vorhergehenden Abtastkarten S(0:t) und Zieldaten o(0:t), welche berechnet werden können als:
Wenn p(yt|S(0:t)), o(0:t))) als eine Dirac-Delta-Verteilung zentriert um
Im Folgenden wird das darauffolgende Objektmodell M angenommen als: und wobeidefiniert ist in Gleichung (51). Wie aus der
Nun wird das Problem für das Schätzen des Folgenden im Zeitschritt t + 1 betrachtet, welches zerlegt werden kann als:
Es wird angenommen, dass p(y|S(0:t+1), o(0:t+1)) die Dirac-Delta PDF zentriert ist um
Das Messmodell der Zieldaten p(o|y) wird modelliert als:
Bei Einsetzen der Gleichungen (76) und (81) in die Gleichung (74) und Anwenden eines negativen Logarithmus auf die Gleichung (74) und Vernachlässigen irrelevanter Terme bei y wird das Folgende erhalten:
Demzufolge kann die Gleichung (38) im Algorithmus 1 durch die Gleichung (55) für das Integrieren vorhergegangener Information aus vorherigen Zeitschritten und für das Cueing von Information vom Radarsensor
Beim Berechnen von p(M|S(o:t+1), 0(0:t+1)) wird angemerkt, dass die Gleichung (78) und die Gleichung (53) äquivalent sind und demzufolge die gleichen Aktualisierungsregeln für die oben beschriebenen Hyperparameter angewandt werden.When calculating p (M | S (o: t + 1) , 0 (0: t + 1) ), it is noted that Equation (78) and Equation (53) are equivalent and therefore the same update rules for the above described hyperparameters are applied.
Das Objekt-File
Wie von Fachleuten gut verstanden wird, können verschiedene oder einige Schritte und Verfahren, die hier erörtert wurden, um die Erfindung zu beschreiben, von einem Computer, einem Prozessor oder einer anderen elektronischen Recheneinheit ausgeführt werden, die mit Hilfe elektrischer Phänomene Daten manipuliert und/oder transformiert. Diese Computer und elektrischen Geräte können verschiedene flüchtige und/oder nicht flüchtige Speicher inklusive einem festen computerlesbaren Medium mit einem darauf befindlichen ausführbaren Programm beinhalten, das verschiedene Codes oder ausführbare Instruktionen beinhaltet, die von dem Computer oder Prozessor ausgeführt werden, wobei der Speicher und/oder das computerlesbare Medium alle Formen und Arten von einem Speicher und anderen computerlesbaren Medien beinhalten kann. As will be well understood by those skilled in the art, various or some of the steps and methods discussed herein to describe the invention may be performed by a computer, processor, or other electronic processing unit that manipulates and / or manipulates data using electrical phenomena transformed. These computers and electrical devices may include various volatile and / or nonvolatile memories including a fixed computer readable medium having an executable program thereon containing various codes or executable instructions executed by the computer or processor, the memory and / or the computer readable medium may include all forms and types of memory and other computer readable media.
Die vorhergehende Diskussion zeigt und beschreibt rein exemplarische Ausführungsbeispiele der vorliegenden Erfindung. Ein Fachmann kann leicht aus der Diskussion an den beigefügten Figuren und Patentansprüchen erkennen, dass zahlreiche Änderungen, Modifikationen und Variationen gemacht werden können, ohne dabei den Geist und den Bereich der Erfindung zu verlassen, wie er mit den folgenden Patentansprüchen definiert ist.The foregoing discussion shows and describes purely exemplary embodiments of the present invention. One skilled in the art will readily recognize from the discussion of the attached figures and claims that numerous changes, modifications and variations can be made therein without departing from the spirit and scope of the invention as defined by the following claims.
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- US 7991550 [0118] US 7991550 [0118]
Claims (10)
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261611465P | 2012-03-15 | 2012-03-15 | |
US61/611,465 | 2012-03-15 | ||
US13/777,469 US9329269B2 (en) | 2012-03-15 | 2013-02-26 | Method for registration of range images from multiple LiDARS |
US13/777,469 | 2013-02-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102013102153A1 true DE102013102153A1 (en) | 2013-09-19 |
Family
ID=49044100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE201310102153 Pending DE102013102153A1 (en) | 2012-03-15 | 2013-03-05 | Method for combining sensor signals of LiDAR-sensors, involves defining transformation value for one of two LiDAR sensors, which identifies navigation angle and position of sensor, where target scanning points of objects are provided |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN103308923B (en) |
DE (1) | DE102013102153A1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102015205087A1 (en) * | 2015-03-20 | 2016-09-22 | Bayerische Motoren Werke Aktiengesellschaft | Method for determining the misalignment of a driver assistance sensor |
WO2018069405A1 (en) * | 2016-10-14 | 2018-04-19 | Audi Ag | Motor vehicle and method for a 360° detection of the surroundings |
EP3422050A1 (en) * | 2017-06-30 | 2019-01-02 | Aptiv Technologies Limited | Lidar sensor alignment system |
DE102018201154A1 (en) * | 2018-01-25 | 2019-07-25 | HELLA GmbH & Co. KGaA | Method for calibrating sensors and / or sensor arrangements |
CN117485595A (en) * | 2023-11-21 | 2024-02-02 | 北京易动宇航科技有限公司 | Energy management method for electric propulsion system |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9255988B2 (en) * | 2014-01-16 | 2016-02-09 | GM Global Technology Operations LLC | Object fusion system of multiple radar imaging sensors |
EP3164860A4 (en) * | 2014-07-03 | 2018-01-17 | GM Global Technology Operations LLC | Vehicle cognitive radar methods and systems |
CN104713560B (en) * | 2015-03-31 | 2017-10-20 | 西安交通大学 | Multi-source distance measuring sensor spatial registration method based on expectation maximization |
CN105549586B (en) * | 2015-06-17 | 2018-06-19 | 电子科技大学 | Shuttlecock robotic tracking people control method for movement and system |
US9983301B2 (en) * | 2015-10-02 | 2018-05-29 | Delphi Technologies, Inc. | Automated vehicle radar system to determine yaw-rate of a target vehicle |
CN114910884A (en) * | 2015-10-06 | 2022-08-16 | 日本先锋公司 | Information processing apparatus, information processing method, and program |
CN105828029A (en) * | 2016-03-11 | 2016-08-03 | 乐卡汽车智能科技(北京)有限公司 | Vehicle collision monitoring system, method and apparatus |
CN110286388B (en) * | 2016-09-20 | 2020-11-03 | 创新科技有限公司 | Laser radar system, method of detecting object using the same, and medium |
CN108120447B (en) * | 2016-11-28 | 2021-08-31 | 沈阳新松机器人自动化股份有限公司 | Multi-laser equipment data fusion method |
CN106919908B (en) * | 2017-02-10 | 2020-07-28 | 百度在线网络技术(北京)有限公司 | Obstacle identification method and device, computer equipment and readable medium |
CN106934347B (en) * | 2017-02-10 | 2021-03-19 | 百度在线网络技术(北京)有限公司 | Obstacle identification method and device, computer equipment and readable medium |
US10509120B2 (en) * | 2017-02-16 | 2019-12-17 | GM Global Technology Operations LLC | Lidar-radar relative pose calibration |
WO2018195996A1 (en) * | 2017-04-28 | 2018-11-01 | SZ DJI Technology Co., Ltd. | Multi-object tracking based on lidar point cloud |
CN109991019B (en) * | 2017-08-11 | 2021-02-23 | 西华大学 | Automobile visual field checking method |
CN111492403A (en) * | 2017-10-19 | 2020-08-04 | 迪普迈普有限公司 | Lidar to camera calibration for generating high definition maps |
CN109765569B (en) * | 2017-11-09 | 2022-05-17 | 电子科技大学中山学院 | Method for realizing virtual dead reckoning sensor based on laser radar |
CN108062600B (en) * | 2017-12-18 | 2021-06-18 | 北京星云互联科技有限公司 | Vehicle collision early warning method and device based on rectangular modeling |
EP3517996B1 (en) * | 2018-01-25 | 2022-09-07 | Aptiv Technologies Limited | Method for determining the position of a vehicle |
CN108333562A (en) * | 2018-01-30 | 2018-07-27 | 西安电子科技大学 | A kind of dimensionality reduction method for registering images that landform altitude is adaptive |
US10529089B2 (en) * | 2018-02-23 | 2020-01-07 | GM Global Technology Operations LLC | Crowd-sensed point cloud map |
JP2019159380A (en) * | 2018-03-07 | 2019-09-19 | 株式会社デンソー | Object detection device, object detection method, and program |
CN108445468B (en) * | 2018-04-03 | 2019-11-05 | 上海禾赛光电科技有限公司 | A kind of distribution type laser radar |
EP3572841B1 (en) * | 2018-05-23 | 2024-02-14 | Aptiv Technologies Limited | Method of modelling a scanning distance sensor for prototyping parameters of such sensor and/or for prototyping software processing the output of such sensor |
CN108710367B (en) * | 2018-05-23 | 2022-02-11 | 广州视源电子科技股份有限公司 | Laser data identification method and device, robot and storage medium |
JP7091963B2 (en) * | 2018-09-14 | 2022-06-28 | オムロン株式会社 | Object detection sensor and object detection system |
US10984540B2 (en) * | 2018-10-15 | 2021-04-20 | Tusimple, Inc. | Tracking and modeling processing of image data for LiDAR-based vehicle tracking system and method |
CN110103810B (en) * | 2019-01-03 | 2024-02-27 | 华域视觉科技(上海)有限公司 | Three-dimensional detection lighting system and automobile |
CN110027018B (en) * | 2019-04-28 | 2020-12-01 | 森思泰克河北科技有限公司 | Omnidirectional detection system and method |
CN114063076A (en) * | 2020-07-30 | 2022-02-18 | 华为技术有限公司 | Imaging method, imaging apparatus, radar system, electronic device, and storage medium |
CN111983633B (en) * | 2020-08-26 | 2023-12-05 | 中国科学院半导体研究所 | Multi-line three-dimensional radar for railway monitoring and scanning method thereof |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7991550B2 (en) | 2006-02-03 | 2011-08-02 | GM Global Technology Operations LLC | Method and apparatus for on-vehicle calibration and orientation of object-tracking systems |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3750512B2 (en) * | 2000-10-12 | 2006-03-01 | 日産自動車株式会社 | Vehicle obstacle detection device |
US7460951B2 (en) * | 2005-09-26 | 2008-12-02 | Gm Global Technology Operations, Inc. | System and method of target tracking using sensor fusion |
US20070182623A1 (en) * | 2006-02-03 | 2007-08-09 | Shuqing Zeng | Method and apparatus for on-vehicle calibration and orientation of object-tracking systems |
CN101393264B (en) * | 2008-10-12 | 2011-07-20 | 北京大学 | Moving target tracking method and system based on multi-laser scanner |
US8812226B2 (en) * | 2009-01-26 | 2014-08-19 | GM Global Technology Operations LLC | Multiobject fusion module for collision preparation system |
-
2013
- 2013-03-05 DE DE201310102153 patent/DE102013102153A1/en active Pending
- 2013-03-15 CN CN201310115432.2A patent/CN103308923B/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7991550B2 (en) | 2006-02-03 | 2011-08-02 | GM Global Technology Operations LLC | Method and apparatus for on-vehicle calibration and orientation of object-tracking systems |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102015205087A1 (en) * | 2015-03-20 | 2016-09-22 | Bayerische Motoren Werke Aktiengesellschaft | Method for determining the misalignment of a driver assistance sensor |
WO2018069405A1 (en) * | 2016-10-14 | 2018-04-19 | Audi Ag | Motor vehicle and method for a 360° detection of the surroundings |
US11513212B2 (en) | 2016-10-14 | 2022-11-29 | Audi Ag | Motor vehicle and method for a 360° detection of the motor vehicle surroundings |
EP3422050A1 (en) * | 2017-06-30 | 2019-01-02 | Aptiv Technologies Limited | Lidar sensor alignment system |
CN109212508A (en) * | 2017-06-30 | 2019-01-15 | 安波福技术有限公司 | LIDAR sensor is to Barebone |
DE102018201154A1 (en) * | 2018-01-25 | 2019-07-25 | HELLA GmbH & Co. KGaA | Method for calibrating sensors and / or sensor arrangements |
CN117485595A (en) * | 2023-11-21 | 2024-02-02 | 北京易动宇航科技有限公司 | Energy management method for electric propulsion system |
CN117485595B (en) * | 2023-11-21 | 2024-04-05 | 北京易动宇航科技有限公司 | Energy management method for electric propulsion system |
Also Published As
Publication number | Publication date |
---|---|
CN103308923A (en) | 2013-09-18 |
CN103308923B (en) | 2016-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102013102153A1 (en) | Method for combining sensor signals of LiDAR-sensors, involves defining transformation value for one of two LiDAR sensors, which identifies navigation angle and position of sensor, where target scanning points of objects are provided | |
DE102013113570A1 (en) | Bayes network for tracking objects using search points using multiple LiDAR sensors | |
DE102013113571A1 (en) | Methods and apparatus for merging radar / camera object data and LiDAR search points | |
DE102015122825B4 (en) | Techniques for grouping target elements for object fusion | |
DE102006057552B4 (en) | System and method for measuring the distance of a preceding vehicle | |
DE102013113619B4 (en) | Probabilistic target selection and hazard assessment method and application to an intersection collision warning system | |
DE102018114042A1 (en) | DEVICE, METHOD AND SYSTEM FOR THE MULTIMODAL FUSION PROCESSING OF DATA OF MULTIPLE DIFFERENT FORMATS RECORDED BY HETEROGENIC DEVICES | |
DE102018205915A1 (en) | Monocular localization in urban environments using road markings | |
DE112018000899T5 (en) | Joint 3D object detection and orientation estimation via multimodal fusion | |
DE102018124108A1 (en) | METHOD AND DEVICE FOR DETECTING ROAD LIMITATION | |
DE102020214283A1 (en) | DEVICE FOR DETECTION OF OBSTACLES, VEHICLE SYSTEM WITH THIS AND METHOD FOR IT | |
DE102011119767A1 (en) | APPEARANCE-BASED ASSOCIATION OF CAMERA AND DISTANCE SENSORS FOR MULTIPLE OBJECTS | |
DE112011103690T5 (en) | Detection and tracking of moving objects | |
DE102011100927A1 (en) | Object and vehicle detection and tracking using 3-D laser rangefinder | |
DE102017218366A1 (en) | METHOD AND PEDESTRIAN DETECTION APPROACH IN A VEHICLE | |
DE112016005947B4 (en) | Vehicle determination device, vehicle determination method, and vehicle determination program | |
DE102015115786B4 (en) | METHOD AND SYSTEM REALIZED ON A COMPUTER FOR PROCESSING A SEQUENCE OF IMAGES | |
DE102016212193A1 (en) | Device and method for detecting an object on a road | |
DE102015115789B4 (en) | METHOD AND SYSTEM REALIZED ON A COMPUTER FOR PROCESSING AN IMAGE | |
DE102020105642A1 (en) | DESIGN AND PROCESSING WITH ANTENNA ARRAYS TO ELIMINATE MALDETECTIONS IN A RADAR SYSTEM | |
DE102018132805A1 (en) | Procedure for improved object detection | |
DE102016104730A1 (en) | Method for detecting an object along a road of a motor vehicle, computing device, driver assistance system and motor vehicle | |
DE112019005326T5 (en) | OBJECT TRACKER | |
DE102021114078A1 (en) | Detection of three-dimensional structure models at runtime in vehicles | |
DE102022102934A1 (en) | EVENT-BASED VEHICLE POSE ESTIMATION USING MONOCHROMIC IMAGING |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R082 | Change of representative |
Representative=s name: SCHWEIGER, MARTIN, DIPL.-ING. UNIV., DE |