DE102021205593B3

DE102021205593B3 - Verfahren und System zur Korrektur einer Position zumindest eines Merkmals in einem Umfeld eines Ego-Fahrzeugs

Info

Publication number: DE102021205593B3
Application number: DE102021205593.1A
Authority: DE
Inventors: Peter Barth
Original assignee: Continental Autonomous Mobility Germany GmbH
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2021-06-01
Filing date: 2021-06-01
Publication date: 2022-10-13
Anticipated expiration: 2041-06-02
Also published as: WO2022253391A1; JP2024514006A

Abstract

Die Erfindung betrifft ein Verfahren zur Korrektur einer Position (P) zumindest eines Merkmals in einem Umfeld eines Ego-Fahrzeugs mittels einer Fusion von Daten von zumindest einem ersten (1) und einem zweiten Umfelderfassungssensor (2) mit den folgenden Schritten:
- Aufzeichnen (S1) des Umfelds des Ego-Fahrzeugs mit dem ersten Umfelderfassungssensor (1) und Erzeugen einer ersten Umfeldrepräsentation,
- Aufzeichnen (S2) des Umfelds des Ego-Fahrzeugs mit dem zweiten Umfelderfassungssensor (2) und Erzeugen einer zweiten Umfeldrepräsentation,
- Detektieren (S3) zumindest eines Merkmals in der ersten Umfeldrepräsentation,
- Bestimmen (S4) der Position (P) des zumindest einen Merkmals basierend auf der ersten Umfeldrepräsentation,
- Ermitteln (S5) eines Höhenverlaufs (3, 5) in einem Bereich vor dem Ego-Fahrzeug basierend auf der zweiten Umfeldrepräsentation,
- Fusionieren (S6) der Position (P) des zumindest einen detektierten Merkmals und des ermittelten Höhenverlaufs (3, 5) und Ermitteln einer korrigierten Position,
- Korrigieren (S7) der Position (P) des zumindest einen Merkmals basierend auf der ermittelten korrigierten Position.

Description

Die Erfindung betrifft ein Verfahren und ein System zur Korrektur einer Position zumindest eines Merkmals in einem Umfeld eines Ego-Fahrzeugs.
Aus dem Stand der Technik ist beispielsweise eine Merkmalsextraktion für die Verwendung in ADAS-Systemen (z.B. andere Verkehrsteilnehmer, Spurgeometrie, fahrbarer Bereich etc.) bekannt, welche im Kamerabild stattfindet. Zusätzlich findet eine intrinsische sowie extrinsische Kalibrierung der Kamera statt, um die im Bild extrahierten Merkmale in das Fahrzeugkoordinatensystem umzuwandeln. Hierbei gibt es aktuell 3 wesentliche Ansätze.
Es gibt eine Flat-World-Annahme. Das heißt es wird angenommen, dass sich alles im Sichtfeld der Kamera auf einer Ebene (bspw. der Straße) befindet, die keine Höhenunterschiede aufweist. Weiterhin wird eine Stereokamera verwendet, um durch Assoziation in beiden Kamerabildern eine Tiefen-/Höhen-Information zu erhalten und damit eine 3D-Information zu erhalten. Als drittes ist bekannt, dass eine Schätzung von Tiefe und Höhe über Techniken wie optischer Fluss stattfindet.
Weiterhin ist aus der DE 10 2014 207 523 A1 ein Verfahren zum Kalibrieren eines Radarsensors bekannt, wobei hierbei mindestens ein Referenzobjekt an einer vorgegebenen Position in dem Radarsichtfeld angeordnet wird. Weiterhin wird eine geschätzte Position des Referenzobjekts erfasst und Korrekturwerte für die Position des mindestens einen Referenzobjekts basierend auf der vorgegebenen Position und der erfassten geschätzten Position berechnet.
Die DE 10 2020 205 468 A1 offenbart eine Steuereinheit, die dazu eingerichtet ist, ein Höhenprofil auf Basis von Sensordaten zu erfassen und eine Positionskorrektur für einen Kupplungskopf eines Fahrzeugs und/oder für ein Kupplungsauge eines Anhängers auf Grundlage des Höhenprofils und auf Grundlage eines Fahrzeugmodells des Fahrzeugs zu bestimmen.
Die JP 2019 - 089 476 A zeigt eine Parkunterstützungsvorrichtung und ein Computerprogramm, die jeweils eine genaue Erkennung eines freien Parkplatzes in einem Fahrzeugumfeld ermöglichen.
Es ist eine Aufgabe der vorliegenden Erfindung ein Verfahren und ein System bereitzustellen, mittels welchem eine erhöhte Genauigkeit bei der Positionsbestimmung von Merkmalen erreicht wird.
Diese Aufgabe wird erfindungsgemäß durch die unabhängigen Ansprüche 1 und 6 gelöst. Weitere vorteilhafte Ausgestaltungen und Ausführungsformen sind Gegenstand der Unteransprüche.
Erste Überlegungen waren dahingehend, dass die Kamera prinzipbedingt eine sehr hohe Auflösung für sich sehr nahe am Fahrzeug befindliche Merkmale hat, aber sehr schnell eine sehr geringe Auflösung für weiter entfernte Merkmale. Daher sind die Extraktionsergebnisse prinzipiell schnell ungenau. Die laterale Auflösung (also der Winkel des Merkmals in Bezug auf das Ego-Fahrzeug) ist zwar gut, die Höhe bzw. Entfernung des Merkmals vom Auto ist aber bereits nach wenigen Metern mit größeren Fehlern behaftet. Mit allen 3 zuvor genannten Techniken ist das Problem vorhanden und unterschiedlich stark ausgeprägt. Insbesondere sind die Fehler der Höhen- und Entfernungsberechnung gekoppelt.
Erfindungsgemäß wird daher ein Verfahren zur Korrektur einer Position zumindest eines Merkmals in einem Umfeld eines Ego-Fahrzeugs mittels einer Fusion von Daten von zumindest einem ersten und einem zweiten Umfelderfassungssensor mit den folgenden Schritten bereitgestellt:

- Aufzeichnen des Umfelds des Ego-Fahrzeugs mit dem ersten Umfelderfassungssensor und Erzeugen einer ersten Umfeldrepräsentation,
- Aufzeichnen des Umfelds des Ego-Fahrzeugs mit dem zweiten Umfelderfassungssensor und Erzeugen einer zweiten Umfeldrepräsentation,
- Detektieren zumindest eines Merkmals in der ersten Umfeldrepräsentation,
- Bestimmen der Position des zumindest einen Merkmals basierend auf der ersten Umfeldrepräsentation,
- Ermitteln eines Höhenverlaufs in einem Bereich vor dem Ego-Fahrzeug basierend auf der zweiten Umfeldrepräsentation,
- Fusionieren der Position des zumindest einen detektierten Merkmals und des ermittelten Höhenverlaufs und Ermitteln einer korrigierten Position,
- Korrigieren der Position des zumindest einen Merkmals basierend auf der ermittelten korrigierten Position.

Bevorzugt ist der erste Umfelderfassungssensor eine Kamera und der zweite Umfelderfassungssensor ein Radar- oder Lidar-Sensor. Entsprechend ist die erste Umfeldrepräsentation ein Kamerabild und die zweite Umfeldrepräsentation eine Objektliste oder eine Punktwolke. Das zumindest eine Merkmal kann beispielsweise ein Objekt, wie z.B. ein Verkehrszeichen, eine Fahrbahnbegrenzung o.ä. oder auch ein anderer Verkehrsteilnehmer wie beispielsweise ein weiteres Fahrzeug, ein Fußgänger oder ein Fahrradfahrer o.ä. sein. Zum Detektieren des Merkmals in der ersten Umfeldrepräsentation kann beispielsweise eine semantische Segmentierung durchgeführt werden. Der Bereich vor dem Fahrzeug beschreibt bevorzugt die vor dem Fahrzeug befindliche Fahrbahn bzw. Straßenoberfläche. Das Detektieren des Merkmals, die Positionsbestimmung, das Ermitteln des Höhenverlaufs, die Fusion sowie das Korrigieren der Position werden bevorzugt in einer entsprechenden Recheneinheit ausgeführt. Diese Recheneinheit ist bevorzugt eine ECU bzw. eine ADCU. Denkbar wäre auch, eine Sensorrecheneinheit, beispielsweise die Recheneinheit einer Kamera für die Verfahrensschritte zu verwenden. Die erzeugten Umfeldrepräsentationen werden hierbei an die Recheneinrichtung übertragen.
In einer bevorzugten Ausführungsform wird die Position des Merkmals in der ersten Umfeldrepräsentation in einer Flat-World Annahme in x- und y- Koordinaten ausgegeben. Die Bezugsebene dieser Flat-World-Annahme wäre die Fahrbahnoberfläche. Unter dieser Annahme kann auch die Entfernung des Ego-Fahrzeugs zu diesem Merkmal bestimmt werden. Die Koordinaten basieren dabei auf dem entsprechend kalibrierten Koordinatensystem des ersten Umfelderfassungssensors. Es wäre auch denkbar, dass der erste Umfelderfassungssensor bereits ein Höhenmodell besitzt und keine Flat-World-Annahme verwendet. In diesem Fall ist das Höhenmodell des ersten Umfelderfassungssensors in der Regel relativ ungenau. Das Höhenmodell basierend auf den Daten des zweiten Umfelderfassungssensors dagegen ist wesentlich präziser und detaillierter. Auch in einer derartigen Konfiguration ist das Verfahren wie beschrieben durchführbar.
In einer weiteren bevorzugten Ausgestaltung wird für die Fusion des Höhenverlaufs mit der Position des zumindest einen Merkmals ein geometrischer Schnitt angewandt. Das bedeutet, dass, vereinfacht dargestellt, der Sichtstrahl des ersten Umfelderfassungssensors, bevorzugt einer Kamera, mit dem ermittelten Höhenverlauf geschnitten wird. Der Sichtstrahl kann im Wesentlichen beschrieben werden, als die Lichtstrahlen, die von dem Objekt zu dem ersten Umfelderfassungssensor gelangen. Je nach Höhenverlauf muss der Sichtstrahl ggf. verlängert werden. So können die beiden Daten fusioniert werden und die korrigierte Position bestimmt werden, da der Höhenverlauf zu diesem Zeitpunkt bekannt ist und auch bekannt ist, wo sich der erste Umfelderfassungssensor befindet.
In einer bevorzugten Ausgestaltung wird für das Ermitteln des Höhenverlaufs ein Regressionsverfahren angewandt. Hierfür werden aus den Daten des zweiten Umfelderfassungssensors zumindest zwei Datenpunkte ermittelt, welche Höheninformationen aufweisen.
Besonders bevorzugt wird in einer Ausgestaltung des Verfahrens als Regressionsverfahren ein least-squares-Verfahren angewandt. Besonders bevorzugt handelt es sich um ein lineares least-squares-Verfahren. Hierbei kann ein lineares Modell oder ein polynomiales Modell verwendet werden. Das least-squares-Verfahren oder Methode der kleinsten Quadrate beschreibt allgemein ein mathematisches Verfahren zur Ausgleichungsrechnung. Hierbei wird zu einer Menge an Messpunkten eine Funktion bestimmt, die möglichst nahe an den Messpunkten verläuft und somit die Daten bestmöglich zusammenfasst. Beispielsweise können Messwerte des LIADR-Sensors verwendet werden und die z-Koordinaten der vom LIDAR gelieferten Punktwolke als Höhe und die x-Koordinaten als Position verwendet werden, um ein Höhenverlaufsmodell zu schätzen, das eine Höhe vor dem Fahrzeug angibt. Dabei werden nur Punkte verwendet, die eine nicht so hohe y-Abweichung von der x-Achse haben.
Erfindungsgemäß wird weiter ein System zur Korrektur einer Position zumindest eines Merkmals in einem Umfeld eines Ego-Fahrzeugs vorgeschlagen, umfassend zumindest einen ersten und einen zweiten Umfelderfassungssensor sowie eine Recheneinheit, wobei die Recheneinheit derart ausgestaltet ist, ein Verfahren gemäß den Ansprüchen 1 bis 4 durchzuführen.
Die Recheneinheit kann dabei beispielsweise als ECU oder ADCU ausgestaltet sein, welche als separates Element in dem Ego-Fahrzeug verbaut ist. Denkbar wäre auch, dass die Recheneinheit zur Durchführung des Verfahrens Bestandteil eines der Sensoren ist.
Weitere vorteilhafte Ausgestaltungen sind Gegenstand der Zeichnungen. Darin zeigen:

1: ein schematisches Ablaufdiagramm eines Verfahrens gemäß einer Ausführungsform der Erfindung;
2: eine schematische Darstellung einer Szene mit Positionsdetektion;
3: eine schematische Ansicht eines Systems gemäß einer Ausführungsform der Erfindung.

In 1 ist ein Verfahren zur Korrektur einer Position P zumindest eines Merkmals in einem Umfeld eines Ego-Fahrzeugs mittels einer Fusion von Daten von zumindest einem ersten 1 und einem zweiten Umfelderfassungssensor 2 mit den folgenden Schritten gezeigt: In einem Schritt S1 wird das Umfeld des Ego-Fahrzeugs mit dem ersten Umfelderfassungssensor 1 aufgezeichnet und eine erste Umfeldrepräsentation erzeugt. In einem Schritt S2, welcher zeitgleich zu oder nach Schritt S1 ablaufen kann, wird das Umfeld des Ego-Fahrzeugs mit dem zweiten Umfelderfassungssensor 2 aufgezeichnet und eine zweite Umfeldrepräsentation erzeugt. In einem Schritt S3 wird zumindest ein Merkmal in der ersten Umfeldrepräsentation detektiert. In einem darauf folgenden Schritt S4 wird die Position P des zumindest einen Merkmals basierend auf der ersten Umfeldrepräsentation bestimmt. In einem Schritt S5 wird ein Höhenverlauf 3, 5 in einem Bereich vor dem Fahrzeug basierend auf der zweiten Umfeldrepräsentation bestimmt. Bei dem Höhenverlauf 3, 5 kann es sich z.B. um einen Anstieg 3 oder um eine Abfahrt 5 handeln. Es wäre auch denkbar, dass nicht nur eine stetige Abfahrt 5 bzw. ein Anstieg 3 vorliegt, sondern sich beide in gewissen Abständen abwechseln und somit kleinere Bodenwellen über eine bestimmte Strecke vorliegen. In einem Schritt S6 werden die Position P des zumindest einen detektierten Merkmals und des ermittelten Höhenverlaufs 3, 5 fusioniert und eine korrigierte Position ermittelt. Abschließend wird in Schritt S7 die Position P des zumindest einen Merkmals korrigiert, basierend auf der ermittelten korrigierten Position.
2 zeigt eine schematische Darstellung einer Szene mit Positionsdetektion. Wie in 2 dargestellt wird mittels des ersten Umfelderfassungssensors 1, in diesem Fall eine Kamera, das Umfeld des Ego-Fahrzeugs aufgezeichnet. In diesem Umfeld wird in dem Kamerabild die Position P eines Merkmals, in der Darstellung eine Person, ermittelt. Das Bezugskoordinatensystem 6 der Kamera ist dabei auf eine Flat-World-Annahme 4 kalibriert. Dies bedeutet, dass die Bezugsebene der Flat-World-Annahme 4 die Straßenoberfläche ist. Die Kamera 1 erfasst nun unter dieser Annahme das Merkmal in dem Erfassungsbereich 7 der Kamera 1 und bestimmt dessen Position P. Allerdings kann der reale Straßenverlauf beispielsweise einen Anstieg 3 oder eine Abfahrt 5 aufweisen, weswegen eine Korrektur der ermittelten Position P notwendig wird, da die Position aufgrund der Flat-World-Annahme 4 nicht richtig bestimmt wird. Das Bezugszeichen P1 bezeichnet hierbei eine korrigierte Position P1 bei einem potenziellen Anstieg 3 und das Bezugszeichen P2 beschreibt eine korrigierte Position P2 bei einer potenziellen Abfahrt 5. Aufgrund der unterschiedlichen Fahrbahnverläufe 3, 5 unterscheidet sich die reale bzw. korrigierte Position P1, P2 zum Teil erheblich von der unter der Flat-World-Annahme 4 bestimmten Position P.
In 3 ist eine schematische Ansicht eines Systems 10 gemäß einer Ausführungsform der Erfindung gezeigt. Das System 10 umfasst dabei einen ersten 1 und einen zweiten Umfelderfassungssensor 2. Weiterhin ist eine Recheneinheit 8 vorgesehen, mittels welcher ein erfindungsgemäßes Verfahren durchführbar ist. Die Recheneinheit 8 ist in dieser Ausgestaltung als separates Element, bspw. als ECU/ADCU, in dem Ego-Fahrzeug vorgesehen. Hierbei sind der erste 1 und der zweite Umfelderfassungssensor 2 mittels einer Datenverbindung D mit der Recheneinheit 8 verbunden. Es wäre auch denkbar die Recheneinheit 8 zur Durchführung des Verfahrens in einen der Sensoren 1, 2 zu integrieren. Die Datenverbindung D kann beispielsweise kabelgebunden oder kabellos ausgestaltet sein.
Bezugszeichenliste

1: erster Umfelderfassungssensor
2: zweiter Umfelderfassungssensor
3: Anstieg Fahrbahnverlauf
4: Ebene der Flat-World-Annahme
5: Abfahrt Fahrbahnverlauf
6: Kamerakoordinatensystem
7: Erfassungsbereich
8: Recheneinheit
10: System
D: Datenverbindung
P: Position des zumindest einen Merkmals
P1, P2: korrigierte Position
S1-S7: Verfahrensschritte

Claims

Verfahren zur Korrektur einer Position (P) zumindest eines Merkmals in einem Umfeld eines Ego-Fahrzeugs mittels einer Fusion von Daten von zumindest einem ersten (1) und einem zweiten Umfelderfassungssensor (2) mit den folgenden Schritten: - Aufzeichnen (S1) des Umfelds des Ego-Fahrzeugs mit dem ersten Umfelderfassungssensor (1) und Erzeugen einer ersten Umfeldrepräsentation, - Aufzeichnen (S2) des Umfelds des Ego-Fahrzeugs mit dem zweiten Umfelderfassungssensor (2) und Erzeugen einer zweiten Umfeldrepräsentation, - Detektieren (S3) zumindest eines Merkmals in der ersten Umfeldrepräsentation, - Bestimmen (S4) der Position (P) des zumindest einen Merkmals basierend auf der ersten Umfeldrepräsentation, - Ermitteln (S5) eines Höhenverlaufs (3, 5) in einem Bereich vor dem Ego-Fahrzeug basierend auf der zweiten Umfeldrepräsentation, - Fusionieren (S6) der Position (P) des zumindest einen detektierten Merkmals und des ermittelten Höhenverlaufs (3, 5) und Ermitteln einer korrigierten Position, - Korrigieren (S7) der Position (P) des zumindest einen Merkmals basierend auf der ermittelten korrigierten Position.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Position (P) des Merkmals in der ersten Umfeldrepräsentation in einer Flat-World Annahme (4) in x- und y- Koordinaten ausgegeben wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass für die Fusion des Höhenverlaufs (3, 5) mit der Position (P) des zumindest einen Merkmals ein geometrischer Schnitt angewandt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass für das Ermitteln des Höhenverlaufs ein Regressionsverfahren angewandt wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass als Regressionsverfahren ein least-squares-Verfahren angewandt wird.
System (10) zur Korrektur einer Position (P) zumindest eines Merkmals in einem Umfeld eines Ego-Fahrzeugs umfassend zumindest einen ersten (1) und einen zweiten Umfelderfassungssensor (2) sowie eine Recheneinheit (8), wobei die Recheneinheit (8) derart ausgestaltet ist, ein Verfahren gemäß den Ansprüchen 1 bis 4 durchzuführen.