DE102009052560A1 - Verfahren und Vorrichtung zur Bestimmung der 3D-Position von Objekten im Umfeld eines Kraftfahrzeugs - Google Patents

Abstract

Bei einem Verfahren zur Bestimmung der 3-D-Position von Objekten im Umfeld eines Kraftfahrzeugs, wobei eine Kamera ein Bild des Umfeldes erzeugt, und eine optische Abstandsmesseinrichtung den Objektabstand zwischen dem Kraftfahrzeug und einem Objekt in dem Umfeld des Kraftfahrzeugs bestimmt, wird eine räumliche Strecke zwischen zwei Punkten auf dem Objekt per Strahlensatz aus dem gemessenen Objektabstand, der Brennweite der Linse der Kamera und dem auf der Bildebene der Kamera abgebildeten Bildabstand der den beiden Punkten auf dem Hindernis korrespondierenden Bildpunkten bestimmt, und werden 3-D-Positionen des Objekts aus der bestimmten räumlichen Strecke berechnet. Eine entsprechende Vorrichtung umfasst eine Kamera, einen Lidarsensor und eine Auswerteeinrichtung. Die Vorrichtung kommt in einem Fahrerassistenzsystem eines Kraftfahrzeugs zur Anwendung.

Description

• Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bestimmung der 3D-Position von Objekten im Umfeld eines Kraftfahrzeugs gemäß dem Oberbegriff des Anspruchs 1 bzw. des Anspruchs 5. Ferner betrifft die Erfindung die Verwendung einer derartigen Vorrichtung in einem Fahrerassistenzsystem eines Kraftfahrzeugs gemäß dem Oberbegriff des Anspruchs 8.
• Die verlässliche Messung von Entfernungen im Fahrzeugumfeld, insbesondere im Frontbereich, ist ein wichtiger Bestandteil zahlreicher Fahrerassistenzsysteme wie beispielsweise bei der adaptiven Abstands- und Geschwindigkeitsregelung ACC (Adaptive Cruise Control), wobei Einzelsensoren für eine hochgenaue Vermessung oftmals zu ungenau sind und daher einer unterstützenden Zusatzsensorik bedürfen.
• Für die Kombination Radarsensor und monokulare Kamera sind Konzepte bekannt, die eine Verbesserung der Entfernungsmessung zu vorausfahrenden Fahrzeugen bewirken. Allerdings sinkt die Erfassungsgenauigkeit des Radarsensors durch die Aufweitung des Radarstrahls im Fernbereich, da Objekte, die innerhalb einer Radarkeule den gleichen Abstand zum Sensor aufweisen, nicht unterscheidbar sind. Weiterhin müssen für die Entfernungsmessung im Nah- und Fernbereich unterschiedliche Sensoren eingesetzt werden (24 GHz bzw. 77 GHz). Dies führt bei der Verwendung beider Sensortypen zu erhöhten Systemkosten oder die Erfassungsreichweite des Systems wird auf den Nahbereich oder auf den Fernbereich eingeschränkt. Beide Varianten bringen daher Nachteile mit sich.
• Wird der Radarsensor durch einen Lidarsensor in der obigen Kombination ersetzt, so kann die Entfernungsabhängigkeit des Systems stark reduziert werden. Da die Strahlaufweitung des Laserstrahls beim Lidarsensor sehr gering ist, kann pro Laserstrahl ein genauer Abstandswert eines vor dem Fahrzeug befindlichen Objekts gemessen werden. Ferner ist der Lidarsensor sowohl im Nah- als auch im Fernbereich einsetzbar, mit anderen Worten, der Lidarsensor macht bezüglich der Entfernungsmessung keinen Unterschied zwischen den beiden Bereichen.
• Ein Nachteil des Lidarsensors liegt in der geringen Dichte der Laserstrahlen bezüglich des durch den Scan überstrichenen Winkels begründet, mit anderen Worten, der Winkelabstand zwischen benachbarten Laserstrahlen, kommerziell im Automobilbereich eingesetzter Lidarsensoren, liegt derzeit bei ca. 1°. Dies führt im Fernbereich zu signifikanten Austastlücken, die dazu führen können, dass Objekte, wie beispielsweise ein Motorrad, zwischen zwei Laserstrahlen eines Scans vom Lidarsensor erfasst werden.
• Ein wesentlicher Vorteil bei der Verwendung eines kamerabasierten Systems ist die sehr hohe Messfeldabdeckung durch die Kamera. Auf dem Bildsensor der Kamera wird der gesamte Bereich im Blickfeld der Optik erfasst, es liegt somit eine flächenhafte Messung vor. Allerdings kann aus dem Kamerabild alleine keine verlässliche Rekonstruktion der Entfernung abgeleitet werden. Existierende Verfahren hierfür legen zahlreiche Modellannahmen über die Gestalt der Fahrzeuge im Kamerabild, beispielsweise eine charakteristische U-Form, oder über die Umwelt, beispielsweise eine ebene Fahrbahn, zugrunde. Wird eine dieser Annahmen verletzt, schlägt die korrekte Abstandsschätzung in der Regel fehl. Für eine verlässliche Fahrerassistenzfunktion – unter Umständen mit aktivem Regeleingriff – ist die Zuverlässigkeit eines rein kamerabasierten Systems somit zu gering.
• Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zur verbesserten Messung der 3D-Position eines Objekts im Umfeld eines Kraftfahrzeugs zu schaffen.
• Diese Aufgabe wird durch ein Verfahren zur Bestimmung der 3D-Position eines Objektes im Umfeld eines Kraftfahrzeugs mit den Merkmalen des Anspruchs 1, durch eine entsprechende Vorrichtung mit den Merkmalen des Anspruchs 5, sowie durch ein Fahrerassistenzsystem mit den Merkmalen des Anspruchs 8 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
• In der vorliegenden Erfindung wird, wie nachfolgend erläutert, ein Konzept verfolgt, mit dem die Erkennungsleistung eines Lidarsensors durch die Verwendung einer zusätzlichen Kamera, insbesondere einer monokularen Kamera, verbessert wird. Die Kamera wird durch einen kontinuierlichen Abgleich mit direkt gemessener Abstandsinformation aus dem Lidarsensor unterstützt, um aus Bild- und Abstandsinformation die 3D-Position von Objekten im Frontbereich zu berechnen und kontinuierlich zu verfolgen.
• Das erfindungsgemäße Verfahren zur Bestimmung der 3D-Position eines Objekts im Umfeld eines Kraftfahrzeugs erzeugt mittels einer Kamera ein Bild des Umfeldes des Kraftfahrzeugs, und bestimmt mittels einer optischen Abstandsmesseinrichtung den Objektabstand zwischen dem Kraftfahrzeug und dem Objekt in dem Umfeld des Kraftfahrzeugs. Dabei wird eine räumliche Strecke zwischen zwei Punkten auf dem Objekt per Strahlensatz aus dem gemessenen Objektabstand, der Brennweiter der Linse der Kamera und dem auf der Bildebene der Kamera abgebildeten Bildabstand der den beiden Punkten auf dem Hindernis korrespondierenden Bildpunkten bestimmt, und aus der so bestimmten räumlichen Strecke werden 3D-Positionen des Objekts berechnet.
• Mit anderen Worten, die Brennweite der Kameralinse und der Objektabstand sind zum Zeitpunkt der Abstandsmessung bekannt und die Kamera erzeugt ein flächiges Abbild des erfassten Objekts. Der räumliche Abstand zweier Punkte auf der Objektoberfläche kann daher mittels des Strahlensatzes nach folgender Formel (1) bestimmt werden: X₂ – X₁ = D / f(x₂ – x₁) (1)
• Dabei ist D der gemessene Objektabstand, X₂ und X₁ sind zwei Punkte auf der Objektfläche, f ist die Brennweite der Kameralinse und x₂ und x₁ sind die zu X₂ und X₁ korrespondierenden Bildpunkte in der Bildebene der Kamera zum Zeitpunkt der Objektabstandsmessung.
• Vorzugsweise wird das von der Abstandsmessung erfasste Objekt von der Kamera kontinuierlich nachverfolgt. Durch das Nachverfolgen wird sichergestellt, dass einmal mit einer Abstandsmessung ermittelte Objekte im Umfeld des Kraftfahrzeugs bei nachfolgenden Fehlmessungen oder Verlassen des Erkennungsbereichs des Lidarsensors nicht in ”Vergessenheit” geraten.
• Insbesondere kann der Objektabstand des nachverfolgten Objekts aus der zuletzt ermittelten räumlichen Strecke bestimmt werden, wenn die aktuelle Abstandsmessung des nachverfolgten Objekts kein Ergebnis liefert.
• Verlässt daher das Objekt zu einem späteren Zeitpunkt den Erfassungsbereich des Lidarsensors oder findet eine Fehlmessung statt, so kann vorteilhafterweise über das Kamerabild weiterhin eine Tiefenmessung durchgeführt werden – die unbekannte Objektdistanz ist aus der initial ermittelten räumlichen Strecke X₂ – X₁ durch Gleichung (2) leicht bestimmbar:

  
• Eine ausführliche Diskussion der Gleichungen (1) und (2) erfolgt im Zusammenhang mit den Zeichnungen.
• Vorzugsweise wird das Umfeld des Kraftfahrzeugs durch den Frontbereich des Kraftfahrzeugs gebildet.
• Ein wesentlicher Vorteil des erfindungsgemäßen Verfahrens liegt darin, dass einmal vom Lidarsensor erfasste Objekte, wie beispielsweise ein Motorradfahrer, unter Zuhilfenahme der Kamera auch über Lücken zwischen den Laserstrahlen hinweg oder bei Fehlmessungen kontinuierlich verfolgt werden können. Ein weiterer Vorteil liegt in der Modellfreiheit des Konzeptes. Es sind keine Annahmen über die vermutete Erscheinungsform von Objekten im Kamerabild oder über die Umwelt um das Fahrzeug herum notwendig. Das Konzept ist somit nicht nur für im Vorfeld definierte Fahrzeuge verwendbar, sondern eignet sich zur Erkennung von nahezu beliebigen Hindernissen. Weiterhin liegen die Kosten für einen Lidarsensor unter denen eines Radarsensors, was den Einsatz des Systems auch in den unteren Fahrzeugklassen stark begünstigt.
• Eine erfindungsgemäße Vorrichtung zur Durchführung des im Vorangegangenen erläuterten Verfahrens umfasst eine Kamera, eine optische Abstandsmesseinrichtung und eine Auswerteeinrichtung, wobei die optische Abstandsmesseinrichtung durch einen Lidarsensor gebildet wird.
• Vorzugsweise wird die Kamera durch eine monokulare Kamera gebildet. Dadurch werden die Kosten des Systems verringert.
• Weiter bevorzugt weist die Vorrichtung eine Speichereinrichtung zum Nachverfolgen eines von der Abstandsmessung erfassten Objektes auf.
• Insbesondere kommt die erfindungsgemäße Vorrichtung bzw. das erfindungsgemäße Verfahren in einem Fahrerassistenzsystem eines Kraftfahrzeugs, wie beispielsweise ein ACC-System, zum Einsatz.
• Eine bevorzugte Ausgestaltung der Erfindung wird nachfolgend anhand der Zeichnungen erläuten. Dabei zeigt
• 1 eine radarbasierte Entfernungsmessung in schematischer Darstellung,
• 2 eine lidarbasierte Abstandsmessung in schematischer Darstellung,
• 3 das erfindungsgemäße Verfahren in schematischer Darstellung, und
• 4 eine erfindungsgemäße Vorrichtung in schematischer Darstellung.
• 1 zeigt ein Kraftfahrzeug 1 mit einem in der Frontpartie des Kraftfahrzeugs 1 angeordneten Radarsensor 2, der eine nach vorne gerichtete gepulste Radarkeule 3 abstrahlt. Aufgrund der hier schematisch dargestellten Aufweitung der Radarkeule 3 ist eine Unterscheidbarkeit zweier Objekte 4 und 5, die innerhalb der Radarkeule 3 bezüglich des Radarsensors 2 auf dem gleichen Radius liegen, nicht gegeben.
• 2 zeigt ein Kraftfahrzeug 1, welches im Frontbereich einen Lidarsensor 6 aufweist. Dieser Lidarsensor 6 sendet mit einer vorgegebenen Taktung nach vorne gerichtete Laserstrahlen 7 über einen vorgegebenen Winkelbereich aus, wobei die Laserstrahlen 7 einen vorgegebenen Winkelabstand α voneinander aufweisen. Dieser Winkelabstand beträgt derzeit bei im Automobilbau eingesetzten Lidarsensoren 6 ca. 1°. Dargestellt ist das Auftreffen eines Lidarstrahls 7 auf ein Objekt 4, welches aufgrund der Reflektion eine genaue Abstandsmessung des Objekts 4 ermöglicht. Es ist allerdings offensichtlich, dass das Objekt 5 von keinem Lidarstrahl 7 erfasst wird. Eine Abstandsmessung des Objekts 5 ist in diesem Fall nicht möglich. Das Objekt 5 kann beispielsweise ein Motorrad sein, welches von dem Lidarsensor 6 nicht erfasst wird, so dass auch eine Regelung eines mit einem Lidarsensor 6 ausgestatteten Fahrerassistenzsystems auf ein derartiges Objekt nicht möglich ist.
• 3 zeigt das erfindungsgemäße Verfahren in schematischer Darstellung. Bezüglich eines Objekts 8, wie beispielsweise ein vorausfahrendes Hindernis, wird zur Messzeit t = 0 mittels des in 2 dargestellten Lidarsensors ein Abstand D₀ zwischen der Objektfläche 9 und der Kameralinsenebene 10 einer nicht dargestellten Kamera gemessen, wobei der Index 0 auf den Zeitpunkt der Messung hinweist.
• Auf der Objektfläche 9 des Objekts 8 sind zwei Punkte X_1,0 und X_2,0 angeordnet, die beispielsweise Objektmerkmale wie Rücklichter des vorausfahrenden Objekts 8 sein können. Diese Punkte oder Objektmerkmale werden von der Kamera auf der Bildebene 11 als Bildpunkte x_1,0 und x_2,0 abgebildet, wobei auch hier der Index auf den Zeitpunkt t = 0 der Messung hinweist.
• Mittels des Strahlensatzes kann daher mit den vorliegenden Informationen, nämlich dem Objektabstand D₀, der Brennweite f und dem Abstand der Bildpunkte x_2,0 und x_1,0, die unbekannte räumliche Strecke X_2,0 – X_1,0 mit der folgenden Gleichung (1') berechnet werden:

  
• Aus der so ermittelten räumlichen Strecke X_2,0 – X_1,0 kann dann die 3D-Position des Objekts 8 und/oder die 3D-Positionen von Punkten auf der Objektoberfläche 9 relativ zur Bildebene 11 ermittelt werden.
• Verlässt das Objekt 8 zu einem späteren Zeitpunkt t = i den Erfassungsbereich des Lidarsensors oder findet eine Fehlmessung statt, so kann über das Kamerabild der Bildebene 11 weiterhin eine Abstandsmessung aus der zum Zeitpunkt t = 0 ermittelten räumlichen Strecke X_2,0 – X_1,0 durchgeführt werden, wie die Gleichung (2') zeigt, wobei hier die Indizes 0 und i auf den Zeitpunkt der Messung hinweist:

  
• 4 zeigt die erfindungsgemäße Vorrichtung in schematischer Darstellung. Eine monokulare Kamera 20 erzeugt Bilder des Umfeldes eines Kraftfahrzeugs, vorzugsweise des vorderen Umfeldes. Gleichzeitig scannt ein Lidarsensor 21 das von der Kamera 20 beobachtete Umfeld und misst Abstände von Objekten. Die Daten gelangen in eine Auswerteeinrichtung 22, welche die Kameradaten und Lidardaten fusioniert und 3D-Positionen 24 von Objektpunkten bestimmt. Zur Nachverfolgung von mittels der Abstandsmessung erkannten Objekten weist die Vorrichtung eine Speichereinrichtung 23 auf.
• Bezugszeichenliste

1

Kraftfahrzeug

2

Radarsensor

3

Radarkeule

4

erstes Objekt

5

zweites Objekt

6

Lidarsensor

7

Laserstrahl

8

Objekt

9

Kameralinsenebene

10

Bildebene

11

Objektfläche

20

Kamera

21

Lidarsensor

22

Auswerteeinrichtung

23

Speichereinrichtung

24

3D-Positionsdaten

α

Winkelabstand

D

Abstand Objektfläche-Kameralinse

f

Brennweite

X1, X2

Punkte auf der Objektfläche

x1, x2

korrespondierende Punkte auf der Bildebene

Claims (8)

1. Verfahren zur Bestimmung der 3D-Position von Objekten im Umfeld eines Kraftfahrzeugs (1), wobei eine Kamera (20) ein Bild des Umfeldes erzeugt, und eine optische Abstandsmesseinrichtung (21) den Objektabstand zwischen dem Kraftfahrzeug (1) und einem Objekt (8) in dem Umfeld des Kraftfahrzeugs bestimmt, dadurch gekennzeichnet, dass eine räumliche Strecke zwischen zwei Punkten auf dem Objekt (8) per Strahlensatz aus dem gemessenen Objektabstand, der Brennweite der Linse der Kamera und dem auf der Bildebene der Kamera abgebildeten Bildabstand der den beiden Punkten auf dem Hindernis korrespondierenden Bildpunkten bestimmt wird, und Berechnen von 3D-Positionen des Objekts (8) aus der bestimmten räumlichen Strecke.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass ein von der Abstandsmessung erfasstes Objekt (8) von der Kamera (20) kontinuierlich nachverfolgt wird.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der Objektabstand des nachverfolgten Objekts (8) aus der zuletzt ermittelten räumlichen Strecke ermittelt wird, wenn die aktuelle Abstandsmessung des nachverfolgten Objekts (8) kein Ergebnis liefert.
4. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Umfeld des Kraftfahrzeugs (1) durch den Frontbereich des Kraftfahrzeugs gebildet wird.
5. Vorrichtung zur Durchführung des Verfahrens nach einem der vorangegangenen Ansprüche mit einer Kamera (20), einer optischen Abstandsmesseinrichtung (21) und einer Auswerteeinrichtung (22), dadurch gekennzeichnet, dass die optische Abstandsmesseinrichtung durch einen Lidarsensor gebildet wird.
6. Vorrichtung nach Anspruch 5, dadurch gekennzeichnet, dass die Kamera (20) eine monokulare Kamera ist.
7. Vorrichtung nach einem der Ansprüche 5 oder 6, dadurch gekennzeichnet, dass die Vorrichtung eine Speichereinrichtung (24) zum Nachverfolgen eines von der Abstandsmessung erfassten Objektes (8) aufweist.
8. Verwendung der Vorrichtung nach einem der Ansprüche 5 bis 7 in einem Fahrerassistenzsystem eines Kraftfahrzeugs.

Images