DE102022108021A1

DE102022108021A1 - Verfahren und Vorrichtung zur Messung des Orts und der Geschwindigkeit mehrerer Messpunkte

Info

Publication number: DE102022108021A1
Application number: DE102022108021.8A
Authority: DE
Inventors: Johannes Semmler
Original assignee: Scantinel Photonics GmbH
Current assignee: Scantinel Photonics GmbH
Priority date: 2022-04-04
Filing date: 2022-04-04
Publication date: 2023-10-05

Abstract

Bei einem Verfahren zur Messung des Orts und der Geschwindigkeit mehrerer Messpunkte (56), die über einer dreidimensionalen Szene (S) verteilt sind, wird FMCW-Messlicht erzeugt, das eine zeitlich veränderliche Frequenz hat. Ein Teil des FMCW-Messlichts wird nacheinander auf die Messpunkte (56) gerichtet. Ein Detektor (32) erfasst eine Überlagerung von FMCW-Messlicht, das auf die Messpunkte (56) gerichtet und dort reflektiert wurde, und von FMCW-Messlicht, das nicht auf die Messpunkte (56) gerichtet wurde. Aus der detektierten Überlagerung werden für jeden Messpunkt (56) ein radialer Abstand und eine radiale Geschwindigkeitskomponente berechnet. Gleichzeitig werden sukzessive mehrere Bilder der Szene (S) von einer Kamera (13) aufgenommen, aus denen tangentiale Geschwindigkeitskomponenten berechnet werden. Schließlich werden die zuvor gemessenen Werte so zusammengeführt, dass für die Messpunkte (56) jeweils sowohl die Ortskoordinaten als auch die Geschwindigkeit im dreidimensionalen Raum erhalten werden.

Description

HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Messung des Orts und der Geschwindigkeit mehrerer Messpunkte, die über einer dreidimensionalen Szene verteilt sind. Solche Verfahren und Vorrichtungen werden beispielsweise benötigt, damit autonom fahrende Fahrzeuge ihre Umgebung erkennen und darauf basierend die richtigen Entscheidungen treffen können.
2. Beschreibung des Standes der Technik
Mit dem Begriff autonomes Fahren beschreibt man in der Regel selbstfahrende Fahrzeuge oder Transportsysteme, die sich ohne Eingriff eines menschlichen Fahrers zielgerichtet fortbewegen. Autonomes Fahren erfordert Messvorrichtungen, die mit Hilfe von Sensoren ihre Umgebung wahrnehmen. Um ein vollständiges Bild der Umgebung zu erhalten, müssen die Messvorrichtungen nicht nur die Orte der anderen Verkehrsteilnehmer und sonstiger beweglicher oder unbeweglicher Objekte, sondern auch deren Geschwindigkeiten im dreidimensionalen Raum messen.
In der Regel enthalten die für diesen Zweck bislang vorgeschlagenen Messvorrichtungen Kameras, die ein dichtes Punktegitter aus Intensität und Farbe liefern. Mit einer einzigen Kamera lässt sich jedoch das sog. Szenenfluss-Problem (engl. scene flow problem), also die Bestimmung, wie sich Objekte im dreidimensionalen Raum bewegen, nicht lösen. Denn wenn sich die Kamera nicht bewegt, sind keine verlässlichen Aussagen über die Tiefe möglich. Bewegt sich die Kamera, können Mehrdeutigkeiten bei der Unterscheidung zwischen Bewegungen der Objekte und der Bewegung der Kamera entstehen.
Werden zwei Kameras eingesetzt, lassen sich zwar Tiefeninformationen ableiten, aber dies nur mit relativ geringer Genauigkeit. Außerdem besteht bei Kameras grundsätzlich das Problem, dass sie keine Auswertungen an texturlosen Oberflächen ermöglichen und empfindlich bezüglich der herrschenden Lichtverhältnisse sind. Bei Dunkelheit werden die Messungen aufgrund des unvermeidlichen Bildrauschens unzuverlässig, während bei starker Helligkeit Sättigungseffekte die Auswertung der aufgenommenen Bilder erschweren.
Die bislang vorgeschlagenen Messvorrichtungen kombinieren daher die Messungen von Sensoren, die unterschiedliche Eigenschaften haben.
Eine wichtige Rolle als ergänzende Sensoren spielen dabei LiDAR-Sensoren. Verbreitet sind LiDAR-Sensoren, die nach dem ToF-Prinzip arbeiten, wobei ToF für Time of Flight steht. Bei Sensoren dieses Typs werden gebündelte Lichtpulse in kurzen Abständen in unterschiedliche Richtungen emittiert. Die Lichtpulse werden von Objekten teilweise reflektiert und von einem Detektor empfangen. Anhand der Zeitspanne, die zwischen der Emission und dem Empfang eines Lichtpuls vergeht, lässt sich unter Berücksichtigung der Lichtgeschwindigkeit berechnen, wie weit der Messpunkt entfernt ist, von dem der Lichtpuls reflektiert wurde.
Solche ToF-LiDAR Sensoren liefern für eine Vielzahl einzelner Messpunkte Abstandswerte, und zwar weitgehend unbeeinflusst von den umgebenden Lichtverhältnissen. Da die Richtungen bekannt sind, in welche die Lichtpulse emittiert werden, repräsentieren die Messpunkte eine Wolke aus Punkten im dreidimensionalen Raum, deren Koordinaten bekannt sind. Meist werden ToF-LiDAR-Sensoren mit zwei oder mehr Kameras kombiniert.
In einem Aufsatz von M. H. Daraei at al. mit dem Titel „Velocity and Shape from Tightlycoupled LiDAR and Camera“, 2017 IEEE Intelligent Vehicles Symposium (IV), 2017, pp. 60-67, doi: 10. 1109/IVS.2017.7995699, wird vorgeschlagen, eine einzelne Kamera mit einem LiDAR-Sensor zu kombinieren. Bei dem LiDAR-Sensor handelt es sich um einen Valeo ScaLa B2 Scanner, der ebenfalls nach dem ToF-Prinzip arbeitet. Gemäß dem dort vorgeschlagenen Ansatz wird zunächst auf der Grundlage der von der Kamera aufgenommenen Bilder eine Objekterkennung durchgeführt. Die erkannten Objekte werden klassifiziert und auf diese Weise bestimmten Objekttypen (z.B. Kraftfahrzeugen) zugeordnet. Diesen Objekten werden die von dem LiDAR-Sensor bereitgestellten Messpunkte zugewiesen. Sodann wird eine repräsentative Oberfläche erzeugt, die über mehrere Bilder und LiDAR-Messungen hinweg sukzessive angepasst wird. Die tangentiale Geschwindigkeitskomponente wird dabei aus dem sog. optischen Fluss berechnet, der aus den Kamerabildern abgeleitet wird. Die radiale Geschwindigkeitskomponente wird so bestimmt, dass sich eine natürliche Bewegung des Objekts ergibt.
Diese bekannte Messvorrichtung ist apparativ einfach aufgebaut und benötigt als Sensoren lediglich eine normale digitale Kamera und einen im Handel erhältlichen ToF-LiDAR-Sensor. Die Messung des Orts und der Geschwindigkeit der Messpunkte ist jedoch nicht sehr zuverlässig. Dies hängt u.a. damit zusammen, dass diese Messung eine Objekterkennung und -klassifizierung erfordert, die auf der Grundlage der von der Kamera aufgenommenen Bilder durchgeführt wird. Die dabei eingesetzten Algorithmen sind meist KI-basiert und noch nicht ausgereift. Außerdem muss die Kamera für die Objekterkennung gute Bilder bereitstellen, was bei schwierigen Lichtverhältnissen schwierig ist. Selbst mit verbesserten Erkennungsalgorithmen stößt dieser bekannte Ansatz somit rasch an physikalische Grenzen.
ZUSAMMENFASSUNG DER ERFINDUNG
Aufgabe der Erfindung ist es, ein Verfahren und eine Vorrichtung zur Messung des Orts und der Geschwindigkeit von Messpunkten anzugeben, die über einer dreidimensionalen Szene verteilt sind. Das Verfahren und die Vorrichtung soll auch bei schlechten Lichtverhältnissen zuverlässig genaue Messergebnisses liefern.
Ein diese Aufgabe lösendes Verfahren weist die folgenden Schritte auf:

a) es wird FMCW-Messlicht erzeugt, das eine zeitlich veränderliche Frequenz hat;
b) ein Teil des FMCW-Messlichts wird nacheinander auf die Messpunkte gerichtet;
c) ein Detektor erfasst eine Überlagerung von FMCW-Messlicht, das auf die Messpunkte gerichtet und dort reflektiert wurde, und von FMCW-Messlicht, das nicht auf die Messpunkte gerichtet wurde;
d) es werden aus der in Schritt c) detektierten Überlagerung für jeden Messpunkt ein radialer Abstand und eine radiale Geschwindigkeitskomponente berechnet;
e) während des Schritts b) werden sukzessive mehrere Bilder der Szene von einer vorzugsweise monokularen Kamera aufgenommen;
f) es werden aus den in Schritt e) aufgenommenen Bildern für die Messpunkte tangentiale Geschwindigkeitskomponenten berechnet;
g) die in den Schritten d) und f) berechneten Größen werden so zusammengeführt, dass für die Messpunkte jeweils sowohl die Ortskoordinaten als auch die Geschwindigkeit im dreidimensionalen Raum erhalten werden.

Die Erfindung geht ebenfalls davon aus, zur Messung eine Kamera und einen LiDAR-Sensor einzusetzen. Im Unterschied zu den bekannten Ansätzen werden der Ort und die Geschwindigkeit der Messpunkte in der dreidimensionalen Szene jedoch nicht primär auf der Grundlage der von der Kamera bereitgestellten Bilder gemessen, sondern diese Bilder lediglich zur Berechnung der tangentialen Geschwindigkeitskomponente herangezogen (was allerdings nicht ausschließt, die Bilder auch noch zu anderen Zwecken, etwa der Klassifizierung, zu nutzen). Die übrigen Orts- und Geschwindigkeitsinformationen werden von einem FMCW-LiDAR-Sensor bereitgestellt, denn solche Sensoren können nicht nur Abstände, sondern auch radiale Geschwindigkeiten von Messpunkten messen.
Beim dem als FMCW-LiDAR bezeichneten Messprinzip werden im Unterschied zu ToF-LiDAR-Sensoren optische Signale mit zeitlich variierender Frequenz (FMCW steht für frequency modulated continuous wave) erzeugt. Diese werden in unterschiedliche Richtungen auf Messpunkte gerichtet, die sich auf Objekten befinden, die in der dreidimensionalen Szene verteilt sind. Nach Reflexion an den Objekten gelangen die Signale teilweise zurück zu einem Empfänger und werden dort mit einem Signal überlagert, das nicht abgestrahlt wurde und deswegen als lokaler Oszillator bezeichnet wird. Aufgrund des zurückgelegten Lichtwegs hat das reflektierte Signal eine etwas andere Frequenz als das nicht abgestrahlte Signal. Bei Überlagerung der beiden Signale entsteht eine niedrigfrequente Schwebungsfrequenz, die von einem Detektor erfasst und zur Berechnung des Abstands des Messpunkts verwendet wird. Wenn sich der Messpunkt bewegt, kann durch Berücksichtigung der Doppler-Verschiebung auch die radiale Geschwindigkeitskomponente des Messpunkts gemessen werden. Etwaige Mehrdeutigkeiten können durch verschiedene Maßnahmen, z.B. durch Vorsehen von zwei oder drei Lichtquellen, ausgeräumt werden; wegen Einzelheiten dazu wird auf die am 26.06.2021 eingereichte US-Anmeldung 17/359,319 verwiesen.
Das erfindungsgemäße Verfahren ergänzt somit die beinahe vollständige dreidimensionale Vermessung der Szene, wie sie durch einen FMCW-LiDAR-Sensor ermöglicht wird, durch tangentiale Geschwindigkeitskomponenten, die auf der Grundlage der Kamerabilder berechnet werden. Damit erhält man auf einfache, zuverlässige und trotzdem sehr genaue Weise die vollständigen vektoriellen Ort- und Geschwindigkeitsinformationen aller Messpunkte. Da der Einfluss der Kamerabilder auf die Messergebnisse deutlich kleiner ist als bei den bekannten Verfahren, wirken sich ungünstige Lichtverhältnisse weniger gravierend auf die Messgenauigkeit aus.
Soweit in Schritt b) davon die Rede ist, dass das FMCW-Messlichts nacheinander auf die Messpunkte gerichtet wird, so schließt dies nicht aus, dass mehrere FMCW-Messlichtstrahlen gleichzeitig emittiert werden. Bei hochauflösenden FMCW-LiDAR-Sensoren ist es zweckmäßig, gleichzeitig mehrere, z.B. 2ⁿ Messlichtstrahlen zu emittieren, wobei n üblicherweise zwischen 2 und 6 liegt. Anders als die Aufnahme eines Kamerabildes handelt es sich bei der FMCW-LiDAR-Messung aber grundsätzlich um eine sukzessive Messung, bei der einer oder mehrere Messlichtstrahlen nacheinander scannerartig die Umgebung abtasten.
Während bei dem eingangs diskutierten bekannten Verfahren eine Objekterkennung Voraussetzung für die Berechnung der Geschwindigkeiten der Messpunkte ist, lässt sich mit dem erfindungsgemäßen Verfahren der umgekehrte Weg beschreiten. Dies bedeutet, dass die gemessenen Geschwindigkeiten dazu verwendet werden können, Objekte zu erkennen und ggf. auch zu klassifizieren. Der einfachste Ansatz besteht darin, alle Messpunkte, für welche die gleiche (vektorielle) Geschwindigkeit gemessen wurde, einem gemeinsamen Objekt zuzuordnen. Die so definierten Objekte zeichnen sich dann dadurch aus, dass sie sich mit einheitlicher Geschwindigkeit bewegen. Eine zusätzliche Unterstützung der Objekterkennung durch Verarbeitung der von der Kamera aufgenommenen Bilder ist dabei selbstverständlich nicht ausgeschlossen. Dadurch können z.B. dicht hintereinander her fahrende Fahrzeuge als getrennte Objekte erkannt werden, obwohl sie die gleiche Geschwindigkeit haben.
Bei einem Ausführungsbeispiel werden den Messpunkten im Schritt g) Farbwerte zugeordnet, die für Pixel erhalten wurden, die den Messpunkten in den von der Kamera in Schritt e) aufgenommenen Bildern entsprechen. Diese Farbinformationen können eine nachfolgende Objekterkennung und -klassifizierung erleichtern.
Ähnliches gilt, wenn im Schritt g) den Messpunkten Intensitäten zugeordnet werden, die von dem Detektor des FMCW-Sensors erfasst wurden. Die gemessenen Intensitäten ermöglichen Rückschlüsse auf die Oberflächenbeschaffenheit der Objekte, auf denen sich die Messpunkte befinden. Hohe Intensitäten lassen z.B. auf glatte Oberflächen wie etwa Fahrbahnmarkierungen schließen, während niedrige Intensitäten typisch für organische Texturen wie z.B. die menschliche Haut sind. Bei der Auswertung ist zu berücksichtigen, dass der Reflexionskoeffizient nicht nur vom Material und der Textur der Oberflächen, sondern auch von der Wellenlänge des FMCW-Messlichts abhängt.
Bezüglich der Vorrichtung wird die eingangs genannte Aufgabe gelöst durch eine Vorrichtung zur Messung des Orts und der Geschwindigkeit mehrerer Messpunkte, die über einer dreidimensionalen Szene verteilt sind, wobei die Vorrichtung aufweist:

- eine Messlichtquelle, die dazu eingerichtet ist, FMCW-Messlicht zu erzeugen, das eine zeitlich veränderliche Frequenz hat,
- eine Scaneinrichtung, die dazu eingerichtet ist, einen Teil des FMCW-Messlichts nacheinander auf die Messpunkte zu richten,
- einen Detektor, der dazu eingerichtet ist, eine Überlagerung von FMCW-Messlicht, das auf die Messpunkte gerichtet und dort reflektiert wurde, und von FMCW-Messlicht, das nicht auf die Messpunkte gerichtet wurde, zu detektierten,
- eine Auswerteeinrichtung, die dazu eingerichtet ist, aus der von dem Detektor detektierten Überlagerung für jeden Messpunkt einen radialen Abstand und eine radiale Geschwindigkeitskomponente zu berechnen,
- eine vorzugsweise monokulare Kamera, die dazu eingerichtet ist, sukzessiv mehrerer Bilder der Szene aufzunehmen, während die Scaneinrichtung einen Teil des FMCW-Messlichts nacheinander auf die Messpunkte richtet,

aus den von der Kamera aufgenommenen Bildern für die Messpunkte tangentiale Geschwindigkeitskomponenten zu berechnen und
die Abstände, die radialen Geschwindigkeitskomponenten und die tangentialen Geschwindigkeitskomponenten so zusammenzuführen, dass für die Messpunkte jeweils sowohl die Ortskoordinaten als auch die Geschwindigkeit im dreidimensionalen Raum erhalten werden.

Wegen der damit verbundenen Vorteile wird auf die vorstehenden Ausführungen verwiesen.
Die Auswerteeinrichtung kann dazu eingerichtet sein, Messpunkte, für welche die gleiche Geschwindigkeit im dreidimensionalen Raum berechnet wurde, einem Objekt zuzuordnen. Die Auswerteeinrichtung kann ferner dazu eingerichtet sein, das Objekt durch Auswertung der von der Kamera aufgenommenen Bilder zu klassifizieren.
Bei einem Ausführungsbeispiel ist die Auswerteeinrichtung ferner dazu eingerichtet, den Messpunkten Farbwerte zuzuordnen, die für Pixel erhalten wurden, die den Messpunkten in den von der Kamera aufgenommenen Bildern entsprechen.
In Betracht kommt außerdem, eine Auswerteeinrichtung vorzusehen, die dazu eingerichtet ist, den Messpunkten Intensitäten zuzuordnen, die von dem Detektor erfasst wurden.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Nachfolgend werden Ausführungsbeispiele der Erfindung anhand der Zeichnungen näher erläutert. In diesen zeigen:

1 eine schematische Seitenansicht eines Fahrzeugs, das sich einem Objekt nähert, das von einer erfindungsgemäßen Messvorrichtung erfasst wird;
2 eine Draufsicht auf einen FMCW-Sensor der in der 1 gezeigten Messvorrichtung;
3 den Aufbau des FMCW-Sensors gemäß einem Ausführungsbeispiel in einer schematischen Darstellung;
4 einen Graphen, in dem die Frequenz der vom FMCW-Sensor ausgesendeten optischen Signale über der Zeit aufgetragen ist;
5 eine dreidimensionale Szene, die von der Messvorrichtung erfasst wird, in einer perspektivischen Darstellung;
6 ein erstes Bild der Szene, das von einer in der Messvorrichtung enthaltenen Kamera aufgenommen wurde, zu einem ersten Zeitpunkt;
7 ein zweites Bild der Szene, das von der Kamera zu einem späteren zweiten Zeitpunkt aufgenommen wurde.

BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSBEISPIELE
1. Anwendungsbeispiel
Die 1 zeigt in einer schematischen Seitenansicht ein Fahrzeug 10, das sich einem Objekt 12 nähert, bei dem es sich in der 1 um einen Baum handelt. Am Fahrzeug 10 ist im Frontbereich eine Messvorrichtung 14 installiert, die eine digitale Kamera 13 und einen FMCW-Sensor 15 umfasst. Die Kamera 13 nimmt von der in ihrem Sichtfeld liegenden Umgebung laufend Bilder auf. Der FMCW-Sensor 15 tastet gleichzeitig mit Hilfe von Lichtstrahlen L11, L21, L31 und L41 die vorausliegende Umgebung des Fahrzeugs 10 ab. Daraus werden Abstandswerte gewonnen, aus denen sich ein dreidimensionales Bild der Umgebung rekonstruieren lässt. Außerdem misst die Messvorrichtung 14 im dreidimensionalen Raum die Relativgeschwindigkeit zu dem Objekt 12. Diese Information ist vor allem dann wichtig, wenn das Objekt 12 ein anderes Fahrzeug oder ein Tier ist und sich ebenfalls bewegt.
Die von der Messvorrichtung 14 ermittelten Informationen über die vorausliegende Umgebung des Fahrzeugs 10 können beispielsweise dazu verwendet werden, den Fahrer des Fahrzeugs 10 assistierend bei der Fahrzeugsteuerung zu unterstützen, indem Warnmeldungen erzeugt werden, wenn eine Kollision des Fahrzeugs 10 mit dem Objekt 12 droht. Falls das Fahrzeug 10 autonom fährt, werden die Informationen über die vorausliegende Umgebung von den Steueralgorithmen benötigt, die das Fahrzeug 10 steuern.
Wie in der 1 erkennbar ist, strahlt der FMCW-Sensor 15 in einer vertikalen Ebene (in der 1 ist dies die Papierebene) die Lichtstrahlen L11 bis L41 in unterschiedliche Richtungen ab, wodurch die Umgebung in vertikaler Richtung abgescannt wird. Gleichzeitig findet auch ein Abscannen in horizontaler Richtung statt, wie dies die 2 in einer Draufsicht auf den FMCW-Sensor 15 zeigt. Dort sind vier Lichtstrahlen L11, L12, L13 und L14 gezeigt, die in einer horizontalen Ebene in unterschiedliche Richtungen abgestrahlt werden.
Aus Gründen der Übersichtlichkeit ist in den 1 und 2 unterstellt, dass nur jeweils vier Lichtstrahlen Ln1 bis Ln4 in vier unterschiedlichen Ebenen, d.h. insgesamt 16 Lichtstrahlen, von dem FMCW-Sensor 15 erzeugt werden. Bevorzugt sendet der FMCW-Sensor 15 sehr viel mehr Lichtstrahlen aus. Bevorzugt sind beispielsweise k·2ⁿ Lichtstrahlen, wobei n eine natürliche Zahl zwischen 7 und 13 ist und angibt, wie viele Strahlen in einer von k Ebenen abgestrahlt werden, wobei k typischerweise eine natürliche Zahl zwischen 4 und 16 ist.
2. FMCW-Sensor
Die 3 zeigt schematisch den Aufbau des FMCW-Sensors 15 gemäß einem Ausführungsbeispiel der Erfindung. Der FMCW-Sensor 15 umfasst eine FMCW-Lichtquelle 16, die im Betrieb des FMCW-Sensors 15 Messlicht mit einer variierenden Frequenzf_chirp erzeugt. Wie die 4 illustriert, variiert oder „zwitschert“ (engl. chirps) die Frequenz f_chirp periodisch über der Zeit t zwischen einer niedrigeren Frequenz f und einer höheren Frequenz f_h.
Jedes Messintervall mit einer Chirp-Dauer T ist im dargestellten Ausführungsbeispiel in zwei Hälften gleicher Länge T/2 geteilt. Während des ersten Intervalls steigt die Frequenz f_chirp linear mit einer konstanten und positiven Upchirp-Rate r_chirp, d.h. df_chirp/dt = r_chirp. Während des zweiten Intervalls nimmt die Frequenz f_chirp linear mit einer konstanten negativen Downchirp-Rate -r_chirp, d.h. df_chirp/dt = -r_chirp, ab. Die Frequenz des Messlichts lässt sich somit durch eine periodische Dreieckfunktion beschreiben. Es kommen aber auch andere funktionale Zusammenhänge in Betracht, z.B. Sägezahnfunktionen.
Wie man in 3 erkennt, ist die Lichtquelle 16 mit einem Verzweiger 22 verbunden, der das Messlicht in Referenzlicht (lokaler Oszillator) und Ausgangslicht aufspaltet. Im dargestellten Ausführungsbeispiel wird das Ausgangslicht in einem optischen Verstärker 24 verstärkt und gelangt dann zu einem optischen Zirkulator 26, der das verstärkte Messlicht zu einer Ablenkeinheit 28 leitet. Der optische Zirkulator 26 kann beispielsweise einen polarisationsempfindlichen Strahlteiler umfassen, der mit weiteren polarisationsoptischen Elementen zusammenwirkt, wie dies an sich im Stand der Technik bekannt ist. Anstelle des Zirkulators kann z.B. auch ein 2x2 Koppler verwendet werden, was jedoch zu höheren Lichtverlusten führt.
Die Ablenkeinheit 28 richtet das Ausgangslicht auf das Objekt 12 - in 3 durch ein fahrendes Auto repräsentiert - entlang verschiedener Richtungen, wie dies oben mit Bezug auf die 1 und 2 erläutert wurde. Üblicherweise wird das von der Ablenkeinheit 28 abgestrahlte optische Signals zumindest teilweise diffus vom Objekt 12 reflektiert. Ein kleiner Teil des reflektierten Signals gelangt zurück zum FMCW-Sensor 15, wo es wieder in die Ablenkeinheit 28 einkoppelt.
Der optische Zirkulator 26 lenkt das eingekoppelte Licht auf einen Kombinator 30, der das Referenzlicht, das durch den Verzweiger 22 vom Messlicht getrennt wurde, mit dem eingekoppelten Licht überlagert. Da sich die Frequenzen der überlagerten Lichtanteile geringfügig voneinander unterscheiden, entsteht ein Schwebungssignal, das von einem Detektor 32, der vorzugsweise als symmetrischer Photodetektor ausgeführt ist, erfasst wird. Die vom Detektor 32 erzeugten elektrischen Signale werden einer Recheneinheit 34 zugeführt, die aus der Analyse von Schwebungsfrequenzen die Entfernung R zum Objekt und die radiale Relativgeschwindigkeit v_r zwischen dem FMCW-Sensor 15 und dem Objekt 12 berechnet. Die Recheneinheit 34 ist mit einer Auswerteeinheit 35 verbunden, die den vom Messlicht abgetasteten Messpunkten in noch zu erläuternder Weise die tangentialen Geschwindigkeitskomponenten zuordnet, die durch Auswertung der von der Kamera 13 aufgenommen Bilder erhalten werden.
Die Ablenkeinheit 28 kann eine Schaltmatrix umfassen, in der mehrere optische Schalter baumartig angeordnet sind. Mithilfe der optischen Schaltmatrix können optische Signale sukzessive auf mehrere Wellenleiter verteilt werden. Bei anderen Ausführungsbeispielen befindet sich die Schaltmatrix M noch vor dem Verstärker 24 oder zwischen dem Verstärker 24 und dem Zirkulator 26. Konkrete Ausgestaltungen für die Einbindung von Schaltmatrizen in den FMCW-Sensor 15 sind in der EP 3 916 424 A1 und der DE 10 2020 110 142 A1 ausführlich beschrieben. Bei den dort gezeigten Ausführungsbeispielen weist die Ablenkeinheit 28 einen Kollimator auf, in dessen Brennebene Freiraumkoppler angeordnet sind, welche die in den Wellenleitern geführten optische Signale auskoppeln und nach Reflexion am Objekt 12 wieder in die gleichen Wellenleiter einkoppeln. Alternativ oder zusätzlich können mechanische Scaneinrichtungen, z.B. rotierende Spiegel, vorgesehen sein, um eine Strahlablenkung in einer oder zwei Richtungen zu bewirken, wie dies an sich im Stand der Technik bekannt ist.
3. Messprinzip
Das der Messvorrichtung 14 zugrunde liegende Messprinzip wir im Folgenden mit Bezug auf die 5 und 6 erläutert.
Die 5 zeigt in schematischer Darstellung eine dreidimensionale Szene S, die lediglich ein erstes Fahrzeug 50 und ein zweites Fahrzeug 52 umfasst, die sich vor einer feststehenden Wand 54 in unterschiedlichen Richtungen bewegen. Weitere Bestandteile der Szene S wie beispielsweise ein Boden, der Himmel oder ein anderer Hintergrund werden im Folgenden aus Gründen der Einfachheit nicht berücksichtigt.
In der 5 ist links die Messvorrichtung 14 dargestellt, die wie oben beschrieben die Kamera 13 und den FMCW-Sensor 15 umfasst. In der 5 sind beide Komponenten im gleichen Gehäuse angeordnet, da sie zur Verringerung der Parallaxe möglichst dicht beieinander angeordnet sein sollten.
Angenommen wird ferner, dass sich das erste Fahrzeug 50 senkrecht auf die Wand 54 zu bewegt. Dies entspricht der z-Richtung bewegt, die mit der optischen Achse OA der Kamera 13 zusammenfällt. Das zweite Fahrzeug 52 bewegt sich senkrecht dazu entlang der x-Richtung.
Wenn der Messlichtstrahl des FMCW-Sensors 15 sukzessive von der Ablenkeinheit 28 in unterschiedliche Richtungen gerichtet wird, trifft er nacheinander auf die Objekte 50, 52, 54 der Szene S. Die Messung erfolgt dabei mit einer Messfrequenz, die u.a. von der Chirp-Dauer T (vgl. 4) der Lichtquelle 16 abhängt. Wie bereits erläutert wurde, können auch mehrere Messlichtstrahlen gleichzeitig in unterschiedliche Richtungen emittiert werden, wodurch sich die Messfrequenz erhöht. Der FMCW-Sensor 15 überdeckt somit die Szene S mit einer Anordnung von Messpunkten 56, wie sie in der 5 mit dunklen Punkten angedeutet sind. Die Messpunkte 56 sind nicht maßstäblich dargestellt, da die Messlichtstrahlen in der Regel kollimiert den FMCW-Sensor 15 verlassen und beim Auftreffen auf ein Objekt einen Durchmesser haben, der typischerweise und abhängig vom Abstand zum Objekt nur einige Millimeter oder allenfalls wenige Zentimeter beträgt.
Im dargestellten Ausführungsbeispiel wird außerdem angenommen, dass die Messlichtstrahlen nur auf die Fahrzeuge 50, 52 und die Wand 54 fallen. Daher sind alle Messpunkte 56 auf derjenigen Oberflächen dieser Objekte verteilt, die der Messeinrichtung 14 zugewandt sind. Die Messpunkte 56 bilden eine Wolke aus Punkten, deren Koordinaten von dem FMCW-Sensor 15 in der oben beschriebenen Weise gemessen werden. Bei den Koordinaten kann es sich um kartesische Koordinaten handeln, es kommen aber auch andere Koordinatensysteme, z.B. Kugelkoordinaten, in Betracht.
Der FMCW-Sensor 15 misst außerdem die Geschwindigkeit v_r, mit der sich ein Messpunkt 56 entlang der radialen Richtung bewegt. Die radiale Richtung ist definiert als diejenige Richtung, entlang der sich der Messlichtstrahl ausbreitet, der auf den betrachteten Messpunkt 56 auftrifft. In der 5 sind zwei solche radialen Richtungen mit 58 und 60 angedeutet.
Die Recheneinheit 34 ordnen den Messpunkten 56 somit nicht nur drei Ortskoordinaten, sondern auch eine radiale Geschwindigkeitskomponente v_r zu. Unterstellt man, dass sich die Messvorrichtung 14 nicht bewegt, so ist bei den Messpunkten 56, die auf dem sich entlang der z-Richtung bewegenden Fahrzeug 50 liegen, diese radiale Geschwindigkeitskomponente v_r deutlich größer als bei den Messpunkten 56 auf dem zweiten Fahrzeug 52, das sich entlang der x-Richtung bewegt. Bei Messpunkten 56 auf der unbeweglichen Wand 54 gilt für die radiale Geschwindigkeitskomponente v_r = 0.
Die Bewegung des zweiten Fahrzeugs 52 entlang der x-Richtung kann von dem FMCW-Sensor 15 nur dadurch erfasst werden, dass es zu sprunghaften Veränderungen von Abständen kommt, wenn Messpunkte, die erst auf der Wand 54 lagen, auf die Oberfläche des Fahrzeugs 52 wechseln, und umgekehrt. Wenn der Abstandsunterschied jedoch klein ist, wie dies beispielsweise bei einem direkt an einer Hauswand entlanggehenden Fußgänger der Fall ist, stößt eine Ermittlung der tangentialen Geschwindigkeitskomponente v_t mit Hilfe des FMCW-Sensors 15 rasch an ihre Grenzen.
Um auch die tangentiale Geschwindigkeitskomponente v_t, d.h. die Geschwindigkeit in Richtungen senkrecht zur radialen Richtung, zu messen, werden deswegen die in der Kamera 13 aufgenommenen Bilder herangezogen.
Die 6 zeigt schematisch ein von der Kamera 13 aufgenommenes Bild zu einem ersten Zeitpunkt, dem die Messpunkte 56 rechnerisch überlagert wurden. Man erkennt, dass die Ablenkeinheit 28 des FMCW-Sensors hier so angesteuert wurde, dass in Ebenen senkrecht zur optischen Achse OA der Kamera 13 ein gleichmäßiges Muster von Messpunkten 56 erzeugt wird. Im dargestellten Ausführungsbeispiel besteht dieses Muster lediglich aus zwei Zeilen von Messpunkten 56; wie eingangs bereits erläutert wurde, ist die tatsächliche Zahl der Messpunkte 56 in der Regel deutlich größer.
Die 7 zeigt in einer an die 6 angelehnten Darstellung, wie sich das von der Kamera 13 aufgenommene Bild der Szene S verändert, wenn sich die beiden Fahrzeuge 50, 52 wie oben beschrieben nach einer Zeit Δt entlang der z- bzw. der x-Richtung bewegt haben. Die gestrichelten Konturen deuten dabei die Lage dieser Objekte auf dem später aufgenommenen Bild an. Die Konturen des ersten Fahrzeugs 50 haben sich infolge der im Wesentlichen radialen Bewegung nur unwesentlich verändert, während die tangentiale Bewegung des zweiten Fahrzeugs 52 deutlich Vergleich der von der Kamera 13 aufgenommenen Bilder erkennen lässt. Durch Kantendetektion und andere an sich bekannte Bildverarbeitungs-Algorithmen lässt sich auch ohne vorgeschaltete Objekterkennung und -klassifizierung die tangentiale Geschwindigkeitskomponente v_t für jeden Messpunkt 56 berechnen.
Schließlich werden von der Auswerteeinheit 35 die von dem FMCW-Sensor 15 gemessenen Ortskoordinaten und radialen Geschwindigkeitskomponenten v_r mit den von der Kamera 15 gemessenen tangentialen Geschwindigkeitskomponenten v_t zusammengeführt. Die Auswerteeinheit 35 kann z.B. so konfiguriert sein, dass sie jedem Messpunkt 56 drei Komponenten für den Ortsvektor und drei Komponenten für den Geschwindigkeitsvektor zuordnet. Die Szene S lässt sich auf diese Weise innerhalb der überlappenden Sichtfelder der Kamera 13 und des FMCW-Sensors 15 vollständig im Orts- und Geschwindigkeitsraum beschreiben.
Diese Informationen können anschließend z.B. von einer übergeordneten Prognoseeinheit dazu verwendet werden, eine Prognose zu erstellen, wie sich die Szene S in zeitlicher Hinsicht entwickeln wird. Eine Steuerung des Fahrzeugs 10 kann diese Prognose verwenden, um den Fahrer assistierend bei der Fahrzeugsteuerung zu unterstützen oder Fahrbefehle für ein autonomes Fahren zu berechnen.
Für die Erstellung solcher Prognosen werden üblicherweise die Messpunkte 56 unterschiedlichen Objekten zugeordnet und diese Objekte entsprechend klassifiziert. Die Objekterkennung ist vorliegend vergleichsweise einfach, da dem erfindungsgemäßen Messprinzip den Messpunkten 56 in der Punktewolke jeweils eine individuelle vektorielle Geschwindigkeit zugeordnet wird. Messpunkte mit gleichen Geschwindigkeitsvektoren können zusammengefasst und dazu verwendet werden, ein Objekt zu definieren, das sich mit einheitlicher Geschwindigkeit bewegt.
Erleichtert werden kann eine solche Objekterkennung, wenn den Messpunkten 56 zusätzlich zu den Orts- und Geschwindigkeitsvektoren Farbwerte zugeordnet werden, die für Pixel erhalten wurden, die den Messpunkten 56 in den von der Kamera 13 aufgenommenen Bildern entsprechen. Gleiche oder ähnliche Farben sprechen in der Regel zusätzlich dafür, dass Messpunkte 56 sich auf einem gemeinsamen Objekt befinden.
Entsprechendes gilt für Intensitäten, die vom Detektor 32 des FMCW-Sensors 15 gemessen werden. Die Intensitäten lassen Rückschlüsse auf die Oberflächen auf den Objekten zu, auf denen der Messstrahl während des Scanvorgangs auftrifft. Gleiche oder ähnliche Intensitätswerte sprechen - ähnlich wie gleiche oder ähnliche Farben - dafür, dass sich Messpunkte 56 auf einem gemeinsamen Objekt befinden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 17359319 [0013]
EP 3916424 A1 [0034]
DE 102020110142 A1 [0034]

Claims

Verfahren zur Messung des Orts und der Geschwindigkeit mehrerer Messpunkte (56), die über einer dreidimensionalen Szene (S) verteilt sind, wobei das Verfahren die folgenden Schritte aufweist: a) es wird FMCW-Messlicht erzeugt, das eine zeitlich veränderliche Frequenz hat; b) ein Teil des FMCW-Messlichts wird nacheinander auf die Messpunkte (56) gerichtet; c) ein Detektor (32) erfasst eine Überlagerung von FMCW-Messlicht, das auf die Messpunkte (56) gerichtet und dort reflektiert wurde, und von FMCW-Messlicht, das nicht auf die Messpunkte (56) gerichtet wurde; d) es werden aus der in Schritt c) detektierten Überlagerung für jeden Messpunkt (56) ein radialer Abstand und eine radiale Geschwindigkeitskomponente berechnet; e) während des Schritts b) werden sukzessive mehrere Bilder der Szene (S) von einer Kamera (13) aufgenommen; f) es werden aus den in Schritt e) aufgenommenen Bildern für die Messpunkte (56) tangentiale Geschwindigkeitskomponenten berechnet; g) die in den Schritten d) und f) berechneten Größen werden so zusammengeführt, dass für die Messpunkte (56) jeweils sowohl die Ortskoordinaten als auch die Geschwindigkeit im dreidimensionalen Raum erhalten werden.
Verfahren nach Anspruch 1, bei dem nach Schritt g) auf der Grundlage der in Schritt g) ermittelten Geschwindigkeiten Objekte (50, 52, 54) definiert werden, die sich mit einheitlicher Geschwindigkeit bewegen.
Verfahren nach Anspruch 2, bei dem die Objekte (50, 52, 54) durch Auswertung der in Schritt e) aufgenommenen Bilder klassifiziert werden.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem im Schritt g) den Messpunkten (56) Farbwerte zugeordnet werden, die für Pixel erhalten wurden, die den Messpunkten (56) in den von der Kamera in Schritt e) aufgenommenen Bildern entsprechen.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem im Schritt g) den Messpunkten Intensitäten zugeordnet werden, die von dem Detektor (32) erfasst wurden.
Vorrichtung (14) zur Messung des Orts und der Geschwindigkeit mehrerer Messpunkte (56), die über einer dreidimensionalen Szene (S) verteilt sind, wobei die Vorrichtung aufweist: eine Messlichtquelle (16), die dazu eingerichtet ist, FMCW-Messlicht zu erzeugen, das eine zeitlich veränderliche Frequenz hat, eine Scaneinrichtung (28), die dazu eingerichtet ist, einen Teil des FMCW-Messlichts nacheinander auf die Messpunkte (56) zu richten, einen Detektor (32), der dazu eingerichtet ist, eine Überlagerung von FMCW-Messlicht, das auf die Messpunkte (56) gerichtet und dort reflektiert wurde, und von FMCW-Messlicht, das nicht auf die Messpunkte (56) gerichtet wurde, zu detektierten, eine Auswerteeinrichtung (34, 35), die dazu eingerichtet ist, aus der von dem Detektor (32) detektierten Überlagerung für jeden Messpunkt (56) einen radialen Abstand und eine radiale Geschwindigkeitskomponente zu berechnen, eine Kamera (13), die dazu eingerichtet ist, sukzessiv mehrerer Bilder der Szene aufzunehmen, während die Scaneinrichtung (28) einen Teil des FMCW-Messlichts nacheinander auf die Messpunkte (56) richtet, wobei die Auswerteeinrichtung (34, 35) ferner dazu eingerichtet ist, aus den von der Kamera (13) aufgenommenen Bildern für die Messpunkte (56) tangentiale Geschwindigkeitskomponenten zu berechnen und die Abstände, die radialen Geschwindigkeitskomponenten und die tangentialen Geschwindigkeitskomponenten so zusammenzuführen, dass für die Messpunkte (56) jeweils sowohl die Ortskoordinaten als auch die Geschwindigkeit im dreidimensionalen Raum erhalten werden.
Vorrichtung nach Anspruch 6, bei dem die Auswerteeinrichtung (34, 35) ferner dazu eingerichtet ist, Messpunkte (56), für welche die Geschwindigkeit im dreidimensionalen Raum berechnet wurde, einem Objekt (50, 52, 54) zuzuordnen.
Vorrichtung nach Anspruch 7, bei dem die Auswerteeinrichtung (34, 35) ferner dazu eingerichtet ist, das Objekt (50, 52, 54) durch Auswertung der von der Kamera (13) aufgenommenen Bilder zu klassifizieren.
Vorrichtung nach einem der Ansprüche 6 bis 8, bei dem die Auswerteeinrichtung (34, 35) ferner dazu eingerichtet ist, den Messpunkten (56) Farbwerte zuzuordnen, die für Pixel erhalten wurden, die den Messpunkten (56) in den von der Kamera (13) aufgenommenen Bildern entsprechen.
Vorrichtung nach einem der Ansprüche 6 bis 9, bei dem die Auswerteeinrichtung (34, 35) ferner dazu eingerichtet ist, den Messpunkten (56) Intensitäten zuzuordnen, die von dem Detektor (32) erfasst wurden.