-
Die Erfindung betrifft ein Verfahren sowie eine Vorrichtung zum Erfassen einer Umgebung, insbesondere einer Fahrzeugumgebung, sowie ein Fahrzeug mit einer solchen Vorrichtung.
-
Es ist bekannt, zur Umgebungserfassung, insbesondere in Fahrzeugen, optische Kameras mit Laser-Scan-Verfahren beziehungsweise Laser-Scannern zu kombinieren. Beispielsweise geht aus der US-amerikanischen Patentanmeldung
US 2016/0180177 A1 ein in einem Kraftfahrzeug angeordnetes System zur Abschätzung einer Fahrbahnbegrenzung hervor, welches einerseits eine Kamera und andererseits einen Lidar-Detektor aufweist, wobei aus Kameradaten ein erstes probabilistisches Modell für die Fahrbahnbegrenzung ermittelt wird, wobei aus den Lidar-Daten ein zweites probabilistisches Modell für die Fahrbahnbegrenzung ermittelt wird, und wobei die derart ermittelten probabilistischen Modelle miteinander fusioniert werden, um ein fusioniertes probabilistisches Modell zu erhalten, und aus diesem die Fahrbahnbegrenzung abzuschätzen.
-
Aus der deutschen Offenlegungsschrift
DE 10 2017 108 248 A1 ist ein computerimplementiertes Verfahren zur Straßenmerkmalserkennung bekannt, bei dem ein Bild, welches von einem mit einem Fahrzeug auf einer Straße verbundenen Kamerasystem stammt, empfangen und weiterverarbeitet wird. Die so erhaltenen Daten können mit anderen Sensordaten, beispielsweise von Lidar-Sensoren, verschmolzen werden, um eine Detektions- und Klassifizierungsgenauigkeit und -zuverlässigkeit zu verbessern.
-
Generell bieten optische Kameras eine hohe Auflösung aufgenommener Bilder der erfassten Umgebung, allerdings ohne Abstandsinformation. Laser-Scanner ermitteln demgegenüber 3D-Punktwolken der abgetasteten Umgebung, wobei sie in der Lage sind, hochgenaue Abstandsinformationen bereitzustellen. Sie haben dafür aber eine deutlich geringere Auflösung.
-
Es ist außerdem bekannt, von optischen Kameras aufgenommene Bilder insbesondere mittels neuronaler Netze semantisch zu segmentieren, wobei Objekte in den Bildern erkannt werden, und wobei jedem Pixel ein Klassen-Label, beispielsweise „Fahrbahn“, „Fahrzeug“ oder „Fußgänger“, zugeordnet wird. Auf diese Weise wird das Bild in semantische Segmente aufgeteilt. Vorteilhaft wäre es, diese Informationen der semantischen Segmentierung mit den 3D-Punktewolken, die durch einen Laser-Scanner gewonnen werden, kombinieren zu können, sodass auch den 3D-Punkten der Punktewolken entsprechende Klassen-Labels zugeordnet werden. Dies würde die Szene-Interpretation in einem Fahrzeug sowie die Prädiktion des Verhaltens anderer Verkehrsteilnehmer deutlich verbessern. Notwendig hierzu ist allerdings eine genaue Synchronisation der Abtastung der Umgebung mittels des Laser-Scanners einerseits und der Abbildung der Umgebung in der optischen Kamera andererseits, sowie die Wahl einer möglichst geringen Belichtungszeit für die optische Kamera, um auch bei bewegtem Fahrzeug ausreichend scharfe Bilder zu erhalten.
-
Solche kurze Belichtungszeiten sind aber wiederum problematisch, wenn die Kamerabilder in bevorzugter Weise auch zur Erkennung von Lichtsignalen, beispielsweise Ampeln, als Lichtsignale ausgestalteten Verkehrszeichen, Bremslichtern, Blinkern und dergleichen verwendet werden sollen. Dies liegt insbesondere daran, dass moderne Lichtsignale typischerweise mit Leuchtdioden betrieben werden, die lediglich kurze, schnell hintereinander folgende Lichtimpulse aussenden, wobei sie insbesondere mittels Pulsweitenmodulation betrieben werden. Bei zu kurzen Belichtungszeiten besteht daher die Gefahr, dass die Belichtung zwischen den Lichtimpulsen des Lichtsignals liegen kann - also während einer Dunkelphase -, wobei der Zustand des Lichtsignals, beispielsweise der Schaltzustand einer Ampel, die Art des angezeigten Verkehrszeichens und dergleichen, im Bild nicht mehr erkennbar ist.
-
Eine sichere semantische Segmentierung von 3D-Punktewolken unter Rückgriff auf Kamerabilder einerseits und eine sichere Erkennung von Lichtzeichen andererseits erscheinen daher als entgegengesetzte, miteinander unvereinbare Ziele.
-
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren sowie eine Vorrichtung zum Erfassen einer Umgebung, insbesondere eines Fahrzeugs mit einer solchen Vorrichtung, zu schaffen, wobei die genannten Nachteile nicht auftreten.
-
Die Aufgabe wird gelöst, indem die Gegenstände der unabhängigen Ansprüche geschaffen werden. Vorteilhafte Ausgestaltungen ergeben sich aus den Unteransprüchen.
-
Die Aufgabe wird insbesondere gelöst, indem ein Verfahren zum Erfassen einer Umgebung, insbesondere einer Umgebung eines Fahrzeugs, geschaffen wird, wobei die Umgebung in einem ersten Erfassungsbereich mittels eines Laser-Scanners periodisch erfasst wird, wobei die Umgebung in einem zweiten Erfassungsbereich mittels einer optischen Kamera erfasst wird. Der erste Erfassungsbereich und der zweite Erfassungsbereich überlappen dabei zumindest miteinander. Ein optischer Sensor der Kamera wird innerhalb einer Periode des Laser-Scanners zumindest zweimal belichtet, und eine erste Belichtungszeit für eine erste Belichtung der wenigstens zwei Belichtungen des optischen Sensors wird so gewählt und mit dem Laser-Scanner synchronisiert, dass die erste Belichtung innerhalb eines ersten Zeitfensters erfolgt, in dem der Laser-Scanner den ersten Erfassungsbereich erfasst. Auf diese Weise wird gewährleistet, dass die Bildaufnahme mittels der optischen Kamera synchronisiert zu der Erfassung des mit dem zweiten Erfassungsbereich zumindest überlappenden ersten Erfassungsbereichs erfolgt, sodass der Laser-Scanner einerseits und die optische Kamera andererseits zumindest teilweise den gleichen Bereich der Umgebung abbilden. Die erste Belichtungszeit innerhalb des ersten Zeitfensters wird hinreichend kurz gewählt, um auch bei bewegtem Fahrzeug scharfe Bilder von der Kamera zu erhalten. Die Belichtung der Kamera wird also mit dem Laser-Scanner synchronisiert, und die Kamera wird zumindest zweimal innerhalb der Periode des Laser-Scanners belichtet, wobei eine der Belichtungen gleichzeitig mit der Abtastung der Umgebung durch den Laser-Scanner, insbesondere gleichzeitig mit der Erfassung des gemeinsamen, überlappenden Erfassungsbereichs, erfolgt. Dadurch, dass eine zweite Belichtung des optischen Sensors innerhalb der Periode des Laser-Scanners vorgesehen ist, wird eine sichere Erfassung auch von pulsweitenmoduliert betriebenen Lichtsignalen ermöglicht, da eine zweite Belichtungszeit für die zweite Belichtung grundsätzlich innerhalb der Periode des Laser-Scanners beliebig und damit insbesondere länger gewählt werden kann, als die erste Belichtungszeit innerhalb des ersten Zeitfensters. Somit können innerhalb einer Periode des Laser-Scanners sowohl Daten erhalten werden, die eine semantische Segmentierung des optischen Kamerabildes und der durch den Laser-Scanner erfassten 3D-Punktewolke ermöglichen, als auch optische Daten, welche eine zuverlässige Erkennung von Lichtsignalen erlauben.
-
Unter einem Erfassungsbereich wird hier insbesondere ein Winkelbereich um eine Hochachse, insbesondere die Hochachse eines Fahrzeugs, verstanden, mithin ein Azimut-Winkelbereich. Dabei ist der erste Erfassungsbereich ein entsprechender Winkelbereich, in dem der Laser-Scanner die Umgebung tatsächlich erfasst. Der erste Erfassungsbereich ist dabei bevorzugt kleiner als ein Scanbereich des Laser-Scanners, den der Laser-Scanner innerhalb einer Periode überstreicht. Insbesondere ist es möglich, dass der Laser-Scanner als um eine Achse rotierender Laser-Scanner ausgebildet ist, der vorzugsweise um eine Hochachse, das heißt eine vertikale Achse, rotiert, wobei er innerhalb einer Periode einen Scanbereich von 360° überstreicht. Dabei erfasst er jedoch bevorzugt nicht in dem gesamten Scanbereich Daten, sondern lediglich in dem kleineren, ersten Erfassungsbereich.
-
Der zweite Erfassungsbereich ist entsprechend ein durch einen Öffnungswinkel der Optik der optischen Kamera gegebener Winkelbereich.
-
Dass der erste Erfassungsbereich und der zweite Erfassungsbereich zumindest überlappen bedeutet, dass diese zumindest bereichsweise deckungsgleich sind. Vorzugsweise sind die Erfassungsbereiche im Wesentlichen deckungsgleich, besonders bevorzugt überlappen sie vollständig, wobei insbesondere ein Erfassungsbereich, ausgewählt aus dem ersten Erfassungsbereich und dem zweiten Erfassungsbereich, vollständig innerhalb des anderen Erfassungsbereichs, ausgewählt aus dem zweiten Erfassungsbereich und dem ersten Erfassungsbereich, liegen kann. Es ist auch möglich, dass die Erfassungsbereiche vollständig deckungsgleich sind, indem sie überall miteinander überlappen. Die Begriffe „überlappen“ und „deckungsgleich“ werden dabei insbesondere mit Bezug auf den Azimut verwendet.
-
Unter einer Hochachse oder einer vertikalen Achse wird hier insbesondere eine Achse verstanden, die in Richtung eines Gravitationsvektors zeigt, und/oder die senkrecht zu einer Aufstandsebene oder Fahrbahnebene, auf der ein Fahrzeug, welches eingerichtet ist zur Durchführung des Verfahrens, aufsteht oder fährt.
-
Als Laser-Scanner wird vorzugsweise ein Lidar-Detektor (Lidar - Light Detection And Ranging) verwendet.
-
Unter einer optischen Kamera wird eine optische Bildaufnahmeeinrichtung verstanden, die eingerichtet ist zur Aufnahme statischer oder bewegter Bilder, insbesondere zweidimensionaler statischer oder bewegter Bilder, wobei die optische Kamera insbesondere als Fotokamera oder Videokamera ausgebildet sein kann. Es ist aber auch möglich, eine optische 3D-Kamera zu verwenden.
-
Der Laser-Scanner tastet die Umgebung vorzugsweise fortlaufend periodisch ab. Der optische Sensor der Kamera wird dabei bevorzugt in einer Mehrzahl von Perioden des Laser-Scanners jeweils zumindest zweimal belichtet. Besonders bevorzugt wird der optische Sensor in jeder Periode des Laser-Scanners zumindest zweimal belichtet.
-
Vorzugsweise wird der optische Sensor der Kamera innerhalb einer Periode des Laser-Scanners mehr als zweimal belichtet. Eine mehrfache Belichtung kann in vorteilhafter Weise verwendet werden, um zusätzliche oder genauere Informationen über die Umgebung zu erhalten, insbesondere um Totzeiten für die Bilderfassung zu reduzieren. Dabei können insbesondere mehr als eine Belichtung außerhalb des ersten Zeitfensters vorgesehen sein. Insbesondere können mehr als eine Bildaufnahme mit einer Belichtungszeit vorgesehen sein, die länger ist als die erste Belichtungszeit innerhalb des ersten Zeitfensters.
-
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die zweite Belichtung der wenigstens zwei Belichtungen des optischen Sensors außerhalb des ersten Zeitfensters in einem zweiten Zeitfenster erfolgt, wobei der Laser-Scanner bevorzugt in dem zweiten Zeitfenster den ersten Erfassungsbereich nicht erfasst. Generell kann für die zweite Belichtung ein beliebiges Zeitfenster innerhalb der Periode des Laser-Scanners gewählt werden, da insoweit keine Synchronisation mit der Erfassung durch den Laser-Scanner nötig ist. Eine zeitliche Positionierung der zweiten Belichtung außerhalb des ersten Zeitfensters ermöglicht aber eine besonders saubere Trennung zwischen denjenigen Daten, die zur Synchronisation mit der Abtastung durch den Laser-Scanner bestimmt sind, und denjenigen Daten, die hierzu nicht bestimmt sind.
-
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die erste Belichtungszeit zeitlich in einem mittleren Bereich des ersten Zeitfensters, insbesondere symmetrisch zu einer Hälfte des ersten Zeitfensters, erfolgt. Da der Laser-Scanner gemäß einer bevorzugten Ausgestaltung den ersten Erfassungsbereich mit konstanter Erfassungsgeschwindigkeit, insbesondere mit konstanter Winkelgeschwindigkeit, erfasst, führt diese Wahl dazu, dass die erste Belichtung genau dann stattfindet, wenn der Laser-Scanner die Mitte des ersten Erfassungsbereichs passiert. Somit ergibt sich eine besonders gute Übereinstimmung zwischen dem aufgenommenen optischen Bild einerseits und den erfassten 3D-Punkten des Laser-Scanners andererseits. Dies ist insbesondere der Fall, wenn auch die optische Kamera mit ihrem zweiten Erfassungsbereich mittig auf den ersten Erfassungsbereich ausgerichtet ist.
-
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die zweite Belichtungszeit für die zweite Belichtung länger gewählt wird als die erste Belichtungszeit für die erste Belichtung. Dabei wird die zweite Belichtungszeit für die zweite Belichtung insbesondere so lang gewählt, dass pulsweitenmoduliert betriebene Lichtzeichen, insbesondere Ampeln, leuchtende Verkehrszeichen, Bremslichter, Blinker und dergleichen, sicher erkannt werden können, sodass insbesondere also auch für das kürzeste bekannte, pulsweitenmodulierte Verkehrssignal mindestens eine Hell-Phase innerhalb der zweiten Belichtungszeit erfasst wird.
-
Die erste Belichtungszeit wird bevorzugt so kurz gewählt, dass auch bei bewegtem Fahrzeug hinreichend scharfe Bilder erfasst werden, die eine sinnvolle semantische Segmentierung und deren Zuordnung zu den 3D-Punktewolken ermöglicht, die durch den Laser-Scanner erfasst werden.
-
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die erste Belichtungszeit und/oder die zweite Belichtungszeit an die Periode des Laser-Scanners angepasst wird/werden. Auf diese Weise wird zum einen eine genaue Synchronisation der optischen Erfassung mit dem Laser-Scanner gewährleistet, zum anderen wird gewährleistet, dass insbesondere die zweite Belichtungszeit die Periode des Laser-Scanners nicht überschreitet.
-
Die erste Belichtungszeit beträgt bevorzugt höchstens 10 ms, vorzugsweise höchstens 8 ms, vorzugsweise höchstens 7 ms, vorzugsweise höchstens 6 ms, vorzugsweise höchstens 5 ms, vorzugsweise höchstens 4 ms, vorzugsweise 4 ms.
-
Die zweite Belichtungszeit beträgt bevorzugt höchstens 45 ms, vorzugsweise höchstens 40 ms, vorzugsweise höchstens 30 ms, vorzugsweise höchstens 20 ms, vorzugsweise höchstens 15 ms, vorzugsweise 12 ms, vorzugsweise mehr als 10 ms, vorzugsweise von mindestens 11 ms bis höchstens 45 ms, vorzugsweise von höchstens 11 ms bis höchstens 40 ms, vorzugsweise von mindestens 11 ms bis höchstens 30 ms, vorzugsweise von mindestens 11 ms bis höchstens 20 ms, vorzugsweise von mindestens 11 ms bis höchstens 15 ms.
-
In einer bevorzugten Ausgestaltung beträgt die Periode des Laser-Scanners 90 ms, wobei der Laser-Scanner in diesen 90 ms einen Scannbereich von 360° überstreicht. Der erste Erfassungsbereich ist bevorzugt ein Winkelbereich von 120°, der folglich, bei konstanter Winkelgeschwindigkeit des Laser-Scanners, innerhalb von 30 ms abgetastet wird. Die restlichen 60 ms der Periode benötigt der Laser-Scanner zum Vollenden der Rotation. Der erste Erfassungsbereich liege ohne Beschränkung der Allgemeinheit in einem Winkelbereich von 0° bis 120°. Beträgt die erste Belichtungszeit 4 ms, erfolgt die erste Belichtung der optischen Kamera bevorzugt dann, wenn der Laser-Scanner sich bei cirka 60° befindet, also mittig in dem ersten Erfassungsbereich. Beginnt der Laser-Scanner beispielsweise ohne Beschränkung der Allgemeinheit zu einem Zeitpunkt t = 0 mit der Abtastung bei 0°, beginnt die Belichtung der Kamera bevorzugt zum Zeitpunkt t = 13 ms und dauert 4 ms. Während dieser Zeit passiert der Laser-Scanner - bei t = 15 ms - die Mitte des ersten Erfassungsbereichs. Nach 30 ms ist der komplette erste Erfassungsbereich abgetastet.
-
Wann die zweite Belichtung des optischen Sensors erfolgt, ist prinzipiell irrelevant. Beginnt die zweite Belichtung beispielsweise bei t = 58 ms, kann eine konstante Kamerazykluszeit von 45 ms umgesetzt werden. Um derzeit bekannte, pulsweitenmodulierte Lichtsignale zu erfassen, ist eine Dauer von 12 ms für die zweite Belichtungszeit vorteilhaft. Nach 90 ms beginnt jeweils ein neuer Messzyklus.
-
Die Belichtung und die Belichtungszeit der optischen Kamera und die Abtastung durch den Laser-Scanner werden also wie folgt koordiniert: Während einer Abtastung des Laser-Scanners wird die optische Kamera genau dann kurz belichtet, wenn der aktuell abgescannte Bereich des Laser-Scanners und die Blickrichtung der Kamera übereinstimmen. Da die Periode des Laser-Scanners aufgrund der rotierenden Einheiten in der Regel länger ist als die Belichtungszeit und Totzeit zwischen zwei Belichtungen der optischen Kamera, kann die Kamera ein weiteres Mal mit einer langen Belichtungszeit belichtet werden, wenn der Laser-Scanner gerade nicht die Umgebung erfasst beziehungsweise Bereiche außerhalb des zweiten Erfassungsbereichs der Kamera abscannt. Dadurch ergeben sich ein kürzer belichtetes, zum Laser-Scanner synchronisiertes Bild, und ein für die Lichtzeichenerkennung länger belichtetes Bild.
-
Es ist nicht zwingend erforderlich, dass der Laser-Scanner außerhalb des ersten Erfassungsbereichs keine Umgebungserfassung durchführt. Vielmehr kann der Laser grundsätzlich auch innerhalb des gesamten Scanbereichs die Umgebung abtasten. In diesem Fall ist der erste Erfassungsbereich allerdings derjenige Bereich der Abtastung durch den Laser-Scanner, der mit dem zweiten Erfassungsbereich der optischen Kamera überlappt.
-
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass zumindest ein mit der ersten Belichtungszeit aufgenommenes Bild des optischen Sensors semantisch segmentiert wird, wobei die semantische Segmentierung auf Daten des Laser-Scanners angewendet wird. Insbesondere wird die semantische Segmentierung eines mit der ersten Belichtungszeit aufgenommenen Bildes auf diejenigen Daten des Laser-Scanners angewendet, die in derselben Periode des Laser-Scanners erfasst wurden, in der auch das mit der ersten Belichtungszeit aufgenommene Bild aufgenommen wurde. Dies ermöglicht eine genaue Zuordnung der semantischen Segmentierung des optischen Bildes zu den Daten des Laser-Scanners.
-
Die sematische Segmentierung erfolgt bevorzugt mittels eines neuronalen Netzes, insbesondere eines sogenannten gefalteten neuronalen Netzes (Convolutional Neural Network), insbesondere mittels Deep Learning.
-
Die Aufgabe wird schließlich auch gelöst, indem eine Vorrichtung zur Erfassung einer Umgebung, insbesondere einer Umgebung eines Fahrzeugs geschaffen wird, die einen Laser-Scanner aufweist, der eingerichtet ist, um einen ersten Erfassungsbereich der Umgebung periodisch zu erfassen, wobei die Vorrichtung weiter eine optische Kamera aufweist, die eingerichtet ist, um die Umgebung in einem zweiten Erfassungsbereich zu erfassen, wobei der erste Erfassungsbereich und der zweite Erfassungsbereich zumindest überlappen. Die Vorrichtung weist außerdem eine Steuereinrichtung auf, die einerseits mit der optischen Kamera und andererseits mit dem Laser-Scanner wirkverbunden ist, um die optische Kamera und den Laser-Scanner anzusteuern, wobei die Steuereinrichtung eingerichtet ist zur Durchführung eines erfindungsgemäßen Verfahrens oder eines Verfahrens gemäß einer der zuvor beschriebenen Ausführungsformen. In Zusammenhang mit der Vorrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren erläutert wurden.
-
Die optische Kamera und der Laser-Scanner sind vorzugsweise bezüglich ihrer Hauptachsen parallel zueinander ausgerichtet. Die Hauptachsen sind dabei diejenigen Achsen, die in Richtung der Erfassungsbereiche weisen. Insbesondere ist die Hauptachse des Laser-Scanners eine Achse, die symmetrisch in den ersten Erfassungsbereich weist. Die Hauptachse der optischen Kamera ist insbesondere die optische Achse der Optik der Kamera. Sind die Hauptachsen der optischen Kamera und des Laser-Scanners parallel zueinander orientiert, haben diese die gleiche Blickrichtung.
-
Die Aufgabe wird auch gelöst, indem ein Fahrzeug geschaffen wird, welches eine erfindungsgemäße Vorrichtung oder eine Vorrichtung nach einem der zuvor beschriebenen Ausführungsbeispiele aufweist. In Zusammenhang mit dem Fahrzeug ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren beschrieben wurden.
-
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass das Fahrzeug als Kraftfahrzeug, insbesondere als Personenkraftwagen, als Lastkraftwagen oder als Nutzfahrzeug, ausgebildet ist.
-
Die Erfindung wird im Folgenden anhand der Zeichnung näher erläutert.
Dabei zeigen:
- 1 eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung zur Erfassung einer Umgebung, und
- 2 eine schematische Darstellung einer Ausführungsform eines Verfahrens zum Erfassen einer Umgebung.
-
1 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung 1 zur Erfassung einer Umgebung, insbesondere der Umgebung eines schematisch angedeuteten Fahrzeugs 3, das bevorzugt als Kraftfahrzeug, insbesondere als Personenkraftwagen, als Lastkraftwagen oder als Nutzfahrzeug, ausgebildet sein kann.
-
Die Vorrichtung 1 weist einen Laser-Scanner 5 auf, der eingerichtet ist, um die Umgebung - hier die Umgebung des Fahrzeugs 3 - in einem ersten Erfassungsbereich 7 periodisch zu erfassen. Weiterhin weist die Vorrichtung 1 eine optische Kamera 9 auf, die eingerichtet ist, um die Umgebung in einem zweiten Erfassungsbereich 11 zu erfassen. Dabei überlappen der erste Erfassungsbereich 7 und der zweite Erfassungsbereich 11 zumindest teilweise. Die Vorrichtung 1 weist außerdem eine Steuereinrichtung 13 auf, die einerseits mit dem Laser-Scanner 5 und andererseits mit der optischen Kamera 9 wirkverbunden ist, sodass die Steuereinrichtung 13 den Laser-Scanner 5 und die optische Kamera 9 ansteuern kann. Die Steuereinrichtung 13 ist dabei eingerichtet zur Durchführung eines im Folgenden noch beschriebenen Verfahrens.
-
Die optische Kamera 9 und der Laser-Scanner 5 sind bezüglich ihrer Hauptachsen parallel zueinander ausgerichtet. Dabei ist in 1 eine erste Hauptachse 15 des Laser-Scanners 5 sowie eine zweite Hauptachse 17 der Kamera 9 dargestellt, die parallel zueinander orientiert sind, sodass der Laser-Scanner 5 einerseits und die optische Kamera 9 andererseits dieselbe Blickrichtung haben.
-
Die Erfassungsbereiche 7, 11 sind jeweils Winkelbereiche eines Azimut-Winkels.
-
Der Laser-Scanner 5 weist insbesondere einen Scanbereich auf, der größer ist als der erste Erfassungsbereich 7. Insbesondere umfasst der Scanbereich des Laser-Scanners einen vollen Azimut-Winkelbereich von 360°. Der Laser-Scanner überstreicht dabei periodisch den gesamten Scanbereich, wobei er innerhalb einer solchen Periode den ersten Erfassungsbereich 7 der Umgebung abtastet.
-
Der erste Erfassungsbereich ist hier beispielhaft ein Winkelbereich von 120°, wobei er sich ohne Beschränkung der Allgemeinheit in 1 von 0° bis 120° erstreckt. Die erste Hauptachse 15 teilt dabei den ersten Erfassungsbereich 7 in der Hälfte, das heißt bei 60°. Der Laser-Scanner 5 überstreicht den Scanbereich bevorzugt mit konstanter Winkelgeschwindigkeit.
-
Im Rahmen des Verfahrens zum Erfassen der Umgebung wird ein optischer Sensor 19 der Kamera 9 innerhalb einer Periode des Laser-Scanners 5 zumindest zweimal belichtet. Eine erste Belichtungszeit für eine erste Belichtung der wenigstens zwei Belichtungen des optischen Sensors 19 wird dabei so gewählt und mit dem Laser-Scanner 5 synchronisiert, dass die erste Belichtung innerhalb eines ersten Zeitfensters erfolgt, in dem der Laser-Scanner 5 den ersten Erfassungsbereich 7 überstreicht und somit erfasst.
-
Die zweite Belichtung der wenigstens zwei Belichtungen des optischen Sensors 19 kann außerhalb des ersten Zeitfensters in einem zweiten Zeitfenster erfolgen, in dem der Laser-Scanner 5 den ersten Erfassungsbereich 7 vorzugsweise nicht überstreicht.
-
Bevorzugt erfolgt die erste Belichtung zeitlich in einem mittleren Bereich des ersten Zeitfensters, insbesondere symmetrisch zu einer Hälfte des ersten Zeitfensters. Dies stellt sicher, dass die erste Belichtung dann erfolgt, wenn der Laser-Scanner 5 gerade den mittleren Bereich des ersten Erfassungsbereichs 7, bevorzugt in 1 - insbesondere symmetrisch - um die 60°-Markierung herum, das heißt insbesondere symmetrisch zu der ersten Hauptachse 15, erfasst.
-
Die zweite Belichtungszeit für die zweite Belichtung wird bevorzugt länger gewählt als die erste Belichtungszeit für die erste Belichtung. Insbesondere kann durch spezifische Auswahl der Belichtungszeiten sichergestellt werden, dass einerseits die erste Belichtungszeit kurz genug ist, um hinreichend scharfe Bilder zur semantischen Segmentierung und zur Anwendung dieser semantischen Segmentierung auf die durch den Laser-Scanner 5 erfassten 3D-Daten ermöglicht, wobei andererseits die zweite Belichtungszeit lang genug gewählt wird, um auch pulsweitenmodulierte Lichtsignale sicher zu erfassen.
-
Die erste Belichtungszeit und/oder die zweite Belichtungszeit wird/werden dabei an die Periode des Laser-Scanners 5 angepasst.
-
Zumindest ein mit der ersten Belichtungszeit aufgenommenes Bild des optischen Sensors 19 beziehungsweise der optischen Kamera 9 wird semantisch segmentiert, wobei diese semantische Segmentierung auf Daten des Laser-Scanners 5 angewendet wird, insbesondere auf Daten, die in derselben Periode des Laser-Scanners 5 gewonnen wurden, wie das mit der ersten Belichtungszeit aufgenommene Bild.
-
2 zeigt eine schematische Darstellung einer Ausführungsform des Verfahrens. Dabei ist auf der untersten Achse die Zeit t in ms abgetragen. Auf einer obersten Achse ist eine Belichtung K der Kamera 9 dargestellt; auf der zweiten Achse von oben ist die Abtastung der Umgebung durch den Laser-Scanner 5 in dem ersten Erfassungsbereich 7 als Laser-Abtastung L dargestellt; auf der dritten Achse von oben ist der Scanwinkel S des Laser-Scanners 5 über den gesamten Scanbereich von 0° bis 360° abgetragen.
-
Rein beispielhaft und ohne Beschränkung der Allgemeinheit beträgt die Periode des Laser-Scanners 5 hier 90 ms, innerhalb derer der volle Scanbereich von 0° bis 360° überstrichen wird. Der erste Erfassungsbereich 7 von 120° wird dabei innerhalb von 30 ms überstrichen. Ohne Beschränkung der Allgemeinheit beginnt der erste Erfassungsbereich 7 hier bei 0° und endet bei 120°.
-
Die erste Belichtungszeit für den optischen Sensor 19 beträgt hier 4 ms. Diese ist so positioniert, dass sie zeitlich in einem mittleren Bereich des ersten Zeitfensters, das heißt hier von t = 0 ms bis t = 30 ms, angeordnet ist, wobei die erste Belichtungszeit bei t = 13 ms beginnt und entsprechend bei t = 17 ms endet. Somit fällt die zeitliche Mitte der ersten Belichtungszeit gerade zusammen mit dem Zeitpunkt, zu dem der Laser-Scanner 5 die 60°-Marke des ersten Erfassungsbereichs 7 erreicht, nämlich t = 15 ms.
-
Die zweite Belichtungszeit beträgt 12 ms. Sie ist außerhalb des ersten Zeitfensters in der Periode des Laser-Scanners 5 angeordnet, wobei sie hier bei t = 58 ms beginnt, das heißt mit einem zeitlichen Abstand zum Beginn der ersten Belichtungszeit von 45 ms.
-
Nach 90 ms beziehungsweise 360° des Scanwinkels S wird das Verfahren periodisch fortgesetzt.
-
Insgesamt können mit dem hier vorgeschlagenen Verfahren, der Vorrichtung 1 und dem Fahrzeug 3 sowohl eine sinnvolle semantische Segmentierung von Kamerabildern wie auch 3D-Daten des Laser-Scanners 5 durchgeführt, als auch pulsweitenmodulierte Lichtsignale sicher erkannt werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2016/0180177 A1 [0002]
- DE 102017108248 A1 [0003]
