-
Die Erfindung betrifft ein Verfahren zum Synchronisieren einer Beleuchtungseinrichtung, mindestens eines NIR-Sensors und einer Lidar-Einrichtung, eine Steuereinrichtung zur Durchführung eines solchen Verfahrens, eine Erfassungsvorrichtung mit einer solchen Steuereinrichtung und ein Kraftfahrzeug mit einer solchen Erfassungsvorrichtung.
-
Kraftfahrzeuge mit komplexen Fahrerassistenzsystemen weisen eine Vielzahl von Sensoren, insbesondere Lidar-Sensoren, optische Sensoren und Radar-Sensoren, auf. Ein Großteil dieser Sensoren ist im elektromagnetischen Spektrum aktiv. Nachteilig daran ist, dass Bandbreiten-Überschneidungen der Sensoren auftreten und somit sich die Sensoren gegenseitig stören.
-
Bei einem gleichzeitigen Betrieb einer Beleuchtungseinrichtung, insbesondere einer Beleuchtungseinrichtung mit VCSEL, und einer Lidar-Einrichtung erhöht die Beleuchtungseinrichtung die Umgebungshelligkeit für die Lidar-Einrichtung. Damit werden Messpunkte schlechter sichtbar, das Signal-Rauschen und die Ungenauigkeit der Lidar-Messungen steigen und die maximale Entfernung, welche vermessen werden kann, sinkt.
-
Bei einem gleichzeitigen Betrieb einer Lidar-Einrichtung und eines NIR-Sensors treten aufgrund der Lidar-Punktbeleuchtung in einer Aufnahme des NIR-Sensors belichtungszeitabhängig Streifenmuster, Interferenzen und Aliasing auf.
-
Darüber hinaus führt ein Dauerbetrieb der Beleuchtungseinrichtung zu einer hohen Wärmeentwicklung, welche sich nachteilig auf eine optimale und gleichmäßige Beleuchtung mittels der Beleuchtungseinrichtung auswirkt.
-
Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zum Synchronisieren einer Beleuchtungseinrichtung, mindestens eines NIR-Sensors und einer Lidar-Einrichtung, eine Steuereinrichtung zur Durchführung eines solchen Verfahrens, eine Erfassungsvorrichtung mit einer solchen Steuereinrichtung und ein Kraftfahrzeug mit einer solchen Erfassungsvorrichtung zu schaffen, wobei die genannten Nachteile zumindest teilweise behoben, vorzugsweise vermieden sind.
-
Die Aufgabe wird gelöst, indem die vorliegende technische Lehre bereitgestellt wird, insbesondere die Lehre der unabhängigen Ansprüche sowie der in den abhängigen Ansprüchen und der Beschreibung offenbarten Ausführungsformen.
-
Die Aufgabe wird insbesondere gelöst, indem ein Verfahren zum Synchronisieren einer Beleuchtungseinrichtung, mindestens eines NIR-Sensors und einer Lidar-Einrichtung geschaffen wird. Der Beleuchtungseinrichtung ist ein Beleuchtungs-Frustum zugeordnet, und der Lidar-Einrichtung ist ein Lidar-Beobachtungsbereich zugeordnet. Weiterhin ist dem mindestens einen NIR-Sensor ein NIR-Beobachtungsbereich zugeordnet, wobei ein Teilbereich des NIR-Beobachtungsbereichs als Auswerte-Bereich ausgewählt wird. Das Beleuchtungs-Frustum, der NIR-Beobachtungsbereich und der Lidar-Beobachtungsbereich überlappen sich zumindest teilweise. Mittels des mindestens einen NIR-Sensors wird eine NIR-Aufnahme mit rollierendem Verschluss erstellt, wobei die Beleuchtungseinrichtung nur dann eingeschaltet wird, wenn mittels des NIR-Sensors der Auswerte-Bereich aufgenommen wird. Darüber hinaus wird der Auswerte-Bereich mittels der Lidar-Einrichtung nur dann vermessen, wenn die Beleuchtungseinrichtung ausgeschaltet ist.
-
Vorteilhafterweise wird die Umgebungshelligkeit für die Lidar-Einrichtung nicht erhöht, wenn die Lidar-Einrichtung den Auswerte-Bereich vermisst, da in dieser Zeitspanne keine Beleuchtung mittels der Beleuchtungseinrichtung stattfindet. Weiterhin findet vorteilhafterweise keine Lidar-Punktbeleuchtung statt, wenn mittels des NIR-Sensors der Auswerte-Bereich aufgenommen wird. Außerdem wird eine Überhitzung der Beleuchtungseinrichtung durch eine Vermeidung eines Dauerbetriebs der Beleuchtungseinrichtung verhindert. Damit wird eine optimale und gleichmäßige Beleuchtung mittels der Beleuchtungseinrichtung und eine erhöhte Lebensdauer der Beleuchtungseinrichtung gewährleistet.
-
Im Kontext der vorliegenden technischen Lehre ist ein rollierender Verschluss, welcher auch mit dem englischen Fachbegriff „rolling shutter“ bezeichnet wird, ein Verfahren zum Erstellen einer Aufnahme, bei welchem eine Sensorfläche eines Sensors abschnittsweise, insbesondere zeilenweise, in einer zeitlichen Abfolge belichtet wird und somit auch die Aufnahme des Sensors abschnittsweise, insbesondere zeilenweise, aufgenommen wird. Vorzugsweise erfolgt die abschnittsweise Aufnahme von oben nach unten.
-
In einer Ausführungsform des Verfahrens ist der Auswerte-Bereich ein horizontaler Teilbereich des NIR-Beobachtungsbereichs.
-
In einer bevorzugten Ausführungsform des Verfahrens wird des Beleuchtungs-Frustum nur dann mittels der Lidar-Einrichtung vermessen, wenn die Beleuchtungseinrichtung ausgeschaltet ist. Alternativ wird die Beleuchtungseinrichtung nur dann eingeschaltet, wenn mittels der Lidar-Einrichtung das Beleuchtungs-Frustum nicht vermessen wird. Alternativ wird die Beleuchtung mittels der Beleuchtungseinrichtung und die Vermessung mittels der Lidar-Einrichtung derart aufeinander abgestimmt, dass die Beleuchtung entweder eingeschaltet ist oder das Beleuchtungs-Frustum mittels der Lidar-Einrichtung vermessen wird.
-
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass das Verfahren zyklisch durchgeführt wird. In einem Zyklus wird eine NIR-Aufnahme des Auswerte-Bereichs aufgenommen und der Auswerte-Bereich wird einmal mittels der Lidar-Einrichtung vermessen.
-
In einer Ausführungsform des Verfahrens wird der Zyklus kontinuierlich wiederholt, und vorteilhafterweise werden damit kontinuierlich NIR-Aufnahmen erstellt und der Lidar-Beobachtungsbereich wird kontinuierlich vermessen.
-
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass das Verfahren zyklisch durchgeführt wird. In einem Zyklus werden zwei NIR-Aufnahmen des Auswerte Bereichs aufgenommen und der Auswerte-Bereich wird einmal mittels der Lidar-Einrichtung vermessen. Vorzugsweise wird der Zyklus kontinuierlich wiederholt.
-
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass der Lidar-Beobachtungsbereich mittels der Lidar-Einrichtung horizontal überstrichen wird.
-
In einer bevorzugten Ausführungsform des Verfahrens ist der Lidar-Beobachtungsbereich in eine Vielzahl von vertikalen Abschnitten unterteilt. Die Vermessung des Lidar-Beobachtungsbereichs mittels der Lidar-Einrichtung erfolgt abschnittsweise durch horizontales Scannen der vertikalen Abschnitte, insbesondere von links nach rechts oder alternativ von rechts nach links.
-
Gemäß einer Weiterbildung der Erfindung ist alternativ vorgesehen, dass der Lidar-Beobachtungsbereich mittels der Lidar-Einrichtung vertikal überstrichen wird.
-
In einer bevorzugten Ausführung des Verfahrens ist der Lidar-Beobachtungsbereich in eine Vielzahl von horizontalen Abschnitten unterteilt. Die Vermessung des Lidar-Beobachtungsbereichs mittels der Lidar-Einrichtung erfolgt abschnittsweise durch vertikales Scannen der horizontalen Abschnitte, insbesondere von oben nach unten oder alternativ von unten nach oben.
-
Die Aufgabe wird auch gelöst, indem eine Steuereinrichtung geschaffen, die eingerichtet ist um ein erfindungsgemäßes Verfahren oder ein Verfahren nach einer der zuvor beschriebenen Ausführungsformen durchzuführen. In Zusammenhang mit der Steuereinrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren erläutert wurden.
-
Die Steuereinrichtung ist bevorzugt mit der Beleuchtungseinrichtung, dem mindestens einen NIR-Sensor und der Lidar-Einrichtung wirkverbunden und eingerichtet zu deren jeweiliger Ansteuerung.
-
Die Aufgabe wird auch gelöst, in dem eine Erfassungsvorrichtung geschaffen wird, die eine Beleuchtungseinrichtung, mindestens einen NIR-Sensor, eine Lidar-Einrichtung und eine erfindungsgemäße Steuereinrichtung oder eine Steuereinrichtung nach einem der zuvor beschriebenen Ausführungsbeispiele aufweist. In Zusammenhang mit der Erfassungsvorrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren und der Steuereinrichtung erläutert wurden.
-
In einem bevorzugten Ausführungsbeispiel der Erfassungsvorrichtung weist die Beleuchtungseinrichtung mindestens einen Oberflächenemitter, insbesondere einen sogenannten VCSE-Laser (Vertical-Cavity Surface-Emitting Laser), auf.
-
Die Aufgabe wird schließlich auch gelöst, indem ein Kraftfahrzeug mit einer erfindungsgemäßen Erfassungsvorrichtung oder einer Erfassungsvorrichtung nach einem der zuvor beschriebenen Ausführungsbeispiele geschaffen wird. In Zusammenhang mit dem Kraftfahrzeug ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren, der Steuereinrichtung und der Erfassungsvorrichtung erläutert wurden.
-
In bevorzugter Ausgestaltung ist das Kraftfahrzeug als Lastkraftwagen ausgebildet. Es ist aber auch möglich, dass das Kraftfahrzeug ein Personenkraftwagen, ein Nutzfahrzeug, oder anderes Kraftfahrzeug ist.
-
Die Erfindung wird im Folgenden anhand der Zeichnung näher erläutert.
-
Dabei zeigen:
- 1 eine schematische Darstellung eines Ausführungsbeispiels eines Kraftfahrzeugs mit einer Erfassungsvorrichtung, einem zugehörigen Beleuchtungs-Frustum, einem zugehörigen Lidar-Beobachtungsbereich, einem zugehörigen NIR-Beobachtungsbereich und einem Auswerte-Bereich,
- 2 eine schematische Darstellung einer ersten Ausführungsform einer Synchronisation von einer Beleuchtungseinrichtung, einem NIR-Sensor und einer Lidar-Einrichtung, und
- 3 eine schematische Darstellung einer zweiten Ausführungsform einer Synchronisation von einer Beleuchtungseinrichtung, einem NIR-Sensor und einer Lidar-Einrichtung.
-
1 zeigt ein Ausführungsbeispiel eines Kraftfahrzeugs 1, insbesondere einen Lastkraftwagen, mit einer Erfassungsvorrichtung 3. Die Erfassungsvorrichtung 3 weist eine Beleuchtungseinrichtung 5, einen NIR-Sensor 7, eine Lidar-Einrichtung 9 und eine Steuereinrichtung 11 auf. Die Steuereinrichtung 11 ist in nicht explizit dargestellter Weise mit der Beleuchtungseinrichtung 5, dem NIR-Sensor 7 und der Lidar-Einrichtung 9 wirkverbunden und eingerichtet zu deren jeweiliger Ansteuerung.
-
Der Beleuchtungseinrichtung 5, welche vorzugsweise mindestens einen Oberflächenemitter, insbesondere einen sogenannten VCSE-Laser, aufweist, ist ein Beleuchtungs-Frustum 13 zugeordnet. Dem NIR-Sensor 7 ist ein NIR-Beobachtungsbereich 15 zugeordnet, wobei ein Teilbereich des NIR-Beobachtungsbereichs als Auswerte-Bereich 17 ausgewählt wird. Weiterhin ist der Lidar-Einrichtung 9 ein Lidar-Beobachtungsbereich 19 zugeordnet. Außerdem überlappen sich das Beleuchtungs-Frustum 13, der NIR-Beobachtungsbereich 15 und der Lidar-Beobachtungsbereich 19 zumindest teilweise.
-
Mittels des NIR-Sensors 7 wird eine NIR-Aufnahme mit rollierendem Verschluss erstellt. Die Beleuchtungseinrichtung 5, der NIR-Sensor 7 und die Lidar-Einrichtung 9 werden derart synchronisiert, dass die Beleuchtungseinrichtung 5 nur dann eingeschaltet wird, wenn mittels des NIR-Sensors 7 der Auswerte-Bereich 17 aufgenommen wird. Zusätzlich wird der Auswerte-Bereich 17 mittels der Lidar-Einrichtung 9 nur dann vermessen, wenn die Beleuchtungseinrichtung 5 ausgeschaltet ist.
-
Vorzugsweise wird das Verfahren zyklisch durchgeführt wird. In einem Zyklus wird eine NIR-Aufnahme des Auswerte-Bereichs 17 aufgenommen und der Auswerte-Bereich 17 wird einmal mittels der Lidar-Einrichtung 9 vermessen.
-
Alternativ werden in einem Zyklus zwei NIR-Aufnahmen des Auswerte Bereichs 17 aufgenommen und der Auswerte-Bereich 17 wird einmal mittels der Lidar-Einrichtung 9 vermessen.
-
2 zeigt eine schematische Darstellung einer ersten Ausführungsform eines Verfahrens zum Synchronisieren der Beleuchtungseinrichtung 5, des NIR-Sensors 7 und der Lidar-Einrichtung 9. In den 2 a) bis 2 f) ist ein Querschnitt durch das Beleuchtungs-Frustum 13, den NIR-Beobachtungsbereich 15, den Auswerte-Bereich 17 und den Lidar-Beobachtungsbereich 19 zu sechs unterschiedlichen aufeinanderfolgenden Zeitpunkten dargestellt.
-
Die Lidar-Einrichtung 9 überstreicht den Lidar-Beobachtungsbereich 19 horizontal, insbesondere von links nach rechts. Dabei wird zu jedem Zeitpunkt ein vertikaler Abschnitt 21 mittels der Lidar-Einrichtung 9 vermessen.
-
In 2 a) überschneiden sich der vertikale Abschnitt 21 und der Auswerte-Bereich 17. In diesem Fall ist die Beleuchtungseinrichtung 5 ausgeschaltet, um die Umgebungshelligkeit nicht zu erhöhen und eine optimale und robuste Messung mittels der Lidar-Einrichtung 9 zu ermöglichen. Entsprechend wird mit dem NIR-Sensor 7 keine Aufnahme des Auswerte-Bereichs 17 erstellt.
-
In 2 b) überschneiden sich der vertikale Abschnitt 21 und das Beleuchtungs-Frustum 13. Analog zu 2 a) ist in diesem Fall die Beleuchtungseinrichtung 5 ausgeschaltet und es wird keine Aufnahme mittels des NIR-Sensors 7 aufgenommen.
-
In 2 c) überschneiden sich ausschließlich der vertikale Abschnitt 21 und der Lidar-Beobachtungsbereich 19. Daher wird zu diesem Zeitpunkt die Beleuchtungseinrichtung 5 eingeschaltet und der NIR-Sensors 7 beginnt mit dem rollierenden Verschluss den Auswerte-Bereich 17 aufzunehmen.
-
In 2 d) und 2 e) überschneiden sich, analog zu 2 c), nur der vertikale Abschnitt 21 und der Lidar-Beobachtungsbereich 19. Daher ist die Beleuchtungseinrichtung 5 immer noch eingeschaltet und mittels des NIR-Sensors 7 wird weiterhin der Auswerte-Bereich 17 mit dem rollierenden Verschluss aufgenommen. Sobald die Aufnahme des Auswerte-Bereichs 17 mittels des NIR-Sensors 7 abgeschlossen ist, wird die Beleuchtungseinrichtung 5 ausgeschaltet.
-
In 2 f) überschneiden sich, analog zu 2 b), der vertikale Abschnitt 21 und das Beleuchtungs-Frustum 13. Daher ist in diesem Fall die Beleuchtungseinrichtung 5 ausgeschaltet und es wird keine Aufnahme mittels des NIR-Sensors 7 aufgenommen.
-
Eine erste Geschwindigkeit, mit welcher der NIR-Sensor 7 ein NIR-Aufnahme des Auswerte-Bereichs 17 erstellt, und eine zweite Geschwindigkeit, mit welcher die Lidar-Einrichtung 9 den Lidar-Beobachtungsbereich 19 vermisst, sind derart aufeinander abgestimmt, dass in einem Durchgang, dargestellt mittels der 2 a) bis 2 f), der Auswerte-Bereich 17 einmal komplett mit dem NIR-Sensor 7 aufgenommen und einmal komplett mit der Lidar-Einrichtung 9 vermessen wird.
-
3 zeigt eine schematische Darstellung einer zweiten Ausführungsform des Verfahrens zum Synchronisieren der Beleuchtungseinrichtung 5, des NIR-Sensors 7 und der Lidar-Einrichtung 9. In den 3 a) bis 3 f) ist ein Querschnitt durch das Beleuchtungs-Frustum 13, den NIR-Beobachtungsbereich 15, den Auswerte-Bereich 17 und den Lidar-Beobachtungsbereich 19 zu sechs unterschiedlichen aufeinanderfolgenden Zeitpunkten dargestellt.
-
Die Lidar-Einrichtung 9 überstreicht den Lidar-Beobachtungsbereich 19 vertikal, insbesondere von oben nach unten. Dabei wird zu jedem Zeitpunkt ein horizontaler Abschnitt 23 mittels der Lidar-Einrichtung 9 vermessen.
-
In 3 a) und 3 b) überschneiden sich der horizontale Abschnitt 23 und der Auswerte-Bereich 17. In diesem Fall ist die Beleuchtungseinrichtung 5 ausgeschaltet, um die Umgebungshelligkeit nicht zu erhöhen und eine optimale und robuste Messung mittels der Lidar-Einrichtung 9 zu ermöglichen. Entsprechend wird mit dem NIR-Sensor 7 keine Aufnahme des Auswerte-Bereichs 17 erstellt.
-
In 3 c) überschneiden sich der horizontale Abschnitt 23 und der Auswerte-Bereich 17 nicht. Daher wird zu diesem Zeitpunkt die Beleuchtungseinrichtung 5 eingeschaltet und der NIR-Sensors 7 beginnt mit dem rollierenden Verschluss den Auswerte-Bereich 17 aufzunehmen. Zu diesem Zeitpunkt wird der NIR-Sensor 7 nicht mehr durch eine Lidar-Punktbelichtung im horizontalen Abschnitt 23 gestört.
-
In 3 d) überschneiden sich nur der horizontale Abschnitt 23 und der Lidar-Beobachtungsbereich 19. Daher ist die Beleuchtungseinrichtung 5 immer noch eingeschaltet und mittels des NIR-Sensors 7 wird weiterhin der Auswerte-Bereich 17 mit dem rollierenden Verschluss aufgenommen.
-
In 3 e) und 3 f) überschneiden sich, analog zu 3 c), der horizontale Abschnitt 23 und der Auswerte-Bereich 17 nicht. Daher ist die Beleuchtungseinrichtung 5 immer noch eingeschaltet und mittels des NIR-Sensors 7 wird weiterhin der Auswerte-Bereich 17 mit dem rollierenden Verschluss aufgenommen. Sobald die Aufnahme des Auswerte-Bereichs 17 mittels des NIR-Sensors 7 abgeschlossen ist, wird die Beleuchtungseinrichtung 5 ausgeschaltet.
-
Bei der zweiten Ausführungsform des Verfahrens gemäß 3 ist die Beleuchtungseinrichtung 5 eingeschaltet, während ein Teilbereich des Beleuchtungs-Frustums 13 von der Lidar-Einrichtung 9 vermessen wird, dargestellt in den 3 c), 3 e) und 3 f). Zu diesen Zeitpunkten wird die Messung der Lidar-Einrichtung 9 von der Beleuchtung mittels der Beleuchtungseinrichtung 5 gestört, was bei dieser Ausführungsform aber hingenommen wird.
-
Analog zu 2 sind die erste Geschwindigkeit, mit welcher der NIR-Sensor 7 ein NIR-Aufnahme des Auswerte-Bereichs 17 erstellt, und die zweite Geschwindigkeit, mit welcher die Lidar-Einrichtung 9 den Lidar-Beobachtungsbereich 19 vermisst, derart aufeinander abgestimmt, dass in einem Durchgang, dargestellt mittels der 3 a) bis 3 f), der Auswerte-Bereich 17 einmal komplett mit dem NIR-Sensor 7 aufgenommen wird und einmal komplett mit der Lidar-Einrichtung 9 vermessen wird.
