DE102017222614A1

DE102017222614A1 - Vorrichtung zur Umgebungserfassung sowie Verfahren zu dessen Betrieb

Info

Publication number: DE102017222614A1
Application number: DE102017222614.5A
Authority: DE
Inventors: Annemarie Holleczek; Tobias Peterseim
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2017-12-13
Filing date: 2017-12-13
Publication date: 2019-06-13

Abstract

Es wird eine Vorrichtung zur Umgebungserfassung beschrieben, welche ein LiDAR-System (10) zur optischen Abstandsbestimmung von Objekten (50) innerhalb des optisch zugänglichen Bereichs einer Umgebung der Vorrichtung und ein Kamerasystem (20) zur Erstellung photographischer Aufnahmen eines Sichtbereichs einer Umgebung der Vorrichtung umfasst, wobei der optisch zugängliche Bereich des LiDAR-Systems (10) und der Sichtbereich des Kamerasystems (20) ein gemeinsames Sichtfeld unter einem einheitlichen Blickwinkel erfassen, wobei das LiDAR-System (10) und das Kamerasystem (20) in einem gemeinsamen Gehäuse (40) zu einer funktionalen Einheit angeordnet sind.
Ferner wird ein entsprechendes Verfahren zum Betrieb einer Vorrichtung zur Umgebungserfassung vorgeschlagen, wobei eine Verschmelzung der vom LiDAR-System (10) und vom Kamerasystem (20) erfassten Umgebungsdaten über ein Mittel zur Datenreduktion innerhalb der Vorrichtung zu einem gemeinsamen Datensatz erfolgt.

Description

Die vorliegende Erfindung betrifft eine Vorrichtung zur Umgebungserfassung, bevorzugt eine Vorrichtung zur verfahrensübergreifenden Umgebungserfassung, sowie ein Verfahren zum Betrieb einer solchen Vorrichtung.
Stand der Technik
Insbesondere bei autonom fahrenden Systemen wie Fahrzeugen und Robotern kommt einer kontinuierlichen Erfassung der unmittelbaren Systemumgebung besondere Bedeutung zu. Solche Systeme sollen vor allem sicher und zuverlässig dazu in der Lage sein, Hindernisse, andere Fahrzeuge oder Roboter, Menschen oder Tiere fehlerfrei erfassen zu können. Dadurch kann bei einem ausreichenden zeitlichen Vorlauf bei der Erfassung ein Zusammenstoß mit diesen Objekten verhindert werden. Eine Umgebungserfassung kann durch unterschiedliche Verfahren realisiert werden, wobei die einzelnen Verfahren zumeist nur für bestimmte Einsatzbedingungen optimal geeignet sind.
Für gewöhnlich werden zur Umgebungserfassung daher die sensorischen Daten vieler verschiedener Systeme, die auf verschiedenen physikalischen Messungen beruhen, miteinander verfahrensübergreifend kombiniert. Dies wird für gewöhnlich nach einer Messung der Daten auf digitalem Weg durchgeführt, man spricht von Sensordatenfusion. Dies hat jedoch den Nachteil, dass zumeist völlig ungleichartige Vorrichtungen, jeweils mit ganz bestimmten Anforderungen an Einbau und Einsatzort (zum Beispiel hinsichtlich Platzbedarf, Einbauposition, Ansteuerung), miteinander zu einem gemeinsamen System integriert werden müssen. Weiterhin können die dabei ermittelten Sensordaten oftmals nur durch eine aufwendige Datenkorrektur miteinander in Bezug gebracht werden, sodass hierbei die Verarbeitungszeit des Systems beziehungsweise dadurch bedingt auch Reaktionszeit eines Kraftfahrzeugs deutlich gegenüber einer Erfassung mit nur einem einzigen Verfahren herabgesetzt wird.
Beispielsweise werden im autonomen Bereich häufig Kameras mit LiDAR-Systemen kombiniert. LiDAR-Systeme sind insbesondere den Druckschriften US 7,969,558 B2 , US 8,767,190 B2 , DE 101 14 362 A1 oder US 2010/0128109 A1 zu entnehmen, während es sich bei Kameras um allgemein bekannte Systeme zur photographischen Aufnahme einer Umgebung handelt. Bei einer Kombination beider Systeme können Hindernisse unabhängig voneinander detektiert werden, wobei Fehler (insbesondere Falsch-negativ-Fehler) bei der Erfassung vermieden werden können. Durch unterschiedliche Einbauorte von Kamera und LiDAR besitzen diese verschiedene Blickwinkel auf die zu beobachtende Szenerie. Anschließend müssen diese Daten entsprechend einem auftretenden Versatz (Winkel- und/oder Sichtfeldversatz) zur Auswertung aufwendig fusioniert werden.
Um die Verfügbarkeit der unterschiedlichen Sensoren gewährleisten zu können, müssen diese stets sauber gehalten werden. Dies macht den Einsatz eines Verschmutzungssensors und eines entsprechenden Reinigungssystems für jeden einzelnen Sensor notwendig. Bei einer Vielzahl unterschiedlicher Sensoren an verschiedenen Einbauorten bedeutet dies einen erheblichen Mehraufwand an nebengeordneten Systemen, welche ebenfalls in das jeweilige Sensorsystem mit integriert werden müssen.
Aus der Druckschrift DE 10 2016 006 039 A1 ist beispielsweise eine Reinigungseinrichtung eines Sensormoduls, insbesondere eines Kraftwagens, mit zwei Sensoren bekannt, bei dem zumindest einer der zwei Sensoren eine Kamera, eine Infrarotkamera, ein Infrarotsensor, ein LiDAR-Sensor, ein Radarsensor oder ein Ultraschallsensor sein kann. Bei der zugrundeliegenden Vorrichtung handelt es sich um einen relativ großvolumigen Dachaufbau, in dem verschiedene, voneinander unabhängige Systeme zur Umgebungserfassung miteinander kombiniert werden. Die einzelnen Systeme arbeiten unabhängig voneinander und weisen individuelle Außenfenster aus. Eine Reinigung der einzelnen optischen Systeme hat somit ebenfalls individuell über eine jeweils zugeordnete Reinigungseinheit zu erfolgen. Ein entsprechender Dachaufbau fällt einem Betrachter immer sofort ins Auge, daher ist ein verdeckter Einbau nicht möglich und es gibt keinen ausreichenden Raum für designtechnische Ausgestaltungen. Zudem wird der Widerstandsbeiwert (cw-Wert) eines Fahrzeugs durch den Dachaufbau erheblich vergrößert.
Offenbarung der Erfindung
Erfindungsgemäß wird eine Vorrichtung zur Umgebungserfassung zur Verfügung gestellt, welche die im Stand der Technik auftretenden Probleme bezüglich des Einbaus, des Einbauvolumens, der Ausrichtung und der Reinhaltung der Vorrichtung vermeidet oder zumindest deutlich vermindert.
Eine erfindungsgemäße Vorrichtung zur Umgebungserfassung umfasst ein LiDAR-System zur optischen Abstandsbestimmung von Objekten innerhalb des optisch zugänglichen Bereichs einer Umgebung der Vorrichtung und ein Kamerasystem zur Erstellung photographischer (beziehungsweise video-photographischer) Aufnahmen eines Sichtbereichs einer Umgebung der Vorrichtung, wobei der optisch zugängliche Bereich des LiDAR-Systems und der Sichtbereich des Kamerasystems ein gemeinsames Sichtfeld bzw. Field-of-View (FoV) unter einem einheitlichen Blickwinkel erfassen, wobei das LiDAR-System und das Kamerasystem in einem gemeinsamen Gehäuse zu einer funktionalen Einheit angeordnet sind.
Unter einem LiDAR-System wird hierbei insbesondere ein auf Strahlungsreflexion basierender räumlicher 3D-Scanner verstanden (optoelektrischer 3D-Sensor). Die Transmissions- und Ausbreitungseigenschaften der von der Vorrichtung emittierten Strahlung definieren dabei den optisch zugänglichen Bereich in der Umgebung der Vorrichtung, das heißt, der optisch zugängliche Bereich einer Umgebung der Vorrichtung wird durch Objekte begrenzt, deren Strukturen gerade noch eine auf die Vorrichtung gerichtete und vom LiDAR-System detektierbare Reflektion bzw. Streuung der auf sie einfallenden Strahlung erzeugen. Aus der Zeitdifferenz zwischen dem in einem Detektor gemessenen Signal des rückreflektierten bzw. gestreuten Lichts und dem jeweiligen Aussendezeitpunkt kann dann der Abstand zu dem Objekt beziehungsweise zu der reflektierenden Oberfläche bestimmt werden.
Unter einem Kamerasystem ist sowohl ein zur (kontinuierlichen) Einzelbilderzeugung als auch eine für das permanente Aufnehmen von Videos eingerichtetes photographisches (video-photographisches) Aufnahmegerät zu verstehen. Der Sichtbereich der Vorrichtungsumgebung entspricht dabei im Wesentlichen dem optisch zugänglichen Bereich des LiDAR-Systems. Je nach den in den beiden Sensoren zur Umgebungserfassung genutzten Wellenlängenbereichen und den sonstigen optischen Eigenschaften kann es hierbei jedoch durchaus zu Abweichungen kommen.
Der Öffnungsbereich (insbesondere Winkelbereich) bei einer sensorischen Erfassung wird im Allgemeinen als Sichtfeld bzw. Field-of-View (FoV) bezeichnet. Das gemeinsame Sichtfeld von LiDAR-System und Kamerasystem ergibt sich dabei als Schnittmenge des optisch zugänglichen Bereichs des LiDAR-Systems und dem Sichtbereich des Kamerasystems. Das gemeinsame Sichtfeld wird dabei erfindungsgemäß unter einem einheitlichen, das heißt im Wesentlichen gleichen, Blickwinkel erfasst. Dies bedeutet, dass die beiden sich außerhalb der Vorrichtung ausbreitenden Hauptstrahlen (zum Beispiel optischer Weg der Mittelstrahlen) der einzelnen Systeme in Bezug auf die Richtung auf einen Punkt eines bestimmten Objektes im Wesentlichen parallel zueinander ausgerichtet sind.
Ein im Wesentlichen gleicher Blickwinkel liegt insbesondere vor, wenn die Winkelabweichung der beiden Hauptstahlen für Punkte in einer Entfernung größer als 1 m vor dem gemeinsamen Außenfenster vorzugsweise unterhalb von 20°, bevorzugter unterhalb von 10°, bevorzugter unterhalb von 5°, bevorzugter unterhalb von 1°, und noch bevorzugter unterhalb von 0,1° liegt. Besonders bevorzugt sind die Hauptstrahlen der einzelnen Systeme in Bezug auf die Richtung auf einen Punkt eines bestimmten Objektes einander überlagernd ausgebildet. In diesem Fall erfolgen die Bildentstehung am Kamerasystem und die Strahlungsdetektion am LiDAR-System über ein und denselben vom Objektpunkt ausgehenden und bis zum Außenfenster laufenden optischen Pfad.
Das LiDAR-System und das Kamerasystem sind vorzugsweise in einem gemeinsamen Gehäuse zu einer funktionalen Einheit mit einem gemeinsamen Außenfenster angeordnet. Dies bedeutet, dass die gesamte zur Umgebungserfassung genutzte Strahlung durch ein gemeinsames Außenfenster ein- beziehungsweise ausdurchtritt. Eine funktionale Einheit im Sinne der Erfindung stellt insbesondere eine Anordnung von optischen Komponenten (LiDAR-Empfangseinheit, LiDAR-Sendeeinheit, Detektor des Kamerasystems) dar, welche zumindest teilweise über einen gemeinsamen optischen Pfad verfügen. Als Außenfenster wird ein optisches Element bezeichnet, durch das der Innenraum des Gehäuses einer erfindungsgemäßen Vorrichtung von der Umgebung abgegrenzt wird und welches durchlässig für die zur Umgebungserfassung verwendeten Strahlungsarten ist. Das Außenfenster kann zusätzliche optische Funktionalitäten aufweisen (zum Beispiel Linsenwirkung, spektrale Filterung und /oder Abschwächung). Das Außenfenster hat dabei vorzugsweise die Eigenschaft, dass die Wellenlängen der für das LiDAR-Systems und die Kamera relevanten Strahlungen vom Außenfenster transmittiert werden können.
Weiterhin betrifft die vorliegende Erfindung einen Scheinwerfer für ein Kraftfahrzeug mit einer erfindungsgemäßen Vorrichtung zur Umgebungserfassung sowie ein entsprechendes Kraftfahrzeug.
Das erfindungsgemäße Verfahren zum Betrieb einer Vorrichtung zur Umgebungserfassung umfasst grundsätzlich folgende Schritte:

a) Bereitstellen einer erfindungsgemäßen Vorrichtung zur Umgebungserfassung,
b) optische Abstandsbestimmung von Objekten innerhalb des optisch zugänglichen Bereichs einer Umgebung der Vorrichtung mittels des LiDAR-Systems,
c) Erstellung photographischer Aufnahmen eines Sichtbereichs einer Umgebung der Vorrichtung mittels des Kamerasystems,
d) Verschmelzung der vom LiDAR-System und vom Kamerasystem erfassten Umgebungsdaten über ein Mittel zur Datenreduktion innerhalb der Vorrichtung zu einem gemeinsamen Datensatz.

Vorteile der Erfindung
Die erfindungsgemäße Vorrichtung zur Umgebungserfassung hat den Vorteil, dass ein LiDAR-Sensor mit einem Kameramodul zu einer integrierten Sensoreinheit kombiniert wird. Da vor dem Hintergrund des autonomen Fahrens beziehungsweise teilautomatisierter Fahrfunktionen beide Sensoren in jedem Fall verbaut werden müssen, kann hierbei ein effizienter Sensor geschaffen werden, der zusätzlich dazu auch die Möglichkeit eines verdeckten Einbaus in autonom agierende Systeme, zum Beispiel Fahrzeuge oder Roboter, eröffnet. Ein weiteres Anwendungsfeld liegt in der Innenraumüberwachung eines Automobils, insbesondere für hochautomatisierte Fahrfunktionen. Eine solche Überwachung ist unter der Bezeichnung Driver Monitoring bekannt. Weitere Anwendungsfelder liegt im Bereich Smart Home als Überwachungsvorrichtung. Ein zusätzliches industrielles Anwendungsfeld kann auch die Lagerlogistik, beispielsweise für entsprechende Robotersysteme, sein.
Im Gegensatz zu Dachinstallationen gemäß dem Stand der Technik kann durch einen verdeckten Einbau in Fahrzeugen der Widerstandbeiwert (cw-Wert) eines Fahrzeuges erhalten bleiben. Auch das Fahrzeugdesign wird nicht durch eventuelle zusätzliche Komponenten beschwert, was die Akzeptanz solcher integrierten Systeme beim Endverbraucher erhöht. Der notwendige Bauraum kann reduziert werden.
Ein weiterer Vorteil einer erfindungsgemäßen Vorrichtung liegt darin, dass durch eine gesteigerte physikalische Nähe der einzelnen Sensorelemente keine aufwendige Daten-Nachverarbeitung zum Ausgleich von Sichtfeldbeziehungsweise Blickwinkelabweichungen erforderlich ist (einheitliches Sichtfeld). Die erhaltenen Daten können somit bereits innerhalb der Vorrichtung ohne zusätzlichen Rechenaufwand (zum Beispiel Transformationen) fusioniert und an anschließend an andere Komponenten eines autonomen Systems weitergeleitet werden. Dadurch kann neben einem reduzierten Rechenaufwand auch eine Verkürzung der Bearbeitungszeit erreicht werden. Dies kann sich besonders positiv auf die Reaktionszeit eines autonomen Systems auswirken.
Des Weiteren wird das notwendige Volumen, dass bei einem getrennten Einbau der einzelnen Systeme groß ist, durch den gemeinsamen Verbau verringert und optimiert.
Weiterhin benötigt eine erfindungsgemäße Vorrichtung aufgrund des gemeinsam für beide Sensorsysteme genutzten Außenfensters nur ein Reinigungssystem sowie ein Detektionssystem für Verschmutzungen. Dadurch kann der Aufwand zum Erhalt der optischen Abbildungsqualität minimiert und die Ausfallsicherheit in Bezug auf verschmutzungsbedingte Ursachen deutlich erhöht werden.
Durch die direkte optische Verknüpfung beider Sensorsysteme (gleiches Sichtfeld bzw. einheitlicher Blickwinkel) können diese effektiv miteinander kombiniert werden. Insbesondere können auch preisgünstiger Sensoren mit geringerer Auflösung derart miteinander kombiniert werden, dass auch hierbei eine ausreichend genaue Umgebungserfassung ermöglicht wird. Insbesondere können die Anforderungen an das LiDAR dadurch reduziert werden, dass ein Objekt nicht vollständig mittels LiDAR erfasst werden muss, wenn eine Objekterkennung auch sehr effizient und rein visuell über das Kamerasystem erfolgen kann. In einem solchen Fall ist der Einsatz einfacher LiDAR-Systeme mit geringer Auflösung vollkommen ausreichend, da einem erkannten Objekt beispielsweise nicht flächig sondern nur an einzelnen Punkten (bzw. an einem einzelnen Punkt) eine Entfernung zugeordnet werden braucht. Ein entsprechendes Verfahren zum Betrieb einer Vorrichtung zur Umgebungserfassung kann daher als Schritte eine Objekterkennung in den vom Kamerasystem erfassten Umgebungsdaten und eine anschließende Zuordnung mindestens eines zum erkannten Objekt zugehörigen Abstandswertes aus den Umgebungsdaten des LiDAR-Systems umfassen.
Vorzugsweise werden die vom LiDAR-System und vom Kamerasystem erfassten Umgebungsdaten über ein Mittel zur Datenreduktion innerhalb der erfindungsgemäßen Vorrichtung zur Umgebungserfassung zu einem gemeinsamen Datensatz verschmolzen. Hierdurch kann redundantes Datenmaterial bereits innerhalb einer erfindungsgemäßen Vorrichtung beseitigt werden und der von der Vorrichtung zu anderen Komponenten eines autonomen Systems übertragene Datenstrom kann auf ein Minimum reduziert werden. Da durch eine erfindungsgemäße Kombination der zwei Sensoren keine Nachbearbeitung der jeweils ermittelten Datensätze zum Ausgleich von Sichtfeldbeziehungsweise Winkelabweichungen erforderlich ist, kann eine solche Datenreduktion ohne besonders hohe Anforderung an die notwendige Rechenleistung erfolgen.
Vorzugsweise wird einem Bildpunkt im Sichtbereich des Kamerasystems ein vom LiDAR-System bestimmter Abstandswert zugeordnet. Eine solche Zuordnung kann beispielsweise über ein Mittel zur Datenreduktion erfolgen. Vorteilhaft kann das Kamerabild des Kamerasystems mittels einer Objekterkennung analysiert und den erkannten Objekten ein vom LiDAR-System bestimmter Abstandswert (zum Beispiel für einzelne Objektpunkte) zugeordnet werden. Eine Erfassung der Umgebung kann in diesem Fall aus der Bestimmung einer Menge von Objekten in der Umgebung der erfindungsgemäßen Vorrichtung bestehen, wobei jedem Objekt mindestens ein Abstand zur Vorrichtung (beziehungsweise zu einem bestimmten Bezugspunkt der Vorrichtung) zugeordnet ist. Weiterhin können zum Beispiel die Form, Größe, Lage und Ausrichtung sowie die Geschwindigkeit oder die Beschleunigung der Objekte im Datensatz mit erfasst werden.
Vorzugsweise umfasst das Kamerasystem ein Mittel zur
Umgebungsbeleuchtung, wobei das vom Mittel zur Umgebungsbeleuchtung ausgesandte Beleuchtungslicht spektral in einen bevorzugten Empfindlichkeitsbereich des Kamerasystems fällt. Handelt es sich beispielsweise um eine Kamera für den sichtbaren Spektralbereich, so wäre ein passendes Mittel zur Umgebungsbeleuchtung eine überwiegend im sichtbaren Spektralbereich emittierende Lichtquelle. Durch eine zur Empfindlichkeit des Kamerasystems passende Beleuchtung kann auch bei Dunkelheit oder im Dämmerlicht eine zur Umgebungserfassung geeignete Aufnahme mittels der Kamera erfolgen.
Vorzugsweise kann das Kamerasystem photographische Aufnahmen im sichtbaren (VIS) und/oder infraroten Spektralbereich (IR) erstellen. Im Rahmen dieser Erfindung werden dabei unter dem Begriff des infraroten Spektralbereichs (IR) auch alle Unterbereiche, das heißt insbesondere die Bereiche des nahen Infrarots (NIR), des mittleren Infrarots (MIR) und des fernen Infrarots (FIR), mit erfasst. Eine entsprechende Aufnahme kann auch gelichzeitig in mehreren zusammenhängenden oder disjunkten Spektralbereichen erfolgen. Durch eine photographische Aufnahme im infraroten Spektralbereich können insbesondere bei Dunkelheit störende Blendwirkungen bei umstehenden Personen oder Tieren verhindert werden. Weiterhin ermöglicht ein vom sichtbaren Spektralbereich (VIS) abweichendes Erfassungsfenster auch die Erfassung zusätzlicher, nicht im sichtbaren Spektralbereich erkennbarer Objektinformationen.
Ein weiterer Aspekt der vorliegenden Erfindung betrifft einen Scheinwerfer für ein Kraftfahrzeug mit einer erfindungsgemäßen Vorrichtung zur Umgebungserfassung, wobei die Vorrichtung in den Scheinwerfer integriert ist und das gemeinsame Sichtfeld der Vorrichtung und die Abstrahlrichtung des Scheinwerfers ,im Wesentlichen‘ gleich ausgerichtet sind. Dies bedeutet, dass ein Großteil des vom Scheinwerfer ausgesandten Lichtes in das gemeinsame Sichtfeld von LiDAR-System und Kamerasystem eingestrahlt wird. Unter ,im Wesentlichen‘ ist hierbei zu verstehen, dass zumindest eine vollständige direkte Ausleuchtung des gemeinsamen Sichtfeldes erfolgt.
Ein erfindungsgemäßer Scheinwerfer kann ein weiteres Mittel zur Umgebungsbeleuchtung (das heißt außer der eigentlichen Lichtquelle des Scheinwerfers) im infraroten Spektralbereich umfassen, wobei das vom Mittel zur Umgebungsbeleuchtung ausgesandte Beleuchtungslicht spektral in einen bevorzugten Empfindlichkeitsbereich des Kamerasystems fällt. Dies bedeutet, dass ein beispielsweise im ferninfraroten Spektralbereich besonders empfindliches und zur Bilderzeugung in diesem Spektralbereich eingerichtetes Kamerasystem von einem entsprechend in diesem Spektralbereich emittierenden Mittel zur Umgebungsbeleuchtung unterstützt werden kann (Photolichtfunktion).
Durch den möglichen Einbau einer erfindungsgemäßen Vorrichtung zur Umgebungserfassung in einen Scheinwerfer kann eine Mitnutzung der Scheinwerferperipherie erfolgen. Insbesondere kann das Kamerasystem bei Dunkelheit oder im Dämmerlicht zur Beleuchtung der Umgebung den Scheinwerfer beziehungsweise die darin enthaltene Lichtquelle (überwiegend im sichtbaren Spektralbereich (VIS)) nutzen. Weitere Beleuchtungsquellen für das Kamera-System können ebenfalls mit in die erfindungsgemäße Vorrichtung beziehungsweise den erfindungsgemäßen Scheinwerfer integriert werden, um die Umgebung effizienter beleuchten zu können. Insbesondere lassen sich hierdurch besonders kompakte Nachtsichtkameras realisieren. Vorzugsweise kann eine Nachtsichtkamera für Anwendungen im VIS, FIR-, MIR- und/oder NIR-Bereich eingerichtet sein. Unabhängig davon können die im Rahmen dieser Erfindung eingesetzten Beleuchtungsquellen auch im ultravioletten Spektralbereich (UVA, UVB, UVB) emittieren.
Ein weiterer Aspekt der vorliegenden Erfindung betrifft ein Kraftfahrzeug mit einer erfindungsgemäßen Vorrichtung zur Umgebungserfassung, wobei die Vorrichtung mit einem Steuerungssystem des Kraftfahrzeugs verbunden ist. Unter dem Steuerungssystem eines Fahrzeugs wird dabei insbesondere ein elektronisches Steuerungssystem zur Kontrolle, Regelung und Steuerung des momentanen Fahrzeugzustandes verstanden.
Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben und in der Beschreibung beschrieben.
Figurenliste
Ausführungsbeispiele der Erfindung werden anhand der Zeichnungen und der nachfolgenden Beschreibung näher erläutert. Es zeigen:

1 eine schematische Darstellung einer ersten Ausführungsform einer erfindungsgemäßen Vorrichtung zur Umgebungserfassung,
2 eine schematische Darstellung einer Variante der ersten Ausführungsform einer erfindungsgemäßen Vorrichtung zur Umgebungserfassung,
3 eine schematische Darstellung einer zweiten Ausführungsform einer erfindungsgemäßen Vorrichtung zur Umgebungserfassung, und
4 eine schematische Darstellung einer Variante der zweiten Ausführungsform einer erfindungsgemäßen Vorrichtung zur Umgebungserfassung.

Ausführungsformen der Erfindung
In der 1 ist eine schematische Darstellung einer ersten Ausführungsform einer erfindungsgemäßen Vorrichtung zur Umgebungserfassung gezeigt. Insbesondere ist der schematische Aufbau eines biaxialen optoelektronischen LiDAR-Systems 10 (zum Beispiel Flash-LiDAR, rotierender Makroscanner, Fixbeam LiDAR, Mikroscanner [MEMS basierter Spiegel]) in Kombination mit einem Kamerasystem 20 (Kamera beziehungsweise Videokamera), welches Bilder von der Umgebung in definierten oder variablen Zeitabständen und bestimmten Spektralbereichen aufzeichnet, dargestellt (sogenannte biaxiale Anordnung). Die eingezeichneten Winkelverhältnisse können aus illustrativen Zwecken von den realen Verhältnissen abweichen.
Die gezeigte Vorrichtung zur Umgebungserfassung umfasst ein LiDAR-System 10 zur optischen Abstandsbestimmung von Objekten 50 innerhalb des optisch zugänglichen Bereichs einer Umgebung der Vorrichtung und ein Kamerasystem 20 zur Erstellung photographischer Aufnahmen eines Sichtbereichs einer Umgebung der Vorrichtung. Der optisch zugängliche Bereich des LiDAR-Systems 10 und der Sichtbereich des Kamerasystems 20 erfassen ein gemeinsames Sichtfeld unter einem einheitlichen Blickwinkel, wobei das LiDAR-System 10 und das Kamerasystem 20 in einem gemeinsamen Gehäuse 40 zu einer funktionalen Einheit angeordnet sind. Insbesondere sind das LiDAR-System 10 und das Kamerasystem 20 in einem gemeinsamen Gehäuse 40 mit einem gemeinsamen Außenfenster 42 angeordnet.
Das LiDAR-System 10 besteht vorzugsweise aus einer Sendeeinheit 12, welche sich aus einer Lichtquelle (zum Beispiel Laser, LED, etc.) und einer Sendeoptik (zum Beispiel Linsensystem) zusammensetzt. Das von der Sendeeinheit 12 ausgesandte Licht einer spezifischen Wellenlänge trifft ein in der Umgebung der Vorrichtung innerhalb des Sichtfeldes befindliches zu beobachtendes Objekt 50 (beziehungsweise eine entsprechende Szenerie) und wird in Richtung einer Empfangseinheit 14 zurückgestreut. Das so gestreute Licht durchläuft ein erstes optisches Element 30, das das Licht optional in verschiedene spektrale Anteile aufteilen kann und diese in verschiedene Raumrichtungen ablenkt. Bei solchen Elementen kann es sich zum Beispiel um sogenannte Warm- oder Kaltspiegel, dichroitische Spiegel (richtungsabhängige Lang- oder Kurzpassfilter), Notch-Bandpass-Filter (bekannt aus der Ramanspektroskopie), Reflexions- oder Transmissionsgitter, (polarisationserhaltenden) Strahlteiler, die denselben spektralen Bereich in zwei unterschiedliche Richtungen lenkt, handeln.
Optional kann ein weiteres optisches Element 32 (zum Beispiel Linsen, Linsensystem, Wellenplatte) vor dem ersten optischen Element 30 in den Aufbau integriert werden, um das ausgesandte bzw. das ankommende Licht zu formen bzw. zu leiten. Das weitere optische Element 32 kann sich zur Strahlformung bzw. Strahlleitung auch direkt vor der Sendeeinheit befinden. Die Empfangseinheit 14 für das Licht des LiDAR-Systems 10 besteht im Allgemeinen aus einer Empfängeroptik (zum Beispiel Linsensystem, Mikrolinsen, Spiegel, optische Filter zur Unterdrückung des Hintergrundlichtes) und einem Detektor (zum Beispiel CCD-Chip, APD (Avalanche Photodiode), SPAD (Single Photon Avalanche Diode), Photomultiplier, Bolometer), der abhängig vom Scanning-Typ (zum Beispiel Strahlablenkung durch Makrospiegel oder Mikrospiegel, Makroscanner, bei dem Sender und Empfangseinheit zusammen auf einer Plattform rotiert), aus einem einzelnen Pixel, einer Zeile (1D) oder einem 2D-Array besteht.
Das Kamerasystem 20 besteht aus einer Optik zur Strahlformung bzw. Abbildung (optional auch aus einem optischen Filter zur Unterdrückung von störendem Hintergrundlicht oder Streulicht) und einem Detektor, wobei der Detektor wiederholt ein Bild der Umgebung in festen oder variablen Zeitabständen und bei eventuell unterschiedlicher Belichtungsdauer aufnimmt. Hierbei wird das vom Objekt 50 gestreute Licht, zum Beispiel von der Sonne oder der sonstigen Umgebung, aufgenommen und über das erste optische Element 30 reflektiert beziehungsweise transmittiert und auf das Kamerasystem 20 gelenkt. Vom Kamerasystem 20 wird jedoch nicht das Licht von der Sendeeinheit 12 detektiert, da dieses vorab von dem ersten optischen Element 30 vom restlichen spektralen Bereich getrennt wird.
Es ist zudem möglich, dass optional eine zweite Beleuchtungseinheit (VIS-Lichtquelle (zum Beispiel Scheinwerferlicht), MIR-/FIR-Lichtquelle) für das Kamerasystem mit in den Aufbau integriert wird, sodass man nicht auf das von der Sonne ausgesendete Licht angewiesen ist. Der Detektor kann hierbei ein Einzelelement, eine Zeile (1D) oder ein 2D-Array sein (zum Beispiel CCD- oder CMOS-Sensor, InGaAs- oder Ge-Arrays, Bolometer für das FIR-Licht). Alternativ können die Positionen des Kamerasystems 30 und der Empfängereinheit 12 auch miteinander vertauscht werden.
In der 2 ist eine schematische Darstellung einer Variante der ersten Ausführungsform einer erfindungsgemäßen Vorrichtung zur Umgebungserfassung gezeigt. Die Darstellung entspricht weitestgehend der in 1 gezeigten Darstellung, die Bezugszeichen und deren Zuordnung gelten entsprechend. Im Unterschied zur 1 sind hierbei jedoch die Positionen der Sendeeinheit 12 und der Empfangseinheit 14 miteinander vertauscht. Optional kann ein weiteres optisches Element 32 (zum Beispiel Linsen, Linsensystem, Wellenplatte) vor dem ersten optischen Element 30 in den Aufbau integriert werden, um das ankommende Licht zu formen, zu leiten bzw. auf einen Detektor abzubilden. Das weitere optische Element 32 kann sich zur Strahlformung bzw. Strahlleitung auch direkt vor der Empfangseinheit 14 befinden.
In der 3 eine schematische Darstellung einer zweiten Ausführungsform einer erfindungsgemäßen Vorrichtung zur Umgebungserfassung gezeigt. Insbesondere ist der schematische Aufbau eines koaxialen optoelektronischen LiDAR-Systems 10 in Kombination mit einen Kamerasystem 20 (Kamera beziehungsweise Videokamera), welches Bilder von der Umgebung in definierten oder variablen Zeitabständen und bestimmten Spektralbereichen aufzeichnet, dargestellt (sogenannte koaxiale Anordnung). Die eingezeichneten Winkelverhältnisse können aus illustrativen Zwecken von den realen Verhältnissen abweichen.
Die gezeigte Vorrichtung zur Umgebungserfassung umfasst ein LiDAR-System 10 zur optischen Abstandsbestimmung von Objekten 50 innerhalb des optisch zugänglichen Bereichs einer Umgebung der Vorrichtung und ein Kamerasystem 20 zur Erstellung photographischer Aufnahmen eines Sichtbereichs einer Umgebung der Vorrichtung. Der optisch zugängliche Bereich des LiDAR-Systems 10 und der Sichtbereich des Kamerasystems 20 erfassen ein gemeinsames Sichtfeld unter einem einheitlichen Blickwinkel, wobei das LiDAR-System 10 und das Kamerasystem 20 in einem gemeinsamen Gehäuse 40 zu einer funktionalen Einheit angeordnet sind. Insbesondere sind das LiDAR-System 10 und das Kamerasystem 20 in einem gemeinsamen Gehäuse 40 mit einem gemeinsamen Außenfenster 42 angeordnet.
Das LiDAR-System 10 umfasst vorzugsweise eine Sendeeinheit 12, welche sich aus einer Lichtquelle (zum Beispiel Laser, LED, etc.) und einer Sendeoptik (zum Beispiel Linsensystem mit oder ohne einen optischen Bandpassfilter) zusammensetzt. Das ausgesendete Licht läuft über ein erstes optisches Element 34 und anschließend über ein zweites optisches Element 36. Das erste optische Element 34 kann ein (polarisationserhaltender oder nicht polarisationserhaltender) Strahlteiler sein, aber auch ein Lochspiegel mit Schlitz oder einer anderen komplexen Geometrie ist möglich. Das erste optische Element 34 kann auch ein optischer Zirkulator sein. Des Weiteren kann optional das Licht beim Aussenden weitere optische Elemente 35, 37 (zum Beispiel Linsen oder Fenster/Blenden), insbesondere zur Strahlformung, durchlaufen.
Das von der Sendeeinheit 12 ausgesandete Licht einer spezifischen Wellenlänge trifft ein in der Umgebung der Vorrichtung innerhalb des Sichtfeldes befindliches zu beobachtendes Objekt 50 (beziehungsweise eine entsprechende Szenerie) und wird in Richtung einer Empfangseinheit 14 zurückgestreut. Das so gestreute Licht durchläuft das zweite optische Element 36, welches das Licht optional in verschiedene spektrale Anteile aufteilen kann und diese in verschiedene Raumrichtungen ablenkt. Bei solchen Elementen kann es sich zum Beispiel um sogenannte Warm- oder Kaltspiegel, dichroitische Spiegel (richtungsabhängige Lang- oder Kurzpassfilter), Notch-Bandpass-Filter (bekannt aus der Ramanspektroskopie), Reflexions- oder Transmissionsgitter, (polarisationserhaltenden) Strahlteiler, die denselben spektralen Bereich in zwei unterschiedliche Richtungen lenkt, handeln. Optional kann ein weiteres optisches Element 37 (zum Beispiel Linsen, Linsensystem, Wellenplatte) vor dem zweiten optischen Element 36 in den Aufbau integriert werden, um das ankommende Licht zu formen.
Die Empfangseinheit 14 für das Licht des LiDAR-Systems 10 besteht im Allgemeinen aus einer Empfängeroptik (zum Beispiel Linsensystem, Mikrolinsen, optischen Filter) und einem Detektor (zum Beispiel CCD-Chip, APD (Avalanche Photodiode, SPAD (Single Photon Avalanche Diode), Photomultiplier, Bolometer), der abhängig vom Scanning-Typ (zum Beispiel Strahlablenkung durch Makrospiegel oder Mikrospiegel, Makroscanner, bei dem Sender und Empfangseinheit zusammen auf einer Plattform rotiert), aus einem einzelnen Pixel, einer Zeile (1D) oder einem 2D-Array besteht. Durch das erste optische Element 34 wird nur das vom Objekt 50 zurückreflektierte bzw. rückgestreute Licht in Richtung der Empfangseinheit 14 reflektiert beziehungsweise transmittiert.
Das Kamerasystem 20 besteht aus einer Optik zur Strahlformung (optional auch aus einem optischen Filter zur Unterdrückung von störendem Hintergrundlicht oder Streulicht) und einem Detektor, wobei der Detektor wiederholt ein Bild der Umgebung in festen oder variablen Zeitabständen und bei eventuell unterschiedlicher Belichtungsdauer aufnimmt. Hierbei wird das vom Objekt 50 gestreute Licht, zum Beispiel von der Sonne oder der sonstigen Umgebung, aufgenommen und über das zweite optische Element 36 reflektiert beziehungsweise transmittiert und auf das Kamerasystem 20 gelenkt. Vom Kamerasystem 20 wird jedoch nicht das Licht von der Sendeeinheit 12 detektiert, da dieses vorab von dem zweiten optischen Element 36 vom restlichen spektralen Bereich getrennt wird.
Es ist zudem möglich, dass optional eine zweite Beleuchtungseinheit (VIS-Lichtquelle (zum Beispiel Scheinwerferlicht), MIR-/FIR-Lichtquelle) für das Kamerasystem mit in den Aufbau integriert wird, sodass man nicht auf das von der Sonne ausgesendete Licht angewiesen ist. Der Detektor kann hierbei ein Einzelelement, eine Zeile (1D) oder ein 2D-Array sein (zum Beispiel CCD-Sensor, InGaAs- oder Ge-Arrays, Bolometer für das FIR-Licht). Alternativ können die Positionen des Kamerasystems 20 und der Empfängereinheit 12 auch miteinander vertauscht werden.
In der 4 ist eine schematische Darstellung einer Variante der zweiten Ausführungsform einer erfindungsgemäßen Vorrichtung zur Umgebungserfassung gezeigt. Die Darstellung entspricht weitestgehend der in 3 gezeigten Darstellung, die Bezugszeichen und deren Zuordnung gelten entsprechend. Im Unterschied zur 3 sind hierbei jedoch die Positionen der Sendeeinheit 12 und der Empfangseinheit 14 miteinander vertauscht.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 7969558 B2 [0004]
US 8767190 B2 [0004]
DE 10114362 A1 [0004]
US 2010/0128109 A1 [0004]
DE 102016006039 A1 [0006]

Claims

Vorrichtung zur Umgebungserfassung, umfassend ein LiDAR-System (10) zur optischen Abstandsbestimmung von Objekten (50) innerhalb des optisch zugänglichen Bereichs einer Umgebung der Vorrichtung und ein Kamerasystem (20) zur Erstellung photographischer Aufnahmen eines Sichtbereichs einer Umgebung der Vorrichtung, dadurch gekennzeichnet, dass der optisch zugängliche Bereich des LiDAR-Systems (10) und der Sichtbereich des Kamerasystems (20) ein gemeinsames Sichtfeld unter einem einheitlichen Blickwinkel erfassen, wobei das LiDAR-System (10) und das Kamerasystem (20) in einem gemeinsamen Gehäuse (40) zu einer funktionalen Einheit angeordnet sind.
Vorrichtung nach Anspruch 1, wobei das LiDAR-System (10) und das Kamerasystem (20) in einem gemeinsamen Gehäuse (40) mit einem gemeinsamen Außenfenster (42) angeordnet sind.
Vorrichtung nach Anspruch 1 oder 2, wobei die vom LiDAR-System (10) und vom Kamerasystem (20) erfassten Umgebungsdaten über ein Mittel zur Datenreduktion innerhalb der Vorrichtung zu einem gemeinsamen Datensatz verschmolzen werden.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei einem Bildpunkt im Sichtbereich des Kamerasystems (20) ein vom LiDAR-System (10) bestimmter Abstandswert zugeordnet wird.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei das Kamerasystem (10) ein Mittel zur Umgebungsbeleuchtung umfasst, wobei das vom Mittel zur Umgebungsbeleuchtung ausgesandte Beleuchtungslicht spektral in einen bevorzugten Empfindlichkeitsbereich des Kamerasystems (10) fällt.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei das Kamerasystem (10) photographische Aufnahmen im sichtbaren und/oder infraroten Spektralbereich erstellt.
Scheinwerfer für ein Kraftfahrzeug mit einer Vorrichtung nach einem der Ansprüche 1 bis 6, wobei die Vorrichtung in den Scheinwerfer integriert ist und das gemeinsame Sichtfeld der Vorrichtung und die Abstrahlrichtung des Scheinwerfers im Wesentlichen gleich ausgerichtet sind.
Scheinwerfer nach Anspruch 7, wobei der Scheinwerfer ein weiteres Mittel zur Umgebungsbeleuchtung im infraroten und/oder sichtbaren Spektralbereich umfasst, wobei das vom Mittel zur Umgebungsbeleuchtung ausgesandte Beleuchtungslicht spektral in einen bevorzugten Empfindlichkeitsbereich des Kamerasystems (10) fällt.
Kraftfahrzeug mit einer Vorrichtung nach einem der Ansprüche 1 bis 6, wobei die Vorrichtung mit einem Steuerungssystem des Kraftfahrzeugs verbunden ist.
Verfahren zum Betrieb einer Vorrichtung zur Umgebungserfassung, folgende Schritte umfassend: a) Bereitstellen einer Vorrichtung zur Umgebungserfassung nach einem der Ansprüche 1 bis 6, b) optische Abstandsbestimmung von Objekten (50) innerhalb des optisch zugänglichen Bereichs einer Umgebung der Vorrichtung mittels des LiDAR-Systems (10), c) Erstellung photographischer Aufnahmen eines Sichtbereichs einer Umgebung der Vorrichtung mittels des Kamerasystems (20), d) Verschmelzung der vom LiDAR-System (10) und vom Kamerasystem (20) erfassten Umgebungsdaten über ein Mittel zur Datenreduktion innerhalb der Vorrichtung zu einem gemeinsamen Datensatz.
Verfahren nach Anspruch 10, wobei zur Erstellung photographischer Aufnahmen durch das Kamerasystem (10) ein Mittel zur Umgebungsbeleuchtung Beleuchtungslicht aussendet, welches spektral in einen bevorzugten Empfindlichkeitsbereich des Kamerasystems (10) fällt, wobei das Kamerasystem (10) photographische Aufnahmen im sichtbaren, und/oder infraroten Spektralbereich erstellt.