-
Die Erfindung betrifft eine 3D-Kamera zur Erfassung von dreidimensionalen Bilddaten mit einer Panoramaspiegeloptik nach dem Oberbegriff von Anspruch 1.
-
Im Gegensatz zu einer herkömmlichen Kamera nimmt eine 3D-Kamera auch eine Tiefeninformation auf und erzeugt somit dreidimensionale Bilddaten mit Abstands- oder Entfernungswerten für die einzelnen Pixel des 3D-Bildes, das auch als Entfernungsbild oder Tiefenkarte bezeichnet wird. Die zusätzliche Entfernungsdimension lässt sich in einer Vielzahl von Anwendungen nutzen, um mehr Informationen über Objekte in der von der Kamera erfassten Szenerie zu gewinnen und so verschiedene Aufgaben zu lösen.
-
In der Automatisierungstechnik können anhand dreidimensionaler Bildinformationen Objekte erfasst und klassifiziert werden, um weitere automatische Bearbeitungsschritte davon abhängig zu machen, welche Objekte vorzugsweise einschließlich ihrer Position und Orientierung erkannt wurden. Damit kann beispielsweise die Steuerung von Robotern oder verschiedenartigen Aktoren an einem Förderband unterstützt werden.
-
Bei Fahrzeugen, die auf öffentlichen Straßen oder in abgeschlossener Umgebung speziell im Bereich der Fabrik- und Logistikautomatik verkehren, soll mit einer 3D-Kamera die gesamte Umgebung und insbesondere ein geplanter Fahrweg möglichst vollständig und dreidimensional erfasst werden. Das betrifft praktisch alle denkbaren Fahrzeuge, seien es solche mit Fahrer wie PKW, LKW, Arbeitsmaschinen und Gabelstapler oder führerlose Fahrzeuge wie AGVs (Automated Guided Vehicle) oder Flurförderzeuge. Die Bilddaten werden genutzt, um die autonome Navigation zu ermöglichen oder einen Fahrer zu unterstützen, unter anderem um Hindernisse zu erkennen, Kollisionen zu vermeiden oder das Be- und Entladen von Transportgütern einschließlich Kartons, Paletten, Containern oder Anhängern zu erleichtern.
-
Zur Ermittlung der Tiefeninformationen sind verschiedene Verfahren bekannt, wie Lichtlaufzeitmessungen oder Stereoskopie. Bei einer Lichtlaufzeitmessung wird ein Lichtsignal ausgesandt und die Zeit bis zum Empfang des remittierten Lichtsignals gemessen. Man unterscheidet hier Puls- und Phasenverfahren. Unabhängig von dem genauen Lichtlaufzeitverfahren werden solche Kameras als TOF-Kamera bezeichnet (Time-of-Flight). Stereoskopieverfahren sind dem räumlichen Sehen mit zwei Augen angelehnt und suchen in zwei aus unterschiedlicher Perspektive aufgenommenen Bildern einander zugeordnete Bildelemente, aus deren Disparität in Kenntnis der optischen Parameter der Stereokamera die Entfernung durch Triangulation geschätzt wird. Stereosysteme können passiv, also allein mit dem Umgebungslicht arbeiten, oder eine eigene Beleuchtung aufweisen, die vorzugsweise ein Beleuchtungsmuster erzeugt, um die Entfernungsschätzung auch in strukturlosen Szenerien zu ermöglichen. In einem weiteren 3D-Bildgebungsverfahren, das beispielsweise aus der
US 7 433 024 bekannt ist, wird ein Beleuchtungsmuster von nur einer Kamera aufgenommen und die Entfernung durch Musterauswertung geschätzt.
-
Das Sichtfeld (FOV, Field of View) solcher 3D-Kameras ist selbst mit Fischaugenobjektiven auf weniger als 180° und in der Praxis sogar meist unter 90° begrenzt. Das Sichtfeld durch Einsatz mehrerer Kameras zu erweitern ist denkbar, kostet aber erheblichen Hardware- und Justierungsaufwand.
-
Im Stand der Technik, beispielsweise aus der
US 6 157 018 oder der
WO 0 176 233 A1 , sind diverse Spiegeloptiken bekannt, um eine omnidirektionale 3D-Bildgebung zu erreichen. Solche Kameras werden wegen der Kombination aus einer Abbildungsoptik und nachgeschalteter Spiegeloptik als katadioptrische Kameras bezeichnet.
Nayar und Baker in „Catadioptric image formation", Proceedings of the 1997 DARPA Image Understanding Workshop, New Orleans, May 1997, Seiten 1341–1437 haben gezeigt, dass für eine Entzerrung eine sogenannte Single-Viewpoint-Bedingung erfüllt sein muss. Diese ist für gängige Spiegelformen wie elliptische, parabolische, hyberbolische oder konische Spiegel gegeben.
-
Es ist weiterhin bekannt, solche Panoramaspiegeloptiken mit einem Lichtlaufzeitverfahren zu kombinieren, um auf diese Weise eine omnidirektionale 3D-Kamera zu erhalten.
-
Beispiele hierfür sind die
DE 20 2006 014 939 U1 , die
US 20 2011 052 106 U1 , die
EP 2 354 806 A1 oder die
DE 10 2010 004 095 A1 . Die Spiegeloptiken sind aber für viele Anwendungen gerade im Bereich von Fahrzeugen nicht gut angepasst, weshalb die ohnehin meist noch geringe Messauflösung verfügbarer 3D-TOF-Bildsensoren nicht gut ausgenutzt wird.
-
Es ist deshalb Aufgabe der Erfindung, eine 3D-Kamera mit einer Panoramaspiegeloptik zu verbessern.
-
Diese Aufgabe wird durch eine 3D-Kamera zur Erfassung von dreidimensionalen Bilddaten nach Anspruch 1 gelöst. Die 3D-Kamera erfasst mit Hilfe einer Panoramaspiegeloptik einen sehr großen Winkelbereich von bis zu 360° und ist damit für eine omnidirektionale Bildgebung ausgebildet. Dabei geht die Erfindung von dem Grundgedanken aus, von der üblichen Formgebung der Panoramaspiegeloptik als Rotationskörper gezielt abzuweichen. Damit gelingt es, weiterhin eine durchgehende Überwachung über den großen Winkelbereich zu gewährleisten, jedoch durch die Formgebung eine Umverteilung der Messpunkte zu erreichen und damit besonders interessante Teilbereiche auf Kosten weniger interessanter Teilbereiche genauer zu erfassen. Ein typisches Beispiel für eine derartige anwendungsbezogene Umverteilung ist ein Fahrzeug, wo die meisten Messpunkte in Fahrrichtung, noch relative viele Messpunkte in Rückwärtsrichtung, jedoch weniger Messpunkte zu den Seiten benötigt werden. Die 3D-Kamera behält so alles im Blick und konzentriert sich zugleich auf wesentliche Teilbereiche.
-
Die Erfindung hat den Vorteil, dass die gesamte Umgebung omnidirektional über bis zu 360° dreidimensional mit optimal angepasster Orts- und Zeitauflösung erfasst werden kann. Dabei bleibt die 3D-Kamera kompakt und vergleichsweise kostengünstig.
-
Die 3D-Kamera weist bevorzugt eine Beleuchtungseinheit mit einer vorgeordneten Panoramaspiegeloptik auf. Alle im Folgenden genannten Varianten der Panoramaspiegeloptik des Bildsensors können auch für die Panoramaspiegeloptik der Beleuchtungseinheit gelten. In einer bevorzugten Ausführungsform sind diese Panoramaspiegeloptiken gleichartig ausgebildet, oder es wird sogar dieselbe Panoramaspiegeloptik sowohl für den Bildsensor als auch für die Beleuchtungseinheit verwendet. Die Umverteilung des Lichts der Beleuchtungseinheit ist nicht ganz so kritisch für das Messergebnis, solange genug Lichtleistung zur Verfügung steht, so dass die Panoramaspiegeloptik für sich und gegenüber der Panoramaspiegeloptik des Bildsensors größere Toleranzen aufweisen darf.
-
Die 3D-Kamera ist vorzugsweise als eine Lichtlaufzeitkamera mit einer Lichtlaufzeiteinheit ausgebildet, um die Lichtlaufzeit eines Lichtsignals zu bestimmen, das von der Beleuchtungseinheit ausgesandt, an Objekten in dem Sichtbereich remittiert und in dem Bildsensor erfasst wird. Die Entfernungsbestimmung durch ein Lichtlaufzeitverfahren ist in mancherlei Hinsicht weniger komplex als eine Triangulation, also eine passive oder aktive Stereokamera oder eine Kamera mit Auswertung eines Beleuchtungsmusters. Bei einem triangulierenden System ist ein Basisabstand zwischen den beteiligten Einheiten, also der Kamera oder den Kameras beziehungsweise der Beleuchtung, zwingend erforderlich. Eine 3D-Messung ist erst in einem durch den Basisabstand als relativ groß vorgegebenen Mindestabstand möglich, in dem die Beleuchtungs- und Erfassungsbereiche überlappen. Dazu im Gegensatz bietet ein Lichtlaufzeitverfahren eine besonders kleine Totzone im Nahbereich. Erneut wegen der Möglichkeit eines minimalen oder verschwindenden Basisabstands kann eine geringe Bauhöhe erzielt werden, die auf Fahrzeugen besonders nützlich ist, wo sonst die 3D-Kamera deutlich über das Fahrzeug hinausragt. Die Lichtlaufzeitmessung ist robust gegen Fremdlicht, wie Sonnenlicht oder Licht von einer Raumbeleuchtung, und damit outdoorfähig. Sie liefert zudem dichte Tiefenkarten. Schließlich kann das grundsätzliche Lichtlaufzeitverfahren direkt von einstrahligen Systemen übernommen werden, es sind allenfalls noch Bildtransformationen und Entzerrungen erforderlich, um perspektivische Bildausschnitte zu erhalten. Es genügt eine geringe Anzahl von Messpunkten in einem Teilbereich, da jedes Pixel für sich Entfernung misst und nicht wie bei einer Triangulation ein Korrelationsfenster über mehrere Pixel geprüft wird. Das wiederum eröffnet mehr Freiheiten, die Messpunkte mit dem nicht als Rotationskörper ausgebildeten Panoramaspiegel umzuverteilen.
-
Bildsensor und Beleuchtungseinheit ist bevorzugt eine gemeinsame Panoramaspiegeloptik mit übereinstimmenden Sende- und Empfangspfaden zugeordnet. Dazu wird beispielsweise ein Strahlteiler oder eine Lichtleiteranordnung verwendet. Da wie soeben erläutert bei Lichtlaufzeitverfahren im Gegensatz zu triangulierenden Verfahren der Basisabstand verschwinden kann, besteht diese Möglichkeit, den Sende- und Empfangspfad zusammenzulegen und damit viele der im vorigen Abschnitt genannten Vorteile zu maximieren sowie durch Doppelfunktion eine Panoramaspiegeloptik einzusparen.
-
Die Panoramaspiegeloptik weist bevorzugt eine Höhenachse durch einen Scheitelpunkt auf und ist in horizontalen Schnitten bezüglich der Höhenachse durch eine Funktion des Spiegelradius in Abhängigkeit des Umfangswinkels beschrieben. Die Funktion des Spiegelradius beschreibt anschaulich gesprochen eine Höhenlinie. Vorzugsweise verläuft die optische Achse des Bildsensors auf der Höhenachse, die Panoramaspiegeloptik ist also mit ihrem Scheitelpunkt zu dem Bildsensor hin ausgerichtet. Im Gegensatz zu einer herkömmlichen, als Rotationskörper ausgebildeten Panoramaspiegeloptik ist die Höhenachse auch keine Symmetrieachse, da mindestens in einem horizontalen Schnitt die Funktion des Spiegelradius keine Konstante und damit die jeweilige Höhenlinie der Außenkontur keine Kreislinie ist (horizontale Variation der Spiegelform). Durch diese Form sind zwangsläufig Linien an der Außenkontur senkrecht zu den Höhenlinien anders als bei einem Kegelstumpf oder Kreiszylinder keine Geraden. Diese Linien können aber auch über das von den Höhenlinien erzwungene Maß weiter verändert werden (vertikale Variation der Spiegelform).
-
Die Funktion des Spiegelradius ist vorzugsweise mindestens einmal stetig differenzierbar. Auf diese Weise werden Abschattungsbereiche durch scharfe Ecken und Kanten vermieden, und eine glatte Panoramaspiegeloptik ist auch leichter zu fertigen.
-
Die Funktion des Spiegelradius weist bevorzugt mindestens ein Maximum und mindestens ein Minimum auf. Dementsprechend ergeben sich der Anzahl der Maxima beziehungsweise Minima entsprechende Teilbereiche des Sichtfeldes mit vielen Messpunkten und mit wenigen Messpunkten.
-
Die Funktion des Spiegelradius weist bevorzugt in mehreren, insbesondere allen horizontalen Schnitten einen gleichen, jedoch um einen konstanten Faktor skalierten Verlauf auf. Dadurch ergibt sich eine regelmäßigere Geometrie der Panoramaspiegeloptik, die leichter zu designen und herzustellen ist. Die gleiche Formgebung der Höhenlinien führt zu eindeutigen Winkelsektoren einer bestimmten Messpunktdichte. Die Skalierung ist erforderlich, weil die Panoramaspiegeloptik ansonsten dem Bildsensor eine Kante anbieten würde, die parallel zu dessen optischer Achse steht. Die Höhenlinien sollten deshalb mit wachsendem Abstand vom Bildsensor eine größere Fläche einschließen.
-
Die Außenkontur der Panoramaspiegeloptik weist bevorzugt in Höhenrichtung eine Krümmung auf. Damit wird nach den bisher anhand der Funktion des Spiegelradius konkretisierten horizontalen Variationen der Spiegelform nun auch eine vertikale Variation der Spiegelform eingeführt. Hierzu wird die Außenkontur in Schnitten der Panoramaoptik in Ebenen betrachtet, welche jeweils die Höhenachse umfassen. Das sind also gerade die oben schon angesprochenen Linien auf der Außenkontur, welche senkrecht zu den Höhenlinien verlaufen. Bei einer kegelförmigen Panoramaspiegeloptik wäre die Außenkontur in dieser vertikalen Richtung durch Geraden beschrieben. Diese bevorzugte Ausführungsform weicht hiervon gezielt durch eine Krümmung ab, um die Messpunktverteilung in Höhenrichtung zu variieren. Die Krümmung kann eine einfache konvexe oder konkave Krümmung wie bei einem Hyperboloid oder Paraboloid sein, es sind aber auch beispielsweise Krümmungen in einer S-Form oder sogar einer Freiform denkbar.
-
Die Panoramaspiegeloptik weist bevorzugt in verschiedenen Winkelbereichen eine unterschiedliche Höhe auf. Das geht oft damit einher, dass die Höhenachse der Panoramaspiegeloptik samt Scheitelpunkt dezentral angeordnet ist. Dann ist es nicht sinnvoll, die Panoramaspiegeloptik überall mit gleicher Höhe auszubilden, da ein Teil der Spiegelflächen dann ohne optische Wirkung bliebe.
-
Die optische Achse des Bildsensors und/oder der Beleuchtungseinheit ist bevorzugt gegenüber der Höhenachse versetzt. In dieser Ausführungsform wird von der Ausrichtung der Panoramaspiegeloptik mit Höhenachse und Scheitelpunkt auf der optischen Achse des Bildsensors durch einen Parallelversatz und/oder ein Verkippen von zumindest einigen Grad abgewichen. Es gibt damit eine bevorzugte Seite der Panoramaspiegeloptik, von der mehr Messpunkte erfasst werden als von der anderen Seite.
-
Eine Empfangsoptik des Bildsensors und/oder eine Sendeoptik der Lichtquelle ist bevorzugt nicht rotationssymmetrisch ausgebildet. Dies dient einer Spotformung in einer X-Y-Ebene senkrecht zu der optischen Achse des Bildsensors beziehungsweise der Lichtquelle. Diese Spotformung kann Verzerrungen in X-Y-Richtung aufgrund der Form der Panoramaspiegeloptik kompensieren.
-
Die Panoramaspiegeloptik ist bevorzugt verdrehbar und/oder verkippbar. Die Drehung folgt beispielsweise einer Lenkbewegung eines Fahrzeugs, so dass ein bevorzugter Teilbereich des Sichtfeldes mit besonders vielen Messpunkten auch bei Kurvenfahrten in Fahrtrichtung liegt. Eine Verkippung kann zum Beispiel mit einem Beschleunigungssensor erfasste Kippbewegungen an Bodenwellen oder Streckenabschnitten mit Gefälle ausgleichen.
-
Die Panoramaspiegeloptik ist bevorzugt verformbar. Das bietet noch mehr Freiheitsgrade als nur eine Drehung oder Verkippung und ermöglicht, die Messpunktdichte auch dynamisch an die aktuellen Anforderungen anzupassen. Dazu kann eine elastische Spiegeloberfläche mit einem Aktuator verformt werden. Ähnliche Effekte lassen sich auch durch Mikrospiegel erzielen (MEMS).
-
Die Erfindung wird nachstehend auch hinsichtlich weiterer Merkmale und Vorteile beispielhaft anhand von Ausführungsformen und unter Bezug auf die beigefügte Zeichnung näher erläutert. Die Abbildungen der Zeichnung zeigen in:
-
1a eine Schnittansicht einer 3D-Kamera in gestapelter Anordnung von Bildsensor und Beleuchtung;
-
1b eine Schnittansicht einer 3D-Kamera in entgegengesetzt ausgerichteter Anordnung von Bildsensor und Beleuchtung,
-
1c eine Schnittansicht einer 3D-Kamera mit zueinander ausgerichtetem Bildsensor und Beleuchtung,
-
2a eine Schnittansicht einer 3D-Kamera mit gemeinsamem Sende- und Empfangspfad mittels Strahlteiler;
-
2b eine Schnittansicht einer 3D-Kamera mit gemeinsamem Sende- und Empfangspfad mittels Lichtleiter und Zirkulator;
-
3a eine Darstellung der Funktion des Spiegelradius in Abhängigkeit des Umlaufwinkels als Konstante;
-
3b eine Darstellung der Funktion des Spiegelradius in Abhängigkeit des Umlaufwinkels als steigende Gerade;
-
3c eine Darstellung der Funktion des Spiegelradius in Abhängigkeit des Umlaufwinkels bei einem Vieleck;
-
3d eine Darstellung der Funktion des Spiegelradius in Abhängigkeit des Umlaufwinkels mit einem Maximum und einem Minimum;
-
3e eine Darstellung der Funktion des Spiegelradius in Abhängigkeit des Umlaufwinkels mit zwei Maxima und zwei Minima;
-
3f eine Darstellung der Funktion des Spiegelradius in Abhängigkeit des Umlaufwinkels mit drei Maxima und drei Minima unterschiedlicher Amplitude;
-
4a eine Schnittdarstellung eines Panoramaspiegels mit vertikaler Asymmetrie durch zwei unterschiedliche Kippwinkel und einen Parallelversatz;
-
4b eine Schnittdarstellung eines Panoramaspiegels mit vertikaler Asymmetrie und dennoch gleich großen Sichtwinkelbereichen durch zwei unterschiedliche Kippwinkel und unterschiedliche maximale Höhen;
-
4c eine Schnittdarstellung eines Panoramaspiegels mit vertikaler Asymmetrie und gleichen Kippwinkeln bei unterschiedlichen maximalen Höhen;
-
4d eine Schnittdarstellung eines Panoramaspiegels mit vertikaler Asymmetrie durch konvexe beziehungsweise konkave Krümmung der Außenkontur;
-
4e eine Schnittdarstellung eines Panoramaspiegels mit vertikaler Asymmetrie durch eine s-förmig beziehungsweise frei gekrümmte Außenkontur;
-
5a eine Schnittdarstellung des Strahlengangs bei Verwendung einer nicht rotationssymmetrischen Abbildungsoptik mit einem kegelförmigen Panoramaspiegel; und
-
5b eine Schnittdarstellung des Strahlengangs bei Verwendung einer nicht rotationssymmetrischen Abbildungsoptik mit einem Panoramaspiegel mit elliptischem Querschnittsprofil.
-
1 zeigt eine Schnittansicht einer 3D-Kamera 10. Die 3D-Kamera 10 weist einerseits eine Kameraeinheit 12 mit einem Bildsensor 14 und einer Steuer- und Auswertungseinheit 16 und andererseits eine Beleuchtungseinheit 18 mit einer Lichtquelle 20 auf. Sende- und Empfangsobjektive sind zur Vereinfachung nicht mit dargestellt. Der Bildsensor 14 weist eine Vielzahl von Pixeln auf und ist gemeinsam mit der Steuer- und Auswertungseinheit 16 in der Lage, die Laufzeit eines gepulsten oder periodisch modulierten Lichtsignals der Beleuchtungseinheit 18 bis zu einem Objekt und zurück und daraus anhand der Lichtgeschwindigkeit den Objektabstand zu messen. Derartige TOF-Chips sind an sich bekannt und werden hier deshalb nicht näher beschrieben. Neben der üblichen Matrixanordnung gleich großer, rechteckiger Pixel ist auch bekannt, die Pixelanordnung beziehungsweise Pixelgröße an die besondere radiale Anordnung in der 3D-Kamera 10 anzupassen. Weiterhin ist bekannt, die Lichtlaufzeitmessung statt in einer eigenen Steuer- und Auswertungseinheit 16 direkt auf dem Chip des Bildsensors 14 zu implementieren. Im Übrigen kann die Funktionalität der Steuer- und Auswertungseinheit nahezu beliebig auf die Kameraeinheit 12, die Beleuchtungseinheit 18 oder weitere, nicht gezeigte neben- oder übergeordnete Einheiten verteilt werden.
-
Der Kameraeinheit 12 und der Beleuchtungseinheit 18 sind jeweils als Panoramaspiegel 22, 24 bezeichnete Spiegeloptiken oder katadioptrische Optiken zugeordnet. Die geometrische Ausgestaltung dieser Spiegeloptiken wird im Folgenden noch ausführlich diskutiert. In 1 sind die Panoramaoptiken 22, 24 vereinfachend als Dreiecke gezeigt, was im Dreidimensionalen einem Kegel entspricht, der wegen seiner Rotationssymmetrie nicht in den Schutzbereich der Ansprüche fällt.
-
Die Panoramaspiegel 22, 24 sorgen dafür, dass das Sichtfeld 26 der Kameraeinheit 12 beziehungsweise das Beleuchtungsfeld 28 der Beleuchtungseinheit 18 auf einen großen Winkelbereich von bis zu 360° erweitert wird. Eine Lichtlaufzeitmessung ist dabei nur in einem Überlappungsbereich 30 möglich, welcher also den eigentlichen Sichtbereich der 3D-Kamera 10 darstellt. Deshalb sollte dieser Überlappungsbereich 30 maximiert und zur Vermeidung von Totzonen so nahe an die 3D-Kamera 10 herangeführt werden wie möglich. Das gelingt dadurch, dass der Basisabstand zwischen Kameraeinheit 12 und Beleuchtungseinheit 18 sehr klein gewählt wird. Das lässt ein Lichtlaufzeitverfahren im Gegensatz zu einem triangulierenden Verfahren wie der Stereoskopie zu, da der Basisabstand in die Lichtlaufzeitmessung nicht eingeht. Ein kleiner Basisabstand ist sogar vorteilhaft, da dies systematische Messabweichungen aufgrund von Abschattung und parasitären Einflüssen auf die optische Weglänge verringert.
-
Die 1a zeigt eine gestapelte Anordnung von Kameraeinheit 12 und Beleuchtungseinheit 18. Die optische Achse der Kameraeinheit 12 liegt dabei in der optischen Achse der Beleuchtungseinheit 18, wobei natürlich auch die umgekehrte Anordnung mit um 180° verdrehter Kameraeinheit 12 und Beleuchtungseinheit 18 denkbar wäre. 1b zeigt eine alternative Anordnung, bei der Kameraeinheit 12 und Beleuchtungseinheit 18 entgegengesetzt zueinander ausgerichtet sind. Dadurch können die elektrischen Komponenten, wie Bildsensor 14, Steuer- und Auswertungseinheit 16 oder Lichtquelle 20, ohne Störung durch einen Panoramaspiegel 22, 24 miteinander verbunden oder integriert werden.
-
Zur Minimierung des Basisabstands und Maximierung des Überlappungsbereichs 30 am vorteilhaftesten ist aber eine Anordnung gemäß 1c, bei der Kameraeinheit 12 und Beleuchtungseinheit 18 zueinander ausgerichtet sind. Das hat zusätzlich zur kleinsten Totzone noch den Vorteil, dass die Panoramaspiegel 22, 24 als gemeinsames Bauteil ausgebildet werden können und insgesamt die geringste Bauhöhe erreicht wird.
-
Für ein Lichtlaufzeitverfahren sind zur Optimierung dieser Vorteile sogar Anordnungen mit verschwindendem Basisabstand möglich, bei denen also der virtuelle Ursprung derselbe ist, beziehungsweise Sende- und Empfangspfad zusammenfallen. Das ist sogar für an sich bekannte Panoramaspiegel ohne die im Folgenden noch zu beschreibenden geometrischen Besonderheiten nützlich.
-
2a zeigt eine entsprechende 3D-Kamera 10 mit einem Strahlteiler 32. Der sende- und empfangsseitige Strahlengang an dem Panoramaspiegel 22, 24 und im Sicht- beziehungsweise Beleuchtungsfeld 26, 28 ist dadurch bis auf die Richtung identisch. Deshalb ist die Totzone praktisch vollständig eliminiert, denn der Überlappungsbereich 30 ist deckungsgleich mit dem Sicht- beziehungsweise Beleuchtungsfeld 26, 28. Die Bauhöhe wird dadurch nochmals reduziert, und es wird auch nur noch ein gemeinsamer Panoramaspiegel 22, 24 benötigt.
-
In der Ausführungsform gemäß 2a ist jeweils eine eigene Empfangsoptik 34 und eine eigene Sendeoptik 36 vorgesehen. Es ist denkbar, stattdessen nur ein gemeinsames Objektiv einzusetzen, welches dann zwischen Strahlteiler 32 und Panoramaspiegel 22, 24 angeordnet wird.
-
Die Anordnung weiterer optischer Elemente im gemeinsamen oder separaten Teil des Strahlengangs ist denkbar. So können beispielsweise die Verluste der Strahlteilung durch Verwendung von polarisiertem Licht, beispielsweise von einer Laserlichtquelle beziehungsweise durch den Einsatz von Polfiltern vor Bildsensor 14 und Lichtquelle 20, einem polarisierenden Strahlteiler 30 und einem λ/4-Plättchen zwischen Strahlteiler 30 und Panoramaspiegel 22, 24, im Idealfall auf nahezu Null reduziert werden.
-
2b zeigt eine Ausführungsform der 3D-Kamera 10, in der statt des Strahlteilers 30 ein Zirkulator 38 eingesetzt ist. Mit Hilfe einer Linse 40 und Lichtleitern 42a–c kann die Anordnung der Komponenten innerhalb der 3D-Kamera in gewissen Grenzen frei gewählt werden.
-
In verschiedenen Ausführungsformen der Erfindung werden die Panoramaspiegel 22, 24 in unterschiedlicher Weise geformt, so dass sie keine Rotationskörper bilden. Das dient dazu, angepasst an die Bedürfnisse der Anwendung die Messpunktdichte gezielt umzuverteilen und dadurch Teilbereiche hoher Messauflösung auf Kosten anderer Teilbereiche verringerter Messauflösung zu schaffen. Die Ausgestaltung der Panoramaspiegel 22, 24 hat analoge Auswirkungen, wobei ohnehin bevorzugt beide Panoramaspiegel 22, 24 untereinander gleich geformt werden, und wird beispielhaft an dem Panoramaspiegel 22 des Bildsensors beschrieben.
-
Als Referenz zur Veranschaulichung der Überlegungen kann ein herkömmlicher konischer Panoramaspiegel dienen, dessen Symmetrieachse mit der optischen Achse des Bildsensors 14 übereinstimmt. Dessen Symmetrieachse ist die Höhenachse des Panoramaspiegels, und in horizontalen Schnitten senkrecht zu der Höhenachse bildet die Außenkontur jeweils einen Kreis, der wie auf einer Karte als Höhenlinie veranschaulicht werden kann. Die Außenkontur innerhalb eines horizontalen Schnittes wird durch eine Funktion des Spiegelradius beschrieben, welche im Falle des Kreises konstant ist. In Höhenrichtung wird der Radius des Kreises um einen der Höhe entsprechenden Faktor skaliert. In dieser vertikalen Richtung bildet die Außenkontur eines kegelförmigen Panoramaspiegels in jeweiligen Linien senkrecht zu den Höhenlinien eine Gerade.
-
Diese symmetrische Form und Anordnung wird nun in verschiedenen Ausführungsformen in vielerlei Hinsicht variiert, wobei diese Variationen auch in Mischformen in beliebiger Kombination ausgeführt werden können. 3 zeigt mögliche Höhenlinien oder Funktionen des Spiegelradius als horizontale Variation der Form des Panoramaspiegels 22. 4 zeigt Beispiele einer zusätzlichen vertikalen Variation von Linien senkrecht zu den Höhenlinien der 3. Dabei kann zugleich noch ein Versatz zwischen optischer Achse des Bildsensors 12 und der Höhenachse eingeführt werden. 5 schließlich zeigt eine zusätzliche nicht rotationssymmetrische Ausbildung der Empfangsoptik, die übrigens auch mit einem herkömmlichen Panoramaspiegel kombiniert werden könnte.
-
Durch einen nicht-rotationssymmetrischen Panoramaspiegel 22 kann die laterale Auflösung beziehungsweise die Messpunktdichteverteilung horizontal und/oder vertikal variiert und winkelabhängig gestaltet werden. Das dient der individuellen Anpassung auf bestimmte Anwendungen. Beispielsweise kann es bei Fahrzeugen, die vornehmlich vorwärts und rückwärts fahren, vorteilhaft sein, im Bereich vor und hinter dem Fahrzeug eine höhere Messpunktdichte und damit Auflösung zu erreichen, um Hindernisse sicher zu erkennen, während in den seitlichen Winkelbereichen, wo die Umgebung nur grob erfasst werden soll, eine geringere Messpunktdichte genügt. Es kann erforderlich werden, Verzerrungsartefakte durch Kalibrier- und Auswertungsalgorithmen auszugleichen.
-
Die 3a–f zeigen beispielhaft eine Vielzahl von möglichen Funktionen des Spiegelradius in Abhängigkeit des Umlaufwinkels oder Höhenlinien innerhalb eines horizontalen Schnitts. Definiert man die Höhenachse durch den Scheitelpunkt des Panoramaspiegels 22 als Z-Achse, so verläuft der in den 3a–f der Papierebene entsprechende horizontale Schnitt in der XY-Ebene. Die Höhenlinien in verschiedenen horizontalen Schnitten variieren in der Regel zumindest durch einen über alle Umlaufwinkel konstanten Skalierungsfaktor, können sich darüber hinaus aber auch in ihrer Form verändern und beispielsweise in verschiedenen Höhenlagen von der Form einer der 3a–f zu der Form einer anderen der 3a–f wechseln. Im Gegensatz zu der immer denkbaren reinen Skalierung ist aber ein Formwechsel bei einigermaßen glatter Außenkontur des dreidimensionalen Panoramaspiegels 22 nicht beliebig möglich. Zu beachten ist weiterhin, dass in den 3a–f zunächst Formen gezeigt sind, bei denen der Scheitelpunkt des Panoramaspiegels 22 zentral liegt, es aber auch Ausführungsformen mit einem Versatz gibt, wie anhand der 4 noch gezeigt.
-
3a zeigt zum Vergleich einen Spiegelradius, der als Funktion des Umfangswinkels konstant verläuft. Damit entsteht als Höhenlinie ein Kreis. Sind alle Höhenlinien Kreise, ergibt sich ein Rotationskörper, so dass ein horizontaler Schnitt durch einen erfindungsgemäßen Panoramaspiegel 22 allenfalls in einigen Höhen und bevorzugt nirgends einen solchen Kreis ergibt.
-
Die Höhenlinie gemäß 3b variiert ihren Spiegelradius linear mit dem Umfangswinkel. Deshalb entsteht in der Funktion des Spiegelradius ein Sprung nach einem vollen Umlauf, um zwischen dem Minimum und Maximum auszugleichen. Derartige Unstetigkeitsstellen haben Abschattungseffekte beziehungsweise abgeschattete Winkelbereiche zur Folge, und ein derartiger Panoramaspiegel 22 wäre außerdem sehr schwer zu fertigen. Erfindungsgemäß verläuft deshalb der Spiegelradius vorzugsweise stetig.
-
Aus ganz ähnlichen Gründen genügt einfache Stetigkeit regelmäßig nicht, sondern die nach dem Umlaufwinkel abgeleitete Funktion des Spiegelradius sollte sogar mindestens einmal stetig differenzierbar sein. 3c zeigt zur Illustration ein Polygon, in diesem Fall ein regelmäßiges Sechseck, als Beispiel einer nur stetigen, aber nicht überall ableitbaren Funktion des Spiegelradius. Da der äquivalente Ursprung des beleuchtenden Strahlenbündels in der Regel nicht exakt im Spiegelmittelpunkt liegt, sondern weiter entfernt, ergeben sich in diesem Fall an den Ecken abgeschattete Bereiche und somit keine omnidirektionale Bildgebung. Falls der imaginäre Strahlenursprung näher liegt als der Spiegelmittelpunkt, ergeben sich entsprechend Überschneidungsbereiche, wo sich verschiedene Bildsegmente überlappen. Nur wenn der imaginäre Strahlenursprung mit dem Spiegelmittelpunkt zusammenfällt, ergibt sich ein homogenes, omnidirektionales Bild ohne Abschattung und Überlappung. Es ist jedoch praktisch kaum möglich, dies für alle Höhen zu realisieren, so dass nicht stetig differenzierbare Funktionen des Spiegelradius vorzugsweise ausgeschlossen werden.
-
Ein erfindungsgemäßer Panoramaspiegel 22 sollte daher vorzugsweise in jeder Höhe ein Querschnittsprofil aufweisen, welches durch eine nicht konstante und mindestens einmal stetig differenzierbare Funktion des Spiegelradius beschrieben ist. Eine solche Funktion weist zwangsläufig mindestens ein Maximum und ein Minimum auf, was einem Teilbereich mit erhöhter und einem Teilbereich mit verringerter Messpunktdichte entspricht. Die Bedingungen an die Spiegelform gelten natürlich nur für optisch wirksame Bereiche des Panoramaspiegels 22.
-
3d–f zeigen einige Beispiele, welche diese Bedingungen erfüllen. In 3d gibt es genau ein Minimum und ein Maximum, bei dem die zugehörigen Bereiche mit höherer und niedrigerer Messpunktdichte ineinander übergehen. 3e zeigt ein parabolisches Profil mit jeweils zwei Maxima und Minima, wobei sich zwei gegenüberliegende Bereiche mit erhöhter Messpunktdichte ergeben. Dies kann beispielsweise bei Fahrzeugen, die vornehmlich vorwärts oder rückwärts fahren, vorteilhaft sein, wo speziell im Bereich vor und hinter dem Fahrzeug eine höhere Winkelauflösung beziehungsweise Messpunktdichte benötigt wird, um Hindernisse sicher zu erkennen. In den seitlichen Winkelbereichen, in denen die beiden Minima liegen, soll die Umgebung nur grob erfasst werden, und dafür ist die geringere Messpunktdichte ausreichend. Wie 3f illustriert, sind generell auch mehr als zwei Maxima und Minima möglich, wenn mehr als zwei Bereiche erhöhter beziehungsweise verringerter Messpunktdichte gewünscht werden. Dabei kann auch die Höhe beziehungsweise Amplitude der Maxima und Minima variieren, wie 3f am Beispiel eines im Vergleich zu den beiden anderen Maxima weniger ausgeprägten Maximums veranschaulicht.
-
Durch die Verläufe der Funktion des Spiegelradius ergeben sich zwangsläufig nicht nur radiale Asymmetrien innerhalb einer horizontalen Schnittebene, sondern auch vertikale Asymmetrien. Es können aber auch bewusst vertikale Variationen der Geometrie des Panoramaspiegels 22 eingesetzt werden, um die vertikale Messpunktdichte beziehungsweise den vertikalen Sichtwinkelbereich θ zu variieren und damit an die Anwendung anzupassen.
-
Die 4a–e zeigen jeweils vertikale Schnitte mit einigen Beispielen. Dabei ist zu beachten, dass sich aufgrund der zu 3 erläuterten horizontalen Variation die vertikalen Schnitte je nach Umlaufwinkel voneinander unterscheiden und in 4a–e jeweils nur ein fester Umlaufwinkel illustriert wird. Die vertikalen Variationen können dann durch einige Parameter charakterisiert werden: Kippwinkel α1, α2 sowie resultierende vertikale Sichtwinkel θ1, θ2 jeweils in entgegengesetzter radialer Richtung, einen Versatz ∆x zwischen optischer Achse des Bildsensors 14 und Scheitelpunkt des Panoramaspiegels 22 sowie maximale Höhen zmax1, zmax2 des Panoramaspiegel 22, wobei sich letzteres nicht notwendig auf die physische Ausdehnung, sondern die optisch wirksame Außenkontur bezieht.
-
In 4a sind die Kippwinkel mit α1 < α2 an gegenüberliegenden Spiegelseiten unterschiedlich. Dies hat zur Folge, dass die 3D-Kamera 10 an den beiden gegenüberliegenden Spiegelseiten in unterschiedliche vertikale Richtungen schaut, nämlich links weiter nach oben und rechts weiter nach unten. Zusätzlich bewirkt ein Versatz ∆x ≠ 0 rechts einen größeren Sichtwinkelbereich als links, θ1 < θ2. In den nicht dargestellten vertikalen Schnitten zu anderen Umfangswinkeln ergibt sich ein kontinuierlicher Übergang zwischen den beiden Situationen auf der rechten und linken Seite der 4a. Die Höhenlinie oder das horizontale Profil dieser Ausführungsform könnte beispielsweise dasjenige der 3d sein.
-
Es ist auch möglich, wie in 4b ohne einen Versatz ∆x in zentrischer oder mittiger Anordnung zwei unterschiedliche Kippwinkel α1 < α2 vorzusehen. Das hat zur Folge, dass der Panoramaspiegel 22 auf der einen Seite höher ist als auf der anderen, zmax1 > zmax2. Wie in 4a schaut die 3D-Kamera 10 an den gegenüberliegenden Seiten in unterschiedliche vertikale Richtungen, jedoch nun mit über den gesamten Umfang gleichen vertikalen Messpunktdichten und gleich großen vertikalen Sichtwinkelbereichen, θ1 = θ2. Auch hier kann sich wieder die Höhenlinie gemäß 3d ergeben.
-
Nochmals alternativ kann gemäß 4c eine Scheitelpunktverschiebung ∆x ≠ 0 mit gleichen Kippwinkeln α1 = α2 vorgenommen werden. Das bewirkt wiederum unterschiedliche Höhen des Panoramaspiegels, zmax1 > zmax2. Nun sind die Sichtwinkelbereiche rechts und links unterschiedlich groß, θ1 > θ2, bei gleicher vertikaler Messpunktdichte beziehungsweise Winkelauflösung.
-
Anstelle von flachen vertikalen Konturen des Panoramaspiegels 22 sind auch Krümmungen möglich. 4d zeigt ein Beispiel mit einer konkaven und einer konvexen Krümmung in vertikaler Richtung. Dadurch ergibt sich eine Verkleinerung beziehungsweise Vergrößerung der Sichtwinkelbereiche, θ1 < θ2, und damit einhergehend eine Erhöhung beziehungsweise Verringerung der vertikalen Messpunktdichte.
-
Wie 4e illustriert, sind auch kompliziertere vertikale Krümmungen denkbar, dort gezeigt am Beispiel einer s-förmigen Kontur und einer Freiform. Je nachdem, ob ein Abschnitt der vertikalen Kontur konvex oder konkav ist, ergibt sich für einige vertikale Winkel eine Erhöhung oder eine Verringerung der Messpunktdichte, wie bei der s-förmigen Kontur durch unterschiedliche Schraffuren angedeutet.
-
In allen Ausführungsformen verläuft die vertikale Kontur des Panoramaspiegels 22 vorzugsweise stetig oder sogar stetig differenzierbar mit der Höhe und streng monoton ansteigend. Bereiche, in denen die Monotonie verletzt sind, führen zu flachen oder sogar nach innen gewölbten Bereichen, welche den Bildsensor 14 durch Reflexion nicht erreichen können, und damit regelmäßig zu Bildlücken.
-
Der Verlauf der vertikalen Kontur in vertikalen Schnitten zu jeweils in den 4a–e nicht dargestellten Umlaufwinkeln hängt von dem horizontalen Profil oder der Höhenlinie ab. Eine Höhenlinie gemäß 3d führt zu einem kontinuierlichen Übergang zwischen den dargestellten Extremen. Beispielsweise mit Höhenlinien nach 3e–f mit zwei oder drei Maxima ergeben sich aber auch noch andere vertikale Konturen, die nicht einfach eine kontinuierliche Zwischenform darstellen. Unter der schon genannten Bedingung, dass die Funktion des Spiegelradius stetig differenzierbar ist, können nahezu beliebige Kombinationen und Übergänge der in den 3 und 4 gezeigten Konturen verwendet werden. Durch Kombination von horizontalen und vertikalen Asymmetrien können also praktisch beliebige Teilbereiche erhöhter und verringerter Messpunktdichte festgelegt werden.
-
Bei den bisherigen Betrachtungen wurde vorausgesetzt, dass der Strahlengang des Bildsensors 14 beziehungsweise von dessen Abbildungsoptik 44 rotationssymmetrisch zu dem Panoramaspiegel 22 liegt und dass die Verteilung der Messpunkte beziehungsweise Pixel des Bildsensors 14 in radialer Richtung wie Umfangsrichtung zumindest näherungsweise homogen ist. Dies muss aber nicht der Fall sein. Beispielsweise kann die Verzeichnung der Abbildungsoptik 44 ausgenutzt werden, um die Messpunktdichte in vertikale Richtung zu variieren. Die Abbildungsoptik 44 kann auch gezielt nicht rotationssymmetrisch ausgebildet werden.
-
5 illustriert dies am Beispiel einer Abbildungsoptik mit Zylinderlinsen, welche in X-Richtung und Y-Richtung einen unterschiedlichen Abbildungsmaßstab aufweisen, d.h. eine unterschiedliche optische Vergrößerung des Bildsensors 14 auf den Panoramaspiegel 22. 5a zeigt einen in X-Richtung und Y-Richtung unterschiedlichen Spotdurchmesser auf dem Panoramaspiegel 22 durch eine Abbildungsoptik, die eine Zylinderlinse 44a sowie gegebenenfalls mindestens eine weitere Linse 44b aufweist. Je nach Spiegelform kann so die Messpunktdichte in X-Richtung und Y-Richtung unterschiedlich gestaltet werden. In 5a ist vereinfachend ein konischer Panoramaspiegel 22 gezeigt, weil schon allein durch die nicht rotationssymmetrische Abbildungsoptik eine Umverteilung der Messpunktdichte möglich ist. Der Effekt wird daraus auch für jegliche andere Spiegelform verständlich, wie sie beispielhaft anhand der 3 und 4 erläutert wurden.
-
Eine nicht rotationssymmetrische Abbildungsoptik 44 ist insbesondere vorteilhaft bei einem elliptischen Querschnittsprofil gemäß 3e. Ein solcher Panoramaspiegel 22 ist in 5b dargestellt. Der Strahlengang zwischen Bildsensor 14 und Panoramaspiegel 22 kann hier mit Hilfe der Zylinderlinse 44a direkt auf die unterschiedlichen Durchmesser der beiden Ellipsenhauptachsen angepasst werden. Verzerrende Effekte des Panoramaspiegels 22 auf einzelne Pixel werden so durch die Abbildungsoptik kompensiert. Eine gepunktete Linie in 5b verdeutlicht darüber hinaus noch, wie zusätzlich durch eine beispielsweise parabolische vertikale Kontur des Panoramaspiegels 22 eine Winkelanpassung in vertikaler Richtung vorgenommen und so der vertikale Sichtbereich auf Kosten der vertikalen Auflösung erweitert werden kann.
-
Anstelle von Zylinderlinsen 44a können auch diffraktive oder holographische Optiken sowie refraktive Freiformoptiken eingesetzt werden, um beliebige Abweichungen von einer Rotationssymmetrie der Abbildungsoptik 44 zu erzeugen. Auch hierbei ist vorzugsweise ein stetiger oder stetig differenzierbarer Verlauf der Abbildungseigenschaften der Abbildungsoptik 44 über dem Querschnitt des Bildsensors 14 anzustreben. Ferner können stark rechteckige Bildsensoren mit sehr unterschiedlichen Seitenlängen, also solche mit hohem Bildverhältnis (aspect ratio), beziehungsweise mit unterschiedlicher Pixelzahl in X-Richtung und Y-Richtung eingesetzt werden, was einen ganz ähnlichen Effekt hat.
-
Es wird erneut darauf hingewiesen, dass die Ausführungsformen anhand des Panoramaspiegels 22 des Bildsensors 14 erläutert wurden, dies jedoch ganz entsprechend für den Panoramaspiegel 24, den Strahlengang der Lichtquelle 20 in der Beleuchtungseinheit 18 und deren Sendeoptik gilt.
-
Die bisherigen Ausführungsformen basieren auf starren Panoramaspiegeln 22, 24. Es ist aber auch denkbar, die Panoramaspiegel 22, 24 beweglich oder in sich variabel zu gestalten und so die Messpunktdichteverteilung sogar dynamisch an veränderte Erfordernisse im Betrieb anzupassen, etwa an eine aktuelle Fahrtrichtung. Bei einem Fahrzeug kann wie mehrfach erwähnt vorteilhaft sein, nach vorne und hinten eine höhere Messpunktdichte zu erzielen als seitlich. Wird nun die Lenkung des Fahrzeugs betätigt, um eine Kurve zu fahren, kann der Panoramaspiegel 22, 24 synchron zur Lenkbewegung mitgedreht werden, so dass stets in der aktuellen Fahrtrichtung eine erhöhte Messauflösung erzielt wird. Der Panoramaspiegel 22, 24 kann nicht nur drehbar, sondern auch kippbar sein, um die Sichtwinkelbereiche in vertikaler Richtung zu variieren, etwa bei Nickbewegungen eines Fahrzeugs.
-
Prinzipiell ist sogar denkbar, die Form der optisch wirksamen Außenkontur des Panoramaspiegels 22, 24 dynamisch zu verändern. Eine Möglichkeit dafür ist der Einsatz eines elastischen Panoramaspiegels 22, 24, der dann elektrisch, pneumatisch, thermisch oder durch andere physikalische Effekte verformt wird. Eine andere Möglichkeit ist der Einsatz von auf MEMS (Micro-Electro-Mechanical System) oder MOEMS (Micro-Opto-Electro-Mechanical System) basierenden adaptiven Spiegelsystemen, die sich effektiv wie eine variable Außenkontur des Panoramaspiegels 22, 24 verhalten.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 7433024 [0005]
- US 6157018 [0007]
- WO 0176233 A1 [0007]
- DE 202006014939 U1 [0009]
- US 202011052106 U1 [0009]
- EP 2354806 A1 [0009]
- DE 102010004095 A1 [0009]
-
Zitierte Nicht-Patentliteratur
-
- Nayar und Baker in „Catadioptric image formation“, Proceedings of the 1997 DARPA Image Understanding Workshop, New Orleans, May 1997, Seiten 1341–1437 [0007]