-
EINLEITUNG
-
Die vorliegende Offenbarung betrifft eine Tiefenbilderzeugungskamera mit einer polarisationscodierten Apertur.
-
Fahrzeuge (z. B. Personenkraftwagen, Lastkraftwagen, Baugeräte, Landmaschinen, automatisierte Fabrikausrüstung) verwenden zunehmend Sensoren, um Informationen über das Fahrzeug und seine Umgebung zu erhalten. Die Informationen können verwendet werden, um einen oder mehrere Aspekte des Fahrzeugbetriebs zu steuern. Beispielhafte Sensoren, die Informationen über die Umgebung außerhalb des Fahrzeugs erhalten, enthalten Kameras, Lichtortungs- und Abstandsmessungssysteme (Lidar-Systeme) und Funkortungs- und Abstandsmessungssysteme (Radarsysteme). Lidare und Tiefenbilderzeugungseinrichtungen stellen die Tiefe zu einem Objekt (d. h. die Entfernung von dem Fahrzeug zu dem Objekt) bereit, weisen aber auch Nachteile auf. Dementsprechend ist es erwünscht, eine Tiefenbilderzeugungskamera mit einer polarisationscodierten Apertur zu schaffen.
-
ZUSAMMENFASSUNG
-
Gemäß einer beispielhaften Ausführungsform enthält ein Tiefenbilderzeugungssystem in einem Fahrzeug eine Linse, die eine polarisationscodierte Apertur enthält. Die polarisationscodierte Apertur enthält einen Abschnitt für senkrechte Polarisation, um auffallendes Licht, das in den Abschnitt für senkrechte Polarisation der polarisationscodierten Apertur eintritt, als senkrecht polarisiertes Licht durchzulassen, und einen Abschnitt für parallele Polarisation, der dafür konfiguriert ist, das auffallende Licht, das in den Abschnitt für parallele Polarisation der polarisationscodierten Apertur eintritt, als parallel polarisiertes Licht durchzulassen. Ein Bildsensor stellt auf der Grundlage des senkrecht polarisierten Lichts ein senkrecht polarisiertes Bild und auf der Grundlage des parallel polarisierten Lichts ein parallel polarisiertes Bild bereit. Ein Controller verarbeitet das senkrecht polarisierte Bild und das parallel polarisierte Bild, um in einem Blickfeld des Tiefenbilderzeugungssystems ein oder mehrere Objekte zu identifizieren und um eine Entfernung zu jedem des einen oder der mehreren Objekte zu bestimmen.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst die polarisationscodierte Apertur ferner einen Verdunkelungsabschnitt, der dafür konfiguriert ist, das auffallende Licht, das auf den Verdunklungsabschnitt der polarisationscodierten Apertur auftrifft, nicht durchzulassen.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält das Tiefenbilderzeugungssystem außerdem eine Filteranordnung, die dem Bildsensor entspricht, wobei die Filteranordnung eine gepixelte Anordnung von Filterpixeln ist, wobei der Bildsensor eine gepixelte Anordnung von Sensorpixeln ist und wobei jedes der Filterpixel einem der Sensorpixel entspricht.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale ist die Filteranordnung dem Bildsensor überlagert und zwischen der polarisationscodierten Apertur und dem Bildsensor.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale sind die Filterpixel als ein wiederholtes Muster gebildet, das senkrecht polarisierte Filter enthält, die nur das senkrecht polarisierte Licht zu entsprechenden der Sensorpixel durchlassen, und das außerdem parallel polarisierte Filter enthält, die nur das parallel polarisierte Licht zu entsprechenden der Sensorpixel durchlassen.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst die polarisationscodierte Apertur ferner einen klaren Abschnitt, um das auffallende Licht, das in den klaren Abschnitt der polarisationscodierten Apertur eintritt, als rotes Licht und blaues Licht durchzulassen.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale ist das senkrecht polarisierte Licht grünes Licht und ist das parallel polarisierte Licht grünes Licht.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale sind die Filterpixel als ein sich wiederholendes Muster gebildet, das senkrecht polarisierte Filter, die nur das senkrecht polarisierte Licht, das das grüne Licht ist, zu entsprechenden der Sensorpixel durchlassen, parallel polarisierte Filter, die nur das parallel polarisierte Licht, das das grüne Licht ist, zu entsprechenden der Sensorpixel durchlassen, Rotfilter, die nur das rote Licht, das einzelnen der Sensorpixel entspricht, durchlassen, und Blaufilter, die nur das blaue Licht, das entsprechenden der Sensorpixel entspricht, durchlassen, enthält.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale stellt der Bildsensor auf der Grundlage des roten Lichts und des blauen Lichts ein unpolarisiertes Farbbild bereit.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale steuert der Controller einen Betrieb des Fahrzeugs auf der Grundlage der Entfernung zu jedem des einen oder der mehreren Objekte.
-
Gemäß einer anderen beispielhaften Ausführungsform enthält ein Verfahren zum Zusammensetzen eines Tiefenbilderzeugungssystems in einem Fahrzeug das Erhalten einer Linse, die eine polarisationscodierte Apertur mit einem Abschnitt für senkrechte Polarisation, um das auffallende Licht, das in den Abschnitt für senkrechte Polarisation der polarisationscodierten Apertur eintritt, als senkrecht polarisiertes Licht durchzulassen, und einen Abschnitt für parallele Polarisation, um das auffallende Licht, das in den Abschnitt für parallele Polarisation der polarisationscodierten Apertur eintritt, als parallel polarisiertes Licht durchzulassen, enthält. Außerdem enthält das Verfahren das Positionieren der polarisationscodierten Apertur zum Empfangen von auffallendem Licht von einem Blickfeld und das Anordnen eines Bildsensors zum Bereitstellen eines senkrecht polarisierten Bilds auf der Grundlage des senkrecht polarisierten Lichts und eines parallel polarisierten Bilds auf der Grundlage des parallel polarisierten Lichts. Ein Controller ist dafür konfiguriert, das senkrecht polarisierte Bild und das parallel polarisierte Bild zu verarbeiten, um in einem Blickfeld des Tiefenbilderzeugungssystems ein oder mehrere Objekte zu identifizieren und um eine Entfernung zu jedem des einen oder der mehreren Objekte zu bestimmen.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält das Erhalten, dass die polarisationscodierte Apertur einen Verdunklungsabschnitt enthält, der dafür konfiguriert ist, das auffallende Licht, das auf den Verdunklungsabschnitt der polarisationscodierten Apertur auftrifft, nicht durchzulassen.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält das Verfahren außerdem das Erhalten einer Filteranordnung, die dem Bildsensor entspricht, wobei die Filteranordnung eine gepixelte Anordnung von Filterpixeln ist, wobei der Bildsensor eine gepixelte Anordnung von Sensorpixeln ist und wobei jedes der Filterpixel einem der Sensorpixel entspricht.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält das Verfahren außerdem das Überlagern der Filteranordnung auf dem Bildsensor und zwischen der polarisationscodierten Apertur und dem Bildsensor.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält das Erhalten der Filteranordnung, dass die Filterpixel als ein sich wiederholendes Muster gebildet werden, das senkrecht polarisierte Filter, die nur das senkrecht polarisierte Licht zu entsprechenden der Sensorpixel durchlassen, enthält und das außerdem parallel polarisierte Filter, die nur das parallel polarisierte Licht zu entsprechenden der Sensorpixel durchlassen, enthält.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Erhalten der polarisationscodierten Apertur ferner, dass die polarisationscodierte Apertur einen klaren Abschnitt enthält, der dafür konfiguriert ist, das auffallende Licht, das in den klaren Abschnitt der polarisationscodierten Apertur eintritt, als rotes Licht und blaues Licht durchzulassen.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale ist das senkrecht polarisierte Licht grünes Licht und ist das parallel polarisierte Licht grünes Licht.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält das Erhalten der Filteranordnung, dass die Pixelfilter als ein sich wiederholendes Muster gebildet werden, das senkrecht polarisierte Filter, die nur das senkrecht polarisierte Licht, das das grüne Licht ist, zu entsprechenden der Sensorpixel durchlassen, parallel polarisierte Filter, die nur das parallel polarisierte Licht, das das grüne Licht ist, zu entsprechenden der Sensorpixel durchlassen, Rotfilter, die nur das rote Licht zu entsprechenden der Sensorpixel durchlassen, und Blaufilter, die nur das blaue Licht zu entsprechenden der Sensorpixel durchlassen, enthält.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält das Anordnen des Bildsensors das Konfigurieren des Bildsensors zum Bereitstellen eines unpolarisierten Farbbilds auf der Grundlage des roten Lichts und des blauen Lichts.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Konfigurieren des Controllers ferner das Konfigurieren des Controllers zum Steuern eines Betriebs des Fahrzeugs auf der Grundlage der Entfernung zu jedem des einen oder der mehreren Objekte.
-
Die obigen Merkmale und Vorteile und weitere Merkmale und Vorteile der Offenbarung gehen leicht aus der folgenden ausführlichen Beschreibung hervor, wenn sie zusammen mit den beigefügten Zeichnungen genommen wird.
-
Figurenliste
-
Weitere Merkmale, Vorteile und Einzelheiten erscheinen nur beispielhaft in der folgenden ausführlichen Beschreibung, wobei sich die ausführliche Beschreibung auf die Zeichnungen bezieht; es zeigen:
- 1 ein Blockdiagramm eines Fahrzeugs, das eine Tiefenbilderzeugungskamera mit einer polarisationscodierten Apertur enthält;
- 2 detailliert Aspekte einer Tiefenbilderzeugungskamera mit einer polarisationscodierten Apertur gemäß einer oder mehreren Ausführungsformen;
- 3A Aspekte einer Tiefenbilderzeugungskamera mit einer polarisationscodierten Apertur gemäß einer oder mehreren Ausführungsformen;
- 3B Aspekte einer Tiefenbilderzeugungskamera mit einer polarisationscodierten Apertur gemäß einer oder mehreren Ausführungsformen;
- 4A eine beispielhafte polarisationscodierte Apertur der Tiefenbilderzeugungskamera gemäß einer oder mehreren Ausführungsformen;
- 4B eine beispielhafte polarisationscodierte Apertur der Tiefenbilderzeugungskamera gemäß einer oder mehreren Ausführungsformen;
- 4C eine beispielhafte polarisationscodierte Apertur der Tiefenbilderzeugungskamera gemäß einer oder mehreren Ausführungsformen;
- 4D eine beispielhafte polarisationscodierte Apertur der Tiefenbilderzeugungskamera gemäß einer oder mehreren Ausführungsformen;
- 5 einen Prozessablauf, der eine polarisationscodierte Apertur in einer Tiefenbilderzeugungskamera gemäß einer oder mehreren Ausführungsformen verwendet;
- 6A ein Filtermuster einer beispielhaften Filteranordnung, die in einer Tiefenbilderzeugungskamera gemäß einer oder mehreren Ausführungsformen verwendet ist; und
- 6B ein Filtermuster einer beispielhaften Filteranordnung, die in einer Tiefenbilderzeugungskamera gemäß einer oder mehreren Ausführungsformen verwendet ist.
-
AUSFÜHRLICHE BESCHREIBUNG
-
Die folgende Beschreibung ist dem Wesen nach lediglich beispielhaft und soll die vorliegende Offenbarung, ihre Anwendung oder Verwendungen nicht einschränken. Selbstverständlich bezeichnen einander entsprechende Bezugszeichen überall in den Zeichnungen gleiche oder einander entsprechende Teile und Merkmale.
-
Wie zuvor festgestellt wurde, ist ein Lidar ein beispielhafter Sensor, der ein Bild bereitstellt, aus dem die Tiefe eines Objekts in dem Bild erhalten werden kann. Diese Tiefe gibt die Entfernung von dem Fahrzeug zu dem Objekt an. Allerdings weist die Tiefenbestimmung eine begrenzte Auflösung auf, erfordert sie die Kosten und das Gewicht, die Komponenten wie etwa der Laserlichtquelle zugeordnet sind, und ist sie rechenaufwändig. Eine andere Vorgehensweise zur Tiefenbilderzeugung umfasst Stereokameras (d. h. zwei oder mehr Kameras, die Bilder von einem gemeinsamen Blickfeld erhalten). Allerdings erfordert diese Vorgehensweise nicht nur mehrere Kameras, sondern die Ausrichtung und die Kalibrierung der Ausrichtung zwischen den Kameras.
-
Ausführungsformen der hier ausführlich dargestellten Systeme und Verfahren betreffen eine Tiefenbilderzeugungskamera mit einer polarisationscodierten Apertur. Es wird eine einzelne Kamera mit einer Apertur, die zwei außeraxiale polarisationscodierte Bereiche enthält, verwendet. Wie allgemein verstanden ist, ist die Apertur einer Kamera der geöffnete (d. h. belichtete) Abschnitt einer Linse, durch den Licht in die Kamera eintritt. Die Apertur kann einen Teil oder die gesamte Linse ausmachen. Gemäß einer oder mehreren Ausführungsformen enthält die Linse eine Apertur (d. h. den Abschnitt der Linse, durch den Licht eintritt), die polarisationscodiert ist. Einer der polarisationscodierten Abschnitte der Apertur weist eine parallele Polarisation auf, so dass Licht mit irgendeiner anderen Polarisation nicht durch diesen Abschnitt der Apertur zu dem Bildsensor durchgelassen wird. Der andere der polarisationscodierten Abschnitte der Apertur weist eine senkrechte Polarisation auf, so dass Licht mit irgendeiner anderen Polarisation nicht durch diesen Abschnitt der Apertur durchgelassen wird. Wie ausführlich dargestellt ist, bestimmt der Bildsensor in dem mit der Kamera erhaltenen Bild auf der Grundlage der Disparität zwischen den Bildern, die über die zwei verschieden codierten Abschnitte der Apertur erhalten werden, die Entfernung zu jedem Objekt.
-
Gemäß einer beispielhaften Ausführungsform ist 1 ein Blockdiagramm eines Fahrzeugs 100, das eine Tiefenbilderzeugungskamera 110 mit einer polarisationscodierten Apertur 210 (2) enthält. Das beispielhafte in 1 gezeigte Fahrzeug 100 ist ein Personenkraftwagen 101. Zusätzlich zu der Tiefenbilderzeugungskamera 110 enthält das Fahrzeug 100 andere Sensoren 130 (z. B. Radarsystem, Lidarsystem), die Informationen über die Umgebung um das Fahrzeug 100 erhalten. Die Anzahlen und Orte der Tiefenbilderzeugungskamera 110 und anderer Sensoren 130 innerhalb des Fahrzeugs 100 sollen durch die beispielhafte Darstellung in 1 nicht beschränkt sein. Außerdem enthält das Fahrzeug 100 einen Controller 120, der von der Kamera 110 und von einem oder mehreren Sensoren 130 Informationen erhält und auf der Grundlage der Informationen einen Betrieb des Fahrzeugs 100 steuert. Beispielhafte Anwendungen der Informationen enthalten Kollisionsvermeidung, automatisierte Bremsung, adaptiven Tempomat und autonomes Fahren.
-
Die Informationen, die der Controller 120 von der Tiefenbilderzeugungskamera 110 erhält, können die Identifizierung eines oder mehrerer Objekte 140 enthalten, die in einem mit der Tiefenbilderzeugungskamera 110 erhaltenen Bild aufgenommen werden. Die Objektidentifizierung kann auf Bildverarbeitung durch den Controller 120 beruhen. Wie ausführlich dargestellt ist, kann der Controller 120 aus dem Bild der Tiefenbilderzeugungskamera 110 außerdem Tiefeninformationen (d. h. eine Entfernung zu jedem der identifizierten Objekte 140) erhalten. Der Controller 120 kann eine Verarbeitungsschaltungsanordnung enthalten, die eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam genutzt, dediziert oder Gruppe) und Speicher, die ein oder mehrere Software- oder Firmwareprogramme ausführen, eine Kombinationslogikschaltung und/oder andere geeignete Komponenten, die die beschriebene Funktionalität bereitstellen, enthalten kann.
-
2 stellt detailliert Aspekte einer Tiefenbilderzeugungskamera 110 mit einer polarisationscodierten Apertur 210 gemäß einer oder mehreren Ausführungsformen dar. Allgemein enthält die Tiefenbilderzeugungskamera 110 eine Linse 211, die die polarisationscodierte Apertur 210 enthält, und einen Bildsensor 240. Die polarisationscodierte Apertur 210 ist in 2 sowie in 3A und 3B als die Gesamtheit der Linse 211 gezeigt. In 5 ist gezeigt, dass die Linse 211 die polarisationscodierte Apertur 210 und ebenfalls zusätzliche Abschnitte enthält. In 2 ist eine beispielhafte Objektebene 205 angegeben. Die beispielhafte Objektebene 205 ist in einer Entfernung Rf von der polarisationscodierten Apertur 210, die im Brennpunkt ist. Diese beispielhafte Objektebene 205 ist eine von vielen Objektebenen 205 innerhalb eines Blickfelds der Tiefenbilderzeugungskamera 110, von denen Licht 207 in Richtung der polarisationscodierten Apertur 210 gelenkt wird. Das heißt, obwohl für Erläuterungszwecke nur das Licht 207 von der beispielhaften Objektebene 205 gezeigt ist, tritt Licht 207 von jeder der Objektebenen 205 in die polarisationscodierte Apertur 210 ein. Das Licht 207 ist unpolarisiert.
-
Bei der polarisationscodierten Apertur 210 polarisieren ein Abschnitt 220 für senkrechte Polarisation und ein Abschnitt 230 für parallele Polarisation das Licht 207 in orthogonale Polarisationszustände. Das heißt, der Abschnitt 220 für senkrechte Polarisation polarisiert das einfallende Licht 207 mit einer senkrechten Polarisation, um senkrecht polarisiertes Licht 225 zu erzeugen, und der Abschnitt 230 für parallele Polarisation polarisiert das einfallende Licht 207 mit einer parallelen Polarisation, um parallel polarisiertes Licht 235 zu erzeugen. Der Abschnitt 220 für senkrechte Polarisation und der Abschnitt 230 für parallele Polarisation befinden sich außeraxial voneinander. Somit enthält die polarisationscodierte Apertur 210 zwei außeraxiale polarisationscodierte Bereiche. Der Rest der polarisationscodierten Apertur 210 enthält einen optionalen Verdunkelungsabschnitt 215, der verhindert, dass das Licht 207 durchgeht. Die polarisationscodierte Apertur 210 und der Bildsensor 240 sind anhand von 4 und 5 detailliert weiter beschrieben.
-
Wie zuvor festgestellt wurde, ist die in 2 gezeigte beispielhafte Objektebene 205 bei einer Brennweitenentfernung Rf der Tiefenbilderzeugungskamera 110. Somit trifft sowohl das senkrecht polarisierte Licht 225 als auch das parallel polarisierte Licht 235, die sich aus dem auffallenden Licht 207 ergeben, das von einem selben Punkt in der beispielhaften Objektebene 205 ausgeht, in demselben Punkt auf den Bildsensor 240. Wie 3A und 3B angeben, ist dies nicht der Fall, wenn die Entfernung R einer gegebenen Objektebene 205 kleiner oder größer als die Brennweitenentfernung Rf ist. Wie anhand von 5 diskutiert ist, wird diese Tatsache verwendet, um auf der Grundlage einer Überlagerung einer Filteranordnung 510 (5) auf dem Bildsensor 240 zwei Bilder 520, 530 (5) zu erhalten. Somit werden unter Verwendung der polarisationscodierten Apertur 210 der Tiefenbilderzeugungskamera 110 ein senkrecht polarisiertes Bild 520, das dem senkrecht polarisierten Licht 225 zugeordnet ist, und ein parallel polarisiertes Bild 530, das dem parallel polarisierten Licht 235 zugeordnet ist, erhalten. Daraufhin wird aus den zwei Bildern 520, 530 eine Disparitätskarte 540 (5) erhalten, um die Tiefenbestimmung zu ermöglichen. Diese Disparitätskarte 540 ist ähnlich einer, die in einer Stereokameravorgehensweise erhalten wird, erfordert aber nicht, Bilder mit zwei getrennten Kameras (d. h. getrennten Bildsensoren) zu erhalten.
-
3A und 3B stellen die Ergebnisse bei dem Bildsensor 240 für zwei beispielhafte Objektebenen 205 dar. 3A zeigt Aspekte einer Tiefenbilderzeugungskamera 110 mit einer polarisationscodierten Apertur 210 gemäß einer oder mehreren Ausführungsformen. Licht 207, das in die polarisationscodierte Apertur 210 eintritt, ist von einer beispielhaften Objektebene 205, die in einer Entfernung R ist, die kleiner (d. h. näher zu der Tiefenbilderzeugungskamera 110) als die Brennweitenentfernung Rf ist. Bei Vergleich der Eingabe in den Bildsensor 240 in 3A mit der in 2 gezeigten treffen sich das senkrecht polarisierte Licht 225 und das parallel polarisierte Licht 235 nicht in demselben Punkt des Bildsensors 240 in 3A. Stattdessen wird das Licht 207 von einem gegebenen Punkt in der beispielhaften Objektebene 205 als senkrecht polarisiertes Licht 225 und als das parallel polarisierte Licht 235 zu getrennten Punkten (z. B. Pixeln 517 (5)) des Bildprozessors 240 projiziert. Die relative Position der Abschnitte 220, 230 wird für die Projektionen aufrechterhalten. Das heißt, wie in 3A gezeigt ist, ist der Abschnitt 220 für senkrechte Polarisation über dem Abschnitt 230 für parallele Polarisation der polarisationscodierten Apertur 210. Somit wird für einen Punkt aus einer Entfernung R, die kleiner als Rf ist, das senkrecht polarisierte Licht 225 auf dem Bildsensor 240 über das parallel polarisierte Licht 235 projiziert. Während die Entfernung R abnimmt, nimmt der Abstand d1 zwischen den Projektionen zu.
-
3B zeigt Aspekte einer Tiefenbilderzeugungskamera 110 mit einer polarisationscodierten Apertur 210 gemäß einer oder mehreren Ausführungsformen. Licht 207, das in die polarisationscodierte Apertur 210 eintritt, ist von einer beispielhaften Objektebene 205, die in einer Entfernung R ist, die größer (d. h. weiter von der Tiefenbilderzeugungskamera 110) als die Brennweitenentfernung Rf ist. Beim Vergleich der Eingabe in den Bildsensor 240 in 3B mit der in 2 gezeigten treffen sich das senkrecht polarisierte Licht 225 und das parallel polarisierte Licht 235 nicht an demselben Punkt des Bildsensors 240 in 3B. Stattdessen wird das Licht 207 von einem gegebenen Punkt in der beispielhaften Objektebene 205 als senkrecht polarisiertes Licht 225 und als das parallel polarisierte Licht 235 auf getrennte Punkte (d. h. Pixel 517) des Bildprozessors 240 projiziert.
-
Anders als in dem in 3A dargestellten Szenarium wird die relative Position der Abschnitte 220 (d. h. gemäß der gezeigten Ansicht des Abschnitts 220 für senkrechte Polarisation über dem Abschnitt 230 für parallele Polarisation der polarisationscodierten Apertur 210) für die Projektionen nicht aufrechterhalten. Stattdessen wird in der beispielhaften Anordnung das senkrecht polarisierte Licht 225 von demselben Punkt der beispielhaften Objektebene 205 unter das parallel polarisierte Licht 235 projiziert. Während die Entfernung R zunimmt, nimmt der Abstand d2 zwischen den Projektionen zu. Diese Differenz der relativen Projektionen des senkrecht polarisierten Lichts 225 und des parallel polarisierten Lichts 235 auf der Grundlage der Entfernung R der Objektebene 205 relativ zu der Brennweitenentfernung Rf gibt an, ob der Abstand d1 oder der Abstand d2 relevant ist. Wie anhand von 5 diskutiert wird, ermöglicht dann der Abstand d1 oder d2 die Bestimmung der Entfernung R zu einem detektierten Objekt 140.
-
4A, 4B, 4C, 4D zeigen beispielhafte Ausführungsformen der polarisationscodierten Apertur 210 der Tiefenbilderzeugungskamera 110. Die gezeigten Beispiele sollen die polarisationscodierte Apertur 210 gemäß alternativen Ausführungsformen nicht beschränken. 4A zeigt eine beispielhafte polarisationscodierte Apertur 210 der Tiefenbilderzeugungskamera 110 gemäß einer oder mehreren Ausführungsformen. Es sind der Abschnitt 220 für senkrechte Polarisation und der Abschnitt 230 für parallel Polarisation angegeben. Ein Abschnitt 215 für optische Verdunkelung ergibt den Rest der polarisationscodierten Apertur 210. Somit geht Licht 207 nur durch den Abschnitt 220 für senkrechte Polarisation und durch den Abschnitt 230 für parallele Polarisation zu dem Bildsensor 240.
-
4B zeigt eine beispielhafte polarisationscodierte Apertur 210 der Tiefenbilderzeugungskamera 110 gemäß einer oder mehreren Ausführungsformen. Wie die in 4A gezeigte Ausführungsform zeigt die in 4B gezeigte Ausführungsform eine polarisationscodierte Apertur 210 mit einem Abschnitt 220 für senkrechte Polarisation und mit einem Abschnitt 230 für parallele Polarisation, wobei ein Abschnitt 215 für optische Verdunkelung den Rest der polarisationscodierten Apertur 210 ergibt.
-
4C zeigt eine beispielhafte polarisationscodierte Apertur 210 der Tiefenbilderzeugungskamera 110 gemäß einer oder mehreren Ausführungsformen. Wie angegeben ist, ist die polarisationscodierte Apertur 210 in entweder einen Abschnitt 220 für senkrechte Polarisation oder einen Abschnitt 230 für parallele Polarisation geteilt.
-
4D zeigt eine beispielhafte polarisationscodierte Apertur 210 der Tiefenbilderzeugungskamera 110 gemäß einer oder mehreren Ausführungsformen. Während die in 4A, 4B und 4C gezeigten polarisationscodierten Aperturen 210 eine monochromatische Tiefenbilderzeugungskamera 110 betreffen, betrifft die in 4D gezeigte polarisationscodierte Apertur 110 eine Farbbildererzeugungseinrichtung. Ein klarer Abschnitt 400 der polarisationscodierten Apertur 210 lässt Licht 207 mit einer Wellenlänge, die grün G entspricht, nicht durch und lässt Licht 207, das rot R und blau B entspricht, durch. Die grünen Abschnitte des Lichts 207 gehen durch einen Abschnitt 220 für senkrechte Polarisation oder durch einen Abschnitt 230 für parallele Polarisation durch.
-
5 stellt einen Prozessablauf, der eine polarisationscodierte Apertur 210 in einer Tiefenbilderzeugungskamera 110 gemäß einer oder mehreren Ausführungsformen verwendet, dar. Wie zuvor festgestellt wurde, tritt Licht 207 von Objektebenen 205 innerhalb des Blickfelds der Tiefenbilderzeugungskamera 110 in die polarisationscodierte Apertur 210 ein. Wie angegeben ist, weist die Linse 211 in dem beispielhaften Fall Abschnitte außerhalb der polarisationscodierten Apertur 210 auf. Wie in 4A bis 4D gezeigt ist, enthält die polarisationscodierte Apertur 210 einen Abschnitt 220 für senkrechte Polarisation und einen Abschnitt 230 für parallele Polarisation, die gemäß irgendeiner Anzahl beispielhafter Ausführungsformen geformt, bemessen und angeordnet sein können. Außerdem kann die polarisationscodierte Apertur 210 einen Abschnitt 215 für optische Verdeckung, um den Durchgang des Lichts 207 nicht durchzulassen, oder ein Farbfilter (z. B. den klaren Abschnitt 400), so dass der Abschnitt 220 für senkrechte Polarisation und der Abschnitt 230 für parallele Polarisation nur eine Farbe (z. B. grün G) betreffen, enthalten. Somit stellt die polarisationscodierte Apertur 210 senkrecht polarisiertes Licht 225 und parallel polarisiertes Licht 235 bereit und kann sie (z. B. auf der Grundlage des klaren Abschnitts 400) zusätzlich anderes Licht 505 bereitstellen.
-
Es ist eine Filteranordnung 510 gezeigt, die dem Bildsensor 240 entspricht. Der Bildsensor 240 ist eine gepixelte Anordnung von Lichtdetektoren. Es ist eines der Pixel 517 angegeben. Jedes Pixel 515 der Filteranordnung 510 entspricht einem Pixel 517 des Bildsensors 240. Der Bildsensor 240 kann z. B. ein Komplementär-Metalloxid-Halbleiter-Bildsensor (CMOS-Bildsensor) sein, der Photonen in Elektronen umwandelt, um eine digitale Bildverarbeitung der resultierenden Pixel 517 zu ermöglichen. Die Filteranordnung 510 ist ebenfalls gepixelt, um eine Filterung jedes Pixels zu ermöglichen. Es ist eines der Pixel 515 angegeben. Wie anhand von 6 weiter diskutiert wird, ermöglicht die Filteranordnung 510 die Trennung eines senkrecht polarisierten Bilds 520 und eines parallel polarisierten Bilds 530, die z. B. dem senkrecht polarisierten Licht 225 bzw. dem parallel polarisierten Licht 235, die durch die polarisationscodierte Apertur 210 erzeugt werden, entsprechen.
-
Der Controller 120 enthält das senkrecht polarisierte Bild 520 und das parallel polarisierte Bild 530 und eine Disparitätskarte 540. Zunächst führt der Controller 120 eine Bildverarbeitung aus, um in den Bildern 520, 530 ein oder mehrere Objekte 140 zu identifizieren. Daraufhin gibt der Controller 120 den Abstand d1 oder d2 zwischen jedem Teil jedes Objekts 140 in dem senkrecht polarisierten Bild 520 und demselben Teil in dem parallel polarisierten Bild 530 als die Disparitätskarte 540 an. Wie zuvor festgestellt wurde, umfasst eine frühere Vorgehensweise zum Erhalten einer Disparitätskarte zwei getrennte Bildsensoren, die ein gemeinsames Blickfeld aufweisen und die ausgerichtet sind.
-
Wie anhand von 3A und 3B diskutiert ist, gibt die relative Position der Projektion desselben Teils eines Objekts 140 in den zwei Bildern 520, 530 an, ob die Entfernung R kleiner oder größer als die Brennweitenentfernung Rf ist. Das heißt, falls die relative Position der Projektionen die relative Position des senkrecht polarisierten Abschnitts 220 und des parallel polarisierten Abschnitts 230 aufrechterhält, ist die Entfernung R kleiner als die Brennweitenentfernung Rf. Falls die relative Position der Projektionen die relative Position des senkrecht polarisierten Abschnitts 220 und des parallel polarisierten Abschnitts 230 nicht aufrechterhält, ist die Entfernung R größer als die Brennweitenentfernung Rf. Der Wert des Abstands d1 (im Fall von R < Rf) oder d2 (im Fall von R > Rf) gibt dann dadurch, dass er den Abstand von der bekannten Brennweitenentfernung Rf angibt, den Wert der Entfernung R an. Das heißt, wenn R < Rf ist, ist die Entfernung R die Brennweitenentfernung Rf mit d1 subtrahiert, und wenn R > Rf ist, ist die Entfernung R die Brennweitenentfernung Rf mit d2 addiert. Auf diese Weise kann auf der Grundlage der Disparitätskarte 540 die Entfernung R zu jedem Objekt 140 in dem Blickfeld der Tiefenbilderzeugungskamera 110 bestimmt werden.
-
6A und 6B zeigen beispielhafte Ausführungsformen von Aspekten der Filteranordnung 510, die in einer Tiefenbilderzeugungskamera 110 gemäß einer oder mehreren Ausführungsformen verwendet ist. 6A zeigt ein Filtermuster einer beispielhaften Filteranordnung 510, die in einer Tiefenbilderzeugungskamera 110 gemäß einer oder mehreren Ausführungsformen verwendet ist. Wie zuvor festgestellt wurde, ist die Filteranordnung 510 eine Anordnung von Pixeln 515. Die vier für die Filteranordnung 510 gezeigten Pixel 515 können eine kleine Teilmenge aller Pixel 515 der Filteranordnung 510 repräsentieren. Das in 6A gezeigte für die vier Pixel 515 angegebene und diskutierte Muster kann über die gesamte Anordnung von Pixeln 515 wiederholt sein. Wie gezeigt ist, filtert jedes zweite Pixel 515 entweder die senkrechte oder die parallele Polarisation. Das heißt, jedes Filter 610 für senkrechte Polarisation filtert parallel polarisiertes Licht 235, das sich aus dem Abschnitt 230 für parallele Polarisation ergibt, heraus (d. h. lässt nur das senkrecht polarisierte Licht 225 durch) und jedes Filter 620 für parallele Polarisation filtert senkrecht polarisiertes Licht 225, das sich aus dem Abschnitt 220 für senkrechte Polarisation ergibt, heraus (d. h. lässt nur das parallel polarisierte Licht 235 durch).
-
Wie zuvor festgestellt wurde, kann die Filteranordnung 510 dem Bildsensor 240 überlagert sein. Somit empfängt z. B. jedes zweite Pixel 517 des Bildsensors 240 nur senkrecht polarisiertes Licht 225 und erzeugt es einen Teil des senkrecht polarisierten Bilds 520 oder empfängt es nur parallel polarisiertes Licht 235 und erzeugt es einen Teil des parallel polarisierten Bilds 530. Das heißt, auf der Grundlage der in 6A gezeigten beispielhaften Filteranordnung 510 besteht das senkrecht polarisierte Bild 520 aus einer Hälfte der vollen Anordnung von Pixeln 517 des Bildsensors 240 und besteht das parallel polarisierte Bild 530 aus der anderen Hälfte der vollen Anordnung von Pixeln 517.
-
6B zeigt ein Filtermuster einer beispielhaften Filteranordnung 510, die in einer Tiefenbilderzeugungskamera 110 gemäß einer oder mehreren Ausführungsformen verwendet ist. Obwohl die in 6A gezeigte beispielhafte Filteranordnung 510 eine monochromatische Kamera betrifft, kann das in 6B gezeigte Filtermuster 510 in einer Farbkamera z. B. mit der in 4D gezeigten beispielhaften polarisationscodierten Apertur 210 verwendet werden. Wie festgestellt wurde, führt jedes in 6A gezeigte Muster von vier Pixeln 515 zu zwei Typen von Ausgaben (d. h. entweder das senkrecht polarisierte Licht 225 oder das parallel polarisierte Licht 235 wird gefiltert). Allerdings führt das in 6B gezeigte Muster der vier Pixel 515, das in irgendeiner Anzahl über die Filteranordnung 510 wiederholt sein kann, wie ausführlich dargestellt ist, zu vier Typen von Ausgaben.
-
Unter der Annahme, dass, z. B. auf der Grundlage der in 4D gezeigten beispielhaften polarisationscodierten Apertur 210, nur grünes Licht polarisiert wird, lässt jedes Filter 610 für senkrechte Polarisation nur das senkrecht polarisierte Licht 225, das grün ist, durch. Jedes Filter 620 für parallele Polarisation lässt nur parallel polarisiertes Licht 235, das ebenfalls grün ist, durch. Diese zwei Typen von Filtern werden verwendet, um das senkrecht polarisierte Bild 520 und das parallel polarisierte Bild 530 zu erhalten. Das heißt, auf der Grundlage der in 6B gezeigten beispielhaften Filteranordnung 510 besteht das senkrecht polarisierte Bild 520 aus einem Viertel der vollen Anordnung von Pixeln 517 des Bildsensors 240 und besteht das parallel polarisierte Bild 530 aus einem Viertel der vollen Anordnung von Pixeln 517. Das blaue B-Filter 630 lässt nur blaues Licht durch und das rote R-Filter 640 lässt nur rotes Licht durch. Das blaue Licht und das rote Licht sind unpolarisiert. Somit können zwei zusätzliche Bilder, wobei eines das blaue Licht B umfasst und eines das rote Licht R umfasst, erhalten werden. Diese Bilder bestehen aus der anderen Hälfte der Gesamtanzahl von Pixeln 517 des Bildsensors 240. Die Bilder können z. B. kombiniert werden, um dem Fahrer ein Farbbild darzustellen.
-
Obwohl die obige Offenbarung anhand beispielhafter Ausführungsformen beschrieben worden ist, versteht der Fachmann, dass verschiedene Änderungen vorgenommen werden können und Äquivalente für Elemente davon ersetzt werden können, ohne von ihrem Schutzumfang abzuweichen. Zusätzlich können viele Abwandlungen vorgenommen werden, um eine bestimmte Situation oder ein bestimmtes Material an die Lehren der Offenbarung anzupassen, ohne von deren wesentlichem Schutzumfang abzuweichen. Somit soll die vorliegende Offenbarung nicht auf die bestimmten offenbarten Ausführungsformen beschränkt sein, sondern alle Ausführungsformen, die in ihrem Schutzumfang liegen, enthalten.
