-
Die Erfindung betrifft eine Stereokamera zur Entfernungsmessung, die insbesondere für den Einsatz in einem Fahrzeug konzipiert ist, gemäß den unabhängigen Ansprüchen.
-
Die US-Patentschrift
US6,411,327B1 beschreibt ein Stereokamera-System mit einer Monokamera und einem vor der Optik dieser Monokamera angeordneten Prisma, das zum Erzeugen eines Stereobildes ausgebildet ist, welches von der Monokamera erfasst wird. Das Stereobild wird aus zwei sich überlappenden, in der Aufnahmeebene aufgrund des Prismas etwas zueinander verschobenen Monobildern zusammengesetzt. Der Vorteil dieser Lösung gegenüber einer herkömmlichen Stereokamera mit zwei Bildsensoren besteht vor allem darin, dass nur eine Monokamera bzw. ein Bildsensor benötigt wird. Die mit einem solchen Stereokamera-System erzeugten Stereobilder können jedoch in der Regel nur für Distanzmessungen, nicht aber für andere Zwecke verwendet werden; sie sind beispielsweise bei einem Einsatz des Stereokamera-Systems in einem Fahrerassistenzsystem nicht für eine Fahrspur- oder Verkehrszeichenerkennung geeignet.
-
Die US-Patentschrift
US6,411,327B1 beschreibt neben der herkömmlichen Stereokamera mit zwei gesonderten Kameras (
8) außerdem das in
10 gezeigte System mit einer Kamera und einer vor der Kamera angeordneten, rotierenden Glasplatte. Durch die rotierende Glasplatte wird die optische Achse der Kamera leicht verändert, so dass zwischen mit der Kamera bei unterschiedlichen Lagen der Glasplatte erfassten Bildern eine Disparität auftritt, die zur Entfernungsmessung ausgewertet werden kann. Allerdings ist die Disparität systembedingt sehr klein, worunter die Präzision einer Entfernungsmessung leidet.
-
Aufgabe der vorliegenden Erfindung ist es nun, eine verbesserte Stereokamera zur Entfernungsmessung, die insbesondere für den Einsatz in einem Fahrzeug ausgebildet ist, vorzuschlagen.
-
Diese Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Weitere Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
-
Bei einer Stereokamera mit zwei Kameras sollte der Abstand der Bildsensoren der beiden Kameras auf einer Grundlinie einer gemeinsamen Ebene, in welcher die Bildsensoren angeordnet sind, so groß wie möglich sein, um den Bereich für eine Entfernungsmessung zu vergrößern und die Messpräzision durch eine Verringerung des Messfehlers zu erhöhen. Dies ist insbesondere für den Einsatz einer Stereokamera in einem Fahrzeug von Bedeutung, um einen möglichst großen Abstandsmessbereich mit einer möglichst großen Genauigkeit zu erhalten. Allerdings steht für die Integration einer Stereokamera in einem Fahrzeug, beispielsweise in einem Rückspiegel eines Fahrzeugs, häufig nur ein sehr beschränkter Platz zur Verfügung, der einen relativ geringen Abstand der Bildsensoren der beiden Kameras erfordert. Um dennoch eine möglichst kompakte Stereokamera, die vor allem für den Einsatz in Fahrzeugen bei beengten Platzverhältnissen geeignet ist, zu schaffen, schlägt die vorliegende Erfindung vor, eine Optik vor mindestens einer von zwei Kameras, deren Bildsensoren in einer gemeinsamen Ebene angeordnet sind, anzuordnen. Die Optik ist nun erfindungsgemäß derart ausgebildet, dass der effektive Abstand der Bildsensoren der beiden Kameras auf einer Grundlinie der Ebene gegenüber dem realen Abstand der Bildsensoren vergrößert ist. Durch die Vergrößerung des effektiven Abstands kann einerseits der Bereich für eine Entfernungsmessung vergrößert und die Messpräzision durch eine Verringerung des Messfehlers erhöht werden, und anderseits der Platzbedarf der Stereokamera verringert werden, so dass eine möglichst kompakte Stereokamera geschaffen werden kann, die insbesondere für den Einsatz in einem Fahrzeug geeignet ist.
-
Eine Ausführungsform der Erfindung betrifft nun eine Stereokamera zur Entfernungsmessung mit zwei Kameras, deren Bildsensoren in einer gemeinsamen Ebene angeordnet sind und einen vorgegebenen Abstand auf einer Grundlinie der Ebene aufweisen, und mindestens einer vor einer der beiden Kameras in deren Strahlengang angeordneten Optik, die derart ausgebildet ist, dass der vorgegebene Abstand auf der Grundlinie optisch vergrößert wird.
-
Insbesondere kann bzw. können von der mindestens einen Optik die Dicke, der Brechungsindex und/oder die Winkellage ihrer optischen Grenzflächen in Bezug auf die gemeinsame Ebene der Bildsensoren derart gewählt sein, dass eine gewünschte optische Vergrößerung des vorgegebenen Abstands auf der Grundlinie erreicht ist.
-
Weiterhin kann die optische Vergrößerung des vorgegebenen Abstands auf der Grundlinie durch die mindestens eine Optik mittels einer Kalibrierung oder analytisch ermittelt worden sein und der ermittelte Wert der optischen Vergrößerung zur Berücksichtigung bei einer Entfernungsmessung gespeichert sein.
-
Eine weitere Ausführungsform der Erfindung betrifft eine Optik für eine Stereokamera nach der Erfindung und wie hierin beschrieben, wobei die Optik derart ausgebildet ist, dass ein vorgegebener Abstand von Bildsensoren von zwei Kameras der Stereokamera auf einer Grundlinie einer gemeinsamen Ebene, in welcher die Bildsensoren angeordnet sind, optisch vergrößert wird .
-
Die Optik kann beispielsweise eine optisch transparente Platte mit parallelen optischen Grenzflächen aufweisen.
-
Die Optik kann auch ein optisch transparentes Prisma mit nicht parallelen optischen Grenzflächen aufweisen.
-
Die Optik in eine Windschutzscheibe eines Fahrzeugs integriert und/oder durch die Windschutzscheibe eines Fahrzeugs gebildet sein.
-
Die Optik kann sich auch dadurch auszeichnen, dass ihre Dicke, ihr Brechungsindex und/oder die Winkellage ihrer optischen Grenzflächen in Bezug auf die gemeinsame Ebene der Bildsensoren abhängig von einer gewünschten optischen Vergrößerung des vorgegebenen Abstands auf der Grundlinie gewählt ist.
-
Schließlich betrifft eine Ausführungsform der Erfindung noch ein Fahrerassistenzsystem für ein Fahrzeug, das mindestens eine Assistenzfunktion mit einer Kamera-basierten Entfernungsmessung implementiert und eine Stereokamera nach der Erfindung und wie hierin beschrieben zur Entfernungsmessung aufweist und nutzt.
-
Weitere Vorteile und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung in Verbindung mit dem/den in der/den Zeichnung(en) dargestellten Ausführungsbeispiel(en).
-
Die Zeichnungen zeigen in
- 1 eine schematische Darstellung eines ersten Ausführungsbeispiels einer Optik gemäß er Erfindung zur Erläuterung des Erfindungsprinzips;
- 2 eine schematische Darstellung eines zweiten Ausführungsbeispiels einer Optik gemäß er Erfindung zur Erläuterung des Erfindungsprinzips.
- 3 ein erstes Ausführungsbeispiel einer Stereokamera gemäß der Erfindung;
- 4 ein zweites Ausführungsbeispiel einer Stereokamera gemäß der Erfindung;
- 5 ein drittes Ausführungsbeispiel einer Stereokamera gemäß der Erfindung; und
- 6 ein viertes Ausführungsbeispiel einer Stereokamera gemäß der Erfindung;
-
In der folgenden Beschreibung können gleiche, funktional gleiche und funktional zusammenhängende Elemente mit den gleichen Bezugszeichen versehen sein. Absolute Werte sind im Folgenden nur beispielhaft angegeben und sind nicht als die Erfindung einschränkend zu verstehen.
-
Zunächst wird das Erfindungsprinzip anhand der in 1 gezeigten schematischen Darstellung einer Optik gemäß der Erfindung, wie sie zur Verwendung in einer erfindungsgemäßen Stereokamera vorgesehen ist, erläutert.
-
In 1 wird die Strahlenbrechung von Lichtstrahlung durch eine transparente Platte 104 mit parallelen optischen Grenzflächen 104' und 104", die vor einer durch einen Imager bzw. Bildsensor 100 und eine einfache Linse 102 gebildete (Mono-)Kamera angeordnet ist (Richtungsänderung der Lichtstrahlung durch die Platte 104 gemäß dem Snelliusschen Brechungsgesetz bzw. Snellius-Gesetz).
-
Bezugszeichen 108 bezeichnet in 1 den von einem Objekt 106 ausgehenden Haupt-Lichtstrahl. Bezugszeichen 110 bezeichnet einen vom Objekt 106 ausgehenden Hauptlichtstrahl, wie er aufgrund der Optik bzw. Platte 104 vom Bildsensor 100 erfasst wird. Die Optik bzw. Platte 104 bewirkt also, dass ein auf der Ebene des Bildsensors von einem einzelnen Objekt 106 erzeugter Feldpunkt gegenüber dem ohne Optik erzeugten Feldpunkt verschoben ist (Winkel β, δ). Gemäß dem Snellius-Gesetz ergibt sich folgende Beziehung: n1 * sin(90 - ε + β) = n2 * sin(θ), wobei n1 den Brechungsindex des Mediums beschreibt, in dem sich das Objekt befindet (typischerweise Luft mit n1 ≈ 1), und n2 den Brechungsindex der Platte 104.
-
Als Ergebnis ergibt sich durch die Optik eine „virtuelle“ Verschiebung des Sichtstrahls „k“, die als „virtuelle Grundlinienverschiebung“ bezeichnet wird. Die „virtuelle“ Verschiebung bedeutet nicht, dass der Hauptlichtstrahl 110 durch die Optik bzw. Platte 104 notwendigerweise parallel zum Hauptlichtstrahl 110 ohne Optik verläuft. Die Verschiebung 112 kann entlang einer vertikalen Ebene (y-Achse) durch den Bildsensor 100 gemessen bzw. ermittelt werden, beispielsweise indem ein Bild mit und ein Bild ohne die Platte 104 vom Bildsensor 100 erfasst wird und die Lage eines bestimmten Feldpunktes in beiden Bildern und dessen durch die Platte 104 bewirkte Lageverschiebung ermittelt wird.
-
Die virtuelle Grundlinienverschiebung ist jedoch für jeden Feldpunkt unterschiedlich und kann analytisch für jeden gegebenen Feldpunkt durch beispielsweise ein Schachbrettmuster-Bild bestimmt werden, wenn die Eigenschaften (Dicke, Brechungsindex, Winkellage der optischen Grenzflächen in Bezug auf die Bildsensor-Ebene) der Optik bzw. Platte 104 bekannt sind. Auf ähnliche Weise können mit einem solchen analytischen Ansatz die virtuelle Grundlinienverschiebung und die Eigenschaften der Optik bzw. Platte 104 anhand eines einzelnen Schachbrettmuster-Bildes, das vom Bildsensor 100 hinter der Platte 104 erfasst wurde, ermittelt werden, wenn die Distanz (x, y, z) zwischen Bildsensors 100 und Schachbrettmuster-Bild bekannt ist. Es ist auch möglich, die virtuelle Grundlinienverschiebung nur mit Kenntnis der longitudinalen Distanz zwischen Schachbrettmuster-Bild und Bildsensor 100 zu ermitteln, wenn zwei vom Bildsensor 100 erfasste Bilder vorliegen, von denen ein erstes Bild mit der Optik bzw. Platte 104 und ein zweites Bild ohne der Optik bzw. Platte 104 erfasst wurde.
-
Die virtuelle Grundlinienverschiebung bzw. virtuelle Grundlinie ist eine Funktion der bzw. abhängig von Eigenschalten der Optik bzw. Platte 104, insbesondere der Dicke, des Brechungsindex und der Winkellage der optischen Grenzflächen der Optik bzw. Platte 104 in Bezug auf die Ebene des Bildsensors 100. Daher können diese Eigenschaften bzw. Parameter der Optik bzw. Platte 104 derart gewählt werden, dass eine gewünschte Vergrößerung der virtuellen Grundlinie erhalten wird. Dies ermöglicht es, den vorgegebenen Abstand von zwei in einer gemeinsamen Ebene angeordneten Bildsensoren zweiter Kameras einer Stereokamera auf einer Grundlinie der Ebene optisch zu vergrößern, wie nachfolgend anhand von Ausführungsbeispielen erfindungsgemäßer Stereokameras erläutert wird.
-
2 zeigt eine Implementierung, bei welcher anstelle einer Platte 104 ein Prisma 105 als vor der aus Bildsensor 100 und Linse 102 gebildeten Kamera angeordnete Optik eingesetzt wird. Beim Prisma sind die optischen Grenzflächen 105' und 105" nicht parallel wie bei der Platte 104, sondern weisen einen Winkel ε - Φ zueinander auf, so dass der Lichtstrahl 110 anders als bei der Platte 104 mit parallelen optischen Grenzflächen 104', 104" abgelenkt wird. Als Ergebnis ergibt sich eine andere Verschiebung 112' entlang der vertikalen Ebene (y-Achse). Dies zeigt, dass durch die Wahl einer geeigneten Optik 104, 105 die Verschiebung 112, 122‘entlang der vertikalen Ebene (y-Achse), welche einer virtuellen Grundlinienverschiebung entspricht, beeinflusst werden kann. Abhängig vom Einsatzgebiet und der gewünschten Implementierung können also unterschiedliche Optiken im Sinne der Erfindung geeignet sein, um eine möglichst kompakte Stereokamera implementieren zu können.
-
Nachfolgend werden nun verschiedene Ausführungsbeispiele einer Stereokamera gemäß der Erfindung beschrieben.
-
3 bis 6 zeigen Stereokameras 10 bis 10'" jeweils mit einer ersten und einer zweiten Monokamera 12 bzw. 14, deren Bildsensoren in einer gemeinsamen Ebene 16 angeordnet sind. Die Bildsensoren der beiden Kameras 12 und 14 weisen zudem einen vorgegebenen Abstand 18 auf einer Grundlinie 20 der Ebene 16 auf. Der Abstand 18 entspricht der physikalischen Grundlinie der jeweiligen Stereokamera 10 bis 10'". Die von den Bildsensoren der Monokameras 12, 14 erfassten Bilder werden einer Bildverarbeitungseinheit 34 zugeführt, die ausgebildet ist, eine Entfernungsmessung auf Basis von mit den zwei Monokameras 12, 14 erfassten Bildern durchzuführen.
-
Bei der in 3 gezeigten Stereokamera 10 ist in den Strahlengang 26 der ersten Kamera 12 eine Optik 22 in Form einer transparenten Platte mit parallelen optischen Grenzflächen 220 und 222 vor der Kamera 12 angeordnet. Ebenso ist in den Strahlengang 28 der zweiten Kamera 14 eine Optik 24 in Form einer transparenten Platte mit parallelen optischen Grenzflächen 240 und 242 vor der Kamera 14 angeordnet.
-
Die beiden Optiken 22 und 24 sind derart ausgebildet, dass der Abstand 18 auf der Grundlinie 20 optisch vergrößert wird, indem Strahlen 26' und 28', die außerhalb des optischen Erfassungsbereichs der Optiken der beiden Kameras 12 und 14 liegen, durch die den Kameras 12 und 14 vorgeschalteten Optiken 22 und 24 in die optischen Erfassungsbereiche der Kameraoptiken gelenkt werden. Dadurch wird die der vorgegebene Abstand 18 auf der Grundlinie 20 durch die Optik 22 um die Verschiebung 30 und durch die Optik 24 um die Verschiebung 32 bis zur effektiven Grundlinie 36 vergrößert. Die Stereokamera 10 weist dadurch also eine effektive Grundlinie 36 anstelle der durch den vorgegebenen Abstand 18 bestimmten physikalischen Grundlinie auf. Mit anderen Worten bewirken die beiden als vor den Monokameras 12, 14 angeordneten Platten 22 und 24 eine Vergrößerung der physikalischen Grundlinie entsprechend dem vorgegebenen Abstand 18 auf die effektive Grundlinie 36, die größer ist und damit eine genauere Entfernungsmessung ermöglicht. Die Bildverarbeitungseinheit 34 ist ausgebildet, die Entfernungsmessung auf Basis von mit den zwei Monokameras 12, 14 erfassten Bildern unter Berücksichtigung des optisch vergrößerten vorgegebenen Abstands der Bildsensoren bzw. der effektiven Grundlinie 36 durchzuführen. Hierzu verwendet die Bildverarbeitungseinheit 34 die insbesondere analytisch ermittelten und gespeicherten Verschiebungen 30, 32 bzw. Vergrößerungen des Abstands 18 auf der Grundlinie 20.
-
4 zeigt ein Ausführungsbeispiel einer Stereokamera 10', die im Unterschied zu der in 3 gezeigten Stereokamera 10 nur eine Platte 22 aufweist, die vor der Stereokamera 12 angeordnet ist. Die dadurch vergrößerte effektive Grundlinie 36' ist etwas kleiner als die effektive Grundlinie 36 der Stereokamera 10 von 3.
-
5 und 6 zeigen Ausführungsbeispiele von Stereokameras 10" und 10'", bei denen Prismen 22', 24' anstelle von Platten 22, 24 als vor den Monokameras 12, 14 angeordnete Optiken verwenden werden. Die Prismen 22', 24' weisen in einem bestimmten Winkel zueinander stehende optische Grenzflächen 220', 222' und 240', 242' auf, wodurch die Strahlen 26' und 28', die außerhalb des optischen Erfassungsbereichs der Optiken der beiden Kameras 12 und 14 liegen, anders als bei den Platten 22, 24 mit parallelen optischen Grenzflächen abgelenkt werden. Entsprechend ergeben sich unterschiedliche effektive Grundlinien 36" und 36'" bei diesen Stereokameras 10", 10'".
-
Die vorliegende Erfindung weist insbesondere folgende Vorteile auf: sie ermöglicht einen vergrößerten maximalen Entfernungsmessbereich; sie ermöglicht eine Reduzierung des Entfernungsmessfehlers für jede Entfernung; sie ermöglicht eine Vergrößerung der Grundlinie einer Stereokamera, ohne die physikalische Grundlinie vergrößern zu müssen; sie ermöglicht es, einen nachteiligen Effekt einer Windschutzscheibe auf eine Entfernungsmessung durch eine hinter der Scheibe angeordnete Stereokamera zu reduzieren, wenn nicht gar zu beseitigen. Insbesondere eignet sich die Erfindung zur Implementierung einer Stereokamera für den Einsatz in Fahrzeugen, vor allem bei beengten Platzverhältnissen im Fahrzeug, beispielsweise für eine Integration in eine im Rückspiegel eines Fahrzeugs eingebaute Stereokamera. Weiterhin kann die Windschutzscheibe als eine Optik im Sinne der Erfindung eingesetzt werden, wenn die beiden Kameras einer Stereokamera hinter der Windschutzscheibe angeordnet sind. Alternativ kann eine Optik im Sinne der Erfindung auch in eine Windschutzscheibe integriert sein.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 6411327 B1 [0002, 0003]
