-
Die vorliegende Erfindung betrifft ein Verfahren bzw. ein Kamerasystem zur Entfernungsbestimmung von Objekten zu einem Fahrzeug mit wenigstens zwei Kameras.
-
Stand der Technik
-
Aus der Veröffentlichung Führer, D. I. T., Heger, I. T., & Heckel, M. S. J. (2014). Stereo-Videokamera als Basis für Assistenzfunktionen. ATZ-Automobiltechnische Zeitschrift, 116(2), 22–27 sind bereits Stereokamera-Systeme bekannt, die auf Basis zweier identisch ausgelegter optischer Pfade die Distanz zu einem Objekt in ihrem Überlappungsbereich ermitteln und diese Information in Fahrerassistenzsysteme einbinden. Die Stereovideo-Kamera generiert eine sogenannte stereoskopische Disparitätsinformation, das heißt, sie erstellt aus dem Vergleich zwischen den linken und rechten Bildern eine präzise 3-D-Karte der Fahrzeugumgebung. Die daraus entstehende Tiefenkarte umfasst eine hochgenaue Abstandsberechnung für alle Punkte im Überlappungsbereich der Kamerabilder.
-
In der Offenlegungsschrift
DE 11 2012 003 685 T5 wird des Weiteren ein System vorgestellt, welches eine Bildbearbeitungsvorrichtung umfasst, das aus einer ersten und zweiten Bildaufnahmeeinheit mit Weitwinkellinsen besteht, die sich zumindest teilweise überlappende Bilder aufnehmen können. Des Weiteren besteht das System aus einer Distanzmesseinheit, die die Distanz von dem lokalen Fahrzeug zu einem Objekt auf Grundlage einer Vielzahl von Bilden, berechnet, die durch die ersten und zweiten Bildaufnahmeeinheiten aufgenommen wurden. Unter anderem kann die Berechnung der Distanz auf Grundlage der durch eine Einfallswinkel-Bestimmungseinheit bestimmten Einfallswinkel durchgeführt werden.
-
Bei idealerweise parallelen optischen Achsen der verwendeten Kameras, gleichen Brennweiten f und dem bekannten Basisabstand b der Kameras, lässt sich aus der Disparität D eines Merkmals auf den von den Kameras bzw. Bildsensoren erfassten Bildern der Abstand g zu dem zum Merkmal gehörenden Objekt bestimmen: g = f·b/D
-
Dieses Gesetz fällt an dieser Stelle so einfach aus, da die optischen Pfade beider Kameras annähernd identisch sind.
-
In der
JP H11-39596 A wird ein Kamerasystem, bestehend aus zwei Stereo-Video-Kameras, offenbart. Die Stereo-Video-Kameras weisen hierbei unterschiedliche Bildwinkel auf. Anhand der erfassten Bilder jeweils einer Stereo-Video-Kamera ist eine Abstandsbestimmung von Objekten möglich, die Bilder der jeweils anderen Stereo-Video-Kamera fließen in die Abstandsbestimmung nicht ein. Für Objekte, welche sich in einem Überlappungsbereich der Sichtbereiche der beiden Stereo-Video-Kameras befinden, werden die von den jeweils einzelnen Stereo-Video-Kameras ermittelten Abstände miteinander verglichen.
-
Offenbarung der Erfindung
-
Die vorliegende Erfindung betrifft ein Kamerasystem zur Entfernungsbestimmung von Objekten zu einem Fahrzeug mit wenigstens zwei Kameras, welche unterschiedliche, sich jedoch zumindest teilweise überlappende Bildbereiche erfassen. Der Kern der Erfindung besteht darin, dass sich die Auslegungen der Abbildungen wenigstens zweier Kameras voneinander unterscheiden, und dass die von wenigstens zwei Kameras erfassen Bilder eines Objektes im Überlappungsbereich der Sichtfelder der Kameras in einer Auswerteeinheit zur Bestimmung der Entfernung des Objektes zum Fahrzeug genutzt werden.
-
Die Erfindung ermöglicht eine Entfernungsbestimmung von Objekten mit Hilfe von wenigstens zwei Kameras mit unterschiedlich ausgelegten Optiken. Im Gegensatz zu einer Stereovideo-Kamera müssen die verwendeten Kameras nicht baugleich sein und den gleichen Abbildungsgesetzen genügen. Dadurch ist es möglich, ein System zu konstruieren, welches mit unterschiedlich ausgelegten Kameras verschiedene Bildbereiche abdecken kann, beispielsweise mit einem Weitwinkel und einem Teleobjektiv, und gleichzeitig eine Entfernungsbestimmung der sich im Überlappungsbereich befindenden Objekte durchführen kann. Das offenbarte Kamerasystem ermöglicht diese Abdeckung der Bildbereiche mit Hilfe von nur zwei Mono-Kameras. Hierdurch entsteht eine deutliche Kostenersparnis zu bereits bekannten Kamerasystemen, die zur Abdeckung des gleichen Bildbereichs zwei Stereo-Video-Kameras einsetzen.
-
Die vorgeschlagene Erfindung könnte besonders für Fahrerassistenz- oder Sicherheitsfunktionen angewendet werden. Denkbar wären Systeme, wie beispielsweise Notbremssysteme, Spurhalteassistenten, Spurwechselassistenten, Verkehrszeichenerkennung, Systeme zur Abstandregulierung, Komfortsysteme wie Stauassistenten, Baustellenassistenten und vergleichbare Systeme.
-
Der Vorteil der Erfindung wird an dieser Stelle noch einmal besonders deutlich, da mit einem Kamerasystem mehrere Assistenzfunktionen denkbar sind. Bei den unterschiedlichen Systemen müssen in einigen Fällen mehrere Fahrspuren in sehr nahem Umfeld des Fahrzeugs abgebildet werden, was vorzugsweise mit Kameras mit sehr breitem Sichtfeld, insbesondere mit Weitwinkelobjektiven realisierbar ist. Andere Systeme, wie die Verkehrszeichenerkennung oder eine Assistenzfunktion, die weit entferne Objekte und/oder Fahrzeuge erkennen müssen, benötigen hierfür bevorzugt ein Kamerasystem, welches beispielsweise ein Teleobjektiv verwendet, mit welchem weit entfernte Gegenstände scharf abgebildet werden können.
-
Die vorgeschlagene Erfindung ermöglicht somit, mit Hilfe eines Kamerasystems die Anforderungen unterschiedlicher Fahrerassistenzfunktionen und/oder Funktionen zum autonomen Fahren zu erfüllen, wofür wenigstens zwei herkömmliche/bekannte Kamerasysteme notwendig wären. Dadurch lassen sich Kosten einsparen oder alternativ eine größere Anzahl an Assistenz- oder Sicherheitsfunktionen mit nur einem Kamerasystem realisieren.
-
Unter Auslegung der Abbildungen können beispielsweise die Sichtfelder und/oder die Bildwinkel und/oder die Lichtempfindlichkeit und/oder die Separationsfähigkeit und/oder die Pixelauflösung und/oder das Farbfilterpattern des Imagers der verwendeten Kameras verstanden werden.
-
Bei dem offenbarten Kamerasystem können sich zudem die Sichtfelder und/oder die Bildwinkel der Kameras beliebig voneinander unterscheiden. Die Sichtfelder bezeichnen die von den Kameras erfassten Bildbereiche, die häufig auch als „field of view (FOV) bezeichnet werden, deren Begrenzung durch die Bildwinkel der Kameras gegeben sind.
-
Die Anordnungen der Kameras können sich in beliebiger Weise voneinander unterscheiden, beispielsweise, dass ihre Position zueinander variiert und/oder sich die Ausrichtungen unterscheiden, genauer die Richtungen und Ausrichtungen der optischen Achsen zueinander. Die Kameras können hierbei zueinander parallele und/oder divergierende und/oder konvergierende optische Achsen aufweisen.
-
Des Weiteren können die wenigstens zwei Kameras in einem Gehäuse angeordnet werden, in dem optional auch eine Auswerteeinheit verbaut werden kann, die jedoch auch an einer beliebigen anderen Stelle im Fahrzeug angebracht werden kann. Außerdem können die Kameras in wenigstens zwei komplett separaten Gehäusen untergebracht werden, die sich an beliebigen Stellen im Fahrzeug befinden. Die Auswerteeinheit kann sich in diesem Fall ebenso an einer beliebigen Position im Fahrzeug befinden oder alternativ in einem der Kameragehäuse untergebracht werden.
-
Die verwendeten Objektive der Kameras, deren optische Abbildungen beispielsweise durch Werte wie Sichtfelder, Bildwinkel, Brennweiten und/oder Abstände der Bildsensoren beschrieben werden können, können sich beliebig voneinander unterscheiden, sodass beispielsweise wenigstens ein Weitwinkelobjektiv verwendet wird und die Optik wenigstens einer weiteren Kamera beispielsweise ein Teleobjektiv aufweist.
-
Erfindungsgemäß wird außerdem ein Verfahren zur Entfernungsbestimmung von Objekten zu einem Fahrzeug vorgestellt, mit wenigstens zwei Kameras, welche unterschiedliche, sich jedoch zumindest teilweise überlappende Bildbereiche erfassen, dadurch gekennzeichnet, dass sich die Auslegungen der Abbildungen wenigstens zweier Kameras voneinander unterscheiden, und dass die von wenigstens zwei Kameras erfassten Bilder eines Objektes im Überlappungsbereich in einer Auswerteeinheit zur Bestimmung der Entfernung des Objektes zum Fahrzeug genutzt werden.
-
Die verwendeten Kameras für die Anwendung des erfindungsgemäßen Verfahrens können dadurch gekennzeichnet sein, dass sich die Auslegungen der Abbildungen dadurch unterscheiden, dass die Kameras unterschiedliche Sichtfelder und/oder Bildwinkel aufweisen und/oder sich die Abbildungsmaßstäbe und /oder Verzeichnungen der Abbildungen voneinander unterscheiden.
-
Zur Bestimmung der Entfernung des Objektes zum Fahrzeug kann in einem weiteren Schritt wenigstens eines der Sichtfelder und/oder wenigstens einer der Bildwinkel berücksichtigt werden. Zur Berechnung der Entfernung können des Weiteren die erfassten Bilder der Kameras verwendet werden und/oder es kann die Berücksichtigung der Ausrichtung der Kameras zueinander einfließen, insbesondere die Ausrichtung der optischen Achsen. In die Berechnung können des Weiteren, die Positionierung der Kameras zueinander, insbesondere der Basisabstand der Kameras, die Berücksichtigung der Korrektur, der von den Kameras erfassten Bildern durch Rückrechnung der Verzeichnung und/oder die Berücksichtigung der ermittelten korrigierten Positionen eines Objektes im Bild von wenigstens zwei Kameras, von denen das Objekt erfasst wurde, einfließen.
-
Bei der Bestimmung der Entfernung des Objektes zum Fahrzeug kann zudem die ermittelte Winkeldifferenz der Objektwinkel wenigstens zweier Kameras einfließen. Der Objektwinkel einer Kamera beschreibt hierbei den Winkel zwischen der optischen Achse der Kamera und der gedachten Linie von der Kamera zum detektierten Objekt. Die Kamera kann deshalb als Bezugspunkt verwendet werden, da der Abstand zwischen Kamera und Bildsensor im Vergleich zum Abstand zwischen Kamera und detektiertem Objekt sehr klein ist. Alternativ kann der Bezugspunkt auch anders definiert werden, beispielsweise kann der Mittelpunkt der vordersten Linse, bezogen auf das Objekt, oder der vordere oder hintere Brennpunkt oder der Bildsensor oder das Kameragehäuse verwendet werden. Alle genannten Punkte liegen jeweils auf der optischen Achse der entsprechenden Kamera. Ist der Bezugspunkt klar definiert, kann jederzeit eine Umrechnung des Objektwinkels zu einem beliebigen anderen Bezugspunkt durchgeführt werden. Durch Verwendung eines genauer spezifizierten Bezugspunktes ergeben sich alternative Beschreibungen des Objektwinkels, wie:
- • Der Objektwinkel beschreibt hierbei den Winkel zwischen der optischen Achse und einer gedachten Linie von dem Schnittpunkt der vordersten Linse, in Bezug auf das Objekt, und der optischen Achse der Kamera zum Objekt.
- • Der Objektwinkel beschreibt hierbei den Winkel zwischen der optischen Achse und einer gedachten Linie von dem Schnittpunkt des vordersten Brennpunkts, in Bezug auf das Objekt, und der optischen Achse der Kamera zum Objekt.
- • Wie beschrieben, spielt es keine Rolle, ob man den Schnittpunkt der optischen Achse mit dem Scheitel der ersten Linse oder z.B. der Eintrittspupille nimmt, da die Objektabstände sehr groß gegenüber diesem Inkrement von Eintrittspupille zum Linsenscheitel sind.
-
Weitere Einzelheiten, Merkmale, Merkmalskombinationen, Vorteile und Wirkungen auf Basis der Erfindung ergeben sich aus den Unteransprüchen, sowie der nachfolgenden Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung und aus den Zeichnungen. Diese zeigen in schematischer Darstellung:
-
1 zeigt ein beispielhaftes Kamerasystem, bestehend aus zwei Kameras mit unterschiedlichen Sichtfeldern und Bildwinkeln.
-
2 zeigt ein Diagramm zur Darstellung des angewandten Verfahrens.
-
3 zeigt einen beispielhaften Verlauf der Bildhöhe über dem Objektwinkel zweier Kameras.
-
4 zeigt eine beispielhafte optische Abbildung zur Definition einiger Begriffe.
-
5 zeigt die Verzeichnungen der beiden Kameras aufgetragen über der Bildhöhe.
-
6 zeigt die Verzeichnungen der beiden Kameras aufgetragen über dem Objektwinkel.
-
1 zeigt beispielhaft den Aufbau eines Kamerasystems bestehend aus zwei Kameras 101, 102, die in einem gewissen Abstand 112 zueinander angeordnet sind. Im angeführten Beispiel sind die optischen Achsen 105, 106 der Kameras 101, 102 parallel zueinander, können alternativ jedoch auch konvergierend oder divergierend angeordnet sein.
-
Die Kameras 101, 102 sind in einem gemeinsamen Gehäuse 115 untergebracht, was optional möglich ist, aber keine Voraussetzung darstellt. Zudem ist das Kamerasystem mit einer Auswerteeinheit 116 verbunden, die wahlweise im gleichen Gehäuse 115 verbaut sein kann oder sich außerhalb an einer beliebig anderen Position befinden kann.
-
Die beiden Kameras 101, 102 besitzen unterschiedliche Sichtfelder 113, 114 bzw. unterschiedliche Bildwinkel 103, 104. Die Sichtfelder 113, 114 überlappen sich in einem Bereich 107, der somit von beiden Kameras erfasst wird. Im Überlappungsbereich 107 befindet sich ein Objekt 108. Das Objekt 108 wird von beiden Kameras 101, 102 unter einem bestimmten Objektwinkel 110, 111 wahrgenommen. Mit Hilfe des erfindungsgemäßen Verfahrens erfolgt die Bestimmung des Abstands 109 vom Objekt 108 zum Fahrzeug.
-
In 2 ist das offenbarte Verfahren zur Abstandsbestimmung anhand eines Ablaufdiagramms schematisch dargestellt. Zu Beginn des Verfahrens 201 sind die technischen Daten der Kameras 101, 102 bekannt, worunter beispielsweise die Position der Kameras 101, 102, deren Abstand 112, die Ausrichtung der optischen Achsen 105, 106, die Bildwinkel 103, 104 und die Sichtfelder 113, 114 fallen.
-
Diese Informationen sind und/oder werden im System vermerkt 202 bevor das Einlesen der Bilddaten 203 stattfindet. Die Reihenfolge der Bearbeitung ist an dieser Stelle jedoch irrelevant, sodass Schritt 202 an eine beliebige Stelle zwischen 201 und 207 gesetzt werden kann.
-
Nach dem Einlesen der Daten 203 erfolgt in Schritt 204 die Entzeichnung der Bilder, also eine Rückrechnung der Verzeichnung der Kameras 101, 102 siehe Erklärung anhand der nachfolgenden Figuren. Die Bilder können dann in Schritt 205 auf ein gemeinsames System normiert werden, sodass in Schritt 206 die Bestimmung der Objektwinkel 110, 111 eines gemeinsamen Objektes 108 im vom beiden Kameras 101, 102 gemeinsam erfassten Bereich 107 durchgeführt werden kann. Die Schritte 204, 205, 206 können beliebig vertauscht werden, wodurch sich am Ergebnis des Verfahrens nichts ändert.
-
Im anschließenden Schritt 207 erfolgt die Berechnung der Abstands 109 unter Berücksichtigung der bereits bekannten technischen Daten der Kameras 101, 102 und der bestimmten Objektwinkel 110, 111. Anstelle der Objektwinkel 110, 111 können für die Berechnung auch die Positionen des Objektes 108 auf den korrigierten, von den Kameras 101, 102 erfassten Abbildungen verwendet werden. Mit diesen Positionen lässt sich ebenso die Disparität ermitteln, wie es mit Hilfe der Objektwinkel 110, 111 möglich ist. Das bedeutet, dass die Bestimmung der Entfernung 109 auch unter Berücksichtigung des ermittelten Abstands der von den Kameras 101, 102 erfassten Bildern des Objektes 109 geschehen kann.
-
Das Verfahren gibt als Ergebnis 208 die Entfernung des Objektes 109 zum Fahrzeug an. Der exakte Bezugspunkt, zu welchem der Abstand 109 gemessen wird, kann basierend auf den Anforderungen an das Kamerasystem definiert werden. Nach der Aus- und/oder Weitergabe des Abstands 208 endet die Entfernungsbestimmung und kann erneut mit dem gleichen oder einem beliebig anderen Objekt durchgeführt werden. Diese Entfernungsbestimmungen laufen nicht sequentiell ab, sondern es werden die zeitgleich gemessenen Gesamtbilder beider Kameras in ihrem Überlappungsbereich auf korrespondierende Bildinhalte abgesucht. Nach Rückrechnung der Abbildungen auf ein gemeinsames Abbildungsgesetz und/oder einen gemeinsamen Maßstab kann man aus der Disparität eine Tiefenkarte über den Objektraum bestimmen.
-
Die Ermittlung des Abstands 109 ist nicht auf ein Objekt 108 beschränkt, es können gleichzeitig die Abstände aller Objekte im Überlappungsbereich bestimmt werden und somit eine präzise 3-D-Karte der von den Kameras 101, 102 erfassten Fahrzeugumgebung erstellt werden. Hierfür können die Schritte 201 bis 209 beliebig oft wiederholt werden. Die Ermittlung des Abstands 109 zu einem beliebigen Objekt 108 im Überlappungsbereich kann sich zeitlich wiederholen, wodurch die zeitliche Änderung des Abstands zu dem Objekt 108 bestimmen lässt. Dies kann wiederum mit beliebig vielen Objekten im Überlappungsbereich durchgeführt werden, solange die Objekte von beiden Kameras erfasst werden. Hierdurch ist beispielsweise eine Geschwindigkeitsmessung des Fahrzeugs möglich.
-
In 3 ist beispielhaft die Bildhöhe h 401 von zwei Kameras 101, 102 über dem Objektwinkel 110, 111 aufgetragen. Die Bildhöhe 401 ist beispielhaft in 4 an einer Abbildung einer Linsenoptik verdeutlicht. In 4 sind ebenfalls noch einmal der Objektwinkel 402 zum Objekt 403 und die Brennweiten der Linse 404 aufgetragen. Im der folgenden beispielhaften Ausführung des Kamerasystems sind die optischen Achsen beider Kameras 101, 102 ideal kollinear, der Basisabstand 112 der beiden Kameras 101, 102 ist gegeben. In erster Näherung sind die Abbildungen der Kameras 101, 102 in Bezug zu deren optischen Achsen 105, 106 rotationssymmetrisch, beschreibbar als Bildhöhe hΩ 401 über dem Objektwinkel Ω 402. Im Beispiel wird eine maximale Bildhöhe des Bildsensors von 3mm angenommen, was in etwa der halben Diagonale des optisch aktiven Rechtecks des Bildsensors entspricht.
-
Die Abbildungsgesetze der beiden Kameras 101, 102 werden in diesem Beispiel als näherungsweise linear angenommen, mit der Steigung der Brennweite f 404. Kamera 1 101 hat dabei einen maximalen Objektwinkel 110 von 25°, Kamera 2 102 einen maximalen Objektwinkel von 50°. Die unterschiedlichen Bildhöhen aufgetragen über dem Winkel 302, 304 der beiden Kameras 101, 102 sind in 3 dargestellt. Dabei entspricht die Bildhöhe 302 der Bildhöhe der Kamera 1 101 und entsprechend die Bildhöhe 304 der Kamera 2 102. Zusätzlich dazu sind in gestrichelten Linien 301, 303 die entsprechenden Bildhöhen einer idealen Abbildung gemäß einer Lochkamera h_s = f·tanΩ dargestellt, wobei h_s die Bildhöhe der Lochkameraabbildung, f die Brennweite und Ω den Objektwinkel 402 repräsentieren. Diese idealen Abbildungskurven 301, 303 bilden die Referenz für die sogenannte Verzeichnung.
-
In 5 sind die Verzeichnungen 501, 502 beider Kameras 101, 102 über die Bildhöhe 401 aufgetragen, wodurch sich zwei komplett unterschiedliche Kurvenverläufe ergeben. Verzeichnung 501 entspricht hier der Verzeichnung von Kamera 1 101 und die Verzeichnung 502 entsprechend der Verzeichnung von Kamera 2 102. Werden beide Verzeichnungen 601, 602 über dem Objektwinkel 402 aufgetragen, ergeben sich für die beiden optischen Pfade der Kameras 101, 102 gleiche Verzeichnungen. Verzeichnung 601 entspricht hier der Verzeichnung von Kamera 1 101 und die Verzeichnung 602 entsprechend der Verzeichnung von Kamera 2 102.
-
Basierend auf diesen Zusammenhängen lässt sich ein Vorgehen beschreiben, mit welchem der Abstand 109 eines Objektes 108 im Überlappungsbereich 107 der Sichtfelder 113, 114 der beiden Kameras 101, 102 bestimmt werden kann:
- • Gemäß der Pixelraster von Kamera 1 101 und Kamera 2 102 werden die erfassten Bilder entzeichnet, das bedeutet, die Verzeichnung wird rückgerechnet.
- • Nach der Entzeichnung werden die korrigierten Positionen des Objektes 108 in den Abbildungen der Kameras 101, 102 ermittelt, also in den erfassten Bildern der Kameras 101, 102.
- • Es folgt die Ermittlung der Differenz der Objektwinkel 110, 111 der Kameras 101, 102.
- • Aus der Winkeldifferenz und dem Basisabstand 112 wird anschließend die Objektentfernung bestimmt.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 112012003685 T5 [0003]
- JP 11-39596 A [0006]
-
Zitierte Nicht-Patentliteratur
-
- Führer, D. I. T., Heger, I. T., & Heckel, M. S. J. (2014) [0002]
- ATZ-Automobiltechnische Zeitschrift, 116(2), 22–27 [0002]
