DE102014219418B4

DE102014219418B4 - Verfahren zur Stereorektifizierung von Stereokamerabildern und Fahrerassistenzsystem

Info

Publication number: DE102014219418B4
Application number: DE102014219418.0A
Authority: DE
Inventors: Nicolaj Stache; Alain Giralt; Lars Krüger; Anton Feldmann
Original assignee: Conti Temic Microelectronic GmbH
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2014-09-25
Filing date: 2014-09-25
Publication date: 2021-12-23
Anticipated expiration: 2034-09-26
Also published as: DE102014219418A1

Abstract

Verfahren zur Stereorektifizierung von Bildern einer ersten Kamera und einer zweiten Kamera einer Stereokamera eines Fahrzeugs, das Verfahren aufweisend die Schritte,Berechnen eines durch eine Windschutzscheibe des Fahrzeugs bedingten örtlich variierenden Fehlers (S7) im Bild der ersten und/oder zweiten Kamera,wobei das Berechnen des durch die Windschutzscheibe bedingten Fehlers mittels einer Gleichung erfolgt, welche für verschiedene Orte in einem Bild einer der beiden Kameras den zu kompensierenden Fehler ausgibt,wobei die Gleichung spezifisch für die Windschutzscheibe ist,Erzeugen eines ersten Bildes durch die erste Kamera der Stereokamera (S1),Erzeugen eines zweiten Bildes durch die zweite Kamera der Stereokamera (S2),Bereitstellen einer ersten Berechnungsvorschrift zur Stereorektifizierung von Bildern der ersten Kamera (S3),Bereitstellen einer zweiten Berechnungsvorschrift zur Stereorektifizierung von Bildern der zweiten Kamera (S4),Anpassen zumindest einer der beiden Berechnungsvorschriften mittels des berechneten und durch die Windschutzscheibe des Fahrzeugs bedingten örtlich variierenden Fehlers (S8),Rektifizieren des ersten Bildes (S5) gemäß der ersten Berechnungsvorschrift, undRektifizieren des zweiten Bildes (S6) gemäß der zweiten Berechnungsvorschrift,wobei zumindest eine der beiden Berechnungsvorschriften um den durch die Windschutzscheibe des Fahrzeugs bedingten örtlich variierenden Fehler eines Ortes eines Objekts in zumindest einem Bild der ersten Kamera oder zweiten Kamera kompensiert ist, undIdentifizieren von korrespondierenden Objekten in dem rektifizierten ersten Bild und dem rektifizierten zweiten Bild (S9).

Description

Gebiet der Erfindung
Die Erfindung betrifft Fahrerassistenzsysteme mit einer Stereokamera. Insbesondere betrifft die Erfindung ein Verfahren zur Stereorektifizierung von Bildern einer ersten und einer zweiten Kamera einer Stereokamera und ein Fahrerassistenzsystem zur Stereorektifizierung von Bilddaten einer Stereokamera.
Technologischer Hintergrund
In den letzten Jahren sind kamerabasierte Fahrerassistenzsysteme im Bereich der automotiven Technologie zunehmend populär geworden. In relativ neuen Fahrerassistenzsystemen wird die Verwendung einer Stereokamera vorgeschlagen. Eine Stereokamera eignet sich gegenüber einer Monokamera besonders gut für präzise Distanzmessungen. Daher kann die Stereokamera für sehr hochwertige Systeme verwendet werden, welche beispielsweise den Zustand des Straßenbelages detektieren können. Ein Ziel bei der Verwendung von Stereokameras ist die Messung der Distanz eines spezifischen Objektes durch die Verwendung von Bildern beider Kameras der Stereokamera. Um dieses Ziel zu erreichen, muss das Objekt in beiden Bildern detektiert werden. Dabei kann die Detektion eines Objektes hohen Rechenaufwand verursachen, wenn das gesamte zweite Bild für das korrespondierende beziehungsweise das entsprechende Objekt durchsucht werden muss. Dabei stammt das erste Bild von der linken Kamera und das zweite Bild von der rechten Kamera der Stereokamera. Gemäß der dem Fachmann bekannten Epipolartheorie müssen jedoch entsprechende Objekte auf spezifischen Linien in dem Bild angeordnet sein, was den Aufwand des Suchens eines korrespondierenden Objekts in einem Bild, insbesondere dem zweiten Bild der Stereokamera signifikant reduzieren kann. Dabei stellt die Epipolargeometrie ein mathematisches Modell aus der Geometrie dar, das die geometrischen Beziehungen zwischen den verschiedenen Kamerabildern des gleichen Objekts darstellt. Mit ihrer Hilfe lässt sich die Abhängigkeit zwischen korrespondierenden Bildpunkten beschreiben, also den Punkten, die ein einzelner Objektpunkt in den beiden Kamerabildern erzeugt. Dabei unterstützt sie die Korrespondenzanalyse, also die Zuordnung korrespondierender Punkte, und reduziert den erforderlichen Suchaufwand erheblich. Beispielsweise beschreibt die Offenlegungsschrift DE 10 2012 009 577 A1 ein Verfahren zur Kalibrierung und zur Justierung von Einzelbildkameras einer Stereokamera in einem Fahrzeug. Insbesondere anhand der 1 bis 3 werden die bekannten Hauptaspekte der Epipolargeometrie anhand der Epipolarfläche A, den Epipolarlinien L1, L2, den Epipolen E1, E2 bezüglich einer Kameraanordnung 1 detailliert erläutert.
Weiterhin ist dem Fachmann die Rektifizierung als ein Prozess bekannt, in welchem die sogenannten Epipolarlinien auf die Pixelmatrix des Sensors der Kamera transformiert werden.
US 2012/242806 A1 beschreibt ein dynamisches Kalibrierungssystem für eine Stereokamera mit einem Rektifizierungsmodul und einem Stereomatchingmodul. Das Stereomatching bzw. die Korrespondenzanalyse erfolgt auf den rektifizierten Stereobilddaten.
DE 102006056180 A1 beschreibt eine Kalibrierung eines Bildsensors im Kraftfahrzeug in Abhängigkeit von Eigenschaften einer Fahrzeugscheibe. Eine Markierung auf der Fahrzeugscheibe wird mittels eines Bildsensors erfasst und ausgewertet. Anhand der erfassten Markierung(en) werden Eigenschaften der Fahrzeugscheibe bestimmt. Es erfolgt dabei eine für die Erfassung von Bildinformation geeignete Parametereinstellung des Bildsensors anhand der bestimmten Eigenschaften der Fahrzeugscheibe.
Mit einer richtigen Rektifizierung kann sichergestellt werden, dass ein Objekt oder Merkmal, welches in der Zeile u im ersten Bild liegt, auf derselben Zeile u im zweiten Bild liegen muss. Ein Rektifizierungsfehler ist eine Abweichung in der Pixellinie zwischen zwei korrespondierenden Objekten beziehungsweise zwei korrespondierenden Merkmalen, wie es in der folgenden 3 dargestellt und erläutert ist. Die optische Verzerrung, welche durch eine Windschutzscheibe in einem Fahrzeug in den optischen Strahlengang einer Stereokamera eingeführt wird, hat einen signifikanten Effekt auf die Rektifizierung. Insbesondere haben die Erfinder der vorliegenden Erfindung festgestellt, dass ein örtlich variierender Fehler, i.e., ein Rektifizierungsfehler und/oder ein örtlicher Disparitätsfehler, durch die Windschutzscheibe hervorgerufen wird. Dies stört ein schnelles Finden des korrespondierenden Objektes, wie es zuvor beschrieben wurde. Dies ist der Fall, da das korrespondierende Objekt nicht mehr auf derselben Zeile im Bild und unter Umständen auch nicht in der richtigen, korrekten oder zu erwartenden Spalte liegt. Nur Objekte in unendlicher Distanz liegen auch in derselben Spalte.
Daher ist eine gute Stereoberechnung, i.e., eine gute Stereorektifizierung, aufgrund des durch die Windschutzscheibe verursachten optischen Fehlers unter Umständen nur eingeschränkt oder gegebenenfalls gar nicht mehr möglich.
Zusammenfassung der Erfindung
Es kann als eine Aufgabe der Erfindung angesehen werden, eine verbesserte Verwendung von Stereokameras in Fahrerassistenzsystemen zu ermöglichen. Insbesondere kann es als eine Aufgabe der Erfindung angesehen werden, eine verbesserte Stereorektifizierung von Bildern einer Stereokamera eines Fahrzeuges bereitzustellen.
Die Aufgabe der Erfindung wird mittels der Gegenstände der unabhängigen Ansprüche gelöst. Weitere Vorteile und Weiterbildungen sind in den Unteransprüchen angegeben.
Es sind ein Verfahren zur Stereorektifizierung von Bildern einer ersten Kamera und einer zweiten Kamera einer Stereokamera und ein Fahrerassistenzsystem zur Stereorektifizierung von Bilddaten einer Stereokamera gemäß den Merkmalen der unabhängigen Ansprüche angegeben.
Die beschriebenen Ausführungsbeispiele betreffen gleichermaßen das Verfahren zur Stereorektifizierung sowie das Fahrerassistenzsystem. Mit anderen Worten können Merkmale, die im Folgenden in Bezug auf das Verfahren zur Stereorektifizierung beschrieben werden, ebenso in das Fahrerassistenzsystem implementiert werden und als Merkmale des Fahrerassistenzsystems angesehen werden, und umgekehrt.
Weiterhin sei angemerkt, dass für alle Ausführungsbeispiele der vorliegenden Erfindung betreffend ein Verfahren dieses Verfahren in der Reihenfolge der Schritte ausgeführt werden kann, wie sie hierin explizit beschrieben sind. Jedoch ist dies nicht die einzige und essenzielle Reihenfolge der Verfahrensschritte. Der Fachmann entnimmt der vorliegenden Offenbarung, dass auch andere Verfahrensschrittreihenfolgen Teil der vorliegenden Erfindung sind und unterschiedliche Kombinationen von Schrittreihenfolgen in den beschriebenen Verfahren möglich sind, insofern nichts Gegenteiliges im Folgenden angegeben ist.
Gemäß einem Ausführungsbeispiel der Erfindung ist ein Verfahren zur Stereorektifizierung von Bildern einer ersten Kamera und einer zweiten Kamera einer Stereokamera eines Fahrzeuges angegeben. Das Verfahren weist die Schritte des Erzeugens eines ersten Bildes durch die erste Kamera der Stereokamera und das Erzeugen eines zweiten Bildes durch die zweite Kamera der Stereokamera auf. Ebenso wird eine erste Berechnungsvorschrift zur Stereorektifizierung von Bildern der ersten Kamera bereitgestellt und eine zweite Berechnungsvorschrift zur Stereorektifizierung von Bildern der zweiten Kamera wird bereitgestellt. Mittels der ersten Berechnungsvorschrift wird das erste Bild rektifiziert und mittels der zweiten Berechnungsvorschrift wird das zweite Bild rektifiziert. In diesem Verfahren ist zumindest eine der beiden Berechnungsvorschriften um einen durch eine Windschutzscheibe des Fahrzeuges bedingten Fehler eines Ortes eines Objekts in zumindest einem Bild der ersten oder/und zweiten Kamera kompensiert. Dabei sei angemerkt, dass das erste und zweite Bild idealerweise gleichzeitig erzeugt werden sollten, aber auch ein mehr oder weniger leichter zeitlicher Versatz ist möglich.
Aufgrund der Verwendung zumindest einer Berechnungsvorschrift, welche um den Fehler, welcher durch die Windschutzscheibe des Fahrzeuges hinsichtlich der Rektifizierung erzeugt wird, kompensiert ist, wird eine genauere und verbesserte Stereorektifizierung von Bilddaten der Fahrzeugstereokamera ermöglicht. Mit anderen Worten lehrt dieses Verfahren zur Stereorektifizierung von Stereokamerabildern in einem Fahrerassistenzsystem, eine Berechnungsvorschrift zu verwenden, welche um einen berechneten und durch eine Windschutzscheibe des Fahrzeugs verursachten Fehler eines Ortes eines Objekts in einem Stereokamerabild kompensiert ist.
Damit stellt das Stereorektifizierungsverfahren die Möglichkeit bereit, örtlich variierende Fehler, die durch die Windschutzscheibe verursacht werden, zu korrigieren, ohne es während des laufenden Betriebs der Kamera anzupassen. Mit anderen Worten ist das verwendete Scheibenverzeichnungsmodell, i.e., das Modell mit dem die Berechnungsvorschrift angepasst wird, statisch und wird nicht während des laufenden Betriebs der Kamera angepasst. Es kann zuliefererseitig durch Messung oder durch Simulation derart bestimmt werden, dass sich ein Modell ergibt, das sich möglichst universell anwenden lässt, um den Einfluss eines Windschutzscheibentyps oder Bauloses zu kompensieren. Details hierzu werden anhand exemplarischer Ausführungsbeispiele im Folgenden angegeben. Dadurch spart man sich eine End of line calibration, das heisst eine Kalibrierung am „Ende des Produktionsbandes“ beim Automobilhersteller, da ein universelles Modell einsetzbar ist.
Das erfindungsgemäße Verfahren kann beispielsweise in einem Fahrerassistenzsystem durchgeführt werden. Insbesondere in einem Fahrerassistenzsystem, welches Bodenunebenheiten wie beispielsweise eine Bodenwelle oder unterschiedliche Straßenbelage erkennen können soll, kann das erfindungsgemäße Stereorektifizierungsverfahren von Vorteil sein. Weiterhin können bereits vorhandene Berechnungsvorschriften als Grundlage für die erste und zweite Berechnungsvorschrift verwendet werden. Jedoch ist zumindest eine der beiden Berechnungsvorschriften derart angepasst, dass bei der Anwendung der Berechnungsvorschrift während der Rektifizierung des entsprechenden Bildes der optische Fehler, welcher durch das Vorhandensein der Windschutzscheibe entsteht, zumindest teilweise oder ganz kompensiert wird. Details hierzu werden im Folgenden näher erläutert.
Dabei gibt es unterschiedliche Möglichkeiten, den durch die Windschutzscheibe entstehenden Fehler im Strahlengang zwischen der Umgebung des Fahrzeuges und der Stereokamera zu berechnen. Basierend auf dem berechneten Fehler, der durch die Windschutzscheibe verursacht wird, kann beispielsweise eine Gleichung definiert werden, welche den örtlichen Fehler, insbesondere eines Rektifizierungsfehlers und/oder eines örtlichen Disparitätsfehlers, definiert. Daher wird diese Gleichung im Kontext der vorliegenden Erfindung auch als Korrekturfunktion bezeichnet. Im Kontext exemplarischer Ausführungsbeispiele der Erfindung wird eine Polynomialgleichung 5. Grades beschrieben, welche den zu kompensieren beziehungsweise zumindest zu reduzierenden Rektifizierungsfehler für gegebene Bildkoordinaten u und v bestimmt. Dies stellt eine Korrekturfunktion dar. Spezifische Ausführungsbeispiele zur Erstellung solcher Gleichungen/ Modelle werden später näher erläutert werden. Grundsätzlich lässt sich sagen, dass der Benutzer der vorliegenden Erfindung den Grad der Freiheitsgrade dieser Gleichung so wählen kann, dass er den von ihm gewünschten Kompromiss zwischen einer Überanpassung (overfitting) und einer Unteranpassung (underfitting) der Verzerrungskurve erhält.
Dabei können im Kontext der vorliegenden Erfindung die beiden Berechnungsvorschriften in verschiedenen Formaten vorliegen. Beispielsweise kann die Berechnungsvorschrift in Form einer Tabelle auf einer Speichereinheit des Fahrerassistenzsystems abgelegt sein. Jedoch kann die Berechnungsvorschrift oder können die Berechnungsvorschriften auch in anderen Formaten und an anderen Orten abgelegt/gespeichert sein. Beispielsweise verwendet der Fachmann hier üblicherweise sogenannte Look-up Tables (LUT).
Die Berechnungsvorschrift zur Stereorektifizierung von Bildern der ersten beziehungsweise der zweiten Kamera sind als Transformationen der Epipolarlinien auf die Pixelmatrix des Sensors der ersten Kamera beziehungsweise des Sensors der zweiten Kamera anzusehen. Damit werden die Epipolarlinien eines Bildes waagerecht oder nahezu waagerecht und damit parallel zum Zeilenverlauf der Pixelmatrix des jeweiligen Sensors gemacht. Somit kann sichergestellt werden, dass eine Suche nach entsprechenden/korrespondierenden Objekten effizient auf einer Pixelzeile erfolgen kann (im Gegensatz zu einer möglicherweise schräg verlaufenden Epipolarlinie).
Weiterhin ist das Rektifizieren eines Bildes im Kontext der vorliegenden Erfindung derart zu verstehen, dass die entsprechende Berechnungsvorschrift zur Stereorektifizierung auf ein jeweiliges Bild einer jeweiligen Kamera angewendet wird. Insbesondere werden durch dieses Rektifizieren die Bilddaten beispielsweise des ersten Bildes der ersten Kamera inklusive der Epipolarlinien auf die Pixelmatrix des Sensors der ersten Kamera transformiert. Das Gleiche gilt analog für ein Rektifizieren eines Bildes der zweiten Kamera. Beispielswiese kann das Rektifizieren durch eine Recheneinheit des Fahrerassistenzsystems oder auch durch eine externe Recheneinheit durchgeführt werden.
Beispielsweise kann es Teil des Verfahrens sein, lediglich eine Gleichung zur Bestimmung eines Rektifizierungsfehlers zu bestimmen. Diese Gleichung kann dann verwendet werden, um die örtlichen Fehler, die durch die Windschutzscheibe hervorgerufen werden, zu berechnen. Das Resultat dieser Berechnung kann dann verwendet werden, um zumindest eine der beiden Berechnungsvorschriften anzupassen. Damit wird der örtliche Fehler kompensiert.
Es sei angemerkt, dass der Begriff Fehler im Kontext der vorliegenden Erfindung auch jeweils einen Fehler für eine Mehrzahl an Bildpunkten innerhalb eines Bildes der Stereokamera verstanden werden kann. Insbesondere kann zumindest für einen gewissen Bereich innerhalb eines Bildes einer Stereokamera eine Mehrzahl an Bildpunkten ein entsprechender Versatz berechnet werden. Ein solcher Versatz ist beispielsweise in der 3 mit dem Bezugszeichen 307 dargestellt und wird im Kontext der 3 näher erläutert werden. Beispielsweise kann mittels der Gleichung 1, wie sie im Folgenden hierin beschrieben ist, der durch die Windschutzscheibe bedingte Fehler an einer spezifischen Position innerhalb des Bildes berechnet werden. Mittels des Ergebnisses der Berechnung, beispielsweise das Ergebnis dv der Gleichung 1, kann der Inhalt der Berechnungsvorschriften angepasst werden. Im zuvor genannten Ausführungsbeispiel kann dies durch eine Addition eines berechneten Versatzes zu den Vektoren der entsprechenden Berechnungsvorschrift bedeuten. Ein Fehler kann im Kontext der Erfindung auch als Fehlervektor ausgeführt sein.
Auch sei angemerkt, dass im Kontext der vorliegenden Erfindung ein Fehler ein Rektifizierungsfehler, also ein Ortsfehler in vertikaler Spaltenrichtung und/oder ein Disparitätsfehler, also ein Ortsfehler in waagerechter Zeilenrichtung sein kann. Dieses Verständnis und Systematik sind im Kontext der 3 beschrieben und ein Rektifizierungsfehler ist in der 3 grafisch dargestellt.
Beispielsweise kann der örtliche Fehler in einem Bild, der gegenüber dem entsprechenden Bild der anderen Kamera der Stereokamera aufgrund der Windschutzscheibe besteht, gemessen werden. Dabei wird je ein Bild mit der ersten und zweiten Kamera der Stereokamera gemacht und die beiden Bilder werden jeweils mit einer anfänglichen, unkompensierten Berechnungsvorschrift rektifiziert. Mit anderen Worten wird die Stereokamera zunächst so verwendet, wie sie aus der Herstellung mit der damit enthaltenen Kalibrierung bereitgestellt ist. Anschließend wird das korrespondierende Objekt (oder auch im Falle der Mehrzahl an Objekten die korrespondierenden Objekte) im anderen Bild der anderen Kamera gesucht und identifiziert auch wenn der zu kompensierende Fehler zunächst noch vorhanden ist. Damit kann also ein Fehler im Ort des Objektes beziehungsweise der Objekte festgestellt werden. Dies erfolgt an regelmäßigen Abtastpunkten, dem sogenannten „grid of positions for the ground plane“. Die Messungen werden invertiert und eine Gleichung wird durch einen Fit ermittelt. In diesem angeführten Beispiel geht es darum, die Funktion zur Straßenprofilmessung zu optimieren. Daher wird die Messung der Verzeichnung zur Modellbestimmung auf der Bodenebene gemacht. Die Bodenebene hat eine Textur, die es erlaubt, an den regelmäßigen Abtastpunkten, Merkmale zwischen linkem und rechtem Bild zu korrelieren und so den Rektifizierungsfehler zu bestimmen. Das Verzeichnungsmodell soll aber so gerichtet sein, dass es nicht den Rektifizierungsfehler modelliert, sondern den Rektifizierungsfehler kompensiert. Dies wird erreicht, indem die Rektifizierungsfehlervektoren invertiert werden und dann das Modell gefitted wird.
Damit kann also eine Gleichung gefunden werden, mittels welcher der örtliche Fehler an einer gegebenen Position u/v auf einer Fläche des Sensors der jeweiligen Kamera berechnet werden kann. In einem spezifischen Ausführungsbeispiel ist diese Gleichung beziehungsweise das dazugehörige Modell eine Polynomialgleichung 5. Grades. Details hierzu werden später näher erläutert werden. Jedoch können auch andere Gleichungen, beispielsweise Polynomialgleichungen höheren oder niedrigeren Grades verwendet werden. Mittels den ortsspezifischen Ergebnissen, i.e. den Funktionswerten, dieser Gleichung kann dann eine Berechnungsvorschrift angepasst werden, so dass der durch die Windschutzscheibe verursachte Fehler in dieser Berechnungsvorschrift kompensiert wird. Mit anderen Worten wird ein Modell oder eine Gleichung basierend auf ausgewählten Punkten in den zuvor gemachten Kamerabildern gefittet.
Andere denkbare mathematische Funktionen neben der Polynomialgleichungen 5. Grades sind zum Beispiel Exponentialfunktionen, Logarithmusfunktionen, stückweise stetige Interpolation durch kubische Splines, zum Beispiel durch kubische Splines, Approximation durch gewichtete Sinus/Cosinus-Funktionen (Fourierkoeffizienten), Modellierung durch eine LUT+bilinieare Stützstellen-Interpolation, radiale Basisfunktionen, und jede Kombination davon.
Indem das ermittelte Modell beziehungsweise die ermittelte Gleichung angewendet wird, kann für einen ausgewählten Bildpunkt ein entsprechender Versatz (offset) als Fehler des Ortes eines entsprechenden Objektes in einem Bild einer Kamera berechnet werden. Beispielsweise kann ein solcher Versatz lediglich für eine der beiden Berechnungsvorschriften, also für die linke oder die rechte Kamera, berechnet werden. Der zuvor für einen Bildpunkt berechnete Versatz kann dann zu den bestehenden Einträgen der Berechnungsvorschrift addiert werden. Beispielsweise können in der Berechnungsvorschrift Vektoren definiert sein, wobei der entsprechende Versatz dem entsprechenden Vektor aufaddiert wird. In einem spezifischen Ausführungsbeispiel ist die Gleichung beziehungsweise das Modell nur für eine gewisse Umgebung des Fahrzeuges gültig beziehungsweise wurde basierend auf Bildern erzeugt, welche ein spezifisches Szenario beziehungsweise eine spezifische Umgebung des Fahrzeuges darstellen. In diesem Fall kann die zuvor genannte Berechnung des Versatzes und die anschließende Addition mit den Werten, welche in der Berechnungsvorschrift anfänglich angegeben sind, lediglich für diesen Bereich innerhalb der Bilder oder des Bildes einer oder mehrerer Kameras der Stereokamera durchgeführt werden. Grundsätzlich gilt, dass der Rektifizierungsfehler nur berechnet werden kann, wenn man Bilder beider Kameras hat.
In einem weiteren Ausführungsbeispiel der Erfindung wird der Fehler, insbesondere der Rektifizierungsfehler, wie zuvor beschrieben jedoch in einer Umgebung mit einer ebenen also flachen Straße aufgenommen und gemessen. Es werden also die Bilder, basierend auf welchen der Fehler bestimmt wird, in einer Umgebung des Fahrzeuges erzeugt, die einen ebenen Boden aufweist. Insbesondere kann hierzu das Fahrzeug mit der Stereokamera in einer Werkshalle oder auf einer ausgewählten ebenen Fahrbahn verwendet und dort der Rektifizierungsfehler gemessen werden. Es wird also im Rahmen des Verfahrens vorteilhaft die Bedingung geschaffen, dass die Stereokamera eine ebene Fahrbahn aufnimmt.
Der Vorteil, dass ein ebener Boden bei der Bilderzeugung vorhanden ist kann wie folgt zusammengefasst werden. Wenn man mit einem einzelnen Modell zur Korrektur des Rektifizierungsfehlers arbeitet, gilt dieses idealerweise nur für ein bestimmtes dreidimensionales Setup. Der Grund dafür ist, dass der Abstand des Merkmals, das zur Bestimmung des Rektifizierungsfehlers verwendet wurde Einfluss auf die Disparität und damit auch einen Einfluss auf den Durchtrittspunkt des Strahls durch die Scheibe hat. Bei einer örtlich variierenden Verzeichnung ist damit die Merkmalsdistanz (neben der u und v Position) relevant. Um das Verfahren nutzen zu können, sucht man sich ein möglichst typisches Szenario, in dem jedes Merkmal an u,v-Position eine typische Distanz hat. Im Falle der Straßenprofil-Bewertung ist ein ebener Boden das typische Szenario. Für andere Anwendungen können auch andere Szenarien typisch sein.
Gemäß einem Ausführungsbeispiel wird ein statisches Verfahren verwendet, i.e. die Gleichung oder Korrekturfunktion wird einmalig (offline) erzeugt und dann wird zur Korrektur oder Kompensation während der Fahrzeugfahrt nur noch diese Funktion angewendet. Eine Änderung der Gleichung oder Funktion ist in diesem Ausführungsbeispiel nicht vorgesehen.
Das heißt die Korrekturfunktion oder Kompensation für die Berechnungsvorschriften kann immer dieselbe sein, auch wenn die Berechnungsvorschriften, zum Beispiel die LUTs, durch andere Online-Kalibrierverfahren aktualisiert werden.
Gemäß der Erfindung wird der zumindest eine durch die Windschutzscheibe des Fahrzeuges bedingte Fehler berechnet und zumindest eine der beiden Berechnungsvorschriften mittels des berechneten durch die Windschutzscheibe des Fahrzeugs bedingten Fehlers angepasst.
Gemäß der Erfindung weist das Verfahren den Schritt des Identifizierens von korrespondierenden Objekten in dem rektifizierten ersten Bild und dem rektifizierten zweiten Bild auf. Als weiterer Schritt ist in dem Verfahren das Erstellen einer Disparitätskarte definiert.
Eine Disparitätskarte ist das Ergebnis, wenn man rektifizierte Bilder verwendet und einen Korrespondenzverfahren oder einen Korrespondenzalgorithmus auf die rektifizierten Bilder anwendet beziehungsweise diesen Korrespondenzalgorithmus darauf anwendet. Mit der Disparitätskarte wird eine Karte für beide Bilder bereitgestellt, welche für jedes Pixel eine Disparität anzeigt. Daraus kann man die Distanz des Objektes pro Pixel berechnen, was Teil eines Ausführungsbeispiels ist. Mittels der vorliegenden Erfindung kann insbesondere die Berechnung einer Distanz eines Objektes zu dem Fahrzeug verbessert durchgeführt werden. Diese Distanzberechnung ist Teil eines Ausführungsbeispiels der vorliegenden Erfindung.
Im Nachfolgenden wird beispielhaft beschrieben, wie die korrespondierenden Objekte gefunden und wie die Disparitätskarte erstellt werden können. Grundsätzlich kann die Disparitätskarte erzeugt werden, indem zu jedem Pixel im rechten Bild ein korrespondierendes Pixel im linken Bild gefunden wird. Der Abstand in lateraler Richtung zwischen den korrespondierenden Pixeln ist die sogenannte Disparität. Die Korrespondenzen können beispielsweise durch Berechnen der sogenannten normierten Kreuzkorrelation gefunden werden. An der Stelle des Korrelationsmaximums wird die Korrespondenz angenommen. Heuristiken werden eingesetzt, um bei Verdeckungen (Stereo-Schatten) keine Falsch-Korrespondenzen zu erzeugen. Weiterhin gibt es etablierte Verfahren wie zum Beispiel das Semi-Global-Matching (SGM) . Darüber hinaus können natürlich auch andere Verfahren verwendet werden, ohne den Schutzbereich der Erfindung zu verlassen.
Gemäß der Erfindung erfolgt das Berechnen des durch die Windschutzscheibe bedingten Fehlers mittels einer Gleichung. Diese Gleichung kann beispielsweise wie zuvor und nachfolgend beschrieben bestimmt werden. Unterschiedliche Gleichungen können grundsätzlich verwendet werden.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung wird entweder nur die erste Berechnungsvorschrift angepasst oder es wird nur die zweite Berechnungsvorschrift angepasst.
In diesem Ausführungsbeispiel wird lediglich eine Gleichung bestimmt und/oder verwendet, die spezifisch für eine Kamera ist. Mit anderen Worten gibt diese Gleichung den Fehler an, der auf dem Bild der ersten oder der zweiten Kamera besteht. Dies ist im Gegensatz zu einer Verwendung jeweils einer Gleichung pro Kamera.
Im Folgenden werden die Vorteile erläutert, wenn nur eine Gleichung verwendet wird. Grundsätzlich hat eine Gleichung den Vorteil, dass sich das Modell leichter messen lässt, man braucht kein kalibriertes Setup; jedenfalls, wenn nur der Rektifizierungsfehler kompensiert werden soll. Um für jede Kamera ein Modell zu bestimmen benötigt man ein Setup, bei dem die Lage der Targets zur Kamera sehr genau bekannt sein muss. Dieses Setup ist extrem aufwendig und teuer.
Der Vorteil von zwei Modellen ist, dass die Verzeichnung unabhängig von der Szene kompensiert wird.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung weist das Verfahren weiterhin die Schritte des Erzeugens eines dritten Bildes durch die erste Kamera während sich das Fahrzeug auf einem ebenen Boden befindet und des Erzeugens eines vierten Bildes durch die zweite Kamera während sich das Fahrzeug auf einem ebenen Boden befindet auf. Ebenso ist das Identifizieren einer Mehrzahl von korrespondierenden Objekten in dem dritten und vierten Bild enthalten. Das Bestimmen des jeweiligen örtlichen Fehlers der korrespondierenden Objekte ist auch Teil des Verfahrens. Weiterhin wird die Gleichung zum Berechnen des zumindest einen durch die Windschutzscheibe bedingten Fehlers basierend auf dem zuvor bestimmten jeweiligen örtlichen Fehler der korrespondierenden Objekte bestimmt.
Das dritte und vierte Bild sind nicht in zeitlicher Reihenfolge zu dem zuvor genannten ersten und zweiten Bild. Es sind diejenigen Bilder die gemacht werden, um das Modell zu erstellen. Das erste und zweite Bild werden vorzugsweise während der Fahrt erzeugt und mit der kompensierten Berechnungsvorschrift rektifiziert.
Der örtliche Fehler ist dabei als der Fehler eines Ortes eines Objekts in zumindest einem Bild der ersten Kamera und oder zweiten Kamera zu verstehen.
Dabei können das dritte und vierte Bild natürlich zeitlich vor dem ersten und zweiten Bild erzeugt werden, da die Nummerierung keine zeitliche Reihenfolge festlegt. Ebenso kann das Anpassen einer vorgegebenen Basisgleichung, insbesondere eines mehrdimensionalen Polynoms, enthalten sein. Das kann mittels des bestimmten Fehlers oder mittels der bestimmten Fehler erfolgen, wodurch die Gleichung zum Berechnen des durch die Windschutzscheibe bedingten Fehlers erhalten wird.
Im Folgenden werden Details dazu erläutert, wie man allgemein den Scheibenfehler bestimmen kann, wenn korrespondierende Objekte gefunden worden sind. Es wird davon ausgegangen, dass das Online-Kalibrierverfahren bereits konvergiert. Wenn nun zwei korrespondierende Objekte gefunden werden, die einen (leichten) vertikalen Versatz zueinander aufweisen oder nicht auf derselben Bildzeile liegen, existiert ein Rektifizierungsfehler > 0 an der Stelle der Korrespondenz im rechten Bild. Diese Rektifizierungsfehler werden an vielen Stellen im Bild ermittelt, vorzugsweise in einem regelmäßigen Grid aus Korrespondenzen. Zu beachten ist für den Fachmann, dass das Bild so gut texturiert sein muss, dass Korrespondenzen auf einem Grid auffindbar sind. Diese so entstandene Rektifizierungsfehlerkarte wird gegebenenfalls richtungsmäßig invertiert, um eine Korrektur besser vornehmen zu können und mathematisch modelliert, um auch zwischen den Stützstellen des Grids eine Aussage über die gewünschte Korrektur treffen zu können. Zur Durchführung der Korrektur wird das Modell an den Stellen der LUT-Vektoren der Rektifizierungs-LUT für zum Beispiel das rechte Bild evaluiert und der Korrekturwert addiert oder subtrahiert. Der Scheibeneinfluss ist damit für das Referenzszenario kompensiert.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung wird das Berechnen des Fehlers lediglich in einem Bereich des ersten Bildes und lediglich in einem Bereich des zweiten Bildes durchgeführt, der jeweils einen Boden oder eine andere, zuvor bestimmte Region um das Fahrzeug herum abbildet.
Mit anderen Worten wird die Berechnung des Fehlers, der durch die Windschutzscheibe herrührt, beispielsweise mittels der Gleichung 1, lediglich in einem Teilbereich des Bildes, dem ersten und/oder dem zweiten Bild der Stereokamera, durchgeführt. Einerseits spart dies Rechenzeit und Rechenaufwand ein und es kann im Fall, dass die verwendete Gleichung zur Berechnung des Fehlers lediglich für einen gewissen Teilbereich der Bilder gültig ist, eine Einschränkung der Fehlerberechnung auf diesen gültigen Bereich erreicht werden.
Im Folgenden werden Vorteile der teilweisen Berechnung des Windschutzscheibenfehlers in lediglich Teilbereichen des Bildes erläutert. Zunächst gilt, dass der Scheibenfehler in anderen Bereichen schwer messbar ist. Darüber hinaus wertet die von uns betrachtete Funktion zur Straßenprofilmessung nur den Bereich der Straße aus. Ebenso ist es möglich, dass ein sanfter Übergang zwischen den Bereichen, in denen das Modell angewendet wird, und den übrigen Bereichen existiert.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung ist der Fehler ein Fehlervektor und das Verfahren weist weiterhin die Schritte des Invertierens des zuvor bestimmten Fehlervektors und des Berechnens von Koeffizienten eines Polynoms auf, wobei das Polynom die Gleichung zum Berechnen des zumindest einen durch die Windschutzscheibe bedingten Fehlers ist.
Die ortsabhängigen Rektifizierungsfehler in einem Bild können als Quiver-Plot (Grafische Darstellung eines Vektorfelds) vorliegen, wobei die Vektoren hier nur nach oben oder unten zeigen können und eine bestimmte Länge haben. Vektoren können dann durch Vorzeichenänderung invertiert werden. Das Modell kann dann durch die Methode des kleinsten Fehlerquadrats und eine Ausreißermethode wie zum Beispiel den RANSAC Algorithmus oder Analoges angepasst werden.
Gemäß einem Ausführungsbeispiel der Erfindung ist die Gleichung ein fünfdimensionales Polynom mit folgender Form: $M_{4} {uv}_{2} + M_{3} v_{2} + M_{2} uv + M_{1} v + M_{0} = dv$
wobei u eine Bildkoordinate in horizontaler Richtung ist, wobei v eine Bildkoordinate in vertikaler Richtung ist, wobei dv der zu berechnende durch die Windschutzscheibe bedingte Fehler an dieser Position u/v ist, und wobei M₁ - M₄ Parameter der Gleichung sind, welche mittels Messungen bestimmbar sind.
Dieses Modell beziehungsweise diese Gleichung ist in der Lage, die eingeführte optische Verzerrung durch die Windschutzscheibe zu reproduzieren. Der Grad der Freiheitsgrade dieser Gleichung wurde so gewählt, um einen optimalen Kompromiss zwischen einer Überanpassung (overfitting) und einer Unteranpassung (underfitting) der Verzerrungskurve zu gewährleisten. Dabei können spezifische Gleichungen für spezifische Windschutzscheiben vorgesehen sein.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung wird das Verfahren während einer Fahrzeugfahrt und innerhalb des Fahrzeugs durchgeführt.
Mit anderen Worten kann eine kompensierte Berechnungsvorschrift im Fahrzeug in einer Speichereinheit bereitgestellt werden und für den Betrieb der Stereokamera während der Fahrt kann fortlaufend diese kompensierte Berechnungsvorschrift verwendet werden. In diesem offline Betrieb wird also auf eine zuvor kompensierte Berechnungsvorschrift während der Fahrt zurückgegriffen. Damit wird eine genauere und verlässlichere Stereorektifizierung von Stereokamerabildern während der Fahrzeugfahrt gewährleistet. Es ist auch möglich, die angepasste Berechnungsvorschrift außerhalb des Fahrzeuges zu speichern und diese zur Berechnung der Stereorektifizierung von den Bildern der Stereokamera an das Fahrzeug zu übertragen.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung ist der Fehler ein Rektifizierungsfehler und/oder ein Disparitätsfehler.
Gemäß einem Ausführungsbeispiel der Erfindung ist ein Fahrerassistenzsystem zur Stereorektifizierung von Bilddaten einer Stereokamera angegeben. Insbesondere ist das Fahrerassistenzsystem zur Ausführung oder Durchführung des Verfahrens der vorliegenden Erfindung geeignet und ausgeführt.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung weist das Fahrerassistenzsystem die Stereokamera mit einer ersten Kamera und einer zweiten Kamera auf. Ebenso sind eine Recheneinheit und eine Speichereinheit in dem Fahrerassistenzsystem enthalten. Auf der Speichereinheit ist eine erste Berechnungsvorschrift zur Stereorektifizierung von Bildern der ersten Kamera vorhanden und eine zweite Berechnungsvorschrift zur Stereorektifizierung von Bildern der zweiten Kamera vorhanden. Insbesondere können die Berechnungsvorschriften auf der Speichereinheit als elektronische Daten abgelegt sein. Zumindest eine der beiden Berechnungsvorschriften auf der Speichereinheit ist um einen durch eine Windschutzscheibe des Fahrzeugs bedingten Fehler eines Ortes eines Objekts in zumindest einem Bild der ersten und/oder zweiten Kamera kompensiert. Gemäß einem spezifischen Ausführungsbeispiel ist lediglich eine der Berechnungsvorschriften entsprechend kompensiert. In dem hier beschriebenen Ausführungsbeispiel ist die Recheneinheit zum Rektifizieren von Bildern der ersten Kamera gemäß der ersten Berechnungsvorschrift ausgeführt und die Recheneinheit ist zum Rektifizieren von Bildern der zweiten Kamera gemäß der zweiten Berechnungsvorschrift ausgeführt.
Grundsätzlich kann das Fahrerassistenzsystem jedes System sein, bei dem es auf eine korrekte Rektifizierung ankommt. An erster Stelle steht die Straßenprofilmessung, da es hier um Genauigkeiten im Zentimeterbereich geht. Auch sind Funktionen, die Brems- und Lenkeingriffe ermöglichen sollen zum Beispiel eine Spurerkennung, eine Objekterkennung, eine Verkehrszeichenerkennung, und/oder eine Fußgängererkennung zu nennen. Auch ein Fernlichtassistent kommt in Betracht.
Ein entsprechendes, beispielhaftes Fahrerassistenzsystem ist in der 2 schematisch dargestellt. Dabei sei angemerkt, dass die Recheneinheit und die Speichereinheit in einer baulichen Einheit angeordnet sein können, jedoch ist es auch möglich, dass die Recheneinheit und Speichereinheit getrennt als bauliche Komponenten vorhanden sind. Ebenso ist es möglich, dass die Recheneinheit und/oder die Speichereinheit entfernt von der Stereokamera angeordnet sind und lediglich durch eine drahtlose oder drahtgebundenen Datenverbindung miteinander in Verbindung stehen. Die Stereokamera kann in jedem Fall Daten an die Recheneinheit übermitteln, insbesondere können die Bilddaten mit Bildern der ersten Kamera und der zweiten Kamera an die Recheneinheit übermittelt werden. Ebenso kann die Speichereinheit an die Recheneinheit die darin abgelegten Berechnungsvorschriften beziehungsweise entsprechende Befehle an die Recheneinheit senden.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung ist die Recheneinheit zum Berechnen zumindest eines durch eine Windschutzscheibe des Fahrzeuges bedingten Fehlers eines Ortes eines Objektes in zumindest einem Bild der ersten und zweiten Kamera ausgeführt. Die Recheneinheit ist weiterhin zum Anpassen zumindest einer der beiden Berechnungsvorschriften mittels des berechneten und durch die Windschutzscheibe des Fahrzeugs bedingten Fehlers ausgeführt.
Beispielsweise kann das Fahrerassistenzsystem zu Vektoren, welche innerhalb einer Berechnungsvorschrift zur Transformation der epipolaren Linien auf die Pixelmatrix eines Sensors der entsprechenden Kamera in der Speichereinheit abgelegt sind, einen berechneten Fehlervektor addieren beziehungsweise subtrahieren. Damit wird der Fehler, welcher durch die Windschutzscheibe verursacht wird, kompensiert und es kann eine verbesserte Stereorektifizierung von Bilddaten der Stereokamera durchgeführt werden.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung ist die Verwendung einer Berechnungsvorschrift zur Stereorektifizierung von Bildern einer Stereokamera in einem Fahrerassistenzsystem angegeben. Dabei ist die Berechnungsvorschrift um einen berechneten und durch eine Windschutzscheibe des Fahrzeuges verursachten Fehler eines Ortes eines Objektes in einem Stereokamerabild kompensiert.
Figurenliste
Die Erfindung wird im Folgenden unter Hinweis auf die beigefügten Figuren anhand schematischer Darstellungen bevorzugte Ausführungsbeispiele noch einmal näher erläutert. Hieraus ergeben sich auch weitere Einzelheiten und Vorteile der Erfindung.

1 zeigt ein Flussdiagramm eines Verfahrens zur Stereorektifizierung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
2 zeigt ein Fahrerassistenzsystem zur Stereorektifizierung von Bilddaten einer Stereokamera gemäß einem Ausführungsbeispiel der Erfindung.
3 zeigt einen Rektifizierungsfehler, der mit einem Ausführungsbeispiel der vorliegenden Erfindung berechnet werden kann.
4 zeigt ein schematisches Flussdiagramm eines Rektifizierungsverfahrens gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung.

Die Darstellungen in den Figuren sind schematisch und nicht maßstäblich. In den Figurenbeschreibungen werden für die gleichen oder ähnlichen Elemente die gleichen Bezugsziffern verwendet.
1 zeigt ein Flussdiagramm eines Verfahrens zur Stereorektifizierung von Bildern einer ersten Kamera und einer zweiten Kamera einer Stereokamera eines Fahrzeugs. Im Schritt S1 wird ein erstes Bild durch die erste Kamera der Fahrzeugstereokamera erzeugt. Das zweite Bild wird im Schritt S2 durch die zweite Kamera der Fahrzeugstereokamera erzeugt. Dabei sei angemerkt, dass die Bilder idealerweise gleichzeitig erzeugt werden sollten, aber auch ein mehr oder weniger leichter zeitlicher Versatz ist möglich. Ebenso ist in dem Verfahren der 1 eine erste Berechnungsvorschrift zur Stereorektifizierung von Bildern der ersten Kamera bereitgestellt und ebenso ist eine zweite Berechnungsvorschrift zur Stereorektifizierung von Bildern der zweiten Kamera bereitgestellt. Dies ist mit den Schritten S3 und S4 in 1 gezeigt. Im Schritt S5 wird gemäß der ersten Berechnungsvorschrift das erste Bild rektifiziert und im Schritt S6 wird gemäß der zweiten Berechnungsvorschrift das zweite Bild rektifiziert. Dabei ist zumindest eine der beiden Berechnungsvorschriften um einen durch eine Windschutzscheibe des Fahrzeugs bedingten Fehler eines Ortes eines Objektes in zumindest einem Bild der ersten oder/und zweiten Kamera kompensiert.
Mit anderen Worten wird eine kompensierte Berechnungsvorschrift zur Transformation der epipolaren Linien auf die Pixelmatrix der ersten und/oder der zweiten Kamera verwendet. Damit kann also die optische Verzerrung, welche auf den Bilddaten der Stereokamera aufgrund des Vorhandenseins der Windschutzscheibe unumgänglich ist, reduziert beziehungsweise idealerweise vollständig eliminiert werden. Dazu kann in unterschiedlichen Verfahren eine Gleichung bestimmt werden, welche ortsaufgelöst den Fehler der Windschutzscheibe bestimmt. Mittels dieser Gleichung kann der Fehler im linken und/oder im rechten Kamerabild berechnet werden und die entsprechende Berechnungsvorschrift, die beispielsweise in einer Speichereinheit eines Fahrerassistenzsystems (siehe 2) gespeichert ist, kann entsprechend angepasst werden. Beispielsweise, für den Fall, dass in der Berechnungsvorschrift Vektoren zur Transformation der Epipolarlinien auf die Pixelmatrix der Kamera definiert sind, kann der zuvor berechnete Fehlervektor auf den entsprechenden Vektor in der Berechnungsvorschrift aufaddiert werden.
Gemäß einem Ausführungsform des Verfahrens der 1 wird ein statisches Verfahren verwendet, i.e., die Gleichung oder die Korrekturfunktion wird einmalig (offline) erzeugt und dann wird zur Korrektur oder Kompensation während der Fahrzeugfahrt nur noch diese Funktion angewendet. Eine Änderung der Gleichung oder Funktion ist in diesem Ausführungsbeispiel nicht vorgesehen.
In einem weiter ausgeführten Beispiel des Verfahrens der 1 werden entweder nur Fehler in Bildern von der ersten Kamera berechnet und nur die erste Berechnungsvorschrift wird angepasst, oder es werden nur Fehler in Bildern von der zweiten Kamera berechnet und es wird nur die zweite Berechnungsvorschrift angepasst.
Die Gleichung zum Berechnen des zumindest einen durch die Windschutzscheibe bedingten Fehlers kann beispielsweise dadurch bestimmt werden, dass die Stereokamera in ihrem üblichen Verwendungszustand hinter der Windschutzscheibe im Fahrzeug angeordnet wird und sie so dasselbe Sichtfeld wie bei ihrer tatsächlichen Verwendung hat. Dabei kann bei dieser Bestimmung der Gleichung darauf geachtet werden, dass ein flacher Boden um das Fahrzeug herum da ist und dass innerhalb des Sichtfeldes der Stereokamera merkmalsreiche Objekte angeordnet sind, so dass sich die korrespondierenden Objekte in dem rechten und linken Bild der Stereokamera gut finden lassen. Die Stereokamera nimmt dann ein rechtes und ein linkes Bild mit ihrer rechten und mit ihrer linken Kamera auf. Im Kontext der vorliegenden Erfindung werden diese beiden Kameras als erste und zweite Kamera bezeichnet. Die Bilder dieser Kameras können mit der gegebenen und noch nicht kompensierten Kamerakalibration rektifiziert werden, also beispielsweise mit der eingebauten Rektifizierung vom Hersteller der Stereokamera.
Um ein statisches Scheibenkompensationsmodell zu messen werden Aufnahmen der linken und rechten Kamera gemacht. Das aufgenommene Szenario soll in der dreidimensionalen Anordnung einem durchschnittlichen Fahrszenario möglichst nahe kommen, da sonst Modellannahmen verletzt werden. Um Merkmalskorrespondenzen sicher zu finden, muss die Szene eine ausreichende Texturierung aufweisen. Die so gewonnen Bilder werden mit einem außerhalb des Fahrerassistenzsystems laufenden Software-Programm analysiert, das den Rektifizierungsfehler misst indem es Korrespondenzen subpixelgenau findet. Das Programm ist so ausgelegt, dass keine genaue Rektifizierung erforderlich ist. Die Korrespondenzen werden in an vielen Positionen, möglichst gleichmäßig abgetastet, bevorzugt auf der Bodenebene gefunden (daher grid of positions). Die ortsabhängigen Rektifizierungsfehler in einem Bild können dann als Quiverplot vorliegen, wobei die Vektoren hier nur nach oben oder unten zeigen können und eine bestimmte Länge haben. Vektoren können dann durch Vorzeichenänderung invertiert werden. Das Modell kann dann durch beispielsweise die Methode des kleinsten Fehlerquadrats und eine Ausreißermethode wie zum Beispiel den RANSAC Algorithmus oder Analoges angepasst werden.
Das so bestimmte Modell beziehungsweise die so definierte Gleichung kann verwendet werden, um eine oder beide Berechnungsvorschriften so anzupassen, dass der Fehler, der durch die Windschutzscheibe verursacht wird, kompensiert wird. Für den Fall, dass ein Modell oder eine Gleichung erzeugt wird, die lediglich in einem gewissen Bildbereich Gültigkeit hat, so wird der mit der Gleichung berechnete Fehler nur jeweils an der diesem Bereich entsprechenden Stelle in der Berechnungsvorschrift addiert. Weiterhin kann dieser Effekt über die Grenze dieser Region hinaus mit abklingender Stärke angewendet werden, so dass man einen flüssigen Übergang von dieser Region in den restlichen Bereich des Bildes erzielt. Gemäß einem Ausführungsbeispiel wird ein statisches Modell verwendet, i.e. die Gleichung wird einmalig (offline) erzeugt und dann nur noch angewendet, das heißt die Korrekturfunktion für die Berechnungsvorschriften kann immer dieselbe sein.
Gemäß einem weiteren Ausführungsbeispiel ist in der 2 ein Fahrerassistenzsystem 201 zur Stereorektifizierung von Bilddaten einer Stereokamera 202 gezeigt. Dabei kann das Fahrerassistenzsystem 201 jedes System sein, bei dem es auf eine korrekte Rektifizierung ankommt. An erster Stelle steht die Straßenprofilmessung, da es hier um Genauigkeiten im Zentimeterbereich geht. Auch sind Funktionen, die Brems- und Lenkeingriffe ermöglichen sollen zum Beispiel eine Spurerkennung, eine Objekterkennung, eine Verkehrszeichenerkennung, und/oder eine Fußgängererkennung zu nennen. Auch ein Fernlichtassistent kommt in Betracht. Aber auch andere Ausführungen sind möglich.
Das Fahrerassistenzsystem ist Teil eines Fahrzeuges 200. Die Stereokamera 202 weist eine erste Kamera 203 und eine zweite Kamera 204 auf. Ebenso weist das Fahrerassistenzsystem eine Recheneinheit 206 und eine Speichereinheit 207 auf. Die Speichereinheit 207 weist eine erste Berechnungsvorschrift zur Stereorektifizierung von Bildern der ersten Kamera 203 und eine zweite Berechnungsvorschrift zur Stereorektifizierung von Bildern der zweiten Kamera 204 auf. Dabei ist eine der beiden Berechnungsvorschriften um einen durch eine Windschutzscheibe des Fahrzeugs bedingten Fehlers eines Ortes eines Objektes in zumindest einem Bild der ersten oder/und zweiten Kamera kompensiert. Die Kompensation ist gemäß einem der hierin beschriebenen Verfahren erfolgt. Ebenso ist die Recheneinheit 206 zum Rektifizieren von Bildern der ersten Kamera mittels der ersten Berechnungsvorschrift ausgeführt und die Recheneinheit ist zum Rektifizieren von Bildern der zweiten Kamera gemäß der zweiten Berechnungsvorschrift ausgeführt. Grundsätzlich kann das Fahrzeug ein Pkw, ein Lkw, ein Motorrad oder ein sonstiges Fahrzeug sein.
Eine Stereokamera 202 eines Fahrerassistenzsystems 201 ist in der Regel im Fahrzeug 200 hinter der Windschutzscheibe angeordnet und die erste Kamera 203 und zweite Kamera 204 sind räumlich nebeneinander angeordnet. In 2 sind die beiden Kameras (203, 204) jedoch aus Darstellungsgründen übereinander angeordnet gezeigt, um beide Komponenten in einer Figur zeigen zu können.
3 zeigt einen Vergleich 300 eines ersten, linken rektifizierten Bildes 301 und eines zweiten, rechten rektifizierten Bildes 302 einer Stereokamera. Im linken rektifizierten Bild 301 ist nach einer Rektifizierung die Zeile u mit dem Bezugszeichen 303 gezeigt. Im rechten rektifizierten Bild ist diese Zeile u mit 304 bezeichnet. Wie der 3 entnommen werden kann, ist das Objekt beziehungsweise das Merkmal 305 im rechten rektifizierten Bild exakt auf der Zeile u angeordnet. Jedoch stellt sich im linken rektifizierten Bild 301 das Objekt 306, das mit dem Objekt 305 des rechten Bildes korrespondiert, entfernt von der Zeile u dar. Dabei ist die Distanz oder der Versatz 307 aufgrund des Vorhandenseins der Windschutzscheibe im optischen Strahlengang der Stereokamera zu erklären. Insbesondere stellt der Abstand 307 einen Rektifikationsfehler dar, da er eine Auslenkung in vertikaler Richtung beschreibt. Dieser beispielhafte Rektifikationsfehler 307 kann mittels einer Gleichung oder einem Modell gemäß der vorliegenden Erfindung berechnet werden und kann benutzt werden, um eine Berechnungsvorschrift zu kompensieren, so dass bei der Anwendung der Berechnungsvorschrift der durch die Windschutzscheibe verursachte Fehler kompensiert wird. Damit kann eine verbesserte Rektifizierung von Stereokamerabildern erreicht werden.
Insbesondere die Berechnung einer Distanz eines Objektes zu dem Fahrzeug kann damit verbessert durchgeführt werden.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung ist in 4 ein weiteres Flussdiagramm eines Rektifikationsverfahrens eines Fahrerassistenzsystems gezeigt. Dabei wird bezüglich der Verfahrensschritte S1 bis S6 vollumfänglich Bezug auf die Erklärungen zu 1 verwiesen. Zusätzlich zu dem Ausführungsbeispiel der 1 sind in 4 die zusätzlichen Verfahrensschritte S7, S8, S9 und S10 vorhanden. Im Schritt S7 wird der zumindest eine durch die Windschutzscheibe des Fahrzeugs bedingte Fehler berechnet und im Schritt S8 wird in entsprechender Weise eine der beiden Berechnungsvorschriften mittels des berechneten und durch die Windschutzscheibe des Fahrzeugs bedingten Fehlers angepasst. Insbesondere kann eine Vektoraddition hier zum Einsatz kommen, jedoch sind auch andere Anpassungen möglich. Nachdem das zweite Bild gemäß Schritt S6 und mittels der zweiten Berechnungsvorschrift rektifiziert wurde, werden korrespondierende Objekte in dem rektifizierten ersten Bild und dem rektifizierten zweiten Bild identifiziert. Nach diesem Schritt S9 wird eine Disparitätskarte im Schritt S10 erstellt. Dies stellt eine Karte für beide Bilder dar und zeigt für jedes Pixel die Disparität an. Daraus kann das Fahrerassistenzsystem die Distanz eines Objektes pro Pixel berechnen.
Die vorliegende Erfindung lässt sich grundsätzlich für verschiedene Arten von Rektifizierungsverfahren nutzen und ist nicht auf die angegebene Kombination der Merkmale des Patentanspruchs 1 und der abhängigen Patentansprüche beschränkt. Es ergeben sich darüber hinaus weitere Möglichkeiten, einzelne Merkmale, wenn sie sich aus den Patentansprüchen, der Beschreibung der Ausführungsbeispiele oder unmittelbar aus der Zeichnung ergeben, miteinander zu kombinieren.
Dabei sei noch darauf hingewiesen, dass die Erfindung analog zu dem hierin Beschriebenen auch bei mehr als zwei Kameras verwendet werden kann.
Ergänzend ist darauf hinzuweisen, dass „umfassend“ keine anderen Elemente oder Schritte ausschließt und „eine“ oder „ein“ keine Vielzahl ausschließt. Ferner sei darauf hingewiesen, dass Merkmale oder Schritte, die mit Verweis auf eines der obigen Ausführungsbeispiele beschrieben worden sind, auch in Kombination mit anderen Merkmalen oder Schritten anderer oben beschriebener Ausführungsbeispiele verwendet werden können. Bezugszeichen in den Ansprüchen sind nicht als Einschränkung anzusehen.

Claims

Verfahren zur Stereorektifizierung von Bildern einer ersten Kamera und einer zweiten Kamera einer Stereokamera eines Fahrzeugs, das Verfahren aufweisend die Schritte, Berechnen eines durch eine Windschutzscheibe des Fahrzeugs bedingten örtlich variierenden Fehlers (S7) im Bild der ersten und/oder zweiten Kamera, wobei das Berechnen des durch die Windschutzscheibe bedingten Fehlers mittels einer Gleichung erfolgt, welche für verschiedene Orte in einem Bild einer der beiden Kameras den zu kompensierenden Fehler ausgibt, wobei die Gleichung spezifisch für die Windschutzscheibe ist, Erzeugen eines ersten Bildes durch die erste Kamera der Stereokamera (S1), Erzeugen eines zweiten Bildes durch die zweite Kamera der Stereokamera (S2), Bereitstellen einer ersten Berechnungsvorschrift zur Stereorektifizierung von Bildern der ersten Kamera (S3), Bereitstellen einer zweiten Berechnungsvorschrift zur Stereorektifizierung von Bildern der zweiten Kamera (S4), Anpassen zumindest einer der beiden Berechnungsvorschriften mittels des berechneten und durch die Windschutzscheibe des Fahrzeugs bedingten örtlich variierenden Fehlers (S8), Rektifizieren des ersten Bildes (S5) gemäß der ersten Berechnungsvorschrift, und Rektifizieren des zweiten Bildes (S6) gemäß der zweiten Berechnungsvorschrift, wobei zumindest eine der beiden Berechnungsvorschriften um den durch die Windschutzscheibe des Fahrzeugs bedingten örtlich variierenden Fehler eines Ortes eines Objekts in zumindest einem Bild der ersten Kamera oder zweiten Kamera kompensiert ist, und Identifizieren von korrespondierenden Objekten in dem rektifizierten ersten Bild und dem rektifizierten zweiten Bild (S9).
Verfahren nach Anspruch 1, das Verfahren weiterhin aufweisend den Schritt, Erstellen einer Disparitätskarte (S10).
Verfahren nach einem der Ansprüche 1 oder 2, wobei entweder nur die erste Berechnungsvorschrift angepasst wird, oder nur die zweite Berechnungsvorschrift angepasst wird.
Verfahren nach einem der vorhergehenden Ansprüche, das Verfahren weiterhin aufweisend die Schritte Erzeugen eines dritten Bildes durch die erste Kamera während sich das Fahrzeug auf einem ebenen Boden befindet, Erzeugen eines vierten Bildes durch die zweite Kamera während sich das Fahrzeug auf dem ebenen Boden befindet, Identifizieren einer Mehrzahl von korrespondierenden Objekten in dem dritten und vierten Bild, und Bestimmen des jeweiligen örtlichen Fehlers der korrespondierenden Objekte, und Bestimmen der Gleichung zum Berechnen des zumindest einen durch die Windschutzscheibe bedingten Fehlers basierend auf dem bestimmten jeweiligen örtlichen Fehler der korrespondierenden Objekte.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Berechnen des Fehlers lediglich in einem Bereich des ersten Bildes und/oder lediglich in einem Bereich des zweiten Bildes durchgeführt wird, der jeweils einen Boden oder eine andere, zuvor bestimmt Region um das Fahrzeug herum abbildet.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der Fehler ein Fehlervektor ist, das Verfahren weiterhin aufweisend den Schritt Invertieren des zuvor berechneten Fehlervektors, und Berechnen von Koeffizienten eines Polynoms, wobei das Polynom die Gleichung zum Berechnen des zumindest einen durch die Windschutzscheibe bedingten Fehlers ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Gleichung ein fünfdimensionales Polynom mit folgender Form ist: $M_{4} {uv}_{2} + M_{3} v_{2} + M_{2} uv + M_{1} v + M_{0} = dv$
wobei u eine Bildkoordinate in horizontaler Richtung ist, wobei v eine Bildkoordinate in vertikaler Richtung ist, wobei dv der zu berechnende durch die Windschutzscheibe bedingte Fehler an dieser Position u/v ist, und wobei M₁ - M₄ Parameter der Gleichung sind, welche mittels Messungen bestimmbar sind.
Verfahren nach einem der vorherigen Ansprüche, wobei die Verfahrensschritte S1 bis S6 während einer Fahrzeugfahrt und innerhalb des Fahrzeugs durchgeführt werden.
Verfahren nach einem der vorherigen Ansprüche, wobei der Fehler ein Rektifizierungsfehler und/oder ein Disparitätsfehler ist.
Fahrerassistenzsystem (201) zur Stereorektifizierung von Bilddaten einer Stereokamera (202), das Fahrerassistenzsystem aufweisend die Stereokamera mit einer ersten Kamera (203) und einer zweiten Kamera (204), eine Recheneinheit (206), eine Speichereinheit (207), wobei die Recheneinheit zum Berechnen eines durch eine Windschutzscheibe des Fahrzeugs bedingten örtlich variierenden Fehlers im Bild der ersten und/oder zweiten Kamera (203; 204) ausgeführt ist, wobei das Berechnen des durch die Windschutzscheibe bedingten Fehlers mittels einer Gleichung erfolgt, welche für verschiedene Orte in einem Bild einer der beiden Kameras den zu kompensierenden Fehler ausgibt, wobei die Gleichung spezifisch für die Windschutzscheibe ist, wobei auf der Speichereinheit eine erste Berechnungsvorschrift zur Stereorektifizierung von Bildern der ersten Kamera und eine zweite Berechnungsvorschrift zur Stereorektifizierung von Bildern der zweiten Kamera gespeichert sind, wobei zumindest eine der beiden Berechnungsvorschriften um den durch die Windschutzscheibe des Fahrzeugs bedingten örtlich variierenden Fehler eines Ortes eines Objekts in zumindest einem Bild der ersten oder zweiten Kamera kompensiert ist, wobei die Recheneinheit zum Anpassen zumindest einer der beiden Berechnungsvorschriften mittels des berechneten und durch die Windschutzscheibe des Fahrzeugs bedingten örtlich variierenden Fehlers ausgeführt ist, wobei die Recheneinheit zum Rektifizieren von Bildern der ersten Kamera gemäß der ersten Berechnungsvorschrift ausgeführt ist, wobei die Recheneinheit zum Rektifizieren von Bildern der zweiten Kamera gemäß der zweiten Berechnungsvorschrift ausgeführt ist, und wobei die Recheneinheit zum Identifizieren von korrespondierenden Objekten in dem rektifizierten ersten Bild und dem rektifizierten zweiten Bild ausgeführt ist.
Fahrerassistenzsystem nach Anspruch 10, wobei die Recheneinheit zum Berechnen des zumindest einen durch die Windschutzscheibe des Fahrzeugs bedingten Fehlers des Ortes des Objekts in zumindest einem Bild der ersten oder zweiten Kamera ausgeführt ist, und wobei die Recheneinheit zum Anpassen zumindest einer der beiden Berechnungsvorschriften mittels des berechneten und durch die Windschutzscheibe des Fahrzeugs bedingten Fehlers ausgeführt ist.