-
Die vorliegende Erfindung betrifft ein Verfahren zum Erzeugen einer Höhenkarte basierend auf einer einzelnen Kamera.
-
Die vorliegende Erfindung betrifft auch ein Verfahren zum Ausführen einer Bordsteinerfassung auf der Basis einer einzelnen Kamera, mit den Schritten zum Erzeugen einer Höhenkarte gemäß dem vorstehenden Verfahren und Ausführen einer Bordsteinerfassung auf der Basis der erzeugten Höhenkarte.
-
Die vorliegende Erfindung betrifft ferner ein Kamerasystem mit einer Kamera und einer Verarbeitungseinheit, wobei die Kamera dazu geeignet ist, der Verarbeitungseinheit Einzelbilder (Frames) zuzuführen, und wobei die Verarbeitungseinheit dazu geeignet ist, das vorstehende Verfahren auszuführen.
-
Die vorliegende Erfindung betrifft ferner ein Fahrassistenzsystem mit einem vorstehend spezifizierten Kamerasystem.
-
Die vorliegende Erfindung betrifft ferner ein Kraftfahrzeug mit einem vorstehend spezifizierten Fahrassistenzsystem.
-
Die meisten Fahrzeuge sind mit Sensoren ausgestattet, die eine Lineargeschwindigkeit und eine Rotationsgeschwindigkeit (Gierrate), eine Raddrehzahl und einen Lenkwinkel messen können. Diese Messungen unterliegen jedoch einer Latenz, und ihre Genauigkeit ist begrenzt, da sie keine dynamischen Effekte wie beispielsweise Reifenschlupf berücksichtigen. Darüber hinaus werden Rotationsänderungen um Quer- und Längsachsen (Nick- und Rollbewegungen), die aufgrund des dynamischen Verhaltens des Fahrzeugs auf unebenem Boden, Beschleunigung und Kurvenfahrten permanent auftreten, typischerweise nicht gemessen oder die Messungen sind ungenau und für einige Anwendungen ungeeignet. Genauere und vollständige Messungen können nur durch optische Einrichtungen und Bildverarbeitungstechniken erhalten werden, um die exakte Bewegung des Fahrzeugs in sechs Freiheitsgraden zu bestimmen, z.B. durch Analysieren von Merkmalskorrespondenzen zwischen aufeinanderfolgenden Bildern von einer oder mehreren bordeigenen Kameras.
-
Es gibt verschiedene auf dem Fachgebiet bekannte mögliche Verfahren zur Merkmalserfassung und zum Merkmalsabgleich, die jeweils Vor- und Nachteile haben und für die Betriebsbedingungen einer bestimmten Anwendung am besten geeignet sind. Ein wichtiger Aspekt in einem Echtzeitsystem ist der Kompromiss, der zwischen der Effizienz und der Genauigkeit bzw. Reproduzierbarkeit der Merkmalserfassung gemacht werden muss. Eine Möglichkeit besteht darin, markante Merkmale in der allgemeinen Umgebung des Fahrzeugs zu erfassen und abzugleichen. Solche Merkmale sind typischerweise in großen Mengen verfügbar. Es gibt jedoch eine erhöhte Wahrscheinlichkeit für Ausreißer aufgrund sich bewegender Objekte und eine größere räumliche Unsicherheit bei der Lokalisierung entfernter Merkmale. Es kann eine Bucketing-Technik verwendet werden, um eine geeignete Verteilung ausgewählter Merkmale über die gesamte Szene zu gewährleisten. Allerdings sind skalierungs-, rotations- und teilweise affine verzerrungsinvariante Merkmalsdetektoren wie beispielsweise SIFT oder SURF, die in diesem Szenario vorteilhaft wären, ziemlich komplex und erfordern eine hohe Rechenleistung.
-
In diesem Zusammenhang befasst sich das Dokument „Automatic Kerb Detection for Assistance in Navigation", Loreto Susperregi et al., Assistive Technology Research Series, Band 20: Challenges for Assistive Technology, Seiten 53 - 57, 2007 mit Bordsteinen, die eine der wichtigsten architektonischen Barrieren sind, auf die Menschen mit Behinderungen, insbesondere Rollstuhlfahrer, in städtischen Gebieten treffen. Das Dokument präsentiert eine Lösung zur Bordsteinerfassung, die als eine Hilfsfunktion auf einem motorisierten Rollstuhl integriert wird.
-
Darüber hinaus ist gemäß dem Artikel „Vision-based Detection of Kerbs and Steps", September 1997, Stephen Se und Michael Brady, British Machine Vision Conference (BMVC), Essex, ein wesentlicher Bestandteil einer technischen Hilfe für Sehbehinderte (TAPS) ein System zum Erfassen von Bordsteinkanten und Stufen. Ein Visionbasiertes Bordsteinerfassungssystem verwendet die Hough-Transformation, um Cluster paralleler Linien in dem Bild als Beweis für einen Bordstein zu finden. Diese wird kombiniert mit einem Stereo-Vision-basierten Hinderniserfassungsalgorithmus. Experimente zeigen, dass Bordsteinbereiche von den Bildern korrekt identifiziert werden. Eine Fehleranalyse des Hinderniserfassungsalgorithmus ermöglicht die Bestimmung der Bordsteinhöhe und deren Unsicherheit. Dieses System ist Teil einer Hindernisvermeidungsfähigkeit für ASMONC (Autonomous System for Mobility, Orientation, Navigation and Communication), ein Projekt, das darauf abzielt, eine umfassende Navigations- und Mobilitätsfähigkeit für sehbehinderte Menschen bereitzustellen. Eine wichtige Voraussetzung für das Vision-System in ASMONC ist die Erfassung kleiner Hindernisse sowie von Bordsteinen/Stufen, um den Benutzer dabei zu unterstützen, sicher entlang eines Pfads zu navigieren.
-
Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren zum Erzeugen einer Höhenkarte basierend auf einer einzelnen Kamera, ein Verfahren zum Ausführen einer Bordsteinerfassung basierend auf einer einzelnen Kamera mit dem Schritt zum Erzeugen einer Höhenkarte, ein Kamerasystem mit einer Kamera und einer Verarbeitungseinheit, die dafür geeignet ist, das vorstehende Verfahren auszuführen, ein Fahrassistenzsystem mit einem vorstehend spezifizierten Kamerasystem sowie ein Kraftfahrzeug mit einem vorstehend spezifizierten Fahrassistenzsystem bereitzustellen, die eine effiziente Erzeugung einer Höhenkarte ermöglichen, insbesondere für die Verwendung in Fahrassistenzsystemen, die robust und kostengünstig realisierbar sind.
-
Diese Aufgabe wird durch die unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen dargelegt.
-
Insbesondere wird durch die vorliegende Erfindung ein Verfahren zum Erzeugen einer Höhenkarte basierend auf einer einzelnen Kamera bereitgestellt, mit den Schritten zum Auswählen eines Schlüssel-Einzelbildes zum Auswählen mindestens zweier Schlüssel-Einzelbilder zweier verschiedener Zeitpunkte aus den von der Kamera bereitgestellten Einzelbildern, Ausführen einer Merkmalserfassung und eines Merkmalsabgleichs basierend auf den ausgewählten mindestens zwei Schlüssel-Einzelbildern zweier verschiedener Zeitpunkte, Verwerfen grober Ausreißer der erfassten Merkmale, Ausführen einer Lageschätzung der Kamera bezüglich den beiden Schlüssel-Einzelbildern, Ausführen einer Stereobildgleichrichtung zum Ausrichten von Epipolarlinien parallel zu einer horizontalen Achse in einer vertikalen Richtung, Ausführen eines Stereoabgleichs zum Erzeugen einer Disparitätskarte von dem gleichgerichteten Stereobild und Erzeugen einer Höhenkarte von der Disparitätskarte.
-
Durch die vorliegende Erfindung wird außerdem ein Verfahren zum Ausführen einer Bordsteinerfassung basierend auf einer einzelnen Kamera bereitgestellt, mit den Schritten zum Erzeugen einer Höhenkarte gemäß dem vorstehenden Verfahren und Ausführen der Bordsteinerfassung basierend auf der erzeugten Höhenkarte.
-
Durch die vorliegende Erfindung wird ferner ein Kamerasystem mit einer Kamera und einer Verarbeitungseinheit bereitgestellt, wobei die Kamera dazu geeignet ist, der Verarbeitungseinheit Einzelbilder zuzuführen, und wobei die Verarbeitungseinheit dazu geeignet ist, das vorstehende Verfahren auszuführen.
-
Durch die vorliegende Erfindung wird ferner ein Fahrassistenzsystem mit einem vorstehend spezifizierten Kamerasystem bereitgestellt.
-
Durch die vorliegende Erfindung wird ferner ein Kraftfahrzeug mit einem vorstehend spezifizierten Fahrassistenzsystem bereitgestellt.
-
Die Grundidee der Erfindung besteht darin, ein High-Level-Design eines Vision-Algorithmus bereitzustellen. Der Algorithmus verwendet eine einzelne Kamera, um durch Ausführen der verschiedenen Verfahrensschritte eine zuverlässige Höhenkarte bereitzustellen. Daher wird eine einzelne Kamera als Sensor zum Erfassen eines Umgebungsbereichs verwendet, so dass die Höhenkarte auf eine kosteneffiziente Weise erzeugt werden kann. Darüber hinaus ist das vorstehende Verfahren im Vergleich zu anderen Ansätzen generisch und robust. Die Abbildung der Bodenfläche bietet viele Vorteile in einem Fahrzeugsensorsystem. Daher kann die Höhenkarte als zuverlässige Eingabe für Algorithmen bereitgestellt werden, die andernfalls Annahmen über eine ebene Bodenoberfläche machen, wodurch die Robustheit dieser Algorithmen erhöht wird. Ferner können bei der Erzeugung einer Draufsicht oder einer anderen Ansicht die Ansichten auf eine Bodenflächen-Höhenkarte übertragen werden. Außerdem ermöglicht die Höhenkarte die Erfassung von Rampen usw., die ansonsten durch viele Sensortypen nicht erfassbar wären.
-
Basierend auf der Höhenkarte können verschiedene Anwendungen ausgeführt werden, z.B. Bordsteinerfassung in der Nähe eines sich bewegenden Fahrzeugs in Echtzeit mit einer Eingabe von einer auf diesem Fahrzeug montierten einzelnen Kamera. Die einzelne Kamera wird zum Erzeugen der Höhenkarte innerhalb des Sichtfeldes der Kamera verwendet. Daher sind keine Stereo-Kameras erforderlich. Natürlich können mehrere Kameras bereitgestellt werden, um eine Höhenkarte zu erzeugen, die ein erweitertes oder 360º-Sichtfeld abdeckt. Die Erfassung von Bordsteinen ist sehr wichtig, z.B. für Parksysteme, weil die Fähigkeit, das parkende Fahrzeug bezüglich eines erfassten Bordsteins zu lokalisieren, erhebliche Vorteile gegenüber Systemen ohne Bordsteinerfassung bietet. Außerdem kann die erzeugte Ansicht auf der Basis der erfassten Bordsteine angepasst werden.
-
Eine Linien- oder Kurvenanpassung kann auf Gradienten angewendet werden, um längliche 3D-Strukturen, wie beispielsweise Bordsteine, zu erfassen. Die Höhengradienten können mit 2D-Bildintensitätgradienten korreliert werden, um das Ansprechverhalten des Filters zu optimieren, da bei einem Bordsteinübergang in 3D normalerweise auch eine Kante im 2D-Bild sichtbar ist. Höhengradientenvektoren und Bildgradientenvektoren können mit ihrem Skalarprodukt korreliert werden. Das Wiederholen der Erfassung/Kurvenanpassung über mehrere Paare zeitlich nahe beieinander liegender Schlüssel-Einzelbilder macht die Ergebnisse robuster, da eine Integration über die Zeit ausgeführt wird.
-
Der Algorithmus kombiniert Structure-from-Motion- und Dense-Stereo-Matching-Techniken, um 3D-Information von der Szene wiederzugewinnen, insbesondere eine digitale Höhenkarte der Bodenoberfläche. Die von einem Paar Einzelbilder extrahierte 3D-Struktur kann durch 2D-Bildgradienten und Zeitinformationen ergänzt werden, um die Erfassungsleistung zu verbessern. Obwohl der Algorithmus zunächst darauf abzielt, Merkmale mit geringem Profil auf die Bodenoberfläche abzubilden, sollte er gemäß seinen Konstruktionsprinzipien erweiterbar sein, so dass er auf einen breiteren Bereich um das Fahrzeug herum und von verschiedenen Perspektiven anwendbar ist.
-
Der Schritt zum Ausführen einer Schlüssel-Einzelbildauswahl zum Auswählen mindestens zweier Schlüssel-Einzelbilder zweier verschiedener Zeitpunkte von durch eine Kamera bereitgestellten Einzelbildern erfordert eine Auswahl von zwei Einzelbildern als Schlüssel-Einzelbilder, um den Rechenaufwand zu reduzieren und zwei Schlüssel-Einzelbilder mit einer ausreichend ausgeprägten Änderung von Merkmalspositionen zu erhalten. Daher können die beiden Schlüssel-Einzelbilder basierend auf einer Zeitdifferenz zwischen den beiden Einzelbildern ausgewählt werden. Zusätzliche Information kann berücksichtigt werden, um die Auswahl von Schlüssel-Einzelbildern, insbesondere gemäß der Fahrzeugbewegung, anzupassen. Wenn daher die Fahrzeugodometrie eine wesentliche Bewegung anzeigt, kann die Zeitdifferenz zwischen den beiden Schlüssel-Einzelbildern reduziert werden. Andererseits ist es wichtig, dass die Zeit zwischen den beiden Schlüssel-Einzelbildern nicht zu groß ist, so dass sich die Merkmale nicht aus dem Sichtfeld der Kamera heraus bewegen.
-
Der Schritt zum Ausführen einer Merkmalserfassung und eines Merkmalsabgleichs basierend auf den ausgewählten mindestens zwei Schlüssel-Einzelbildern zweier verschiedener Zeitpunkte weist die Verwendung von Laplacian-of-Gaussian-, Difference-of-Gaussians- oder ähnlicher Filter auf. Eine mögliche Implementierung verwendet einen 11 × 11 Laplace-Operator auf einer Draufsicht von etwa 8 m × 12,8 m bei einer Bildausgabegröße von 1280×800 Pixeln mit einer Eingangsbildauflösung von 1280×800 Pixeln, so dass die effektive Auflösung des Draufsichtbildes 1 cm/Pixel beträgt. Ein Aspekt des bezüglich einer Draufsicht ausgeführten Merkmalsabgleichs ist, dass die abgeglichenen Merkmale in der Mehrzahl nahe bei oder auf der Bodenebene liegen. Dies ist wünschenswert, da die Abgleichposition von der Fahrzeugodometrie in sehr guter Näherung vorausbestimmbar ist. Dies ermöglicht zielgerichtetere Suchen nur innerhalb von Unsicherheitsbereichen, was zu zuverlässigeren Abgleichen führt. Die Unsicherheitsbereiche können von dem erwarteten maximalen Kalibrierungsfehler, dem Fahrzeugodometriefehler und den Toleranzen in der Kameraneigungs- und -rollbewegung aufgrund der dynamischen Bewegung des Fahrzeugs hergeleitet werden. Um den Algorithmus zu vereinfachen, können jedoch Suchbereiche mit einer empirischen konstanten Größe festgelegt werden, die an jeder vorhergesagten Merkmalsabgleichposition zentriert sind.
-
Es gibt verschiedene mögliche Ansätze zur Merkmalserfassung und zum Merkmalsabgleich, die jeweils Vor- und Nachteile haben und für die Betriebsbedingungen einer bestimmten Anwendung am besten geeignet sind. Ein wichtiger Aspekt in einem Echtzeitsystem ist der Kompromiss, der zwischen der Effizienz und der Genauigkeit bzw. Reproduzierbarkeit der Merkmalserfassung gemacht werden muss.
-
Ein alternativer Ansatz dieses Verfahrens gegenüber dem Stand der Technik besteht darin, sich nur auf Merkmale auf der Bodenoberfläche in unmittelbarer Nähe des Fahrzeugs zu konzentrieren. Dies ist logisch, da die Straßenoberfläche eine stabile Referenz mit räumlichen Begrenzungen bereitstellt, die den Merkmalsabgleichprozess sowie die Berechnung der visuellen Odometrie unterstützen können. Für einen auf dem Erscheinungsbild basierenden Merkmalsabgleich bezüglich eines korrigierten Draufsichtbildes können skalierungs-, rotations- und teilweise affine verzerrungsinvariante Merkmalsdetektoren, wie SIFT oder SURF, aufgrund der Verzerrungsinvarianzen, die durch die Draufsichtbildkorrektur leicht erhalten werden, durch einen trivialen Template-basierten Abgleich ersetzt werden.
-
Der Schritt zum Verwerfen grober Ausreißer für die erfassten Merkmale beinhaltet vorzugsweise, dass Merkmalskorrespondenzen als Bewegungsvektoren gespeichert werden. Jeder Bewegungsvektor beschreibt eine 2D-Verschiebung eines Merkmals zwischen den zwei Schlüssel-Einzelbildern bezüglich seiner Referenzposition auf dem Blockgitter im ersten Einzelbild. Grobe Ausreißer werden durch ein nichtlineares Filter auf der Basis der geometrischen Abweichung jedes Bewegungsvektors von seinen Nachbarn verworfen, wie in der
WO 2016/087298 A1 dargestellt ist. Dieses Verfahren basiert auf der Annahme, dass Bewegungsvektoren etwa auf der gleichen Ebene liegen, was für die Mehrzahl der Fälle zutrifft. Als Nebenwirkung werden Bewegungsvektoren für den Übergang zwischen Ebenen, z.B. Übergang Straße/Bordstein, oder für statische Objekte mit einer Höhe ebenfalls verworfen. Solche Bewegungsvektoren wären normalerweise für die Lageschätzung zulässig, da es keine wirkliche Einschränkung für die Bewegungsvektoren gibt, dass sie auf der gleichen Ebene liegen sollten. Die Vorteile der Annahme nahezu koplanarer Bewegungsvektoren für das Verwerfen von Ausreißern überwiegt den Verlust von einigen guten Bewegungsvektoren in einigen Szenen. Dieser Schritt liefert einen ziemlich reinen Satz von Bewegungsvektoren für eine Lageschätzung.
-
Das Verwerfen grober Ausreißer ersetzt eine bedingte Auswahl von Merkmalen. Ausreißer können trotz starker Merkmalsabgleiche häufig auftreten. Eine Merkmalsauswahl eliminiert häufig gute Merkmale, die ansonsten einzubeziehen (Inlier) gewesen wären. Der Mechanismus zum Verwerfen von Ausreißern nimmt die Last von einer Qualifizierung der Merkmalskorrespondenzen nach einem bedingungslosen Merkmalsabgleich. Ein Aspekt des bezüglich eines Draufsichtbildes ausgeführten Merkmalsabgleichs ist, dass die abgeglichenen Merkmale in ihrer Mehrzahl in der Nähe der oder auf der Bodenebene liegen, ohne dass sie in speziellen Bereichen von Interesse enthalten sein müssen, wie dies bei einem Fischaugenbild oder einem schrägen perspektivischen Bild der Fall ist. Das Auswählen von Merkmalen ungefähr auf der Bodenoberfläche ist wünschenswert, weil ihre übereinstimmenden Positionen innerhalb eines Unsicherheitsbereichs von der Fahrzeugodometrie sehr gut vorausbestimmbar sind. Dies ermöglicht zielgerichtetere Suchen, d.h. innerhalb von Unsicherheitsbereichen, was zu zuverlässigeren Abgleichen führt, vorausgesetzt, dass die Straßenbeschaffenheit typischerweise ein schwaches Merkmal ist. Die Unsicherheitsbereiche können von dem erwarteten maximalen Kalibrierungsfehler, dem Fahrzeugodometriefehler und den Toleranzen in der Kameraneigung, -rollbewegung und -höhe aufgrund der dynamischen Bewegung des Fahrzeugs hergeleitet werden. Die vorliegende Implementierung verwendet zur Vereinfachung Suchbereiche mit einer empirischen konstanten Größe, die an den vorausbestimmten Merkmalsabgleichpositionen zentriert sind.
-
Der Schritt zum Ausführen einer Lageschätzung der Kamera bezüglich den zwei Schlüssel-Einzelbildern für die Stereogleichrichtung betrifft die Schätzung einer Differenz der Kameralage zwischen den zwei Schlüssel-Einzelbildern auf der Basis von Merkmalskorrespondenzen. Die Kameralage kann auf unterschiedliche Weise geschätzt werden. Daher kann der Schritt zum Ausführen einer Lageschätzung das Ausführen des Niester-Fünfpunkt-Algorithmus aufweisen, der vorzugsweise in einem RANSAC-Rahmen verpackt ist. Dieser Algorithmus berechnet eine Essential-Matrix von fünf 2D-zu-2D-Merkmalskorrespondenzen unter Verwendung einer Epipolar-Randbedingung. Die Kameralage kann aus der Essential-Matrix in einem nachfolgenden Schritt wiedergewonnen werden. Im Gegensatz zu anderen Algorithmen arbeitet der Niester-Algorithmus auch bezüglich koplanaren Punkten. Erfindungsgemäß wird angenommen, dass Merkmalskorrespondenzen in den meisten Fällen nahezu koplanar sind. Es ist wichtig zu beachten, dass koplanare Korrespondenzen nicht durch das Design dieses Algorithmus aufgezwungen werden. Ansonsten könnte eine Lageschätzung als eine Homographie gelöst werden. Dies wäre unerwünscht, da die Annahme, dass die Bodenoberfläche perfekt flach ist und dass alle verfolgten Merkmale tatsächlich auf der gleichen Ebene liegen, ungenaue Ergebnisse liefern würde. Die relative Lage der Kamera zwischen den beiden Schlüssel-Einzelbildern wird auf eine ähnliche Weise wie in der
WO 2016/087298 A1 beschrieben durch Minimieren einer Kostenfunktion berechnet. Im Gegensatz zum Dokument
WO 2016/087298 A1 , das ein anderes Problem löst, minimiert die neue Kostenfunktion den Triangulationsfehler von rückprojizierten Strahlen von den abgeglichenen Merkmalen der beiden Schlüssel-Einzelbilder. Die Merkmale des ersten Schlüssel-Einzelbildes werden unter Verwendung einer nominellen Lage, z.B. Null-Rotation und Translation, rückprojiziert, und diese Strahlen werden als Referenz gespeichert. Ein Optimierer, wie beispielsweise der Levenberg-Marquardt-Algorithmus, weist der Kamera eine Proberotation und -translation zu. Die Merkmale des zweiten Schlüssel-Einzelbildes werden unter Verwendung dieser Proberotation und -translation in Strahlen im Weltraum zurückprojiziert. Die Komponenten des kürzesten senkrechten Vektors zwischen den entsprechenden Strahlen der beiden Schlüssel-Einzelbilder werden für jedes Merkmal berechnet und im Residue-Vektor gespeichert. Der Optimierer findet eine Rotation und eine Translation, durch die die Summe aller quadrierten Komponenten des Residue-Vektors minimiert wird, wodurch der Schräglinienabstand der rückprojizierten Strahlenpaare (Triangulationsfehler) wesentlich minimiert wird. Mit diesem Verfahren können eine Genauigkeit von weniger als 0,1 Grad und ein Absolutfehler von weniger als 1 mm erreicht werden.
-
Ausreißer sind möglicherweise nicht vollständig vom vorherigen Schritt entfernt worden, was die Genauigkeit oder Gültigkeit der Lösung beeinträchtigen kann, wenn ein oder mehrere grobe Ausreißer in die Kostenfunktion eingegangen sind. Um dieses Problem zu mildern, kann ein Minimierer mehrfach aufgerufen werden, der Bewegungsvektoren mit hohem Residuum in jedem Schritt entfernt, wobei angenommen wird, dass die Mehrheit der Bewegungsvektoren bei dem anfänglichen Schritt Inliers waren. Alternativ kann eine robuste Kostenfunktion, z.B. Huber, verwendet werden, oder der gesamte Prozess kann in einen RANSAC-Rahmen verpackt werden. Bei einem Mehrkamerasystem, bei dem mehrere Kameras an einer starren Karosserie an bekannten Positionen bezüglich des Fahrzeugkoordinatensystems befestigt sind, steht die Änderung der relativen Lage zwischen allen Kameras in Beziehung miteinander und kann durch Minimieren einer Kostenfunktion gleichzeitig geschätzt werden, die die von allen Kameras gleichzeitig erhaltenen Bewegungsvektoren einbezieht. In diesem Fall kann die 6-DoF-Relativlage der starren Fahrzeugkarosserie auf die einzelnen Kameras als Rotation und Translation um einen beliebigen Drehpunkt oder vorzugsweise um den Ursprung des Fahrzeugkoordinatensystems übertragen werden. Alternativ kann als einfache Weise zum Verbessern der Robustheit die Lage jeder Kamera separat geschätzt und der Mittelwert der unabhängigen Ergebnisse als die endgültige Ausgabe verwendet werden. Aufgrund der bekannten Maßstabsmehrdeutigkeit kann der Translationsvektor nur bis zu einem bestimmten Maßstab geschätzt werden. Dies ist der Fall, weil, wenn die Merkmalspositionen und die Kameraposition zusammen skaliert werden, diese Änderung die Position der Merkmale in den Kamerabildern nicht beeinflussen würde. Daher können nur fünf Variablen, d.h. fünf Freiheitsgrade (DoF) für die Relativlage bestimmt werden. Diese beinhalten die volle Rotation, die drei Freiheitsgrade beinhaltet, und die Richtung des Translationsvektors, wodurch zwei Freiheitsgrade hinzukommen. Zu diesem Zweck wird der Translationsvektor durch seinen Polar- und Azimutwinkel in sphärische Koordinaten parametrisiert. Während der Optimierung wird ohne Beschränkung der Allgemeinheit eine feste nominelle Länge verwendet. Diese wird später durch eine von der Fahrzeugodometrie erhaltene geschätzte Länge ersetzt. Es wird darauf hingewiesen, dass ein Versuch, den Translationsvektor in drei DoF entweder unter Verwendung von kartesischen oder von Polarkoordinaten zu schätzen fehlschlagen wird, weil der Optimierer den Translationsfehler auf eine Länge von Null schrumpfen wird, wodurch eine degenerierte Lösung erzeugt wird, die zu den geringsten Kosten führt.
-
Die Starrheit bei der Verwendung eines Kamerasystems z.B. an einem Fahrzeug, bei dem die Kameras an bekannten Positionen relativ zueinander angeordnet sind, kann genutzt werden, um den korrekten Maßstab wiederzugewinnen, indem Merkmale zusätzlich zu deren Abgleich zwischen Einzelbildern der gleichen Kamera auch zwischen Kameras abgeglichen werden.
-
Der Schritt zum Ausführen einer Stereobildgleichrichtung zum Ausrichten von Epipolarinien parallel zu einer horizontalen Achse in einer vertikalen Richtung basiert auf einer bekannten relativen Lage zwischen den zwei Schlüssel-Einzelbildern, wobei das zweite Draufsichtbild derart gleichgerichtet wird, dass die Epipolarlinien sich parallel zur horizontalen Achse erstrecken und in der vertikalen Richtung mit dem ersten Draufsichtbild ausgerichtet sind. Die Basislinie des Stereopaares ist durch die Länge des Translationsvektors oder der Längskomponente des Translationsvektors in Bezug auf das Fahrzeugkoordinatensystem in Abhängigkeit davon gegeben, bezüglich welcher Achse die Stereogleichrichtung ausgeführt wird. Eine minimale Basislinie wird durch Überspringen einer variablen Anzahl von Einzelbildern in Abhängigkeit von der Fahrzeugbewegung gewährleistet. Nachdem das erste Schlüssel-Einzelbild bedingungslos erfasst worden ist, wird die Eigenbewegung des Fahrzeugs bei jedem Einzelbild von der Fahrzeugsensorodometrie geschätzt, und wenn die geschätzte Basislinie eine minimale Länge erreicht, wird das zweite Schlüssel-Einzelbild erfasst.
-
Es ist möglich, die Abhängigkeit von der Fahrzeugsensorodometrie für die Schlüssel-Einzelbildauswahl und auch für die Merkmalsbewegungsvorhersage im Merkmalsabgleichschritt vollständig zu eliminieren und eine gute Schätzung der planaren Fahrzeugbewegung allein durch eine Bildverarbeitung zu erhalten. Dies kann durch Anwenden eines Template-Abgleichalgorithmus auf einen großen Bildausschnitt erreicht werden, der von dem gefilterten oder ungefilterten Draufsichtbild einer beliebigen Kamera, vorzugsweise der hinteren oder der vorderen Kamera, extrahiert wird, die typischerweise nicht durch 3D-Objekten behindert sind, die das Template-Abgleichergebnis beeinträchtigen können. Zu diesem Zweck kann ein Matched-Filter oder ein einfacher Korrelator verwendet werden, der hinsichtlich der Recheneffizienz vorzugsweise im Frequenzbereich durch FFTs realisiert wird. Eine Phasenkorrelation kann in diesem Zusammenhang ebenfalls ein geeignetes Template-Abgleichverfahren sein. Anfangs kann eine Fensterfunktion auf die extrahierten Bildausschnitte angewendet werden, um die Nebenwirkungen der zirkulären Faltung/Korrelation zu vermindern.
-
Der Schritt zum Ausführen des Stereoabgleichs zum Erzeugen einer Disparitätskarte aus dem gleichgerichteten Stereobild verwendet einen Stereoblock-Abgleichalgorithmus, der auf gleichgerichtete Rahmen angewendet wird, um eine Disparitätskarte zu erzeugen. Die „Disparitäts“karte codiert 3D-Tiefeninformationen als horizontalen Abstand zwischen entsprechenden Pixeln in den stereogleichgerichteten Bildern. Es ist bekannt, dass der Semi-Global-Matching- (SGM) Algorithmus hervorragende Ergebnisse mit relativ hoher Recheneffizienz liefert, für diese Aufgabe ist aber ein beliebiger Stereoabgleichalgorithmus anwendbar.
-
Der Zweck der visuellen Odometrie in Verbindung mit diesem Algorithmus ist es, eine relative Änderung der Kameralage in sechs Freiheitsgraden, d.h. Rotation und Translation entlang aller drei Koordinatenachsen, zwischen den beiden Schlüssel-Einzelbildern zu schätzen, die für die Stereobildgleichrichtung und den Stereoabgleich verwendet werden. Dies kann erreicht werden, indem Merkmalskorrespondenzen zwischen den beiden Schlüssel-Einzelbildern analysiert werden. Daher können z.B. Änderungen in der Position und Orientierung oder Lage eines Fahrzeugs durch Analysieren von Bildsequenzen, die von bordeigenen Kameras erhalten werden, inkrementell geschätzt werden.
-
Die meisten Fahrzeuge sind heute mit Sensoren ausgestattet, die die lineare Geschwindigkeit und die Rotationsgeschwindigkeit, die auch als Gierrate bezeichnet wird, die Raddrehzahl und den Lenkwinkel messen können. Diese Messungen unterliegen jedoch einer Latenz, und ihre Genauigkeit ist begrenzt, da sie keine dynamischen Effekte, wie beispielsweise Reifenschlupf, berücksichtigen. Darüber hinaus werden Rotationsänderungen um die Quer- und die Längsachse, d.h. Nick- und Rollbewegungen, die aufgrund eines dynamischen Ansprechverhaltens des Fahrzeugs auf unebenen Boden, Beschleunigung und Kurvenfahrten permanent auftreten, typischerweise nicht gemessen, oder die Messungen sind ungenau und für unseren Zweck ungeeignet. Um eine genaue Stereogleichrichtung von Bildern, die von einer einzelnen Kamera auf einem sich bewegenden Fahrzeug zu unterschiedlichen Zeitpunkten erhalten werden, auszuführen, muss die 6-DoF-Kamerabewegung zwischen Einzelbildern vollständig wiedergewonnen werden.
-
Im Schritt zum Erzeugen einer Höhenkarte von der Disparitätskarte wird 3D-Tiefeninformation als ein horizontaler Abstand zwischen entsprechenden Pixeln in den stereogleichgerichteten Bildern codiert. Sie wird durch Triangulation in eine tatsächliche Tiefenkarte oder Höhenkarte transformiert. Die Höhenkarte gibt die Höhe von Objektpixeln bezüglich der nominellen Bodenebene an, wo Z = 0 ist. Die Höhenkarte kann allein oder in Kombination mit 2D-Bildgradienten analysiert werden, um z.B. Bordsteine und andere 3D-Merkmale von Interesse zu extrahieren. Messungen von mehr Einzelbildern können integriert werden, um eine robustere Erfassung solcher Merkmale zu erhalten.
-
Gemäß einer modifizierten Ausführungsform der Erfindung weist das Verfahren den zusätzlichen Schritt zum Ausführen einer Bildgleichrichtung für Fischaugen- und/oder Perspektivenkorrektur auf. Dieser Schritt kann eine Maßstabs-, affine und Perspektieninvarianz für flache Merkmale auf der Bodenebene oder auf parallelen Ebenen bereitstellen. Er kann ferner eine gleichmäßige Lokalisierungsgenauigkeit und eine implizite Subpixelgenauigkeit mit zunehmendem Abstand von der Kamera bereitstellen. Ein Vorteil der Draufsicht ist, dass sie einen rechteckigen Bereich von Interesse (ROI) in Weltkoordinaten auf einen rechteckigen ROI in Bildkoordinaten abbildet, was die Algorithmuslogik hinsichtlich der Handhabung und Verarbeitung solcher ROI vereinfacht. Der Bildgleichrichtungsschritt kann z.B. vor dem Merkmalserfassungs- und -abgleichschritt ausgeführt werden. In diesem Fall kann das erste gleichgerichtete Bild auch als Eingabe für den Stereo-Matcher verwendet werden, d.h. als eines der beiden Bilder des Stereopaars. Das zweite Bild des Stereopaares muss nochmals gleichgerichtet werden, diesmal mit einer Epipolarausrichtung auf das erste Bild, unabhängig von der Gleichrichtung, die anfänglich für das zweite Bild zum Merkmalsabgleich ausgeführt wurde. Alternativ kann der Bildgleichrichtungsschritt z.B. nur als Teil des Stereoabgleichschritts ausgeführt werden. Ein Nachteil der Draufsichtkorrektur ist die verminderte Bildqualität im Umfangsbereich des Draufsichtbildes. Dies kann durch Begrenzen des Ausmaßes der Draufsicht in Weltkoordinaten oder der Ausgabebildgröße oder durch Erhöhen der Sensorauflösung gemildert werden.
-
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Ausführen einer Bildgleichrichtung für Fischaugen- und / oder Perspektivenkorrektur das Verwenden einer Nachschlagtabelle für eine nominelle Bodenebene auf. Die im Voraus erstellte Nachschlagtabelle wird vorzugsweise basierend auf einer bekannten intrinsischen und extrinsischen Kalibrierung der Kamera berechnet. Sie stellt keine Rotationsinvarianz bereit, aber diese ist auch nicht erforderlich, da korrelationsbasierte Verfahren, die für einen Merkmalsabgleich in einem späteren Schritt des Algorithmus verwendet werden, gut mit den kleinen Rotationen zurechtkommen, die anhand der Fahrzeuggierrate erwartet werden.
-
Gemäß einer modifizierten Ausführungsform der Erfindung weist das Verfahren den zusätzlichen Schritt zum Ausführen einer Bildfilterung zum Unterdrücken von Rauschen, Vergrößern von Details und Merkmalen auf einen gewünschten Maßstab und/oder Bereitstellen einer radiometrischen Invarianz auf. Die radiometrische Invarianz wird für einen Template-basierten Merkmalsabgleich bereitgestellt, so dass dies mit weniger rechenaufwändigen Methoden, wie beispielsweise Summe absoluter Differenz (SAD) oder Summe quadrierter Differenzen (SSD), ausgeführt werden kann. Es kann ein Laplace-of-Gaussian-, Difference-of-Gaussians- oder ein ähnliches Filter verwendet werden.
-
Gemäß einer modifizierten Ausführungsform der Erfindung weist das Verfahren den zusätzlichen Schritt zum Ausführen einer Abwärtsabtastung des Schlüssel-Einzelbildes auf. Eine Abwärtsabtastung kann ausgeführt werden, um die Datenmenge zu reduzieren, die durch das beschriebene Verfahren verarbeitet werden soll. Eine Abwärtsabtastung wird vorzugsweise vor dem Schritt zum Ausführen eines Merkmalsabgleichs oder vor dem Schritt zum Ausführen eines Stereoabgleichs ausgeführt.
-
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Ausführen einer Merkmalserfassung und eines Merkmalsabgleichs das Auswählen von Merkmalen auf, die auf oder in der Nähe der Bodenebene angeordnet sind. Das Abgleichen oder Verfolgen exklusiver Merkmale in der Nähe oder auf der Bodenebene ergibt erste vorhersagbare Korrespondenzen aufgrund einer näherungsweise bekannten Eigenbewegung von der Fahrzeugodometrie und eine zweite gleichmäßige räumliche Verteilung von Merkmalen in einem Bereich in der Nähe der Kamera. Dieses Merkmal ist ohne eine strenge Einschränkung in Bezug auf die Lageschätzung zu verstehen, da eine wahre Koplanarität in der realen Welt nicht garantiert werden kann. Die Vorhersagbarkeit von Merkmalspositionen von der Fahrzeugodometrie und ihre angenommene Nähe zur nominellen Bodenebene ist für den prädiktiven Merkmalsabgleich und die prädiktive Merkmalsverfolgung sehr vorteilhaft. Die gleichmäßige Verteilung von Merkmalen auf einem Gitter ist für das Verwerfen von Ausreißern und auch für die Stabilität in der numerischen Lösung der Lageschätzung sehr vorteilhaft.
-
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Ausführen einer Merkmalserfassung und eines Merkmalsabgleichs das Erzeugen von Bewegungsvektoren für einzelne Bildausschnitte des Schlüssel-Einzelbildes auf. Ein Bewegungsvektor bezieht sich auf einen Abgleich eines Merkmals, insbesondere auf einem Blockgitter, zwischen zwei Schlüssel-Einzelbildern, wobei Merkmalskorrespondenzen als Bewegungsvektoren gespeichert werden. Jeder Bewegungsvektor beschreibt eine 2D-Verschiebung eines Merkmals zwischen den beiden Schlüssel-Einzelbildern unter Bezug auf seine Referenzposition auf dem Blockgitter im ersten Einzelbild. Daher können grobe Ausreißer durch ein nichtlineares Filter basierend auf der geometrischen Abweichung jedes Bewegungsvektors von seinen Nachbarn verworfen werden, wie z.B. in der
WO 2016/087298 A1 beschrieben ist. Gemäß diesem Verfahren kann angenommen werden, dass Bewegungsvektoren ungefähr auf der gleichen Ebene liegen, was für eine Mehrzahl der Fälle zutrifft. Als Nebenwirkung können Bewegungsvektoren an einem Übergang zwischen Ebenen, wo z.B. eine Straßenebene auf eine Bordsteinkante trifft, oder an statischen 3D-Objekten ebenfalls verworfen werden. Solche Bewegungsvektoren sind normalerweise als Eingabe im Lageschätzschritt im vorliegenden Verfahren zulässig, weil der Lageschätzschritt keine Einschränkung für die Bewegungsvektoren dahingehend macht, dass diese koplanar sein müssen. Unter der Annahme nahezu koplanarer Bewegungsvektoren für das Verwerfen von Ausreißern ergeben sich jedoch Vorteile, die die mögliche Verminderung von Bewegungsvektoren überwiegen, die für die Lageschätzung in einigen Szenen verwendet werden.
-
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Ausführen einer Lageschätzung der Kamera bezüglich den zwei Schlüssel-Einzelbildern das Empfangen von Fahrzeugodometrieinformation und das Initialisieren der Lageschätzung der Kamera basierend auf der Fahrzeugodometrieinformation auf. Daher kann ein Optimierer zum Ausführen einer visuellen Odometrie von der Fahrzeugodometrie initialisiert werden, was eine angenäherte Rotation um eine Vertikale bereitstellt, die auch als Gier bezeichnet wird, und einen angenäherten Translationsvektor, so dass nur zwei Variablen auf Null initialisiert bleiben, d.h. der Nick- und der Rollbewegungszustand. Bei dieser Formulierung konvergiert der Optimierer sehr schnell. Ein alternativer Ansatz weist das gleichzeitige Schätzen der 3D-Position von Merkmalen und Kameraparametern mit einer anderen Kostenfunktion auf. Dies würde zu einer großen Anzahl von Variablen und einer möglicherweise langsameren Konvergenz führen.
-
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Ausführen einer Lageschätzung der Kamera bezüglich den zwei Schlüssel-Einzelbildern das gleichzeitige Schätzen einer 3D-Position von Merkmalen und Kameraparametern mit einer Kostenfunktion auf. Dies erfordert jedoch eine große Anzahl von Variablen und kann möglicherweise zu einer langsamen Konvergenz führen.
-
Gemäß einer modifizierten Ausführungsform der Erfindung weist das Verfahren den zusätzlichen Schritt zum Empfangen von Odometrieinformation auf. Odometrieinformation kann z.B. durch ein Fahrzeug bereitgestellt werden, insbesondere Information über die Radbewegung, den Lenkradwinkel oder andere. Die Odometrieinformation kann zur Initialisierung in verschiedenen Schritten verwendet werden, da sie eine allgemeine Anzeige bezüglich der erwarteten Ergebnisse bereitstellt. Daher kann z.B. im Fall der Schlüssel-Einzelbildauswahl die Fahrzeugodometrie Information bezüglich der Schlüssel-Einzelbildauswahl bereitstellen.
-
Diese und andere Aspekte der Erfindung werden anhand der nachfolgend beschriebenen Ausführungsformen ersichtlich und erläutert; es zeigen:
- 1 ein Ablaufdiagramm zum Ausführen eines Verfahrens zum Erzeugen einer Höhenkarte basierend auf einer einzelnen Kamera gemäß einer ersten bevorzugten Ausführungsform;
- 2 einen Vergleich zweier Schlüssel-Einzelbilder zweier aufeinanderfolgender Zeitpunkte mit Bewegungsvektoren bezüglich eines Bildbereichs einer Kamera gemäß der ersten Ausführungsform;
- 3 eine schematische Ansicht von Bewegungsvektoren innerhalb eines Bereichs von Interesse gemäß der ersten Ausführungsform; und
- 4 eine schematische Ansicht eines Triangulationsverfahrens zum Erzeugen einer Höhenkarte von einer Disparitätskarte gemäß der ersten Ausführungsform.
-
1 zeigt ein Ablaufdiagramm eines Verfahrens zum Erzeugen einer Höhenkarte basierend auf einer einzelnen Kamera. Die einzelne Kamera wird zum Erzeugen der Höhenkarte in der Blickrichtung der Kamera verwendet. Daher sind keine Stereokameras erforderlich. Natürlich können mehrere Kameras bereitgestellt werden, um eine Höhenkarte zu erzeugen, die verschiedene Richtungen abdeckt.
-
Das Verfahren weist die folgenden Schritte auf, die nachfolgend ausführlich diskutiert werden.
-
Schritt S100 betrifft das Ausführen einer Schlüssel-Einzelbildauswahl zum Auswählen mindestens zweier Schlüssel-Einzelbilder zweier verschiedener Zeitpunkte aus den durch die Kamera bereitgestellten Einzelbildern. Die beiden Schlüssel-Einzelbilder sind in 1 als „Schlüssel-Einzelbild k-1“ und „Schlüssel-Einzelbild k“ bezeichnet, um anzuzeigen, dass die Schlüssel-Einzelbilder in zeitlicher Beziehung miteinander stehen. Die Schlüssel-Einzelbilder sind in 2 bezüglich eines Bildbereichs für zwei aufeinanderfolgende Zeitpunkte dargestellt. Die beiden Schlüssel-Einzelbilder werden zu zwei verschiedenen Zeitpunkten aus den durch die Kamera bereitgestellten Einzelbildern ausgewählt. Dies beinhaltet das Empfangen von Odometrieinformation eines Fahrzeugs, insbesondere Information über die Radbewegung, den Lenkradwinkel oder andere. Die Schlüssel-Einzelbildauswahl basiert auf Daten von einem Fahrzeug-Kilometerzähler. Daher werden die beiden Schlüssel-Einzelbilder basierend auf einer Zeitdifferenz zwischen den beiden Einzelbildern ausgewählt, die basierend auf der empfangenen Fahrzeugodometrie definiert sind.
-
Schritt S110 ist ein Schritt zum Ausführen einer Bildkorrektur für Fischaugen- und/oder perspektivische Verzerrung. Dadurch wird eine Maßstabs-, affine und Perspektiveninvarianz für flache Merkmale auf der Bodenebene oder auf parallelen Ebenen bereitgestellt. Ferner werden eine gleichmäßige Lokalisierungsgenauigkeit und eine implizite Subpixelgenauigkeit mit zunehmendem Abstand von der Kamera bereitgestellt. Gemäß der Draufsicht werden rechteckige Bereichs von Interesse (ROI) in Weltkoordinaten auf rechteckige ROIs in Bildkoordinaten abgebildet. In einer alternativen Ausführungsform wird der Bildgleichrichtungsschritt als Teil des Stereoabgleichschritts ausgeführt, wie nachstehend diskutiert wird. Durch die Bildgleichrichtung wird auch eine der beiden gleichgerichteten Ansichten bereitgestellt, die für den Stereoabgleich verwendet werden, wie später diskutiert wird. Bildgleichrichtung für Fischaugen- und/oder perspektivische Korrektur beinhaltet die Verwendung einer Nachschlagtabelle für eine nominelle Bodenebene. Die im Voraus erstellte Nachschlagtabelle wird vorzugsweise basierend auf einer bekannten intrinsischen und extrinsischen Kalibrierung der Kamera berechnet.
-
Schritt 120 ist ein Schritt zum Ausführen einer Bildfilterung zum Unterdrücken von Rauschen, Vergrößern von Details und Merkmalen auf einem gewünschten Maßstab und/oder Bereitstellen einer radiometrische Invarianz. Daher wird eine räumliche Filterung durchgeführt, und es wird eine radiometrische Invarianz für den nachfolgenden Template-basierten Merkmalsabgleich bereitgestellt, so dass dieser Schritt mit weniger rechenaufwändigen Verfahren, wie beispielsweise Summe absoluter Differenzen (SAD) oder Summe quadrierter Differenzen (SSD), ausgeführt werden kann. Es können ein Laplace-of-Gaussian-, Difference-of-Gaussians- oder ähnliche Filter verwendet werden.
-
Schritt S130 ist ein Schritt zum Ausführen einer Abwärtsabtastung des Schlüssel-Einzelbildes zum Reduzieren der zu verarbeitenden Datenmenge.
-
Schritt S140 ist ein Schritt zum Ausführen einer Merkmalerfassung und eines Merkmalsabgleichs basierend auf den ausgewählten mindestens zwei Schlüssel-Einzelbildern zweier verschiedener Zeitpunkte. Der Schritt zum Ausführen einer Merkmalserfassung und eines Merkmalsabgleichs basiert auf den ausgewählten zwei Schlüssel-Einzelbildern zweier verschiedener Zeitpunkte. In dieser Ausführungsform verwendet eine Implementierung, die z.B. in einem Parkassistenzsystem verwendet wird, einen 11 × 1 1 Laplace-Operator bezüglich einer Draufsichtgröße von etwa 8 m × 12,8 m, die bei einer Bildausgabegröße von 1280×800 Pixeln mit einer Eingabebildauflösung von 1280×800 Pixel erhalten wird. Daher wird eine effektive Auflösung des Draufsichtbildes von etwa 1 cm/Pixel erhalten. Ein Aspekt des bezüglich der Draufsicht ausgeführten Merkmalsabgleichs ist, dass die abgeglichenen Merkmale in der Mehrzahl in der Nähe oder auf der Bodenebene liegen. Daher kann die Abgleichposition von der Fahrzeugodometrie mit sehr guter Näherung vorausbestimmt werden. Dies ermöglicht gezielte Suchen in Unsicherheitsbereichen, die zu zuverlässigeren Abgleichen führen. Die Unsicherheitsbereiche können von dem erwarteten maximalen Kalibrierungsfehler, Fahrzeugodometriefehler und Toleranzen in der Kameranick-/-rollbewegung und -höhe aufgrund der dynamischen Bewegung des Fahrzeugs hergeleitet werden. Um den Algorithmus zu vereinfachen, können jedoch Suchbereiche mit empirischer konstanter Größe festgelegt werden, die an jeder vorausbestimmten Merkmalsabgleichposition zentriert sind.
-
Wie bereits vorstehend erwähnt wurde, weist das Erfassen und Abgleichen von Merkmalen das Auswählen von Merkmalen auf, die sich auf oder in der Nähe der Bodenebene befinden. Dieses Merkmal soll ohne eine strenge Einschränkung in Bezug auf die Lageschätzung verstanden werden. Die Vorausbestimmbarkeit von Merkmalspositionen von der Fahrzeugodometrie und deren angenommene Nähe zur nominellen Bodenebene ist für den prädiktiven Merkmalsabgleich und die Merkmalsverfolgung sehr vorteilhaft. Die gleichmäßige Verteilung von Merkmalen auf einem Gitter ist für das Verwerfen von Ausreißern und auch für die Stabilität in der numerischen Lösung der Lageschätzung sehr vorteilhaft.
-
Ferner werden Bewegungsvektoren für einzelne Bildausschnitte der Schlüssel-Einzelbilder erzeugt. Ein Bewegungsvektor bezieht sich auf einen Abgleich eines Merkmals, insbesondere auf einem Blockgitter, zwischen zwei Schlüssel-Einzelbildern, wobei Merkmalskorrespondenzen als Bewegungsvektoren gespeichert werden.
-
Schritt S150 ist ein Schritt zum Verwerfen grober Ausreißer für die erfassten Merkmale. Dieser Schritt beinhaltet, dass Merkmalskorrespondenzen als Bewegungsvektoren gespeichert werden, wie beispielsweise in
3 ersichtlich ist. Jeder Bewegungsvektor beschreibt eine 2D-Verschiebung eines Merkmals zwischen den beiden Schlüssel-Einzelbildern bezüglich seiner Referenzposition auf dem Blockgitter im ersten Einzelbild. Grobe Ausreißer werden durch ein nichtlineares Filter auf der Basis der geometrischen Abweichung jedes Bewegungsvektors von seinen Nachbarn verworfen, wie in der
WO 2016/087298 A1 dargestellt ist. Dieses Verfahren basiert auf der Annahme, dass Bewegungsvektoren etwa auf der gleichen Ebene liegen, was für die Mehrzahl der Fälle zutrifft. Als Nebenwirkung werden Bewegungsvektoren an einem Übergang zwischen Ebenen, z.B. an einem Übergang zwischen einer Straße und einem Bordstein, oder an statischen Objekten mit einer Höhe, ebenfalls verworfen. Solche Bewegungsvektoren wären normalerweise bei der Lageschätzung zulässig, da es keine wirkliche Einschränkung für die Bewegungsvektoren gibt, dass sie auf der gleichen Ebene liegen müssen. Durch diesen Schritt wird einen ziemlich reiner Satz von Bewegungsvektoren für eine Lageschätzung erhalten.
-
Schritt S160 ist ein Schritt zum Ausführen einer Lageschätzung der Kamera bezüglich den zwei Schlüssel-Einzelbildern zum Eliminieren einer Bewegung von Merkmalen aufgrund der Kamerabewegung. Daher wird eine Schätzung einer Kameralagedifferenz zwischen den beiden Schlüssel-Einzelbildern basierend auf Merkmalskorrespondenzen ausgeführt. Die relative Lage der Kamera zwischen den beiden Schlüssel-Einzelbildern wird auf eine ähnliche Weise wie in der
WO 2016/087298 A1 beschrieben durch Minimieren einer Kostenfunktion berechnet. Im Gegensatz zum Dokument
WO 2016/087298 A1 , das ein anderes Problem löst, minimiert die neue Kostenfunktion den Triangulationsfehler von rückprojizierten Strahlen von abgeglichenen Merkmalen der beiden Schlüssel-Einzelbilder. Die Merkmale des ersten Schlüssel-Einzelbildes werden unter Verwendung einer nominellen Lage, z.B. Null-Rotation und Translation, in Strahlen im Weltraum zurückprojiziert, und diese Strahlen werden als Referenz gespeichert. Ein Optimierer, wie beispielsweise der Levenberg-Marquardt-Algorithmus, weist der Kamera eine Proberotation und - translation zu. Die Merkmale des zweiten Schlüssel-Einzelbildes werden unter Verwendung dieser Proberotation und -translation in Strahlen im Weltraum zurückprojiziert. Die Komponenten des kürzesten senkrechten Vektors zwischen den entsprechenden Strahlen der beiden Schlüssel-Einzelbilder werden für jedes Merkmal berechnet und im Residue-Vektor gespeichert. Der Optimierer findet eine Rotation und Translation, die die Summe aller quadrierten Komponenten des Residue-Vektors minimieren, wodurch der Schräglinienabstand der zurückprojizierten Strahlenpaare (Triangulationsfehler) im Wesentlichen minimiert wird.
-
Falls Ausreißer nicht vollständig eliminiert worden sind, kann der Minimierer mehrfach aufgerufen werden, um Bewegungsvektoren bei jedem Schritt als Ausreißer zu entfernen. In einer alternativen Ausführungsform kann eine robuste Kostenfunktion, z.B. Huber, verwendet werden, oder der gesamte Prozess wird in einen RANSAC-Rahmen verpackt. In einem Mehrkamerasystem, bei dem die Kameras an einer starren Karosserie befestigt sind, steht die Änderung der relativen Lage zwischen allen Kameras in Beziehung und kann durch Minimieren einer Kostenfunktion, die die Bewegungsvektoren enthält, die von allen Kameras gleichzeitig erhalten werden, gleichzeitig geschätzt werden. In diesem Fall kann die 6-DoF-Relativlage der starren Fahrzeugkarosserie als Rotation und Translation um einen beliebigen Drehpunkt oder vorzugsweise den Ursprung des Fahrzeugkoordinatensystems auf die einzelnen Kameras übertragen werden. Alternativ kann als ein einfacher Weg zum Verbessern der Robustheit die Lage jeder Kamera separat geschätzt und der Mittelwert der unabhängigen Ergebnisse als endgültige Ausgabe verwendet werden. Aufgrund der bekannten Maßstabmehrdeutigkeit kann der Translationsvektor nur bis zu einem bestimmten Maßstab geschätzt werden. Daher können nur fünf Variablen, d.h. fünf Freiheitsgrade (DoF) für die relative Lage bestimmt werden. Diese beinhalten die volle Rotation, die drei Freiheitsgrade beinhaltet, und die Richtung des Translationsvektors, wodurch zwei Freiheitsgrade hinzukommen. Zu diesem Zweck wird der Translationsvektor durch seinen Polar- und Azimutwinkel in sphärischen Koordinaten parametrisiert. Während der Optimierung wird ohne Verlust der Allgemeinheit eine feste nominelle Länge verwendet. Diese wird später durch eine geschätzte Länge ersetzt, die von der Fahrzeugodometrie erhalten wird.
-
Die Starrheit der Verwendung eines Kamerasystems z.B. an einem Fahrzeug, in dem die Kameras in bekannten Positionen relativ zueinander angeordnet sind, kann genutzt werden, um den korrekten Maßstab wiederzugewinnen, indem Merkmale nicht nur zwischen Einzelbildern derselben Kamera, sondern zusätzlich auch zwischen Kameras abgeglichen werden.
-
Der Schritt zum Ausführen einer Lageschätzung der Kamera bezüglich den zwei Schlüssel-Einzelbildern weist das Empfangen von Fahrzeugodometrieinformation und das Initialisieren einer Lageschätzung der Kamera basierend auf der Fahrzeugodometrieinformation auf. Daher wird der Optimierer zum Ausführen einer visuellen Odometrie von der Fahrzeugodometrie initialisiert, wodurch eine genäherte Rotation um eine Vertikale, die auch als Gier bezeichnet wird, und ein genäherter Translationsvektor bereitgestellt werden, so dass nur zwei Variablen auf Null initialisiert bleiben, der Neigungs- und der Rollbewegungszustand. Dies hilft dem Optimierer, in nur wenigen Iterationen sehr schnell zu konvergieren.
-
Schritt S170 ist ein Schritt zum Ausführen einer Stereobildgleichrichtung zum Ausrichten von Epipolarlinien parallel zu einer horizontalen Achse in einer vertikalen Richtung. Der Schritt zum Ausführen einer Stereobildgleichrichtung zum Ausrichten von Epipolarinien parallel zu einer horizontalen Achse in einer vertikalen Richtung basiert auf einer bekannten relativen Lage zwischen den beiden Schlüssel-Einzelbildern. Das zweite Draufsichtbild wird derart gleichgerichtet, dass die Epipolarlinien parallel zur horizontalen Achse verlaufen und in der vertikalen Richtung mit dem zuerst zu betrachtenden Bild ausgerichtet sind. Die Basislinie des Stereopaares ist durch die Längskomponente des Translationsvektors bezüglich des Fahrzeugkoordinatensystem gegeben. Eine minimale Basislinie wird durch Überspringen einer variablen Anzahl von Einzelbildern in Abhängigkeit von der Fahrzeugbewegung gewährleistet. Nachdem das erste Schlüssel-Einzelbild bedingungslos erfasst worden ist, wird die Eigenbewegung des Fahrzeugs bei jedem Einzelbild von der Fahrzeugodometrie geschätzt, und wenn die geschätzte Basislinie eine minimale Länge erreicht, wird das zweite Schlüssel-Einzelbild erfasst.
-
Schritt S180 ist ein Schritt zum Ausführen eines Stereoabgleichs zum Erzeugen einer Disparitätskarte von dem gleichgerichteten Stereobild. Daher wird ein Stereoblockabgleichalgorithmus auf die gleichgerichteten Einzelbilder angewendet, um eine Disparitätskarte zu erzeugen. Um eine genaue Stereogleichrichtung von Bildern auszuführen, die von einer einzelnen Kamera auf einem sich bewegenden Fahrzeug zu unterschiedlichen Zeitpunkten erhalten werden, muss die Bewegung der 6-DoF-Kamera zwischen den Einzelbildern vollständig wiedergewonnen werden. Daher ist der Zweck der visuellen Odometrie im Rahmen dieses Algorithmus, eine relative Änderung der Kameralage in sechs Freiheitsgraden, d.h. Rotation und Translation entlang aller drei Koordinatenachsen, zwischen den beiden Einzelbildern zu schätzen, die für Stereobildgleichrichtung und einen Stereoabgleich verwendet werden. Dies kann durch Analysieren von Merkmalskorrespondenzen zwischen den beiden Schlüssel-Einzelbildern erreicht werden. Daher können z.B. Änderungen in der Position und Orientierung oder der relativen Lage jeder am Fahrzeug montierten Kamera bestimmt werden. In einer Formulierung der Kostenfunktion können wir das Fahrzeug als einen starren Körper betrachten und seine 6-DoF-Bewegung anstatt der unabhängigen Kamerabewegung schätzen. Dann wird diese globale Bewegung auf einzelne Kamerabewegungen übertragen, indem die Randbedingungen des starren Körpers angewendet werden. Die Rotation ist für alle Kameras immer die gleiche wie für den starren Körper, aber ihre Translation unterscheidet sich, wenn sich das Fahrzeug um eine beliebige Achse dreht, z.B. bei einer Kurvenfahrt.
-
Schritt S190 ist ein Schritt zum Erzeugen einer Höhenkarte von der Disparitätskarte. Die Disparitätskarte codiert 3D-Tiefeninformationen als einen horizontalen Abstand zwischen entsprechenden Pixeln in den stereogleichgerichteten Bildern. Sie wird durch Triangulation in eine tatsächliche Tiefenkarte oder Höhenkarte umgewandelt. Die Höhenkarte gibt die Höhe von Objektpixeln bezüglich der nominellen Bodenebene an, wo Z = 0 ist. Die Umwandlung wird folgendermaßen ausgeführt, wie unter Bezug auf 4 diskutiert wird.
-
Die Tiefe z bezeichnet das Produkt aus der Brennweite und der Basislinie dividiert durch die Disparität, d.h. z = f·b/d, wobei f die Brennweite der virtuellen Lochkamera ist (jeder physischen Kamera ist eine virtuelle Lochkamera mit anderer Brennweite zugeordnet. Die Brennweite ist der Abstand der physischen Kamera von der nominellen Bodenebene), b ist die Basislinie und d die herkömmliche Disparität gleichgerichteter Bilder ohne Verschiebung. Aufgrund der Verschiebung des linken Bildes hin zum rechten Bild durch die Basislinie b im Stereogleichrichtungsschritt des zweiten Bildes wird die gemessene Disparität d‘ = d + b, daher führt die herkömmliche Disparität zu d = d‘ - b. Unter Berücksichtigung dieser Einstellung ergibt sich eine Tiefe z = f b/(d‘ - b), wobei b < 0 und d‘ > 0 für Vorwärtsbewegung und f > 0 immer nach Konvention sind. Mit d‘= 0 => z = -f wie erwartet.
-
Die Höhe h vom Boden ist h = z + f = f·b/(d - b) + f. Mit d = 0 => z = -f und h = z + f = 0 wie erwartet. Dies kann vereinfacht werden als h = f·d/(d - b) und entsprechend d = h·b/(h - f), wobei d und h zusammen zunehmen, so dass d < 0 <=> h < 0, d = 0 <=> h = 0 und d > 0 <=> h > 0 sind.
-
Die letztgenannte Formel ist nützlich zum Berechnen der den Stereoparametern zugewiesenen Disparitäts-Ober- und Untergrenzen, z.B. mit b = -200 mm, f = 1000 mm, hmax = 500 mm => dmax = 500·(-200)/(500 - 1000) = 200 mm, mit einem Draufsichtmaßstab von 10 mm/Pixel => dmax = 20 Pixel.
-
Für die x‘- und y‘-Positionen gelten die folgenden Formeln: x‘ = - (x - xc)·b/(d‘ - b) und y‘ = - (y - yc)·b(d‘ - b), wobei x und y von der Basislinie entgegengesetzte Vorzeichen haben, und wobei (xc, yc) der Mittelpunkt der virtuellen Lochkamera ist.
-
In 4 bezeichnen f den Abstand LC gleich RD, b den Abstand RL, z den Abstand LA gleich RB, x den Abstand AP, xL den Abstand CS und xR den Abstand DQ.
-
Das Verfahren zum Erzeugen einer Höhenkarte auf der Basis einer einzelnen Kamera, das die Verfahrensschritte S100 bis S190 aufweist, bildet einen Teil eines Verfahrens zum Ausführen einer Bordsteinerfassung basierend auf einer einzelnen Kamera. Daher weist das Verfahren die Verfahrensschritte S100 bis S190 auf, wie vorstehend diskutiert wurde. Das Verfahren zum Erfassen von Bordsteinkanten wird in einem Parkassistenzsystem verwendet, um das parkende Fahrzeug bezüglich eines erfassten Bordsteins zu lokalisieren.
-
Zusätzlich führt das Verfahren zum Ausführen einer Bordsteinerfassung zunächst Schritte S100 bis S190 aus. Anschließend weist das Verfahren in Schritten S200 den Schritt zum Ausführen einer Bordsteinerfassung basierend auf der erzeugten Höhenkarte auf.
-
Eine Linien- oder Kurvenanpassung wird auf Gradienten angewendet, um längliche 3D-Strukturen, wie beispielsweise Bordsteine, zu erfassen. Die Höhengradienten werden mit 2D-Bildintensitätsgradienten korreliert, um das Ansprechverhalten des Filters zu maximieren. Wenn ein Bordsteinübergang in 3D auftritt, gibt es normalerweise auch eine im 2D-Bild sichtbare Kante. Höhengradientenvektoren und Bildgradientenvektoren werden durch ihr Skalarprodukt korreliert. Eine Wiederholung der Erfassung/Kurvenanpassung über mehrere Paare von Schlüssel-Einzelbildern, die zeitlich nahe beieinander liegen, macht die Ergebnisse robuster, da eine Integration über die Zeit ausgeführt wird.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- WO 2016/087298 A1 [0025, 0027, 0041, 0055, 0056]
-
Zitierte Nicht-Patentliteratur
-
- „Automatic Kerb Detection for Assistance in Navigation“, Loreto Susperregi et al., Assistive Technology Research Series, Band 20: Challenges for Assistive Technology, Seiten 53 - 57, 2007 [0008]
- „Vision-based Detection of Kerbs and Steps“, September 1997, Stephen Se und Michael Brady, British Machine Vision Conference (BMVC), Essex [0009]
