DE102019209321A1 - Verfahren und Vorrichtung zur Auswertung von Bilddaten einer Fahrzeugmonokamera - Google Patents

Abstract

Die Erfindung betrifft eine Eigenbewegungsschätzung für ein Fahrzeug (100). Vorgeschlagen wird ein Verfahren zum Auswerten eines ersten Bildes (116) und zweiten Bildes (117) einer Fahrzeugmonokamera (111) vorgeschlagen. Das Verfahren sieht ein Bestimmen von korrespondierenden Merkmalen (118, 119) aus dem ersten und zweiten Bild (116, 117) vor. Dann erfolgt ein Kompensieren einer Fahrzeugrotationskomponente (R) der bestimmten korrespondierenden Merkmale (118, 119). Es erfolgt dann ein Bestimmen einer relativen Tiefeninformation (c · λn) für jedes Merkmal aus den rotationskompensierten Merkmalen (118, 119), und ein Schätzen einer Fahrzeugtranslation, Schätzen einer Fahrzeugtranslation, indem aus der relativen Tiefeninformation (c · λ) und einer Bewegungshypothese (E · t) ein jeweiliger Reprojektionsfehler (ε) bestimmt wird, korrespondierende Merkmale (119), deren normierter skalierter Reprojektionsfehlervon einer vorbestimmten Fehlermaßschrankeabweicht, entfernt werden, und die Schätzung auf Basis der verbleibenden Merkmale (118) durchgeführt wird.

Description

• Die Erfindung betrifft allgemein eine Eigenbewegungsschätzung für ein Fahrzeug. Insbesondere betrifft die Erfindung ein Verfahren und eine Vorrichtung zur Auswertung von Bilddaten einer Fahrzeugmonokamera.
• Für eine Eigenbewegungsschätzung eines Fahrzeugs, die z.B. eine Schätzung einer eigenen Position und/oder Orientierung umfassen kann, gibt es verschiedene Anwendungsfälle. Ein beispielhafter Anwendungsfall ist ein autonomer Fahrbetrieb eines Kraftfahrzeugs, für den eine exakte Eigenbewegungsschätzung hilfreich sein kann. Denn die Eigenbewegungsschätzung kann hierbei u.a. zum Planen einer Trajektorie von einer momentanen Fahrzeugposition zu einer Ziel-Fahrzeugposition herangezogen werden. Prinzipiell ist es möglich, die momentane Fahrzeugposition mittels einer Fusion von fahrzeugeigenen Daten zu bestimmen, wie z.B. Daten von Drehratensensoren, Beschleunigungssensoren, Odometrie-Systemen und Satellitennavigationssystemen, wie etwa GPS, zu bestimmen.
• Darüber hinaus gibt es aber auch Ansätze, die Eigenbewegungsschätzung mittels visueller Odometrie durchzuführen. Hierfür wird das Fahrzeug mit einer Fahrzeugstereokamera ausgerüstet und aus einer damit aufgenommenen Bildsequenz die Eigenbewegung des Fahrzeugs geschätzt. Problematisch kann dabei sein, dass die Fahrzeugeigenbewegung sechs Freiheitsgrade hat, welche zwei verschiedene Bewegungskomponenten umfassen. Nämlich eine Rotationskomponente und eine Translationskomponente, die jeweils unterschiedliche optische Flüsse bewirken, auf deren Basis die Schätzung der Eigenbewegung basiert. Der jeweilige optische Fluss wird beispielsweise aus einer Extraktion von korrespondierenden Merkmalen zwischen einem ersten und einem zweiten Bild der Bildsequenz bestimmt. Üblicherweise werden dann die Translationskomponente und die Rotationskomponente in zwei separaten Schritten bestimmt, wobei insbesondere die Bestimmung der Translationskomponente fehleranfällig ist, da z.B. beim Stereoabgleich mehrdeutige Merkmalskorrespondenzen, sowie Veränderungen der Ausrichtung der linken und rechten Kamera zueinander zu einer fehlerhaften Tiefenschätzung führen können. Weiterhin ist die Schätzung der Translation maßgeblich von der Lage der betrachteten Merkmale im Raum und im Bild abhängig. Insbesondere Merkmale, die nah zum Bildhauptpunkt, üblicherweise etwa der Bildmitte liegen, sowie weit entfernte Merkmale weisen aufgrund von Projektionseigenschaften einen geringen translationsinduzierten optischen Fluss auf.
• Aufgrund von z.B. unzureichender Bildqualität, sowie Mehrdeutigkeiten bzw. Fehler in der Berechnung der optischen Flüsse usw. kann die Bildsequenz allerdings durch hierfür ungeeignete Merkmalskorrespondenzen kontaminiert sein, die in diesem Zusammenhang als Ausreißer (engl. outlier) bezeichnet werden können. Diese Ausreißer eignen sich nicht zu einer Eigenbewegungsschätzung und sollen daher möglichst zuverlässig erkannt und entfernt bzw. bei der Eigenbewegungsschätzung unberücksichtigt bleiben. Gleichzeitig sollen jedoch - insbesondere für die Translationsschätzung, die messfehlerfreien Merkmale möglichst nicht entfernt werden, insbesondere solche im äußeren Bereich des Bildes bzw. räumlichen Nahbereich.
• Aus z.B. der WO 2017/206999 A1 ist ein Verfahren bekannt, mit dem eine verbesserte Erkennung solcher Ausreißer ermöglicht werden soll. Obwohl dieses Verfahren eine gute Erkennung der Ausreißer ermöglicht, hat es sich gezeigt, dass die dafür im Fahrzeug benötigte Fahrzeugausrüsten, d.h. Hardware, vergleichsweise kostenintensiv in der Bereitstellung ist und der dafür nötige Kalibrieraufwand ebenfalls hoch ist. Jedoch lässt sich dieses auf Stereobildern basierende Verfahren aufgrund dann fehlender räumlicher Informationen nicht ohne Weiteres auf einfachere bzw. kostengünstigere Kamerasysteme übertragen.
• Die Aufgabe der Erfindung ist es daher, eine Möglichkeit zu schaffen, um auch bei Fehlen räumlicher Informationen die messfehlerbehafteten Merkmale von korrekt gemessenen Merkmalen zu trennen.
• Diese Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen und Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen, der Beschreibung und den begleitenden Figuren angegeben.
• Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Auswerten eines ersten Bildes und eines zweiten Bildes, die mit einer Fahrzeugmonokamera zu einem ersten Zeitpunkt und einem nachfolgenden zweiten Zeitpunkt mit derselben Fahrzeugmonokamera aufgenommen werden. Die Fahrzeugmonokamera verfügt über ein einziges Objektiv und ist dazu eingerichtet, ein zweidimensionales Bild aufzunehmen. Das Verfahren kann beispielsweise mit der Fahrzeugmonokamera, ggf. unter Zusammenwirken mit einer Datenverarbeitungseinrichtung, durchgeführt werden und umfasst die folgenden Schritte:
• - Zunächst werden korrespondierende Merkmale aus dem ersten und zweiten Bild bestimmt. D.h., dass Merkmale bestimmt werden, die sowohl in dem ersten als auch in dem zweiten Bild erkennbar sind. Die korrespondierenden Merkmale bilden somit Merkmalspaare und repräsentieren bei korrekter Messung jeweils dieselbe von der Fahrzeugmonokamera erfasste. Die Korrespondenz kann durch eine rechnerische Bestimmung des optischen Flusses zwischen dem ersten und dem zweiten Bild bestimmt werden.
• - Dann erfolgt ein Kompensieren einer Fahrzeugrotationskomponente der bestimmten korrespondierenden Merkmale wie beispielsweise in Martin Buczko, Volker Willer, „Monocular Outlier Detection for Visual Odometry“, 2017 IEEE Intelligent Vehicles Symposium beschrieben. Dies kann z.B. rechnerisch unter Zuhilfenahme der Datenverarbeitungseinrichtung erfolgen. Wie eingangs erläutert, umfasst eine reale Fahrzeugbewegung typischerweise eine Rotationskomponente, also eine rotatorische Bewegung um eine oder mehrere Fahrzeugachsen, und eine Translationskomponente, die jedoch näherungsweise durch eine translatorische Bewegung parallel zu einer Fahrzeuglängsachse beschrieben werden kann.
• - Dann wird eine relative Tiefeninformation aus den rotationskompensierten, korrespondierenden Merkmalen bestimmt. Beispielsweise kann hierfür eine relative Tiefenkarte berechnet werden. Ein exemplarischer Ansatz hierfür ist beispielsweise Yi Ma, Stefano Soatto, Jana Kosecka, S. Shankar Sastry, „An invitation to 3D vision", Seiten 124-131, 2004 dargelegt. Im Gegensatz zur Verwendung einer Fahrzeugstereokamera kann hier kein absolutes Tiefenbild direkt aus einem Stereobild über einen Versatz und/oder eine Triangulation der Merkmale durchgeführt werden.
• - Dann erfolgt ein Schätzen einer Fahrzeugtranslation, mit den folgenden Schritten:
  • - Zunächst wird aus der relativen Tiefeninformation und einer willkürlich festgelegten Skala sowie zusammen mit einer festgelegten Referenzbewegungshypothese, beispielsweise die Schätzung aus dem vorherigen Zeitschritt ein jeweiliger Reprojektionsfehler aus der Literatur bekannter Reprojektionsfehler bestimmt (siehe beispielsweise Yi Ma, Stefano Soatto, Jana Kosecka, S. Shankar Sastry, „An invitation to 3D vision", Seiten 124-131, 2004).
  • - Dieser Reprojektionsfehler je Merkmal wird anschließend durch Division mit dem Betrag des jeweiligen gemessenen optischen Flusses des zugehörigen Features normiert. Das entstehende Maß wird als normierter skalierter Reprojektionsfehler bezeichnet.
  • - Korrespondierende Merkmale, deren normierter skalierter Reprojektionsfehler relativ zu einem Referenzfehler von einer vorbestimmten Fehlermaßschranke zu weit abweichen, werden entfernt.
  • - Dann wird die Schätzung auf Basis der verbleibenden Merkmale durchgeführt.
• Das erfindungsgemäße Verfahren ermöglicht eine robuste und zuverlässige Messfehlererkennung und damit Eigenbewegungsschätzung unter Verwendung einer Fahrzeugmonokamera, wodurch Hardware-Bereitstellungskosten gegenüber einer Fahrzeugstereokamera signifikant reduziert werden können. Damit lässt sich auch der Kalibrierungsaufwand signifikant reduzieren, da nur eine einzige Fahrzeugmonokamera für dieses Verfahren benötigt wird. Das hieraus resultierende bereinigte Merkmal-Set bietet die Basis für eine verbesserte, insbesondere kostengünstigere, Möglichkeit zur robusten Eigenbewegungsschätzung eines Fahrzeugs. Der wesentliche Vorteil dieser Erfindung liegt darin, dass das Verfahren zur Messfehlererkennung aus WO 2017/206999 A1 angewandt werden kann, ohne dass dafür die Kenntnis der absoluten Tiefeninformationen erforderlich wäre. Den Nachteil bekannter Verfahren, welche ein kalibriertes Stereokamerasystem oder genaue Tiefeninformationen aus einer anderen Quelle voraussetzen, wird somit überwunden. Durch das hier vorgestellte Verfahren kann stattdessen ein einfaches Monokamerasetup verwendet werden, um Messfehler robust zu erkennen. Der Anwendungsbereich wird also deutlich weniger restriktiv und wirtschaftlich, sowie Wartungs-/kalibriertechnisch deutlich vorteilhafter.
• In einer Weiterbildung der Erfindung kann vorgesehen sein, dass die Bewegungshypothese zunächst auf Basis sämtlicher korrespondierender Merkmale bestimmt wird. In anderen Worten wird die Bewegungshypothese noch vor der Entfernung der aufgrund ihres unzulässig hohen normierten skalierten Reprojektionsfehlers ungeeigneten Merkmale bestimmt.
• Gemäß einer anderen Weiterbildung kann der Reprojektionsfehler über die Länge, also den Betrag des optischen Flusses normiert werden.
• Gemäß einer anderen Weiterbildung können die jeweils normierten Reprojektionsfehler eines korrespondierenden Merkmalspaares miteinander verglichen werden und die Fehlermaßschranke einen Median darstellen. In anderen Worten kann der normierte Reprojektionsfehler eines ersten Merkmalspaares mit dem normierten Reprojektionsfehler eines zweiten Merkmalspaares verglichen werden.
• Eine andere Weiterbildung sieht vor, dass für die Tiefeninformation eine Skala festgelegt werden kann. Unter Festlegen kann in diesem Zusammenhang insbesondere verstanden werden, dass die Skala nicht anderweitig bekannt ist und daher, zumindest innerhalb von Grenzen, frei gewählt und festgelegt werden kann. Diese Skala muss nicht der tatsächlichen Skala, also z.B. einem Maßstab, des ersten und/oder zweiten Bildes entsprechen.
• Eine besonders vorteilhafte Weiterbildung sieht vor, dass die Skala absichtlich größer oder kleiner als die tatsächliche Skala gewählt wird. Hierdurch kann insbesondere ausgenutzt werden, dass ein Skalenfehler und ein Bewegungshypothesenfehler zu einem gemeinsamen Fehlermaß kombiniert werden können, wodurch sich der resultierende Fehler für korrekte Merkmale beeinflussen lässt. Dadurch lassen sich bei einer absichtlichen Über- oder Unterschätzung der festgelegten Skala korrekte und inkorrekte Merkmale leichter voneinander unterscheiden.
• Es hat sich als vorteilhaft erwiesen, wenn das Schätzen der Fahrzeugtranslation iterativ durchgeführt wird. Dabei kann die Bewegungshypothese durch die nun genauere Bewegungshypothese ersetzt werden. Alternativ dazu, kann das Schätzen aber auch beendet werden, wenn die Bewegungshypothese als bereits genau genug bestimmt wird.
• Gemäß einer Weiterbildung kann die Fahrzeugmonokamera zwischen einer Aufnahme des ersten Bildes und des zweiten Bildes zwischen einem ersten Punkt und einem zweiten Punkt bewegt werden. Da die Fahrzeugmonokamera vorzugsweise fest an einem Fahrzeug montiert ist, kann das Verfahren bei einer Fahrzeugbewegung durchgeführt werden.
• In einer anderen Weiterbildung kann das Kompensieren der Rotationskomponente durch eine Rotationsschätzung auf Basis wenigstens eines Fahrzeugsensors, vorzugsweise einer weiteren Vorrichtung des Fahrzeugs, erfolgen. Beispielsweise kann es sich hierbei um einen Drehratensensor des Fahrzeugs handeln.
• Alternativ oder zusätzlich dazu, kann das Kompensieren der Rotationskomponente auch durch visuelle Odometrie erfolgen.
• Ein zweiter Aspekt der Erfindung betrifft eine Vorrichtung zur Eigenbewegungsschätzung eines Fahrzeugs, mit einer Fahrzeugmonokamera und einer Datenverarbeitungseinrichtung. Die Vorrichtung eignet sich insbesondere zum Durchführen des vorstehend erläuterten Verfahrens. Dabei kann die Datenverarbeitungseinrichtung beispielsweise ein Steuergerät des Fahrzeugs sein, das vorzugsweise über einen Speicher für Programmcode und einen Prozessor zum Ausführen des Programmcodes verfügen kann. Die Vorrichtung ist dazu eingerichtet,
• - korrespondierende Merkmale aus dem ersten und zweiten Bild zu schätzen,
• - eine Fahrzeugrotationskomponente der bestimmten korrespondierenden Merkmale zu kompensieren,
• - eine relative Tiefeninformation für jedes Merkmal aus den rotationskompensierten Merkmalen zu bestimmen, und
• - eine Fahrzeugtranslation zu schätzen, indem
  • - aus der relativen Tiefeninformation und einer Skala mit einer Bewegungshypothese ein jeweiliger Reprojektionsfehler bestimmt wird,
  • - korrespondierende Merkmale, deren normierter skalierter Reprojektionsfehler relativ zu einem Referenzfehler von einer vorbestimmten Fehlermaßschranke zu weit abweichen, entfernt werden, und
  • - die Schätzung auf Basis der verbleibenden Merkmale durchgeführt wird.
• Diese Vorrichtung bietet u.a. den Vorteil, dass unter Verwendung einer Fahrzeugmonokamera, die sich besonders leicht kalibrieren lässt, eine besonders robuste Eigenbewegungsschätzung durchgeführt werden kann. Insbesondere lassen sich Ausreißer unter korrespondieren Merkmalen besonders deutlich erkennen, so dass die Bewegungshypothese besonders genau bestimmt werden kann.
• Im Folgenden werden vorteilhafte Ausführungsformen der Erfindung unter Bezugnahme auf die beigefügten Figuren näher erläutert. Es zeigen:
• 1 ein Fahrzeug mit einer erfindungsgemäßen Vorrichtung zur Eigenbewegungsschätzung,
• 2 ein Blockdiagramm, das eine Eigenbewegungsschätzung mittels einer erfindungsgemäßen Vorrichtung illustriert und
• 3 eine grafische Darstellung von Reprojektionsfehlern, wobei durch das erfindungsgemäße Verfahren fehlerbehaftete Merkmalskorrespondenzen als solche erkannt werden können.
• Die Figuren sind lediglich schematische Darstellungen und dienen nur der Erläuterung der Erfindung. Gleiche oder gleichwirkende Elemente sind durchgängig mit den gleichen Bezugszeichen versehen.
• 1 zeigt ein Fahrzeug 100 mit einer Vorrichtung 110 zur Eigenbewegungsschätzung. Die Vorrichtung 110 weist eine Fahrzeugmonokamera 111 sowie eine damit zusammenwirkende Datenverarbeitungseinrichtung 112 mit einem Speicher 113 zum Speichern eines Programmcodes und einem Prozessor 114 zum Ausführen des Programmcodes auf. Die Vorrichtung 110 kann beispielsweise während eines autonomen Fahrbetriebs des Fahrzeugs 100 dazu verwendet werden, eine Eigenbewegungsschätzung durchzuführen und die daraus gewonnenen Informationen in derselben oder einer damit zusammenwirkenden Vorrichtung zum Bestimmen einer Fahrstrategie, z.B. einer Trajektorienplanung oder ähnlichem, zur Ansteuerung von Aktoren zum Durchführen von Fahrmanövern usw. zu verwenden.
• Im Folgenden wird angenommen, dass sich das Fahrzeug 100 während des Betriebs der Vorrichtung 110 mit einer Rotationskomponente R, die z.B. als Rotationsmatrix bestimmbar ist, und einer Translationskomponente T, die z.B. als Translationsvektor bestimmbar ist, fortbewegt, wie dies durch einen Pfeil 115 angedeutet ist. Gleichförmig dazu bewegt sich auch die Fahrzeugmonokamera 111, die fest an dem Fahrzeug 100 montiert ist.
• Anhand von 2, die ein Blockdiagramm der Vorrichtung 110 zeigt, wird nun ein beispielhafter Betrieb der Vorrichtung 110 zur Bewegungsschätzung erläutert. Hierfür nimmt die Fahrzeugmonokamera 110 ein erstes Bild 116 zum Zeitpunkt t-1 und ein zweites Bild 117 zum Zeitpunkt t auf. Bedingt durch die Fahrzeug- bzw. Kamerabewegung haben das Fahrzeug 100 und die Fahrzeugmonokamera 111 ihre Position relativ zu einer Fahrzeugumgebung vom ersten Zeitpunkt t-1 zum zweiten Zeitpunkt t um die Rotationskomponente R und die Translationskomponente T verändert. Das erste und das zweite Bild 116, 117 werden der Datenverarbeitungseinrichtung 112 zur weiteren Verarbeitung bereitgestellt.
• In den beiden Bildern 116, 117 wird nun eine Mehrzahl von korrespondierenden Merkmalen, z.B. mittels eines geeigneten Verfahrens zur Merkmalsextraktion, bestimmt, wie dies in 2 für zwei exemplarische Paare von korrespondierenden Merkmalen 118 und 119 angedeutet ist. Aufgrund der oben erläuterten Bewegung des Fahrzeugs 100 zwischen der Aufnahme des ersten Bildes 116 zum Zeitpunkt t-1 und des zweiten Bildes 117 zum Zeitpunkt t, befinden sich auch die extrahierten Merkmal 118, 119 in einer veränderten Position. Für diese extrahierten Merkmale 118, 119 wird nun jeweils ein optischer Fluss mittels eines geeigneten Verfahrens bestimmt, um so die Korrespondenz zwischen den Merkmalen 118, 119 zu bestimmen.
• Es sei angemerkt, dass sich nicht jedes extrahierte Merkmal bzw. Merkmalspaar für eine weitere Verarbeitung eignet, so dass aus allen extrahierten Merkmalen 118, 119 geeignete Merkmale, die deshalb auch als inlier bezeichnet werden können, von ungeeigneten Merkmalen, die deshalb auch als Ausreißer bzw. outlier bezeichnet werden können, zu unterscheiden sind, wie dies weiter unten noch näher erläutert wird.
• Die Datenverarbeitungseinrichtung 112 kompensiert nun die Rotationskomponente R des optischen Flusses $x_n^{t-1}-x_n^t$

  

  der korrespondierenden Merkmale 118, 119, wobei x_n eine Koordinate bzw. das jeweilige Merkmal 118, 119 angibt. Dies erfolgt durch $x_n^t=K\ast \pi \left(R\cdot K^{-1}\cdot {\left(x_n^t\mathrm{,1}\right)}^T\right),$

  

  also einer Rotation des Merkmals $x_n^t$

  

  mit der Rotationskomponente R. Hierbei beschreibt K die intrinsische Kalibriermatrix der Kamera und Kπ die kalibrierte Planarprojektion eines Raumpunktes in Kamerakoordinaten auf Pixelkoordinaten.
• Diese Kompensation erfolgt wahlweise unter Einbeziehung von Daten eines weiteren (nicht gezeigten) Fahrzeugsensors, oder durch eine auf Rotationsschätzung optimierte vorgelagerte kamerabasierte Methode. Dies kann auch eine visuelle Odometrie sein, die sich beispielsweise auf sehr weit entfernte Merkmale stützt, da hier der optische Fluss nur eine vernachlässigbare Translationskomponente aufweist.
• Des Weiteren bestimmt die Datenverarbeitungseinrichtung 112 eine relative Tiefeninformation c · λ_n aus dem zuvor rotationskompensierten optischen Fluss. Da die Vorrichtung 110 die Fahrzeugmonokamera 111 verwendet und deshalb keine Disparität bestimmt werden kann, wird hier die relative Tiefeninformation c · λ_n herangezogen. Hierbei gilt, dass alle Tiefeninformationen bis auf eine feste Skalierung c, die über alle Features konstant ist, von der tatsächlichen Tiefenkarte λ_n - wie sie beispielsweise durch ein Stereokamerasystem direkt ermittelt werden kann- abweichen.
  Die Abweichung der Schätzung von den korrekten Werten lässt sich über den relativen Fehler $\frac{{\lambda }_n-c\cdot {\lambda }_n}{{\lambda }_n}=1-c$

  

  ausdrücken. Der Wert c = 1 steht daher für eine korrekte Schätzung.
• Diese relative Tiefenschätzung wird in diesem Ausführungsbeispiel beispielsweise dadurch bestimmt, dass für den Betrag der Translation ein Wert vorgegeben wird, der beispielsweise willkürlich, oder aus einer Raddrehzahlmessung bestimmt wird, und über den Reprojektionsfehler daraus die Tiefe jedes Merkmals n bestimmt wird. Verfahren hierzu sind aus der Literatur bekannt, wie beispielsweise in Yi Ma, Stefano Soatto, Jana Kosecka, S. Shankar Sastry, „An invitation to 3D vision", Seiten 124-131, 2004. Ein tatsächlich korrekter Wert für die Skala c für die absolute Tiefeninformation c · λ_n ist dabei nicht als absolutes Maß bekannt und wird deshalb festgelegt.
• Nun schätzt die Datenverabeitungseinrichtung 112 die Fahrzeugtranslation T zwischen den zeitlich aufeinander folgenden aufgenommenen Bildern aus der zuvor bestimmten relativen Tiefeninformation mit festgelegter Skala c · λ_n und einer Verwendung eines geeigneten Rechenverfahrens, wie z.B. dem Levenberg-Marquardt-Algorithmus. Diese Translationsschätzung T beinhaltet dabei bewusst Fehler aufgrund der willkürlichen Skalierung der Tiefe. Zur Schätzung der Translation wird ein jeweiliger Reprojektionsfehler ε_n bestimmt, der sich in diesem Ausführungsbeispiel zu ${\epsilon }_n={\Vert x_n^{t-1}-K\pi \left(x_n^t+T\right)\Vert }_2$

  

  bestimmt, wobei Kπ ein Modell der Planarprojektion der kalibrierten Kamera ist.
• Der bestimmte Reprojektionsfehler ε_n wird nun über die Länge des optischen Flusses ${\Vert x_n^{t-1}-x_n^t\Vert }_2$

  

  normiert, indem ${\epsilon }_n={\Vert x_n^{t-1}-x_n^t\Vert }_2$

  

  berechnet wird.
• Daraus ergibt sich ein normierter skalierter Reprojektionsfehler $\overline{{\delta }_n}$

  

  für die rotationskompensierten Daten, der mit einer parametrierbaren Fehlermaßschranke $\widehat{{\delta }_n}$

  

  verglichen wird, um fehlerbehaftete Korrespondenzen trotz einer willkürlich festgelegten Tiefenskala klassifizieren zu können. Hierbei kann die Fehlerschranke $\widehat{{\delta }_n}$

  

  nach dem Zusammenhang $\overline{{\delta }_n}=\left|\frac{E-c}{c}\right|$

  

  über Abschätzungen des erwarteten Fehlers einer Bewegungshypothese E, sowie des erwarteten Skalenfehlers c abgeschätzt werden, hat also eine anschauliche Bedeutung und kann aus weiteren Messgrößen - beispielsweise aus weiteren Sensoren - abgeschätzt werden. E kann genauer geschrieben werden als E=e*c, wobei eden Schätzfehler zusätzlich zur falschen Skala repräsentiert. Die Bewegungshypothese bestimmt sich zu E · t_z, wobei der Vorfaktor E den Fehler der als Vorwärtskomponente modellierten Translation im Vergleich zur tatsächlichen Vorwärtstranslationskomponente t_z beschreibt.
  Dann entfernt die Datenverarbeitungseinrichtung 112 diejenigen korrespondierenden Merkmale 118, 119, deren normierter skalierter Reprojektionsfehler mehr als $\widehat{{\delta }_{max}}$

  

  von der vorbestimmten Fehlermaßschranke $\widehat{{\delta }_n}$

  

  abweichen als Ausreißer. In diesem Ausführungsbeispiel überschreitet der normierte skalierte Reprojektionsfehler $\overline{{\delta }_n}$

  

  der korrespondierenden Merkmale 119 die Fehlermaßschranke $\widehat{{\delta }_n},$

  

  so dass diese entfernt werden.
• Nach dem Entfernen der Ausreißer führt die Datenverarbeitungseinrichtung 112 die weitere Schätzung der Fahrzeugtranslation T auf Basis der verbleibenden Merkmale 119 durch.
• Die Abfolge aus Schätzung - Bewertung - Ausreißerentfernung, kann dabei iterativ eingesetzt werden, um schrittweise Messfehler zu entfernen und die Bewegungshypothese zu verbessern.
• 3 zeigt eine grafische Darstellung des normierten skalierten Reprojektionsfehlers $\overline{{\delta }_n},$

  

  in der auf der x-Achse die korrespondierenden Merkmale, also beispielsweise die Merkmale 118, 119 und auf der y-Achse der jeweils entkoppelte, normalisierte skalierte Reprojektionsfehler $\overline{{\delta }_n}$

  

  aufgetragen sind. Dabei lassen sich falsche bzw. ungeeignete Merkmalskorrespondenzen, wie z.B. die der Merkmale 119, einfach identifizieren, da die anderen, geeigneten Merkmalskorrespondenzen, wie z.B. die der Merkmale 118, einen aufgrund der Rotationskompensation und Normierung des Reprojektionsfehlers auf Basis einer festgelegten Skala etwa Bildkoordinaten und tiefenunabhängigen und damit näherungsweise gleichen skalierten normalisierten Reprojektionsfehler $\overline{{\delta }_n}$

  

  aufweisen, von dem sich die ungeeigneten Merkmalskorrespondenzen deutlich abzeichnen.
• Obwohl die vorliegende Erfindung anhand bevorzugter Ausführungsbeispiele vorstehend beschrieben wurde, ist sie nicht darauf beschränkt, sondern auf vielfältige Art und Weise modifizierbar. Insbesondere lässt sich die vorliegende Erfindung in mannigfaltiger Weise verändern oder modifizieren, ohne vom Kern der Erfindung abzuweichen.
• Ergänzend sei darauf hingewiesen, dass „umfassend “ und „ aufweisend “ keine anderen Elemente oder Schritte ausschließt und „eine “ oder „ein “ keine Vielzahl ausschließt.
• Ferner sei darauf hingewiesen, dass Merkmale oder Schritte, die mit Verweis auf eines der obigen Ausführungsbeispiele beschrieben worden sind, auch in Kombination mit anderen Merkmalen oder Schritten anderer oben beschriebener Ausführungsbeispiele verwendet werden können. Bezugszeichen in den Ansprüchen sind nicht als Einschränkungen anzusehen.
• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• WO 2017/206999 A1 [0005, 0009]
• Zitierte Nicht-Patentliteratur
• Yi Ma, Stefano Soatto, Jana Kosecka, S. Shankar Sastry, „An invitation to 3D vision“, Seiten 124-131, 2004 [0008, 0031]

Claims (9)

1. Verfahren zum Auswerten eines ersten Bildes (116) und zweiten Bildes (117) einer Fahrzeugmonokamera (111), mit den Schritten: - Bestimmen von korrespondierenden Merkmalen (118, 119) aus dem ersten und zweiten Bild (116, 117), - Kompensieren einer Fahrzeugrotationskomponente (R) der bestimmten korrespondierenden Merkmale (118, 119), - Bestimmen einer relativen Tiefeninformation (c · λ_n) für jedes Merkmal aus den rotationskompensierten Merkmalen (118, 119), und - Schätzen einer Fahrzeugtranslation, indem - aus der relativen Tiefeninformation (c · λ_n) und einer Bewegungshypothese (E · t_z) ein jeweiliger Reprojektionsfehler (ε_n) bestimmt wird, - korrespondierende Merkmale (119), deren normierter skalierter Reprojektionsfehler $\left(\overline{{\delta }_n}\right)$

   

   von einer vorbestimmten Fehlermaßschranke $\left(\widehat{{\delta }_n}\right)$

   

   abweicht, entfernt werden, und - die Schätzung auf Basis der verbleibenden Merkmale (118) durchgeführt wird.
2. Verfahren nach Anspruch 1, wobei die Bewegungshypothese (E · t_z) zunächst auf Basis sämtlicher korrespondierender Merkmale (118, 119) bestimmt wird.
3. Verfahren nach Anspruch 1 oder 2, wobei der Reprojektionsfehler (ε_n) über eine Länge des optischen Flusses $\left({\Vert x_n^{t-1}-x_n^t\Vert }_2\right)$

   

   normiert wird.
4. Verfahren nach Anspruch 3, wobei die normierten Reprojektionsfehler $\left(\overline{{\delta }_n}\right)$

   

   miteinander verglichen werden und die Fehlermaßschranke $\left(\widehat{{\delta }_n}\right)$

   

   über einen Median aller Fehler als Referenzwert bestimmt wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei für den Reprojektionsfehler $\left(\overline{{\delta }_n}\right)$

   

   eine Skala (c) festgelegt wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Schätzen der Fahrzeugtranslation (T) iterativ durchgeführt wird.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Fahrzeugmonokamera (111) zwischen einer Aufnahme des ersten Bildes (116) und des zweiten Bildes (117) zwischen einem ersten Punkt und einem zweiten Punkt bewegt wird.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Kompensieren der Rotationskomponente (R) durch eine Rotationsschätzung auf Basis wenigstens eines Fahrzeugsensors erfolgt.
9. Vorrichtung zur Eigenbewegungsschätzung eines Fahrzeugs (100), mit einer Fahrzeugmonokamera (111) und einer Datenverarbeitungseinrichtung (112), die dazu eingerichtet ist, - aus einem ersten und einem zweiten Bild (116, 117) der Fahrzeugmonokamera (111) korrespondierende Merkmale (118, 119) zu bestimmen, - eine Fahrzeugrotationskomponente (R) der bestimmten korrespondierenden Merkmale (118, 119) zu kompensieren, - eine relative Tiefeninformation (c · λ_n) aus den rotationskompensierten Merkmalen (118, 119) zu bestimmen, und - eine Fahrzeugtranslation zu schätzen, indem - aus der relativen Tiefeninformation (c · λ_n) und einer Bewegungshypothese (E · t_z) ein jeweiliger Reprojektionsfehler (ε_n) bestimmt wird, - korrespondierende Merkmale (119), deren normierter skalierter Reprojektionsfehler $\left(\overline{{\delta }_n}\right)$

   

   von einer vorbestimmten Fehlermaßschranke $\left(\widehat{{\delta }_n}\right)$

   

   abweicht, entfernt werden, und - die Schätzung auf Basis der verbleibenden Merkmale (118) durchgeführt wird.

Images