DE102021205852A1

DE102021205852A1 - Verfahren und Vorrichtung zum Bereitstellen von Konturdaten hinsichtlich einer Oberflächenkontur einer durch ein Fahrzeug befahrenen Fahrbahnoberfläche und Verfahren und Vorrichtung zum Steuern eines Betriebs eines Fahrzeugs

Info

Publication number: DE102021205852A1
Application number: DE102021205852.3A
Authority: DE
Inventors: Robert Winkler
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2021-06-10
Filing date: 2021-06-10
Publication date: 2022-12-15
Also published as: CN115465279A

Abstract

Die Erfindung betrifft ein Verfahren zum Bereitstellen von Konturdaten (129) hinsichtlich einer Oberflächenkontur einer durch ein Fahrzeug (100) befahrenen Fahrbahnoberfläche. Die Konturdaten (129) werden zum Steuern eines Betriebs des Fahrzeugs (100) verwendet. Das Verfahren umfasst einen Schritt des Einlesens von Eingangsdaten (123), die mindestens zwei festgestellte Punkt-Korrespondenzen (103) zwischen korrespondierenden Punkten in zwei nacheinander aufgenommenen Bildern einer Fahrzeugkamera (102) des Fahrzeugs (100), intrinsische Kameraparameter (105) der Fahrzeugkamera (102) und eine Bewegungsinformation (107) hinsichtlich einer Eigenbewegung der Fahrzeugkamera (102) zwischen Aufnahmezeitpunkten der zwei Bilder aufweisen. Das Verfahren umfasst auch einen Schritt des Ermittelns einer Korrektur-Rotationsvariablen (Qcorr) der Fahrzeugkamera (102) zwischen den Bildern unter Verwendung der Eingangsdaten (123), einer vordefinierten Kalibier-Kameraorientierung (Qinit) der Fahrzeugkamera (102) und einer Ermittlungsvorschrift (126), die auf einer Homographie-Gleichung für Punktkorrespondenzen einer Ebene basiert. Das Verfahren umfasst ferner einen Schritt des Bestimmens der Konturdaten (129) unter Verwendung der ermittelten Korrektur-Rotationsvariablen (Qcorr).

Description

Stand der Technik
Die Erfindung geht von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche aus. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
Das in der EP 2 602 741 A2 beschriebene Verfahren schätzt einen Oberflächen-Normalenvektor in Kamera-Koordinaten, basierend auf optischem Fluss in einem mehrstufigen Pozess mittels Bild-Warping und RANSAC-Techniken. Anschließend wird per dynamischer Programmierung auf vertikalen Bildstreifen ein Profil der vertikalen Kontur der Oberfläche mit Glattheitsrestriktionen geschätzt. Das in der EP 3 193 306 B1 beschriebene Verfahren betrifft ein Modell, bei dem eine Bestimmung von Koeffizienten eines Normalenvektors zweistufig erfolgt, wobei auch Grundprinzipien einer Robustifizierung mittels RANSAC und einer konstanten Höhenannahme gelten.
Offenbarung der Erfindung
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren, weiterhin eine Vorrichtung, welche dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
Gemäß Ausführungsformen kann insbesondere eine robuste videobasierte Bestimmung einer Oberflächenkrümmung einer Fahrbahn für verbesserte Spurhaltung eines Fahrzeugs durchgeführt werden. Beispielsweise kann somit eine verbesserte Längs- und Querregelung eines Fahrzeugs unter Verwendung von Konturdaten aus einer robusten Bestimmung der Oberflächenlage und -krümmung der Fahrbahn unter anderem anhand von Videodaten ermöglicht werden. Von einer solchen verbesserten Regelung können z. B. Fahrerassistenzsysteme wie Abstandsregeltempomat (Längsregelung), Spurhalteassistent (Querregelung) und Stauassistent (Längs- und Querregelung) profitieren. Eingabeparameter zum Bestimmen der Konturdaten der Fahrbahn können insbesondere zwei oder mehr Punktkorrespondenzen aus zwei Kamera-Bildern einer Fahrzeugkamera, sogenannter optischer Fluss, intrinsische Parameter der Kamera und eine und eine und eine Eigenbewegung der Kamera zwischen der Aufnahme der zwei Bilder, beispielsweise basierend auf in Inertialsensordaten, visueller Odometrie und/oder Fahrzeug-Signalen, sowie falls bekannt eine Höhe oder ungefähre Höhe der Kamera über der Fahrbahnebene umfassen.
Vorteilhafterweise kann gemäß Ausführungsformen eine Verbesserung gegenüber bisherigen Verfahren zur Bestimmung einer dynamischen Kameraorientierung zur Oberfläche und der Oberflächenkontur u. a. in den nachfolgend genannten Aspekten erzielt werden. So kann beispielsweise eine verbesserte Robustifizierung gegenüber Messfehlern erreicht werden. Auch kann eine effiziente Implementierung in Echtzeitsystemen ermöglicht werden. Die verbesserte Bestimmung der Kameraorientierung und Oberflächenkontur kann für eine verbesserte Längs- und Querregelung des Fahrzeugs genutzt werden, etwa bei Abstandsregeltempomaten, Spurhalteassistenten und Stauassistenten. Insbesondere kann ein erweitertes, parametriertes Oberflächenmodell in Längsrichtung einer bildbasierten Abstandsbestimmung für die Längsregelung zugute kommen. Insbesondere eine um eine Querneigungsänderung erweiterte Schätzung des Oberflächenmodells kann eine Verbesserung eines Spurhalteassistenten ermöglichen, was vor allem bei Fahrzeugen mit hohem Eigengewicht wie Lastkraftwagen oder schweren Personenkraftwagen vorteilhaft sein kann.
Es wird ein Verfahren zum Bereitstellen von Konturdaten hinsichtlich einer Oberflächenkontur einer durch ein Fahrzeug befahrenen Fahrbahnoberfläche vorgestellt, wobei die Konturdaten zum Steuern eines Betriebs des Fahrzeugs verwendet werden, wobei das Verfahren folgende Schritte aufweist:

Einlesen von Eingangsdaten, die
- - mindestens zwei festgestellte Punkt-Korrespondenzen zwischen korrespondierenden Punkten in zwei nacheinander aufgenommenen Bildern einer Fahrzeugkamera des Fahrzeugs,
- - intrinsische Kameraparameter der Fahrzeugkamera und
- - eine Bewegungsinformation hinsichtlich einer Eigenbewegung der Fahrzeugkamera zwischen Aufnahmezeitpunkten der zwei Bilder
aufweisen;

Ermitteln einer Korrektur-Rotationsvariablen der Fahrzeugkamera zwischen den Bildern unter Verwendung der Eingangsdaten, einer vordefinierten Kalibier-Kameraorientierung der Fahrzeugkamera und einer Ermittlungsvorschrift, die auf einer Homographie-Gleichung für Punktkorrespondenzen einer Ebene basiert; und
Bestimmen der Konturdaten unter Verwendung der ermittelten Korrektur-Rotationsvariablen.
Anders ausgedrückt ist das Verfahren ausführbar, um eine gekrümmte Oberflächenkontur der Fahrbahnoberfläche in Längsrichtung und/oder Querrichtung oder noch anders ausgedrückt Oberflächen-Krümmungsparameter der Fahrbahnoberfläche zu bestimmen. Es kann insbesondere eine dynamische Kameraorientierung zur Fahrbahnoberfläche bestimmt werden. Die Eigenbewegung der Fahrzeugkamera kann einer Bewegung des Fahrzeugs zwischen den Aufnahmezeitpunkten der Bilder entsprechen. Die Fahrbahnoberfläche ist durch das Fahrzeug befahrbar. Die Korrektur-Rotationsvariable kann für einen Teilabschnitt der Fahrbahnoberfläche gültig sein, der zwischen den Aufnahmezeitpunkten der Bilder durch das Fahrzeug befahren wird. Im Schritt des Einlesens können die Punkt-Korrespondenzen von einer Schnittstelle zu der Fahrzeugkamera eingelesen werden, können die intrinsischen Kameraparameter von einer Schnittstelle zu der Fahrzeugkamera oder einer kameraexternen Speichereinrichtung eingelesen werden und kann die Bewegungsinformation von einer Schnittstelle zu einem Fahrzeugsensor oder der Fahrzeugkamera eingelesen werden. Die Punkt-Korrespondenzen können unter Verwendung des optischen Flusses zwischen den Bildern festgestellt werden. Die Ermittlungsvorschrift kann ein lineares Gleichungssystem oder anders ausgedrückt eine linearisierte Homographiegleichung aufweisen.
Gemäß einer Ausführungsform können die im Schritt des Einlesens eingelesen Eingangsdaten eine Vielzahl von Punkt-Korrespondenzen aufweisen. Dabei kann im Schritt des Ermittelns die Korrektur-Rotationsvariable unter Berücksichtigung der Vielzahl von Punkt-Korrespondenzen mittels der gewichteten Methode der kleinsten Quadrate, eines Regularized-Least-Squares-Ausgleichsproblems oder eines anderen Ausgleichsproblems ermittelt werden. Eine solche Ausführungsform bietet den Vorteil, dass eine Robustheit gegenüber Messfehlern im Hinblick auf die Korrespondenzen erhöht werden kann.
Ferner können die im Schritt des Einlesens eingelesen Eingangsdaten eine Höheninformation über eine Höhe der Fahrzeugkamera über der Fahrbahnoberfläche aufweisen. Insbesondere kann dabei die Höheninformation ein vordefinierter Wert oder ein Schätzwert sein. Eine solche Ausführungsform bietet den Vorteil, dass eine Genauigkeit der Bestimmung der Konturdaten weiter gesteigert werden kann.
Hierbei kann im Schritt des Ermittelns ein Korrekturwert der Höheninformation mit initialer Höhenannahme unter Verwendung von mindestens drei Punkt-Korrespondenzen ermittelt werden. Eine solche Ausführungsform bietet den Vorteil, dass die Höheninformation korrigiert und damit exakter gemacht werden kann.
Beispielsweise können die im Schritt des Einlesens eingelesen Eingangsdaten Punkt-Korrespondenzen aufweisen, welche die Punkte in absoluten dreidimensionalen Koordinaten oder in normalisierten Lochkamera-Koordinaten angeben können. Eine solche Ausführungsform bietet den Vorteil, dass Freiheit und Flexibilität bei der Implementierung des Verfahrens im Hinblick auf ein konkretes Anwendungsszenario verbessert werden können.
Zudem kann im Schritt des Ermittelns eine Konsistenz-Bedingung mit einem konfigurierbaren Konsistenzparameter angewendet werden, um konsistente Punkt-Korrespondenzen zu detektieren und inkonsistente Punkt-Korrespondenzen zu verwerfen. Eine solche Ausführungsform bietet den Vorteil, dass die Bestimmung gegenüber einzelnen Messfehlern robuster gemacht werden kann.
Gemäß einer Ausführungsform kann im Schritt des Ermittelns a-priori geprüft werden, ob die Ermittlungsvorschrift lösbar ist für eine Korrektur-Rotationsvariable, die unter einer vordefinierbaren Schwelle liegt. Ist dies nicht der Fall, kann eine dazugehörige Punkt-Korrespondenz verworfen werden, um die Bestimmung der Korrekturwerte gegen einzelne Messfehler weiter zu robustifizieren.
Auch kann die im Schritt des Ermittelns ermittelte Korrektur-Rotationsvariable einen Korrektur-Nickwinkel und einen Korrektur-Wankwinkel aufweisen. Eine solche Ausführungsform bietet den Vorteil, dass die Konturdaten unaufwendig und zuverlässig bestimmt werden können.
Dabei kann ein distanzunabhängiger Korrektur-Nickwinkel oder ein distanzabhängiger Korrektur-Nickwinkel verwendet werden. Hierbei kann die Distanz linear, polynomisch oder durch eine andere funktionale Darstellung berücksichtigt werden. Eine solche Ausführungsform bietet den Vorteil, dass ein Höhenprofil der Fahrbahnoberfläche entlang einer Fahrtrichtung des Fahrzeugs bestimmt werden kann.
Zusätzlich oder alternativ kann dabei ein distanzunabhängiger Korrektur-Wankwinkel oder ein distanzabhängiger Korrektur-Wankwinkel verwendet werden. Hierbei kann die Distanz linear, polynomisch oder durch eine andere funktionale Darstellung berücksichtigt werden. Eine solche Ausführungsform bietet den Vorteil, dass eine Querneigungsänderung der Fahrbahnoberfläche entlang der Fahrtrichtung des Fahrzeugs bestimmt werden kann.
Ferner kann im Schritt des Ermittelns die Korrektur-Rotationsvariable einmalig ermittelt werden. Alternativ kann im Schritt des Ermittelns die Korrektur-Rotationsvariable wiederholt aktualisiert werden. Eine solche Ausführungsform bietet den Vorteil, dass basierend auf einer aktualisierten Initialschätzung erneut Korrekturterme geschätzt werden können, wobei eine Newton-artige Methode zur Anwendung kommen kann.
Es wird ein Verfahren zum Steuern eines Betriebs eines Fahrzeugs vorgestellt, wobei das Verfahren folgende Schritte aufweist:

Empfangen von gemäß einer Ausführungsform des hier vorgestellten Verfahrens bereitgestellten Konturdaten hinsichtlich einer Oberflächenkontur einer durch das Fahrzeug befahrenen Fahrbahnoberfläche;
Erzeugen eines Steuersignals zum Steuern des Betriebs des Fahrzeugs, wobei das Steuersignal unter Verwendung der Konturdaten erzeugt wird; und
Ausgeben des Steuersignals an eine Schnittstelle zu mindestens einer Betriebseinrichtung des Fahrzeugs zur Längsführung und/oder Querführung des Fahrzeugs.

Die mindestens eine Betriebseinrichtung kann hierbei zumindest ein Software-Modul für eine Assistenzfunktion und zusätzlich oder alternativ zumindest einen Aktor aufweisen.
Jedes der vorgestellten Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Bei den Sensorsignalen kann es sich um Bildsignale von der Fahrzeugkamera, Messsignale von Fahrzeugsensoren, wie beispielsweise Inertialsensoren, Odometriedaten und dergleichen handeln. Die Steuersignale können unter Verwendung der Konturdaten erzeugt werden. Dabei können die Steuersignale Steuerparameter umfassen, die zur Parametrisierung von Assistenzfunktionen und zusätzlich oder alternativ zur Ansteuerung von Aktoren zur Längsführung und/oder Querführung verwendet werden können. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
Anders ausgedrückt kann gemäß Ausführungsformen insbesondere eine Überführung der klassischen Homographie-Gleichung s' = H s für Punktkorrespondenzen (s, s') einer Ebene in ein mathematisch vorteilhafteres Modell genutzt werden, sowie die Erweiterung dieses Modells. Dieses erweiterte Modell kann beispielsweise eine direkte Schätzung des Nick- und Wankwinkels der Kamera zur Fahrbahnoberfläche, effiziente Konsistenz- und Plausibilitätsprüfungen jedes einzelnen optischen Flussvektors und somit der Messdaten und die direkte Erweiterung des Schätzvektors um Oberflächen-Krümmungsparameter auch bei lokal unvollständigen Messdaten umfassen. Zusätzlich kann das Modell eine, insbesondere simultane, Korrekturschätzung der Kamerahöhe ermöglichen. Durch die Modellierbarkeit verschiedener Krümmungsparameter kann die Erfindung insbesondere selbst bei unvollständigen Daten optional die, insbesondere simultane, Bestimmung einer gekrümmten Oberflächenkontur der Fahrbahn auch in Längs- und Querrichtung und zusätzlich oder alternativ eine Bestimmung der Längs- und Querneigungsänderung der Fahrbahn ermöglichen. Die gemäß Ausführungsbeispielen gewählte mathematische Formulierung kann beispielsweise eine direkte Berücksichtigung aller als gültig befundener optischer Flussvektoren bzw. Messdaten simultan mittels eines gewichteten Least-Squares-Ansatzes, d. h. einer gewichteten Methode der kleinsten Quadrate, ermöglichen. Dies kann wiederum eine höhere theoretische Genauigkeit gegenüber dem herkömmlicherweise verwendeten RANSAC-Ansatz ermöglichen.
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

1 eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung in einem Fahrzeug;
2 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Bereitstellen;
3 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Steuern; und
4 eine schematische Darstellung eines Fahrzeugs mit einer Fahrzeugkamera und einem Ausführungsbeispiel einer Vorrichtung auf einer Fahrbahn mit einem Höhenprofil.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
1 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung 120 in einem Fahrzeug 100. Bei dem Fahrzeug 100 handelt es sich um ein Kraftfahrzeug, wie beispielsweise einen Personenkraftwagen, einen Lastkraftwagen oder ein anderes Nutzfahrzeug. Das Fahrzeug 100 umfasst eine Fahrzeugkamera 102, einen Fahrzeugsensor 106 und ein Betriebssystem 110, das mindestens eine Betriebseinrichtung 115 und die Vorrichtung 120 aufweist. Die Vorrichtung 120 ist ausgebildet, um Konturdaten 129 hinsichtlich einer Oberflächenkontur einer durch das Fahrzeug 100 befahrenen Fahrbahnoberfläche bereitzustellen. Ferner ist die Vorrichtung 120 ausgebildet, um einen Betrieb des Fahrzeugs 100 zu steuern.
Die Fahrzeugkamera 102 ist fest mit dem Fahrzeug 100 verbunden. Die Fahrzeugkamera 102 ist ausgebildet, um ein die Fahrbahnoberfläche umfassendes Umfeld des Fahrzeugs 100 zu erfassen. Hierzu ist die Fahrzeugkamera 102 ausgebildet, um Bilder des Umfeldes aufzunehmen. Auch ist die Fahrzeugkamera 102 ausgebildet, um die Bilder repräsentierende Bilddaten zu verarbeiten und/oder bereitzustellen. Intrinsische Kameraparameter 105 der Fahrzeugkamera 102 sind beispielsweise in der Fahrzeugkamera 102 gespeichert. Der Fahrzeugsensor 106 ist beispielsweise als ein Inertialsensor ausgeführt. Der Fahrzeugsensor 106 ist ausgebildet, um eine Bewegungsinformation 107 hinsichtlich einer Eigenbewegung des Fahrzeugs 100 und somit auch der Fahrzeugkamera 102 bereitzustellen. Die mindestens eine Betriebseinrichtung 115 ist zur Längsführung und/oder Querführung des Fahrzeugs 100 ausgebildet. Dabei umfasst die mindestens eine Betriebseinrichtung 115 eine Assistenzeinrichtung für mindestens eine Assistenzfunktion und/oder einen Aktor zur Längsführung und/oder Querführung.
Die Vorrichtung 120 umfasst zum Bereitstellen der Konturdaten 129 eine Einleseeinrichtung 122, eine Ermittlungseinrichtung 124 und eine Bestimmungseinrichtung 128 und zum Steuern des Betriebs eine Empfangseinrichtung 132, eine Erzeugungseinrichtung 134 und eine Ausgabeeinrichtung 136.
Die Einleseeinrichtung 122 ist ausgebildet, um von einer Eingangsschnittstelle 121 der Vorrichtung 120 Eingangsdaten einzulesen. Die Eingangsdaten umfassen mindestens zwei festgestellte Punkt-Korrespondenzen 103 zwischen korrespondierenden Punkten in zwei nacheinander aufgenommenen Bildern einer Fahrzeugkamera 102, die intrinsischen Kameraparameter 105 der Fahrzeugkamera 102 und die Bewegungsinformation 107 hinsichtlich der Eigenbewegung der Fahrzeugkamera 102 zwischen Aufnahmezeitpunkten der zwei Bilder. Die Punkt-Korrespondenzen 103 sind beispielsweise mittels der Fahrzeugkamera 102 oder einer anderen Einrichtung unter Verwendung des optischen Flusses und/oder geeigneten Algorithmen feststellbar, insbesondere auch einer anderen Einrichtung, die Teil der Vorrichtung 120 sein kann. Die Einleseeinrichtung 122 ist ausgebildet, um die eingelesenen Eingangsdaten 123 an die Ermittlungseinrichtung 124 weiterzugeben.
Die Ermittlungseinrichtung 124 ist ausgebildet, um unter Verwendung der Eingangsdaten 123, einer vordefinierten Kalibier-Kameraorientierung Q_init der Fahrzeugkamera 102 und einer Ermittlungsvorschrift 126 eine Korrektur-Rotationsvariable Q_corr der Fahrzeugkamera 102 zwischen den Bildern zu ermitteln. Die Ermittlungsvorschrift 126 basiert dabei auf einer Homographie-Gleichung für Punktkorrespondenzen einer Ebene. Auf die Ermittlungsvorschrift 126 wird nachfolgend insbesondere auch unter Bezugnahme auf 4 noch detaillierter eingegangen. Die Ermittlungseinrichtung 124 ist ausgebildet, um die Korrektur-Rotationsvariable Q_corr an die Bestimmungseinrichtung 128 weiterzugeben. Die Bestimmungseinrichtung 128 ist ausgebildet, um unter Verwendung der ermittelten Korrektur-Rotationsvariablen Q_corr die Konturdaten 129 zu bestimmen. Die Konturdaten 129 werden zum Steuern des Betriebs des Fahrzeugs 100 verwendet. Dazu ist die Stimmungseinrichtung 128 auch ausgebildet, um die Konturdaten 129 der Empfangseinrichtung 132 bereitzustellen.
Die Empfangseinrichtung 132 ist ausgebildet, um die bereitgestellten Konturdaten 129 zu empfangen. Ferner ist die Empfangseinrichtung ausgebildet, um die Konturdaten 129 an die Erzeugungseinrichtung 134 weiterzugeben. Die Erzeugungseinrichtung 134 ist ausgebildet, um unter Verwendung der Konturdaten 129 ein Steuersignal 135 zum Steuern des Betriebs des Fahrzeugs 100 zu erzeugen. Auch ist die Erzeugungseinrichtung 134 ausgebildet, um das erzeugte Steuersignal 135 an die Ausgabeeinrichtung 136 weiterzugeben. Die Ausgabeeinrichtung 136 wiederum ist ausgebildet, um das Steuersignal 135 an eine Ausgangsschnittstelle 138 der Vorrichtung 120 zu der mindestens einen Betriebseinrichtung 115 zur Längsführung und/oder Querführung des Fahrzeugs 100 auszugeben.
Die mindestens eine Betriebseinrichtung 115 ist ausgebildet, um unter Verwendung des Steuersignal 135 die Längsführung und/oder Querführung bzw. Längsregelung und/oder Querregelung des Fahrzeugs 100 durchzuführen.
2 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 200 zum Bereitstellen von Konturdaten hinsichtlich einer Oberflächenkontur einer durch ein Fahrzeug befahrenen Fahrbahnoberfläche. Das Verfahren 200 ist ausführbar, um Konturdaten hinsichtlich einer Oberflächenkontur einer durch ein Fahrzeug befahrenen Fahrbahnoberfläche bereitzustellen. Die Konturdaten werden zum Steuern eines Betriebs des Fahrzeugs verwendet. Dabei ist das Verfahren 200 zum Bereitstellen in Verbindung mit bzw. unter Verwendung der Vorrichtung aus 1 oder einer ähnlichen Vorrichtung ausführbar. Das Verfahren 200 zum Bereitstellen umfasst einen Schritt 210 des Einlesens, einen Schritt 220 des Ermittelns und einen Schritt 230 des Bestimmens.
In dem Schritt 210 des Einlesens werden Eingangsdaten eingelesen. Die Eingangsdaten umfassen mindestens zwei festgestellte Punkt-Korrespondenzen zwischen korrespondierenden Punkten in zwei nacheinander aufgenommenen Bildern einer Fahrzeugkamera des Fahrzeugs. Ferner umfassen die Eingangsdaten intrinsische Kameraparameter der Fahrzeugkamera. Zudem umfassen die Eingangsdaten eine Bewegungsinformation hinsichtlich einer Eigenbewegung der Fahrzeugkamera zwischen Aufnahmezeitpunkten der zwei Bilder.
Nachfolgend wird in dem Schritt 220 des Ermittelns unter Verwendung der Eingangsdaten, einer vordefinierten Kalibier-Kameraorientierung der Fahrzeugkamera und einer Ermittlungsvorschrift eine Korrektur-Rotationsvariable der Fahrzeugkamera zwischen den Bildern ermittelt. Dabei basiert die Ermittlungsvorschrift auf einer Homographie-Gleichung für Punktkorrespondenzen einer Ebene. Wiederum nachfolgend werden in dem Schritt 230 des Bestimmens unter Verwendung der ermittelten Korrektur-Rotationsvariablen die Korrekturdaten bestimmt. Somit stehen die Konturdaten zum Steuern des Betriebs des Fahrzeugs zur Verfügung.
3 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 300 zum Steuern eines Betriebs eines Fahrzeugs. Das Verfahren 300 ist ausführbar, um einen Betrieb eines Fahrzeugs zu Steuern. Dabei ist das Verfahren 300 zum Steuern in Verbindung mit bzw. unter Verwendung der Vorrichtung aus 1 oder einer ähnlichen Vorrichtung ausführbar. Das Verfahren 300 zum Steuern umfasst einen Schritt 310 des Einlesens, einen Schritt 320 des Erzeugens und einen Schritt 330 des Ausgebens.
In dem Schritt 310 des Empfangens werden gemäß dem Verfahren zum Bereitstellen aus 2 oder einem ähnlichen Verfahren bereitgestellte Konturdaten hinsichtlich einer Oberflächenkontur einer durch das Fahrzeug befahrenen Fahrbahnoberfläche empfangen. Nachfolgend wird unter Verwendung der eingelesenen Konturdaten in dem Schritt 320 des Erzeugens ein Steuersignal zum Steuern des Betriebs des Fahrzeugs erzeugt. Wiederum nachfolgend wird in dem Schritt 330 des Ausgebens das Steuersignal an eine Schnittstelle zu mindestens einer Betriebseinrichtung des Fahrzeugs zur Längsführung und/oder Querführung des Fahrzeugs ausgegeben.
4 zeigt eine schematische Darstellung eines Fahrzeugs 100 mit einer Fahrzeugkamera 102 und einem Ausführungsbeispiel einer Vorrichtung 120 auf einer Fahrbahn 400 mit einem Höhenprofil. Die Vorrichtung 120 entspricht oder ähnelt hierbei der Vorrichtung aus 1. Gezeigt sind in 4 ferner eine Tangentialebene 401 bezüglich der Fahrbahn 400 an der Stelle des Fahrzeugs 100, eine optische Achse 402 der Fahrzeugkamera 102, ein optisches Zentrum 403 der Fahrzeugkamera 102, eine virtuelle Bildebene 404, eine Kamerahöhe bzw. Höheninformation d über eine Höhe der Fahrzeugkamera 102 über einer Oberfläche der Fahrbahn 400 bzw. der Fahrbahnoberfläche, einen Punkt s aus einer Punktkorrespondenz (s, s') von nacheinander aufgenommenen Bildern der Fahrzeugkamera 102, einen Korrektur-Nickwinkel p^corr und einen Korrektur-Wankwinkel r^corr, wobei diese Winkel die Korrektur-Rotationsvariable repräsentieren. In 4 ist der Punkt s durch s₁ in 3D-Koordinaten repräsentiert und durch s₂ in normalisierten Lochkamera-Koordinaten repräsentiert.
Unter Bezugnahme auf die vorstehend beschriebenen Figuren werden nachfolgend Ausführungsbeispiele bzw. Ausführungsvarianten nochmals zusammenfassend und mit anderen Worten erläutert und/oder kurz vorgestellt.
Die Homographie-Gleichung, auf welcher die Ermittlungsvorschrift 126 basiert, hat die Form s = H s', wobei (s, s') eine Punktkorrespondenz 103 bzw. ein optischer Flussvektor auf der Fahrbahnoberfläche ist und die Homographiematrix H gegeben ist durch $H = R - \frac{t \cdot n}{d},$
mit der zu den Punkten (s, s') gehörigen Eigenbewegung (R, t), der Kamerahöhe d und dem Ebenen-Normalenvektor n.
Somit umfassen die eingelesenen Eingangsdaten 123 eine Höheninformation über eine Höhe der Fahrzeugkamera 102 über der Fahrbahnoberfläche, wobei die Höheninformation insbesondere ein vordefinierter Wert oder ein Schätzwert ist.
Durch die Wahl von n = Q_init · Q_corr · (0, -1,0)^T in der gängigen Computer-Vision-Koordinatenkonvention (x=lateral nach rechts orientiert, y=vertikal nach unten orientiert, z=longitudinal nach vorne orientiert) mit Kalibier-Kameraorientierung Q_init und einer zu schätzenden Korrektur-Rotationsvariablen bzw. Korrektur-Rotation Q_corr lässt sich die Homographiegleichung auf die Form $s = R - \frac{t \cdot Q_{i n i t} \cdot Q_{c o r r} \cdot {(0, - 1,0)}^{T}}{d} s'$
bringen, was durch Linearisierung von Q_corr und Term-Umformungen zu dem linearen Gleichungssystem $\begin{array}{l} ({(Q_{i n i t}^{T} s')}_{3'} - {(Q_{i n i t}^{T} s')}_{1}) (\begin{matrix} p^{c o r r} \\ r^{c o r r} \end{matrix}) \\ = {(Q_{i n i t}^{T} s')}_{2} - \frac{d}{2} [\frac{{(- 1,0, s_{1})}^{T} \cdot R s'}{{(- 1,0, s_{1})}^{T}} + \frac{{(- 1,0, s_{2})}^{T} \cdot R s'}{{(- 1,0, s_{2})}^{T} \cdot t}] \end{array}$
mit den folgenden Unbekannten führt: Korrektur-Nickwinkel p^corr und Korrektur-Wankwinkel r^corr.
Daher werden mindestens zwei Punkt-Korrespondenzen 103 benötigt, um aus dem resultierenden 2x2-Gleichungssytem die Werte für Korrektur-Nickwinkel p^corr und Korrektur-Wankwinkel r^corr zu bestimmen. Sind mehr als zwei Punkt-Korrespondenzen 103 bekannt, können diese Werte mithilfe eines Ausgleichsproblems bestimmt werden, was die Bestimmung robust gegen Messfehler macht.
Gemäß einer ersten Ausführungsvariante werden durch die Ermittlungseinrichtung 124 bzw. im Schritt 220 des Ermittelns mindestens drei Punkt-Korrespondenzen 103 verwendet, um zusätzlich einen Korrekturwert d^corr der Kamerahöhe d in der Repräsentation d = (1 + d^corr)d_init mit initialer Höhenannahme d_init zu ermitteln bzw. zu schätzen.
Gemäß einer zweiten Ausführungsbeispiel werden statt der absoluten 3D-Punkte (s, s') lediglich die jeweils normalisierten Punkte in Lochkamera-Koordinaten („Pinhole-Modell“) genutzt. Anders ausgedrückt weisen die im Schritt 210 des Einlesens bzw. mittels der Einleseeinrichtung 122 eingelesen Eingangsdaten 123 hierbei Punkt-Korrespondenzen 103 auf, welche die Punkte s, s' in absoluten dreidimensionalen Koordinaten oder in normalisierten Lochkamera-Koordinaten angeben.
Gemäß einer dritten Ausführungsvariante kann im Schritt 220 des Ermittelns bzw. durch die Ermittlungseinrichtung 124 die folgende Konsistenz-Bedingung $\frac{| \frac{{(1,0, s_{1})}^{T} \cdot R s'}{{(- 1,0, s_{1})}^{T} \cdot t} - \frac{{(1,0, s_{2})}^{T} \cdot R s'}{{(- 1,0, s_{2})}^{T} \cdot t} |}{| \frac{{(1,0, s_{1})}^{T} \cdot R s'}{{(- 1,0, s_{1})}^{T} \cdot t} | + \frac{{(- 1,0, s_{2})}^{T} \cdot R s'}{{(- 1,0, s_{2})}^{T} \cdot t}} < δ$
für einen konfigurierbaren Konsistenzparameter bzw. Parameter δ ∈ (0,1), z. B. δ = 0,2 , angewendet bzw. genutzt werden, um konsistente Punkt-Korrespondenzen (s, s') zu detektieren und inkonsistente Korrespondenzen bei der Bestimmung von p^corr, r^corr (und optional d^corr) zu verwerfen. Somit kann die Bestimmung noch einmal zusätzlich gegen einzelne Messfehler robustifiziert werden.
Gemäß einer vierten Ausführungsvariante kann im Schritt 220 des Ermittelns bzw. durch die Ermittlungseinrichtung 124 a-priori geprüft werden kann, ob die Ermittlungsvorschrift 126 bzw. linearisierte Homographiegleichung lösbar ist für eine Korrektur-Rotationsvariable, die unter einer vordefinierbaren Schwelle liegt, bzw. für ausreichend kleine Korrekturschätzungen |p^corr| < p_max und |r^corr| < r_max für vorab gewählte, maximal zulässige Korrekturwinkel p_max,r_max > 0. Ist dies nicht der Fall, kann die dazugehörige Punkt-Korrespondenz (s, s') verworfen werden, um die Bestimmung der Korrekturwerte weiter gegen einzelne Messfehler zu robustifizieren.
Gemäß einer fünften Ausführungsvariante, wobei die im Schritt 210 des Einlesens bzw. mittels der Einleseeinrichtung 122 eingelesen Eingangsdaten 123 eine Vielzahl von Punkt-Korrespondenzen aufweisen, wird im Schritt 220 des Ermittelns bzw. durch die Ermittlungseinrichtung 124 die Korrektur-Rotationsvariable unter Berücksichtigung der Vielzahl von Punkt-Korrespondenzen mittels der gewichteten Methode der kleinsten Quadrate, eines Regularized-Least-Squares-Ausgleichsproblems oder eines anderen Ausgleichsproblems ermittelt. Anders ausgedrückt wird statt eines „least squares“ Ausgleichsproblems ein „regularized least squares“ Ausgleichsproblem gelöst, um numerische Instabilitäten bei der Lösung zu vermeiden.
Gemäß einer sechsten Ausführungsvariante und einer siebten Ausführungsvariante weist die im Schritt 220 des Ermittelns bzw. durch die Ermittlungseinrichtung 124 ermittelte Korrektur-Rotationsvariable Q_corr einen Korrektur-Nickwinkel p^corr und einen Korrektur-Wankwinkel r^corr auf.
Gemäß der sechsten Ausführungsvariante wird statt eines konstanten bzw. distanzunabhängigen Korrektur-Nickwinkels p^corr ein distanzabhängiger Korrektur-Nickwinkel p^corr verwendet, in den die Distanz z. B. linear, polynomisch oder durch eine andere funktionale Repräsentation eingeht. Im linearen Fall wäre dies z. B. $p^{c o r r} (x) = p_{0}^{c o r r} + x p_{1}^{c o r r},$
wobei für jede Punkt-Korrespondenz (s, s') der Wert x entweder mittels $x = s_{3}^{'}$
als longitudinale Distanz gewählt wird oder, falls nur normalisierte Koordinaten bekannt sind, aus den approximativen Modellparametern ermittelt werden kann. Durch dieses erweiterte Modell kann z. B. ein Höhenprofil der Fahrbahnoberfläche bzw. Oberfläche der Fahrbahn 400 entlang der Fahrtrichtung des Fahrzeugs 100 ermittelt werden. Es werden, abhängig von den Freiheitsgraden des Korrektur-Nickwinkels p^corr(x), zusätzliche Punkt-Korrespondenzen für das Ausgleichsproblem benötigt.
Gemäß der siebten Ausführungsvariante wird statt eines konstanten bzw. distanzunabhängigen Korrektur-Wankwinkels r^corr ein distanzabhängiger Korrektur-Wankwinkel verwendet, in den die Distanz z. B. linear, polynomisch oder durch eine andere funktionale Repräsentation eingeht. Im linearen Fall wäre dies z. B. $r^{c o r r} (x) = r_{0}^{c o r r} + x r_{1}^{c o r r} .$
Durch dieses erweiterte Modell kann z. B. eine Querneigungsänderung der Fahrbahnoberfläche bzw. Oberfläche der Fahrbahn 400 entlang der Fahrtrichtung des Fahrzeugs 100 ermittelt werden. Es werden, abhängig von den Freiheitsgraden von r^corr(x), zusätzliche Punkt-Korrespondenzen für das Ausgleichsproblem benötigt.
Gemäß einer achten Ausführungsvariante wird im Schritt 220 des Ermittelns bzw. durch die Ermittlungseinrichtung 124 die Korrektur-Rotationsvariable Q_corr einmalig ermittelt oder wird wiederholt aktualisiert. Insbesondere wird statt einer lediglich einmaligen Schätzung der Korrekturwerte die Initialschätzung Q_init (und ggf. d_init) mithilfe der Korrekturterme aktualisiert. Dann können, basierend auf der aktualisierten Initialschätzung, erneut Korrekturterme geschätzt werden (Newton-artiges Verfahren).
Gemäß einem weiteren Ausführungsbeispiel können Ausführungsvarianten aus der ersten Ausführungsvariante bis achten Ausführungsvariante beliebig kombiniert werden. So ergibt sich ein iteratives, Newton-artiges Verfahren zur verbesserten Schätzung der Kamera-Orientierung sowie optional der Kamerahöhe d und/oder des Höhenprofils sowie der Querneigungsänderung der Fahrbahn 400.
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 2602741 A2 [0002]
EP 3193306 B1 [0002]

Claims

Verfahren (200) zum Bereitstellen von Konturdaten (129) hinsichtlich einer Oberflächenkontur einer durch ein Fahrzeug (100) befahrenen Fahrbahnoberfläche, wobei die Konturdaten (129) zum Steuern eines Betriebs des Fahrzeugs (100) verwendet werden, wobei das Verfahren (200) folgende Schritte aufweist: Einlesen (210) von Eingangsdaten (123), die - mindestens zwei festgestellte Punkt-Korrespondenzen (103) zwischen korrespondierenden Punkten (s, s') in zwei nacheinander aufgenommenen Bildern einer Fahrzeugkamera (102) des Fahrzeugs (100), - intrinsische Kameraparameter (105) der Fahrzeugkamera (102) und - eine Bewegungsinformation (107) hinsichtlich einer Eigenbewegung der Fahrzeugkamera (102) zwischen Aufnahmezeitpunkten der zwei Bilder aufweisen; Ermitteln (220) einer Korrektur-Rotationsvariablen (Q_corr) der Fahrzeugkamera (102) zwischen den Bildern unter Verwendung der Eingangsdaten (123), einer vordefinierten Kalibier-Kameraorientierung (Q_init) der Fahrzeugkamera (102) und einer Ermittlungsvorschrift (126), die auf einer Homographie-Gleichung für Punktkorrespondenzen einer Ebene basiert; und Bestimmen (230) der Konturdaten (129) unter Verwendung der ermittelten Korrektur-Rotationsvariablen (Q_corr).
Verfahren (200) gemäß Anspruch 1, bei dem die im Schritt (210) des Einlesens eingelesen Eingangsdaten (123) eine Vielzahl von Punkt-Korrespondenzen (103) aufweisen, wobei im Schritt (220) des Ermittelns die Korrektur-Rotationsvariable (Q_corr) unter Berücksichtigung der Vielzahl von Punkt-Korrespondenzen (103) mittels der gewichteten Methode der kleinsten Quadrate, eines Regularized-Least-Squares-Ausgleichsproblems oder eines anderen Ausgleichsproblems ermittelt wird.
Verfahren (200) gemäß einem der vorangegangenen Ansprüche, bei dem die im Schritt (210) des Einlesens eingelesen Eingangsdaten (123) eine Höheninformation über eine Höhe (d) der Fahrzeugkamera (102) über der Fahrbahnoberfläche aufweisen, insbesondere wobei die Höheninformation ein vordefinierter Wert oder ein Schätzwert ist.
Verfahren (200) gemäß Anspruch 3, bei dem im Schritt (220) des Ermittelns ein Korrekturwert der Höheninformation mit initialer Höhenannahme unter Verwendung von mindestens drei Punkt-Korrespondenzen (103) ermittelt wird.
Verfahren (200) gemäß einem der vorangegangenen Ansprüche, bei dem die im Schritt (210) des Einlesens eingelesen Eingangsdaten (123) Punkt-Korrespondenzen (103) aufweisen, welche die Punkte (s, s') in absoluten dreidimensionalen Koordinaten oder in normalisierten Lochkamera-Koordinaten angeben.
Verfahren (200) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (220) des Ermittelns eine Konsistenz-Bedingung mit einem konfigurierbaren Konsistenzparameter angewendet wird, um konsistente Punkt-Korrespondenzen (103) zu detektieren und inkonsistente Punkt-Korrespondenzen (103) zu verwerfen.
Verfahren (200) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (220) des Ermittelns a-priori geprüft wird, ob die Ermittlungsvorschrift (126) lösbar ist für eine Korrektur-Rotationsvariable (Q_corr), die unter einer vordefinierbaren Schwelle liegt.
Verfahren (200) gemäß einem der vorangegangenen Ansprüche, bei dem die im Schritt (220) des Ermittelns ermittelte Korrektur-Rotationsvariable (Q_corr) einen Korrektur-Nickwinkel (p^corr) und einen Korrektur-Wankwinkel (r^corr) aufweist.
Verfahren (200) gemäß Anspruch 8, bei dem ein distanzunabhängiger Korrektur-Nickwinkel (p^corr) oder ein distanzabhängiger Korrektur-Nickwinkel (p^corr) verwendet wird, wobei die Distanz linear, polynomisch oder durch eine andere funktionale Darstellung berücksichtigt wird.
Verfahren (200) gemäß einem der Ansprüche 8 bis 9, bei dem ein distanzunabhängiger Korrektur-Wankwinkel (r^corr) oder ein distanzabhängiger Korrektur-Wankwinkel (r^corr) verwendet wird, wobei die Distanz linear, polynomisch oder durch eine andere funktionale Darstellung berücksichtigt wird.
Verfahren (200) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (220) des Ermittelns die Korrektur-Rotationsvariable (Q_corr) einmalig ermittelt wird oder wiederholt aktualisiert wird.
Verfahren (300) zum Steuern eines Betriebs eines Fahrzeugs (100), wobei das Verfahren (300) folgende Schritte aufweist: Empfangen (310) von nach dem Verfahren (200) gemäß einem der vorangegangenen Ansprüche bereitgestellten Konturdaten (129) hinsichtlich einer Oberflächenkontur einer durch das Fahrzeug (100) befahrenen Fahrbahnoberfläche; Erzeugen (320) eines Steuersignals (135) zum Steuern des Betriebs des Fahrzeugs (100), wobei das Steuersignal (135) unter Verwendung der Konturdaten (129) erzeugt wird; und Ausgeben (330) des Steuersignals (135) an eine Schnittstelle (138) zu mindestens einer Betriebseinrichtung (115) des Fahrzeugs (100) zur Längsführung und/oder Querführung des Fahrzeugs (100).
Vorrichtung (120), die eingerichtet ist, um die Schritte eines Verfahrens (200; 300) gemäß einem der vorangegangenen Ansprüche in entsprechenden Einheiten (122, 124, 128; 132, 134, 136) auszuführen und/oder anzusteuern.
Computerprogramm, das dazu eingerichtet ist, die Schritte eines Verfahrens (200; 300) gemäß einem der vorangegangenen Ansprüche auszuführen und/oder anzusteuern.
Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 14 gespeichert ist.