DE102015107675A9

DE102015107675A9 - System und Verfahren zur Schätzung einer Fahrzeugdynamik unter Verwendung von Merkmalpunkten in Bildern von mehreren Kameras

Info

Publication number: DE102015107675A9
Application number: DE102015107675.6A
Authority: DE
Inventors: Jinsong Wang; Wende Zhang; Bakhtiar Brian Litkouhi
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2014-05-16
Filing date: 2015-05-15
Publication date: 2016-01-14
Also published as: US9619894B2; DE102015107675A1; CN105243655A; CN105243655B; US20150332098A1

Abstract

Ein System und ein Verfahren zur Schätzung einer Dynamik einer mobilen Plattform durch Abgleichen von Merkmalspunkten in sich überlappenden Bildern von Kameras auf der Plattform, z. B. Kameras in einem Rundum-Sicht-Kamerasystem auf einem Fahrzeug. Das Verfahren umfasst das Identifizieren von sich überlappenden Bildbereichen für beliebige zwei Kameras im Rundum-Sicht-Kamerasystem, das Identifizieren von gemeinsamen Merkmalspunkten in den sich Überlappungsbildbereichen und das Ermitteln, dass die gemeinsamen Merkmalpunkte in den Überlappungsbildbereichen nicht an der gleichen Stelle liegen. Das Verfahren umfasst darüber hinaus das Schätzen von Fahrzeugdynamikparametern mit drei Freiheitsgraden anhand des Abgleichs zwischen den gemeinsamen Merkmalpunkten und das Schätzen einer Fahrzeugdynamik eines oder mehrerer von Nicken, Wanken und Höhenschwankung unter Verwendung der Fahrzeugdynamikparameter.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Diese Anmeldung beansprucht die Priorität der provisorischen US-Patentanmeldung mit der fortlaufenden Nr. 61/994,686 mit dem Titel ”Surround-View Camera System (VPM) and Vehicle Dynamic”, eingereicht am 16.05.2014.
HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Diese Erfindung bezieht sich im Allgemeinen auf ein System und ein Verfahren zur Schätzung einer Dynamik einer mobilen Plattform und insbesondere auf ein System und ein Verfahren zur Schätzung einer Fahrzeugdynamik durch Abgleichen von Merkmalpunkten in sich überlappenden Bildern von Kameras in einem Rundum-Sicht-Kamerasystem auf einem Fahrzeug.
Erörterung des verwandten Standes der Technik
Moderne Fahrzeuge enthalten im Allgemeinen eine oder mehrere Kameras, die eine Sicherungsunterstützung bereitstellen, Bilder des Fahrzeugfahrers aufnehmen, um die Schläfrigkeit oder Achtsamkeit des Fahrers zu bestimmen, Bilder der Straße bereitstellen, während sich das Fahrzeug bewegt, um Kollisionen zu vermeiden, eine Strukturerkennung bereitstellen, z. B. Straßenzeichen, usw. Andere Fahrzeugsichtanwendungen umfassen Fahrzeugspurerfassungssysteme, um die aktuelle Fahrzeugspur zu erfassen und das Fahrzeug in der Mitte der Spur zu fahren. Viele dieser bekannten Spurerfassungssysteme erkennen Spurmarkierungen auf der Straße für diverse Anwendungen, z. B. Spurverlasswarnung (LDW), Spurbeibehaltung (LK), Spurzentrierung (LC) usw., und verwenden für gewöhnlich eine einzelne Kamera, entweder vorne oder hinten am Fahrzeug, um die Bilder bereitzustellen, die zum Erkennen der Spurmarkierungen verwendet werden.
Auf dem Gebiet wurde vorgeschlagen, ein Rundum-Sicht-Kamerasystem auf einem Fahrzeug bereitzustellen, das eine Vorderkamera, eine Rückkamera und linke und rechte Seitenkameras enthält, wobei das Kamerasystem unter Verwendung der Bilder von den Kameras eine Von-oben-nach-unten-Ansicht des Fahrzeugs und umgebender Bereiche erzeugt und wobei die Bilder einander an den Ecken des Fahrzeugs überlappen. Die Von-oben-nach-unten-Ansicht kann für den Fahrzeugfahrer angezeigt werden, damit dieser die Umgebung des Fahrzeugs sieht, für eine Sicherung, zum Parken usw. Künftige Fahrzeuge verwenden ggf. keine Rückspiegel, sondern enthalten stattdessen digitale Bilder, die von den Rundum-Sicht-Kameras bereitgestellt werden.
Die US-Patentanmeldung mit der Veröffentlichungs-Nr. 2013/0293717 von Zhang et al., eingereicht am 9. April 2013, mit dem Titel ”Full Speed Lane Sensing With A Surrounding View System”, die dem Zessionar dieser Anmeldung übertragen ist und hier durch Bezugnahme berücksichtigt ist, offenbart ein System und ein Verfahren zur Bereitstellung einer Spurerfassung auf einem Fahrzeug durch Erkennen von Straßenspurmarkierungen, wobei das System ein Rundum-Sicht-Kamerasystem verwendet, das ein Bild einer Von-oben-nach-unten-Ansicht um das Fahrzeug herum bereitstellt. Das Verfahren umfasst das Erkennen von links- und rechtsseitigen Spurgrenzlinien im Bild einer Von-oben-nach-unten-Ansicht und danach das Bestimmen, ob die Spurgrenzlinien im Bild von einem Bildframe zum nächsten Bildframe ausgerichtet sind und ob sie im Bild einer Von-oben-nach-unten-Ansicht von Bild zu Bild ausgerichtet sind.
Bei vielen kamerabasierten Fahrzeuganwendungen ist es entscheidend, die Position und Ausrichtung der Kamera in Bezug auf das Fahrzeug genau zu kalibrieren. Die Kamerakalibrierung bezieht sich im Allgemeinen auf das Schätzen einer Anzahl von Kameraparametern, einschließlich sowohl intrinsischer als auch extrinsischer Parameter, wobei die intrinsischen Parameter Brennweite, optische Mitte, Parameter der radialen Verzerrung usw. umfassen und die extrinsischen Parameter Kameraposition, Kameraausrichtung usw. umfassen. Die Kalibrierung von extrinsischen Kameraparametern umfasst für gewöhnlich das Ermitteln eines Satzes von Parametern, die Kamerabildkoordinaten mit Fahrzeugkoordinaten in Bezug setzen und umgekehrt. Manche Kameraparameter wie Kamerabrennweite, optische Mitte usw. sind stabil, andere Parameter wie Kameraausrichtung und -position hingegen nicht. Beispielsweise hängt die Höhe der Kamera von der Last des Autos ab, die sich von Zeit zu Zeit verändert.
Bei den bekannten Rundum-Sicht-Kamerasystemen überlappen sich die Bilder von den Kameras an den Ecken der Fahrzeuge, wobei der Kamerakalibrierungsprozess die benachbarten Bilder ”zusammennäht”, so dass gemeinsame Elemente in den einzelnen Bildern direkt überlappen, so dass die gewünschte Von-oben-nach-unten-Ansicht bereitgestellt wird. Während der Herstellung des Fahrzeugs werden diese Kamerabilder zusammengenäht, um dieses Bild bereitzustellen, wobei eine beliebige Anzahl von Kalibrierungstechniken verwendet wird, so dass die Kameras ordnungsgemäß kalibriert sind, wenn das Fahrzeug zum ersten Mal in Betrieb genommen wird. Eine Kalibrierungstechnik wird verwendet, um das Fahrzeug auf einem Schachbrettmuster von abwechselnden hellen und dunklen Quadraten zu positionieren, wobei jeder Punkt der Quadrate entsprechend identifiziert ist. Die Verwendung dieser Punkte in den entwickelten Bildern ermöglicht, dass die Kamerakalibrierungssoftware die Position der Bilder korrigiert, so dass sich überlappende Punkte in benachbarten Bildern an der gleichen Stelle identifiziert werden.
Wenn das Fahrzeug in Betrieb genommen wird, können jedoch diverse Dinge passieren, die eine Änderung der Ausrichtung und Position der Kameras bewirken können, wobei die Kalibrierung der Kamera Fehler umfasst, die eine Fehlausrichtung im Von-oben-nach-unten-Bild bewirken. Diese Dinge können die Beladung des Fahrzeugs, die eine Änderung der Kameraposition, z. B. der Höhe, und/oder der Kameraausrichtung, z. B. Nicken, in Bezug auf die Weltkoordinaten bewirken kann, kleine Einwirkungen auf das Fahrzeug, die die Position und Ausrichtung der Kameras verändern können, usw. umfassen. Aktuelle Videoverarbeitungsmodule (VPMs), die die Bilder von den Kameras verarbeiten, um die Von-oben-nach-unten-Ansicht zu erzeugen, sind nicht in der Lage, die Kameras online neu zu kalibrieren, wenn das Fahrzeug verwendet wird. Im Gegenteil, der Fahrzeugführer muss das Fahrzeug zu einem Händler oder einem anderen berechtigten Servicecenter bringen, der bzw. das in der Lage ist, die Kameras auf die gleiche Weise neu zu kalibrieren, wie dies während der Fahrzeugherstellung erfolgt ist, was offensichtlich mit Nachteilen verbunden ist.
KURZFASSUNG DER ERFINDUNG
Die vorliegende Offenbarung beschreibt ein System und ein Verfahren zur Schätzung einer Dynamik einer mobilen Plattform durch Abgleichen von Merkmalspunkten in sich überlappenden Bildern von Kameras auf der Plattform, z. B. Kameras in einem Rundum-Sicht-Kamerasystem auf einem Fahrzeug. Das Verfahren umfasst das Identifizieren von sich überlappenden Bildbereichen für beliebige zwei Kameras im Rundum-Sicht-Kamerasystem, das Identifizieren von gemeinsamen Merkmalpunkten in den Überlappungsbildbereichen und das Ermitteln, dass gemeinsame Merkmalpunkte in den Überlappungsbildbereichen nicht an der gleichen Stelle liegen. Das Verfahren umfasst darüber hinaus das Schätzen von Fahrzeugdynamikparametern mit drei Freiheitsgraden anhand des Abgleichs zwischen den gemeinsamen Merkmalpunkten und das Schätzen einer Fahrzeugdynamik eines oder mehrerer von Nicken, Wanken und Höhenschwankung unter Verwendung der Fahrzeugdynamikparameter.
Weitere Merkmale der vorliegenden Erfindung gehen aus der folgenden Beschreibung und den beiliegenden Ansprüchen in Zusammenschau mit den beiliegenden Zeichnungen besser hervor.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist eine Veranschaulichung eines Fahrzeugs, das ein Rundum-Sicht-Kamerasystem mit mehreren Kameras enthält;
2 ist eine isometrische Ansicht eines Fahrzeugs, das ein Koordinatensystem für Weltkoordinaten, Fahrzeugkoordinaten und Kamerakoordinaten zeigt;
3 ist ein Koordinatensystem, das ein Rundum-Sicht-Kamerasystem in einer festen Position zeigt;
4 ist das in 3 gezeigte Koordinatensystem, wobei das Koordinatensystem infolge einer Änderung einer Fahrzeugdynamik verändert wurde.
5 ist eine Veranschaulichung von vier unbearbeiteten Bildern von vier Kameras für das Rundum-Sicht-Kamerasystem, die abgeglichene Merkmalpaare zeigt;
6 ist ein Blockschaubild eines Systems, das einen Prozess zur Abgleichung von Merkmalpunkten zeigt;
7 ist eine Darstellung eines Bilds von einer nach vorne oder nach hinten gerichteten Kamera auf einem Fahrzeug, das eine Horizontlinie zeigt;
8 ist ein Bild von einer nach vorne oder hinten gerichteten Kamera auf einem Fahrzeug, das eine Bewegung der Horizontlinie zeigt, wenn das Fahrzeug nach unten nickt;
9 ist eine Darstellung eines Bildes von einer nach vorne oder hinten gerichteten Kamera auf einem Fahrzeug, wobei das Fahrzeug in einer Wankkonfiguration ist; und
10 ist eine Darstellung eines Bilds von einer nach vorne oder nach hinten gerichteten Kamera auf einem Fahrzeug, das eine Driftsituation zeigt;
AUSFÜHRLICHE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Die folgende Erörterung der Ausführungsformen der Erfindung, die auf ein System und ein Verfahren zur Schätzung einer Fahrzeugdynamik durch Abgleichen von Merkmalpunkten in sich überlappenden Bildern von Kameras in einem Rundum-Sicht-Kamerasystem auf einem Fahrzeug gerichtet sind. Wie erörtert, haben das System und das Verfahren beispielsweise besondere Anwendung auf das Schätzen einer Fahrzeugdynamik auf einem Fahrzeug. Wie der Fachmann jedoch verstehen wird, können das System und das Verfahren Anwendung auf andere mobile Plattformen wie Züge, Maschinen, Traktoren, Schiffe, Freizeitfahrzeuge usw. haben.
1 ist eine Veranschaulichung eines Fahrzeugs 10 von oben, das ein Rundum-Sicht-Kamerasystem mit einer Vordersichtkamera 12, einer Rücksichtkamera 14, einer linksseitigen Fahrersichtkamera 16 und einer rechtsseitigen Insassensichtkamera 18 enthält. Die Kameras 12–18 können eine beliebige Kamera sein, die sich für die hier beschriebenen Zwecke eignet, wobei viele davon auf dem Automobilgebiet bekannt sind, die in der Lage sind, Licht oder andere Strahlung aufzunehmen und die Lichtenergie in elektrische Signale in einem Pixelformat umzuwandeln, z. B. unter Verwendung von Charged Coupled Devices (CCD). Die Kameras 12–18 erzeugen Frames von Bilddaten in einer gewissen Datenframerate, die für eine darauffolgende Bildverarbeitung in einem Videoverarbeitungsmodul (VPM) 20 gespeichert werden können. Die Kameras 12–18 können innerhalb oder auf einer beliebigen geeigneten Struktur befestigt werden, die Teil des Fahrzeugs 10 ist, z. B. Stoßdämpfer, Armaturenbrett, Kühlergrill, Seitenspiegel, Türverkleidung usw., wie vom Fachmann auf dem Gebiet hinlänglich verstanden. Bei einer nicht-einschränkenden Ausführungsform sind die Seitenkameras 16 und 18 unter den Seitenspiegeln angebracht und zeigen nach unten.
Die Kameras 12–18 erzeugen Bilder von gewissen beschränkten Bereichen um das Fahrzeug 10 herum, die sich teilweise überlappen. Insbesondere ist ein Bereich 24 der Bildbereich für die Kamera 12, ist ein Bereich 26 der Bildbereich für die Kamera 14, ist ein Bereich 28 der Bildbereich für die Kamera 16 und ist ein Bereich 30 der Bildbereich für die Kamera 18, wobei ein Bereich 32 ein Überlappungsbereich der Bilder 24 und 28 ist, ein Bereich 34 ein Überlappungsbereich der Bilder 24 und 30 ist, ein Bereich 36 ein Überlappungsbereich der Bilder 28 und 26 ist und ein Bereich 38 ein Überlappungsbereich der Bilder 30 und 26 ist. Bilddaten von den Kameras 12–18 werden an das VPM 20 gesendet, das die Bilddaten verarbeitet, um die Bilder zusammenzunähen, die danach auf einer Fahrzeuganzeige als einzelnes Bild einer Von-oben-nach-unten-Ansicht um das Fahrzeug 10 herum angezeigt werden können. Softwarealgorithmen sind bekannt, die Rotationsmatrizen R und Translationsvektoren t verwenden, um die Bilder von benachbarten Kameras auszurichten und neu zu konfigurieren, so dass die Bilder sich ordnungsgemäß überlappen.
Die Fahrzeugdynamik, d. h. Nicken, Wanken und Höhenschwankung, beeinflusst die Ausrichtung der Bilder 24–30 von den Kameras 12–18. Beispielsweise kann das Fahrzeug 10 während des Bremsens des Fahrzeugs nach unten nicken, kann während starker Beschleunigungen nach oben nicken, kann in Kurven zur Seite wanken, kann während der Beladung des Fahrzeugs nach oben oder unten nicken usw., was dazu führen kann, dass sich die Bilder von den Kameras 12–18 in Bezug aufeinander ändern, auch wenn die Kameras ordnungsgemäß kalibriert sind.
Die vorliegende Erfindung schlägt ein System und ein Verfahren zur Integration von Informationen über die Fahrzeugdynamik, die von Sensoren am Fahrzeug bereitgestellt werden, in den Algorithmus im VPM 20 vor, das das Rundum-Sicht-Bild unter Verwendung der Kameras 12–18 ermittelt, so dass das Bild auf Basis dieser Änderungen der Fahrzeugdynamik korrigiert werden kann. Im Allgemeinen definiert die vorgeschlagene Kamerakorrekturtechnik drei Koordinatensysteme, nämlich ein Weltkoordinatensystem, ein Fahrzeugkoordinatensystem und ein Kamerakoordinatensystem, die jeweils in einer X-Y-Z-Positionsorientierung definiert sind.
2 ist eine Veranschaulichung eines Fahrzeugs 50, das eine Kamera 52 enthält, die diese Koordinatensystem zeigt, wobei das tiefgestellte V die Fahrzeugkoordinaten darstellt, das tiefgestellte W die Weltkoordinaten darstellt und das tiefgestellte C die Kamerakoordinaten darstellt. Das Fahrzeug 50 enthält einen Sensor 54, der alle der verfügbaren Sensoren auf einem beliebigen bestimmten Fahrzeug darstellen soll, die ein Nicken, eine Höhenschwankung und ein Wanken des Fahrzeugs erfassen und Signale auf dem Fahrzeugbus bereitstellen können, die die Fahrzeugdynamik identifizieren.
Die nachstehenden Gleichungen (1) bis (3) stellen die feste Ausrichtung des Rundum-Sicht-Kamerasystems dar und die nachstehenden Gleichungen (4) bis (6) identifizieren die Ausrichtung einer dynamischen Position des Fahrzeugs 50, wobei R_dyn die Dynamikrotationmatrix des Fahrzeugs 50 in Bezug auf Nicken, Wanken und Höhenschwankung ist. Wie ersichtlich, umfasst die Berechnung des Punkts X_C Kamerakoordinaten, wenn das Fahrzeug 50 einer gewissen dynamischen Veränderung unterliegt, d. h. Nicken, Wanken und Höhenschwankung, den Translationsvektor t und die Addition der Rotationsmatrix R für die dynamische Änderung am Fahrzeug 50. X_V = X_W + t'_W2V, (1) X_Ci = R_V2Ci·X_V + t'_V2Ci, (2) = R_V2Ci·X_W + t'_W2Ci, (3) X_V = R_dyn·(X_W + t'_W2V), (4) X_C = R_V2Ci·X_V + t'_V2Ci, (5) = R_V2Ci·R_dyn·X_W + t''_W2Ci. (6)
Die Kameras 12–18, die Teil des Rundum-Sicht-Kamerasystems sind, kombinieren sich mit der Fahrzeugkarosserie, um ein starres Karosserieframe zu bilden. 3 ist eine Veranschaulichung 150 eines X-, Y- und Z-Koordinatensystems, das vier Kameras 152 enthält, die Teil eines Rundum-Sicht-Kamerasystems sind, das ein solches kombiniertes Referenzframe zeigt. 4 zeigt die Veranschaulichung 150, die mit Nicken und Wanken rotiert wird, wobei sich die Rotationsmatrix und der Translationsvektor entsprechend verändern. Bei diesem Koordinatensystem ist die Fahrzeugdynamik von Nicken, Wanken und Höhenschwankung durch eine Rotationsmatrix R_veh und einen Translationsvektor T_veh definiert, wobei die Rotationsmatrix R_cam und der Translationsvektor T_cam der Kameras 152 wie folgt anhand der Änderung der Fahrzeugdynamik korrigiert werden: (R_cam, T_cam = f((R_veh, T_veh), (R_cam, T_cam)_stny). (7)
Durch eine solche Korrektur der Ausrichtung des Rundum-Sicht-Kamerasystems können eine verbesserte Spurerfassung, Einparkhilfe usw. bereitgestellt werden.
Die Änderung der relativen Ausrichtung der Bilder von den Kameras 12–18 im Rundum-Sicht-Kamerasystem gegenüber der Kalibrierung der Kameras 12–18, die beim Fahrzeughersteller oder beim Händler bereitgestellt wird, kann verwendet werden, um die Fahrzeugdynamikparameter R_dyn, nämlich eine Rotationsdynamik mit zwei Freiheitsgraden für ein Nicken α und ein Wanken β des Fahrzeugs 50 und eine Translationsdynamik mit einem Freiheitsgrad, nämlich den Höhenversatz Δz des Fahrzeugs 50, zu schätzen. Die vorliegende Erfindung schlägt darüber hinaus ein System und ein Verfahren zur Schätzung einer Fahrzeugdynamik auf diese Weise bereit, wobei der Überlappungsbildbereich für beliebige zwei der Kameras 12–18 im Rundum-Sicht-Kamerasystem verwendet wird, um zu ermitteln, dass gemeinsame Punkte im Überlappungsbildbereich nicht an der gleichen Stelle sind, wobei man davon ausgeht, dass die Kameras ordnungsgemäß kalibriert sind. Der Algorithmus erkennt übereinstimmende Merkmalpunkte (u, v) in den beiden Bildern und schätzt Fahrzeugdynamikparameter mit drei Freiheitsgraden anhand des Unterschieds zwischen den Merkmalpunkten (u, v). Das Bereitstellen der übereinstimmenden Merkmalpunkte (u, v) in den Bildern von zwei Kameras sind die Projektion der gleichen Stelle in Weltkoordinaten und das Auflösen von dynamischen Gleichungen mit den Unbekannten ergibt einen Schätzwert des Nickens α, des Wankens β und/oder der Höhenschwankung des Fahrzeugs 50 auf Basis des Abstands zwischen den Punkten.
5 ist eine Veranschaulichung 80 des Fahrzeugs 10 in einem Parkplatz, der anderen Fahrzeugen benachbart ist, wobei die Parkplatzlinien 78 verwendet werden können, um die übereinstimmenden Merkmalpunkte (u, v) in zwei überlappenden Kamerabildern zu identifizieren. Die übereinstimmenden Merkmalpunkte (u, v) müssen nicht auf dem Boden vorliegen, sondern können auf einem beliebigen Objekt über dem Boden oder anderweitig vorliegen, z. B. auf der Fahrzeugkarosserie. Beispielsweise stellen Punkte 82 und 84 den gleichen oder gemeinsamen Punkt im Überlappungsbereich 32 für die Bilder dar, die von der Vorderkamera 12 bzw. der linksseitigen Kamera 16 bereitgestellt werden. Punkte 86 und 88 stellen den gleichen oder gemeinsamen Punkt im Überlappungsbereich 34 für die Bilder von der Kamera 12 bzw. der rechtsseitigen Kamera 18 dar. Punkte 90 und 92 stellen den gleichen oder gemeinsamen Punkt des Überlappungsbereichs 36 zwischen der linksseitigen Kamera 16 bzw. der Rückkamera 14 dar. Punkte 94 und 96 stellen den gleichen oder gemeinsamen Punkt im Überlappungsbereich 38 zwischen der rechtsseitigen Kamera 18 bzw. der Rückkamera 14 dar. Der Abstand zwischen den Punkten 82 und 84 oder den Punkten 86 und 88 oder den Punkten 90 und 92 oder den Punkten 94 und 96, der durch die Änderung einer Fahrzeugdynamik verursacht wird, stellt den Mechanismus zur Ermittlung dieser Änderung der Fahrzeugdynamik bereit. Der Fachmann wird verstehen, dass viele Computersicht- und -bildgebungssysteme Merkmalpunkterkennungs- und -abgleichungstechniken und Algorithmen wie SIFT, SURF, ORB usw. verwenden, die für die hier erörterten Zwecke anwendbar sein können.
6 ist ein Blockschaubild eines Systems 100, das eine allgemeine Darstellung des Prozesses zur Identifizierung der übereinstimmenden Punkte (u, v) in den Überlappungsbereichen 32, 34, 36 und 38 zeigt. Im System 100 stellt ein Kästchen 102 das Bild von der Vorderkamera 12 dar, stellt ein Kästchen 104 das Bild von der linksseitigen Kamera 16 dar, stellt ein Kästchen 106 das Bild von der rechtsseitigen Kamera 18 dar und stellt eine Box 108 das Bild von der Rückkamera 14 dar. Ein Synchronisierungsblock 110 synchronisiert die zeitliche Abfolge der Bilder 102–108 von den Kameras 12–18, so dass alle Bilder 32, 34, 36 und 38 zeitlich ausgerichtet sind, bevor sie im Kalibrierungsprozess räumlich ausgerichtet werden. Die Bilder 102 und 104 von den Kameras 12 bzw. 16 erzeugen eine Region von Interesse 112 im Überlappungsbereich 32, die Bilder 102 und 106 von den Kameras 12 bzw. 18 erzeugen eine Region von Interesse 114 im Überlappungsbereich 34, die Bilder 104 und 108 von den Kameras 16 bzw. 14 erzeugen eine Region von Interesse 116 im Überlappungsbereich 36 und die Bilder 106 und 108 von den Kameras 14 bzw. 18 erzeugen eine Region von Interesse 118 im Überlappungsbereich 38. Die Regionen von Interesse 112, 114, 116 und 118 werden danach an einen Prozessor 120 bereitgestellt, der die mehreren übereinstimmenden Merkmalpunkte (u, v) in den Regionen von Interesse 112, 114, 116 und 118 auf die hier erörterte Weise identifiziert.
Die nachstehenden Gleichungen (8) bis (12) zeigen den Prozess zur Ermittlung der dynamischen Rotationsmatrix R_dyn und des Translationsvektors t'_W2V, die eine Änderung der Fahrzeugdynamik unter Verwendung der gemeinsamen übereinstimmenden Merkmalpunkte identifizieren, die danach als Eingabe an andere Fahrzeugsysteme verwendet werden können, wobei Gleichung (8) die beiden Merkmalpunkte im Überlappungsbildbereich zeigt, die an der gleichen Stelle X sein sollten, wenn die Kameras kalibriert sind. Geeignete Algorithmen können für diesen Prozess verwendet werden, z. B. der Levenberg-Marquardt-Algorithmus, Gradientenabstiegalgorithmen usw. verwendet werden. (u, v)_C1~(u, v)_C2, (8) (u, v)_C1 → X_C1, (9) (u, v)_C2 → X_C2, (10) X_C1 = R_V2C1·R_dyn·(X_W + t'_W2V) + t'_V2C1, (11) X_C2 = R_V2C2·R_dyn·(X_W + t'_W2V) + t'_V2C2, (12) wobei (u, v)_C1 ein Merkmalpunkt in einem Bild von einer ersten Kamera c1 ist, der eine Projektion eines Weltpunkts X_W ist, (u, v)_C2 ein weiterer Merkmalpunkt in einem Bild von einer zweiten Kamera c2 ist, der eine Projektion des Weltpunkts X_W ist, R_V2Ci die Rotationsmatrix einer Kamera c_i in Bezug auf Fahrzeugkoordinaten v ist, i der Index der Kameras ist, t der Translationsvektor ist, dyn für eine Dynamik steht und w für die Weltkoordinaten steht.
Wie erörtert, können die Kameras 12–18 verwendet werden, um zu ermitteln, ob das Fahrzeug 10 in Bezug auf einen Horizont nickt, wankt oder driftet. Beispielsweise ist 7 eine Darstellung eines Bildes 160 von einer Kamera auf dem Fahrzeug 10, die sich entlang einer Straße 166 vor dem Fahrzeug 10 bewegt und einen nicht-dynamischen Horizont zwischen Luft und Boden durch eine strichlierte Linie 162 definiert, wobei das Fahrzeug 10 nicht wankt, nicht nickt und keine Höhenschwankung zeigt. 8 ist eine Darstellung eines Bildes 168, das die nicht-dynamische Horizontlinie 162 enthält, wobei der tatsächliche Horizont jedoch nun an Linie 164 ist, die zeigt, dass das Fahrzeug 10 nach unten genickt ist. 9 ist eine Darstellung eines Bildes 170 der Straße 166, wobei die Horizontlinie 162 in einer Wankrichtung angewinkelt gezeigt ist. 10 ist eine Darstellung eines Bildes 172, wobei das Fahrzeug 10 auf der Straße 166 nach links gedriftet ist.
Darüber hinaus kann der Prozess der Ermittlung der Fahrzeugdynamik auf Basis von Änderungen im Rundum-Sicht-Bild eine zeitliche Verfolgung und Glättung umfassen. Die zeitliche Verfolgung und Glättung kann für eine Erkennung von nicht-vorübergehenden Fahrzeugveränderungen bereitgestellt werden, wie Platten, schlechte Aufhängung, Abschleppen und Schwerlast. Darüber hinaus kann die Verfolgung durchgeführt werden, um gefährliche Fahrzeugdynamikveränderungen wie Überwankerkennung und -verhinderung, Zickzack-Fahren usw. zu erkennen. Wenn sich die Wank- oder Nickdynamik aggressiv ändert, können Anti-Wank-Systeme oder ein anderes Fahrzeugsystem informiert werden, um Korrekturmaßnahmen einzuleiten.
Wie der Fachmann verstehen wird, können sich die mehreren und diversen Schritte und Prozesse, die hier für eine Beschreibung der Erfindung erörtert sind, auf Vorgänge beziehen, die von einem Computer, einem Prozessor oder einer anderen elektronischen Recheneinheit durchgeführt werden, die Daten unter Verwendung des elektrischen Phänomens manipulieren und/oder transformieren. Diese Computer und elektronischen Einheiten können diverse flüchtige und/oder nicht-flüchtige Speicher verwenden, z. B. ein nicht-flüchtiges computerlesbares Medium, auf dem ein ausführbares Programm gespeichert ist, das diverse Codes oder ausführbare Anweisungen enthält, die vom Computer oder Prozessor ausführbar sind, wobei der Speicher und/oder das computerlesbare Medium alle Formen und Typen von Speicher und anderen computerlesbaren Medien beinhalten können.
Die vorstehende Erörterung offenbart und beschreibt lediglich beispielhafte Ausführungsformen der Erfindung. Der Fachmann wird anhand dieser Erörterung und den beiliegenden Zeichnungen und Ansprüchen schnell erkennen, dass diverse Änderungen, Modifikationen und Abweichungen daran vorgenommen werden können, ohne sich vom in den folgenden Ansprüchen definierten Geist und Umfang der Erfindung zu entfernen.

Claims

Verfahren zur Schätzung einer Fahrzeugdynamik unter Verwendung von Bildern von Kameras in einem Rundum-Sicht-Kamerasystem auf einem Fahrzeug, wobei das Verfahren umfasst – Identifizieren einer oder mehrerer Überlappungsbildbereiche für beliebige zwei Kameras im Rundum-Sicht-Kamerasystem; – Identifizieren von gemeinsamen Merkmalpunkten in dem einen oder den mehreren Überlappungsbildbereichen; – Ermitteln, dass die identifizierten gemeinsamen Merkmalpunkte in den Überlappungsbildbereichen nicht an der gleichen Stelle im Überlappungsbildbereich liegen; – Schätzen von Fahrzeugdynamikparametern mit drei Freiheitsgraden anhand der Abgleichung zwischen den gemeinsamen Merkmalpunkten; und – Schätzen der Fahrzeugdynamik eines oder mehrerer von Nicken, Wanken und Höhenschwankung unter Verwendung der Fahrzeugdynamikparameter.
Verfahren nach Anspruch 1, wobei das Identifizieren von gemeinsamen Merkmalpunkten das Identifizieren einer Region von Interesse in den Überlappungsbildbereichen umfasst, die die gemeinsamen Merkmalpunkte enthalten.
Verfahren nach Anspruch 1, wobei das Identifizieren von gemeinsamen Merkmalpunkten das Identifizieren von gemeinsamen Merkmalpunkten in den Bildern von zwei Kameras umfasst, die Projektionen der gemeinsamen Punktstelle in Weltkoordinaten sind.
Verfahren nach Anspruch 1, wobei das Schätzen einer Fahrzeugdynamik das Auflösen von dynamischen Gleichungen umfasst, um einen Schätzwert für das Nicken, das Wanken und/oder die Höhenschwankung des Fahrzeugs auf Basis eines Unterschieds zwischen gemeinsamen Merkmalpunkten zu erhalten.
Verfahren nach Anspruch 1, wobei das Schätzen einer Fahrzeugdynamik das Ermitteln einer Rotationsmatrix und eines Translationsvektors umfasst.
Verfahren nach Anspruch 5, wobei das Schätzen einer Fahrzeugdynamik die Verwendung der Gleichungen umfasst: (u, v)_C1~(u, v)_C2, (u, v)_C1 → X_C1, (u, v)_C2 → X_C2, X_C1 = R_V2C1·R_dyn·(X_W + t'_W2V) + t'_V2C1, X_C2 = R_V2C2·R_dyn·(X_W + t'_W2V) + t'_V2C2, wobei (u, v)_C1 ein Merkmalpunkt in einem Bild von einer ersten Kamera c1 ist, der eine Projektion eines Weltpunkts X_W ist, (u, v)_C2 ein weiterer Merkmalpunkt in einem Bild von einer zweiten Kamera c2 ist, der eine Projektion des Weltpunkts X_W ist, R_V2Ci die Rotationsmatrix einer Kamera c_i in Bezug auf Fahrzeugkoordinaten v ist, i der Index der Kameras ist, t der Translationsvektor ist, dyn für eine Fahrzeugdynamik steht und w für die Weltkoordinaten steht.
Verfahren nach Anspruch 1, wobei das Schätzen einer Fahrzeugdynamik das Bereitstellen einer zeitlichen Verfolgung und Glättung umfasst.
Verfahren nach Anspruch 1, wobei das Rundum-Sicht-Kamerasystem vier Kameras enthält, wobei eine erste Kamera an einer Vorderseite des Fahrzeugs positioniert ist, eine zweite Kamera an einer Rückseite des Fahrzeugs positioniert ist, eine dritte Kamera an einer linken Seite des Fahrzeugs positioniert ist und eine vierte Kamera an einer rechten Seite des Fahrzeugs positioniert ist.
Verfahren nach Anspruch 8, wobei sich Bilder von der ersten Kamera mit Bildern von der dritten Kamera überlappen, wobei sich Bilder von der ersten Kamera mit Bildern von der vierten Kamera überlappen, wobei sich Bilder von der zweiten Kamera mit Bildern von der dritten Kamera überlappen und wobei sich Bilder von der zweiten Kamera mit Bildern von der vierten Kamera überlappen.
Dynamiksystem zur Schätzung einer Fahrzeugdynamik unter Verwendung von Bildern von Kameras in einem Rundum-Sicht-Kamerasystem auf einem Fahrzeug, wobei das System umfasst: – ein Mittel zum Identifizieren einer oder mehrerer Überlappungsbildbereiche für beliebige zwei Kameras im Rundum-Sicht-Kamerasystem; – ein Mittel zum Identifizieren von gemeinsamen Merkmalpunkten in dem einen oder den mehreren Überlappungsbildbereichen; – ein Mittel zum Ermitteln, dass die identifizierten gemeinsamen Merkmalpunkte in den Überlappungsbildbereichen nicht an der gleichen Stelle im Überlappungsbildbereich liegen; – ein Mittel zum Schätzen von Fahrzeugdynamikparametern mit drei Freiheitsgraden anhand der Abgleichung zwischen den gemeinsamen Merkmalpunkten; und – ein Mittel zum Schätzen der Fahrzeugdynamik eines oder mehrerer von Nicken, Wanken und Höhenschwankung unter Verwendung der Fahrzeugdynamikparameter.