DE102018131692A1

DE102018131692A1 - Schätzen einer Bodenflächenneigung

Info

Publication number: DE102018131692A1
Application number: DE102018131692.5A
Authority: DE
Inventors: Conor Ferguson
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2018-12-11
Filing date: 2018-12-11
Publication date: 2020-06-18

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Ausführen einer Schätzung einer Neigung einer Bodenfläche (44) für ein Fahrunterstützungssystem (12) eines Fahrzeugs (10), das eine Kamera (16, 18, 20) zum Erfassen einer Umgebung (24) des Fahrzeugs (10) verwendet, mit den Schritten zum Empfangen eines ersten Bildes von der Kamera (16, 18, 20), Erfassen eines ersten Merkmalssatzes innerhalb des ersten Bildes, Empfangen eines zweiten Bildes von der Kamera (16, 18, 20), Erfassen des ersten Merkmalssatzes innerhalb des zweiten Bildes, Bestimmen einer Drehung des ersten Merkmalssatzes zwischen dem ersten und dem zweiten Bild und Schätzen einer Neigung der Bodenfläche (44) basierend auf der Drehung des ersten Merkmalssatzes zwischen dem ersten und dem zweiten Bild. Die vorliegende Erfindung betrifft auch ein Verfahren zum Erzeugen und/oder Aktualisieren einer Merkmalskarte für ein Fahrunterstützungssystem (12) eines Fahrzeugs (10), das eine Kamera (16, 18, 20) zum Erfassen einer Umgebung (24) des Fahrzeugs (10) verwendet, mit den Schritten zum Empfangen eines Bildes von der Kamera (16, 18, 20), Identifizieren einer Position von Merkmalen innerhalb des empfangenen Bildes, Schätzen einer Neigung der Bodenfläche (44) gemäß dem obigen Verfahren und Filtern der Position der Merkmale basierend auf der geschätzten Neigung der Bodenfläche (44). Die vorliegende Erfindung betrifft ferner ein Fahrunterstützungssystem (12) eines Fahrzeugs (10), das eine Kamera (16, 18, 20) zum Erfassen einer Umgebung (24) des Fahrzeugs (10) verwendet, wobei das Fahrunterstützungssystem (12) dazu eingerichtet ist, ein beliebiges der vorstehenden Verfahren auszuführen.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Ausführen einer Schätzung einer Bodenflächenneigung für ein Fahrunterstützungssystem eines Fahrzeugs, das eine Kamera zum Erfassen einer Umgebung des Fahrzeugs verwendet.
Auch betrifft die vorliegende Erfindung ein Verfahren zum Erzeugen und/oder Aktualisieren einer Merkmalskarte für ein Fahrunterstützungssystem eines Fahrzeugs, das eine Kamera zum Erfassen einer Umgebung des Fahrzeugs verwendet, mit den Schritten zum Empfangen eines Bildes von der Kamera und Identifizieren einer Position der Merkmale im empfangenen Bild.
Des Weiteren betrifft die vorliegende Erfindung ein Verfahren zum Erzeugen und/oder Aktualisieren einer Merkmalskarte für ein Fahrunterstützungssystem eines Fahrzeugs, das eine Kamera zum Erfassen einer Umgebung des Fahrzeugs verwendet, mit den Schritten zum Empfangen eines Bildes von der Kamera, Identifizieren einer Position von Merkmalen im empfangenen Bild und Bereitstellen eines Modells einer räumlichen Unsicherheit (Spatial Uncertainty Model) für die identifizierten Merkmale.
Die vorliegende Erfindung betrifft ferner ein Fahrunterstützungssystem eines Fahrzeugs, das eine Kamera zum Erfassen einer Umgebung des Fahrzeugs verwendet, wobei das Fahrunterstützungssystem dazu eingerichtet ist, eines der obigen Verfahren auszuführen.
Auf dem Fachgebiet sind verschiedene Verfahren zum Bereitstellen einer Fahrunterstützung für Fahrzeuge bekannt. Diese Fahrunterstützung bezieht sich einerseits auf eine Unterstützung für autonomes oder halbautonomes Fahren und andererseits auf eine Unterstützung eines Fahrers eines Fahrzeugs in verschiedenen Fahrsituationen. Diese Methoden werden heute bereits implementiert, z.B. in Fahrerassistenzsystemen für Fahrzeuge.
Solche Verfahren und Fahrunterstützungssysteme können eine Unterstützung beim Manövrieren des Fahrzeugs aufweisen, z.B. beim Parken des Fahrzeugs entlang einer vorgegebenen Trajektorie oder beim Fahren des Fahrzeugs in Stausituationen, auch als Stau-Assistenz bezeichnet. Viele dieser Verfahren und Fahrunterstützungssysteme sind auf Umgebungsinformation angewiesen, die basierend auf Sensorinformation bereitgestellt wird, die von verschiedenartigen Umgebungssensoren erhalten wird. Beispielsweise können die Umgebungssensoren verwendet werden, um einen Parkplatz für das Fahrzeug oder Hindernisse in der Umgebung zu erfassen. Basierend auf dieser Sensorinformation ist es möglich, eine Trajektorie zu bestimmen, die z.B. zwischen einem aktuellen Ort des Fahrzeugs und dem Parkplatz zum Parken des Fahrzeugs definiert sein kann.
In diesem Zusammenhang ist es bekannt, dass das Fahrzeug halbautonome oder sogar autonome Fahrmanöver ausführt, um z.B. das Fahrzeug entlang der Trajektorie von seinem aktuellen Ort zum Parkplatz zu bewegen. In diesen Fällen kann das Fahrunterstützungssystem eine Steuerung zum seitlichen Lenken des Fahrzeugs, d.h. eine Quersteuerung des Fahrzeugs, sowie eine Längssteuerung des Fahrzeugs, d.h. zum Beschleunigen und Bremsen, übernehmen. Wenn das Fahrunterstützungssystem ein Fahrerassistenzsystem ist, das nur die Quersteuerung oder nur die Längssteuerung des Fahrzeugs ausführt, muss der Fahrer des Fahrzeugs z.B. das Lenkrad betätigen, um die Quersteuerung selbst auszuführen, oder das Beschleunigungs- oder das Bremspedal betätigen, um die Längssteuerung selbst auszuführen.
In heutigen Fahrzeugen werden verschiedene Fahrerassistenzsysteme bereits weit verbreitet verwendet und bieten dem Fahrer des Fahrzeugs ein hohes Maß an Unterstützung. Solche Verfahren und Fahrassistenzsysteme erfordern jedoch eine zuverlässige Kenntnis der Umgebung des Fahrzeugs. Ansonsten ist es nicht möglich, Trajektorien zum Fahren des Fahrzeugs zu bestimmen oder das Fahrzeug in einer gewünschten Weise halbautonom oder sogar vollständig autonom zu manövrieren. Die Kenntnis der Umgebung des Fahrzeugs kann auf einem oder auf mehreren Umgebungssensoren basieren, einschließlich Ultraschallsensoren, Radarsensoren, LiDAR-Sensoren, optischen Kameras oder anderen Sensoren. Diese Umgebungssensoren liefern Sensorinformation, die normalerweise verarbeitet wird, um eine Umgebungskarte zu erzeugen, die auch als Merkmalskarte bezeichnet wird und alle Arten von Objekten als Merkmale in einer Draufsichtdarstellung anzeigt. Das Gleiche gilt für vollständig autonome Fahrzeuge, die solche Fahrunterstützungssysteme verwenden.
Zum Erzeugen der Merkmalskarte ist eine genaue Kenntnis der Position der verschiedenen Merkmale wesentlich. Die Bestimmung einer Position eines Merkmals unterliegt jedoch verschiedenen Unsicherheiten, die es schwierig machen, die Position der Merkmale zu bestimmen oder die Position der Merkmale mit einer hohen Genauigkeit anzugeben. Daher muss die Merkmalskarte mit Vorsicht betrachtet werden. Insbesondere basieren Kamera-Algorithmen, die zur Linienerfassung verwendet werden, typischerweise auf der Annahme, dass der Boden flach ist. Wenn aber mit der Bodenfläche ein unbekannter, unkorrelierter Fehler verbunden ist, führt diese Annahme zu großen Fehlerspannen bei der Linienlokalisierung. Daher muss die Karte mit großer Vorsicht betrachtet werden, insbesondere in Bezug auf Merkmale, die entfernt von der Kameraachse angezeigt werden. Es wird davon ausgegangen, dass bei solchen Merkmalen der größte Fehler auftritt, wenn der Boden nicht flach ist. Dies führt zu einem Verlust an Robustheit, wenn die Merkmalskarte für eine weitere Verarbeitung verwendet wird. Basierend auf den großen Fehlerspannen wird eine suboptimale Kartenfilterung angewendet.
Ausgehend von dem oben genannten Stand der Technik liegt der Erfindung somit die Aufgabe zugrunde, ein Verfahren zum Ausführen einer Schätzung einer Bodenflächenneigung für ein Fahrunterstützungssystem eines Fahrzeugs, ein Verfahren zum Erzeugen und/oder Aktualisieren einer Merkmalskarte für ein Fahrunterstützungssystem eines Fahrzeugs und ein Fahrunterstützungssystem für ein Fahrzeug bereitzustellen, das dazu eingerichtet ist, eines der obigen Verfahren auszuführen, die zumindest einige der vorstehenden Nachteile überwinden und die eine verbesserte Merkmalserfassung und/oder -filterung der erfassten Merkmalen in einer Merkmalskarte ermöglichen.
Die Lösung der Aufgabe erfolgt durch die unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.
Insbesondere ist durch die vorliegende Erfindung ein Verfahren zum Ausführen einer Schätzung einer Bodenflächenneigung für ein Fahrunterstützungssystem eines Fahrzeugs angegeben, das eine Kamera zum Erfassen einer Umgebung des Fahrzeugs verwendet, mit den Schritten zum Empfangen eines ersten Bildes von der Kamera, Erfassen eines ersten Merkmalssatzes innerhalb des ersten Bildes, Empfangen eines zweiten Bildes von der Kamera, Erfassen des ersten Merkmalssatzes innerhalb des zweiten Bildes, Bestimmen einer Drehung des ersten Merkmalssatzes zwischen dem ersten und dem zweiten Bild und Schätzen einer Bodenflächenneigung basierend auf der Drehung des ersten Merkmalssatzes zwischen dem ersten und dem zweiten Bild.
Durch die vorliegende Erfindung ist auch ein Verfahren zum Erzeugen und/oder Aktualisieren einer Merkmalskarte für ein Fahrunterstützungssystem eines Fahrzeugs angegeben, das eine Kamera zum Erfassen einer Umgebung des Fahrzeugs verwendet, mit den Schritten zum Empfangen eines Bildes von der Kamera, Identifizieren einer Position von Merkmalen im empfangenen Bild, Schätzen einer Bodenflächenneigung gemäß dem obigen Verfahren und Filtern der Position der Merkmale basierend auf der geschätzten Bodenflächenneigung.
Durch die vorliegende Erfindung ist ferner ein Verfahren zum Erzeugen und/oder Aktualisieren einer Merkmalskarte für ein Fahrunterstützungssystem eines Fahrzeugs angegeben, das eine Kamera zum Erfassen einer Umgebung des Fahrzeugs verwendet, mit den Schritten zum Empfangen eines Bildes von der Kamera, Identifizieren einer Position von Merkmalen im empfangenen Bild, Bereitstellen eines Modells der räumlichen Unsicherheit für die identifizierten Merkmale, Schätzen einer Bodenflächenneigung gemäß dem obigen Verfahren und Morphen des Modells der räumlichen Unsicherheit basierend auf der geschätzten Bodenflächenneigung.
Durch die vorliegende Erfindung ist ferner ein Fahrunterstützungssystem eines Fahrzeugs angegeben, das eine Kamera zum Erfassen einer Umgebung des Fahrzeugs verwendet, wobei das Fahrunterstützungssystem dazu eingerichtet ist, eines der obigen Verfahren auszuführen.
Grundidee der Erfindung ist es, auf eine einfache und zuverlässige Weise Kenntnis über die Bodenfläche um das Fahrzeug herum zu erhalten. Dies basiert auf Charakteristika aufeinanderfolgender Erfassungen von Merkmalen in der Merkmalskarte, die sich zu drehen scheinen, wenn eine Bodenfläche ansteigt oder abfällt. Daher können eine Merkmalsverarbeitung und das Erzeugen einer Merkmalskarte verbessert werden, um weitere Vorteile von Fahrunterstützungssystemen zu erzielen, die auf der Merkmalskarte und auf in der Merkmalskarte erfassten Merkmalen basieren. Daher kann die allgemeine Annahme, dass der Boden flach ist, überwunden und durch eine detaillierte Bestimmung der Neigung der Bodenfläche ersetzt werden. Daher kann auch das Filtern der Merkmalskarte verbessert werden. Die Neigung kann ein positives oder negatives Vorzeichen haben, d.h. sie kann eine Steigung oder ein Gefälle haben, was basierend auf einer Drehrichtung der Merkmale bestimmt werden kann.
Die Drehung der Merkmale kann basierend auf den Erfassungen der Merkmale in den beiden Bildern geschätzt werden. Allgemein gilt: je mehr Erfassungen von Merkmalen empfangen werden, desto zuverlässiger ist die Schätzung der Bodenflächenneigung. Daher kann die Schätzung der Bodenflächenneigung auf mehreren ersten Bildern basieren, z.B. unter Nutzung eines Mittelungsverfahrens oder anderer Verfahren.
Ohne Kenntnis der Bodenflächenneigung kann die Bodenfläche nur als ein unbekannter korrelierter Fehler betrachtet werden, d.h. die Merkmalskarte kennt das Vorhandensein des Fehlers, kennt jedoch nicht dessen Charakteristik. Das Ergebnis ist, dass die Karte sehr vorsichtig betrachtet werden muss, insbesondere bei Ergebnissen, die außerhalb der Kameraachse angezeigt werden, da diese dem größten Fehler unterliegen. Basierend auf den vorliegenden Verfahren kann der Fehler jedoch bestimmt werden, so dass entweder die Merkmale zuverlässiger lokalisiert werden können oder Information bezüglich eines Fehlers der Merkmale bereitgestellt wird, um eine weitere Verarbeitung der erzeugten Merkmale zu verbessern.
Die beschriebenen Prinzipien sind im Allgemeinen auch auf andere Arten von Sensoren anwendbar, die eine zweidimensionale Darstellung eines Umgebungsbereichs des Fahrzeugs liefern, wie z.B. LiDAR-Sensoren und Radarsensoren.
Das erste Bild wird zu einem ersten Zeitpunkt erzeugt, und das zweite Bild wird zu einem zweiten Zeitpunkt erzeugt. Der erste Zeitpunkt liegt vor dem zweiten Zeitpunkt. Der erste Merkmalssatz bezieht sich auf Merkmale, die durch die Kamera zum ersten und zum zweiten Zeitpunkt erfasst werden. Der erste Merkmalssatz bezieht sich auf Merkmale, die im ersten und im zweiten Bild erfassbar sind. Das Erfassen von Merkmalen im ersten und im zweiten Bild kann jedoch dazu führen, dass im ersten Bild und im zweiten Bild unterschiedliche Merkmalssätze erfassbar sind. Daher können das erste und das zweite Bild jeweils Merkmale enthalten, die im zweiten bzw. im ersten Bild nicht vorhanden sind. Der erste Merkmalssatz bezieht sich also auf Merkmale, die im ersten Bild und im zweiten Bild erfassbar sind.
Die Merkmale beziehen sich vorzugsweise auf Bodenmerkmale, die für die Schätzung einer Neigung der Bodenfläche am wichtigsten sind.
Das Fahrunterstützungssystem kann ein Fahrunterstützungssystem zum Unterstützen von autonomem oder halbautonomem Fahren entsprechender autonomer oder halbautonomer Fahrzeuge oder ein Fahrerassistenzsystem zum Unterstützen eines Fahrers des Fahrzeugs in verschiedenen Fahrsituationen aufweisen.
Die Kamera kann ein beliebiger geeigneter optischer Kameratyp sein, der typischerweise für sichtbares Licht empfindlich ist. Die Kamera kann jedoch auch für Licht mit von sichtbarem Licht verschiedenen Wellenlängen empfindlich sein, z.B. für ultraviolettes Licht.
Die Bodenfläche bezieht sich auf eine Ebene, auf der sich das Fahrzeug befindet.
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Erfassen eines ersten Merkmalsatzes im ersten Bild das Erfassen mindestens einer Linie auf, weist der Schritt zum Erfassen der vorstehenden Merkmale im zweiten Bild das Erfassen der mindestens einen Linie auf, weist der Schritt zum Bestimmen einer Drehung des ersten Merkmalssatzes zwischen dem ersten und dem zweiten Bild das Bestimmen einer Drehung der mindestens einen Linie zwischen dem ersten und dem zweiten Bild auf, und weist der Schritt zum Schätzen einer Bodenflächenneigung basierend auf der Drehung des Merkmalssatzes zwischen dem ersten und dem zweiten Bild das Schätzen einer Bodenflächenneigung basierend auf der Drehung der mindestens einen Linie zwischen dem ersten und dem zweiten Bild auf. Die Linien zeigen eine Eigenschaft, die zum Schätzen der Bodenflächenneigung effizient genutzt werden kann. Basierend auf ihrer Ausdehnung können sich die Linien über das gesamte Bild oder zumindest einen Teil davon erstrecken, was relevante Information bezüglich der Bodenflächenneigung zwischen den zwei verschiedenen Bildern liefert. Daher können insbesondere Fehlerspannen bei der Linienlokalisierung reduziert werden. Die Linien werden normalerweise als gerade Linien betrachtet.
Gemäß einer modifizierten Ausführungsform der Erfindung weisen die Schritte zum Erfassen mindestens einer Linie innerhalb des ersten und des zweiten Bildes das Erfassen mindestens einer Bodenlinie innerhalb des ersten bzw. des zweiten Bildes auf. Die Bodenlinien beziehen sich auf eine Liniendarstellung von Merkmalen in der Umgebung. Bodenlinien sind für die Schätzung der Bodenflächenneigung am wichtigsten.
Gemäß einer modifizierten Ausführungsform der Erfindung weisen die Schritte zum Erfassen mindestens einer Bodenlinie im ersten und im zweiten Bild das Erfassen mindestens einer Linie unter einer Bodenlinie an einem linken Rand, einer Bodenlinie an einem rechten Rand und einer Bodenlinie in einer Mitte des ersten bzw. zweiten Bildes auf. Die Auswirkungen einer Neigung der Bodenfläche können am besten an den Rändern bestimmt werden, so dass Linien, die sich an den Rändern befinden, die signifikanteste Information bezüglich der Bodenflächenneigung liefern. Außerdem ist normalerweise ein Fehler an den Rändern des Bildes größer, so dass die Kenntnis des Fehlers an den Rändern wichtig ist. Die Bildmitte bietet eine gute weitere Unterstützung für die Schätzung der Bodenflächenneigung. Basierend auf einer Anzahl von Stützpunkten und z.B. einem gewählten mathematischen Modell kann die Bodenflächenneigung beispielsweise als eine Näherung erster oder zweiter Ordnung geschätzt werden.
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Bestimmen einer Drehung des ersten Merkmalssatzes zwischen dem ersten und dem zweiten Bild das Bestimmen einer Abweichung der erfassten mindestens einen Bodenlinie an einem fahrzeugseitigen Ende und an einem vom Fahrzeug entfernten Ende im Vergleich zu einer Bodenfläche ohne Neigung auf. Endpunkte sind ausreichend, um die jeweiligen Bodenlinien zu definieren, so dass ihre Drehung bestimmt werden kann, um die Bodenflächenneigung zu bestimmen. Eine Verarbeitung von Abweichungen der Endpunkte der Bodenlinien kann mit geringem Rechenaufwand realisiert werden.
Gemäß einer modifizierten Ausführungsform der Erfindung weist das Verfahren einen zusätzlichen Schritt zum Bereitstellen eines Modells zum Schätzen der Bodenflächenneigung basierend auf der Drehung des ersten Merkmalssatzes auf der Basis mehrerer erster Bilder auf, und weist der Schritt zum Schätzen einer Bodenflächenneigung basierend auf der Drehung des ersten Merkmalssatzes zwischen dem ersten und dem zweiten Bild das Schätzen der Bodenflächenneigung basierend auf dem Modell zum Schätzen der Bodenflächenneigung und basierend auf dem ersten Merkmalssatz auf, die im zweiten Bild erfasst werden. Das Modell ist ein effizientes Mittel zum Bestimmen der Bodenflächenneigung. Allgemein gilt: je mehr Erfassungen von Merkmalen empfangen werden, desto genauer kann das Modell sein. Ein Vorteil des Modells ist, dass alle Erfassungen verschiedener Merkmale zum gleichen Modell beitragen können. Daher kann eine Konvergenz sehr schnell auftreten. Das Modell kann in herkömmlichen Modellen zur Merkmalsverarbeitung separat oder sogar als zusätzlicher Zustand überwacht werden. Die Konvergenz kann in einem Filter verarbeitet werden. Das Modell kann kontinuierlich aktualisiert werden, so dass auf dem zweiten Bild basierende Merkmale als Grundlage für die weitere Verarbeitung betrachtet werden können, d.h. als wären sie Merkmale aus dem ersten Bild.
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Bereitstellen eines Modells zum Schätzen der Bodenflächenneigung das Implementieren einer Regressionslinie auf. Lineare Regression ist ein linearer Ansatz zum Modellieren einer Beziehung zwischen einer skalar abhängigen Variablen und einer oder mehreren erläuternden oder unabhängigen Variablen. Bei der linearen Regression können Beziehungen unter Verwendung linearer Vorhersagefunktionen modelliert werden, deren unbekannte Modellparameter aus den Daten geschätzt werden können.
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Bereitstellen eines Modells zum Schätzen der Bodenflächenneigung das Implementieren eines Kalman-Filters auf. Die Kalman-Filterung ist auch als lineare quadratische Schätzung (LQE) bekannt. Kalman-Filterung ist ein Algorithmus, der eine Reihe von Messwerten verwendet, die über die Zeit beobachtet wurden, enthält statistisches Rauschen und andere Ungenauigkeiten und erzeugt Schätzungen unbekannter Variablen, die tendenziell genauer sind als diejenigen, die auf einer einzelnen Messung basieren, unter Verwendung einer Bayes-Inferenz und durch Schätzen einer gemeinsamen Wahrscheinlichkeitsverteilung über die Variablen für jedes Zeitfenster.
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Empfangen eines zweiten Bildes von der Kamera das Empfangen des zweiten Bildes mit einer Verzögerung von mehreren Einzelbildern im Vergleich zum ersten Bild auf. Die Einzelbilder werden normalerweise durch die Kamera mit einer bestimmten Einzelbildrate erzeugt, die typischerweise mehr als 20 Einzelbilder pro Sekunde beträgt. Durch Verarbeiten des Bildes mit der Verzögerung können die Anforderungen an die Rechenleistung gering gehalten werden. Selbst wenn das Fahrzeug mit hoher Geschwindigkeit fährt, ändert sich die umgebende Bodenfläche zwischen zwei Bildern nur teilweise, so dass nur neu abgedeckte Teile der Bodenfläche ausgewertet werden müssen. Außerdem kann eine bekannte Neigung der Bodenfläche als eine Anfangsneigung in Bezug auf solche neu abgedeckten Teile betrachtet werden. Die Verzögerung wird vorzugsweise auf der Grundlage einer Fahrsituation gewählt, so dass eine Bodenflächenneigung immer nach Erfordernis geschätzt werden kann, z.B. mit einer höheren Rate bei höheren Geschwindigkeiten des Fahrzeugs und mit einer niedrigeren Rate bei niedrigeren Geschwindigkeiten des Fahrzeugs.
Gemäß einer modifizierten Ausführungsform der Erfindung weist das Verfahren einen Schritt zum Bestimmen eines zweiten Merkmalssatzes von einem Umgebungssensor zu einem ersten Zeitpunkt auf, weist das Verfahren weiterhin einen Schritt zum Bestimmen des zweiten Merkmalssatzes vom Umgebungssensor zu einem zweiten Zeitpunkt auf, weist das Verfahren ferner einen Schritt zum Bestimmen einer Drehung des zweiten Merkmalssatzes zwischen dem ersten und dem zweiten Zeitpunkt auf, und weist der Schritt zum Schätzen einer Bodenflächenneigung zusätzlich das Betrachten der Drehung des zweiten Merkmalssatzes zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt auf. Daher wird die Drehung nicht nur basierend auf dem ersten Bild und dem zweiten Bild bestimmt, sondern unter weiterer Berücksichtigung von Merkmalen, die durch den Umgebungssensor des Fahrzeugs erfasst werden. Der Umgebungssensor kann z.B. ein LiDAR-basierter Sensor und/oder ein Radarsensor sein, die jeweils an verschiedenen Stellen des Fahrzeugs vorgesehen sein können. Die Verarbeitung von Sensorinformation von jedem dieser Sensoren kann gemäß den obigen Prinzipien in Bezug auf die von der Kamera erhaltenen Bilder erfolgen. Die Merkmalserzeugung des Umgebungssensors kann jedoch unabhängig von der Merkmalserzeugung der Kamera ausgeführt werden, beispielsweise ist keine Synchronisation erforderlich.
Gemäß einer modifizierten Ausführungsform der Erfindung werden die Verfahrensschritte wiederholt ausgeführt, um die Merkmalskarte kontinuierlich zu aktualisieren. Daher kann eine Drehung der Erfassung von Merkmalen in der Merkmalskarte kontinuierlich überwacht werden, was die Bestimmung einer möglichen Drehung erleichtert. Darüber hinaus kann eine kontinuierliche Rückmeldung an eine Merkmalskartenerzeugung und/oder an Fahrunterstützungssysteme bereitgestellt werden.
Diese und andere Aspekte der Erfindung werden anhand der nachstehend beschriebenen Ausführungsformen ersichtlich und erläutert. Einzelne Merkmale, die in den Ausführungsformen dargestellt sind, können für sich alleine oder in Kombination einen Aspekt der vorliegenden Erfindung bilden. Merkmale der verschiedenen Ausführungsformen können von einer Ausführungsform auf eine andere Ausführungsform übertragen werden.
Es zeigen:

1 eine schematische Ansicht eines Fahrzeugs gemäß einer ersten bevorzugten Ausführungsform in Draufsicht;
2 eine Draufsicht auf eine Umgebung des Fahrzeugs mit durch die Kamera erfassten Bodenlinien im Vergleich zu einem Boden ohne Neigung gemäß der ersten Ausführungsform;
3 eine Frontansicht des Fahrzeugs von 1 mit einer Bodenflächenneigung im Vergleich zu einem Boden ohne Neigung gemäß der ersten Ausführungsform;
4 ein Ablaufdiagramm eines Verfahrens zum Ausführen einer Schätzung einer Bodenflächenneigung für das Fahrunterstützungssystem des Fahrzeugs der ersten Ausführungsform gemäß einer zweiten Ausführungsform;
5 ein Ablaufdiagramm eines Verfahrens zum Erzeugen und/oder Aktualisieren einer Merkmalskarte für ein Fahrunterstützungssystem des Fahrzeugs der ersten Ausführungsform gemäß einer dritten Ausführungsform; und
6 ein Ablaufdiagramm eines Verfahrens zum Erzeugen und/oder Aktualisieren einer Merkmalskarte für ein Fahrunterstützungssystem des Fahrzeugs der ersten Ausführungsform gemäß einer vierten Ausführungsform.
1 zeigt ein Fahrzeug 10 mit einem Fahrunterstützungssystem 12 gemäß einer ersten bevorzugten Ausführungsform.

Gemäß der ersten Ausführungsform weist das Fahrunterstützungssystem 12 eine Steuereinheit 14 auf. Das Fahrunterstützungssystem 12 weist ferner beispielhaft eine Frontkamera 16, eine linke Seitenkamera 18 und eine rechte Seitenkamera 20 auf. Die Kameras 16, 18 und 20 sind über einen Kommunikationsbus 22 mit der Steuereinheit 14 verbunden. Die Kameras 16, 18 und 20 werden zum Erfassen einer Umgebung 24 des Fahrzeugs 10 verwendet. In einer alternativen Ausführungsform weist das Fahrzeug 10 zusätzlich eine rückseitige Kamera auf.
2 bezieht sich auf ein Ablaufdiagramm eines Verfahrens zum Ausführen einer Schätzung einer Bodenflächenneigung gemäß einer zweiten Ausführungsform. Das Verfahren wird unter Verwendung des Fahrunterstützungssystems 12 des Fahrzeugs 10 der ersten Ausführungsform ausgeführt. Das Verfahren verwendet insbesondere die Kamera 16, 18 und 20 zum Erfassen der Umgebung 24 des Fahrzeugs 10.
Das Verfahren beginnt mit Schritt S100, gemäß dem die Steuereinheit 14 zu einem ersten Zeitpunkt ein erstes Bild von der Kamera 16, 18, 20 empfängt.
In Schritt S110 wird ein erster Merkmalssatz im ersten Bild erfasst. Die Merkmale beziehen sich hier auf die Bodenlinien 26, 28 und 30 innerhalb des ersten Bildes. Die Bodenlinien 26, 28 und 30 beziehen sich insbesondere auf eine Bodenlinie 26 am linken Rand, eine Bodenlinie 28 am rechten Rand und eine Bodenlinie 30 in der Mitte, die alle in 2 zu sehen sind.
In Schritt S120 wird an der Steuereinheit 14 ein zweites Bild von der Kamera 16, 18, 20 empfangen. Das zweite Bild wird zu einem zweiten Zeitpunkt nach dem ersten Zeitpunkt erzeugt. Das zweite Bild wird von der Kamera 16, 18, 20 mit einer Verzögerung von mehreren Einzelbildern im Vergleich zum ersten Bild empfangen, d.h. im Vergleich zum ersten Zeitpunkt.
In Schritt S130 wird der erste Merkmalssatz im zweiten Bild erfasst. Der erste Merkmalssatz bezieht sich auf Merkmale, die im ersten und im zweiten Bild erfasst werden können. Das Erfassen von Merkmalen aus dem ersten und dem zweiten Bild kann jedoch dazu führen, dass weitere Merkmale im ersten Bild oder im zweiten Bild erfassbar sind. Der erste Merkmalssatz bezieht sich jedoch lediglich auf Merkmale, die im ersten Bild und im zweiten Bild erfassbar sind. Die Merkmalserfassung im zweiten Bild erfolgt wie oben unter Bezug auf das erste Bild in Schritt S110 beschrieben.
Der nachfolgende Schritt S140 bezieht sich auf das Bestimmen einer Drehung des ersten Merkmalssatzes zwischen dem ersten und dem zweiten Bild. Daher wird eine Drehung der Bodenlinien 26, 28, 30 zwischen dem ersten und dem zweiten Bild bestimmt. Gemäß dem Verfahren der zweiten Ausführungsform beinhaltet dies das Bestimmen einer Abweichung der erfassten Bodenlinien 26, 28, 30 an einem fahrzeugseitigen Ende 32 und an einem vom Fahrzeug entfernten Ende 34 der jeweiligen erfassten Bodenlinien 26, 28, 30 im Vergleich zu den Bodenlinien auf einer regulären Bodenfläche 36 ohne Neigung. Als Basis für die Bestimmung der Drehung der Bodenlinien 26, 28, 30 wird eine Abweichung der Bodenlinien 26, 28, 30 im Vergleich zu einer regulären Bodenlinie 32 am linken Rand, einer regulären Bodenlinie 34 am rechten Rand und einer regulären Bodenlinie 30 in der Mitte, die nicht gedreht sind, bestimmt.
Gemäß Schritt S150 wird ein Modell zum Schätzen einer Neigung der Bodenfläche 44 basierend auf der Drehung der Bodenlinien 26, 28, 30 auf der Basis mehrerer erster Bilder bereitgestellt. Das Bereitstellen des Modells zum Schätzen der Neigung der Bodenfläche 44 beinhaltet das Implementieren eines Kalman-Filters. Das Verfahren kann in herkömmlichen Modellen zur Merkmalsverarbeitung separat verfolgt oder sogar als zusätzlicher Zustand überwacht werden. Eine Konvergenz kann in einem Filter verarbeitet werden.
Schritt S160 bezieht sich auf das Schätzen einer Neigung der Bodenfläche 44 basierend auf der Drehung der Bodenlinien 26, 28, 30. Die Neigung der Bodenfläche 44 kann ein positives oder ein negatives Vorzeichen haben, d.h. sie kann eine Steigung oder ein Gefälle darstellen, was basierend auf einer Drehrichtung der Merkmale bestimmt werden kann. Die Neigung der Bodenfläche 44 ist in 3 beispielhaft zu sehen.
Die Neigung der Bodenfläche 44 wird basierend auf dem Modell zum Schätzen der Neigung der Bodenfläche 44 und dem ersten Merkmalssatz geschätzt, der im zweiten Bild erfasst wird.
Die Verfahrensschritte S100 bis S160 werden wiederholt ausgeführt, um Information bezüglich der Neigung der Bodenfläche 44 kontinuierlich bereitzustellen und die Merkmalskarte zu aktualisieren.
5 bezieht sich auf ein Ablaufdiagramm eines Verfahrens zum Erzeugen und/oder Aktualisieren einer Merkmalskarte für das Fahrunterstützungssystem 12 des Fahrzeugs 10 gemäß einer zweiten Ausführungsform. Das Verfahren wird gemäß dem Verfahren zum Ausführen einer Schätzung einer Bodenflächenneigung und gemäß dem Fahrzeug 10 mit dem Fahrunterstützungssystem 12 gemäß der ersten Ausführungsform ausgeführt.
Das Verfahren beginnt mit Schritt S200, der sich auf das Empfangen eines Bildes von der Kamera 16, 18, 20 bezieht.
Gemäß Schritt S210 wird eine Position von Merkmalen in dem empfangenen Bild identifiziert. Verfahren zum Extrahieren von Merkmalen aus Bildern, die durch optische Kameras 16, 18, 20 bereitgestellt werden, sind bekannt und werden daher nicht im Detail diskutiert.
Schritt S220 bezieht sich auf das Schätzen einer Neigung der Bodenfläche 44 gemäß dem Verfahren, das die Schritte S100 bis S160 aufweist. In dieser Phase muss jedoch nicht das gesamte Verfahren ausgeführt werden. Es ist lediglich erforderlich, dass das Verfahren ausgeführt wird und das Fahrunterstützungssystem 12 eine Schätzung der Neigung der Bodenfläche 44 erhält, die in Schritt S220 zur weiteren Verarbeitung empfangen wird.
Gemäß Schritt S230 wird die Position der Merkmale basierend auf der geschätzten Neigung der Bodenfläche 44 gefiltert. Es wird eine Korrektur der Merkmalspositionen ausgeführt, wobei die geschätzte Neigung der Bodenfläche 44 als Grundlage für diese Filterung verwendet wird.
6 bezieht sich auf ein Ablaufdiagramm eines Verfahrens zum Erzeugen und/oder Aktualisieren einer Merkmalskarte für das Fahrunterstützungssystem 12 des Fahrzeugs 10 gemäß einer dritten Ausführungsform. Das Verfahren wird gemäß dem Verfahren zum Ausführen einer Schätzung einer Neigung der Bodenfläche 44 und gemäß dem Fahrzeug 10 mit dem Fahrunterstützungssystem 12 gemäß der ersten Ausführungsform ausgeführt. Das Verfahren beginnt mit Schritt S300, der sich auf das Empfangen eines Bildes von der Kamera 16, 18, 20 bezieht.
Gemäß Schritt S310 wird eine Position von Merkmalen in dem empfangenen Bild identifiziert. Verfahren zum Extrahieren von Merkmalen aus Bildern, die durch optische Kameras 16, 18, 20 bereitgestellt werden, sind bekannt und werden daher nicht erneut im Detail diskutiert.
Schritt S320 bezieht sich auf das Bereitstellen eines Modells einer räumlichen Unsicherheit für die identifizierten Merkmale. Das Modell bezieht sich auf das Identifizieren eines Fehlers von Merkmalen auf der Merkmalskarte.
Schritt S330 bezieht sich auf das Schätzen einer Neigung der Bodenfläche 44 gemäß dem Verfahren, das die Schritte S100 bis S160 aufweist. In dieser Phase muss jedoch nicht das gesamte Verfahren ausgeführt werden. Es ist lediglich erforderlich, dass das Verfahren ausgeführt wird und das Fahrunterstützungssystem 12 eine in Schritt S330 empfangene Schätzung der Neigung der Bodenfläche 44 zur Weiterverarbeitung empfängt.
Schritt S340 bezieht sich auf das Morphen des Modells der räumlichen Unsicherheit basierend auf der geschätzten Neigung der Bodenfläche 44.
Bezugszeichenliste

10: Fahrzeug
12: Fahrunterstützungssystem
14: Steuereinheit
16: Frontkamera
18: Kamera auf der linken Seite
20: Kamera auf der rechten Seite
22: Kommunikationsbus
24: Umgebung
26: Bodenlinie am linken Rand
28: Bodenlinie am rechten Rand
30: Bodenlinie in der Mitte
32: fahrzeugseitiges Ende
34: vom Fahrzeug entferntes Ende
36: reguläre Bodenfläche
38: reguläre Bodenlinie am linken Rand
40: reguläre Bodenlinie am rechten Rand
42: reguläre Bodenlinie in der Mitte
44: Bodenfläche

Claims

Verfahren zum Ausführen einer Schätzung einer Neigung einer Bodenfläche (44) für ein Fahrunterstützungssystem (12) eines Fahrzeugs (10), das eine Kamera (16, 18, 20) zum Erfassen einer Umgebung (24) des Fahrzeugs (10) verwendet, aufweisend folgende Schritte: Empfangen eines ersten Bildes von der Kamera (16, 18, 20); Erfassen eines ersten Merkmalssatzes innerhalb des ersten Bildes; Empfangen eines zweiten Bildes von der Kamera (16, 18, 20); Erfassen des ersten Merkmalssatzes innerhalb des zweiten Bildes; Bestimmen einer Drehung des ersten Merkmalssatzes zwischen dem ersten und dem zweiten Bild; und Schätzen einer Neigung der Bodenfläche (44) basierend auf der Drehung des ersten Merkmalssatzes zwischen dem ersten und dem zweiten Bild.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Schritt zum Erfassen eines ersten Merkmalssatzes im ersten Bild das Erfassen mindestens einer Linie (26, 28, 30) aufweist; der Schritt zum Erfassen der vorstehenden Merkmale im zweiten Bild das Erfassen mindestens einer Linie (26, 28, 30) aufweist; der Schritt zum Bestimmen einer Drehung des ersten Merkmalssatzes zwischen dem ersten und dem zweiten Bild das Bestimmen einer Drehung der mindestens einen Linie (26, 28, 30) zwischen dem ersten und dem zweiten Bild aufweist; und der Schritt zum Schätzen einer Neigung der Bodenfläche (44) basierend auf der Drehung des Merkmalssatzes zwischen dem ersten und dem zweiten Bild das Schätzen einer Neigung der Bodenfläche (44) basierend auf der Drehung der mindestens einen Linie (26, 28, 30) zwischen dem ersten und dem zweiten Bild aufweist.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Schritte zum Erfassen mindestens einer Linie (26, 28, 30) innerhalb des ersten und des zweiten Bildes das Erfassen mindestens einer Bodenlinie (26, 28, 30) innerhalb des ersten und des zweiten Bildes aufweisen.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Schritte zum Erfassen mindestens einer Bodenlinie (26, 28, 30) innerhalb des ersten und des zweiten Bildes das Erfassen mindestens einer Bodenlinie an einem linken Rand (26), einer Bodenlinie an einem rechten Rand (28) und einer Bodenlinie in einer Mitte (30) innerhalb des ersten und des zweiten Bildes aufweisen.
Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass der Schritt zum Bestimmen einer Drehung des ersten Merkmalssatzes zwischen dem ersten und dem zweiten Bild das Bestimmen einer Abweichung zwischen der mindestens einen erfassten Bodenlinie (26, 28, 30) an einem fahrzeugseitigen Ende (32) und an einem vom Fahrzeug entfernten Ende (34) der Bodenlinie (26, 28, 30) im Vergleich zu einer Bodenfläche (36) ohne Neigung aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren einen zusätzlichen Schritt zum Bereitstellen eines Modells zum Schätzen der Neigung der Bodenfläche (44) basierend auf der Drehung des ersten Merkmalssatzes auf der Basis mehrerer erster Bilder aufweist; und der Schritt zum Schätzen einer Neigung der Bodenfläche (44) basierend auf der Drehung des ersten Merkmalssatzes zwischen dem ersten und dem zweiten Bild das Schätzen der Neigung der Bodenfläche (44) basierend auf dem Modell zum Schätzen der Neigung der Bodenfläche (44) und dem im zweiten Bild erfassten ersten Merkmalssatz aufweist.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass der Schritt zum Bereitstellen eines Modells zum Schätzen der Neigung der Bodenfläche (44) das Implementieren einer Regressionslinie aufweist.
Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass der Schritt zum Bereitstellen eines Modells zum Schätzen der Neigung der Bodenfläche (44) das Implementieren eines Kalman-Filters aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt zum Empfangen eines zweiten Bildes von der Kamera (16, 18, 20) das Empfangen des zweiten Bildes mit einer Verzögerung von mehreren Einzelbildern im Vergleich zum ersten Bild aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren einen Schritt zum Bestimmen eines zweiten Merkmalssatzes von einem Umgebungssensor zu einem ersten Zeitpunkt aufweist; das Verfahren ferner einen Schritt zum Bestimmen des zweiten Merkmalssatzes von dem Umgebungssensor zu einem zweiten Zeitpunkt aufweist; das Verfahren ferner einen Schritt zum Bestimmen einer Drehung des zweiten Merkmalssatzes zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt aufweist; und der Schritt zum Schätzen einer Neigung der Bodenfläche (44) zusätzlich das Berücksichtigen der Drehung des zweiten Merkmalssatzes zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Verfahrensschritte wiederholt ausgeführt werden, um die Merkmalskarte kontinuierlich zu aktualisieren.
Verfahren zum Erzeugen und/oder Aktualisieren einer Merkmalskarte für ein Fahrunterstützungssystem (12) eines Fahrzeugs (10), das eine Kamera (16, 18, 20) zum Erfassen einer Umgebung (24) des Fahrzeugs (10) verwendet, aufweisend folgende Schritte: Empfangen eines Bildes von der Kamera (16, 18, 20); Identifizieren einer Position von Merkmalen innerhalb des empfangenen Bildes; Schätzen einer Neigung der Bodenfläche (44) gemäß dem Verfahren nach einem der Ansprüche 1 bis 11; und Filtern der Position der Merkmale basierend auf der geschätzten Neigung der Bodenfläche (44).
Verfahren zum Erzeugen und/oder Aktualisieren einer Merkmalskarte für ein Fahrunterstützungssystem (12) eines Fahrzeugs (10), das eine Kamera (16, 18, 20) zum Erfassen einer Umgebung (24) des Fahrzeugs (10) verwendet, aufweisend folgende Schritte: Empfangen eines Bildes von der Kamera (16, 18, 20); Identifizieren einer Position von Merkmalen innerhalb des empfangenen Bildes; Bereitstellen eines Modells einer räumlichen Unsicherheit für die identifizierten Merkmale; Schätzen einer Neigung der Bodenfläche (44) gemäß dem Verfahren nach einem der Ansprüche 1 bis 11; und Morphen des Modells der räumlichen Unsicherheit basierend auf der geschätzten Neigung der Bodenfläche (44).
Fahrunterstützungssystem (12) eines Fahrzeugs (10), das eine Kamera (16, 18, 20) zum Erfassen einer Umgebung (24) des Fahrzeugs (10) verwendet, wobei das Fahrunterstützungssystem (12) dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Verfahrensansprüche 1 bis 13 auszuführen.