-
Die Erfindung betrifft ein Verfahren zur Erzeugung einer Umfeldinformation, welche wenigstens ein Umgebungsmerkmal in zumindest einem Teilbereich eines Umfelds eines Fahrzeugs beschreibt. Weiterhin betrifft die Erfindung eine Steuereinrichtung, ein Fahrzeug und ein Computerprogramm.
-
Für moderne Fahrzeuge gibt es eine Vielzahl von Funktionen, welche Kenntnis über das Umfeld das Fahrzeugs benötigen. Beispielweise gibt es Parkfunktionen, welche anhand erkannter Umgebungsmerkmale wie Bordsteinen, Linienmarkierungen, Parkmarkierungen, Fremdfahrzeugen usw. zur Verfügung stehende Parklätze erkennt und diese einem Benutzer des Fahrzeugs grafisch anzeigt. Zusätzlich oder alternativ dazu können die Umfeldinformationen auch für die Ermittlung von Trajektorien für eine autonome oder teilautonome Bewegung des Fahrzeugs herangezogen werden, beispielsweise um einen erkannten und/oder von einem Benutzer ausgewählten Parkplatz anzufahren.
-
Zum Erkennen der Umgebungsmerkmale können dabei unterschiedliche Umfeldsensoren eingesetzt werden. Umgebungsmerkmale wie Fremdfahrzeuge, Bordsteine oder dergleichen können zum Beispiel mittels Ultraschallsensoren und/oder mittels Radarsensoren erkannt werden. Linienmarkierungen oder Parkplatzmarkierungen auf einer Fahrbahnoberfläche können aufgrund ihrer geringen Höhe zum Beispiel mithilfe von optischen Kameras erfasst werden.
-
Die Umfeldsensoren des Fahrzeugs haben während der Aufnahme von Messdaten aus der Umgebung des Fahrzeugs eine Aufnahmehöhe, welche in der Regel durch die Einbauposition des Sensors im Fahrzeug vorgegeben ist. Da die Sensoren meist in oder an der Karosserie, zum Beispiel in einer Stoßstange, in einem Seitenspiegel oder an einem Heck des Fahrzeugs, angeordnet sind, ist die Aufnahmehöhe in der Regel auf einen Wert beschränkt, welcher kleiner als die Fahrzeughöhe ist. Für einen in einem Außenspiegel angeordneten Sensor ergibt sich beispielsweise eine Einbauhöhe von etwa 0,5 m bis 1 m oberhalb einer Straßenoberfläche.
-
Dies kann jedoch die Aufnahmequalität insbesondere eines Kamerasensors beeinflussen, welcher bodenseitige Fahrbahn- oder Parkplatzmarkierungen erfassen soll, vor allem wenn sich diese in einem vergleichsweise großen Abstand von mehreren Metern zum Fahrzeug befinden. Je flacher die Kamera am Fahrzeug angeordnet ist und je weiter ein zu erkennendes Umgebungsmerkmal von dem Fahrzeug entfernt ist, desto mehr räumliche Fläche entfällt auf ein Pixel eines Bildsensors der Kamera. Dies hat zur Folge, dass die Detektion des Umgebungsmerkmals bzw. die räumliche Lokalisierung eines erkannten Umgebungsmerkmals erschwert wird.
-
Der Erfindung liegt daher die Aufgabe zugrunde, die Detektion eines Umgebungsmerkmals, insbesondere eines flachen, bodenseitigen Umgebungsmerkmals, in einem Fahrzeugumfeld mit wenigstens einer Kamera des Fahrzeugs zu verbessern.
-
Zur Lösung dieser Aufgabe ist erfindungsgemäß vorgesehen, dass das Verfahren die folgenden Schritte umfasst:
- - Erfassen einer zumindest den Teilbereich abbildenden Bildinformation mithilfe wenigstens einer in einer tatsächlichen Aufnahmehöhe angeordneten Kamera des Fahrzeugs,
- - Erzeugen einer transformierten Bildinformation durch Transformieren der Bildinformation auf eine virtuelle Aufnahmehöhe, welche von der tatsächlichen Aufnahmehöhe der Kamera verschieden ist,
- - Erzeugen einer reduzierten Bildinformation durch Reduzieren einer Auflösung der transformierten Bildinformation und
- - Erzeugen der Umfeldinformation aus der reduzierten Bildinformation, wobei mithilfe wenigstens einer Rechenvorschrift in der reduzierten Bildinformation das wenigstens eine Umgebungsmerkmal und/oder wenigstens eine Eigenschaft des Umgebungsmerkmals ermittelt wird.
-
Die Kamera des Fahrzeugs ist als ein Umgebungssensor des Fahrzeugs ausgeführt und kann Bilder von der Umgebung bzw. dem Umfeld des Fahrzeugs aufnehmen. Die Kamera ist in einer festen oder veränderlichen Einbauposition am Fahrzeug angeordnet, aus welcher sich eine tatsächliche Aufnahmehöhe ergibt. In der Regel sind derartige Kameras zumindest in vertikaler Richtung fest montiert, sodass zumindest die vertikale Einbauhöhe, d.h. der Abstand der Kamera von einer Fahrbahnoberfläche, unveränderlich ist. Bei einer höhenverstellbaren Kamera kann die vertikale Einbauhöhe zumindest in einem gewissen Umfang veränderlich sein, sodass die tatsächliche Einbauhöhe innerhalb eines vorgegebenen Rahmens veränderlich ist. Jedoch ist auch in diesem Fall die mögliche vertikale Einbauhöhe limitiert.
-
Mithilfe der Kamera wird von einer tatsächlichen Aufnahmeposition aus, welche der aktuellen Position der Kamera bei der Bildaufnahme entspricht, eine zumindest einen Teilbereich des Fahrzeugumfeldes beschreibende Bildinformation aufgenommen. Die Bildinformation ist dabei insbesondere ein Kamerabild mit einer vorgegeben Bildauflösung, welche sich zum Beispiel aus der Auflösung eines Bildsensors der Kamera ergibt.
-
Die Bildinformation wird anschließend transformiert, wobei durch die Transformation die Aufnahmeposition virtuell geändert wird. Die transformierte Bildinformation ist gegenüber der tatsächlich aufgenommenen Bildinformation also derart verändert, als ob die transformierte Bildinformation aus einer von der tatsächlichen Aufnahmehöhe verschiedenen Aufnahmehöhe, welche als virtuelle Aufnahmehöhe bezeichnet wird, aufgenommen wurde. Dadurch ändert sich scheinbar der Beobachtungspunkt, von dem aus der Teilbereich der Umgebung sowie gegebenenfalls in diesem Teilbereich vorhandene Umgebungsmerkmale abgebildet werden.
-
Anschließend wird die Auflösung, d.h. die Anzahl der durch die transformierte Bildinformation beschriebenen Pixel, reduziert. Die Reduktion der Auflösung hat zum Beispiel den Effekt, dass eine nachfolgende Bearbeitung bzw. Auswertung der Bildinformation weniger Rechenleitung erfordert und somit zum Beispiel schneller erfolgen kann.
-
In diesem Zusammenhang ist anzumerken, dass das Transformieren der Bildinformation der Bildinformation keine weiteren Informationen hinzufügt, aber einen Einfluss auf den Informationsgehalt der transformierten Bildinformation hat. Durch das Transformieren der ursprünglichen Bildinformation kann also der Informationsgehalt der reduzierten Bildinformation für die Erkennung des wenigstens einen Umgebungsmerkmals und/oder für das Ermitteln der wenigstens einen Eigenschaft des Umgebungsmerkmals verbessert werden.
-
Nach dem Reduzieren der Auflösung wird aus der reduzierten Bildinformation die Umfeldinformation erzeugt, wobei mithilfe wenigstens einer Rechenvorschrift das wenigstens eine Umgebungsmerkmal und/oder wenigstens eine Eigenschaft des Umgebungsmerkmals in der reduzierten Bildinformation ermittelt wird. Durch die Reduktion der Auflösung nach dem Transformieren der Bildinformation auf einer oberhalb der tatsächlichen Aufnahmeposition liegenden virtuellen Aufnahmeposition kann erreicht werden, dass Umgebungsmerkmale, welche weiter vom Fahrzeug entfernt sind, besser in der reduzierten Bildinformation erkannt werden können.
-
Mit anderen Worten kann durch das Transformieren der Bildinformation auf eine höhere virtuelle Aufnahmeposition vor der Auflösungsreduzierung erreicht werden, dass auf Umgebungsmerkmale, welche weiter vom Fahrzeug entfernt liegen, mehr Pixel der reduzierten Bildinformation entfallen. Dies vereinfacht es zum Beispiel, dass Umgebungsmerkmal als solchen in der reduzierten Bildinformation zu erkennen und/oder eine Eigenschaft des Umgebungsmerkmals, zum Beispiel eine Position und/oder die Abmessungen des Umgebungsmerkmal, genauer aus der reduzierten Bildinformation zu ermitteln.
-
Die Umfeldinformation kann das Umgebungsmerkmal beschreiben, insbesondere den Typ des Umgebungsmerkmals und/oder seine relative Anordnung zum Fahrzeug. Es ist möglich, dass die Umfeldinformation eine Bildinformation ist, welche neben dem Teilbereich der Umgebung zum Beispiel auch wenigstens ein grafisch hervorgehobenes und/oder klassifiziertes Umgebungsmerkmal enthält. Alternativ dazu kann die Umfeldinformation auch eine Karteninformation sein. Auch die Verwendung einer Umfeldinformation eines weiteren Informationstyps sind möglich.
-
Neben der Bildinformation einer einzelnen Kamera können auch die Bildinformationen mehrerer Kameras zur Bildung der Umfeldinformation herangezogen werden. Dies ermöglicht beispielsweise, dass ein 360°-Bereich um das Fahrzeug erfasst und entsprechend in der Umfeldinformation abgebildet werden kann. Dabei kann jede von einer Kamera ermittelte Bildinformation wie vorangehend beschrieben verarbeitet werden. Alternativ dazu können die mehreren Bilddaten auch vor oder nach dem Transformieren und/oder zu weiteren Zeitpunkten während des vorangehend beschriebenen Verfahrens zu einer Gesamtansicht zusammengefügt werden. Es ist möglich, dass die Umfeldinformation auch in Abhängigkeit der Sensordaten wenigstens eines weiteren Umfeldsensors des Fahrzeugs, beispielsweise eines Ultraschallsensors, eines Radarsensors oder eines Lidarsensors, ermittelt wird.
-
Durch das erfindungsgemäße Verfahren kann somit eine verbesserte Genauigkeit bei der Ermittlung eines Umgebungsmerkmals, insbesondere eines flachen, bodenseitigen Umgebungsmerkmals, ermöglicht werden, ohne dass dafür die hochauflösende, ursprünglich von der Kamera ermittelte Bildinformation ausgewertet werden müsste. Vorteilhaft wird somit der Rechenaufwand bei der Durchführung der Rechenvorschrift zur Ermittlung des Umgebungsmerkmals bzw. zur Ermittlung der wenigstens einen Eigenschaft des Umgebungsmerkmals reduziert. Ferner kann die Umgebungsinformation für eine Vielzahl von weiteren Verfahren bzw. weiteren Fahrerassistenzsystemen verwendet werden, beispielsweise für eine Erkennung von Umgebungsobjekten wie Fremdfahrzeugen, Fußgängern oder Ähnlichem.
-
Erfindungsgemäß kann vorgesehen sein, dass die virtuelle Aufnahmehöhe in Abhängigkeit wenigstens eines Typs des zu ermittelnden Umgebungsmerkmals und/oder des Typs der zur ermittelnden Eigenschaft gewählt wird. Bevorzugt wird eine virtuelle Aufnahmehöhe verwendet, welche größer ist als die tatsächliche Aufnahmehöhe ist bzw. welche verglichen mit der tatsächlichen Aufnahmehöhe einen größeren Abstand von einer Fahrbahnoberfläche, auf der sich das Fahrzeug befindet, hat. Dabei kann beispielsweise die Differenz, um die die virtuelle Aufnahmehöhe größer als die tatsächliche Aufnahmehöhe ist, in Abhängigkeit des Typs des zu ermittelnden Umgebungsmerkmal und/oder des Typs der zur ermittelnden Eigenschaft ausgewählt werden. Dazu kann zum Beispiel eine Zuordnungsvorschrift verwendet werden, welche verschiedenen Typen von Umgebungsmerkmalen und/oder verschiedenen Eigenschaften von Umgebungsmerkmalen unterschiedliche Aufnahmehöhen zuordnet.
-
Es ist auch möglich, eine virtuelle Aufnahmehöhe zu verwenden, welche kleiner als die tatsächliche Aufnahmehöhe ist, wenn sich dies für Ermittlung des Umgebungsmerkmals und/oder der Eigenschaft des Umgebungsmerkmals mithilfe der Rechenvorschrift als vorteilhaft erweist.
-
In einer bevorzugten Ausgestaltung der Erfindung kann vorgesehen sein, dass eine virtuelle Aufnahmehöhe gewählt wird, welche zwischen 0,1 m und 2 m über der tatsächlichen Aufnahmehöhe und/oder zwischen 0,5 m und 2,5 m über einer Fahrbahnoberfläche liegt. Dadurch kann die Ermittlung von flachen, bodenseitigen Umgebungsmerkmalen verbessert werden, da diese auf diese in der reduzierten Bildinformation dann mehr Pixel entfallen. Auch eine Eigenschaft wie eine Position bzw. eine Breite und/oder eine Länge eines solchen Umgebungsmerkmals kann dabei vorteilhaft mit einer höheren Genauigkeit bestimmt werden. Bevorzugt kann die virtuelle Aufnahmehöhe insbesondere zwischen 0,5 m und 1 m über der Fahrbahnoberfläche liegen
-
Durch das Transformieren der Bildinformation kann erfindungsgemäß zusätzlich auch ein Blickwinkel der Kamera geändert werden. Dabei kann ein horizontaler und/oder ein vertikaler Blickwinkel der Kamera geändert werden. Auch die Änderung des Blickwinkels kann dabei in Abhängigkeit eines Typs eines zu ermittelnden Umgebungsmerkmals und/oder des Typs der zur ermittelnden Eigenschaft des Umgebungsmerkmals geändert werden.
-
Zusätzlich oder alternativ dazu kann durch das Transformieren der Bildinformation erfindungsgemäß auch eine laterale Position der Kamera geändert werden. Dabei kann die Kamera virtuell in Richtung einer Fahrzeuglängsachse des Fahrzeugs und/oder einer Fahrzeugquerachse des Fahrzeugs verschoben werden. Die laterale Verschiebung kann dabei insbesondere zumindest teilweise in das ursprüngliche Sichtfeld der Kamera hinein erfolgen, sodass für das neue Sichtfeld der lateral verschobenen Kamera auf die vorhandenen Bilddaten zurückgegriffen werden kann. Ein virtuelles laterales Verschieben der Kamera hinter ihren ursprünglichen Anordnungspunkt kann dabei vermieden werden.
-
Erfindungsgemäß kann vorgesehen sein, dass als Umgebungsmerkmal ein auf einer Fahrbahnoberfläche angeordnetes Umgebungsmerkmal, insbesondere ein Parkmarkierung, ein Bordstein oder ein Radstopper, ermittelt wird. Für derartige Umgebungsmerkmale kann durch das Verwenden einer insbesondere größeren Aufnahmehöhe eine verbesserte Erkennbarkeit ihrer Anwesenheit in dem Fahrzeugumfeld bzw. eine verbesserte Ermittlung wenigstens einer ihrer Eigenschaften wie Position, Breite, Länge, Orientierung relativ zu dem Fahrzeug usw. erreicht werden.
-
In einer bevorzugten Ausgestaltung der Erfindung kann vorgesehen sein, dass die Rechenvorschrift mithilfe eines neuronalen Netzes durchgeführt wird und/oder dass eine Rechenvorschrift verwendet wird, welche eine semantische Segmentierung der reduzierten Bildinformation und/oder eine Objekterkennung, insbesondere eine Parklückenerkennung, in der reduzierten Bildinformation ist oder umfasst. Die Verarbeitung der reduzierten Bildinformation durch das neuronale Netzwerk ist dabei vorteilhaft mit einem reduzierten Rechenaufwand bzw. einer reduzierten Rechendauer möglich. Das Umgebungsmerkmal bzw. die wenigstens eine Eigenschaft des Umgebungsmerkmals können beispielsweise mithilfe einer semantischen Segmentierung in der reduzierten Bildinformation ermittelt werden.
-
Erfindungsgemäß kann vorgesehen sein, dass die reduzierte Bildinformation oder die Umfeldinformation transformiert wird, insbesondere in eine Aufsicht auf das Fahrzeug. Es ist möglich, dass die reduzierte Bildinformation vor der Ermittlung des Umgebungsmerkmals bzw. der wenigstens einen Eigenschaft des Umgebungsmerkmals erneut transformiert wird, insbesondere, um eine weitere Änderung eines Blickwinkels bzw. eine Änderung der virtuellen Aufnahmeposition zu bewirken. Insbesondere kann die reduzierte Bildinformation in eine Aufsicht auf das Fahrzeug transformiert werden, wobei die Ermittlung des wenigstens einen Umgebungsmerkmals bzw. seiner Eigenschaft dann aus der Aufsicht erfolgt.
-
Alternativ dazu ist es möglich, dass die Umfeldinformation transformiert wird, beispielsweise, wenn diese neben einer Abbildung des Teilbereichs der Umgebung ein oder mehrere hervorgehobene Umgebungsmerkmale oder dergleichen umfasst.
-
In einer bevorzugten Ausgestaltung der Erfindung kann vorgesehen sein, dass die Umfeldinformation oder eine transformierte Umfeldinformation auf einer Anzeigeeinrichtung des Fahrzeugs dargestellt wird und/oder dass wenigstens ein Aktor des Fahrzeugs in Abhängigkeit der Umfeldinformation angesteuert wird. Durch das Darstellen der Umfeldinformation auf einer Anzeigeeinrichtung des Fahrzeugs, beispielsweise auf einem in einem Innenraum des Fahrzeugs angeordneten Display, kann dem Fahrer die Lage und/oder die Orientierung des wenigstens einen ermittelten Umgebungsmerkmals in Bezug zu dem Fahrzeug kenntlich gemacht werden.
-
Zusätzlich oder alternativ dazu kann auch wenigstens ein Aktor des Fahrzeugs, beispielsweise ein Querführungsaktor und/oder ein Längsführungsaktor des Fahrzeugs, in Abhängigkeit der Umgebungsinformation angesteuert werden. Dabei kann die Umgebungsinformation für einen teilautonomen oder autonomen Fahrbetrieb des Fahrzeugs, beispielsweise für einen zumindest teilweise automatisch ausgeführten Parkvorgang, verwendet werden.
-
Für eine erfindungsgemäße Steuereinrichtung ist vorgesehen, dass sie zur Durchführung eines erfindungsgemäßen Verfahrens eingerichtet ist. Die Steuereinrichtung ist dabei derart ausgeführt, dass sie mit wenigstens einer Kamera zum Erfassen der Bildinformation verbindbar ist.
-
Für ein erfindungsgemäßes Fahrzeug ist vorgesehen, dass es wenigstens eine Kamera sowie eine erfindungsgemäße Steuereinrichtung umfasst. Die wenigstens eine Kamera ist dabei mit der Steuereinrichtung verbunden, sodass die Bildinformation von der Kamera zu der Steuereinrichtung übertragen werden kann. Die Steuereinrichtung kann als eine zentrale Steuereinrichtung des Fahrzeugs ausgeführt sein und Bildinformationen von mehreren Kameras und/oder wenigstens einem weiteren Umfeldsensor des Fahrzeugs erhalten. Alternativ dazu ist es möglich, dass es sich bei der Steuereinrichtung um eine einer Kamera zugeordnete Steuereinrichtung handelt, welche beispielsweise mit der Kamera als eine gemeinsame Baueinheit ausgeführt ist.
-
Ein erfindungsgemäßes Computerprogramm umfasst Instruktionen, welche eine Steuereinrichtung dazu veranlassen, ein erfindungsgemäßes Verfahren auszuführen. Das Computerprogramm kann zum Beispiel auf einem transienten oder nicht-transienten Datenträger und/oder über eine Kommunikationsverbindung, zum Beispiel das Internet, bereitgestellt werden.
-
Sämtliche vorangehend in Bezug zu dem erfindungsgemäßen Verfahren beschriebenen Vorteile und Ausgestaltungen gelten entsprechend auch für die erfindungsgemäße Steuereinrichtung, das erfindungsgemäße Fahrzeug und das erfindungsgemäße Computerprogramm. Auch die Ausführungen zur erfindungsgemäßen Steuereinrichtung, dem erfindungsgemäßen Fahrzeug sowie dem erfindungsgemäßen Computerprogramm sind untereinander übertragbar und betreffen jeweils analog auch das erfindungsgemäße Verfahren.
-
Weitere Vorteile und Einzelheiten der Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnungen. Diese sind schematische Darstellungen und zeigen:
- 1 eine Darstellung eines erfindungsgemäßen Fahrzeugs zur Erläuterung eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens,
- 2 ein Blockdiagramm des Ausführungsbeispiels eines erfindungsgemäßen Verfahrens,
- 3 eine Darstellung zur Erläuterung des geometrischen Zusammenhangs zwischen einem Flächensegment auf der Fahrbahnoberfläche und den von der Kamera erfassten Bilddaten,
- 4 ein Diagramm, welches die Länge eines auf ein Pixel entfallenden Flächensegments in Abhängigkeit einer Entfernung des Flächensegments von der Kamera für verschiedene Aufnahmehöhen darstellt,
- 5 ein Ausführungsbeispiel einer Bildinformation und
- 6 ein Ausführungsbeispiel einer aus der Bildinformation erzeugten transformierten Bildinformation.
-
In 1 ist ein Ausführungsbeispiel eines Fahrzeugs 1 dargestellt. Das Fahrzeug umfasst wenigstens eine Kamera 2 zur Erfassung zumindest eines Teilbereichs eines Umfelds des Fahrzeugs 1. Die Kamera 2 ist dabei an einem Außenspiegel 3 des Fahrzeugs 1 angeordnet, wobei sich die Kamera 1 in einer Aufnahmehöhe H oberhalb einer Fahrbahnoberfläche 4, auf der sich das Fahrzeug befindet, fest am Fahrzeug 1 angeordnet ist. Abhängig vom Typ des Fahrzeugs 1 kann die Aufnahmehöhe zum Beispiel zwischen 0,5 m und 1 m betragen.
-
Das Fahrzeug 1 umfasst eine Steuereinrichtung 5, welche mit der wenigstens einen Kamera über eine Kommunikationsverbindung 6 zur Übertragung von Bildinformationen von der Kamera 2 an die Steuereinrichtung 5 verbunden ist. Die Steuereinrichtung 5 ist zur Durchführung eines Verfahrens zur Erzeugung einer Umfeldinformation, welche wenigstens ein Umgebungsmerkmal 7 in zumindest einem Teilbereich eines Umfelds des Fahrzeugs 1 beschreibt, eingerichtet.
-
In 2 ist ein Blockdiagramm eines Ausführungsbeispiels des Verfahrens zur Erzeugung der Umfeldinformation dargestellt.
-
In einem ersten Schritt S1 des Verfahrens wird eine zumindest den Teilbereich abbildende Bildinformation mithilfe der wenigstens einen in der tatsächlichen Aufnahmehöhe H angeordneten Kamera 2 des Fahrzeugs 1 erfasst.
-
Die erfasste Bildinformation wird anschließend in einem Schritt S2 auf eine virtuelle Aufnahmehöhe V transformiert, wobei die virtuelle Aufnahmehöhe V von der tatsächlichen Aufnahmehöhe H der Kamera 2 verschieden ist. Dadurch ergibt sich eine virtuelle Anordnungsposition 8 der Kamera 2, welche in 1 beispielsweise als eine Position oberhalb der tatsächlichen Anordnungsposition bzw. dem Montageort der Kamera 2 dargestellt ist. Die virtuelle Aufnahmehöhe V kann in dem Verfahren zur Ermittlung der Umgebungsinformation bevorzugt derart gewählt werden, dass sie zwischen 0,1 m und 2 m über der tatsächlichen Aufnahmehöhe H und/oder zwischen 0,5 m und 2,5 m über der Fahrbahnoberfläche 4 liegt.
-
Anschließend wird in einem Schritt S3 eine reduzierte Bildinformation durch Reduzieren einer Auflösung der transformierten Bildinformation erzeugt. Mit anderen Worten wird die Anzahl der Pixel, welche den Teilbereich der Umgebung des Fahrzeugs 1 von der virtuellen Anordnungsposition 8 der Kamera 2 aus abbilden, reduziert, sodass die reduzierte Bildinformation eine verringerte Datenmenge umfasst.
-
Aus der reduzierten Bildinformation wird in einem Schritt S4 die Umfeldinformation erzeugt, wobei mithilfe wenigstens einer Rechenvorschrift das wenigstens eine Umgebungsmerkmal 7 und/oder wenigstens eine Eigenschaft des Umgebungsmerkmals 7 in der reduzierten Bildinformation ermittelt wird.
-
Das virtuelle Verschieben der Kamera 2 vor dem Reduzieren der Auflösung der Bildinformation hat den Effekt, dass das Umgebungsmerkmal 7, welches beispielsweise ein flaches, bodenseitiges Umgebungsmerkmal wie eine Parkmarkierung, ein Bordstein oder ein Radstopper ist, nach dem Reduzieren der Auflösung durch eine größere Anzahl an Pixeln bzw. Bildpunkten in der reduzierten Bildinformation abgebildet wird, als es ohne die vorhergehende Transformation der Fall wäre.
-
Wie in 1 gezeigt wird, kann dieser Zusammenhang dadurch verdeutlicht werden, dass das Umgebungsmerkmal 7 bei einer in der virtuellen Aufnahmehöhe V angeordneten Kamera 2 einen Winkelbereich 9 abdeckt, welcher größer ist als der Winkelbereich 10 bei einer in der tatsächlichen Aufnahmehöhe H angeordneten Kamera 2. Dadurch kann nach der Verringerung der Auflösung in der Bildinformation die geometrische Limitierung bei der Erkennung des Umgebungsmerkmals 7 und/oder bei der Ermittlung seiner Eigenschaften wie der Position, der Länge und der Breite usw. reduziert werden.
-
Vorteilhaft kann bei der anschließenden Verarbeitung der Bildinformation zur Ermittlung der Umgebungsinformation gegenüber einer Verwendung der ursprünglichen Bildinformation der Rechenaufwand reduziert werden bzw. gegenüber der Verarbeitung von nicht transformierten, reduzierten Bilddaten die Genauigkeit bei der Ermittlung des Umgebungsmerkmals 7 und/oder seiner wenigstens einen Eigenschaft gesteigert werden.
-
In
3 ist schematisch die auf ein Pixel eines Bildsensors der Kamera 2 entfallende Länge x in einer lateralen Entfernung d dargestellt. Die Kamera 2 ist dabei in einer variablen Aufnahmehöhe h angeordnet. Die auf das Pixel entfallende Länge x bedingt die Auflösung, mit der ein Umgebungsmerkmal in der Entfernung d in der von der Kamera 2 erfassten Bildinformation beschrieben wird. Die auf ein Pixel entfallende Länge x kann dabei mit der folgenden Formel berechnet werden:
wobei Res die Auflösung des Bildsensors der Kamera 2 beschreibt.
-
In 4 sind für verschiedene Aufnahmehöhen h jeweils die auf ein Pixel entfallende Länge x abhängig von der Entfernung d von der Kamera 2 bzw. vom Fahrzeug 1 dargestellt. Ersichtlich ermöglicht eine größere Aufnahmehöhe h ein präziseres Erfassen eines Umgebungsmerkmals.
-
Da die tatsächliche Höhe der Kamera bei einem Fahrzeug oft nicht geändert werden kann, ergibt sich keine Möglichkeit, die auf ein Pixel zu entfallende Länge zu ändern. Durch die Transformation der Bildinformation der Kamera vor dem Reduzieren der Auflösung kann jedoch erreicht werden, dass nach der Reduktion der Auflösung eine verbesserte Darstellung bzw. Abbildung des Umgebungsmerkmals in der reduzierten Bildinformation enthalten ist.
-
5 zeigt ein Ausführungsbeispiel einer in der tatsächlichen Aufnahmehöhe H erfassten Bildinformation. 6 zeigt diese Bildinformation nach dem Transformieren auf eine virtuelle Aufnahmehöhe V, welche größer ist als die tatsächliche Aufnahmehöhe H. Ersichtlich können die Umgebungsmerkmale 7, bei welchen es sich vorliegend um Parkplatzmarkierungen handelt, besser erkannt werden, da mehr Bildfläche der Bildinformation auf diese Umgebungsmerkale 7 entfällt. Dies bewirkt analog, dass nach einem Verkleinern der Auflösung der transformierten Bildinformation mehr Pixel auf die einzelnen Umgebungsmerkmale 7 entfallen als es nach einer Verkleinerung der Auflösung der nicht transformierten, ursprünglichen Bildinformation nach 5 der Fall wäre. Es ist möglich, dass zu einem beliebigen Zeitpunkt des Verfahrens nach dem Erfassen der Bildinformation die Bildinformation einer weiteren Transformation unterworfen wird, beispielsweise um Objektivverzerrung einer Fischaugenlinse oder Ähnliches auszugleichen.
-
Die virtuelle Aufnahmehöhe V kann in Abhängigkeit wenigstens eines Typs des zu ermittelnden Umgebungsmerkmal und/oder des Typs der zur ermittelnden Eigenschaft gewählt werden. Bevorzugt kann eine virtuelle Aufnahmehöhe V verwendet werden, welche größer ist als die tatsächliche Aufnahmehöhe H ist, bzw. welche einen größeren Abstand von der Fahrbahnoberfläche 4 hat. Dabei kann beispielsweise die Differenz, um die die virtuelle Aufnahmehöhe V größer als die tatsächliche Aufnahmehöhe H ist, in Abhängigkeit des Typs eines zu ermittelnden Umgebungsmerkmals 7 und/oder des Typs der zur ermittelnden Eigenschaft des Umgebungsmerkmals 7 ausgewählt werden. Dabei kann zum Beispiel eine Zuordnungsvorschrift in der Steuereinrichtung 5 hinterlegt sein, welche verschiedenen Typen von zu erfassenden Umgebungsmerkmalen 7 und/oder verschiedenen Eigenschaften von zu erfassenden oder erfassten Umgebungsmerkmalen unterschiedliche virtuelle Aufnahmehöhen V zuordnet.
-
Es ist möglich, dass durch das Transformieren der Bildinformation zusätzlich auch ein Blickwinkel der Kamera 2 geändert wird. Dabei kann ein horizontaler und/oder ein vertikaler Blickwinkel der Kamera 2 geändert werden. Auch die Änderung des Blickwinkels kann dabei in Abhängigkeit eines Typs eines zu ermittelnden Umgebungsmerkmals 7 und/oder des Typs der zur ermittelnden Eigenschaft des Umgebungsmerkmals 7 geändert werden, wobei auch diese Abhängigkeit als eine Zuordnungsvorschrift in der Steuereinrichtung 5 hinterlegt werden kann.
-
Zusätzlich oder alternativ dazu kann durch das Transformieren der Bildinformation auch eine laterale Position der Kamera 2 virtuell geändert werden. Dabei kann die Kamera 2 virtuell in Richtung einer Fahrzeuglängsachse des Fahrzeugs 1 und/oder einer Fahrzeugquerachse des Fahrzeugs 1 parallel zu der Fahrbahnoberfläche 4 verschoben werden. Die Änderung der lateralen Position der Kamera 2 kann dabei ebenfalls in Abhängigkeit eines Typs eines zu ermittelnden Umgebungsmerkmals 7 und/oder des Typs der zur ermittelnden Eigenschaft des Umgebungsmerkmals 7 geändert werden, wobei auch diese Abhängigkeit als eine Zuordnungsvorschrift in der Steuereinrichtung 5 hinterlegt sein kann.
-
Die Rechenvorschrift zur Ermittlung des wenigstens einen Umgebungsmerkmals und/oder der wenigstens einen Eigenschaft des Umgebungsmerkmals kann mithilfe eines neuronalen Netzes durchgeführt werden. Die Rechenvorschrift kann dabei von der Steuereinrichtung 5 durchgeführt werden, wozu die Rechenvorschrift bzw. das neuronale Netz beispielsweise in einer Speichereinrichtung der Steuereinrichtung 5 hinterlegt sein kann. Zur Ermittlung des wenigstens einen Umgebungsmerkmals 7 kann bevorzugt eine Rechenvorschrift verwendet werden, welche eine semantische Segmentierung der reduzierten Bildinformation ist oder umfasst, wobei durch die semantische Segmentierung das Umgebungsmerkmal und/oder eine oder mehrere Eigenschaften des Umgebungsmerkmalen in der Bildinformation ermittelt werden können. Zusätzlich oder alternativ dazu kann auch eine Rechenvorschrift verwendet werden, welche eine Objekterkennung, insbesondere eine Parklückenerkennung, in der reduzierten Bildinformation ist oder umfasst.
-
Es ist möglich, dass die reduzierte Bildinformation oder die Umfeldinformation transformiert werden, insbesondere in eine Aufsicht auf das Fahrzeug 1. Dies ermöglicht es, flache und bodenseitige Umgebungsmerkmale mit der Rechenvorschrift aus der Aufsicht auf das Fahrzeug 1 zu ermitteln bzw. eine Aufsicht mit beispielsweise markierten und/oder hervorgehobenen Umgebungsmerkmalen darzustellen.
-
Die Umfeldinformation oder eine transformierte Umfeldinformation kann auf einer Anzeigeeinrichtung des Fahrzeugs dargestellt werden und von einem Benutzer des Fahrzeugs 1 somit für das Navigieren des Fahrzeugs 1, beispielsweise im Rahmen eines Parkvorgangs, verwendet werden. Zusätzlich oder alternativ dazu ist es möglich, dass wenigstens ein Aktor (nicht dargestellt) des Fahrzeugs 1 in Abhängigkeit der Umfeldinformation angesteuert wird. Bei dem Aktor kann es sich zum Beispiel um einen Querführungsaktor und/oder einen Längsführungsaktor handeln, sodass in Abhängigkeit der ermittelten Umfeldinformation ein teilautonomes oder autonomes Fahrmanöver ausgeführt werden kann. Bei dem Fahrmanöver kann es sich zum Beispiel um einen zumindest teilweise automatisierten Parkvorgang handeln.
-
Es ist möglich, dass das Verfahren auch bei wenigstens einer Kamera 2 ausgeführt wird, welche an einer anderen Position am Fahrzeug 2 angeordnet ist. Weiterhin ist es möglich, dass das Fahrzeug neben der Kamera 2 wenigstens einen weiteren Umfeldsensor, zum Beispiel einen Radarsensor, einen Ultraschallsensor und/oder einen Lidarsensor umfasst. Dabei kann die Umfeldinformation zusätzlich auch in Abhängigkeit von Sensordaten des wenigstens einen weiteren Umfeldsensors ermittelt werden.
-
Das Fahrzeug 1 kann zum Beispiel ein Personenkraftwagen oder ein Lastkraftwagen sein. Auch eine Ausführung als schienengebundenes Fahrzeug, als ein unmotorisiertes Fahrzeugs, zum Beispiel als Anhänger und/oder als weiterer Fahrzeugtyp sind möglich.
