-
Die Erfindung betrifft ein Verfahren zur Bestimmung eines Überlappungsgrades mindestens eines Objektes mit mindestens einem Fahrstreifen mittels einer Repräsentation einer Umgebung einer Plattform als zweidimensionales Pixeldatenfeld.
-
Stand der Technik
-
Fahrerassistenzsysteme nutzen zur Abstandsregelung typischerweise RADAR-Sensoren. Diese RADAR-Sensoren ermöglichen eine präzise Bestimmung des Abstandes des RADAR-Sensors von Objekten, wie beispielsweise Kraftfahrzeugen. Für eine Abstandsmessung mit einer auf der Messung aufbauenden Abstandsregelung muss aus mehreren Objekten, die von einem RADAR-Sensor erfasst werden können, ein relevantes Zielobjekt für die Abstandsregelung ausgewählt werden können. Da RADAR-Sensoren direkt Entfernungen bestimmen, findet eine Auswahl des Zielfahrzeuges gemäß dem Stand der Technik im dreidimensionalen Raum statt.
Dabei wird die Auswahl eines Zielfahrzeuges, bei einer Ein-Sensor Strategie für die Abstandsregelung mittels RADAR-Daten, ohne Kenntnisse über den Verlauf von Fahrstreifen, nur aus einer zeitlichen Verfolgung der Objekte abgeleitet.
Bei einem Zwei-Sensor System für eine Abstandsregelung, das einen RADAR-Sensor und eine Video-Sensor mit videobasierter Fahrstreifenmarkierungs-Erkennung aufweist, wird die Fahrstreifeninformation in den dreidimensionalen Messraum des RADAR-Sensors transformiert.
-
Offenbarung der Erfindung
-
Eine Transformation vom einem zweidimensionalen Bildraum in einen dreidimensionalen Raum ist mehrdeutig und rauschbehaftet, sodass eine videobasierte Ein-Sensor Strategie, die eine Messung beispielsweise einer Fahrstreifenmarkierung des Bildsensors in einen dreidimensionalen Raum transferiert, ergeben die folgenden Nachteile.
Die Transformation von im zweidimensionalen Raum, also in einer zweidimensionalen (2D) Repräsentation einer Umgebung eines Fahrzeugs, erkannten Fahrstreifenmarkierungen in einen dreidimensionalen (3D) Raum können zahlreiche Fehler auftreten bzw. Modellannahmen verletzt werden. Dies resultiert in fehlerhaft identifizierten Fahrstreifen in einer dreidimensionalen Repräsentation der Umgebung. Die daran anschließende Auswahl des Zielfahrzeugs kann allerdings nur begrenzt Ausreißer und starkes Rauschen kompensieren. Dies führt dazu, dass falsche oder keine Objekte als Zielobjekt ausgewählt werden.
-
Insbesondere in größeren Entfernungen ist die Auswirkung der genannten Probleme besonders stark. Das liegt zum einen an der, im Verhältnis zur Fahrzeugdetektion bzw. Objektdetektion, begrenzten Reichweite der Markierungserkennung. Zum anderen steigt das Rauschen der Transformation von einer zweidimensionalen in eine dreidimensionale Repräsentation der Umgebung bei Videosensoren exponentiell mit der Entfernung an.
An einem Stauende kann dadurch beispielsweise ein stehendes Fahrzeug sehr früh detektiert werden, aber gegebenenfalls keinem Fahrstreifen zugeordnet werden. Dadurch ist ein eventuell notwendiger Eingriff in die Führung eines zumindest teilweise automatisierten Fahrzeuges nicht komfortabel realisierbar.
-
Die vorliegende Erfindung offenbart ein Verfahren zur Bestimmung eines Überlappungsgrades eines Objektes mit einem Fahrstreifen, ein Verfahren zur Identifikation eines Zielobjektes, ein Verfahren zur Zuordnung mindestens eines Objektes zu Fahrstreifen, eine Vorrichtung, ein Computerprogramm, sowie ein maschinenlesbares Speichermedium gemäß den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Ansprüche sowie der nachfolgenden Beschreibung.
-
Die Erfindung beruht auf der überraschenden Erkenntnis, dass Auswertungen und Vergleiche von Dimensionen von Elementen einer Repräsentation einer Umgebung einer Plattform, wie beispielsweise einem Fahrzeug, in einer zweidimensionalen Darstellung genauer sein können, als in einer dreidimensionalen Darstellung.
-
Das Verfahren gemäß einem Ausführungsbeispiel bestimmt einen Überlappungsgrad mindestens eines Objektes mit mindestens einem Fahrstreifen mittels einer Repräsentation einer Umgebung einer Plattform als zweidimensionales Pixeldatenfeld.
Dabei wird in einem Schritt mindestens eine Fahrstreifen-Pixel-Gruppe zu Pixeln des zweidimensionalen Pixeldatenfeldes zugeordnet, die entsprechend mindestens einen Fahrstreifen repräsentieren.
In einem weiteren Schritt wird mindestens eine Objekt-Pixel-Gruppe Pixeln des zweidimensionalen Pixeldatenfeldes zugeordnet, die entsprechend mindestens ein Objekt repräsentieren.
In einem weiteren Schritt wird mindestens ein Objekt-Pixel-Paar im zweidimensionalen Pixeldatenfeld definiert, das eine Breite der mindestens einen Objekt-Pixel-Gruppe charakterisiert.
In einem weiteren Schritt werden das Objekt-Pixel-Paar und die Fahrstreifen-Pixel-Gruppe im zweidimensionalen Pixeldatenfeld verglichen.
-
In dieser gesamten Beschreibung ist die Abfolge von Verfahrensschritten so dargestellt, dass das Verfahren leicht nachvollziehbar ist bzw. einer bevorzugten Ausführungsform entspricht. Der Fachmann wird aber erkennen, dass viele der Verfahrensschritte auch in einer anderen Reihenfolge durchlaufen werden können und zu dem gleichen Ergebnis führen. In diesem Sinne kann die Reihenfolge der Verfahrensschritte entsprechend geändert werden.
-
Für ein zumindest teilweise automatisiertes Fahrzeug, aber auch für ein Fahrerassistenzsystem ist die Zuordnung von, mittels Sensorsystemen unterschiedlichen Typs identifizierter Objekte wie Fahrzeugen zu einem Fahrstreifen in der Verkehrsumgebung von hoher Bedeutung. Eine solche Zuordnung kann mittels eines Überlappungsgrades quantifiziert werden, denn es ist nicht nur relevant, ob ein Fahrzeug vollständig in einem Fahrstreifen fährt. Für eine sichere Fahrweise sind insbesondere Spurwechsel, bei denen der Überlappungsgrad mit einzelnen Fahrstreifen zu- oder abnimmt relevant, außerdem ist das Erkennen von einem teilweise Befahren eines Fahrstreifens durch ein anderes Fahrzeug beispielsweise relevant für eine Entscheidung in Bezug auf eine freie Befahrbarkeit eines Fahrstreifens.
-
Ein Überlappungsgrad beispielsweise eines Objektes mit einem Fahrstreifen gibt an, zu welchem Anteil eine Ausdehnung eines Objektes mit einer Ausdehnung eines Fahrstreifens übereinstimmt. Wenn als ein Beispiel für ein Objekt ein Fahrzeug vollständig innerhalb eines Fahrstreifens fährt, wäre die Überlappung vollständig d.h. der Überlappungsgrad beträgt 100 %. Bei einem Wechsel der Fahrstreifen von einem Objekt, wie beispielsweise einem Fahrzeug, kann ein solcher Überlappungsgrad einen Anteilswert von 0 bis 100 % überstreichen und damit angeben, inwieweit ein Spurwechsel abgeschlossen ist. Analog kann der Überlappungsgrad entsprechend auch abnehmen.
-
Eine Repräsentation einer Umgebung einer Plattform, wie beispielsweise ein zumindest teilautomatisiertes Fahrzeug, ein Roboter oder ein Fahrzeug mit Fahrerassistenzsystem, für beispielsweise weitere Auswertungen, kann mittels einer zweidimensionalen Darstellung der dreidimensionalen Umgebung erfolgen. Insbesondere kann eine solche zweidimensionale Darstellung mit einem zweidimensionalen Datenfeld realisiert sein, bei dem die, mit zwei Dimensionen charakterisierten, Einzelpositionen Informationen tragen, die die dreidimensionale Umgebung nach ihrer Transformation in zwei Dimensionen beschreiben und/oder repräsentieren. Insbesondere kann das Informationen über optische Eigenschaften der dreidimensionalen Umgebung betreffen, aber diese mit zwei Dimensionen definierten Einzelpositionen können auch weitere Informationen beinhalten. Beispielsweise können diese Informationen die Ausgabewerte eines optischen bildgebenden Systems, wie einer digitalen Kamera oder ein digitales Videosystem betreffen, so dass diese Informationen Helligkeitsinformationen und Farbinformationen aufweisen. In diesem Fall wäre beispielsweise die optische Abbildung einer Umgebung eine Repräsentation einer Umgebung, die mittels eines zweidimensionalen Pixeldatenfeldes angegeben werden kann. Darüber hinaus können auf unterschiedlichen Sensortypen basierenden Informationen über die dreidimensionale Umgebung für eine solche zweidimensionale Darstellung der dreidimensionalen Umgebung alternativ oder zusätzlich verwendet werden. Insbesondere können beliebige Kamerasysteme wie Front-Mono-Kameras, Stereo-Kameras, Fisheye-Kameras oder beliebige Multikamerasysteme verwendet werden. Als ein weiteres Beispiel für ein bildgebendes Sensorsystem kann ein LIDAR-Sensor angeführt werden.
-
Für die leichtere Verständlichkeit des Verfahrens wird in diesem Zusammenhang von einem zweidimensionalen Pixeldatenfeld gesprochen, wobei die Pixeldaten des zweidimensionalen Feldes im oben genannten Sinn zu verstehen sind und nicht auf optische Pixeldaten beschränkt sind.
-
Als Objekte können sowohl statische als auch dynamische Objekte identifiziert und zugeordnet werden. Für eine Umgebung wie eine Verkehrssituation können diese Objekte insbesondere Kraftfahrzeuge wie Personenkraftwagen oder Lastkraftwagen darstellen.
-
Eine solche Plattform kann insbesondere eine mobile Plattform sein, für die als ein Beispiel insbesondere ein zumindest teilautomatisiertes Fahrzeug, eine Drohne, die ein Robotersystem, oder ein Serviceroboter genannt werden kann. Eine solche mobile Plattform kann aber auch ein Fahrzeug darstellen, das mit einem Fahrerassistenzsystem ausgestattet ist.
-
Ein Fahrstreifen gibt den Bereich einer Straße an, der einem Fahrzeug für die Fahrt in eine Richtung zur Verfügung steht. Eine Fahrspur gibt mittels Markierungen einen Streifen auf einer Straße an, der für die Fahrt in eine festgelegte Richtung vorgesehen ist. Damit beinhaltet der Begriff Fahrstreifen in dieser Beschreibung den Begriff Fahrspur.
Fahrstreifen haben oftmals lediglich fahrbahnbegrenzende Elemente in Form von baulichen Elementen wie beispielsweise Bordsteine, Zäune oder Mauern oder unterschiedliche Oberflächenbeschaffenheit wie beispielsweise einen Übergang von Asphalt zur Gras.
-
Eine Identifikation eines Fahrstreifens kann durch eine Vielzahl von Verfahren realisiert werden, wie beispielsweise durch eine Identifikation von Fahrbahnmarkierungen bzw. Fahrstreifenmarkierung innerhalb eines optischen Bildes durch beispielsweise mathematische Faltungs-Operationen, die Helligkeitskontraste verstärken können oder andere geeignete Techniken. Eine solche Identifikation kann mittels des zweidimensionalen Pixeldatenfeldes, oder auch insbesondere mittels anderer Verfahren, die Informationen aus der dreidimensionalen Umgebung auswerten, erfolgen.
Ein solcher identifizierter Fahrstreifen wird in dem zweidimensionalen Pixeldatenfeld einer Fahrstreifen-Pixel-Gruppe zugeordnet, die somit den Fahrstreifen repräsentieren.
-
Auch eine Identifikation von Objekten der Umgebung einer Plattform kann mit einer Vielzahl von Verfahren, sowohl mittels des zweidimensionalen Pixeldatenfeldes als auch beispielsweise mittels dreidimensionaler Darstellungen der Umgebung durchgeführt werden. Beispielsweise mittels Verfahren, die auf regelbasierter Logik oder neuronalen Netzwerk-Techniken basieren. Diese identifizierten Objekte werden dann in dem zweidimensionalen Pixeldatenfeld je einer Objekt-Pixel-Gruppe zugeordnet, die damit die entsprechenden Objekte repräsentieren.
-
Für die Charakterisierung einer Breite zumindest einer Objekt-Pixel-Gruppe wird ein Objekt-Pixel-Paar in dem zweidimensionalen Pixeldatenfeld definiert. Entsprechend der Beschaffenheit des identifizierten Objektes kann dieses Objekt-Pixel-Paar auf unterschiedliche Weise definiert werden. Beispielsweise kann um eine Objekt-Pixel-Gruppe in dem zweidimensionalen Pixeldatenfeld ein rechteckiger Rahmen, der das Objekt-Pixel-Paar umschließt, definiert werden. Das Objekt-Pixel-Paar kann dann auf diesem rechteckigen Rahmen so gewählt werden, dass es eine Breite der Objekt-Pixel-Gruppe definiert. Als ein weiteres Beispiel kann das Objekt-Pixel-Paar auch durch Pixel in dem zweidimensionalen Pixeldatenfeld definiert werden, die an einem unteren Rand der Objekt-Pixel-Gruppe maximal weit auseinanderliegen.
-
Indem das Objekt-Pixel-Paar mit der Fahrstreifen-Pixel-Gruppe im zweidimensionalen Pixeldatenfeld verglichen wird, kann ein Verhältnis einer Breite eines Objektes mit einer Ausdehnung bzw. einer Breite der Fahrstreifen-Pixel-Gruppe die einen Fahrstreifens in dem zweidimensionalen Pixeldatenfeld repräsentiert, bestimmt werden.
-
Dieses einfache Verfahren kann eine hohe Genauigkeit erzielen, da es keine Transformation aus einer zweidimensionalen Darstellung der Umgebung in eine dreidimensionale Darstellung benötigt. Denn eine Transformation aus einer zweidimensionalen Darstellung in eine dreidimensionale Darstellung der Umgebung ist nicht eindeutig und damit fehlerbehaftet. Bei diesem Verfahren werden die Informationen über die Objekte und die Informationen über die Fahrstreifen in dem zweidimensionalen Pixeldatenfeld fusioniert und können so mit einfachen Schritten miteinander ins Verhältnis gesetzt bzw. verglichen werden. Das Verfahren kann parallel zu anderen Verfahren, die auch einen Überlappungsgrad von Objekten mit Fahrstreifen bestimmen, verwendet werden. Bei einigen existierenden Systemen kann das Verfahren gegebenenfalls auch durch eine Modifikation der Software realisiert werden.
-
Gemäß einer Ausgestaltung dieses Verfahrens wird vorgeschlagen, dass das mindestens eine Objekt-Pixel-Paar mit der Fahrstreifen-Pixel-Gruppe innerhalb genau einer Pixelzeile des Pixeldatenfeldes verglichen wird.
-
Dadurch kann erreicht werden, dass ein möglichst geringer Versatz bei der Bestimmung des Überlappungsgrades in Bezug auf die Stelle der Umgebung erreicht wird. Denn durch eine Transformation der naturgemäß dreidimensionalen Umgebung in eine zweidimensionale Darstellung erfolgt immer eine perspektivische Verzerrung, die bei einem Versatz einen Fehler bei der Bestimmung des Überlappungsgrades hervorrufen kann.
-
Gemäß einer Ausgestaltung dieses Verfahrens wird vorgeschlagen, dass eine erste Menge von Pixeln, die zwischen dem Objekt-Pixel-Paar in dem zweidimensionalen Pixeldatenfeld liegen und das Objekt-Pixel-Paar einschließen, mit einer zweiten Menge von Pixeln der Fahrstreifen-Pixel-Gruppe verglichen wird, die in der gleichen Pixelzeile des Pixeldatenfeldes liegen wie das Objekt-Pixel-Paar.
-
Somit kann die Breite des Objektes einfach mit einer ersten Menge von Pixeln beschrieben und abgezählt werden, und eine Breite des Fahrstreifens kann einfach mit einer zweiten Menge von Pixeln in dem zweidimensionalen Pixeldatenfeld beschrieben und abgezählt werden.
-
Gemäß einer Ausgestaltung dieses Verfahrens wird vorgeschlagen, dass in einem weiteren Schritt des Verfahrens eine Schnittmenge von Pixeln der ersten Menge von Pixeln mit der zweiten Menge von Pixeln bestimmt wird. In einem weiteren Schritt wird der Überlappungsgrad des mindestens eines Objekts mit dem mindestens einen Fahrstreifen durch Berechnen der Verhältnisse einer Anzahl der Pixel der bestimmten Schnittmenge zu einer Anzahl von Pixeln der ersten Menge bestimmt.
-
Somit kann quantitativ bestimmt werden zu welchem Grad die Breite eines Objektes mit dem Fahrstreifen überlappt.
-
Gemäß einer Ausgestaltung dieses Verfahrens wird vorgeschlagen, dass das mindestens eine repräsentierte Objekt einer Kategorie zugeordnet wird, und abhängig vom Ergebnis der Kategorisierung der Überlappungsgrad bestimmt wird.
-
Mittels einer solchen Kategorisierung kann entschieden werden, ob die Bestimmung des Überlappungsgrades durchgeführt werden soll oder ob bei der Bestimmung des Überlappungsgrades eine Bestimmung der Objektbreite abhängig von der Kategorisierung erfolgt. Beispielsweise kann die Bestimmung der Breite eines Lastkraftwagens und eines Personenkraftwagens auf unterschiedliche Art durchgeführt werden.
-
Gemäß einer Ausgestaltung dieses Verfahrens wird vorgeschlagen, dass ein Pixel-Rahmen in dem zweidimensionalen Pixeldatenfeld zugeordnet wird, der die mindestens eine Objekt-Pixel-Gruppe umschließt. Das Objekt-Pixel-Paar, das eine Breite der mindestens einen Objekt-Pixel-Gruppe charakterisiert, wird auf dem Pixel-Rahmen so angeordnet, dass es eine Breite der Objekt-Pixel-Gruppe charakterisiert.
-
Weiterhin kann ein Pixel-Rahmen auch der Form des Objektes bzw. der Objekt-Pixel-Gruppe angepasst werden. Dies entspricht dann einer äußeren Hülle eines Objektes und eine Breite der Objekt-Pixel-Gruppe kann durch ein Objekt-Pixel-Paar charakterisiert werden, das auf diesem der Form angepassten Pixel-Rahmen innerhalb einer Zeile maximal weit auseinanderliegt. Weiterhin können auch Kontaktpunkte des Objektes mit dem Fahrstreifen identifiziert werden, wie beispielsweise Kontaktpunkte der Reifen mit dem Fahrstreifen und die Breite der Objekt-Pixel-Gruppe kann dann durch diese Punkte charakterisiert werden.
-
Gemäß einer weiteren Ausgestaltung des Verfahrens wird vorgeschlagen, dass das Identifizieren des mindestens einen, durch eine Objekt-Pixel-Gruppe repräsentierte, Objektes durch eine regelbasierte Logik oder durch ein neuronales Netz erfolgt.
Das Identifizieren kann mittels des zweidimensionalen Pixeldatenfeldes oder mittels Verfahren, die dreidimensionalen Raum ablaufen, erfolgen, wobei das identifizierte Objekt dann in einem weiteren Schritt Pixeln einer Objekt-Pixel-Gruppe des zweidimensionalen Pixeldatenfeldes zugeordnet wird.
Mittels dieser unterschiedlichen Verfahren zum Identifizieren von Objekten der Umgebung einer Plattform kann für jede Umgebung und jedes Objekt das am besten geeignete Verfahren zur Identifikation von Objekten gewählt werden.
-
Gemäß einer weiteren Ausgestaltung des Verfahrens wird vorgeschlagen, dass die mindestens eine Fahrstreifen-Pixel-Gruppe den Pixeln des zweidimensionalen Pixeldatenfeldes mittels mindestens einer Markierungs-Pixel-Gruppe des zweidimensionalen Pixeldatenfeldes, die eine Fahrstreifenbegrenzung repräsentiert, zugeordnet wird.
-
Sofern mittels der Repräsentation der Umgebung im zweidimensionalen Pixeldatenfeld oder auf eine andere Art und Weise nur eine Fahrstreifenbegrenzung identifiziert wird, kann diese Fahrstreifenbegrenzung Pixeln des zweidimensionalen Pixeldatenfeldes zugeordnet werden und beispielsweise mittels Annahmen über eine Fahrstreifenbreite einer Fahrstreifen-Pixel-Gruppe im zweidimensionalen Pixeldatenfeld zugeordnet werden.
-
Gemäß einer weiteren Ausgestaltung des Verfahrens wird vorgeschlagen, dass zumindest eine Markierungs-Pixel-Gruppe durch eine Extrapolation in dem zweidimensionalen Pixeldatenfeld verlängert wird.
-
Da eine Identifikation von Objekten in der Praxis in einer größeren Entfernung von der Plattform erfolgen kann, als die Identifikation von Fahrstreifenbegrenzungen, wie insbesondere Fahrbahnmarkierung, lässt sich mit dieser Ausgestaltung des Verfahrens der Überlappungsgrad von Objekten mit Fahrstreifen in größerer Entfernung von der Plattform zuverlässig durchführen und damit gegebenenfalls ein solcher Überlappungsgrad für eine größere Anzahl von identifizierten Objekten bestimmen. Eine solche Extrapolation ist in der zweidimensionalen Darstellung eines zweidimensionalen Pixeldatenfeldes offensichtlich besonders einfach durchzuführen.
-
Gemäß einer weiteren Ausgestaltung des Verfahrens wird vorgeschlagen, dass mittels einer extrapolierten Markierungs-Pixel-Gruppe mindestens eine Fahrstreifen-Pixel-Gruppe in dem zweidimensionalen Pixeldatenfeld oder Spurmarkierung zugeordnet und/oder vergrößert wird.
-
Gemäß einer weiteren Ausgestaltung des Verfahrens wird vorgeschlagen, dass die Fahrstreifen-Pixel-Gruppe oder die Markierungs-Pixel-Gruppe mittels einer linearen Funktion oder einer Polynom-Funktion extrapoliert wird.
-
Gemäß einer Ausgestaltung des Verfahrens wird vorgeschlagen, dass die linke und/oder rechte Begrenzung des Ego-Fahrstreifens im Bildraum des zweidimensionalen Pixeldatenfeldes extrapoliert wird.
-
Dabei ist der Ego-Fahrstreifen, der Fahrstreifen, den die Plattform befährt bzw. auf der sich die Plattform selbst befindet.
-
Da der Ego-Fahrstreifen für die Plattform wie beispielsweise ein mindestens teilautomatisiertes Fahrzeug oder ein Fahrassistenzsystem von besonderer Bedeutung ist, kann durch eine in einem größeren Abstand von der Plattform durchführbaren Bestimmung des Überlappungsgrades eines identifizierten Objektes mit dem Ego-Fahrstreifen, durch die Verlängerung dieses Fahrstreifens mittels der Extrapolation, ein sichereres oder komfortableres Fahrverhalten erreicht werden.
-
Gemäß einer Ausgestaltung des Verfahrens wird vorgeschlagen, dass die Fahrstreifen-Pixel-Gruppe mittels einer virtuellen Fahrstreifenbegrenzung dem zweidimensionalen Pixeldatenfeld zugeordnet wird, die parallel zu der Markierung-Pixel-Gruppe und/oder der verlängerten Markierungs-Pixel-Gruppe generiert wird.
-
Weiterhin kann die Konsistenz der rechten und linken Begrenzung bestimmt werden, in dem überprüft wird, ob eine rechte und linke Fahrspurmarkierung im Bild detektiert wurde. Wenn nur eine Fahrspurmarkierung detektiert wurde, erfolgt eine Assoziierung der anderen Fahrspur auf Basis von Annahmen wie beispielsweise der Fahrbahnbreite. Denn ein Fahrstreifen besitzt immer eine linke und rechte Begrenzung. Zudem wird überprüft, ob der sich ergebene Fahrstreifen plausibel ist. Eine identifizierte Fahrbahnmarkierung, die sich aus einer horizontalen und vertikalen Linie zusammensetzt ist beispielsweise widersprüchlich.
-
Gemäß einer Ausgestaltung des Verfahrens wird vorgeschlagen, dass die mindestens eine Fahrstreifen-Pixel-Gruppe in dem zweidimensionalen Pixeldatenfeld mittels Daten eines Sensorsystems zugeordnet wird.
-
Daten oder Messergebnisse zusätzlicher Sensorsysteme können in dem zweidimensionalen Pixeldatenfeld fusioniert, also entsprechend der repräsentierten Umgebung in das zweidimensionale Pixeldatenfeld integriert werden, um beispielsweise eine größere Genauigkeit der Lage von Objekten oder Fahrstreifen zu erzielen und damit das Verfahren zum Bestimmen des Überlappungsgrades zu verbessern.
-
Sensorfusionssysteme bestehen in der Regel aus unterschiedlichen Sensoren wie beispielsweise Radar-Systemen und Video-Systemen. Diese Systeme besitzen unterschiedliche Messprinzipien und unterschiedliche Messräume. So misst ein Radarsensor direkt metrische Werte wie Laufzeiten von Signalen und qualifizierte Abstände.
Um die Messwerte zu fusionieren wird ein gemeinsames Referenzsystem benötigt. Für die Darstellung von Messwerten aus unterschiedlichen Referenzsystemen müssen die Messwerte transformiert werden. Bei der Transformation einer dreidimensionalen Messgröße ergeben sich drei Messwerte, um eine zweidimensionale Größe zu bestimmen, wodurch sich eine mathematische Überbestimmung ergibt. Bei der Fusion einer zweidimensionalen Größe in den dreidimensionalen Raum ist diese mathematische Überbestimmung nicht gegebenen. Hier werden dann zusätzliche Daten benötigt. Im Fall eines Kamerabildes werden solche Daten mittels eines zweiten Bildes des gleichen Punktes zusammen mit der Information, welche Distanz die Plattform zwischen den Bildern zurückgelegt hat. Durch die zusätzlich benötigten Daten ergeben sich Fehler, wodurch das Ergebnis der Transformation ungenauer wird.
-
Gemäß einer weiteren Ausgestaltung des Verfahrens wird vorgeschlagen, dass die mindestens eine Fahrstreifen-Pixel-Gruppe in dem zweidimensionalen Pixeldatenfeld mittels Kartendaten der Umgebung der Plattform identifiziert wird.
-
So wie weitere Sensordaten in das zweidimensionale Pixeldatenfeld integriert werden können, können auch Kartendaten in das zweidimensionale Pixeldatenfeld integriert werden, womit insbesondere die Genauigkeit der Position von Fahrstreifen verbessert werden kann, wenn insbesondere die Kartendaten Informationen über Fahrstreifen und/oder Fahrspurmarkierungen enthalten.
-
Dadurch wird das Verfahren der Bestimmung des Überlappungsgrades genauer und somit verbessert, da damit der Fahrstreifen entsprechend den Kartendaten beliebig weit in die Fahrtrichtung bekannt ist.
-
Dazu können insbesondere die Kartendaten mit dem zweidimensionalen Pixeldatenfeld fusioniert werden, indem die Kartendaten an der mittels des zweidimensionalen Pixeldatenfeldes repräsentierten Umgebung ausgerichtet werden.
-
Es wird ein Verfahren zur Identifikation eines Zielobjektes angegeben, bei dem in einem Schritt Pixel des zweidimensionalen Pixeldatenfeldes zu mindestens zwei Fahrstreifen-Pixel-Gruppen zugeordnet werden, die entsprechend mindestens zwei Fahrstreifen der Umgebung in dem zweidimensionalen Pixeldatenfeld repräsentieren. In einem weiteren Schritt wird eine Ego-Fahrstreifen-Pixel-Gruppe aus den mindestens zwei Fahrstreifen-Pixel-Gruppen ausgewählt. Und in einem weiteren Schritt wird der Überlappungsgrad einer Vielzahl von zugeordneten Objekt-Pixel-Gruppen des zweidimensionalen Pixeldatenfeldes mit der Ego-Fahrstreifen-Pixel-Gruppe, gemäß dem oben beschriebenen Verfahren bestimmt.
-
Für eine sichere und komfortable Fahrweise einer zumindest teilweise automatisierten Plattform oder für ein Fahrassistenzsystem, das beispielsweise den Abstand zu einem vorausfahrenden Fahrzeug regelt ist die Identifikation eines Zielobjektes, d.h. eines Objektes wie beispielsweise ein Fahrzeug, das sich in dem gleichen Fahrstreifen fortbewegt wie das Ego-Fahrzeug. Dazu wird für eine Vielzahl von identifizierten und zugeordneten Objekten der Überlappungsgrad mit dem Ego-Fahrstreifen bestimmt.
Wodurch das Vorhandensein eines Zielobjektes in dem Ego-Fahrstreifen bestimmt wird.
-
Um zu detektieren welcher Fahrstreifen vom Ego Fahrzeug befahren wird, werden die Fahrbahnbegrenzungen mittels eines bildgebenden Verfahrens über die Zeit verfolgt. Mit der Kenntnis der Einbauposition der Kamera in Bezug auf die Plattform bzw. ein Fahrzeug und andere Fahrzeugdetektionen im Bild kann auf den Ego-Fahrstreifen geschlossen werden.
Dabei ist dann das Objekt dem Ego-Fahrzeug am nächsten, das in einem Bild oder einem entsprechenden Pixeldatenfeld des bildgebenden Systems einer Unterkante am nächsten kommt.
-
D.h. in einem Bild, das in dem zweidimensionalen Pixeldatenfeld gespeichert wird, wird der Pixelabstand der Objekte in horizontaler (u-) und vertikaler (v-) Richtung betrachtet. Hierdurch kann auf die relative Anordnung der Objekte zueinander geschlossen werden. Beispielsweise kann über die v-Koordinate die Distanz zum Objekt im Bildraum angenommen werden. So ist ein Objekt an der unteren Bildkante im Bild näher am Ego-Fahrzeug als ein Objekt an der oberen Bildkante. Denn letztlich ist für eine Regelung das Objekt das am nächsten am Ego-Fahrzeug ist besonders relevant. Die Ermittlung der Abstände kann über ein simples „Pixelzählen“ im Bild erfolgen.
-
Für die Auswahl eines Zielobjektes wird also eine Umgebung einer Plattform mittels eines zweidimensionalen Pixeldatenfeldes repräsentiert, wobei das zweidimensionalen Pixeldatenfeld Informationen einer zweidimensionalen Darstellung der dreidimensionalen Umgebung enthält, die beispielsweise aus einer Darstellung eines bildgebenden Systems der Umgebung der Plattform stammen. Diesem zweidimensionalen Pixeldatenfeld werden Pixelgruppen zugeordnet, die Objekte repräsentieren, wobei die Objekte sowohl innerhalb des zweidimensionalen Pixeldatenfeldes identifiziert werden können oder auch als bereits identifizierte Objekte dem Pixeldatenfeld zugeordnet werden. Außerdem werden diesen zweidimensionalen Pixel Datenfeld Pixelgruppen zugeordnet, die Fahrstreifen repräsentieren, wobei die Fahrstreifen sowohl innerhalb des zweidimensionalen Pixel Datenfeld des identifiziert werden können oder auch als bereits identifizierte Fahrstreifen den Pixel Datenfeld zugeordnet werden. Außerdem wird der Ego-Fahrstreifen identifiziert. Sofern die zugeordneten Pixelgruppen der Fahrstreifen des zweidimensionalen Pixeldatenfeldes nicht die Pixelgruppen der Objekte umfassen, weil beispielsweise die Identifikation der Fahrstreifen nicht bis zu den Objekten reicht, können die zugeordneten Pixelgruppen der Fahrstreifen mit den oben beschriebenen Verfahren extrapoliert werden. Mit diesen Informationen wird der Grad des Überlapp zwischen dem Egofahrstreifen und den identifizierten und zugeordneten Objekten bestimmt. Ein Target-Objekt wird dann als ein Objekt ausgewählt, das einen gewissen Grad des Überlapp mit dem Ego-Fahrstreifen aufweist und eine hohe Relevanz, wie beispielsweise den geringsten Abstand zum Ego-Fahrzeug, hat.
-
Es wird ein Verfahren zur Zuordnung mindestens eines Objektes zu Fahrstreifen angegeben. In einem Schritt werden Pixel des zweidimensionalen Pixeldatenfeldes zu mindestens zwei Fahrstreifen-Pixel-Gruppen zugeordnet, die entsprechend mindestens zwei Fahrstreifen der Umgebung in dem zweidimensionalen Pixeldatenfeld repräsentieren. In einem weiteren Schritt wird mindestens einer Objekt-Pixel-Gruppe zu Pixeln des zweidimensionalen Pixeldatenfeldes zugeordnet, die entsprechend mindestens ein Objekt repräsentiert. Und in einem weiteren Schritt wird der Überlappungsgrad des mindestens eines Objektes, gemäß dem oben beschriebenen Verfahren, mit jeder der mindestens zwei Fahrstreifen-Pixel-Gruppen bestimmt.
-
Mit diesem Verfahren kann beispielsweise die Umgebung einer Plattform mit den sie umgebenden Objekten in Bezug gesetzt werden, indem für jedes relevante Objekt einer Vielzahl von identifizierten und zugeordneten Objekten ein Überlappungsgrad mit einer Vielzahl von Fahrstreifen bestimmt wird.
-
Weiterhin kann für alle im zweidimensionalen Pixeldatenfeld identifizierten und zugeordneten Objekte geprüft werden, ob sie teilweise oder komplett innerhalb des Ego-Fahrstreifens liegen.
-
Darüber hinaus kann aus der Vielzahl der Objekte, die auf dem Ego-Fahrstreifen liegen, das Fahrzeug ausgewählt werden, dass im Moment am relevantesten ist. Dabei kann die Relevanz über einzelne oder alle der folgenden Faktoren bestimmt werden: die Distanz zu dem Ego-Fahrzeug, die Time-To-Contact (TTC), die Anzahl der Nachbarspuren, die Richtungspfeile auf den Fahrstreifen, eine Blinkerdetektion, eine Bremslichtdetektion und/oder Informationen einer Schilderbrücke.
Bei der Auswahl kann weiterhin als Kriterium ein minimaler Überlapp zwischen einer Objektbegrenzung, wie dem Objekt-Rahmen (Bounding Box) und dem Ego-Fahrstreifen verlangt werden. Darüber hinaus kann eine Prädiktion, also eine Schätzung, über den weiteren Verlauf der Bewegung der Bounding Boxen im zweidimensionalen Pixeldatenfeld mitberücksichtigt werden.
-
Es wird ein Verfahren angegeben, bei dem abhängig von der, entsprechend dem oben beschriebenen Verfahren bestimmten, Überlappung eines Fahrstreifens mit einem Objekt ein Ansteuerungssignal, zur Ansteuerung eines zumindest teilautomatisierten Fahrzeugs, und/oder ein Warnsignal, zur Warnung eines Fahrzeuginsassen, ausgesendet wird.
-
Da der Überlappungsgrad eines identifizierten und zugeordneten Objektes mit einem Fahrstreifen die Nutzung des Fahrstreifens durch dieses Objekt angibt, kann hiermit beispielsweise auf das Einscheren oder Ausscheren von Objekten, insbesondere also Fahrzeugen, auf den oder von dem Ego-Fahrstreifen mit einem entsprechenden Fahrverhalten reagiert werden
-
Es wird eine Vorrichtung angegeben, die eingerichtet ist, ein Verfahren wie es oben beschrieben ist, durchzuführen. Mit einer solchen Vorrichtung kann das Verfahren leicht in unterschiedliche Systeme integriert werden.
-
Es wird ein Computerprogramm angegeben, das Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, eines der oben beschriebenen Verfahren auszuführen. Ein solches Computerprogramm ermöglicht den Einsatz des beschriebenen Verfahrens in unterschiedlichen Systemen.
-
Es wird ein maschinenlesbares Speichermedium angegeben, auf dem das oben beschriebene Computerprogramm gespeichert ist.
-
Figurenliste
-
Ausführungsbeispiele der Erfindung werden mit Bezug auf die 1 bis 3 dargestellt und im Folgenden näher erläutert. Es zeigen:
- 1 Umgebung einer Plattform mit Fahrstreifen;
- 2 Aufsicht auf eine Umgebung mit einem Ego-Fahrzeug;
- 3 die Schritte des Verfahrens zur Bestimmung eines Überlappungsgrades.
-
Die 1 zeigt eine Skizze einer Umgebung einer Plattform, die von einem bildgebenden System in ein zweidimensionales Pixeldatenfeld transformiert wurde. Die gezeichneten Umrisse von statischen und dynamischen Objekten entsprechen Bereichen des zweidimensionalen Pixeldatenfeldes, die die entsprechenden Objekte repräsentieren.
Das mindestens eine Objekt 20 ist eine skizzierte Rückansicht eines Lkw der sich auf einem mittleren Fahrstreifen 10b befindet. Auf der linken bzw. rechten Seite des mittleren Fahrstreifens 10b grenzen ein linker Fahrstreifen 10a, bzw. rechte Fahrstreifen 10c direkt an. Aufgrund der Zentrierung der repräsentierten Umgebung kann darauf geschlossen werden, dass der mittlere Fahrstreifen 10b der Ego-Fahrstreifen ist.
-
Die Pixel der mindestens einer Fahrstreifen-Pixel-Gruppe 10b repräsentieren den mindestens einen Fahrstreifen und sind gemäß dem Verfahren, wie es in 3 skizziert ist, dem zweidimensionalen Pixeldatenfeld zugeordnet S1. Der mittlere Fahrstreifen 10b wird von der linken bzw. rechten Fahrstreifenbegrenzung 12, 14 begrenzt.
Die Pixel der mindestens einen Objekt-Pixel-Gruppe 20 repräsentieren das mindestens eine Objekt und sind dem zweidimensionalen Pixeldatenfeld zugeordnet S2.
-
Die Breite der definierten mindestens einen Objekt-Pixel-Gruppe 20 wird durch das Objekt-Pixel-Paar 22, 24 charakterisiert und liegt auf einem die Objekt-Pixel-Gruppe 20 umschließenden Rahmen 20. In der 1 ist das Objekt-Pixel-Paar 22, 24 insbesondere am unteren Rand des Rahmens angeordnet.
Das Objekt-Pixel-Paar 22, 24 wird definiert S3 und mit der Fahrstreifen-Pixel-Gruppe im zweidimensionalen Pixeldatenfeld verglichen, wobei das mindestens eine Objekt-Pixel-Paar 22, 24 mit der Fahrstreifen-Pixel-Gruppe innerhalb genau einer Pixelzeile des Pixeldatenfeldes verglichen wird S4. In der 1 bildet die Fahrstreifen-Pixel-Gruppe eine waagerechte Linie, die durch die Pixel des Objekt-Pixel-Paars 22, 24 definiert wird und von der linken bzw. rechten Fahrstreifenbegrenzung 12, 16; 14, 18 begrenzt wird.
Alle Pixel zwischen dem Objekt-Pixel-Paar 22, 24 und das Objekt-Pixel-Paar 22, 24, die zusammen eine erste Menge von Pixeln einschließen, liegen vollständig innerhalb der Fahrstreifen-Pixel-Gruppe 10b, die in der Pixelzeile, die durch das Objekt-Pixel-Paar 22, 24 festgelegt wird, die zweite Menge von Pixeln bilden. Somit ist die Schnittmenge der ersten Menge von Pixeln mit der zweiten Menge von Pixeln gleich der ersten Menge von Pixeln. In diesem Fall ist die Überlappung vollständig und der Überlappungsgrad beträgt 100 %.
-
Die Linien E1 bis E3 skizzieren in der 1 äquidistante Abstände auf den Fahrstreifen 10a, 10b und 10c.
-
Die 1 skizziert auch, wie die Fahrstreifen-Pixel-Gruppe 10b mittels mindestens einer Markierungs-Pixel-Gruppe wie der repräsentierten rechten Fahrstreifenbegrenzung 14, 18 des zweidimensionalen Pixeldatenfeldes, zugeordnet werden kann. Dafür wird eine virtuelle Fahrstreifenbegrenzung wie beispielsweise die linke Fahrstreifenbegrenzung 12 des Fahrstreifens 10b dadurch konstruiert, dass eine konstante Fahrstreifenbreite für den mittleren Fahrstreifen 10b angenommen wird. Die Pixel-Gruppe, die sich zwischen diesen beiden Fahrstreifenbegrenzungen 12, 14 befinden, bilden dann die Fahrstreifen-Pixel-Gruppe 10b.
-
Weiterhin zeigt die 1 wie beispielsweise eine Markierungs-Pixel-Gruppe 14, die in diesem Fall die rechte Fahrstreifenbegrenzung 14, des mittleren Fahrstreifens 10b darstellt, durch eine Extrapolation in dem zweidimensionalen Pixeldatenfeld verlängert werden kann. Diese Markierungs-Pixel-Gruppe 14 kann mit weiteren Pixeln des zweidimensionalen Pixeldatenfeldes verlängert werden, wie in der Figur eins durch die unterbrochene Linie 18 angedeutet ist.
-
Entsprechend symmetrisch kann die linke Fahrstreifenbegrenzung 12 extrapoliert werden, wie mit der unterbrochenen Linie 16 angedeutet ist.
-
Mittels der extrapolierten Markierungs-Pixel-Gruppen 16, 18 kann die mindestens eine mittlere Fahrstreifen-Pixel-Gruppe 10b in dem zweidimensionalen Pixeldatenfeld zugeordnet und/oder vergrößert werden. Damit wird erreicht, dass der Überlappungsgrad des Objektes 20 mit dem mittleren Fahrstreifen 10b auch in größerer Entfernung vom Ego-Fahrzeug noch bestimmt werden kann.
-
Die 2 skizziert wie ein Ego-Fahrzeug 32 auf einen Fahrstreifen 50 auffährt, dessen identifizierte linken und rechten Fahrstreifenbegrenzungen 36, 38 aber nicht bis zu einem identifizierten Objekt bzw. Fahrzeug 34 reichen. Wenn die Schätzungen über den weiteren Verlauf der linken bzw. rechten Fahrstreifenbegrenzung 40, 42 mittels eines Verfahrens in einem dreidimensionalen Koordinatensystem fehlerbehaftet sind, kann das zu einer falschen Schätzung in Bezug auf die Überlappung des identifizierten Objektes 34 mit dem Ego-Fahrstreifen 50 führen. Die Abstandslinien E', E0' bis E5' geben wieder äquidistante Entfernungen an.
