DE102016118502A1

DE102016118502A1 - Verfahren, Einrichtung und Vorrichtung zum Ermitteln einer Fahrbahngrenze

Info

Publication number: DE102016118502A1
Application number: DE102016118502.7A
Authority: DE
Inventors: Jiatong Zheng; Yingfang Du; Wei Liu
Original assignee: Neusoft Corp; Neusoft Reach Automotive Technology Shanghai Co Ltd
Current assignee: Neusoft Reach Automotive Technology Shanghai Co Ltd
Priority date: 2016-07-26
Filing date: 2016-09-29
Publication date: 2018-02-01
Anticipated expiration: 2036-09-30
Also published as: US10133941B2; JP2018018483A; DE102016118502B4; CN106203398A; JP6347815B2; US20180033148A1; CN106203398B

Abstract

Ein Verfahren, eine Einrichtung und eine Vorrichtung zum Ermitteln von Fahrbahngrenzen sind geschaffen. Das Verfahren enthält: ein Erlangen eines aktuellen Bildes einer Fahrbahn und ein Extrahieren von Helligkeitssprungpunkten in dem Bild durch ein Filtern des Bildes; ein Ausfiltern von Störpunkten aus den Helligkeitssprungpunkten und ein Bestimmen verbleibender Helligkeitssprungpunkte als Kantenpunkte zum Bilden von Gruppen der Kantenpunkte, wobei eine Verbindungslinie von Kantenpunkten in derselben Gruppe eine einzige Kantenlinie bildet; ein Erkennen von Kantenlinien der Fahrbahngrenzen unter Kantenlinien; und ein Gruppieren der Kantenlinien der Fahrbahngrenzen und ein Erkennen von Kantenlinien in jeder Gruppe als Kantenlinien einer einzigen Fahrbahngrenze. Auf Grundlage des Verfahrens ist eine Berechnung für das Ermitteln der Fahrbahngrenzen einfacher, und ist der Verbrauch an Rechenressourcen und Zeit beim Ermitteln der Fahrbahngrenzen reduziert, um die Fahrbahngrenzen genau und schnell zu ermitteln.

Description

Technisches Gebiet
Die vorliegende Offenbarung betrifft das technische Gebiet der Informationsverarbeitung und insbesondere ein Verfahren, eine Einrichtung und eine Vorrichtung zum Ermitteln von Fahrbahngrenzen.
Hintergrund
Gegenwärtig sind an vielen Fahrzeugen Fahrassistenzsysteme vorgesehen. Einige Fahrassistenzsysteme können bei Fahrzeugen Informationen über Fahrbahnen vorsehen, indem sie Fahrbahngrenzen auf einer Straße ermitteln, wie etwa ein Spurhalteassistenzsystem. Die Fahrbahngrenzen können nicht nur Fahrbahnmarkierungslinien enthalten, sondern auch Grenzmarkierungen der gesamten Straße, wie etwa Bordsteine und Leitplanken der Straße. Um Fahrbahngrenzen zu ermitteln, führt ein herkömmliches Fahrassistenzsystem gewöhnlich einen Vergleich und eine Analyse an einem gesamten zu ermittelnden Fahrbahnbild, das durch eine monokulare Kamera aufgenommen ist, und einem gesamten bekannten Fahrbahnbild auf Grundlage eines Maschinenlernverfahrens durch, um Bereiche der Fahrbahngrenzen in dem zu ermittelnden Fahrbahnbild zu erkennen. Durch Forschung stellten die Erfinder fest, dass beim Erkennen der Fahrbahngrenzen in dem Fahrbahnbild auf Grundlage des Maschinenlernverfahrens das herkömmliche Fahrassistenzsystem eine sehr komplizierte Berechnung durchlaufen muss, was zum Verbrauch einer Menge an Rechenressourcen und Zeit beim Ermittlungsvorgang der Fahrbahngrenzen führt.
Zusammenfassung
Die vorliegende Offenbarung soll ein Verfahren, eine Einrichtung und eine Vorrichtung zum Ermitteln von Fahrbahngrenzen schaffen, um eine Berechnung für den Vorgang des Ermittelns der Fahrbahngrenzen zu vereinfachen und dann den Verbrauch einer Menge an Rechenressourcen und Zeit beim Ermittlungsvorgang der Fahrbahngrenzen zu reduzieren. Auf diese Weise kann ein Fahrassistenzsystem die Fahrbahngrenzen genau und schnell ermitteln.
In einem ersten Aspekt ist ein Verfahren zum Ermitteln einer Fahrbahngrenze geschaffen, das enthält:
ein Erlangen eines aktuellen Bildes einer Fahrbahn und ein Extrahieren von Helligkeitssprungpunkten in dem aktuellen Bild durch ein Filtern des aktuellen Bildes;
ein Ausfiltern von Störpunkten aus den Helligkeitssprungpunkten und ein Bestimmen verbleibender Helligkeitssprungpunkte als Kantenpunkte, um Gruppen der Kantenpunkte zu bilden, wobei sich zwei Kantenpunkte, die eine erste vorbestimmte Bedingung erfüllen, in derselben Gruppe befinden, wobei die erste vorbestimmte Bedingung enthält, dass vertikale Koordinaten zweier Punkte benachbart sind und eine Abstandsdifferenz zwischen horizontalen Koordinaten der beiden Punkte geringer ist als ein erster Abstandsschwellwert, die Störpunkte einen ersten Störpunkt enthalten, der erste Störpunkt nicht die erste vorbestimmte Bedingung mit einem beliebigen der anderen Helligkeitssprungpunkte erfüllt und eine Verbindungslinie von Kantenpunkten in derselben Gruppe eine einzige Kantenlinie bildet;
ein Erkennen von Kantenlinien der Fahrbahngrenzen unter Kantenlinien; und
ein Gruppieren der Kantenlinien der Fahrbahngrenzen und ein Erkennen von Kantenlinien in jeder Gruppe als Kantenlinien einer einzigen Fahrbahngrenze, wobei eine Differenz zwischen horizontalen Koordinaten zweier Kantenlinien in derselben Gruppe geringer ist als ein zweiter Abstandsschwellwert.
Wahlweise enthält die erste vorbestimmte Bedingung weiter, dass ein Gradientenwinkel zwischen den beiden Punkten kleiner ist als ein Schwellwert des Gradientenwinkels.
Wahlweise enthalten die Störpunkte weiter einen zweiten Störpunkt und erfüllt der zweite Störpunkt mindestens eine der folgenden vorbestimmten Bedingungen:
eine zweite vorbestimmte Bedingung, darin bestehend, dass: eine Differenz zwischen einem mittleren Graupegel eines ersten linken horizontalen Bereichs und einem mittleren Graupegel eines zweiten linken horizontalen Bereichs kleiner ist als ein erster Schwellwert des mittleren Graupegels;
eine dritte vorbestimmte Bedingung, darin bestehend, dass: eine Differenz zwischen einem mittleren Graupegel eines ersten rechten horizontalen Bereichs und einem mittleren Graupegel eines zweiten rechten horizontalen Bereichs kleiner ist als ein zweiter Schwellwert des mittleren Graupegels;
eine vierte vorbestimmte Bedingung, darin bestehend, dass: eine Differenz zwischen einer Graupegelstreuung eines ersten linken horizontalen Bereichs und einer Graupegelstreuung eines zweiten linken horizontalen Bereichs kleiner ist als ein erster Schwellwert der Graupegelstreuung;
eine fünfte vorbestimmte Bedingung, darin bestehend, dass:
eine Differenz zwischen einer Graupegelstreuung eines ersten rechten horizontalen Bereichs und einer Graupegelstreuung eines zweiten rechten horizontalen Bereichs kleiner ist als ein zweiter Schwellwert der Graupegelstreuung; wobei der erste linke horizontale Bereich ein Bereich ist, der aus einem ersten linken Punkt besteht, eine vertikale Koordinate des ersten linken Punkts dieselbe ist wie die des zweiten Störpunkts, ein Abstand zwischen einer horizontalen Koordinate des ersten linken Punkts und der des zweiten Störpunkts nicht größer ist als ein dritter Abstandsschwellwert, und die horizontale Koordinate des ersten linken Punkts kleiner ist als die des zweiten Störpunkts;
der erste rechte horizontale Bereich ein Bereich ist, der aus einem ersten rechten Punkt besteht, eine vertikale Koordinate des ersten rechten Punkts dieselbe ist wie die des zweiten Störpunkts, ein Abstand zwischen einer horizontalen Koordinate des ersten rechten Punkts und der des zweiten Störpunkts nicht größer ist als der dritte Abstandsschwellwert, und die horizontale Koordinate des ersten rechten Punkts größer ist als die des zweiten Störpunkts;
der zweite linke horizontale Bereich ein Bereich ist, der aus einem zweiten linken Punkt besteht, eine vertikale Koordinate des zweiten linken Punkts dieselbe ist wie die eines Bezugs-Sprungpunkts, ein Abstand zwischen einer horizontalen Koordinate des zweiten linken Punkts und der des Bezugs-Sprungpunkts nicht größer ist als der dritte Abstandsschwellwert, und die horizontale Koordinate des zweiten linken Punkts kleiner ist als die des Bezugs-Sprungpunkts;
der zweite rechte horizontale Bereich ein Bereich ist, der aus einem zweiten rechten Punkt besteht, eine vertikale Koordinate des zweiten rechten Punkts dieselbe ist wie die des Bezugs-Sprungpunkts, ein Abstand zwischen einer horizontalen Koordinate des zweiten rechten Punkts und der des Bezugs-Sprungpunkts nicht größer ist als der dritte Abstandsschwellwert, und die horizontale Koordinate des zweiten rechten Punkts größer ist als die des Bezugs-Sprungpunkts; und
der Bezugs-Sprungpunkt zu den Helligkeitssprungpunkten gehört, ein Abstand zwischen der horizontalen Koordinate des Bezugs-Sprungpunkts und der des zweiten Störpunkts geringer ist als der erste Abstandsschwellwert, ein Abstand zwischen der vertikalen Koordinate des Bezugs-Sprungpunkts und der des zweiten Störpunkts geringer ist als ein vierter Abstandsschwellwert, und die vertikale Koordinate des Bezugs-Sprungpunkts kleiner ist als die des zweiten Störpunkts.
Wahlweise enthält das Erkennen von Kantenlinien der Fahrbahngrenzen unter Kantenlinien genauer: ein Erkennen von Kantenlinien, die eine sechste vorbestimmte Bedingung und/oder eine siebente vorbestimmte Bedingung erfüllen, aus den Kantenlinien als die Kantenlinien der Fahrbahngrenzen;
wobei die sechste vorbestimmte Bedingung ist, dass: ein Vertrauensbereich einer Kantenlinie größer ist als ein Vertrauensbereichsschwellwert, wobei der Vertrauensbereich der Kantenlinie eine Wahrscheinlichkeit darstellt, dass die Kantenlinie zu den Kantenlinien der Fahrbahngrenzen gehört, und der Vertrauensbereich der Kantenlinie berechnet wird auf Grundlage einer wirklichen Länge der Kantenlinie, einer Graupegelabweichung zweier horizontaler Seiten der Kantenlinie im aktuellen Bild und von Gradientenwinkeln von Kantenpunkten der Kantenlinie; und
wobei die siebente vorbestimmte Bedingung ist, dass: ein Winkel in einem dreidimensionalen Koordinatensystem zwischen einer aus dem aktuellen Bild erkannten Fahrbahnmarkierungslinie und einer Kantenlinie geringer ist als ein Winkelschwellwert.
Wahlweise enthält das Verfahren weiter: ein Erkennen einer Fahrbahngrenze, die eine achte vorbestimmte Bedingung erfüllt, einer Fahrbahngrenze, die eine neunte vorbestimmte Bedingung erfüllt, und/oder einer Fahrbahngrenze, die eine zehnte vorbestimmte Bedingung erfüllt, als Bordsteine;
wobei die achte vorbestimmte Bedingung ist, dass: eine Fahrbahngrenze drei Kantenlinien enthält, ein horizontaler Abstand zwischen jeweils zwei benachbarten Kantenlinien geringer ist als ein fünfter Abstandsschwellwert und ein horizontaler Abstand zwischen einer äußersten linken Kantenlinie und einer äußersten rechten Kantenlinie der Fahrbahngrenze geringer ist als ein sechster Abstandsschwellwert;
die neunte vorbestimmte Bedingung ist, dass: eine Fahrbahngrenze zwei Kantenlinien enthält, ein Abstand zwischen horizontalen Koordinaten der beiden Kantenlinien der Fahrbahngrenze geringer ist als ein siebenter Abstandsschwellwert, eine Graupegelstreuung eines linken Bereichs der Fahrbahngrenze geringer ist als ein dritter Schwellwert der Graupegelstreuung, und eine Graupegelstreuung eines rechten Bereichs der Fahrbahngrenze größer ist als ein vierter Schwellwert der Graupegelstreuung;
die zehnte vorbestimmte Bedingung ist, dass: eine Fahrbahngrenze zwei Kantenlinien enthält, ein Abstand zwischen horizontalen Koordinaten der beiden Kantenlinien der Fahrbahngrenze geringer ist als der siebente Abstandsschwellwert, eine Graupegelstreuung eines linken Bereichs der Fahrbahngrenze größer ist als der dritte Schwellwert der Graupegelstreuung, und eine Graupegelstreuung eines rechten Bereichs der Fahrbahngrenze geringer ist als der vierte Schwellwert der Graupegelstreuung;
wobei der linke Bereich der Fahrbahngrenze ein Bereich ist, der aus einem dritten linken Punkt besteht, eine vertikale Koordinate des dritten linken Punkts in einem Bereich vertikaler Koordinaten einer linken Kantenlinie der Fahrbahngrenze liegt, ein Abstand zwischen einer horizontalen Koordinate des dritten linken Punkts und der der linken Kantenlinie der Fahrbahngrenze nicht größer ist als der dritte Abstandsschwellwert, und die horizontale Koordinate des dritten linken Punkts kleiner ist als die der linken Kantenlinie der Fahrbahngrenze; und
der rechte Bereich der Fahrbahngrenze ein Bereich ist, der aus einem dritten rechten Punkt besteht, eine vertikale Koordinate des dritten rechten Punkts in einem Bereich vertikaler Koordinaten einer rechten Kantenlinie der Fahrbahngrenze liegt, ein Abstand zwischen einer horizontalen Koordinate des dritten rechten Punkts und der der rechten Kantenlinie der Fahrbahngrenze nicht größer ist als der dritte Abstandsschwellwert, und die horizontale Koordinate des dritten rechten Punkts größer ist als die der rechten Kantenlinie der Fahrbahngrenze.
Wahlweise enthält das Verfahren weiter: ein Erkennen eines Erkennungsbereichs, der die Fahrbahngrenze in dem aktuellen Bild enthält, auf Grundlage eines trainierten Maschinenlernmodells zum Erkennen einer Fahrbahngrenze, die zu einer Leitplanke gehört; wobei das Maschinenlernmodell auf Grundlage eines Bildes einer Leitplanke und eines Bildes eines Objekts trainiert ist, das keine Leitplanke ist.
Wahlweise enthält das Erkennen eines Erkennungsbereichs, der die Fahrbahngrenze in dem aktuellen Bild enthält, auf Grundlage eines trainierten Maschinenlernmodells zum Erkennen einer Fahrbahngrenze, die zu einer Leitplanke gehört:
ein Bestimmen jeder Fahrbahngrenze im aktuellen Bild jeweils als ein Erkennungsziel, und ein Wählen mindestens eines Erkennungsbereichs, der das Erkennungsziel enthält, aus dem aktuellen Bild auf Grundlage eines Orts des Erkennungsziels im aktuellen Bild;
ein Erkennen jedes Erkennungsbereichs auf Grundlage des Maschinenlernmodells, um zu bestimmen, ob der jeweilige Erkennungsbereich ein Bereich ist, der die Leitplanke enthält; und
ein Bestimmen des Erkennungsziels als die Leitplanke, wenn ein Verhältnis der Anzahl von Bereichen, die die Leitplanke enthalten, zu der Anzahl der Erkennungsbereiche, die das Erkennungsziel enthalten, einen Verhältnisschwellwert überschreitet.
Wahlweise enthält das Verfahren weiter: ein Erkennen einer Fahrbahngrenze, die eine elfte vorbestimmte Bedingung erfüllt, als einen Bordstein in einem Fall, dass die Fahrbahnmarkierungslinie und die Leitplanke aus den Fahrbahngrenzen im aktuellen Bild erkannt wurden; wobei die elfte vorbestimmte Bedingung ist, dass: sich eine Fahrbahngrenze zwischen der Fahrbahnmarkierungslinie und der Leitplanke befindet, und ein Abstand zwischen horizontalen Koordinaten zweier Kantenlinien der Fahrbahngrenze geringer ist als ein siebenter Abstandsschwellwert.
Wahlweise enthält das Verfahren weiter: ein Unterscheiden der Fahrbahngrenze im aktuellen Bild als eine Fahrbahnmarkierungslinie, eine Leitplanke und/oder ein Bordstein auf Grundlage von Orten eines Bordsteins, einer Leitplanke und einer Fahrbahnmarkierungslinie in historischen Bildern.
In einem zweiten Aspekt ist eine Einrichtung zum Ermitteln von Fahrbahngrenzen geschaffen, die enthält:
eine Erlangungseinheit, ausgelegt, ein aktuelles Bild einer Fahrbahn zu erhalten;
eine Extraktionseinheit, ausgelegt, Helligkeitssprungpunkte in dem aktuellen Bild durch ein Filtern des aktuellen Bildes zu extrahieren;
eine Gruppierungseinheit, ausgelegt, Störpunkte aus den Helligkeitssprungpunkten auszufiltern und verbleibende Helligkeitssprungpunkte als Kantenpunkte zum Bilden von Gruppen der Kantenpunkte zu bestimmen, wobei sich zwei Kantenpunkte, die eine erste vorbestimmte Bedingung erfüllen, in derselben Gruppe befinden, wobei die erste vorbestimmte Bedingung enthält, dass vertikale Koordinaten zweier Punkte benachbart sind und eine Abstandsdifferenz zwischen horizontalen Koordinaten der beiden Punkte geringer ist als ein erster Abstandsschwellwert, die Störpunkte einen ersten Störpunkt enthalten, der erste Störpunkt nicht die erste vorbestimmte Bedingung mit einem beliebigen der anderen Helligkeitssprungpunkte erfüllt, und eine Verbindungslinie von Kantenpunkten in derselben Gruppe eine einzige Kantenlinie bildet;
eine erste Erkennungseinheit, ausgelegt zum Erkennen von Kantenlinien der Fahrbahngrenzen unter Kantenlinien; und
eine zweite Erkennungseinheit, ausgelegt zum Gruppieren der Kantenlinien der Fahrbahngrenzen und Erkennen von Kantenlinien in jeder Gruppe als Kantenlinien einer Fahrbahngrenze, wobei eine Differenz zwischen horizontalen Koordinaten zweier Kantenlinien in derselben Gruppe geringer ist als ein zweiter Abstandsschwellwert.
In einem dritten Aspekt ist eine Vorrichtung zum Ermitteln von Fahrbahngrenzen geschaffen, die einen Prozessor, einen Speicher, eine Kommunikationsschnittstelle und ein Bussystem enthält;
wobei das Bussystem ausgelegt ist, verschiedene Hardwarebauteile der Vorrichtung miteinander zu koppeln;
die Kommunikationsschnittstelle ausgelegt ist, eine Kommunikationsverbindung zwischen der Vorrichtung und mindestens einer von anderen Vorrichtungen zu erreichen;
der Speicher ausgelegt ist, Programmanweisungen und Daten zu speichern; und
der Prozessor ausgelegt ist, die im Speicher gespeicherten Programmanweisungen und Daten zu lesen, um die folgenden Operationen durchzuführen:
ein Erlangen eines aktuellen Bildes einer Fahrbahn und ein Extrahieren von Helligkeitssprungpunkten in dem aktuellen Bild durch ein Filtern des aktuellen Bildes;
ein Ausfiltern von Störpunkten aus den Helligkeitssprungpunkten und ein Bestimmen verbleibender Helligkeitssprungpunkte als Kantenpunkte zum Bilden von Gruppen der Kantenpunkte, wobei sich Kantenpunkte, die eine erste vorbestimmte Bedingung erfüllen, in derselben Gruppe befinden, wobei die erste vorbestimmte Bedingung enthält, dass vertikale Koordinaten zweier Punkte benachbart sind und eine Abstandsdifferenz zwischen horizontalen Koordinaten der beiden Punkte geringer ist als ein erster Abstandsschwellwert, die Störpunkte einen ersten Störpunkt enthalten, der erste Störpunkt nicht die erste vorbestimmte Bedingung mit einem beliebigen der anderen Helligkeitssprungpunkte erfüllt, und eine Verbindungslinie von Kantenpunkten in derselben Gruppe eine einzige Kantenlinie bildet;
ein Erkennen von Kantenlinien der Fahrbahngrenzen unter Kantenlinien; und
ein Gruppieren der Kantenlinien der Fahrbahngrenzen und ein Erkennen von Kantenlinien in jeder Gruppe als Kantenlinien einer Fahrbahngrenze, wobei eine Differenz zwischen horizontalen Koordinaten zweier Kantenlinien in derselben Gruppe geringer ist als ein zweiter Abstandsschwellwert.
In der vorliegenden Offenbarung können für das aktuelle Bild der Fahrbahn die Helligkeitssprungpunkte im aktuellen Bild durch ein Filtern des aktuellen Bildes extrahiert werden, können die Störpunkte auf Grundlage von Ortsinformationen der Helligkeitssprungpunkte ausgefiltert werden, und werden verbleibende Helligkeitssprungpunkte als die Kantenpunkte bestimmt, um die Gruppen zu bilden, wobei Kantenpunkte in jeder der Gruppen eine einzige Kantenlinie bilden können. Auf diese Weise können Kantenlinien, die zur selben Fahrbahngrenze gehören, auf Grundlage eines Abstands zwischen den Kantenlinien bestimmt werden. Die Kantenlinien der Fahrbahngrenze können einen Bereich der Fahrbahngrenze im aktuellen Bild markieren, sodass eine Ermittlung der Fahrbahngrenze ausgeführt ist. Es ist zu sehen, dass, da keine Notwendigkeit besteht, während des Ermittelns der Fahrbahngrenzen eine Analyse und Erkennung am gesamten Bild mit einem Maschinenlernmodell durchzuführen, eine Berechnung für den Vorgang des Ermittelns der Fahrbahngrenzen einfacher ist, und der Verbrauch einer Menge an Rechenressourcen und Zeit beim Ermittlungsvorgang der Fahrbahngrenzen reduziert ist. Daher kann die Fahrbahngrenze genau und schnell ermittelt werden.
Kurze Beschreibung der Zeichnung
Um technische Lösungen in Ausführungsformen der vorliegenden Offenbarung deutlicher darzustellen, ist nachstehend eine in der Beschreibung der Ausführungsformen verwendete Zeichnung kurz eingeführt. Offensichtlich stellt die nachstehend beschriebene Zeichnung nur einige Ausführungsformen der vorliegenden Offenbarung dar, und andere Zeichnungen können durch Fachleute auf Grundlage dieser Zeichnung erhalten werden.
1 ist ein schematisches Blockschaltbild eines an einem Anwendungsszenario beteiligten Systems, gemäß einer Ausführungsform der vorliegenden Offenbarung.
2 ist ein schematisches Flussdiagramm eines Verfahrens zum Ermitteln von Fahrbahngrenzen gemäß einer Ausführungsform der vorliegenden Offenbarung.
3 ist ein schematisches Diagramm eines Beispiels zum Gruppieren von Kantenpunkten gemäß einer Ausführungsform der vorliegenden Offenbarung.
4 ist ein schematisches Diagramm eines Beispiels eines beim Ausfiltern von Störpunkten beteiligten Berechnungsbereichs gemäß einer Ausführungsform der vorliegenden Offenbarung.
5 ist ein schematisches Diagramm von Beispielen eines linken Bereichs und eines rechten Bereichs einer Kantenlinie gemäß einer Ausführungsform der vorliegenden Offenbarung.
6 ist ein schematisches Diagramm von Beispielen eines linken Bereichs und einer Fahrbahngrenze gemäß einer Ausführungsform der vorliegenden Offenbarung.
7 ist ein schematisches Diagramm eines Beispiels zum Wählen von Erkennungsbereichen zum Erkennen einer Leitplanke gemäß einer Ausführungsform der vorliegenden Offenbarung.
8 ist ein aktuelles Bild, beteiligt an einem Beispiel eines Anwendungsszenarios gemäß einer Ausführungsform der vorliegenden Offenbarung.
9 ist ein Bild des Extrahierens von Helligkeitssprungpunkten, beteiligt an einem Beispiel eines Anwendungsszenarios gemäß einer Ausführungsform der vorliegenden Offenbarung.
10 ist ein Bild von Gruppen von Kantenpunkten, beteiligt an einem Beispiel eines Anwendungsszenarios gemäß einer Ausführungsform der vorliegenden Offenbarung.
11 ist ein Bild des Erkennens von Fahrbahngrenzen, beteiligt an einem Beispiel eines Anwendungsszenarios gemäß einer Ausführungsform der vorliegenden Offenbarung.
12 ist ein schematisches Blockschaltbild einer Einrichtung zum Ermitteln von Fahrbahngrenzen gemäß einer Ausführungsform der vorliegenden Offenbarung.
13 ist ein schematisches Blockschaltbild einer Vorrichtung zum Ermitteln von Fahrbahngrenzen gemäß einer Ausführungsform der vorliegenden Offenbarung.
14 ist ein schematisches Diagramm eines Bildkoordinatensystems gemäß einer Ausführungsform der vorliegenden Offenbarung.
Genaue Beschreibung der Ausführungsformen
Durch Forschung stellten die Erfinder fest, dass Fahrbahngrenzen nicht nur Fahrbahnmarkierungslinien enthalten können, sondern auch Grenzmarkierungen der gesamten Straße, wie etwa Bordsteine und Leitplanken der Straße. Um den Fahrer besser bei seiner Aufgabe zu unterstützen, müssen sowohl Fahrbahnmarkierungslinien als auch Grenzmarkierungen, wie etwa Bordsteine und Leitplanken der Straße, ermittelt werden. Um alle Arten von Fahrbahngrenzen zu ermitteln, muss ein herkömmliches Fahrassistenzsystem ein gesamtes Bild auf Grundlage eines Maschinenlernmodells analysieren und erkennen. Genauer muss das Maschinenlernmodell einen Schulungs- und Lernvorgang auf Grundlage eines gesamten Fahrbahnbildes durchführen, in dem ein Fahrbahngrenzbereich bekannt ist, und dann muss das Fahrassistenzsystem eine Analyse und Berechnung an einem gesamten Fahrbahnbild, in dem ein Fahrbahngrenzbereich unbekannt ist, auf Grundlage des trainierten Maschinenlernmodells durchführen, um den Fahrbahngrenzbereich zu erkennen. Das heißt, das herkömmliche Fahrassistenzsystem muss ein gesamtes Fahrbahnbild, in dem ein Fahrbahngrenzbereich unbekannt ist, mit einem gesamten Fahrbahnbild, in dem ein Fahrbahngrenzbereich bekannt ist, auf Grundlage des Maschinenlernmodells vergleichen. In der Praxis können, da die Situation einer Straße komplex ist, Flecken und Wasserspuren, die oft auf der Straße auftreten können, Unterschiede zwischen der Straße und nicht befahrbaren Zonen, wie etwa einem Bordstein oder einem Gehweg, in einem Fahrbahnbild weniger offensichtlich machen. Um Fahrbahngrenzen aus einem Fahrbahnbild in einem Fall zu ermitteln, in dem die Unterschiede nicht offensichtlich sind, muss das herkömmliche Fahrassistenzsystem eine sehr komplizierte Berechnung beim Analysieren des gesamten Fahrbahnbildes auf Grundlage des Maschinenlernmodells durchlaufen, was den Verbrauch einer Menge an Rechenressourcen und Zeit beim Ermittlungsvorgang der Fahrbahngrenzen ergeben kann.
Auf Grundlage des Obigen können in einer Ausführungsform der vorliegenden Offenbarung für ein aktuelles Bild einer Fahrbahn Helligkeitssprungpunkte im aktuellen Bild durch ein Filtern des aktuellen Bildes extrahiert werden, können Störpunkte auf Grundlage örtlicher Informationen über die Helligkeitssprungpunkte ausgefiltert werden, und werden verbleibende Helligkeitssprungpunkte als Kantenpunkte zum Bilden von Gruppen bestimmt, wobei Kantenpunkte in jeder der Gruppen eine einzige Kantenlinie bilden können. Auf diese Weise können Kantenlinien, die zur selben Fahrbahngrenze gehören, auf Grundlage eines Abstands zwischen den Kantenlinien bestimmt werden. Eine Grenzlinie einer Fahrbahngrenze kann einen Bereich der Fahrbahngrenze im aktuellen Bild markieren, sodass eine Ermittlung der Fahrbahngrenze ausgeführt ist. Es ist zu sehen, dass, da keine Notwendigkeit besteht, während des Ermittelns der Fahrbahngrenzen eine Analyse und Erkennung am gesamten Bild mit einem Maschinenlernmodell durchzuführen, eine Berechnung für den Vorgang des Ermittelns der Fahrbahngrenzen einfacher ist, und der Verbrauch einer Menge an Rechenressourcen und Zeit beim Ermittlungsvorgang der Fahrbahngrenzen reduziert ist. Daher kann die Fahrbahngrenze genau und schnell ermittelt werden.
Zum Beispiel kann ein Szenario gemäß einer Ausführungsform der vorliegenden Offenbarung ein in 1 gezeigtes System verwenden. Das System kann ein Fahrassistenzsystem sein, und genauer kann das System ein Spurhalteassistenzsystem sein. Das System enthält eine Verarbeitungsvorrichtung 101, eine Anzeigevorrichtung 102 und eine fotografische Vorrichtung 103. In dem System kann die fotografische Vorrichtung 103 ein aktuelles Bild einer Fahrbahn aufnehmen und das aktuelle Bild zur Verarbeitungsvorrichtung 101 senden. Die Verarbeitungsvorrichtung 101 kann das aktuelle Bild erhalten und Helligkeitssprungpunkte in dem aktuellen Bild durch ein Filtern des aktuellen Bildes extrahieren. Die Verarbeitungsvorrichtung 101 kann Störpunkte aus den Helligkeitssprungpunkten ausfiltern und verbleibende Helligkeitssprungpunkte als Kantenpunkte zum Bilden von Gruppen der Kantenpunkte bestimmen, wobei eine Verbindungslinie von Kantenpunkten in derselben Gruppe eine einzige Kantenlinie bilden kann. Die Verarbeitungsvorrichtung 101 kann Kantenlinien der Fahrbahngrenzen unter Kantenlinien erkennen, die Kantenlinien der Fahrbahngrenzen gruppieren und Kantenlinien in jeder Gruppe als Kantenlinien einer einzigen Fahrbahngrenze erkennen. Dann kann die Verarbeitungsvorrichtung 101 auf Grundlage der Kantenlinien der Fahrbahngrenze ein Fahrbahnbild erzeugen, in dem ein Fahrbahngrenzbereich markiert ist, und das Fahrbahnbild zur Anzeigevorrichtung 102 senden, um der Anzeigevorrichtung 102 zu ermöglichen, es darzustellen.
Eine Differenz zwischen horizontalen Koordinaten zweier Kantenlinien in derselben Gruppe ist geringer als ein zweiter Abstandsschwellwert. Kantenpunkte, die eine erste vorbestimmte Bedingung erfüllen, befinden sich in derselben Gruppe; die erste vorbestimmte Bedingung enthält, dass vertikale Koordinaten zweier Punkte benachbart sind, eine Abstandsdifferenz zwischen horizontalen Koordinaten der beiden Punkte geringer ist als ein erster Abstandsschwellwert und eine Gradientenwinkeldifferenz kleiner ist als ein Schwellwert des Gradientenwinkels. Hier enthalten die Störpunkte einen ersten Störpunkt, und der erste Störpunkt erfüllt nicht die erste vorbestimmte Bedingung mit einem beliebigen der anderen Helligkeitssprungpunkte.
Es ist anzumerken, dass die horizontalen Koordinaten und die vertikalen Koordinaten horizontale Koordinaten und vertikale Koordinaten in einem ebenen Koordinatensystem sein können, das auf Grundlage des Fahrbahnbildes erstellt ist. In einem Beispiel eines auf Grundlage des Fahrbahnbildes erstellten ebenen Koordinatensystems kann der Ursprung ein Eckpunkt in einer unteren linken Ecke des Fahrbahnbildes sein, kann die horizontale Achse eine untere Grenzlinie des Fahrbahnbildes sein und kann die vertikale Achse eine linke Grenzlinie des Fahrbahnbildes sein, wie in 14 gezeigt.
Es ist zu verstehen, dass das obige Szenario nur ein beispielhaftes Szenario gemäß einer Ausführungsform der vorliegenden Offenbarung ist und die vorliegende Offenbarung nicht auf das Szenario beschränkt ist.
Bestimmte Ausführungsformen eines Verfahrens, einer Einrichtung und einer Vorrichtung zum Ermitteln von Fahrbahngrenzen gemäß Ausführungsformen der vorliegenden Offenbarung sind nachstehend in Verbindung mit der Zeichnung beschrieben.
Es ist Bezug genommen auf 2, die ein schematisches Flussdiagramm eines Verfahrens zum Ermitteln von Fahrbahngrenzen gemäß einer Ausführungsform der vorliegenden Offenbarung ist. In einer Ausführungsform kann das Verfahren genauer die Schritte 201 bis 204 enthalten.
In Schritt 201 wird ein aktuelles Bild einer Fahrbahn erlangt, und Helligkeitssprungpunkte in dem aktuellen Bild werden durch ein Filtern des aktuellen Bildes extrahiert.
Die Helligkeitssprungpunkte stellen Pixel dar, bei denen ein Helligkeitssprung auftritt. Im aktuellen Bild unterscheidet sich ein Fahrbahngrenzbereich gewöhnlich stark von seinen umgebenden Bereichen in der Helligkeit; daher sind Pixel auf Kantenlinien der Fahrbahngrenze gewöhnlich Helligkeitssprungpunkte. Die durch ein Filtern des aktuellen Bildes erhaltenen Helligkeitssprungpunkte können benutzt werden, um die Kantenlinien der Fahrbahngrenze zu bestimmen, sodass der Fahrbahngrenzbereich im aktuellen Bild auf Grundlage der Kantenlinien der Fahrbahngrenze bestimmt werden kann.
Es ist zu verstehen, dass in der Ausführungsform die Helligkeitssprungpunkte im aktuellen Bild auf Grundlage eines beliebigen Filterverfahrens extrahiert werden können. Zum Beispiel wurde in der herkömmlichen Technik eine Weise zum Extrahieren von Helligkeitssprungpunkten durch ein Filtern eines Fahrbahnbildes vorgesehen, die in der Ausführungsform nicht beschrieben ist.
In Schritt 202 werden Störpunkte aus den Helligkeitssprungpunkten ausgefiltert, und verbleibende Helligkeitssprungpunkte werden als Kantenpunkte zum Bilden von Gruppen der Kantenpunkte bestimmt. Zwei Kantenpunkte, die eine erste vorbestimmte Bedingung erfüllen, befinden sich in derselben Gruppe. Die erste vorbestimmte Bedingung enthält, dass vertikale Koordinaten zweier Punkte benachbart sind und eine Abstandsdifferenz zwischen horizontalen Koordinaten der beiden Punkte geringer ist als ein erster Abstandsschwellwert. Die Störpunkte enthalten einen ersten Störpunkt, und der erste Störpunkt erfüllt nicht die erste vorbestimmte Bedingung mit einem beliebigen der anderen Helligkeitssprungpunkte. Eine Verbindungslinie von Kantenpunkten in derselben Gruppe bildet eine einzige Kantenlinie.
In Schritt 202 werden für die vielfachen, aus dem aktuellen Bild extrahierten Helligkeitssprungpunkte Informationen analysiert, wie etwa Ort und Gradientenwinkel der Helligkeitssprungpunkte. In einem Aspekt können Helligkeitssprungpunkte, die zu verschiedenen Kantenlinien gehören, unterschieden werden, um Gruppen der Kantenpunkte zu bilden; in einem weiteren Aspekt können die Helligkeitssprungpunkte, die zu keiner Kantenlinie gehören, ausgefiltert werden.
Es ist zu verstehen, dass in Schritt 202 die Kantenpunkte auf Grundlage der ersten vorbestimmten Bedingung gruppiert werden können, die in einem System vorab aufgestellt ist. Genauer ist, da Orte von Kantenpunkten auf derselben Kantenlinie durchgängig sein sollten, ein horizontaler Abstand zwischen zwei Kantenpunkten kurz, wenn die beiden Kantenpunkte auf derselben Kantenlinie in der vertikalen Richtung benachbart sind. Auf Grundlage des Obigen kann die erste vorbestimmte Bedingung enthalten, dass vertikale Koordinaten zweier Punkte benachbart sind, eine Abstandsdifferenz zwischen horizontalen Koordinaten der beiden Punkte geringer ist als ein erster Abstandsschwellwert und eine Gradientenwinkeldifferenz geringer ist als ein Gradientenwinkelgrenzwert.
Genauer kann die erste vorbestimmte Bedingung als die folgende Gleichung 1 ausgedrückt sein: abs(A – B) ≤ DisDiffThresh. Gleichung 1
A bzw. B stellen horizontale Koordinaten zweier Punkte dar, die benachbarte vertikale Koordinaten aufweisen, DisDiffThresh stellt den ersten Abstandsschwellwert dar, und abs stellt eine Operation des Bildens des Absolutwerts dar.
Es ist anzumerken, dass für beliebige zwei Helligkeitssprungpunkte im aktuellen Bild, wenn die beiden Helligkeitssprungpunkte die erste vorbestimmte Bedingung erfüllen, die beiden Helligkeitssprungpunkte dann zu den Kantenpunkten auf derselben Kantenlinie gehören und in dieselbe Gruppe gruppiert werden können. Zum Beispiel stellt in einem in 3 gezeigten Bildbeispiel jedes kleine Quadrat ein Pixel in dem Bild dar, und alle aus a, b und c sind Helligkeitssprungpunkte. Aus 3 ist zu sehen, dass eine vertikale Koordinate von a und die von b benachbart sind, die vertikale Koordinate von b und die von c benachbart sind, eine Differenz zwischen einer horizontalen Koordinate von a und der von b D_ab ist und eine Differenz zwischen einer horizontalen Koordinate von b und der von c D_bc ist. Wenn D_ab geringer ist als der erste Abstandsschwellwert, erfüllen a und b die erste vorbestimmte Bedingung, und a und b werden in dieselbe Gruppe gruppiert. Wenn D_bc geringer ist als der erste Abstandsschwellwert, erfüllen b und c die erste vorbestimmte Bedingung, und b und c werden in dieselbe Gruppe gruppiert. Es ist zu verstehen, dass in einem Fall, in dem a und b die erste vorbestimmte Bedingung erfüllen und b und c auch die erste vorbestimmte Bedingung erfüllen, obwohl die vertikale Koordinate von a und die von c nicht benachbart sind, d.h. a und c nicht die erste vorbestimmte Bedingung erfüllen, a, b und c in dieselbe Gruppe gruppiert werden können, da a und b in dieselbe Gruppe gruppiert sind und b und c in dieselbe Gruppe gruppiert sind. Das heißt, a, b und c befinden sich auf derselben Kantenlinie.
Weiter sind, da Graupegeländerungen zwischen zwei Seiten von Kantenpunkten auf derselben Kantenlinie von derselben Größenordnung sind, wenn zwei Kantenpunkte auf derselben Kantenlinie in der vertikalen Richtung benachbart sind, Gradientenwinkel der beiden Kantenpunkte sehr ähnlich. Auf Grundlage des Obigen kann die erste vorbestimmte Bedingung weiter enthalten, dass ein Gradientenwinkel zwischen den beiden Punkten kleiner ist als der Gradientenwinkelschwellwert. Das heißt, die erste vorbestimmte Bedingung kann sein, dass vertikale Koordinaten zweier Punkte benachbart sind, eine Abstandsdifferenz zwischen horizontalen Koordinaten der beiden Punkte geringer ist als der erste Abstandsschwellwert und eine Gradientenwinkeldifferenz geringer ist als der Gradientenwinkelgrenzwert.
Genauer kann die erste vorbestimmte Bedingung als die obige Gleichung 1 und die folgende Gleichung 2 ausgedrückt sein: abs(C – D) ≤ GradAngleThresh. Gleichung 2
C bzw. D stellen Gradientenwinkel zweier Punkte dar, die benachbarte vertikale Koordinaten aufweisen, GradAngleThresh stellt den Gradientenwinkelschwellwert dar, und abs stellt eine Operation des Bildens des Absolutwerts dar. Es ist zu verstehen, dass unter den im Schritt 201 extrahierten Helligkeitssprungpunkten einige Punkte Störpunkte sind, die nicht auf den Kantenlinien liegen. Um zu verhindern, dass die Störpunkte den Erkennungsvorgang der Fahrbahngrenzen beeinträchtigen, können die Störpunkt im Vorgang des Gruppierens der Kantenpunkte ausgefiltert werden.
Da eine Kantenlinie aus mehreren Kantenpunkten besteht, ist ein Helligkeitssprungpunkt, wenn der Helligkeitssprungpunkt nicht die erste vorbestimmte Bedingung mit einem beliebigen der anderen Helligkeitssprungpunkte in dem Bild erfüllt, d.h. der Helligkeitssprungpunkt nicht auf derselben Linie liegt wie ein beliebiger der anderen Helligkeitssprungpunkte, kein Kantenpunkt auf einer Kantenlinie und ist ein Störpunkt. Ein Störpunkt eines solchen Typs ist als ein erster Störpunkt bestimmt, und der erste Störpunkt kann im Gruppierungsvorgang der Kantenpunkte ausgefiltert werden. Die hier genannte erste vorbestimmte Bedingung kann als die obige Gleichung 1 ausgedrückt sein oder kann als die obige Gleichung 1 und die obige Gleichung 2 ausgedrückt sein.
Weiter sollten, da Graupegel an zwei Seiten von Kantenpunkten auf einer Kantenlinie Kontinuität aufweisen, Graupegel an zwei Seiten von Kantenpunkten, die nahe beieinander liegen, ähnlich sein. Wenn sich daher Graupegel an zwei Seiten eines Helligkeitssprungpunkts stark von Graupegeln an zwei Seiten eines anderen Helligkeitssprungpunkts unterscheiden, der nahe bei ihm liegt, ist der Helligkeitssprungpunkt kein Kantenpunkt auf einer Kantenlinie und ist ein Störpunkt. Ein Störpunkt eines solchen Typs ist als ein zweiter Störpunkt bestimmt. Beim Gruppierungsvorgang der Störpunkte kann nicht nur der erste Störpunkt ausgefiltert werden, sondern auch der zweite Störpunkt kann ausgefiltert werden.
Um zu erkennen, ob Graupegel an zwei Seiten von Helligkeitssprungpunkten, die nahe beieinander liegen, stark unterschiedlich sind, um den zweiten Störpunkt auszufiltern, können in einigen Ausführungsformen der vorliegenden Offenbarung eine zweite vorbestimmte Bedingung, eine dritte vorbestimmte Bedingung, eine vierte vorbestimmte Bedingung und/oder eine fünfte vorbestimmte Bedingung angewendet werden. Zum Beispiel kann für einen im Schritt 201 extrahierten Helligkeitssprungpunkt, wenn der Helligkeitssprungpunkt mindestens eine aus der zweiten vorbestimmten Bedingung, der dritten vorbestimmten Bedingung, der vierten vorbestimmten Bedingung und der fünften vorbestimmten Bedingung erfüllt, der Helligkeitssprungpunkt als ein zweiter Störpunkt ausgefiltert werden.
Genauer kann die zweite vorbestimmte Bedingung sein, dass: eine Differenz zwischen einem mittleren Graupegel eines ersten linken horizontalen Bereichs und einem mittleren Graupegel eines zweiten linken horizontalen Bereichs kleiner ist als ein erster Schwellwert des mittleren Graupegels. Genauer kann die dritte vorbestimmte Bedingung sein, dass: eine Differenz zwischen einem mittleren Graupegel eines ersten rechten horizontalen Bereichs und einem mittleren Graupegel eines zweiten rechten horizontalen Bereichs kleiner ist als ein zweiter Schwellwert des mittleren Graupegels. Die vierte vorbestimmte Bedingung kann sein, dass: eine Differenz zwischen einer Graupegelstreuung eines ersten linken horizontalen Bereichs und einer Graupegelstreuung eines zweiten linken horizontalen Bereichs kleiner ist als ein erster Schwellwert der Graupegelstreuung. Die fünfte vorbestimmte Bedingung kann sein, dass: eine Differenz zwischen einer Graupegelstreuung eines ersten rechten horizontalen Bereichs und einer Graupegelstreuung eines zweiten rechten horizontalen Bereichs kleiner ist als ein zweiter Schwellwert der Graupegelstreuung.
Der erste linke horizontale Bereich ist ein Bereich, der aus einem ersten linken Punkt besteht, eine vertikale Koordinate des ersten linken Punkts ist dieselbe wie die des zweiten Störpunkts, ein Abstand zwischen einer horizontalen Koordinate des ersten linken Punkts und der des zweiten Störpunkts ist nicht größer als ein dritter Abstandsschwellwert, und die horizontale Koordinate des ersten linken Punkts ist kleiner als die des zweiten Störpunkts. Der zweite linke horizontale Bereich ist ein Bereich, der aus einem zweiten linken Punkt besteht, eine vertikale Koordinate des zweiten linken Punkts ist dieselbe wie die eines Bezugs-Sprungpunkts, ein Abstand zwischen einer horizontalen Koordinate des zweiten linken Punkts und der des Bezugs-Sprungpunkts ist nicht größer als der dritte Abstandsschwellwert, und die horizontale Koordinate des zweiten linken Punkts ist kleiner als die des Bezugs-Sprungpunkts. Der erste rechte horizontale Bereich ist ein Bereich, der aus einem ersten rechten Punkt besteht, eine vertikale Koordinate des ersten rechten Punkts ist dieselbe wie die des zweiten Störpunkts, ein Abstand zwischen einer horizontalen Koordinate des ersten rechten Punkts und der des zweiten Störpunkts ist nicht größer als der dritte Abstandsschwellwert, und die horizontale Koordinate des ersten rechten Punkts ist größer als die des zweiten Störpunkts. Der zweite rechte horizontale Bereich ist ein Bereich, der aus einem zweiten rechten Punkt besteht, eine vertikale Koordinate des zweiten rechten Punkts ist dieselbe wie die des Bezugs-Sprungpunkts, ein Abstand zwischen einer horizontalen Koordinate des zweiten rechten Punkts und der des Bezugs-Sprungpunkts ist nicht größer als der dritte Abstandsschwellwert, und die horizontale Koordinate des zweiten rechten Punkts ist größer als die des Bezugs-Sprungpunkts. Der Bezugs-Sprungpunkt gehört zu den Helligkeitssprungpunkten, ein Abstand zwischen der horizontalen Koordinate des Bezugs-Sprungpunkts und der des zweiten Störpunkts ist geringer als der erste Abstandsschwellwert, ein Abstand zwischen der vertikalen Koordinate des Bezugs-Sprungpunkts und der des zweiten Störpunkts ist geringer als ein vierter Abstandsschwellwert, und die vertikale Koordinate des Bezugs-Sprungpunkts ist kleiner als die des zweiten Störpunkts.
Genauer kann die zweite vorbestimmte Bedingung als die folgende Gleichung 3 ausgedrückt sein, kann die dritte vorbestimmte Bedingung als die folgende Gleichung 4 ausgedrückt sein, kann die vierte vorbestimmte Bedingung als die folgende Gleichung 5 ausgedrückt sein, und kann die fünfte vorbestimmte Bedingung als die folgende Gleichung 6 ausgedrückt sein. abs(AverRL – AverPL) ≤ AverThresh₁; Gleichung 3 abs(AverRR – AverPR) ≤ AverThresh₂; Gleichung 4 abs(SDRL – SDPL) ≤ SDThresh₁; Gleichung 5 und abs(SDRR – SDPR) ≤ SDThresh₂. Gleichung 6
AverPL stellt den mittleren Graupegel des ersten linken horizontalen Bereichs dar, AverRL stellt den mittleren Graupegel des zweiten linken horizontalen Bereichs dar, AverPR stellt den mittleren Graupegel des ersten rechten horizontalen Bereichs dar, AverRR stellt den mittleren Graupegel des zweiten rechten horizontalen Bereichs dar, SDPL stellt die Graupegelstreuung des ersten linken horizontalen Bereichs dar, SDRL stellt die Graupegelstreuung des zweiten linken horizontalen Bereichs dar, SDPR stellt die Graupegelstreuung des ersten rechten horizontalen Bereichs dar, SDRR stellt die Graupegelstreuung des zweiten rechten horizontalen Bereichs dar, AverThresh₁ stellt den ersten Schwellwert des mittleren Graupegels dar, AverThresh₂ stellt den zweiten Schwellwert des mittleren Graupegels dar, SDThresh₁ stellt den ersten Schwellwert der Graupegelstreuung dar, SDThresh₂ stellt den zweiten Schwellwert der Graupegelstreuung dar, und abs stellt eine Operation des Bildens des Absolutwerts dar.
Für jeden beliebigen der obigen Bereiche kann ein mittlerer Graupegel und eine Graupegelstreuung des Bereichs auf Grundlage von Gleichung 7 und Gleichung 8 berechnet werden: Aver = (P₁ + P₂ + ... P_n)/n; Gleichung 7 und
Aver stellt den mittleren Graupegel des Bereichs dar, SD stellt die Graupegelstreuung des Bereichs dar, P₁ bis P_n stellen Grauwerte verschiedener Pixel in dem Bereich dar, und n stellt die Anzahl der Pixel in dem Bereich dar.
Es ist anzumerken, dass der erste linke horizontale Bereich, der zweite linke horizontale Bereich, der erste rechte horizontale Bereich und der zweite rechte horizontale Bereich auf den zweiten Störpunkt bezogen sind. Wenn zu bestimmen ist, ob ein Helligkeitssprungpunkt ein zweiter Störpunkt ist, werden die obigen vier Bereiche auf Grundlage des Helligkeitssprungpunkts bestimmt, und dann wird auf Grundlage der bestimmten Bereiche bestimmt, ob der Helligkeitssprungpunkt die zweite vorbestimmte Bedingung, die dritte vorbestimmte Bedingung, die vierte vorbestimmte Bedingung und/oder die fünfte vorbestimmte Bedingung erfüllt.
Zum Beispiel stellt in einem in 4 gezeigten Bildbeispiel jedes kleine Quadrat ein Pixel in dem Bild dar. Alle aus a, b, c, d, e und f sind Helligkeitssprungpunkte, D1 stellt den zweiten Abstandsschwellwert dar, und D2 stellt den dritten Abstandsschwellwert dar. Wenn zu bestimmen ist, ob b ein zweiter Störpunkt ist, enthalten die Bezugs-Sprungpunkte c, d, e und f, ist Bereich 1 ein erster linker horizontaler Bereich, ist Bereich 2 ein erster rechter horizontaler Bereich, ist Bereich 3 ein zweiter linker horizontaler Bereich, und ist Bereich 4 ein zweiter rechter horizontaler Bereich.
Es ist anzumerken, dass in einigen Ausführungsformen der vorliegenden Offenbarung der Schritt 202 sein kann: ein Gruppieren der Kantenpunkte und ein Ausfiltern der Störpunkte durch ein Analysieren von Orten, Gradienten und Graupegeländerungen verschiedener Helligkeitssprungpunkte im aktuellen Bild Zeile für Zeile, das heißt, ein Erreichen sowohl eines Ausfilterns der Störpunkte als auch eines Gruppierens der Kantenpunkte in einem Vorgang des Analysierens des aktuellen Bildes Zeile für Zeile. Zum Beispiel wird, beginnend mit einer unteren Zeile in dem aktuellen Bild (d.h. der Zeile mit den minimalen vertikalen Koordinaten), für jeden Helligkeitssprungpunkt in einer aktuellen Zeile, die gerade analysiert wird, bestimmt, ob der Helligkeitssprungpunkt die erste vorbestimmte Bedingung mit mindestens einem Helligkeitssprungpunkt in der vorhergehenden Zeile und der nächsten Zeile erfüllen kann, und ob der Helligkeitssprungpunkt die zweite vorbestimmte Bedingung, die dritte vorbestimmte Bedingung, die vierte vorbestimmte Bedingung und die fünfte vorbestimmte Bedingung erfüllt. Wenn der Helligkeitssprungpunkt die erste vorbestimmte Bedingung nicht mit einem Helligkeitssprungpunkt in der vorhergehenden Zeile und der nächsten Zeile erfüllen kann, wird der Helligkeitssprungpunkt als ein erster Störpunkt ausgefiltert. Wenn der Helligkeitssprungpunkt mindestens eine aus der zweiten vorbestimmten Bedingung, der dritten vorbestimmten Bedingung, der vierten vorbestimmten Bedingung und der fünften vorbestimmten Bedingung erfüllt, wird der Helligkeitssprungpunkt als ein zweiter Störpunkt ausgefiltert. Wenn der Helligkeitssprungpunkte die erste vorbestimmte Bedingung mit einem Helligkeitssprungpunkt in der vorhergehenden Zeile und der nächsten Zeile erfüllen kann und der Helligkeitssprungpunkt nicht die zweite vorbestimmte Bedingung, die dritte vorbestimmte Bedingung, die vierte vorbestimmte Bedingung und die fünfte vorbestimmte Bedingung erfüllt, wird der Helligkeitssprungpunkt als ein Kantenpunkt bestimmt und in eine geeignete Gruppe gruppiert.
In Schritt 203 werden Kantenlinien der Fahrbahngrenzen aus Kantenlinien erkannt.
Es ist zu verstehen, dass, nachdem der Schritt 202 durchgeführt ist, eine Verbindungslinie von Kantenpunkten in jeder Gruppe eine einzige Kantenlinie bildet. Es ist möglich, dass nicht alle der Kantenlinien Kantenlinien der Fahrbahngrenzen sind, und dass manche unordentliche Linie enthalten sein kann. Zum Beispiel enthalten mögliche unordentliche Linien unter den Kantenlinien Kantenlinien von Objekten, wie etwa eines Lampenpfahls, eines Telegrafenmasts und eines Beleuchtungsrahmens eines anderen Autos. Daher können für die durch ein Gruppieren der Kantenpunkte im Schritt 202 erhaltenen Kantenlinien die Kantenlinien der Fahrbahngrenzen durch ein Ausfiltern der unordentlichen Linien erkannt werden.
In der Ausführungsform kann der Schritt 203 sein: ein Gruppieren der Kantenpunkte auf Grundlage einer vorbestimmten Bedingung, die vorab in einem System aufgestellt ist.
Zum Beispiel können in einigen Umsetzungen der Ausführungsform, da die Kantenlinien der Fahrbahngrenze eine geeignete Länge und einen geeigneten Gradientenwinkel aufweisen sollten und Graupegelabweichungen von Bereichen an zwei Seiten von Kantenlinien der Fahrbahngrenze groß sind, Glaubwürdigkeiten, dass Kantenlinien zu den Fahrbahngrenzen gehören, in der Weise eines Vertrauensbereichs bestimmt werden, und Kantenlinien mit hohen Vertrauensbereichen werden als Kantenlinien der Fahrbahngrenze erkannt. Genauer kann der Schritt 203 sein: ein Erkennen von Kantenlinien, die eine sechste vorbestimmte Bedingung erfüllen, aus den Kantenlinien und ihr Bestimmen als die Kantenlinien der Fahrbahngrenze. Die sechste vorbestimmte Bedingung ist, dass: ein Vertrauensbereich einer Kantenlinie größer ist als ein Vertrauensbereichsschwellwert, wobei der Vertrauensbereich der Kantenlinie eine Wahrscheinlichkeit darstellt, dass die Kantenlinie zu Kantenlinien der Fahrbahngrenze gehört, und der Vertrauensbereich der Kantenlinie berechnet wird auf Grundlage einer wirklichen Länge der Kantenlinie, einer Graupegelabweichung zwischen zwei horizontalen Seiten der Kantenlinie im aktuellen Bild und von Gradientenwinkeln von Kantenpunkten der Kantenlinie.
Weiter kann der Vertrauensbereich der Kantenlinie genauer auf Grundlage der Gleichungen 7 bis 10 berechnet. C = K1 × LengthC + K2 × GrayContrastC + K3 × GradientC; Gleichung 7 LengthC = RLength = LengthThresh × 1000; Gleichung 8 GrayContrastC = [abs(lineAverL – lineAverR)] ÷ GrayContrastThresh × 1000; Gleichung 9 GradientC = GradPo int Num ÷ SumPo int Num × 1000. Gleichung 10
C stellt den Vertrauensbereich der Kantenlinie dar, LengthC stellt einen Längen-Vertrauensbereich der Kantenlinie dar, GrayContrastC stellt einen Vertrauensbereich einer Graupegelabweichung zwischen zwei Seiten der Kantenlinie dar, GradientC stellt einen Vertrauensbereich eines Gradientenwinkels der Kantenlinie dar, und K1, K2 und K3 sind vorgegebene Proportionalkoeffizienten. RLength stellt die Länge der Kantenlinie dar, und LengthThresh stellt einen vorgegebenen Längenschwellwert dar. lineAverL stellt einen mittleren Graupegel eines linken Bereichs der Kantenlinie dar, lineAverR stellt einen mittleren Graupegel eines rechten Bereichs der Kantenlinie dar, und GrayContrastThresh stellt einen Schwellwert der Graupegelabweichung dar. GradPointNum stellt die Anzahl von Kantenpunkten auf der Kantenlinie dar, die eine Anforderung für einen Gradienten erfüllen, und SumPointNum stellt die Gesamtzahl von Kantenpunkten auf der Kantenlinie dar. Ein Gradientenwinkel eines Kantenpunkts auf der Kantenlinie, der die Anforderung für einen Gradienten erfüllt, ist kleiner oder gleich einem vorgegebenen Gradientenwinkelschwellwert.
Der linke Bereich der Kantenlinie stellt einen Bereich dar, der auf einer linken Seite der Kantenlinie und in einem vorbestimmten Abstand davon liegt. Genauer ist der linke Bereich der Kantenlinie ein Bereich, der aus einem dritten linken Punkt besteht, sind eine vertikale Koordinate des dritten linken Punktes und die des Kantenpunkts auf der Kantenlinie dieselbe, ist ein Abstand zwischen einer horizontalen Koordinate des dritten linken Punkts und der des Kantenpunkts auf der Kantenlinie nicht größer ist als der dritte Abstandsschwellwert, und ist die horizontale Koordinate des dritten linken Punkts kleiner als die des Kantenpunkts auf der Kantenlinie.
Der rechte Bereich der Kantenlinie stellt einen Bereich dar, der auf einer rechten Seite der Kantenlinie und in einem vorbestimmten Abstand davon liegt. Genauer ist der rechte Bereich der Fahrbahngrenze ein Bereich, der aus einem dritten rechten Punkt besteht, sind eine vertikale Koordinate des dritten rechten Punktes und die des Kantenpunkts auf der Kantenlinie dieselbe, ist ein Abstand zwischen einer horizontalen Koordinate des dritten rechten Punkts und der des Kantenpunkts auf der Kantenlinie nicht größer als der dritte Abstandsschwellwert, und ist die horizontale Koordinate des dritten rechten Punkts größer als die des Kantenpunkts auf der Kantenlinie.
Zum Beispiel stellt in einem in 5 gezeigten Bildbeispiel jedes kleine Quadrat ein Pixel in dem Bild dar, und eine Kantenlinie enthält drei Kantenpunkte a, b und c. Aus 5 ist zu ersehen, dass ein Abstand zwischen einer horizontalen Koordinate von a und der von d, ein Abstand zwischen einer horizontalen Koordinate von a und der von g, ein Abstand zwischen einer horizontalen Koordinate von b und der von e, ein Abstand zwischen einer horizontalen Koordinate von b und der von h, ein Abstand zwischen einer horizontalen Koordinate von c und der von f und ein Abstand zwischen einer horizontalen Koordinate von c und der von i alle gleich dem dritten Abstandsschwellwert sind. Es ist zu sehen, dass der Bereich 1 ein linker Bereich der Kantenlinie ist und der Bereich 2 ein rechter Bereich der Kantenlinie ist.
Als weiteres Beispiel können in einigen anderen Umsetzungen der Ausführungsform, da Winkel zwischen den Kantenlinien einer Fahrbahngrenze und einer bekannten Fahrbahnmarkierungslinie klein sein sollten, die Kantenlinien der Fahrbahngrenze auf Grundlage der Winkel zwischen den Kantenlinien und der Fahrbahnmarkierungslinie erkannt werden. Genauer kann der Schritt 203 sein: ein Erkennen von Kantenlinien, die eine siebente vorbestimmte Bedingung erfüllen, aus den Kantenlinien als die Kantenlinien der Fahrbahngrenze. Die siebente vorbestimmte Bedingung ist, dass: ein Winkel in einem dreidimensionalen Koordinatensystem zwischen einer aus dem aktuellen Bild erkannten Fahrbahnmarkierungslinie und einer Kantenlinie geringer ist als ein Winkelschwellwert. Es ist zu verstehen, dass in der Ausführungsform eine Fahrbahnmarkierungslinie im aktuellen Bild auf eine beliebige Erkennungsweise erkannt werden kann. Zum Beispiel wurde in der herkömmlichen Technik eine Weise zum Erkennen einer Fahrbahnmarkierungslinie aus einem Fahrbahnbild vorgesehen, die in der Ausführungsform nicht beschrieben ist.
Es ist anzumerken, dass in einigen anderen Umsetzungen der Ausführungsform die Kantenlinien der Fahrbahngrenze auf Grundlage sowohl der sechsten vorbestimmten Bedingung als auch der siebenten vorbestimmten Bedingung erkannt werden können. Genauer kann der Schritt 203 sein: Erkennen von Kantenlinien, die die sechste vorbestimmte Bedingung und die siebente vorbestimmte Bedingung erfüllen, aus den Kantenlinien als die Kantenlinien der Fahrbahngrenze.
In Schritt 204 werden die Kantenlinien der Fahrbahngrenzen gruppiert, und Kantenlinien in jeder Gruppe werden als Kantenlinien einer einzigen Fahrbahngrenze erkannt, wobei eine Differenz zwischen horizontalen Koordinaten zweier Kantenlinien in derselben Gruppe geringer ist als ein zweiter Abstandsschwellwert.
Es ist zu verstehen, dass, da ein horizontaler Abstand zwischen Kantenlinien einer einzigen Fahrbahngrenze einen aktuellen Einschränkungsstandard erfüllen sollten, daher in ein einem Fall, dass bestimmt ist, dass eine Differenz zwischen horizontalen Koordinaten zweier Kantenlinien geringer ist als der zweite Abstandsschwellwert, die beiden Kantenlinien in dieselbe Gruppe aufgenommen werden können. Kantenlinien in derselben Gruppe sind Kantenlinien, die zur selben Fahrbahngrenze gehören, das heißt, ein durch Kantenlinien in derselben Gruppe gebildeter Bereich ist ein Bereich einer einzigen Fahrbahngrenze.
Nachdem eine Fahrbahngrenze erkannt ist, kann ein Bereich der Fahrbahngrenze im aktuellen Bild markiert werden, und das Bild kann dargestellt werden, um den Fahrer beim Fahren zu unterstützen.
Es ist anzumerken, dass Fahrbahngrenzen Fahrbahnmarkierungslinien, Bordsteine und Leitplanken enthalten, die Fahrbahnmarkierungslinien Zonen sind, in denen Fahrzeuge fahren können, und die Bordsteine und die Leitplanken Zonen sind, in denen Fahrzeuge nicht fahren können. Daher kann, um es für den Fahrer weiter zu erleichtern, verschiedene Fahrzonen zu unterscheiden, ein Bordstein und/oder eine Leitplanke weiter aus den Fahrbahngrenzen erkannt werden kann, nachdem die Fahrbahngrenzen erkannt sind.
In einigen Umsetzungen der Ausführungsform kann, da ein Bordstein gewöhnlich drei Kanten aufweist, ein Fahrbahngrenzbereich, der drei Kantenlinien enthält, als ein Bordsteinbereich erkannt werden. Genauer kann die Ausführungsform nach dem Schritt 204 weiter enthalten: ein Erkennen, dass eine Fahrbahngrenze eine achte vorbestimmte Bedingung als ein Bordstein erfüllt. Die achte vorbestimmte Bedingung ist, dass: eine Fahrbahngrenze drei Kantenlinien enthält, ein horizontaler Abstand zwischen jeweils zwei benachbarten Kantenlinien geringer ist als ein fünfter Abstandsschwellwert, und ein horizontaler Abstand zwischen einer äußersten linken Kantenlinie und einer äußersten rechten Kantenlinie der Fahrbahngrenze geringer ist als ein sechster Abstandsschwellwert.
In einigen anderen Umsetzungen der Ausführungsform kann, da eine Seite eines Bordsteins eine Straße ist und die andere Seite eine nicht befahrbare Zone ist, wie etwa das Gras, d.h. wobei sich ein glatter Bereich an einer Außenseite einer Kantenlinie des Bordsteins befindet und sich ein Sprungbereich an einer Außenseite der anderen Kantenlinie befindet, daher für eine Fahrbahngrenze mit nur zwei Kantenlinien ein Bordsteinbereich auf Grundlage von Graupegeln von Bereichen an Außenseiten der beiden Kantenlinien der Fahrbahngrenze erkannt werden. Genauer kann die Ausführungsform nach dem Schritt 204 weiter enthalten: Erkennen einer Fahrbahngrenze, die eine neunte vorbestimmte Bedingung erfüllt, und einer Fahrbahngrenze, die eine zehnte vorbestimmte Bedingung erfüllt, als Bordsteine. Die neunte vorbestimmte Bedingung besteht darin, dass: eine Fahrbahngrenze zwei Kantenlinien enthält, ein Abstand zwischen horizontalen Koordinaten der beiden Kantenlinien der Fahrbahngrenze geringer ist als ein siebenter Abstandsschwellwert, eine Graupegelstreuung eines linken Bereichs der Fahrbahngrenze geringer ist als ein dritter Schwellwert der Graupegelstreuung, und eine Graupegelstreuung eines rechten Bereichs der Fahrbahngrenze größer ist als ein vierter Schwellwert der Graupegelstreuung. Die zehnte vorbestimmte Bedingung besteht darin, dass: eine Fahrbahngrenze zwei Kantenlinien enthält, ein Abstand zwischen horizontalen Koordinaten der beiden Kantenlinien der Fahrbahngrenze geringer ist als der siebente Abstandsschwellwert, eine Graupegelstreuung eines linken Bereichs der Fahrbahngrenze größer ist als der dritte Schwellwert der Graupegelstreuung, und eine Graupegelstreuung eines rechten Bereichs der Fahrbahngrenze geringer ist als der vierte Schwellwert der Graupegelstreuung.
Der linke Bereich der Fahrbahngrenze ist ein Bereich, der aus einem dritten linken Punkt besteht, eine vertikale Koordinate des dritten linken Punkts liegt in einem Bereich vertikaler Koordinaten einer linken Kantenlinie der Fahrbahngrenze, ein Abstand zwischen einer horizontalen Koordinate des dritten linken Punkts und der der linken Kantenlinie der Fahrbahngrenze ist nicht größer als der dritte Abstandsschwellwert, und die horizontale Koordinate des dritten linken Punkts ist kleiner als die der linken Kantenlinie der Fahrbahngrenze. Der rechte Bereich der Fahrbahngrenze ist ein Bereich, der aus einem dritten rechten Punkt besteht, eine vertikale Koordinate des dritten rechten Punkts liegt in einem Bereich vertikaler Koordinaten einer rechten Kantenlinie der Fahrbahngrenze, ein Abstand zwischen einer horizontalen Koordinate des dritten rechten Punkts und der der rechten Kantenlinie der Fahrbahngrenze ist nicht größer als der dritte Abstandsschwellwert, und die horizontale Koordinate des dritten rechten Punkts ist größer als die der rechten Kantenlinie der Fahrbahngrenze.
Zum Beispiel stellt in einem in 6 gezeigten Bildbeispiel jedes kleine Quadrat ein Pixel in dem Bild dar; und für eine Fahrbahngrenze bilden drei Kantenpunkte a, b und c eine linke Kantenlinie der Fahrbahngrenze, und drei Kantenpunkte d, e und f bilden eine rechte Kantenlinie der Fahrbahngrenze. Aus 6 ist zu ersehen, dass vertikale Koordinaten von a und g dieselben sind, und ein Abstand zwischen horizontalen Koordinaten von a und g der dritte Abstandsschwellwert ist; vertikale Koordinaten von b und h dieselben sind, und ein Abstand zwischen horizontalen Koordinaten von b und h der dritte Abstandsschwellwert ist; vertikale Koordinaten von c und i dieselben sind, und ein Abstand zwischen horizontalen Koordinaten von c und i der dritte Abstandsschwellwert ist; außerdem ist die horizontale Koordinate von a größer als die von g, ist die horizontale Koordinate von b größer als die von h, und ist die horizontale Koordinate von c größer als die von i. Daher ist der Bereich 1 ein linker Bereich der Fahrbahngrenze. Ähnlich sind vertikale Koordinaten von d und j dieselben, und ist ein Abstand zwischen horizontalen Koordinaten von d und j der dritte Abstandsschwellwert; sind vertikale Koordinaten von e und k dieselben, und ist ein Abstand zwischen horizontalen Koordinaten von e und k der dritte Abstandsschwellwert; sind vertikale Koordinaten von f und l dieselben, und ist ein Abstand zwischen horizontalen Koordinaten von f und l der dritte Abstandsschwellwert; außerdem ist die horizontale Koordinate von d kleiner als die von j, ist die horizontale Koordinate von e kleiner als die von k, und ist die horizontale Koordinate von f kleiner als die von l. Daher ist der Bereich 2 ein rechter Bereich der Fahrbahngrenze.
Es ist zu verstehen, dass die linke Kantenlinie der Fahrbahngrenze aus einem linken Kantenpunkt besteht, und die rechte Kantenlinie der Fahrbahngrenze aus einem rechten Kantenpunkt besteht. Wenn für einen Kantenpunkt ein mittlerer Graupegel eines linken Bereichs des Kantenpunkts nicht größer ist als ein mittlerer Grauwert eines rechten Bereichs des Kantenpunkts und Graupegelstreuungen an einer linken Seite und einer rechten Seite des Kantenpunkts nicht größer sind als ein Schwellwert, ist der Kantenpunkt ein linker Kantenpunkt. Wenn der mittlere Graupegel des linken Bereichs des Kantenpunkts nicht niedriger ist als der mittlere Graupegel des rechten Bereichs des Kantenpunkts und die Graupegelstreuungen an einer linken Seite und der rechten Seite des Kantenpunkts nicht größer sind als der Schwellwert, ist der Kantenpunkt ein rechter Kantenpunkt.
Es ist anzumerken, dass in einigen anderen Umsetzungen der Ausführungsform Kantenlinien der Fahrbahngrenze auf Grundlage aller aus der achten vorbestimmten Bedingung, der neunten vorbestimmten Bedingung und der zehnten vorbestimmten Bedingung erkannt werden können. Genauer kann die Ausführungsform weiter enthalten: ein Erkennen einer Fahrbahngrenze, die die achte vorbestimmte Bedingung erfüllt, einer Fahrbahngrenze, die die neunte vorbestimmte Bedingung erfüllt, und einer Fahrbahngrenze, die eine zehnte vorbestimmte Bedingung erfüllt, als Bordsteine.
In einigen Umsetzungen der Ausführungsform kann, da eine Leitplanke andere Kanteninformationen aufweist als die eines Bordsteins und die einer Fahrbahnmarkierungslinie, die Leitplanke aus den Fahrbahngrenzen auf Grundlage eines Maschinenlernverfahrens erkannt werden. Genauer kann die Ausführungsform weiter enthalten: ein Erkennen eines Erkennungsbereichs, der die Fahrbahngrenze in dem aktuellen Bild enthält, auf Grundlage eines trainierten Maschinenlernmodells zum Erkennen einer Fahrbahngrenze, die zu der Leitplanke gehört; wobei das Maschinenlernmodell auf Grundlage eines Bildes einer bekannten Leitplanke und eines Bildes eines Objekts trainiert ist, das keine Leitplanke ist. Das Objekt, das keine Leitplanke ist, ist ein Objekt, das in einem Fahrbahnbild erscheinen kann und nicht zu einer Leitplanke gehört, wie etwa eine Fahrbahnmarkierungslinie, ein Bordstein, ein Fußgänger, eine Straßenlampe oder eine Straßenfläche.
Weiter kann, um eine Berechnung für den Ermittlungsvorgang der Fahrbahngrenzen zu vereinfachen, um den Verbrauch an Rechenressourcen und Zeit beim Ermittlungsvorgang der Fahrbahngrenzen zu reduzieren, ein Erkennungsbereich mit einer geeigneten Größe als ein Erkennungsobjekt des Maschinenlernmodells aus dem aktuellen Bild gewählt werden, auf Grundlage eines Fahrbahngrenzbereichs beim Erkennungsvorgang der Leitplanke auf Grundlage des Maschinenlernmodells, und dann wird auf Grundlage eines Erkennungsergebnisses des Erkennungsbereichs bestimmt, ob die Fahrbahngrenze die Leitplanke ist. Genauer kann in der Ausführungsform die Weise des Erkennens der Leitplanke aus der Fahrbahngrenze auf Grundlage des Maschinenlernmodells Schritt A, Schritt B und Schritt C enthalten.
In Schritt A wird jede Fahrbahngrenze im aktuellen Bild als ein Erkennungsziel bestimmt, und mindestens ein Erkennungsbereich, der das Erkennungsziel enthält, wird aus dem aktuellen Bild auf Grundlage eines Orts des Erkennungsziels im aktuellen Bild gewählt.
Für eine Fahrbahngrenze kann ein Ort eines Erkennungsbereichs auf Grundlage der Gleichungen 11 bis 14 durch ein Verwenden einer Kantenlinie der Fahrbahngrenze, die einem Fahrzeug am nächsten ist, als eine Basislinie bestimmt werden. Es ist angenommen, dass n Erkennungsbereiche für eine Fahrbahngrenze gewählt werden müssen; dann können die Gleichungen 11 bis 14 ausgedrückt sein als: Index = i × (SumPo int Num ÷ n), i = 0, 1, ... n – 1; Gleichung 11 recty = BaselinePo int(Index)y – Height × 3 ÷ 4; Gleichung 12 rectx = (recty – BaselinefB) ÷ baselinefK; Gleichung 13 und rectwidth = Width,rectheight = Height. Gleichung 14
Index stellt eine Laufnummer eines Basispunkts in Kantenpunkten auf der Basislinie auf Grundlage vertikaler Koordinaten dar, i stellt eine Laufnummer eines Erkennungsbereichs dar, und SumPointNum stellt die Anzahl der Kantenpunkte auf der Basislinie dar. recty stellt eine vertikale Bezugskoordinate des Erkennungsbereichs dar, rectx stellt eine horizontale Bezugskoordinate des Erkennungsbereichs dar, rectwidth stellt eine Breite des Erkennungsbereichs dar, rectheight stellt eine Höhe des Erkennungsbereichs dar, und rectx, recty, rectwidth und rectheight können zum Bestimmen des Erkennungsbereichs verwendet werden. BaselinePoint(Index)y stellt eine vertikale Koordinate des Basispunkts dar, BaselinefB stellt einen Abschnitt der Basislinie dar, BaselinefK stellt eine Steigung der Basislinie dar, Breite stellt eine vorbestimmte Breite dar, und Höhe stellt eine vorbestimmte Höhe dar.
Es ist zu verstehen, dass ein Basispunkt auf der Basislinie einem Index entspricht, und dass ein Index einem Erkennungsbereich entspricht. Daher entspricht ein Erkennungsbereich einem Basispunkt auf der Basislinie.
Zum Beispiel sind in einem in 7 gezeigten Fahrbahnbild 5 Erkennungsbereiche auf jeder Fahrbahngrenze gewählt, um eine Leitplanke zu erkennen.
In Schritt B wird jeder Erkennungsbereich auf Grundlage des Maschinenlernmodells erkannt, um zu bestimmen, ob der jeweilige Erkennungsbereich ein Bereich ist, der die Leitplanke enthält.
Es ist zu verstehen, dass das Maschinenlernmodell Haar-Like-Eigenschaftenerkennung am Erkennungsbereich durchführen kann, um zu bestimmen, ob der Erkennungsbereich die Leitplanke enthält.
In Schritt C wird das Erkennungsziel als die Leitplanke bestimmt, wenn ein Verhältnis der Anzahl von Bereichen, die die Leitplanke enthalten, zu der Anzahl der Erkennungsbereiche, die das Erkennungsziel enthalten, einen Verhältnisschwellwert überschreitet.
Es ist zu verstehen, dass für eine Fahrbahngrenze mehrere Erkennungsbereiche gewählt werden können, um eine Erkennung durchzuführen, wobei jeder Erkennungsbereich einem Erkennungsergebnis entspricht. Einige der Erkennungsbereiche können als Bereiche erkannt werden, die die Leitplanke enthalten, und einige der Erkennungsbereiche können als Bereiche erkannt werden, die die Leitplanke nicht enthalten. Um zu bestimmen, ob die Fahrbahngrenze die Leitplanke ist, kann sie auf Grundlage der Anzahl von Erkennungsbereichen bestimmt werden, bei denen erkannt ist, dass sie die Leitplanke enthalten. Genauer kann für mehrere Erkennungsbereiche einer Fahrbahngrenze die Fahrbahngrenze als eine Leitplanke bestimmt werden, wenn die Gleichung 15 erfüllt ist. (GroupSelectNum/Group Re ctNum) ≥ Thresh. Gleichung 15
GroupSelectNum stellt die Anzahl von Erkennungsbereichen dar, bei denen erkannt ist, dass sie die Leitplanke enthalten, GroupRectNum stellt die Gesamtzahl der auf der Fahrbahngrenze gewählten Erkennungsbereiche dar, und Thresh stellt den Verhältnisschwellwert dar.
Es ist anzumerken, dass der Bordstein nicht nur aus den Fahrbahngrenzen auf Grundlage der achten vorbestimmten Bedingung, der neunten vorbestimmten Bedingung und der zehnten vorbestimmten Bedingung erkannt werden kann, sondern auch, nachdem eine Leitplanke und eine Fahrbahnmarkierungslinie aus den Fahrbahngrenzen erkannt sind, aus verbleibenden Fahrbahngrenzen auf Grundlage der Leitplanke und der Fahrbahnmarkierungslinie erkannt werden kann, die erkannt wurden. Da es gewöhnlich Bordsteine zwischen einer Fahrbahnmarkierungslinie und einer Leitplanke gibt, kann das Verfahren in einigen Umsetzungen der Ausführungsform weiter enthalten: ein Erkennen einer Fahrbahngrenze, die eine elfte vorbestimmte Bedingung erfüllt, als einen Bordstein in einem Fall, dass die Fahrbahnmarkierungslinie und die Leitplanke aus den Fahrbahngrenzen im aktuellen Bild erkannt wurden. Die elfte vorbestimmte Bedingung ist, dass: sich eine Fahrbahngrenze zwischen der Fahrbahnmarkierungslinie und der Leitplanke befindet, und ein Abstand zwischen horizontalen Koordinaten zweier Kantenlinien der Fahrbahngrenze geringer ist als der siebente Abstandsschwellwert. Es ist zu verstehen, dass in dem aktuellen Bild die Leitplanke mit einem oben beschriebenen Erkennungsverfahren in der Ausführungsform erkannt werden kann. Außerdem kann in der Ausführungsform die Fahrbahnmarkierungslinie in dem aktuellen Bild mit einem beliebigen Erkennungsverfahren erkannt werden. Zum Beispiel wurde in der herkömmlichen Technik eine Weise zum Erkennen einer Fahrbahnmarkierungslinie aus einem Fahrbahnbild vorgesehen, die in der Ausführungsform nicht beschrieben ist.
Außerdem können in einigen Umsetzungen der Ausführungsform, nachdem die Fahrbahngrenzen in dem aktuellen Bild erkannt sind, die Fahrbahngrenzen im aktuellen Bild als eine Fahrbahnmarkierungslinie, eine Leitplanke und/oder ein Bordstein auf Grundlage von Orten eines Bordsteins, einer Leitplanke und einer Fahrbahnmarkierungslinie in historischen Bildern unterschieden werden.
Es ist zu verstehen, dass die oben beschriebenen Umsetzungen zum Unterscheiden der Fahrbahngrenzen als der Bordstein, die Leitplanke und die Fahrbahnmarkierungslinie in der Ausführungsform synthetisch verwendet sein können, um einen Typ einer Fahrbahngrenze vollständig zu unterscheiden. Zum Beispiel wird, nachdem die Fahrbahngrenzen im Schritt 204 erkannt sind, der Bordstein aus den Fahrbahngrenzen auf Grundlage der neunten vorbestimmten Bedingung und der zehnten vorbestimmten Bedingung erkannt, die Leitplanke aus den Fahrbahngrenzen auf Grundlage des Maschinenlernmodells erkannt und die Fahrbahnmarkierungslinie im aktuellen Bild erkannt; und dann wird für die verbleibenden Fahrbahngrenzen, deren Typ nicht erkannt ist, auf einen Bordstein geschlossen auf Grundlage der Leitplanke und der Fahrbahnmarkierungslinie, die erkannt wurden.
Nachdem die Fahrbahngrenzen als der Bordstein, die Leitplanke und die Fahrbahnmarkierungslinie unterschieden wurden, können ein Bereich des Bordsteins, ein Bereich der Leitplanke und die Fahrbahnmarkierungslinie auf verschiedene Weisen im aktuellen Bild markiert und dargestellt werden, um den Fahrer beim Unterscheiden des Bordsteins, der Leitplanke und der Fahrbahnmarkierungslinie zu unterstützen.
Um Fachleuten zu ermöglichen, den Bildverarbeitungsvorgang in der Ausführungsform klarer zu verstehen, ist ein Anwendungsszenario als ein Beispiel zur Beschreibung hergenommen. In dem Anwendungsszenario ist in 8 ein aktuelles Bild gezeigt, ist in 9 ein Bild von Helligkeitssprungpunkten gezeigt, erhalten durch ein Filtern in Schritt 201, ist in 10 ein Bild von Helligkeitssprungpunkten gezeigt, erhalten nach einem Ausfiltern von Störpunkten und einem Gruppieren von Kantenpunkten im Schritt 202, und ist in 11 ein Bild von Fahrbahngrenzen-Identifikatoren gezeigt, erhalten nach einem Gruppieren von Kantenlinien im Schritt 204.
In den technischen Lösungen in der Ausführungsform können für das aktuelle Bild der Fahrbahn die Helligkeitssprungpunkte im aktuellen Bild durch ein Filtern des aktuellen Bildes extrahiert werden, die Störpunkte auf Grundlage von Ortsinformationen der Helligkeitssprungpunkte ausgefiltert werden, und verbleibende Helligkeitssprungpunkte als die Kantenpunkte bestimmt werden, um die Gruppen zu bilden, wobei Kantenpunkte in jeder der Gruppen eine einzige Kantenlinie bilden können. Auf diese Weise können Kantenlinien, die zur selben Fahrbahngrenze gehören, auf Grundlage eines Abstands zwischen den Kantenlinien bestimmt werden. Die Kantenlinien der Fahrbahngrenze können einen Bereich der Fahrbahngrenze im aktuellen Bild markieren, sodass eine Ermittlung der Fahrbahngrenze ausgeführt ist. Es ist zu sehen, dass, da keine Notwendigkeit besteht, während des Ermittelns der Fahrbahngrenzen eine Analyse und Erkennung am gesamten Bild mit einem Maschinenlernmodell durchzuführen, eine Berechnung für den Vorgang des Ermittelns der Fahrbahngrenzen einfacher ist, und der Verbrauch einer Menge an Rechenressourcen und Zeit beim Ermittlungsvorgang der Fahrbahngrenzen reduziert ist. Daher können die Fahrbahngrenzen genau und schnell ermittelt werden.
Es ist Bezug genommen auf 12, die ein schematisches Blockschaltbild einer Einrichtung zum Ermitteln von Fahrbahngrenzen gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt. In der Ausführungsform kann die Einrichtung enthalten:
eine Erlangungseinheit 1201, ausgelegt, ein aktuelles Bild einer Fahrbahn zu erhalten;
eine Extraktionseinheit 1202, ausgelegt, Helligkeitssprungpunkte in dem aktuellen Bild durch ein Filtern des aktuellen Bildes zu extrahieren;
eine Gruppierungseinheit 1203, ausgelegt, Störpunkte aus den Helligkeitssprungpunkten auszufiltern und verbleibende Helligkeitssprungpunkte als Kantenpunkte zum Bilden von Gruppen der Kantenpunkte zu bestimmen, wobei sich zwei Kantenpunkte, die eine erste vorbestimmte Bedingung erfüllen, in derselben Gruppe befinden, wobei die erste vorbestimmte Bedingung enthält, dass vertikale Koordinaten zweier Punkte benachbart sind und eine Abstandsdifferenz zwischen horizontalen Koordinaten der beiden Punkte geringer ist als ein erster Abstandsschwellwert, die Störpunkte einen ersten Störpunkt enthalten, der erste Störpunkt nicht die erste vorbestimmte Bedingung mit einem beliebigen der anderen Helligkeitssprungpunkte erfüllt, und eine Verbindungslinie von Kantenpunkten in derselben Gruppe eine einzige Kantenlinie bildet;
eine erste Erkennungseinheit 1204, ausgelegt zum Erkennen von Kantenlinien der Fahrbahngrenzen unter Kantenlinien; und
eine zweite Erkennungseinheit 1205, ausgelegt zum Gruppieren der Kantenlinien der Fahrbahngrenzen und Erkennen von Kantenlinien in jeder Gruppe als Kantenlinien einer Fahrbahngrenze, wobei eine Differenz zwischen horizontalen Koordinaten zweier Kantenlinien in derselben Gruppe geringer ist als ein zweiter Abstandsschwellwert.
Wahlweise enthält die erste vorbestimmte Bedingung weiter, dass ein Gradientenwinkel zwischen den beiden Punkten kleiner ist als ein Schwellwert des Gradientenwinkels.
Wahlweise können die Störpunkte weiter einen zweiten Störpunkt enthalten und erfüllt der zweite Störpunkt mindestens eine der folgenden vorbestimmten Bedingungen:
eine zweite vorbestimmte Bedingung, darin bestehend, dass: eine Differenz zwischen einem mittleren Graupegel eines ersten linken horizontalen Bereichs und einem mittleren Graupegel eines zweiten linken horizontalen Bereichs kleiner ist als ein erster Schwellwert des mittleren Graupegels;
eine dritte vorbestimmte Bedingung, darin bestehend, dass: eine Differenz zwischen einem mittleren Graupegel eines ersten rechten horizontalen Bereichs und einem mittleren Graupegel eines zweiten rechten horizontalen Bereichs kleiner ist als ein zweiter Schwellwert des mittleren Graupegels;
eine vierte vorbestimmte Bedingung, darin bestehend, dass: eine Differenz zwischen einer Graupegelstreuung eines ersten linken horizontalen Bereichs und einer Graupegelstreuung eines zweiten linken horizontalen Bereichs kleiner ist als ein erster Schwellwert der Graupegelstreuung;
eine fünfte vorbestimmte Bedingung, darin bestehend, dass: eine Differenz zwischen einer Graupegelstreuung eines ersten rechten horizontalen Bereichs und einer Graupegelstreuung eines zweiten rechten horizontalen Bereichs kleiner ist als ein zweiter Schwellwert der Graupegelstreuung;
wobei der erste linke horizontale Bereich ein Bereich ist, der aus einem ersten linken Punkt besteht, eine vertikale Koordinate des ersten linken Punkts dieselbe ist wie die des zweiten Störpunkts, ein Abstand zwischen einer horizontalen Koordinate des ersten linken Punkts und der des zweiten Störpunkts nicht größer ist als ein dritter Abstandsschwellwert, und die horizontale Koordinate des ersten linken Punkts kleiner ist als die des zweiten Störpunkts;
der erste rechte horizontale Bereich ein Bereich ist, der aus einem ersten rechten Punkt besteht, eine vertikale Koordinate des ersten rechten Punkts dieselbe ist wie die des zweiten Störpunkts, ein Abstand zwischen einer horizontalen Koordinate des ersten rechten Punkts und der des zweiten Störpunkts nicht größer ist als der dritte Abstandsschwellwert, und die horizontale Koordinate des ersten rechten Punkts größer ist als die des zweiten Störpunkts;
der zweite linke horizontale Bereich ein Bereich ist, der aus einem zweiten linken Punkt besteht, eine vertikale Koordinate des zweiten linken Punkts dieselbe ist wie die eines Bezugs-Sprungpunkts, ein Abstand zwischen einer horizontalen Koordinate des zweiten linken Punkts und der des Bezugs-Sprungpunkts nicht größer ist als der dritte Abstandsschwellwert, und die horizontale Koordinate des zweiten linken Punkts kleiner ist als die des Bezugs-Sprungpunkts;
der zweite rechte horizontale Bereich ein Bereich ist, der aus einem zweiten rechten Punkt besteht, eine vertikale Koordinate des zweiten rechten Punkts dieselbe ist wie die des Bezugs-Sprungpunkts, ein Abstand zwischen einer horizontalen Koordinate des zweiten rechten Punkts und der des Bezugs-Sprungpunkts nicht größer ist als der dritte Abstandsschwellwert, und die horizontale Koordinate des zweiten rechten Punkts größer ist als die des Bezugs-Sprungpunkts; und
der Bezugs-Sprungpunkt zu den Helligkeitssprungpunkten gehört, ein Abstand zwischen der horizontalen Koordinate des Bezugs-Sprungpunkts und der des zweiten Störpunkts geringer ist als der erste Abstandsschwellwert, ein Abstand zwischen der vertikalen Koordinate des Bezugs-Sprungpunkts und der des zweiten Störpunkts geringer ist als ein vierter Abstandsschwellwert, und die vertikale Koordinate des Bezugs-Sprungpunkts kleiner ist als die des zweiten Störpunkts.
Wahlweise kann die erste Erkennungseinheit 1204 genauer ausgelegt sein: Kantenlinien, die eine sechste vorbestimmte Bedingung und/oder eine siebente vorbestimmte Bedingung erfüllen, aus den Kantenlinien als die Kantenlinien der Fahrbahngrenzen zu erkennen;
wobei die sechste vorbestimmte Bedingung ist, dass: ein Vertrauensbereich einer Kantenlinie größer ist als ein Vertrauensbereichsschwellwert, wobei der Vertrauensbereich der Kantenlinie eine Wahrscheinlichkeit darstellt, dass die Kantenlinie zu den Kantenlinien der Fahrbahngrenze gehört, und der Vertrauensbereich der Kantenlinie berechnet wird auf Grundlage einer wirklichen Länge der Kantenlinie, einer Graupegelabweichung zweier horizontaler Seiten der Kantenlinie im aktuellen Bild und von Gradientenwinkeln von Kantenpunkten der Kantenlinie; und
die siebente vorbestimmte Bedingung ist, dass: ein Winkel in einem dreidimensionalen Koordinatensystem zwischen einer aus dem aktuellen Bild erkannten Fahrbahnmarkierungslinie und einer Kantenlinie geringer ist als ein Winkelschwellwert.
Wahlweise kann die Einrichtung weiter enthalten: eine dritte Erkennungseinheit, ausgelegt zum Erkennen einer Fahrbahngrenze, die eine achte vorbestimmte Bedingung erfüllt, einer Fahrbahngrenze, die eine neunte vorbestimmte Bedingung erfüllt, und/oder einer Fahrbahngrenze, die eine zehnte vorbestimmte Bedingung erfüllt, als Bordsteine;
wobei die achte vorbestimmte Bedingung ist, dass: eine Fahrbahngrenze drei Kantenlinien enthält, ein horizontaler Abstand zwischen jeweils zwei benachbarten Kantenlinien geringer ist als ein fünfter Abstandsschwellwert, und ein horizontaler Abstand zwischen einer äußersten linken Kantenlinie und einer äußersten rechten Kantenlinie der Fahrbahngrenze geringer ist als ein sechster Abstandsschwellwert;
die neunte vorbestimmte Bedingung ist, dass: eine Fahrbahngrenze zwei Kantenlinien enthält, ein Abstand zwischen horizontalen Koordinaten der beiden Kantenlinien der Fahrbahngrenze geringer ist als ein siebenter Abstandsschwellwert, eine Graupegelstreuung eines linken Bereichs der Fahrbahngrenze geringer ist als ein dritter Schwellwert der Graupegelstreuung, und eine Graupegelstreuung eines rechten Bereichs der Fahrbahngrenze größer ist als ein vierter Schwellwert der Graupegelstreuung;
die zehnte vorbestimmte Bedingung ist, dass: eine Fahrbahngrenze zwei Kantenlinien enthält, ein Abstand zwischen horizontalen Koordinaten der beiden Kantenlinien der Fahrbahngrenze geringer ist als der siebente Abstandsschwellwert, eine Graupegelstreuung eines linken Bereichs der Fahrbahngrenze größer ist als der dritte Schwellwert der Graupegelstreuung, und eine Graupegelstreuung eines rechten Bereichs der Fahrbahngrenze geringer ist als der vierte Schwellwert der Graupegelstreuung;
der linke Bereich der Fahrbahngrenze ein Bereich ist, der aus einem dritten linken Punkt besteht, eine vertikale Koordinate des dritten linken Punkts in einem Bereich vertikaler Koordinaten einer linken Kantenlinie der Fahrbahngrenze liegt, ein Abstand zwischen einer horizontalen Koordinate des dritten linken Punkts und der der linken Kantenlinie der Fahrbahngrenze nicht größer ist als der dritte Abstandsschwellwert, und die horizontale Koordinate des dritten linken Punkts kleiner ist als die der linken Kantenlinie der Fahrbahngrenze; und
der rechte Bereich der Fahrbahngrenze ein Bereich ist, der aus einem dritten rechten Punkt besteht, eine vertikale Koordinate des dritten rechten Punkts in einem Bereich vertikaler Koordinaten einer rechten Kantenlinie der Fahrbahngrenze liegt, ein Abstand zwischen einer horizontalen Koordinate des dritten rechten Punkts und der der rechten Kantenlinie der Fahrbahngrenze nicht größer ist als der dritte Abstandsschwellwert, und die horizontale Koordinate des dritten rechten Punkts größer ist als die der rechten Kantenlinie der Fahrbahngrenze.
Wahlweise kann die Einrichtung weiter enthalten: eine vierte Erkennungseinheit, ausgelegt zum Erkennen eines Erkennungsbereichs, der die Fahrbahngrenze in dem aktuellen Bild enthält, auf Grundlage eines trainierten Maschinenlernmodells zum Erkennen einer Fahrbahngrenze, die zu einer Leitplanke gehört; wobei das Maschinenlernmodell auf Grundlage eines Bildes einer Leitplanke und eines Bildes eines Objekts trainiert ist, das keine Leitplanke ist.
Wahlweise enthält die vierte Erkennungseinheit:
eine Auswahl-Untereinheit, ausgelegt zum Bestimmen jeder Fahrbahngrenze im aktuellen Bild jeweils als ein Erkennungsziel, und zum Wählen mindestens eines Erkennungsbereichs, der das Erkennungsziel enthält, aus dem aktuellen Bild auf Grundlage eines Orts des Erkennungsziels im aktuellen Bild;
eine erste Bestimmungs-Untereinheit, ausgelegt zum Erkennen jedes Erkennungsbereichs auf Grundlage des Maschinenlernmodells, um zu bestimmen, ob der jeweilige Erkennungsbereich ein Bereich ist, der die Leitplanke enthält; und
eine zweite Bestimmungs-Untereinheit, ausgelegt zum Bestimmen des Erkennungsziels als die Leitplanke, wenn ein Verhältnis der Anzahl von Bereichen, die die Leitplanke enthalten, zu der Anzahl der Erkennungsbereiche, die das Erkennungsziel enthalten, einen Verhältnisschwellwert überschreitet.
Wahlweise kann die Einrichtung auf der Grundlage, dass die Einrichtung die oben beschriebene vierte Erkennungseinheit enthält, weiter enthalten: eine fünfte Erkennungseinheit, ausgelegt zum Erkennen einer Fahrbahngrenze, die eine elfte vorbestimmte Bedingung erfüllt, als einen Bordstein in einem Fall, dass die Fahrbahnmarkierungslinie und die Leitplanke aus den Fahrbahngrenzen im aktuellen Bild erkannt wurden; wobei die elfte vorbestimmte Bedingung ist, dass: sich eine Fahrbahngrenze zwischen der Fahrbahnmarkierungslinie und der Leitplanke befindet, und ein Abstand zwischen horizontalen Koordinaten zweier Kantenlinien der Fahrbahngrenze geringer ist als ein siebenter Abstandsschwellwert.
Wahlweise kann die Einrichtung weiter enthalten: eine Unterscheidungseinheit, ausgelegt zum Unterscheiden der Fahrbahngrenze im aktuellen Bild als eine Fahrbahnmarkierungslinie, eine Leitplanke und/oder ein Bordstein auf Grundlage von Orten eines Bordsteins, einer Leitplanke und einer Fahrbahnmarkierungslinie in historischen Bildern.
Auf Grundlage der technischen Lösung in der Ausführungsform ist, da keine Notwendigkeit besteht, während des Ermittelns der Fahrbahngrenzen eine Analyse und Erkennung am gesamten Bild mit einem Maschinenlernmodell durchzuführen, eine Berechnung für den Vorgang des Ermittelns der Fahrbahngrenzen einfacher, und ist der Verbrauch an Rechenressourcen und Zeit beim Ermittlungsvorgang der Fahrbahngrenzen reduziert. Daher kann die Fahrbahngrenze genau und schnell ermittelt werden.
Es ist Bezug genommen auf 13, die ein schematisches Blockschaltbild einer Vorrichtung zum Ermitteln von Fahrbahngrenzen gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt. In der Ausführungsform kann die Vorrichtung 1300 einen Prozessor 1301, einen Speicher 1302, eine Kommunikationsschnittstelle 1303 und ein Bussystem 1304 enthalten.
Das Bussystem 1304 ist ausgelegt, verschiedene Hardwarebauteile der Vorrichtung miteinander zu koppeln;
die Kommunikationsschnittstelle 1303 ist ausgelegt, eine Kommunikationsverbindung zwischen der Vorrichtung und mindestens einer aus anderen Vorrichtungen zu erreichen;
der Speicher 1302 ist ausgelegt, Programmanweisungen und Daten zu speichern;
der Prozessor 1301 ist ausgelegt, die im Speicher 1302 gespeicherten Programmanweisungen und Daten zu lesen, um die folgenden Operationen durchzuführen:
ein Erlangen eines aktuellen Bildes einer Fahrbahn und ein Extrahieren von Helligkeitssprungpunkten in dem aktuellen Bild durch ein Filtern des aktuellen Bildes;
ein Ausfiltern von Störpunkten aus den Helligkeitssprungpunkten und ein Bestimmen verbleibender Helligkeitssprungpunkte als Kantenpunkte zum Bilden von Gruppen der Kantenpunkte, wobei sich zwei Kantenpunkte, die eine erste vorbestimmte Bedingung erfüllen, in derselben Gruppe befinden, wobei die erste vorbestimmte Bedingung enthält, dass vertikale Koordinaten zweier Punkte benachbart sind und eine Abstandsdifferenz zwischen horizontalen Koordinaten der beiden Punkte geringer ist als ein erster Abstandsschwellwert, die Störpunkte einen ersten Störpunkt enthalten, der erste Störpunkt nicht die erste vorbestimmte Bedingung mit einem beliebigen der anderen Helligkeitssprungpunkte erfüllt, und eine Verbindungslinie von Kantenpunkten in derselben Gruppe eine einzige Kantenlinie bildet;
Erkennen von Kantenlinien der Fahrbahngrenzen unter Kantenlinien; und
ein Gruppieren der Kantenlinien der Fahrbahngrenzen und Erkennen von Kantenlinien in jeder Gruppe als Kantenlinien einer einzigen Fahrbahngrenze, wobei eine Differenz zwischen horizontalen Koordinaten zweier Kantenlinien in derselben Gruppe geringer ist als ein zweiter Abstandsschwellwert.
Wahlweise enthält die erste vorbestimmte Bedingung weiter, dass ein Gradientenwinkel zwischen den beiden Punkten kleiner ist als ein Schwellwert des Gradientenwinkels.
Wahlweise enthalten die Störpunkte weiter einen zweiten Störpunkt und erfüllt der zweite Störpunkt mindestens eine der folgenden vorbestimmten Bedingungen:
eine zweite vorbestimmte Bedingung, darin bestehend, dass: eine Differenz zwischen einem mittleren Graupegel eines ersten linken horizontalen Bereichs und einem mittleren Graupegel eines zweiten linken horizontalen Bereichs kleiner ist als ein erster Schwellwert des mittleren Graupegels;
eine dritte vorbestimmte Bedingung, darin bestehend, dass: eine Differenz zwischen einem mittleren Graupegel eines ersten rechten horizontalen Bereichs und einem mittleren Graupegel eines zweiten rechten horizontalen Bereichs kleiner ist als ein zweiter Schwellwert des mittleren Graupegels;
eine vierte vorbestimmte Bedingung, darin bestehend, dass: eine Differenz zwischen einer Graupegelstreuung eines ersten linken horizontalen Bereichs und einer Graupegelstreuung eines zweiten linken horizontalen Bereichs kleiner ist als ein erster Schwellwert der Graupegelstreuung;
eine fünfte vorbestimmte Bedingung, darin bestehend, dass: eine Differenz zwischen einer Graupegelstreuung eines ersten rechten horizontalen Bereichs und einer Graupegelstreuung eines zweiten rechten horizontalen Bereichs kleiner ist als ein zweiter Schwellwert der Graupegelstreuung;
wobei der erste linke horizontale Bereich ein Bereich ist, der aus einem ersten linken Punkt besteht, eine vertikale Koordinate des ersten linken Punkts dieselbe ist wie die des zweiten Störpunkts, ein Abstand zwischen einer horizontalen Koordinate des ersten linken Punkts und der des zweiten Störpunkts nicht größer ist als ein dritter Abstandsschwellwert, und die horizontale Koordinate des ersten linken Punkts kleiner ist als die des zweiten Störpunkts;
der erste rechte horizontale Bereich ein Bereich ist, der aus einem ersten rechten Punkt besteht, eine vertikale Koordinate des ersten rechten Punkts dieselbe ist wie die des zweiten Störpunkts, ein Abstand zwischen einer horizontalen Koordinate des ersten rechten Punkts und der des zweiten Störpunkts nicht größer ist als der dritte Abstandsschwellwert, und die horizontale Koordinate des ersten rechten Punkts größer ist als die des zweiten Störpunkts;
der zweite linke horizontale Bereich ein Bereich ist, der aus einem zweiten linken Punkt besteht, eine vertikale Koordinate des zweiten linken Punkts dieselbe ist wie die eines Bezugs-Sprungpunkts, ein Abstand zwischen einer horizontalen Koordinate des zweiten linken Punkts und der des Bezugs-Sprungpunkts nicht größer ist als der dritte Abstandsschwellwert, und die horizontale Koordinate des zweiten linken Punkts kleiner ist als die des Bezugs-Sprungpunkts;
der zweite rechte horizontale Bereich ein Bereich ist, der aus einem zweiten rechten Punkt besteht, eine vertikale Koordinate des zweiten rechten Punkts dieselbe ist wie die des Bezugs-Sprungpunkts, ein Abstand zwischen einer horizontalen Koordinate des zweiten rechten Punkts und der des Bezugs-Sprungpunkts nicht größer ist als der dritte Abstandsschwellwert, und die horizontale Koordinate des zweiten rechten Punkts größer ist als die des Bezugs-Sprungpunkts; und
der Bezugs-Sprungpunkt zu den Helligkeitssprungpunkten gehört, ein Abstand zwischen der horizontalen Koordinate des Bezugs-Sprungpunkts und der des zweiten Störpunkts geringer ist als der erste Abstandsschwellwert, ein Abstand zwischen der vertikalen Koordinate des Bezugs-Sprungpunkts und der des zweiten Störpunkts geringer ist als ein vierter Abstandsschwellwert, und die vertikale Koordinate des Bezugs-Sprungpunkts kleiner ist als die des zweiten Störpunkts.
Wahlweise kann der Prozessor 1301, um die Kantenlinien einer Fahrbahngrenze aus den Kantenlinien zu erkennen, genauer die folgenden Operationen durchführen:
ein Erkennen von Kantenlinien, die eine sechste vorbestimmte Bedingung und/oder eine siebente vorbestimmte Bedingung erfüllen, aus den Kantenlinien als die Kantenlinien der Fahrbahngrenzen;
wobei die sechste vorbestimmte Bedingung ist, dass: ein Vertrauensbereich einer Kantenlinie größer ist als ein Vertrauensbereichsschwellwert, wobei der Vertrauensbereich der Kantenlinie eine Wahrscheinlichkeit darstellt, dass die Kantenlinie zu den Kantenlinien der Fahrbahngrenze gehört, und der Vertrauensbereich der Kantenlinie berechnet wird auf Grundlage einer wirklichen Länge der Kantenlinie, einer Graupegelabweichung zweier horizontaler Seiten der Kantenlinie im aktuellen Bild und von Gradientenwinkeln von Kantenpunkten der Kantenlinie; und
die siebente vorbestimmte Bedingung ist, dass: ein Winkel in einem dreidimensionalen Koordinatensystem zwischen einer aus dem aktuellen Bild erkannten Fahrbahnmarkierungslinie und einer Kantenlinie geringer ist als ein Winkelschwellwert.
Wahlweise kann der Prozessor 1301 weiter die folgenden Operationen durchführen:
ein Erkennen einer Fahrbahngrenze, die eine achte vorbestimmte Bedingung erfüllt, einer Fahrbahngrenze, die eine neunte vorbestimmte Bedingung erfüllt, und/oder einer Fahrbahngrenze, die eine zehnte vorbestimmte Bedingung erfüllt, als Bordsteine;
wobei die achte vorbestimmte Bedingung ist, dass: eine Fahrbahngrenze drei Kantenlinien enthält, ein horizontaler Abstand zwischen jeweils zwei benachbarten Kantenlinien geringer ist als ein fünfter Abstandsschwellwert und ein horizontaler Abstand zwischen einer äußersten linken Kantenlinie und einer äußersten rechten Kantenlinie der Fahrbahngrenze geringer ist als ein sechster Abstandsschwellwert;
die neunte vorbestimmte Bedingung ist, dass: eine Fahrbahngrenze zwei Kantenlinien enthält, ein Abstand zwischen horizontalen Koordinaten der beiden Kantenlinien der Fahrbahngrenze geringer ist als ein siebenter Abstandsschwellwert, eine Graupegelstreuung eines linken Bereichs der Fahrbahngrenze geringer ist als ein dritter Schwellwert der Graupegelstreuung, und eine Graupegelstreuung eines rechten Bereichs der Fahrbahngrenze größer ist als ein vierter Schwellwert der Graupegelstreuung;
die zehnte vorbestimmte Bedingung ist, dass: eine Fahrbahngrenze zwei Kantenlinien enthält, ein Abstand zwischen horizontalen Koordinaten der beiden Kantenlinien der Fahrbahngrenze geringer ist als der siebente Abstandsschwellwert, eine Graupegelstreuung eines linken Bereichs der Fahrbahngrenze größer ist als der dritte Schwellwert der Graupegelstreuung, und eine Graupegelstreuung eines rechten Bereichs der Fahrbahngrenze geringer ist als der vierte Schwellwert der Graupegelstreuung;
wobei der linke Bereich der Fahrbahngrenze ein Bereich ist, der aus einem dritten linken Punkt besteht, eine vertikale Koordinate des dritten linken Punkts in einem Bereich vertikaler Koordinaten einer linken Kantenlinie der Fahrbahngrenze liegt, ein Abstand zwischen einer horizontalen Koordinate des dritten linken Punkts und der der linken Kantenlinie der Fahrbahngrenze nicht größer ist als der dritte Abstandsschwellwert, und die horizontale Koordinate des dritten linken Punkts kleiner ist als die der linken Kantenlinie der Fahrbahngrenze; und
der rechte Bereich der Fahrbahngrenze ein Bereich ist, der aus einem dritten rechten Punkt besteht, eine vertikale Koordinate des dritten rechten Punkts in einem Bereich vertikaler Koordinaten einer rechten Kantenlinie der Fahrbahngrenze liegt, ein Abstand zwischen einer horizontalen Koordinate des dritten rechten Punkts und der der rechten Kantenlinie der Fahrbahngrenze nicht größer ist als der dritte Abstandsschwellwert, und die horizontale Koordinate des dritten rechten Punkts größer ist als die der rechten Kantenlinie der Fahrbahngrenze.
Wahlweise kann der Prozessor 1301 weiter die folgenden Operationen durchführen: ein Erkennen eines Erkennungsbereichs, der die Fahrbahngrenze in dem aktuellen Bild enthält, auf Grundlage eines trainierten Maschinenlernmodells zum Erkennen einer Fahrbahngrenze, die zu einer Leitplanke gehört; wobei das Maschinenlernmodell auf Grundlage eines Bildes einer Leitplanke und eines Bildes eines Objekts trainiert ist, das keine Leitplanke ist.
Wahlweise kann der Prozessor 1301, um die zur Leitplanke gehörende Kantenlinie zu erkennen, genauer die folgenden Operationen durchführen:
ein Bestimmen jeder Fahrbahngrenze im aktuellen Bild jeweils als ein Erkennungsziel, und ein Wählen mindestens eines Erkennungsbereichs, der das Erkennungsziel enthält, aus dem aktuellen Bild auf Grundlage eines Orts des Erkennungsziels im aktuellen Bild;
ein Erkennen jedes Erkennungsbereichs auf Grundlage des Maschinenlernmodells, um zu bestimmen, ob der jeweilige Erkennungsbereich ein Bereich ist, der die Leitplanke enthält; und
ein Bestimmen des Erkennungsziels als die Leitplanke, wenn ein Verhältnis der Anzahl von Bereichen, die die Leitplanke enthalten, zu der Anzahl der Erkennungsbereiche, die das Erkennungsziel enthalten, einen Verhältnisschwellwert überschreitet.
Wahlweise kann der Prozessor 1301 weiter die folgenden Operationen durchführen: ein Erkennen einer Fahrbahngrenze, die eine elfte vorbestimmte Bedingung erfüllt, als einen Bordstein in einem Fall, dass die Fahrbahnmarkierungslinie und die Leitplanke aus den Fahrbahngrenzen im aktuellen Bild erkannt wurden; wobei die elfte vorbestimmte Bedingung ist, dass: sich eine Fahrbahngrenze zwischen der Fahrbahnmarkierungslinie und der Leitplanke befindet, und ein Abstand zwischen horizontalen Koordinaten zweier Kantenlinien der Fahrbahngrenze geringer ist als ein siebenter Abstandsschwellwert.
Wahlweise kann der Prozessor 1301 weiter die folgenden Operationen durchführen: ein Unterscheiden der Fahrbahngrenzen im aktuellen Bild als eine Fahrbahnmarkierungslinie, eine Leitplanke und/oder ein Bordstein auf Grundlage von Orten eines Bordsteins, einer Leitplanke und einer Fahrbahnmarkierungslinie in historischen Bildern.
Auf Grundlage der technischen Lösung in der Ausführungsform ist, da keine Notwendigkeit besteht, während des Ermittelns der Fahrbahngrenzen eine Analyse und Erkennung am gesamten Bild mit einem Maschinenlernmodell durchzuführen, eine Berechnung für den Vorgang des Ermittelns der Fahrbahngrenzen einfacher, und ist der Verbrauch an Rechenressourcen und Zeit beim Ermittlungsvorgang der Fahrbahngrenzen reduziert. Daher können die Fahrbahngrenzen genau und schnell ermittelt werden.
Der/die/das „erste“ in Bezeichnungen wie „die erste vorbestimmte Bedingung“ und „der erste Störpunkt“ ist nur als eine Namensbezeichnung verwendet und stellt nicht das Erste in einer Folge dar. Diese Regel gilt für den/die/das „zweite“, „dritte“ und so weiter.
Auf Grundlage der Beschreibungen der obigen Umsetzungen können Fachleute klar verstehen, dass alle oder einige der Schritte in dem Verfahren gemäß den obigen Ausführungsformen durch Software und eine übliche Hardwareplattform ausgeführt werden können. Auf Grundlage dieses Verständnisses können die technischen Lösungen in der vorliegenden Offenbarung in einer Form eines Softwareprodukts ausgeführt sein, und das Computer-Softwareprodukt kann auf einem Speichermedium gespeichert sein, wie etwa einem Nur-Lese-Speicher (ROM), einem RAM, einer Magnetplatte oder einer optischen Platte, einschließlich mehrerer Anweisungen, um eine Computervorrichtung (die ein Personal Computer, ein Server oder eine Netzwerkkommunikationsvorrichtung, wie etwa ein Router, sein kann) zu befähigen, das Verfahren gemäß den verschiedenen Ausführungsformen der vorliegenden Offenbarung oder gemäß einigen Abschnitten der Ausführungsformen auszuführen.
Die verschiedenen Ausführungsformen der vorliegenden Offenbarung sind fortschreitend beschrieben; in ihnen kann zum Verständnis gleicher oder ähnlicher Abschnitte untereinander Bezug genommen werden, und Unterschiede zu anderen Ausführungsformen sind in jeder der Ausführungsformen ausdrücklich dargestellt. Insbesondere sind die Verfahrensausführungsformen und die Vorrichtungsausführungsformen kurz beschrieben, da sie grundsätzlich ähnlich den Systemausführungsformen sind, und zum Verständnis verwandter Abschnitte kann Bezug auf einige Beschreibungen der Systemausführungsformen genommen werden. Die oben beschriebenen Vorrichtungsausführungsformen und Systemausführungsformen sind nur erläuternd. Die als getrennte Bestandteile beschriebenen Module können, müssen aber nicht physisch getrennt sein. Ein als ein Modul dargestellter Bauteil kann, muss aber nicht ein physisches Modul sein, das heißt, der Bauteil kann sich an einer Stelle befinden oder kann auf mehrere Netzwerkeinheiten verteilt sein. Einige oder alle der Module können auf Grundlage tatsächlichen Bedarfs gewählt werden, um das Ziel von Lösungen in den Ausführungsformen zu erreichen. Fachleute können die Lösungen ohne schöpferische Mühen verstehen und umsetzen.
Die obigen sind nur bevorzugte Ausführungsformen der vorliegenden Offenbarung und schränken den Schutzumfang der vorliegenden Offenbarung nicht ein. Es ist anzumerken, dass für Fachleute Änderungen und Abwandlungen vorgenommen werden können, ohne von der vorliegenden Offenbarung abzuweichen, und die Änderungen und Abwandlungen sollten als im Schutzumfang der vorliegenden Offenbarung befindlich betrachtet werden.
Diese Anmeldung beansprucht den Vorrang der chinesischen Patentanmeldung Nr. 201610594540.6 , eingereicht am 26. Juli 2016, die hier in ihrer Gesamtheit durch Verweis aufgenommen ist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

CN 201610594540 [0126]

Claims

Verfahren zum Ermitteln von Fahrbahngrenzen, umfassend: ein Erlangen eines aktuellen Bildes einer Fahrbahn und ein Extrahieren von Helligkeitssprungpunkten in dem aktuellen Bild durch ein Filtern des aktuellen Bildes; ein Ausfiltern von Störpunkten aus den Helligkeitssprungpunkten und ein Bestimmen verbleibender Helligkeitssprungpunkte als Kantenpunkte zum Bilden von Gruppen der Kantenpunkte, wobei sich zwei Kantenpunkte, die eine erste vorbestimmte Bedingung erfüllen, in derselben Gruppe befinden, wobei die erste vorbestimmte Bedingung umfasst, dass vertikale Koordinaten zweier Punkte benachbart sind und eine Abstandsdifferenz zwischen horizontalen Koordinaten der beiden Punkte geringer ist als ein erster Abstandsschwellwert, die Störpunkte einen ersten Störpunkt umfassen, der erste Störpunkt nicht die erste vorbestimmte Bedingung mit einem beliebigen der anderen Helligkeitssprungpunkte erfüllt, und eine Verbindungslinie von Kantenpunkten in derselben Gruppe eine einzige Kantenlinie bildet; ein Erkennen von Kantenlinien der Fahrbahngrenzen unter Kantenlinien; und ein Gruppieren der Kantenlinien der Fahrbahngrenzen und ein Erkennen von Kantenlinien in jeder Gruppe als Kantenlinien jeweils einer Fahrbahngrenze, wobei eine Differenz zwischen horizontalen Koordinaten zweier Kantenlinien in derselben Gruppe geringer ist als ein zweiter Abstandsschwellwert.
Verfahren nach Anspruch 1, wobei die erste vorbestimmte Bedingung weiter umfasst, dass ein Gradientenwinkel zwischen den beiden Punkten kleiner ist als ein Schwellwert des Gradientenwinkels; und/oder die Störpunkte weiter einen zweiten Störpunkt umfassen und der zweite Störpunkt mindestens eine der folgenden vorbestimmten Bedingungen erfüllt: eine zweite vorbestimmte Bedingung, darin bestehend, dass: eine Differenz zwischen einem mittleren Graupegel eines ersten linken horizontalen Bereichs und einem mittleren Graupegel eines zweiten linken horizontalen Bereichs kleiner ist als ein erster Schwellwert des mittleren Graupegels; eine dritte vorbestimmte Bedingung, darin bestehend, dass: eine Differenz zwischen einem mittleren Graupegel eines ersten rechten horizontalen Bereichs und einem mittleren Graupegel eines zweiten rechten horizontalen Bereichs kleiner ist als ein zweiter Schwellwert des mittleren Graupegels; eine vierte vorbestimmte Bedingung, darin bestehend, dass: eine Differenz zwischen einer Graupegelstreuung eines ersten linken horizontalen Bereichs und einer Graupegelstreuung eines zweiten linken horizontalen Bereichs kleiner ist als ein erster Schwellwert der Graupegelstreuung; eine fünfte vorbestimmte Bedingung, darin bestehend, dass: eine Differenz zwischen einer Graupegelstreuung eines ersten rechten horizontalen Bereichs und einer Graupegelstreuung eines zweiten rechten horizontalen Bereichs kleiner ist als ein zweiter Schwellwert der Graupegelstreuung; wobei der erste linke horizontale Bereich ein Bereich ist, der aus einem ersten linken Punkt besteht, eine vertikale Koordinate des ersten linken Punkts dieselbe ist wie die des zweiten Störpunkts, ein Abstand zwischen einer horizontalen Koordinate des ersten linken Punkts und der des zweiten Störpunkts nicht größer ist als ein dritter Abstandsschwellwert, und die horizontale Koordinate des ersten linken Punkts kleiner ist als die des zweiten Störpunkts; der erste rechte horizontale Bereich ein Bereich ist, der aus einem ersten rechten Punkt besteht, eine vertikale Koordinate des ersten rechten Punkts dieselbe ist wie die des zweiten Störpunkts, ein Abstand zwischen einer horizontalen Koordinate des ersten rechten Punkts und der des zweiten Störpunkts nicht größer ist als der dritte Abstandsschwellwert, und die horizontale Koordinate des ersten rechten Punkts größer ist als die des zweiten Störpunkts; der zweite linke horizontale Bereich ein Bereich ist, der aus einem zweiten linken Punkt besteht, eine vertikale Koordinate des zweiten linken Punkts dieselbe ist wie die eines Bezugs-Sprungpunkts, ein Abstand zwischen einer horizontalen Koordinate des zweiten linken Punkts und der des Bezugs-Sprungpunkts nicht größer ist als der dritte Abstandsschwellwert, und die horizontale Koordinate des zweiten linken Punkts kleiner ist als die des Bezugs-Sprungpunkts; der zweite rechte horizontale Bereich ein Bereich ist, der aus einem zweiten rechten Punkt besteht, eine vertikale Koordinate des zweiten rechten Punkts dieselbe ist wie die des Bezugs-Sprungpunkts, ein Abstand zwischen einer horizontalen Koordinate des zweiten rechten Punkts und der des Bezugs-Sprungpunkts nicht größer ist als der dritte Abstandsschwellwert, und die horizontale Koordinate des zweiten rechten Punkts größer ist als die des Bezugs-Sprungpunkts; und der Bezugs-Sprungpunkt zu den Helligkeitssprungpunkten gehört, ein Abstand zwischen der horizontalen Koordinate des Bezugs-Sprungpunkts und der des zweiten Störpunkts geringer ist als der erste Abstandsschwellwert, ein Abstand zwischen der vertikalen Koordinate des Bezugs-Sprungpunkts und der des zweiten Störpunkts geringer ist als ein vierter Abstandsschwellwert, und die vertikale Koordinate des Bezugs-Sprungpunkts kleiner ist als die des zweiten Störpunkts.
Verfahren nach Anspruch 1, wobei das Erkennen von Kantenlinien der Fahrbahngrenzen unter Kantenlinien genauer enthält: ein Erkennen von Kantenlinien, die eine sechste vorbestimmte Bedingung und/oder eine siebente vorbestimmte Bedingung erfüllen, aus den Kantenlinien als die Kantenlinien der Fahrbahngrenzen; wobei die sechste vorbestimmte Bedingung ist, dass: ein Vertrauensbereich einer Kantenlinie größer ist als ein Vertrauensbereichsschwellwert, wobei der Vertrauensbereich der Kantenlinie eine Wahrscheinlichkeit darstellt, dass die Kantenlinie zu den Kantenlinien der Fahrbahngrenzen gehört, und der Vertrauensbereich der Kantenlinie berechnet wird auf Grundlage einer wirklichen Länge der Kantenlinie, einer Graupegelabweichung zweier horizontaler Seiten der Kantenlinie im aktuellen Bild und von Gradientenwinkeln von Kantenpunkten der Kantenlinie; und die siebente vorbestimmte Bedingung ist, dass: ein Winkel in einem dreidimensionalen Koordinatensystem zwischen einer aus dem aktuellen Bild erkannten Fahrbahnmarkierungslinie und einer Kantenlinie geringer ist als ein Winkelschwellwert.
Verfahren nach Anspruch 1, weiter umfassend: ein Erkennen einer Fahrbahngrenze, die eine achte vorbestimmte Bedingung erfüllt, einer Fahrbahngrenze, die eine neunte vorbestimmte Bedingung erfüllt, und/oder einer Fahrbahngrenze, die eine zehnte vorbestimmte Bedingung erfüllt, als Bordsteine; wobei die achte vorbestimmte Bedingung ist, dass: eine Fahrbahngrenze drei Kantenlinien umfasst, ein horizontaler Abstand zwischen jeweils zwei benachbarten Kantenlinien geringer ist als ein fünfter Abstandsschwellwert und ein horizontaler Abstand zwischen einer äußersten linken Kantenlinie und einer äußersten rechten Kantenlinie der Fahrbahngrenze geringer ist als ein sechster Abstandsschwellwert; die neunte vorbestimmte Bedingung ist, dass: eine Fahrbahngrenze zwei Kantenlinien umfasst, ein Abstand zwischen horizontalen Koordinaten der beiden Kantenlinien der Fahrbahngrenze geringer ist als ein siebenter Abstandsschwellwert, eine Graupegelstreuung eines linken Bereichs der Fahrbahngrenze geringer ist als ein dritter Schwellwert der Graupegelstreuung, und eine Graupegelstreuung eines rechten Bereichs der Fahrbahngrenze größer ist als ein vierter Schwellwert der Graupegelstreuung; die zehnte vorbestimmte Bedingung ist, dass: eine Fahrbahngrenze zwei Kantenlinien umfasst, ein Abstand zwischen horizontalen Koordinaten der beiden Kantenlinien der Fahrbahngrenze geringer ist als der siebente Abstandsschwellwert, eine Graupegelstreuung eines linken Bereichs der Fahrbahngrenze größer ist als der dritte Schwellwert der Graupegelstreuung, und eine Graupegelstreuung eines rechten Bereichs der Fahrbahngrenze geringer ist als der vierte Schwellwert der Graupegelstreuung; wobei der linke Bereich der Fahrbahngrenze ein Bereich ist, der aus einem dritten linken Punkt besteht, eine vertikale Koordinate des dritten linken Punkts in einem Bereich vertikaler Koordinaten einer linken Kantenlinie der Fahrbahngrenze liegt, ein Abstand zwischen einer horizontalen Koordinate des dritten linken Punkts und der der linken Kantenlinie der Fahrbahngrenze nicht größer ist als der dritte Abstandsschwellwert, und die horizontale Koordinate des dritten linken Punkts kleiner ist als die der linken Kantenlinie der Fahrbahngrenze; und der rechte Bereich der Fahrbahngrenze ein Bereich ist, der aus einem dritten rechten Punkt besteht, eine vertikale Koordinate des dritten rechten Punkts in einem Bereich vertikaler Koordinaten einer rechten Kantenlinie der Fahrbahngrenze liegt, ein Abstand zwischen einer horizontalen Koordinate des dritten rechten Punkts und der der rechten Kantenlinie der Fahrbahngrenze nicht größer ist als der dritte Abstandsschwellwert, und die horizontale Koordinate des dritten rechten Punkts größer ist als die der rechten Kantenlinie der Fahrbahngrenze.
Verfahren nach Anspruch 1 oder Anspruch 4, weiter umfassend: ein Erkennen eines Erkennungsbereichs, umfassend die Fahrbahngrenze in dem aktuellen Bild, auf Grundlage eines trainierten Maschinenlernmodells zum Erkennen einer Fahrbahngrenze, die zu einer Leitplanke gehört; wobei das Maschinenlernmodell auf Grundlage eines Bildes einer Leitplanke und eines Bildes eines Objekts trainiert ist, das keine Leitplanke ist.
Verfahren nach Anspruch 5, wobei das Erkennen eines Erkennungsbereichs, umfassend die Fahrbahngrenze in dem aktuellen Bild, auf Grundlage eines trainierten Maschinenlernmodells zum Erkennen einer Fahrbahngrenze, die zu einer Leitplanke gehört, umfasst: ein Bestimmen jeder Fahrbahngrenze im aktuellen Bild jeweils als ein Erkennungsziel, und ein Wählen mindestens eines Erkennungsbereichs, der das Erkennungsziel umfasst, aus dem aktuellen Bild auf Grundlage eines Orts des Erkennungsziels im aktuellen Bild; ein Erkennen jedes Erkennungsbereichs auf Grundlage des Maschinenlernmodells, um zu bestimmen, ob der jeweilige Erkennungsbereich ein Bereich ist, der die Leitplanke umfasst; und ein Bestimmen des Erkennungsziels als die Leitplanke, wenn ein Verhältnis der Anzahl von Bereichen, die die Leitplanke umfassen, zu der Anzahl der Erkennungsbereiche, die das Erkennungsziel umfassen, einen Verhältnisschwellwert überschreitet.
Verfahren nach Anspruch 5, weiter umfassend: ein Erkennen einer Fahrbahngrenze, die eine elfte vorbestimmte Bedingung erfüllt, als einen Bordstein in einem Fall, dass die Fahrbahnmarkierungslinie und die Leitplanke aus den Fahrbahngrenzen im aktuellen Bild erkannt wurden; wobei die elfte vorbestimmte Bedingung ist, dass: sich eine Fahrbahngrenze zwischen der Fahrbahnmarkierungslinie und der Leitplanke befindet, und ein Abstand zwischen horizontalen Koordinaten zweier Kantenlinien der Fahrbahngrenze geringer ist als ein siebenter Abstandsschwellwert.
Verfahren nach Anspruch 1, weiter umfassend: ein Unterscheiden der Fahrbahngrenze im aktuellen Bild als eine Fahrbahnmarkierungslinie, eine Leitplanke und/oder ein Bordstein auf Grundlage von Orten eines Bordsteins, einer Leitplanke und einer Fahrbahnmarkierungslinie in historischen Bildern.
Einrichtung zum Ermitteln von Fahrbahngrenzen, umfassend: eine Erlangungseinheit, ausgelegt, ein aktuelles Bild einer Fahrbahn zu erhalten; eine Extraktionseinheit, ausgelegt, Helligkeitssprungpunkte in dem aktuellen Bild durch ein Filtern des aktuellen Bildes zu extrahieren; eine Gruppierungseinheit, ausgelegt, Störpunkte aus den Helligkeitssprungpunkten auszufiltern und verbleibende Helligkeitssprungpunkte als Kantenpunkte zum Bilden von Gruppen der Kantenpunkte zu bestimmen, wobei sich zwei Kantenpunkte, die eine erste vorbestimmte Bedingung erfüllen, in derselben Gruppe befinden, wobei die erste vorbestimmte Bedingung umfasst, dass vertikale Koordinaten zweier Punkte benachbart sind und eine Abstandsdifferenz zwischen horizontalen Koordinaten der beiden Punkte geringer ist als ein erster Abstandsschwellwert, die Störpunkte einen ersten Störpunkt umfassen, der erste Störpunkt nicht die erste vorbestimmte Bedingung mit einem beliebigen der anderen Helligkeitssprungpunkte erfüllt, und eine Verbindungslinie von Kantenpunkten in derselben Gruppe eine einzige Kantenlinie bildet; eine erste Erkennungseinheit, ausgelegt zum Erkennen von Kantenlinien der Fahrbahngrenzen unter Kantenlinien; und eine zweite Erkennungseinheit, ausgelegt zum Gruppieren der Kantenlinien der Fahrbahngrenzen und Erkennen von Kantenlinien in jeder Gruppe als Kantenlinien einer Fahrbahngrenze, wobei eine Differenz zwischen horizontalen Koordinaten zweier Kantenlinien in derselben Gruppe geringer ist als ein zweiter Abstandsschwellwert.
Vorrichtung zum Ermitteln von Fahrbahngrenzen, umfassend einen Prozessor, einen Speicher, eine Kommunikationsschnittstelle und ein Bussystem; wobei das Bussystem ausgelegt ist, verschiedene Hardwarebauteile der Vorrichtung miteinander zu koppeln; die Kommunikationsschnittstelle ausgelegt ist, eine Kommunikationsverbindung zwischen der Vorrichtung und mindestens einer von anderen Vorrichtungen zu erreichen; der Speicher ausgelegt ist, Programmanweisungen und Daten zu speichern; und der Prozessor ausgelegt ist, die im Speicher gespeicherten Programmanweisungen und Daten zu lesen, um die folgenden Operationen durchzuführen: ein Erlangen eines aktuellen Bildes einer Fahrbahn und ein Extrahieren von Helligkeitssprungpunkten in dem aktuellen Bild durch ein Filtern des aktuellen Bildes; ein Ausfiltern von Störpunkten aus den Helligkeitssprungpunkten und ein Bestimmen verbleibender Helligkeitssprungpunkte als Kantenpunkte zum Bilden von Gruppen der Kantenpunkte, wobei sich zwei Kantenpunkte, die eine erste vorbestimmte Bedingung erfüllen, in derselben Gruppe befinden, wobei die erste vorbestimmte Bedingung umfasst, dass vertikale Koordinaten zweier Punkte benachbart sind und eine Abstandsdifferenz zwischen horizontalen Koordinaten der beiden Punkte geringer ist als ein erster Abstandsschwellwert, die Störpunkte einen ersten Störpunkt umfassen, der erste Störpunkt nicht die erste vorbestimmte Bedingung mit einem beliebigen der anderen Helligkeitssprungpunkte erfüllt, und eine Verbindungslinie von Kantenpunkten in derselben Gruppe eine einzige Kantenlinie bildet; ein Erkennen von Kantenlinien der Fahrbahngrenzen unter Kantenlinien; und ein Gruppieren der Kantenlinien der Fahrbahngrenzen und ein Erkennen von Kantenlinien in jeder Gruppe als Kantenlinien einer Fahrbahngrenze, wobei eine Differenz zwischen horizontalen Koordinaten zweier Kantenlinien in derselben Gruppe geringer ist als ein zweiter Abstandsschwellwert.