-
Die vorliegende Erfindung betrifft ein Verfahren zur Filterung von Abtastpunkten eines aktiven optischen Sensorsystem, welche eine Umgebung des Sensorsystems abbilden, wobei die Abtastpunkte einer Recheneinheit bereitgestellt werden. Die Erfindung betrifft ferner ein elektronisches Fahrzeugführungssystem für ein Kraftfahrzeug, ein Computerprogramm sowie ein computerlesbares Speichermedium.
-
Aktive optische Sensorsysteme, wie Lidarsysteme, können für Anwendungen im Automobilbereich verwendet werden. Direktes Gegenlicht, beispielsweise auf einen Detektor des Sensorsystems treffendes Sonnenlicht, kann die Leistungsfähigkeit des Sensorsystems reduzieren. Insbesondere kann das direkte Gegenlicht „unechte“ Abtastpunkte verursachen, die keinem physikalischen Echo eines ausgesendeten Lichtpulses entsprechen. In der Konsequenz können Funktionen, die auf der Verwendung der Abtastpunkte des Sensorsystems beruhen, beispielsweise zur Objekterkennung, fehlerbehaftet sein.
-
Im Dokument
WO 2018/176275 A1 wird unter anderem vorgeschlagen, einen optischen Filter in den Strahlengang eines Lidarsensors zu bringen, der nur Licht mit der entsprechenden Laserwellenlänge passieren lässt, um den Einfluss von Sonnenlicht zu verringern.
-
Sonnenlicht hat jedoch auch signifikante Anteile in solchen Spektralbereichen, in denen aktive optische Sensorsysteme typischerweise arbeiten, beispielsweise im nahen Infrarotbereich, so dass die Wirkung eines optischen Filters zum genannten Zweck nur begrenzt ist.
-
Vor diesem Hintergrund ist es eine Aufgabe der vorliegenden Erfindung, ein verbessertes Konzept zur Filterung von Abtastpunkten eines aktiven optischen Sensorsystems anzugeben, durch welches sich der Einfluss von direktem Gegenlicht weiter verringern lässt.
-
Erfindungsgemäß wird diese Aufgabe gelöst durch den jeweiligen Gegenstand der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
-
Das verbesserte Konzept beruht auf der Idee, unter den Abtastpunkten eines aktiven Sensorsystems Clutterpunkte zu identifizieren und zu prüfen, ob sich wenigstens eine Untermenge der Clutterpunkte durch eine gerade Linie durch die Position des Sensorsystems annähern lässt. Da es sich bei solchen Abtastpunkten mit hoher Wahrscheinlichkeit um durch direktes Gegenlicht verursachte Clutterpunkte handelt, können diese dann als Störpunkte identifiziert werden.
-
Gemäß einem unabhängigen Aspekt des verbesserten Konzepts wird ein Verfahren, insbesondere ein computerimplementiertes Verfahren, zur Filterung von Abtastpunkten eines aktiven optischen Sensorsystems angegeben. Die Abtastpunkte bilden eine Umgebung, beziehungsweise einen Teil der Umgebung, des Sensorsystems ab. Die Abtastpunkte werden einer Recheneinheit bereitgestellt. Mittels der Recheneinheit werden die Abtastpunkte gemäß wenigstens zwei vorgegebenen Klassen klassifiziert, wobei die wenigstens zwei Klassen eine Clutterklasse beinhalten. Die Abtastpunkte der Clutterklasse, die auch als Clutterpunkte bezeichnet werden können, werden in eine Ebene projiziert, die einen Referenzpunkt enthält, welcher einer Position des Sensorsystems entspricht. Mittels der Recheneinheit wird festgestellt, ob eine Untermenge der projizierten Abtastpunkte gemäß einem vorgegebenen Kriterium näherungsweise auf einer geraden Linie liegt, die, insbesondere wenigstens näherungsweise, durch den Referenzpunkt verläuft. Mittels der Recheneinheit werden diejenigen Abtastpunkte, welche der Untermenge der projizierten Abtastpunkte entsprechen, also insbesondere diejenigen Clutterpunkte, die näherungsweise auf einer geraden Linie liegen, abhängig von einem Ergebnis der Feststellung als Störpunkte identifiziert.
-
Ein aktives optisches Sensorsystem weist definitionsgemäß eine Lichtquelle zum Aussenden von Licht beziehungsweise Lichtimpulsen auf. Die Lichtquelle kann insbesondere als Laser ausgestaltet sein, beispielsweise als Infrarotlaserdiode. Des Weiteren weist ein aktives optisches Sensorsystem definitionsgemäß wenigstens einen optischen Detektor auf, um reflektierte Anteile des ausgesendeten Lichts zu erfassen. Das aktive optische Sensorsystem ist dabei insbesondere dazu eingerichtet, basierend auf den detektierten Anteilen des Lichts eines oder mehrere Sensorsignale zu erzeugen, zu verarbeiten oder auszugeben.
-
Hier und im Folgenden kann der Begriff „Licht“ derart verstanden werden, dass damit elektromagnetische Wellen im sichtbaren Bereich, im infraroten Bereich und/oder im ultravioletten Bereich umfasst sind. Dementsprechend kann auch der Begriff „optisch“ derart verstanden werden, dass er sich auf Licht nach diesem Verständnis bezieht.
-
Dass die Abtastpunkte der Recheneinheit bereitgestellt werden, kann beispielsweise derart verstanden werden, dass die Recheneinheit mittels des Sensorsystems erzeugte Messdaten erhält, beispielsweise von dem Sensorsystem, insbesondere von einer weiteren Recheneinheit des Sensorsystems. Die Recheneinheit ist dann dazu eingerichtet, basierend auf den Messdaten die Abtastpunkte zu erzeugen. Alternativ kann die Recheneinheit die Abtastpunkte erhalten, beispielsweise von der weiteren Recheneinheit, dem Sensorsystem oder einem Speicherelement.
-
Die Abtastpunkte des Sensorsystems, also Abtastpunkte, welche mittels des Sensorsystems erzeugt wurden, können als Punktwolke bezeichnet werden. Jeder Abtastpunkt der Punktwolke ist insbesondere durch dreidimensionale Ortskoordinaten definiert.
-
Die Clutterpunkte können beispielsweise als Abtastpunkte verstanden werden, die von Niederschlag, beispielsweise Regentropfen, Schneeflocken und so weiter, herrühren oder durch direktes Gegenlicht, beispielsweise Sonneinstrahlung, oder Sensorrauschen verursacht werden.
-
Beispielsweise werden alle Abtastpunkte der Clutterklasse zugeordnet, die keiner sonstigen Klasse der wenigstens zwei Klassen zugeordnet werden können.
-
Bei den Clutterpunkten handelt es sich nicht notwendigerweise um unerwünschte Punkte. Beispielsweise können bestimmte Funktionen eines elektronischen Fahrzeugführungssystems bestimmte Arten von Clutterpunkten nutzen, beispielsweise solche, die von Niederschlag verursacht werden. Diese Funktionen können beispielsweise basierend auf den entsprechenden Clutterpunkten eine Niederschlagsmenge abschätzen.
-
Andere Clutterpunkte, wie beispielsweise solche, wie durch direktes Gegenlicht verursacht werden, können dagegen unerwünscht sein.
-
Die wenigstens zwei Klassen können beispielsweise neben der Clutterklasse eine Nahbereichsklasse, eine Bodenklasse und/oder eine Objektklasse beinhalten.
-
Die Clutterpunkte beziehungsweise die Clutterklasse können dabei beispielsweise derart definiert sein, dass die Clutterpunkte keiner der anderen Klasse der wenigstens zwei Klassen zugeordnet werden können, also insbesondere weder der Nahbereichsklasse noch der Bodenklasse oder der Objektklasse.
-
Zur Klassifizierung von Abtastpunkten existieren verschiedene bekannte Algorithmen. Insbesondere ist es bekannt, aus Abtastpunkten eines Lidarsystems diejenigen zu identifizieren, die Reflexionen von einer Fahrbahn oder einem Boden entsprechen, wenn das aktive optische Sensorsystem beispielsweise an einem Kraftfahrzeug montiert ist. Solche Abtastpunkte können der Bodenklasse zugeordnet werden. Beispielsweise können die Punkte der Bodenklasse durch deren Anordnung auf Kreisbogenabschnitten identifiziert werden.
-
Ebenso sind Algorithmen bekannt, basierend auf denen festgestellt werden kann, ob ein Abtastpunkt von einem Objekt, beispielsweise einem statischen oder beweglichen Objekt, in der Umgebung reflektiert wurden. Diese Punkte können der Objektklasse zugeordnet werden.
-
Außerdem können beispielsweise alle Punkte, die sich innerhalb eines Nahbereichs um das Sensorsystem herum befinden, beispielsweise in einem Bereich kleiner oder gleich einem Meter, der Nahbereichsklasse zugeordnet werden.
-
Bei den Clutterpunkten handelt es sich insbesondere um diejenigen Abtastpunkte der Punktwolke, die gemäß der Klassifizierung der Clutterklasse zugeordnet wurden.
-
Dass die Clutterpunkte in die Ebene projiziert werden, ist nicht derart zu verstehen, dass notwendigerweise nur die Abtastpunkte der Clutterklasse in die Ebene projiziert werden. Insbesondere können auch Abtastpunkte anderer Klassen, beispielsweise alle Abtastpunkte der Punktwolke, in die Ebene projiziert werden.
-
Dass Projizieren eines Abtastpunkts in die Ebene beinhaltet insbesondere das Bestimmen von zweidimensionalen Koordinaten, beispielsweise kartesischen Koordinaten oder Polarkoordinaten, in der Ebene.
-
Die Untermenge der projizierten Abtastpunkte, für die festgestellt wird, ob diese näherungsweise auf der geraden Linie liegt, kann insbesondere auch alle Clutterpunkte enthalten.
-
Der Referenzpunkt kann beispielsweise mit einem Koordinatenursprung des zweidimensionalen Koordinatensystems in der Ebene zusammenfallen.
-
Das vorgegebene Kriterium ist beispielsweise dann erfüllt, wenn eine Abweichung der geraden Linie von der Untermenge der projizierten Abtastpunkte kleiner ist als wenigstens ein vorgegebener Grenzwert. Dabei kann der Begriff der Abweichung prinzipiell beliebig, insbesondere ausführungsspezifisch, vorgegeben werden.
-
Bei denjenigen Abtastpunkten, welche der Untermenge der projizierten Abtastpunkte entsprechen, handelt es sich insbesondere um diejenigen Abtastpunkte der Punktwolke, deren Projektionen in die Ebene gemäß dem vorgegebenen Kriterium näherungsweise auf der gerade Linie liegen.
-
Das Identifizieren der entsprechenden Abtastpunkte als Störpunkte kann beispielsweise das Speichern einer Information beinhalten, welche die entsprechenden Abtastpunkte als Störpunkte ausweist oder definiert. Die entsprechenden Abtastpunkte können also dadurch beispielsweise als Störpunkte markiert werden. Dadurch kann insbesondere sichergestellt werden, dass die Störpunkte für bestimmte weitere Anwendungen, die auf einer Nutzung der Punktwolke oder der Abtastpunkte basieren, nicht verwendet werden beziehungsweise von der Verwendung ausgeschlossen werden.
-
Das Identifizieren der entsprechenden Abtastpunkte als Störpunkte kann als Filterung der Abtastpunkte oder der Punktwolke verstanden werden.
-
Wie oben beschrieben, können die Clutterpunkte können unterschiedliche Ursachen haben. Dies führt dazu, dass manche der Clutterpunkte beispielsweise von weiteren Funktionen, beispielsweise zur Niederschlagsdetektion oder zur Bestimmung einer Niederschlagsintensität oder -menge, verwendet werden können. Andere Clutterpunkte, wie beispielsweise solche, die durch Gegenlicht verursacht werden, sind problematisch und daher unerwünscht. Letztere können beispielsweise die Leistungsfähigkeit des Sensorsystems reduzieren, indem andere, relevante Abtastpunkte durch die hohe Energie direkter Sonneneinstrahlung überstrahlt werden, was zu Falsch-Negativ-Ergebnissen bei der Objekterkennung führen kann. Andererseits können auch Falsch-Positiv-Ergebnisse bei der Objekterkennung durch solche Clutterpunkte verursacht werden, wenn diese fälschlicherweise als von Objekten verursacht interpretiert werden. Zudem wird durch das Vorhandensein unerwünschter Clutterpunkte die zu verarbeitende Datenmenge erhöht. Dies kann zur ineffizienten Nutzung von Rechenkapazität beziehungsweise Speicherkapazität führen.
-
Nach dem verbesserten Konzept werden diese Nachteile vermieden, indem diejenigen Clutterpunkte der Clutterklasse als Störpunkte identifiziert werden, also herausgefiltert werden, die mit hoher Wahrscheinlichkeit durch direktes Gegenlicht oder direkte Sonneneinstrahlung verursacht wurden. Solche Clutterpunkte finden sich in den Punktwolken aufeinanderfolgender Einzelbilder insbesondere als statistisch erscheinende und wieder verschwindende Punkte wieder, die auf einer näherungsweise geraden Linie von der Quelle des Gegenlichts zu einem Detektor des Sensorsystems verläuft. Durch die Identifizierung derjenigen Abtastpunkte als Störpunkte, deren Projektion auf die Ebene sich näherungsweise durch die gerade Linie beschreiben lässt, werden genau diejenigen Abtastpunkte gefiltert.
-
Dadurch kann das verbesserte Konzept die Qualität der von dem Sensorsystem zur Verfügung gestellten Daten, also insbesondere der gefilterten Abtastpunkte, stark verbessern. Insbesondere kann vermieden werden, dass Sensorfunktionen deaktiviert werden müssen, da direkte Sonneneinstrahlung die vom Sensorsystem erzeugten Daten zu stark verfälschen würde.
-
Gemäß zumindest einer Ausführungsform des Verfahrens nach dem verbesserten Konzept werden mittels des aktiven optischen Sensorsystems Messdaten erzeugt, die auch als Sensorrohdaten oder Rohdaten bezeichnet werden können. Mittels der Recheneinheit und/oder mittels der weiteren Recheneinheit werden die Abtastpunkte basierend auf den Messdaten erzeugt.
-
Insbesondere kann es sich bei der Recheneinheit beispielsweise um eine CPU, beispielsweise eines Kraftfahrzeugs, an oder in dem das Sensorsystem montiert ist, handeln. Die weitere Recheneinheit kann beispielsweise mit dem aktiven optischen Sensorsystem als integriertes Gesamtsystem ausgestaltet sein und beispielsweise als „System-on-a-Chip“ oder FPGA ausgestaltet sein.
-
Das Erzeugen der Abtastpunkte aus den Messdaten kann beispielsweise das Durchführen einer Koordinatentransformation, einer weiteren Filterung, einer Beschneidung eines Bildbereichs und so weiter beinhalten.
-
Das Sensorsystem kann beispielsweise mittels der Lichtquelle Lichtimpulse in unterschiedliche Richtungen der Umgebung aussenden, wo sie von Objekten in der Umgebung wenigstens zum Teil in Richtung des Sensorsystems zurückreflektiert werden, wo sie beispielsweise mittels des optischen Detektors des Sensorsystems erfasst werden. Basierend auf den erfassten Anteilen erzeugt der wenigstens eine optische Detektor ein Sensorsignal, aus dem sich, beispielsweise mittels Lichtlaufzeitmessung, eine Entfernung des optischen Detektors von dem Punkt der Reflexion in der Umgebung berechnen lässt. Zusammen mit der Einfallsrichtung der reflektierten Lichtanteile, insbesondere zweier entsprechender Einfallswinkel, können dreidimensionale Messdaten in Form eines Entfernungsbildes erzeugt werden.
-
Das Erzeugen der Abtastpunkte basierend auf den Messdaten kann dann beispielsweise die Transformation des Entfernungsbildes in Polarkoordinaten oder kartesische Koordinaten beinhalten.
-
Gemäß zumindest einer Ausführungsform des Verfahrens wird mittels der Recheneinheit wenigstens ein Teilbereich der Ebene in eine Vielzahl von Zellen, also wenigstens drei Zellen, insbesondere aneinandergrenzenden Zellen, unterteilt. Mittels der Recheneinheit wird anhand einer Verteilung der projizierten Abtastpunkte der Clutterklasse über die Vielzahl von Zellen festgestellt, ob die Untermenge der projizierten Abtastpunkte gemäß dem Kriterium näherungsweise auf der geraden Linie liegt.
-
Die Zellen der Vielzahl von Zellen überdecken dabei den Teilbereich der Ebene, wobei die Zellen der Vielzahl von Zellen beispielsweise unmittelbar aneinander oder an einen Rand des Teilbereichs angrenzen.
-
Eine Zelle entspricht dabei einem zweidimensionalen Raumbereich, der durch eine geometrische Figur, beispielsweise ein Polygon oder einen Kreissektor, begrenzt wird.
-
Durch die Unterteilung des Teilbereichs in die Vielzahl von Zellen wird eine Diskretisierung der zweidimensionalen Ebene beziehungsweise des Teilbereichs vorgenommen, was eine vereinfachte Analyse der Verteilung der projizierten Abtastpunkte und damit einen geringen Rechenaufwand zur Folge hat.
-
Gemäß zumindest einer Ausführungsform haben die Zellen, also alle Zellen der Vielzahl von Zellen, dieselbe geometrische Form und Größe.
-
Insbesondere können die Zellen in solchen Ausführungsformen ein Gitter im mathematischen Sinn oder einen Teil eines Gitters auf der Ebene bilden.
-
Dadurch können mathematische Algorithmen für regelmäßige Gitter angewendet werden, um die Verteilung der Abtastpunkte beziehungsweise der projizierten Abtastpunkte zu analysieren.
-
Gemäß zumindest einer Ausführungsform sind die Zellen rechteckig, insbesondere quadratisch.
-
In diesem Fall ist insbesondere auch der Teilbereich rechteckig.
-
Die rechteckige beziehungsweise quadratische Form der Zellen ist aus mathematischer Sicht insbesondere vorteilhaft, wenn die Abtastpunkte beziehungsweise die projizierten Abtastpunkte in kartesischen Koordinaten gegeben sind.
-
Gemäß zumindest einer Ausführungsform, insbesondere gemäß einer Ausführungsform, bei der die Zellen rechteckig sind, wird mittels der Recheneinheit eine Ausgleichsrechnung durchgeführt, um die projizierten Abtastpunkte der Untermenge durch die gerade Linie anzunähern.
-
Die Ausgleichsrechnung kann beispielsweise eine Anpassung, auch als Fit bezeichnet, oder eine Regression auf einem diskreten Gitter beinhalten, beispielsweise basierend auf einem Bresenham-Linienalgorithmus.
-
Das Kriterium kann dabei beispielsweise einem gesamten Fehler der Ausgleichsrechnung, beispielsweise einem mittleren quadratischen Fehler, einer Anpassungsgüte der Ausgleichsrechnung oder einem Bestimmtheitsmaß der Ausgleichsrechnung entsprechen.
-
Insbesondere kann die Anzahl der Clutterpunkte, die mittels der Ausgleichsrechnung an die Linie gefittet oder angepasst werden, im Verhältnis zu der Gesamtanzahl von Clutterpunkten als Qualitätsindikator für die Ausgleichsrechnung dienen.
-
Insbesondere ist die Wahrscheinlichkeit, dass es sich bei den so identifizierten projizierten Abtastpunkten der Untermenge um durch direktes Gegenlicht verursachte Clutterpunkte handelt, umso größer, je besser die Näherung oder die Anpassung ist.
-
Gemäß zumindest einer Ausführungsform haben die Zellen, also alle Zellen der Vielzahl von Zellen, die Form von, insbesondere aneinandergrenzenden, Kreissektoren, wobei ein gemeinsamer Kreismittelpunkt der Kreissektoren beispielsweise dem Referenzpunkt entspricht. Jeder der Zellen wird mittels der Recheneinheit in wenigstens zwei radiale Unterzellen unterteilt.
-
Insbesondere sind alle Zellen gleich groß, haben also denselben Mittelpunktswinkel.
-
Die radialen Unterzellen einer der Zellen können beispielsweise als Bereiche des entsprechenden Kreissektors verstanden werden, die unterschiedlichen radialen Bereichen entsprechen.
-
Eine solche Aufteilung der Zellen ist insbesondere vorteilhaft und erlaubt eine effiziente mathematische Auswertung der Verteilung, wenn die Abtastpunkte oder die projizierten Abtastpunkte in Polarkoordinaten vorliegen.
-
Die Feststellung, ob die Untermenge der projizierten Abtastpunkte näherungsweise auf der geraden Linie liegt, kann in solchen Ausführungsformen beispielsweise unter Ausnutzung der Tatsache erfolgen, dass eine gerade Linie, welche durch den Referenzpunkt geht, immer in genau einem der Kreissektoren, also innerhalb genau einer Zelle, und zwar durch jede radiale Unterzelle der Zelle, verläuft, sofern die gerade Linie nicht an denjenigen diskreten Stellen liegt, an denen benachbarte Kreissektoren aneinandergrenzen.
-
Gemäß zumindest einer Ausführungsform wird mittels der Recheneinheit, um festzustellen, ob die Untermenge der projizierten Abtastpunkte gemäß dem Kriterium näherungsweise auf der geraden Linie liegt, insbesondere in einem Prüfungsschritt, festgestellt, ob in allen Unterzellen einer ersten Zelle der Vielzahl von Zellen wenigstens eine vorgegebene Minimalanzahl, die beispielsweise gleich eins ist, der projizierten Abtastpunkte liegt. Insbesondere in einem weiteren Prüfungsschritt wird mittels der Recheneinheit festgestellt, ob in allen Unterzellen einer zweiten Zelle der Vielzahl von Zellen sowie in allen Unterzellen einer dritten Zelle der Vielzahl von Zellen jeweils höchstens eine vorgegebene Maximalanzahl, die beispielsweise gleich Null ist, der projizierten Abtastpunkte liegt, wobei die erste und die zweite Zelle benachbart sind und wobei die erste und die dritte Zelle benachbart sind. Benachbarte Zellen entsprechen dabei insbesondere aneinandergrenzenden Kreissektoren.
-
Das Kriterium ist insbesondere erfüllt, wenn ein Ergebnis des Prüfungsschritts positiv ist und ein Ergebnis des weiteren Prüfungsschritts ebenfalls positiv ist.
-
Das Ergebnis des Prüfungsschritts ist insbesondere dann positiv, wenn festgestellt wird, dass in allen Unterzellen der ersten Zelle wenigstens die Minimalanzahl der projizierten Abtastpunkte liegt. Das Ergebnis des weiteren Prüfungsschritts ist insbesondere dann positiv, wenn festgestellt wird, dass in allen Unterzellen der zweiten Zelle sowie in allen Unterzellen der dritten Zelle jeweils höchstens die vorgegebene Maximalanzahl der projizierten Abtastpunkte liegt.
-
Die erste Zelle, insbesondere der Kreissektor, welcher der ersten Zelle entspricht, gibt dabei die Richtung der geraden Linie näherungsweise vor, da der Kreismittelpunkt der Kreissektoren dem Referenzpunkt entspricht. Dabei ist die Näherung umso besser, je geringer der Mittelpunktswinkel der Kreissektoren ist und je größer der maximale Radius der Zellen, also der Radius der Kreissektoren, ist.
-
Gemäß zumindest einer Ausführungsform wird ein Kraftfahrzeug mittels eines elektronischen Fahrzeugführungssystems des Kraftfahrzeugs basierend auf den Abtastpunkten wenigstens teilweise automatisch gesteuert, wobei die Störpunkte für die wenigstens teilweise automatische Steuerung nicht berücksichtigt werden.
-
Das aktive optische Sensorsystem ist dabei insbesondere an oder in dem Kraftfahrzeug montiert.
-
In solchen Ausführungsformen kann das Verfahren nach dem verbesserten Konzept als Verfahren zur wenigstens teilweise automatischen Steuerung eines Kraftfahrzeugs angesehen werden.
-
Durch die beschriebene Filterung der Abtastpunkte wird eine schnelle und effiziente Verarbeitung der anfallenden Daten möglich, da die Datenmenge entsprechend reduziert werden kann.
-
Zudem kann die Genauigkeit oder Qualität der wenigstens teilweise automatischen Steuerung des Kraftfahrzeugs verbessert werden, da weniger Fehler oder Störungen aufgrund des direkten Gegenlichts auftreten.
-
Unter einem elektronischen Fahrzeugführungssystem kann hier und im Folgenden ein elektronisches System verstanden werden, das dazu eingerichtet ist, das Kraftfahrzeug vollautomatisch oder vollautonom zu führen oder zu steuern, insbesondere ohne dass ein Eingriff in eine Steuerung durch einen Fahrer erforderlich ist. Das Kraftfahrzeug beziehungsweise das elektronische Fahrzeugführungssystem führt dabei gegebenenfalls erforderliche Lenk-, Brems- und/oder Beschleunigungsmanöver selbsttätig und vollautomatisch durch. Insbesondere kann das elektronische Fahrzeugführungssystem zur Implementierung eines vollautomatischen oder vollautonomen Fahrmodus des Kraftfahrzeugs nach Stufe 5 der Klassifizierung gemäß SAE J3016 dienen. Unter einem elektronischen Fahrzeugführungssystem kann auch ein Fahrerassistenzsystem (englisch: „Advanced Driver Assistance System“, ADAS) verstanden werden, welches den Fahrer bei einer teilweise automatisierten oder teilautonomen Fahrt des Kraftfahrzeugs unterstützt. Insbesondere kann das elektronische Fahrzeugführungssystem zur Implementierung eines teilweise automatisierten oder teilautonomen Fahrmodus des Kraftfahrzeugs nach einer der Stufen 1 bis 4 gemäß der SAE J3016-Klassifizierung dienen. Hier und im Folgenden bezieht sich „SAE J3016“ auf die entsprechende Norm in der Version vom Juni 2018.
-
Die Steuerung des Kraftfahrzeugs kann dabei eine Steuerung einer Bewegung des Kraftfahrzeugs, insbesondere durch Steuerung einer Lenkung, eines Bremssystems und/oder eines Antriebssystems, insbesondere eine Längs- und/oder Querregelung der Bewegung des Kraftfahrzeugs, beinhalten.
-
Die Steuerung des Kraftfahrzeugs kann auch die Steuerung einer Funktion oder Komponente des Kraftfahrzeugs beinhalten, beispielsweise die Steuerung einer Scheibenwischervorrichtung, einer Beleuchtungsanlage und so weiter des Kraftfahrzeugs.
-
Dass die Störpunkte bei der wenigstens teilweise automatischen Steuerung nicht berücksichtigt werden, kann insbesondere derart verstanden werden, dass die Störpunkte nicht verwendet werden, um die wenigstens teilweise automatische Steuerung durchzuführen, dass die Störpunkte also von der Verwendung für die teilweise automatische Steuerung ausgeschlossen werden.
-
Das elektronische Fahrzeugführungssystem kann beispielsweise die Recheneinheit beinhalten.
-
Gemäß zumindest einer Ausführungsform wird mittels des elektronischen Fahrzeugführungssystems basierend auf den Abtastpunkten ein Niederschlag in einer Umgebung des Kraftfahrzeugs, also insbesondere in der Umgebung des Sensorsystems, erkannt, wobei die Störpunkte nicht für die Erkennung des Niederschlags verwendet werden. Die wenigstens teilweise automatische Steuerung wird mittels des elektronischen Fahrzeugführungssystems basierend auf einem Ergebnis der Erkennung des Niederschlags durchgeführt.
-
Die Erkennung des Niederschlags kann dabei die Feststellung beinhalten, dass Niederschlag mit einer vorgegebenen Minimalintensität gegeben ist. Die Erkennung des Niederschlags kann auch die Bestimmung einer Niederschlagsmenge oder der Niederschlagsintensität beinhalten.
-
Die Niederschlagserkennung kann beispielsweise auf Clutterpunkten beruhen, die durch die Reflexion von ausgesendeten Lichtstrahlen von Niederschlagspartikeln, also Regentropfen oder Schneeflocken oder dergleichen, verursacht wird.
-
Durch die selektive Filterung nur derjenigen Clutterpunkte, die mit hoher Wahrscheinlichkeit auf direktes Gegenlicht zurückgehen, kann die Niederschlagserkennung dennoch basierend auf den dazu geeigneten Clutterpunkten erfolgen.
-
Gemäß einem weiteren unabhängigen Aspekt des verbesserten Konzepts wird ein elektronisches Fahrzeugführungssystem für ein Kraftfahrzeug angegeben, das eine Recheneinheit aufweist, die dazu eingerichtet ist, Abtastpunkte eines aktiven optischen Sensorsystems zu erhalten, die eine Umgebung des Sensorsystems abbilden. Die Recheneinheit ist dazu eingerichtet, die Abtastpunkte gemäß wenigstens zwei vorgegebenen Klassen zu klassifizieren, wobei die wenigstens zwei Klassen eine Clutterklasse beinhalten. Die Recheneinheit ist dazu eingerichtet, die Abtastpunkte der Clutterklasse in eine Ebene zu projizieren, die einen Referenzpunkt enthält, welcher einer Position des Sensorsystems entspricht und festzustellen, ob eine Untermenge der projizierten Abtastpunkte gemäß einem vorgegebenen Kriterium näherungsweise auf einer geraden Linie liegt, die durch den Referenzpunkt verläuft. Die Recheneinheit ist dazu eingerichtet, diejenigen Abtastpunkte, welche der Untermenge der projizierten Abtastpunkte entsprechen, abhängig von einem Ergebnis der Feststellung der Störpunkte zu identifizieren.
-
Gemäß zumindest einer Ausführungsform des Fahrzeugführungssystems beinhaltet das Fahrzeugführungssystem das aktive optische Sensorsystem. Das aktive optische Sensorsystem ist dazu eingerichtet, Messdaten zu erzeugen, welche die Umgebung abbilden. Die Recheneinheit und/oder eine weitere Recheneinheit des Fahrzeugführungssystems ist dazu eingerichtet, die Abtastpunkte basierend auf den Messdaten zu erzeugen.
-
Gemäß zumindest einer Ausführungsform ist die Recheneinheit dazu eingerichtet, wenigstens einen Teilbereich der Ebene in eine Vielzahl von Zellen zu unterteilen und anhand einer Verteilung der projizierten Abtastpunkte über die Vielzahl von Zellen festzustellen, ob die Untermenge der projizierten Abtastpunkte gemäß dem Kriterium näherungsweise auf der Linie liegt.
-
Weitere Ausführungsformen des elektronischen Fahrzeugführungssystems ergeben sich direkt aus den verschiedenen Ausführungsformen des Verfahrens nach dem verbesserten Konzept und umgekehrt. Insbesondere kann ein elektronisches Fahrzeugführungssystem nach dem verbesserten Konzept dazu eingerichtet oder programmiert sein, ein Verfahren nach dem verbesserten Konzept durchzuführen, oder das Fahrzeugführungssystem nach dem verbesserten Konzept führt das Verfahren nach dem verbesserten Konzept durch.
-
Gemäß einem weiteren unabhängigen Aspekt des verbesserten Konzepts wird ein Computerprogramm mit Befehlen angegeben. Bei Ausführung des Computerprogramms durch ein Computersystem, insbesondere durch ein elektronisches Fahrzeugführungssystem nach dem verbesserten Konzept, beispielsweise durch die Recheneinheit des Fahrzeugführungssystems, veranlassen die Befehle das Computersystem dazu, ein Verfahren nach dem verbesserten Konzept durchzuführen.
-
Gemäß einem weiteren unabhängigen Aspekt des verbesserten Konzepts wird ein computerlesbares Speichermedium angegeben, auf dem ein Computerprogramm nach dem verbesserten Konzept gespeichert ist.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als erfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von denen abweichen.
-
In den Figuren zeigen:
- 1 eine schematische Darstellung eines Kraftfahrzeugs mit einer beispielhaften Ausführungsform eines elektronischen Fahrzeugführungssystems nach dem verbesserten Konzept;
- 2 ein Ablaufdiagramm einer beispielhaften Ausführungsform eines Verfahrens nach dem verbesserten Konzept;
- 3 eine schematische Darstellung von Verfahrensschritten einer weiteren beispielhaften Ausführungsform eines Verfahrens nach dem verbesserten Konzept; und
- 4 eine schematische Darstellung von Verfahrensschritten einer weiteren beispielhaften Ausführungsform eines Verfahrens nach dem verbesserten Konzept.
-
In 1 ist ein Kraftfahrzeug 1 dargestellt, das ein elektronisches Fahrzeugführungssystem 2 nach dem verbesserten Konzept aufweist.
-
Das Fahrzeugführungssystem 2 weist eine Recheneinheit 3 auf. Zudem weist das Kraftfahrzeug 1, insbesondere das Fahrzeugführungssystem 2, ein aktives optisches Sensorsystem 4 auf, das beispielsweise als Lidarsystem ausgestaltet ist, welches auch als Laserscanner bezeichnet werden kann.
-
Die Funktionsweise des Fahrzeugführungssystems 2 wird im Folgenden unter Bezugnahme auf verschiedene Ausführungsformen des Verfahrens nach dem verbesserten Konzept bezüglich der Figuren 2 bis 4 näher erläutert.
-
In 2 ist ein Ablaufdiagramm einer beispielhaften Ausführungsform eines Verfahrens nach dem verbesserten Konzept dargestellt.
-
Im Schritt S1 des Verfahrens erzeugt das aktive optische Sensorsystem Messdaten, welche eine Umgebung des Kraftfahrzeugs 1 abbilden. Dazu sendet das Sensorsystem 4 insbesondere infrarote Laserpulse aus, die in der Umgebung von sich in der Umgebung befindlichen Objekten reflektiert werden können und wenigstens teilweise in Richtung des Sensorsystems 4 zurückgestrahlt werden können. Die zurückgestrahlten Anteile können dann von wenigstens einem optischen Detektor des Sensorsystems 4 erfasst werden, und das Sensorsystem 4 kann basierend auf einer Lichtlaufzeit zwischen ausgesendetem Puls und detektiertem Puls eine Entfernung des reflektierten Objekts berechnen. Die Reflexion der ausgesendeten Pulse kann beispielsweise von Verkehrsteilnehmern, wie weiteren Kraftfahrzeugen oder Fußgängern, erfolgen. Auch von einer Fahrbahn, auf welcher sich das Kraftfahrzeug 1 befindet, können die Pulse reflektiert werden.
-
Die Messdaten können aber neben den von Objekten oder vom Boden reflektierten Abtastpunkten auch Abtastpunkte repräsentieren, die durch Reflexionen von Niederschlag verursacht werden. Zudem kann direktes Gegenlicht, das auf den wenigstens einen optischen Detektor des Sensorsystems 4 trifft, zu statistisch und damit unregelmäßig auftretenden und verschwindenden Clutterpunkten führen, die in den Messdaten neben den eigentlichen Abtastpunkten ebenfalls als Abtastpunkte erscheinen.
-
Die Recheneinheit 3 empfängt die Messdaten, beispielsweise von dem Sensorsystem 4, und erzeugt daraus beispielsweise eine Punktwolke von Abtastpunkten, beispielsweise in kartesischen Koordinaten oder in Polarkoordinaten.
-
In Schritt S2 des Verfahrens kann die Recheneinheit 3 beispielsweise einen Freiraumbereich des Sensorsystems 4 ermitteln. Der Freiraumbereich des Sensorsystems 4 entspricht insbesondere einem Teil eines Sichtfelds des Sensorsystems 4, der für dieses tatsächlich sichtbar ist, der also nicht von Objekten in der Umgebung verdeckt wird.
-
Die Recheneinheit 3 klassifiziert diejenigen Abtastpunkte der Punktwolke, welche sich in dem Freiraumbereich des Sensorsystems 4 befinden, in wenigstens zwei vorgegebene Klassen, wobei die Klassen beispielsweise eine Bodenklasse, eine Nahfeldklasse, eine Objektklasse und eine Clutterklasse beinhalten.
-
Beispielsweise kann die Recheneinheit 3 alle Abtastpunkte, die Reflexionen in einem Bereich von einem Meter oder weniger um das Sensorsystem 4 herum entsprechen, der Nahfeldklasse zuordnen.
-
Abtastpunkte, die beispielsweise aufgrund ihrer Anordnung auf charakteristischen Bodenkreisen als von der Fahrbahn reflektiert identifiziert werden können, können mittels der Recheneinheit 3 beispielsweise der Bodenklasse zugeordnet werden.
-
Abtastpunkte, die Reflexionen von weiteren Objekten entsprechen, beispielsweise Verkehrsteilnehmern, statischen oder dynamischen Objekten in der Umgebung, können gemäß bekannter Algorithmen der Objektklasse zugeordnet werden.
-
Alle Abtastpunkte, die nicht zu einem solchen Objekt gehören, die aber auch nicht Teil des Bodens oder des Nahbereichs sind, können als Clutterpunkte definiert werden und entsprechend der Clutterklasse zugeordnet werden.
-
Beispielsweise können Abtastpunkte, die durch Regen, Schnee oder Sensorrauschen verursacht werden, Clutterpunkten entsprechen.
-
Im Falle von direktem Gegenlicht entsteht beispielsweise ein Strahl von statistisch erscheinenden und verschwindenden Clutterpunkten in einer geraden Linie von der Sonne oder der sonstigen Quelle des Gegenlichts zu dem wenigstens einen optischen Detektor des Sensorsystems 4.
-
Solche Clutterpunkte aufgrund von direktem Gegenlicht können mittels des Verfahrens nach dem verbesserten Konzept identifiziert, und die fälschlicherweise erzeugten Abtastpunkte können von der weiteren Verarbeitung ausgeschlossen werden.
-
In Schritt S3 des Verfahrens werden die Abtastpunkte der Punktwolke, insbesondere die Abtastpunkte der Clutterklasse, in eine Ebene projiziert, die einen Referenzpunkt R enthält. Der Referenzpunkt R entspricht dabei einer Position des Sensorsystems 4, insbesondere des wenigstens einen optischen Detektors, und entspricht beispielsweise einem Ursprung des Koordinatensystems, in dem die projizierten Abtastpunkte gegeben sind.
-
Die Ebene oder wenigstens ein Teilbereich der Ebene wird mittels der Recheneinheit 3 in eine Vielzahl von Zellen 10 unterteilt. Anhand einer Verteilung der projizierten Abtastpunkte der Clutterklasse über die Vielzahl von Zellen 10 wird mittels der Recheneinheit 3 festgestellt, ob eine Untermenge von projizierten Abtastpunkten der Clutterklasse gemäß einem vorgegebenen Kriterium näherungsweise auf einer geraden Linie liegt.
-
Dies ist schematisch für zwei beispielhafte Ausführungen in den Figuren 3 und 4 beschrieben.
-
In 3 ist ein Ausführungsbeispiel beschrieben, das besonders vorteilhaft ist, wenn die Koordinaten der projizierten Abtastpunkte in kartesischen Koordinaten gegeben sind. 3 zeigt die Ebene, in die die Abtastpunkte projiziert wurden, in einer Draufsicht.
-
Eine erste Gruppe von Abtastpunkten 6, die mit Kreuzen markiert ist, kann beispielsweise durch Objekte in der Umgebung des Kraftfahrzeugs 1 verursacht werden. Diese Objekte können beispielsweise stationären Objekten, wie beispielsweise Fahrbahnbegrenzungsmarkierungen, Leitplanken oder dergleichen, entsprechen. Eine zweite Gruppe 7 von Abtastpunkten ist ebenfalls mit Kreuzen markiert und entspricht beispielsweise weiteren stationären oder dynamischen Objekten in der Umgebung, beispielsweise anderen Verkehrsteilnehmern, Verkehrszeichen oder dergleichen.
-
Schematisch sind auch Punkte einer dritten Gruppe 8 von Abtastpunkten mit Kreuzen dargestellt, die näherungsweise auf Bodenkreisen liegen und die ebenfalls dargestellt sind.
-
Zudem ist eine vierte Gruppe 9 von Abtastpunkten dargestellt, die durch Kreise gekennzeichnet sind. Dabei handelt es sich insbesondere um Clutterpunkte.
-
Außerdem ist ein kartesisches Koordinatensystem x, y dargestellt, dessen Ursprung dem Referenzpunkt R entspricht.
-
Zum Unterteilen der Ebene in die Vielzahl von Zellen 10 wird beispielsweise ein diskretes Gitter aus quadratischen Zellen 10 über die Ebene gelegt. Jede Zelle ist dabei als einzelnes Quadrat gezeigt. Jede der Zellen 10 beinhaltet nun eine bestimmte Anzahl von Clutterpunkten 9. Die Anzahl von Clutterpunkten 9 in der jeweiligen Zelle 10 spiegelt eine Clutterintensität an der entsprechenden Position wieder.
-
In Schritt S4 des Verfahrens wird beispielsweise ein Linienfit-Algorithmus für ein diskretes Gitter angewendet, beispielsweise ein Bresenham-Linienalgorithmus, um eine gerade Linie 5 zu identifizieren, auf der die Clutterpunkte 9 näherungsweise liegen und die durch den Referenzpunkt R verläuft.
-
Die Anzahl von Clutterpunkten 9, die an die Linie 5 gefittet wurden, im Verhältnis zu der Gesamtanzahl von Clutterpunkten 9 kann beispielsweise als Qualitätsmaß für die Anpassung der geraden Linie 5 an die Clutterpunkte 9 betrachtet werden.
-
Ein alternatives Ausführungsbeispiel ist in 4 dargestellt. Der Übersichtlichkeit halber sind die Punkte der ersten drei Gruppen 6, 7, 8 in 4 nicht dargestellt. Das bezüglich 4 beschriebene Ausführungsbeispiel ist besonders vorteilhaft, wenn die projizierten Abtastpunkte in Polarkoordinaten vorliegen.
-
In Schritt S3 des Verfahrens wird gemäß 4 eine polare Struktur aus mehreren aneinander angrenzenden Kreissektoren mit gemeinsamem Mittelpunkt, der dem Referenzpunkt R entspricht, auf die Ebene gelegt. Die verschiedenen Kreissektoren 10 können dabei beispielsweise jeweils denselben Mittelpunktswinkel aufweisen, der 10° oder näherungsweise 10° beträgt.
-
Jeder der Kreissektoren entspricht wiederum einer Zelle 10. Jede der Zellen 10 wird mittels der Recheneinheit 3 in verschiedene radiale Unterzellen 10' aufgeteilt. Die Unterzellen 10' können beispielsweise durch vorgegebene radiale Bereiche definiert sein. Die vorgegebenen radialen Bereiche können in einem Beispiel von 0 m bis 2 m, von 2 m bis 5 m und von 5 m bis 10 m liegen.
-
Mittels der Recheneinheit 3 wir die Anzahl von Clutterpunkten 9 für die verschiedenen Unterzellen 10' wird für jede der Zellen 10 bestimmt.
-
In Schritt S4 des Verfahrens wird gemäß dem Ausführungsbeispiel von 4 bestimmt, ob sich für eine gegebene Zelle 10 in jeder radialen Unterzelle 10' Clutterpunkte befinden und gleichzeitig in den beiden benachbarten Zellen 10 keine Clutterpunkte 9 vorliegen.
-
In Schritt S5 des Verfahrens kann die Recheneinheit bestimmen, ob ein vorgegebenes Kriterium durch eine Untermenge der Clutterpunkte 9 erfüllt ist, so dass darauf geschlossen werden kann, dass die Clutterpunkte 9 der Untermenge wenigstens näherungsweise auf der geraden Linie 5 liegen.
-
Bei einem Ausführungsbeispiel wie in 3 kann beispielsweise das Qualitätsmaß oder eine andere Kennzahl für die Anpassung, beispielsweise eine Anpassungsgüte oder ein Bestimmtheitsmaß, als Kriterium herangezogen werden. Bei Ausführungsformen, wie bezüglich 4 beschrieben, kann die Breite, also der Mittelpunktswinkel, der Kreissektoren 10 entsprechend klein gewählt werden, dass näherungsweise von einer geraden Linie ausgegangen werden kann, auf der die Clutterpunkte 9 liegen.
-
Ist das vorgegebene Kriterium erfüllt, so identifiziert die Recheneinheit 3 in Schritt S6 des Verfahrens die entsprechenden Clutterpunkte 9, die sich in der Untermenge befinden, die sich näherungsweise auf der geraden Linie 5 befindet, als Störpunkte. Diese Störpunkte können von der weiteren Verwendung für Funktionen des Fahrzeugführungssystems 2 ausgeschlossen werden.
-
Im optionalen Schritt S7 kann das Fahrzeugführungssystem 2 beispielsweise eine Niederschlagserkennung basierend auf Clutterpunkten 9 durchführen, die nicht als Störpunkte identifiziert wurde.
-
Wie beschrieben wurde, erlaubt es das verbesserte Konzept, durch Filterung von Abtastpunkten eines aktiven optischen Sensorsystems, die Qualität der Messpunkte dadurch zu erhöhen, dass der Einfluss von direktem Gegenlicht, insbesondere Sonnenlicht, reduziert wird.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
