DE102020208878A1

DE102020208878A1 - Verfahren zur Kurvenerkennung

Info

Publication number: DE102020208878A1
Application number: DE102020208878.0A
Authority: DE
Inventors: Matthias Brendel; Sathyanarayana Srinivasan; Sergi Canyameres Masip; Sajeev Rajput; Meghana Shankar; Kamal Deep Sethi; Venugopalakrishna Yennegere Ramakrishnaiah
Original assignee: Continental Automotive GmbH
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2020-02-27
Filing date: 2020-07-16
Publication date: 2021-09-02

Abstract

Computerimplementiertes Verfahren zur Kurvenerkennung einer Strecke mittels Radarensor, bei dem der Radarsensor ein Radarsignal aussendet, das Radarsignal von Objekten reflektiert wird und anhand des reflektierten Radarsignals Radardaten erzeugt werden, wobei die Objekte anhand der Radardaten erkannt und zur Kurvenerkennung herangezogen werden, mindestens ein Fahrdynamikparameter erfasst und gespeichert wird, anhand des Fahrdynamikparameters ein Krümmungswert der Strecke bestimmt wird, und anhand des Krümmungswertes eine Beschriftung festgelegt wird, ob die Strecke eine Kurve aufweist oder nicht, die Krümmungswerte den jeweiligen Radardaten zugeordnet und mit dem für die Früherkennung erforderlichen Abstand verschoben werden, und die Kurvenerkennung trainiert wird, indem den Radardaten die für die Krümmungswerte festgelegten Beschriftungen zugeordnet werden.

Description

Die vorliegende Erfindung betrifft ein computerimplementiertes Verfahren zur Kurvenerkennung einer Strecke, ein System, welches dazu hergerichtet ist, die Kurvenerkennung einer Strecke anhand des erfindungsgemäßen Verfahrens durchzuführen, ein Computerprogramm mit Programmcode zur Durchführung des erfindungsgemäßen Verfahrens sowie ein computerlesbares Speichermedium, welches den Computer zur Ausführung des erfindungsgemäßen Verfahrens veranlasst.
Technologischer Hintergrund
Moderne Fortbewegungsmittel wie Kraftfahrzeuge oder Motorräder werden zunehmend mit Fahrerassistenzsystemen ausgerüstet, welche mit Hilfe von Sensorsystemen die Umgebung erfassen, Verkehrssituation erkennen und den Fahrer unterstützen, z. B. durch einen Brems- oder Lenkeingriff oder durch die Ausgabe einer optischen oder akustischen Warnung. Als Sensorsysteme zur Umgebungserfassung werden regelmäßig Radarsensoren, Lidarsensoren, Kamerasensoren oder dergleichen eingesetzt. Aus den durch die Sensoren ermittelten Sensordaten können anschließend Rückschlüsse auf die Umgebung gezogen werden, womit z. B. eine Objekt- und/oder Umgebungsklassifizierung bzw. ein Umfeldmodell erstellt werden kann. Ferner ist die Umgebungserfassung nahezu unverzichtbar im Bereich des (teil-) autonomen Fahrens, sodass ein besonderes Interesse an der Fort- und Weiterentwicklung der entsprechenden Systeme besteht. Ferner ist gerade im Bereich des (teil-) autonomen Fahrens die Kurvenerkennung anhand von Objektdetektionen von großer Bedeutung, da eine autonome Planung von Trajektorien entlang der Streckenführung ohne eine derartige Kurvenerkennung nur schwer umsetzbar ist.
Die Umgebungserfassung mittels Radarsensoren basiert auf der Aussendung von gebündelten elektromagnetischen Wellen und deren Reflexion, z. B. durch andere Verkehrsteilnehmer, Hindernissen auf der Fahrbahn oder die Randbebauung der Fahrbahn. Die Unterscheidung von Hindernissen bzw. Objekten, wie z. B. anderen Verkehrsteilnehmern, Verkehrsschildern, Straßenmarkierungen, Randbebauungen, Leitplanken und dergleichen ist dabei von großer Bedeutung, um zu ermitteln, wann z. B. ein Brems- oder Lenkeingriff eingeleitet werden soll. Ferner kann eine Kurvenerkennung bzw. der Kurveneintritt mit einem Radarsensor als Teil des Radaralgorithmus erfasst werden. Aus dem Stand der Technik sind dabei handgefertigte Algorithmen bekannt, die darauf abzielen, anderen Funktionalitäten zu helfen, um Probleme zu reduzieren, die besonders bei der Annäherung an einen solchen Kurveneintritt auftreten. Ferner gewinnt dabei der Deep Learning-Ansatz an Bedeutung, insbesondere jedoch im Bereich der Kamerasensorik, da derartige Applikationen bzw. Deep-Learning-Architekturen im Bereich der Radarsensorik aufgrund der benötigten Rechenressourcen sehr kostenintensiv sind. Zudem bietet die Radarsensorik, obwohl diese viele Vorteile aufweist, zumindest im verfügbaren Frequenzbereich, nicht die für Künstliche Neuronale Netze benötigten zweidimensionalen Eigenschaften, wie sie z. B. bei Kameradaten vorliegen.
Druckschriftlicher Stand der Technik
Aus „An Encoder-Decoder Based Convolution Neural Network (CNN) for Future Advanced Driver Assistance System (ADAS)“ (Robail Yasrab et al.; Applied Sciences 2017, 7(4), 312; doi:10.3390/app7040312) ist ein Künstliches Neuronales Netz bekannt, welches anhand von Kameradaten erzeugt wird. Das Netz wird dabei anhand von Kameradaten erzeugt, weil diese im Gegensatz zu Sonar und Radar einen reichhaltigeren Funktionsumfang bieten.
Ferner wird in „Frontal Object Perception Using Radar and Mono-Vision" (Ricardo Omar Chavez-Garcia et al.; Conference Paper, Juni 2012, DOI: 10.1109/IVS.2012.6232307) die Konzeption der Verwendung von Gittern (Grids) für die sensorische Fusion, auch unter Einbeziehung der Radargittern bzw. „Radargrids“ beschrieben. Das dadurch gewonnenen Netz enthält dabei die relevantesten Objekte, wie z. B. Autos und Fußgänger, die anschließend zur Klassifizierung der Umgebung verwendet werden, wobei diese dann nicht mehr in Verbindung mit Künstlichen Neuronalen Netzen stehen.
Aufgabe der vorliegenden Erfindung
Die Aufgabe der vorliegenden Erfindung besteht darin, eine neuartige Methode zur Kurvenerkennung zur Verfügung zu stellen, durch welche die Kurvenerkennung in einfacher und kostengünstiger Weise verbessert wird und mit der aus dem Stand der Technik bekannte Nachteile überwunden werden.
Lösung der Aufgabe
Die vorstehende Aufgabe wird durch die gesamte Lehre des Anspruchs 1 sowie der nebengeordneten Ansprüche gelöst. Zweckmäßige Ausgestaltungen der Erfindung sind in den Unteransprüchen beansprucht.
Bei dem erfindungsgemäßen computerimplementierten Verfahren zur Kurvenerkennung bzw. Kurvenfrüherkennung einer Strecke mittels Radarsensor sendet der Radarsensor zunächst ein Radarsignal aus, welches von Objekten reflektiert wird. Anhand des von den Objekten reflektierten und vom Radarsensor empfangenen Radarsignals werden dann Radardaten erzeugt, wobei die Objekte anhand der Radardaten erkannt bzw. detektiert werden. Die Radardaten werden dabei zur Kurvenerkennung herangezogen, indem z. B. die detektierten Objekte klassifiziert werden (z. B. andere Verkehrsteilnehmer, Beschilderungen, Tunnel, Leitplanken, Baken, Straßenrandbebauungen und dergleichen) und gegebenenfalls ein Umfeldmodell hierzu erstellt wird. Zudem wird mindestens ein, vorzugsweise eine Mehrzahl an Fahrdynamikparameter(n) erfasst und gespeichert, anhand dessen/derer ein Krümmungswert der Strecke bestimmt wird. Anschließend kann anhand des Krümmungswertes eine Beschriftung festgelegt werden (Labelling), insbesondere, ob die Strecke eine Kurve aufweist oder nicht. Die Krümmungswerte können dann den jeweiligen Radardaten in einfacher Weise zugeordnet und mit dem für die Früherkennung erforderlichen Abstand verschoben werden, so dass anhand der detektierten Radardaten nunmehr bestimmt werden kann, ob eine Krümmung der Strecke und somit eine Kurve vorliegt oder nicht (z. B. indem sie mit dem vorgegebenen Abstand verschoben werden, der für die Früherkennung erforderlich ist). Die Kurvenerkennung kann dabei derart trainiert werden, dass den Radardaten jeweils die Beschriftungen zugeordnet werden, die anhand der mittels Fahrdynamikparameter bestimmten Krümmungswerte zuvor festgelegt wurden.
Ein derartiger Trainingsablauf kann in einfacher und kostengünstiger Weise in neuen Systemen implementiert und in bestehenden Systemen (z. B. als Soft- oder Hardwareupdate) nachgerüstet werden. Daraus resultiert der Vorteil, dass die Erkennung einer Kurve oder Krümmung in einem signifikanten Abstand (z. B. 100 Meter) zu dieser, zur Bestimmung des Umfeldes eines Fortbewegungsmittels und zur Trajektorienplanung herangezogen werden kann, da die Radarsensorik die entsprechenden Daten bereits vor der Aufnahme der Fahrdynamikparameter erfasst. Zudem können dadurch unterschiedliche auf Radarsensorik basierende Fahrfunktionen unterstützt werden, z. B. können falsche Notbremsungen von Notbremsassistenten (EBA, electronic brake assist) verhindert oder zumindest reduziert werden. Zudem können Fahrfunktionen, wie Spurhalteassistent (LKA, lane keep assist) oder adaptiver Abstandstempomat (ACC, automatic cruise control) in besonderem Maße verbessert werden, da hier frühzeitig auf den jeweiligen Streckenverlauf reagiert werden kann. Die Kurven- bzw. Krümmungsinformationen sind dabei wichtige Parameter für die Straßenschätzung, um verschiedene Modelle für die Straße aufzustellen. Auf diese Weise kann die Leistung der Straßenschätzung deutlich verbessert werden, was sich wiederum auf die jeweiligen Fahrfunktionen auswirkt.
Zweckmäßigerweise kann aus den Radardaten ein Radargrid oder Radargitter abgeleitet und zur Kurvenerkennung herangezogen werden. Das Radargrid ist dabei eine Visualisierung bzw. eine vogelperspektivische Darstellung, bei der die Radardaten bzw. Detektionen in einem Koordinatensystem dargestellt sind, z. B. aufgespannt nach Sichtweite und Sichtbreite. Für eine derartige Darstellung können geeignete, aus dem Stand der Technik hinreichend bekannte Visualisierungswerkzeuge bzw. Softwaretools verwendet werden.
Vorzugsweise wird ein Sicherheitskriterium anhand von Schwellenwerten des oder der Fahrdynamikparameter festgelegt, wobei anhand des Sicherheitskriteriums die Sicherheit des jeweiligen Krümmungswertes bestimmt wird. Beispielsweise durch das Unter- oder Überschreiten einer bestimmten Gierrate, einer Lateralbeschleunigung oder dergleichen.
Zweckmäßigerweise kann bei einer Früh- und/oder Vorerkennung der Kurve bzw. des Stra-ßenverlaufs oder den jeweiligen Objekten vorgesehen sein, dass die Beschriftungen bzw. Labels mit der entsprechenden Entfernung zum jeweiligen Objekt oder zur jeweiligen Kurve verschoben werden, d. h. die den jeweiligen Radardaten zugeordneten Krümmungswerte werden gelabelt und mit dem für die Früherkennung erforderlichen Abstand verschoben (z. B. um 40 Meter, 50 Meter, 100 Meter oder 200 Meter).
Gemäß einer besonderen Ausgestaltung der Erfindung kann die Festlegung der Beschriftung (Labelling), ob die Strecke eine Kurve aufweist oder nicht, zusätzlich anhand der Länge der Strecke erfolgen, bei der eine Krümmung der Strecke auftritt, d. h. bei der Länge einer Strecke ein bestimmter Schwellenwert unter- oder überschritten wird.
Zweckmäßigerweise kann als Beschriftung für den Krümmungswert ein ternäres Beschriftungssystem mit drei Beschriftungsklassen verwendet werden. In praktischer Weise können somit sichere Bestimmungen einer Kurve und einer Geraden jeweils einer Beschriftungsklasse zugeordnet werden. Darüber hinaus gibt es noch eine dritte Beschriftungsklasse für unsichere Bestimmungen, Zeitstempel, Fehldetektionen und dergleichen.
Dementsprechend werden der ersten der drei Beschriftungsklassen nur Krümmungswerte zugeordnet, die mit hoher Sicherheit eine Kurve anzeigen. Zudem werden der zweiten der drei Beschriftungsklassen nur Krümmungswerte zugeordnet, die mit hoher Sicherheit keine Kurve anzeigen.
Infolgedessen können der dritten der drei Beschriftungsklassen Krümmungswerte zugeordnet werden, die mit geringer Sicherheit eine Kurve oder keine Kurve (Gerade) anzeigen. Dadurch kann die Zahl an Falschbeschriftungen bzw. das „Rauschen“ in besonderem Maße verringert werden.
Zweckmäßigerweise können der ersten und der zweiten Beschriftungsklasse die Werte 1 und -1 und der dritten Beschriftungsklasse der Wert 0 zugeordnet werden. Diese Vorgehensweise hat sich als besonders stabil und rechenleistungsschonend herausgestellt. Zudem kann dadurch ein Rechen- bzw. Lernalgorithmus in einfacher Weise umgesetzt werden.
Gemäß einer bevorzugten Ausgestaltung der Erfindung kann die Kurvenerkennung offline trainiert werden, d. h. bei dem Training handelt es sich um eine Stapelverarbeitung (Batch Learning), bei der zunächst der gesamte Datenstapel das Training durchläuft und im Anschluss das Modell oder die Modellparameter angepasst werden, z. B. anhand der Gradientenmethode. Dadurch kann das Training besonders schnell und effektiv durchgeführt werden. Zudem wird die Bestimmungssicherheit verbessert, da zur Bestimmung z. B. der gesamte Datenbestand an Radar- und Funktionsparameterdaten herangezogen werden kann.
Vorzugsweise wird das Training als Regressionstraining durchgeführt. Dabei kann eine Regression, z. B. eine lineare oder logistische Regression, anhand der trainierten und „durchlebten“ (mittels Fahrdynamikparametern ermittelte) Straßen- bzw. Streckenkrümmung durchgeführt werden. Die erlernten Prozesse des Trainings können auf diese Weise mit den bekannten Prozessen verglichen werden.
In einfacher Weise kann zudem das Bestimmtheitsmaß der Regression ermittelt und zur Überprüfung des Trainings herangezogen werden. Über das Bestimmtheitsmaß kann somit eine Aussage über die Qualität der erlernten bzw. trainierten Daten erfolgen, sodass hierdurch eine Art Überprüfungsfunktion geschaffen wird. Dadurch kann die Kurvendetektion noch zusätzlich verbessert und deren Bestimmungssicherheit erhöht werden.
Vorzugsweise wird die Auflösung der Radardaten und/oder des Radargrids verringert, bevor diese/dieses zur Kurvenerkennung herangezogen werden/wird. Dadurch kann die benötigte Rechenleistung in besonderem Maße verringert und die Berechnung beschleunigt werden. Die Verringerung kann in einfacher Weise durch einen Rechenalgorithmus bzw. einen Filter bewerkstelligt werden.
Zweckmäßigerweise können zusätzlich zu den Fahrdynamikparametern kartografische Informationen, GPS-Daten, Informationen aus Car-to-Car- oder Car-to-X-Kommunikationen und/oder Navigationsdaten zur Festlegung des Krümmungswertes herangezogen werden. Die Krümmungsbestimmung wird dadurch noch zusätzlich verbessert.
Neben- oder untergeordnet beansprucht die vorliegende Erfindung zudem ein System, insbesondere ein Datenverarbeitungssystem, Sensorsystem bzw. ein eine Sensorvorrichtung umfassendes System, mit einem Radarsensor und einem Computer, welches dazu hergerichtet ist, die Kurvenerkennung anhand des erfindungsgemäßen Verfahrens durchzuführen.
Ferner umfasst die vorliegende Erfindung ein Computerprogramm mit Programmcode zur Durchführung des erfindungsgemäßen Verfahrens, wenn das Computerprogramm in einem Computer oder einem sonstigen aus dem Stand der Technik bekannten programmierbaren Rechner (z. B. eine einen Prozessor, Mikrocontroller oder dergleichen umfassenden Rechnervorrichtung) ausgeführt wird.
Zudem umfasst die vorliegende Erfindung ein computerlesbares Speichermedium, das Anweisungen umfasst, welche den Computer, auf dem sie ausgeführt werden, veranlassen, ein Verfahren nach mindestens einem der vorhergehenden Ansprüche durchzuführen.
In überraschender Weise hat sich zudem gezeigt, dass die vorliegende Erfindung auch auf andere Sensortypen, wie z. B. Kamera-, Lidar- oder Ultraschallsensoren anwendbar ist, wenn geeignete Eingabedaten verwendet und das Training entsprechend darauf abgestimmt wird.
Der Begriff „Artificial Intelligence“ (AI) bzw. „Künstliche Intelligenz“ (KI) umfasst im Sinne der Erfindung Technologien, die in der Lage sind, Probleme zu lösen, die normalerweise eine Art „menschliche Intelligenz“ erfordern würden.
Der Begriff „Machine learning (ML)“ bzw. „Maschinelles Lernen“ beschreibt im Sinne der Erfindung das Verwenden von Algorithmen, um Daten zu analysieren, daraus zu lernen und dann eine Bestimmung oder Vorhersage über etwas (noch nicht sichtbares) zu treffen. Dabei kann das überwachte als auch das unüberwachte Lernen Anwendung finden. Für die Analyse der Daten ist unter anderem die Labelling-Strategie bzw. Etikettierung oder Beschriftung der Daten von entscheidender Bedeutung.
Der Begriff „Training“ beschreibt im Sinne der Erfindung das Anpassen von Parametern eines Modells im Bereich des Maschinellen Lernens, derart, dass ein zuvor festgelegtes Fehlermaß für das angepasste Modell kleiner wird.
Der Begriff „Deep learning“ (DL) bzw. „Tiefes Lernen“ umfasst im Sinne der Erfindung eine Kaskade aus mehreren Schichten nichtlinearer Verarbeitungseinheiten (meist künstliche neuronale Netze) zur Merkmalsextraktion und -transformation (bzw. Parameterextraktion und - transformation).
Der Begriff „Artificial Neural Network“ (ANN) oder „Convolutional Neural Network“ (CNN) bzw. „Künstliche neuronale Netze“ (KNN), umfasst Netze aus künstlichen Neuronen, welche in Hinblick auf ihre Informationsverarbeitung abstrahierend ausgedrückt wie in einem Nervensystem eines Lebewesens vernetzt sind. Hierbei können die Neuronen als Knoten und ihre Verbindungen als Kanten in einem Graphen dargestellt werden, wobei die hinterste (Knoten-) Schicht des Netzes als Ausgabeschicht („output layer“) und davorliegende (Knoten-) Schichten („nicht sichtbare“) als verdeckte Schichten („hidden layer“) bezeichnet werden. Derartige Künstliche neuronale Netze können vom Aufbau einschichtig (eine Ausgabeschicht), zweischichtig (eine Ausgabeschicht und eine verdeckte Schicht zur Verbesserung der Abstraktion) oder mehrschichtig (mindestens eine Ausgabeschicht sowie mehrere verdeckte Schichten zur Verbesserung der Abstraktion) sein. Zudem können diese in Hinblick auf ihre Datenübertragung vorwärtsgerichtet (feedforward) und/oder mit rückgerichteten Kanten (rekurrente Verbindungen) ausgestaltet sein (Rückkopplung; Feedbacknetz).
Der Begriff „computerimplementiertes Verfahren“ im Sinne der Erfindung beschreibt eine Ablaufplanung oder Vorgehensweise, welche anhand eines Rechners verwirklicht bzw. durchgeführt wird. Der Rechner, wie z. B. ein Computer, ein Computernetzwerk oder eine andere aus dem Stand der Technik bekannte programmierbare Vorrichtung, kann dabei mittels programmierbarer Rechenvorschriften Daten verarbeiten. In Bezug auf das Verfahren können dabei wesentliche Eigenschaften z. B. durch ein neues Programm, neue Programme, einen Algorithmus oder dergleichen bewirkt werden.
Der Begriff „Vehicle Dynamics“ (VDY) oder „Fahrdynamik“ umfasst im Sinne der Erfindung die Bewegung von Fahrzeugen und die Ermittlung von deren Parametern, wie z. B. Weg, Zeit, Geschwindigkeit, Beschleunigung, Energieaufwand, Erwärmung von Motoren, Antriebskräfte, Leistungen, Bewegungswiderstände, zu befördernde Anhängelasten sowie Wirkungsgrade. Hierbei handelt es sich ausdrücklich um eine nicht abschließende Aufzählung, wobei die Erfindung die Verwendung sämtlicher aus dem Stand der Technik bekannter VDY-Parameter bzw. Fahrdynamikparameter umfasst. Die Ermittlung derartiger Parameter basiert dabei auf technische, mechanische, physikalische, mathematische und statistische Grundlagen. Die Erfassung derartiger VDY-Parameter bzw. VDY-Daten oder VDY-Informationen ist aus dem Stand der Technik hinreichend bekannt. Beispielsweise kann die Erfassung mittels geeigneter Sensorik erfolgen, wie z. B. anhand von Lenkradwinkelsensor, Beschleunigungssensoren, Gierratensensor, Geschwindigkeitsmesser, Schwimmwinkelsensoren, Optische Abstandssensoren, GPS / DGPS basierte Messsysteme (Positionsmessung) oder Trägheitsnavigationssysteme, um z. B. die Längs-, Quer- oder Hubbewegung, das Gieren, Nicken oder Wanken oder Schwingungen (Translations- und Rotationsschwingung) zu erfassen.
Figurenliste
Im Folgenden wird die Erfindung anhand von zweckmäßigen Ausführungsbeispielen näher erläutert. Es zeigen:

1 eine stark vereinfachte Darstellung einer Verkehrssituation in Ego-Perspektive eines Ego-Fahrzeuges mit einem erfindungsgemäßen System zur Kurvenerkennung, sowie
2 eine vereinfachte schematische Darstellung einer Ausgestaltung eines Ablaufplans der vorliegenden Erfindung.

In 1 ist eine Verkehrssituation aus egoperspektivischer Sicht eines Fahrzeuges dargestellt, bei der sich das Ego-Fahrzeug auf eine Kurve im Streckenverlauf zubewegt. Das Fahrzeug umfasst hierzu ein mit einem Radarsensor und einem Computer ausgestattetes Sensorsystem, welches dazu hergerichtet ist, eine Kurvenerkennung anhand des erfindungsgemäßen Verfahrens durchzuführen. Bei dem Sensorsystem kann es sich beispielsweise um ein Steuersystem zur (teil-) automatischen Fahrtkontrolle oder ein Fahrerassistenzsystem, welches z. B. eine automatische Abstandkontrolle (ACC) oder Bremseingriffe durchführen kann, oder um einen alleinigen Radarsensor handeln.
Zudem ist auf der rechten Seite das zum Straßenverlauf dazugehörige Radargrid bzw. die dazugehörigen Radardaten oder Detektionen als Visualisierung gezeigt, welches durch das Sensorsystem des Fahrzeuges erzeugt worden ist. Das Radargrid weist deutliche Detektionen am rechten Straßenrand (im Wesentlichen Reflexionen von der Leitplanke) und geringere Detektionen (im Wesentlichen Reflexionen der Straßenpfosten) am linken Straßenrand auf. Zwar können durch die Radardaten Objekte detektiert und anschließend klassifiziert werden, jedoch ist es gerade für das (teil-)autonome Fahren von entscheidender Bedeutung zu wissen, ob eine Kurve bevorsteht oder nicht. Hierzu können beispielsweise Machine Learning- bzw. Deep Learning-Ansätze Anwendung finden, um die Kurvenerkennung zu trainieren.
Für die Anwendung und Erstellung eines erfindungsgemäßen Deep-Learning-Ansatzes mit CNN-Schichten (Convolutional Neural Network) auf Radarbasis werden zunächst zweidimensionale Daten als Input benötigt. Beispielsweise wird hierzu das Radargrid verwendet, d. h. das stationäre Netz des Radars (Radargitter). Das Radargrid ist in der Regel bereits im Radaralgorithmus eines herkömmlichen Radarsensors vorhanden bzw. kann in einfacher Weise abgeleitet werden, sozusagen als Standard in einem herkömmlichen Radarsignalverarbeitungsalgorithmus, so dass eine derartige Umsetzung sowohl in neuen als auch in bestehenden Systemen in besonders einfacher Weise durchführbar ist. Alternativ könnte auch der Aufbau eines stationären Belegungsnetzes verwendet werden, wobei jedoch das bestehende Netz bei herkömmlichen Radarsystemen bereits für die Darstellung stationärer Objekte in der Umgebung optimiert ist.
Ferner muss für jeden maschinellen Lernalgorithmus eine Beschriftungs- oder Labelling-Strategie (Etikettierung) festgelegt werden. In vorteilhafter Weise erfolgt das Labelling automatisch, indem z. B. die Kurveninformationen bzw. -Krümmungsinformationen (Neigung, Gieren und dergleichen) der Fahrdynamikparameter (VDY-Krümmungsinformationen) verwendet werden, die zunächst im Fortbewegungsmittel gespeichert werden und somit auch nachträglich vorhanden sind. Dadurch wird es ermöglicht, auch Offline-Trainings (Offline-Learning) durchzuführen. Diese VDY-Krümmungsinformation kann dabei verwendet werden, um ein Modell zu trainieren, welches eine Kurve bzw. eine Krümmung der Strecke vorhersagen kann. Um dabei fundierte Informationen über die jeweilige Krümmung oder Kurve zu erhalten, muss eine entsprechende Kennzeichnung bzw. ein Labelling verwenden werden. Ferner können auch vorhandene kartographische Informationen aus einer Datenbank (z. B. vom Navigationssystem oder durch Funk- oder Datenübertragung von anderen Verkehrsteilnehmern oder übergeordneten Einheiten) in Kombination mit GPS-Informationen mit einbezogen werden.
Überraschenderweise hat sich gezeigt, dass das Offline-Training eine erfolgversprechende Trainingsmethode darstellt, indem die retrospektiven Informationen verwendet werden, die erzeugt werden, wenn das Ego-Fahrzeug später real durch die Kurve hindurch fährt. Zudem können die tatsächlichen Fahrdynamik-Daten verwendet werden, um die Kurve anzuzeigen. Diese Fahrdynamik-Informationen können dann in der Entfernung verschoben werden (zeitlicher Versatz), um der Anforderung einer Früh- oder Vorerkennung in einer bestimmten Entfernung (z. B. in 100 Metern) Rechnung zu tragen.
Aufgrund dessen, dass die berechnete Krümmung der Fahrdynamikparameter jedoch nicht immer identisch mit der tatsächlichen Straßenkrümmung übereinstimmt, erfolgt ein Abgleich bzw. eine Korrektur der Werte, um diese Diskrepanz zu beseitigen. Dieser Abgleich kann erfolgen, indem der Unterschied zwischen Fahrdynamikparameter-Krümmung (VDY-Krümmmung) und tatsächlicher Straßenkrümmung wie ein Untergrundrauschen oder ein zusätzliches Signalrauschen behandelt wird. Dieses „Rauschen“ kann dabei entweder ignoriert werden, wobei der Machine Learning-Algorithmus dieses Rauschen dabei „überwinden“ muss, oder es kann ganz oder zumindest teilweise herausgefiltert werden. Im Anschluss an diesen Abgleich kann dann z. B. eine Binärbeschriftung für Kurven und für gerade Straßen erstellt werden.
Zweckmäßigerweise wird die Filterung der VDY-Krümmung anhand eines ternären Beschriftungssystems (Labelling-Strategie) durchgeführt, beispielsweise mit den Beschriftungsklassen „Kurve“, „Gerade“ und „Unentschieden“, um eine Beschriftung bzw. ein Labelling für die Stra-ßenkrümmung zu erhalten. Das ternäre Beschriftungssystem bietet dabei mehr Robustheit, indem nur Daten verwendet werden, die mit hoher Sicherheit eine Kurve oder eine Gerade anzeigen. Der Rest der Daten kann als „Unentschieden“ bezeichnet bzw. gelabelt werden. Durch diese strikte Regelung wird erzielt, dass nur sehr wenige Detektionen falsch als „Gerade“ oder „Kurve“ gelabelt werden, während das Label „Unentschieden“ den Rest der Detektionen enthält, die dabei sogar gemischt werden können. Das Label „Unentschieden“ kann später im Training ignoriert oder mit einer entsprechenden Kodierung verwendet werden. Ferner kann das Label „Unentschieden“ auch eine echte Unentschlossenheit in vielen Szenarien mit geringen Krümmungen oder kleineren Kurven bezeichnen. Zudem können somit auch echte Mischfälle, z. B. bei Kreuzungen, gekennzeichnet werden. Die VDY-Krümmungswerte werden dabei in Beschriftungen bzw. Labels umgewandelt, indem Regeln definiert werden, die unterschiedliche Schwellenwerte z. B. für die Krümmung der Strecke und Schwellenwerte für die Mindestlänge der Strecke, bei denen die Krümmung jeweils über dem Schwellenwert liegen muss vorsehen. Dies dient unter anderem dazu, Rauschen, Spurwechsel und andere kleine Manöver herauszufiltern. Darüber hinaus können auch zu hohe Krümmungswerte herausgefiltert werden, die eher Kehrtwendungen bzw. U-Turns und dergleichen entsprechen und somit nicht dem Straßenverlauf folgen. Ferner muss nicht zwischen rechter und linker Kurve unterschieden werden, sodass in der Regel der Absolutwert der Krümmung herangezogen werden kann.
In praktischer Weise können auch Zeitstempel vorgesehen sein, die ebenfalls als „Unentschieden“ gelabelt bzw. bezeichnet werden. Auf diese Weise kann für „Kurve“ und „Gerade“ Strecke eine Bezeichnung bzw. ein Label vergeben werden, welche anhand der Labelling-Strategie zumindest im Wesentlichen fehlerfrei zugeordnet wird. Sollte eine derartige fehlerfreie Zuordnung nicht möglich sein (für den Rest der Datenmenge), wird das Label „Unentschieden“ zugeordnet. Infolgedessen kann der (Trainings-) Algorithmus derart erfolgen, dass nur mit „sicheren“ Daten und Datenmengen trainiert wird.
Beispielsweise können die Regeln der Labelling-Strategie wie folgt definiert werden:

Absolute Krümmung in [0.05, ∞] ohne bestimmte Länge: „Unentschieden“ (z. B. U-Turn),
absolute Krümmung in [0.003, 0.05] für mindestens 40 Meter: „Kurve“ (Standardkurven),
absolute Krümmung in [0.0008, 0.05] für mindestens 200 Meter: „Kurve“ (Autobahnkurven),
absolute Krümmung in [0, 0.0003] für mindestens 100 Meter: „Gerade“ (gerade Strecken),
sowie für alle anderen: „Unentschieden“ (d. h. es wird eine Art Vorerkennung durchgeführt, bei der die jeweiligen Bezeichnungen bzw. Labels mit der entsprechenden Entfernung, z. B. 100 Meter, verschoben werden).

Die genauen Grenzwerte können dabei für die jeweilige Analyse festgelegt und später auch geändert werden. Insbesondere sollen durch die Regelungen z. B. scharfe Kurven ausgeschlossen werden. Dies erfolgt zum einen durch das ternäre Beschriftungssystem, da dadurch strenge Regeln für „Kurve“ und „Gerade“ festgelegt werden. Zum anderen werden zuverlässigere Bedingungen für die Erfassung bzw. Bezeichnung einer Krümmung oder Kurve geschaffen, um z. B. kurzfristige Manöver, die nicht entlang der Streckentrajektorie verlaufen, über die Streckenlänge, über die ein bestimmter Krümmungswert (Unter- oder Überschreitung eines bestimmten Schwellenwertes) erfasst wird, herauszufiltern.
Die Labels bzw. Beschriftungen sollten ferner derart verwendet werden, dass nur mit dem zuverlässigeren bzw. „sicheren“ Teil trainiert wird, d. h. nur mit den Labels „Kurve“ und „Gerade“, die jeweils z. B. als +1 und -1 kodiert werden. Ferner können die als „Unentschieden“ gelabelten Informationen bzw. Detektionen verwendet werden, indem deren Kodierung für das Training auf 0 festgelegt wird. Auf diese Weise werden auch die weniger zuverlässigen Informationen verwendet und kodiert, so dass das System bzw. der Rechner die Detektionen bzw. Bestimmungen der gemischten Klasse „Unentschieden“ einem Bereich zwischen einer Kurve und einer geraden Strecke zuordnen kann. Entweder weil z. B. die Krümmung wirklich zwischen den Werten liegt, vermehrte Änderungen im Straßenverlauf vorliegen, die Krümmung zu stark ist oder eine Art Mischfall bzw. eine Verbindung unterschiedlicher Streckentypen vorliegt.
Ferner wird durch die ternäre Ausgestaltung mit drei Beschriftungsklassen, die z. B. als -1, 0 und 1 kodiert sind, ein Regressionstraining ermöglicht, bei dem das Bestimmtheitsmaß bzw. der Determinationskoeffizient (R²-Wert) im Training bestimmt werden kann. Dadurch kann eine zusätzliche Metrik zur Überprüfung der Auswertung des Trainingsergebnisses zur Verfügung gestellt werden. Das Deep-Learning-Modell kann zudem eine Hyperbelfunktion insbesondere eine tanh-Aktivierungsfunktion am Ausgang verwenden, um einen Ausgabebereich [-1, 1] zu erhalten. Die Ausgabe wird hierzu z. B. mit -0,5 bzw. 0,5 als Schwelle kodiert, um eine ternäre Vorhersage zu erhalten, die mit den Labels verglichen werden kann. Ausdrücklich umfasst sind hierbei jedoch auch andere aus den Werten ableitbare Schwellenwerte (Threshold).
Gattungsgemäße Deep-Learning-Modelle, insbesondere die dazugehörigen Neuronalen Netze, führen in der Regel zu Modellen, die eine erhebliche Komplexität aufweisen, welche nicht mit den in der Radarhardware herkömmlicher Systeme verfügbaren Rechen- und Speicherressourcen abgedeckt werden können. Daher ist die Reduzierung der Rechen- und Speicherressourcen eines derartigen Modells von besonderer Bedeutung. Eine derartige Reduzierung kann beispielsweise dadurch erreicht werden, dass eine systematische Methode zur Beschneidung des Modells angewendet wird, bei der einige Schichten der Verarbeitungsstruktur entfernt werden, die sich als veraltet erwiesen haben, d. h. die Schichten, die die niedrigste Gewichtung haben und deshalb mit großer Wahrscheinlichkeit den Prozess bzw. das Verfahren nicht beeinflussen. Alternativ oder zusätzlich kann jedoch auch die Auflösung des Rasters bzw. des Radargrids reduziert werden. Hierbei kann z. B. ohne großen Leistungsverlust ein Drittel der Auflösung reduziert werden, was zu einer dreimaldrei, d. h. neunfachen, Reduzierung der Eingabe und am Ende zu einer etwa zehnfachen Reduzierung der Modellgröße sowie der Laufzeit führt. Das Reduzieren kann dabei in besonders günstiger Weise mit dem sogenannten „Maxpooling-Verfahren“ durchgeführt werden. Daraus resultiert der Vorteil, dass eine derartige Operation als eine optimierte Standard-Funktion bereits in gattungsgemäßen Deep Learning Architekturen vorhanden ist.
In einfacher Weise erfolgt die Klassifizierung Frame für Frame und zeitlich nicht stabil. Diese Instabilität ist für die verwendeten einfachen Fehlermetriken nicht kritisch, aber für menschliche Anwendungen sehr störend. Die Instabilität wird dabei in der Regel beim Wechsel in einen anderen Zustand wahrgenommen. Um dies zu verhindern, kann für jeden Schwellenwert eine Hysterese verwendet. Der beste Hysteresewert kann dabei z. B. 0,1 sein. Beispielsweise bedeutet das, dass die Umschaltung auf „Kurve“ über dem Vorhersagewert von 0,6 und die Umschaltung von „Kurve“ auf „Unentschieden“ bei unter 0,4 liegen muss. Für einen Wechsel auf „Gerade“ muss der Hysteresewert demnach bei unter-0,6 und für einen Wechsel von „Gerade“ nach „Unentschieden“ bei über-0,4 liegen.
Ferner ist in 2 eine Ausgestaltung eines Ablaufplans eines erfindungsgemäßen Verfahrens dargestellt. Zunächst erfolgt hierbei eine Radardatenverarbeitung, wobei das Radargrid, die Radardaten oder der Radarquerschnitt erfasst werden. Danach werden die Gitterkomponenten von dem jeweiligen Environmental Model (EM) bzw. Umfeldmodell bestimmt. Anhand derer erfolgt anschließend das Labelling bzw. die Beschriftung des Radargrids, insbesondere des Abbildes (Image oder Visualisierung der Radardaten) als „Kurve“ oder „Gerade“. Dies kann z. B. mittels eines Auto-Labelling-Werkzeuges (Labelling-Tool) erfolgen, welches insbesondere eine Zeitstempel-Beschriftungsstrategie oder eine Event-Beschriftungsstrategie anwenden kann. Danach erfolgt das Training eines Klassifikators, der zur Klassifizierung der Daten dient, indem das Neurale Netzwerk mit den aufgezeichneten Radargrids bzw. Images und den jeweils zugeordneten Labels bzw. Beschriftungen trainiert wird, insbesondere offline trainiert wird. Im Anschluss daran kann eine Testprozedur erfolgen, indem ein entsprechendes Radargrid mittels des trainierten Klassifikators überprüft wird, ob es in realen Szenarien, bei denen z. B. eine Kurve vorhanden ist, auch eine Kurve erkennt oder nicht.
Zusammenfassend basiert das erfindungsgemäße Verfahren auf einer Labelling-Strategie, welche die Daten anhand von drei Klassen labelt, wobei anhand der drei Klassen eine Regression trainiert wird, die dann zur Klassifikation herangezogen wird. Durch das erfindungsgemäße Verfahren kann somit eine Labelling-Strategie implementiert werden, die anhand der VDY-Parameter, welche eine Krümmung der Strecke anzeigen, stabile Information über Kurven liefert. Dabei ist es ebenso gelungen, Spurwechsel und andere Manöver herauszufiltern und den Straßenverlauf besser zu verfolgen. Dadurch werden auch zusätzliche, langzeitliche, stabile Informationen in den Labels erzeugt, sodass die Labels auf mehr Informationen basieren und sicherer sind als herkömmliche Klassifikatoren. Mit einem Drei-Klassen-System („Kurve“, „Gerade“ und „Unentschieden“) kann sichergestellt werden, dass die Klassen „Kurve“ und „Gerade“ zumindest im Wesentlichen fehlerfrei sind. Alle anderen fraglichen oder unsicheren Detektionen werden der Klasse „Unentschieden“ zugeordnet. Die drei Klassen („Gerade“, „Unentschieden“, „Kurve“) werden dabei z. B. mit -1, 0 und 1 kodiert, um sicherzustellen, dass „Kurve“ und „Gerade“ verschieden kodiert sind und eine gemischte Klasse „Unentschieden“ dazwischen liegt. Somit wird auch die Information kodiert, dass „Unentschieden“ nicht sicher bestimmbar ist oder dass diese im Bereich zwischen „Kurve“ und „Gerade“ liegt. Beispielsweise werden dadurch auch die Strecken gelabelt, die eine ganz leichte Kurve aufweisen. Mit den Schwellenwerten kann man dann die Regression auf die jeweiligen Klassen zurückkodieren. Infolgedessen resultiert aus dem Verfahren eine sehr gute Stabilität in der Klassifizierung und Kurvenerkennung, sodass die vorliegende Erfindung einen ganz besonderen Beitrag auf dem Gebiet der Fahrerassistenzsysteme sowie des (teil-) autonomen Fahrens leistet.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

Robail Yasrab et al.; Applied Sciences 2017, 7(4), 312; doi:10.3390/app7040312 [0004]
„Frontal Object Perception Using Radar and Mono-Vision” (Ricardo Omar Chavez-Garcia et al.; Conference Paper, Juni 2012, DOI: 10.1109/IVS.2012.6232307) [0005]

Claims

Computerimplementiertes Verfahren zur Kurvenerkennung einer Strecke mittels Radarsensor, bei dem der Radarsensor ein Radarsignal aussendet, das Radarsignal von Objekten reflektiert wird und anhand des reflektierten Radarsignals Radardaten erzeugt werden, wobei die Objekte anhand der Radardaten erfasst und zur Kurvenerkennung herangezogen werden, mindestens ein Fahrdynamikparameter erfasst und gespeichert wird, anhand des Fahrdynamikparameters ein Krümmungswert der Strecke bestimmt wird, wobei anhand des Krümmungswertes eine Beschriftung festgelegt wird, ob die Strecke eine Kurve aufweist oder nicht, die Krümmungswerte den jeweiligen Radardaten zugeordnet werden, und die Kurvenerkennung trainiert wird, indem den Radardaten die für die Krümmungswerte festgelegten Beschriftungen zugeordnet werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass aus den Radardaten ein Radargrid abgeleitet und zur Kurvenerkennung herangezogen wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass ein Sicherheitskriterium anhand von Schwellenwerten des oder der Fahrdynamikparameter festgelegt wird und anhand des Sicherheitskriteriums die Sicherheit des jeweiligen Krümmungswertes bestimmt wird.
Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Vorerkennung vorgesehen ist, wobei die Beschriftungen mit der entsprechenden Entfernung zum jeweiligen Objekt verschoben werden.
Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Festlegung der Beschriftung, ob die Strecke eine Kurve aufweist oder nicht, zusätzlich anhand der Länge der Strecke erfolgt, bei der eine Krümmung der Strecke auftritt.
Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Beschriftung für den Krümmungswert ein ternäres Beschriftungssystem mit drei Beschriftungsklassen verwendet wird.
Verfahren nach Ansprüche 6, dadurch gekennzeichnet, dass einer ersten der drei Beschriftungsklassen nur Krümmungswerte zugeordnet werden, die mit hoher Sicherheit eine Kurve anzeigen und einer zweiten der drei Beschriftungsklassen nur Krümmungswerte zugeordnet werden, die mit hoher Sicherheit keine Kurve anzeigen.
Verfahren nach einem der Ansprüche 6 oder 7, dadurch gekennzeichnet, dass der dritten der drei Beschriftungsklassen Krümmungswerte zugeordnet werden, die mit geringer Sicherheit eine Kurve oder keine Kurve anzeigen.
Verfahren nach einem der Ansprüche 6-8, dadurch gekennzeichnet, dass der ersten und der zweiten Beschriftungsklasse die Werte 1 und -1 und der dritten Beschriftungsklasse der Wert 0 zugeordnet wird.
Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kurvenerkennung offline trainiert wird.
Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Training ein Regressionstraining durchgeführt wird.
Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass das Bestimmtheitsmaß der Regression ermittelt und zur Überprüfung des Trainings herangezogen wird.
Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auflösung der Radardaten oder des Radargrids verringert werden/wird bevor diese/dieses zur Kurvenerkennung herangezogen werden/wird.
Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zusätzlich kartografische Informationen, GPS-Daten, Informationen aus Car-to-Car oder Car-to-X-Kommunikationen und/oder Navigationsdaten zur Festlegung des Krümmungswertes herangezogen werden.
System mit einem Radarsensor und einem Computer, wobei das System dazu hergerichtet ist, eine Kurvenerkennung einer Strecke anhand eines Verfahrens nach mindestens einem der vorhergehenden Ansprüche durchzuführen.
Computerprogramm mit Programmcode zur Durchführung eines Verfahren nach mindestens einem der vorhergehenden Ansprüche, wenn das Computerprogramm in einem Computer ausgeführt wird.
Computerlesbares Speichermedium umfassend Anweisungen, welche den Computer, auf dem sie ausgeführt werden, veranlassen, ein Verfahren nach mindestens einem der vorhergehenden Ansprüche auszuführen.