-
Die Erfindung betrifft ein Verfahren zur Erkennung von semantischen Beziehungen zwischen Verkehrsobjekten nach der im Oberbegriff von Anspruch 1 näher definierten Art.
-
Zur sicheren und zuverlässigen Betriebsweise eines autonom steuerbaren Fahrzeugs muss das Fahrzeug dazu in der Lage sein, sein Umfeld annähernd so genau überwachen zu können wie ein Mensch, um eine jeweilige Verkehrssituation zu erfassen und richtig einzuschätzen. Mit Hilfe von Umgebungssensoren wie Kameras, einem LIDAR, Radarsensoren sowie Ultraschallsensoren kann das Fahrzeug dabei seine Umgebung wahrnehmen und hierdurch statische und dynamische Objekte erkennen. Dies ist Grundvoraussetzung zum Ableiten von Steuerbefehlen durch eine Recheneinheit.
-
Zur Erhöhung der Robustheit einer zuverlässigen autonomen Steuerungsfähigkeit eines entsprechenden Fahrzeugs kann die sensorbasierte Umgebungserfassung durch eine virtuelle Umgebungsanalyse ergänzt werden. Hierzu kann auf einer Recheneinheit des Fahrzeugs ein digitales Abbild der Umgebung vorgehalten werden und dieses von der Recheneinheit zum Ableiten von Steuerungsbefehlen analysiert werden. Bei diesem digitalen Abbild kann es sich beispielsweise um hochaufgelöstes digitales Kartenmaterial handeln. Für eine bestimmte geografische Region kann ein das vollständige Verkehrsnetz beschreibendes Kartenmaterial auf der Recheneinheit des Fahrzeugs vorgehalten werden oder auch für relevante Umgebungsabschnitte Teile von diesem Kartenmaterial von einem zentralen Server an das Fahrzeug gestreamt werden. Dies ist insbesondere aufgrund der vergleichsweise großen Datenmenge einer hochaufgelösten digitalen Straßenkarte zur Reduktion des Speicherbedarf im Fahrzeug vorteilhaft.
-
Eine solche digitale Straßenkarte umfasst neben rein geometrischen Informationen wie dem Straßenverlauf, der Position von Verkehrszeichen und Lichtsignalanlagen oder auch die Anzahl an Fahrspuren und der Ort von Haltelinien auch sogenannte semantische Beziehungen zwischen den Objekte der digitalen Straßenkarte wie eine Zuordnung von Lichtsignalanlagen, Haltelinien sowie Verkehrszeichen zu Fahrspuren, ein für eine bestimmte Fahrspur geltendes Tempolimit, Vorfahrtsregeln an Knotenpunkten, bspw. im Bereich einer Einmündung oder einer Kreuzung und dergleichen.
-
Zur Integration solcher semantischen Beziehungen in eine digitale Straßenkarte wäre ein unverhältnismäßig hoher manueller Aufwand erforderlich. Aus diesem Grund entsteht das Erfordernis Mechanismen zu entwickeln, um digitales Kartenmaterial mit den entsprechenden Informationen automatisiert anzureichern.
-
Das Durchführen von Testfahrten mit einem Fahrzeug zur Erfassung der Umgebung und Ableiten von Informationen zum Speichern in einer digitalen Straßenkarte sind hinreichend bekannt. So offenbart beispielsweise die
EP 3 572 293 A1 ein Verfahren zum unterstützen Führens wenigstens eines Kraftfahrzeugs und ein Assistenzsystem. Dabei überwacht ein Fahrzeug im Bereich einer Kreuzung oder Einmündung den erfassbaren dynamischen Verkehr und ermittelt unter Beobachtung der Verkehrsteilnehmer welches Vorfahrtsverhalten diese jeweils anwenden. Das erfasste Vorfahrtsverhalten wird dann von einer Recheneinheit ausgewertet und daraus eine für die entsprechende Kreuzung bzw. Einmündung geltende Vorfahrtregel bzw. -regeln abgeleitet. Diese Vorfahrtsregeln können dann in einer digitalen Straßenkarte gespeichert werden. Die in der digitalen Straßenkarte gespeicherten Vorfahrtsregeln können dann beim Annähern eines Fahrzeugs an die entsprechende Kreuzung oder Einmündung ausgelesen werden und zur Ausgabe von Hinweisen im Fahrzeug genutzt oder auch zur automatisierten oder autonomen Steuerung von Fahrzeugen verwendet werden. Dabei können eine Vielzahl von Fahrzeugen Daten sammeln und diese von einer zentralen Servereinrichtung ausgewertet werden. Ein Aufenthalt eines entsprechenden Fahrzeugs im Bereich einer Kreuzung oder Einmündung kann dabei durch einen Positionsabgleich des jeweiligen Fahrzeugs mit einer digitalen Straßenkarte und/oder durch Auswertung von mit dem entsprechenden Fahrzeug generierten Umgebungssensordaten erkannt werden. Nachteilig ist dabei jedoch, dass lediglich Vorfahrtsregeln für Kreuzungen und/oder Einmündungen bestimmt werden, was lediglich ein Verkehrsszenario von vielen darstellt.
-
Ferner offenbart die
EP 3 588 464 A1 eine Zuordnung von Ampeln zu zugehörigen Fahrstreifen. Dabei überwachen die einzelnen Fahrzeuge einer Fahrzeugflotte ihre Umgebung und erkennen dabei Ampeln sowie die dazugehörigen Ampelzustände und übertragen die ermittelten Ampelzustände, die vom jeweiligen Fahrzeug befahrene Fahrspur und Fahrzeuggeschwindigkeit an einen zentralen Server zur Auswertung. Der Server ordnet die jeweilige Ampel in einer digitalen Straßenkarte zu und erstellt eine aus den Fahrzeugen der Fahrzeugflotte abrufbare Zuordnungstabelle, welche die Zuordnung der Ampeln zu den Fahrstreifen beschreibt. Zum Erzeugen der Zuordnungstabelle analysiert der Server, welchen Ampelzustand eine jeweilige Ampel beim Passieren eines Fahrzeugs aufweist. Nachteilig ist dabei jedoch, dass lediglich das Verhalten der Fahrzeuge der Fahrzeugflotte zur Bestimmung der Ampel-Fahrstreifenzuordnung berücksichtigt wird, wodurch entsprechend das Verhalten der übrigen Verkehrsteilnehmer unberücksichtigt bleibt. Um dennoch zuverlässige und aussagekräftige Ergebnisse zu erlangen, ist es somit erforderlich für einen vergleichsweise langen Zeitraum Messungen durchzuführen oder ein erhöhtes Risiko für falsch zugeordnete Ampeln und Fahrstreifen in Kauf zu nehmen. Zudem ist es erforderlich, dass eines der Fahrzeuge eine Ampel passiert haben muss, um einen Bezug zwischen Ampel und Fahrstreifen herstellen zu können.
-
Der vorliegenden Erfindung liegt die Aufgabe zugrunde ein verbessertes Verfahren zur Erkennung von semantischen Beziehungen zwischen Verkehrsobjekten anzugeben, welches das zuverlässige und automatisierte Bestimmen der semantischen Beziehungen für unterschiedliche Verkehrssituationen erlaubt.
-
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zur Erkennung von semitischen Beziehungen zwischen Verkehrsobjekten mit den Merkmalen des Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den hiervon abhängigen Ansprüchen.
-
Vorgestellt wird ein Verfahren zur Erkennung von semantischen Beziehungen zwischen Verkehrsobjekten, wobei wenigstens ein Egofahrzeug sein Umfeld fortwährend mittels einer Umgebungssensorik überwacht, von der Umgebungssensorik erzeugte Sensordaten von einer ersten Recheneinheit ausgewertet werden, von der ersten Recheneinheit in den Sensordaten zumindest ein dynamisches Verkehrsobjekt erkannt wird, die Bewegung des zumindest einen dynamischen Verkehrsobjekts während eines gleitenden Beobachtungszeitraums durch die erste Recheneinheit nachverfolgt und zum Ermitteln einer Verhaltensregel im Straßenverkehr zur Anwendung durch das Egofahrzeug durch die erste und/oder eine zweite Recheneinheit analysiert wird. Erfindungsgemäß werden dabei die folgenden Verfahrensschritte ausgeführt:
- - Überprüfen, durch die erste Recheneinheit, ob sich die Bewegung des zumindest einen dynamischen Verkehrsobjekts während des gleitenden Beobachtungszeitraums ändert; und bei Erkennen einer Änderung der Bewegung:
- - suchen nach statischen Verkehrsobjekten in den Sensordaten durch die erste und/oder zweite Recheneinheit; und bei Erkennen zumindest eines statischen Verkehrsobjekts:
- - Herstellen der semantischen Beziehung zwischen dem wenigstens einen statischen Verkehrsobjekt und wenigstens einem dynamischen Verkehrsobjekt und/oder weiteren statischen Verkehrsobjekten, die mit dem dynamischen Verkehrsobjekt in Bezug stehen, durch die erste und/oder zweite Recheneinheit; und
- - Ableiten der Verhaltensregel für das Egofahrzeug in Abhängigkeit der hergestellten semantischen Beziehung durch die erste und/oder zweite Recheneinheit.
-
Der Erfindung liegt die Idee zugrunde, dass Verkehrsteilnehmer in entscheidenden Verkehrsszenarios ihr Bewegungsverhalten ändern, wodurch Orte im Verkehrsnetz ausgemacht werden können, welche eine erhöhte Sorgfalt in der Führung eines Fahrzeugs bedürfen. Für diese Orte wird die Anwesenheit von statischen Verkehrsobjekten überprüft, welche zum Ableiten eines angemessenen Verhaltens für das Egofahrzeug relevant sind. In Abhängigkeit der erkannten statischen Verkehrsobjekte wird dann durch die erste und/oder zweite Recheneinheit das jeweils angemessene Verhalten bestimmt. Somit dient das Verhalten der Verkehrsteilnehmer als „Auslöser“ zur Bestimmung relevanter Orte und Verkehrsszenarios. Damit lassen sich semantische Beziehungen in vielfältigen Situationen und unter unterschiedlichen Randbedingungen zuverlässig generieren.
-
Bei der ersten Recheneinheit handelt es sich insbesondere um eine in das Egofahrzeug integrierte Recheneinheit. Diese analysiert die von der Umgebungssensorik erzeugten Sensordaten. Als Umgebungssensorik kann das Egofahrzeug beispielsweise über eine oder mehrere Monokameras, Stereokameras, LIDARe, Radarsensoren und/oder Ultraschallsensoren verfügen. Es können beliebige bewährte Verfahren zur Auswertung der Sensordaten wie beispielsweise Bilderkennungs- und/oder Objekterkennungsalgorithmen eingesetzt werden. Hierdurch lassen sich dynamische Verkehrsobjekte wie Fußgänger, Fahrradfahrer, Motorradfahrer, andere Kraftfahrzeuge wie Pkws, Lkws, Busse, Baumaschinen oder dergleichen erkennen. Dabei ist es nicht zwangsweise erforderlich, dass sich ein dynamisches Verkehrsobjekt während der Erfassung durch das Egofahrzeug bewegt. Das dynamische Verkehrsobjekt kann also auch zumindest temporär stillstehen. insbesondere überwacht das Egofahrzeug während der Nutzung fortlaufend seine Umgebung, wodurch der gleitende Beobachtungszeitraum von einer initialen Erfassung eines bestimmten dynamischen Verkehrsobjekts bis zum Verlassen des jeweiligen dynamischen Verkehrsobjekts der Erfassungsreichweite des Egofahrzeugs reicht.
-
Bei der zweiten Recheneinheit handelt es sich insbesondere um eine fahrzeugexterne Recheneinheit wie einen zentralen Cloudserver. So kann das Egofahrzeug erzeugte Sensordaten und/oder daraus abgeleitete Informationen zur weiteren Analyse an die zweite Recheneinheit übermitteln. Hierzu können bewährte Kommunikationstechnologien eingesetzt werden, beispielsweise eine drahtlose Datenübermittlung mittels Mobilfunk, WIFI, Bluetooth oder dergleichen. Hierzu verfügt das Egofahrzeug über eine entsprechend eingerichtete Kommunikationsschnittstelle wie eine Telematikeinheit.
-
Als Änderung der Bewegung des dynamischen Verkehrsobjekts kann dabei eine Geschwindigkeitsänderung, Beschleunigungsänderung und/oder eine Fortbewegungsrichtungsänderung detektiert werden. So setzt sich insbesondere ein dynamisches Verkehrsobjekt in Gang bzw. beschleunigt, wenn eine Ampel auf Grün schaltet, ein Zielnavigationspfad nicht durch weiteren Verkehr blockiert wird, eine Vorfahrtsregel besagt, dass Vorrang vor dem entsprechenden Verkehr besteht oder ein geltendes Tempolimit erhöht wird. Ein dynamisches Verkehrsobjekt bremst insbesondere ab, wenn eine Ampel auf Rot schaltet, Vorfahrt gewährt werden muss, ein Hindernis angetroffen wird oder ein geltendes Tempolimit reduziert wird. Eine Änderung der Fortbewegungsrichtung kann auf einen Spurwechsel, das Umfahren eines Hindernisses, einen Abbiegevorgang oder dergleichen hinweisen. Eine Änderung der Bewegung des dynamischen Verkehrsobjekts ist somit ein Hinweis für eine relevante Verkehrssituation und einen entsprechenden Ort.
-
Für diese Verkehrssituation bzw. diesen Ort sucht das Egofahrzeug dann nach statischen Verkehrsobjekten wie Lichtsignalanlagen, Verkehrszeichen, Fahrbahnmarkierungen, Fahrspurverläufen, Haltelinien und dergleichen sowie Warnlichter, Warnbaken und dergleichen. Die erste und/oder zweite Recheneinheit erkennt eine Ursache für die Änderung der Bewegung des dynamischen Verkehrsobjekts und setzen diese in Relation zum erkannten statischen Verkehrsobjekt. Dies erlaubt es semantische Beziehungen zwischen dem statischen Verkehrsobjekt und weiteren statischen Verkehrsobjekten und/oder dynamischen Verkehrsobjekten abzuleiten. Dies wird im Folgenden noch anhand konkreter Beispiele ausgeführt.
-
In Abhängigkeit der ermittelten semantischen Beziehungen werden dann Verhaltensregeln für das Egofahrzeug zur Anwendung bestimmt. Bei einer Durchführung des erfindungsgemäßen Verfahrens durch die erste Recheneinheit ist das Egofahrzeug selbstständig dazu in der Lage eine jeweilige Verkehrssituation zu erfassen, zu analysieren und angemessen darauf zu reagieren. So können beispielsweise akustische, visuelle und/oder haptische Hinweise im Egofahrzeug zur Sensibilisierung einer fahrzeugführenden Person ausgegeben werden oder auch Steuerungsbefehle zum Steuern eines zumindest teilautomatisierten, bevorzugt autonomen Egofahrzeugs abgeleitet werden. Bei einer entsprechenden Ausführung durch die zweite Recheneinheit können die Verfahrensabläufe auch (ergänzend oder alternativ) auf einen zentralen Cloudserver ausgelagert werden. Von dem Cloudserver abgeleitete Verhaltensregeln können dann an die einzelnen Fahrzeuge einer Fahrzeugflotte übermittelt werden.
-
Mit Hilfe des erfindungsgemäßen Verfahrens ist es möglich neben einer reinen Betrachtung von statischen Informationen, wie aus einer digitalen Straßenkarte ausgelesene Informationen, wie die Position von Lichtsignalanlagen, Verkehrszeichen, Haltelinien, Fahrspurverläufen und dergleichen, auch Informationen aus dem dynamischen Verkehrsgeschehen abzuleiten. Hierdurch lassen sich besagte semantische Beziehungen zwischen den Verkehrsobjekten ermitteln und Verhaltensregeln zum situationsspezifischen angemessenen Verhalten eines Fahrzeugs ableiten. Dabei können entweder die statischen und dynamisch ermittelten Informationen getrennt voneinander betrachtet werden, was Redundanz schafft. Hierdurch lässt sich die Robustheit zur Bestimmung der Verhaltensregeln erhöhen sowie Fehler bei einer nicht-übereinstimmung detektieren. Es ist jedoch auch möglich die statischen und dynamisch ermittelten Informationen zu fusionieren, also gleichzeitig zu berücksichtigen. Durch die kombinierte Betrachtung beider Informationsquellen lässt sich eine Verkehrssituation mit besonderer Qualität einschätzen und somit mit hoher Güte korrekte Verhaltensregeln ableiten.
-
Unter einer Verhaltensregel wird dabei verstanden, wie sich das Egofahrzeug in einer jeweiligen Verkehrssituation am besten verhalten soll, um geltende Verkehrsregeln wie die STVO zu befolgen, insbesondere unter Berücksichtigung von Umwelt/Effizienz-Aspekten. Dabei kann das Egofahrzeug manuell, teilautomatisiert oder auch autonom gesteuert werden.
-
Eine vorteilhafte Weiterbildung des erfindungsgemäßen Verfahrens sieht vor, dass zum Analysieren der Bewegung eines dynamischen Verkehrsobjekts die Bewegung als Kurve in ein Geschwindigkeits-Zeit-Diagramm eingetragen wird, und die erste und/oder zweite Recheneinheit überprüft, ob eine jeweilige Kurve ein charakteristisches Muster aufweist. Je nach Verkehrssituation verhalten sich dynamische Verkehrsobjekte anhand typischer Bewegungsmuster. Beispielsweise beschleunigt ein Fahrzeug an einer auf Grün schaltenden Ampel auf eine bestimmte Art und Weise, bremst ein Fahrzeug beim Annähern an ein Stoppschild auf eine bestimmte Art und Weise ab und dergleichen. Beispielsweise ein Fahrzeughersteller kann dann für relevante Verkehrsszenarios eine Datenbank mit einer Vielzahl der charakteristischen Muster aufbauen. Je nachdem, wie der Kurvenverlauf der Bewegung des dynamischen Verkehrsobjekts aussieht, lässt sich die Bewegung bzw. Bewegungsänderung dann einem der bestimmten charakteristischen Muster zuordnen und somit die jeweilige Verkehrssituation einordnen.
-
Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens:
- - ermittelt die erste und/oder zweite Recheneinheit das Pendant eines erkannten statischen Verkehrsobjekts in einer digitalen Straßenkarte und ordnet die hergestellte semantische Beziehung und die abgeleitete Verhaltensregel dem in der digitalen Straßenkarte ermittelten Pendant zu, wobei insbesondere ein dem erkannten statischen Verkehrsobjekt entsprechendes Pendant in der digitalen Straßenkarte angelegt wird, falls dieses nicht existiert; und/oder
- - markiert die erste und/oder zweite Recheneinheit einen örtlichen Abschnitt der digitalen Straßenkarte in welchem sich das erkannte statische Verkehrsobjekt befindet als Interessenbereich.
-
Die digitale Straßenkarte entspricht dabei einer Datenbank mit den sich im Verkehrsnetz befindlichen statischen Verkehrsobjekten. Durch das Zuordnen der ermittelten semantischen Beziehung und der daraus abgeleiteten Verhaltensregel für das entsprechende Pendant, lassen sich in der digitalen Straßenkarte gespeicherte Informationen für künftige Verkehrssituationen nutzen, bei der ein entsprechendes Egofahrzeug auf das jeweilige statische Verkehrsobjekt trifft. Bei einer Ausführung durch die zweite Recheneinheit kann eine zentral verwaltete digitale Straßenkarte mit Informationen angereichert werden und die entsprechenden Informationen den einzelnen Fahrzeugen einer Fahrzeugflotte zur Nutzung bereitgestellt werden. Hierdurch wird das Verkehrsnetz in einer bestimmten Region nach und nach von den einzelnen Egofahrzeugen der Fahrzeugflotte erfasst und in der digitalen Straßenkarte Informationen gespeichert, welche eine besonders detaillierte Beschreibung der einzelnen Straßenabschnitte und der jeweils dort anzufindenden statischen Verkehrsobjekte wie Fahrspuren, Haltelinien, Verkehrszeichen, Lichtsignalanlagen und dergleichen ermöglicht. Dies erlaubt insbesondere eine zuverlässige Steuerung von zumindest teilautomatisiert steuerbaren, bevorzugt autonom steuerbaren Fahrzeugen. Zur Erhöhung einer Konfidenz, dass Verkehrsobjekte sowie semantische Beziehungen korrekt erkannt wurden, kann es vorgeschrieben sein, dass eine jeweilige Zuordnung mehrere Male, insbesondere durch unterschiedliche Egofahrzeuge, erkannt worden sein muss.
-
Zum Auffinden eines jeweilig passenden Pendants eines bestimmten statischen Verkehrsobjekts in der digitalen Straßenkarte bestimmt das Egofahrzeug seinen Aufenthaltsort, beispielsweise mittels eines auf globalen Navigationssatelliten basierenden Positionsbestimmungsmodul, wie beispielsweise GPS, oder auch unter Berücksichtigung der in Reichweite stehenden Mobilfunknetzwerkbasisstationen, WIFI-Hotspots oder dergleichen und/oder durch das Erkennen von für die jeweilige Umgebung charakteristischen Objekten in visuellen Sensordaten. Durch einen Abgleich der Position des Egofahrzeugs in der digitalen Straßenkarte lassen sich dann die vom Egofahrzeug detektierten statischen Verkehrsobjekte den jeweils in der digitalen Straßenkarte gespeicherten statischen Verkehrsobjekten zuordnen. Ist eine Zuordnung nicht möglich, so kann dies entweder darauf hindeuten, dass in der digitalen Straßenkarte das jeweilige statische Verkehrsobjekt fehlt, oder das statische Verkehrsobjekt vom Egofahrzeug falsch erkannt wurde. Eine Markierung des Abschnitts der digitalen Straßenkarte als Interessensbereich kann zur Bereitstellung weiterer Funktionen genutzt werden, woraufhin im Folgenden noch eingegangen wird.
-
Eine weitere vorteilhafte Ausgestaltung des Verfahrens sieht ferner vor, dass die zweite Recheneinheit einem Pendant eines erkannten statischen Verkehrsobjekts in der digitalen Straßenkarte nur dann die hergestellte semantische Beziehung und die abgeleitete Verhaltensregel zuordnet und/oder den örtlichen Abschnitt der digitalen Straßenkarte nur dann als Interessensbereich markiert, wenn das jeweilige statische Verkehrsobjekt öfter als eine Mindesthäufigkeit erkannt wurde. Dabei kann das jeweilige statische Verkehrsobjekt von einem bestimmten Egofahrzeug mehrmals oder auch von einer Vielzahl unterschiedlicher Egofahrzeuge detektiert werden. Die Mindesthäufigkeit kann dabei für unterschiedliche statische Verkehrsobjekte unterschiedlich hoch gewählt werden. Es kann sich dabei um eine absolute Mindesthäufigkeit handeln, oder auch um eine für einen Zeithorizont bestimmte variable Mindesthäufigkeit. So kann es erforderlich sein, dass beispielsweise ein bestimmtes statisches Verkehrsobjekt mindestens 100 mal erkannt worden sein muss, bevor für dieses statische Verkehrsobjekt generierten Informationen in der zentral verwalteten digitalen Straßenkarte durch die zweite Recheneinheit gespeichert werden. Auch kann es erforderlich sein, dass ein jeweiliges statisches Verkehrsobjekt in einem bestimmten Zeitraum, beispielsweise in einem Monat, mindestens 50 mal detektiert worden sein muss. Wird ein bestimmtes statisches Verkehrsobjekt länger nicht detektiert, so kann es beispielsweise auch als „veraltet“ markiert werden. Für dieses statische Verkehrsobjekt geltende semantische Beziehungen und Verhaltensregeln können dann für eine Anwendung durch ein Egofahrzeug ausgespart werden. Durch das Verwenden einer Mindesthäufigkeit lässt sich verhindern, dass ein neu erkanntes statisches Verkehrsobjekt und entsprechende Informationen direkt in die zentral verwaltete digitale Straßenkarte aufgenommen werden. So könnten aufgrund von Fehlmessungen gegebenenfalls falsche semantische Beziehungen und entsprechende Verhaltensregeln ermittelt worden sein. Indem jedoch ein bestimmtes statisches Verkehrsobjekt mehrmals detektiert werden muss, lässt sich die Zuverlässigkeit zum sicheren Bestimmen des jeweiligen statischen Verkehrsobjekts und damit der semantischen Beziehungen und Verhaltensregeln erhöhen.
-
Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht ferner vor, dass die erste und/oder zweite Recheneinheit zur Zuordnung einer Lichtsignalanlage zu einer Fahrspur:
- - als statische Verkehrsobjekte wenigstens zwei Lichtsignalanlagen und wenigstens zwei Fahrspuren erkennt;
- - die von den Lichtsignalanlagen ausgegebenen Lichtsignale erkennt;
- - erkennt, welches dynamische Verkehrsobjekt sich auf welcher der Fahrspuren befindet; und
- - eine Zuordnung einer von „grün“ auf „gelb“ oder von „gelb“ auf „rot“ schaltenden Lichtsignalanlage zu einer Fahrspur, auf welcher wenigstens ein dynamisches Verkehrsobjekt seine Fortbewegungsgeschwindigkeit reduziert, vornimmt; und/oder
- - eine Zuordnung einer von „rot“ auf „gelb-rot“ oder von „gelb-rot“ auf „grün“ schaltenden Lichtsignalanlage zu einer Fahrspur, auf welcher wenigstens ein dynamisches Verkehrsobjekt seine Fortbewegungsgeschwindigkeit erhöht, vornimmt.
-
Das erfindungsgemäße Verfahren ermöglicht hierdurch eine besonders zuverlässige und eindeutige Zuordnung von Lichtsignalanlagen zu Fahrspuren. Unter Berücksichtigung der im vorigen erwähnten Mindesthäufigkeit ist auch dann eine zuverlässige und korrekte Zuordnung von Lichtsignalanlagen zu Fahrspuren möglich, wenn einzelne dynamische Verkehrsobjekte sich regelwidrig im Straßenverkehr verhalten.
-
Bevorzugt werden zur Plausibilisierung einer Zuordnung einer Lichtsignalanlage zu einer Fahrspur bei Detektion von wenigstens zwei dynamischen Verkehrsobjekten in derselben Fahrspur nach Wechsel des von der Lichtsignalanlage angezeigten Lichtsignals die Bewegungen der wenigstens zwei dynamischen Verkehrsobjekte zueinander korreliert, und eine Zuordnung der das gewechselte Lichtsignal anzeigenden Lichtsignalanlage zu der Fahrspur vorgenommen, wenn sich die Bewegungen der wenigstens zwei dynamischen Verkehrsobjekte, insbesondere einen zeitlichen Versatz aufweisend, innerhalb definierter Grenzen ähneln. Schaltet beispielsweise eine Lichtsignalanlage auf grün, so setzen sich die einzelnen Fahrzeuge einer vor der jeweiligen Lichtsignalanlage wartenden Fahrzeugschlange nach und nach in Bewegung. Dabei beschleunigen die jeweiligen Fahrzeuge typischerweise ähnlich. Durch einen Vergleich der Bewegungsmuster der jeweiligen Fahrzeuge lässt sich dann das In-Bewegung-Setzen einer solchen Fahrzeugschlange erkennen. Dies erlaubt eine besonders zuverlässige Zuordnung der umgeschalteten Lichtsignalanlage zu der Fahrspur mit der sich in Gang setzenden Fahrzeugschlange.
-
Dieses Vorgehen lässt sich analog auf eine auf Rot schaltende Lichtsignale übertragen. Hier werden nach und nach die einzelnen Fahrzeuge der Fahrzeugschlange stoppen.
-
Insbesondere existiert dabei ein zeitlicher Versatz in den Bewegungsmustern der einzelnen Fahrzeuge der Fahrzeugschlange. Die Bewegung kann dabei wie im vorigen bereits vorteilhaft erläutert durch eine in ein Geschwindigkeits-Zeit-Diagramm eingetragene Kurve beschrieben werden. Die definierte Grenze, innerhalb derer sich die Bewegungen der wenigstens zwei dynamischen Verkehrsobjekte ähneln müssen, kann dabei je nach Verkehrssituation individuell bestimmt werden. Beispielsweise müssen zwei entsprechende in ein Geschwindigkeits-Zeit-Diagramm eingetragene Kurven den gleichen Kurvenverlauf mit einem nicht zu überschreitenden zeitlichen Versatz zueinander aufweisen. Einzelne Kurvenverläufe können jedoch auch ein tolerierbares Maß an Abweichungen im Kurvenverlauf zueinander aufweisen. Diese Ähnlichkeit lässt sich durch bewährte mathematische Methoden beschreiben.
-
Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht ferner vor, dass für den Fall, dass die detektierten Lichtsignalanlagen in einem Interessensbereich liegen, die erste und/oder zweite Recheneinheit:
- - eine ein grünes Lichtsignal anzeigende Lichtsignalanlage einer solchen Fahrspur zuordnet, welche von einem dynamischen Verkehrsobjekt befahren wird, welches seine Fortbewegungsgeschwindigkeit im Wesentlichen beibehält; und/oder
- - eine ein rotes Lichtsignal anzeigende Lichtsignalanlage einer solchen Fahrspur zuordnet, welche von einem dynamischen Verkehrsobjekt befahren wird, dessen Fortbewegungsgeschwindigkeit im Wesentlichen 0 km/h entspricht.
-
Hierdurch wird der Szenarioraum von auswertbaren Szenarios zum Zuordnen von Lichtsignalanlagen zu Fahrspuren vergrößert. So können auch Lichtsignalanlagen Fahrspuren zugeordnet werden, welche nicht innerhalb eines gewissen Zeitraums das angezeigte Lichtsignal wechseln, sondern ein bestimmtes Lichtsignal länger anzeigen.
-
Typischerweise halten und beschleunigen Fahrzeuge im Bereich einer Ampel. Entsprechend lässt sich der örtliche Bereich im Umfeld einer Lichtsignalanlage in digitalem Kartenmaterial als Interessensbereich markieren, woraufhin im Interessensbereich nicht nur Änderungen in den Bewegungen von dynamischen Verkehrsobjekten nachverfolgt werden, sondern auch im Besonderen konstante Fortbewegungsgeschwindigkeiten der dynamischen Verkehrsobjekte für Analysen aufgezeichnet werden. Dies ermöglicht es auch länger „grün“ bzw. „rot“ anzeigende Lichtsignalanlagen Fahrspuren zuzuordnen. Dabei ist es nicht zwangsweise erforderlich, dass ein entsprechendes dynamisches Verkehrsobjekt unter der entsprechenden Lichtsignalanlage durchgefahren sein muss, diese also passiert hat. So kann es bereits ausreichen, wenn die erste und/oder zweite Recheneinheit eine Fortbewegung des jeweiligen dynamischen Verkehrsobjekts auf die entsprechende Lichtsignalanlage erkennt. Dabei wird es auch toleriert, wenn das jeweilige dynamische Verkehrsobjekt dabei seine Fortbewegungsgeschwindigkeit innerhalb tolerierbarer Grenzen, beispielsweise ±5 km/h, ändert. So können Fahrzeuge beim Zufahren auf eine grüne Ampel auch beschleunigen oder bremsen.
-
Analog muss die Fortbewegungsgeschwindigkeit zum Zuordnen einer ein rotes Lichtsignal anzeigenden Lichtsignalanlage zu einer Fahrspur nicht genau 0 km/h betragen, sondern kann auch leicht darüber liegen, insbesondere in einer Größenordnung von Schrittgeschwindigkeit oder bevorzugt Tastgeschwindigkeit. Stehen mehrere dynamische Verkehrsobjekte in einer Fahrspur vor einer ein rotes Lichtsignal anzeigenden Lichtsignalanlage, so können bei vergleichsweise großen zwischen den einzelnen dynamischen Verkehrsobjekten gelassenen Lücken, die dynamischen Verkehrsobjekte nach und nach aufrücken. Dabei bewegen sich die jeweiligen dynamischen Verkehrsobjekte vergleichsweise langsam.
-
Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht ferner vor, dass die erste und/oder zweite Recheneinheit ein Maschinenlernmodell ausführt und die vom Egofahrzeug erzeugten Sensordaten und/oder daraus abgeleitete Informationen als Eingangsgröße in das Maschinenlernmodell eingelesen werden, woraufhin das Maschinenlernmodell aufgrund seines Trainings erkennt, welche Lichtsignalanlage welcher Fahrspur zugeordnet werden muss. Unter Anwendung eines Maschinenlernmodells lässt sich die Zuverlässigkeit einer korrekten Zuordnung von Lichtsignalanlagen zu Fahrspuren erhöhen. Als Maschinenlernmodell können bewährte Maschinenlernmodelle, insbesondere unter Anwendung künstlicher neuronaler Netze, eingesetzt werden.
-
Zur weiteren Verbesserung der Zuverlässigkeit der Zuordnung von Lichtsignalanlagen zu Fahrspuren können auf Basis einer Statistik einzelne Datenpunkte der von den Egofahrzeugen übermittelten Informationen unterschiedlich stark gewichtet werden. Beispielsweise kann ein seine Fortbewegungsgeschwindigkeit reduzierendes dynamisches Verkehrsobjekt trotz einer ein grünes Lichtsignal anzeigenden Lichtsignalanlage nur ein geringer Indikator für eine falsche Zuordnung sein, da das dynamische Verkehrsobjekt aufgrund einer anderen Ursache, beispielsweise aufgrund eines querenden Fußgängers, bremst. Eine Durchfahrt eines dynamischen Verkehrsobjekts unter einer ein rotes Lichtsignal bereits länger anzeigenden Lichtsignalanlage ist dabei ein deutlicher stärkerer Indikator, dass die entsprechende Lichtsignalanlage tatsächlich nicht zur Fahrspur des durchfahrenden dynamischen Verkehrsobjekts gehört.
-
Bevorzugt erkennt das Maschinenlernmodell zumindest eines der folgenden typischen Verhaltensmuster eines dynamischen Verkehrsobjekts und nimmt darauf basierend eine Zuordnung von Lichtsignalanlagen zu Fahrspuren vor:
- - eine typische Reaktionszeit eines Anfahr- oder Abbremsverhaltens eines dynamischen Verkehrsobjekts nach einem Wechsel des von einer Lichtsignalanlage angezeigten Lichtsignals;
- - ein typischer weg- und/oder zeitbasierter Abstand eines dynamischen Verkehrsobjekts zu einer Lichtsignalanlage;
- - die Größe eines typischen zur Auswertung berücksichtigten geographischen Bereichs um die Lichtsignalanlage; und/oder
- - die Anzahl an durchgeführten Zuordnungen für eine bestimmte Lichtsignalanlage zu einer respektiven Fahrspur.
-
Unter Berücksichtigung der aufgezählten Verhaltensmuster kann ein Maschinenlernmodell Lichtsignalanlagen besonders zuverlässig Fahrspuren zuordnen sowie gemäß einer weiteren vorteilhaften Ausgestaltung des Verfahrens für die jeweiligen Verhaltensmuster charakteristische Parameter erlernen und die jeweiligen Grenzen in denen sich die Parameter bewegen optimieren. So nehmen je nach Ausbaustufe einer jeweiligen Straße, dem geltenden Tempolimit, der Fahrspuranzahl oder weiterer Randbedingungen diese Parameter typische Werte an. Beispielsweise kann die Reaktionszeit zum Anfahren bzw. Abbremsen im Bereich zwischen 0 bis 7 Sekunden liegen, der Abstand, mit dem ein dynamisches Verkehrsobjekt vor der Haltelinie einer Lichtsignalanlage hält, zwischen 0 bis 50 Metern liegen, der bei der initialen Fortbewegungsgeschwindigkeit des dynamischen Verkehrsobjekts zur Lichtsignalanlage ab einer Reaktion auf das von der Lichtsignalanlage angezeigte Lichtsignal zwischen 0 bis 30 Sekunden liegen, der geographische Bereich um die Lichtsignalanlage beispielsweise kreisförmig sein und eine Größe mit einem Radius von 0 bis 200 Metern aufweisen, und/oder die Anzahl der durchgeführten Zuordnungen, bevor eine bestimmte Lichtsignalanlage final einer respektiven Fahrspur zugeordnet wird, im Bereich zwischen 10 bis 100000 liegen. Eine Funktion zur Abschätzung der Werte basierend auf den gegebenen Randbedingungen kann aber nicht nur mittels eines Maschinenlernmodells erlernt, beziehungsweise optimiert werden, sondern gegebenenfalls auch unter Einsatz eines statistischen Modells. Dabei kann optional der Wertebereich für die Optimierung vorgegeben werden.
-
So können in Abhängigkeit der Randbedingungen einzelne Lichtsignalanlagen beispielsweise nach 10 Detektionen zuverlässig zu einer bestimmten Fahrspur zugeordnet werden, andere Lichtsignalanlagen jedoch erst nach besonders vielen Zuordnungen, wie beispielsweise 100000. Unter Berücksichtigung einer variablen Anzahl lässt sich verhindern, dass eine bestimmte Lichtsignalanlage einer bestimmten Fahrspur falsch zugeordnet wird. Für Lichtsignalanlagen, welche sich jedoch besonders zuverlässig einer Fahrspur zuordnen lassen, kann dann eine besonders schnelle und aufwandsarme Zuordnung erfolgen.
-
Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht ferner vor, dass die erste und/oder zweite Recheneinheit bei Erkennen eines Abbremsvorgangs eines dynamischen Verkehrsobjekts bis unter eine festgelegte Grenzgeschwindigkeit, insbesondere bis zum Stillstand, als statisches Verkehrsobjekt zumindest eine gedachte Haltelinie für das dynamische Verkehrsobjekt ermittelt oder initial bestimmt, und als Verhaltensregel ableitet, dass das Egofahrzeug an der gedachten Haltelinie oder einer erkannten realen Haltelinie halten muss. ist Vorfahrt zu gewähren, beispielsweise vor einer Ampel, an einer Kreuzung, Einmündung oder dergleichen, insbesondere angezeigt durch ein Verkehrsschild, so findet sich oftmals in diesem Bereich auch eine Haltelinie, an der das jeweilige dynamische Verkehrsobjekt halten muss. Fehlt die jeweilige Haltelinie, so kann auch eine gedachte Haltelinie bestimmt werden. So lassen sich unter Berücksichtigung des Bewegungsverhaltens der dynamischen Verkehrsobjekte auch Haltelinien für besondere Verkehrssituationen ermitteln, bei denen gar keine Haltelinie auf der Straße eingezeichnet ist. Eine solche Situation kann beispielsweise bei Vorliegen eines temporären Hindernisses wie im Bereich einer Baustelle vorliegen. So überwachen ein oder mehrere Egofahrzeuge das Verkehrsgeschehen über einen längeren Zeitraum im Bereich der Baustelle, woraufhin eine Vielzahl an Haltevorgängen im Bereich der Baustelle detektiert werden. In Abhängigkeit der jeweiligen Haltepositionen der dynamischen Verkehrsobjekte gegenüber dem Hindernis bzw. der Baustelle wird dann die gedachte Haltelinie auf der Straße gedanklich platziert. Die gedachte Haltelinie kann dabei in digitalem Kartenmaterial hinterlegt werden. Treffen dann künftig Egofahrzeuge an dem jeweiligen Hindernis bzw. Baustelle ein, so können diese an der gedachten Haltelinie zum Stehen gebracht werden.
-
Unter Berücksichtigung verschiedenster statistischer Verfahren kann eine solche gedachte Haltelinie aus den von den Egofahrzeugen übermittelten Daten bestimmt werden. Beispielsweise kann ein Mittelwert oder Median der einzelnen Haltepositionen der dynamischen Verkehrsobjekte zur Bestimmung der Position der gedachten Haltelinie verwendet werden. Wird eine solche gedachte Haltelinie zum ersten Mal erkannt, so wird diese initial bestimmt. Erkennen weitere Egofahrzeuge dieselbe gedachte, bzw. eine real existierende Haltelinie, so wird diese im von der zweiten Recheneinheit verwalteten digitalen Kartenmaterial ermittelt, da sie ja bereits hinterlegt ist.
-
Die festgelegte Grenzgeschwindigkeit kann in Abhängigkeit einer jeweiligen Verkehrssituation flexibel gewählt werden, und beispielsweise in einer Größenordnung von Schrittgeschwindigkeit oder bevorzugt Tastgeschwindigkeit liegen. So kommt es oftmals vor, dass ein Fahrzeug eine Haltelinie, beispielsweise im Zusammenhang mit einem Stoppschild, überfährt. Durch das Tolerieren der Fortbewegung des jeweiligen dynamischen Verkehrsobjekts bis unterhalb der Grenzgeschwindigkeit ist es jedoch auch möglich solche Verkehrssituationen zu erkennen und angemessen zu berücksichtigen.
-
Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens bestimmt die erste und/oder zweite Recheneinheit für eine im Bereich eines Knotenpunkts liegende Haltelinie eine solche Interessensregion, welche zumindest die sich im Knotenpunkt treffenden Fahrwege umfasst, verfolgt für einen Beobachtungszeitraum die Bewegungen von dynamischen Verkehrsobjekten in der Interessensregion nach und:
- - markiert den Knotenpunkt bezüglich eines geltenden Vorfahrtsrechts als „rechts-vor-links gesteuert“ oder „schildergesteuert“, wenn während des Beobachtungszeitraums konsistent die sich auf einem ersten der sich im Knotenpunkt treffenden Fahrwege fortbewegenden dynamischen Verkehrsobjekte den sich auf einem zweiten der sich im Knotenpunkt treffenden Fahrwege fortbewegenden dynamischen Verkehrsobjekten Vorfahrt gewähren; oder
- - markiert den Knotenpunkt bezüglich eines geltenden Vorfahrtsrechts als „ampelgesteuert“, wenn zu unterschiedlichen Zeitfenstern sowohl die sich auf dem ersten Fahrweg fortbewegenden dynamischen Verkehrsobjekte, als auch die sich auf dem zweiten Fahrweg fortbewegenden dynamischen Verkehrsobjekte den sich jeweils auf dem anderen Fahrweg fortbewegenden dynamischen Verkehrsobjekten Vorfahrt einräumen.
-
Unter Knotenpunkten werden sich schneidende und/oder ineinander einmündende Fahrwege eines Straßennetzes verstanden. Solche Knotenpunkte können beispielsweise in digitalem Kartenmaterial erkannt werden oder auch durch das Auswerten der vom Egofahrzeug erzeugten Sensordaten. Konsistent meint in diesem Zusammenhang, dass alle oder ein Großteil der erkannten Vorfahrtsfälle auf dieselbe Vorfahrtsregelung hindeuten lassen. Inkonsistent meint, dass zu unterschiedlichen Zeitfenstern für alle oder ein Großteil der erkannten Vorfahrtsfälle mal die dynamischen Verkehrsobjekte auf dem einen Fahrweg, und mal die dynamischen Verkehrsobjekte auf dem anderen Fahrweg Vorfahrt einräumen. Das zu unterschiedlichen Zeitfenstern abweichend beobachtete Verhalten kann dabei während eines einzelnen Beobachtungszeitraums detektiert werden oder auch verteilt über mehrere, auch von verschiedenen Egofahrzeugen erlebten Beobachtungszeiträumen. Insbesondere werden dabei Muster festgestellt wann und/oder wie lange einem jeweiligen Fahrweg Vorrang eingeräumt wird, beispielsweise bedingt durch die Dauer einer Grünphase.
-
Im Falle der als „rechts-vor-links gesteuert“ oder „schildergesteuert“ markierten Knotenpunkte können auch solche Fälle als konsistent aufgefasst werden, bei denen vereinzelt dynamische Verkehrsobjekte das ermittelte Vorfahrtsrecht missachten. So kann ein Toleranzschwellwert bestimmt werden, bis zu welchem Anteil Verkehrsverstöße toleriert werden, um dennoch ein konsistentes Beachten von Vorfahrtsregeln zu identifizieren. Wird dieser Schwellwert überschritten, sprich liegt für eine bestimmte Anzahl an Verkehrssituationen mal ein konsistentes Verhalten vor und für eine bestimmte Anzahl an Verkehrssituationen mal ein inkonsistentes Verhalten vor, so kann der entsprechende Knotenpunkt auch als „gefährlich“ markiert werden. Dies ist bspw. für eine Kreuzung an der „rechts-vor-links“ gilt der Fall, bei der geltendes Vorfahrtsrecht häufiger missachtet wird. Diese Information kann zum Ableiten bestimmter Verhaltensregeln für das Egofahrzeug berücksichtigt werden, beispielsweise ein defensives Fahrverhalten. Die Klassifikation der Vorfahrtsregelung kann insbesondere mit einem geeigneten Klassifikator wie Support-Vektor-Maschinen oder einem LSTM-Klassifikator erfolgen. Auch kann die Uhrzeit zur Evaluierung des Vorfahrtsverhaltens berücksichtigt werden. So können des Nachts an einer ampelgesteuerten Kreuzung die Ampeln deaktiviert sein und Vorfahrtsrecht auf Grundlage von Verkehrszeichen gewährt werden.
-
Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht ferner vor, dass wenn die erste und/oder zweite Recheneinheit als statisches Verkehrsobjekt wenigstens eine Fahrspur erkennt und nach Erkennen eines Abbrems- oder Beschleunigungsvorgangs zumindest eines sich auf der jeweiligen Fahrspur fortbewegenden dynamischen Verkehrsobjekts eine Fortbewegung des jeweiligen dynamischen Verkehrsobjekts mit einer im Wesentlichen konstanten Fortbewegungsgeschwindigkeit erkennt, die erste und/oder zweite Recheneinheit der Fahrspur als geltendes Tempolimit die Fortbewegungsgeschwindigkeit des dynamischen Verkehrsobjekts zuordnet. Für den Fall, dass in einer digitalen Straßenkarte für eine bestimmte Fahrspur einer Straße kein Tempolimit hinterlegt ist, dieses falsch ist oder durch eine sensorbasierte Schildererkennung kein Tempolimit festgestellt werden kann, kann das für eine jeweilige Fahrspur geltende Tempolimit auch aus der Fortbewegungsgeschwindigkeit der durch das Egofahrzeug überwachten dynamischen Verkehrsobjekte bestimmt werden. Dabei dient das Abbrems- bzw. Beschleunigungsmanöver der jeweiligen erfassten dynamischen Verkehrsobjekte als Indikator für ein geändertes Tempolimit. In diesem Falle sollte das Egofahrzeug überprüfen, ob für den jeweiligen ab dem Durchführen des Abbrems- bzw. Beschleunigungsmanövers beginnenden Straßenabschnitts eine Information für ein geändertes Tempolimit vorliegt. Ist dies nicht der Fall, kann das jeweilige Tempolimit aus der Fortbewegungsgeschwindigkeit der überwachten dynamischen Verkehrsobjekte ermittelt werden. Auch hier können Abweichungen von der konstanten Fortbewegungsgeschwindigkeit innerhalb gewisser Grenzen toleriert werden. Ebenfalls kann das durch die erste und/oder zweite Recheneinheit festgelegte Tempolimit gerundet werden. So fahren oftmals die Fahrzeuge auf einer Fahrbahn mit leicht erhöhter oder reduzierter Geschwindigkeit, beispielsweise 84 km/h bei einem Tempolimit von 80 km/h, was entsprechend berücksichtigt werden kann.
-
Bevorzugt stellt die erste Recheneinheit und/oder die zweite Recheneinheit für ein zumindest teilautomatisiert gesteuertes Egofahrzeug bei einer Fahrt durch einen Interessensbereich ein defensives Fahrverhalten zur Steuerung des Egofahrzeugs ein. Mit Hilfe des erfindungsgemäßen Verfahrens lassen sich aus dem Bewegungsverhalten dynamischer Verkehrsobjekte Orte in einem Straßennetz bestimmen, welche eine Anpassung des Steuerungsverhaltens des Egofahrzeugs bedingen, beispielsweise im Bereich von Lichtsignalanlagen, Verkehrszeichen, Knotenpunkten, Baustellen und dergleichen. Insbesondere teilautomatisiert oder autonom gesteuerte Fahrzeuge müssen in einer solchen Verkehrssituation vorsichtig gesteuert werden, um Unfälle zu vermeiden. Ergänzend zur Bestimmung von Steuerungsbefehlen für das entsprechende Egofahrzeug unter Auswertung der Sensordaten kann dabei auch auf in einer digitalen Straßenkarte gespeicherte Informationen zurückgegriffen werden. In der digitalen Straßenkarte können entsprechende Orte dabei auch als Interessensbereich markiert sein. Insbesondere wird das Fahrverhalten des zumindest teilautomatisiert gesteuerten Egofahrzeugs für einen solchen Interessensbereich besonders vorsichtig ausgestaltet. Hierdurch lässt sich das Unfallrisiko reduzieren.
-
Unter Anwendung des erfindungsgemäßen Verfahrens lassen sich dynamische Verkehrsdaten nutzen, um digitales Kartenmaterial mit Zusatzinformationen anzureichern. Hierzu werden keine speziellen Messfahrzeuge benötigt. Unter Anwendung des erfindungsgemäßen Verfahrens wird das Fahrverhalten menschlicher Fahrer adaptiert, sodass dieser Ansatz international in verschiedenen Ländern ohne Anpassung zum Anreichern des digitalen Kartenmaterials verwendet werden kann. So lassen sich beispielsweise Vorfahrtsregeln aus dynamischen Daten ableiten, ohne die für die entsprechenden Länder geltenden Regeln tatsächlich zu kennen, zu verstehen und/oder programmieren zu müssen. Dies ermöglicht eine besonders zuverlässige globale Skalierung bei gleichzeitigem geringem Aufwand. Durch ein fortwährendes Ausführen des erfindungsgemäßen Verfahrens durch die Egofahrzeuge stehen vergleichsweise viele dynamische Daten kurzfristig zur Verfügung, sodass Änderungen in der realen Welt besonders schnell und automatisiert erfasst und in der entsprechenden digitalen Straßenkarte hinterlegt werden können.
-
Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens zur Erkennung von semantischen Beziehungen zwischen Verkehrsobjekten ergeben sich auch aus den Ausführungsbeispielen, welche nachfolgend unter Bezugnahme auf die Figuren näher beschrieben werden.
-
Dabei zeigen:
- 1 eine schematisierte Draufsicht auf eine erste Verkehrssituation;
- 2 ein in ein Geschwindigkeits-Zeit-Diagramm eingetragenes Bewegungsverhalten eines in 1 gezeigten, einen Haltevorgang durchführenden Fahrzeugs;
- 3 eine schematisierte Draufsicht auf eine zweite Verkehrssituation; und
- 4 das in ein Geschwindigkeits-Zeit-Diagramm eingetragene Bewegungsverhalten mehrerer in 2 gezeigter, vor einer Lichtsignalanlage haltender oder die Lichtsignalanlage passierender Fahrzeuge.
-
1 zeigt mehrere Fahrzeuge 12, welche sich auf einer Fahrbahn 13 fortbewegen. Bei den Fahrzeugen 12 handelt es sich um dynamische Verkehrsobjekte 4. Hierzu zählen beispielsweise auch Fahrradfahrer, Motorradfahrer oder ein in 3 gezeigter Fußgänger 14. Die Fahrbahn 13 verläuft in 1 T-förmig und bildet somit einen Knotenpunkt 11 aus, in dem sich mehrere Fahrwege schneiden. Zur Wahrung der Übersichtlichkeit sind in den Figuren jeweils nur einige der gleichen Objekte mit Bezugszeichen versehen.
-
Ein sich in der Figur von rechts dem Schnittpunkt der Fahrwege annäherndes Fahrzeug 12, welches links abbiegen möchte, müsste einem an der T-Kreuzung von rechts (also oben) kommendem Fahrzeug 12 bei einer rechts-vor-links Situation Vorfahrt gewähren. In dem in 1 gezeigten Beispiel handelt es sich jedoch um eine abknickende Vorfahrtsstraße, sodass das in der Figur von oben kommende Fahrzeug 12 an einer Haltelinie 10 stoppen muss. Die hier geltende Vorfahrtsregel kann den einzelnen Fahrzeugen 12 auch durch ein oder mehrere Verkehrszeichen 15 angezeigt werden. Ferner ist in 1 im rechten Bereich ein Baustellenbereich 16 eingezeichnet. Damit Fahrzeuge 12 am Baustellenbereich 16 vorbeifahren können, müssen sie auf die Gegenfahrbahn ausweichen. Gegenverkehr ist dabei Vorrang einzuräumen. Da der Baustellenbereich 16 nur temporär vorliegt, befindet sich dabei auf der Fahrbahn 13 keine physisch gezeichnete Haltelinie, sondern lediglich eine gedachte Haltelinie 18.
-
Im Zusammenhang mit zumindest teilautomatisiert, insbesondere autonom steuerbaren Fahrzeugen sind dabei Steuerbefehle für die Fahrzeuge so abzuleiten, dass diese in jeder erdenklichen Fahrsituation im Straßenverkehr sicher gesteuert werden können. Entsprechende Fahrzeuge erfassen typischerweise hierzu nicht nur ihre Umgebung mit Hilfe einer Umgebungssensorik 2, sondern fragen Daten aus einer von einem Navigationssystem genutzten digitalen Straßenkarte ab. In einer solchen digitalen Straßenkarte lässt sich die reale Umgebung als digitaler Zwilling nachbilden, wobei Straßenverläufe und Positionen von statischen Verkehrsobjekten 5 hinterlegt sind. Diese Informationen kann ein entsprechendes Fahrzeug beispielsweise dazu nutzen, um einen sicheren Fahrweg zu planen. Zu den statischen Verkehrsobjekten 5 zählen beispielsweise besagte Haltelinien 10, ein Fahrbahnverlauf einer Fahrbahn 13, in 3 gezeigte Fahrspuren 9, Lichtsignalanlagen 8 sowie Verkehrszeichen 15 und dergleichen. Damit ein zumindest teilautomatisiert, insbesondere autonom gesteuertes Fahrzeug angemessen auf solche statischen Verkehrsobjekte 5 reagiert, gilt es je nach Verkehrssituation semantische Beziehungen zwischen statischen Verkehrsobjekten 5 und/oder dynamischen Verkehrsobjekten 4 zu berücksichtigen. So muss ein Fahrzeug erfassen können, für welche Fahrspur 9 ein jeweiliges Verkehrszeichen 15 bzw. eine entsprechende Lichtsignalanlage 8 gilt, an welcher Haltelinie 10 zu halten ist, für welche Fahrspur 9 ein Tempolimit gilt und dergleichen.
-
Die entsprechenden semantischen Beziehungen und die sich hierdurch für ein Fahrzeug 12 ergebenden Verhaltensregeln im Straßenverkehr können ebenfalls in einer digitalen Straßenkarte hinterlegt werden. Das erfindungsgemäße Verfahren setzt dabei an, solche Informationen automatisiert mit Hilfe einer Flotte von Egofahrzeugen 1 zu erfassen. Die Egofahrzeuge 1 stehen dabei bevorzugt mit einer zweiten Recheneinheit 3.2 in Kommunikationsverbindung. Bei der zweiten Recheneinheit 3.2 handelt es sich insbesondere um einen an das Internet angeschlossenen Cloudserver. Der Cloudserver kann beispielsweise von einem Fahrzeughersteller oder Verwalter der Fahrzeugflotte betrieben werden. Auf dem Cloudserver wird die entsprechende digitale Straßenkarte verwaltet und ausreichend mit Informationen versehene Teile bzw. die gesamte digitale Straßenkarte zur Anwendung an die entsprechenden Egofahrzeuge 1 zurück übermittelt. Es kann dabei eine komplette digitale Straßenkarte einer gesamten Region an die entsprechenden Egofahrzeuge 1 übermittelt werden oder auch nur Teile davon, insbesondere als kontinuierlicher Datenstrom für einen entsprechenden aktuell relevanten Verkehrsabschnitt.
-
Zur automatischen Erfassung besagter semantischer Beziehungen zwischen den Verkehrsobjekten 4, 5 umfassen die entsprechenden Egofahrzeuge 1 eine Umgebungssensorik 2 wie eine Monokamera, Stereokamera, LIDAR, Radarsensor und/oder Ultraschallsensoren, von denen erzeugte Sensordaten von einer in ein jeweiliges Egofahrzeug 1 integrierten ersten Recheneinheit 3.1 ausgewertet werden.
-
Hierdurch können Tiefeninformationen gewonnen werden, was das Ermitteln von Abständen und Relativgeschwindigkeiten zwischen dem Egofahrzeug 1 und dynamischen Verkehrsobjekten 4 ermöglicht. Mittels bekannter Bild- bzw. Objekterkennungsalgorithmen lässt sich dabei auch feststellen, um welches dynamische Verkehrsobjekt 4, sprich um einen Fußgänger 14, Radfahrer, Pkw oder dergleichen es sich handelt.
-
Die Egofahrzeuge 1 beobachten also das dynamische Verkehrsgeschehen und erkennen hierdurch Änderungen im Bewegungsverhalten der restlichen Fahrzeuge 12. Dabei können sich Egofahrzeuge 1 auch gegenseitig beobachten. Es können auch die vom jeweiligen Egofahrzeug 1 selbst ermittelten, das jeweilige Egofahrzeug 1 betreffenden Informationen zur Analyse des Verkehrsgeschehens berücksichtigt werden. Wird ein geändertes Bewegungsverhalten festgestellt, also das Ändern einer Geschwindigkeit, Beschleunigung und/oder Bewegungsrichtung eines dynamischen Verkehrsobjekts 4, so deutet dies darauf hin, dass eine besondere Verkehrssituation vorliegt, bei der semantische Beziehungen zwischen Verkehrsobjekten 4, 5 für das Verhalten des jeweiligen dynamischen Verkehrsobjekts 4 relevant sind. Solche Orte können insbesondere als Interessensbereich 7 markiert werden, welche besonders behandelt werden.
-
An einem Ort, an dem eine besagte Änderung der Bewegung eines dynamischen Verkehrsobjekts 4 detektiert wird, sucht das Egofahrzeug 1 nach statischen Verkehrsobjekten 5 und stellt eine semantische Beziehung zwischen dem wenigstens einen dynamischen Verkehrsobjekt 4 und dem wenigstens einen statischen Verkehrsobjekt 5 her, falls ein entsprechendes statisches Verkehrsobjekt 5 erkannt wurde. Hierzu wertet die erste Recheneinheit 3.1 die Sensordaten und/oder daraus abgeleitete Informationen aus. Es ist auch möglich, dass die Sensordaten und/oder daraus abgeleitete Informationen vom Egofahrzeug 1 an die zweite Recheneinheit 3.2 übertragen werden, welche dann die entsprechende Auswertung durchführt. Hierdurch werden Anforderungen zum Implementieren rechenleistungsstarker Hardware im Egofahrzeug 1 minimiert, zudem können von einer Vielzahl an Egofahrzeugen 1 übertragener Daten zentral durch die zweite Recheneinheit 3.2 ausgewertet und zum Überarbeiten einer zentral verwalteten digitalen Straßenkarte berücksichtigt werden.
-
Zur Detektion einer Änderung der Bewegung eines dynamischen Verkehrsobjekts 4 kann beispielsweise ein in 2 gezeigtes Geschwindigkeits-Zeit-Diagramm 6 erzeugt werden. Darin wird der Geschwindigkeitsverlauf von dynamischen Verkehrsobjekten 4 über die Zeit als Kurve eingetragen. Das in 2 gezeigte Beispiel ist stellvertretend für die in den in 1 markierten Interessensbereichen 7 durchgeführten Haltevorgänge. In 1 sind mehrere Haltepunkte 17 gezeigt, an denen Egofahrzeuge 1 das Stoppen von Fahrzeugen 12 im Bereich einer entsprechenden Haltelinie 10 erkannt haben. In 2 sind dabei stellvertretend für zwei Haltepunkte zwei Kurven K1, K2 in das Geschwindigkeits-Zeit-Diagramm 6 eingezeichnet. Werden in einen bestimmten örtlichen Bereich der realen Umgebung, bzw. entsprechend in einer digitalen Straßenkarte, auch angedeutet durch einen Interessensbereich 7, über einem definierten Grenzwert liegende Anzahl an Haltepunkten 17 erkannt, so wird der entsprechende örtliche Bereich zum Ableiten der semantischen Beziehungen näher analysiert. Durch Clustern der Haltepunkte 17 lässt sich so beispielsweise eine gedachte Haltelinie 18, beispielsweise die vor dem Baustellenbereich 16 eingezeichnete gedachte Haltelinie 18, ermitteln oder auch bei einer physisch in der Realität auf einer Fahrbahn 13 angebrachten Haltelinie 10 eine ideale gedachte Haltelinie 18 im digitalen Kartenmaterial hinterlegt werden, an der bevorzugt gehalten werden soll. Zur Bestimmung der idealen gedachten Haltelinie 18 können die Haltepunkte 17 anhand bewährter statistischer Methoden ausgewertet werden. Beispielsweise kann ein örtlicher Mittelwert oder Medianwert aus den Haltepunkten 17 ermittelt und für diesen die ideale gedachte Haltelinie 18 eingetragen werden.
-
Anhand der 3 und 4 wird ein weiteres Anwendungsbeispiel zur Bestimmung von semantischen Beziehungen zwischen Verkehrsobjekten 4, 5 erläutert. So ist es mittels des erfindungsgemäßen Verfahrens auch möglich, eine Zuordnung von Lichtsignalanlagen 8 zu Fahrspuren 9 durchzuführen. Welche Lichtsignalanlage 8 für welche Fahrspur 9 bzw. welchen Fahrweg gilt, ist in 3 durch gepunktete Linien angedeutet. Zur Detektion von Orten, an denen Lichtsignalanlagen 8 anzutreffen sind, wird ebenfalls eine Änderung in der Bewegung von dynamischen Verkehrsobjekten 4 erkannt. So halten und beschleunigen typischerweise Fahrzeuge 12 vor einer entsprechenden Lichtsignalanlage 8. Werden im selben entsprechenden örtlichen Bereich eine bestimmte Mindestanzahl an entsprechenden Bewegungsänderungen von dynamischen Verkehrsobjekten 4 detektiert, so wird die entsprechende örtliche Region näher untersucht. In den von den Egofahrzeugen 1 erzeugten Sensordaten können dann die Lichtsignalanlagen 8 als statische Verkehrsobjekte 5 und entsprechende Fahrspuren 9 erkannt werden. Zum Bestimmen einer korrekten Zuordnung werden dabei die von den Lichtsignalanlagen 8 angezeigten Lichtsignale ausgewertet. Schaltet eine Lichtsignalanlage 8 um, sprich von grün auf gelb oder von gelb auf rot sowie von rot auf gelb-rot oder von gelb-rot auf grün, so werden die entsprechenden Fahrzeuge 12 beschleunigen oder abbremsen. Schaltet eine Lichtsignalanlage 8 auf „freie Fahrt“ und beschleunigen entsprechend erkannte dynamische Verkehrsobjekte 4, so kann die Lichtsignalanlage 8 der Fahrspur 9 zugeordnet werden, auf der die beschleunigenden dynamischen Verkehrsobjekte 4 erkannt werden. Eine analoge Zuordnung ist für eine auf „Halten“ schaltende Lichtsignalanlage 8 und eine Fahrspur 9, auf der dynamische Verkehrsobjekte 4 abbremsen, möglich.
-
Dabei kann auch das Verhalten des Fußgängers 14 berücksichtigt werden. Bleibt der Fußgänger 14 stehen, und zeigen alle Lichtsignalanlagen 8 ein Halten an, so ist dies ein Indiz für eine korrekte Zuordnung der Lichtsignalanlagen 8 zu Fahrspuren 9. Läuft der Fußgänger 14 jedoch über die Straße und zeigt einer der erkannten Lichtsignalanlagen 8 eine freie Durchfahrt an, so ist dies ein Indiz für eine falsch zugeordnete Lichtsignalanlage 8 zu einer Fahrspur 9.
-
Der Bereich um eine Lichtsignalanlage 8, insbesondere, wie in 3 eingezeichnet, ein den Knotenpunkt 11 umfassender Bereich kann ebenfalls als Interessenbereich 7 markiert werden. In diesem Fall wird auch ein Zusammenhang zwischen einem von einer Lichtsignalanlage 8 länger angezeigte Lichtsignal, wie dauerhaft grün oder dauerhaft rot, zu einer im Wesentlichen konstanten Fortbewegungsgeschwindigkeit eines dynamischen Verkehrsobjekts 4 hergestellt. Eine Fahrspur 9, auf welcher sich dynamische Verkehrsobjekte 4 mit einer im Wesentlichen konstanten Fortbewegungsgeschwindigkeit fortbewegen, kann dann einer Lichtsignalanlage 8 zugeordnet werden, welche ein grünes Lichtsignal anzeigt. Entsprechend kann eine Fahrspur 9, auf der dynamische Verkehrsobjekte 4 im Wesentlichen stehen, einer ein rotes Lichtsignal anzeigenden Lichtsignalanlage 8 zugeordnet werden.
-
Insbesondere werden entsprechend ermittelte semantische Beziehungen erst dann von der zweiten Recheneinheit 3.2 in die von der zweiten Recheneinheit 3.2 verwalteten digitalen Straßenkarte aufgenommen, wenn die jeweilige semantische Beziehung über einer definierbaren Mindesthäufigkeit detektiert wurde. Hierdurch wird verhindert, dass eine falsch ermittelte semantische Beziehung in die digitale Straßenkarte aufgenommen wird. Es werden also nur solche semantischen Beziehungen in die digitale Straßenkarte aufgenommen, welche mit einer ausreichenden Konfidenz korrekt eingestuft wurden.
-
4 zeigt ein für die in 3 gezeigte Verkehrssituation gültiges Geschwindigkeits-Zeit-Diagramm 6. Die Geschwindigkeitsverläufe von vier sich auf einer Fahrspur 9 in einer Reihe befindliche dynamische Verkehrsobjekte 4 werden durch vier Kurven K1, K2, K3, K4 veranschaulicht. Zu einem Zeitpunkt t0 schaltet die für die entsprechende Fahrspur 9 geltende Lichtsignalanlage 8 auf grün. Nach Ablaufen einer Reaktionszeit tR beschleunigt das in einer entsprechenden Fahrzeugkolonne ganz vorne stehende Fahrzeug 12 zum Zeitpunkt t1 aus dem Stand. Nach einem zeitlichen Versatz Δt beschleunigt das folgende Fahrzeug 12 zum Zeitpunkt t2. Die weiteren beiden Fahrzeuge 12 beschleunigen entsprechend zu den Zeitpunkten t3 und t4.
-
Das in 4 gezeigte Geschwindigkeits-Zeit-Diagramm 6 kann beispielsweise unter Zuhilfenahme eines Maschinenlernmodells ausgewertet werden. Das Maschinenlernmodell kann dann typische Muster in den Kurvenverläufen erkennen und hierdurch auf die jeweils vorliegende Verkehrssituation schließen. Dies ermöglicht eine besonders zuverlässige Bestimmung der semantischen Beziehungen zwischen statischen und/oder dynamischen Verkehrsobjekten 4, 5.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- EP 3572293 A1 [0006]
- EP 3588464 A1 [0007]
