-
Die vorliegende Erfindung betrifft ein Verfahren zum Überwachen eines Umgebungsbereichs eines Fahrzeugs. Darüber hinaus betrifft die vorliegende Erfindung ein Assistenzsystem für ein Fahrzeug zum Überwachen eines Umgebungsbereichs des Fahrzeugs. Ferner betrifft die vorliegende Erfindung eine Datenaustauschvorrichtung. Schließlich betrifft die vorliegende Erfindung ein System zum Durchführen eines Verfahrens zum Überwachen eines Umgebungsbereichs eines Fahrzeugs.
-
Fahrzeuge mit Assistenzsystemen bzw. zumindest teilautomatisierte Fahrzeuge erfassen ihre Umgebung mittels Sensoren, wie beispielsweise Lidar-, Radar- oder Ultraschall-Sensoren. Darüber hinaus können auch Kameras zur Erfassung der Umgebung eines Fahrzeugs verwendet werden. So können bewegte dynamische Objekte bzw. nicht-statische Objekte, wie beispielsweise Fußgänger, Fahrradfahrer oder andere Fahrzeuge, zeitgleich mit dem statischen Umfeld erfasst werden. Die Unterscheidung zwischen statischen und nicht-statischen Objekten erfolgt mittels einer Sensordatenauswertung. Die Unterscheidung von statischen und nicht-statischen Objekten ist dabei entscheidend für das Assistenzsystem bzw. die zumindest teilautomatisierten Fahrfunktionen. Insbesondere ist die verlässliche Erkennung dynamischer bzw. nicht-statischer Objekte im Falle schützenswerter Objekte, wie Fußgängern oder Fahrradfahrern, im unübersichtlichen Stadtverkehr entscheidend für die Sicherheit des Fahrzeugs und auch die allgemeine Verkehrssicherheit. Zusammengefasst ist also der Schutz vulnerabler Verkehrsteilnehmer von besonderer Bedeutung. Daher ist es notwendig, dass vulnerable Verkehrsteilnehmer zuverlässig erkannt werden.
-
Um einen Umgebungsbereich eines Fahrzeugs zu überwachen und insbesondere um vulnerable Verkehrsteilnehmer zuverlässiger zu erfassen, existieren gemäß dem Stand der Technik zahlreiche Verfahren zur Fusionierung von Sensordaten. Eine besondere Form der Sensordatenfusion basiert auf einem Sensordatenaustausch von verschiedenen Fahrzeugen und/oder einem Sensordaten- bzw. Informationsaustausch von Fahrzeugen mit Datenaustauschvorrichtungen, wie beispielsweise einem Backend.
-
Die Offenlegungsschrift
DE 10 2016 218 934 A1 beschreibt ein Verfahren zum Datenaustausch und Datenfusionieren von Umfelddaten von zumindest zwei Fahrzeugen oder einem Fahrzeug mit einem stehenden Infrastruktursender zur Umfelddatenbereitstellung. Das Fahrzeug weist zumindest einen Umfeldsensor sowie eine Kommunikationsschnittstelle zum Datenaustausch und eine Recheneinheit zur Auswertung und Datenfusionierung der Umfelddaten des eigenen Fahrzeugs als auch des zumindest einen anderen Fahrzeugs bzw. des Infrastruktursenders auf. Es ist dabei vorgesehen, dass zumindest das eigene Fahrzeug von dem anderen Fahrzeug bzw. dem Infrastruktursender erfasst, welche Umfelddaten dort verfügbar sind und bei vorliegender Redundanz eine Anpassung der eigenen Erfassung der Umfelddaten und/oder eine Anpassung der Auswertung bzw. Datenfusionierung erfolgt, insbesondere die Erfassung oder Verarbeitung redundanter Daten oder Bereiche unterbleibt und vorzugsweise frei werdende Ressourcen für andere Aufgaben optimiert genutzt werden.
-
Das Dokument
DE 10 2018 220 018 A1 offenbart ein Verfahren zur Objekterkennung mittels Sensorsystemen von Fahrzeugen, wobei hierbei eine Mehrzahl von Fahrzeugen miteinander vernetzt ist. Jedes Fahrzeug verfügt über ein Sensorsystem zur Detektion von Objekten. Die durch die einzelnen Fahrzeuge bei der Detektion von Objekten erfassten Daten und/oder Informationen werden miteinander fusioniert und plausibilisiert.
-
Die
DE 10 2018 221 933 A1 beschreibt ein verteiltes Datenaustauschsystem für Fahrzeuge, das einen örtlich ruhenden Zwischenspeicher zum Zwischenspeichern der Daten aufweist. Das verteilte Datenaustauschsystem weist weiterhin eine Sendeeinrichtung in einem ersten Fahrzeug zum Senden der zwischenzuspeichernden Daten an den örtlich ruhenden Zwischenspeicher über eine erste Kurzreichweitenschnittstelle auf, eine Empfangseinrichtung in einem an dem Zwischenspeicher vorbeifahrenden zweiten Fahrzeug zum Empfangen der zwischengespeicherten Daten von dem örtlich ruhenden Zwischenspeicher über eine zweite Kurzreichweitenschnittstelle und einen mit dem Zwischenspeicher verbundenen Prozessor. Der Prozessor ist eingerichtet, die an den Zwischenspeicher gesendeten Daten zu verarbeiten, Umfeldmodelldaten zu erzeugen, die Umfeldmodelldaten in den Zwischenspeicher zu schreiben und an das zweite Fahrzeug zu senden.
-
Das Dokument
DE 10 2013 017 626 A1 offenbart ein Verfahren zur Warnung weiterer Verkehrsteilnehmer vor Fußgängern durch ein Kraftfahrzeug mit wenigstens einem Umfelderfassungsmittel, wenigstens einem optischen und/oder akustischen Warnmittel zur Hinweisgabe an weitere Verkehrsteilnehmer und einer Steuereinrichtung. Dabei werden Umfelddaten durch das Umfelderfassungsmittel erfasst. Zudem werden Umfelddaten durch die Steuereinrichtung ausgewertet. Ferner wird wenigstens eine Auslösebedingung geprüft, falls ein Fußgänger in den Umfelddaten erkannt wird. Schließlich wird das Warnmittel bei Erfüllung der Auslösebedingung angesteuert.
-
Es ist Aufgabe der vorliegenden Erfindung, eine Lösung aufzuzeigen, wie die Erkennung vulnerabler Verkehrsteilnehmer und damit eine Überwachung eines Umgebungsbereichs eines Fahrzeugs verbessert werden kann.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Assistenzsystem, durch eine Datenaustauschvorrichtung sowie durch ein System mit den Merkmalen gemäß den unabhängigen Ansprüchen gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen angegeben.
-
Ein erfindungsgemäßes Verfahren zum Überwachen eines Umgebungsbereichs eines Fahrzeugs umfasst das Empfangen von Sensordaten von zumindest einem Sensor eines Assistenzsystems des Fahrzeugs, welche den Umgebungsbereich des Fahrzeugs zu einem Messzeitpunkt beschreiben. Zusätzlich umfasst das Verfahren das Übertragen von Umfeldmodelldaten von einer Datenaustauschvorrichtung an das Assistenzsystem, wobei die Umfeldmodelldaten zumindest einen Teil des Umgebungsbereichs des Fahrzeugs beschreiben. Darüber hinaus umfasst das Verfahren das Erkennen von vulnerablen Verkehrsteilnehmern in dem Umgebungsbereich anhand der Sensordaten und der Umfeldmodelldaten. Hierbei werden bei dem erfindungsgemäßen Verfahren die Umfeldmodelldaten von der Datenaustauschvorrichtung fortlaufend generiert und an das Assistenzsystem übertragen. Ferner werden bei dem erfindungsgemäßen Verfahren die Umfeldmodelldaten derart generiert, dass diese nur statische Objekte in dem zumindest einen Teil des Umgebungsbereichs beschreiben. Schließlich umfasst das Erkennen der vulnerablen Verkehrsteilnehmer eine Bestimmung von charakteristischen Unterscheidungsmerkmalen zwischen den Sensordaten und den Umfeldmodelldaten.
-
Das erfindungsgemäße Verfahren dient also der Überwachung des Umgebungsbereichs des Fahrzeugs. Innerhalb des Umgebungsbereichs sollen so weitere Verkehrsteilnehmer und insbesondere vulnerable Verkehrsteilnehmer erkannt werden. Dem Verfahren liegt die Idee zugrunde, eine Erkennung der vulnerablen Verkehrsteilnehmer mittels zusätzlicher Umfeldmodelldaten, welche ein statisches Umfeld bzw. statische Objekte in dem zumindest einen Teil des Umgebungsbereichs beschreiben, zu verbessern.
-
Dabei kann das Assistenzsystem des Fahrzeugs Sensordaten empfangen. Diese Sensordaten können beispielsweise von einem Radar-, Lidar- und/oder einem Ultraschall-Sensor stammen. Die Sensordaten können dabei in Form einer Punktewolke und/oder einer Objektliste vorliegen. Stammen die Sensordaten beispielsweise von einem Lidar-Sensor, so kann der Umgebungsbereich des Fahrzeugs zu dem Messzeitpunkt durch eine Vielzahl von Reflexionspunkten beschrieben werden. Die Reflexionspunkte werden wiederum zu einer so genannten Punktewolke zusammengefasst. Typischerweise kann ein Reflexionspunkt durch eine Laufzeitmessung eines ausgesendeten Laserstrahls, welcher an einem Objekt in dem Umgebungsbereich des Fahrzeugs reflektiert wird, bestimmt werden. Die Sensordaten können auch von einer Kamera stammen und in Form von Bilddaten bereitgestellt werden. Die Sensordaten können den Umgebungsbereich im optischen Wellenlängenbereich und/oder im infraroten Wellenlängenbereich beschreiben.
-
Neben den Sensordaten kann das Assistenzsystem Umfeldmodelldaten von der Datenaustauschvorrichtung empfangen. Die Umfeldmodelldaten können beispielsweise denselben Umgebungsbereich des Fahrzeugs beschreiben wie die Sensordaten. Ebenso ist es jedoch auch möglich, dass die Umfeldmodelldaten nur einen Teil des Umgebungsbereichs des Fahrzeugs beschreiben. Hervorzuheben ist, dass die Umfeldmodelldaten nur bzw. ausschließlich statische Objekte beschreiben. Statische Objekte können beispielsweise Mauern, Häuser, Lichtsignalanlagen oder Bäume sein. Zudem können parkende Fahrzeuge bzw. stillstehende Fahrzeuge statische Objekte darstellen. Anhand der empfangenen Umfeldmodelldaten ist dem Assistenzsystem des Fahrzeugs zumindest ein Teil des Umgebungsbereichs des Fahrzeugs, insbesondere das statische Umfeld, bekannt. Anhand der von dem Sensor des Assistenzsystems des Fahrzeugs erfassten Sensordaten in Kombination mit den zuvor beschriebenen (statischen) Umfeldmodelldaten können vulnerable Verkehrsteilnehmer, wie beispielsweise Fußgänger, Fahrradfahrer, Tiere und andere schützenswerte Objekte, insbesondere im unübersichtlichen Stadtverkehr frühzeitig erkannt werden.
-
Die von der Datenaustauschvorrichtung an das Assistenzsystem des Fahrzeugs übertragenen Umfeldmodelldaten werden stets aktualisiert, also insbesondere fortlaufend generiert. Beispielsweise können die Umfeldmodelldaten mittels Sensordaten von weiteren Fahrzeugen bzw. weiteren Verkehrsteilnehmern, welche den Umgebungsbereich des Fahrzeugs bereits zu einem früheren Zeitpunkt erfasst haben, generiert werden. Es ist also möglich, dass Verkehrsteilnehmer, welche den Umgebungsbereich des Fahrzeugs bereits zu einem früheren Zeitpunkt erfasst haben, deren Daten der Datenaustauschvorrichtung zur Verfügung stellen. Die Datenaustauschvorrichtung kann somit beispielsweise durch eine Mittelung oder aber auch mittels komplexer Fusionsalgorithmen das statische Umfeld in dem Umgebungsbereich bestimmen. Somit ist denkbar, dass die Datenaustauschvorrichtung die von den weiteren Verkehrsteilnehmern zur Verfügung gestellten Daten fusioniert und/oder nicht-statische Objekte entfernt und so Umfeldmodelldaten generiert, welche das statische Umfeld des Fahrzeugs in dem zumindest einen Teil des Umgebungsbereichs beschreiben.
-
Derart generierte Umfeldmodelldaten können nun dazu verwendet werden, um die vulnerablen Verkehrsteilnehmer bereits frühzeitig und zuverlässig zu erkennen. Dies kann beispielsweise durch die Bestimmung von charakteristischen Unterscheidungsmerkmalen zwischen den Sensordaten und den Umfeldmodelldaten erfolgen. Ein charakteristisches Unterscheidungsmerkmal kann dabei beispielsweise durch einen Abgleich der aus den Sensordaten abgeleiteten Konturen bzw. Formen und den aus den Umfeldmodelldaten abgeleiteten Formen bzw. Konturen bestimmt werden.
-
Darüber hinaus kann auch mit dem erfindungsgemäßen Verfahren implizit auf vulnerable Verkehrsteilnehmer bzw. dynamische schützenswerte Objekte geschlossen werden. Können beispielsweise einzelne statische Objekte von dem zumindest einen Sensor des Assistenzsystems des Fahrzeugs nicht erfasst werden, weil sich ein nicht-statisches Objekt zwischen dem Sensor und dem statischen Objekt befindet, die Reflektivitätseigenschaften des nicht-statischen Objekts derart beschaffen sind, dass das nicht-statische Objekt nicht erfasst und/oder nicht klassifiziert werden kann, so kann aufgrund der Umfeldmodelldaten auf das dazwischenliegende nicht-statische Objekt implizit geschlossen werden. Diese zusätzliche Information kann auch als impliziter Erkenntnisgewinn für das Assistenzsystem des Fahrzeugs bezeichnet werden. Das Erkennen der vulnerablen Verkehrsteilnehmer mittels des impliziten Erkenntnisgewinns ist vergleichbar mit einer indirekten Beobachtung von Exoplaneten, welche nur aufgrund ihres gravitativen Einflusses auf deren Zentralgestirn beobachtbar sind.
-
Die charakteristischen Unterscheidungsmerkmale können allgemein einen Unterschied zwischen den Umfeldmodelldaten und den Sensordaten beschreiben. Die charakteristischen Merkmale können den dynamischen Objekten in dem Umgebungsbereich und insbesondere den vulnerablen Verkehrsteilnehmern, zugeordnet werden. Die charakteristischen Unterscheidungsmerkmale und hiermit die vulnerablen Verkehrsteilnehmer können somit innerhalb einer kurzen Zeitdauer und mit geringem Rechenaufwand erkannt werden.
-
In einer vorteilhaften Ausgestaltungsform werden die Umfeldmodelldaten mittels Daten von zumindest zwei weiteren Quellen, welche innerhalb eines Aufzeichnungszeitraums aufgezeichnet wurden, generiert. Beispielsweise kann es sich bei den zumindest zwei weiteren Quellen um zusätzliche Verkehrsteilnehmer, wie Fahrzeuge oder Motorräder handeln. Die Quellen können beispielsweise von den Sensordaten einer Fahrzeugflotte stammen. Diese Daten der weiteren Quellen können online aggregiert werden. Insbesondere können die Umfeldmodelldaten die momentan erwarteten Sensormesswerte einer örtlichen Umgebung (ohne bewegte dynamische Objekte) widerspiegeln. Zudem ist denkbar, dass Daten von Sensoren, welche an Infrastrukturelementen angebracht sind, verwendet werden. Mit anderen Worten können also Umfeldmodelldaten auch mittels Daten von Sensoren, welche zur Überwachung des Verkehrsgeschehens verwendet werden, generiert werden. Ebenso ist eine Kombination der Daten von den unterschiedlichen genannten Quellen möglich. Die Umfeldmodelldaten können also beispielsweise mittels Daten von zumindest einem weiteren Fahrzeug und einem Sensor, welcher an einer Lichtsignalanlage oder dergleichen angebracht ist, generiert werden.
-
Es kann auch vorgesehen sein, dass die Umfeldmodelldaten für unterschiedliche Typen von Sensoren bestimmt und/oder bereitgestellt werden. Beispielsweise können die Umfeldmodelldaten für Radar-, Lidar-, Ultraschall-Sensoren und/oder Kameras bereitgestellt werden. Insbesondere können Umfeldmodelldaten so generiert werden, dass dabei ausschließlich Daten von den zumindest zwei weiteren Quellen berücksichtigt werden, welche einen vorgegebenen Typ von Sensor aufweisen. Je nach Ausstattung des Assistenzsystems bzw. des Fahrzeugs können dann die passenden Umfeldmodelldaten an das Fahrzeug übertragen werden. Wenn das Assistenzsystem bzw. das Fahrzeug als Sensor nur eine Kamera umfasst, können auch Umfeldmodelldaten an das Assistenzsystem übertragen werden, welche auf Grundlage von Kameras von anderen Quellen bestimmt wurden. Somit können die charakteristischen Unterscheidungsmerkmale mit geringem Aufwand bestimmt werden.
-
Dadurch kann der Umgebungsbereich des Fahrzeugs oder zumindest ein Teil des Umgebungsbereichs des Fahrzeugs vorab durch die Umfeldmodelldaten beschrieben werden. Anschließend können die Umfeldmodelldaten dem Fahrzeug bzw. dem Assistenzsystem des Fahrzeugs zur Verfügung gestellt werden. Folglich kann das Assistenzsystem des Fahrzeugs vorab Informationen zu dem zumindest einen Teil des Umgebungsbereichs des Fahrzeugs erhalten.
-
Vorteilhaft dabei ist, wenn der Messzeitpunkt der Sensordaten zeitlich auf den Aufzeichnungszeitraum der Daten der zumindest zwei weiteren Quellen folgt. Mit anderen Worten ist es von Vorteil, wenn die zumindest zwei weiteren Quellen den Umgebungsbereich des Fahrzeugs bzw. einen Teil des Umgebungsbereichs des Fahrzeugs bereits zu einem früheren Zeitpunkt mit deren Sensoren erfasst haben. Somit können mit den Daten der zumindest zwei weiteren Quellen Umfeldmodelldaten generiert werden, welche nur statische Objekte in dem zumindest einen Teil des Umgebungsbereichs beschreiben. Anschließend können diese Umfeldmodelldaten von der Datenaustauschvorrichtung an das Assistenzsystem übertragen werden und dem Assistenzsystem des Fahrzeugs somit vorab Informationen zu den statischen Objekten in dem zumindest einen Teil des Umgebungsbereichs liefern.
-
Dadurch kann bereits frühzeitig auf eventuell auftretende Herausforderungen reagiert werden. Beispielsweise kann so ein Fahrer des Fahrzeugs in komplexen innerstädtischen Szenarien vorgewarnt werden. Sofern das Fahrzeug sich in einem zumindest teilautomatisierten Fahrmodus befindet und aufgrund der Umfeldmodelldaten zu erwarten ist, dass die bevorstehende Verkehrssituation (zu) komplex ist und ohne einen Eingriff eines Fahrers des Fahrzeugs kein sicheres manövrieren möglich ist, so kann also bereits frühzeitig eine Aufforderung zur Übernahme des Steuers, ein sogenannter Hands-On-Request, ausgegeben werden.
-
Darüber hinaus ist es von Vorteil, wenn der Aufzeichnungszeitraum der Daten der zumindest zwei weiteren Quellen innerhalb eines vorbestimmten Maximalzeitraums liegt. Passieren beispielsweise dutzende weitere Verkehrsteilnehmer, welche Daten an die Datenaustauschvorrichtung senden, den Umgebungsbereich des Fahrzeugs vorab, so können sich die statischen Objekte in dem zumindest einen Teil des Umgebungsbereichs ändern. Beispielsweise kann also ein parkendes Fahrzeug zu einem späteren Zeitpunkt bereits nicht mehr vor Ort sein. Mittels eines vorbestimmten Maximalzeitraums können statische Objekte, die nur temporär statisch sind, berücksichtigt werden. Es kann also von Vorteil sein, dass beispielsweise in einem stark befahrenen Bereich, wie beispielsweise in einer Innenstadt, nur diejenigen Daten von den zumindest zwei weiteren Quellen zur Generierung der Umfeldmodelldaten verwendet werden, welche innerhalb der letzten 30 Minuten aufgezeichnet wurden. Ebenso denkbar ist aber auch ein vorbestimmter Maximalzeitraum von 5 Minuten, 60 Minuten und/oder mehreren Stunden.
-
Darüber hinaus ist es vorteilhaft, wenn beim Bestimmen der charakteristischen Unterscheidungsmerkmale zum Erkennen der vulnerablen Verkehrsteilnehmer ein Abgleich der aus den Umfeldmodelldaten abgeleiteten Formen bzw. Konturen mit den aus den Sensordaten abgeleiteten Formen bzw. Konturen durchgeführt wird. Werden beispielsweise als die Sensordaten Lidar-Punktewolken verwendet, so kann unter einem bestimmten Beobachtungswinkel ein parkendes Fahrzeug am Straßenrand beispielsweise durch eine Vielzahl von einzelnen Reflexionspunkten beschrieben werden. Derartige Reflexionspunkte können beispielsweise L-förmig und/oder I-förmig angeordnet sein. In diesem Beispiel können also L- und I-förmige Konturen aus den Sensordaten abgeleitet werden. Analog dazu können derartige Konturen bzw. Formen aus den Umfeldmodelldaten abgeleitet werden.
-
Durch einen Abgleich der Formen bzw. Konturen kann so in einer vorteilhaften Weise auf zusätzliche Objekte geschlossen werden. Kann beispielsweise ein Reflexionspunkt keinem statischen Objekt der Umfeldmodelldaten zugeordnet werden bzw. kann ein Reflexionspunkt keiner der aus den Umfeldmodelldaten abgeleiteten Formen bzw. Konturen zugeordnet werden, so kann dies auf ein nicht-statisches Objekt hindeuten. Dabei ist es von besonderem Vorteil, wenn der nicht zugeordnete Reflexionspunkt bzw. der nicht zugeordnete Punkt der Lidar-Punktewolke allein nicht ausreicht, um das nicht-statische Objekt zu erkennen und/oder zu klassifizieren. Durch einen derartigen Abgleich können also insbesondere die vulnerablen Verkehrsteilnehmer, die mit einer sensor- und/oder fahrzeuginternen Objekterkennung nicht erkannt und/oder klassifiziert werden können, frühzeitig und zuverlässiger erkannt und/oder klassifiziert werden.
-
Bei einer weiteren Ausgestaltungsform erhöht sich ein im Zuge einer fahrzeuginternen Objekterkennung bestimmter Konfidenzwert für einen der vulnerablen Verkehrsteilnehmer, falls sich der durch die Sensordaten beschriebene vulnerable Verkehrsteilnehmer zwischen dem Sensor und einem durch die Umfeldmodelldaten beschriebenen Objekt befindet, wobei das durch die Umfeldmodelldaten beschriebene Objekt höchstens teilweise durch die Sensordaten beschrieben wird. Mit anderen Worten kann es vorkommen, dass sich ein nicht-statisches Objekt bzw. ein vulnerabler Verkehrsteilnehmer zwischen dem Sensor und einem statischen Objekt befindet. Infolgedessen kann das statische Objekt nicht oder nicht vollständig erfasst bzw. nicht klassifiziert werden. Ist der vulnerable Verkehrsteilnehmer bzw. das nicht-statische Objekt zudem physikalisch derart beschaffen, dass es nur schwer, eingeschränkt bzw. gar nicht für die fahrzeuginterne Objekterkennung erfassbar und/oder klassifizierbar ist, so kann es zu einer verkehrskritischen Situation kommen. Dies kann beispielsweise dann der Fall sein, wenn der vulnerable Verkehrsteilnehmer Radar-, Lidarstrahlen absorbiert oder im Falle einer Kamera bei schlechten Sichtverhältnissen und entsprechender Kleidung des vulnerablen Verkehrsteilnehmers.
-
Die fahrzeuginterne Objekterkennung ordnet jedem erkannten Objekt typischerweise einen Konfidenzwert bzw. eine Existenzwahrscheinlichkeit zu. Der Wert kann angeben, wie zuverlässig die Sensormessung und/oder die Klassifizierung ist. Dabei kann es aufgrund zahlreicher Faktoren, wie beispielsweise der physikalischen Beschaffenheit des vulnerablen Verkehrsteilnehmers und seinen damit verbundenen Reflexionseigenschaften und/oder seiner damit verbundenen Sichtbarkeit bei entsprechenden Sichtverhältnissen, vorkommen, dass ein vulnerabler Verkehrsteilnehmer bzw. ein nicht-statisches Objekt gar nicht erkannt oder zwar ansatzweise erkannt wird, aber einen sehr niedrigen Konfidenzwert zugewiesen bekommt. Dies kann dazu führen, dass das Objekt zunächst ignoriert wird, um keine Falschauslösung von Funktionen zu riskieren. Durch den Abgleich der Sensordaten und der Umfeldmodelldaten kann die Erkennung der vulnerablen Verkehrsteilnehmer verbessert werden, weil aufgrund des verdeckten statischen Objekts der vulnerable Verkehrsteilnehmer zusätzlich implizit bestätigt werden kann. Der Konfidenzwert kann also in diesem Fall erhöht werden. Ferner ist auch denkbar, dass so erstmals eine Objektbildung aus Sicht des Assistenzsystems erfolgt. Mit anderen Worten wird also durch das Nichterfassen statischer Objekte in diesem Fall ein impliziter Erkenntnisgewinn über ein nicht-statisches Objekt, also den vulnerablen Verkehrsteilnehmer, erzielt.
-
Schließlich ist vorteilhaft, wenn die Bestimmung von charakteristischen Unterscheidungsmerkmalen zwischen den Sensordaten und den Umfeldmodelldaten zum Erkennen der vulnerablen Verkehrsteilnehmer unterbleibt, sofern ein im Zuge einer fahrzeuginternen Objekterkennung bestimmter Konfidenzwert für die vulnerablen Verkehrsteilnehmer einen vorgegebenen Plausibilitätsschwellenwert überschreitet. Kann ein vulnerabler Verkehrsteilnehmer bereits zuverlässig mit der fahrzeuginternen Objekterkennung auf Grundlage der Sensordaten alleine erfasst und/oder klassifiziert werden, so kann auf den zuvor beschriebenen impliziten Erkenntnisgewinn verzichtet werden. Ob ein vulnerabler Verkehrsteilnehmer zuverlässig erfasst und/oder klassifiziert wird, kann mittels eines Konfidenzwerts bzw. einer Existenzwahrscheinlichkeit, welcher eine Zuverlässigkeit einer Klassifizierung und/oder einer Sensormessung angibt, beschrieben werden.
-
Typischerweise kann der Konfidenzwert im Bereich zwischen 0 und 1 bzw. im Bereich von 0% bis 100% liegen. Überschreitet der Konfidenzwert eine vorgegebene Schwelle, also den Plausibilitätsschwellenwert, so kann für gewöhnlich die Sensormessung und/oder der Objektklassifizierung als ausreichend zuverlässig eingestuft werden. Beispielsweise kann der Plausibilitätsschwellenwert bei 0,7 bzw. bei 70% liegen. Wird ein vulnerabler Verkehrsteilnehmer bzw. ein nicht-statisches Objekt von dem Sensor erfasst und klassifiziert, wobei der Konfidenzwert 0,8 bzw. 80% beträgt, so kann auf einen impliziten Erkenntnisgewinn mittels eines Abgleichs der Sensordaten mit den Umfeldmodelldaten verzichtet werden. Mit anderen Worten kann also die Bestimmung von charakteristischen Unterscheidungsmerkmalen zwischen den Sensordaten und den Umfeldmodelldaten zum Erkennen des vulnerablen Verkehrsteilnehmers in diesem Fall unterbleiben.
-
Ein weiterer Aspekt der Erfindung betrifft ein Assistenzsystem für ein Fahrzeug zum Überwachen eines Umgebungsbereichs des Fahrzeugs. Das Assistenzsystem umfasst einen Sensor zum Bereitstellen von Sensordaten, welche den Umgebungsbereich des Fahrzeugs zu einem Messzeitpunkt beschreiben. Ferner umfasst das Assistenzsystem eine Kommunikationseinrichtung zum Empfangen von Umfeldmodelldaten von einer Datenaustauschvorrichtung, wobei die Umfeldmodelldaten zumindest einen Teil des Umgebungsbereichs des Fahrzeugs beschreiben. Schließlich umfasst das Assistenzsystem ein Steuergerät zum Erkennen von vulnerablen Verkehrsteilnehmern in dem Umgebungsbereich anhand der Sensordaten und der Umfeldmodelldaten, wobei das Erkennen der vulnerablen Verkehrsteilnehmer eine Bestimmung von charakteristischen Unterscheidungsmerkmalen zwischen den Sensordaten und den Umfeldmodelldaten umfasst.
-
Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug mit einem erfindungsgemäßen Assistenzsystem. Das Fahrzeug kann insbesondere als Personenkraftwagen ausgebildet sein.
-
Ein weiterer Aspekt der Erfindung betrifft eine fahrzeugexterne Datenaustauschvorrichtung umfassend eine Recheneinrichtung zum fortlaufenden Generieren von Umfeldmodelldaten, welche nur statische Objekte in zumindest einem Teil eines Umgebungsbereichs eines Fahrzeugs beschreiben. Zudem umfasst die Datenaustauschvorrichtung eine Sendeeinrichtung zum Übertragen der Umfeldmodelldaten an ein Assistenzsystem eines Fahrzeugs.
-
Ein weiterer Aspekt der Erfindung betrifft ein System zum Durchführen eines erfindungsgemäßen Verfahrens zum Überwachen eines Umgebungsbereichs eines Fahrzeugs umfassend ein erfindungsgemäßes Assistenzsystem und eine erfindungsgemäße Datenaustauschvorrichtung.
-
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für die erfindungsgemäße Datenaustauschvorrichtung, das erfindungsgemäße Assistenzsystem, das erfindungsgemäße Fahrzeug sowie für das erfindungsgemäße System zum Durchführen eines erfindungsgemäßen Verfahrens zum Überwachen eines Umgebungsbereichs eines Fahrzeugs.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
-
Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. Dabei zeigen:
- 1 eine innerstädtische Verkehrssituation, bei der ein Fahrzeug mittels eines Sensors einen Umgebungsbereich erfasst,
- 2 eine Darstellung von Umfeldmodelldaten gemäß der Verkehrssituation aus 1, wobei die Umfeldmodelldaten nur statische Objekte beschreiben,
- 3 eine Darstellung des Abgleichs der Sensordaten gemäß 1 mit den Umfeldmodelldaten gemäß 2,
- 4 eine schematische Darstellung eines Systems zum Durchführen eines Verfahrens zum Überwachen eines Umgebungsbereichs eines Fahrzeugs umfassend ein Assistenzsystem und eine Datenaustauschvorrichtung.
-
In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
-
1 zeigt in einer schematischen Darstellung eine innerstädtische Verkehrssituation in Draufsicht. Dabei bewegt sich ein Fahrzeug 1, welches als Personenkraftwagen ausgebildet ist, in Fahrtrichtung auf einer Straße 2. Das Fahrzeug 1 umfasst einen Sensor 3, welcher einen Umgebungsbereich 4 des Fahrzeugs 1 zu einem Messzeitpunkt erfasst. Der Sensor 3 kann in diesem Beispiel als Radar- oder Lidar-Sensor ausgebildet sein. Der Umgebungsbereich 4 des Fahrzeugs 1 wird mittels Sensordaten 5, welche in Form von Reflexionspunkten dargestellt sind, beschrieben. Die Reflexionspunkte werden wiederum zu einer so genannten Punktewolke zusammengefasst, welche in diesem Beispiel die Sensordaten 5 bildet. Typischerweise kann einer der Reflexionspunkte der Punktewolke/Sensordaten 5 durch eine Laufzeitmessung einer ausgesendeten elektromagnetischen Welle, welche an einem Objekt in dem Umgebungsbereich 4 des Fahrzeugs 1 reflektiert wird, bestimmt werden.
-
Ferner sind auf der linken Fahrbahn der Straße 2 parkende Fahrzeuge 6 dargestellt. Zwischen den parkenden Fahrzeugen 6 befindet sich zudem ein Fußgänger 7. Der Fußgänger 7 wird mittels eines Reflexionspunktes 5`, welcher Teil der Sensordaten 5 ist, beschrieben. In Fahrtrichtung vor dem Fahrzeug 1 befindet sich ein Fahrradfahrer 8, welcher mittels eines Reflexionspunktes 5" der Sensordaten des Sensors 3 beschrieben wird. Zudem verdeckt der Fahrradfahrer 8, welcher sich zwischen dem Sensor 3 und einem Haus 9 befindet, die Sicht des Sensors 3 auf einen Teil des Hauses 9. Diese Verdeckung ist durch einen schraffierten Bereich 4' dargestellt. Darüber hinaus befindet sich ein Baum 10 neben dem Fahrzeug 1.
-
Bei den parkenden Fahrzeugen 6, dem Haus 9 und dem Baum 10 handelt es sich um statische Objekte. Bei dem Fußgänger 7 und dem Fahrradfahrer 8 handelt es sich um nicht-statische Objekte. Da diese nicht-statischen Objekte gegenüber dem Fahrzeug 1 relativ ungeschützt sind, spricht man auch von vulnerablen Verkehrsteilnehmern.
-
Um die Erkennung der vulnerablen Verkehrsteilnehmer durch das Assistenzsystems 11 des Fahrzeugs 1 zu verbessern, kann das Assistenzsystem 11 des Fahrzeugs 1 zusätzlich zu den Sensordaten 5 Umfeldmodelldaten, welche nur die statischen Objekte, also beispielsweise die parkenden Fahrzeuge 6, das Haus 9 und den Baum 10, von zumindest einem Teil des Umgebungsbereich 4 des Fahrzeugs 1 beschreiben, von einer Datenaustauschvorrichtung 14 empfangen. Das Erkennen der vulnerablen Verkehrsteilnehmer, also des Fußgängers 7 und des Fahrradfahrers 8, kann mittels einer Bestimmung von charakteristischen Unterscheidungsmerkmalen zwischen den Sensordaten 5 und den Umfeldmodelldaten verbessert werden.
-
2 zeigt Umfeldmodelldaten gemäß der Verkehrssituation aus 1, wobei die Umfeldmodelldaten nur statische Objekte, also die parkenden Fahrzeuge 6, das Haus 9 und den Baum 10, beschreiben. Die Umfeldmodelldaten umfassen in dem gezeigten Beispiel einhüllende Quader 6' für die parkenden Fahrzeuge 6, einen einhüllenden Quader 9' für das Haus 9 sowie einhüllenden Quader 10' für den Baum 10, welche fortlaufend von einer Datenaustauschvorrichtung 14 an das Assistenzsystem 11 des Fahrzeugs 1 übertragen werden.
-
Die Umfeldmodelldaten werden fortlaufend von der Datenaustauschvorrichtung 14 generiert und sind somit immer auf einem aktuellen Stand. Insbesondere kann so auch berücksichtigt werden, dass eines der parkenden Fahrzeuge 6 gegebenenfalls nur kurzzeitig parkt. Die Umfeldmodelldaten, umfassend Quader 6', 9' und 10', können beispielsweise mittels Daten von weiteren Fahrzeugen 1' oder aber auch mittels Daten von Sensoren, die an Infrastruktureinheiten angebracht sind und einen Teil des Umgebungsbereichs 4 des Fahrzeugs 1 bereits zu einem früheren Zeitpunkt erfasst haben, generiert werden.
-
Weitere Fahrzeuge 1' oder Sensoren von Infrastruktureinheiten, wie beispielsweise Lichtsignalanlagen oder Verkehrsüberwachungsanlagen, können der Datenaustauschvorrichtung 14 Daten zur Verfügung stellen. Die Datenaustauschvorrichtung 14 kann somit beispielsweise durch eine Mittelung der Daten das statische Umfeld, umfassend die parkenden Fahrzeuge 6, das Haus 9 und den Baum 10, in dem zumindest einen Teil des Umgebungsbereichs 4 des Fahrzeugs 1 bestimmen.
-
Derart generierte Umfeldmodelldaten können nun dazu verwendet werden, um die vulnerablen Verkehrsteilnehmer, also beispielsweise den Fußgänger 7 und/oder den Fahrradfahrer 8, bereits frühzeitig und zuverlässig zu erkennen.
-
3 zeigt eine Darstellung des Abgleichs der Sensordaten 5 gemäß 1 mit den Umfeldmodelldaten, also den Quadern 6', 9' und 10', gemäß 2. Zusätzlich ist ein Bereich 9" des Hauses 9, bzw. ein Bereich 9'' des einhüllenden Quaders 9`, welcher als Teil der Umfeldmodelldaten das Haus 9 beschreibt, durch eine dicke Linie hervorgehoben. Dieser Bereich 9" ist für den Sensor 3 des Fahrzeugs 1 durch den Fahrradfahrer 8 verdeckt.
-
Es kann vorkommen, dass Reflexionseigenschaften des Fußgängers 7 und/oder des Fahrradfahrers 8 derart beschaffen sind, dass der Fußgänger 7 und/oder der Fahrradfahrer 8 zwar durch einen Reflexionspunkt 5' bzw. 5'' als Teil der Sensordaten 5 beschrieben werden können, das Signal und/oder die Qualität der Sensormessung nicht ausreichen, um den Fußgänger 7 und/oder den Fahrradfahrer 8 zuverlässig zu erfassen bzw. zu klassifizieren.
-
Um die vulnerablen Verkehrsteilnehmer, also den Fußgänger 7 und/oder den Fahrradfahrer 8, dennoch zu erfassen und insbesondere zu klassifizieren, können die Sensordaten 5 mit den Umfeldmodelldaten abgeglichen werden. Dabei können aus den Sensordaten 5 Formen bzw. Konturen abgeleitet werden und mit den Formen bzw. Konturen der Umfeldmodelldaten verglichen werden. Weiterhin ist es möglich, dass möglichst jeder Reflexionspunkt einem Objekt der Umfeldmodelldaten, also beispielsweise einem der einhüllenden Quader 6', 9' und/oder 10', zugeordnet wird.
-
Es kann beispielsweise vorkommen, dass der Reflexionspunkt 5" keinem statischen Objekt der Umfeldmodelldaten zugeordnet werden kann bzw. dass der Reflexionspunkt 5" keinem der einhüllenden Quader 6', 9' und/oder 10' zugeordnet werden kann. Da jedoch der Bereich 9" von dem Sensor 3 nicht erfasst werden kann, kann dies implizit auf den Fahrradfahrer 8 hindeuten. Das erfindungsgemäße Verfahren verbessert in diesem Fall die Erkennung vulnerabler Verkehrsteilnehmer, insbesondere die Erkennung des Fahrradfahrers 8, und damit auch die Überwachung des Umgebungsbereichs 4 des Fahrzeugs 1.
-
In diesem Beispiel kann der Fahrradfahrer mit Hilfe eines impliziten Erkenntnisgewinns erfasst und/oder klassifiziert werden. Der implizite Erkenntnisgewinn ist hierbei an eine indirekte Beobachtung eines Exoplaneten angelehnt, welcher nur aufgrund der Helligkeitsschwankungen seines Zentralgestirns beobachtbar ist.
-
Analog dazu kann es beispielsweise vorkommen, dass der Reflexionspunkt 5` keinem statischen Objekt der Umfeldmodelldaten zugeordnet werden kann bzw. dass der Reflexionspunkt 5' keinem der einhüllenden Quader 6', 9' und/oder 10' zugeordnet werden kann. Da jedoch die statischen Objekte, also die parkenden Fahrzeuge 6, das Haus 9 und der Baum 10, dem Assistenzsystem 11 des Fahrzeugs 1 aufgrund der Umgebungsmodelldaten bekannt sind, kann die Erfassung und/oder die Klassifizierung des Fußgängers 7 ebenfalls verbessert werden. Alternativ oder zusätzlich kann bereits frühzeitig auf den Fußgänger 7 reagiert werden. Beispielsweise kann so ein Fahrer des Fahrzeugs 1 vorgewarnt werden. Ebenso ist eine Aufforderung zur Übernahme des Steuers des Fahrzeugs 1 durch den Fahrer in Form eines sogenannten Hands-On-Requests denkbar. Dies gilt ebenso im Fall weiterer vulnerabler Verkehrsteilnehmer.
-
4 zeigt eine schematische Darstellung eines Systems zum Durchführen eines Verfahrens zum Überwachen eines Umgebungsbereichs 4 des Fahrzeugs 1. Das Fahrzeug 1 umfasst ein Assistenzsystem 11. Das Assistenzsystem 11 umfasst einen Sensor 3, eine Kommunikationseinrichtung 12 sowie ein Steuergerät 13 zum Erkennen von vulnerablen Verkehrsteilnehmern.
-
Eine Datenaustauschvorrichtung 14 umfasst eine Recheneinrichtung 15 und eine Sendeeinrichtung 16 zum Übertragen der Umfeldmodelldaten an ein Assistenzsystem 11 eines Fahrzeugs 1. Dabei können die Umfeldmodelldaten mittels Daten von zumindest zwei weiteren Quellen, hier dargestellt in Form von weiteren Fahrzeugen 1', generiert werden. Die weiteren Fahrzeuge 1' umfassen dabei zumindest einen Umfeldsensor 3', beispielsweise einen Radar-, Lidar- und/oder einen Ultraschall-Sensor und/oder eine Kamera, sowie eine zusätzliche Sendeeinrichtung 16, um die Daten der Umfeldsensoren 3' bzw. des Umfeldsensors 3' der Datenaustauschvorrichtung 14 bereitzustellen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102016218934 A1 [0004]
- DE 102018220018 A1 [0005]
- DE 102018221933 A1 [0006]
- DE 102013017626 A1 [0007]
