-
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Umfeldmodellierung, insbesondere in einem Fahrerassistenzsystem in einem Fahrzeug, aufweisend ein erstes Sensorsystem, das Objekte im Fahrzeugumfeld detektiert und Sensordaten ausgibt, ein Verarbeitungssystem, dem die Sensordaten zugeführt werden und das mit Hilfe der Sensordaten die detektierten Objekte klassifiziert und lokalisiert, eine Kommunikationseinrichtung, über die weitere Sensordaten übertragen werden, und die die übertragenen Sensordaten dem Verarbeitungssystem zuführt, wobei die übertragenen weiteren Sensordaten Objekte im Fernfeld des ersten Sensorsystems sind und mittels den weiteren Sensordaten die Klassifizierung und die Lokalisierung der Objekte im Fernfeld des ersten Sensorsystems erfolgt, indem die übertragenen Daten eine Klassifizierung und Lokalisierung der Objekte im Fernfeld mit hoher Genauigkeit erfolgt.
-
Stand der Technik
-
Aus der
DE 10 2017 203 944 A1 ist ein Verfahren zum Klassifizieren eines Objekts in einem Umfeld eines Kraftfahrzeugs bekannt, bei welchem das Objekt mit einem Umfeldsensor des Kraftfahrzeugs erfasst wird und zumindest ein Merkmal des Objekts bestimmt wird, wobei das Merkmal mit zumindest einem Referenzmerkmal verglichen wird und anhand des Vergleichs ein Ähnlichkeitswert bestimmt wird, wobei das Objekt einer das Referenzmerkmal aufweisenden vorbestimmten Objektklasse zugeordnet wird, falls der Ähnlichkeitswert größer als ein Ähnlichkeitsgrenzwert ist, wobei eine von der vorbestimmten Objektklasse unterschiedliche neue Objektklasse anhand des Merkmals erzeugt wird und das Objekt der neuen Objektklasse zugeordnet wird, falls der Ähnlichkeitswert kleiner als der Ähnlichkeitsgrenzwert ist.
-
Offenbarung der Erfindung
-
Der Kern der vorliegenden Erfindung ist es, eine Umfelddetektion zur Erkennung von Objekten im Umfeld eines Sensors, insbesondere für Fahrerassistenzsysteme in einem Fahrzeug, zu verbessern. Dies wird erreicht, indem eine verbesserte Klassifikation und Lokalisierung, insbesondere für Objekte im Fernfeld des Fahrzeugs, ermöglicht wird, indem für die fernen Objekte Information mit höherer Genauigkeit bereitgestellt wird, als es das eigene, insbesondere das fahrzeugeigene Sensorsystem bereitstellen kann.
-
Erfindungsgemäß wird dieses durch die Merkmale der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen und Ausgestaltungen ergeben sich aus den Unteransprüchen.
-
Der Begriff des „Labels“ wird im Rahmen der vorliegenden Erfindung in dem Sinn verwendet, dass es sich um Annotationen also Beschreibungen und Zusatzinformation handelt, die Eigenschaften eines Objekts betreffen und die vertrauenswürdig sind. „Labeln“ bedeutet dabei, einem Objekt mindestens ein Label zuzuweisen.
Im Supervised Machine Learning werden mit „Labels“ die Kategorien von Daten bezeichnet, in die die Datensätze eingeordnet werden sollen.
Ohne Labels können Algorithmen wie Neuronale Netze nicht trainiert werden. Sie sind die Basis für die Optimierung des statistischen Modells auf eine „Aussage“. Fehlende Labels bedeuten daher, dass keine Optimierung vorgenommen werden kann
-
Vorteilhafterweise wird bei dem Verfahren zur Umfeldmodellierung ein erstes Sensorsystem eingesetzt, das Objekte im Sensorumfeld detektiert und Sensordaten ausgibt. Dabei kann die Umfeldmodellierung beispielsweise für eine nachgelagerte Assistenzfunktion oder Sicherheitsfunktion in einem Fahrzeug vorgesehen sein und ein fahrzeuggestütztes Sensorsystem verwendet werden.
-
Die Sensordaten des Sensorsystems werden einem Verarbeitungssystem zugeführt, das mit Hilfe der Sensordaten die detektierten Objekte klassifiziert und lokalisiert. Umso weiter die Objekte entfernt sind, umso schlechter sind zum einen die Messgenauigkeiten, zum anderen können nur noch wenige oder keine Objektfeatures detektiert werden, beispielsweise weil die Objekte aufgrund Ihrer Entfernung klein erscheinen, zum anderen auch da die weit entfernten Objekte von näheren Objekten teilweise verdeckt werden.
-
Daher werden über eine Kommunikationseinrichtung, weitere Sensordaten übertragen, und die übertragenen, weiteren Sensordaten dem Verarbeitungssystem zugeführt. Mittels der weiteren Sensordaten, die beispielsweise von einem weiteren, oder zweiten Sensorsystem stammen und vorzugsweise Objekte im Fernfeld des ersten Sensorsystems betreffen, wird die Klassifizierung und die Lokalisierung der Objekte durchgeführt. Durch die weiteren Sensordaten kann die Genauigkeit und Zuverlässigkeit der Klassifizierung und Lokalisierung sowie eines möglicherweise durchzuführenden Labelings der Objekte mit höherer Genauigkeit erfolgen als ohne die weiteren Sensordaten.
-
Ein Labeling von Sensordaten ist hierbei als ein Arbeitsschritt zu verstehen, bei dem Objekte aufgrund Ihrer Eigenschaften als einer bestimmten Klasse zugehörig erkannt und dieser Klasse zugeordnet werden. Diese Klassen können dabei unterschiedliche Eigenschaften haben, die im weiteren Objekttracking oder in der Planung der eigenen Bewegungsbahn bzw. Bewegungstrajektorie berücksichtigt werden. So haben Fußgänger meist eine nur geringe Bewegungsgeschwindigkeit, können sich aber ihre Bewegungsrichtung sehr spontan ändern. Lastkraftwagen können ihre Bewegungsrichtung meist nur langsam ändern, ebenso haben diese üblicherweise eine begrenzte Beschleunigungs-/Verzögerungsfähigkeit im Vergleich zu Zweirädern oder Personenkraftwagen. Bäume oder parkende Fahrzeuge sind beispielsweise ortsfeste Objekte, so dass diese sich auch im weiteren Verlauf des Tracking nicht bewegen werden oder in Ihrer Größe ändern werden.
-
Die Übertragung der weiteren Sensordaten zur Kommunikationseinrichtung kann dabei über eine Mobilfunkverbindung geschehen, oder über eine Verbindung zu einer Datencloud, beispielsweise eines speziellen Anbieters von Verkehrssensordaten, geschehen. Alternativ oder zusätzlich können die weiteren Sensordaten von einem oder mehreren anderen Verkehrsteilnehmern stammen, die ein Sensorsystem an Bord Ihres Fahrzeugs mitführen. Diese können sich im Bereich der fernen Objekte bezüglich des eigenen Fahrzeugs befinden, so dass das Sensorsystem des weiteren Verkehrsteilnehmers die fernen Objekte des eigenen Fahrzeugs sehr viel näher und detaillierter klassifizieren, lokalisieren und/oder labeln kann. Die weiteren Sensordaten können alternativ oder in Kombination auch von anderen Verkehrsteilnehmern stammen, die in der Vergangenheit und momentan an den fernen Objekten in nahem Abstand vorbeigefahren sind und dabei detaillierte und genaue Objektinformation detektieren konnten, die mit einem Zeitstempel abgespeichert werden. Diese Daten, die zwar nicht ganz aktuell sind, aber nur vor kurzer Zeit aufgenommen wurden, können in einer Datencloud zwischengespeichert werden und innerhalb einer nicht allzu langen Zeitdauer an Verkehrsteilnehmer abgegeben werden, für die die Verkehrsobjekte noch als ferne Objekte weit entfernt sind. Dies bietet sich insbesondere für Objekte an, die ortsfest sind und ihre Eigenschaften und Standort nicht oder nur sehr selten ändern.
-
Zur Beurteilung der Aktualität kann es weiterhin vorgesehen sein, dass die weiteren Sensordaten, die über die Kommunikationseinrichtung bereitgestellt werden, einen Zeitstempel Ihrer Erfassung aufweisen, so dass bei der Verarbeitung entschieden werden kann, ob diese noch als ausreichend aktuell betrachtet werden oder ob bereits neuere, weitere Sensordaten vorliegen.
-
Die nachgeordneten Fahrfunktionen können beispielsweise Bahnplanungsmodule sein, die eine zukünftige Bewegungstrajektorie für das Fahrzeug planen, die im Weiteren durch das Fahrzeug abgefahren werden soll. Dabei ist eine genaue Analyse des Verkehrsumfelds und der Verkehrsobjekte wichtig, da Objekte, die sich rasch in die Bewegungstrajektorie hineinbewegen können, beispielsweise Fußgänger, die die Fahrbahn überqueren, hinsichtlich eines Kollisionsrisikos berücksichtigt werden müssen und die geplante Fahrzeuggeschwindigkeit entsprechend angepasst werden muss oder die Bewegungstrajektorie einen mit einer Ausweichtrajektorie kurzfristig umgeplant werden muss.
-
Vorteilhafterweise stammen die übertragenen, weiteren Sensordaten von einem zweiten Sensorsystem. Diese wurden vorteilhafterweise von dem zweiten Sensormodul an eine Kommunikationseinrichtung des zweiten Sensorsystems weitergeleitet und mittels einer zweiten bzw. weiteren Funkübertragung an die Kommunikationseinrichtung des Fahrzeugs übertragen. Dabei kann eine Verarbeitung der weiteren Sensordaten zum Zweck der Klassifizierung und/oder der Lokalisierung an verschiedenen Stellen stattfinden, beispielsweise im zweiten Sensorsystem oder einen direkt nachgelagerten Verarbeitungseinrichtung oder in einer Verarbeitungseinrichtung in einem Vehicle Computer, also einer in einem Fahrzeug befindlichen zentrale Recheneinrichtung oder Zonensteuergerät, die für die Steuerung von Fahrzeugaufgaben vorgesehen ist oder in einer Datencloud, in der die Sensordaten zwischengespeichert werden und von mehreren Nutzern abgerufen werden können. Das spätere Labeln der zusammengeführten Objektdaten aus den Sensordaten des ersten Sensorsystems und des zweiten Sensorsystems geschieht dabei entweder in einer Verarbeitungseinrichtung der Datencloud oder im eigenen Fahrzeug, beispielsweise in einem Vehicle Computer bzw. in einer in dem Fahrzeug befindlichen zentrale Recheneinrichtung oder Zonensteuergerät.
-
Weiterhin ist es vorteilhaft, dass das erste Sensorsystem ein in einem Fahrzeug installiertes Sensorsystem ist. Vorteilhafterweise kann das zweite Sensorsystem ein ortsfest installiertes Sensorsystem sein. Es ist jedoch auch möglich, dass jedes der beiden Sensorsysteme in einem Fahrzeug installiert ist, so dass die Objekte, die von einem Fahrzeug in der Nähe passiert werden Daten generiert und zur Verfügung gestellt werden, die von einem anderen Fahrzeug, das in einem großen Abstand zum Objekt ist, diese Daten abrufen kann. Ebenfalls denkbar ist, dass beide Sensorsysteme ortsfest als Infrastrukturgebundene Sensorsysteme installiert sind oder Mischformen hieraus.
-
Weiterhin vorteilhaft ist es, dass das erste Sensorsystem mindestens einen oder mehrere Radarsensoren aufweist. Es ist jedoch auch möglich, dass das erste Sensorsystem aus einem oder mehreren Videosensoren besteht, oder aus einem oder mehreren Ultraschallsensoren besteht oder aus einem oder mehreren Lidarsensoren besteht oder das erste Sensorsystem eine Kombination aus diesen Sensorarten mit einer beliebigen Anzahl an Sensoren pro Sensorsystem gebildet wird.
Das zweite Sensorsystem kann ebenso aus einem oder mehreren Radarsensoren bestehen, aus einem oder mehreren Videosensoren bestehen, oder aus einem oder mehreren Ultraschallsensoren bestehen oder aus einem oder mehreren Lidarsensoren bestehen oder das zweite Sensorsystem kann aus einer Kombination aus diesen Sensorsystemen mit einer beliebigen Anzahl an Sensoren pro Sensorsystem gebildet sein. Für den Fall, dass als Objekteigenschaft die Oberflächentemperatur von Objekten detektiert werden soll, was beispielsweise die Erkennung von Personen und anderen Lebewesen in der Nacht ermöglicht, ist das erste Sensorsystem bzw. das zweite Sensorsystem jeweils mit mindestens einer Infrarot-sensiblen Kamera zu versehen.
-
Besonders vorteilhaft ist es, wenn das erste Sensorsystem aus mindestens einem oder mehreren Radarsensoren besteht und das zweite Sensorsystem aus mindestens einem oder mehreren Videosensoren besteht. Diese Kombination ist besonders vorteilhaft, da Radarsysteme in der Signalverarbeitung kostengünstig sind, gut im Fahrzeug verbaut werden können und eine große Detektionsreichweite haben und Videosensoren eine große Anzahl an Objekteigenschaften erkennen können und für den Schritt des Labelings besonders gut geeignet sind, weil sie für Menschen einfacher zu verstehen sind, z.B. im Vergleich zu Radardaten. Videosensoren können somit die Ausdehnung, Oberflächenbeschaffenheit und die Objektklasse sehr zuverlässig erkennen.
-
Weiterhin ist es vorteilhaft, dass die übertragenen, weiteren Sensordaten vor der Übertragung über die Kommunikationseinrichtung einer Klassifizierung und Lokalisierung der Objekte, die durch das zweite Sensorsystem erfasst wurden, zugeführt werden. Alternativ oder zusätzlich kann die Klassifizierungs- und Lokalisierungseinrichtung auch in der Datencloud untergebracht sein, wo alle Sensordaten aller Sensorsysteme auf einem leistungsfähigen Rechengerät, gegebenenfalls unter Verwendung einer gut trainierten Künstlichen Intelligenz, klassifiziert und/oder gelabelt und/oder lokalisiert werden. Ebenso ist es denkbar, dass die Klassifizierungs- und Lokalisierungseinrichtung zur Auswertung des zweiten Sensorsystems im Fahrzeug untergebracht ist, wo die Klassifizierungs- und Lokalisierungseinrichtung für das erste Sensorsystem bereits vorhanden ist und damit vorteilhaft auch zur Verarbeitung der Sensordaten des zweiten Sensorsystems genutzt werden kann.
Als weitere Variante ist es alternativ oder zusätzlich möglich, die Klassifizierungs- und Lokalisierungseinrichtung auch in den Sensoren des ersten und/oder zweiten Sensorsystems unterzubringen, so dass die Sensordaten und weiteren Sensordaten aller Sensoren unmittelbar nach Detektion in einem Rechengerät des Sensors, gegebenenfalls unter Verwendung einer gut trainierten Künstlichen Intelligenz, klassifiziert und/oder gelabelt und/oder lokalisiert werden. Viele Sensoren verfügen über Recheneinrichtungen, um Datenvorverarbeitungen und Filterungen zu realisieren, so dass in diesen „Smarten Sensoren“ auf die Klassifikation und/oder das Labeling und/oder die Lokalisierung durchgeführt werden kann.
-
Weiterhin ist es vorteilhaft, dass die Sensordaten und/oder die weiteren Sensordaten bezüglich der detektierten Objekte als ermittelte Größen
- - die Entfernung des Objekts zum erfassenden Sensorsystem,
- - der Winkel zum erfassenden Sensorsystem,
- - die Ausdehnung des Objektes,
- - die Geschwindigkeit des Objektes,
- - die Bewegungsrichtung des Objektes,
- - die Erfassungsgüte,
- - das Oberflächenmaterial des Objektes
- - den Radar-Rückstreuquerschnitt (RCS),
- - die Farbe,
- - die Oberflächentemperatur Temperatur
- - oder eine Kombination aus diesen Größen
aufweisen. Diese Aufzählung ist nicht abschließend zu verstehen, sondern kann ähnliche oder gleichwirkende Größen, die der Fachmann aufgrund seines Fachwissens erkennt, mit umfassen.
-
Weiterhin ist es vorteilhaft, dass die Klassifikation der Objekte und/oder das Labeln der Objekte eine Zuordnung ist, die aufgrund der Art des Objekts, dessen statischen und/oder dynamischen Eigenschaften und Beschaffenheiten diese einer Klasse gleichartiger oder gleichverhaltender Objekte zuordnet. Als Klassen kann es sich dabei beispielsweise um die Objektklassen,
- - Personenkraftwagen,
- - Lastkraftwagen,
- - Zweirad,
- - Fußgänger,
- - stehendes Objekt,
- - nicht-befahrbare Fläche,
- - Gebäude,
- - Fahrzeugmodell,
- - Fahrzeuggröße bzw. Fahrzeugmasse;
- - Art der Ladung bei Lastkraftwagen,
- - Anzahl Anhänger bei Lastkraftwagen,
- - Aufbau der Ladefläche bzw., des Lastenaufbaus bei Lastkraftwagen;
- - durch das eigene Fahrzeug überfahrbare oder unterfahrbare Objekte
- - unbekannte Klasse für nicht näher klassifizierbare Objekte
- - Unterklassen zur Definition neuer Klassentypen
handeln.
-
Die Kenntnis des Fahrzeugmodells kann interessant sein, da hierdurch indirekt die Fahrzeuggröße und die Fahrzeugmasse der als Objekte detektierten weiteren Verkehrsteilnehmer abgeschätzt werden können. Dies kann im Fall eines hohen Kollisionsrisikos wichtig sein, da durch eine Notbremsung oder eine Notausweichfunktion beispielsweise ein Unfallgegner gezielt ausgesucht werden kann, der etwa die gleiche Fahrzeugmasse hat oder dessen Fahrzeug als besonders sicher gilt, um Verletzungen der Verkehrsteilnehmer möglichst gering zu halten.
-
Ebenso kann im Fall von Lastkraftwagen die Art des Aufbaues von Interesse sein, da hierdurch auf erhöhte Verletzungsrisiken bei Unfällen geschlossen werden kann. Auch die Kenntnis der Ladungen eines LKW kann für mögliche Kollisionen von Interesse sein, da Kollisionen mit Lastkraftwagen, die Gefahrgut geladen haben unbedingt vermieden werden sollte. Andererseits können Kollisionen mit Lastkraftwagen, die beispielsweise Abfall geladen haben, bevorzugt werden, da hierdurch der Schaden begrenzt werden kann und keine weiteren Folgegefahren entstehen.
-
Aus der Kenntnis des Lastenaufbaus eines Lastkraftwagens kann ebenso auf ein erhöhtes oder verringertes Risiko von Folgegefahren geschlossen werden, so dass die Kenntnis des Aufbaus der Ladefläche bzw. des Lastenaufbaus hinsichtlich Siloaufbau, Tankaufbau, Containeraufbau, geschlossener Aufbau, Pritschenaufbau vorteilhafterweise differenziert werden kann.
-
Diese Aufzählung ist nicht abschließend zu verstehen, sondern kann ähnliche oder gleichwirkende Größen, die der Fachmann aufgrund seines Fachwissens erkennt, mit umfassen.
-
Durch das Vorsehen von Unterklassen können später neue Klassen definiert und angelernt werden, z.B. LKW-Klassen mit unterschiedlichen Aufbauten oder Unterklassen von stehenden Objekten wie Litfaßsäulen, Bushaltestellen, überfahrbare Objekte wie beispielsweise Getränkedosen oder Kanaldeckel, Spielzeuge wie Fahrräder oder Hoverboards. Hierdurch kann die Klassifikation und das Labeln von Objekten, die mittels des ersten Sensorsystems detektiert wurden, zukünftig in neue Klassen weiter differenziert werden, die bei ursprünglich noch nicht vorgesehen waren.
-
Vorteilhafterweise kann weiterhin vorgesehen sein, dass für das Fahrzeug eine oder mehrere mögliche kollisionsfreie Bewegungstrajektorien bestimmt wurden und die Kommunikationseinrichtung weitere Sensordaten und/oder die Klassifikation und/oder die Lokalisation der durch das erste Sensorsystem als fern detektierte Objekte anfordert, insbesondere dass die Kommunikationseinrichtung weitere Sensordaten und/oder die Klassifikation und/oder die Lokalisation von dem zweiten Sensorsystem oder von einer Datenbank in einer Datencloud anfordert.
-
Für das Fahrzeug wird eine oder mehrere mögliche Bewegungstrajektorien geplant, wobei jede Trajektorie durch das Fahrzeug physikalisch fahrbar sein muss und gleichzeitig kollisionsfrei sein muss, auch unter Einbeziehung wahrscheinlicher Bewegungen der detektierten Objekte.
-
Die beschriebenen Merkmalskombinationen, Weiterbildungen und Vorteile, wie diese für die Verfahrensansprüche angegeben sind, gelten in gleicher Kombination und Weise für die entsprechenden Vorrichtungsansprüche.
-
Weiterhin kann ein Computerprogrammprodukt vorgesehen sein, auf dem das Verfahren gemäß einem der Verfahrensansprüche ausgeführt, umgesetzt und/oder angesteuert wird.
In gleicher vorteilhafter Weise kann ein maschinenlesbares Speichermedium, vorgesehen sein, auf dem das Computerprogrammprodukt gespeichert ist.
-
Das Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
-
Der hier vorgestellte Ansatz schafft ferner eine Einrichtung zur Klassifikation, Lokalisation und zum Labeln von Objekten der dazu ausgebildet ist, um die Schritte einer Variante des hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen.
-
Die Einrichtung zur Klassifikation, Lokalisation und/oder zum Labeln von Objekten kann ein elektrisches Gerät mit zumindest einer Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest einer Speichereinheit zum Speichern von Signalen oder Daten, und zumindest einer Schnittstelle und/oder eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten, die in ein Kommunikationsprotokoll eingebettet sind, sein.
-
Die Recheneinheit kann beispielsweise ein Signalprozessor, ein sogenannter System-ASIC oder ein Mikrocontroller zum Verarbeiten von Sensorsignalen und Ausgeben von Datensignalen in Abhängigkeit von den Sensorsignalen sein. Die Speichereinheit kann beispielsweise ein Flash-Speicher, ein EPROM oder eine magnetische Speichereinheit sein.
-
Die Schnittstelle kann als Sensorschnittstelle zum Einlesen der Sensorsignale von einem Sensor und/oder als Aktorschnittstelle zum Ausgeben der Datensignale und/oder Steuersignale an einen Aktor ausgebildet sein. Die Kommunikationsschnittstelle kann dazu ausgebildet sein, die Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben. Die Schnittstellen können auch Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer, einem programmierbaren Steuergerät oder einer ähnlichen Vorrichtung ausgeführt wird.
-
Es wird darauf hingewiesen, dass einige der möglichen Merkmale und Vorteile der Erfindung hierin mit Bezug auf unterschiedliche Ausführungsformen als Verfahren zur Klassifikation, Lokalisation und zum Labeln von Objekten beschrieben sind. Ein Fachmann erkennt, dass die Merkmale in geeigneter Weise kombiniert, angepasst oder ausgetauscht werden können, um zu weiteren Ausführungsformen der Erfindung zu gelangen.
-
kurze Beschreibung der Zeichnungen
-
Nachfolgend werden Ausführungsbeispiele der Erfindung anhand von Zeichnungen erläutert. Es zeigen
- 1 eine schematische Darstellung einer Verkehrssituation zur Erläuterung der Funktionsweise und des Nutzens einer Ausführungsform des erfindungsgemäßen Systems und
- 2 ein schematisches Ablaufdiagramm, das die Funktionsweise einer Ausführungsform des erfindungsgemäßen Verfahrens
-
Ausführungsformen der Erfindung
-
1 zeigt eine beispielhafte Verkehrssituation, in der ein fahrendes Fahrzeug 1 dargestellt ist. Das Fahrzeug 1 ist dabei mit einem ersten Sensorsystem 4 ausgestattet, das eine oder mehrere Sensoren umfasst, die das Fahrzeugumfeld 13 erfassen und Objekte 2, 3 innerhalb des Fahrzeugumfelds 13 erkennen. Dabei kann das erste Sensorsystem 4 aus einem oder mehreren Radarsensoren, einem oder mehreren Videosensoren, einem oder mehreren Ultraschallsensoren oder einem oder mehrerer Lidarsensoren bestehen. Das Fahrzeugumfeld 13 ist dabei auch nicht auf die in 1 dargestellte Form und Ausrichtung begrenzt, sondern es kann mit dem aus mehreren Sensoren bestehenden ersten Sensorsystem 4 das Fahrzeugumfeld in alle Richtungen und in unterschiedlichen Reichweiten erfasst werden. Dabei werden mit dem ersten Sensorsystem 4 nahe Objekte 2 erfasst, die sich im nahen Bereich des Fahrzeugs 1 befinden und die aufgrund Ihrer Nähe gut detektiert und aufgrund Ihrer guten Erfassung zuverlässig gelabelt werden können. Weiterhin werden mit dem ersten Sensorsystem 4 auch ferne Objekte 3 zwar erfasst, die aufgrund Ihrer großen Entfernung und der fehlenden Ground Truth-Daten nicht gelabelt werden können, da die Objekte, beispielsweise bei Verwendung eines Radarsensorsystems, nur unzuverlässig hinsichtlich ihrer Objektklasse gelabelt werden können, da Radardaten und Lidardaten sowie Videodaten in der Ferne nur schwer interpretiert werden können.
-
Die mittels dem ersten Sensorsystem 4 erfassten Objekte werden durch Sensordaten 5 repräsentiert, die die Sensoren zur Weiterverarbeitung bereitstellen. Diese Sensordaten 5 werden über eine Datenaustauscheinrichtung, vorzugsweise ein Datenbus-System an ein nachgelagertes Verarbeitungssystem 6 weitergeleitet, in dem eine Sensorsignalauswertung der Sensoren und gegebenenfalls eine Datenfusion der mehreren Sensoren stattfindet, um ein Umfeldmodell des Fahrzeugs mit den relevanten Sensordaten zu erstellen. Das Umfeldmodell weist dabei bereits Hinweise auf, welche Objekte gut, also mit einer hohen Güte, erkannt wurden und welche Objekte nicht klassifiziert oder nur mit einer geringen Zuverlässigkeit, also einer niedrigen Güte, erkannt werden konnten. Dieses Verarbeitungssystem gibt Objektdaten aus führt jedoch noch kein Labeling aus.
-
Zur weiteren Verarbeitung wird das Umfeldmodell bzw. die Objektdaten an eine Einrichtung zum Labeln 11 weitergeleitet, in der die Klassifikation der Objekte 2, 3 und/oder deren Labeling und/oder die Lokalisation der Objekte 2, 3 durchgeführt wird. Diese Klassifizierungs- und Lokalisierungseinrichtung 11 ist in 1 als ein im Fahrzeug 1 untergebrachtes Gerät 6 dargestellt. Diese Klassifizierungs- und Lokalisierungseinrichtung 11 kann jedoch auch, abweichend zur Darstellung in 1, in einer Cloud-Infrastruktur 17 untergebracht sein, so dass die Eingangsdaten über die Kommunikationsverbindung 18 zur Klassifizierungs- und Lokalisierungseinrichtung 11 in die Cloud 17 übertragen werden und die Ausgangsdaten über die Kommunikationsverbindung 19 der Klassifizierungs- und Lokalisierungseinrichtung 11 von der Cloud 17 zum Fahrzeug zurückübertragen werden. Diese Übertragungen 18, 19 finden dabei vorzugsweise über eine Funkschnittstelle statt. Die Cloud 17, sofern diese vorgesehen ist, verfügt über eine Datenbank, in der die weiteren „Grund Truth“-Daten 8, die vorteilhaft zeitgestempelt sind, abgelegt sind und bei Bedarf von Kommunikationseinrichtungen 7 abgerufen werden können. Das Vorsehen einer Einrichtung zur Klassifikation und/oder zum Labeln und/oder zur Lokalisierung ist dabei nicht zwingend nötig, da diese alternativ auch in einem Sensorsystem oder in einer separaten Einrichtung im Fahrzeug 1 vorgesehen sein kann.
-
Nachdem in der Klassifizierungs- und Lokalisierungseinrichtung 11 die Klassifikation und/oder die Lokalisation und/oder das Labeling stattgefunden hat, werden die aufbereiteten Objektdaten an eine nachgelagerte Einrichtung 16 weitergeleitet, in der mit dem gelabelten bzw. klassifizierten Umgebungsmodell bzw. Objektmodell Assistenzfunktionen des Fahrzeugs 1 oder Sicherheitsfunktionen des Fahrzeugs 1 gesteuert werden. So wird beispielsweise eine zukünftige Bewegungstrajektorie 12 ermittelt, auf der das Fahrzeug 1 durch die vorausliegende Verkehrssituation unter Berücksichtigung der erkannten Objekte 2, 3 gesteuert wird.
-
Die nachgelagerte Verarbeitung 16 kann dabei ein separates Rechengerät sein, es kann sich aber auch lediglich um eine separate Software handeln, die auf einem zentralen Steuergerät abläuft, auf dem auch die Objektdetektion, die eventuelle Datenfusion und/oder die Objektklassifikation, das Objektlabeling oder die Objektlokalisierung ebenfalls stattfindet.
-
Vorteilhafterweise können der Klassifizierungs- und Lokalisierungseinrichtung 11 weitere Sensordaten 8 bezüglich der fernen Objekte 3 zugeführt werden, um die Klassifikation, und die Lokalisierung der fernen Objekte 3 mit einer höheren Güte bzw. einer höheren Zuverlässigkeit durchzuführen und das Labeling der fernen Objekte 3 überhaupt erst zu ermöglichen. Hierzu ist mindestens ein zweites Sensorsystem 9 vorgesehen, das beispielsweise das Sensorsystem eines anderen Fahrzeugs oder ein ortsfest installiertes Sensorsystem, beispielsweise eine Infrastrukur-basierte Videokamera, sein kann.
-
Dieses zweite Sensorsystem 9 ist dabei in der Lage, das ferne Objekt 3, das eine große Entfernung zum Fahrzeug 1 hat, besser und mit höherer Güte zu erfassen. Dieses zweite Sensorsystem 9 kann üblicherweise das ferne Objekt 3 auch ohne die Teilabschattungen detektieren, die sich oft durch weitere Objekte im Detektionsbereich 13 des ersten Sensorsystems 4 ergeben. Hierzu muss sich das ferne Objekt 3 im Erfassungsbereich 14 des zweiten Sensorsystems 9 aufhalten. Damit kann das zweite Sensorsystem 9 die Objektdetektion des fernen Objekts 3 mit höherer Güte und höherer Zuverlässigkeit und Genauigkeit durchführen, als es situationsbedingt durch das erste Sensorsystem 4 möglich ist und damit ein Labeling der fernen Sensordaten von Objekte 3 überhaupt erst ermöglichen.
-
Die mittels dem zweiten Sensorsystem 9 gewonnenen Sensordaten bezüglich den fernen Objekten 3 werden an eine vorhandene Kommunikationseinrichtung 10 zur Übertragung an das Fahrzeug 1 weitergegeben. Zusätzlich ist eine weitere Klassifizierungs- und Lokalisierungseinrichtung 11 nach dem zweiten Sensorsystem 9 vorgesehen. Alternativ ist es im Fall, dass eine Klassifizierungs- und Lokalisierungseinrichtung 11 in der Datencloud vorgesehen ist auch möglich, die Klassifizierung, das Labeling und/oder die Lokalisierung in einer zentralen Klassifizierungs- und Lokalisierungseinrichtung 11 in der Cloud durchzuführen. Dazu werden die weiteren „Ground Truth“-Daten 8 nicht direkt über die Funkschnittstelle 15 an die Kommunikationseinrichtung 7 des Fahrzeugs 1 übertragen, sondern in einem ersten Schritt über die Verbindung 18 in eine Datenbank 17 in einer Datencloud übermittelt werden. Im Fall, dass das zweite Sensorsystem ein ortsfest installiertes Sensorsystem ist, kann diese erste Verbindung 18 funkgestützt oder drahtgebunden erfolgen. Im Fall, dass das zweite Sensorsystem 9 ein in einem weiteren Fahrzeug verbautes Sensorsystem ist, wäre die erste Verbindung 18 zur Datencloud wiederum als Funkverbindung zu realisieren. In einem weiteren Schritt werden die „Ground Truth“-Daten 8 aus der Datenbank 17 in der Datencloud an die Kommunikationseinrichtung 7 des Fahrzeugs 1 übertragen. Dies erfolgt wegen der Beweglichkeit des Fahrzeugs 1 vorzugsweise wiederum über eine Funkschnittstelle.
-
Die über die Funkschnittstelle 7 dem Fahrzeug 1 zugeführten weiteren „Ground Truth“ Daten 8 werden der Klassifizierungs- oder Labeling- oder Lokalisierungseinrichtung 11 zugeführt, wo das Objektmodell bzw. das Umfeldmodell mit den weiteren Sensordaten 8 für die fernen Objekte 3 angereichert wird. Wie bereits oben erwähnt, kann die Einrichtung 11 zur Klassifizierung und/oder zum Labeln und/oder zur Lokalisierung an dieser Stelle auch entfallen und in den Sensoren des Sensorsystems oder in der Datencloud oder in einer separaten Einrichtung an anderer Stelle der Übertragungskette für die weiteren Ground Truth-Daten bzw. Daten 8 vorgesehen sein. Im Fall des Vorsehens in der Datencloud müssten die weiteren Ground Truth Daten 8 zuerst in die Datencloud übertragen werden, beispielsweise über die als Funkschnittstelle ausgestaltete Übertragung 18. Zusätzlich müssen die relevanten Fahrzeugsensordaten aus dem ersten Sensorsystem 4 im Fahrzeug an die Datencloud 17 übertragen werden. Es ist es vorteilhaft nur die relevanten Sensordaten der fernen Objekte 3 an die Datenbank 17 in der Cloud zu übertragen, um unnötige Datenübertragungen zu vermeiden.
-
Für die bereits oben beschriebene Variante, dass das Labeln der Objekte nicht in einer Einrichtung 11 im Fahrzeug 1 stattfindet, sondern in einer Einrichtung, die ebenfalls in der Datencloud untergebracht ist, sind in 1 neben der Datenbank 17, die in der Datencloud vorgesehen ist, noch die Einrichtung 11 zum Klassifizieren und Labeln so dargestellt, dass diese mit der Datenbank 17 mit einem Doppelpfeil 32 verbunden ist. In dieser Ausführungsform findet das Labeln nicht dezentral im Fahrzeug 1 statt, sondern zentral für viele Verkehrsteilnehmer in der Cloud. So kann sehr viel Rechenleistung zur Verfügung gestellt werden und es können regelmäßig neue Objektklassen generiert und hinterlegt werden, so dass die Leistungsfähigkeit des Labelns mit der Zeit ansteigt, ohne dass die Fahrzeuge 1 hierfür Recheneinheiten bereitstellen müssen. können. Hierzu werden die Objektdaten aus dem ersten Sensorsystem 4 von der Einrichtung 6 über eine Verbindung, die durch Pfeil 30 repräsentiert wird, an die Kommunikationseinrichtung 7 weitergegeben, von wo aus die Daten über die Kommunikationsverbindung 31 an die Datencloud gesendet werden. Dort werden die Objektdaten in der Datenbank 17 abgespeichert und in der Labeleinrichtung 11 gelabelt. Und die Ergebnisse in der Datenbank 17 für weitere Verkehrsteilnehmer bereitgehalten. Die gelabelten Daten werden danach Über die Kommunikationsverbindung 19 wieder in das Fahrzeug 19 zurückübertragen, wo diese weiterverarbeitet werden. Es ist ebenfalls möglich, dass nur die Objektdaten zu fernen Objekten 3 angefordert werden, die nicht gelabelt werden können, um unnötiges Mehrfachlabeln zu vermeiden. Weiterhin ist es auch möglich, gezielt Objektdaten oder gelabelte Daten zu bestimmten Objekten über die Verbindung 30 und Kommunikationsverbindung 31 anzufordern, zu denen mehr gesicherte Information benötigt wird. Beispielsweise kann Information oder gelabelte Daten zu Objekten mit einer vorgegebenen Position angefordert werden.
-
In 2 ist ein Ablaufdiagramm dargestellt, das in Schritt S20 beginnt, beispielsweise mit Starten des Fahrzeugs oder mit Aktivieren eines Fahrerassistenzsystems oder eines Sicherheitssystems des Fahrzeugs 1. Das Verfahren wird auch nach Beendigung in Schritt S27 mit der Verarbeitung eines neuen Zyklus automatisch in Schritt S20 neu begonnen.
-
Im folgenden Schritt S21 werden nahe Objekte 2 und ferne Objekte 3 im Detektionsbereich des ersten Sensorsystems 4 erfasst bzw. detektiert. Bei einer Detektion mit mehreren Sensoren kann auch eine Datenfusion in Schritt S21 stattfinden und ein erstes Umfeldmodell erstellt werden oder ein vorhandenes Umfeldmodell mit den detektierten Objekten, beispielsweise den nahen Objekt 2 und dem fernen Objekt 3, aktualisiert werden.
-
Schritt S21 wird im folgenden Schritt S22 fortgeführt, in dem eine Klassifikation und eine Lokalisation der Objekte durchgeführt wird. Dabei wird aus dem detektierten Objekteigenschaften auf die Art des Objektes geschlossen und die Detektion wird einer Objektklasse zugeordnet. Dabei kann die Objektklasse beispielsweise auch „unbekannt“ oder „unknown“ sein, wenn keine eindeutige Zuordnung möglich ist. Dies kommt beispielsweise bei fernen Objekten 3 vor. Weiterhin werden die Detektionen zu zusammengehörenden Objekten einem Objekt zugeordnet. So werden bei einem Radarsensor alle Radarreflexe, die dem gleichen Objekt zugeordnet werden, zu einem Objekt zusammengefasst und aufgrund der Verteilung der Reflexe auf die Größe geschlossen. Ebenso kann bei einer Videodetektion, wenn alle Pixel dem gleichen Objekt zugeordnet werden können, ein zusammengehörendes Objekt erkannt und klassifiziert werden.
-
Bei Auslassen des optionalen Schritts S23 wird das Verfahren in Schritt S24 fortgesetzt. In dem weitere Sensordaten 8 zu Objekten empfangen werden, die vom ersten und fahrzeugfesten Sensorsystem 4 weit entfernt sind und daher mit Störungen und Messunsicherheiten belastet sind. Durch die Detektion der weiteren Sensordaten 8 mittels eines zweiten Sensorsystems 9, das zu den entfernten Objekten 3 genauere und verlässlichere Objektdaten 8 bezüglich dem fernen Objekt 3 liefert. Und damit sehr viel genauer und verlässlicher als die ersten Sensordaten 5 des ersten Sensorsystems 4 und daher als gute Labels bzw. Annotationen für die erfassten Sensordaten 5 dienen.
-
Wird der vorhergehende Schritt S23, der zwischen dem Schritt S22 und dem Schritt S24 optional durchgeführt wird, eingefügt, so ist vorgesehen, dass die Kommunikationseinrichtung 7 des Fahrzeugs 1 gezielt weitere Sensordaten 8 von einem zweiten Sensorsystem 9 oder einer Datenbank 17 anfordert. Dies geschieht besonders für die Objekte, die als potenziell ferne Objekte 3 erfasst oder sensiert wurden und Störungen oder Ungenauigkeiten unterworfen sind.
-
In Schritt S25, der sich an den Schritt S24 anschließt, werden die Sensordaten 5 und die weiteren Sensordaten 8 zu einem Umfeldmodell zusammengeführt und fusioniert. Im Weiteren werden die Klassifikationen und Labels der Objekte 2, 3 aktualisiert, da sich diese durch die weiteren Sensordaten 8 verändert haben können.
-
Im darauffolgenden Schritt S26, wird das mit den weiteren Sensordaten 8 ergänzte Umfeldmodell, an eine nachgelagerte Fahrzeugfunktion 16 weitergegeben, die beispielsweise eine Sicherheitsfunktion wie eine Notbremsfunktion oder eine Notausweichfunktion sein kann oder eine Fahrerassistenzfunktion, beispielsweise zum hochautomatisierten Führen des Fahrzeugs 1, sein kann. Diese nachgelagerten Funktionen 16 können dabei auf separaten Steuergeräten ablaufen oder als Softwaremodule auf dem gleichen Steuergerät wie die Verarbeitung der Sensordaten 4 und weiteren Sensordaten 8, implementiert sein.
-
Nach Schritt S26 folgt Schritt S27, in dem das Verfahren beendet wird und auf einen Neustart in Schritt S21 wartet oder es wird der aktuelle Verarbeitungszyklus beendet und das Verfahren In Schritt S21 mit einer erneuten Detektion fortgeführt.
-
Weiterhin ist auch möglich, die unbekannten fernen Reflektionen und/oder Pixels zwischenzuspeichern, beispielsweise entweder lokal im oder in der Nähe des ersten Sensorsystems 4 oder in einer Datenbank 17 in einer Cloud, und diese zu einem späteren Zeitpunkt mit weiteren Objektdaten 8 zu fusionieren und zu labeln bzw. annotieren.
Weiterhin können die dadurch neu annotierten Dateien zum Trainieren einer Künstlichen Intelligenz verwendet werden, um diese zu verbessern bzw. zu befähigen ferne Objekte 3 zu detektieren und eventuell die zum Klassifizieren verwendete aktuelle Künstliche Intelligenz, die die fernen Objekte nicht gut klassifizieren oder lokalisieren kann, zu ersetzen (active Learning).
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102017203944 A1 [0002]
