DE102018206745B4 - Verfahren zum Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs, computerlesbares Medium, System, und Fahrzeug - Google Patents

Verfahren zum Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs, computerlesbares Medium, System, und Fahrzeug Download PDF

Info

Publication number
DE102018206745B4
DE102018206745B4 DE102018206745.7A DE102018206745A DE102018206745B4 DE 102018206745 B4 DE102018206745 B4 DE 102018206745B4 DE 102018206745 A DE102018206745 A DE 102018206745A DE 102018206745 B4 DE102018206745 B4 DE 102018206745B4
Authority
DE
Germany
Prior art keywords
vehicle
raw data
sensor
surroundings
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102018206745.7A
Other languages
English (en)
Other versions
DE102018206745A1 (de
Inventor
Andre Müller
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102018206745.7A priority Critical patent/DE102018206745B4/de
Priority to PCT/EP2019/059064 priority patent/WO2019211067A1/de
Publication of DE102018206745A1 publication Critical patent/DE102018206745A1/de
Application granted granted Critical
Publication of DE102018206745B4 publication Critical patent/DE102018206745B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0129Traffic data processing for creating historical data or processing based on historical data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions

Abstract

Verfahren (100) zum Betreiben eines Fahrzeugs (102) mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs, das Verfahren umfassend:Erfassen (106) des Umfelds des Fahrzeugs mittels eines jeweiligen Umfeldsensors, wobei der jeweilige Umfeldsensor Rohdaten bereitstellt, die dem Umfeld des jeweiligen Umfeldsensors entsprechen;Bestimmen (108) von vorgegebenen Merkmalen aus den Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs;Bestimmen (110) eines oder mehrerer Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, vorgegebenen Merkmalen der Rohdaten des jeweiligen Umfeldsensors;Fusionieren (112) der bestimmten Objekte der Umfeldsensoren;Erkennen (114) einer Verkehrssituation basierend den fusionierten Objekten;Trainieren eines maschinellen Lernverfahrens basierend auf den Rohdaten der jeweiligen Umfeldsensoren bezüglich der erkannten Verkehrssituation;Lernen eines neuen Merkmals aus den Rohdaten des jeweiligen Umfeldsensors mittels des trainierten, maschinellen Lernverfahrens für die erkannte Verkehrssituation;Erweitern der vorgegebenen Merkmale der Rohdaten des jeweiligen Umfeldsensors mit dem gelernten, neuen Merkmal;Bestimmen der erweiterten Merkmale aus den Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs;Bestimmen eines oder mehrerer Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, erweiterten Merkmalen der Rohdaten des jeweiligen Umfeldsensors;Fusionieren der bestimmten Objekte mit den erweiterten Merkmalen der jeweiligen Umfeldsensoren; undErkennen der Verkehrssituation basierend auf den fusionierten Objekten mit den erweiterten Merkmalen.

Description

  • Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs. Die Erfindung betrifft ferner ein computerlesbares Medium, ein System, sowie ein Fahrzeug umfassend das System zum Betreiben des Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs.
  • Es ist bekannt, dass moderne Fahrzeuge Umfeldsensoren aufweisen, mit denen ein Umfeld des Fahrzeugs erfasst werden kann. Daten bezüglich des Umfelds können einem Fahrerassistenzsystem zugeführt werden, welches eine Entscheidung bezüglich der Steuerung des Fahrzeugs auf Basis der Daten über das Umfeld des Fahrzeugs treffen kann. Die DE 10 2014 205 180 A1 offenbart ein Verfahren zum Betreiben eines Fahrzeugs, das mehrere Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs aufweist. Das Verfahren erfasst ein Umfeld des Fahrzeugs jeweils mittels der Umfeldsensoren, so dass die Umfeldsensoren jeweils Rohdaten bereitstellen, die dem mittels des entsprechenden Umfeldsensors erfassten Umfeld entsprechen. Das Verfahren ermittelt Objekten entsprechenden Objektdaten für jeden Umfeldsensor basierend auf den Rohdaten des entsprechenden Umfeldsensors, fusioniert die jeweiligen Objektdaten der Umfeldsensoren miteinander, so dass fusionierte Objektdaten ermittelt werden, und fusioniert die jeweiligen Rohdaten der Umfeldsensoren miteinander, so dass fusionierte Rohdaten ermittelt werden. Das Verfahren ermittelt Objekten entsprechenden Rohobjektdaten basierend auf den fusionierten Rohdaten und vergleicht die fusionierten Objektdaten und die Rohobjektdaten. Wichtige Merkmale, die in den Rohdaten vorhanden sind, werden jedoch außer Acht gelassen, so dass die Genauigkeit bei der Erfassung des Umfelds reduziert sein kann.
  • US 2018/0067488 A1 beschreibt ein Verfahren zum Ermitteln einer situationsabhängigen Annotation eines Fahrzeugs auf der Grundlage eines annotierten Umweltmodells. Ein Computersystem erhält ein annotiertes Umweltmodell für ein Fahrzeug. Das Computersystem verwendet einen Klassifikator, um eine Annotation des Fahrzeugs situationsbasiert zumindest teilweise basierend auf dem annotierten Umweltmodell zu ermitteln. Ein Fahrfunktionssystem ist so konfiguriert, dass es die situationsabhängige Annotation zur Steuerung eines Betriebs des Fahrzeugs nutzt.
  • Es ist daher eine Aufgabe der Erfindung, das Erfassen von Objekten im Umfeld des Fahrzeugs effizient zu verbessern. Insbesondere ist eine Aufgabe der Erfindung, die Genauigkeit einer Interpretation einer Verkehrssituation eines Fahrzeugs effizient zu verbessern.
  • Gelöst wird diese Aufgabe durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
  • Gemäß einem ersten Aspekt zeichnet sich die Erfindung aus durch ein Verfahren zum Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs. Das Fahrzeug ist vorzugsweise ein teil-, hoch-, oder vollautomatisiert fahrendes Fahrzeug. Beispielsweise ist das Fahrzeug ein Kraftfahrzeug. Das Verfahren umfasst ein Erfassen des Umfelds des Fahrzeugs mittels eines jeweiligen Umfeldsensors, wobei der jeweilige Umfeldsensor Rohdaten bereitstellt, die dem Umfeld des jeweiligen Umfeldsensors entsprechen. Ein Umfeldsensor kann ein Radarsensor, ein Lasersensor, ein Kamerasensor, und/oder ein Ultraschallsensor sein. Das Verfahren bestimmt vorgegebene Merkmale aus den Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs. Ein vorgegebenes Merkmal kann ein Datum bzw. Daten eines Objekts im Umfeld des Fahrzeugs umfassen. Beispielsweise kann zum Bestimmen eines vorgegebenen Merkmals ein Softwarecode ausgeführt werden, der das vorgegebene Merkmal in den Rohdaten des jeweiligen Umfeldsensors extrahiert. Basierend auf den bestimmten, vorgegebenen Merkmalen der Rohdaten des jeweiligen Umfeldsensors bestimmt das Verfahren eines oder mehrerer Objekte des jeweiligen Umfeldsensors. Vorzugsweise bestimmen mehrere vorgegebene Merkmale ein Objekt in dem Umfeld des Fahrzeugs. Das Verfahren fusioniert die bestimmten Objekte der Umfeldsensoren. Beispielsweise ist ein Objekt durch den Kamerasensor bestimmt worden und das gleiche Objekt durch den Lasersensor. Das Fusionieren der bestimmten Objekte der Umfeldsensoren führt Objekte, die von mehreren Umfeldsensoren bestimmt wurden, zu einem Objekt zusammen. Die fusionierten Objekte können in einer Objektliste zusammengefasst und/oder gespeichert werden. Beispielsweise können die fusionierten Objekte in einer HashMap oder einer anderen Datenstruktur gespeichert werden. Das Verfahren erkennt und/oder interpretiert eine Situation, z.B. eine Verkehrssituation, basierend den fusionierten Objekten.
  • Das Verfahren kann ein maschinelles Lernverfahrens basierend auf den Rohdaten der jeweiligen Umfeldsensoren bezüglich der erkannten Verkehrssituation trainieren. Das maschinelle Lernverfahren kann ein künstliches, neuronales Netz sein. Mittels des trainierten, maschinellen Lernverfahrens lernt das Verfahren ein neues Merkmal oder mehrere neue Merkmale aus den Rohdaten des jeweiligen Umfeldsensors für die erkannte und/oder interpretierte Verkehrssituation. Die vorgegebenen Merkmale der Rohdaten des jeweiligen Umfeldsensors werden mit dem gelernten, neuen Merkmal bzw. den gelernten neuen Merkmalen erweitert. Das Verfahren bestimmt die erweiterten Merkmale aus den Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs und bestimmt eines oder mehrere Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, erweiterten Merkmalen der Rohdaten des jeweiligen Umfeldsensors. Die bestimmten Objekte mit den erweiterten Merkmalen der jeweiligen Umfeldsensoren werden fusioniert und die Verkehrssituation basierend auf den fusionierten Objekten mit den erweiterten Merkmalen erkannt.
  • Vorteilhafterweise kann die Verkehrssituation basierend auf den fusionierten Objekten mit den erweiterten Merkmalen effizienter und mit einer höheren Wahrscheinlichkeit erkannt werden. Dadurch kann ein Fahrzeug, insbesondere ein autonom fahrendes Fahrzeug sicherer betrieben werden. Durch das Lernen von neuen Merkmalen aus den Rohdaten der jeweiligen Sensoren können effizient neue Merkmal erzeugt werden, die eine kontinuierliche Verbesserung der Objekterkennung und damit auch der Erkennung von Verkehrssituationen dienen. Das Fahrzeug kann sich somit individuell an Verkehrssituationen anpassen, die durch die vorgegebenen Merkmale nicht oder nur mit einer geringeren Wahrscheinlichkeit erkannt werden können. Die Genauigkeit bei der Erkennung oder der Interpretation einer Situation, insbesondere einer Verkehrssituation, kann somit durch das Verfahren effizient erhöht werden.
  • Gemäß einer vorteilhaften Ausgestaltung können die vorgegebenen Merkmale eines jeweiligen Umfeldsensors ein Objekt des Umfelds des Fahrzeugs spezifizieren, und können die erweiterten Merkmale eines jeweiligen Umfeldsensors ein Objekt des Umfelds des Fahrzeugs spezifizieren.
  • Gemäß einer weiteren, vorteilhaften Ausgestaltung kann das Verfahren die Rohdaten der jeweiligen Umfeldsensoren von dem Fahrzeug an einen Server übertragen. Vorzugsweise ist der Server in einem Backend außerhalb des Fahrzeugs angeordnet. Das Verfahren kann ferner die erkannte Verkehrssituation von dem Fahrzeug an den Server übertragen. Die erkannte Verkehrssituation kann auch die fusionierten Objekte umfassen, die für das Erkennen der Verkehrssituation verwendet wurden. Das Verfahren kann ferner ein Empfangen der Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs von dem Fahrzeug durch den Server, ein Empfangen der erkannten Verkehrssituation von dem Fahrzeug durch den Server, ein Übertragen des gelernten, neuen Merkmals von dem Server an das Fahrzeug, und ein Empfangen des gelernten, neuen Merkmals durch das Fahrzeug von dem Server umfassen. Hiermit kann das Lernen effizient auf einem Server in dem Backend ausgeführt werden und die gelernten Merkmale der Verkehrssituation an das Fahrzeug übertragen werden. Die Rechenleistung des Servers in dem Backend kann effizient genutzt werden, um das Erkennen einer konkreten Verkehrssituation effizient zu verbessern und das Fahrzeug effizienter zu betreiben.
  • Gemäß einer weiteren, vorteilhaften Ausgestaltung kann das Erfassen des Umfelds des Fahrzeugs durch das Fahrzeug, kann das Bestimmen von vorgegebenen Merkmalen aus den Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs durch das Fahrzeug, und kann das Bestimmen eines oder mehrerer Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, vorgegebenen Merkmalen der Rohdaten des jeweiligen Umfeldsensors durch das Fahrzeug ausgeführt werden. Ferner kann das Fusionieren der bestimmten Objekte der Umfeldsensoren durch das Fahrzeug, das Erkennen einer Verkehrssituation basierend den fusionierten Objekten durch das Fahrzeug, und das Trainieren eines maschinellen Lernverfahrens basierend auf den Rohdaten der jeweiligen Umfeldsensoren bezüglich der erkannten Verkehrssituation durch den Server ausgeführt werden. Weiterhin kann das Lernen eines neuen Merkmals aus den Rohdaten des jeweiligen Umfeldsensors mittels des trainierten, maschinellen Lernverfahrens für die erkannte Verkehrssituation durch den Server, das Erweitern der vorgegebenen Merkmale der Rohdaten des jeweiligen Umfeldsensors mit dem gelernten, neuen Merkmal durch den Server und/oder durch das Fahrzeug, und das Bestimmen der erweiterten Merkmale aus den Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs durch das Fahrzeug ausgeführt werden. Schließlich kann das Bestimmen eines oder mehrerer Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, erweiterten Merkmalen der Rohdaten des jeweiligen Umfeldsensors durch das Fahrzeug, das Fusionieren der bestimmten Objekte mit den erweiterten Merkmalen der jeweiligen Umfeldsensoren durch das Fahrzeug, und das Erkennen der Verkehrssituation basierend auf den fusionierten Objekten mit den erweiterten Merkmalen durch das Fahrzeug ausgeführt werden. Hiermit kann das Verfahren verteilt auf das Fahrzeug und den Server effizient ausgeführt werden, um das Erkennen der Verkehrssituation zu verbessern.
  • Gemäß einer weiteren, vorteilhaften Ausgestaltung kann das Erweitern der vorgegebenen Merkmale der Rohdaten des jeweiligen Umfeldsensors mit dem gelernten, neuen Merkmal ein Erzeugen eines Softwarecodes zum Bestimmen des neuen Merkmals aus den Rohdaten basierend auf dem trainierten, maschinellen Lernverfahren, und ein Hinzufügen des erzeugten Softwarecodes zum Bestimmen des neuen Merkmals aus den Rohdaten des jeweiligen Umfeldsensors zu einem Softwarecode zum Bestimmen der vorgegebenen Merkmale in den Rohdaten des jeweiligen Umfeldsensors umfassen. Hiermit kann ein bestehender Softwarecode effizient um Softwarecode erweitert werden, der das neue Merkmal aus den Rohdaten des Umfeldsensors extrahieren kann.
  • Gemäß einer weiteren, vorteilhaften Ausgestaltung kann das maschinelle Lernverfahren ein neuronales Netz sein. Ferner kann das Erzeugen des Softwarecodes zum Bestimmen des neuen Merkmals aus den Rohdaten basierend auf dem trainierten, maschinellen Lernverfahren ein Bestimmen wenigstens eines Teils des trainierten, neuronalen Netzes, welches das neue Merkmal in den Rohdaten des jeweiligen Umfeldsensors erkennt, umfassen. Hiermit kann das Erzeugen des Softwarecodes effizient vereinfacht werden.
  • Gemäß einer weiteren, vorteilhaften Ausgestaltung kann das Verfahren weiterhin ein Bestimmen einer ersten Wahrscheinlichkeit mittels des maschinellen Lernverfahrens, mit der die Verkehrssituation basierend auf den vorgegebenen Merkmalen die Verkehrssituation erkennt, ein Bestimmen einer zweiten Wahrscheinlichkeit mittels des maschinellen Lernverfahrens, mit der die Verkehrssituation basierend auf den erweiterten Merkmalen die Verkehrssituation erkennt, umfassen. Falls die zweite Wahrscheinlichkeit höher ist als die erste Wahrscheinlichkeit, kann das Verfahren ein Erweitern der vorgegebenen Merkmale der Rohdaten des jeweiligen Umfeldsensors mit dem gelernten, neuen Merkmal, ein Bestimmen der erweiterten Merkmale aus den Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs, ein Bestimmen eines oder mehrerer Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, erweiterten Merkmalen der Rohdaten des jeweiligen Umfeldsensors, ein Fusionieren der bestimmten Objekte mit den erweiterten Merkmalen der jeweiligen Umfeldsensoren, und ein Erkennen der Verkehrssituation basierend auf den fusionierten Objekten mit den erweiterten Merkmalen, umfassen. Hiermit können neue Merkmale für das präzisere Bestimmen einer Verkehrssituation effizient ermittelt werden.
  • Gemäß einem weiteren Aspekt zeichnet sich die Erfindung aus durch ein computerlesbares Medium zum Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs, wobei das Computer-lesbare Medium Instruktionen umfasst, die, wenn ausgeführt auf einem Computer oder einem Steuergerät, den Computer oder das Steuergerät dazu veranlassen, das oben beschriebene Verfahren auszuführen.
  • Gemäß einem weiteren Aspekt zeichnet sich die Erfindung aus durch ein System zum Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs, wobei das System dazu eingerichtet ist das oben beschriebene Verfahren auszuführen.
  • Gemäß einem weiteren Aspekt zeichnet sich die Erfindung aus durch ein Fahrzeug umfassend das oben beschriebene System zum Betreiben des Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs.
  • Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren allein gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.
  • Im Folgenden wird anhand der beigefügten Zeichnungen ein bevorzugtes Ausführungsbeispiel der Erfindung beschrieben. Daraus ergeben sich weitere Details, bevorzugte Ausgestaltungen und Weiterbildungen der Erfindung. Im Einzelnen zeigt schematisch
    • 1 ein beispielhaftes Verfahren zum Betreiben eines Fahrzeugs mit Umfeldsensoren.
  • Im Detail zeigt 1 ein beispielhaftes Verfahren 100 zum Betreiben eines Fahrzeugs 102 mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs 102. Das Fahrzeug 102 kann Daten an einen Server im Backend 104 senden und Daten von dem Server des Backends 104 empfangen. Das Fahrzeug 102 kann wenigstens einen Teil des Verfahrens 100 in dem Fahrzeug 102 ausführen. Ferner kann das Backend 104 einen Teil des Verfahrens 100 ausführen. Vorzugsweise wird der Teil des Verfahrens 100 auf dem Backend 104 ausgeführt der einen hohen Bedarf an Rechen- und/oder Speicherressourcen benötigt.
  • Das Verfahren 100 erfasst 106 das Umfeld des Fahrzeugs 102 mittels eines oder mehreren Umfeldsensoren des Fahrzeugs 102. Die Umfeldsensoren des Fahrzeugs 102 können dabei Radarsensoren, Lasersensoren, Kameras und/oder Ultraschallsensoren sein. Der jeweilige Umfeldsensor des Fahrzeugs 102 stellt Rohdaten bereit, die dem Umfeld des jeweiligen Umfeldsensors entsprechen. Rohdaten sind vorzugsweise Daten, die von dem jeweiligen Umfeldsensors erfasst und unverändert bereitgestellt werden. In anderen Worten werden die Rohdaten keiner Datenverarbeitung durch den jeweiligen Umfeldsensor unterzogen.
  • Das Verfahren 100 bestimmt 108 aus den Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs vorgegebene Merkmale. Ein vorgegebenes Merkmal kann Daten eines Objekts, sogenannte Objektdaten, umfassen. Beispielsweise kann ein vorgegebenes Merkmal eine Position, eine Größe, eine Geschwindigkeit, eine Spurbreite, ein Spurverlauf, und/oder weitere Merkmal eines Objekts in dem Umfeld des Fahrzeugs sein. Ein Objekt ist vorzugsweise ein Objekt einer Verkehrssituation. Beispielsweise kann ein Objekt ein Verkehrsteilnehmer, ein Fahrzeug, eine Straße, eine Spur, und/oder ein anderes Objekt in dem Umfeld des Fahrzeugs sein. Basierend auf den vorgegebenen Merkmalen der Rohdaten des jeweiligen Umfeldsensors kann das Verfahren 100 ein oder mehrere Objekte in dem Umfeld des Fahrzeugs 102 bestimmen 110. Die bestimmten Objekte des Umfeldsensors können fusioniert 112 werden. Beim Fusionieren der bestimmten Objekte können fusionierte Objekte erzeugt werden. Dazu können Objekte, die von mehreren Umfeldsensoren des Fahrzeugs erfasst wurden, zu einem fusionierten Objekt zusammengeführt werden. Vorzugsweise erzeugt das Fusionieren der bestimmten Objekte der Umfeldsensoren eine Menge von Objekten, in der jedes Objekt in dem Umfeld des Fahrzeugs nur ein einziges Mal vorkommt. Die Menge von Objekten kann beispielsweise in einer Objektliste oder einer anderen Datenstruktur gespeichert werden.
  • Das Verfahren 100 kann basierend auf den fusionierten Objekten eine Verkehrssituation erkennen 114. Beispielshafte Verkehrssituationen können sein: Spielstraße mit Kinder, Spielstraße ohne Kinder, Kreuzung, Kreuzung mit Fußgänger, Baustelle, Kreisverkehr, Stau, Stadt, Land, Rechtsabbiegen, und/oder Linksabbiegen. Die Verkehrssituation können beispielsweise auch verknüpft werden: Kreuzung mit Fußgänger und Stadt und Rechtsabbiegen. Die Schritte 106 bis 114 des Verfahrens 100 werden vorzugsweise in dem Fahrzeug 102 ausgeführt. Das Ausführen der Schritte 106 bis 114 des Verfahrens erfolgt kontinuierlich sobald die Umfeldsensoren das Umfeld des Fahrzeugs 102 erfassen können. In anderen Worten werden die Schritte 106 bis 114 des Verfahrens online ausgeführt.
  • Das Verfahren 100 kann Rohdaten der Umfeldsensoren des Fahrzeugs 102 an ein maschinelles Lernverfahren 118, welches auf einem Server des Backends 104 ausgeführt wird, übertragen 116. Mittels der Rohdaten der jeweiligen Umfeldsensoren kann das maschinelle Lernverfahren 118 bezüglich der erkannten Verkehrssituation des Fahrzeugs 102 trainiert werden. Dazu kann das Fahrzeug 102 neben den Rohdaten der jeweiligen Umfeldsensoren des Fahrzeugs auch die fusionierten Objekte der erkannten Verkehrssituation an das Backend 104, insbesondere an das maschinelle Lernverfahren 118 des Backend 104, übermitteln 122.
  • Das Verfahren 100 kann ein neues Merkmal aus den Rohdaten des jeweiligen Umfeldsensors mittels des trainierten, maschinellen Lernverfahrens für die erkannte Verkehrssituation lernen. Beispielsweise kann das neue Merkmal ein Richtungsanzeiger eines vorausfahrenden, rechtsabbiegenden Fahrzeugs sein, der in den Rohdaten eines Kamerasensors des Fahrzeugs 102 enthalten ist und welcher dazu führt, dass die Verkehrssituation Rechtsabbiegen mit einer höheren Wahrscheinlichkeit erkannt wird. Allgemein kann das maschinelle Lernverfahren Korrelationen zwischen Merkmalen der Rohdaten der Umfeldsensoren erkennen und daraus neue Merkmale von Objekten ableiten, die es dem Fahrzeug ermöglichen mit einer höheren Wahrscheinlichkeit eine Verkehrssituation korrekt erkennen zu können. Das maschinelle Lernverfahren 118 kann offline auf einem Server des Backend 104 ausgeführt werden. Dies bedeutet, dass das maschinelle Lernverfahren 118 nach Empfang der Daten von dem Fahrzeug so ausgeführt werden kann als bestünde keine Kommunikationsverbindung zu dem Fahrzeug. In anderen Worten benötigt das maschinelle Lernverfahren während dem Trainieren des Lernverfahrens und dem Lernen der neuen Merkmale keine Kommunikationsverbindung zu dem Fahrzeug. Ferner kann durch das Ausführen des maschinellen Lernverfahrens offline Rechenkapazität des Fahrzeugs 102 eingespart werden. Dies kann zu einer effizienteren Nutzung von vorhandener Rechenleistung in dem Fahrzeug 102 führen.
  • Das Verfahren 100 kann die vorgegebenen Merkmale der Rohdaten des jeweiligen Umfeldsensors mit dem gelernten, neuen Merkmal erweitern. Dazu kann das Backend 104 einen Softwarecode zum Erkennen des neuen Merkmals erzeugen und an das Fahrzeug 102 übertragen 120. Ist der Softwarecode zum Erkennen des neuen Merkmals von dem Fahrzeug 102 empfangen worden, kann das Fahrzeug die Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, erweiterten Merkmalen der Rohdaten des jeweiligen Umfeldsensors bestimmen. Beispielsweise kann das Fahrzeug 102 das neue Merkmal Richtungsanzeiger des Objekts vorausfahrendes, rechtsabbiegendes Fahrzeug bestimmen.
  • Vorteilhafterweise verknüpft das Verfahren ein Lernen von neuen Merkmalen auf Rohdaten von Umfeldsensoren im Backend mit einer Fusion von Objekten in dem Fahrzeug, um Verkehrssituation verbessert zu erkennen. Dabei kann das Verfahren auf bestehenden Steuergeräten ausgeführt werden, da das rechenintensive Lernverfahren auf dem Backend 104 ausgeführt wird. Durch das Erweitern der vorgegebenen Merkmale um neue Merkmale kann eine Verkehrssituation mit einer erhöhten Genauigkeit von dem Fahrzeug 102 erkannt und/oder interpretiert werden.
  • Bezugszeichenliste
  • 100
    Verfahren
    102
    Fahrzeug
    104
    Backend
    106
    erfassen eines Umfelds mittels Umfeldsensoren
    108
    bestimmen von Merkmalen in Rohdaten der Umfeldsensoren
    110
    bestimmen von Objekten
    112
    fusionieren von Objekten
    114
    erkennen einer Verkehrssituation
    116
    übermitteln von Rohdaten
    118
    maschinelles Lernverfahren
    120
    übermitteln von neuen Merkmalen
    122
    übermitteln von fusionierten Objekten einer Verkehrssituation

Claims (9)

  1. Verfahren (100) zum Betreiben eines Fahrzeugs (102) mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs, das Verfahren umfassend: Erfassen (106) des Umfelds des Fahrzeugs mittels eines jeweiligen Umfeldsensors, wobei der jeweilige Umfeldsensor Rohdaten bereitstellt, die dem Umfeld des jeweiligen Umfeldsensors entsprechen; Bestimmen (108) von vorgegebenen Merkmalen aus den Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs; Bestimmen (110) eines oder mehrerer Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, vorgegebenen Merkmalen der Rohdaten des jeweiligen Umfeldsensors; Fusionieren (112) der bestimmten Objekte der Umfeldsensoren; Erkennen (114) einer Verkehrssituation basierend den fusionierten Objekten; Trainieren eines maschinellen Lernverfahrens basierend auf den Rohdaten der jeweiligen Umfeldsensoren bezüglich der erkannten Verkehrssituation; Lernen eines neuen Merkmals aus den Rohdaten des jeweiligen Umfeldsensors mittels des trainierten, maschinellen Lernverfahrens für die erkannte Verkehrssituation; Erweitern der vorgegebenen Merkmale der Rohdaten des jeweiligen Umfeldsensors mit dem gelernten, neuen Merkmal; Bestimmen der erweiterten Merkmale aus den Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs; Bestimmen eines oder mehrerer Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, erweiterten Merkmalen der Rohdaten des jeweiligen Umfeldsensors; Fusionieren der bestimmten Objekte mit den erweiterten Merkmalen der jeweiligen Umfeldsensoren; und Erkennen der Verkehrssituation basierend auf den fusionierten Objekten mit den erweiterten Merkmalen.
  2. Verfahren nach Anspruch 1, wobei die vorgegebenen Merkmale eines jeweiligen Umfeldsensors ein Objekt des Umfelds des Fahrzeugs (102) spezifizieren; wobei die erweiterten Merkmale eines jeweiligen Umfeldsensors ein Objekt des Umfelds des Fahrzeugs spezifizieren.
  3. Verfahren nach einem der vorhergehenden Ansprüche, das Verfahren weiterhin umfassend: Übertragen (116) der Rohdaten der jeweiligen Umfeldsensoren von dem Fahrzeug an einen Server; Übertragen der erkannten Verkehrssituation von dem Fahrzeug (102) an den Server; Empfangen der Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs (102) von dem Fahrzeug (102) durch den Server; Empfangen der erkannten Verkehrssituation von dem Fahrzeug (102) durch den Server; Übertragen des gelernten, neuen Merkmals von dem Server an das Fahrzeug (102); und Empfangen des gelernten, neuen Merkmals durch das Fahrzeug (102) von dem Server.
  4. Verfahren nach Anspruch 3, wobei das Erfassen des Umfelds des Fahrzeugs (102) durch das Fahrzeug ausgeführt wird; wobei das Bestimmen von vorgegebenen Merkmalen aus den Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs durch das Fahrzeug ausgeführt wird; wobei das Bestimmen eines oder mehrerer Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, vorgegebenen Merkmalen der Rohdaten des jeweiligen Umfeldsensors durch das Fahrzeug ausgeführt wird; wobei das Fusionieren der bestimmten Objekte der Umfeldsensoren durch das Fahrzeug ausgeführt wird; wobei das Erkennen einer Verkehrssituation basierend den fusionierten Objekten durch das Fahrzeug ausgeführt wird; wobei das Trainieren eines maschinellen Lernverfahrens basierend auf den Rohdaten der jeweiligen Umfeldsensoren bezüglich der erkannten Verkehrssituation durch den Server ausgeführt wird; wobei das Lernen eines neuen Merkmals aus den Rohdaten des jeweiligen Umfeldsensors mittels des trainierten, maschinellen Lernverfahrens für die erkannte Verkehrssituation durch den Server ausgeführt wird; wobei das Erweitern der vorgegebenen Merkmale der Rohdaten des jeweiligen Umfeldsensors mit dem gelernten, neuen Merkmal durch den Server und/oder durch das Fahrzeug ausgeführt wird; wobei das Bestimmen der erweiterten Merkmale aus den Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs durch das Fahrzeug ausgeführt wird; wobei das Bestimmen eines oder mehrerer Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, erweiterten Merkmalen der Rohdaten des jeweiligen Umfeldsensors durch das Fahrzeug ausgeführt wird; wobei das Fusionieren der bestimmten Objekte mit den erweiterten Merkmalen der jeweiligen Umfeldsensoren durch das Fahrzeug ausgeführt wird; und wobei das Erkennen der Verkehrssituation basierend auf den fusionierten Objekten mit den erweiterten Merkmalen durch das Fahrzeug ausgeführt wird.
  5. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Erweitern der vorgegebenen Merkmale der Rohdaten des jeweiligen Umfeldsensors mit dem gelernten, neuen Merkmal umfasst: Erzeugen eines Softwarecodes zum Bestimmen des neuen Merkmals aus den Rohdaten basierend auf dem trainierten, maschinellen Lernverfahren; Hinzufügen des erzeugten Softwarecodes zum Bestimmen des neuen Merkmals aus den Rohdaten des jeweiligen Umfeldsensors zu einem Softwarecode zum Bestimmen der vorgegebenen Merkmale in den Rohdaten des jeweiligen Umfeldsensors.
  6. Verfahren nach einem der vorhergehenden Ansprüche, wobei das maschinelle Lernverfahren ein neuronales Netz ist; und wobei das Erzeugen des Softwarecodes zum Bestimmen des neuen Merkmals aus den Rohdaten basierend auf dem trainierten, maschinellen Lernverfahren umfasst: Bestimmen wenigstens eines Teils des trainierten, neuronalen Netzes, welches das neue Merkmal in den Rohdaten des jeweiligen Umfeldsensors erkennt.
  7. Computerlesbares Medium zum Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs (102), wobei das Computer-lesbare Medium Instruktionen umfasst, die, wenn ausgeführt auf einem Computer oder einem Steuergerät, den Computer oder das Steuergerät dazu veranlassen, das Verfahren nach einem der Ansprüche 1 bis 6 auszuführen.
  8. System zum Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs (102), wobei das System dazu eingerichtet ist das Verfahren nach einem der Ansprüche 1 bis 6 auszuführen.
  9. Fahrzeug (102) umfassend das System zum Betreiben des Fahrzeugs (102) mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs (102) nach Anspruch 8.
DE102018206745.7A 2018-05-02 2018-05-02 Verfahren zum Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs, computerlesbares Medium, System, und Fahrzeug Active DE102018206745B4 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102018206745.7A DE102018206745B4 (de) 2018-05-02 2018-05-02 Verfahren zum Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs, computerlesbares Medium, System, und Fahrzeug
PCT/EP2019/059064 WO2019211067A1 (de) 2018-05-02 2019-04-10 Verfahren zum betreiben eines fahrzeugs mit umfeldsensoren zum erfassen eines umfelds des fahrzeugs, computerlesbares medium, system, und fahrzeug

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018206745.7A DE102018206745B4 (de) 2018-05-02 2018-05-02 Verfahren zum Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs, computerlesbares Medium, System, und Fahrzeug

Publications (2)

Publication Number Publication Date
DE102018206745A1 DE102018206745A1 (de) 2019-11-07
DE102018206745B4 true DE102018206745B4 (de) 2024-03-28

Family

ID=66223686

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018206745.7A Active DE102018206745B4 (de) 2018-05-02 2018-05-02 Verfahren zum Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs, computerlesbares Medium, System, und Fahrzeug

Country Status (2)

Country Link
DE (1) DE102018206745B4 (de)
WO (1) WO2019211067A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364783B (zh) * 2020-11-13 2023-07-14 黑龙江鸿时数字科技有限公司 一种零件检测方法、装置及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4337164A1 (de) 1992-11-05 1994-05-11 Volkswagen Ag Steuerungseinrichtung zur selbsttätigen Schaltung eines Automatikgetriebes
DE102014205180A1 (de) 2014-03-20 2015-09-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
DE102015007493A1 (de) 2015-06-11 2016-12-15 Audi Ag Verfahren zum Trainieren eines in einem Kraftfahrzeug eingesetzten Entscheidungsalgorithmus und Kraftfahrzeug
DE102016000493A1 (de) 2016-01-19 2017-07-20 Audi Ag Verfahren zum Betrieb eines Fahrzeugsystems und Kraftfahrzeug
US20180067488A1 (en) 2016-09-08 2018-03-08 Mentor Graphics Corporation Situational awareness determination based on an annotated environmental model

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10740658B2 (en) * 2016-09-08 2020-08-11 Mentor Graphics Corporation Object recognition and classification using multiple sensor modalities
DE102016217246A1 (de) * 2016-09-09 2018-03-15 Robert Bosch Gmbh Konzept zum Erfassen eines Umfelds eines Kraftfahrzeugs

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4337164A1 (de) 1992-11-05 1994-05-11 Volkswagen Ag Steuerungseinrichtung zur selbsttätigen Schaltung eines Automatikgetriebes
DE102014205180A1 (de) 2014-03-20 2015-09-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
DE102015007493A1 (de) 2015-06-11 2016-12-15 Audi Ag Verfahren zum Trainieren eines in einem Kraftfahrzeug eingesetzten Entscheidungsalgorithmus und Kraftfahrzeug
DE102016000493A1 (de) 2016-01-19 2017-07-20 Audi Ag Verfahren zum Betrieb eines Fahrzeugsystems und Kraftfahrzeug
US20180067488A1 (en) 2016-09-08 2018-03-08 Mentor Graphics Corporation Situational awareness determination based on an annotated environmental model

Also Published As

Publication number Publication date
DE102018206745A1 (de) 2019-11-07
WO2019211067A1 (de) 2019-11-07

Similar Documents

Publication Publication Date Title
EP2951804B1 (de) Erstellen eines umfeldmodells für ein fahrzeug
DE102019105359B4 (de) Verfahren für ein Ultraschallmesssystem im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit Hilfe eines Deep-Learning Verfahrens und einem selbstlernenden Entscheider
WO2016066416A1 (de) Verfahren und vorrichtung zum bestimmen einer momentan vorliegenden fahrsituation
DE102016003424A1 (de) Verfahren und Vorrichtung zum Erkennen von Verkehrszeichen
DE102021128041A1 (de) Verbesserung eines neuronalen fahrzeugnetzwerks
DE102017217256A1 (de) Kommunikationsfluss von Verkehrsteilnehmer in Richtung eines automatisiert fahrenden Fahrzeug
DE112019005949T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungssystem und informationsverarbeitungsverfahren
DE102019216206A1 (de) Vorrichtung und Verfahren zum Bestimmen einer Kehrtwendestrategie eines autonomen Fahrzeugs
DE102018215055A1 (de) Verfahren zum Bestimmen einer Spurwechselangabe eines Fahrzeugs, ein computerlesbares Speichermedium und ein Fahrzeug
DE102018206745B4 (de) Verfahren zum Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs, computerlesbares Medium, System, und Fahrzeug
DE102019134408A1 (de) Selbstlernendes Netzwerk neuronaler Netzwerkmodelle für sicherheitsrelevante Anwendungen im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit Hilfe eines Deep-Learning Verfahrens
EP3748453B1 (de) Verfahren und vorrichtung zum automatischen ausführen einer steuerfunktion eines fahrzeugs
EP3748454A1 (de) Verfahren und vorrichtung zum automatischen ausführen einer steuerfunktion eines fahrzeugs
DE102020100996A1 (de) Ultraschallmesssystem mit einer selbstlernenden KI-Steuerung von Mikrobeamformern im Fahrzeug
DE102020101060A1 (de) Selbstlernendes Ultraschallmesssystem im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit einem Multiplanar-Reformatierer
WO2019211293A1 (de) Verfahren zum betreiben eines fahrerassistenzsystems eines egofahrzeugs mit wenigstens einem umfeldsensor zum erfassen eines umfelds des egofahrzeugs, computer-lesbares medium, system, und fahrzeug
DE102018207719A1 (de) Vorrichtung und Verfahren zum Betreiben eines automatisierten Fahrzeugs
EP4007891B1 (de) Verfahren und vorrichtung zur lokalisierung eines fahrzeugs in einer umgebung
DE102007021579A1 (de) Verfahren und Vorrichtung zur Klassifikation mindestens eines Verkehrszeichens
DE102019218078B4 (de) Bestimmung eines Sachverhalts im Umfeld eines Kraftfahrzeugs
DE102018215136B4 (de) Verfahren zum Auswählen eines Bildausschnitts eines Sensors
DE102020203828A1 (de) Verfahren zum Erkennen einer Umgebung eines Fahrzeugs
DE102020203829A1 (de) Verfahren zum Überwachen eines Fahrzeugsystems zum Erkennen einer Umgebung eines Fahrzeugs
DE102020209987A1 (de) Vorrichtung und Verfahren zum Verarbeiten von Umfeldsensordaten
DE102020101000A1 (de) Ultraschallmesssystem im Fahrzeug mit einem Doppler-Prozessor als Feature-Extraktor für ein selbstlernendes neuronales Netzwerk

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division