DE102018010039A1 - Verfahren zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs, Steuergerät zum Ausführen eines solchen Verfahrens, sowie Fahrzeug mit einem solchen Steuergerät - Google Patents

Verfahren zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs, Steuergerät zum Ausführen eines solchen Verfahrens, sowie Fahrzeug mit einem solchen Steuergerät Download PDF

Info

Publication number
DE102018010039A1
DE102018010039A1 DE102018010039.2A DE102018010039A DE102018010039A1 DE 102018010039 A1 DE102018010039 A1 DE 102018010039A1 DE 102018010039 A DE102018010039 A DE 102018010039A DE 102018010039 A1 DE102018010039 A1 DE 102018010039A1
Authority
DE
Germany
Prior art keywords
vehicle
pattern
drone
reference data
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102018010039.2A
Other languages
English (en)
Inventor
Mohsen Sefati
Holger Claus
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102018010039.2A priority Critical patent/DE102018010039A1/de
Priority to PCT/EP2019/078863 priority patent/WO2020126167A1/de
Publication of DE102018010039A1 publication Critical patent/DE102018010039A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Erkennung von mindestens einem Muster (1) in einer Umgebung eines Fahrzeugs (3), dadurch gekennzeichnet, dass durch mindestens ein erstes System (5) erste Referenzdaten ermittelt werden, wobei das mindestens eine erste System (5) mindestens ein Sensor des Fahrzeugs (3) ist, durch ein weiteres System (7) weitere Referenzdaten ermittelt werden, wobei das weitere System (7) mindestens eine Drohne (9) ist, wobei mittels der mindestens einen Drohne (9) in einer Vogelperspektive Bilder der Umgebung des Fahrzeugs (3) erfasst werden, mittels der ersten Referenzdaten und der weiteren Referenzdaten mindestens ein Referenz-Muster ermittelt wird, durch das Fahrzeug (3) mindestens ein Muster in der Umgebung des Fahrzeugs (3) erfasst wird, das durch das Fahrzeug (3) mindestens eine erfasste Muster mit dem mindestens einen Referenz-Muster abgeglichen wird, wobei Abweichungen ermittelt werden, und das mindestens eine von dem Fahrzeug (3) erfasste Muster in Abhängigkeit der ermittelten Abweichungen zumindest teilweise angepasst wird.

Description

  • Die Erfindung betrifft ein Verfahren zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs, ein Steuergerät, eingerichtet zum Ausführen eines solchen Verfahrens, sowie ein Fahrzeug mit einem solchen Steuergerät.
  • Die manuelle Kennzeichnung von Objekten auf einem Bild ist ein zeitraubender und teurer Prozess. So ist beispielsweise bei der Generierung von Referenzdaten zur Erkennung von Objekten in der Umgebung eines Fahrzeugs eine manuelle Bestätigung erforderlich, ob die vorliegenden Referenzdaten der Realität entsprechen oder modifiziert werden müssen. Derartige Verfahren zur Kennzeichnung finden insbesondere Verwendung bei Kennungs- und Klassifikationsverfahren, bei denen anhand von Trainingssätzen unter Verwendung verschiedener Parameter Muster, insbesondere Objekte, erkannt werden. Um eine möglichst detaillierte Umgebung des Fahrzeugs zu erhalten ist eine Vielzahl von manuell bearbeiteten Bildern notwendig, in denen potentiell auftretende Objekte, beispielsweise Pkw, Lkw, Zweiräder, Fußgänger, aber auch Gegenstände, Gebäude und andere Verkehrssituationen enthalten sind.
  • Um diesen Vorgang zu beschleunigen werden Verfahren eingesetzt, die automatisch eine solche Kennzeichnung übernehmen. Dazu kann ein trainiertes Modell, beispielsweise ein neuronales Netz, zur Detektion und Klassifizierung von Objekten verwendet werden. Das Modell schlägt Bereiche und/oder Konturen für real existierende Objekte vor. Der Bereich und/oder die Kontur der Objekte muss dadurch nicht mehr manuell ausgewählt werden.
  • Referenzdaten spielen eine wichtige Rolle bei der Validierung und dem Training von Funktionen für zumindest teilweise autonome Fahrzeuge. Die Referenzdaten sind als sogenannte „ground-truth“ bekannt, die als zu erwartende reale Ergebnisse und als Grundlage zur Evaluierung von Funktionen zu verstehen sind. Referenzdaten sind ein wichtiger Bestandteil zur Validierung, zum Test und zum Training von Modellen, die auf maschinellem Lernen basieren. Methoden des maschinellen Lernens, insbesondere mittels neuronaler Netze, beispielsweise ein Convolutional Neuronal Network (CNN), die auf dem sogenannten Deep-Learning-Ansatz basieren, werden zur Erkennung von Mustern angewendet, insbesondere aufgrund der guten Leistungsfähigkeit im Vergleich zu konventionalen Methoden. Während der Trainingsphase lernen neuronale Netze aus den Unterschieden der erhaltenen Ergebnisse und der Referenzdaten als den zu erwartenden realen Ergebnissen und passen das Verfahren an, beispielsweise durch die Gewichtung verwendeter Parameter. Die Qualität und die Leistungsfähigkeit der Modelle hängen im Wesentlichen von der Qualität der Referenzdaten ab.
  • Die Referenzdaten können auf unterschiedliche Art und Weise bereitgestellt werden, beispielsweise durch manuelle Kennzeichnung, wobei der Bereich und/oder die Kontur jedes Objekts immer innerhalb des Sichtfelds des Sensors manuell ausgewählt und markiert wird. Hierfür kann für ein einzelnes erfasstes Bild einer Kamera mit einem Sichtwinkel von 90° in einem städtischen Straßenverkehr, das 20 Objekte umfasst, 10 bis 20 Minuten benötigt werden. Der Bereich und/oder die Kontur jedes Objekts muss dabei ausgewählt und in eine vordefinierte Klasse klassifiziert werden. Dies ist zeitlich aufwendig und teuer, da üblicherweise tausende an Bildern für eine akzeptable Leistung eines Systems erforderlich sind. Der dafür notwendige Zeitaufwand wird sogar größer, wenn unterschiedliche Sensoren, beispielsweise ein Radar, ein Lidar und ein Ultraschall, zur Erfassung der Umgebung des Fahrzeugs eingesetzt werden sollen. Die Kennzeichnung muss dabei für jeden Sensor separat durchgeführt werden. Des Weiteren wird die Verifizierung und das Training umso aufwendiger, je mehr Bilder berücksichtigt werden sollen, beispielsweise um Objekte in der Umgebung eines Fahrzeugs zeitabhängig zu berücksichtigen, insbesondere wenn die Bewegung eines Objekts innerhalb einer Bilderfolge zeitlich ausgewertet werden soll.
  • Die deutsche Offenlegungsschrift DE 101 10 275 A1 betrifft ein Verfahren zur Kennzeichnung von Mustern, die als gespeicherte Informationen vorliegen. Für das Muster wird automatisch ein Kennzeichnungsvorschlag erzeugt. Die Erzeugung dieses Kennzeichnungsvorschlags kann separat vom eigentlichen Kennzeichnungsvorgang erfolgen, beispielsweise dann, wenn das Verfahren zur Erzeugung des Kennzeichnungsvorschlags sehr zeitaufwändig ist.
  • Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs bereitzustellen, wobei die genannten Nachteile nicht auftreten, und wobei insbesondere eine schnelle und effiziente Erkennung von Mustern der realen Umgebung möglich ist.
  • Die Aufgabe wird gelöst, indem die Gegenstände der unabhängigen Ansprüche geschaffen werden. Vorteilhafte Ausgestaltungen ergeben sich aus den Unteransprüchen.
  • Die Aufgabe wird insbesondere gelöst, indem ein Verfahren zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs geschaffen wird, wobei das Verfahren dadurch gekennzeichnet ist, dass a) durch mindestens ein erstes System erste Referenzdaten ermittelt werden, wobei das mindestens eine erste System mindestens ein Sensor des Fahrzeugs ist, b) durch ein weiteres System weitere Referenzdaten ermittelt werden, wobei das weitere System mindestens eine Drohne ist, wobei mittels der mindestens einen Drohne in einer Vogelperspektive Bilder der Umgebung des Fahrzeugs erfasst werden, c) mittels der ersten Referenzdaten und der weiteren Referenzdaten mindestens ein Referenz-Muster ermittelt wird, d) durch das Fahrzeug mindestens ein Muster in der Umgebung des Fahrzeugs erfasst wird, e) das durch das Fahrzeug mindestens eine erfasste Muster mit dem mindestens einen Referenzmuster abgeglichen wird, wobei Abweichungen ermittelt werden, und f) das mindestens eine von dem Fahrzeug erfasste Muster in Abhängigkeit der ermittelten Abweichungen zumindest teilweise eingepasst wird.
  • Erfindungsgemäß wird also vorgeschlagen, ein Verfahren zur Erkennungen von Mustern bereitzustellen, insbesondere mittels maschinellem Lernen, wobei durch das Fahrzeug erfasste Referenzdaten und ergänzende Referenzdaten, die insbesondere mittels einer Drohne von der Umgebung des Fahrzeugs erfasst werden, zur Ermittlung der Referenz-Muster der Umgebung des Fahrzeugs verwendet werden, so dass aus den Referenzdaten Referenz-Muster der der in der Umgebung des Fahrzeugs befindlichen Objekte ermittelt werden, und ein Vergleich der Referenz-Muster mit den von dem Fahrzeug erfassten Mustern möglich ist, insbesondere die Daten validiert werden können. Das weitere System, insbesondere die mindestens eine Drohne, wird ergänzend zur Bereitstellung von Referenzdaten zur Validierung und zum Training der Erkennung von Objekten eingesetzt. Die mindestens eine Drohne fliegt dabei über dem zumindest teilweise autonomen Fahrzeug und stellt die Umgebung des Fahrzeugs in einer Vogelperspektive bereit. Die Erkennung und Klassifizierung von Objekten, insbesondere der Klassifizierung des Verhaltens von Objekten, in der Vogelperspektive ist dabei vorteilhafterweise einfacher als die Erkennung anhand eines Bilds der Kamera des Fahrzeugs, da die Umrisse der Objekte rechteckig erscheinen und die Objekte weniger durch andere Objekte oder sonstige Störungen verdeckt sind.
  • Eine Verbesserung der Kennzeichnung von Objekten wird insbesondere durch ein sogenanntes Coupled-Labeling erreicht. Unter einem Coupled-Labeling wird insbesondere verstanden, dass ein weiteres System ergänzend zu einem oder mehreren bereits bestehenden im Fahrzeug befindlichen und/oder bereits verwendeten Systemen, insbesondere Sensoren, eingesetzt wird. Das weitere System stellt dabei eine weitere Perspektive, einen weiteren Sichtwinkel und/oder zusätzliche Informationen bereit, wodurch insbesondere die Detektion, Klassifizierung und/oder Kennzeichnung von Objekten vereinfacht und/oder verbessert wird. Vorzugsweise sind bei dem Coupled-Labeling sind die Quellen der Referenzdaten zumindest temporär miteinander verbunden und zeitlich gesteuert, so dass das Ergebnis jedes Systems zu einer bestimmten Zeit einem Bild zugeordnet werden kann.
  • Das erfindungsgemäße Verfahren zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs weist Vorteile im Vergleich zum Stand der Technik auf. Vorteilhafterweise wird die Validierung und das Training zur Erkennung von Mustern durch Referenzdaten erleichtert, da die Referenzdaten insbesondere nicht durch aufwändige und teure Labeling-Prozesse, insbesondere durch manuelle Erkennung der Muster, durchgeführt werden müssen. Vorteilhafterweise erfasst die Drohne 360°-Bilder um das Fahrzeug. Vorteilhafterweise sind störende Einflüsse, wie Unterschiede, Schatten von beispielsweise Bäumen, Änderungen von Oberflächen, insbesondere von Farben der Oberfläche, in der Vogelperspektive weniger vorhanden und stören dadurch die Erkennung von Objekten weniger. Vorteilhafterweise ist der Rundumblick 360° um das Fahrzeug dabei gegeben und muss nicht durch eine Vielzahl von Bildern erfasst werden, dabei können insbesondere die Objekte in der Umgebung des Fahrzeugs in einem einzigen Bild sichtbar gemacht werden. Vorteilhafterweise können mehr Details der Umgebung des Fahrzeugs erkannt werden, die durch eine Perspektive eines in einem Fahrzeug verbauten Sensors, insbesondere eine Kamera, verdeckt sind. Vorteilhafterweise können Referenzdaten für die Kennzeichnung und Erkennung von Objekten schneller, mit einer besseren Qualität und mehr Informationen bereitgestellt werden. Vorteilhafterweise können die Referenzdaten zur Detektion, Klassifizierung, und auch Verfolgung von Objekten eingesetzt werden. Vorteilhafterweise wird die Verfolgung von Objekten und/oder Fahrzeugen in der Vogelperspektive erleichtert. Vorteilhafterweise werden durch die ergänzende Verwendung von Drohnen weitere Referenzdaten zur Validierung und zum Training von zumindest teilweise autonomen Fahrzeugen bereitgestellt.
  • Unter einer Drohne wird insbesondere auch ein Kleinstflugzeug oder ein Zeppelin verstanden.
  • Vorzugsweise ist die Drohne dynamisch in der Umgebung des Fahrzeugs angeordnet, so dass die Drohne insbesondere in der Umgebung des Fahrzeugs bewegbar ist. Alternativ bevorzugt ist die Drohne statisch in der Umgebung des Fahrzeugs angeordnet.
  • Unter Referenzdaten werden insbesondere Daten der realen Umgebung eines Fahrzeugs verstanden. Die Referenzdaten werden insbesondere zum Abgleich mit von dem Fahrzeug ermittelten Daten der Umgebung abgeglichen, wobei insbesondere Parameter zur Ermittlung der Daten durch das Fahrzeug angepasst werden, so dass diese zumindest weitgehend den Referenzdaten entsprechen.
  • Vorzugsweise können die Referenz-Muster zum Training einer Vielzahl von Sensoren des Fahrzeugs eingesetzt werden. Vorzugsweise ist der mindestens eine Sensor des Fahrzeugs eine Kamera, ein Radar, oder ein Lidar-Sensor.
  • Vorzugsweise weist die Drohne eine Kamera zum Erfassen der Umgebung des Fahrzeugs auf.
  • Vorzugsweise wird das Objekt zeitabhängig erkannt, insbesondere wird ein Tracking des Objekts und/oder ein Verhalten des Objekts erfasst.
  • Vorzugweise befindet sich die Drohne in einer Achse senkrecht über dem Fahrzeug. Vorzugsweise befindet sich die Drohne in einem Abstand von 10m senkrecht über dem Fahrzeug, bevorzugt in einem Abstand von 15 m, bevorzugt in einem Abstand von 20 m, bevorzugt in einem Abstand von 30 m, bevorzugt in einem Abstand von 40 m, bevorzugt in einem Abstand von 50 m, bevorzugt in einem Abstand von 100 m, bevorzugt in einem Abstand von 200 m, bevorzugt in einem Abstand von 300 m, bevorzugt in einem Abstand von 400 m, oder bevorzugt in einem Abstand von 500 m.
  • Vorzugsweise werden die von dem mindestens einen Sensor des Fahrzeugs erfassten Referenzdaten mit der Drohne ausgetauscht und/oder synchronisiert, und/oder die von der Drohne erfassten Referenzdaten mit dem Fahrzeug ausgetauscht und/oder synchronisiert. Vorzugsweise werden die Daten zwischen dem Fahrzeug und der Drohne mittels einer WLAN-Verbindung und/oder einer Mobilfunkverbindung, beispielsweise einer UMTS-Verbindung, ausgetauscht und/oder synchronisiert.
  • Vorzugsweise wird ein Koordinatensystem des Fahrzeugs, insbesondere ein in der Mitte der Hinterachse des Fahrzeugs befindliches Koordinatensystem, als Referenzpunkt zum Abgleich der vom Fahrzeug erfassten Referenzdaten mit den von der Drohne erfassten Referenzdaten verwendet.
  • Unter einem Muster wird insbesondere ein ermitteltes Objekt und/oder eine Situation in der Umgebung eines Fahrzeugs verstanden. Vorzugsweise ist das Muster eine Ausfahrt, ein Baum, eine Bebauung, eine Sehenswürdigkeit, eine Engstelle, eine Kreuzung, eine Straßenart, ein anderes Fahrzeug, ein Gebäude, ein Gegenstand, eine Anzahl an Fahrspuren, eine Spurmarkierung, ein Stau, ein Tunnel, ein Unfall, ein Wetterverhältnis und/oder ein Fußgänger.
  • Unter einem Referenz-Muster wird insbesondere ein Muster verstanden, das basierend auf der Gesamtheit aller Referenzdaten ermittelt wird, wobei das Referenz-Muster insbesondere möglichst die reale Situation der Umgebung des Fahrzeugs repräsentiert. Das Referenz-Muster wird zum Abgleich mit einem durch ein Fahrzeug erfasstes Muster verwendet, um Abweichungen des erfassten Musters von der realen Situation zu ermitteln und das durch das Fahrzeug erfasste Muster möglichst der realen Situation anzupassen. Vorzugsweise wird das von dem Fahrzeug erfasste Muster in Abhängigkeit der ermittelten Abweichungen einem Referenz-Muster angepasst. Das so erhaltene Muster wird insbesondere dem Benutzer des Fahrzeugs in geeigneter Form auf einem Display dargestellt.
  • Unter einer Abweichung wird insbesondere ein Unterschied mindestens eines Parameters eines von einem Fahrzeug erfassten Musters von einem Referenz-Muster, insbesondere des gleichen Objekts, verstanden.
  • Vorzugsweise wird die Umgebung des Fahrzeugs, insbesondere der Bereich der Umgebung des Fahrzeugs vorgegeben, bevorzugt ein maximaler Bereich der Umgebung, auf der Muster erkannt werden sollen.
  • Unter einem Fahrzeug wird insbesondere ein Personenkraftwagen, ein Lastkraftwagen, ein Bus, ein Wohnmobil, ein Baufahrzeug, ein Nutzfahrzeug oder auch ein Schienenfahrzeug, ein Boot, ein Schiff oder ein Luftfahrzeug verstanden.
  • Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass das mindestens eine Referenz-Muster mittels eines neuronalen Netzes erkannt wird.
  • Das neuronale Netz basiert insbesondere auf der Vernetzung vieler Neuronen, die ein Netz bilden und untereinander zum Austausch von Daten verbunden sind. Das neuronale Netz ist ein lernfähiges Netz, insbesondere lernfähig durch positive und/oder negative Erfahrung, so dass die Ergebnisse des neuronalen Netzes insbesondere die Erkennung und/oder Klassifizierung eines Musters, näher an dem wirklichen Ergebnis liegt. Das neuronale Netz ist insbesondere ein neuronales Netz, das eine Trainingsphase durchlaufen hat, um Muster zu erkennen und/oder zu klassifizieren. Vorzugsweise ist das neuronale Netz zur Erkennung und Klassifizierung von Mustern einer Umgebung eines Fahrzeugs trainiertes neuronales Netz.
  • Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die Drohne automatisch mittels eines Markers positioniert wird, wobei der Marker bevorzugt auf dem Dach des Fahrzeugs angeordnet wird. Vorzugsweise folgt die mindestens eine Drohne dem Fahrzeug durch Erkennen des spezifischen Markers. Es wird insbesondere gewährleistet, dass die Drohne in der Vogelperspektive in Richtung für den Straßenverkehr relevante Richtung gewandt ist, in der sich auch das Fahrzeug befindet.
  • Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass der Marker ein optischer Marker ist, insbesondere ein QR-Code.
  • Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass das mindestens eine Referenz-Muster für die Validierung und das Training von zumindest teilweise autonomen Fahrzeugen eingesetzt wird.
  • Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass sich die Drohne zumindest weitgehend senkrecht über dem Fahrzeug befindet, bevorzugt in einem Abstand von 300 m über dem Fahrzeug.
  • Vorzugsweise beträgt der Abstand der Drohne über dem Fahrzeug 5 m, bevorzugt 10 m, bevorzugt 20 m, bevorzugt 30 m, bevorzugt 40 m, bevorzugt 50 m, bevorzugt 100 m, bevorzugt 200 m, bevorzugt 300 m, bevorzugt 400 m, oder bevorzugt 500 m. Vorzugsweise befindet sich die Drohne in einem bestimmten Radius senkrecht über dem Fahrzeug, bevorzugt in einem Radius von 2 m, bevorzugt von 4 m, bevorzugt von 6 m, bevorzugt von 8 m, oder bevorzugt von 10 m.
  • Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die von der Drohne bereitgestellten Referenzdaten ohne vorherige Verarbeitung und/oder Änderung abgeglichen werden.
  • Die Aufgabe wird auch gelöst, indem ein Steuergerät bereitgestellt wird, das zum Ausführen eines erfindungsgemäßen Verfahrens eingerichtet ist, insbesondere nach einem der zuvor beschriebenen Ausführungsbeispiele. Dabei ergeben sich für das Steuergerät insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs erläutert wurden.
  • Die Aufgabe wird auch gelöst, indem ein Fahrzeug mit einem erfindungsgemäßen Steuergerät bereitgestellt wird, insbesondere nach einem der zuvor beschriebenen Ausführungsbeispiele. Dabei ergeben sich für das Fahrzeug insbesondere die Vorteile, die bereits in Zusammenhang mit dem Steuergerät und dem Verfahren zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs erläutert wurden.
  • Vorzugsweise ist das Fahrzeug ein zumindest teilweise autonomes Fahrzeug.
  • Die Erfindung wird im Folgenden anhand der Zeichnung näher erläutert.
  • Dabei zeigt die einzige Figur eine schematische Darstellung eines Verfahrens zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs.
  • Die einzige Figur zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Verfahrens zur Erkennung von mindestens einem Muster 1 in einer Umgebung eines Fahrzeugs 3 mit einer von einem Sensor eines Fahrzeugs 3 erfassten Umgebung des Fahrzeugs 3 (1 A), wobei der Sensor in dem vorliegenden Ausführungsbeispiel eine Kamera ist; einer von einer Drohne 9 erfassten Umgebung des Fahrzeugs 3 (1 B), wobei die Umgebung durch eine Kamera der Drohne 9 erfasst ist; eine Anordnung einer Drohne 9 über dem Fahrzeug 3 in der Draufsicht (1 C); und eine Anordnung einer Drohne 9 über dem Fahrzeug 3 in der Seitenansicht (1 D).
  • Das Verfahren ist insbesondere dadurch gekennzeichnet, dass a) durch mindestens ein erstes System 5 erste Referenzdaten ermittelt werden, wobei das mindestens eine erste System 5 mindestens ein Sensor des Fahrzeugs 3 ist, b) durch ein weiteres System 7 weitere Referenzdaten ermittelt werden, wobei das weitere System 7 mindestens eine Drohne 9 ist, wobei mittels der mindestens einen Drohne 9 in einer Vogelperspektive Bilder der Umgebung des Fahrzeugs 3 erfasst werden, c) mittels der ersten Referenzdaten und der weiteren Referenzdaten mindestens ein Referenz-Muster ermittelt wird, d) durch das Fahrzeug 3 mindestens ein Muster in der Umgebung des Fahrzeugs 3 erfasst wird, e) das durch das Fahrzeug 3 mindestens eine erfasste Muster mit dem mindestens einen Referenz-Muster abgeglichen wird, wobei Abweichungen ermittelt werden, und f) das mindestens eine von dem Fahrzeug 3 erfasste Muster in Abhängigkeit der ermittelten Abweichungen zumindest teilweise angepasst wird.
  • Die Drohne 9 kann dabei die weiteren Referenzdaten an das Fahrzeug 3 übermitteln. Das Fahrzeug 3 erfasst durch den mindestens einen Sensor, insbesondere eine Kamera, die Umgebung des Fahrzeugs 3 (1A), wobei der mindestens eine Sensor das erste System 5 zum Ermitteln der Referenzdaten darstellt. Die Drohne 9 erfasst die Umgebung 3 des Fahrzeugs in einer Vogelperspektive, wobei die Drohne 9 das weitere System 7 zum Erfassen von Referenzdaten darstellt (1B). Mittels der durch das erste System 5 erfassten Referenzdaten und der durch das weitere System 7 erfassten Referenzdaten wird das mindestens eine Referenz-Muster ermittelt. Das so erhaltene Referenz-Muster kann mit dem durch das Fahrzeug 3 erfasste Muster in der Umgebung des Fahrzeugs 3 abgeglichen werden, wodurch Abweichungen ermittelt werden, so dass das von dem Fahrzeug 3 erfasste Muster zumindest teilweise angepasst werden kann. Die Drohne 9 erfasst die Umgebung des Fahrzeugs 3 in der Vogelperspektive (1C). Die Drohne 9 befindet sich insbesondere senkrecht über dem Fahrzeug 3 (1D).
  • Vorteilhafterweise wird die Validierung und das Training zur Erkennung von Mustern durch Referenzdaten erleichtert, da die Referenzdaten insbesondere nicht durch aufwändige und teure Labeling-Prozesse, insbesondere durch manuelle Erkennung der Muster, durchgeführt werden müssen. Vorteilhafterweise können mehr Details der Umgebung des Fahrzeugs erkannt werden, die durch eine Perspektive eines in einem Fahrzeug verbauten Sensors, insbesondere eine Kamera, verdeckt sind. Vorteilhafterweise können Referenzdaten für die Kennzeichnung und Erkennung von Objekten schneller, mit einer besseren Qualität und mehr Informationen bereitgestellt werden.
  • In einer Ausgestaltung wird das mindestens eine Referenz-Muster mittels eines neuronalen Netzes erkannt.
  • In einer weiteren Ausgestaltung wird die Drohne 9 automatisch mittels eines Markers 11 positioniert, wobei der Marker 11 bevorzugt auf dem Dach des Fahrzeugs 3 angeordnet wird.
  • In einer weiteren Ausgestaltung ist der Marker 11 ein optischer Marker 11, insbesondere ein QR-Code.
  • In einer weiteren Ausgestaltung wird das mindestens eine Referenz-Muster für die Validierung und das Training von zumindest teilweise autonomen Fahrzeugen eingesetzt.
  • In einer weiteren Ausgestaltung befindet sich die Drohne 9 senkrecht über dem Fahrzeug 3, bevorzugt in einem Abstand von 50 m über dem Fahrzeug 3.
  • In einer weiteren Ausgestaltung werden die von der Drohne 9 bereitgestellten Referenzdaten ohne vorherige Verarbeitung und/oder Änderung abgeglichen.
  • Das Verfahren kann insbesondere durch ein Steuergerät durchgeführt werden. Das Fahrzeug 3 kann dazu das Steuergerät aufweisen. Das Fahrzeug 3 ist insbesondere ein zumindest teilweise autonomes Fahrzeug 3.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 10110275 A1 [0006]

Claims (9)

  1. Verfahren zur Erkennung von mindestens einem Muster (1) in einer Umgebung eines Fahrzeugs (3), dadurch gekennzeichnet, dass a) durch mindestens ein erstes System (5) erste Referenzdaten ermittelt werden, wobei das mindestens eine erste System (5) mindestens ein Sensor des Fahrzeugs (3) ist, b) durch ein weiteres System (7) weitere Referenzdaten ermittelt werden, wobei das weitere System (7) mindestens eine Drohne (9) ist, wobei mittels der mindestens einen Drohne (9) in einer Vogelperspektive Bilder der Umgebung des Fahrzeugs (3) erfasst werden, c) mittels der ersten Referenzdaten und der weiteren Referenzdaten mindestens ein Referenz-Muster ermittelt wird, d) durch das Fahrzeug (3) mindestens ein Muster in der Umgebung des Fahrzeugs (3) erfasst wird, e) das durch das Fahrzeug (3) mindestens eine erfasste Muster mit dem mindestens einen Referenz-Muster abgeglichen wird, wobei Abweichungen ermittelt werden, und f) das mindestens eine von dem Fahrzeug (3) erfasste Muster in Abhängigkeit der ermittelten Abweichungen zumindest teilweise angepasst wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das mindestens eine Referenz-Muster mittels eines Neuronalen Netzes erkannt wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Drohne (9) automatisch mittels eines Markers (11) positioniert wird, wobei der Marker (11) bevorzugt auf dem Dach des Fahrzeugs (3) angeordnet wird.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Marker (11) ein optischer Marker (11) ist, insbesondere ein QR-Code.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das mindestens eine Referenz-Muster für die Validierung und das Training von zumindest teilweise autonomen Fahrzeugen eingesetzt wird.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sich die Drohne (9) senkrecht über dem Fahrzeug (3) befindet, bevorzugt in einem Abstand von 300 m über dem Fahrzeug (3).
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die von der Drohne (9) bereitgestellten Referenzdaten ohne vorherige Verarbeitung und/oder Änderung abgeglichen werden.
  8. Steuergerät, eingerichtet zum Ausführen eines Verfahrens nach einem der Ansprüche 1 bis 7.
  9. Fahrzeug (3) mit einem Steuergerät nach Anspruch 8, insbesondere ein zumindest teilweise autonomes Fahrzeug (3).
DE102018010039.2A 2018-12-19 2018-12-19 Verfahren zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs, Steuergerät zum Ausführen eines solchen Verfahrens, sowie Fahrzeug mit einem solchen Steuergerät Withdrawn DE102018010039A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102018010039.2A DE102018010039A1 (de) 2018-12-19 2018-12-19 Verfahren zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs, Steuergerät zum Ausführen eines solchen Verfahrens, sowie Fahrzeug mit einem solchen Steuergerät
PCT/EP2019/078863 WO2020126167A1 (de) 2018-12-19 2019-10-23 Verfahren zur erkennung von mindestens einem muster in einer umgebung eines fahrzeugs, steuergerät zum ausführen eines solchen verfahrens, sowie fahrzeug mit einem solchen steuergerät

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018010039.2A DE102018010039A1 (de) 2018-12-19 2018-12-19 Verfahren zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs, Steuergerät zum Ausführen eines solchen Verfahrens, sowie Fahrzeug mit einem solchen Steuergerät

Publications (1)

Publication Number Publication Date
DE102018010039A1 true DE102018010039A1 (de) 2020-06-25

Family

ID=68503071

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018010039.2A Withdrawn DE102018010039A1 (de) 2018-12-19 2018-12-19 Verfahren zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs, Steuergerät zum Ausführen eines solchen Verfahrens, sowie Fahrzeug mit einem solchen Steuergerät

Country Status (2)

Country Link
DE (1) DE102018010039A1 (de)
WO (1) WO2020126167A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021212632A1 (de) 2021-11-10 2023-05-11 Robert Bosch Gesellschaft mit beschränkter Haftung Prüfung der Umfeldsensorik und/oder Umfeldperzeption eines Fahrzeugs
DE102022205505A1 (de) 2022-05-31 2023-11-30 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Erzeugen eines Datensatzes

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115195890B (zh) * 2022-07-19 2024-01-19 岚图汽车科技有限公司 一种车辆行驶控制方法及相关设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10110275A1 (de) 2001-03-02 2002-09-19 Daimler Chrysler Ag Verfahren zur Kennzeichnung von gespeicherter Information

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10110275A1 (de) 2001-03-02 2002-09-19 Daimler Chrysler Ag Verfahren zur Kennzeichnung von gespeicherter Information

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021212632A1 (de) 2021-11-10 2023-05-11 Robert Bosch Gesellschaft mit beschränkter Haftung Prüfung der Umfeldsensorik und/oder Umfeldperzeption eines Fahrzeugs
DE102022205505A1 (de) 2022-05-31 2023-11-30 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Erzeugen eines Datensatzes

Also Published As

Publication number Publication date
WO2020126167A1 (de) 2020-06-25

Similar Documents

Publication Publication Date Title
DE102017217297B4 (de) System zur Erzeugung und/oder Aktualisierung eines digitalen Modells einer digitalen Karte
EP2179381B1 (de) Verfahren und vorrichtung zur verkehrszeichenerkennung
DE102016211182A1 (de) Verfahren, Vorrichtung und System zum Durchführen einer automatisierten Fahrt eines Fahrzeugs entlang einer aus einer Karte bereitgestellten Trajektorie
DE102016210534A1 (de) Verfahren zum Klassifizieren einer Umgebung eines Fahrzeugs
WO2020126167A1 (de) Verfahren zur erkennung von mindestens einem muster in einer umgebung eines fahrzeugs, steuergerät zum ausführen eines solchen verfahrens, sowie fahrzeug mit einem solchen steuergerät
DE102016205433A1 (de) Verfahren, Vorrichtung, Kartenverwaltungseinrichtung und System zum punktgenauen Lokalisieren eines Kraftfahrzeugs in einem Umfeld
DE102018133441A1 (de) Verfahren und System zum Bestimmen von Landmarken in einer Umgebung eines Fahrzeugs
DE102021002798A1 (de) Verfahren zur kamerabasierten Umgebungserfassung
DE102012107886A1 (de) Verfahren zur elektronischen Erkennung von Verkehrszeichen
DE102015207903A1 (de) Vorrichtung und Verfahren zum Erfassen eines Verkehrszeichens vom Balkentyp in einem Verkehrszeichen-Erkennungssystem
DE112020003091T5 (de) System zum Realisieren einer automatischen Iteration vom Vorhersagemodell auf der Grundlage eines Datenbetriebs
WO2020048940A1 (de) Verfahren und system zur verbesserten objektmarkierung in sensordaten
DE102020200169B3 (de) Verfahren zur Zusammenführung mehrerer Datensätze für die Erzeugung eines aktuellen Spurmodells einer Fahrbahn und Vorrichtung zur Datenverarbeitung
DE112018005749T5 (de) Fahrbahnmarkierungsbestimmungsvorrichtung zum automatisierten Fahren
WO2022063900A1 (de) VERFAHREN ZUR FUSION VON UMFELDBEZOGENEN BESTIMMUNGSGRÖßEN
DE102018122871A1 (de) Farblernen
DE102019130204A1 (de) Verfahren und System zum Erstellen dynamischer Karteninformation, die zum Bereitstellen von Umgebungsinformationen geeignet ist
DE102019214603A1 (de) Verfahren und Vorrichtung zum Erstellen einer Lokalisierungskarte
WO2023083620A1 (de) Prüfung der umfeldsensorik und/oder umfeldperzeption eines fahrzeugs
DE102017216802A1 (de) Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug
DE102020200876B4 (de) Verfahren zum Verarbeiten von Sensordaten einer Sensorik eines Fahrzeugs
WO2022043203A1 (de) Training eines generators zur erzeugung realistischer bilder mit einem semantisch segmentierenden diskriminator
EP3772017A1 (de) Bahnsignalerkennung für autonome schienenfahrzeuge
DE102019008079A1 (de) Verfahren zum Erkennen mindestens eines Objekts in einem Fahrbereich eines Fahrzeugs, Vorrichtung eingerichtet zum Druchführen eines solchen Verfahrens, und Fahrzeug mit einer solchen Vorrichtung
DE102018210712A1 (de) System und Verfahren zur gleichzeitigen Lokalisierung und Kartierung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R081 Change of applicant/patentee

Owner name: DAIMLER AG, DE

Free format text: FORMER OWNER: DAIMLER AG, 70327 STUTTGART, DE

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee