DE102020109667A1 - Verfahren und System zur Objekterkennung für ein automatisiert fahrendes Fahrzeug - Google Patents

Verfahren und System zur Objekterkennung für ein automatisiert fahrendes Fahrzeug Download PDF

Info

Publication number
DE102020109667A1
DE102020109667A1 DE102020109667.4A DE102020109667A DE102020109667A1 DE 102020109667 A1 DE102020109667 A1 DE 102020109667A1 DE 102020109667 A DE102020109667 A DE 102020109667A DE 102020109667 A1 DE102020109667 A1 DE 102020109667A1
Authority
DE
Germany
Prior art keywords
object recognition
vehicle
recognized
display
sensor data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020109667.4A
Other languages
English (en)
Inventor
Christoph Pietruska
Natasa Milicic
David Lechner
Frederik Platten
Felix Lauber
Melissa Kratschmayr
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102020109667.4A priority Critical patent/DE102020109667A1/de
Publication of DE102020109667A1 publication Critical patent/DE102020109667A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/178Warnings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/179Distances to obstacles or vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die vorliegende Offenbarung betrifft ein Verfahren zur Objekterkennung für ein automatisiert fahrendes Fahrzeug, insbesondere ein Kraftfahrzeug. Das Verfahren umfasst:Durchführen einer Objekterkennung basierend auf Sensordaten wenigstens eines Umgebungssensors des Fahrzeugs unter Verwendung eines Objekterkennungsalgorithmus;Bereitstellen einer Anzeige, umfassend:Anzeigen eines ersten Objekts, das durch die Objekterkennung in den Sensordaten positiv erkannt wurde, und/oderAnzeigen eines zweiten Objekts, das durch die Objekterkennung in den Sensordaten nicht positiv erkannt wurde, und/oderNicht-Anzeigen eines dritten Objekts, das durch die Objekterkennung in den Sensordaten positiv erkannt wurde; undEmpfangen einer Nutzereingabe in Bezug auf das erste Objekt und/oder das zweite Objekt und/oder das dritte Objekt.

Description

  • Die vorliegende Offenbarung betrifft ein Verfahren zur Objekterkennung für ein automatisiert fahrendes Fahrzeug, ein Speichermedium zum Ausführen des Verfahrens, ein System zur Objekterkennung für ein automatisiert fahrendes Fahrzeug und ein Fahrzeug mit einem solchen System. Die vorliegende Offenbarung betrifft insbesondere eine Verbesserung eines Umfeldmodells für ein automatisiert fahrendes Fahrzeug.
  • Stand der Technik
  • Die Entwicklung von Fahrassistenzfunktionen beispielsweise zum (teil-)autonom Fahren gewinnt stetig an Bedeutung. Um eine möglichst präzise Umgebungswahrnehmung für Fahrerassistenzsysteme zu ermöglichen können Sensormessungen von diversen Sensortypen, wie z.B. Kameras, LiDAR und Radaren verwendet werden. Jeder Sensortyp unterliegt anderen physikalischen Messprinzipien. Das Fahrzeugumfeld besteht in der Realität aus sehr vielen unterschiedlichen Objekten/Subjekten wie verschiedenen Fahrzeugtypen, Menschen und Tieren, statischen Objekten wie Mülltonnen, Verkehrsleitsystemen, natürlichen Objekten und Terrain. Da die Wahrnehmung all dieser Objekte/Subjekte jeweils auch abhängig von dem verwendeten Messprinzip ist, ist es schwierig, eine präzise Umgebungswahrnehmung sicherzustellen.
  • Offenbarung der Erfindung
  • Es ist eine Aufgabe der vorliegenden Offenbarung, ein Verfahren zur Objekterkennung für ein automatisiert fahrendes Fahrzeug, ein Speichermedium zum Ausführen des Verfahrens, ein System zur Objekterkennung für ein automatisiert fahrendes Fahrzeug und ein Fahrzeug mit einem solchen System anzugeben, die ein Umfeldmodell für ein automatisiert fahrendes Fahrzeug verbessern können. Insbesondere ist es eine Ausgabe der vorliegenden Offenbarung, eine Umfelderkennung eines automatisiert fahrenden Fahrzeugs zuverlässig zu ermöglichen.
  • Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.
  • Gemäß einem unabhängigen Aspekt der vorliegenden Offenbarung ist ein Verfahren zur Objekterkennung für ein automatisiert fahrendes Fahrzeug, insbesondere ein Kraftfahrzeug, angegeben. Das Verfahren umfasst:
    • Durchführen einer Objekterkennung basierend auf Sensordaten wenigstens eines Umgebungssensors des Fahrzeugs unter Verwendung eines Objekterkennungsalgorithmus;
    • Bereitstellen einer Anzeige, umfassend:
      • Anzeigen eines ersten Objekts, das durch die Objekterkennung in den Sensordaten positiv erkannt wurde, und/oder
      • Anzeigen eines zweiten Objekts, das durch die Objekterkennung in den Sensordaten nicht positiv erkannt wurde, und/oder
      • Nicht-Anzeigen eines dritten Objekts, das durch die Objekterkennung in den Sensordaten positiv erkannt wurde; und
    • Empfangen einer Nutzereingabe in Bezug auf das erste Objekt und/oder das zweite Objekt und/oder das dritte Objekt.
  • Erfindungsgemäß werden einem Nutzer, der zum Beispiel ein Sicherheitsfahrer des Fahrzeugs sein kann, die Ergebnisse der aus der Umgebungssensorik gewonnen Daten visualisiert, so dass ein Abgleich der Realität mit der dargestellten Umfelderkennung erfolgen kann. Insbesondere fallen dem Nutzer Abweichungen auf, die sicherheitskritisch werden können, wenn der Nutzer nicht eingreift.
  • Vorzugsweise wird die Nutzereingabe als Eingang beim maschinellen Lernen verwendet. Beispielsweise kann der Objekterkennungsalgorithmus während einer Test- und/oder Entwicklungsphase mittels des erfindungsgemäßen Verfahrens z.B. durch einen Sicherheitsfahrer angelernt und/oder verbessert werden. In einem weiteren Beispiel kann der Objekterkennungsalgorithmus während des Realbetriebs mittels des erfindungsgemäßen Verfahrens durch einen Endnutzer kontinuierlich verbessert werden.
  • Vorzugsweise ist das erste Objekt ein Objekt, das durch den Objekterkennungsalgorithmus als erkanntes Objekt ausgegeben wird (im Folgenden als „erkanntes Objekt“ bezeichnet). Insbesondere kann das erste Objekt durch den Objekterkennungsalgorithmus mit einer Konfidenz erkannt werden, die gleich oder größer als ein erster Schwellwert ist. Die Konfidenz gibt dabei eine Sicherheit an, mit der das in den Sensordaten erkannte Objekt in der Realität tatsächlich vorhanden ist. Durch die Bestätigung des Nutzers über ein Vorhandensein oder Nicht-Vorhandensein des Objekts in der Realität kann eine Zuverlässigkeit der Objekterkennung verbessert werden.
  • Vorzugsweise ist das zweite Objekt ein Objekt, das durch den Objekterkennungsalgorithmus nicht als erkanntes Objekt ausgegeben wird (im Folgenden als „fiktives Objekt“ bezeichnet). Insbesondere kann das zweite Objekt durch den Objekterkennungsalgorithmus mit einer Konfidenz erkannt werden, die gleich oder kleiner als ein zweiter Schwellwert ist. Der zweite Schwellwert kann dabei kleiner als der erste Schwellwert sein. Durch die Bestätigung des Nutzers über ein Vorhandensein oder Nicht-Vorhandensein des Objekts in der Realität kann eine Zuverlässigkeit der Objekterkennung verbessert werden.
  • Die Begriffe „erkanntes Objekt“ und „fiktives Objekt“ können daher mittels der Konfidenz voneinander abgegrenzt verstanden werden.
  • Der Begriff „erkanntes Objekt“ kann dann verwendet werden, wenn der Objekterkennungsalgorithmus eine positive Erkennung (d.h. „Objekt vorhanden“) ausgibt, beispielsweise weil die Konfidenz einer Objekterkennung gleich oder größer als der erste Schwellwert ist.
  • Der Begriff „fiktives Objekt“ kann dann verwendet werden, wenn der Objekterkennungsalgorithmus keine positive Erkennung (d.h. „kein Objekt vorhanden“) ausgibt, beispielsweise weil eine Konfidenz einer Objekterkennung gleich oder kleiner als der zweite Schwellwert ist. Die vorliegende Offenbarung ist jedoch nicht hierauf begrenzt und der Begriff „fiktives Objekt“ kann auch dann verwendet werden, wenn der Objekterkennungsalgorithmus in den Sensordaten überhaupt kein Objekt erkennt.
  • Damit werden dem Nutzer entweder reale Objekte (d.h. Objekte, die in den Sensordaten durch einen Obj ekterkennungsalgorithmus positiv erkannt werden) oder fiktive Objekte (d.h. Objekte, die in den Sensordaten durch den Objekterkennungsalgorithmus nicht positiv erkannt werden) angezeigt. Der Nutzer kann dann auswählen, ob er das angezeigte Objekt tatsächlich in der Umgebung das Fahrzeugs sieht. Durch die Nutzereingabe kann die Objekterkennung verbessert werden.
  • Vorzugsweise ist das dritte Objekt, das nicht angezeigt wird, ein Objekt, das durch den Objekterkennungsalgorithmus als erkanntes Objekt ausgegeben wird („erkanntes Objekt“). Das dritte Objekt kann durch den Objekterkennungsalgorithmus mit einer Konfidenz erkannt werden, die gleich oder größer als ein dritter Schwellwert ist. Der dritte Schwellwert und der erste Schwellwert können identisch oder verschieden sein. Damit kann der Fahrer durch seine Nutzereingabe ein reales Objekt angeben, das er sieht, das aber nicht angezeigt wird. Durch den Abgleich der Nutzereingabe mit dem Ergebnis des Objekterkennungsalgorithmus kann die Richtigkeit der Objekterkennung bestätigt werden.
  • Vorzugsweise erfolgt die Anzeige mittels einer Benutzerschnittstelle, wie zum Beispiel einem Display des Fahrzeugs und/oder einem mobilen Endgerät. Die Benutzerschnittstelle kann zudem zum Empfang der Nutzereingabe eingerichtet sein.
  • Beispielsweise umfasst ein Infotainmentsystem des Fahrzeugs das Display. Das Display kann im oder am Armaturenbrett des Fahrzeugs installiert sein. Das Display kann zum Beispiel eine Headunit sein. In einigen Ausführungsformen ist das Display ein LCD-Display, ein Plasma-Display oder ein OLED-Display.
  • Der Begriff mobiles Endgerät umfasst insbesondere Smartphones, aber auch andere mobile Telefone bzw. Handys, Personal Digital Assistants (PDAs), Tablet PCs, Notebooks, Smart Watches etc., welche zum Beispiel mit Apps ausgestattet sein können.
  • Vorzugsweise ist die Nutzereingabe aus der Gruppe ausgewählt, die eine Bestätigung des Vorhandenseins des angezeigten Objekts in der Realität, eine Angabe eines Nicht-Vorhandenseins des angezeigten Objekts in der Realität, ein Nicht-Vorhandensein eines real existierend Objekts auf der Anzeige, und eine Klassifizierung des angezeigten Objekts umfasst, oder die daraus besteht.
  • Vorzugsweise ist die Klassifizierung des Objekts eine Klassifizierung einer Objektart. Zum Beispiel kann der Nutzer eine Klassifizierung des angezeigten Objekts nach Mensch, Tier, Auto, Fahrrad, Motorrad, LKW, etc. durchführen.
  • In einer Ausführungsform können dem Nutzer (i) Objekte, die in der Realität nicht existieren (fiktive Objekte), angezeigt werden und (ii) Objekte, die in der Realität existieren, nicht angezeigt werden. Der Nutzer kann den Fehler in der Darstellung erkennen und quittieren. In dieser Ausführungsform kann der Nutzer ein Sicherheitsfahrer sein, der das Fahrzeug zu Testzwecken und/oder im Rahmen der Entwicklung fährt. Anders gesagt kann diese Ausführungsform in der Entwicklungsphase des Fahrzeugs Verwendung finden und nicht im Realbetrieb beim Endnutzer.
  • In einer weiteren Ausführungsform kann der Nutzer ein Endnutzer bzw. Endkunde sein. Das erfindungsgemäße Verfahren kann dann im Realbetrieb des Fahrzeugs implementiert werden. Zum Beispiel kann die Funktion der Umfelderkennung dem Nutzer (z.B. Fahrer, weiteren Insassen oder auch Passanten mit entsprechender App) ein mögliches und unsicher erkanntes Objekt, Schild, Baustelle, etc. anzeigen und auf Bestätigung oder Klassifizierung (Mensch/Tier) vom Nutzer warten. Nach erfolgter Klassifizierung lernt der Objekterkennungsalgorithmus das klassifizierte Objekt und erkennt damit langfristig für sich und optional andere Fahrzeuge (z.B. über Backend-Anbindung) besser das Umfeld (Machine Learning oder auch Fehler-Traces zur Weiterentwicklung).
  • Die Implementierung des erfindungsgemäßen Verfahrens im Realbetrieb weist den Vorteil auf, dass eine Aufmerksamkeit des Nutzers, der ein Fahrer des z.B. teil-autonomen Fahrzeugs sein kann, erhalten werden kann. Dies kann insbesondere in sicherheitskritischen Situationen, in denen der Fahrer die Steuerung des Fahrzeugs übernehmen muss, relevant sein. In einigen Ausführungsformen kann dem Nutzer ein Anreiz zum Ausführen des Verfahrens geboten werden, wie zum Beispiel ein Bonussystem (z.B. Carsharing mit Bonusmeilen).
  • Vorzugsweise werden Daten von einer Vielzahl von Umgebungssensoren fusioniert, wobei die Objekterkennung basierend auf den fusionierten Sensordaten durchgeführt wird. Die Vielzahl von Umgebungssensoren kann gleichartige Sensoren und/oder verschiedenartige Sensoren umfassen.
  • Die Umgebungssensoren (auch als „Umgebungssensorik“ bezeichnet) können wenigstens ein LiDAR-System und/oder wenigstens ein Radar-System und/oder wenigstens eine Kamera und/oder wenigstens ein Ultraschall-System umfassen. Die Umgebungssensorik kann die Umfelddaten (auch als „Umgebungsdaten“ bezeichnet) bereitstellen, die einen Umgebungsbereich des Fahrzeugs abbilden.
  • Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Software (SW) Programm angegeben. Das SW Programm kann eingerichtet werden, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren zur Objekterkennung für ein automatisiert fahrendes Fahrzeug auszuführen.
  • Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Speichermedium angegeben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren zur Objekterkennung für ein automatisiert fahrendes Fahrzeug auszuführen.
  • Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein System zur Objekterkennung für ein automatisiert fahrendes Fahrzeug, insbesondere ein Kraftfahrzeug, angegeben. Das System umfasst einen oder mehrere Prozessoren, die eingerichtet sind, um:
    • eine Objekterkennung basierend auf Sensordaten wenigstens eines Umgebungssensors des Fahrzeugs unter Verwendung eines Objekterkennungsalgorithmus durchzuführen;
    • ein erstes Objekt, das durch die Objekterkennung in den Sensordaten positiv erkannt wurde, anzuzeigen, und/oder
    • ein zweites Objekt, das durch die Objekterkennung in den Sensordaten nicht positiv erkannt wurde, anzuzeigen, und/oder
    • ein drittes Objekt, das durch die Objekterkennung in den Sensordaten positiv erkannt wurde, nicht anzuzeigen; und
    • eine Nutzereingabe in Bezug auf das erste Objekt und/oder das zweite Objekt und/oder das dritte Objekt zu empfangen.
  • Das System ist insbesondere eingerichtet, das in diesem Dokument beschriebene Verfahren zur Objekterkennung für ein automatisiert fahrendes Fahrzeug auszuführen. Das Verfahren kann die Aspekte des in diesem Dokument beschriebenen Systems zur Objekterkennung für ein automatisiert fahrendes Fahrzeug implementieren.
  • Gemäß einem weiteren Aspekt der vorliegenden Offenbarung ist ein Fahrzeug, insbesondere Kraftfahrzeug, abgegeben. Das Fahrzeug umfasst das System zur Objekterkennung für ein automatisiert fahrendes Fahrzeug gemäß den Ausführungsformen der vorliegenden Offenbarung.
  • Der Begriff Fahrzeug umfasst PKW, LKW, Busse, Wohnmobile, Krafträder, etc., die der Beförderung von Personen, Gütern, etc. dienen. Insbesondere umfasst der Begriff Kraftfahrzeuge zur Personenbeförderung.
  • In einigen Ausführungsformen umfasst das Fahrzeug ein Fahrassistenzsystem zum automatisierten Fahren. Unter dem Begriff „automatisiertes Fahren“ kann im Rahmen des Dokuments ein Fahren mit automatisierter Längs- oder Querführung oder ein autonomes Fahren mit automatisierter Längs- und Querführung verstanden werden. Bei dem automatisierten Fahren kann es sich beispielsweise um ein zeitlich längeres Fahren auf der Autobahn oder um ein zeitlich begrenztes Fahren im Rahmen des Einparkens oder Rangierens handeln. Der Begriff „automatisiertes Fahren“ umfasst ein automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Diese Automatisierungsgrade wurden von der Bundesanstalt für Straßenwesen (BASt) definiert (siehe BASt-Publikation „Forschung kompakt“, Ausgabe 11/2012).
  • Beim assistierten Fahren führt der Fahrer dauerhaft die Längs- oder Querführung aus, während das System die jeweils andere Funktion in gewissen Grenzen übernimmt. Beim teilautomatisierten Fahren (TAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum und/oder in spezifischen Situationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim hochautomatisierten Fahren (HAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum, ohne dass der Fahrer das System dauerhaft überwachen muss; der Fahrer muss aber in einer gewissen Zeit in der Lage sein, die Fahrzeugführung zu übernehmen. Beim vollautomatisierten Fahren (VAF) kann das System für einen spezifischen Anwendungsfall das Fahren in allen Situationen automatisch bewältigen; für diesen Anwendungsfall ist kein Fahrer mehr erforderlich.
  • Die vorstehend genannten vier Automatisierungsgrade entsprechen den SAE-Level 1 bis 4 der Norm SAE J3016 (SAE - Society of Automotive Engineering). Beispielsweise entspricht das hochautomatisierte Fahren (HAF) Level 3 der Norm SAE J3016. Ferner ist in der SAE J3016 noch der SAE-Level 5 als höchster Automatisierungsgrad vorgesehen, der in der Definition der BASt nicht enthalten ist. Der SAE-Level 5 entspricht einem fahrerlosen Fahren, bei dem das System während der ganzen Fahrt alle Situationen wie ein menschlicher Fahrer automatisch bewältigen kann; ein Fahrer ist generell nicht mehr erforderlich.
  • Figurenliste
  • Ausführungsbeispiele der Offenbarung sind in den Figuren dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
    • 1 ein Flussdiagram eines Verfahrens zur Objekterkennung für ein automatisiert fahrendes Fahrzeug gemäß Ausführungsformen der vorliegenden Offenbarung,
    • 2 eine Anzeige von Objekten gemäß Ausführungsformen der vorliegenden Offenbarung, und
    • 3 schematisch ein Fahrzeug mit einem Fahrassistenzsystem zum automatisierten Fahren gemäß Ausführungsformen der vorliegenden Offenbarung.
  • Ausführungsformen der Offenbarung
  • Im Folgenden werden, sofern nicht anders vermerkt, für gleiche und gleichwirkende Elemente gleiche Bezugszeichen verwendet.
  • 1 zeigt schematisch ein Flussdiagramm eines Verfahrens 100 zur Objekterkennung für ein automatisiert fahrendes Fahrzeug gemäß Ausführungsformen der vorliegenden Offenbarung. Das Verfahren 100 kann durch eine entsprechende Software implementiert werden, die durch einen oder mehrere Prozessoren (z.B. eine CPU) ausführbar ist.
  • Das Verfahren 100 umfasst im Block 110 ein Durchführen einer Objekterkennung basierend auf Sensordaten wenigstens eines Umgebungssensors des Fahrzeugs unter Verwendung eines Objekterkennungsalgorithmus; im Block 120 ein Bereitstellen einer Anzeige in Bezug auf Objekte; und im Block 130 ein Empfangen einer Nutzereingabe in Bezug auf ein erstes Objekt und/oder ein zweites Objekt und/oder ein drittes Objekt.
  • Das Bereitstellen der Anzeige umfasst im Block 122 ein Anzeigen eines ersten Objekts, das durch die Objekterkennung in den Sensordaten positiv erkannt wurde, und/oder im Block 124 ein Anzeigen eines zweiten Objekts, das durch die Objekterkennung in den Sensordaten nicht positiv erkannt wurde, und/oder im Block 126 ein Nicht-Anzeigen eines dritten Objekts, das durch die Objekterkennung in den Sensordaten positiv erkannt wurde.
  • Das Anzeigen kann mittels einer Benutzerschnittstelle erfolgen, die zum Beispiel ein Display des Fahrzeugs und/oder ein mobiles Endgerät sein kann.
  • Die Nutzereingabe kann als Eingang beim maschinellen Lernen verwendet werden. Beispielsweise kann der Objekterkennungsalgorithmus während einer Test- und/oder Entwicklungsphase mittels des erfindungsgemäßen Verfahrens z.B. durch einen Sicherheitsfahrer angelernt und/oder verbessert werden.
  • In einem weiteren Beispiel kann der Objekterkennungsalgorithmus während des Realbetriebs mittels des erfindungsgemäßen Verfahrens durch einen Endnutzer kontinuierlich verbessert werden. Zum Beispiel kann die Funktion der Umfelderkennung dem Nutzer (z.B. Fahrer, weiteren Insassen oder auch Passanten mit entsprechender App) ein mögliches und unsicher erkanntes Objekt, Schild, Baustelle, etc. anzeigen und auf Bestätigung oder Klassifizierung (Mensch/Tier) vom Nutzer warten. Nach erfolgter Klassifizierung lernt der Objekterkennungsalgorithmus das klassifizierte Objekt und erkennt damit langfristig für sich und andere Fahrzeuge (z.B. über Backend-Anbindung) besser das Umfeld (Machine Learning oder auch Fehler-Traces zur Weiterentwicklung).
  • 2 zeigt eine Anzeige von Objekten gemäß Ausführungsformen der vorliegenden Offenbarung.
  • Das Fahrzeug 10 umfasst eine Umgebungssensorik, die Objekte in einem Umgebungsbereich U des Fahrzeugs 10 erkennen kann. Die Anzeige kann mittels einer Benutzerschnittstelle 200 erfolgen, die zum Beispiel ein Display sein kann.
  • Die Nutzereingabe kann eine Bestätigung des Vorhandenseins des angezeigten Objekts in der Realität (z.B. erstes Objekt 1), eine Angabe eines Nicht-Vorhandenseins des angezeigten Objekts in der Realität (z.B. zweites Objekt 2), ein Nicht-Vorhandensein eines real existierend Objekts auf der Anzeige (z.B. drittes Objekt 3), und/oder eine Klassifizierung des angezeigten Objekts sein (z.B. erstes Objekt 1). Die Klassifizierung des Objekts kann zum Beispiel eine Klassifizierung einer Objektart sein (Mensch, Tier, Auto, Fahrrad, Motorrad, LKW, etc.), ist jedoch nicht hierauf begrenzt.
  • Das erste Objekt 1 ist ein Objekt, das durch den Objekterkennungsalgorithmus als erkanntes Objekt ausgegeben wird. Im Beispiel der 2 ist das erste Objekt 1 eine Person, die real im Umgebungsbereich U vorhanden ist und basierend auf den Sensordaten auf der Benutzerschnittstelle 200 angezeigt wird.
  • Insbesondere kann das erste Objekt 1 durch den Objekterkennungsalgorithmus mit einer Konfidenz erkannt werden, die gleich oder größer als ein erster Schwellwert ist. Der Nutzer kann das Vorhandensein des ersten Objekts 1 beispielsweise durch eine Berührung des ersten Objekts 1 und/oder mittels einer Auswahlliste (z.B. Ja/Nein) auf dem Display bestätigen.
  • Das zweite Objekt 2 ist ein Objekt, das durch den Objekterkennungsalgorithmus nicht als erkanntes Objekt ausgegeben wird. Im Beispiel der 2 ist das zweite Objekt 2 ein Motorrad, das in der Realität nicht im Umgebungsbereich U vorhanden ist.
  • Insbesondere kann das zweite Objekt 2 durch den Objekterkennungsalgorithmus mit einer Konfidenz erkannt werden, die gleich oder kleiner als ein zweiter Schwellwert ist. Der zweite Schwellwert kann dabei kleiner als der erste Schwellwert sein. Der Nutzer kann in die Benutzerschnittstelle eingeben, dass das zweite Objekt 2 in der Realität nicht vorhanden ist.
  • Das dritte Objekt 3, das nicht angezeigt wird, ist ein Objekt, das durch den Objekterkennungsalgorithmus als erkanntes Objekt ausgegeben wird. Das dritte Objekt 3 kann durch den Objekterkennungsalgorithmus mit einer Konfidenz erkannt werden, die gleich oder größer als ein dritter Schwellwert ist. Der dritte Schwellwert und der erste Schwellwert können identisch oder verschieden sein. Damit kann der Fahrer durch seine Nutzereingabe die Existenz des dritten Objekts 3 angeben, das er sieht, das aber nicht auf dem Display angezeigt wird.
  • 3 zeigt schematisch ein Fahrzeug 10 mit einem Fahrassistenzsystem 300 zum automatisierten Fahren gemäß Ausführungsformen der vorliegenden Offenbarung.
  • Das Fahrzeug 10 umfasst das Fahrassistenzsystem 300 zum automatisierten Fahren. Beim automatisierten Fahren erfolgt die Längs- und/oder Querführung des Fahrzeugs 10 automatisch. Das Fahrassistenzsystem 300 übernimmt also die Fahrzeugführung. Hierzu steuert das Fahrassistenzsystem 300 den Antrieb 20, das Getriebe 22, die (z.B. hydraulische) Betriebsbremse 24 und die Lenkung 26 über nicht dargestellte Zwischeneinheiten.
  • Zur Planung und Durchführung des automatisierten Fahrens werden Umfeldinformationen einer Umfeldsensorik, die das Fahrzeugumfeld beobachtet, vom Fahrerassistenzsystem 300 entgegengenommen. Insbesondere kann das Fahrzeug wenigstens einen Umgebungssensor 12 umfassen, der zur Aufnahme von Umgebungsdaten, die das Fahrzeugumfeld angeben, eingerichtet ist. Der wenigstens eine Umgebungssensor 12 kann beispielsweise ein oder mehrere LiDAR-Systeme, ein oder mehrere Radar-Systeme und/oder eine oder mehrere Kameras umfassen.
  • Das Fahrerassistenzsystem 300 verwendet einen Objekterkennungsalgorithmus, der gemäß den Ausführungsformen der vorliegenden Offenbarung angelernt und/oder verbessert wird. Vorzugsweise werden Daten von einer Vielzahl von Umgebungssensoren fusioniert, wobei die Objekterkennung basierend auf den fusionierten Sensordaten durchgeführt wird. Die Vielzahl von Umgebungssensoren kann gleichartige und/oder verschiedenartige Sensoren umfassen.
  • Erfindungsgemäß werden einem Nutzer, der zum Beispiel ein Sicherheitsfahrer des Fahrzeugs sein kann, die Ergebnisse der aus der Umgebungssensorik gewonnen Daten visualisiert, so dass ein Abgleich der Realität mit der dargestellten Umfelderkennung erfolgen kann. Insbesondere fallen dem Nutzer Abweichungen auf, die sicherheitskritisch werden können, wenn der Nutzer nicht eingreift.
  • Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.

Claims (10)

  1. Verfahren (100) zur Objekterkennung für ein automatisiert fahrendes Fahrzeug (10), umfassend: Durchführen (110) einer Objekterkennung basierend auf Sensordaten wenigstens eines Umgebungssensors (12) des Fahrzeugs (10) unter Verwendung eines Obj ekterkennungsalgorithmus; Bereitstellen (120) einer Anzeige, umfassend: Anzeigen (122) eines ersten Objekts (1), das durch die Objekterkennung in den Sensordaten positiv erkannt wurde, und/oder Anzeigen (124) eines zweiten Objekts (2), das durch die Objekterkennung in den Sensordaten nicht positiv erkannt wurde, und/oder Nicht-Anzeigen (126) eines dritten Objekts (3), das durch die Objekterkennung in den Sensordaten positiv erkannt wurde; und Empfangen (130) einer Nutzereingabe in Bezug auf das erste Objekt (1) und/oder das zweite Objekt (2) und/oder das dritte Objekt (3).
  2. Das Verfahren (100) nach Anspruch 1, wobei die Nutzereingabe als Eingang beim maschinellen Lernen verwendet wird.
  3. Das Verfahren (100) nach Anspruch 1 oder 2, wobei das erste Objekt (1) ein Objekt ist, das durch den Objekterkennungsalgorithmus als erkanntes Objekt ausgegeben wird, insbesondere wobei das erste Objekt (1) durch den Objekterkennungsalgorithmus mit einer Konfidenz erkannt wurde, die gleich oder größer als ein erster Schwellwert ist.
  4. Das Verfahren (100) nach einem der Ansprüche 1 bis 3, wobei das zweite Objekt (2) ein Objekt ist, das durch den Objekterkennungsalgorithmus nicht als erkanntes Objekt ausgegeben wird, insbesondere wobei das zweite Objekt (2) durch den Objekterkennungsalgorithmus mit einer Konfidenz erkannt wurde, die gleich oder kleiner als ein zweiter Schwellwert ist, insbesondere wobei der zweite Schwellwert gleich oder kleiner als der erste Schwellwert ist.
  5. Das Verfahren (100) nach einem der Ansprüche 1 bis 4, wobei das dritte Objekt (3) ein Objekt ist, das durch den Objekterkennungsalgorithmus als erkanntes Objekt ausgegeben wird, insbesondere wobei das dritte Objekt (3) durch den Objekterkennungsalgorithmus mit einer Konfidenz erkannt wurde, die gleich oder größer als ein dritter Schwellwert ist.
  6. Das Verfahren (100) nach einem der Ansprüche 1 bis 5, wobei das Anzeigen mittels einer Benutzerschnittstelle (200) erfolgt, insbesondere wobei die Benutzerschnittstelle (200) ein Display des Fahrzeugs (10) und/oder ein mobiles Endgerät umfasst.
  7. Speichermedium, umfassend ein Software-Programm, das eingerichtet ist, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das Verfahren (100) gemäß einem der Ansprüche 1 bis 6 auszuführen.
  8. System zur Objekterkennung für ein automatisiert fahrendes Fahrzeug (10), umfassend: einen oder mehrere Prozessoren, die eingerichtet sind, um: eine Objekterkennung basierend auf Sensordaten wenigstens eines Umgebungssensors (12) des Fahrzeugs (10) unter Verwendung eines Obj ekterkennungsalgorithmus durchzuführen; ein erstes Objekt (1), das durch die Objekterkennung in den Sensordaten positiv erkannt wurde, anzuzeigen, und/oder ein zweites Objekt (2), das durch die Objekterkennung in den Sensordaten nicht positiv erkannt wurde, anzuzeigen, und/oder ein drittes Objekt (3), das durch die Objekterkennung in den Sensordaten positiv erkannt wurde, nicht anzuzeigen; und eine Nutzereingabe in Bezug auf das erste Objekt (1) und/oder das zweite Objekt (2) und/oder das dritte Objekt (3) zu empfangen.
  9. Das System nach Anspruch 8, wobei der eine oder die mehreren Prozessoren eingerichtet sind, um das Verfahren (100) nach einem der Ansprüche 1 bis 7 auszuführen.
  10. Fahrzeug (10), insbesondere Kraftfahrzeug, umfassend das System nach Anspruch 8 oder 9.
DE102020109667.4A 2020-04-07 2020-04-07 Verfahren und System zur Objekterkennung für ein automatisiert fahrendes Fahrzeug Pending DE102020109667A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102020109667.4A DE102020109667A1 (de) 2020-04-07 2020-04-07 Verfahren und System zur Objekterkennung für ein automatisiert fahrendes Fahrzeug

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020109667.4A DE102020109667A1 (de) 2020-04-07 2020-04-07 Verfahren und System zur Objekterkennung für ein automatisiert fahrendes Fahrzeug

Publications (1)

Publication Number Publication Date
DE102020109667A1 true DE102020109667A1 (de) 2021-10-07

Family

ID=77749594

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020109667.4A Pending DE102020109667A1 (de) 2020-04-07 2020-04-07 Verfahren und System zur Objekterkennung für ein automatisiert fahrendes Fahrzeug

Country Status (1)

Country Link
DE (1) DE102020109667A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021131868A1 (de) 2021-12-03 2023-06-07 Valeo Schalter Und Sensoren Gmbh Zuverlässigkeitsüberprüfung einer Objektklassifizierung

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013102087A1 (de) 2013-03-04 2014-09-04 Conti Temic Microelectronic Gmbh Verfahren zum Betrieb eines Fahrerassistenzsystems eines Fahrzeugs
DE102014214505A1 (de) 2014-07-24 2016-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Erstellung eines Umfeldmodells eines Fahrzeugs

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013102087A1 (de) 2013-03-04 2014-09-04 Conti Temic Microelectronic Gmbh Verfahren zum Betrieb eines Fahrerassistenzsystems eines Fahrzeugs
DE102014214505A1 (de) 2014-07-24 2016-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Erstellung eines Umfeldmodells eines Fahrzeugs

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021131868A1 (de) 2021-12-03 2023-06-07 Valeo Schalter Und Sensoren Gmbh Zuverlässigkeitsüberprüfung einer Objektklassifizierung

Similar Documents

Publication Publication Date Title
DE102012021919A1 (de) Modell-basiertes Effizienz-Scoring in der Automobiltechnik
WO2020151879A1 (de) Vorrichtung und verfahren zum überwachen von fahrzeugfunktionen eines fahrzeugs
DE102020109667A1 (de) Verfahren und System zur Objekterkennung für ein automatisiert fahrendes Fahrzeug
DE102017223621A1 (de) Verfahren und Steuereinheit zur Steuerung einer Funktion eines zumindest teilweise automatisiert fahrenden Fahrzeugs
DE102020118450A1 (de) Verfahren und System zum Erzeugen von Testdaten für eine Simulation zur Absicherung einer Fahrfunktion zum automatisierten Fahren
DE102017207441A1 (de) Verfahren zum Überprüfen einer digitalen Umgebungskarte für ein Fahrerassistenzsystem eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102018213378B4 (de) Fahrassistenzsystem für ein Fahrzeug, Fahrzeug mit demselben und Fahrassistenzverfahren für ein Fahrzeug
DE102017204592A1 (de) Verfahren und Vorrichtung zum Anzeigen eines bevorstehenden Fahrmanövers für ein hochautomatisiertes Fahrzeug
DE102019134766A1 (de) Verfahren und Vorrichtung zur Verarbeitung von Sensordaten in einem Fahrzeug
DE102019116980A1 (de) Verfahren und System zum selektiven Lernen von Fahrzeugdaten
DE102016214599A1 (de) Verfahren zur Verkehrszeichenerkennung in Kraftfahrzeugen
DE102022002710A1 (de) Verfahren und Vorrichtung zur Verkehrszeichenerkennung
DE102020205487B4 (de) Verfahren zum Aktivieren von angeforderten Assistenzfunktionen und Steuergerät
DE102021201065A1 (de) Verfahren zum Anzeigen eines Umfeldmodells einer Umgebung eines Kraftfahrzeugs, sowie Umfelderfassungssystem
DE102019123353A1 (de) Verfahren und System zum Validieren einer Umgebungskarte für die Verwendung in einem Fahrzeug
DE102019124505A1 (de) Verfahren und System zum Bestimmen von Haltepunkten für automatisiert fahrende Fahrzeuge
DE102019004075A1 (de) Verfahren zum Bestimmen einer Relevanz eines Objekts in einer Umgebung eines Kraftfahrzeugs mittels eines Fahrerassistenzsystems sowie Fahrerassistenzsystem
DE102020107282B4 (de) Verfahren zur Entscheidungsfindung für ein Fahrassistenzsystem zum automatisierten Fahren eines Fahrzeugs
DE102022127833A1 (de) Fahrassistenzsystem und Fahrassistenzverfahren für ein Fahrzeug
DE102020102365A1 (de) Verfahren und System für einen Erkennungstask
DE102020117086A1 (de) Verfahren und System zum Validieren von Kartendaten für ein Fahrzeug
DE102021127704A1 (de) Verfahren und System zur Vorhersage eines Fahrverhaltens von Fahrzeugen
DE102019126874A1 (de) Verfahren zum Bereitstellen eines neuronalen Netzes zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten
DE102020118504A1 (de) Verfahren und System zum Erweitern eines neuronalen Netzes für eine Umfelderkennung
DE102021128755A1 (de) Fahrerassistenzsystem und Fahrerassistenzverfahren für ein Fahrzeug

Legal Events

Date Code Title Description
R163 Identified publications notified