DE102021202526A1

DE102021202526A1 - Computerimplementiertes Verfahren zum Durchführen einer automatisierten Fahrfunktion, Computerprogrammprodukt, Steuereinheit sowie Kraftfahrzeug

Info

Publication number: DE102021202526A1
Application number: DE102021202526.9A
Authority: DE
Inventors: Frank Bonarens; Seyed Eghbal Ghobadi
Original assignee: PSA Automobiles SA
Current assignee: STELLANTIS AUTO SAS, FR
Priority date: 2021-03-16
Filing date: 2021-03-16
Publication date: 2022-09-22
Also published as: EP4309141A1; WO2022194440A1

Abstract

Beschrieben wird ein Verfahren zum Durchführen einer automatisierten Fahrfunktion eines Kraftfahrzeugs mittels wenigstens eines Algorithmus, der Algorithmus einen Detektionsalgorithmus vorgesehen aufweist, der eine Objektklassenbibliothek von unterschiedlichen Objektklassen zur Erkennung von im Umfeld des Kraftfahrzeugs befindlichen Objekten anwendet, wobei eine Anzahl an Basisobjektklassen ausgewählt wird, Verkehrsinformationen über einen vor dem Kraftfahrzeug liegenden Streckenabschnitt empfangen werden, wobei aus den Verkehrsinformationen wenigstens eine Zusatzobjektklasse extrahiert wird, wobei die wenigstens eine Zusatzobjektklasse zusätzlich zu den Basisobjektklassen zur Erkennung von im Umfeld des Kraftfahrzeugs befindlichen Objekten ausgewählt wird.

Description

Vorliegend werden ein computerimplementiertes Verfahren zum Durchführen einer automatisierten Fahrfunktion, ein Computerprogrammprodukt, eine Steuereinheit sowie ein Kraftfahrzeug beschrieben.
Computerimplementierte Verfahren zum Durchführen einer automatisierten Fahrfunktion, Computerprogrammprodukte, Steuereinheiten sowie Kraftfahrzeuge der eingangs genannten Art sind im Stand der Technik bekannt.
Verfahren, Computerprogrammprodukte, Kraftfahrzeuge sowie Systeme der eingangs genannten Art sind im Stand der Technik bekannt. Die ersten teil-automatisiert (entspricht SAE Level 2 gemäß SAE J3016) fahrenden Kraftfahrzeuge sind in den vergangenen Jahren zur Serienreife gelangt. Automatisiert (entspricht SAE Level >=3 gemäß SAE J3016) bzw. autonom (entspricht SAE Level 4/5 gemäß SAE J3016) fahrende Kraftfahrzeuge müssen anhand vielfältiger Vorgaben, zum Beispiel Fahrtziel und Einhaltung gängiger Verkehrsregeln, mit maximaler Sicherheit auf unbekannte Verkehrssituationen selbständig reagieren. Da die Verkehrswirklichkeit aufgrund der Unvorhersehbarkeit des Verhaltens anderer Verkehrsteilnehmer hoch komplex ist, gilt es als nahezu unmöglich, entsprechende Steuergeräte von Kraftfahrzeugen mit herkömmlichen Methoden und auf der Grundlage von menschengemachten Regeln zu programmieren.
Stattdessen ist es bekannt, mit Methoden des maschinellen Lernens bzw. der künstlichen Intelligenz Algorithmen zu entwickeln. Solche Algorithmen können einerseits maßvoller auf komplexe Verkehrssituationen reagieren als traditionelle Algorithmen. Andererseits ist es mithilfe künstlicher Intelligenz prinzipiell möglich, die Algorithmen während des Entwicklungsprozesses und im Alltag durch ständiges Lernen weiterzuentwickeln. Alternativ wird ein Stand nach der Beendigung der Trainingsphase im Entwicklungsprozesses durch den Hersteller eingefroren.
Aus der DE 10 2018 117 777 A1 sind Verfahren und Systeme zum Steuern eines autonomen Fahrzeugs beschrieben. Ein Sensorfusionssystem mit einem Sensorsystem zum Bereitstellen von Umgebungszustandsinformationen und ein gefaltetes neuronales Netzwerk (CNN) sind vorgesehen. Das CNN beinhaltet eine Empfangsschnittstelle, die konfiguriert ist, um die Umgebungszustandsinformationen vom Sensorsystem zu empfangen, eine gemeinsame Faltungsschicht, die konfiguriert ist, um Verkehrsinformationen aus den empfangenen Umgebungszustandsinformationen zu extrahieren, und eine Vielzahl von vollständig verbundenen Schichten, die konfiguriert sind, um Objekte zu erkennen, die zu verschiedenen Objektklassen gehören, basierend auf den extrahierten Verkehrsinformationen, worin die Objektklassen mindestens eine von einer Straßenmerkmalklasse, einer statischen Objektklasse und einer dynamischen Objektklasse beinhalten.
Bei der Objekterkennung in Bilddaten, insbesondere 2D-Bilddaten haben sich tiefe neuronale Netze (DNNs) als überlegen hinsichtlich ihrer Leistungsfähigkeit gegenüber klassischen Methoden der Bildverarbeitung erwiesen. Der Einsatz solcher Methoden bei automatisierten Fahrfunktionen erfordert schnelle und effiziente Prozesse, da zur Gewährleistung der Fahrsicherheit eine schnelle Verarbeitung der Eingangsdaten erforderlich ist.
Somit stellt sich die Aufgabe, computerimplementierte Verfahren zum Durchführen einer automatisierten Fahrfunktion, Computerprogrammprodukte, Steuereinheiten sowie Kraftfahrzeuge der eingangs genannten Art dahingehend weiterzubilden, dass eine gegenüber herkömmlichen Verfahren erhöhte Recheneffizienz sichergestellt werden kann.
Die Aufgabe wird gelöst durch ein computerimplementiertes Verfahren zum Durchführen einer automatisierten Fahrfunktion gemäß Anspruch 1, ein Computerprogrammprodukt gemäß dem nebengeordneten Anspruch 10, eine Steuereinheit gemäß dem nebengeordneten Anspruch 12 sowie ein Kraftfahrzeug gemäß dem nebengeordneten Anspruch 13. Weiterführende Ausgestaltungen und Weiterbildungen sind Gegenstand der abhängigen Ansprüche.
Nachfolgend wird ein computerimplementiertes Verfahren zum Durchführen einer automatisierten Fahrfunktion eines autonom oder teilautonom fahrenden Kraftfahrzeugs mittels wenigstens eines Algorithmus beschrieben, wobei der Algorithmus in wenigstens einer Steuereinheit ausgeführt wird, wobei die Steuereinheit in Aggregate des Kraftfahrzeugs auf der Grundlage von Eingangsdaten eingreift, wobei der Algorithmus ein trainiertes neuronales Netz aufweist, das zur Objekterkennung ausgebildet ist, wobei ein Detektionsalgorithmus vorgesehen ist, der eine Objektklassenbibliothek von unterschiedlichen Objektklassen (nODD_i, nADD_i) zur Erkennung von im Umfeld des Kraftfahrzeugs befindlichen Objekten anwendet, wobei

a) eine Anzahl an Basisobjektklassen (nODD_i) ausgewählt wird, wobei die Anzahl an Basisobjektklassen (nODD_i) kleiner ist als die gesamte Anzahl an Objektklassen (nODD_i, nADD_i) in der Objektklassenbibliothek;
b) wenigstens ein Eingangssignal mit Informationen über einen vor dem Kraftfahrzeug liegenden Streckenabschnitt empfangen wird, wobei aus den Informationen wenigstens eine Zusatzobjektklasse (nADD_i) ermittelt wird, wobei die wenigstens eine Zusatzobjektklasse (nADD_i) zusätzlich zu den Basisobjektklassen (nODD_i) zur Erkennung von im Umfeld des Kraftfahrzeugs befindlichen Objekten ausgewählt wird;
c) mittels Kraftfahrzeugsensorik Umgebungsinformationen einer Umgebung des Kraftfahrzeugs aufgenommen und an den Detektionsalgorithmus weitergeleitet werden;
d) mittels des Detektionsalgorithmus anhand der Umgebungsinformationen unter Anwendung der Basisobjektklassen (nODD_i) und der wenigstens einen Zusatzobjektklasse (nADD_i) in der Umgebung des Kraftfahrzeugs befindliche Objekte erkannt werden und dem Algorithmus entsprechende Objektdaten zur Verfügung gestellt werden.

Die Steuereinheit kann eine separate Steuereinheit des Kraftfahrzeugs oder Teil einer Steuereinheit mit weiteren, hier nicht beschriebenen Funktionen sein. Aus Gründen der Betriebssicherheit kann eine entsprechende Steuereinheit diskret aufgebaut sein. Auch kann vorgesehen sein, dass die Steuereinheit redundant ausgebildet ist bzw. das hier beschriebene Verfahren redundant auf einer oder mehreren Recheneinheiten ausgeführt werden.
Der Detektionsalgorithmus kann Bestandteil des das Verfahren ausführenden Algorithmus sein oder separat dazu ausgebildet sein. Hierdurch ist es möglich, den Detektionsalgorithmus ganz oder teilweise dezentral auszuführen, z.B. in einer Firmware einer entsprechend verwendeten Kamera.
Als Eingangsdaten kommen generell aktuelle, die Umgebung betreffende Daten infrage, zum Beispiel mittels verschiedener Sensoren gewonnene Daten. Solche Sensoren können beispielsweise Kameras, Radar-, Lidar- und/oder Ultraschall-Sensoren umfassen, aber auch andere Sensoren wie zum Beispiel Positionssensoren, z.B. GPS, Magnetfelddetektierende Sensoren und dergleichen.
Weitere mögliche Eingangsdaten sind Farbplanungsdaten, die beispielsweise aus einem Navigationsziel gewonnen werden, sowie unter Umständen Verkehrsdaten, die den Verkehrsfluss auf der Route bestimmen. Weitere Daten können Kommunikationsdaten sein, die beispielsweise aus Car-to-Car- oder Car-to-Infrastructure-Systemen gewonnen werden, z.B. zu Ampelphasen o.ä..
Im Straßenverkehr befinden sich eine Vielzahl unterschiedlicher Objekte, die sich in verschiedene Klassen einteilen lassen, z.B. andere Verkehrsteilnehmer in motorisierten Fahrzeugen, Verkehrsteilnehmer in unmotorisierten Fahrzeugen, Fußgänger, Tiere, Objekte, Straßenzeichen etc.
Bei der Objekterkennung ist es im Stand der Technik erforderlich, die Eingangsdaten auf sämtliche Objektklassen anzuwenden, um eine vollständige Klassifizierung der in der Umgebung des Kraftfahrzeugs befindlichen Objekte zu erreichen. Dafür ist ein gewisser Rechenaufwand erforderlich. Eine Verringerung der Objektklassen kann die Durchführung des Verfahrens beschleunigen.
Es ist bekannt, dass auf bestimmten Straßenarten bestimmte Objektarten selten oder gar nicht vorkommen. Z.B. sollten sich auf einer Autobahn in der Regel keine Fußgänger, Radfahrer oder Tiere befinden. Dies ist aber nicht vollständig ausschließbar, z.B. kommt es immer wieder vor, dass sich Personen auf der Fahrbahn befinden, z.B. bei einem Unfall. Insoweit ist es nicht möglich, z.B. eine Objektklasse „Personen“ vollständig zu deaktivieren, wenn das betreffende Kraftfahrzeug sich auf einer Autobahn befindet.
Mit dem oben beschriebenen Verfahren ist es dennoch möglich, eine Reduktion der angewendeten Objektklassen und dadurch eine zielgerichtete Gestaltung der Anforderungen zu erreichen. Dadurch, dass wenigstens ein Eingangssignal mit Informationen über einen vor dem Kraftfahrzeug liegenden Streckenabschnitt empfangen werden, können zusätzlich zu den, ggf. straßentypabhängigen, ausgewählten Objektklassen oder für den jeweiligen Straßentyp ausgewählte Basisobjektklassen gezielt um zusätzliche Objektklassen erweitern.
Im Falle eines vorausliegenden Unfalls könnten somit die Informationen erhalten werden, dass sich in einem bestimmten, vorausliegenden Bereich Menschen auf der Fahrbahn befinden. Hierdurch veranlasst wird wenigstens eine Zusatzobjektklasse, z.B. Personen und Tiere, geladen und bei der Objekterkennung angewendet.
Die betreffenden Objektdaten, die über die Kraftfahrzeugsensorik aufgenommen werden können, werden als Eingangsdaten für den Detektionsalgorithmus verwendet.
In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass der Detektionsalgorithmus ein tiefes neuronales Netz aufweist.
Das selbstlernende neuronale Netz kann auf verschiedenen Lernprinzipien aufgebaut sein, insbesondere kann es Verfahren des verstärkenden Lernens anwenden. Verstärkendes Lernen (englisch reinforcement learning) steht für eine Reihe von Methoden des maschinellen Lernens, bei denen das neuronale Netz selbstständig eine Strategie erlernt, um erhaltene Belohnungen zu maximieren. Dabei wird dem neuronalen Netz nicht vorgezeigt, welche Aktion in welcher Situation die beste ist, sondern es erhält zu bestimmten Zeitpunkten eine Belohnung, die auch negativ sein kann. Anhand dieser Belohnungen approximiert es eine Nutzenfunktion, die beschreibt, welchen Wert ein bestimmter Zustand oder eine bestimmte Aktion hat.
Tiefe neuronale Netze (deep neural network) weisen neben einer Eingabeebene und einer Ausgabeebene wenigstens eine versteckte Ebene (hidden layer) auf und sind in der Lage, komplexe Situationen zu analysieren und zu bewerten.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Anzahl von Basisobjektklassen (n_ODD_i) fahrsituationsabhängig ausgewählt wird.
Solche Fahrsituationen können strecken-, tageszeit-, jahreszeit- und regionsspezifisch sein. So kann es z.B. angemessen sein, bei Nachtfahrten eine Objektklasse „Tiere“ stets geladen zu halten, da in der Nacht häufige Wildwechsel stattfinden.
Ein anderes Beispiel sind Strecken, die von Eisenbahnstrecken gekreuzt werden. Die entsprechende Objektklasse wird an anderen Strecken nicht zur Anwendung kommen, insoweit ist die Prozessierung der Eingangsdaten mittels einer Objektklasse „Schienenfahrzeuge“ dort nicht nötig.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass, wenn wenigstens eines der in der Umgebung befindlichen Objekte nicht anhand der Basisobjektklassen (nODD_i) und der wenigstens einen Zusatzobjektklasse (nADD_i) erkannt werden kann, eine Erkennung an übrigen bekannten Objektklassen (nODDJ) vorgenommen wird.
Auf diese Weise kann sichergestellt werden, dass jedes gefundene Objekt richtig klassifiziert werden kann, auch wenn es nicht einer der angewendeten Basisobjektklassen oder Zusatzobjektklassen entspricht.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die wenigstens eine Zusatzobjektklasse (nADD_i) abgewählt wird, wenn das Kraftfahrzeug den Streckenabschnitt verlässt.
Auf diese Weise kann das Verfahren nach Verlassen des Streckenabschnitts wieder beschleunigt werden.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Auswahl der Basisobjektklassen (nODD_i) abhängig vom befahrenen Streckentyp getroffen wird.
Auf innerörtlichen Straßen ist zum Beispiel die Wahrscheinlichkeit von Personen, die die Fahrbahn kreuzen, größer als auf Autobahnen, insoweit ist es sinnvoll, innerorts stets die Objektklasse Personen anzuwenden.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass der Detektionsalgorithmus Detektionsschwellen für die Objektklassen (nODD_i, nADD_i) anwendet, wobei wenigstens eine Detektionsschwelle für die wenigstens eine aus den Informationen ermittelte Zusatzobjektklasse gegenüber einem Standardwert abgesenkt wird.
Auf diese Weise kann eine Priorisierung der Objektklassen erreicht werden.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass das Eingangssignal von einem Empfangssystem übermittelt wird, wobei die Informationen Verkehrsinformationen sind, und/oder wobei das Eingangssignal ein Sensorsignal eines Kraftfahrzeugsensors enthält.
Hierdurch können im ersten Fall aktuelle Verkehrsinformationen verarbeitet werden, zum Beispiel solche betreffend Personen oder Tiere oder andere Objekte auf einer Fahrbahn.
Im zweiten Fall können alternativ oder zusätzlich Umgebungsinformationen aus Kraftfahrzeugsensorik gewonnen werden, z.B. können mittels Kameras Schilder erkannt werden, die auf Objekte hinweisen, zum Beispiel temporäre Baustellenschilder oder saisonale Wildwechselschilder.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass das Eingangssignal Kartendaten einer Umgebungskarte enthält.
Solche Kartendaten können von einer im Kraftfahrzeug gespeicherten Karte oder einer mittels Fernkommunikationsmitteln empfangenen Karte stammen, wobei die Karte mit Zusatzinformationen angereichert ist, zum Beispiel Regionen mit starkem Wildwechsel oder Regionen, in denen gelegentlich andere Hindernisse, z.B. Steinbruch, Moränen oder Sandwehen, auftreten können.
Ein erster unabhängiger Gegenstand betrifft eine Vorrichtung zum Durchführen einer automatisierten Fahrfunktion eines autonom oder teilautonom fahrenden Kraftfahrzeugs mittels wenigstens eines Algorithmus beschrieben, wobei der Algorithmus in wenigstens einer Steuereinheit ausgeführt wird, wobei die Steuereinheit in Aggregate des Kraftfahrzeugs auf der Grundlage von Eingangsdaten eingreift, wobei der Algorithmus ein trainiertes neuronales Netz aufweist, das zur Objekterkennung ausgebildet ist, wobei ein Detektionsalgorithmus vorgesehen ist, der eine Objektklassenbibliothek von unterschiedlichen Objektklassen (nODD_i, nADD_i) zur Erkennung von im Umfeld des Kraftfahrzeugs befindlichen Objekten anwendet, wobei die Vorrichtung dazu eingerichtet ist:

a) eine Anzahl an Basisobjektklassen (nODD_i) auszuwählen, wobei die Anzahl an Basisobjektklassen (nODD_i) kleiner ist als die gesamte Anzahl an Objektklassen (nODD_i, nADD_i) in der Objektklassenbibliothek;
b) mittels eines Eingangs wenigstens ein Eingangssignal mit Informationen über einen vor dem Kraftfahrzeug liegenden Streckenabschnitt zu empfangen und aus den Informationen wenigstens eine Zusatzobjektklasse (nADD_i) zu ermitteln, wobei die wenigstens eine Zusatzobjektklasse (nADD_i) zusätzlich zu den Basisobjektklassen (nODD_i) zur Erkennung von im Umfeld des Kraftfahrzeugs befindlichen Objekten ausgewählt wird;
c) mittels Kraftfahrzeugsensorik Umgebungsinformationen einer Umgebung des Kraftfahrzeugs aufzunehmen und an den Detektionsalgorithmus weiterzuleiten;
d) mittels des Detektionsalgorithmus anhand der Umgebungsinformationen unter Anwendung der Basisobjektklassen (nODD_i) und der wenigstens einen Zusatzobjektklasse (nADD_i) in der Umgebung des Kraftfahrzeugs befindliche Objekte zu erkennen und dem Algorithmus entsprechende Objektdaten zur Verfügung zu stellen.

In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass der Detektionsalgorithmus ein tiefes neuronales Netz aufweist.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrichtung dazu eingerichtet ist, die Anzahl von Basisobjektklassen (n_ODD_i) fahrsituationsabhängig auszuwählen.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrichtung dazu eingerichtet ist, wenn wenigstens eines der in der Umgebung befindlichen Objekte nicht anhand der Basisobjektklassen (nODD_i) und der wenigstens einen Zusatzobjektklasse (nADD_i) erkannt werden kann, eine Erkennung an übrigen bekannten Objektklassen (nODD_j) vorzunehmen.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrichtung dazu eingerichtet ist, die wenigstens eine Zusatzobjektklasse (nADD_i) abzuwählen, wenn das Kraftfahrzeug den Streckenabschnitt verlässt.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrichtung dazu eingerichtet ist, die Auswahl der Basisobjektklassen (nODD_i) abhängig vom befahrenen Streckentyp zu treffen.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass der Detektionsalgorithmus Detektionsschwellen für die Objektklassen (nODD_i, nADD_i) anwendet, wobei die Vorrichtung dazu eingerichtet ist, wenigstens eine Detektionsschwelle für die wenigstens eine aus den Informationen ermittelte Zusatzobjektklasse gegenüber einem Standardwert abzusenken.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass das Eingangssignal von einem Empfangssystem übermittelt wird, wobei die Informationen Verkehrsinformationen sind, und/oder wobei das Eingangssignal ein Sensorsignal eines Kraftfahrzeugsensors enthält.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass das Eingangssignal Kartendaten einer Umgebungskarte enthält.
Ein weiterer unabhängiger Gegenstand betrifft ein Computerprogrammprodukt, mit einem dauerhaften, computerlesbaren Speichermedium, auf dem Befehle eingebettet sind, die, wenn sie von wenigstens einer Recheneinheit ausgeführt werden, bewirken, dass die wenigstens Recheneinheit dazu eingerichtet ist, das Verfahren der vorgenannten Art auszuführen.
Das Verfahren kann auf einer oder auf mehreren Recheneinheiten verteilt ausgeführt werden, sodass bestimmte Verfahrensschritte auf der einen Recheneinheit und andere Verfahrensschritte auf wenigstens einer weiteren Recheneinheit ausgeführt werden, wobei berechnete Daten sofern notwendig zwischen den Recheneinheiten übermittelt werden können.
Die Recheneinheit kann Bestandteil der Steuereinheit sein.
In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass die Befehle das Computerprogrammproduktmodul der zuvor beschriebenen Art aufweisen.
Ein weiterer unabhängiger Gegenstand betrifft eine Steuereinheit mit einem dauerhaften, computerlesbaren Speichermedium, wobei auf dem Speichermedium ein Computerprogrammprodukt der zuvor beschriebenen Art gespeichert ist.
Ein weiterer unabhängiger Gegenstand betrifft ein Kraftfahrzeug mit einer Steuereinheit der zuvor beschriebenen Art.
In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass wobei die Recheneinheit Bestandteil der Steuereinheit ist.
In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Steuereinheit mit Umgebungssensoren und einem Empfangssystem vernetzt ist.
Weitere Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Beschriebene und/oder bildlich dargestellte Merkmale bilden für sich oder in beliebiger, sinnvoller Kombination den Gegenstand, gegebenenfalls auch unabhängig von den Ansprüchen, und können insbesondere zusätzlich auch Gegenstand einer oder mehrerer separater Anmeldung/en sein. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen. Dabei zeigen schematisch:

1 ein Kraftfahrzeug, das zum automatisierten bzw. autonomen Fahren eingerichtet ist;
2 ein Steuergerät des Kraftfahrzeugs aus 1;
3 eine Umgebung mit dem Kraftfahrzeug aus 1, sowie
4 ein Ablaufdiagramm des Verfahrens.

1 zeigt ein Kraftfahrzeug 2, das zum automatisierten bzw. autonomen Fahren eingerichtet ist.
Das Kraftfahrzeug 2 weist ein Steuergerät 4 mit einer Recheneinheit 6 und einem Speicher 8 auf. Im Speicher 8 ist ein Computerprogrammprodukt gespeichert, das im Nachfolgenden im Zusammenhang mit den 2 bis 4 noch eingehender beschrieben wird.
Das Steuergerät 4 ist einerseits mit einer Reihe von Umgebungssensoren verbunden, die eine Erfassung der aktuellen Lage des Kraftfahrzeugs 2 sowie der jeweiligen Verkehrssituation erlauben. Hierzu zählen Umgebungssensoren 10, 11 an der Front des Kraftfahrzeugs 2, Umgebungssensoren 12, 13 am Heck des Kraftfahrzeugs 2, eine Kamera 14 sowie ein GPS-Modul 16. Die Umgebungssensoren 10 bis 13 können z.B. Radar-, Lidar- und/oder Ultraschallsensoren umfassen.
Des Weiteren sind Sensoren zur Erfassung des Zustands des Kraftfahrzeugs 2 vorgesehen, unter anderem Raddrehzahlsensoren 16, Beschleunigungssensoren 18 und Pedalsensoren 20, die mit dem Steuergerät 4 verbunden sind. Mithilfe dieser Kraftfahrzeugsensorik kann der momentane Zustand des Kraftfahrzeuges 2 zuverlässig erfasst werden.
Während des Betriebs des Kraftfahrzeugs 2 hat die Recheneinheit 6 das im Speicher 8 abgelegte Computerprogrammprodukt geladen und führt dieses aus. Auf der Grundlage eines Algorithmus und der Eingangssignale entscheidet die Recheneinheit 6 über die Steuerung des Kraftfahrzeugs 2, die die Recheneinheit 6 über Eingriff in die Lenkung 22, Motorsteuerung 24 sowie Bremsen 26 erreichen würde, die jeweils mit dem Steuergerät 4 verbunden sind.
Daten der Sensoren 10 bis 20 werden fortlaufend im Speicher 8 zwischengespeichert und nach einer vorgegebenen Zeitdauer verworfen, damit diese Umgebungsdaten zur weiteren Auswertung zur Verfügung stehen können.
Der Algorithmus wurde nach dem nachfolgend beschriebenen Verfahren trainiert.
Des Weiteren ist ein RDS-Modul 27 (RDS = Radio Data System) vorgesehen, über das mittels Verkehrsfunk Verkehrs- und Streckeninformationen empfangen werden. Das RDS-Modul 27 ist mit dem Steuergerät 4 verbunden.
In anderen Ausführungsformen können zusätzlich oder alternativ zu einem RDS-Modul andere Kommunikationswege zum Empfang von relevanten Verkehrsinformationen verwendet werden, beispielsweise über ein Auto-zu-Infrastruktur- oder ein Auto-zu-Auto-Netzwerk oder ein Mobilfunknetzwerk.
2 zeigt das Steuergerät 4 aus 1.
Das Steuergerät 4 weist die Recheneinheit 6 auf, in der ein Computerprogrammproduktmodul 28 (gestrichelt umrahmt) ausgeführt wird, das einen Algorithmus 30 zur Ausführung einer autonomen Fahrfunktion aufweist. Die autonome Fahrfunktion kann beispielsweise ein Stauassistent, ein Bremsassistent, ein Kollisionswarnassistent oder dergleichen sein.
Bestandteil des Algorithmus 30 ist ein Detektionsalgorithmus 32 (gestrichelt umrahmt), der ein neuronales Netz 34 aufweist.
Das neuronale Netz 34 ist ein tiefes neuronales Netz (deep neural network, DNN), das neben einer Eingabeebene (input layer) und einer Ausgabeebene (output layer) wenigstens eine versteckte Ebene (hidden layer) aufweist.
Das selbstlernende neuronale Netz 34 lernt nach Methoden des bestärkenden Lernens, d. h. der Algorithmus 30 versucht in einer Trainingsphase, durch Variation des neuronalen Netzes 34 Belohnungen für ein verbessertes Verhalten entsprechend einer oder mehrerer Metriken oder Maßstäbe, also für Verbesserungen des Algorithmus 30 zu erhalten. In anderen Ausführungsformen können auch bekannte Lernverfahren des überwachten und unüberwachten Lernens, sowie Kombinationen dieser Lernverfahren, verwendet werden.
Das neuronale Netz 34 kann im Wesentlichen eine Matrix aus Werten, in der Regel Gewichte genannt, sein, die eine komplexe Filterfunktion definieren, die das Verhalten des Algorithmus 34 abhängig von Eingangsgrößen, welche vorliegend über die Umgebungssensoren 10 bis 20 aufgenommen werden, bestimmt und Steuersignale zur Steuerung des Kraftfahrzeugs 2 generiert.
Das Computerprogrammproduktmodul 28 kann sowohl im Kraftfahrzeug 2 als auch außerhalb des Kraftfahrzeugs 2 zum Einsatz gebracht werden. Somit ist es möglich, das Computerprogrammproduktmodul 28 sowohl in einer realen Umgebung als auch in einer Simulationsumgebung zu trainieren.
Der Objekterkennungsalgorithmus 32 greift auf eine im Speicher 8 gespeicherte Objektklassenbibliothek 36 (gestrichelt umrahmt) zu, die mehrere Basisobjektklassen nODD_i (nODD_1, nODD_2, ... nODD_i), und Zusatzobjektklassen (nADD_1, nADD_2, ... nADD_i) aufweist.
Die betreffenden Objektklassen nODD_i, nADD_i werden situativ vom Detektionsalgorithmus 32 geladen und zur Objekterkennung angewendet. Die situative Auswahl der Objektklassen nODD_i, nADD_i hängt unter anderem von der Strecke ab. Eine weitere Eingangsgröße sind Verkehrsmeldungen, die mittels des RDS-Moduls 27 empfangen werden und aus denen Informationen in Bezug auf eine vorausliegende Strecke bzw. einen vorausliegenden Streckenabschnitt extrahiert werden.
3 zeigt eine Autobahn 38.
Auf der Autobahn 38 fahren zusätzlich zu dem Kraftfahrzeug auf verschiedenen Spuren zwei Kraftfahrzeuge 40, 42. Auf einen vorausliegenden Streckenabschnitt 44 (gekennzeichnet durch gestrichelte Linien quer zur Autobahn 38) befindet sich ein Tier 46 auf der Fahrbahn.
Im Rahmen des hier beschriebenen Verfahrens ist es vorgesehen, nur eine für Autobahnen geeignete Auswahl an Basisobjektklassen nODD_i zu laden und anzuwenden, wodurch sich der Objekterkennungsprozess gegenüber herkömmlichen Verfahren, bei denen sämtliche Objektklassen angewendet werden, erheblich zu beschleunigen.
Aus den über das RDS-Modul 27 gewonnenen Daten ist es möglich, die Information zu isolieren, dass im Streckenabschnitt 44 das Tier 46 eine Gefahr für den Verkehr darstellt. Auf der Grundlage dieser Informationen kann der Detektionsalgorithmus 32 aus dem Speicher 8 wenigstens eine Zusatzobjektklasse nADD_i betreffend Tiere laden und bei der Objekterkennung anwenden.
4 zeigt ein Ablaufdiagramm des Verfahrens.
Zu Beginn des Verfahrens wird zunächst eine Route des Kraftfahrzeugs 2 abgerufen. Aus der Route des Kraftfahrzeugs 2 werden Streckentypen extrahiert und anhand der Streckentypen Basisobjektklassen selektiert. Mithilfe der selektierten Basisobjektklassen findet sodann die Erkennung unter Verwendung des Detektionsalgorithmus statt.
Parallel dazu werden in regelmäßigen Abständen Verkehrsinformationen abgerufen und analysiert. Finden sich in den Verkehrsinformationen Hinweise auf Gefahren, beispielsweise durch Objekte in vorausliegenden Streckenabschnitten, werden in einem darauffolgenden Schritt relevante Objektklassen extrahiert.
Darauffolgend werden die Zusatzobjektklassen geladen und Detektionsschwellen für die geladenen Zusatzobjektklassen abgesenkt. Die Objekterkennung wird dann anhand der angewendeten Basisobjektklassen und der Zusatzobjektklassen durchgeführt.
Um jeweils passende Basisobjektklassen anzuwenden und um eine Akkumulation von zwischenzeitlich geladenen Zusatzobjektklassen zu vermeiden, wird regelmäßig geprüft, ob ein bestimmter Streckenabschnitt verlassen wurde. Der Streckenabschnitt kann ein durch die Route oder durch die Verkehrsinformationen definierter Streckenabschnitt sein.
Obwohl der Gegenstand im Detail durch Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa einer weitergehenden Erläuterung in der Beschreibung, definiert wird.
Bezugszeichenliste

2: Kraftfahrzeug
4: Steuergerät
6: Recheneinheit
8: Speicher
10: Umgebungssensor
11: Umgebungssensor
12: Umgebungssensor
13: Umgebungssensor
14: Kamera
15: GPS-Modul
16: Raddrehzahlsensor
18: Beschleunigungssensor
20: Pedalsensor
22: Lenkung
24: Motorsteuerung
26: Bremsen
27: RDS-Modul
28: Computerprogrammproduktmodul
30: Algorithmus
32: Detektionsalgorithmus
34: neuronales Netz
36: Objektklassenbibliothek
38: Autobahn
40, 42: Kraftfahrzeug
44: Streckenabschnitt
46: Tier
nODD_i: Basisobjektklasse
nADD_i: Zusatzobjektklasse

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102018117777 A1 [0005]

Claims

Computerimplementiertes Verfahren zum Durchführen einer automatisierten Fahrfunktion eines autonom oder teilautonom fahrenden Kraftfahrzeugs (2) mittels wenigstens eines Algorithmus (30), wobei der Algorithmus (30) in wenigstens einer Steuereinheit (4) ausgeführt wird, wobei die Steuereinheit (4) in Aggregate (22, 24, 26) des Kraftfahrzeugs (2) auf der Grundlage von Eingangsdaten eingreift, wobei der Algorithmus (30) ein trainiertes neuronales Netz (34) aufweist, das zur Objekterkennung ausgebildet ist, wobei ein Detektionsalgorithmus (32) vorgesehen ist, der eine Objektklassenbibliothek (36) von unterschiedlichen Objektklassen (nODD_i, nADD_i) zur Erkennung von im Umfeld des Kraftfahrzeugs (2) befindlichen Objekten (40, 42, 46) anwendet, wobei a) eine Anzahl an Basisobjektklassen (nODD_i) ausgewählt wird, wobei die Anzahl an Basisobjektklassen (nODD_i) kleiner ist als die gesamte Anzahl an Objektklassen (nODD_i, nADD_i) in der Objektklassenbibliothek (36); b) wenigstens ein Eingangssignal mit Informationen über einen vor dem Kraftfahrzeug (2) liegenden Streckenabschnitt (44) empfangen wird, wobei aus den Informationen wenigstens eine Zusatzobjektklasse (nADD_i) ermittelt wird, wobei die wenigstens eine Zusatzobjektklasse (nADD_i) zusätzlich zu den Basisobjektklassen (nODD_i) zur Erkennung von im Umfeld des Kraftfahrzeugs (2) befindlichen Objekten (40, 42, 46) ausgewählt wird; c) mittels Kraftfahrzeugsensorik (10, 11, 12, 13, 14, 15) Umgebungsinformationen einer Umgebung des Kraftfahrzeugs (2) aufgenommen und an den Detektionsalgorithmus (32) weitergeleitet werden; d) mittels des Detektionsalgorithmus (32) anhand der Umgebungsinformationen unter Anwendung der Basisobjektklassen (nODD_i) und der wenigstens einen Zusatzobjektklasse (nADD_i) in der Umgebung des Kraftfahrzeugs (2) befindliche Objekte (40, 42, 44) erkannt werden und dem Algorithmus (30) entsprechende Objektdaten zur Verfügung gestellt werden.
Computerimplementiertes Verfahren nach Anspruch 1, wobei der Detektionsalgorithmus (32) ein tiefes neuronales Netz (34) aufweist.
Computerimplementiertes Verfahren nach Anspruch 1 oder 2, wobei die Anzahl von Basisobjektklassen (n_ODD_i) fahrsituationsabhängig ausgewählt wird.
Computerimplementiertes Verfahren nach einem der vorangegangenen Ansprüche, wobei, wenn wenigstens eines der in der Umgebung befindlichen Objekte (40, 42, 44) nicht anhand der Basisobjektklassen (nODD_i) und der wenigstens einen Zusatzobjektklasse (nADD_i) erkannt werden kann, eine Erkennung an übrigen bekannten Objektklassen (nODDJ) vorgenommen wird.
Computerimplementiertes Verfahren nach einem der vorangegangenen Ansprüche, wobei die wenigstens eine Zusatzobjektklasse (nADD_i) abgewählt wird, wenn das Kraftfahrzeug (2) den Streckenabschnitt (44) verlässt.
Computerimplementiertes Verfahren nach einem der vorangegangenen Ansprüche, wobei die Auswahl der Basisobjektklassen (nODD_i) abhängig vom befahrenen Streckentyp getroffen wird.
Computerimplementiertes Verfahren nach einem der vorangegangenen Ansprüche, wobei der Detektionsalgorithmus (32) Detektionsschwellen für die Objektklassen (nODD_i, nADD_i) anwendet, wobei wenigstens eine Detektionsschwelle für die wenigstens eine aus den Verkehrsinformationen extrahierte Zusatzobjektklasse (nADD_i) gegenüber einem Standardwert abgesenkt wird.
Computerimplementiertes Verfahren nach einem der vorangegangenen Ansprüche, wobei das Eingangssignal von einem Empfangssystem (27) übermittelt wird, wobei die Informationen Verkehrsinformationen sind, und/oder wobei das Eingangssignal ein Sensorsignal eines Kraftfahrzeugsensors (14) enthält.
Computerimplementiertes Verfahren nach einem der vorangegangenen Ansprüche, wobei das Eingangssignal Kartendaten einer Umgebungskarte enthält.
Computerprogrammprodukt, mit einem dauerhaften, computerlesbaren Speichermedium (8), auf dem Befehle eingebettet sind, die, wenn sie von wenigstens einer Recheneinheit (6) ausgeführt werden, bewirken, dass die wenigstens eine Recheneinheit (6) dazu eingerichtet ist, das Verfahren nach einem der vorangegangenen Ansprüche auszuführen.
Computerprogrammprodukt nach Anspruch 10, wobei die Befehle das Computerprogrammproduktmodul (28) nach einem der Ansprüche 1 bis 9 aufweisen.
Steuereinheit (4) mit einem dauerhaften, computerlesbaren Speichermedium (8), wobei auf dem Speichermedium (8) ein Computerprogrammprodukt nach Anspruch 10 oder 11 gespeichert ist.
Kraftfahrzeug mit einer Steuereinheit (4) nach Anspruch 12.
Kraftfahrzeug nach Anspruch 13, wobei die Recheneinheit (6) Bestandteil der Steuereinheit (4) ist.
Kraftfahrzeug nach einem der Ansprüche 13 oder 14, wobei die Steuereinheit (4) mit Umgebungssensoren (10, 11, 12, 13, 14, 15) und einem Empfangssystem (27) vernetzt ist.