DE102021119871A1

DE102021119871A1 - Verfahren und Prozessorschaltung zum Betreiben einer automatisierten Fahrfunktion mit Objektklassifikator in einem Kraftfahrzeug, sowie Kraftfahrzeug

Info

Publication number: DE102021119871A1
Application number: DE102021119871.2A
Authority: DE
Inventors: Hans-Arne Driescher; Philipp von Radziewsky
Original assignee: Cariad SE
Current assignee: Cariad SE
Priority date: 2021-07-30
Filing date: 2021-07-30
Publication date: 2023-02-02
Anticipated expiration: 2041-07-31
Also published as: US20230033314A1; DE102021119871B4; CN115675479A

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben einer automatisierten Fahrfunktion (12) in einem Kraftfahrzeug (10), wobei durch eine Prozessorschaltung (11) des Kraftfahrzeugs (10) aus Sensordaten (16) zumindest eines Sensors (15) des Kraftfahrzeugs (10) mittels zumindest eines Objektklassifikators (21) jeweilige Einzelobjekte (18) in durch die Sensordaten (16) beschriebenen Einzelabbildern einer Umgebung des Kraftfahrzeugs (10) erkannt werden. Die Erfindung sieht vor, dass mittels zumindest eines Beziehungsklassifikators (30) anhand der Objektdaten (22) für zumindest einige der Einzelobjekte (18) zusätzlich eine jeweilige paarweise Objektbeziehung (74) anhand von aus den Sensordaten ermittelten vorbestimmten Beziehungsmerkmalen der Einzelobjekte (18) in dem jeweiligen Einzelabbild (17) erkannt und durch Beziehungsdaten (31) beschrieben wird, und mittels eines Aggregationsmoduls (32) die Beziehungsdaten (31) über mehrere aufeinanderfolgende Einzelabbilder (17) hinweg zu Aggregationsdaten (33) aggregiert werden, welche aggregierte Objektbeziehungen (80) beschreiben.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben einer automatisierten Fahrfunktion in einem Kraftfahrzeug. Durch eine Prozessorschaltung werden Sensordaten empfangen, die Einzelabbilder einer Umgebung des Kraftfahrzeugs beschreiben. In den Einzelabbildern werden mittels zumindest eines Objektklassifikators jeweilige Einzelobjekte erkannt. Die Erfindung betrifft auch die Prozessorschaltung und das Kraftfahrzeug.
In einem Kraftfahrzeug mit einer automatisierten Fahrfunktion ist eine Detektion von Objekten, beispielsweise anderer Verkehrsteilnehmer oder Infrastrukturkomponenten, in der Umgebung des Kraftfahrzeugs notwendig, damit die automatisierte Fahrfunktion beispielsweise eine Trajektorie für das Führen des Kraftfahrzeugs vorausplanen kann. In der Regel erfolgt eine Detektion von Objekten auf der Grundlage der Sensordaten zumindest eines Sensors des Kraftfahrzeugs, beispielsweise einer Kamera und/oder eines Radars und/oder eines LiDARs. In einzelne Messzyklen werden Sensordaten erzeugt, die eine Momentaufnahme oder ein Einzelabbild der Umgebung im Erfassungsbereich des jeweiligen Sensors darstellen. In einem solchen Einzelabbild können Objekte einzeln mittels eines Objektklassifikators erkannt werden, beispielsweise mittels eines künstlichen neuronalen Netzwerks. Jedes Objekt kann dann beispielsweise durch die Koordinaten einer sogenannten Bounding-Box (kleinstmögliches Rechteck, welches das Objekt einfasst) für eine nachfolgende Verarbeitung der Sensordaten markiert werden. Hierdurch sind dann für die nachfolgende Verarbeitung Objektdaten darüber verfügbar, wo sich jedes einzelne Objekt in dem Einzelabbild befindet.
Da hierdurch nur Einzelwissen über jedes einzelne Objekt getrennt verfügbar ist, werden diese einzeln kenntlich gemachten Objekte hier im Folgenden als Einzelobjekte bezeichnet.
Die vom Fahrzeug aufgenommenen Sensordaten werden nach dem Stand der Technik so verarbeitet, dass Einzelobjekte, welche für die automatisierte Fahrfunktion relevant sind, in diesen Sensordaten gefunden und durch zeitliche Beobachtung (Tracking) typische Eigenschaften wie z.B. Entfernung, Geschwindigkeit, Klasse ermittelt werden. Die Interpretation der Gesamtheit dieser Einzelobjekte erfolgt überwiegend anhand dieser ermittelten Eigenschaften. Eine offensichtliche Notwendigkeit für eine erfolgreiche Interpretation von Objektbeziehungen ist, dass alle erforderlichen Eigenschaften in der notwendigen Qualität ermittelt und in für die Weiterverarbeitung zweckmäßiger Form beschrieben werden. Objektbeziehungen betreffen dabei immer mehrere Einzelobjekte, z.B. welches Einzelobjekt befindet sich relativ zu welchem anderen Einzelobjekt, welche Einzelobjekte gehören zu einer gemeinsamen Installation, z.B. einer Ampelanlage. Bei komplexen Umgebungen des Fahrzeugs (z.B. Kreuzungen, Kreisverkehr, Verdeckungen, fehlende Fahrbahnmarkierungen) ist eine vollständige Auswertung dieser Daten mit hohem rechentechnischem Aufwand verbunden.
Ein Tracking einzelner Objekte und eine stufenweise Vertiefung der Erkennung von Objekteigenschaften ist beispielsweise aus der US 2018/0341822 A1 bekannt.
Für eine Trajektorienplanung ist es aber auch notwendig, die geometrischen und/oder funktionalen Objektbeziehungen von Einzelobjekten untereinander zu kennen, um beispielsweise zu erkennen, welche Fahrspur zu welcher Ampel führt, um zum Beispiel im Voraus zu planen, ob das Kraftfahrzeug auf der aktuell befahrenen Fahrspur auf eine rote Ampel zufährt.
Aus diesem Grund ist in der Regel der eigentlichen Objektklassifikation zum Detektieren von Einzelobjekten eine Umfeldkarte nachgeschaltet, in welcher die Einzelobjekte gemäß ihrer geographischen Position eingetragen werden, um ihre geometrische Relation untereinander und damit ihre Zusammengehörigkeit zu interpretieren. Eine solche Umfeldkarte ist allerdings rechentechnisch sehr aufwendig und erfordert es auch, viele Einzelobjekte einzutragen, die dann später nicht mehr für die Entscheidung über die zu fahrende Trajektorien relevant sind. Beispielsweise ist für eine Erkennung eines Kurvenverlaufs oftmals auch die Kartographierung des Verlaufs der Randbebauung wichtig, um in einer Umgebungskarte den gekrümmten Straßenverlauf an sich zu erkennen. Dies erfordert einen unnötigen Einsatz von Rechenressourcen im Kraftfahrzeug.
Der Erfindung liegt die Aufgabe zugrunde, mit geringen Rechenressourcen die Zusammengehörigkeit von Einzelobjekten für eine automatisierte Fahrfunktion kenntlich zu machen.
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren beschrieben.
Als eine Lösung umfasst die Erfindung ein Verfahren zum Betreiben einer autonomen und/oder assistierten Fahrfunktion in einem Kraftfahrzeug. Im Folgenden sind die Begriffe „autonom und/oder assistiert“ als „automatisiert“ zusammengefasst. Eine automatisierte Fahrfunktion kann durch eine Trajektorienplanung und das Ansteuern von Aktoren für eine Längsführung (Beschleunigen und Bremsen) und/oder eine Querführung (Lenken) das Kraftfahrzeug ohne ein Zutun eines Fahrers fahren oder führen. Hierzu müssen in der Umgebung des Kraftfahrzeugs vorhandene Einzelobjekte erfasst sein. Eine assistierte Fahrfunktion kann beispielsweise durch einen Ampelassistenten realisiert sein. Das Verfahren umfasst, dass eine Prozessorschaltung des Kraftfahrzeugs aus Sensordaten zumindest eines Sensors des Kraftfahrzeugs mittels zumindest eines Objektklassifikators jeweilige Einzelobjekte in durch die Sensordaten beschriebenen Einzelbildern (z.B. Kamerabild, Radarbild, Infrarotbild, Ultraschallbild) oder oder Punktwolken (LiDAR) einer Umgebung des Kraftfahrzeugs erkannt werden.
Die Sensordaten eines Einzelbildes oder einer Punktwolke eines Messzyklus eines LiDAR werden hier zusammenfassend als Einzelabbild bezeichnet. Der Begriff „Einzelabbild“ soll hier auch ein 3D-Bild z.B. aus einer Stereokamera umfassen. Ein Einzelabbild kann auch eine interne Repräsentation von Radarsignalen sein.
Als Resultat der Objektklassifikation in einem Einzelabbild ergibt sich, dass jeweils durch Objektdaten zumindest eine erkannte Objektcharakteristik (z.B. eine Bounding-Box und/oder ein Objekttyp) des Einzelobjekts angegeben ist, und der automatisierten Fahrfunktion für eine Trajektorienplanung bereitstellt. Diese an sich bekannte Architektur für eine Plattform für eine automatisierte Fahrfunktion sieht also vor, in Einzelabbildern mittels zumindest eines Objektklassifikators, also beispielsweise einem oder mehreren künstlichen neuronalen Netzwerken und/oder einer anderen Methode des maschinellen Lernens) in den Einzelabbildern Einzelobjekte, beispielsweise andere Verkehrsteilnehmer, Infrastrukturkomponenten (beispielsweise Ampeln und/oder Verkehrsschilder) und/oder Fahrspurkomponenten (z.B. Pfeile und/oder Fahrbahnmarkierungen und/oder Leitplanken) zu erkennen. Zu diesen Einzelobjekten werden dann jeweils Objektdaten bereitgestellt, beispielsweise Koordinaten einer Bounding-Box, welche in dem jeweiligen Einzelabbild angibt, wo darin das jeweilige erkannte Einzelobjekt lokalisiert oder erkannt wurde. Es kann zusätzlich oder alternativ der Objekttyp angegeben werden, beispielsweise ob es sich um ein Verkehrsschild oder eine Ampel oder eine Person oder ein Kraftfahrzeug handelt, um nur Beispiele zu nennen. Es kann auch eine weitergehende Klassifizierung vorgenommen werden, wie dies an sich aus dem Stand der Technik bekannt ist, um z.B. einen aktuellen Objektzustand (z.B. „Ampel steht auf Rot“) zu erkennen.
Die Objektdaten können der Fahrfunktion direkt bereitgestellt werden oder es kann ein Teil oder es können alle Objektdaten indirekt über ein Trackingmodul zu der Fahrfunktion weitergeleitet werden. Mittels eines Trackingmoduls können die Einzelobjekte über mehrere aufeinanderfolgende Einzelabbilder hinweg mittels eines Objekttrackings verfolgt werden und das Trackingmodul kann Trackingdaten der verfolgten oder getrackten Einzelobjekte ermitteln. Ein Trackingmodul ist für das beschriebene Verfahren hilfreich aber nicht notwendig. Man benötigt technisch nur eine Assoziation zwischen Objekten. Mittels des Trackingmoduls kann zusätzlich in an sich bekannter Weise über mehrere Einzelabbilder hinweg verfolgt oder getrackt werden, welche Relativbewegung das jeweilige Einzelobjekt bezüglich des Kraftfahrzeugs aufweist. Somit sind für die Einzelobjekte jeweils getrennt voneinander Informationen über deren Position verfügbar, die durch die automatisierte Fahrfunktion genutzt werden können.
Wie eingangs bereits beschrieben, wäre nun zum Erkennen einer Objektbeziehung oder eines Zusammenhangs oder einer Relation zwischen solchen Einzelobjekten, d.h. für eine Szeneninterpretation, die Verwendung einer Umfeldkarte oder Umgebungskarte notwendig, in welche zunächst alle erkannten Einzelobjekte eingetragen werden müssten, um deren Beziehung zueinander zu erkennen. Dies soll durch die Erfindung stattdessen mit weniger Rechenressourcen ermöglicht werden. Hierzu wird nicht nach dem Tracking auf eine Umfeldkarte oder Umgebungskarte zurückgegriffen, sondern es wird bereits (dem Objekttracking vorgeschaltet) für jedes Einzelabbild ermittelt, welche Objektbeziehung der Einzelobjekte untereinander darin detektiert werden kann oder extrahiert werden kann.
Um Zusammenhänge zwischen den Einzelobjekten mit geringem Bedarf an Rechenressourcen zu ermitteln, erfolgt erfindungsgemäß bereits auf Basis der Einzelabbilder die Erkennung von Objektbeziehungen zwischen für eine Fahrfunktionen relevanten Einzelobjekten auf Grundlage von in den Einzelabbildern detektierten Beziehungsmerkmalen, z.B. einer geometrischen Relation. Dies ist weniger komplex ist als die Erkennung einer gesamten Umgebungsbeschaffenheit in einer Umfeldkarte, wodurch sich Vorteile für die benötigte Rechenzeit und die Datenmengen ergeben.
Das Verfahren umfasst hierzu, dass mittels zumindest eines Beziehungsklassifikators anhand der Objektdaten für zumindest einige der Einzelobjekte eine jeweilige paarweise Objektbeziehung anhand von aus den Sensordaten ermittelten Beziehungsmerkmalen der Einzelobjekte in dem jeweiligen Einzelabbild erkannt wird (hier auch bezeichnet als VRC - Visual Relation Classification) und durch Beziehungsdaten beschrieben wird, und mittels eines Aggregationsmoduls die Beziehungsdaten über mehrere aufeinanderfolgende Einzelabbilder hinweg zu Aggregationsdaten aggregiert werden, welche wiederholt beobachtete oder aggregierte Objektbeziehungen beschreiben, und die Aggregationsdaten dem Trackingmodul und/oder der automatisierten Fahrfunktion bereitgestellt werden. Die Objektbeziehungen werden also Einzelabbild-basiert ermittelt. Ein geeignetes Beziehungsmerkmal ist die geometrischen Relation oder relative geometrische Anordnung. Es kann aber allgemein eine vorbestimmte Objektumgebung im Einzelabbild bis hin zum vollständigen Bildinhalt zugrunde gelegt werden, um Beziehungsmerkmale zu definieren. Es handelt sich also um aus Einzelabbildern gelernte Beziehungsmerkmale, die z.B. mittels eines Modells des maschinellen Lernens extrahiert werden können. Der Kontext eines Bildelements / Objekts kann aus der geometrischen Lage (oben im Bild, unten im Bild) und/oder aus dem Bildkontext, z.B. aus in der Nähe der Objekts befindliche andere Objekte, umfassen. Falls eine Objektbeziehung in mehreren aufeinander folgenden Einzelabbildern und/oder innerhalb eines vorbestimmten Zeitintervalls (das z.B. einen Zeitbereich von 0,5 Sekunden bis 10 Sekunden umfassen kann) in mehreren Einzelabbildern wiederholt erkannt wird, so kann eine solche Objektbeziehung als aggregiert oder bestätigt angesehen werden. Zum Aggregieren können Objektbeziehungen in einem Datenspeicher verwaltet werden. Beispielsweise kann darin ein Zähler vorgesehen sein, der für jede erneute Wiedererkennung einer Objektbeziehung jedes Mal inkrementiert wird.
Hierbei liegt die Erkenntnis zugrunde, dass allein aus der geometrischen Relation der Einzelobjekte und/oder einem anderen Beziehungsmerkmal in einem Einzelabbild bereits für die Planung einer Trajektorie relevante Informationen erkennbar sind. Beispielsweise kann hier das Vorwissen genutzt werden, dass auf einer flachen, vorausliegenden Straße zwei unterschiedlich weit vom Kraftfahrzeug entfernte Einzelobjekte gleichen Objekttyps (beispielsweise zwei Baustellenbaken), in einem Einzelabbild unterschiedlich groß sind und aufgrund der perspektivischen Flucht mit unterschiedlicher y-Komponente (senkrechte Komponente) angeordnet sind, wenn der Sensor z.B. von einem Kameradach aus oder von einer Windschutzscheibe aus die vorausliegende Umgebung erfasst. Somit kann beispielsweise die Auswertung der relativen Anordnung von Oberkanten der Bounding-Boxen von einzelnen Objekten Aufschluss darüber geben, welches Objekt näher an dem Kraftfahrzeug angeordnet ist und welches im Verhältnis dazu weiter weg angeordnet ist.
Über mehrere Einzelabbilder hinweg kann mittels des Aggregationsmoduls eine Hypothese oder eine Wahrscheinlichkeitsaussage oder ein Konfidenzwert dafür gebildet werden, wie zuverlässig eine erkannte Objektbeziehung (beispielsweise Objekt A steht hinter Objekt B) ist. Durch die Aggregation wird verhindert, dass eine Fehlerkennung in einem Einzelabbild zu einer Fehlinterpretation der Fahrsituation führt. Die Aggregationsdaten beschreiben die aggregierten Objektbeziehungen, also beispielsweise zu den erkannten Einzelobjekten, in welcher geometrischen Relation und/oder mit welchem Beziehungsmerkmal sie zueinander stehen, beispielsweise Objekt B (ein fremdes Fahrzeug) fährt neben Objekt C (anderes Fahrzeug).
Für das automatisierte Fahren wird somit eine Interpretation von Sensordaten der Umgebung bereitgestellt, mit dem Ziel, die Beziehungen verschiedener Objekte/Entitäten (Einzelobjekte) untereinander und zum Ego-Fahrzeug (das Kraftfahrzeug, welches das Verfahren ausführt) bestimmen und deren Gruppierung nach logischen und räumlichen Kriterien vornehmen zu können. Neben der Erkennung dieser Objekte/Entitäten in den Sensordaten ist dazu auch eine Hypothesenbildung der Objektbeziehungen und -gruppen ermöglicht, was in Bezug auf Objektgruppen noch erläutert werden wird. Mit „Hypothesenbildung“ ist gemeint, dass eine Hypothese oder Wahrscheinlichkeitsangabe dafür ermittelt werden kann, wie zuverlässig oder konfident die Aussage bezüglich einer erkannten Objektbeziehung ist. Hierzu werden die Objektbeziehungen über mehrere Einzelabbilder hinweg aggregiert oder bestätigt, sodass bei wiederholt erkannter Objektbeziehung unterschieden werden kann, ob es sich um einen Erkennungsfehler oder eben (bei mehreren bestätigten Erkennungen derselben Objektbeziehung) um eine tatsächliche Beobachtung in der Umgebung handelt. Das vorliegende Verfahren beschreibt dazu eine Möglichkeit, diese Hypothesen über die Erkennung eines Objektbeziehungsgraphen (Beziehungsdaten) aus den Sensormessungen unter Berücksichtigung der Objektumgebung zu bilden und diesen über das zeitliche Tracken der Beziehungen zu verwalten.
Zu der Erfindung gehören auch Weiterbildungen mit Merkmalen, durch die sich zusätzliche Vorteile ergeben.
Die Aggregationsdaten können beispielsweise einen gerichteten Beziehungsgraphen beschreiben, der von einem Einzelobjekt als Subjekt zu einem anderen Einzelobjekt als Objekt weist und den Beziehungstyp angibt (beispielsweise: „steht hinter“ oder „steht vor“). So können die Einzelobjekte durch den gerichteten Beziehungsgraphen in Bezug auf ihre Objektbeziehungen beschrieben werden.
Eine Weiterbildung umfasst, dass das Aggregationsmodul in Abhängigkeit von einer Wiederholungshäufigkeit und/oder Güte einer Erkennung der jeweiligen Objektbeziehung einen Gewichtungswert für die jeweilige aggregierte Objektbeziehung ermittelt und durch die Aggregationsdaten beschreibt. Wird in mehreren Einzelabbildern nacheinander eine Objektbeziehung bestätigt oder wiederholt erkannt, so erhöht dies den Gewichtungswert, so dass auch eine Konfidenz oder eine Zuverlässigkeit der Aussage über eine Objektbeziehung in den Aggregationsdaten angegeben ist. Dies ist vorteilhaft bei einer statistischen Bewertung einer Fahrsituation.
Zusätzlich oder alternativ kann vorgesehen werden, dass die aggregierten Objektbeziehungen, die für mehre der Einzelobjekte einen geschlossenen Beziehungsgraphen von Objektbeziehungen ergeben, diese Einzelobjekte als zusammengehörige Objektgruppe beschreiben. Insbesondere bei Einzelobjekten, die statisch sind (beispielsweise Infrastrukturkomponenten und/oder Fahrbahnbeschriftungen und/oder Fahrbahnmarkierungen) können sich in den aggregierten Objektbeziehungen feste oder konstante Objektbeziehungen oder Beziehungsgraphen ergeben, die durch das Kraftfahrzeug bei einer Annäherung an die Objektgruppe aus mehreren Einzelobjekten wiederholt beobachtet werden oder auf die logisch geschlossen werden kann. Ist dann für jedes Einzelobjekt der Objektgruppe eine Objektbeziehung zu jedem anderen Einzelobjekt der Objektgruppe bekannt, so ergibt sich ein geschlossener Graph, der mittels eines Algorithmus aus der Graphentheorie in automatisierter Weise als vollständig erkannt werden kann. Liegt ein solcher geschlossener Beziehungsgraph vor, so kann dies signalisiert werden und die Objektgruppe als beispielsweise übergeordnete bauliche Einheit aus mehreren Einzelobjekten erkannt oder signalisiert oder beschrieben werden. Somit kann beispielsweise allein auf Grundlage von Einzelabbildern ohne die Verwendung einer Umfeldkarte eine Ampelgruppe oder eine Kreuzung mit zuführenden Fahrspuren, Fahrbahnpfeilen, Fahrbahnmarkierungen und/oder Ampeln als ein geschlossener Beziehungsgraph detektiert und als Objektgruppe beschrieben werden. Ein geschlossener Graph kann auch aus mehreren Einzelabbildern nacheinander gebildet oder hergeleitet werden. Zudem kann jeweils ein Teil des geschlossen Graphen in unterschiedlichen Einzelabbildern erkannt werden. Dann ist das Zusammenführen über die logischen Beziehungen (z.B. A->B und B->C daraus folgt auch A->C) zu einem geschlossenen logischen Graphen ebenfalls möglich.
Eine Weiterbildung umfasst, dass aus mehreren Sensoren jeweils Einzelabbilder empfangen werden und für jeden Sensor ein eigener Beziehungsklassifikator betrieben wird und das Aggregationsmodul eine Beziehungsdatenfusion für Beziehungsdaten der mehreren Beziehungsklassifikatoren durchführt. Mit anderen Worten erfolgt die Erkennung von Objektbeziehungen für jeden Sensor und dessen Sensordaten einzeln oder getrennt oder individuell. Damit lässt sich beispielsweise ein solcher Beziehungsklassifikator in eine Datenverarbeitungsschaltung eines Sensors integrieren, also in das jeweilige Steuergerät des Sensors. Die Beziehungsdatenfusion, also das Zusammenfassen und/oder Plausibilisieren von erkannten Einzelbeziehungen oder Objektbeziehungen in den Einzelabbildern der einzelnen Sensoren kann dann durch das Aggregationsmodul durchgeführt werden. Insgesamt kann somit der jeweilige Beziehungsklassifikator mit geringerem Aufwand implementiert sein, da er lediglich an die Sensordaten eines einzelnen Sensors angepasst sein muss. Die Aggregation im Aggregationsmodul und damit auch die Beziehungsdatenfusion kann dann unabhängig vom Sensortyp und damit ebenfalls in einfach zu realisierender Form nachgeschaltet sein.
Eine Weiterbildung umfasst, dass durch den Objektklassifikator mittels der Objektdaten als jeweilige Objektcharakteristik eine Bounding-Box und/oder eine Objekttyp angegeben ist. Zu beachten ist, dass die Einzelabbilder auf Basis von sichtbarem Licht beruhen können, wenn als Sensor eine Kamera verwendet wird. Zusätzlich oder alternativ kann ein Einzelabbild aber auch auf einem anderen Messprinzip beruhen und dann in der bereits besagten Weise ein Radarbild oder ein Ultraschallbild oder ein Lidar-Bild sein, um nur Beispiele zu nennen. Eine Bounding-Box kann je nach resultierendem Sensor-Koordinatensystem zweidimensional oder dreidimensional definiert sein, beispielsweise als Rechteck oder als Quader. Welcher Objekttyp erkannt wird, kann durch Wahl des Objektklassifikators festgelegt werden. Es kann eine Objektklassifikator aus dem Stand der Technik verwendet werden. Es kann eine Unterscheidung zwischen Verkehrsteilnehmern einerseits und stationären Objekten andererseits vorgenommen werden. Es können auch die an sich bekannten weiteren Klassifikationen (Unterscheidung zwischen Fahrzeug, Fußgänger, Radfahrer, Ampel, Verkehrsschild, Fahrbahnmarkierung, Fahrbahnboden, Pfeile auf der Fahrbahn) durch einen Objektklassifikator durchgeführt werden. Eine Bounding-Box kann durch Koordinaten von zwei beziehungsweise drei Ecken definiert sein, bei einer zweidimensionalen Bounding-Box beispielsweise die linke obere und die rechte untere Ecke.
Eine Weiterbildung umfasst, dass in dem Trackingmodul mittels der Aggregationsdaten ein Objekttracking eines in zumindest einem Einzelabbild aus mehreren aufeinanderfolgenden Einzelabbildern verdeckten Einzelobjekts durchgeführt wird. Hier erfolgt also die Nutzung der Aggregationsdaten der aggregierten Objektbeziehungen bereits beim Objekttracking, so dass auch bei der Verfolgung verdeckter Einzelobjekte, die in einem oder mehreren aufeinander folgenden Einzelabbildern temporär verdeckt und damit nicht mehr im Vergleich zu vorangegangenen Einzelabbildern erkennbar sind (weil sie beispielsweise hinter einem Lastwagen angeordnet sind), dennoch eine Aussage über ihren Verbleib oder ihre Anwesenheit gemacht werden kann, ohne dass schon ein Eintrag in eine Umgebungskarte erfolgt sein muss. Es kann also ohne Umgebungskarte auch ein verdecktes Einzelobjekt verfolgt werden. Hierzu kann beispielsweise auf eine Objektbeziehung zurückgegriffen werden, die besagt, dass das verdeckte Einzelobjekt „neben“ einem im aktuellen Einzelabbild noch sichtbaren Einzelobjekt angeordnet ist. Zusätzlich oder alternativ können in dem Aggregationsmodul die Beziehungsdaten über mehrere aufeinanderfolgende Einzelabbilder hinweg mittels Trackingdaten aus dem Trackingmodul gebildet werden, indem ein verdecktes Einzelobjekt durch das Trackingmodul identifiziert wird.
Eine Weiterbildung umfasst, dass durch den Beziehungsklassifikator als paarweise Objektbeziehung eine relative Anordnung der jeweiligen Einzelobjekte mittels einer gerichteten Beziehungsangabe, insbesondere nebeneinander, hintereinander, Vorgänger, Nachfolger, und/oder eine ungerichtete Beziehungsangabe signalisiert wird. Das Beschreiben einer Objektbeziehung benötigt wenig Speicherplatz, es reichen insbesondere weniger als 1000 Bytes, da lediglich eine Richtung der Objektbeziehung (Subjekt zu Objekt) und/oder ein Beziehungstyp (beispielsweise „neben“ oder „hinter“) angegeben werden muss. Wie bereits beschrieben, hat sich herausgestellt, dass solche gerichteten Beziehungsangaben z.B. aus der geometrischen Relation oder relativen Anordnung der Einzelobjekte in einem Einzelabbild bereits erkannt werden können. Mit „gerichtet“ ist hierbei gemeint, dass es ein Einzelobjekt als Subjekt und ein anderes Einzelobjekt als Objekt gibt, so dass die Aussage gemacht werden kann beispielsweise: „Einzelobjekt A ist Vorgänger von Einzelobjekt B“ in einer Kettenanordnung von Einzelobjekten. In der beschriebenen Weise kann aus einem Einzelabbild beispielsweise aus der relativen Anordnung, weil beispielsweise ein Einzelobjekt höher oder mit größerer y-Koordinate angeordnet ist als ein anderes Einzelobjekt ist, und/oder ein Größenverhältnis der Bounding-Boxen bereits ein Indiz für eine Objektbeziehung angeben. Ein weiter entferntes Einzelobjekt eines gegebenen Objekttyps (beispielsweise Fahrzeug) weist eine kleinere Bounding-Box auf als ein Einzelobjekt desselben Objekttyps, das näher am Kraftfahrzeug angeordnet ist. Durch eine Auswertung von Koordinaten der Bounding-Boxes kann auch erkannt werden, ob zwei Einzelobjekte in paarweiser Objektbeziehung nebeneinander angeordnet sind. Mit „Vorgänger“ und „Nachfolger“ ist gemeint, dass ein Kraftfahrzeug entlang seiner Fahrtrichtung zunächst den Vorgänger erreichen wird und dann den Nachfolger. Die angegebenen Beziehungsangaben oder Beziehungstypen weisen den Vorteil auf, dass durch Klassifizieren von Einzelobjekten und dieser Objektbeziehungen bereits ein Rückschluss auf eine Fahrsituation möglich ist, beispielsweise die Erkennung einer Baustellenabsperrung, indem gleichartige Einzelobjekte in Form von beispielsweise Signalschildern oder Baken erkannt werden und als Objektbeziehung jeweils beispielsweise „ist Nachfolger von“ erkannt wird, so dass eine Reihe von hintereinander aufgestellten Einzelobjekten mit Signalisierungscharakter erkannt wird und dies dann beispielsweise als temporäre Fahrbahnbegrenzung im Baustellenbereich erkannt werden kann. Dies kann schon anhand eines Einzelabbildes oder durch aggregierte Objektbeziehungen aus mehreren hintereinander empfangenen Einzelabbildern erkannt werden, ohne dass dafür eine Umgebungskarte gebildet werden muss. Eine ungerichtete Beziehungsangabe kann z. B. angeben: „A gehört zur gleichen Zufahrt wie B“. Ein besonderer Vorteil des angegebenen Verfahrens ist die Einbeziehung der Objektumgebung bis hin zum gesamten Einzelabbild in die Beziehungserkennung, wodurch auch Fälle, die nicht eindeutig aus der geometrischen Beziehungen ableitbar sind, richtig zugeordnet werden können. Ein Beispiel ist hierbei die Beziehung von Fahrbahnpfeilen in engen Kurven.
Eine Weiterbildung umfasst entsprechend, dass der Beziehungsklassifikator die Erkennung der jeweiligen Objektbeziehung unabhängig von einer nachgeordneten Umgebungskarte der automatisierten Fahrfunktion und/oder ohne eine Information über geplante Trajektorien der automatisierten Fahrfunktion durchführt. Somit ist also in der beschriebenen Weise kein Rückgriff auf eine Umgebungskarte und damit für das Durchführen des Verfahrens keine Bildung oder Erzeugung einer Umgebungskarte notwendig. Genauso muss nicht bekannt sein, welche Trajektorie die automatisierte Fahrfunktion plant, das heißt es ist keine Feedback- oder so genannte Topdown-Signalisierung eines Berechnungsergebnisses einer Trajektorienplanung zu der Einzelabbildauswertung gemäß dem Verfahren notwendig. Stattdessen können die Aggregationsdaten der aggregierten Objektbeziehungen für alle erkannten oder alle potentiell fahrbaren Fahrwege erzeugt werden. Somit stehen dann in der automatisierten Fahrfunktion für alle potentiell wählbaren Trajektorien die Informationen oder Aggregationsdaten bereit.
Eine Weiterbildung umfasst, dass die automatisierte Fahrfunktion eine Situationserkennung für zumindest eine Fahrsituation umfasst und die jeweilige Fahrsituation als Kombination von Einzelobjekten und deren aggregierte Objektbeziehungen beschrieben ist.
Wie bereits ausgeführt, können beispielsweise Objektgruppen gebildet werden, um eine Fahrsituation, beispielsweise eine Kreuzung mit Ampelanlage, zu identifizieren. Welche Zuordnung von Einzelobjekten und deren aggregierten Objektbeziehungen auf welche Fahrsituation hinweist, kann beispielsweise durch eine Methode des maschinellen Lernens, beispielsweise mit Hilfe eines künstlichen neuronalen Netzwerks, anhand von Trainingsdaten ermittelt oder vorgegeben werden. Als diese Trainingsdaten können Aggregationsdaten und Objektdaten einerseits und beispielsweise manuell durch eine Bedienperson vorgegebene, so genannte Labelingdaten, welche die zu erkennende oder richtige Fahrsituation angeben, bereitgestellt werden. Somit ist es möglich, anhand von Objektdaten und Aggregationsdaten beispielsweise einen Kreuzungstyp wiederzuerkennen, beispielsweise eine Kreuzung mit zusätzlicher Rechts-Abbiegespur. Hierbei kann der jeweilige Objekttyp der erkannten Einzelobjekte (beispielsweise Objekttyp: Ampel, Abbiegepfeil auf Fahrbahn, Haltelinie) und die aggregierte Objektbeziehung der Einzelobjekte berücksichtigt werden.
Eine Fahrsituation kann z.B. daran wiedererkannt werden, dass die Objektdaten und die Aggregationsdaten mit vorgegebenen Musterdaten von Beziehungsmustern bekannter Fahrsituationen verglichen werden und eine Übereinstimmung erkannt wird, die größer als ein vorbestimmter mindestwert ist.
Eine Weiterbildung umfasst, dass als eine Fahrsituation eine Kreuzungszufahrt detektiert wird, wobei die aggregierten Objektbeziehungen zwischen stationären Infrastrukturobjekten, insbesondere Fahrbahnbegrenzungen und/oder Fahrbahnpfeilen, und/oder die aggregierten Objektbeziehungen zwischen Infrastrukturobjekten und Fahrzeugen und/oder die aggregierten Objektbeziehungen zwischen Fahrzeugen jeweils zu Fahrwegshypothesen bezüglich vorhandener Fahrwege kombiniert werden. Eine Zuordnung möglicher Fahrwege zu Ampelgruppen von Ampeln erfolgt dabei über eine Beziehungserkennung aus aggregierten Objektbeziehungen zwischen den Ampeln und den einen jeweiligen Fahrweg beschreibenden Einzelobjekten erfolgt. Wie bereits ausgeführt, ist unter „Hypothese“ eine Aussage mit zusätzlich bereitgestelltem Wahrscheinlichkeitswert oder Konfidenzwert betreffend die Richtigkeit oder Zuverlässigkeit der Aussage zu verstehen. Hierbei kann auf den bereits beschriebenen Gewichtungswert zurückgegriffen werden, der als Wahrscheinlichkeitsaussage oder Konfidenzwert genutzt oder verwendet werden kann. Ein Fahrweg kann einer Ampelgruppe zugeordnet werden, indem beispielsweise der Fahrweg als Abfolge von Pfeilen auf dem Fahruntergrund mit der Objektbeziehung „ist Nachfolger von“ als Kette oder Abfolge von Pfeilen erkannt wird, und am Ende der letzte Pfeil als „Nachfolger“ eine Haltelinie aufweist und oberhalb der Haltelinie die Ampelgruppe erkannt wird. Zusätzlich oder alternativ dazu kann ein Fahrweg beispielsweise auch bei Fehlen der Fahrwegmarkierung anhand einer Reihe oder Kette von hintereinander fahrenden Verkehrsteilnehmern erkannt werden, die als Einzelobjekte zusammen mit dem Objekttyp („Verkehrsteilnehmer“ oder „Kraftfahrzeug“) erkannt werden und als Objektbeziehungen („ist Nachfolger von“) aufweisen. Somit kann auch eine Kreuzungszufahrt mit geringem Datenaufwand beschrieben werden, da lediglich die Objektdaten zum Beschreiben der Einzelobjekte und die Aggregationsdaten zum Beschreiben der paarweisen Objektbeziehungen und/oder Gruppendaten zum Beschreiben von Objektgruppen notwendig sind.
Eine Weiterbildung umfasst, dass die Objektdaten der Einzelobjekte auch deren erkannte Objektattribute und/oder Zustände, insbesondere räumliche Ausrichtung, vorbestimmte Lichtsignale, beschreiben, die bei der Erkennung der Fahrsituation berücksichtigt werden. Diese Zustände für Einzelobjekte haben sich als besonders aussagekräftig zum Erkennen oder WiederErkennen einer Fahrsituation erwiesen. Die Richtungsangaben kann in Bezug auf eine Fahrbahn oder eine Himmelsrichtung angegeben sein. Vorbestimmte Lichtsignale können beispielsweise sein: Ein aktiviertes Bremslicht, ein Fahrtrichtungsanzeiger (Blinker links, Blinker rechts), ein Warnsignal eines Einsatzfahrzeugs. Die Zustände unterscheiden sich von Objektattributen dadurch, dass sie mit der Zeit veränderlich sind, also Zustandswechsel möglich sind. Ein Objekttyp dagegen, wie beispielsweise Objekttyp: Kraftfahrzeug, ändert sich bei einem Einzelobjekt nicht. Auch Objektattribute sind konstante Ausstattungsmerkmale eines Einzelobjekts, beispielsweise ob eine Ampel die drei Farben Rot, Gelb, Grün oder lediglich die Farben Gelb und Grün aufweist. Eine räumliche Ausrichtung als Objektattribut kann beispielsweise angeben, in welche Richtung eine Ampel oder ein Verkehrsschild weist. Die Hypothese, ob und/oder wann auf einem erkannten Fahrweg mit möglicher Zielrichtung die Fahrt freigegeben ist („grüne Ampel“), wird bevorzugt erst einem Objekttracking nachgelagert gebildet, um zeitliche Informationen über Ampelzustände zu aggregieren.
Eine Weiterbildung umfasst, dass als eine Fahrsituation ein Fahrweg bei fehlender Fahrwegsmarkierung detektiert wird, indem als Einzelobjekte Fahrzeuge, die auf dem Fahrweg in einer Kette hintereinander fahren, und anhand der aggregierten Objektbeziehungen die Kette der hintereinander fahrenden Fahrzeuge erkannt wird und ein geometrischer Verlauf der Kette als der Fahrweg signalisiert wird. Der Fahrweg wird also daran erkannt, dass eine Kette von hintereinander fahrenden Verkehrsteilnehmern in Form von Fahrzeugen hintereinander fährt. Zwei Ketten nebeneinander stellen dann einen zweispurigen Fahrweg dar.
Eine Weiterbildung umfasst, dass als eine Fahrsituation eine Fahrwegsbegrenzung aus diskreten, gleichartigen Einzelobjekten detektiert werden, insbesondere in einer Baustelle und/oder auf einer Landstraße (z.B. im Falle stark verschmutzter oder verschneiter Fahrbahnen), wobei über die aggregierten Objektbeziehungen der Einzelobjekte der Verlauf der Begrenzung ermittelt wird, insbesondere anhand einer aggregierten Objektbeziehung mit der Angabe, dass das jeweilige Einzelobjekt hinter einem jeweiligen Vorgängerobjekt steht. Die Fahrwegsbegrenzung wird also unabhängig von den auf der Fahrbahn erkennbaren Markierungen anhand von insbesondere aufrecht stehenden Einzelobjekten erkannt, wie beispielsweise Pollern oder Barken oder Markierungsbändern oder Bäumen einer Allee. Durch mehrere Einzelobjekte des gleichen Typs kann in der beschriebenen Weise die Absperrung als hintereinander angeordnete Einzelobjekte dieses Objekttyps detektiert oder interpretiert werden. Dieser Ansatz über Objektbeziehungen bietet den Vorteil, dass er für sehr kurze und auf daher bei einer Annäherung nur für eine begrenzt Dauer beobachtbare Abschnitte funktioniert.
Eine Weiterbildung umfasst, dass die automatisierte Fahrfunktion eine Objekterkennung für zumindest ein vorbestimmtes Umgebungsobjekt, z.B. ein Fahrzeug, umfasst und das jeweilige Umgebungsobjekt als Kombination aus Einzelkomponenten und deren aggregierte Objektbeziehungen beschrieben ist. Dies hat sich als besonders flexible Implementierung einer Objekterkennung erwiesen. So können beispielsweise zunächst Einzelkomponenten, wie beispielsweise Scheinwerfer und/oder Reifen und/oder Nummernschild und/oder Spiegel, durch den Objektklassifikation erkannt werden und durch die Objektbeziehungen (beispielsweise zwei Scheinwerfer nebeneinander und dazwischen ein Nummernschild) dann die Erkennung eines Fahrzeugs als Umgebungsobjekt vorgesehen sein. So kann auch ein solches Fahrzeug erkannt werden, dass eine ansonsten für ein Kraftfahrzeug atypische Form aufweist, beispielsweise ein Karnevals-Umzugswagen. Die Erkennung des Umgebungsobjekts kann dann auf die verkehrstechnisch vorgeschriebenen Einzelkomponenten, wie Scheinwerfer und/oder Nummernschild, und/oder auf technisch notwendige Einzelkomponenten, wie beispielsweise Reifen, durch den Objektklassifikator begrenzt sein und die eigentliche Identifizierung als Fahrzeug kann anhand der Objektbeziehungen erfolgen. Damit müssen durch den Objektklassifikator als Einzelobjekte nur die Einzelkomponenten erkannt werden und es dann die eigentliche Erkennung des Umgebungsobjekts anhand der Objektbeziehungen durchgeführt werden. Dies erlaubt es in vorteilhafter Weise, auch solche Umgebungsobjekte zu detektieren oder zu erkennen, für die die Objektklassifikation selbst nicht explizit oder speziell trainiert wurde.
Eine Weiterbildung umfasst, dass durch das Kraftfahrzeug und durch zumindest ein weiteres Kraftfahrzeug für die Erzeugung und/oder die Aktualisierung einer digitalen Straßenkarten das jeweilige Kraftfahrzeug mittel seiner eigenen Prozessorschaltung anhand eines Verfahrens nach einem der vorhergehenden Ansprüche Aggregationsdaten von aggregierten Objektbeziehungen ermittelt und die Aggregationsdaten an einen fahrzeugexternen Server mittels einer vorbestimmten Kommunikationsmethode (z. B. ein Car2X Kommunikationsverfahren und/oder Mobilfunk und/oder WiFi) aussendet und der Server einen Konfidenzwert der aggregierten Objektbeziehungen ermittelt, welcher abhängig ist, von wie vielen Kraftfahrzeugen die Objektbeziehung jeweils gemeldet ist, und falls der Konfidenzwert einer jeweiligen Objektbeziehung größer als ein vordefinierter Schwellenwert ist, wird die jeweilige Objektbeziehung in die digitale Straßenkarte eingetragen. Somit kann eine digitale Straßenkarte um Aggregationsdaten ergänzt werden, so dass eine Wiedererkennung eines vorgegebenen sogenannten Point of Interest, POI, oder einer Lokalität auf Grundlage von Aggregationsdaten ermöglicht ist. Dabei muss jedes Kraftfahrzeug lediglich einmal an dem jeweiligen Ort der Lokalität vorbeifahren, da der Konfidenzwert auf der Grundlage von Aggregationsdaten mehrerer Kraftfahrzeuge erzeugt werden kann. Die digitale Straßenkarte mit den Aggregationsdaten oder einem digitalen Beziehungsmodell, in welchem die Aggregationsdaten zusammengefasst und/oder abstrahiert repräsentiert sind, können dann an Kraftfahrzeuge ausgesendet werden, die daraufhin ihre eigenen Aggregationsdaten mit der digitalen Straßenkarte dahingehend vergleichen können, dass sie den jeweiligen Ort wiedererkennen können. Somit ergibt sich aus dem Server und den Kraftfahrzeugen ein System, das ebenfalls als Bestandteil der Erfindung angesehen wird. Der Server kann als eine Computer oder ein Computerverbund ausgestaltet sein, der im Internet betrieben wird.
Die Straßenkarte mit den darin gespeicherten Objektbeziehungen kann auch in einem Kraftfahrzeug für eine Initialisierung des Aggregationsmoduls genutzt werden, indem aus der Straßenkarte dort bereits abgelegte initiale Objektdaten von initialen Objektbeziehungen ausgelesen werden und diese mit weiteren Sensordaten des Kraftfahrzeugs durch dessen Prozessorschaltung in der beschriebenen Weise aggregiert werden. Der Weg ist hier also andersherum: Man betrachtet die Karte als eine Art Sensor und liest dort bereits abgelegte Objektbeziehungen aus und aggregiert diese mit den „frischen“ oder neuen Sensordaten und/oder aus den Sensordaten erkannten Objektbeziehungen, um somit weiter zu aggregieren oder zu bestätigen. In vorteilhafter Weise lassen sich damit z.B. Verdeckungen besser auflösen. In der Straßenkarte, die beispielsweise von dem Server heruntergeladen worden sein kann, sind die charakteristischen oder initialen Objektbeziehungen vorgegeben. Anhand einer aktuellen Geoposition der Kraftfahrzeugs können dann Kartendaten der im aktuellen Umfeld vorhandenen Objektbeziehungen für die beschriebene Initialisierung ausgelesen werden. Z.B. können somit bei Verbauung und entsprechender Sichtbehinderung Ergänzungen aus der Karte erfolgen.
Als eine weitere Lösung der Erfindung umfasst eine Prozessorschaltung für ein Kraftfahrzeug, wobei die Prozessorschaltung dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessorschaltung stellt eine Datenverarbeitungsvorrichtung oder eine Prozessoreinrichtung dar und ist dazu eingerichtet, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessorschaltung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen.
Des Weiteren kann die Prozessorschaltung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessorschaltung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessorschaltung gespeichert sein.
Als eine weitere Lösung der Erfindung umfasst ein Kraftfahrzeug mit einer Ausführungsform der erfindungsgemäßen Prozessorschaltung. Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus oder Motorrad ausgestaltet.
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

1 eine schematische Darstellung einer Ausführungsform des erfindungsgemäßen Kraftfahrzeugs mit einer Ausführungsform der erfindungsgemäßen Prozessorschaltung, die eine Ausführungsform des erfindungsgemäßen Verfahrens durchführen kann;
2 einen Signalflussgraphen zur Veranschaulichung einer Ausführungsform des erfindungsgemäßen Verfahrens, bei welcher Einzelabbilder eines einzelnen Sensors individuell in Bezug auf Objektbeziehungen analysiert werden;
3 ein Signalflussgraph zur Veranschaulichung einer Implementierung eines Beziehungsklassifikators;
4 zwei Skizzen zur Veranschaulichung eines Objekttrackings, das mittels Aggregationsdaten von aggregierten Objektbeziehungen stabilisiert oder unterstützt wird;
5 eine Skizze zur Veranschaulichung einer Fahrsituationserkennung für eine Kreuzungszufahrt;
6 eine Skizze zur Veranschaulichung einer Fahrsituationserkennung für die Erkennung von Fahrspuren oder Fahrbahnen bei fehlender Fahrbahnmarkierung,
7 eine Skizze zur Veranschaulichung einer Fahrsituationserkennung für eine Baustellenabsperrung mit geänderter Fahrspurführung; und
8 eine Skizze zur Veranschaulichung einer Fahrsituationserkennung, bei welcher Ketten von hintereinander fahrenden Kraftfahrzeugen als Fahrwegshypothesen verwendet werden.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.
1 zeigt ein Kraftfahrzeug 10, bei dem es sich um einen Kraftwagen, insbesondere einen Personenkraftwagen oder Lastkraftwagen, handeln kann. In dem Kraftfahrzeug 10 kann eine Prozessorschaltung 11 bereitgestellt sein, die beispielsweise auf Grundlage eines Steuergeräts oder eines Verbunds aus mehreren miteinander über ein Kommunikationsnetzwerk vernetzten Steuergeräten gebildet sein kann. Mittels der Prozessorschaltung 11 kann eine automatisierte Fahrfunktion 12 für das Kraftfahrzeug 10 realisiert sein. Auf der Grundlage der automatisierten Fahrfunktion 12 können Aktuatoren 13 mittels Steuerbefehlen 14 angesteuert werden, um eine Längsführung (Beschleunigen und Bremsen) und/oder eine Querführung (Lenken) für das Kraftfahrzeug 10 automatisiert ohne ein Zutun eines Passagiers des Kraftfahrzeugs 10 durchzuführen. Die automatisierten Fahrfunktion 12 kann hierzu Steuerbefehle 14 für die Aktuatoren 13 in an sich bekannter Weise erzeugen.
Die automatisierte Fahrfunktion 12 kann für eine Detektion von Objekten in einer Umgebung U Signale aus der Umgebung U mittels zumindest eines Sensors 15 empfangen. Beispiele für Sensoren 15 sind jeweils: Eine Kamera für sichtbares Licht, eine Infrarotkamera, ein Radar, ein Lidar, ein Ultraschallsensor, um nur Beispiele zu nennen. Die Sensoren 15 können jeweils Sensordaten 16 erzeugen, die von der Prozessorschaltung 11 empfangen werden können. Die Sensordaten 16 können in einzelnen Messzyklen hintereinander erzeugt werden, so dass sich stets aktualisierte Sensordaten 16 ergeben. Sensordaten 16 eines Messzyklus ergeben dann jeweils ein Einzelabbild 17 von der Umgebung U, also ein Farbbild oder Schwarzweißbild oder Radarbild oder Lidarbild oder ein Abbild von Ultraschall-Reflektionen, um nur Beispiele zu nennen. In an sich bekannter Weise kann durch die Prozessorschaltung 11 eine Objektdetektion von Einzelobjekten 18 in der Umgebung U in der wie folgt beschriebenen Weise detektiert werden, was aus dem Stand der Technik aber bekannt ist. Es kann eine Merkmalsextraktion 19 implementiert sein, die beispielsweise auf der Grundlage eines künstlichen neuronalen Netzwerks 20 für jeden Sensor 15 separat oder individuell implementiert sein kann. Das künstliche neuronale Netzwerk 20 ist hier durch symbolisierte Merkmalsmatrizen der Merkmalsextraktion 19 repräsentiert. Auf Grundlage der Merkmalsextraktion 19 können beispielsweise in den Einzelabbildern 17 Bildmerkmale, wie beispielsweise Kantenverläufe und/oder Tiefeninformationen und/oder segmentierte Flächen, die ein Homogenitätskriterium (beispielsweise Einfarbigkeit oder gleiches Muster) erfüllen, in den Einzelabbildern 17 detektiert und kenntlich gemacht sein. Auf Grundlage der Einzelabbilder 17 und/oder der Merkmalsextraktion 19 kann für einzelne Teilregionen in den Einzelabbildern 17 ein oder mehrere Objektklassifikatoren 21 eine Objektdetektion zum Detektieren der Einzelobjekte 18 ausgeführt werden. Ein solcher Objektklassifikator 21 kann in an sich bekannter Weise auf der Grundlage eines Algorithmus für maschinelles Lernen, insbesondere eines künstlichen neuronalen Netzwerks, implementiert sein. Aus der Objektdetektion der Objektklassifikatoren 21 können Objektdaten 22 resultieren, welche angeben, wo und welches Einzelobjekt 18 in dem jeweiligen Einzelabbild 17 detektiert worden ist. Auf Grundlage der Objektdaten 22 der Objektklassifikatoren 21 kann ein Trackingmodul 23 ein Objekttracking 24 durchführen, welches die Position der Einzelobjekte 18 über mehrere Einzelabbilder 17, das heißt über mehrere Messzyklen hinweg, verfolgt oder trackt. Dies kann für jeden Sensor 15 einzeln erfolgen oder in Kombination mit einer Sensorfunktion können die Objektdaten 22 aus mehreren Sensoren 15 kombiniert werden und durch das Trackingmodul 23 in einem gemeinsamen Objekttracking 24 das Tracking der Einzelobjekte 18 durchgeführt werden. Entsprechende Trackingmodule 23 sind aus dem Stand der Technik bekannt. Aus dem Tracking können Trackingdaten 25 resultieren, die der automatisierten Fahrfunktion 12 für die Fahraufgabe (Längsführung und/oder Querführung), das heißt zum Erzeugen der Steuerbefehle 14 , bereitgestellt werden können. Die automatisierte Fahrfunktion 12 kann hierbei mehrere Teilfunktionen 26 umfassen, die hier beispielhaft als Teilfunktionen F1, F2, ..., Fn sind. Eine beispielhafte Teilfunktion 26 kann eine Ampelzufahrtserkennung 27 oder eine Erkennung einer Baustellenabsperrung sein, wie im Weiteren noch erläutert werden wird.
Eine weitere Teilfunktion 26 kann die Erzeugung einer Umgebungskarte oder Umfeldkarte 28 sein, in welcher auf Grundlage der Trackingdaten 25 in der Umfeldkarte 28 relativ zum Kraftfahrzeug 10 (in der Umfeldkarte 28 ist symbolisch die Fahrzeugfront aus der Vogelperspektive dargestellt) die Position der detektierten Einzelobjekte 18 kartographiert sein kann. Auf Grundlage einer solchen Umfeldkarte 28 kann als weitere Teilfunktion 26 beispielsweise eine Trajektorienplanung zum Planen einer Fahrtrajektorie 29 ausgeführt werden, durch welche oder anhand welcher dann die Steuerbefehle 14 erzeugt werden können.
In diesen Signalfluss für die automatisierte Fahrfunktion 12 kann beispielsweise für jeden Sensor 15 individuell ein Beziehungsklassifikator 30 implementiert sein, der weder auf die Umfeldkarte 28 noch auf die geplante Fahrtrajektorie 29 angewiesen ist. Der Beziehungsklassifikator 30 kann jeweils auf den Sensordaten 16 und/oder den Objektdaten 22 für die Einzelabbilder 17 arbeiten oder diese verarbeiten. Ein jeweiliger Beziehungsklassifikator 30 kann auf der Grundlage eines Algorithmus des maschinellen Lernens, beispielsweise eines künstlichen neuronalen Netzwerks, und/oder auf der Grundlage einer algorithmischen Auswertung von geometrischen Beziehungen implementiert sein. Geeignete geometrische Kriterium kann der Fachmann anhand von Einzelabbildern aus Probefahrten ermitteln.
Durch den Beziehungsklassifikator 30 können zu den Einzelabbildern 17 für die Einzelobjekte 18 Beziehungsdaten 31 erzeugt oder signalisiert werden, welche die Objektbeziehungen der detektierten Einzelobjekte 18 in den Einzelabbildern 17 beschreiben. Das in 1 dargestellte Trackingmodul kann zusätzlich auch als Aggregationsmodul 32 ausgestaltet sein, welches auf der Grundlage der Beziehungsdaten 31 Aggregationsdaten 33 erzeugt, welche zu den Objektbeziehungen der Einzelobjekte 18 aggregierte Objektbeziehungen beschreiben, die über mehrere Einzelabbilder 17 hinweg als kontinuierlich oder als bestätigt oder als verlässlich erkannt klassifiziert wurden. Das Aggregationsmodul 32 kann auch beispielsweise als separates Software-Modul implementiert sein. Es kann auf der Grundlage eines Algorithmus für Objekttracking und/oder eines Algorithmus für statistische Analyse implementiert sein. Es kann beispielsweise als Moving Average und/oder ML-Modelle (ML - Machine Learning) implementiert sein. ML-Modelle eignen sich insbesondere zum Verarbeiten von Sequenzen. Besonders bevorzugt sind hier rekurrente Netze und/oder Modelle mit Aufmerksamkeitsmechanismen. Durch die aggregierten Objektbeziehungen, wie sie in den Aggregationsdaten 33 signalisiert sein können, kann beispielsweise ausgesagt werden, dass sich ein bestimmtes Einzelobjekt 18 neben einem anderen Einzelobjekt 18 aufhält oder befindet oder angeordnet ist.
Die Erzeugung der Beziehungsdaten 31 und der Aggregationsdaten 33 ist im Folgenden anhand von 2 und 3 erläutert. Die Verwendung der Aggregationsdaten 33 ist im Folgenden anhand von 4 bis 8 erläutert.
2 zeigt für einen einzelnen Sensor 15, wie dessen Rohdaten oder Sensordaten 16 durch ein im Rahmen einer Einzelkameraverarbeitung 40 beispielsweise mittels eines so genannten Deep-learning-Modells eines Algorithmus für maschinelles Lernen verarbeitet werden können. Dargestellt ist, dass durch eine Merkmalsextraktion 19 beispielsweise auf Basis des künstlichen neuronalen Netzwerks 20, die Objektdetektion durch den Objektklassifikator 21 durchgeführt werden kann und zusätzlich beispielsweise eine semantische Segmentierung 42 und/oder eine weitere Detektion 43 durchgeführt werden kann. In an sich bekannter Weise können zu den Einzelobjekten durch einen Attributklassifikator 44 weitere Eigenschaften eines detektierten Einzelobjekts 18 ermittelt werden, wie dies beispielsweise in der eingangs beschriebenen Druckschrift implementiert ist. In eine solche Einzelkameraverarbeitung 40 kann beispielsweise als Bestandteil des Deep-learning-Modells DL auch der Beziehungsklassifikator 30 eintrainiert sein, der hier auch als VRC (Visual Relationship Classification) bezeichnet ist, da er auf die in den Einzelabbildern erkennbaren geometrischen Relationen und/oder allgemein zumindest einem Beziehungsmerkmal der Einzelobjekte aufbaut, das heißt, die im Sensor-Koordinatensystem des jeweiligen Sensors 15 erkennbare relative Position oder relative Lage der Einzelobjekte 18. Die erzeugten Beziehungsdaten oder (wenn das Aggregationsmodul 32 als Bestandteil des VRC implementiert ist), die Aggregationsdaten können dann durch beispielsweise das Trackingmodul 23 mit den Informationen aus anderen Sensoren 15 fusioniert und/oder über Einzelabbilder 17 hinweg ein Tracking durchgeführt werden. In dem Signalfluss können auch weitere Module 45 implementiert sein, wie dies an sich für automatisierte Fahrfunktionen 12 bekannt ist.
3 veranschaulicht, wie der Beziehungsklassifikator 30 und/oder das Aggregationsmodul 32, also das VRC, implementiert sein können. Dargestellt ist in weiterer Vertiefung von 2, wie durch die in der Merkmalsextraktion 19 Bilddaten 60 der Einzelabbilder 17 zusätzlich zu den Objektdaten 22 für den Beziehungsklassifikator 30 bereitgestellt werden können. Für den Beziehungsklassifikator 30 ist dargestellt, welche Eingangssignale oder Eingangsdaten 61 beispielhaft genutzt werden können. Zum einen können zu dem aktuellen Einzelabbild 17 Bounding-Boxen 62 in den Objektdaten 22 enthalten sein, die angeben, wo das jeweils erkannte Einzelobjekt 18 im Einzelabbild 17 angeordnet ist. Darauf aufbauend kann eine Interpretation oder Auswertung z.B. der räumlichen oder geometrischen Relation als räumliche Merkmalsextraktion 63 (Extraktion der räumlichen Objektbeziehung (z.B. „neben“, „hinter“) implementiert sein, beispielsweise durch eine geometrische Analyse oder einen geometrischen Vergleich der Bounding-Boxen 62 miteinander. Es kann auf Grundlage der Bounding-Boxen 62 durch eine räumliche Merkmalsextraktion 63 beispielsweise ermittelt werden, welches geometrische Muster oder welche geometrische Gruppierung Bounding-Boxen 62 untereinander aufweisen. Es kann eine semantische Merkmalsextraktion 65 auf Grundlage von Objektattributen 66 der einzelnen erkannten Einzelobjekte 18 ermittelt werden. Als Objektattribut 66 kann beispielsweise zu jedem möglichen oder erkennbaren Objekttyp 67 ein Erkennungswert oder Wahrscheinlichkeits- oder Hypothesenwert 68 angegeben werden, der angibt, mit welcher Wahrscheinlichkeit das Einzelobjekt 18 dem jeweiligen Objekttyp 67 entspricht (beispielsweise Ampel: 0,01, Verkehrsschild: 0,09, Fahrzeug: 0,8, Verkehrsampel: 0,1...). Mittels der Bilddaten 60 kann auch der durch die jeweilige Bounding-Box 62 beschriebene Bildausschnitt des Einzelabbilds 17 repräsentiert oder angegeben werden. Durch Vereinigen von Bounding-Boxen kann eine vereinigte Bounding-Box 69 gebildet sein, durch welche beispielsweise zwei oder allgemein mehrere Bounding-Boxen 62 umfasst sind, um so auch den Bildkontext oder den bildlichen Zusammenhang zweier Einzelobjekte 18 auszuwerten oder zu interpretieren. Eine vereinigte Bounding-Box 69 kann beispielsweise durch die Extremwerte der mehreren Bounding-Boxen 62 erreicht werden (Koordinaten der linken oberen Ecke und Koordinaten der rechten unteren Ecke, die jeweils den kleinsten beziehungsweise größten Wert aufweisen, um ein Beispiel für eine solche Berechnung zu nennen).
Die Objekttypen 67 (z.B. Objekttyp „Ampel“) und die Objektattribute 66 (z.B. „Ampel ist nach Süden ausgerichtet“) und Objektzustände (z.B. „Ampel steht aktuell auf Rot“) stellen die beschriebenen Objektcharakteristiken dar.
Die visuelle Merkmalsextraktion 70 aus den Bilddaten 60 sowie die räumliche Merkmalsextraktion 63, die Kontext-Merkmalsextraktion 64 und/oder die semantische Merkmalsextraktion 65 können als Eingabedaten für ein künstliches neuronales Netzwerk 72 genutzt werden, welches die eigentliche Funktion des Beziehungsklassifikators VRC oder des Beziehungsklassifikators 30 durchführt. In diesem künstlichen neuronalen Netzwerk 72 kann auch das Aggregationsmodul 32 realisiert sein. Anstelle oder zusätzlich zu einem künstlichen neuronalen Netzwerk kann ein anderer Algorithmus des maschinellen Lernens und/oder eine prozeduale Programmierung für die Auswertung vorgesehen sein. Als Ausgabedaten können dann die Beziehungsdaten 31 beziehungsweise die Aggregationsdaten 33 bereitgestellt werden, welche beispielsweise paarweise Objektbeziehungen 74 zwischen jeweils zwei Einzelobjekten 18 angeben können, das hier als gerichteter Graph 75 dargestellt ist, der von einem Einzelobjekt 18 (repräsentiert durch seine Bounding-Box 62) als Subjekt zu einem anderen Einzelobjekt 18 (repräsentiert durch seine Bounding-Box 62) als Objekt weist. Die Objektbeziehung 74 kann durch Hypothesenwerte oder Wahrscheinlichkeitswerte beschrieben sein, die zu den möglichen Beziehungstypen 76 (beispielsweise „nebeneinander“, „direkter Nachbar“, „Vorgänger“, „Nachfolger“) jeweils Hypothesenwerte oder Wahrscheinlichkeitswerte 77 des Klassifikationsergebnisses oder Erkennungsergebnisses angeben können. In der beschriebenen Weise können die Beziehungsdaten 31 beziehungsweise die Aggregationsdaten 33 dann dem Trackingmodul 23 und/oder (falls das Aggregationsmodul 32 nachgeschaltet ist), dem Aggregationsmodul 32 übergeben werden.
4 veranschaulicht, wie beispielsweise das Objekttracking über zwei Einzelabbilder 17 hinweg, Einzelabbilder oder Frames F(n-1) und F(n), für zwei Einzelobjekte 18 auch bei deren Verdeckung im Einzelabbild F(n) deren Präsenz und/oder deren Position überwacht werden kann und dabei eine Unterstützung durch die Aggregationsdaten 33 erfolgen kann. Die Bezeichnung F steht hierfür Frame, Einzelabbild. Die Bezeichnung n-1 und n besagen, dass in der Abfolge der Einzelabbilder 17 der aktuelle Messzyklus n von dem unmittelbar vorangegangenen Messzyklus n-1 vorangegangen ist. Dargestellt ist, wie durch die Aggregationsdaten 33 aggregierte Objektbeziehungen 80 zwischen Einzelobjekten 18 (beispielsweise Ampeln und/oder Fahrbahnpfeile) ermittelt worden sein können. Die aggregierten Objektbeziehungen 80 können beispielsweise sagen, in welcher geometrischen Relation (beispielsweise nebeneinander oder nächster Nachbar oder übernächster Nachbar) angeordnet sind. Des Weiteren ist veranschaulicht, dass durch die Bounding-Boxen 62 durch die Objektdaten signalisiert ist, wo im jeweiligen Einzelabbild sich das Einzelobjekt befindet. Im Vergleich zum Einzelabbild F(n-1) und im Einzelabbild F(n) ist dargestellt, wie ein Einzelobjekt 18` durch Verdeckung 85 durch beispielsweise andere Verkehrsteilnehmer im Einzelabbild F(n) zwar das Einzelobjekt 18 nicht sichtbar ist, aber durch die aggregierten Objektbeziehungen 80 dennoch das Vorhandensein auch im Einzelabbild F(n) angenommen werden kann. Es können sogar zusätzliche Objektbeziehungen 86 gebildet oder berechnet werden auch zu den verdeckten Einzelobjekten 18` während der Verdeckung 85.
5 veranschaulicht, wie in der automatisierten Fahrfunktion durch eine Teilfunktion 26 eine Fahrsituationserkennung 90 in einem Einzelabbild 17 durchgeführt werden kann. Als Fahrsituation kann hier eine Kreuzungszufahrt 91 erkannt werden. Durch die Bounding-Boxen von Einzelobjekten 18 und die zu diesen Einzelobjekten 18 ermittelten aggregierten Objektbeziehungen 80 (beispielsweise „ist Nachfolger von“, „ist Letzter in der Reihe desselben Objekttyps“, „ist unterhalb von“) kann eine Verkettung oder Kette 92 von Einzelobjekten erkannt werden, durch welche ein Verlauf einer Fahrspur 93 und eine Zugehörigkeit einer Ampelanlage 94 zu den Fahrspuren 93 detektiert werden kann auf Basis eines Einzelabbildes 17 insbesondere ohne die Verwendung einer Umfeldkarte 28. Zu beachten ist, dass hier die Begriffe „Fahrspur“, „Fahrweg“, „Fahrbahn“ synonym und gleichwertig verwendet werden.
6 veranschaulicht, wie bei fehlender Fahrbahnmarkierung 100 auf der Grundlage einer jeweiligen Kette 92 von Einzelobjekten 18 (durch die Objektdaten markiert durch eine jeweilige Bounding-Box 62) und aggregierte Objektbeziehungen 80 (beispielsweise vom Objektbeziehungstyp „ist Nachfolger von“, ist unmittelbarer Nachbar von“) erkannt werden kann, dass zwei Fahrspuren oder Fahrwege 101 nebeneinander verlaufen. Auch eine Zugehörigkeit einer jeweiligen Verkehrsampel zu den Fahrwegen 101 kann auf Grundlage der geometrischen Beziehung, wie sie durch die aggregierten Objektbeziehungen 80 innerhalb der Kette 92 signalisiert sind, erkannt werden.
7 veranschaulicht, wie für Einzelobjekte 18 eines gleichen Objekttyps vom Typ Baustellenbake oder Baustellenabgrenzung durch aggregierte Objektbeziehungen 80 beispielsweise vom Typ „ist Nachfolger von“ eine Kette 92 gleichartiger Einzelobjekte 18 in Form von beispielsweise Baustellenbaken erkennt werden kann und aufgrund der aggregierten Objektbeziehungen 80 als Abgrenzung einer Fahrspur oder eines Fahrwegs 101 interpretiert oder bei der Trajektorienplanung genutzt werden. Dies kann dann in der beschriebenen Weise beispielsweise einer Trajektorienplanung der automatisierten Fahrfunktion 12 signalisiert werden.
8 zeigt in vergleichbarer Weise, wie auch bei einem Straßenuntergrund ohne Fahrbahnmarkierung einzelne Fahrwege oder Fahrbahnen anhand von Ketten 92 gleichartiger Einzelobjekte 18 in Form von Fahrzeugen erkannt werden können, falls für die Einzelobjekte 18 erkannt wird, dass durch deren aggregierte Objektbeziehungen 80 betreffend beispielsweise den Beziehungstyp „ist Nachfolger von“ oder „ist Vorgänger von“ (Objektbeziehung 103) und „ist Nachbar von“ (Objektbeziehung 104) erkannt wird.
Existierende Teilfunktionen einer automatisierten Fahrfunktion, welche auf erkannten Objekt-/Entitätsinformationen aufbauen, erhalten somit zusätzlich Objekte/Entitäten und deren Attribute aus der Fusion. Funktionen, welche den Beziehungsgraphen verwenden, erhalten darüber hinaus Beziehungen und Beziehungsattribute. Erkannte Beziehungen werden hierbei in der Aggregation/Fusion an fusionierte Objekte/Entitäten weitergereicht und mögliche Widersprüche zwischen Fusionsquellen behandelt.
Die zugrundeliegende Idee erweitert die Objektdetektion um zusätzliche Informationen zu den Objektbeziehungen, deren Bestimmung durch die Wiederverwendung erlernter Objektfeatures in einem Echtzeitsystem realisierbar wird.
Der Beziehungsgraph bietet eine kompakte, aber umfassende, Repräsentation davon, wie ein Objekt in seinem Kontext zu interpretieren ist, was die Umsetzung darauf aufbauender Funktionen erleichtert. Weiter erlaubt er Objekte in unabhängige oder sich überlappende Gruppen einzuordnen, wodurch sich unterschiedliche semantische Zusammenhänge für verschiedene Fahrfunktionen ableiten lassen. Durch die gemeinsame Bestimmung dieser ergibt sich ein Vorteil im benötigten Rechenaufwand.
Die Objektbeziehungen sind auf einfache Weise gemeinsam mit den dazugehörigen Objekten trackbar, was das Weiterreichen von im Sensor erkannten Kontextinformationen an ein zeitlich konsistentes Umgebungsmodell ermöglicht. In der gleichen Weise sind Objektbeziehungen auch zwischen verschiedenen Sensorquellen fusionierbar. Weiter ergibt sich durch die Erkennung von Beziehungen in einzelnen Sensormessungen ein Latenzvorteil gegenüber der Möglichkeit Beziehungen in einem Modul oder Verarbeitungsblock, der dem Tracking nachgelagert ist, zu bestimmen.
Für statische Objekte, wie sie vorzugsweise in elektronischen Karten vorkommen, sind die Objektbeziehungen unabhängig von Bildverarbeitungsmethoden bestimmbar und können z.B. durch manuelles Labeln erstellt und in den Kartendaten mit untergebracht werden. Damit kann einerseits die Fusion von Kartendaten mit den in Echtzeit ermittelten Daten vorgenommen werden um in etwa durch Verdeckung nicht zugängliche Informationen abzuleiten und andererseits erlaubten die Beziehungen aus den Karten eine vereinfachte Zuordnung von beobachteten Objekten zu Kartenobjekten, da nicht nur das Objekt sondern auch seine Beziehung bei der Zuordnung genutzt werden kann.
Konkrete Anwendungen die mithilfe des Objektbeziehungsgraphen vorteilhaft realisiert werden können, sind die folgenden:

Ein Funktion zur Erkennung der Situation an Kreuzungszufahrten kann so gestaltet werden, dass sie mehrere Kreuzungen in den Sensordaten unterscheiden kann, um etwa an Weggabelungen für die möglichen Richtungen eine Beschreibung dahinterliegender Ampelanlagen liefern zu können. Die Funktion kann Hypothesen zu der Anzahl empfohlener Fahrwege, deren möglichen Ausgangsrichtungen und Zustände relevanter Lichtsignale ausgeben. Für die Hypothesen der Fahrwege können Beziehungsinformationen zwischen Fahrbahnbegrenzungen, Pfeilen und Fahrzeugen verwendet werden und die Fälle betrachtet werden, dass jeder dieser Fahrwegshinweise in einer konkreten Situation verwendet oder nicht verwendet werden kann (nicht vorhanden, verdeckt, ausgeblichen, nicht erkannt, etc.). Fahrwegshypothesen auf „diskreten“ Objekten, also Pfeilen und Fahrzeugen, werden hierbei über erkannte Beziehungen aufgebaut. Die Zuordnung möglicher Fahrwege zu Ampelgruppen soll über die Beziehungserkennung zwischen den Ampeln und den einen Fahrweg beschreibenden Objekten erfolgen. Die Hypothese, ob auf einem erkannten Fahrweg mit möglicher Zielrichtung die Fahrt freigegeben ist, wird einem Objekttracking nachgelagert gebildet, um zeitliche Informationen über Ampelzustände zu aggregieren.

Eine Funktion zum Aufbau von Hypothesen zu Fahrwegsbegrenzungen bestehend aus diskreten, gleichartigen Objekten kann bereitgestellt werden. Diese treten etwa in Baustellen oder auf Landstraßen auf und ermöglichen die Wahrnehmung des Fahrtweges im Falle stark verschmutzter oder verschneiter Fahrbahnen. Über die 3D-Positionierung der einzelnen Objekte durch ein Tracking oder eine Objektfusion soll der Verlauf der Begrenzung ermittelt werden. Der Ansatz über Objektbeziehungen bietet gegenüber etwa einer Beschreibung des Verlaufs der Objekte über eine Kurve, den Vorteil, dass er für sehr kurze, auf diese Weise begrenzte, Abschnitte auf die gleiche Weise funktionieren wird.
Am Beispiel eines Falls, in dem Leitbaken zur Fahrwegsbegrenzung dienen, können diese Objekte sowie deren zu erkennenden Reihenbeziehungen ohne eine gesonderte Spurmarkierung für die Baustellensituation als Spurinformation verwendet werden.
Eine dritte Anwendungsmöglichkeit wäre, die oben beschriebene Verfahren in Rahmen eines Crowd-Sourcing für die Erzeugung und/oder die Aktualisierung von Karten zu verwenden. Beispiel: ein Fahrzeug, das Teil einer Flotte ist, fährt durch eine Kreuzung. Dort wird das Fahrzeug mittels der oben beschriebenen Verfahren eine Objektbeziehung zwischen zum Beispiel Fahrspüren und Ampeln berechnen. Das Fahrzeug sendet diese Objektbeziehung an einem externen Server mittels zum Beispiel eines Car2X Verfahren. Ein zweites Fahrzeug fährt dann auch über die Kreuzung und berechnet auch eine Objektbeziehung und sendet diese am Server. Der Server kann dann einen „Confidence-Score“ der Objektbeziehung zuordnen, welcher abhängig ist, von wie vielen Fahrzeug die Objektbeziehung gemeldet haben. Falls der Confidence-Score einen vordefinierten Schwellenwert überschreitet, könnte die Objektbeziehung in einer Karte verwendet werden (um diese zu aktualisieren zum Bespiel).
Insgesamt zeigen die Beispiele, wie die aus Einzelabbildern einer Umgebungskamera extrahierten Objektbeziehungen als weitere Eingabeinformation für eine Umgebungsbeobachtung bereitgestellt werden können.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 20180341822 A1 [0005]

Claims

Verfahren zum Betreiben einer automatisierten Fahrfunktion (12) in einem Kraftfahrzeug (10), wobei durch eine Prozessorschaltung (11) des Kraftfahrzeugs (10) aus Sensordaten (16) zumindest eines Sensors (15) des Kraftfahrzeugs (10) mittels zumindest eines Objektklassifikators (21) jeweilige Einzelobjekte (18) in durch die Sensordaten (16) beschriebenen Einzelabbildern einer Umgebung des Kraftfahrzeugs (10) erkannt werden, wobei jeweils durch Objektdaten (22) zumindest eine erkannte Objektcharakteristik des Einzelobjekts (18) angegeben ist, dadurch gekennzeichnet, dass mittels zumindest eines Beziehungsklassifikators (30) anhand der Objektdaten (22) für zumindest einige der Einzelobjekte (18) eine jeweilige paarweise Objektbeziehung (74) anhand von aus den Sensordaten ermittelten Beziehungsmerkmalen der Einzelobjekte (18) in dem jeweiligen Einzelabbild (17) erkannt und durch Beziehungsdaten (31) beschrieben wird, und mittels eines Aggregationsmoduls (32) die Beziehungsdaten (31) über mehrere aufeinanderfolgende Einzelabbilder (17) hinweg zu Aggregationsdaten (33) aggregiert werden, welche aggregierte Objektbeziehungen (80) beschreiben, und die Aggregationsdaten (33) einem Trackingmodul (23) für ein Objekttracking und/oder der automatisierten Fahrfunktion für eine Trajektorienplanung (12) bereitgestellt werden.
Verfahren nach Anspruch 1, wobei das Aggregationsmodul (32) in Abhängigkeit von einer Wiederholungshäufigkeit und/oder Güte einer Erkennung der jeweiligen Objektbeziehung einen Gewichtungswert für die jeweilige aggregierte Objektbeziehung (80) ermittelt und durch die die Aggregationsdaten (33) beschreibt und/oder die aggregierten Objektbeziehungen (80), die für mehre der Einzelobjekte (18) einen geschlossenen Beziehungsgraphen von Objektbeziehungen ergeben, diese Einzelobjekte (18) als zusammengehörige Objektgruppe beschreiben.
Verfahren nach einem der vorhergehenden Ansprüche, wobei aus mehreren Sensoren (15) jeweilige Sensordaten (16) jeweiliger Einzelabbilder (17) empfangen werden und für jeden Sensor (15) ein eigener Beziehungsklassifikator (30) betrieben wird und das Aggregationsmodul (32) eine Beziehungsdatenfusion für Beziehungsdaten (31) der mehreren Beziehungsklassifikatoren (30) durchführt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei durch den Objektklassifikator (21) mittels der Objektdaten (22) als jeweilige Objektcharakteristik eine Bounding-Box (62) und/oder ein Objekttyp (67) angegeben ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei in dem Trackingmodul (23) mittels der Aggregationsdaten (33) ein Objekttracking (24) eines in zumindest einem Einzelabbild (17) aus mehreren aufeinanderfolgenden Einzelabbildern verdeckten Einzelobjekts (18) durchgeführt wird und/oder in dem Aggregationsmodul (32) die Beziehungsdaten (31) über mehrere aufeinanderfolgende Einzelabbilder (17) hinweg mittels Trackingdaten aus dem Trackingmodul gebildet werden, indem ein verdecktes Einzelobjekt (18) durch das Trackingmodul identifiziert wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei durch den Beziehungsklassifikator (30) als paarweise Objektbeziehung (74) eine relative Anordnung der jeweiligen Einzelobjekte (18) mittels einer gerichteten Beziehungsangabe, insbesondere nebeneinander, hintereinander, Vorgänger, Nachfolger, und/oder eine ungerichtete Beziehungsangabe signalisiert wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der Beziehungsklassifikator (30) die Erkennung der jeweiligen Objektbeziehung (74) unabhängig von einer nachgeordneten Umgebungskarte der Fahrfunktion (12) und/oder ohne eine Information über geplante Trajektorien der Fahrfunktion (12) durchführt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Fahrfunktion (12) eine Situationserkennung für zumindest eine Fahrsituation umfasst und die jeweilige Fahrsituation als Kombination aus Einzelobjekten (18) und deren aggregierte Objektbeziehungen (80) beschrieben ist.
Verfahren nach Anspruch 8, wobei als eine Fahrsituation eine Kreuzungszufahrt (91) detektiert wird, wobei Aggregationsdaten (33) zu Objektbeziehungen zwischen stationären Infrastrukturobjekten, insbesondere Fahrbahnbegrenzungen und/oder Fahrbahnpfeilen, und/oder Objektbeziehungen zwischen Infrastrukturobjekten und Fahrzeugen und/oder Objektbeziehungen zwischen Fahrzeugen zu Fahrwegshypothesen bezüglich vorhandener Fahrwege (101) kombiniert werden, wobei eine Zuordnung möglicher Fahrwege (101) zu Ampelgruppen von Ampeln über eine Beziehungserkennung aus aggregierten Objektbeziehungen (80) zwischen den Ampeln und den einen Fahrweg (101) beschreibenden Einzelobjekten (18) erfolgt.
Verfahren nach einem der Ansprüche 8 bis 9, wobei als eine Fahrsituation ein Fahrweg (101) bei fehlender Fahrwegsmarkierung detektiert wird, indem als Einzelobjekte (18) Fahrzeuge, die auf dem Fahrweg (101) in einer Kette (92) hintereinander fahren, und anhand der aggregierten Objektbeziehungen (80) die Kette (92) der hintereinander fahrenden Fahrzeuge erkannt wird und ein geometrischer Verlauf der Kette (92) als der Fahrweg (101) signalisiert wird.
Verfahren nach einem der Ansprüche 8 bis 10, wobei als eine Fahrsituation eine Fahrwegsbegrenzung aus diskreten, gleichartigen Einzelobjekten (18) detektiert werden, insbesondere in einer Baustelle und/oder auf einer Landstraße, wobei über die aggregierten Objektbeziehungen (80) der Einzelobjekte (18) der Verlauf der Begrenzung ermittelt wird, insbesondere anhand einer aggregierten Objektbeziehung (80) mit der Angabe, dass das jeweilige Einzelobjekt (18) hinter einem jeweiligen Vorgängerobjekt steht.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Fahrfunktion (12) eine Objekterkennung für zumindest ein vorbestimmtes Umgebungsobjekt umfasst und das jeweilige Umgebungsobjekt als Kombination aus Einzelkomponenten und deren aggregierte Objektbeziehungen (80) beschrieben ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei durch das Kraftfahrzeug (10) und durch zumindest ein weiteres Kraftfahrzeug (10) für die Erzeugung und/oder die Aktualisierung einer digitalen Straßenkarten das jeweilige Kraftfahrzeug (10) mittel seiner eigenen Prozessorschaltung (11) anhand eines Verfahrens nach einem der vorhergehenden Ansprüche Aggregationsdaten (33) von aggregierten Objektbeziehungen (80) ermittelt und die Aggregationsdaten (33) an einen fahrzeugexternen Server mittels einer vorbestimmten Kommunikationsmethode aussendet und der Server einen Konfidenzwert der aggregierten Objektbeziehungen (80) ermittelt, welcher abhängig ist, von wie vielen Kraftfahrzeugen (10) die Objektbeziehung jeweils gemeldet ist, und falls der Konfidenzwert einer jeweiligen Objektbeziehung größer als ein vordefinierter Schwellenwert ist, wird die jeweilige Objektbeziehung in die digitale Straßenkarte eingetragen, und/oder wobei für eine Initialisierung des Aggregationsmoduls (32) aus der Straßenkarte dort bereits abgelegte initiale Objektbeziehungen ausgelesen werden und diese mit Sensordaten aggregiert werden.
Prozessorschaltung (11) für ein Kraftfahrzeug (10), wobei die Prozessorschaltung (11) dazu eingerichtet ist, ein Verfahren nach einem der Ansprüche 1 bis 13 durchzuführen.
Kraftfahrzeug (10) mit einer Prozessorschaltung (11) nach Anspruch 14.