DE102019127322A1

DE102019127322A1 - Verfahren zur Erfassung von Objekten in einer Fahrzeugumgebung, Vorrichtung zur Datenverarbeitung, Computerprogrammprodukt und computerlesbarer Datenträger

Info

Publication number: DE102019127322A1
Application number: DE102019127322.6A
Authority: DE
Inventors: Lars KUHNERT; Martin Miller; Douglas James McEwan; Martin Klubal
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2019-10-10
Filing date: 2019-10-10
Publication date: 2021-04-15
Also published as: CN112652006A

Abstract

Es wird ein Verfahren zur Erfassung von Objekten B in einer Fahrzeugumgebung eines Fahrzeugs A angegeben. Das Verfahren weist auf: Bereitstellen von Sensorsignalen mehrerer Sensoren, mit denen die Fahrzeugumgebung erfassbar ist, Fusionieren der Sensorsignale zum Erhalt fusionierter Sensorsignale und Erstellen eines räumlich segmentierten Modells der Fahrzeugumgebung auf Grundlage der fusionierten Sensorsignale, in dem Objekte in der Fahrzeugumgebung durch einen Abstand F zu einer Fahrzeugkontur C und Positionskoordinaten repräsentiert werden.
Außerdem werden eine Vorrichtung zur Datenverarbeitung, ein Computerprogrammprodukt und ein computerlesbarer Datenträger angegeben.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Erfassung von Objekten in einer Fahrzeugumgebung, eine Vorrichtung zur Datenverarbeitung, ein Computerprogrammprodukt und einen computerlesbarer Datenträger
Die Modellierung der Umgebung eines Fahrzeugs (host vehicle) in Fahrsituationen, in denen bei geringem Abstand zu Objekten in der Fahrzeugumgebung und geringer Geschwindigkeit eine Kollision verhindert werden soll, ist komplex. Kostengünstige Sensoren, die typischerweise in Fahrerassistenzsystemen eingesetzt werden, haben die Nachteile eines eingeschränkten Sensorbereichs, verrauschter Sensorsignale und einer hohen Anfälligkeit der Beeinträchtigung durch externe Faktoren wie Wetter- und Lichtbedingungen. Diese Einschränkungen kommen besonders zum Tragen, falls ein vollständiges 360 ° Modell der Fahrzeugumgebung erstellt werden soll.
Um dem zu begegnen, sind aus dem Stand der Technik Verfahren zur Zusammenführung von mehreren Sensorsignalen (Sensorfusion) bekannt, so z. B. aus der WO 2018/069 061 A1 und der DE 10 2015 214 743 A1 .
Die eingeschränkten Sensorbereiche, also Bereiche in der Fahrzeugumgebung, für die Sensorsignale erhalten werden können, der verwendeten Sensoren führen allerdings dazu, dass ein Teil der Fahrzeugumgebung nicht zu jedem Zeitpunkt abgedeckt ist und ein Modell(auch als Karte bzw. engl. map bezeichnet) der Umgebung über einen gewissen Zeitraum erstellt werden muss, um eine vollständige Erfassung der Fahrzeugumgebung zu ermöglichen.
Darüber hinaus ergibt sich die Frage, wie nach Auffinden eines geeigneten Modells die entsprechenden Modelldaten für nachfolgende Verarbeitungssysteme und -prozesse aufgearbeitet und bereitgestellt werden können. Mögliche Lösungen, wie z. B. umfangreiche Objektlisten, Merkmalskarten (feature maps) und Gitterkarten (grid maps), sind oftmals zu umfangreich für eine adäquate Verarbeitung durch nachfolgende Verarbeitungssysteme, die lediglich die Frage beantworten wollen, ob das Fahrzeug gestoppt werden soll oder nicht, um eine Kollision mit Objekten in der Fahrzeugumgebung bei geringer Geschwindigkeit zu vermeiden.
Vor diesem Hintergrund ist es Aufgabe der Erfindung, Möglichkeiten anzugeben, mit denen diesen Verarbeitungssystemen eine präzise und umfassende, jedoch komplizierte Beschreibung der Fahrzeugumgebung in reduzierter Form, die die benötigten Informationen für Fahrsituationen mit niedriger Geschwindigkeit und geringem Abstand zu Objekten in der Fahrzeugumgebung enthält, bereitgestellt werden kann.
Gelöst wird diese Aufgabe durch die Gegenstände der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben.
Ein erster Aspekt der Erfindung betrifft ein Verfahren zur Erfassung von Objekten, z. B. von Fußgängern, Bäumen, weiteren Fahrzeugen etc., in einer Fahrzeugumgebung eines Fahrzeugs, z. B. eines Personenkraftwagens. Unter einem Fahrzeug können auch Fahrzeuggespanne, also z. B. ein Personenkraftwagen mit Anhänger, verstanden werden.
In einem ersten Verfahrensschritt werden Sensorsignale mehrerer Sensoren, mit denen die Fahrzeugumgebung erfassbar ist, bereitgestellt. Bevorzugt handelt es sich um Sensoren, die im oder am Fahrzeug angeordnet sind, die Fahrzeugumgebung erfassen und entsprechende Sensorsignale generieren. Die generierten Sensorsignale können anschließend an eine Verarbeitungseinheit übertragen und dadurch für diese bereitgestellt werden. Sensoren, die beispielsweise genutzt werden können, sind Ultraschallsensoren, Kamerasensoren, Radarsensoren, Lidarsensoren etc.
In einem weiteren Verfahrensschritt werden die bereitgestellten Sensorsignale fusioniert, um fusionierte Sensorsignale zu erhalten. Mit anderen Worten werden die Sensorsignale mehrerer gleichartiger und/oder verschiedener Sensoren, z. B. eines Ultraschallsensors, von zwei Radarsensoren sowie von zwei Kamerasensoren, zusammengeführt und miteinander kombiniert.
In einem weiteren Verfahrensschritt wird ein räumlich segmentiertes Modell der Fahrzeugumgebung, also ein in mehrere räumliche Segmente unterteiltes Modell, auf Grundlage der fusionierten Sensorsignale erstellt. In dem Modell werden Objekte in der Fahrzeugumgebung durch einen Abstand zu einer Fahrzeugkontur, also dem Umriss des Fahrzeugs, und Positionskoordinaten repräsentiert. Die Positionskoordinaten können beispielsweise eine zweidimensionale Position bezüglich eines Weltkoordinatensystems repräsentieren, das durch die Position des Fahrzeugs zu Beginn des Verfahrens festgelegt ist. Bevorzugt können die Abstände der Objekte zur Fahrzeugkontur sowie die Positionskoordinaten für jedes Segment im Modell enthalten sein.
Mit dem Verfahren lassen sich vielfältige Objekte erfassen, z. B. punktförmige Objekte, die z. B. mittels eines einzigen Radar- oder Lidarsensorsignals erfasst werden können, oder zweidimensionale Objekte, die z. B. mittels Radarzielverfolgung erfasst werden können und die beispielsweise die geschätzte Form und Orientierung von Fahrzeugen oder Fußgängern als Objekte liefern können.
Das erstellte räumliche Modell kann für nachfolgende Verfahren, z. B. für Verfahren, die durch Fahrerassistenzsysteme ausgeführt werden, genutzt werden. Beispielsweise können die Geschwindigkeit und/oder der Fahrweg des Fahrzeugs derart angepasst werden, dass eine Kollision mit Objekten in der Fahrzeugumgebung verhindert wird. Aufgrund der Einfachheit der Ausgabeschnittstelle kann auf einfache Art und Weise eine Integration in verschiedene Fahrerassistenztechnologien erreicht werden.
Bevorzugt eignet sich das Verfahren für Fahrsituationen mit niedriger Geschwindigkeit und geringem Abstand zu Objekten in der Fahrzeugumgebung. Das gesamte Verfahren oder Teile des Verfahrens, z. B. das Fusionieren der Sensorsignale und das Erstellen des Modells, können computerimplementiert durchgeführt werden.
Mittels des erfindungsgemäßen Verfahrens kann vorteilhaft ein virtuelles sensorbasiertes Sicherheitskokon („virtual sensor safety cocoon“) erzeugt werden, mit dem die Fahrzeugumgebung des Fahrzeugs zuverlässig modelliert und überwacht werden kann. Es kann beispielsweise eine gemeinsame Liste aller Hindernisse in der Fahrzeugumgebung, z. B. geordnet nach ihrem Abstand zur Fahrzeugkontur, ausgegeben werden, wobei zudem eine räumliche Auflösung angegeben werden kann.
Der erhältliche Sicherheitskokon kann zu einer Erhöhung der Sicherheit beim Betreiben des Fahrzeugs beitragen. Indem die Sensorsignale mehrerer beliebiger Sensoren genutzt werden, kann ein besonders zuverlässiges Modell der Fahrzeugumgebung auch unter widrigen Verhältnissen, z. B. schlechte Sicht, schneebedeckte Fahrbahn etc., erhalten werden. Nachteile einzelner Sensoren können also ausgeglichen werden, indem weitere Sensorsignale verarbeitet werden. Die räumliche Segmentierung des Modells ermöglicht eine Anwendung für Fahrzeuge mit unterschiedlicher Fahrzeugkontur, z. B. auch für Fahrzeuggespanne. Weiterhin können auch komplex geformte, also nicht punktförmige, Objekte in der Fahrzeugumgebung betrachtet und berücksichtigt werden.
Gemäß verschiedenen Ausführungsvarianten kann das räumlich segmentierte Modell punktbasierte und linienbasierte Segmente aufweisen.
Diese hybride Segmentierung ermöglicht eine besonders genaue und zuverlässige Erfassung von Objekten in der Fahrzeugumgebung. Die Festlegung der Segmentierung, also die Aufteilung, Anordnung, Größe der Segmente etc., kann bevorzugt einmalig für jedes Fahrzeug erstellt und für nachfolgende Erfassungen von Objekten in der Fahrzeugumgebung verwendet werden.
Optional kann die Segmentierung aktualisiert, d. h. neu festgelegt werden, z. B. in bestimmten zeitlichen Abständen oder bei Auftreten bestimmter Ereignisse. Die Aktualisierung kann eine besonders gute Anpassung der Segmentierung an die Fahrzeugumgebung ermöglichen, so dass das erstellte Modell die Fahrzeugumgebung noch genauer widerspiegelt.
Punktbasierte Segmente können durch einen einzigen Referenzpunkt sowie einen ersten und einen zweiten Grenzvektor definiert sein. Der Abstand des Objekts zur Fahrzeugkontur kann bei einem punktbasierten Segment als der euklidische Abstand eines nächstgelegenen Objektpunktes zu der Fahrzeugkontur entlang einer Linie zwischen dem Referenzpunkt und dem Objektpunkt festgelegt sein. Unter dem nächstgelegenen Objektpunkt ist dabei derjenige Punkt der Objektkontur innerhalb des betrachteten Segments zu verstehen, der den geringsten Abstand zur Fahrzeugkontur aufweist. Ein Referenzpunkt kann für mehrere punktbasierte Segmente genutzt werden.
Punktbasierte Segmente haben den Vorteil, dass Bereiche mit stark gekrümmter Fahrzeugkontur, z. B. im vorderen oder hinteren Bereich des Fahrzeugs, besonders genau erfasst werden können. Die Nutzung von linienbasierten Segmente für gekrümmte Bereiche der Fahrzeugkontur würde entweder zu der Notwendigkeit der Nutzung einer hohen Anzahl an linienbasierten Segmenten oder unerwünschter Überlappung von benachbarten linienbasierten Segmenten führen.
Linienbasierte Segmente können durch eine einzige Referenzlinie sowie einen ersten Grenzvektor und einen zweiten Grenzvektor definiert sein. Die Referenzlinie kann durch Referenzpunkte begrenzt sein, wobei ein Referenzpunkt einer Referenzlinie gleichzeitig der Referenzpunkt eines oder mehrerer punktbasierter Segmente sein kann, so dass folglich linien- und punktbasierte Segmente direkt aneinander grenzen.
Der Abstand des Objekts zur Fahrzeugkontur kann bei einem linienbasierten Segment als der euklidische Abstand eines nächstgelegenen Objektpunktes zu der Fahrzeugkontur entlang einer Linie zwischen einem nächstgelegenen Punkt auf der Referenzlinie und dem Objektpunkt festgelegt sein.
Linienbasierte Segmente haben den Vorteil, dass große Teile der Fahrzeugumgebung mittels eines Segments abgedeckt werden können, so dass insgesamt weniger Daten verarbeitet werden müssen. Zusätzlich gilt, dass punktbasierte Segmente, bezogen auf eine Referenzlinie, mit zunehmender Entfernung vom Referenzpunkt größer werden. Das ist zumeist nicht erwünscht, da eine möglichst gleichflächige Abtastung der Umgebung erreicht werden soll.
Die Fahrzeugkontur kann als Linienzugskelett (polyline skeleton) erstellt werden, so dass unterschiedliche Fahrzeugkonturen repräsentiert werden können. Basierend auf diesem Linienzugskelett kann eine beliebige Anzahl punkt- und linienbasierter Segmente implizit definiert werden.
Gemäß weiteren Ausführungsvarianten kann das Verfahren ein Aktualisieren der Abstände und der Positionskoordinaten der Objekte auf Basis des Sensorsignals, für das der kleinste Abstand erhalten wird, aufweisen.
Hierfür können die Abstände entsprechend der Abstandsdefinition des jeweiligen Segments, also punktbasiert oder linienbasiert, verwendet werden. Mit anderen Worten besteht die Möglichkeit, nicht nur ein einmaliges Modell der Fahrzeugumgebung zu erstellen, sondern dieses zu aktualisieren, z. B. in gewissen zeitlichen Abständen oder in Abhängigkeit bestimmter Auslöseereignisse (Triggersignale). Folglich kann eine fortlaufende Überwachung der Fahrzeugumgebung erreicht werden.
Gemäß weiteren Ausführungsvarianten können für das Fusionieren der Sensorsignale alle innerhalb eines einzigen Messzyklus generierten Sensorsignale gesammelt werden. Ein Messzyklus ist dabei durch ein festgelegtes Zeitintervall definiert oder wird durch das Vorhandensein eines oder mehrerer Auslöseereignisse (Triggersignale) beendet, die gleichzeitig den Beginn eines neuen Messzyklus auslösen.
Ein mögliches Auslöseereignisse kann beispielsweise das Eintreffen neuer Sensorsignale sein. Dies hat den Vorteil, dass eine minimale Latenz bezüglich der Aktualisierung von Segmenten realisierbar ist.
Ein weiteres mögliches Auslöseereignis kann Eintreffen von Sensorsignalen eines speziellen Sensortyps sein. Dies ermöglicht eine mit einem speziellen Sensortyp synchronisierte Aktualisierung der Segmente.
Auf Basis der fusionierten Sensorsignale können beispielsweise die Abstände und Positionskoordinaten für jedes Segment basierend auf dem Sensorsignal, welches den geringsten Abstand ausweist, aktualisiert werden.
Gemäß weiteren Ausführungsvarianten können der Abstand und die Positionskoordinaten je Segment einzig aus Sensorsignalen des aktuellen Messzyklus oder aus Sensorsignalen des aktuellen Messzyklus und vorherigen Sensorsignalen ermittelt werden.
Werden der Abstand und die Positionskoordinaten je Segment aus Sensorsignalen des aktuellen Messzyklus und vorheriger Sensorsignale ermittelt, so sind die Segmente nicht zustandsunabhängig, sondern zustandsabhängig. Da einzelne isolierte Sensorsignale um den tatsächlichen Referenzwert schwanken können, kann es hilfreich sein auf Basis einer Historie von (fehlerbehafteten) Sensorsignalen eine gefilterte Schätzung des aktuellen Sensorsignals durchzuführen, die dann näher am Referenzwert liegt als das einzelne isolierte Sensorsignal. Hierdurch kann eine höhere Genauigkeit erreicht werden.
Gemäß weiteren Ausführungsvarianten können bei dem Erstellen des Modells der Fahrzeugumgebung Filterverfahren genutzt werden und/oder es kann ein Unsicherheitswert für jedes Segment angegeben werden.
Filtern bedeutet, dass die Sensorsignale nach vorgebbaren Kriterien geprüft werden. Anschließend können beispielsweise nur die den Kriterien entsprechenden Sensorsignale weiter verarbeitet werden oder es können Korrekturen, z. B. eine gefilterte Schätzung des aktuellen Sensorsignals wie vorstehend beschrieben, durchgeführt werden. Eine Nutzung von Filterverfahren kann bevorzugt erfolgen, falls der Abstand und die Positionskoordinaten je Segment aus Sensorsignalen des aktuellen Messzyklus und vorheriger Sensorsignale ermittelt werden, so dass die Segmente zustandsabhängig sind.
Als Filterverfahren können beispielsweise genutzt werden: Tiefpassfilterung, Medianfilterung, Kalman-Filterung. Mittels der Filterung können fehlerhafte Sensorsignale unterdrückt werden. Außerdem kann eine zu starke Streuung der Ergebnisse für ein Segment vermieden bzw. die Streuung verringert werden. Aufgrund der Filterung können weniger komplexe Datensätze erhalten werden, die die Weiterverarbeitung des Modells vereinfachen.
Alternativ oder zusätzlich kann für jedes Segment ein Unsicherheitswert ausgegeben werden, der eine Aussage darüber trifft, wie zuverlässig das erstellte Modell ist. Dieser Unsicherheitswert kann beispielsweise für nachfolgende Verarbeitungsschritte genutzt werden. Ein hoher Unsicherheitswert kann auch als Auslöseereignis für ein wiederholtes Einholen von Sensorsignalen dienen.
Gemäß weiteren Ausführungsvarianten kann das Verfahren ein Ausgeben einer Bitmaske, die ein Zuordnen verwendeter Sensorsignale zu dem erstellten Modell ermöglicht, aufweisen.
Mit anderen Worten kann für jedes Segment festgestellt werden, Sensorsignale welcher Sensoren für die Erstellung des Modells genutzt werden. Dies kann vorteilhaft für eine Optimierung der Sensorauswahl genutzt werden.
Gemäß weiteren Ausführungsvarianten können in dem Verfahren sich bewegende, bewegbare und stationäre Objekte einheitlich berücksichtigt werden. Alternativ oder zusätzlich hierzu kann jedes Segment des segmentierten Modells eine Eigenschaft aufweisen, die einen Bewegungsstatus des Objekts widerspiegelt.
Mit anderen Worten können Sensorsignale bezüglich sich bewegender, bewegbarer und stationärer Objekte einheitlich bei der Fusionierung berücksichtigt werden, ohne dass zusätzliche Verarbeitungsschritte notwendig sind. Für das Ermitteln des Abstand und der Positionskoordinaten eines jeden Segments können also alle Sensorsignale gleich behandelt werden, unabhängig von ihrem Bewegungsstatus.
Um dennoch Informationen über den Bewegungsstatus eines Objekts zu erhalten, kann für jedes Segment der mit dem dominierenden Sensorsignal verbundene Bewegungsstatus ausgegeben werden.
Gemäß weiteren Ausführungsvarianten kann die Fahrzeugkontur durch ein Linienzugskelett repräsentiert werden.
Dies bietet den Vorteil, das Verfahren für beliebige Fahrzeugkonturen nutzen zu können, z. B. auch für Fahrzeuggespanne.
Gemäß weiteren Ausführungsvarianten kann das Objekt nicht punktförmig sein.
Folglich bietet das Verfahren den Vorteil, auch auf nicht punktförmige Objekte anwendbar zu sein.
Wird bei einer Aktualisierung des Modells ein nicht punktförmiges Objekt betrachtet, sollte zunächst festgestellt werden, welche Segmente betroffen sind. Anschließend kann für jedes betroffene Segment der nächstgelegene Punkt auf dem nicht punktförmigen Objekt ermittelt werden, um das jeweilige Segment zu aktualisieren.
Ein weiterer Aspekt der Erfindung betrifft eine Vorrichtung zur Datenverarbeitung, die Mittel zur Ausführung eines der vorstehend beschriebenen Verfahren umfasst.
Folglich sind mit der Vorrichtung die mit Bezug auf das Verfahren genannten Vorteile entsprechend verbunden. Sämtliche Ausführungen bezüglich des erfindungsgemäßen Verfahrens lassen sich entsprechend auf die erfindungsgemäße Vorrichtung übertragen.
Die Mittel zur Ausführung des Verfahrens können beispielsweise eine Verarbeitungseinheit umfassen, die dazu eingerichtet und ausgebildet ist, einige oder alle Verfahrensschritte auszuführen, also z. B. die Sensorsignale zum Erhalt fusionierter Sensorsignale zu fusionieren und ein räumlich segmentiertes Modell der Fahrzeugumgebung zu erstellen.
Optional kann die Vorrichtung mehrere Sensoren, z. B. einige oder alle der vorstehend erwähnten Sensoren umfassen, mit denen die Fahrzeugumgebung erfassbar ist.
Ein weiterer Aspekt der Erfindung betrifft ein Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, ein Verfahren gemäß vorstehender Beschreibung auszuführen.
Folglich sind mit dem Computerprogrammprodukt die mit Bezug auf das Verfahren genannten Vorteile entsprechend verbunden. Sämtliche Ausführungen bezüglich des erfindungsgemäßen Verfahrens lassen sich entsprechend auf das erfindungsgemäße Computerprogrammprodukt übertragen.
Unter einem Computerprogrammprodukt ist dabei ein auf einem geeigneten Medium gespeicherter und/oder über ein geeignetes Medium abrufbarer Programmcode zu verstehen. Zum Speichern des Programmcodes kann jedes zum Speichern von Software geeignete Medium, beispielsweise ein in einem Steuergerät verbauter nichtflüchtiger Speicher, eine DVD, ein USB-Stick, eine Flashcard oder dergleichen, Verwendung finden. Das Abrufen des Programmcodes kann beispielsweise über das Internet oder ein Intranet erfolgen oder über ein anderes geeignetes drahtloses oder kabelgebundenes Netzwerk.
Ein weiterer Aspekt der Erfindung betrifft einen computerlesbaren Datenträger, auf dem das Computerprogrammprodukt gespeichert ist.
Folglich sind mit dem computerlesbaren Datenträger die Vorteile des Computerprogrammprodukts entsprechend verbunden.
Weitere Vorteile der vorliegenden Erfindung gehen aus den Abbildungen und der zugehörigen Beschreibung hervor, die die Erfindung näher erläutern. Es zeigen:

1 eine schematische Übersicht möglicher, am Verfahren beteiligter Einrichtungen und Datenflüsse zwischen diesen;
2 eine beispielhafte räumliche Segmentierung einer Fahrzeugumgebung;
3 eine weitere beispielhafte räumliche Segmentierung einer Fahrzeugumgebung;
4 eine schematische Darstellung eines punktbasierten Segments;
5 eine schematische Darstellung eines linienbasierten Segments;
6 eine schematische Darstellung eines beispielshaften Linienzugskeletts eines Fahrzeugs mit zugehöriger räumlicher Segmentierung;
7 ein Ablaufschema eines beispielhaften Verfahrens; und
8 ein beispielhaftes räumlich segmentiertes Modell einer Fahrzeugumgebung.

In der 1 ist eine schematische Übersicht eines beispielhaften Verfahrens zur Erfassung von Objekten B in einer Fahrzeugumgebung eines Fahrzeugs A dargestellt, aus der mögliche beteiligte Einrichtungen und Datenflüsse zwischen diesen Einrichtungen hervorgehen. Wesentlich für das Verfahren ist, dass Sensorsignale miteinander fusioniert werden, was durch die Sensorfusionsblöcke SF1 bis SF6 dargestellt wird.
Am beispielhaften Verfahren sind mehrere Sensoren beteiligt, nämlich Ultraschallsensoren USS, Rundumsichtkameras SVC als Kamerasensoren, Eckradarsensoren, Frontradarsensoren sowie eine Frontkamera FLC als weiterer Kamerasensor. Die Sensoren erfassen die Fahrzeugumgebung und generieren entsprechende Sensorsignale, die in den Sensorfusionsblöcken SF1, SF2, SF3 und SF4 miteinander fusioniert werden. Konkret werden die Sensorsignale der Ultraschallsensoren USS und Rundumsichtkameras SVC in den Sensorfusionsblöcken SF1 und SF2 und die Sensorsignale der Eckradarsensoren, des Frontradarsensors und der Frontkamera FLC in den Sensorfusionsblöcken SF3 und SF4 verarbeitet.
Die Verarbeitung der Sensorsignale im Sensorfusionsblock SF1 erfolgt mittels eines merkmalsbasierten Kartierungsalgorithmus (engl. Feature Mapper). Der merkmalsbasierte Kartierungsalgorithmus nimmt „rohe“ Sensordistanzmesssignale entgegen und kreiert daraus punktförmige Merkmale durch Anwendung von Triangulation und Verfolgung über mehrere Sensoren und Messzyklen hinweg.
Die Verarbeitung der Sensorsignale im Sensorfusionsblock SF2 erfolgt mittels eines gitterbasierten Freiraumkartierungsalgorithmus (engl. Freespace Grid Mapper). Der gitterbasierte Freiraumkartierungsalgorithmus erstellt eine Gitterkarte, die pro Gitterzelle in Form einer Wahrscheinlichkeit p beschreibt, ob die Gitterzelle frei (p = 1) und damit kollisionsfrei befahrbar ist oder nicht (p = 0). Die Verarbeitung der Sensorsignale im Sensorfusionsblock SF3 erfolgt mittels eines gitterbasierten und radarbasierten Kartierungsalgorithmus (engl. Radar Grid Mapper). Der gitterbasierte und radarbasierte Kartierungsalgorithmus erstellt eine Gitterkarte, die pro Gitterzelle in Form einer Wahrscheinlichkeit p beschreibt, ob die Gitterzelle frei (p = 0), unbekannt (p = 0,5) oder belegt (p = 1) ist.
Die Verarbeitung der Sensorsignale im Sensorfusionsblock SF4 erfolgt mittels eines Zielverfolgungsalgorithmus (engl. Unified Tracker), welcher basierend auf Sensorsignalen verschiedener Sensoren eine fusionierte Objektliste liefert. Eingangssignale sind Sensorsignale von Front- und Eckradarsensoren und Frontkamera.
Die mittels des merkmalsbasierten Kartierungsalgorithmus in Sensorfusionsblock SF1 erhaltenen fusionierten Sensorsignale werden einerseits an den Sensorfusionsblock SF6 geleitet und andererseits einer Merkmal-zu-Gitterkarten-Konvertierung (engl. Feature to Grid Converter), Der Feature-to-Grid Converter wandelt die merksmalsbasierte Karte in eine Gitterkarte um, wobei die Position, Orientierung und Unsicherheit jedes Merkmals genutzt wird, um den Einfluss auf jede Gitterzelle der Gitterkarte zu modellieren. Nachfolgend werden die verarbeiteten Sensorsignale dem Sensorfusionsblock SF5 zugeführt. In den Sensorfusionsblock SF5 finden außerdem die fusionierten Sensorsignale aus den Sensorfusionsblöcken SF2 und SF3 Eingang.
Im Sensorfusionsblock SF5 erfolgt eine weitere Fusionierung der bereits fusionierten Sensorsignale mittels Gitterkartenfusion (engl. Grid Map Fusion). Dabei erfolgt eine Zusammenführung mehrerer Gitterkarten durch Überlagerung einer oder mehrerer Gitterkarten und nachfolgende Aggregation jeweils aller überlappenden Zellen in einer Ergebniszelle. Mehrere Fusionsalgorithmen sind möglich, z. B. kann eine Bayes-Fusion jeder Gitterzelle erfolgen, wobei jede Zelle getrennt von allen anderen Zellen betrachtet wird. Diese nochmalig fusionierten Sensorsignale betreffen stationäre Objekte B und werden anschließend dem Sensorfusionsblock SF6 zugeführt.
Der Sensorfusionsblock SF6 erhält außerdem fusionierte Sensorsignale aus dem Sensorfusionsblock SF4 und aus dem Sensorfusionsblock SF1, die sich bewegende Objekte betreffen.
Im Sensorfusionsblock SF6 erfolgt eine Fusionierung aller Sensorsignale, so dass über virtuelle Sensoren ein räumlich segmentiertes Modell der Fahrzeugumgebung erhalten wird, aus dem ein Sicherheitskokon für das Fahrzeug A durch Weiterverarbeitung in nachfolgenden Systeme, z. b. Fahrerassistenzsystemen, gebildet werden kann.
2 zeigt eine beispielhafte räumliche Segmentierung einer Fahrzeugumgebung in einer schematischen Darstellung, wie sie beispielsweise mit dem unter Bezugnahme auf 1 beschriebenen Verfahren erhalten werden kann. Gezeigt ist ein Modell der Fahrzeugumgebung, das 64 Segmente I aufweist, die entweder punktbasiert oder linienbasiert sind und von denen drei mit dem Buchstaben „I“ markiert sind. Punktbasierte Segmente befinden sich in den vorderen und hinteren Bereichen (in 2 oben und unten) der Fahrzeugkontur C, während linienbasierte Segmente I in den seitlichen Bereichen der Fahrzeugkontur C lokalisiert sind. Jedem Segment I ist genau ein virtueller Sensor zugeordnet, d. h. für jedes Segment I erfolgt eine Fusionierung der Sensorsignale.
In 3 ist eine weitere beispielhafte räumliche Segmentierung einer Fahrzeugumgebung dargestellt. Eine solche Segmentierung und das zugehörige räumlich segmentierte Modell der Fahrzeugumgebung können beispielsweise während eines Parkvorgangs erhalten werden. Die Linie K repräsentiert den gefahrenen Pfad des Fahrzeugs vor dem Einparken. Bei den Objekten B in der Fahrzeugumgebung kann es sich folglich um weitere Fahrzeuge handeln. Da die Größe der Segmente I, wie nachfolgend noch erläutert werden wird, vom Abstand F zwischen Fahrzeugkontur C und Objekt B abhängt, ergeben sich je nach Entfernung des Fahrzeugs A von den Objekten B unterschiedlich große Segmente. In 3 ist wiederum ersichtlich, dass sowohl punktbasierte als auch linienbasierte Segmente I vorhanden sind.
4 zeigt eine schematische Darstellung eines punktbasierten Segments I. Ein punktbasiertes Segment I wird durch einen einzigen Referenzpunkt G sowie einen ersten Grenzvektor D und einen zweiten Grenzvektor E definiert. Der Abstand F des Objekts B zur Fahrzeugkontur C ist als der euklidische Abstand F eines nächstgelegenen Objektpunktes zu der Fahrzeugkontur C entlang einer Linie zwischen dem Referenzpunkt G und dem Objektpunkt definiert.
5 zeigt eine schematische Darstellung eines linienbasierten Segments I. Ein linienbasiertes Segment I wird durch eine einzige Referenzlinie H sowie einen ersten Grenzvektor D und einen zweiten Grenzvektor E definiert. Der Abstand F des Objekts B zur Fahrzeugkontur C ist als der euklidische Abstand F eines nächstgelegenen Objektpunktes zu der Fahrzeugkontur C entlang einer Linie zwischen einem nächstgelegenen Punkt auf der Referenzlinie H und dem Objektpunkt definiert. Der Abstand F wird also entlang einer Normale zur Referenzlinie H gemessen.
6 zeigt eine schematische Darstellung eines beispielhaften Linienzugskeletts eines Fahrzeugs A mit zugehöriger räumlicher Segmentierung, wobei insgesamt 41 Segmente I vorhanden sind. Indem die Anzahl und Definition der Segmente I, also linienbasiert oder punktbasiert, an die Fahrzeugkontur C angepasst werden können, können vielfältige Fahrzeugkonturen durch entsprechende Linienzugskelette beschrieben werden, z. B. auch Fahrzeuggespanne, Gelenkfahrzeuge etc.
7 zeigt ein Ablaufschema eines beispielhaften Verfahrens, bei dem in einem ersten Verfahrensschritt S1 Sensorsignale von drei Sensoren, die Objekte B in der Fahrzeugumgebung erfassen, nämlich Sensor X, Sensor Y und Sensor Z, bereitgestellt werden. Diese Sensorsignale werden im Schritt S2 „Objektbündelung und Umwandlung“ miteinander fusioniert, so dass fusionierte Sensorsignale erhalten werden, aus denen ein räumlich segmentiertes Modell der Fahrzeugumgebung erstellt wird.
Für jedes Objekt B werden dabei der Abstand F zur Fahrzeugkontur C und Positionskoordinaten ausgegeben. Für alle Objekte B im Koordinatensystem des Fahrzeugs erfolgt im Schritt S3 eine Segmentbestimmung und im parallel zum Schritt S3 ausgeführten Schritt S4 eine Objektauswahl. Mit anderen Worten wird dasjenige Segment I ermittelt, in dem die geringsten Abstände F zu Objekten B zu verzeichnen sind. Für diese ausgewählten Segmente I und Objekte B erfolgt im Schritt S5 eine Segmentaktualisierung, so dass aktualisierte Segmente erhalten werden.
In 8 ist beispielhaftes räumlich segmentiertes Modell einer Fahrzeugumgebung dargestellt, das auf einer zweidimensionalen Radarzielverfolgung basiert. In der Fahrzeugumgebung des Fahrzeugs a befinden sich zwei Objekte B. Im Unterschied zu den 4 und 5, die den Fall eines punktförmigen Objekts B betrachten, zeigt 8 exemplarisch wie ein nicht-punktförmiges Objekt B (hier in Form eines Rechtecks) von den virtuellen Sensoren verarbeitet wird. Im Unterschied zu einem punktförmigen Objekt B sollte zunächst festgestellt werden, welche Segmente I betroffen sind und dann für jedes betroffene Segment I der nächstgelegene Punkt auf dem nicht-punktförmigen Objekt B ermittelt werden, um das jeweilige Segment I zu aktualisieren.
Für jedes Segment I wird also der geringste Abstand F zwischen dem Objekt B und der Fahrzeugkontur C ermittelt, wobei je nachdem, ob es sich um ein linienbasiertes Segment I oder ein punktbasiertes Segment I handelt, unterschiedliche Abstandsdefinitionen genutzt werden. Aus den jeweiligen Abständen F kann nun der geringste Abstand F ermittelt und für nachfolgende Verarbeitungsschritte verwendet werden. Dieser Ansatz ist gegenüber einem Ansatz, bei dem jeweils Linien zur Identifizierung des geringsten Abstands I abgetastet werden, überlegen, da ein solcher alternativer Ansatz mit vom Abtastabstand abhängigen Fehlern belastet ist.
Bezugszeichenliste

A: Fahrzeug
B: Objekt
C: Fahrzeugkontur
D: erster Grenzvektor
E: zweiter Grenzvektor
F: Abstand
G: Referenzpunkt
H: Referenzlinie
I: Segment
K: gefahrener Pfad
S1 bis S5: Verfahrensschritte
SF1 bis SF6: Sensorfusionsblock
1 bis 64: Segmente
USS: Ultraschallsensor
FLC: Frontkamera, engl. front looking camera
SVC: Rundumsichtkamere, engl. surround view camera

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2018/069061 A1 [0003]
DE 102015214743 A1 [0003]

Claims

Verfahren zur Erfassung von Objekten (B) in einer Fahrzeugumgebung eines Fahrzeugs (A), aufweisend: - Bereitstellen von Sensorsignalen mehrerer Sensoren, mit denen die Fahrzeugumgebung erfassbar ist, - Fusionieren der Sensorsignale zum Erhalt fusionierter Sensorsignale und - Erstellen eines räumlich segmentierten Modells der Fahrzeugumgebung auf Grundlage der fusionierten Sensorsignale, in dem Objekte (B) in der Fahrzeugumgebung durch einen Abstand (F) zu einer Fahrzeugkontur (C) und Positionskoordinaten repräsentiert werden.
Verfahren nach Anspruch 1, wobei das räumlich segmentierte Modell punktbasierte Segmente (I) und linienbasierte Segmente (I) aufweist.
Verfahren nach Anspruch 2, wobei die punktbasierten Segmente (I) durch einen einzigen Referenzpunkt (G) sowie einen ersten Grenzvektor (D) und einen zweiten Grenzvektor (E) definiert sind.
Verfahren nach Anspruch 3, wobei der Abstand (F) des Objekts (B) zur Fahrzeugkontur (C) der euklidische Abstand (F) eines nächstgelegenen Objektpunktes zu der Fahrzeugkontur (C) entlang einer Linie zwischen dem Referenzpunkt (G) und dem Objektpunkt ist.
Verfahren nach einem der Ansprüche 2 bis 4, wobei die linienbasierten Segmente (I) durch eine einzige Referenzlinie (H) sowie einen ersten Grenzvektor (D) und einen zweiten Grenzvektor (E) definiert sind.
Verfahren nach Anspruch 5, wobei der Abstand (F) des Objekts (B) zur Fahrzeugkontur (C) der euklidische Abstand (F) eines nächstgelegenen Objektpunktes zu der Fahrzeugkontur (C) entlang einer Linie zwischen einem nächstgelegenen Punkt auf der Referenzlinie (H) und dem Objektpunkt ist.
Verfahren nach einem der vorstehenden Ansprüche, aufweisend: - Aktualisieren der Abstände (F) und der Positionskoordinaten der Objekte (B) auf Basis des Sensorsignals, für das der kleinste Abstand (F) erhalten wird.
Verfahren nach einem der vorstehenden Ansprüche, wobei für das Fusionieren der Sensorsignale alle innerhalb eines einzigen Messzyklus generierten Sensorsignale gesammelt werden, wobei ein Messzyklus durch ein festgelegtes Zeitintervall oder das Vorhandensein eines oder mehrerer Auslöseereignisse definiert ist.
Verfahren nach einem der vorstehenden Ansprüche, wobei der Abstand (F) und die Positionskoordinaten je Segment (I) einzig aus Sensorsignalen des aktuellen Messzyklus oder aus Sensorsignalen des aktuellen Messzyklus und vorherigen Sensorsignalen ermittelt werden.
Verfahren nach einem der vorstehenden Ansprüche, wobei bei dem Erstellen des Modells der Fahrzeugumgebung Filterverfahren genutzt werden und/oder wobei ein Unsicherheitswert für jedes Segment (I) angegeben wird.
Verfahren nach einem der vorstehenden Ansprüche, aufweisend: - Ausgeben einer Bitmaske, die ein Zuordnen verwendeter Sensorsignale zu dem erstellten Modell ermöglicht.
Verfahren nach einem der vorstehenden Ansprüche, wobei sich bewegende, bewegbare und stationäre Objekte (B) einheitlich berücksichtigt werden.
Verfahren nach einem der vorstehenden Ansprüche, wobei jedes Segment (I) des segmentierten Modells eine Eigenschaft aufweist, die einen Bewegungsstatus des Objekts (B) widerspiegelt.
Verfahren nach einem der vorstehenden Ansprüche, wobei die Fahrzeugkontur (C) durch ein Linienzugskelett repräsentiert wird.
Verfahren nach einem der vorstehenden Ansprüche, wobei das Objekt (B) nicht punktförmig ist.
Vorrichtung zur Datenverarbeitung, umfassend Mittel zur Ausführung eines Verfahrens nach einem der vorstehenden Ansprüche.
Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 15 auszuführen.
Computerlesbarer Datenträger, auf dem das Computerprogrammprodukt nach Anspruch 17 gespeichert ist.