DE102020201569A1

DE102020201569A1 - Verfahren und Vorrichtung zum Bestimmen eines Bewegungszustands zumindest eines Objekts im Umfeld eines Fahrzeugs und Verfahren und Vorrichtung zum Ansteuern eines Fahrzeugsystems eines Fahrzeugs

Info

Publication number: DE102020201569A1
Application number: DE102020201569.4A
Authority: DE
Inventors: Oliver Lange
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-02-08
Filing date: 2020-02-08
Publication date: 2021-08-12
Also published as: US20210248388A1; US11790662B2; CN113255426A

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen eines Bewegungszustands zumindest eines Objekts (X) im Umfeld eines Fahrzeugs (100). Das Fahrzeug (100) weist zumindest eine Fahrzeugkamera (102) zum Bereitstellen von das Umfeld repräsentierenden Bilddaten (105) auf. Das Verfahren umfasst einen Schritt des Einlesens von durch Verarbeiten der Bilddaten (105) generierten Bewegtheitsmaßen (117) und Qualitätsinformationen (119). Die Bewegtheitsmaße (117) weisen unter Verwendung von mittels eines Korrespondenzalgorithmus erkannten Korrespondenzen zwischen Pixeln in aufeinanderfolgenden, durch die Bilddaten (105) repräsentierten Bildern generierte kontinuierliche Messwerte zur Detektion von Bewegtobjektpixeln auf. Die Qualitätsinformationen (119) zeigen eine mindestens von rauschbedingten Störeinflüssen abhängige Qualität der Korrespondenzen an. Auch umfasst das Verfahren einen Schritt des Erzeugens von pixelspezifischen Qualitätsinformationen unter Verwendung der eingelesenen Qualitätsinformationen (119). Die pixelspezifischen Qualitätsinformationen zeigen pro Pixel die Qualität der Korrespondenzen an. Das Verfahren umfasst ferner einen Schritt des Ermittelns einer Bewegtwahrscheinlichkeit für jedes Pixel unter Verwendung der Bewegtheitsmaße (117) und der pixelspezifischen Qualitätsinformationen. Die Bewegtwahrscheinlichkeit zeigt für jedes Pixel als den Bewegungszustand die Wahrscheinlichkeit einer Zugehörigkeit zu einem bewegten Objekt (X) oder zu einem statischen Objekt (X) an.

Description

Stand der Technik
Die Erfindung geht von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche aus. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
Beispielsweise Fahrerassistenzfunktionen und Funktionen zum automatischen Fahren erfordern insbesondere eine möglichst genaue Erfassung und Beschreibung eines Fahrzeugumfelds. Hierbei kann zum Beispiel eine Erkennung von eigenbewegten Objekten wie z. B. Personen, Radfahrern oder anderen Fahrzeugen ein Bestandteil sein. Es werden insbesondere Kameras als ein Sensortyp für die Umfelderfassung betrachtet, da sie es ermöglichen, hoch aufgelöst Bewegung zu ermitteln. Dies erfolgt beispielsweise unter Verwendung von Korrespondenzverfahren wie dem sogenannten optischen Fluss mittels einer Analyse einer Bildfolge. Zur Erkennung von eigenbewegten Objekten können beispielsweise geometrische Verfahren angewandt werden. Dabei können eigenbewegte Objekte daran erkannt werden, dass ihre in der Bildfolge beobachtete Bewegung (optischer Fluss) nicht durch die Bewegung der Kamera erklärbar ist. Ergebnisse oben genannter Korrespondenzverfahren können jedoch rausch behaftet oder systematisch falsch sein, was zu falschen oder fehlenden dynamischen Objektdetektionen führen kann.
Offenbarung der Erfindung
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren, weiterhin eine Vorrichtung, welche dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
Gemäß Ausführungsformen kann insbesondere eine kamerabasierte Detektion eigenbewegter Objekte im Umfeld eines Fahrzeugs ermöglicht werden, wobei pro erkannter Korrespondenz von Pixeln in aufeinanderfolgenden Bildern eine Dynamische-Objekt-Wahrscheinlichkeit oder Bewegtwahrscheinlichkeit (engl. Dynamic Object Probability, DOP) sowie eine zugehörige Konfidenz ermittelt werden können. Dabei können zum Reduzieren von Rauscheffekten beispielsweise zwei algorithmische Methoden bereitgestellt werden, wobei die eine vor allem zufällige Rauscheffekte und die andere vor allem systematische Rauscheffekte beseitigen kann.
Da zufällige Rauscheffekte ihren Ursprung üblicherweise im Korrespondenzalgorithmus, z. B. optischer Fluss, haben können, kann deren Kompensation durch Zusatzwissen über eine Güte bzw. Qualität der Korrespondenz erfolgen. Wenn die Güte einer Korrespondenzmessung schlecht ist, sollte eine solche Messung nicht bzw. nur mir geringer Wahrscheinlichkeit als zu einem dynamischen Objekt gehörig eingestuft werden, da es sich um eine falsche bzw. rauschbehaftete Messung handeln kann. Bekannte Korrespondenzalgorithmen können zusätzlich zu jeder Messung auch Qualitätsinformationen bereitstellen, die aussagen, wie gut, genau oder wahrscheinlich die jeweilige Messung ist. Dies kann beispielsweise in Form von Konfidenzen, Standardabweichungen oder abstrakten Maßen erfolgen. Der Optische Fluss kann z. B. Qualitätsinformationen liefern, die beispielsweise eine Messgüte, eine Wahrscheinlichkeit einer Mehrdeutigkeit und eine zeitliche Konsistenz beschreiben können. Eine Kompensation von systematischen Rauscheffekten kann gemäß Ausführungsformen beispielsweise mit einer separaten algorithmischen Methode erfolgen. Dabei kann insbesondere eine zeitliche Konsistenz von dynamischen Objekten und der statischen Welt ausgenutzt werden. Dahinter steht beispielsweise die Annahme, dass Korrespondenzen, die über längere Zeit als statisch eingestuft wurden, mit geringer Wahrscheinlichkeit plötzlich dynamisch werden bzw. dass ein zuvor als dynamisch eingestuftes Pixel in Zukunft wahrscheinlicher dynamisch als statisch ist. Zur Ausnutzung der zeitlichen Konsistenz können Verkettungen von Korrespondenzen über einen längeren Zeitraum als zwei aufeinanderfolgende Bilder gebildet werden.
Vorteilhafterweise kann gemäß Ausführungsformen insbesondere ein robustes System zur kamerabasierten Detektion eigenbewegter bzw. dynamischer Objekte bereitgestellt werden. Es kann eine zuverlässige kamerabasierte Detektion von dynamischen Objekten ermöglicht werden und dabei eine verbesserte Robustheit gegenüber den genannten Rauscheffekten erreicht werden. Insbesondere können somit durch einen einheitlichen Ansatz durch zufälliges und systematisches Rauschen bewirkte Störeffekte beim Einsatz in realen Produkten kompensiert werden. Vorteilhaft kann sich hierbei insbesondere eine initiale Umwandlung von z. B. geometriebasierten Bewegtheitsmaßen bzw. Dynamic Object Measures wie dem Epipolarfehler in eine Bewegtwahrscheinlichkeit auswirken, da deren zeitliche Fusion im Gegensatz zu geometriebasierten Maßen mathematisch und physikalisch gut motiviert ist. Anders als bei einer Akkumulation beispielsweise von Epipolarfehlern können sich solche Bewegtwahrscheinlichkeiten je nach Position im Bild, Eigenbewegung der Kamera, Bewegung des Objekts usw. nicht ohne weiteres ändern und können keine Nulldurchgänge aufweisen. Eine solche Bewegtwahrscheinlichkeit kann eine abstrahierte probabilistische Größe beschreiben, die zum Beispiel im Wertebereich zwischen null und eins liegen und daher stets gleich interpretierbar sein kann.
Es wird ein Verfahren zum Bestimmen eines Bewegungszustands zumindest eines Objekts im Umfeld eines Fahrzeugs vorgestellt, wobei das Fahrzeug zumindest eine Fahrzeugkamera zum Bereitstellen von das Umfeld repräsentierenden Bilddaten aufweist, wobei das Verfahren folgende Schritte aufweist:

Einlesen von durch Verarbeiten der Bilddaten generierten Bewegtheitsmaßen und Qualitätsinformationen, wobei die Bewegtheitsmaße unter Verwendung von mittels eines Korrespondenzalgorithmus erkannten Korrespondenzen zwischen Pixeln in aufeinanderfolgenden, durch die Bilddaten repräsentierten Bildern generierte kontinuierliche Messwerte zur Detektion von Bewegtobjektpixeln aufweisen, wobei die Qualitätsinformationen eine mindestens von rauschbedingten Störeinflüssen abhängige Qualität der Korrespondenzen anzeigen;
Erzeugen von pixelspezifischen Qualitätsinformationen unter Verwendung der eingelesenen Qualitätsinformationen, wobei die pixelspezifischen Qualitätsinformationen pro Pixel die Qualität der Korrespondenzen anzeigen; und
Ermitteln einer Bewegtwahrscheinlichkeit für jedes Pixel unter Verwendung der Bewegtheitsmaße und der pixelspezifischen Qualitätsinformationen, wobei die Bewegtwahrscheinlichkeit für jedes Pixel als den Bewegungszustand die Wahrscheinlichkeit einer Zugehörigkeit zu einem bewegten Objekt oder zu einem statischen Objekt anzeigt.

Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät oder einer Vorrichtung implementiert sein. Bei dem Fahrzeug kann es sich um ein Kraftfahrzeug handeln, beispielsweise einen Personenkraftwagen oder ein Nutzfahrzeug. Insbesondere kann es sich bei dem Fahrzeug hochautomatisiert fahrendes Fahrzeug bzw. ein Fahrzeug für hochautomatisiertes Fahren handeln. Die mindestens eine Fahrzeugkamera kann in dem Fahrzeug montiert oder fest eingebaut sein. Der Bewegungszustand kann durch zumindest einen Zahlenwert repräsentiert sein, der einen statischen Bewegungszustand, einen dynamischen Bewegungszustand und zusätzlich oder alternativ einen Bewegungszustand anzeigt, der mit einer ermittelten Wahrscheinlichkeit zwischen statisch und dynamisch liegt. Bei dem Korrespondenzalgorithmus kann es sich beispielsweise um den sogenannten optischen Fluss oder dergleichen handeln. Korrespondenzen können zwischen zeitlich aufeinanderfolgenden Bildern der Bilddaten erkannt werden. Bei den Korrespondenzen kann es sich beispielsweise um Punktkorrespondenzen oder Korrespondenzen zwischen Linien, Flächen oder komplexeren Formen in den Bildern handeln. Auf Basis der Korrespondenzen können geeignete Bewegtheitsmaße bzw. Dynamic Object Measures abgeleitet werden, um einen dynamischen Bewegungszustand anzuzeigen. Dabei kann aus Bildkorrespondenzen hergeleitet werden, ob die Korrespondenz zur statischen Welt oder einem bewegten Objekt gehört. Ein solches Maß kann beispielsweise eine Winkelabweichung von der Epipolarlinie sein. Ein Bewegtheitsmaß kann unter Verwendung der Korrespondenzen sowie weiterer Verarbeitungsvorschriften generiert werden. Hierzu kann eine Detektion von Bewegungen erfolgen, die nicht einem erwarteten Verhalten der statischen Welt entsprechen, wie beispielsweise Epipolarverletzungen, epipolarkonforme Bewegungen, die außerhalb eines erwarteten Wertebereichs von Punktkorrespondenzen der statischen Welt liegen, und/oder epipolarkonforme Bewegungen, die sich von der Kamera entfernen und bei der Triangulation eine negative Tiefe erhalten würden. Auch kann eine Detektion von Bewegungen erfolgen, die zusätzliche Annahmen verletzen, wie z. B. die Planaritätsannahme. Bewegtheitsmaße können Maße zur Detektion von dynamischen Objektpixeln bzw. zur Identifikation dynamischer Objekte repräsentieren. Die Qualitätsinformationen können (Ko-)Varianzen, Verteilungsdichtefunktionen oder abstrakte Maße hinsichtlich einer Qualität oder Güte, beispielsweise eine Zuverlässigkeit, Robustheit oder dergleichen, der Korrespondenzen bzw. des Korrespondenzalgorithmus repräsentieren.
Ferner kann das Verfahren einen Schritt des Durchführens einer zeitlichen Filterung der Bewegtwahrscheinlichkeiten unter Verwendung der Korrespondenzen aufweisen, um gefilterte Bewegtwahrscheinlichkeiten zu erzeugen, welche den Bewegungszustand anzeigen.
Dabei kann im Schritt des Durchführens eine Bestimmung eines Konfidenzwertes für jede gefilterte Bewegtwahrscheinlichkeit durchgeführt werden. Der Konfidenzwert kann anzeigen, wie sicher und zusätzlich oder alternativ wie genau die gefilterte Bewegtwahrscheinlichkeit den Bewegungszustand beschreibt.
Gemäß einer Ausführungsform kann im Schritt des Durchführens eine Binarisierung der gefilterten Bewegtwahrscheinlichkeiten unter Verwendung eines Schwellenwertvergleichs durchgeführt werden. Hierbei können die binarisierten gefilterten Bewegtwahrscheinlichkeiten den Bewegungszustand als statisch oder dynamisch anzeigen. Eine solche Ausführungsform bietet den Vorteil, dass noch zuverlässiger entschieden werden kann, ob Pixel zu einem statischen oder einem bewegten bzw. dynamischen Objekt gehören und somit ob ein statisches oder dynamisches Objekt in dem Fahrzeugumfeld vorliegt. Ferner kann hierbei eine Anzahl von fälschlicherweise als dynamisch erkannten Objekten weiter reduziert werden.
Auch kann im Schritt des Durchführens die zeitliche Filterung unter Verwendung eines rekursiven Filters und zusätzlich oder alternativ eines T-Speichergliedes durchgeführt werden. Bei dem rekursiven Filter kann es sich um ein rekursives Filter erster Ordnung handeln. Bei dem T-Speicherglied kann es sich um ein T-Flip-Flop handeln. Eine solche Ausführungsform bietet den Vorteil, dass die zeitliche Filterung der zuvor bestimmten Bewegtwahrscheinlichkeiten einfach und zuverlässig durchgeführt werden kann.
Ferner kann im Schritt des Durchführens eine Fusion und zusätzlich oder alternativ Akkumulation von in mindestens einem vorherigen Zeitschritt erzeugten gefilterten Bewegtwahrscheinlichkeiten mit in einem aktuellen Zeitschritt erzeugten gefilterten Bewegtwahrscheinlichkeiten durchgeführt werden. Hierbei können die in mindestens einem vorherigen Zeitschritt erzeugten gefilterten Bewegtwahrscheinlichkeiten gespeichert werden. Auch können dabei die in mindestens einem vorherigen Zeitschritt erzeugten gefilterten Bewegtwahrscheinlichkeiten unter Verwendung der Korrespondenzen in den aktuellen Zeitschritt transformiert werden. Eine solche Transformation kann auch als sogenanntes Warpen bzw. Warping bezeichnet werden. Eine solche Ausführungsform bietet den Vorteil, dass ein Tiefpassverhalten erreicht werden kann, das dafür sorgt, dass kurzfristige Messausreißer nicht fälschlicherweise als dynamisches Objekt interpretiert werden.
Dabei kann die Fusion und zusätzlich oder alternativ Akkumulation unter Verwendung eines Gewichtungswertes zum Gewichten der in mindestens einem vorherigen Zeitschritt erzeugten gefilterten Bewegtwahrscheinlichkeiten durchgeführt werden. Hierbei kann der Gewichtungswert in Abhängigkeit davon eingestellt werden, über wie viele vorherige Zeitschritte die in mindestens einem vorherigen Zeitschritt erzeugten gefilterten Bewegtwahrscheinlichkeiten akkumuliert wurden. Eine solche Ausführungsform bietet den Vorteil, dass der so erhaltene Gewichtungswert als ein Gütekriterium für die fusionierte Bewegtwahrscheinlichkeit verwendet werden kann.
Zudem kann oder können im Schritt des Erzeugens eine Fehlerfortpflanzungsmethode und zusätzlich oder alternativ ein maschinell gelerntes Modell verwendet werden. Bei der Fehlerfortpflanzungsmethode kann es sich um eine Gauß'sche Fehlerfortpflanzungsmethode handeln. Eine solche Ausführungsform bietet den Vorteil, dass zufällige Rauscheffekte sicher und genau kompensiert werden können, um ein Falschdetektion zu vermeiden. Es kann vorteilhaft geprüft werden, ob eine dynamisches Verhalten anzeigende Messung wahrscheinlicher durch Rauschen oder durch eine tatsächliche Bewegung hervorgerufen wurde.
Es wird auch ein Verfahren zum Ansteuern eines Fahrzeugsystems eines Fahrzeugs vorgestellt, wobei das Verfahren folgende Schritte aufweist:

Bestimmen eines Bewegungszustands zumindest eines Objekts im Umfeld des Fahrzeugs gemäß einer Ausführungsform des vorstehend genannten Verfahrens; und
Erzeugen eines Steuersignals zur Ausgabe an das Fahrzeugsystem unter Verwendung des Bewegungszustands, um das Fahrzeugsystem anzusteuern.

Bei dem Fahrzeugsystem kann es sich um ein Fahrerassistenzsystem, ein Steuersystem für hochautomatisiertes Fahren und zusätzlich oder alternativ ein anderes Fahrzeugsystem zum Steuern von Fahrzeugfunktionen in Abhängigkeit von erkannten Objekten Umfeld des Fahrzeugs handeln.
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

1 eine schematische Darstellung eines Fahrzeugs mit einer Vorrichtung gemäß einem Ausführungsbeispiel;
2 ein Ablaufdiagramm eines Verfahrens zum Bestimmen gemäß einem Ausführungsbeispiel;
3 ein Ablaufdiagramm eines Verfahrens zum Ansteuern gemäß einem Ausführungsbeispiel;
4 eine schematische Darstellung einer Vorrichtung gemäß einem Ausführungsbeispiel;
5 eine Beispielabbildung von verarbeiteten Bilddaten;
6 eine Beispielabbildung von mittels einer Vorrichtung gemäß einem Ausführungsbeispiel verarbeiteten Bilddaten;
7 eine Beispielabbildung von mittels einer Vorrichtung gemäß einem Ausführungsbeispiel verarbeiteten Bilddaten; und
8 eine Beispielabbildung von mittels einer Vorrichtung gemäß einem Ausführungsbeispiel verarbeiteten Bilddaten.

Bevor nachfolgend auf Ausführungsbeispiele näher eingegangen wird, werden zunächst noch Hintergründe von Ausführungsbeispielen kurz erläutert.
Ergebnisse von Korrespondenzverfahren, wie zum Beispiel optischer Fluss, können häufig rauschbehaftet sein. Dieses Rauschen kann dazu führen, dass Korrespondenzen auf eigentlich statischen Szenenpunkten fälschlicherweise als dynamisch interpretiert werden. Solche Fehlinterpretationen sind insbesondere im Bereich der Fahrerassistenz bzw. beim automatischen Fahren unerwünscht, da sie zu ungewollten und unerwarteten Systemreaktionen führen können, z. B. unberechtigt ausgelöste Notbremsung. Ein solches Korrespondenzrauschen kann wiederum unterteilt werden in zufällige Anteile, z. B. Messrauschen des Korrespondenzalgorithmus, Rauschen der Bilddaten usw., und in systematische Anteile. Letztere stellen vor allem eine Herausforderung dar, da sie allgemein zu großen Abweichungen bzw. Ausreißern bei den Korrespondenzen führen können und somit als dynamisches Objekt interpretiert werden könnten. Solche systematischen Rauscheffekte sind oft durch eine Bildtextur bedingt, z. B. durch periodische Strukturen im Bild, schwach texturierte Flächen im Bild oder ein Aperturproblem, welches z. B. häufig entlang von Linien und harten Texturkanten im Bild auftreten kann. Aber auch Effekte, die bereits bei einer Bildaufnahme auftreten und die gewisse Standardannahmen der nachfolgenden algorithmischen Kette verletzen, sind hier relevant. Solche Annahmen sind z. B. 1) gleichzeitige und gleich lange Belichtung aller Pixel im Bild (global Shutter mit konstanter bzw. linearer Exposure) und 2) bekannte geometrische Transformation von einem 3D-Punkt in der Welt zu seiner Projektion auf die 2D-Bildfläche (intrinsische Kalibrierung). Annahme 1) wird z. B. verletzt bei Bildaufnahmen mit High-Dynamic-Range (HDR), wobei Teile des Bildes je nach ihrer Helligkeit ggf. unterschiedlich lange belichtet werden. Solche Unterschiede in der Belichtungszeit können dazu führen, dass die zugehörigen Korrespondenzen unterschiedlich lang werden. Ebenfalls verletzen Rolling-Shutter-Kameras ggf. diese Annahme 1), da das Bild zeilenweise belichtet wird und somit verzerrt wird, wenn sich Kamera und/oder Objekt bewegen. Annahme 2) ist z. B. verletzt, wenn durch optische Elemente wie eine Windschutzscheibe zusätzliche Verzerrungen auf das Bild aufgeprägt werden, die dem Kamerahersteller beim Kalibrierprozess nicht bekannt waren. Insgesamt kann also festgehalten werden, dass herkömmliche Detektionsverfahren für dynamische Objekte anfällig für diverse Stör- bzw. Rauscheffekte sein können, was gemäß Ausführungsbeispielen minimiert oder vermieden werden kann. Insbesondere die letztgenannten systematischen Effekte stellen bei Verwendung von handelsüblichen und insbesondere kostengünstigen Kameras in Serienprodukten eine Herausforderung dar, die gemäß Ausführungsbeispielen gelöst werden kann.
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
1 zeigt eine schematische Darstellung eines Fahrzeugs 100 mit einer Vorrichtung 120 gemäß einem Ausführungsbeispiel. Bei dem Fahrzeug 100 handelt es sich um ein Kraftfahrzeug, beispielsweise ein Landfahrzeug, insbesondere einen Personenkraftwagen, einen Lastkraftwagen oder ein anderes Nutzfahrzeug. In einem Umfeld des Fahrzeugs 100 ist beispielhaft lediglich ein Objekt X angeordnet. Gemäß dem hier dargestellten Ausführungsbeispiel umfasst das Fahrzeug 100 beispielhaft lediglich eine Fahrzeugkamera 102, eine Verarbeitungseinrichtung 110, die Vorrichtung 120, eine Erzeugungseinrichtung 130, ein Steuergerät 140 und beispielhaft lediglich ein Fahrzeugsystem 150.
Die Fahrzeugkamera 102 ist ausgebildet, um das Umfeld des Fahrzeugs 100, somit auch das Objekt X, aufzunehmen bzw. zu erfassen. Ferner ist die Fahrzeugkamera 102 ausgebildet, um Bilddaten 105 bereitzustellen, welche das Umfeld des Fahrzeugs 100, somit auch das Objekt X, repräsentieren. Die Verarbeitungseinrichtung 110 ist ausgebildet, um unter Verwendung der Bilddaten 105 mittels eines Korrespondenzalgorithmus Korrespondenzen zwischen Pixeln in aufeinanderfolgenden, durch die Bilddaten 105 repräsentierten Bildern zu erkennen. Ferner ist die Verarbeitungseinrichtung 110 ausgebildet, um unter Verwendung der Korrespondenzen Bewegtheitsmaße (Dynamic Object Measures) 117 als kontinuierliche Messwerte zur Detektion von Bewegtobjektpixeln zu generieren und eine Qualität der Korrespondenzen anzeigende Qualitätsinformationen 119 zu generieren. Auch ist die Verarbeitungseinrichtung 110 ausgebildet, um die generierten Bewegtheitsmaße 117 und Qualitätsinformationen 119 bereitzustellen.
Die Vorrichtung 120 ist ausgebildet, um einen Bewegungszustand des zumindest einen Objekts X im Umfeld des Fahrzeugs 100 zu bestimmen. Auch ist die Vorrichtung 120 ausgebildet, um die generierten Bewegtheitsmaße 117 und Qualitätsinformationen 119 von der Verarbeitungseinrichtung 110 einzulesen. Hierbei ist die Vorrichtung 120 bzw. Bestimmungsvorrichtung ausgebildet, um unter Verwendung der Bewegtheitsmaße 117 und der Qualitätsinformationen 119 ein Zustandssignal 125 bereitzustellen, welches den bestimmten Bewegungszustand des zumindest einen Objekts X im Umfeld des Fahrzeugs 100 anzeigt bzw. repräsentiert. Insbesondere auf die Vorrichtung 120 wird unter Bezugnahme auf nachfolgende Figuren noch detaillierter eingegangen.
Die Vorrichtung 120 und die Erzeugungseinrichtung 130 sind gemäß dem hier dargestellten Ausführungsbeispiel Teil des Steuergeräts 140. Das Steuergerät 140 ist ausgebildet, um das zumindest eine Fahrzeugsystem 150 des Fahrzeugs 100 anzusteuern. Dazu ist die Erzeugungseinrichtung 130 ausgebildet, um unter Verwendung des durch das Zustandssignal 125 repräsentierten Bewegungszustands ein Steuersignal 135 zur Ausgabe an das Fahrzeugsystem 150 zu erzeugen, um das Fahrzeugsystem 150 anzusteuern. Bei dem Fahrzeugsystem 150 kann es sich um ein Fahrerassistenzsystem, ein Steuersystem für hochautomatisiertes Fahren oder ein anderes Fahrzeugsystem handeln.
2 zeigt ein Ablaufdiagramm eines Verfahrens 200 zum Bestimmen gemäß einem Ausführungsbeispiel. Das Verfahren 200 zum Bestimmen ist ausführbar, um einen Bewegungszustand zumindest eines Objekts im Umfeld eines Fahrzeugs zu bestimmen. Hierbei ist das Verfahren 200 zum Bestimmen in Verbindung mit dem Fahrzeug aus 1 oder einem ähnlichen Fahrzeug ausführbar. Somit ist das Verfahren 200 zum Bestimmen in Verbindung mit einem Fahrzeug ausführbar, das zumindest eine Fahrzeugkamera zum Bereitstellen von das Umfeld repräsentierenden Bilddaten aufweist. Auch ist das Verfahren 200 zum Bestimmen unter Verwendung der Vorrichtung aus 1 oder einer ähnlichen Vorrichtung ausführbar. Das Fahrzeug 200 zum Bestimmen weist einen Schritt 210 des Einlesens, einen Schritt 220 des Erzeugens, einen Schritt 230 des Ermittelns und optional einen Schritt 240 des Durchführens auf.
Im Schritt 210 des Einlesens werden durch Verarbeiten der Bilddaten generierte Bewegtheitsmaße und Qualitätsinformationen eingelesen. Die Bewegtheitsmaße umfassen unter Verwendung von mittels eines Korrespondenzalgorithmus erkannten Korrespondenzen zwischen Pixeln in aufeinanderfolgenden, durch die Bilddaten repräsentierten Bildern generierte kontinuierliche Messwerte zur Detektion von Bewegtobjektpixeln. Die Qualitätsinformationen zeigen eine mindestens von rauschbedingten Störeinflüssen abhängige Qualität der Korrespondenzen an.
Im Schritt 220 des Erzeugens werden unter Verwendung der eingelesenen Qualitätsinformationen pixelspezifische Qualitätsinformationen erzeugt. Die pixelspezifischen Qualitätsinformationen zeigen pro Pixel die Qualität der Korrespondenzen an. Im Schritt 230 des Ermittelns wird unter Verwendung der Bewegtheitsmaße und der pixelspezifischen Qualitätsinformationen eine Bewegtwahrscheinlichkeit für jedes Pixel ermittelt. Die Bewegtwahrscheinlichkeit zeigt für jedes Pixel als Bewegungszustand die Wahrscheinlichkeit einer Zugehörigkeit zu einem bewegten Objekt oder zu einem statischen Objekt an.
Im Schritt 240 des Durchführens wird unter Verwendung der Korrespondenzen eine zeitliche Filterung der Bewegtwahrscheinlichkeiten durchgeführt, um gefilterte Bewegtwahrscheinlichkeiten zu erzeugen, welche den Bewegungszustand anzeigen.
3 zeigt ein Ablaufdiagramm eines Verfahrens 300 zum Ansteuern gemäß einem Ausführungsbeispiel. Das Verfahren 300 zum Ansteuern ist ausführbar, um ein Fahrzeugsystem eines Fahrzeugs anzusteuern. Dabei ist das Verfahren 300 zum Ansteuern in Verbindung mit dem Fahrzeug aus 1 oder einem ähnlichen Fahrzeug ausführbar. Ferner ist das Verfahren 300 zum Ansteuern unter Verwendung des Steuergeräts aus 1 oder eines ähnlichen Steuergeräts ausführbar. Das Verfahren 300 zum Ansteuern weist einen Schritt 310 des Bestimmens und einen Schritt 320 des Erzeugens auf.
Im Schritt 310 des Bestimmens wird der Bewegungszustand zumindest eines Objekts im Umfeld des Fahrzeugs bestimmt. Der Schritt 310 des Bestimmens weist die Schritte des Verfahrens zum Bestimmen aus 2 oder eines ähnlichen Verfahrens als Teilschritte auf. Im Schritt 320 des Erzeugens wird unter Verwendung des im Schritt 310 des Bestimmens bestimmten Bewegungszustands ein Steuersignal zur Ausgabe an das Fahrzeugsystem erzeugt, um das Fahrzeugsystem anzusteuern.
4 zeigt eine schematische Darstellung einer Vorrichtung 120 gemäß einem Ausführungsbeispiel. Die Vorrichtung 120 entspricht oder ähnelt hierbei der Vorrichtung aus 1. Ferner sind in 4 auch eine Verarbeitungseinrichtung 110, welche der Verarbeitungseinrichtung aus 1 entspricht oder ähnelt, eine Erzeugungseinrichtung 130, welche der Erzeugungseinrichtung aus 1 entspricht oder ähnelt, und ein Fahrzeugsystem 150 gezeigt, welches dem Fahrzeugsystem aus 1 entspricht oder ähnelt.
Die Verarbeitungseinrichtung 110 weist eine Bildaufnahmeeinheit 412, eine Korrespondenzalgorithmuseinheit 414, eine Visuelle-Odometrie-Einheit 416 und eine Bewegtheitsmaßeinheit 418 auf. Die Verarbeitungseinrichtung 110 ist ausgebildet, um eine geometrische Detektionsmethode für den Fall einer bewegten Kamera anzuwenden. Als Basis für geometrische Detektionsmethoden zum Detektieren bewegter Objekte dienen Korrespondenzen zwischen zeitlich aufeinanderfolgenden Bildern.
Die Bildaufnahmeeinheit 412 ist ausgebildet, um basierend auf den Bilddaten von der Fahrzeugkamera eine Bildaufnahme auszuführen oder anders ausgedrückt zeitlich aufeinanderfolgende Bilder aufzunehmen. Die Korrespondenzalgorithmuseinheit 414 ist ausgebildet, um einen Korrespondenzalgorithmus an den aufgenommenen Bildern auszuführen, beispielsweise den sogenannten optischen Fluss. Anders ausgedrückt ist die Korrespondenzalgorithmuseinheit 414 ausgebildet, um beispielsweise Punktkorrespondenzen zwischen den Bildern zu bestimmen bzw. zu erkennen, z. B. unter Verwendung von optischem Fluss und/oder Tracking von markanten Bildpunkten bzw. Pixeln. Alternativ zu Punktkorrespondenzen werden z. B. auch Korrespondenzen zwischen Linien, Flächen oder komplexeren Formen in den Bildern bestimmt. Die Korrespondenzalgorithmuseinheit 414 ist auch ausgebildet, um eine Qualität der Korrespondenzen bzw. Qualität von deren Ermittlung anzeigende Qualitätsinformationen 119 sowie Korrespondenzdaten 415 bereitzustellen. Die Visuelle-Odometrie-Einheit 416 ist ausgebildet, um eine Eigenbewegung der Fahrzeugkamera den Korrespondenzen bzw. Punktkorrespondenzen zu bestimmen. Die Visuelle-Odometrie-Einheit 416 ist auch ausgebildet, um eine Qualität der Eigenbewegung bzw. Qualität von deren Ermittlung anzeigende zusätzliche Qualitätsinformationen 419 bereitzustellen.
Die Bewegtheitsmaßeinheit 418 ist ausgebildet, um die Bewegtheitsmaße 117 zu generieren und bereitzustellen. Die Bewegtheitsmaße 117 repräsentieren pro Pixel generierte Maße zum Detektieren dynamischer Objekte, zum Beispiel Winkel von Epipolarverletzungen. Hierzu erfolgt mittels der Bewegtheitsmaßeinheit 418 eine Detektion von Bewegungen, die nicht einem erwarteten Verhalten der statischen Welt entsprechen, wie beispielsweise Epipolarverletzungen, z. B. querende Objekte, epipolarkonforme Bewegungen, die außerhalb eines erwarteten Wertebereichs der Punktkorrespondenzen der statischen Welt liegen, sog. flow vector bound, z. B. schnell entgegenkommende Objekte, und/oder epipolarkonforme Bewegungen, die sich von der Kamera entfernen und bei Triangulation eine negative Tiefe erhalten würden, sog. negative depth contraint, z. B. überholende Objekte. Ferner erfolgt mittels der Bewegtheitsmaßeinheit 418 eine Detektion von Bewegungen, die zusätzliche Annahmen verletzen, wie z. B. die Planaritätsannahme, d. h. Objekte bewegen sich eigentlich auf einer planaren Fläche; eine Triangulation von dynamischen Objekten schiebt diese allerdings unter oder über die betreffende Ebene.
Die Bewegtheitsmaßeinheit 418 erzeugt mit den Bewegtheitsmaßen 117 bzw. sogenannten Dynamic Object Measures dabei mindestens eines der aufgezählten Maße zur Detektion von dynamischen Objektpixeln (epipolar violation, flow vector bound, negative depth constraint, plane-related measures). Hier können zusätzlich aber auch weitere Maße zur Identifikation dynamischer Objekte berechnet werden. Ebenfalls wären Maße denkbar, die nicht geometrisch sondern datenbasiert, d. h. über maschinelles Lernen, gewonnen werden. Es könnten hier auch Daten aus anderen Sensortypen, z. B. Laserscanner, Radar, digitale Karte etc., verwendet werden, wenn sich diese in das aktuelle Kamerabild projizieren lassen. Hierbei ist zu beachten, dass die Bewegtheitsmaße 117 nicht lediglich als binäre Entscheidung, d. h. Pixel ist entweder statisch oder dynamisch, sondern mehrstufig als Messgröße generiert und bereitgestellt werden, z. B. Winkel der Epipolarverletzung, Länge des Flussvektors, Wert der negativen Tiefe, Abstand zur Grundebene oder dergleichen.
Die Vorrichtung 120 ist ausgebildet, um einen Bewegungszustand zumindest eines Objekts im Umfeld eines Fahrzeugs zu bestimmen. Die Vorrichtung 120 weist eine Erzeugungseinrichtung 422, eine Ermittlungseinrichtung 424 und eine Durchführungseinrichtung 426 auf. Ferner sind gemäß dem hier dargestellten Ausführungsbeispiel eine Mehrzahl von T-Speichergliedern T bis Tⁿ gezeigt. Zudem ist eine Binärsignalerzeugungseinheit 428 gezeigt, welche die Vorrichtung 120 optional ebenfalls aufweist. Die Vorrichtung 120 ist ausgebildet, um die Bewegtheitsmaße 117 und die Qualitätsinformationen 119 von der Verarbeitungseinrichtung 110 einzulesen. Ferner ist die Vorrichtung 120 ausgebildet, um die zusätzlichen Qualitätsinformationen 419 und die Korrespondenzdaten 415 einzulesen.
Die Erzeugungseinrichtung 422 ist ausgebildet, um unter Verwendung der eingelesenen Qualitätsinformationen 119 und optional zusätzlich der zusätzlichen Qualitätsinformationen 419 pixelspezifische Qualitätsinformationen 423 zu erzeugen. Die pixelspezifischen Qualitätsinformationen 423 zeigen pro Pixel die Qualität der Korrespondenzen an. Anders ausgedrückt ist die Erzeugungseinrichtung 422 ausgebildet, um die Qualitätsinformationen 119 und 419 in eine Güte der Dynamikobjektmaße bzw. Bewegtheitsmaße 117 zu transformieren, beispielsweise anhand einer Nachschlagtabelle. Die Ermittlungseinrichtung 424 ist ausgebildet, um unter Verwendung der eingelesenen Bewegtheitsmaße 117 und der pixelspezifischen Qualitätsinformationen 423 eine Bewegtwahrscheinlichkeit P_k für jedes Pixel zu ermitteln. Die Bewegtwahrscheinlichkeit P_k zeigt für jedes Pixel die Wahrscheinlichkeit einer Zugehörigkeit zu einem bewegten Objekt oder zu einem statischen Objekt an. Anders ausgedrückt ist die Ermittlungseinrichtung 424 ausgebildet, um zufälliges Rauschen in dem optischen Fluss zu berücksichtigen, wobei aus den Bewegtheitsmaßen 117 die Bewegtwahrscheinlichkeit P_k hier geleitet wird. Die Durchführungseinrichtung 426 ist ausgebildet, um unter Verwendung der Korrespondenzen bzw. Korrespondenzdaten 415 eine zeitliche Filterung der Bewegtwahrscheinlichkeiten P_k durchzuführen, um gefilterte bzw. fusionierte Bewegtwahrscheinlichkeiten $P_{k}^{T P}$
P_k zu erzeugen, welche den Bewegungszustand anzeigen. Anders ausgedrückt ist die Durchführungseinrichtung 426 ausgebildet, um systematisches Rauschen zu berücksichtigen, wobei eine Robustheit gegenüber Windschutzscheibenverzerrungen, HDR-Effekten etc. durch zeitliches Filtern erhöht wird.
Eine Kompensation von zufälligen Rauscheffekten ist mittels der Erzeugungseinrichtung 422 und der Ermittlungseinrichtung 424 realisierbar. Als Gegenmaßnahme zu zufälligen Rauscheffekten werden die Qualitätsinformationen 119 des Korrespondenzalgorithmus, z. B. optischer Fluss, bzw. der Korrespondenzalgorithmuseinheit 414 und optional auch der zusätzlichen bzw. weiteren Qualitätsinformationen 419 der visuellen Odometrie Beziehung Weise der Visuelle-Odometrie-Einheit 416 herangezogen. Diese Informationen können z. B. in Form von (Ko-)Varianzen, Verteilungsdichtefunktionen oder abstrakten Maßen vorliegen. Die Erzeugungseinrichtung 422 ist ausgebildet, um diese Qualitätsinformationen 119 und/oder 419 umzuwandeln, so dass sie pro Pixel die Qualität der gemessenen Bewegtheitsmaße 117 bzw. Dynamic Object Measures beschreiben. Dabei können Fehlerpropagationsverfahren, z. B. Gaußsche Fehlerpropagationsverfahren, oder gelernte Modellzusammenhänge bzw. maschinelles Lernen genutzt werden. Als Ergebnis ist zu jedem Bewegtheitsmaß 117 ebenfalls eine spezifische oder pixelspezifische Qualitätsinformation 423 bekannt, z. B. in Form einer Varianz oder Verteilungsdichtefunktion. Die Kompensation von zufälligen Rauscheffekten erfolgt dann mittels der Ermittlungseinrichtung 424, die ausgebildet ist, um aus den Bewegtheitsmaßen 117 und den zugehörigen Qualitätsinformationen 423 pro Pixel eine Bewegtwahrscheinlichkeit P_k dahingehend herzuleiten, ob es sich um ein dynamisches Objekt handelt. Es wird hier geprüft, ob eine Messung wahrscheinlicher durch Rauschen oder durch eine tatsächliche Bewegung hervorgerufen wurde. Beispielsweise wird an einem Pixel ein Winkel der Epipolarverletzung von 1 Grad gemessen. Verursacht der zugehörige optische Fluss dort eine Standardabweichung von 0,1 Grad, ist die Wahrscheinlichkeit, dass es sich um ein dynamisches Objektpixel handelt, hoch. Ist die Standardabweichung hingegen höher, z. B. 0,8 Grad, ist die dynamische Objektwahrscheinlichkeit wesentlich geringer.
Eine Kompensation von systematischen Rauscheffekten ist mittels der Durchführungseinrichtung 426 und optional der Binärsignalerzeugungseinheit 428, auf die nachfolgend noch eingegangen wird, realisierbar. Die Kompensation von systematischen Rauscheffekten nutzt die zeitliche Konsistenz von bewegten Objekten und der statischen Welt aus und nimmt an, dass Übergänge zwischen beidem langsam erfolgen, d. h. nicht abrupt von Bild zu Bild, sondern eher langsam über eine Serie von Bildern. Durch zeitliche Filterung der zuvor bestimmten Bewegtwahrscheinlichkeiten P_k wird ein Tiefpasscharakter aufgeprägt, der dafür sorgt, dass kurzfristige Messausreißer nicht fälschlicherweise als dynamisches Objekt interpretiert werden.
Die zeitliche Filterung erfolgt gemäß einem Ausführungsbeispiel derart, dass mindestens das Filterergebnis des vorherigen Zeitschrittes abgespeichert wird, wozu die Vorrichtung 120 eine Mehrzahl von T-Speichergliedern T bis Tⁿ aufweist, und dieses zum aktuellen Zeitpunkt mit der aktuellen Bewegtwahrscheinlichkeit in der Durchführungseinrichtung 426 fusioniert wird. Dazu werden die Ergebnisse aus den vorherigen Zeitschritten zunächst mit Hilfe der Korrespondenzen bzw. Korrespondenzdaten 415 in den aktuellen Zeitschritt transformiert, auch als Warpen oder Warping bezeichnet.
Die zeitliche Filterung bzw. Fusion bzw. Akkumulation der Bewegtwahrscheinlichkeiten P_k wird gemäß einem Ausführungsbeispiel über ein rekursives Filter erster Art durchgeführt. Hier werden die aktuelle Bewegtwahrscheinlichkeit P_k und das vorherige gewarpte Fusionsergbenis $P_{k - 1}^{T P, w a r p}$
pro Pixel akkumuliert $P_{k}^{T P} = \frac{w_{k - 1}^{w a r p} P_{k - 1}^{T P, w a r p} + P_{k}}{w_{k - 1} + 1},$
wobei $w_{k - 1}^{w a r p}$
ein Gewicht bzw. einen Gewichtungswert darstellt, welcher z. B. zählt, wie oft die alte Messung $P_{k - 1}^{T P, w a r p}$
bereits über die Zeit akkumuliert werden konnte. Ebenso wie die vorherigen Bewegtwahrscheinlichkeiten werden hier auch die vorherigen Gewichtungswerte in den aktuellen Zeitschritt gewarped: $w_{k - 1} \to w_{k - 1}^{w a r p} .$
Nach der Fusion wird der aktuelle Gewichtungswert inkrementiert: $w_{k} = w_{k - 1}^{w a r p} + 1.$
Gibt es an einem Pixel keine aktuelle Messung, z. B. weil dort kein Flussvektor bestimmbar ist, wird der Gewichtungswert wieder auf w_k = 0 zurück gesetzt. Der resultierende Gewichtungswert W_k wird gemäß einem Ausführungsbeispiel als Gütekriterium bzw. Konfidenz für die gefiltert bzw. fusionierte Bewegtwahrscheinlichkeit $P_{k}^{T P}$
verwendet. Ein hoher Gewichtungswert bedeutet, dass die zugehörige Bewegtwahrscheinlichkeit schon oft bestätigt wurde. Das Vertrauen in eine solche Messung ist also entsprechend hoch.
Gemäß dem hier dargestellten Ausführungsbeispiel weist die Vorrichtung 120 auch die Binärsignalerzeugungseinheit 428 auf. Die Binärsignalerzeugungseinheit 428 ist ausgebildet, um unter Verwendung eines Schwellenwertvergleichs eine Binarisierung der gefilterten Bewegtwahrscheinlichkeiten $P_{k}^{T P}$
durchzuführen. Die binarisierten gefilterten Bewegtwahrscheinlichkeiten zeigen den Bewegungszustand als statisch oder dynamisch an. Je nach Anwendung kann somit optional pro Pixel eine binäre Entscheidung nach statisch/dynamisch getroffen werden. Diese kann z. B. durch einfache Grenzwertanwendung auf die Bewegtwahrscheinlichkeiten $P_{k}^{T P}$
getroffen werden. Es sind aber auch komplexere Operationen, wie z. B. eine räumliche Aggregation im Bild, eine Bewegtheitssegmentation, eine Objektdetektion usw., denkbar. Zu beachten ist hier, dass die Bewegtwahrscheinlichkeit in Kombination mit der zugehörigen Konfidenz ein verbessertes Maß zur Detektion von dynamischen Objekten darstellt als herkömmliche Ansätze.
Die Vorrichtung 120 ist ausgebildet, um das Zustandssignal 125 an die Erzeugungseinrichtung 130 auszugeben. Die Erzeugungseinrichtung 130 ist auch ausgebildet, um eine Detektion dynamischer Objekte auszuführen. Schließlich ist das Fahrzeugsystem 150 auf diese Weise ansteuerbar.
5 zeigt eine Beispielabbildung 500 von verarbeiteten Bilddaten. Die Bilddaten sind hierbei mittels der Verarbeitungseinrichtung aus 1 bzw. 4 verarbeitete Daten. Ferner sind in der Beispielabbildung 500 ein erstes Objekt X1, ein zweites Objekt X2 und ein drittes Objekt X3 gezeigt. 5 zeigt exemplarisch, welche Pixel als dynamisch eingestuft würden, wenn lediglich ein Bewegtheitsmaß, beispielsweise der Winkel der Epipolarverletzung mit einem Grenzwert verglichen wird. Es fällt auf, dass neben einem korrekt als bewegt erkannten kreuzenden Radfahrer, dem zweiten Objekt X2, und einem entgegenkommenden Fahrzeug, dem dritten Objekt X3, auch sehr viele falschpositive Detektionen bzw. fälschlicherweise als dynamisch eingestufte Pixel vorhanden sind.
6 zeigt eine Beispielabbildung 600 von mittels einer Vorrichtung gemäß einem Ausführungsbeispiel verarbeiteten Bilddaten. Die Vorrichtung entspricht oder ähnelt hierbei der Vorrichtung aus 1 bzw. 4. Die Beispielabbildung 600 entspricht der Beispielabbildung aus 5 mit Ausnahme dessen, dass zur Generierung der Beispielabbildung 600 hierbei die Bewegtwahrscheinlichkeiten der Ermittlungseinrichtung der Vorrichtung verwendet wurden. 6 zeigt das Potential, welches allein die Kompensation von zufälligen Rauschanteilen zur Vermeidung von falsch-positiven Detektionen aufweist. Beinahe alle falschen Detektionen im Himmel und auf den Gebäuden werden unterdrückt, wohingegen die Detektionen auf den bewegten Objekten bestehen bleiben. Lediglich im unteren rechten Bildbereich bleiben vermehrt falsche Detektionen übrig. Diese sind in diesem Beispiel auf eine Verzerrung durch die Windschutzscheibe, d. h. einen systematischen Effekt, zurückzuführen.
7 zeigt eine Beispielabbildung 700 von mittels einer Vorrichtung gemäß einem Ausführungsbeispiel verarbeiteten Bilddaten. Die Vorrichtung entspricht oder ähnelt hierbei der Vorrichtung aus 1 bzw. 4. Die Beispielabbildung 700 entspricht der Beispielabbildung aus 6 mit Ausnahme dessen, dass zur Generierung der Beispielabbildung 700 hierbei die gefilterten Bewegtwahrscheinlichkeiten $P_{k}^{T P}$
der Durchführungseinrichtung der Vorrichtung verwendet wurden. 7 zeigt somit die gefilterte Bewegtwahrscheinlichkeit $P_{k}^{T P},$
wobei der Gewichtungswert w_k über eine Farbsättigung der Beispielabbildung 700 codierbar ist: Je stärker die Sättigung, desto höher der Gewichtungswert, d. h. desto länger konnte die zugehörige Bewegtwahrscheinlichkeit bisher beobachtet werden. Es können somit also sichere von unsicheren Messungen unterschieden werden. So ergibt sich eine hohe Konfidenz hinsichtlich des zweiten Objekts X2 sowie hinsichtlich der statischen Welt.
8 zeigt eine Beispielabbildung 800 von mittels einer Vorrichtung gemäß einem Ausführungsbeispiel verarbeiteten Bilddaten. Die Vorrichtung entspricht oder ähnelt hierbei der Vorrichtung aus 1 bzw. 4. Die Beispielabbildung 800 entspricht der Beispielabbildung aus 7 mit Ausnahme dessen, dass zur Generierung der Beispielabbildung 800 hierbei die binarisierten gefilterten Bewegtwahrscheinlichkeiten der Binärsignalerzeugungseinheit 428 der Vorrichtung verwendet wurden. 8 zeigt somit eine exemplarische binäre Bewegtwahrscheinlichkeit, die beinahe frei von falschpositiven Detektionen ist und eine nochmals erhöhte Konfidenz hinsichtlich des dritten Objekts X3 zeigt.
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.

Claims

Verfahren (200) zum Bestimmen eines Bewegungszustands zumindest eines Objekts (X; X1, X2, X3) im Umfeld eines Fahrzeugs (100), wobei das Fahrzeug (100) zumindest eine Fahrzeugkamera (102) zum Bereitstellen von das Umfeld repräsentierenden Bilddaten (105) aufweist, wobei das Verfahren (200) folgende Schritte aufweist: Einlesen (210) von durch Verarbeiten der Bilddaten (105) generierten Bewegtheitsmaßen (117) und Qualitätsinformationen (119), wobei die Bewegtheitsmaße (117) unter Verwendung von mittels eines Korrespondenzalgorithmus erkannten Korrespondenzen zwischen Pixeln in aufeinanderfolgenden, durch die Bilddaten (105) repräsentierten Bildern generierte kontinuierliche Messwerte zur Detektion von Bewegtobjektpixeln aufweisen, wobei die Qualitätsinformationen (119) eine mindestens von rauschbedingten Störeinflüssen abhängige Qualität der Korrespondenzen anzeigen; Erzeugen (220) von pixelspezifischen Qualitätsinformationen (423) unter Verwendung der eingelesenen Qualitätsinformationen (119), wobei die pixelspezifischen Qualitätsinformationen (423) pro Pixel die Qualität der Korrespondenzen anzeigen; und Ermitteln (230) einer Bewegtwahrscheinlichkeit (P_k ) für jedes Pixel unter Verwendung der Bewegtheitsmaße (117) und der pixelspezifischen Qualitätsinformationen (423), wobei die Bewegtwahrscheinlichkeit (P_k) für jedes Pixel als den Bewegungszustand die Wahrscheinlichkeit einer Zugehörigkeit zu einem bewegten Objekt (X; X1, X2, X3) oder zu einem statischen Objekt (X) anzeigt.
Verfahren (200) gemäß Anspruch 1, gekennzeichnet durch einen Schritt des Durchführens (240) einer zeitlichen Filterung der Bewegtwahrscheinlichkeiten (P_k) unter Verwendung der Korrespondenzen, um gefilterte Bewegtwahrscheinlichkeiten $(P_{k}^{T P})$
zu erzeugen, welche den Bewegungszustand anzeigen.
Verfahren (200) gemäß Anspruch 2, dadurch gekennzeichnet, dass im Schritt (240) des Durchführens eine Bestimmung eines Konfidenzwertes für jede gefilterte Bewegtwahrscheinlichkeit $(P_{k}^{T P})$
durchgeführt wird, wobei der Konfidenzwert anzeigt, wie sicher und/oder genau die gefilterte Bewegtwahrscheinlichkeit $(P_{k}^{T P})$
den Bewegungszustand beschreibt.
Verfahren (200) gemäß einem der Ansprüche 2 bis 3, dadurch gekennzeichnet, dass im Schritt (240) des Durchführens eine Binarisierung der gefilterten Bewegtwahrscheinlichkeiten $(P_{k}^{T P})$
unter Verwendung eines Schwellenwertvergleichs durchgeführt wird, wobei die binarisierten gefilterten Bewegtwahrscheinlichkeiten den Bewegungszustand als statisch oder dynamisch anzeigen.
Verfahren (200) gemäß einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass im Schritt (240) des Durchführens die zeitliche Filterung unter Verwendung eines rekursiven Filters und/oder eines T-Speichergliedes (T, Tⁿ) durchgeführt wird.
Verfahren (200) gemäß einem der Ansprüche 2 bis 5, dadurch gekennzeichnet, dass im Schritt (240) des Durchführens eine Fusion und/oder Akkumulation von in mindestens einem vorherigen Zeitschritt erzeugten gefilterten Bewegtwahrscheinlichkeiten $(P_{k}^{T P})$
mit in einem aktuellen Zeitschritt erzeugten gefilterten Bewegtwahrscheinlichkeiten $(P_{k}^{T P})$
durchgeführt wird, wobei die in mindestens einem vorherigen Zeitschritt erzeugten gefilterten Bewegtwahrscheinlichkeiten $(P_{k}^{T P})$
gespeichert werden, wobei die in mindestens einem vorherigen Zeitschritt erzeugten gefilterten Bewegtwahrscheinlichkeiten $(P_{k}^{T P})$
unter Verwendung der Korrespondenzen in den aktuellen Zeitschritt transformiert werden.
Verfahren (200) gemäß Anspruch 6, dadurch gekennzeichnet, dass die Fusion und/oder Akkumulation unter Verwendung eines Gewichtungswertes (W_k) zum Gewichten der in mindestens einem vorherigen Zeitschritt erzeugten gefilterten Bewegtwahrscheinlichkeiten $(P_{k}^{T P})$
durchgeführt wird, wobei der Gewichtungswert (w_k) in Abhängigkeit davon eingestellt wird, über wie viele vorherige Zeitschritte die in mindestens einem vorherigen Zeitschritt erzeugten gefilterten Bewegtwahrscheinlichkeiten $(P_{k}^{T P})$
akkumuliert wurden.
Verfahren (200) gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass im Schritt (220) des Erzeugens eine Fehlerfortpflanzungsmethode und/oder ein maschinell gelerntes Modell verwendet wird oder werden.
Verfahren (300) zum Ansteuern eines Fahrzeugsystems (150) eines Fahrzeugs (100), wobei das Verfahren (300) folgende Schritte aufweist: Bestimmen (310) eines Bewegungszustands zumindest eines Objekts (X; X1, X2, X3) im Umfeld des Fahrzeugs (100) nach dem Verfahren (200) gemäß einem der vorangegangenen Ansprüche; und Erzeugen (320) eines Steuersignals (135) zur Ausgabe an das Fahrzeugsystem (150) unter Verwendung des Bewegungszustands, um das Fahrzeugsystem (150) anzusteuern.
Vorrichtung (120; 140), die eingerichtet ist, um die Schritte des Verfahrens (200; 300) gemäß einem der vorangegangenen Ansprüche in entsprechenden Einheiten (130; 422, 424, 426, 428) auszuführen und/oder anzusteuern.
Computerprogramm, das dazu eingerichtet ist, die Schritte des Verfahrens (200; 300) gemäß einem der vorangegangenen Ansprüche auszuführen und/oder anzusteuern.
Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 11 gespeichert ist.