-
Stand der Technik
-
Die
Erfindung betrifft ein Verfahren zur Erkennung, insbesondere von
Objekten eines Umfelds eines Kraftfahrzeugs. Des Weiteren betrifft
die Erfindung ein Computerprogramm, ein Computerprogrammprodukt
und eine Vorrichtung, um ein derartiges Verfahren auszuführen
bzw. durchzuführen.
-
Bekannt
sind Fahrerassistenzverfahren bzw. -systeme zur Anzeige und/oder
autonomen bzw. teilautonomen Einregelung eines kollisionsvermeidenden
bzw. kollisionsfolgenmindernden Fahrmanövers eines Kraftfahrzeugs
basierend auf einer ermittelten Ausweichtrajektorie, um während
der Fahrt des Kraftfahrzeugs einen Unfall zu vermeiden. Dazu ist eine
Erkennung von Objekten bzw. Hindernissen im Umfeld des Kraftfahrzeugs
erforderlich. Unter Umfeld des Kraftfahrzeugs wird nachfolgend die
Umgebung bzw. Umwelt des Kraftfahrzeugs einschließlich
weiteren Verkehrsteilnehmern und Infrastrukturelementen, wie beispielsweise
Häuser, Bäume, Verkehrsschilder usw. verstanden.
-
Im
Bereich der Fahrerassistenzsysteme können Videosensoren
vorgesehen sein, welche das Umfeld bzw. ein Teil des Umfelds von
Kraftfahrzeugen erfassen. Derartige Systeme können beispielsweise
zur Erkennung und Vermessung von Objekten im Umfeld oder von anderen
für die Führung des Fahrzeugs relevanten Infrastrukturelementen,
wie Fahrbahnmarkierungen und Verkehrsschilder (im folgenden ebenfalls
Objekte genannt), eingesetzt werden.
-
Videobasierte
Auswertesysteme versuchen über Mustererkennungsverfahren
Szenen zu interpretieren. Dazu werden Muster trainiert und die trainierten
Muster später in einem Bild wiedererkannt. Über
nachgeschaltete Filterungen wird die Erkennungsleistung in einer
Bildsequenz stabilisiert. Alle videobasierten Auswertesysteme sind
jedoch durch Beleuchtungseffekte stark beeinflussbar. Verfahren, die
das Bild vorverarbeiten beschränken sich auf Helligkeits-
bzw. Kontrastanpassungen, Verzerrungen, Weichzeichnungen und Schärfungsalgorithmen.
Verfahren, die das Bild gezielt lokal verändern oder die Interpretationsalgorithmen
auf einzelne Bereiche einschränken sind derzeit nicht bekannt.
-
Die
bisherigen Auswerteverfahren weisen beispielsweise die folgenden
Mängel auf. Schatten durch Leitplanken, Schilder, Laternen,
Bordsteine können irrtümlich als Fahrbahnmarkierung
erkannt werden. Durch Bäume, Häuser bzw. weitere
Randobjekte verursachter Schatten, welcher auf Fahrbahnmarkierungen
oder andere Verkehrsteilnehmer fällt, erschwert deren Erkennung
durch das Auswertesystem. Schattenwurf durch Fahrzeuge erschwert
deren genaue Vermessung und Lokalisierung. Schattenwurf durch Gebäude
erschwert die Verarbeitung durch starke Veränderung der
lokalen Helligkeit. Reflexionen der Scheinwerfer anderer Fahrzeuge,
insbesondere auf nassem Untergrund können die Fahrbahnmarkierungen überblenden.
Reflexionen anderer Verkehrsteilnehmer in Fenstern können
nicht von einer direkten Sicht auf diese unterschieden werden. Im
Nachtbetrieb ist die Erkennung von Objekten durch deren Scheinwerfer,
Reflektoren oder dergleichen wichtig. Hier ist die Unterscheidung
zwischen Reflexion und direktem Sichtfeld wiederum von zentraler
Bedeutung.
-
In
der
DE 10 2006
027 113 A1 ist bei einem Verfahren und bei einer Einrichtung
zur Erfassung von Objekten im Umfeld eines Fahrzeugs vorgesehen,
dass die Objekte mit mindestens einer Videokamera aufgenommen werden
und dass aus zugeführten Daten über die Position
und Richtung des Fahrzeugs und die Richtung der Beleuchtung der
Objekte Schatten-Modelle berechnet werden. Die Schatten-Modelle
können in vielfältiger Weise angewendet werden.
So kann unter anderem die Berechnung der Objekt-Modelle anhand der
Schat ten-Modelle präzisiert werden oder eine Unterdrückung
von Schatten im aufgenommenen Bild erfolgen.
-
Offenbarung der Erfindung
-
Erfindungsgemäß wird
ein Verfahren zur Erkennung, insbesondere von Objekten eines Umfelds eines
Kraftfahrzeugs mittels wenigstens eines Objektdetektionssensors
und einer oder mehrerer nachgeschalteter Auswertungsfunktionen vorgeschlagen, wobei
wenigstens ein, insbesondere aus Kartendaten erstelltes initiales
3D-Modell der statischen Umwelt verwendet wird, welches zur Laufzeit
als wenigstens ein aktuelles 3D-Modell um dynamische Objekte erweiterbar
ist, wobei die nachgeschalteten Auswertungsfunktionen die Informationen
des wenigstens einen aktuellen 3D-Modells der Umwelt als Eingangssignale
nutzen, und wobei während des Betriebs des Kraftfahrzeugs
laufend:
- – in einem ersten Schritt
ein zu erwartendes Bild des Objektdetektionssensors aus dem aktuellen 3D-Modell
der Umwelt vorausberechnet wird, wonach
- – in einem zweiten Schritt ein Abgleich des vorausberechneten
Bilds des Objektdetektionssensors mit dem tatsächlich erfassten
Bild des Objektdetektionssensors durchgeführt wird, und
wonach
- – in einem dritten Schritt das aktuelle 3D-Modell der
Umwelt anhand des in dem zweiten Schritt erfolgten Abgleichs angepasst
und mit dem ersten Schritt fortgefahren wird.
-
Erfindungsgemäß werden über
ein Szenenmodell bzw. 3D-Modell Beleuchtungseffekte und Verdeckungseffekte
wie Schattenwurf, Reflexionen oder dergleichen als solche erkannt.
Somit können Erkennungs- und Klassifizierungsverfahren
in vorteilhafter Weise mit eindeutigeren Eingangsdaten betrieben werden.
Aus Kartendaten wird ein initiales 3D-Modell der Umwelt erstellt.
Aus dem 3D-Modell der Umwelt wird das erwartete Kamerabild vorausberechnet.
Ein Abgleich mit dem tatsächlichen Bild wird genutzt, um das
3D-Modell bzw. das aktuelle 3D-Modell anzupassen. Eine iterative
Anpassung führt schließlich zur Deckung zwi schen
3D-Modell und realer Szene. Nachgeschaltete Funktionen nutzen dann
die Informationen aus dem 3D-Modell. Das Verfahren kann auch mit
mehreren Sensoren verwendet werden. Das Verfahren ist äußerst
robust gegen störende Bildeffekte wie Rauschen und Blenden.
Einflüsse durch Schattenwurf und Reflexionen werden vollständig und
korrekt entfernt. Das erstellte 3D-Modell ist unabhängig
von Witterungseinflüssen und Fahrzeugeigenschaften. Es
kann daher zwischen Fahrzeugen ausgetauscht werden.
-
Der
erste Schritt, der zweite Schritt und der dritte Schritt können
laufend innerhalb diskreter Zeitspannen bzw. Abtastschritte durchgeführt
werden, wobei innerhalb einer diskreter Zeitspanne bzw. eines diskreten
Abtastschritts bei dem dritten Schritt solange mit dem ersten Schritt
fortgefahren wird, bis – sozusagen als Abbruchkriterium
der Iteration – das vorausberechnete Bild mit dem tatsächlich
erfassten Bild des Objektdetektionssensors bis auf eine vorgegebene
Abweichung bzw. Toleranz übereinstimmt bzw. bis eine stabile
bzw. robuste Interpretation des Sensorbildes über das adaptierte
3D-Modell erzielt wird. Die Iteration kann während einer
diskreten Zeitspanne durchgeführt werden, welche abhängig
von der gewählten Abtastrate, beispielsweise bei 40 ms liegen
kann.
-
In
einer Ausgestaltung der Erfindung kann das 3D-Modell die Form von
Objekten sowie physikalische Objekteigenschaften bzw. Oberflächeneigenschaften
wie Reflexions-, Beugungs-, Streuungs- bzw. Transmissionseigenschaften,
Textur, Gewicht und/oder Bewegungsverhalten aufnehmen.
-
Vorteilhaft
ist es, wenn die Vorausberechnung des zu erwartenden Bilds des Objektdetektionssensors
aus dem 3D-Modell der Umwelt mittels geeigneter Raytracing- bzw.
Rendering-Verfahren erfolgt, wobei ein aktueller Beleuchtungszustand
des Umfelds des Kraftfahrzeugs und eine aktuelle Position und/oder
Ausrichtung des Kraftfahrzeugs bzw. des Objektdetektionssensors
berücksichtigt wird.
-
Der
aktuelle Zustand der globalen Beleuchtung, insbesondere Tageszeit,
Wetter oder Son nenstand wird über geeignete Sensoren, Bildauswertung,
Uhren oder Netzwerke festgestellt. Die aktuelle Position der Kamera
wird über ein Navigationssystem und/oder Inertialsensoren
ermittelt. Mittels des 3D-Modells der Umwelt wird über
ein geeignetes Rendering/Raytracing-Verfahren das erwartete Kamera-
bzw. Sensorbild errechnet. Dabei fließen sowohl Tageslicht
als auch die Positionsdaten ein. Anschließend erfolgt ein
Abgleich des berechneten Bildes mit dem tatsächlich erfassten.
Starke Abweichungen sind auf dynamische Objekte, z. B. andere Verkehrsteilnehmer
zurückzuführen. Indem die Helligkeit des berechneten
Bildes durch die des tatsächlich erfassten Bildes subtrahiert
wird, werden sämtliche Bildinformationen, die auf Beleuchtungseffekte zurückzuführen
sind, erkannt und entsprechend interpretiert. Somit ist die Erkennung
von statischen Objektinformationen von z. B. Fahrspuren oder dergleichen
gewährleistet.
-
Der
statische Anteil des 3D-Modells bzw. das initiale 3D-Modell kann über
lange Zeiträume gespeichert und bei wiederholten Fahrten
genutzt werden. Alternativ oder zusätzlich kann der statische
Anteil des 3D-Modells bzw. das initiale 3D-Modell angepasst bzw.
geändert bzw. mit Details erweitert werden. Dadurch ergibt
sich eine laufende Verbesserung oder Aktualisierung des 3D-Modells.
-
Vorteilhaft
ist, wenn Ergebnisse mehrerer und/oder verschiedenartiger Objektdetektionssensoren
des Kraftfahrzeugs in dem 3D-Modell verarbeitet bzw. fusioniert
werden. Ergebnisse unterschiedlicher bzw. verschiedenartiger Objektdetektionssensoren bzw.
Sensoren, insbesondere mehrerer Kameras, Mono-/Farbkameras, Mono-/Stereokameras,
insbesondere im sichtbaren Lichtbereich oder infraroten Lichtbereich,
Lidarsensoren, Laserscanner, Radarsensoren können mit dem
Verfahren verarbeitet werden. Die Ergebnisse können in
mehreren alternativen 3D-Modellen verarbeitet oder in einem einzigen
umfassenden 3D-Modell fusioniert werden.
-
Objekthypothesen
von insbesondere dynamischen Objekten können in das aktuelle
3D-Modell der Umwelt aufgenommen werden, wobei die Objekthypothesen
bei Abweichungen in nachfolgenden Programmzyklen angepasst werden.
-
Objekthypothesen
werden in das aktuelle 3D-Modell der Umwelt aufgenommen. Das skizzierte Verfahren
wird wiederholt angewendet. Decken sich tatsächliches Bild
und errechnetes Bild mit dynamischen Objekten so sind die Hypothesen über
die dynamischen Objekte maximal genau. Bei Abweichungen werden die
Objekthypothesen angepasst. Das Verfahren kann die Objekthypothesen
iterativ optimieren. Objekthypothesen werden über Filterung (beispielsweise
Kalman, Extended Kalman, Partikelfilterung, etc.) in folgenden Bildern
als initiale Hypothesen wiederverwendet. Es wird ein sogenanntes Objekt-Tracking
bereitgestellt. Die dynamischen Bildausschnitte werden an Mustererkennungsalgorithmen
als nachgeschaltete Auswertungsfunktion weitergegeben. Bei Abweichungen
zwischen 3D-Modell und Sensorbild, d. h. bei Erkennung eines dynamischen
Objekts, können gezielt Algorithmen eingesetzt werden,
um die Objekte zu klassifizieren. Die Reduktion des Wertebereichs
in den Bildern ermöglicht eine Reduktion des Hypothesenraums
und begünstigt die Objektinferenz. Die nachgeschalteten Auswertungsfunktionen
können auch ein Erkennungs- bzw. Klassifizierungsverfahren,
eine Situationserkennung, eine Handlungsplanung und/oder eine Regelung
umfassen.
-
Ein
Computerprogramm mit Programmcodemitteln bzw. ein Computerprogrammprodukt
mit Programmcodemitteln, die auf einem computerlesbaren Datenträger
gespeichert sind, um das erfindungsgemäße Fahrerassistenzverfahren
auszuführen, sind in Anspruch 9 bzw. Anspruch 10 angegeben.
-
Anspruch
11 betrifft eine Vorrichtung, insbesondere Fahrerassistenzsystem
eines Kraftfahrzeugs mit wenigstens einem Objektdetektionssensor zur
Detektion von Objekten bzw. Hindernissen in einem Umfeld des Kraftfahrzeugs,
und einer Steuereinrichtung mit einem Bildverarbeitungssystem, welche
mit dem wenigstens einen Objektdetektionssensor, vorzugsweise wenigstens
einer Einrichtung zur Bestimmung des aktuellen Beleuchtungszustands des
Umfelds des Kraftfahrzeugs und vorzugsweise wenigstens einer Einrichtung
zur Be stimmung der aktuellen Position und/oder Ausrichtung des Kraftfahrzeugs
bzw. des Objektdetektionssensors verbunden ist.
-
Das
erfindungsgemäße Verfahren zur Erkennung insbesondere
von Objekten eines Umfelds eines Kraftfahrzeugs, ist vorzugsweise
im Rahmen eines Fahrerassistenzverfahrens als Computerprogramm auf
einer Steuereinrichtung eines Fahrerassistenzsystems des Kraftfahrzeugs,
realisiert, wobei auch andere Lösungen selbstverständlich
in Frage kommen. Dazu ist das Computerprogramm in einem Speicherelement
(z. B. ROM, EEPROM oder dergleichen) der Steuereinrichtung gespeichert.
Durch Abarbeitung auf einem Mikroprozessor der Steuereinrichtung
wird das Verfahren ausgeführt. Das Computerprogramm kann
auf einem computerlesbaren Datenträger (Diskette, CD, DVD,
Festplatte, USB-Memory Stick, Speicherkarte oder dergleichen) oder
einem Internetserver als Computerprogrammprodukt gespeichert sein
und von dort aus in das Speicherelement der Steuereinrichtung übertragen
werden.
-
Vorteilhafte
Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus
den Unteransprüchen. Nachfolgend ist anhand der Zeichnung
ein Ausführungsbeispiel der Erfindung prinzipmäßig
beschrieben.
-
Kurzbeschreibung der Zeichnung
-
Es
zeigen:
-
1 Eine
vereinfachte schematische Darstellung eines Kraftfahrzeugs, in welchem
ein erfindungsgemäßes Verfahren zur Anwendung
kommt;
-
2 ein
vereinfachtes Blockschaltbild des erfindungsgemäßen
Verfahrens;
-
3 ein
vereinfachtes Blockschaltbild des erfindungsgemäßes
Verfahrens unter Berücksichtigung mehrerer Objektdetektionssensoren;
-
4 ein
vereinfachtes Flussdiagramm des erfindungsgemäßes
Verfahrens unter Be rücksichtigung mehrerer 3D-Modelle;
-
5 ein
vereinfachtes Flussdiagramm des erfindungsgemäßes
Verfahrens unter Berücksichtigung von mehreren Zyklen;
-
6 eine
vereinfachte Darstellung eines erfassten Umgebungsbilds einer ersten
Szene eines Objektdetektionssensors;
-
7 eine
vereinfachte Darstellung eines Umgebungsbilds eines initialen 3D-Modells
der ersten Szene;
-
8 eine
vereinfachte Darstellung eines mittels des 3D-Modells vorausberechneten
Umgebungsbilds der ersten Szene;
-
9 eine
vereinfachte Darstellung eines Differenzbilds der Umgebungsbilder
aus 6 und 8;
-
10 eine
vereinfachte Darstellung eines erfassten Umgebungsbilds einer zweiten
Szene eines Objektdetektionssensors mit einem dynamischen Objekt;
-
11 eine
vereinfachte Darstellung eines Differenzbilds des Umgebungsbilds
aus 10 und des Umgebungsbilds eines initialen 3D-Modells
der zweiten Szene entsprechend 8;
-
12 eine
vereinfachte Darstellung eines Umgebungsbilds eines aktuellen 3D-Modells
der zweiten Szene mit einem dynamischen Objekt;
-
13 eine
vereinfachte Darstellung eines mittels des aktuellen 3D-Modells
vorausberechneten Umgebungsbilds der zweiten Szene; und
-
14 eine
vereinfachte Darstellung eines Differenzbilds der Umgebungsbilder
aus 10 und 13.
-
Beschreibung von Ausführungsbeispielen
-
Das
erfindungsgemäße Verfahren wird nachstehend im
Rahmen eines Fahrerassistenzverfahrens beschrieben, wobei dessen
Einsatz jedoch nicht darauf beschränkt ist.
-
In 1 ist
ein Kraftfahrzeug 1 dargestellt, auf welchem ein Fahrerassistenzverfahren
zur Anzeige und/oder autonomen bzw. teilautonomen Einregelung eines
kollisionsvermeidenden bzw. kollisionsfolgenmindernden Fahrmanövers
des Kraftfahrzeugs 1 basierend auf einer ermittelten Ausweichtrajektorie,
um während der Fahrt des Kraftfahrzeugs 1 einen
Unfall zu vermeiden, implementiert ist. Bei einem sich während
der Fahrt nähernden, in einem Umfeld 2 (vereinfacht
gestrichelt angedeutet) befindlichen, Hindernis bzw. Objekt 3 sollte
ein Fahrmanöver des Kraftfahrzeugs 1 zum Ausweichen
autonom oder teilautonom durchgeführt bzw. eingeregelt
oder vorgeschlagen bzw. angezeigt werden. Eine als Fahrerassistenzsystem 4 ausgebildete
Vorrichtung zur Durchführung des Fahrerassistenzverfahrens
unterstützt den Fahrer beim Ausweichen vor dem Objekt 3 und
führt ihn autonom oder teilautonom im Fall einer bevorstehenden
Kollision auf eine sichere Trajektorie, die mit keinem das eigene
Kraftfahrzeug 1 umgebendem Hindernis bzw. Objekt 3 kollidiert.
-
Das
Kraftfahrzeug 1 bzw. das Fahrerassistenzsystem 4 weist
im Frontbereich als umgebungserfassende Sensorik bzw. als Objektdetektionssensor
eine Videokamera bzw. einen Videosensor 5a (z. B. ein CCD-Sensor
oder dergleichen) zur messtechnischen Erfassung der frontalen Verkehrssituation bzw.
des Umfelds 2 vor dem Kraftfahrzeug 1 auf. Als Objektdetektionssensor
ist zusätzlich ein Lidarsensor 5b im Frontbereich
des Kraftfahrzeug 1 vorgesehen. In weiteren nicht dargestellten
Ausführungsbeispielen könnten noch weitere verschiedenartige
Objektdetektionssensoren insbesondere im hinteren oder seitlichen
Bereich des Kraftfahrzeugs 1 vorgesehen sein. Der Videosensor 5a steht
mit einer Steuereinrichtung 4a, welche insbesondere ein
Bildverarbeitungssystem aufweist, des Fahrerassistenzsystems 4 in
Verbindung. Mit der Steuereinrichtung 4a können aufgrund
der Sensorsignale des Videosensors 5a bzw. des Lidarsensor 5b Objekte 3 erfasst
werden. Des Weiteren ist eine HMI(Human Machine Interface)-Steuereinrichtung 4b für
eine Mensch/Maschine-Schnittstelle (nicht näher dargestellt)
zur Interaktion des Fahrers mit der Steuereinrichtung 4a verbunden.
Vorliegend hat die Steuereinrichtung 4a des Fahrerassistenzsystems 4 Zugriff
auf eine Bremssystemsteuereinrichtung 6 eines nicht näher
dargestellten Bremssystems, eine Motor/Triebstrang-Steuereinrichtung 7 des
Kraftfahrzeugs 1, auf ein Navigationssystem 8a und eine
Einrichtung 8b zur Bestimmung des aktuellen Beleuchtungszustands
des Umfelds 2 des Kraftfahrzeugs 1. Die Einrichtung 8b kann beispielsweise
eine Uhr, einen Sonnenstandssensor oder eine Einrichtung zur Abfrage
von Wetterdaten (Bewölkung oder dergleichen) beispielsweise über das
Internet aufweisen.
-
Das
erfindungsgemäße Verfahren zur Erkennung, insbesondere
von Objekten 3 des Umfelds 2 des Kraftfahrzeugs 1 mittels
der Objektdetektionssensoren 5a, 5b und einer
oder mehrerer nachgeschalteter Auswertungsfunktionen 12 (siehe 2), wobei
ein, insbesondere aus Kartendaten 10 erstelltes initiales
3D-Modell 9a der statischen Umwelt verwendet wird, welches
zur Laufzeit als wenigstens ein aktuelles 3D-Modell 9b um
dynamische Objekte 3' (siehe 10 bis 14)
erweiterbar ist, wobei die nachgeschalteten Auswertungsfunktionen 12 die
Informationen des wenigstens einen aktuellen 3D-Modells 9b der
Umwelt als Eingangssignale nutzen, ist vorzugsweise im Rahmen eines
Fahrerassistenzverfahrens als Computerprogramm auf der Steuereinrichtung 4a des
Fahrerassistenzsystems 4 des Kraftfahrzeugs 1,
realisiert, wobei auch andere Lösungen selbstverständlich
in Frage kommen. Dazu ist das Computerprogramm in einem nicht dargestellten Speicherelement
der Steuereinrichtung 4a gespeichert. Durch Abarbeitung
auf einem ebenfalls nicht näher dargestellten Mikroprozessor
der Steuereinrichtung 4a wird das Verfahren ausgeführt.
Das Computerprogramm kann auf einem computerlesbaren Datenträger
(Diskette, CD, DVD, Festplatte, USB-Memory Stick, Speicherkarte
oder dergleichen) oder einem Internetserver als Computerprogrammprodukt
gespeichert sein und von dort aus in das Speicherelement der Steuereinrichtung 4a übertragen
werden.
-
Die
nachgeschalteten Auswertungsfunktionen 12 umfassen ein
Erkennungs- bzw. Klassifizierungsverfahren, eine Situationserkennung,
eine Handlungsplanung und eine Regelung.
-
In 2 ist
ein Blockschaltbild des erfindungsgemäßen Verfahrens
dargestellt. Das initiale 3D-Modell 9a wird aus den Kartendaten 10 bzw. Sensordaten 11 erstellt
und zur Laufzeit als aktuelles 3D-Modell 9b um dynamische
Objekte 3' erweitert.
-
Während
des Betriebs des Kraftfahrzeugs 1 wird laufend:
- – in einem ersten Schritt A ein zu
erwartendes Bild des Objektdetektionssensors 5a, 5b aus
dem aktuellen 3D-Modell 9b der Umwelt vorausberechnet,
wonach
- – in einem zweiten Schritt B ein Abgleich des vorausberechneten
Bilds des Objektdetektionssensors 5a, 5b mit dem
tatsächlich erfassten Bild des Objektdetektionssensors 5a, 5b durchgeführt wird,
und wonach
- – in einem dritten Schritt C das aktuelle 3D-Modell 9b der
Umwelt anhand des in dem zweiten Schritt B erfolgten Abgleichs angepasst
und mit dem ersten Schritt A fortgefahren wird (durch den Pfeil 13a angedeutet).
-
Der
erste Schritt A, der zweite Schritt B und der dritte Schritt C können
laufend innerhalb diskreter Zeitspannen bzw. Abtastschritte durchgeführt
werden, wobei innerhalb einer diskreter Zeitspanne bzw. eines diskreten
Abtastschritts bei dem dritten Schritt C solange mit dem ersten
Schritt A fortgefahren wird, bis – sozusagen als Abbruchkriterium
der Iteration – das vorausberechnete Bild mit dem tatsächlich
erfassten Bild des Objektdetektionssensors 5a, 5b bis auf
eine vorgegebene Abweichung bzw. Toleranz übereinstimmt
bzw. bis eine stabile bzw. robuste Interpretation des Sensorbildes über
das adaptierte 3D-Modell erzielt wird. Die Iteration kann während
einer diskreten Zeitspanne durchgeführt werden, welche
abhängig von der gewählten Abtastrate, beispielsweise
bei 40 ms liegen kann.
-
Das
3D-Modell 9a, 9b der Umwelt weist Objekteigenschaften,
insbesondere Form, Reflexionseigenschaften, Textur, Gewicht und/oder
Bewegungsverhalten, auf.
-
Die
Vorausberechnung des zu erwartenden Bilds des Objektdetektionssensors 5a, 5b aus
dem 3D-Modell 9a, 9b der Umwelt erfolgt mittels
geeigneter Raytracing- bzw. Rendering-Verfahren, wobei ein aktueller
Beleuchtungszustand des Umfelds 2 des Kraftfahrzeugs 1 und
eine aktuelle Position und/oder Ausrichtung des Kraftfahrzeugs 1 bzw.
des Objektdetektionssensors 5a, 5b berücksichtigt
wird.
-
Der
aktuelle Zustand der globalen Beleuchtung, insbesondere Tageszeit,
Wetter, Sonnenstand wird über geeignete nicht näher
dargestellte Sensoren, eine Bildauswertung, eine Uhr oder sonstige Netzwerke
festgestellt. Die aktuelle Position der Kamera wird über
das Navigationssystem 8 ermittelt. In weiteren Ausführungsbeispielen
könnten hierfür alternativ oder zusätzlich
auch Inertialsensoren verwendet werden. Des Weiteren kann die Position
des Fahrzeugs auch durch einen Abgleich mit dem 3D-Modell bestimmt
bzw. präzisiert werden.
-
Der
statische Anteil des 3D-Modells 9a, 9b der Umwelt
wird über lange Zeiträume gespeichert und gegebenenfalls
adaptiert bzw. geändert oder um Details erweitert. Es kann
bei bedarf eine Anpassung des statischen Modells bzw. des initialen
3D-Modells 9a erfolgen, wodurch eine Abbildung von zeitlich
begrenzten oder bedingten Änderungen des statischen Modells,
wie z. B. Baustelleninformationen, Pflanzenwuchs und dergleichen,
ermöglicht wird. Ergänzend kann das statische
Modell zeitabhängig sein und Informationen von ”nahezu” statischen
Objekten beinhalten, wie z. B. eine Hochziehbrücke. Eine
Anpassung des initialen 3D-Modells 9a bzw. der Kartendaten 10 kann über
ein gestrichelt angedeutetes C2X-Kommunikationssystem C2X erfolgen
(durch gestrichelte Pfeile 13b und 13c angedeutet).
Das C2X-Kommunikationssystem C2X kann als C2C(Car to Car)- oder
C2I(Car to Infrastructure)-Kommunikationssystem ausgebildet sein
und erhält über eine nicht dargestellte Antenne
Signale von C2C(Car to Car)-Kommunikationssystemen anderer Kraftfahrzeuge
oder von I2C(Infrastructure to Car)-Kommunikationssystemen von Infrastrukturen
(nicht dargestellt). Alternativ oder zusätzlich kann eine
Anpassung des initialen 3D-Modells 9a bzw. der Kartendaten 10 über
die nachgeschalteten Auswertungsfunktionen 12 sozusagen
aufgrund von Erfahrung erfolgen (durch die Pfeile 13d und 13e angedeutet).
-
Wie
aus 3 ersichtlich, werden Ergebnisse bzw. Sensorsichten
mehrerer verschiedenartiger Objektdetektionssensoren 5a, 5b des
Kraftfahrzeugs 1 in dem 3D-Modell 9b verarbeitet
bzw. in Schritt C fusioniert. Die Schritte A1, B1 bzw. A2, B2 entsprechen
den Schritten A, B, wobei sich die Schritte A1, B1 auf den Objektdetektionssensor 5a und
die Schritte A2, B2 auf den Objektdetektionssensor 5b beziehen.
-
Die
Ergebnisse bzw. Sensorsichten der verschiedenartigen Objektdetektionssensoren 5a, 5b des
Kraftfahrzeugs 1 können wie aus 4 ersichtlich
in mehreren 3D-Modellen 9b1, 9b2 verarbeitet werden,
wobei in einem Schritt D ein 3D-Modell-Ranking erstellt werden kann.
-
In 5 ist
die Erstellung eines aktuellen 3D-Modells 9b, 9b' pro
Zyklus dargestellt. Dabei werden Vorwissen und Erkenntnisse des
letzten Zyklus verwendet. Statischen Anteile 14 des vorhergehenden
Zyklus (t – 1) des initialen 3D-Modells 9a fließen in
das aktuelle 3D-Modell 9b mit ein. Aus den dynamischen
Anteilen 14' des vorhergehenden Zyklus (t – 1)
wird in einem Schritt E eine Objektbewegung vorausberechnet, welche
ebenfalls in dem neuen aktuellen 3D-Modell 9b berücksichtigt
wird. Anschließend erfolgt in einem Schritt F eine Modellverbesserung, welche
zu einem genaueren aktuellen 3D-Modell 9b' führt.
Objekthypothesen von insbesondere dynamischen Objekten 3' werden
in das aktuelle 3D-Modell 9b der Umwelt aufgenommen, wobei
die Objekthypothesen bei Abweichungen in nachfolgenden Zyklen angepasst
werden.
-
6 zeigt
ein erfasstes Umgebungsbild einer ersten Szene eines Objektdetektionssensors 5a, 5b.
Wie aus 6 ersichtlich weist eine Fahrbahn 15 eine
Fahrbahnmarkierung 16 auf. Das Objekt 3 wirft einen
Schatten 30, welcher die Fahrbahnmarkierung 16 durchbricht.
Ein Sensorrauschen ist schraffiert angedeutet.
-
7 zeigt
ein Umgebungsbild eines initialen 3D-Modells 9a der ersten
Szene.
-
In 8 ist
ein mittels des 3D-Modells 9a vorausberechnetes Umgebungsbild
der ersten Szene dargestellt.
-
9 zeigt
ein Differenzbild der Umgebungsbilder aus 6 und 8,
d. h. ein Differenz bild zwischen tatsächlichem und berechnetem
Sensorbild. Abweichungen ergeben sich lediglich durch Sensorrauschen,
d. h. das aktuelle 3D-Modell 9b bildet die Realität
bestmöglich ab.
-
In 10 ist
ein erfasstes Umgebungsbild einer zweiten Szene eines Objektdetektionssensors 5a, 5b mit
einem Ball als dynamisches Objekt 3' dargestellt, welches
einen Schatten 30' wirft. Die Größe des
Objektes 3' ist für bekannte Bildverarbeitungsalgorithmen
nicht genau bestimmbar, da der Schatten 30' vorhanden ist
und es sich vorliegend um ein Monobild handelt.
-
In 11 ist
ein Differenzbild des Umgebungsbilds aus 10 und
des Umgebungsbilds des initialen 3D-Modells 9a der zweiten
Szene (entsprechend 8) dargestellt. Durch das dynamische
Objekt 3' ergibt sich eine hohe Abweichung.
-
12 zeigt
ein Umgebungsbild eines aktuellen 3D-Modells 9b der zweiten
Szene unter Berücksichtigung des dynamischen Objekts 3' und 13 entsprechend
ein mittels des aktuellen 3D-Modells 9b vorausberechnetes
Umgebungsbild der zweiten Szene.
-
14 zeigt
wiederum ein Differenzbild der Umgebungsbilder aus 10 und 13.
Nur geringe Abweichungen bestätigen das 3D-Modell 9b.
Insbesondere können Größe und Position
des dynamischen Objekts 3' damit bestimmt bzw. bestätigt
werden. Aufgrund von Ungenauigkeiten bzw. Rauschen können
Konturen des dynamischen Objekts 3' weiterhin sichtbar
sein (durch Strichelung angedeutet).
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - DE 102006027113
A1 [0006]