DE102022001653A1

DE102022001653A1 - Computer-implementiertes Verfahren zur Bestimmung einer Umfeld-Rekonstruktion, Computerprogramm zur Durchführung eines solchen Verfahrens, Rechenvorrichtung zur Durchführung eines solchen Verfahrens, Analysevorrichtung mit einer solchen Rechenvorrichtung, Kraftfahrzeug mit einer solchen Analysevorrichtung und computer-implementiertes Verfahren zum Trainieren eines computer-implementierten Algorithmus zur Ermittlung einer Tiefeninformation

Info

Publication number: DE102022001653A1
Application number: DE102022001653.2A
Authority: DE
Inventors: Christian Schneider
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2022-05-10
Filing date: 2022-05-10
Publication date: 2022-07-07
Anticipated expiration: 2042-05-11
Also published as: DE102022001653B4

Abstract

Die Erfindung betrifft ein Computer-implementiertes Verfahren zur Bestimmung einer Umfeld-Rekonstruktion (23) einer Umgebung eines Kraftfahrzeugs (1) mittels mindestens einem Umfeldsensor (5) und mindestens einer Beleuchtungseinrichtung (7), wobei- mittels der mindestens einen Beleuchtungseinrichtung (7) mindestens drei vorbestimmte Beleuchtungsmuster auf die Umgebung des Kraftfahrzeugs (1) projiziert werden, wobei- mittels des mindestens einen Umfeldsensors (5) eine erste Umfeldaufnahme (13.1) der mittels eines ersten vorbestimmten Beleuchtungsmusters der mindestens drei vorbestimmten Beleuchtungsmuster beleuchteten Umgebung aufgenommen wird, wobei- mittels des mindestens einen Umfeldsensors (5) eine zweite Umfeldaufnahme (13.2) der mittels eines zweiten vorbestimmten Beleuchtungsmusters der mindestens drei vorbestimmten Beleuchtungsmuster beleuchteten Umgebung aufgenommen wird, wobei- mittels des mindestens einen Umfeldsensors (5) eine dritte Umfeldaufnahme (13.3) der mittels eines dritten vorbestimmten Beleuchtungsmusters der mindestens drei vorbestimmten Beleuchtungsmuster beleuchteten Umgebung aufgenommen wird, wobei- ein erster Bildbereich (15.1) des mindestens einen Umfeldsensors (5) bestimmt wird, wobei mittels des ersten Bildbereichs (15.1) des mindestens eine Umfeldsensors (5) eine erste Position der Umgebung erfasst wird, wobei- der erste Bildbereich (15.1) in der ersten Umfeldaufnahme (13.1) als erster Aufnahmebereich (17.1) ausgewählt wird, wobei- der erste Bildbereich (15.1) in der zweiten Umfeldaufnahme (13.2) als zweiter Aufnahmebereich (17.2) ausgewählt wird, wobei- der erste Bildbereich (15.1) in der dritten Umfeldaufnahme (13.3) als dritter Aufnahmebereich (17.3) ausgewählt wird, wobei- mittels eines computer-implementierten Algorithmus der ersten Position anhand des ersten Aufnahmebereichs (17.1), des zweiten Aufnahmebereichs (17.2) und des dritten Aufnahmebereichs (17.3) eine erste Tiefeninformation (21.1) zugeordnet wird, wobei- anhand der ersten Tiefeninformation (21.1) die Umfeld-Rekonstruktion (23) bestimmt wird.

Description

Die Erfindung betrifft ein computer-implementiertes Verfahren zur Bestimmung einer Umfeld-Rekonstruktion, ein Computerprogramm zur Durchführung eines solchen Verfahrens, eine Rechenvorrichtung zur Durchführung eines solchen Verfahrens, eine Analysevorrichtung mit einer solchen Rechenvorrichtung, ein Kraftfahrzeug mit einer solchen Analysevorrichtung und ein computer-implementiertes Verfahren zum Trainieren eines computer-implementierten Algorithmus zur Ermittlung einer Tiefeninformation.
Ein Kraftfahrzeug weist eine Mehrzahl an Assistenzsystemen und/oder Assistenzfunktionen auf, die einen Fahrer des Kraftfahrzeugs beim Fahren unterstützen und insbesondere die Sicherheit erhöhen. Insbesondere wird bei einem Parkvorgang als solches Assistenzsystem und/oder als solche Assistenzfunktion eine Trajektorienplanung und/oder eine Parkplatzvermessung genutzt. Um eine solche Trajektorienplanung und/oder Parkplatzvermessung zuverlässig durchführen zu können, ist es notwendig eine genaue Umfeld-Rekonstruktion einer Umgebung des Kraftfahrzeugs zu bestimmen.
Es sind Verfahren bekannt, bei welchen mittels eines Umfeldsensors eine Umfeldaufnahme aufgenommen wird und aus der Umfeldaufnahme insbesondere mittels einer Übertragungsfunktion eine Umfeld-Rekonstruktion der Umgebung des Kraftfahrzeugs durchgeführt wird. Insbesondere wird eine solche Übertragungsfunktion einmalig und universell bestimmt. Nachteilig an diesen Verfahren ist, dass die Ermittlung der Umfeld-Rekonstruktion, insbesondere der Übertragungsfunktion, unter anderem abhängig von einem Kraftfahrzeugtyp, insbesondere einer Größe des Kraftfahrzeugs, und/oder einer Einbauposition des Umfeldsensors ist.
Weiterhin ist es möglich, dass das Kraftfahrzeug einen Lidar-Sensor aufweist, welcher eingerichtet ist, um eine Umfeld-Rekonstruktion durchzuführen. Nachteilig daran ist, dass ein solcher Lidar-Sensor sehr teuer und somit die Umfeld-Rekonstruktion nicht wirtschaftlich durchführbar ist.
Der Erfindung liegt daher die Aufgabe zugrunde, ein computer-implementiertes Verfahren zur Bestimmung einer Umfeld-Rekonstruktion, ein Computerprogramm zur Durchführung eines solchen Verfahrens, eine Rechenvorrichtung zur Durchführung eines solchen Verfahrens, eine Analysevorrichtung mit einer solchen Rechenvorrichtung, ein Kraftfahrzeug mit einer solchen Analysevorrichtung und ein computer-implementiertes Verfahren zum Trainieren eines computer-implementierten Algorithmus zur Ermittlung einer Tiefeninformation zu schaffen, wobei die genannten Nachteile zumindest teilweise behoben, vorzugsweise vermieden sind.
Die Aufgabe wird gelöst, indem die vorliegende technische Lehre bereitgestellt wird, insbesondere die Lehre der unabhängigen Ansprüche sowie der in den abhängigen Ansprüchen und der Beschreibung offenbarten Ausführungsformen.
Die Aufgabe wird insbesondere gelöst, indem ein computer-implementiertes Verfahren zur Bestimmung einer Umfeld-Rekonstruktion einer Umgebung eines Kraftfahrzeugs mittels mindestens einem Umfeldsensor und mindestens einer Beleuchtungseinrichtung geschaffen wird. Mittels der mindestens einen Beleuchtungseinrichtung werden mindestens drei vorbestimmte Beleuchtungsmuster auf die Umgebung des Kraftfahrzeugs projiziert. Dabei wird mittels des mindestens einen Umfeldsensors eine erste Umfeldaufnahme der mittels eines ersten vorbestimmten Beleuchtungsmusters der mindestens drei vorbestimmten Beleuchtungsmuster beleuchteten Umgebung aufgenommen. Weiterhin wird mittels des mindestens einen Umfeldsensors eine zweite Umfeldaufnahme der mittels eines zweiten vorbestimmten Beleuchtungsmusters der mindestens drei vorbestimmten Beleuchtungsmuster beleuchteten Umgebung aufgenommen. Weiterhin wird mittels des mindestens einen Umfeldsensors eine dritte Umfeldaufnahme der mittels eines dritten vorbestimmten Beleuchtungsmusters der mindestens drei vorbestimmten Beleuchtungsmuster beleuchteten Umgebung aufgenommen. Zusätzlich wird ein erster Bildbereich des mindestens einen Umfeldsensors bestimmt, wobei mittels des ersten Bildbereichs des mindestens einen Umfeldsensors eine erste Position der Umgebung erfasst wird. Der erste Bildbereich in der ersten Umfeldaufnahme wird als erster Aufnahmebereich ausgewählt. Der erste Bildbereich in der zweiten Umfeldaufnahme wird als zweiter Aufnahmebereich ausgewählt. Der erste Bildbereich in der dritten Umfeldaufnahme wird als dritter Aufnahmebereich ausgewählt. Anschließend wird mittels eines computer-implementierten Algorithmus der ersten Position anhand des ersten Aufnahmebereichs, des zweiten Aufnahmebereichs und des dritten Aufnahmebereichs eine erste Tiefeninformation zugeordnet, wobei anhand der ersten Tiefeninformation die Umfeld-Rekonstruktion bestimmt wird.
Vorteilhafterweise ist es damit möglich, die Umfeld-Rekonstruktion unabhängig von einem Kraftfahrzeugtyp und/oder einer Einbauposition des Umfeldsensors zu erstellen.
Darüber hinaus kann das computer-implementierte Verfahren vorteilhafterweise mit einer bereits in dem Kraftfahrzeug vorhandenen Sensorik durchgeführt werden, sodass keine weiteren zusätzlichen Sensoren benötigt werden.
Zusätzlich ist das computer-implementierte Verfahren vorteilhafterweise unabhängig von weiteren Sensoren, insbesondere lasergestützten Sensoren. Damit ist vorteilhafterweise auch keine aufwendige Datenverarbeitung von zusätzlichen Sensoraufnahmen notwendig.
Weiterhin kann das computer-implementierte Verfahren vorteilhafterweise als redundantes Verfahren zur Umfeld-Rekonstruktion zusätzlich zu einem optischen Sensor und/oder einem Ultraschallsensor und/oder einem lasergestützten Sensor verwendet werden.
Insbesondere ist die Beleuchtung der Umgebung mittels der Beleuchtungsvorrichtung vorteilhafterweise für einen Fahrer des Kraftfahrzeugs nicht wahrnehmbar.
Insbesondere ist eine räumliche Anordnung des Umfeldsensors - insbesondere eine Position im dreidimensionalen Raum in einem Fahrzeugkoordinatensystem - und eine räumliche Ausrichtung des Umfeldsensors - insbesondere ein Nickwinkel des Umfeldsensors, ein Rollwinkel des Umfeldsensors und ein Gierwinkel des Umfeldsensors - softwaretechnisch gespeichert.
In einer Ausgestaltung wird als Umfeldsensor ein optischer Sensor, insbesondere eine Kamera, verwendet. Besonders bevorzugt werden mittels des Umfeldsensors zweidimensionale Aufnahmen erstellt.
Insbesondere ist eine räumliche Anordnung der Beleuchtungseinrichtung - insbesondere eine Position im dreidimensionalen Raum in einem Fahrzeugkoordinatensystem - und eine räumliche Ausrichtung des Beleuchtungseinrichtung - insbesondere eine Abstrahlrichtung der Beleuchtungseinrichtung und ein Beleuchtungskegel der Beleuchtungseinrichtung - softwaretechnisch gespeichert.
Insbesondere ist der Umfeldsensor benachbart zu der Beleuchtungseinrichtung angeordnet.
In einer Ausgestaltung wird das computer-implementierte Verfahren zur Umfeld-Rekonstruktion während eines Parkvorgangs des Kraftfahrzeugs, insbesondere während eines Einparkvorgangs und/oder eines Ausparkvorgangs, durchgeführt.
In einer Ausgestaltung des Verfahrens wird anhand der ersten Tiefeninformation und der räumlichen Anordnung des Umfeldsensors ein Abstand von dem Kraftfahrzeug zu der ersten Position ermittelt und zur Bestimmung der Umfeld-Rekonstruktion verwendet.
Insbesondere wird das Verfahren für eine Mehrzahl an Bildbereichen durchgeführt, sodass für eine Mehrzahl an Positionen eine Tiefeninformation bestimmt wird. Insbesondere wird anhand eines zweiten Bildbereichs eine zweite Tiefeninformation für eine zweite Position bestimmt. Anschließend wird die Umfeld-Rekonstruktion anhand der Mehrzahl an Positionen und der zugehörigen Mehrzahl an Tiefeninformationen erstellt.
Insbesondere wird das Verfahren zyklisch, insbesondere mit einem vorbestimmten zeitlichen Abstand durchgeführt, um regelmäßig die Umfeld-Rekonstruktion zu erstellen, sodass eine sichere Funktionsweise der Assistenzvorrichtungen und/oder Assistenzsysteme gewährleistet werden kann.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass als die mindestens drei vorbestimmten Beleuchtungsmuster jeweils eine Streifenprojektion verwendet wird.
In einer Ausgestaltung wird als erstes vorbestimmtes Beleuchtungsmuster eine erste Streifenprojektion verwendet. Zusätzlich wird als zweites vorbestimmtes Beleuchtungsmuster eine zweite Streifenprojektion verwendet. Zusätzlich wird als drittes vorbestimmtes Beleuchtungsmuster eine dritte Streifenprojektion verwendet. Weiterhin sind die erste Streifenprojektion, die zweite Streifenprojektion und die dritte Streifenprojektion jeweils paarweise voneinander verschieden.
In einer Ausgestaltung weist der Umfeldsensor genau einen Bildbereich, insbesondere den ersten Bildbereich auf. Alternativ weist der Umfeldsensor eine Mehrzahl an Bildbereichen auf. Insbesondere sind die Mehrzahl an Bildbereichen derart ausgewählt, dass sich die Bildbereiche paarweise nicht überlappen.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass als der computer-implementierte Algorithmus eine mathematische Berechnungsvorschrift verwendet wird. Dabei wird anhand einer ersten Intensität des ersten Aufnahmebereichs, einer zweiten Intensität des zweiten Aufnahmebereichs und einer dritten Intensität des dritten Aufnahmebereichs eine gemeinsame Phase der mindestens drei vorbestimmten Beleuchtungsmuster ermittelt. Anschließend wird die gemeinsame Phase in eine absolute Phase überführt, wobei anhand mindestens eines Kennfeldes für die absolute Phase die erste Tiefeninformation bestimmt wird.
Insbesondere werden die mindestens drei Intensitäten als über den jeweiligen Aufnahmebereich gemittelten Intensitäten ermittelt. Alternativ werden die mindestens drei Intensitäten als Maxima der Intensitäten der jeweiligen Aufnahmebereiche ermittelt. Alternativ werden die mindestens drei Intensitäten als Minima der Intensitäten der jeweiligen Aufnahmebereiche ermittelt.
Insbesondere werden die mindestens drei Beleuchtungsmuster als Sinus-Funktionen einer gemeinsamen Phase φ und mindestens dreier vorbestimmter Phasenversätze δ₁, δ₂ und δ₃ beschrieben. Damit können die mindestens drei Intensitäten I₁, I₂, I₃ mittels der Gleichungen $I_{1} = A + B s i n (φ + δ_{1})$
$I_{2} = A + B s i n (φ + δ_{2})$
$I_{2} = A + B s i n (φ + δ_{3})$
berechnet werden, wobei A insbesondere eine Umgebungshelligkeit angibt und mittels B eine Amplitude der Sinusfunktion gegeben ist. Insgesamt weisen die Gleichungen (1) - (3) drei Unbekannte auf, sodass anhand der drei Intensitäten I₁, I₂, I₃ die gemeinsame Phase φ bestimmt werden kann.
Alternativ können die Gleichungen (1) - (3) auch als Kosinus-Funktionen anstatt der Sinus-Funktionen geschrieben werden.
Insbesondere weisen der erste Phasenversatz δ₁ und der zweite Phasenversatz δ₂ eine Differenz von mindestens π/10 bis höchstens 2π/3 auf, insbesondere von π/8, insbesondere von π/6, insbesondere von π/5, insbesondere von π/4, insbesondere von π/3, insbesondere von π/2. Insbesondere weisen der zweite Phasenversatz δ₂ und der dritte Phasenversatz δ₃ eine Differenz von mindestens π/10 bis höchstens 2π/3 auf, insbesondere von π/8, insbesondere von π/6, insbesondere von π/5, insbesondere von π/4, insbesondere von π/3, insbesondere von π/2. Vorzugsweise ist die Differenz zwischen dem ersten Phasenversatz δ₁ und dem zweiten Phasenversatz δ₂ identisch zu der Differenz zwischen dem zweiten Phasenversatz δ₂ und dem dritten Phasenversatz δ₃.
Insbesondere sind aus der Dissertation „Optische 3D-Messtechnik: Präzise Gestaltvermessung mit einem erweiterten Streifenprojektionsverfahren“ von Georg Wiora Formeln zur Berechnung der gemeinsamen Phase φ bekannt.
Insbesondere ist aus „Development and accuracy evaluation of Coded Phase-shift 3D scanner“ von Gaur et al. eine Formel $φ = {tan}^{- 1} [\frac{\sqrt[2]{3} (I_{1} - I_{3})}{2 I_{2} - I_{1} - I_{3}}]$
zur Berechnung der gemeinsamen Phase φ anhand der drei Intensitäten I₁, I₂, I₃ bekannt.
In einer Ausgestaltung werden mit vier vorbestimmten Beleuchtungsmustern vier Umfeldaufnahmen erstellt. Jedem Beleuchtungsmuster ist ein Phasenversatz zugeordnet, wobei für den ersten Phasenversatz δ₁=0 gilt, wobei für den zweiten Phasenversatz δ₂=π/2 gilt, wobei für den dritten Phasenversatz δ₃=π gilt, wobei für einen vierten Phasenversatz δ₄=3π/2 gilt. Die gemeinsame Phase φ wird mittels der Formel $φ = {tan}^{-}^{1} [\frac{I_{2} - I_{4}}{I_{1} - I_{3}}]$
berechnet.
Bei einer Berechnung der gemeinsamen Phase φ aus den Gleichungen (1) - (3), insbesondere mittels der Formeln (4) oder (5), wird für die gemeinsame Phase φ ein Wert zwischen 0 und 2π erhalten. Somit kann anhand der gemeinsamen Phase φ nicht zwischen den verschiedenen Perioden des jeweiligen Beleuchtungsmusters unterschieden werden. Daher wird die gemeinsame Phase φ in die absolute Phase θ überführt, wobei die absolute Phase θ Informationen über die Periode des jeweiligen Beleuchtungsmusters enthält.
In einer Ausgestaltung wird die gemeinsame Phase φ mittels eines Gray-Codes in die absolute Phase θ überführt.
Insbesondere ist aus dem mindestens einen Kennfeld für jede absolute Phase θ jeweils eine Tiefeninformation bekannt.
In einer Ausgestaltung wird dem Umfeldsensor genau ein Kennfeld zugeordnet. Alternativ wird dem Umfeldsensor eine Mehrzahl an Kennfeldern zugeordnet. Insbesondere wird jedem Bildbereich der Mehrzahl an Bildbereichen ein Kennfeld zugeordnet. Alternativ wird mindestens einem Bildbereich der Mehrzahl an Bildbereichen eine Mehrzahl an Kennfeldern zugeordnet, wobei hierfür der mindestens eine Bildbereich in sich nicht überlappende Teil-Bildbereiche unterteilt wird und jedem Teil-Bildbereich ein Kennfeld zugeordnet ist.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass als Beleuchtungseinrichtung ein Blinker des Kraftfahrzeugs verwendet wird.
In einer Ausgestaltung wird ein an einem Seitenspiegel des Kraftfahrzeugs angeordneter Blinker als Beleuchtungseinrichtung verwendet. Insbesondere weist der Blinker eine Mehrzahl an separat ansteuerbaren Beleuchtungsmitteln, insbesondere LEDs, auf. Zusätzlich ist vorzugsweise der Umfeldsensor ebenfalls an dem Seitenspiegel des Kraftfahrzeugs angeordnet.
Die Aufgabe wird auch gelöst, indem ein computer-implementiertes Verfahren zum Trainieren eines computer-implementierten Algorithmus zur Ermittlung einer Tiefeninformation anhand von mindestens drei Umfeldaufnahmen einer Umgebung eines Kraftfahrzeugs geschaffen wird. Mittels eines Trainingssensors wird eine Trainings-Umfeld-Rekonstruktion der Umgebung des Kraftfahrzeugs ermittelt. Mittels mindestens einer Beleuchtungseinrichtung werden mindestens drei vorbestimmte Beleuchtungsmuster auf die Umgebung des Kraftfahrzeugs projiziert. Dabei wird mittels eines Umfeldsensors eine erste Trainings-Umfeldaufnahme der mittels eines ersten vorbestimmten Beleuchtungsmusters der mindestens drei vorbestimmten Beleuchtungsmuster beleuchteten Umgebung aufgenommen. Weiterhin wird mittels des Umfeldsensors eine zweite Trainings-Umfeldaufnahme der mittels eines zweiten vorbestimmten Beleuchtungsmusters der mindestens drei vorbestimmten Beleuchtungsmuster beleuchteten Umgebung aufgenommen. Weiterhin wird mittels des Umfeldsensors eine dritte Trainings-Umfeldaufnahme der mittels eines dritten vorbestimmten Beleuchtungsmusters der mindestens drei vorbestimmten Beleuchtungsmuster beleuchteten Umgebung aufgenommen. Anschließend werden die erste Trainings-Umfeldaufnahme, die zweite Trainings-Umfeldaufnahme, und die dritte Trainings-Umfeldaufnahme mit der mittels des Trainingssensors ermittelten Trainings-Umfeld-Rekonstruktion in Übereinstimmung gebracht. Ein erster Bildbereich des Umfeldsensors wird bestimmt, wobei mittels des ersten Bildbereichs des Umfeldsensors eine erste Position der Umgebung erfasst wird. Der erste Bildbereich wird in der ersten Trainings-Umfeldaufnahme als erster Aufnahmebereich ausgewählt. Der erste Bildbereich wird in der zweiten Trainings-Umfeldaufnahme als zweiter Aufnahmebereich ausgewählt. Der erste Bildbereich wird in der dritten Trainings-Umfeldaufnahme als dritter Aufnahmebereich ausgewählt. Der ersten Position wird anhand der Trainings-Umfeld-Rekonstruktion eine erste Tiefeninformation zugeordnet, und der computer-implementierte Algorithmus wird anhand der ersten Tiefeninformation, des ersten Aufnahmebereichs, des zweiten Aufnahmebereichs und des dritten Aufnahmebereichs trainiert.
Insbesondere werden die erste Trainings-Umfeldaufnahme, die zweite Trainings-Umfeldaufnahme, und die dritte Trainings-Umfeldaufnahme mit der mittels des Trainingssensors ermittelten Trainings-Umfeld-Rekonstruktion mittels eines Bildregistrierungs-Verfahrens in Übereinstimmung gebracht.
In einer Ausgestaltung wird als Trainingssensor ein Lidar-Sensor verwendet. Alternativ wird als Trainingssensor ein Radar-Sensor verwendet.
In einer weiteren Ausgestaltung wird als Trainingssensor ein optischer Sensor, insbesondere eine Kamera, verwendet. Insbesondere wird die Trainings-Umfeld-Rekonstruktion mittels eines Structure-from-Motion-Verfahrens und/oder eines optischen Flusses ermittelt.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass anhand einer ersten Intensität des ersten Aufnahmebereichs, einer zweiten Intensität des zweiten Aufnahmebereichs und einer dritten Intensität des dritten Aufnahmebereichs eine gemeinsame Phase φ und eine absolute Phase θ der mindestens drei Beleuchtungsmuster ermittelt wird. Die absolute Phase θ wird zusammen mit der ersten Tiefeninformation in mindestens einem Kennfeld gespeichert.
Die Aufgabe wird auch gelöst, indem ein Computerprogramm geschaffen wird, welches Anweisungen aufweist, wobei die Anweisungen eine Rechenvorrichtung veranlassen, ein erfindungsgemäßes Verfahren oder ein Verfahren nach einer oder mehreren der zuvor erläuterten Ausführungsformen durchzuführen, wenn das Computerprogramm von der Rechenvorrichtung ausgeführt wird. In Zusammenhang mit dem Computerprogramm ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem computer-implementierten Verfahren zur Bestimmung einer Umfeld-Rekonstruktion erläutert wurden.
Die Aufgabe wird auch gelöst, indem eine Rechenvorrichtung geschaffen wird, welche Mittel zur Ausführung eines erfindungsgemäßen Verfahrens oder eines Verfahrens nach einer oder mehreren der zuvor erläuterten Ausführungsformen aufweist. In Zusammenhang mit der Rechenvorrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem computer-implementierten Verfahren zur Bestimmung einer Umfeld-Rekonstruktion erläutert wurden.
Die Rechenvorrichtung ist insbesondere eingerichtet, um mit dem mindestens einen Umfeldsensor und der mindestens einen Beleuchtungseinrichtung wirkverbunden zu werden, und eingerichtet zu deren Ansteuerung.
Die Aufgabe wird auch gelöst, indem eine Analysevorrichtung geschaffen wird, die mindestens einen Umfeldsensor, mindestens eine Beleuchtungseinrichtung und eine erfindungsgemäße Rechenvorrichtung oder eine Rechenvorrichtung nach einer oder mehreren der zuvor erläuterten Ausführungsformen aufweist. In Zusammenhang mit der Analysevorrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem computer-implementierten Verfahren zur Bestimmung einer Umfeld-Rekonstruktion und der Rechenvorrichtung erläutert wurden.
Die Rechenvorrichtung ist insbesondere mit dem mindestens einen Umfeldsensor und der mindestens einen Beleuchtungseinrichtung wirkverbunden und eingerichtet zu deren Ansteuerung. Insbesondere sind der mindestens eine Umfeldsensor und die mindestens eine Beleuchtungseinrichtung aufeinander abgestimmt, insbesondere miteinander synchronisiert.
In einer Ausgestaltung ist die Analysevorrichtung als Seitenspiegel eines Kraftfahrzeugs ausgebildet. Weiterhin ist die Beleuchtungseinrichtung als ein an dem Seitenspiegel des Kraftfahrzeugs angeordneter Blinker ausgebildet. Insbesondere weist der Blinker eine Mehrzahl an separat ansteuerbaren Beleuchtungsmitteln, insbesondere LEDs, auf.
Die Aufgabe wird auch gelöst, indem ein Kraftfahrzeug geschaffen wird, das eine erfindungsgemäße Analysevorrichtung oder eine Analysevorrichtung nach einer oder mehreren der zuvor erläuterten Ausführungsformen aufweist. In Zusammenhang mit dem Kraftfahrzeug ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem computer-implementierten Verfahren zur Bestimmung einer Umfeld-Rekonstruktion, der Rechenvorrichtung und der Analysevorrichtung erläutert wurden.
In einer Ausgestaltung ist das Kraftfahrzeug als ein Personenkraftwagen ausgebildet. Es ist aber auch möglich, dass das Kraftfahrzeug ein Lastkraftwagen, ein Nutzfahrzeug oder ein anderes Kraftfahrzeug ist.
Die Erfindung wird im Folgenden durch die Zeichnung näher erläutert.
Dabei zeigen:

1 eine schematische Darstellung eines Ausführungsbeispiels eines Kraftfahrzeugs, und
2 ein Flussdiagramm eines Ausführungsbeispiels eines computer-implementierten Verfahrens zur Bestimmung einer Umfeld-Rekonstruktion.

1 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Kraftfahrzeugs 1 mit einer Analysevorrichtung 3. Die Analysevorrichtung 3 weist einen Umfeldsensor 5, eine Beleuchtungseinrichtung 7 und eine Rechenvorrichtung 9 auf.
Insbesondere ist die Analysevorrichtung 3 als Seitenspiegel 11 des Kraftfahrzeugs 1 ausgebildet.
Der Umfeldsensor 5 ist eingerichtet, um mindestens eine Umfeldaufnahme 11 einer Umgebung des Kraftfahrzeugs 1 zu erstellen. Vorzugsweise ist der Umfeldsensor 5 ein optischer Sensor, insbesondere eine Kamera.
Die Beleuchtungseinrichtung 7 ist eingerichtet, um mindestens drei vorbestimmte Beleuchtungsmuster auf die Umgebung des Kraftfahrzeugs 1 zu projizieren. Vorzugsweise ist die Beleuchtungseinrichtung 7 als ein an dem Seitenspiegel 11 des Kraftfahrzeugs 1 angeordneter Blinker ausgebildet. Insbesondere weist der Blinker eine Mehrzahl an separat ansteuerbarer Beleuchtungsmittel, insbesondere LEDs, auf.
Die Rechenvorrichtung 9 ist hier nur schematisch dargestellt und ist in nicht explizit dargestellter Weise mit dem Umfeldsensor 5 und der Beleuchtungseinrichtung 7 wirkverbunden und eingerichtet zu deren jeweiliger Ansteuerung. Die Rechenvorrichtung 9 ist insbesondere eingerichtet zur Durchführung eines computer-implementierten Verfahrens zur Bestimmung einer Umfeld-Rekonstruktion 23 der Umgebung des Kraftfahrzeugs 1. Das computer-implementierte Verfahren wird anhand von 2 näher erläutert.
2 zeigt ein Flussdiagramm eines Ausführungsbeispiels des computer-implementierten Verfahrens zur Bestimmung der Umfeld-Rekonstruktion 23 der Umgebung des Kraftfahrzeugs 1.
In einem ersten ersten Schritt a1) wird mittels der mindestens einen Beleuchtungseinrichtung 7 ein erstes vorbestimmtes Beleuchtungsmuster auf die Umgebung des Kraftfahrzeugs 1 projiziert, wobei mittels des Umfeldsensors 5 eine erste Umfeldaufnahme 13.1 der mittels des ersten vorbestimmten Beleuchtungsmusters beleuchteten Umgebung aufgenommen wird.
In einem zweiten ersten Schritt a2) wird mittels der mindestens einen Beleuchtungseinrichtung 7 ein zweites vorbestimmtes Beleuchtungsmuster auf die Umgebung des Kraftfahrzeugs 1 projiziert, wobei mittels des Umfeldsensors 5 eine zweite Umfeldaufnahme 13.2 der mittels des zweiten vorbestimmten Beleuchtungsmusters beleuchteten Umgebung aufgenommen wird.
In einem dritten ersten Schritt a3) wird mittels der mindestens einen Beleuchtungseinrichtung 7 ein drittes vorbestimmtes Beleuchtungsmuster auf die Umgebung des Kraftfahrzeugs 1 projiziert, wobei mittels des Umfeldsensors 5 eine dritte Umfeldaufnahme 13.3 der mittels des dritten vorbestimmten Beleuchtungsmusters beleuchteten Umgebung aufgenommen wird.
Vorzugsweise werden als die mindestens drei vorbestimmten Beleuchtungsmuster jeweils eine Streifenprojektion verwendet.
Insbesondere können zusätzlich zu den drei ersten Schritten a) weitere erste Schritte a) durchgeführt werden. Insbesondere kann in einem optionalen vierten ersten Schritt a4) mittels der mindestens einen Beleuchtungseinrichtung 7 ein viertes vorbestimmtes Beleuchtungsmuster auf die Umgebung des Kraftfahrzeugs 1 projiziert werden, wobei mittels des Umfeldsensors 5 eine vierte Umfeldaufnahme 13.4 der mittels des vierten vorbestimmten Beleuchtungsmusters beleuchteten Umgebung aufgenommen wird.
In einem zweiten Schritt b) wird ein erster Bildbereich 15.1 des mindestens einen Umfeldsensors 5 bestimmt, wobei mittels des ersten Bildbereichs des mindestens einen Umfeldsensors 5 eine erste Position der Umgebung erfasst wird.
Insbesondere kann der zweite Schritt b) zeitlich vor, zeitlich nach oder gleichzeitig mit den ersten Schritten a) durchgeführt werden.
In einem ersten dritten Schritt c1) wird der erste Bildbereich 15.1 in der ersten Umfeldaufnahme 13.1 als erster Aufnahmebereich 17.1 ausgewählt.
In einem zweiten dritten Schritt c2) wird der erste Bildbereich 15.1 in der zweiten Umfeldaufnahme 13.2 als zweiter Aufnahmebereich 17.2 ausgewählt.
In einem dritten dritten Schritt c3) wird der erste Bildbereich 15.1 in der dritten Umfeldaufnahme 13.3 als dritter Aufnahmebereich 17.3 ausgewählt.
In einem vierten Schritt d) wird mittels eines computer-implementierten Algorithmus 19 der ersten Position anhand des ersten Aufnahmebereichs 17.1, des zweiten Aufnahmebereichs 17.2 und des dritten Aufnahmebereichs 17.3 eine erste Tiefeninformation 21.1 zugeordnet.
Vorzugsweise wird als der computer-implementierte Algorithmus 19 eine mathematische Berechnungsvorschrift verwendet. Dabei wird vorzugsweise in einem ersten vierten Schritt d1) anhand einer ersten Intensität I₁ des ersten Aufnahmebereichs 17.1, einer zweiten Intensität I₂ des zweiten Aufnahmebereichs 17.2 und einer dritten Intensität I₃ des dritten Aufnahmebereichs 17.3 eine gemeinsame Phase φ der drei vorbestimmten Beleuchtungsmuster ermittelt. Anschließend wird vorzugsweise in einem zweiten vierten Schritt d2) die gemeinsame Phase φ in eine absolute Phase θ überführt. In einem dritten vierten Schritt d3) wird anhand mindestens eines Kennfeldes 25 für die absolute Phase θ die erste Tiefeninformation 21.1 bestimmt.
In einem fünften Schritt e) wird anhand der ersten Tiefeninformation 21.1 die Umfeld-Rekonstruktion 23 bestimmt.
In einer Ausgestaltung werden die Schritte b) bis d) mehrfach durchgeführt, bevor der fünfte Schritt e) durchgeführt wird. Insbesondere wird in Schritt b) eine Mehrzahl an Bildbereichen 15 bestimmt, sodass für eine Mehrzahl an Positionen eine Tiefeninformation 21 bestimmt wird. Insbesondere wird anhand eines zweiten Bildbereichs 15.2 eine zweite Tiefeninformation 21.2 für eine zweite Position bestimmt. Anschließend wird die Umfeld-Rekonstruktion 23 anhand der Mehrzahl an Positionen und der zugehörigen Mehrzahl an Tiefeninformationen 21 erstellt.
In einem optionalen sechsten Schritt T) wird insbesondere zeitlich vor den ersten Schritten a) und dem zweiten Schritt b) der computer-implementierte Algorithmus 19 trainiert.
Dabei wird in einem ersten sechsten Schritt T1) mittels eines Trainingssensors eine Trainings-Umfeld-Rekonstruktion 27 der Umgebung eines Kraftfahrzeugs 1, insbesondere des Kraftfahrzeugs 1, ermittelt.
Weiter wird in einem zweiten sechsten Schritt T2) mittels der mindestens einen Beleuchtungseinrichtung 7 ein erstes vorbestimmtes Beleuchtungsmuster auf die Umgebung des Kraftfahrzeugs 1 projiziert, wobei mittels des Umfeldsensors 5 eine erste Trainings-Umfeldaufnahme 29.1 der mittels des ersten vorbestimmten Beleuchtungsmusters beleuchteten Umgebung aufgenommen wird. Weiterhin wird mittels der mindestens einen Beleuchtungseinrichtung 7 ein zweites vorbestimmtes Beleuchtungsmuster auf die Umgebung des Kraftfahrzeugs 1 projiziert, wobei mittels des Umfeldsensors 5 eine zweite Trainings-Umfeldaufnahme 29.2 der mittels des zweiten vorbestimmten Beleuchtungsmusters beleuchteten Umgebung aufgenommen wird. Weiterhin wird mittels der mindestens einen Beleuchtungseinrichtung 7 ein drittes vorbestimmtes Beleuchtungsmuster auf die Umgebung des Kraftfahrzeugs 1 projiziert, wobei mittels des Umfeldsensors 5 eine dritte Trainings-Umfeldaufnahme 29.3 der mittels des dritten vorbestimmten Beleuchtungsmusters beleuchteten Umgebung aufgenommen wird.
In einem dritten sechsten Schritt T3) werden die erste Trainings-Umfeldaufnahme 29.1, die zweite Trainings-Umfeldaufnahme 29.2, die dritte Trainings-Umfeldaufnahme 29.3 mit der mittels des Trainingssensors ermittelten Trainings-Umfeld-Rekonstruktion 27 in Übereinstimmung gebracht, insbesondere mittels eines Bildregistrierungs-Verfahrens.
In einem vierten sechsten Schritt T4) wird ein erster Bildbereich des Umfeldsensors 5 bestimmt, wobei mittels des ersten Bildbereichs des Umfeldsensors 5 eine erste Position der Umgebung erfasst wird.
In einem fünften sechsten Schritt T5) wird der erste Bildbereich in der ersten Trainings-Umfeldaufnahme 29.1 als erster Aufnahmebereich ausgewählt. Weiterhin wird der erste Bildbereich in der zweiten Trainings-Umfeldaufnahme 29.2 als zweiter Aufnahmebereich ausgewählt. Weiterhin wird der erste Bildbereich in der dritten Trainings-Umfeldaufnahme 29.3 als dritter Aufnahmebereich ausgewählt.
In einem sechsten sechsten Schritt T6) wird der ersten Position wird anhand der Trainings-Umfeld-Rekonstruktion 27 eine erste Tiefeninformation 31 zugeordnet, und der computer-implementierte Algorithmus 19 wird anhand der ersten Tiefeninformation 31, des ersten Aufnahmebereichs, des zweiten Aufnahmebereichs und des dritten Aufnahmebereichs trainiert. Insbesondere wird anhand einer ersten Intensität I₁ des ersten Aufnahmebereichs, einer zweiten Intensität I₂ des zweiten Aufnahmebereichs und einer dritten Intensität I₃ des dritten Aufnahmebereichs eine gemeinsame Phase φ und eine absolute Phase θ ermittelt, wobei die absolute Phase θ zusammen mit der ersten Tiefeninformation 31 in dem mindestens einen Kennfeld 25 gespeichert wird.

Claims

Computer-implementiertes Verfahren zur Bestimmung einer Umfeld-Rekonstruktion (23) einer Umgebung eines Kraftfahrzeugs (1) mittels mindestens einem Umfeldsensor (5) und mindestens einer Beleuchtungseinrichtung (7), wobei - mittels der mindestens einen Beleuchtungseinrichtung (7) mindestens drei vorbestimmte Beleuchtungsmuster auf die Umgebung des Kraftfahrzeugs (1) projiziert werden, wobei - mittels des mindestens einen Umfeldsensors (5) eine erste Umfeldaufnahme (13.1) der mittels eines ersten vorbestimmten Beleuchtungsmusters der mindestens drei vorbestimmten Beleuchtungsmuster beleuchteten Umgebung aufgenommen wird, wobei - mittels des mindestens einen Umfeldsensors (5) eine zweite Umfeldaufnahme (13.2) der mittels eines zweiten vorbestimmten Beleuchtungsmusters der mindestens drei vorbestimmten Beleuchtungsmuster beleuchteten Umgebung aufgenommen wird, wobei - mittels des mindestens einen Umfeldsensors (5) eine dritte Umfeldaufnahme (13.3) der mittels eines dritten vorbestimmten Beleuchtungsmusters der mindestens drei vorbestimmten Beleuchtungsmuster beleuchteten Umgebung aufgenommen wird, wobei - ein erster Bildbereich (15.1) des mindestens einen Umfeldsensors (5) bestimmt wird, wobei mittels des ersten Bildbereichs (15.1) des mindestens eine Umfeldsensors (5) eine erste Position der Umgebung erfasst wird, wobei - der erste Bildbereich (15.1) in der ersten Umfeldaufnahme (13.1) als erster Aufnahmebereich (17.1) ausgewählt wird, wobei - der erste Bildbereich (15.1) in der zweiten Umfeldaufnahme (13.2) als zweiter Aufnahmebereich (17.2) ausgewählt wird, wobei - der erste Bildbereich (15.1) in der dritten Umfeldaufnahme (13.3) als dritter Aufnahmebereich (17.3) ausgewählt wird, wobei - mittels eines computer-implementierten Algorithmus der ersten Position anhand des ersten Aufnahmebereichs (17.1), des zweiten Aufnahmebereichs (17.2) und des dritten Aufnahmebereichs (17.3) eine erste Tiefeninformation (21.1) zugeordnet wird, wobei - anhand der ersten Tiefeninformation (21.1) die Umfeld-Rekonstruktion (23) bestimmt wird.
Computer-implementiertes Verfahren nach Anspruch 1, wobei als die mindestens drei vorbestimmten Beleuchtungsmuster jeweils eine Streifenprojektion verwendet wird.
Computer-implementiertes Verfahren nach einem der vorhergehenden Ansprüche, wobei als der computer-implementierte Algorithmus eine mathematischen Berechnungsvorschrift (19) verwendet wird, wobei - anhand einer ersten Intensität (I₁) des ersten Aufnahmebereichs (17.1), einer zweiten Intensität (I₂) des zweiten Aufnahmebereichs (17.2) und einer dritten Intensität (I₃) des dritten Aufnahmebereichs (17.3) eine gemeinsame Phase (φ) der mindestens drei vorbestimmten Beleuchtungsmuster ermittelt wird, wobei - die gemeinsame Phase (φ) in eine absolute Phase (θ) überführt wird, wobei - anhand mindestens eines Kennfeldes (25) für die absolute Phase (θ) die erste Tiefeninformation (21.1) bestimmt wird.
Computer-implementiertes Verfahren nach einem der vorhergehenden Ansprüche, wobei als Beleuchtungseinrichtung (7) ein Blinker des Kraftfahrzeugs (1) verwendet wird.
Computer-implementiertes Verfahren zum Trainieren eines computer-implementierten Algorithmus (19) zur Ermittlung einer Tiefeninformation (21) anhand von mindestens drei Umfeldaufnahmen (13) einer Umgebung eines Kraftfahrzeugs (1), wobei - mittels eines Trainingssensors eine Trainings-Umfeld-Rekonstruktion (27) der Umgebung des Kraftfahrzeugs (1) ermittelt wird, wobei - mittels mindestens einer Beleuchtungseinrichtung (7) mindestens drei vorbestimmte Beleuchtungsmuster auf die Umgebung des Kraftfahrzeugs (1) projiziert werden, wobei - mittels eines Umfeldsensors (5) eine erste Trainings-Umfeldaufnahme (29.1) der mittels eines ersten vorbestimmten Beleuchtungsmusters der mindestens drei vorbestimmten Beleuchtungsmuster beleuchteten Umgebung aufgenommen wird, wobei - mittels des Umfeldsensors (5) eine zweite Trainings-Umfeldaufnahme (29.2) der mittels eines zweiten vorbestimmten Beleuchtungsmusters der mindestens drei vorbestimmten Beleuchtungsmuster beleuchteten Umgebung aufgenommen wird, wobei - mittels des Umfeldsensors (5) eine dritte Trainings-Umfeldaufnahme (29.3) der mittels eines dritten vorbestimmten Beleuchtungsmusters der mindestens drei vorbestimmten Beleuchtungsmuster beleuchteten Umgebung aufgenommen wird, wobei - die erste Trainings-Umfeldaufnahme (29.1), die zweite Trainings-Umfeldaufnahme (29.2), die dritte Trainings-Umfeldaufnahme (29.3) mit der mittels des Trainingssensors ermittelten Trainings-Umfeld-Rekonstruktion (27) in Übereinstimmung gebracht werden, insbesondere mittels eines Bildregistrierungs-Verfahrens, wobei - ein erster Bildbereich des Umfeldsensors (5) bestimmt wird, wobei mittels des ersten Bildbereichs des Umfeldsensors (5) eine erste Position der Umgebung erfasst wird, wobei - der erste Bildbereich in der ersten Trainings-Umfeldaufnahme (29.1) als erster Aufnahmebereich ausgewählt wird, wobei - der erste Bildbereich in der zweiten Trainings-Umfeldaufnahme (29.2) als zweiter Aufnahmebereich ausgewählt wird, wobei - der erste Bildbereich in der dritten Trainings-Umfeldaufnahme (29.3) als dritter Aufnahmebereich ausgewählt wird, wobei - der ersten Position anhand der Trainings-Umfeld-Rekonstruktion (27) eine erste Tiefeninformation (31) zugeordnet wird, und der computer-implementierte Algorithmus (19) anhand der ersten Tiefeninformation (31), des ersten Aufnahmebereichs, des zweiten Aufnahmebereichs und des dritten Aufnahmebereichs trainiert wird.
Computer-implementiertes Verfahren zum Trainieren eines computer-implementierten Algorithmus (19) nach Anspruch 5, wobei - anhand einer ersten Intensität (I₁) des ersten Aufnahmebereichs, einer zweiten Intensität (I₂) des zweiten Aufnahmebereichs und einer dritten Intensität (13) des dritten Aufnahmebereichs eine gemeinsame Phase(φ) und eine absolute Phase (θ) ermittelt wird, wobei - die absolute Phase (θ) zusammen mit der ersten Tiefeninformation (31) in mindestens einem Kennfeld (25) gespeichert wird.
Computerprogramm, umfassend Anweisungen, wobei die Anweisungen eine Rechenvorrichtung (7) veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 4 durchzuführen, wenn das Computerprogramm von der Rechenvorrichtung (7) ausgeführt wird.
Rechenvorrichtung (7), umfassend Mittel zur Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 4.
Analysevorrichtung (3) mit mindestens einem Umfeldsensor (5), einer Beleuchtungseinrichtung (7) und einer Rechenvorrichtung (7) nach Anspruch 8.
Kraftfahrzeug (1) mit einer Analysevorrichtung (3) nach Anspruch 9.