-
Die vorliegende Erfindung betrifft ein Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden, das mindestens zwei Kameras eines Fahrunterstützungssystems eines Kraftfahrzeugs aufweist, wobei die mindestens zwei Kameras überlappende Sichtfelder (FOV) zum Bereitstellen von multifokalem asymmetrischem Stereosehen (Stereo Vision) aufweist.
-
Fahrunterstützungssysteme, wie beispielsweise Fahrerassistenzsysteme, sind Systeme, die entwickelt wurden, um Fahrzeugsysteme hinsichtlich der Sicherheit und verbessertem Fahrverhalten zu automatisieren, anzupassen und zu verbessern. Sicherheitsmerkmale sind dafür ausgelegt, Kollisionen und Unfälle zu vermeiden, indem sie Technologien bereitstellen, die den Fahrer vor möglichen Problemen warnen oder Kollisionen durch Implementieren von Sicherheitsmaßnahmen und Übernahme der Fahrzeugkontrolle vermeiden. In autonomen Fahrzeugen stellen die Fahrunterstützungssysteme Eingaben zum Ausführen einer Steuerung des Fahrzeugs bereit. Adaptive Merkmale können die Beleuchtung automatisieren, eine adaptive Geschwindigkeitsregelung bereitstellen, den Bremsvorgang automatisieren, Verkehrswarnungen integrieren, mit Smartphones kommunizieren, z.B. den Fahrer hinsichtlich anderer Autos oder verschiedenartiger Gefahren warnen, das Fahrzeug in der korrekten Fahrspur halten, oder anzeigen, was sich in toten Winkeln befindet. Fahrunterstützungssysteme, die die vorstehend erwähnten Fahrerassistenzsysteme beinhalten, basieren häufig auf Eingaben von mehreren Datenquellen, wie beispielsweise von im Kraftfahrzeug installierten bildgebenden Einrichtungen, Bildverarbeitung, Radarsensoren, LiDAR, Ultraschallsensoren und anderen Quellen. Neuronale Netzwerke sind kürzlich für die Verarbeitung solcher Eingaben von Daten in Fahrerassistenzsystemen oder allgemein in Fahrunterstützungssystemen einbezogen worden.
-
In letzter Zeit sind Fahrunterstützungssysteme für Kraftfahrzeuge, die Fahrerassistenzsysteme beinhalten, die Rundumsichtsysteme aufweisen, immer populärer geworden. Darüber hinaus gab es einen sprunghaften Anstieg bei der Erforschung konvolutioneller neuronaler Netzwerke (CNNs). Ihr Design ist durch die Erhöhung der Rechenleistung in Computerarchitekturen unterstützt worden.
-
Rundumsichtsysteme in sogenannten hochentwickelten Fahrerassistenzsystemen (ADAS) sind bisher auf einzelne Kameratypen beschränkt gewesen, d.h. auf Systeme, die nur einen Kameratyp aufweisen, z.B. nur Fischaugenkameras oder nur Lochkameras, die symmetrisches Stereosehen ermöglichen, im Gegensatz zu asymmetrischem Stereosehen. Die vorliegende Erfindung ist bestrebt, ein derartiges asymmetrisches Stereosehen zu ermöglichen, indem ein Verfahren zum Rekonstruieren von Bildern einer Szene bereitgestellt wird, die durch ein multifokales Kamerasystem mit mindestens zwei Kameras eines Fahrunterstützungssystems eines Kraftfahrzeugs aufgenommen werden, das in der Lage ist, asymmetrische Stereoinformation von aufgenommenen Bildern, z.B. Tiefen- und dreidimensionalen (3D) Rekonstruktionen, zu extrahieren.
-
Konvolutionelle neuronale Netzwerke (CNNs) sind äußerst erfolgreich bei Klassifizierungs- und Kategorisierungsaufgaben, aber ein großer Teil der Forschung befasst sich mit photometrischen Standard-RGB-Bildern und konzentriert sich nicht auf eingebettete Fahrzeugvorrichtungen. Fahrzeughardware muss einen niedrigen Stromverbrauch und damit eine geringe Rechenleistung haben.
-
Beim maschinellen Lernen ist ein konvolutionelles neuronales Netzwerk eine Klasse tiefer, vorwärtsgekoppelter künstlicher neuronaler Netzwerke, die erfolgreich zur Analyse visueller Bilder verwendet wurde. CNNs verwenden eine Variation mehrschichtiger Perzeptronen, die so designt sind, dass sie eine minimale Vorverarbeitung erfordern. Konvolutionelle Netzwerke wurden durch biologische Prozesse inspiriert, bei denen das Konnektivitätsmuster zwischen Neuronen durch die Organisation des tierischen visuellen Kortex inspiriert ist. Einzelne kortikale Neuronen reagieren auf Stimuli nur in einem eingeschränkten Bereich des visuellen Feldes, der als rezeptives Feld bekannt ist. Die rezeptiven Felder verschiedener Neuronen überlappen sich teilweise derart, dass sie das gesamte visuelle Feld abdecken.
-
CNNs verwenden im Vergleich zu anderen Bildklassifizierungsalgorithmen relativ wenig Vorverarbeitung. Dies bedeutet, dass das Netzwerk die Filter lernt, die in herkömmlichen Algorithmen von Hand entwickelt wurden. Diese Unabhängigkeit von vorherigem Wissen und menschlichem Arbeitsaufwand beim Merkmalsdesign ist ein großer Vorteil. CNNs finden Anwendung in der Bild- und Videoerkennung, Empfehlungssystemen und natürlicher Sprachverarbeitu ng.
-
In dieser Hinsicht offenbart die
US 2017/300767 A1 ein Verfahren und ein System zur Straßenszenenerfassung unter Verwendung eines Fahrzeugkamerasystems, das mehrere Kameras aufweisen kann, wobei das Verfahren das Empfangen mindestens eines Bildes von einer Kamera durch eine Verarbeitungseinrichtung mit mindestens zwei parallelen Verarbeitungskernen aufweist. Die Verarbeitungseinrichtung erzeugt mehrere Ansichten von dem mindestens einen Bild, die ein Merkmalsprimitiv enthalten, das ein Fahrzeug oder andere Straßenszenenobjekte von Interesse anzeigt, wie beispielsweise einen Fußgänger. Unter Verwendung jedes der parallelen Verarbeitungskerne wird ein Satz von Merkmalsprimitiven von einer oder mehreren der mehreren Ansichten unter Verwendung von maschinellem Lernen und/oder klassischen Computer-Vision-Techniken identifiziert. Die Verarbeitungseinrichtung gibt basierend auf den mehreren Ansichten Ergebnisprimitive aus, die auf den mehreren identifizierten Merkmalsprimitiven basieren, die die mehreren identifizierten Objekte anzeigen.
-
Fahrunterstützungssysteme, wie beispielsweise Fahrerassistenzsysteme oder hochentwickelte Fahrerassistenzsysteme (ADAS), sind eines der am schnellsten wachsenden Segmente in der Automobilelektronik, und es besteht ein Bedarf an verbesserten Verfahren und Systemen zum Rekonstruieren von Bildern, die durch mehrere Kameras von Kamerasystemen von Kraftfahrzeugen aufgenommen werden.
-
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren zum Rekonstruieren von Bildern einer Szene anzugeben, die durch ein multifokales Kamerasystem mit mindestens zwei Kameras eines Fahrunterstützungssystems eines Kraftfahrzeugs aufgenommen werden, das in der Lage ist, asymmetrische Stereoinformation von aufgenommenen Bildern zu extrahieren, z.B. Tiefen- und dreidimensionale (3D) Rekonstruktionen.
-
Die Lösung dieser Aufgabe erfolgt durch den Gegenstand der unabhängigen Ansprüche. Bevorzugte Ausgestaltungen sind in den Unteransprüchen angegeben.
-
Erfindungsgemäß ist ein Verfahren zum Rekonstruieren von Bildern einer Szene angegeben, die durch ein multifokales Kamerasystem mit mindestens zwei Kameras eines Fahrunterstützungssystems eines Kraftfahrzeugs aufgenommen werden, wobei die Sichtfelder (FOV) der mindestens zwei Kameras sich überlappen, um multifokales asymmetrisches Stereosehen bereitzustellen, mit den Schritten:
- - Bereitstellen von Bildern, die durch jede der mindestens zwei Kameras aufgenommen werden,
- - Extrahieren der dreidimensionalen (3D) Information vom Überlappungsbereich der Sichtfelder (FOV) der Bilder und Berechnen der Structure-from-Motion-(SFM)-basierten Tiefenschätzung,
- - Berechnen der Structure-from-Motion-(SFM)-basierten Tiefenschätzung für andere Bereiche monokularer Ansichten,
- - Verwenden dieser Tiefe als Startinformation zum Verfeinern der Structure-from-Motion-(SFM) basierten Tiefenschätzung,
- - Ausführen einer Bündelanpassung zum gemeinsamen Verfeinern der Structure-from-Motion- (SFM) basierten Tiefenschätzung,
- - Clusterbildung und Erhalten von Objekten um das Kraftfahrzeug, und
- - Erhalten der Rekonstruktion.
-
Somit beinhaltet die durch die Erfindung angegebene Lösung das Aufnehmen von Bild-/Rahmeninformation von einer Fischaugenkamera, einer SkyCam und/oder einer Lochkamera (z.B. von einem Kameraüberwachungssystem, CMS) und das anschließende Berechnen von Bildtiefen- und 3D-Rekonstruktionen. Diese Rekonstruktionen können unter Verwendung von Information der überlappenden Sichtfelder (FOV) ausgeführt werden, die durch eine Fischaugenkamera, eine SkyCam und/oder eine Lochkamera (z.B. CMS) aufgenommen werden. Die Aufgabe der Berechnung von Tiefen- oder 3D-Rekonstruktionen ist bereits schwierig. Im Falle der Verwendung von Information eines extrahierten Bereichs, z.B. sowohl von einer Fischaugen- als auch von einer Lochkamera, ist es noch schwieriger, Tiefen- und 3D-Rekonstruktionen unter Verwendung von asymmetrischem Stereosehen zu berechnen. Das erfindungsgemäße Verfahren bietet den wesentlichen Vorteil, dass es in der Lage ist, Bilder von verschiedenen Kameratypen zu berechnen, z.B. von einer Fischaugenkamera, einer SkyCam und/oder einer Lochkamera, deren Sichtfelder (FOV) sich überlappen, wodurch multifokales asymmetrisches Stereosehen ermöglicht wird. Nach dem Extrahieren der dreidimensionalen (3D) Information vom Bild und dem Berechnen der Structure-from-Motion- (SFM) basierten Tiefenschätzung, kann die SFM-basierte Tiefe für andere Bereiche monokularer Ansichten berechnet und als Startinformation zum Verfeinern der SFM-basierten Tiefenschätzung verwendet werden.
-
Es hat sich gezeigt, dass die auf Computer Vision basierende Stereorekonstruktion einer der Kernalgorithmen für den Erfolg autonomer Fahranwendungen ist. Der Prozess der Stereorekonstruktion beinhaltet normalerweise eine Rekonstruktion der dreidimensionalen (3D) Umgebung um ein Fahrzeug herum, was grundsätzlich beim Schätzen der Straßenoberfläche und Messen des Abstands spezifischer Objekten hilfreich ist und außerdem starke visuelle Anhaltspunkte für Objekterfassungs- und Klassifizierungssysteme bereitstellt. Computer-Stereosehen ist der Prozess zum Extrahieren von 3D-Information von Bildrahmen, die durch Kameras erhalten werden, z.B. durch Lochkameras, wie beispielsweise eine CCD- (ladungsgekoppeltes Element) Kamera. Wenn die von einer Szene extrahierte Information durch zwei Kameras (z.B. Lochkameras) erhalten wird, wird dies als bifokales Stereosehen bezeichnet. Wenn die von einer Szene extrahierte Information durch drei Kameras (z.B. Lochkameras) erhalten wird, wird dies als trifokales Stereosehen bezeichnet. Die vorstehend erwähnten zwei Fälle betreffen jedoch symmetrisches Stereosehen, im Gegensatz zur vorliegenden Erfindung, die Verfahren und Systeme zum asymmetrischen Stereosehen bereitstellt, d.h. die von Bildern einer Szene extrahierte Information basiert auf zwei oder mehr unterschiedlichen Kameratypen, z.B. einer Fischaugenkamera, einer SkyCam und/oder einer Lochkamera.
-
Die meisten mit autonomem Fahren in Beziehung stehenden Forschungsarbeiten konzentrieren sich auf eine 3D-Rekonstruktion von zwei Kameras unter Verwendung der Prinzipien von Quad-Stereo. Trifokales Stereosehen hat einen wesentlichen Vorteil gegenüber bifokalem Stereosehen, da mehr visuelle Information von einer zusätzlichen Kamera zur Verfügung steht. Die typischen Stereo-Vision- (Stereosehen) Systeme erfordern zwei kalibrierte Stereopaar-Kameras. In hochentwickelten Fahrerassistenzsystemen (ADAS) werden aber auch Nicht-Stereopaar-Kameras für die dreidimensionale (3D) Rekonstruktion verwendet.
-
Im Gegensatz dazu werden durch die Erfindung Verfahren und Systeme zum Rekonstruieren von Bildern zum Bereitstellen von multifokalem asymmetrischen Stereosehen angegeben, wie beispielsweise von asymmetrischem trifokalem Stereosehen. Durch die Erfindung wird ein Verfahren zum Rekonstruieren der Nahbereichsumgebung unter Verwendung von zwei, drei (für 3D) oder mehr asymmetrischen Kameras angegeben, die an zwei oder mehr Seiten eines Kraftfahrzeugs angeordnet sind. Anstatt sich mit bei symmetrischem Stereosehen auftretenden Problemen zu befassen, wird durch die Erfindung eine Lösung für diese Probleme durch Bereitstellen von Verfahren und Systemen für multifokales asymmetrisches Stereosehen bereitgestellt.
-
Fahrunterstützungssysteme beinhalten Fahrerassistenzsysteme, die bereits bekannt sind und in herkömmlichen Fahrzeugen verwendet werden. Die entwickelten Fahrunterstützungssysteme werden bereitgestellt, um Fahrzeugsysteme hinsichtlich der Sicherheit und besserem Fahrverhalten zu automatisieren, anzupassen und zu verbessern. Sicherheitsmerkmale sind dafür ausgelegt, Kollisionen und Unfälle zu vermeiden, indem sie Technologien bereitstellen, die den Fahrer vor möglichen Problemen warnen oder Kollisionen durch Implementieren von Sicherheitsmaßnahmen und Übernahme der Fahrzeugkontrolle vermeiden. In autonomen Fahrzeugen stellen die Fahrunterstützungssysteme Eingaben zum Ausführen einer Steuerung des Fahrzeugs bereit. Adaptive Merkmale können die Beleuchtung automatisieren, eine adaptive Geschwindigkeitsregelung bereitstellen, den Bremsvorgang automatisieren, Verkehrswarnungen integrieren, mit Smartphones kommunizieren, z.B. den Fahrer hinsichtlich anderer Autos oder verschiedenartiger Gefahren warnen, das Fahrzeug in der korrekten Fahrspur halten, oder anzeigen, was sich in toten Winkeln befindet. Fahrunterstützungssysteme, die die vorstehend erwähnten Fahrerassistenzsysteme beinhalten, basieren häufig auf Eingaben von mehreren Datenquellen, wie beispielsweise von im Kraftfahrzeug installierten bildgebenden Eirichtungen, Bildverarbeitung, Radarsensoren, LiDAR, Ultraschallsensoren und anderen Quellen.
-
Erfindungsgemäß basiert multifokales asymmetrisches Stereosehen auf der Verwendung verschiedener Typen mindestens zweier Kameras, die am Kraftfahrzeug, d.h. am Host-Fahrzeug, z.B. einem autonomen Fahrzeug, montiert sind. Die mindestens zwei Kameras können z.B. eine Fischaugenkamera, eine SkyCam und/oder eine Lochkamera (CMS) aufweisen, deren Sichtfelder (FOV) sich überlappen. Die Überlappungsbereiche der Szene können von verschiedenen Stellen aufgenommen werden, an denen die verschiedenen Kameras montiert sind. Beispielsweise kann die dreidimensionale (3D) Information der Szene von den Überlappungsbereichen einer linken Spiegelkamera, einer rechten Spiegelkamera und einer Rückansichtkamera extrahiert werden, die an dem Kraftfahrzeug, d.h. am Host-Fahrzeug, montiert sind. Alternativ kann die dreidimensionale (3D) Information der Szene von den Überlappungsbereichen einer linken Spiegelkamera, einer rechten Spiegelkamera, einer Rückansichtkamera und einer Frontansichtkamera extrahiert werden, um trifokales asymmetrisches Stereosehen bereitzustellen.
-
Die hierin verwendeten Begriffe „ Frontansichtkamera “, „vordere Kamera“ und „nach vorne gerichtete Kamera“ haben die gleiche Bedeutung wie der Begriff „Frontkamera“. Die Begriffe „Rückansichtkamera“, „hintere Kamera“ oder „nach hinten gerichtete Kamera“ haben die gleiche Bedeutung wie der Begriff „Rückkamera“.
-
Bei asymmetrischem Stereosehen wird die 3D-Information vom Bildrahmen extrahiert. Auf diese Weise kann die Information über eine Szene von mindestens zwei verschiedenen Kameramontagestellen verglichen werden. Die 3D-Information eines Objekts kann durch Analysieren von Relativpositionen des Objekts in drei Ebenen extrahiert werden.
-
Gemäß einer bevorzugten Ausführungsform der Erfindung beinhaltet das Bereitstellen von Bildern durch jede der mindestens zwei Kameras des multifokalen Kamerasystems das Verwenden von drei Kameras zum Bereitstellen von asymmetrischem trifokalem Stereosehen.
-
Gemäß einer bevorzugten Ausführungsform der Erfindung beinhaltet das Berechnen der Structure-from-Motion- (SFM) basierten Tiefenschätzung die Schritte:
- - Ausführen einer Offline-Analyse des Ansichtsfensters (Viewport) und Identifizieren eines gemeinsamen überlappenden Sichtfelds (FOV),
- - Ausführen einer Multi-Kamera-Kalibrierung zum gemeinsamen Lokalisieren der Relativpositionen der mindestens zwei Kameras bezüglich eines gemeinsamen Fahrzeug-Bezugskoordi n atensystems,
- - Ausrichten aller Strahlen des gemeinsamen überlappenden Sichtfeldes (FOV) in einer gemeinsamen koordinatenfreien Darstellung unter Verwendung von Plucker-Koordinaten,
- - Verwenden einer relativen Kalibrierung, um eine epipolare Ausrichtung mindestens zweier Kamerabereiche zu erhalten, unter Verwendung bifokaler, trifokaler oder multifokaler Stereo-Randbedingungen, und
- - Ausführen einer Triangulation in diesen mindestens zwei Kamerabereichen und Erhalten der Structure-from-Motion- (SFM) basierten Tiefenschätzung.
-
In dieser Ausführungsform wird der Schritt zum Ausführen der Offline-Analyse des Ansichtsfensters und zum Identifizieren eines gemeinsamen überlappenden Sichtfelds (FOV), wie vorstehend erwähnt, ausgeführt, weil die am Kraftfahrzeug montierten Kamerasysteme ein gemeinsames Sichtfeld (FOV) bis zu einem bestimmten Bereich haben. Das gemeinsame Sichtfeld (FOV) ist der Bereich, in dem die beiden Kameras die gleiche Szene, aber aus unterschiedlichen Perspektiven, aufnehmen. Anschließend folgt der Schritt zum Ausführen einer Multi-Kamera-Kalibrierung zum gemeinsamen Lokalisieren der Relativpositionen aller Kameras bezüglich eines gemeinsamen Fahrzeug-Bezugskoordinatensystem. Die Relativposition irgendeiner Kamera bezüglich einer anderen Kamera (anderen Kameras) kann unter Verwendung von mechanischer Information des Kraftfahrzeugs und von Standard-Computer-Vision-Algorithmen genau geschätzt werden. Der nächste Schritt besteht darin, alle Strahlen des gemeinsamen überlappenden Sichtfeldes (FOV) unter Verwendung von Plucker-Koordinaten in eine gemeinsame koordinatenfreie Darstellung zu bringen. Die Positionen und Lagen der Kameras können in das Koordinatensystem des Kraftfahrzeugs projiziert werden. Anschließend wird eine relative Kalibrierung verwendet, um eine epipolare Ausrichtung mindestens zweier Kamerabereiche unter Verwendung bifokaler, trifokaler oder multifokaler Stereo-Randbedingungen zu erhalten. Sobald die Relativpositionen der Kameras bekannt sind, können die gemeinsamen FOV-Bereiche verwendet werden, um eine visuelle Odometriekorrektur auszuführen und ein virtuelles Multi-Kamera-Stereosystem zu erzeugen, bei dem die gemeinsamen FOV-Bereiche der mehreren Kameras mehrere Stereobilder für bifokales, trifokales oder multifokales Stereosehen erzeugen. Anschließend wird in diesen Bereichen eine Triangulation ausgeführt und die Tiefenschätzung erhalten. Eine oder mehrere Kameras der mehreren Kameras werden möglicherweise nicht direkt als Stereopaar verwendet, wenn eine große perspektivische Änderung auftreten kann, die die Stereo-Anpassungsfähigkeit beeinflussen könnte. Daher kann im Triangulationsschritt eine nicht-direkte Stereokamera zur Tiefenschätzung verwendet werden.
-
Anschließend wird die Structure-from-Motion- (SFM) basierte Tiefenschätzung für andere Bereiche monokularer Ansichten berechnet. Die Tiefe von den Stereokamerapaaren kann geschätzt werden, und die Nicht-Stereokameras können verwendet werden, um die Tiefe unter Verwendung von Triangulation und Structure-from-Motion weiter zu verbessern. Dann wird die geschätzte Tiefe als Ausgangsinformation zum Verfeinern der Structure-from-Motion- (SFM) basierten Tiefenschätzung verwendet.
-
Anschließend wird eine Bündelanpassung ausgeführt, um die Multi-Kamera-Structure-from-Motion- (SFM) basierte Tiefenschätzung, vorzugsweise zusammen mit der trifokalen StereoTiefe, zu verfeinern. Bündelanpassung ist eine Standardtechnik, die in SFM-basierten Verfahren zum Verfeinern der Rekonstruktion verwendet wird.
-
Dem vorstehenden Schritt folgt Clusterbildung und Erhalten von Objekten, vorzugsweise von statischen Objekten, um das Kraftfahrzeug herum. Sobald eine genaue Rekonstruktion erreicht ist, können die Objekte in der Szene unter Verwendung von Computer-Vision-Objekterfassungsalgorithmen, wie beispielsweise eines konvolutionellen neuronalen Netzwerks (CNN), genau erfasst werden.
-
Daher beinhaltet das erfindungsgemäße Verfahren vorzugsweise ferner das Erfassen von Objekten in der Rekonstruktion unter Verwendung eines Computer-Vision-Objekterfassungsalgorithmus. Das Erfassen von Objekten in der Rekonstruktion unter Verwendung eines Computer-Vision-Objekterfassungsalgorithmus kann die Verwendung eines neuronalen Netzwerks beinhalten, vorzugsweise die Verwendung eines konvolutionellen neuronalen Netzwerks (CNN). Die Vorteile der Verwendung eines CNN in dieser Phase sind, dass CNNs bei Klassifizierungs- und Kategorisierungsaufgaben äußerst erfolgreich sind und visuelle Bilder analysieren können, wie vorstehend beschrieben wurde.
-
Die verschiedenen Schritte des vorstehend beschriebenen erfindungsgemäßen Verfahrens können auch als ein Algorithmus charakterisiert werden, der letztendlich zu der resultierenden Rekonstruktion führt.
-
Durch die Erfindung ist außerdem die Verwendung des hierin beschriebenen Verfahrens in einem Fahrunterstützungssystem eines Kraftfahrzeugs angegeben. Insbesondere wird durch die Erfindung die Verwendung des Verfahrens zum Rekonstruieren von Bildern einer Szene angegeben, die durch ein multifokales Kamerasystem mit mindestens zwei Kameras in einem Fahrunterstützungssystem eines Kraftfahrzeugs aufgenommen werden.
-
Durch die Erfindung ist weiterhin ein Fahrunterstützungssystem für ein Kraftfahrzeug angegeben, das ein multifokales Kamerasystem mit mindestens zwei Kameras aufweist, wobei das Fahrunterstützungssystem dafür konfiguriert ist, das hierin beschriebene Verfahren auszuführen.
-
Vorzugsweise weist das multifokale Kamerasystem eine Fischaugenkamera, eine SkyCam und/oder eine Lochkamera auf. Die Lochkamera kann ein Lochkameraüberwachungssystem (Camera Monitoring System (CMS)) oder eine CCD- (ladungsgekoppeltes Element) Kamera sein.
-
Die mindestens zwei Kameras des multifokalen Kamerasystems können eine nach oben gerichtete Kamera, vorzugsweise eine Dachkamera, eine nach hinten gerichtete Kamera und/oder eine nach vorne gerichtete Kamera aufweisen.
-
Gemäß einer weiteren Ausführungsform der Erfindung weist das multifokale Kamerasystem mindestens drei Kameras auf, vorzugsweise mindestens eine nach oben gerichtete Kamera, wie beispielsweise eine Dachkamera, mindestens eine nach hinten gerichtete Kamera und mindestens eine nach vorne gerichtete Kamera.
-
Vorzugsweise weist das multifokale Kamerasystem drei Kameras, die eine Dachkamera, eine nach hinten gerichtete Kamera und eine nach vorne gerichtete Kamera aufweisen.
-
Durch die Erfindung ist ferner ein nichtflüchtiges computerlesbares Medium angegeben, das darauf gespeicherte Befehle aufweist, die, wenn sie durch einen Prozessor ausgeführt werden, ein Fahrunterstützungssystem veranlassen, das hierin beschriebene Verfahren auszuführen.
-
Durch die Erfindung ist ferner ein multifokales Kamerasystem mit mindestens zwei Kameras eines Fahrunterstützungssystems eines Kraftfahrzeugs angegeben, wobei die mindestens zwei Kameras mindestens eine nach oben gerichtete Kamera, vorzugsweise eine Dachkamera, mindestens eine nach hinten gerichtete Kamera und/oder mindestens eine nach vorne gerichtete Kamera aufweisen.
-
Rundumsichtkamerasysteme sind auf dem Fachgebiet bekannt. In der vorliegenden Ausführungsform der Erfindung ist jedoch eine nach oben gerichtete Kamera, z.B. eine Dachkamera, hinzugefügt, um multifokales Stereosehen rund um das Kraftfahrzeug bereitzustellen.
-
Das Anordnen einer nach oben gerichteten Kamera am Kraftfahrzeug, z.B. einer Dachkamera, bietet den wesentlichen Vorteil, dass einem multifokalen Kamerasystem, z.B. durch Hinzufügen einer nach oben gerichteten Fischaugenkamera, vorzugsweise auf dem Dach des Kraftfahrzeugs, eine zusätzliche Ansicht hinzugefügt wird.
-
Aufgrund der weiten Optik der nach oben gerichteten Kamera, z.B. einer Dachkamera, und der anderen Kamera oder Kameras, die um das Kraftfahrzeug herum angeordnet sind, eröffnet sich eine Möglichkeit für multi- (bi- oder tri-) fokales Stereosehen in den sich überlappenden Sichtfeldern (FOV) der mindestens zwei Kameras des erfindungsgemäßen multifokalen Kamerasystems. Die Vorteile von Stereosehen sind die Rekonstruktion der Tiefe dynamischer Objekte, wie beispielsweise von Fußgängern und sich bewegenden Fahrzeugen, die Erfassung statischer Hindernisse ohne die Anfangsbewegung des Kraftfahrzeugs (d.h. des Ego-Fahrzeugs) und eine potentiell bessere Genauigkeit für die Tiefe statischer Hindernisse, weil die Basislinie zwischen den Kameras fest und bekannt ist. Idealerweise sollten die Hindernisse sich zumindest teilweise innerhalb der sich überlappenden Sichtfelder (FOVs) befinden. Kleine Hindernisse oder Hindernisse in der Nähe des Fahrzeugs können diese Kriterien möglicherweise nicht erfüllen. Allerdings würden beispielsweise stehende Fußgänger und andere Fahrzeuge typischerweise erfasst werden.
-
Es stehen verschiedene Verfahren für Stereosehen zur Verfügung, die z.B. auf epipolarer Entzerrung und/oder Merkmalsanpassung (Feature Matching) basieren. Wenn zwei Kameras vorgesehen sind, die in verschiedene Richtungen zeigen, treten Probleme auf, nicht nur hinsichtlich des Sichtfelds (FOV) der Kameras, sondern auch hinsichtlich der Tatsache, dass die Kameras die Merkmale in der Szene aus sehr unterschiedlichen Winkeln betrachten werden. Diese Merkmale werden in jeder der Kameras sehr unterschiedlich abgebildet, und das Anpassen dieser Merkmale wäre aufgrund der extremen visuellen Disparität des abgebildeten Merkmals sehr schwierig. Die Optik von Fischaugenkameras, die Computer-Vision häufig behindert, stellt jedoch tatsächlich einen wesentlichen Vorteil der Erfindung dar, weil die Kameras, obwohl sie in deutlich unterschiedliche Richtungen zeigen, immer noch den wichtigen Bereich in der Szene unter einem Winkel betrachten, der zwischen den verschiedenen Kameras sehr ähnlich ist.
-
Vorzugsweise weisen die mindestens zwei Kameras des erfindungsgemäßen multifokalen Kamerasystems mindestens eine Fischaugenkamera, mindestens eine SkyCam und/oder mindestens eine Lochkamera auf. Die Lochkamera kann ein Lochkameraüberwachungssystem (CMS) oder eine CCD- (ladungsgekoppeltes Element) Kamera sein. In einer bevorzugten Ausführungsform des erfindungsgemäßen multifokalen Kamerasystems ist die mindestens eine nach oben gerichtete Kamera eine Fischaugenkamera (bzw. eine Kamera mit einem Fischaugenobjektiv).
-
In einer spezifischen Ausführungsform der Erfindung weist das multifokale Kamerasystem zwei Kameras eines Fahrunterstützungssystems eines Kraftfahrzeugs auf, wobei eine Kamera eine Dachkamera ist, vorzugsweise eine Fischaugenkamera, und wobei die andere Kamera eine nach hinten gerichtete Kamera ist. Die Dachkamera und die nach hinten gerichtete Kamera haben ein überlappendes Sichtfeld (FOV).
-
In einer weiteren spezifischen Ausführungsform der Erfindung weist das multifokale Kamerasystem zwei Kameras eines Fahrassistenzsystems eines Kraftfahrzeugs auf, wobei eine Kamera eine Dachkamera ist, vorzugsweise eine Fischaugenkamera, und wobei die andere Kamera eine nach vorne gerichtete Kamera ist. Die Dachkamera und die nach vorne gerichtete Kamera haben ein überlappendes Sichtfeld (FOV).
-
Durch die Erfindung ist auch ein Kraftfahrzeug angegeben, mit:
- einer Datenverarbeitungseinrichtung,
- einem nichtflüchtigen computerlesbares Medium, das darauf gespeicherte Befehle aufweist, die, wenn es durch einen Prozessor ausgeführt werden, ein Fahrunterstützungssystem veranlassen, das hierin beschriebene Verfahren auszuführen, und
- einem Fahrunterstützungssystem für ein Kraftfahrzeug, das ein multifokales Kamerasystem mit mindestens zwei Kameras aufweist, wobei das Fahrunterstützungssystem dafür konfiguriert ist, das hierin beschriebene Verfahren auszuführen.
-
Das in dem Kraftfahrzeug verwendete multifokale Kamerasystem kann wie vorstehend beschrieben konfiguriert sein. Das multifokale Kamerasystem weist mindestens zwei Kameras auf, die mindestens eine nach oben gerichtete Kamera, vorzugsweise eine Dachkamera, mindestens eine nach hinten gerichtete Kamera und/oder mindestens eine nach vorne gerichtete Kamera aufweisen können. Vorzugsweise weisen diese mehreren Kameras mindestens eine Fischaugenkamera, mindestens eine SkyCam und/oder mindestens eine Lochkamera auf, wobei die Lochkamera vorzugsweise ein Lochkameraüberwachungssystem (CMS) oder eine CCD- (ladungsgekoppeltes Element) Kamera ist.
-
Diese und andere Aspekte der Erfindung werden anhand der nachfolgend beschriebenen Ausführungsformen und Beispiele ersichtlich und erläutert. Einzelne Merkmale, die in den Ausführungsformen dargelegt sind, bilden allein oder in Kombination einen Aspekt der vorliegenden Erfindung. Merkmale der verschiedenen Ausführungsformen können von einer Ausführungsform auf eine andere Ausführungsform übertragen werden. Ausführungsformen der vorliegenden Erfindung werden in den folgenden Beispielen näher beschrieben, die lediglich zur Erläuterung dienen und die Erfindung in keiner Weise einschränken sollen.
-
Es zeigen:
- 1 schematisch ein Kraftfahrzeug 1 gemäß einer ersten bevorzugten Ausführungsform, die ein multifokales Kamerasystem mit fünf Kameras aufweist, d.h. mit einer nach vorne gerichteten Kamera, einer nach hinten gerichteten Kamera, einer rechten Spiegelkamera, einer linken Spiegelkamera und einer Dachkamera, wobei die Draufsicht asymmetrisches trifokales Stereosehen unter Verwendung einer Fischaugenkamera, einer SkyCam und einer CMS-Kamera zeigt, wobei Schnittbereiche die überlappenden Sichtfelder (FOV) darstellen;
- 2 schematisch ein Kraftfahrzeug mit einem Fahrunterstützungssystem, das ein multifokales Kamerasystem mit vier Kameras aufweist, d.h. mit einer Frontkamera, einer Rückkamera, einer rechten Spiegelkamera und einer linken Spiegelkamera, wobei außerdem die Bilder dargestellt sind, die durch die jeweiligen Kameras aufgenommen werden, gemäß einer Ausführungsform der Erfindung;
- 3 schematisch eine beispielhafte Ansicht von einer nach oben gerichteten Kamera, in diesem Fall einer auf dem Dach des Kraftfahrzeugs angeordneten Fischaugenkamera;
- 4 schematisch eine beispielhafte Ansicht von einer linken Spiegelkamera (oben) und einer rechten Spiegelkamera (unten);
- 5 schematisch ein Kraftfahrzeug 1, das ein multifokales Kamerasystem mit zwei Kameras aufweist, d.h. mit einer Dachkamera und einer Rückkamera, gemäß einer Ausführungsform der Erfindung. Der schraffierte Bereich zeigt das überlappende Sichtfeld (FOV). Ein einzelnes Merkmal, das als ein Stern markiert ist, ist auf dem Zielobjekt (z.B. ein Fußgänger) markiert, und die Projektionsstrahlen zu den Kameras sind ebenfalls dargestellt. Da der Winkel zwischen den Strahlen ziemlich klein ist, werden die Bilder der Merkmale in den Bildern ziemlich ähnlich sein, so dass eine Anpassung möglich ist; und
- 6 schematisch ein Kraftfahrzeug, das ein multifokales Kamerasystem mit zwei Kameras aufweist, d.h. mit einer Dachkamera und einer Frontkamera, gemäß einer weiteren Ausführungsform der Erfindung, wobei der schraffierte Bereich das überlappende Sichtfeld (FOV) zeigt.
-
1 zeigt schematisch ein Kraftfahrzeug 1 gemäß einer ersten, bevorzugten Ausführungsform mit einem multifokalen Kamerasystem mit fünf Kameras 3, d.h. mit einer Frontkamera 31, einer Rückkamera 32, einer rechten Spiegelkamera 33, einer linken Spiegelkamera 34 und einer Dachkamera 35, gemäß einer Ausführungsform der Erfindung. Die obere Ansicht zeigt asymmetrisches trifokales Stereosehen unter Verwendung einer Fischaugenkamera, einer SkyCam und einer CMS-Kamera. Die Schnittbereiche stellen die überlappenden Sichtfelder (FOV) dar.
-
Gemäß dieser Ausführungsform verwendet ein Fahrunterstützungssystem 2 eines Kraftfahrzeugs 1 ein Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden, das mindestens zwei Kameras 3, in diesem Beispiel fünf Kameras 3, eines Fahrunterstützungssystem 2 eines Kraftfahrzeugs 1 aufweist, wobei die mindestens zwei Kameras 3 überlappende Sichtfelder (FOV) aufweisen, um multifokales asymmetrisches Stereosehen bereitzustellen. In diesem Beispiel überlappen sich die Sichtfelder (FOV) der Frontkamera 31, der Rückkamera 32, der rechten Spiegelkamera 33, der linken Spiegelkamera 34 und der Dachkamera 35.
-
Das Verfahren weist die Schritte auf:
- - Bereitstellen von Bildern, die durch jede der mindestens zwei Kameras 3 aufgenommen werden,
- - Extrahieren der dreidimensionalen (3D) Information von den Überlappungsbereichen der Sichtfelder (FOV) der Bilder und Berechnen der Structure-from-Motion- (SFM) basierten Tiefenschätzung,
- - Berechnung der Structure-from Motion- (SFM) basierten Tiefenschätzung für andere Bereiche monokularen Ansichten,
- - Verwenden dieser Tiefe als Ausgangsinformation zum Verfeinern der Structure-from-Motion- (SFM) basierten Tiefenschätzung,
- - Ausführen einer Bündelanpassung zum gemeinsamen Verfeinern der Structure-from-Motion- (SFM) basierten Tiefenschätzung,
- - Clusterbildung und Erhalten von Objekten um das Kraftfahrzeug 1, und
- - Erhalten der Rekonstruktion.
-
Daher beinhaltet das Verfahren das Erfassen von Bild-/Rahmeninformation von einer Fischaugenkamera, einer SkyCam und/oder einer Lochkamera (z.B. einem Kameraüberwachungssystem, CMS) und das anschließende Berechnen von Bildtiefen- und 3D-Rekonstruktionen. Diese Rekonstruktionen werden unter Verwendung von Information der sich überlappenden Sichtfelder (FOV) erhalten, die durch die Fischaugenkamera, die SkyCam und/oder die Lochkamera 3 des Fahrunterstützungssystems 2 aufgenommen werden. Die Aufgabe der Berechnung von Tiefen- oder 3D-Rekonstruktionen ist bereits schwierig. Im Falle der Verwendung von Information eines extrahierten Bereichs, z.B. sowohl einer Fischaugenkamera 3 als auch einer Lochkamera 3, ist es noch schwieriger, Tiefen- und 3D-Rekonstruktionen unter Verwendung von asymmetrischem Stereosehen zu berechnen. Das erfindungsgemäße Verfahren ist dazu geeignet, Bilder von verschiedenen Typen von Kameras 3 zu berechnen, z.B. von einer Fischaugenkamera, einer SkyCam und/oder einer Lochkamera, deren Sichtfelder (FOV) sich überlappen, wodurch multifokales asymmetrisches Stereosehen ermöglicht wird. Nachdem die dreidimensionale (3D) Information vom Bild extrahiert und die Structure-from-Motion- (SFM) basierte Tiefenschätzung berechnet wurde, kann die SFM-basierte Tiefe für andere Bereiche monokularer Ansichten berechnet und als Ausgangsinformation zum Verfeinern der SFM-basierten Tiefenschätzung verwendet werden.
-
Das bei dieser Ausführungsform verwendete Verfahren beinhaltet das Rekonstruieren der Nahbereichsumgebung des Kraftfahrzeugs 1 unter Verwendung von zwei, drei (für 3D) oder mehr asymmetrischen Kameras 3, die an zwei oder mehr Seiten des Kraftfahrzeugs 1 bereitgestellt werden. Anstatt sich mit bei symmetrischem Stereosehen auftretenden Problemen beschäftigen zu müssen, wird durch die vorliegende Ausführungsform multifokales asymmetrisches Stereosehen bereitgestellt.
-
Fahrunterstützungssysteme 2, die in dem Kraftfahrzeug 1 verwendet werden können, beinhalten Fahrerassistenzsysteme, die bereits bekannt sind und in herkömmlichen Fahrzeugen verwendet werden. Die entwickelten Fahrunterstützungssysteme werden bereitgestellt, um Fahrzeugsysteme hinsichtlich der Sicherheit und verbessertem Fahrverhalten zu automatisieren, anzupassen und zu verbessern. Sicherheitsmerkmale sind dafür ausgelegt, Kollisionen und Unfälle zu vermeiden, indem sie Technologien bereitstellen, die den Fahrer vor möglichen Problemen warnen oder Kollisionen durch Implementieren von Sicherheitsmaßnahmen und Übernahme der Fahrzeugkontrolle vermeiden. In autonomen Fahrzeugen stellen die Fahrunterstützungssysteme 2 Eingaben zum Ausführen einer Steuerung des Fahrzeugs 1 bereit. Adaptive Merkmale können die Beleuchtung automatisieren, eine adaptive Geschwindigkeitsregelung bereitstellen, den Bremsvorgang automatisieren, Verkehrswarnungen integrieren, mit Smartphones kommunizieren, z.B. den Fahrer hinsichtlich anderer Autos oder verschiedenartiger Gefahren warnen, das Fahrzeug in der korrekten Fahrspur halten, oder anzeigen, was sich in toten Winkeln befindet. Fahrunterstützungssysteme, die die vorstehend erwähnten Fahrerassistenzsysteme beinhalten, basieren häufig auf Eingaben von mehreren Datenquellen, wie beispielsweise von im Kraftfahrzeug installierten bildgebenden Einrichtungen, Bildverarbeitung, Radarsensoren, LiDAR, Ultraschallsensoren und anderen Quellen.
-
Multifokales asymmetrisches Stereosehen, das im vorliegenden Beispiel realisiert wird, basiert auf der Verwendung unterschiedlicher Typen mindestens zweier Kameras 3, die am Kraftfahrzeug 1 montiert sind (d.h. am Host-Fahrzeug, beispielsweise einem autonomen Fahrzeug), z.B. einer Fischaugenkamera, einer SkyCam und/oder einer Lochkamera (CMS), deren Sichtfelder (FOV) sich überlappen. Die Überlappungsbereiche der Szene können von verschiedenen Stellen aufgenommen werden, an denen die verschiedenen Kameras 3 montiert sind. Beispielsweise kann die dreidimensionale (3D) Information der Szene von den Überlappungsbereichen einer rechten Spiegelkamera 33, einer linken Spiegelkamera 34 und einer Rückkamera 32 extrahiert werden, die am Kraftfahrzeug 1 montiert sind. Die dreidimensionale (3D) Information der Szene kann alternativ von den Überlappungsbereichen einer rechten Spiegelkamera 33, einer linken Spiegelkamera 34, einer Rückkamera 32 und einer Frontkamera 31 extrahiert werden, um trifokales asymmetrisches Stereosehen bereitzustellen.
-
Diesbezüglich zeigt 2 schematisch ein Kraftfahrzeug 1, das ein multifokales Kamerasystem mit vier Kameras 3 aufweist, und zeigt außerdem die Bilder, die durch die jeweiligen Kameras 3 aufgenommen werden, gemäß einer Ausführungsform der Erfindung. Das Fahrunterstützungssystem 2 weist ein Rundumsichtkamerasystem auf, das mehrere Kameras 3 aufweist. Das Rundumsichtkamerasystem weist eine Frontkamera 31, die eine Vorausrichtung des Fahrzeugs 1 abdeckt, eine Rückkamera 32, die eine Rückwärtsrichtung des Fahrzeugs 1 abdeckt, eine rechte Spiegelkamera 33, die eine rechte Richtung des Fahrzeugs 1 abdeckt, und eine linke Spiegelkamera 34 auf, die eine linke Richtung des Fahrzeugs 1 abdeckt.
-
Unter Verwendung von asymmetrischem Stereosehen wird die 3D-Information vom Bildrahmen extrahiert. Auf diese Weise kann die Information über eine Szene von mindestens zwei verschiedenen Kameramontagepositionen verglichen werden. Die 3D-Information eines Objekts kann durch Analysieren von Relativpositionen des Objekts in drei Ebenen extrahiert werden.
-
Die Berechnung der Structure-from-Motion- (SFM) basierten Tiefenschätzung weist die Schritte auf:
- - Ausführen einer Offline-Analyse des Darstellungsbereichs und Identifizieren eines gemeinsamen überlappenden Sichtfelds (FOV),
- - Ausführen einer Multi-Kamera-Kalibrierung, um die Relativpositionen der mindestens zwei Kameras 3 bezüglich eines gemeinsamen Fahrzeug-Bezugskoordinatensystem gemeinsam zu lokalisieren,
- - Ausrichten aller Strahlen des gemeinsamen überlappenden Sichtfeldes (FOV) in einer gemeinsamen koordinatenfreien Darstellung unter Verwendung von Plucker-Koordinaten,
- - Verwenden einer relativen Kalibrierung zum Erzielen einer epipolaren Ausrichtung mindestens zweier Kamerabereiche unter Verwendung bifokaler, trifokaler oder multifokaler Stereo-Randbedingungen, und
- - Ausführen einer Triangulation in diesen mindestens zwei Kamerabereichen und Erhalten der Structure-from-Motion- (SFM) basierten Tiefenschätzung.
-
Der Schritt zum Ausführen der Offline-Analyse des Darstellungsbereichs und zum Identifizieren eines gemeinsamen überlappenden Sichtfelds (FOV), wie vorstehend erwähnt, wird ausgeführt, da die am Kraftfahrzeug 1 montierten Kamerasysteme 3 ein gemeinsames Sichtfeld (FOV) bis zu einem bestimmten Bereich haben. Das gemeinsame Sichtfeld (FOV) ist der Bereich, in dem die mindestens zwei Kameras 3 die gleiche Szene aber aus unterschiedlichen Perspektiven aufnehmen. Anschließend folgt der Schritt zum Ausführen einer Multi-Kamera-Kalibrierung, um die Relativpositionen aller Kameras 3 in einem gemeinsamen Fahrzeug-Bezugskoordinatensystem gemeinsam zu lokalisieren. Die Relativposition einer beliebigen Kamera 3 bezüglich einer oder mehrerer anderen Kamera(s) 3 wird unter Verwendung mechanischer Information des Kraftfahrzeugs 1 und von Standard-Computer-Vision-Algorithmen genau geschätzt. Der nächste Schritt besteht darin, alle Strahlen des gemeinsamen überlappenden Sichtfeldes (FOV) unter Verwendung von Plucker-Koordinaten in eine gemeinsame koordinatenfreie Darstellung zu bringen. Die Positionen und Lagen der Kameras 3 werden in das Koordinatensystem des Kraftfahrzeugs 1 projiziert. Anschließend wird eine relative Kalibrierung verwendet, um eine epipolare Ausrichtung mindestens zweier Kamerabereiche unter Verwendung von bifokalen, trifokalen oder multifokalen Stereo-Randbedingungen zu erhalten. Sobald die Relativpositionen der Kameras 3 bekannt sind, werden die gemeinsamen FOV-Bereiche verwendet, um eine visuelle Odometriekorrektur auszuführen und ein virtuelles Multi-Kamera-Stereosystem zu erzeugen, in dem die gemeinsamen FOV-Bereiche von den mehreren Kameras 3 mehrere Stereobilder für bifokales, trifokales oder multifokales Stereosehen bilden. Anschließend wird in diesen Bereichen eine Triangulation ausgeführt und wird die Tiefenschätzung erhalten. Eine oder mehrere Kameras 3 der mehreren verwendeten Kameras dürfen nicht direkt als ein Stereopaar verwendet, wenn eine große perspektivische Änderung auftreten könnte, die die Stereo-Anpassungsfähigkeit inhärent beeinflussen könnte. Daher kann im Triangulationsschritt eine nicht-direkte Stereokamera zur Tiefenschätzung verwendet werden.
-
Anschließend wird die Structure-from Motion- (SFM) basierte Tiefenschätzung für andere Bereiche monokularer Ansichten berechnet. Die Tiefe von den Stereokamerapaaren wird geschätzt, und die Nicht-Stereokameras werden verwendet, um die Tiefe unter Verwendung einer Triangulation und Structure-from-Motion weiter zu verbessern. Im Folgenden wird die geschätzte Tiefe als Ausgangsinformation zum Verfeinern der Structure-from-Motion- (SFM) basierten Tiefenschätzung verwendet.
-
Anschließend wird eine Bündelanpassung ausgeführt, um die Multi-Kamera-Structure-from-Motion (SFM) -basierte Tiefenschätzung zusammen mit der trifokalen Stereotiefe zu verfeinern. Bündelanpassung ist eine in SFM-basierten Verfahren verwendete Standardtechnik zum Verfeinern der Rekonstruktion.
-
Dem vorstehenden Schritt folgt dann Clusterbildung und Erhalten von Objekten, vorzugsweise von statischen Objekten, um das Kraftfahrzeug 1 herum. Sobald eine genaue Rekonstruktion erreicht ist, werden die Objekte in der Szene unter Verwendung von Computer-Vision-Objekterfassungsalgorithmen genau erfasst, was in diesem Beispiel ein konvolutionelles neuronales Netzwerk (CNN) ist.
-
Somit werden Objekte in der Rekonstruktion unter Verwendung eines konvolutionellen neuronalen Netzwerks (CNN) erfasst. Die Vorteile der Verwendung eines CNN in dieser Phase sind, dass CNNs bei Klassifizierungs- und Kategorisierungsaufgaben äußerst erfolgreich sind und visuelle Bilder analysieren können, wie vorstehend beschrieben wurde.
-
Das in diesem Beispiel verwendete Fahrunterstützungssystem 2 des Kraftfahrzeugs 1 weist ein multifokales Kamerasystem mit mindestens zwei Kameras 3, z.B. mit zwei oder drei Kameras 3, wobei das Fahrunterstützungssystem 2 dafür konfiguriert ist, das hierin beschriebene Verfahren auszuführen. Das multifokale Kamerasystem weist eine Fischaugenkamera, eine SkyCam und/oder eine Lochkamera 3 auf. Die Lochkamera 3 kann ein Lochkameraüberwachungssystem (CMS) oder eine CCD- (ladungsgekoppeltes Element) Kamera sein. Diesbezüglich zeigt 3 schematisch eine beispielhafte Ansicht von einer nach oben gerichteten Kamera (oder Dachkamera), in diesem Fall einer Fischaugenkamera, die auf dem Dach des Kraftfahrzeugs 1 angeordnet sein kann. 4 zeigt schematisch eine beispielhafte Ansicht von einer linken Spiegelkamera 34 (oben) und von einer rechten Spiegelkamera 33 (unten).
-
Das in diesem Beispiel verwendete Kraftfahrzeug 1 weist eine Datenverarbeitungseinrichtung, ein nichtflüchtiges computerlesbares Medium mit darauf gespeicherten Befehlen, die, wenn sie durch einen Prozessor ausgeführt wird, das Fahrunterstützungssystem 2 veranlassen, das hierin beschriebene Verfahren auszuführen. und ein Fahrunterstützungssystem 2 auf, das ein multifokales Kamerasystem mit mindestens zwei Kameras 3 aufweist, wobei das Fahrunterstützungssystem 2 dafür konfiguriert ist, das hierin beschriebene Verfahren auszuführen.
-
5 zeigt schematisch ein Kraftfahrzeug 1 gemäß einer zweiten Ausführungsform mit einem multifokalen Kamerasystem mit zwei Kameras 3, d.h. mit einer Dachkamera 35 und einer Rückkamera 32. Der schraffierte Bereich zeigt das überlappende Sichtfeld (FOV).
-
6 zeigt schematisch ein Kraftfahrzeug 1 mit einem multifokalen Kamerasystem mit zwei Kameras 3, d.h. mit einer Dachkamera 35 und einer Frontkamera 31, gemäß einer weiteren Ausführungsform der Erfindung. Der schraffierte Bereich zeigt auch hier das überlappende Sichtfeld (FOV).
-
Gemäß diesem Beispiel wird ein multifokales Kamerasystem mit mindestens zwei Kameras 3 eines Fahrunterstützungssystems 2 eines Kraftfahrzeugs 1 bereitgestellt, wobei die mindestens zwei Kameras 3 mindestens eine nach oben gerichtete Kamera, vorzugsweise eine Dachkamera 35, mindestens eine Rückkamera 32 und/oder mindestens eine Frontkamera 31 aufweisen.
-
Die nach oben gerichtete Kamera 3, z.B. eine Dachkamera 35, ermöglicht multifokales Stereosehen rund um das Kraftfahrzeug 1. Das Anordnen einer nach oben gerichteten Kamera 3 auf dem Kraftfahrzeug 1, z.B. einer Dachkamera 35, bietet den wesentlichen Vorteil, dass einem multifokalen Kamerasystem eine zusätzliche Ansicht hinzugefügt wird, z.B. durch Hinzufügen einer nach oben gerichteten Fischaugenkamera 3, z.B. auf dem Dach des Kraftfahrzeugs 1.
-
Aufgrund der weiten Optik der nach oben gerichteten Kamera 3, z.B. einer Dachkamera 35, und der anderen Kamera oder Kameras 3, die um das Kraftfahrzeug 1 herum angeordnet sind, eröffnet sich eine Möglichkeit für multifokales, d.h. bi- oder trifokales, Stereosehen in den sich überlappenden Sichtfeldern (FOV) der mindestens zwei Kameras 3 des erfindungsgemäßen multifokalen Kamerasystems. Die Vorteile von Stereosehen sind die Rekonstruktion der Tiefe dynamischer Objekte, wie beispielsweise Fußgänger und sich bewegende Fahrzeuge, die Erfassung statischer Hindernissen ohne die Anfangsbewegung des Kraftfahrzeugs 1, d.h. des Ego-Fahrzeugs, und eine potenziell bessere Genauigkeit für die Tiefe statischer Hindernissen, da die Basislinie zwischen den Kameras 3 fest und bekannt ist. Idealerweise sollten die Hindernisse zumindest teilweise innerhalb der sich überlappenden Sichtfelder (FOVs) liegen. Kleine Hindernisse oder Hindernisse in der Nähe des Kraftfahrzeugs 1 erfüllen diese Kriterien möglicherweise nicht. Stehende Fußgänger und andere Fahrzeuge können jedoch beispielsweise erfasst werden.
-
Die Optik von Fischaugenkameras, die Computer Vision oft behindern, stellt in diesem Beispiel tatsächlich einen wesentlichen Vorteil dar, da die Kameras 3, obwohl sie in deutlich unterschiedliche Richtungen zeigen, trotzdem den wichtigen Bereich in der Szene unter einem Winkel beobachten, der zwischen den verschiedenen Kameras 3 sehr ähnlich ist.
-
Vorzugsweise weisen die mindestens zwei Kameras 3 des multifokalen Kamerasystems mindestens eine Fischaugenkamera, mindestens eine SkyCam und/oder mindestens eine Lochkamera auf. Die Lochkamera kann ein Lochkameraüberwachungssystem (CMS) oder eine CCD- (ladungsgekoppeltes Element) Kamera sein. In einer bevorzugten Ausführungsform des multifokalen Kamerasystems ist die mindestens eine nach oben gerichtete Kamera eine Fischaugenkamera oder eine Kamera mit einem Fischaugenobjektiv.
-
In einer spezifischeren Ausführungsform weist, wie in 5 dargestellt ist, das multifokale Kamerasystem zwei Kameras 3 eines Fahrunterstützungssystems 2 eines Kraftfahrzeugs 1 auf, wobei eine Kamera 3 eine Dachkamera 35 ist, vorzugsweise eine Fischaugenkamera oder eine SkyCam, und wobei die andere Kamera 3 eine Rückkamera 32 ist, beispielsweise eine SVS-Kamera. Die Dachkamera 35 und die Rückkamera 32 haben ein überlappendes Sichtfeld (FOV). Ein als ein Stern markiertes einzelnes Merkmal ist auf dem Zielobjekt, z.B. einem Fußgänger, dargestellt, und die Projektionsstrahlen zu den Kameras sind ebenfalls dargestellt. Da der Winkel zwischen den Strahlen ziemlich klein ist, werden die Bilder der Merkmale in den Bildern ziemlich ähnlich sein, so dass eine Anpassung möglich ist. Dabei wird die variierende Verzerrung von Fischaugenlinsen außer Acht gelassen. Eine vernünftige Annahme ist jedoch, dass die Merkmale auf lokale Flecken in den Bildern beschränkt sind, und die Verzerrung eines Merkmals lokal nicht so signifikant ist.
-
In einer weiteren spezifischen Ausführungsform weist, wie in 6 dargestellt ist, das multifokale Kamerasystem zwei Kameras 3 eines Fahrunterstützungssystems 2 eines Kraftfahrzeugs 1 auf, wobei eine Kamera 3 eine Dachkamera 35 ist, vorzugsweise eine Fischaugenkamera, und wobei die andere Kamera 3 eine Frontkamera 31 ist. Die Dachkamera 35 und die Frontkamera 31 haben überlappende Sichtfelder (FOV).
-
Bezugszeichenliste
-
- 1
- Kraftfahrzeug
- 2
- Fahrunterstützungssystem
- 3
- Kamera
- 31
- Frontkamera
- 32
- Rückkamera
- 33
- rechte Spiegelkamera
- 34
- linke Spiegelkamera
- 35
- Dachkamera
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
