DE102014218027A1 - Vorrichtungen zur Bilderfassung im Bereich eines Kraftfahrzeugs - Google Patents

Vorrichtungen zur Bilderfassung im Bereich eines Kraftfahrzeugs Download PDF

Info

Publication number
DE102014218027A1
DE102014218027A1 DE102014218027.9A DE102014218027A DE102014218027A1 DE 102014218027 A1 DE102014218027 A1 DE 102014218027A1 DE 102014218027 A DE102014218027 A DE 102014218027A DE 102014218027 A1 DE102014218027 A1 DE 102014218027A1
Authority
DE
Germany
Prior art keywords
camera
light field
motor vehicle
field camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102014218027.9A
Other languages
English (en)
Inventor
Heiko Freienstein
Josef Kolatschek
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102014218027.9A priority Critical patent/DE102014218027A1/de
Publication of DE102014218027A1 publication Critical patent/DE102014218027A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • G06T3/12—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/108—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 'non-standard' camera systems, e.g. camera sensor used for additional purposes i.a. rain sensor, camera sensor split in multiple image areas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Abstract

Die Erfindung betrifft eine Vorrichtung zur Bilderfassung im Bereich eines Kraftfahrzeugs (10) mit mindestens einer Lichtfeldkamera (16, 18, 20, 22).

Description

  • Stand der Technik
  • Die vorliegende Erfindung bezieht sich auf eine Vorrichtung zur Bilderfassung im Bereich eines Kraftfahrzeugs.
  • Eine Umgebungserfassung durch optische Sensorik in Kraftfahrzeugen ist ein wichtiges Thema für Komfortfunktionen, wie beispielsweise ein automatisches Einparken, für Funktionen der aktiven Sicherheit, wie beispielsweise eine automatische Notbremsung, sowie für Funktionen der passiven Sicherheit, beispielsweise einer Vorkonditionierung von Algorithmen für eine Crashklassifikation. Systeme, die Funktionen für die Fahrzeugsicherheit realisieren, z. B. Pre-Crash-Systeme sind in „Coote, Integrated Safety by Pre-Crash Triggering, ECE / WP 29 /IST Informal Group, Nov 18., 2005, Geneva“ beschrieben.
  • Hierbei helfen Tiefeninformationen, wie dichte Tiefenkarten oder 3D-Informationen, über einen Bereich um ein Kraftfahrzeug herum, diese Umgebung und darin enthaltene Umgebungsobjekte zu erkennen und zu klassifizieren. Beispielsweise ist das Problem der sogenannten „Figur-Hintergrund-Trennung“ aus einem einzelnen Stereo-Kamera-Bild, welches 3D-Informationen enthält, deutlich einfacher zu lösen als aus einem Mono-Kamera-Bild. Das Umgebungsobjekt, z.B. ein Fußgänger, hebt sich hier aus der Szene aufgrund der Tiefeninformationen deutlich ab und ist von der restlichen Umgebung, z.B. einem texturierten Hintergrund, sehr deutlich zu unterscheiden. Ist diese Trennung erfolgt, dann können der Bewegungszustand, die Objektgröße oder sogar die dreidimensionale Kontur als wichtige Merkmale für eine darauffolgende Klassifikation verwendet werden. Die korrekte Klassifikation bildet dann wiederum die Grundlage für die bereits genannten Funktionen, deren Auswertungen auf den Klassifikationsergebnissen basieren.
  • Die Erfassung von Tiefeninformationen über den Bereich um das Kraftfahrzeug ist also ein möglicher Schlüssel zu einer sicheren und robusten Interpretation der Umgebung basierend auf Sensordaten.
  • Gut verwertbare Sensordaten liefern tiefenmessende Verfahren wie beispielsweise Stereo-Kamera-Messungen, 3D-Kamera-Messungen, die z.B. Entfernungen nach dem Konzept der „Time-of-Flight“ ermitteln oder Lidar-Systeme. Auch Mono-Kamera-Systeme können eingesetzt werden, wie dies beispielsweise in „Galic, Grimm; Sehtest für Kamerasysteme, Elektronik Automotive, EKA 2010 / 12, 2010“ beschrieben wird.
  • Zur Gewinnung der Tiefeninformationen können z.B. Grauwertbilder klassifiziert werden. Alternativ können Modelle von bewegten Objekten oder Objekten im Raum unter Annahmen bestimmter Gegebenheiten geschätzt werden, wie dies beispielsweise in „S. S. Beauchemin, J. L. Barron (1995). The computation of optical flow. ACM New York, USA.“ beschrieben ist. Die Tiefeninformationen und die Bestimmung eines Bewegungszustands eines Objektes müssen hier jedoch vergleichsweise aufwändig und auf indirekte Weise berechnet werden.
  • Zwei Sensortechnologien, die für das Manövrieren des Fahrzeugs eingesetzt werden können, werden im Folgenden hervorgehoben.
    • • Sogenannte Surround-View-Kamera-Systeme, die eine Rundumsicht, also eine Darstellung in Vogelperspektive, bereitstellen. Diese Systeme generieren die Rundumsicht typischerweise aus einer Vielzahl an Bildern verschiedener Kameras, die um das Fahrzeug herum angeordnet sind.
    • • Die Überwachung des nahen Fahrzeugumfeldes, typischerweise für Manövrierhilfen im Niedriggeschwindigkeitsbereich, mit Nahbereichssensoren, wie beispielsweise Ultraschallabstandssensoren. Ein derartiges System ist in „Transport information and control systems – Manoeuvring Aids for Low Speed Operation (MALSO) – Performance requirements and test – Procedures, INTERNATIONAL STANDARD ISO 17386:2010(E)” beschrieben.
  • Eine weitere Technologie zur Gewinnung von Tiefeninformationen sind Lichtfeldkameras, die auch als plenoptische Kameras oder Light-Field-Kameras bezeichnet werden.
  • Diese Art der Kameras erzeugen direkt Tiefeninformationen aus einem Monokamerabild. Wie in „Adelson, Wang, Single Lens Stereo with a Plenoptic Camera, IEEE, Pattern Analysis and Machine Intelligence, 1992“ beschrieben, werden derartige Kameras eingesetzt, um mit einem einzelnen Objektiv, dem Hauptobjektiv, und mit einem algorithmischen Ansatz Tiefeninformationen zu erhalten, wobei der algorithmische Ansatz Ähnlichkeiten zu einem Stereo-Matching hat.
  • Das Prinzip dieser Kameras wird z.B. in „Drazic, OPTIMAL DEPTH RESOLUTION IN PLENOPTIC IMAGING, IEEE, 2010“ beschrieben. Eine aufgenommene Szene wird durch das Hauptobjektiv auf eine Anordnung, ein Array, von kleinen Mikrolinsen abgebildet. Die Mikrolinsen brechen das Licht erneut und bilden es auf einem Bildsensor ab. Von der Szene entstehen auf dem Bildsensor so mehrere Bilder aus mehreren Blickwinkeln. Ein Vergleich der Blickwinkel führt, ähnlich wie beim Stereo-Kamera-Konzept zu Tiefeninformationen über die aufgenommene Umgebung. Die dazu eingesetzte Mathematik entspricht dabei einer Disparitätschätzung durch Korrelation.
  • Die Genauigkeit der Tiefenschätzung ist dabei abhängig vom Abstand der aufgenommenen Objekte zur Kamera. Ein großer Imager, wie ein Epic 645 mit 65 Megapixeln, erreicht beispielsweise bei pixelgenauer Disparitätschätzung eine Auflösung von 25 cm auf 5 m Abstand und einen Field Angle von 45°. Diese Art der Tiefensensierung im Nahbereich erreicht somit eine gute Genauigkeit im Bereich bis mindestens 5m.
  • Somit lassen sich gleichzeitig mit einer einzelnen Kamera Tiefeninformationen und ein gewohntes 2D-Bild erzeugen.
  • Offenbarung der Erfindung
  • Vor diesem Hintergrund wird mit der vorliegenden Erfindung eine Vorrichtung der eingangs genannten Art bereitgestellt, mit mindestens einer Lichtfeldkamera.
  • Der Erfindung liegt der Gedanke zugrunde, Lichtfeldkameras in Kraftfahrzeugen einzusetzen, um Tiefeninformationen der näheren Umgebung zu ermitteln. Diese sind insbesondere für Funktionen im Kraftfahrzeug von Vorteil, welche eine räumliche Information im Bereich von ca. 5m Abstand zu der Lichtfeldkamera benötigen.
  • Vorteile der Erfindung ergeben sich auf verschiedene Weisen. Zum einen kann eine Gewinnung der Tiefeninformationen im Gegensatz zu Mono-Kamera-Konzepten ohne komplexe und rechenaufwendige Modellannahmen erfolgen. Somit gestaltet sich die Datenaufbereitung bei Lichtfeldkameras effizienter als bei den Mono-Kamera-Konzepten. Zum anderen gestaltet sich die Datenaufbereitung einfacher als bei Stereo-Kamera-Konzepten durch eine einfachere Korrelationsmöglichkeit.
  • Ein weiterer Vorteil liegt darin, dass der benötigte Einbauraum in etwa dem Einbauraum entspricht, der von Mono-Kameras benötigt wird. Dieser ist deutlich kleiner als der von Stereo-Kamera-Systemen. Dieser Vorteil ist besonders schwerwiegend, da Einbauraum für Kameras in Kraftfahrzeugen generell sehr stark limitiert ist. Durch den relativ geringen benötigten Einbauraum ist es denkbar, bereits bestehende Systeme mit der Lichtfeldkamera nachzurüsten oder bei einer Modellpflege einer Kraftfahrzeugserie einzusetzen, ohne dass wesentliche konstruktive Veränderungen am Kraftfahrzeugs selbst vorgenommen werden müssen. Somit können die zusätzlichen Funktionen, die durch eine Lichtfeldkamera gegenüber einer Mono-Kamera realisiert werden können sehr wirtschaftlich nachgerüstet und bereitgestellt werden.
  • Ein weiterer Vorteil liegt in einem verbesserten Dynamikbereich gegenüber Stereo-Kameras. Hierbei ist zu berücksichtigen, dass eine Lichtfeldkamera typischerweise kreisförmige Unterbilder auf ihrem Bildsensor erzeugt. Standardverfahren der Bildverarbeitung sind auf den kreisförmigen Unterbildern deutlich leistungsfähiger. Beispielsweise kann eine sogenannte Histogram Equalisation auf die Unterbilder der Lichtfeldkamera deutlich effizienter angewendet werden, da die Unterbilder kleine abgeschlossene Einheiten bilden, die einzeln verarbeitet werden. Somit wird ein Kontrast der Bilder in dunklen und sehr hellen Bereichen auf effiziente Weise stark verbessert.
  • Ein weiterer Vorteil liegt in der hohen Störungssicherheit durch Redundanz der Bilder, da ein Gesamtbild in der Lichtfeldkamera aus mehreren Unterbildern zusammengefügt wird. Ein Ausfall eines Bereiches des Bildsensors kann somit erkannt und kompensiert werden
  • Ferner entfällt gegenüber Stereo-Kamera-Konzepten die Notwendigkeit zumindest einer Kalibrierung, da bei Anwendung der Lichtfeldkamera höchstens eine einzelne Kamera kalibriert werden muss. Folglich ist ein Einbau und eine Wartung der Lichtfeldkamera wirtschaftlicher ist als die Wartung einer Stereo-Kamera. Auch ergibt sich aufgrund der höheren Auflösung der Lichtfeldkamera ein Vorteil gegenüber Radar- und Ultraschallabstandssensoren.
  • In einer Ausgestaltung der Erfindung ist die Lichtfeldkamera eine Außenraumkamera.
  • In dieser Ausgestaltung ist die Lichtfeldkamera auf einen Außenbereich des Kraftfahrzeugs, insbesondere außerhalb des Fahrgastraums, gerichtet. Somit kann die Lichtfeldkamera beispielsweise als Frontkamera, insbesondere hinter einer Frontscheibe, als Seitenkamera und/oder als Rückfahrkamera ausgebildet sein. Somit eignet sich die Außenkamera insbesondere für Funktionen im näheren Umfeld des Fahrzeuges wie Manövrierfunktionen, Funktionen der aktiven und Funktionen der passiven Sicherheit.
  • Eine Manövrierfunktion ist zum Beispiel eine Überlagerung von einer Außenbereichsansicht, vorzugsweise einer vogelperspektivischen Sicht, mit kenntlich gemachten Hindernissen, die auf Basis der Tiefeninformationen ermittelt worden sind.
  • Typische Funktionen der passiven Sicherheit sind sogenannte Pre-Crash-Funktionen, die kurz vor einem Aufprall des Kraftfahrzeugs präventiv Aktuatoren aktivieren. Gerade für Pre-Crash-Funktionen sind Vorgänge, die sich im Bereich von wenigen Metern um das Kraftfahrzeug herum abspielen sehr relevant. Derartige Vorgänge können sehr sicher und kostengünstig mittels der Lichtfeldkamera erfasst werden. Eine konkrete Funktion im Bereich der Pre-Crash-Funktionen, die durch den Einsatz der Lichtfeldkamera verbessert werden kann, ist die Seitenabsicherung.
  • Eine typische Funktion der aktiven Sicherheit durch Fahrassistenz ist eine Überwachung der Fahrbahnmarkierungen, welche vor allem ein Mono-Kamera-Bild benötigt. Durch den Einsatz der Lichtfeldkamera kann eine Erweiterung um die Tiefeninformationen erfolgen, wodurch weitere Merkmale, die die Straßenbegrenzung betreffen, ausgewertet werden können. Dies kann beispielsweise das Vorhandensein von und der Abstand zu Leitplanken sein. Mit genauen Abständen zu den Leitplanken kann auch ein verbesserter Spurhalteassistent oder eine verbesserte Warnung bei Engstellen realisiert werden.
  • Als weiter Funktion der aktiven Sicherheit kann die ‚Back-over Avoidance’ verbessert werden. Diese Funktion verhindert das Überfahren von Kindern beim Rückwärtsfahren. Die Verbesserung ist durch ein mit Tiefeninformationen überlagertes Mono-Kamera-Bild realisierbar, das Abstandsinformationen von hinter dem Kraftfahrzeug angeordneten Kindern, Tieren oder Objekten bereitstellt. Ferner ist eine entsprechende in die Kraftfahrzeugführung eingreifende Funktion auf Basis der Tiefeninformationen denkbar, wie beispielsweise einer automatischen Abbremsung.
  • In einer Ausgestaltung der Erfindung weist die Vorrichtung ein Surround-View-Kamera-System auf, das die Lichtfeldkamera aufweist.
  • In dieser Ausgestaltung wird die Lichtfeldkamera als Teil eines Surround-View-Kamera-Systems eingesetzt. Besonders vorteilhaft ist es, wenn alle Kameras des Surround-View-Kamera-Systems Lichtfeldkameras sind. Hieraus ergibt sich die Möglichkeit einer ‚plenoptischen Rundumsicht’ mit einem hohen direkten und synergetischen Nutzen. Bei Nutzung der Lichtfeldkameras für eine vogelperspektivische Darstellung der Umgebung des Kraftfahrzeugs können Hindernisse in die Darstellung eingeblendet werden, die mittels der Tiefeninformationen erkannt wurden. Somit wird eine Sicherheit, insbesondere beim Manövrieren, erhöht. Zudem ist auch hier die Bereitstellung der Informationen über die Hindernisse im Nachbereich für weitere Komfort-Funktionen und Funktionen der aktiven und passiven Sicherheit denkbar.
  • In einer Ausgestaltung der Erfindung ist die Lichtfeldkamera eine Innenraumkamera.
  • In dieser Ausgestaltung ist die Lichtfeldkamera auf einen Innenraum des Kraftfahrzeugs, insbesondere auf den Fahrgastraum, gerichtet.
  • Der Einsatz der Lichtfeldkamera im Innenraum ermöglicht es beispielsweise Funktionen bereitzustellen, die ansonsten ein teureres System benötigen würden, wie ein Stereo-Kamera-System.
  • Eine mögliche Funktion ist eine Sitzbelegungsklassifikation, die nicht nur die Existenz eines Passagiers sondern auch dessen Größe und eventuell dessen Alter bestimmen kann.
  • Eine weitere mögliche Funktion ist die Realisierung einer dreidimensionalen Ermittlung einer Kopfposition eines Fahrers oder Passagiers. Diese kann beispielsweise dazu eingesetzt werden eine automatische Einstellung der Airbags, der Rückspiegel oder Sonnenblenden vorzunehmen, um diese an die tatsächliche Kopfposition des Fahrers anzupassen. Auch ist es denkbar die Informationen der Lichtfeldkamera für eine automatische Sitzverstellung oder Kopfstützeneinstellung einzusetzen.
  • Weiter ist es denkbar die Informationen der Lichtfeldkamera für eine automatische Aktivierung und/oder Deaktivierung einer Mensch-Maschine-Schnittstelle einzusetzen. Zum Beispiel durch Ermittlung der Kopfhaltung und damit einer Blickrichtung des Fahrers.
  • In einer weiteren Ausgestaltung weist die Vorrichtung einen Lichtmusterprojektor auf, der ein Lichtmuster in einen Erfassungsbereich der Lichtfeldkamera projizieren kann.
  • In dieser Ausgestaltung kann der Erfassungsbereich der Lichtfeldkamera von einem Lichtprojektor mit einem Lichtmuster beaufschlagt werden. Die Auswertung der Lichtmuster auf dreidimensionale Informationen erfolgt entsprechend mit der Lichtfeldkamera. Die Lichtmuster verbessern dabei durch ihren bekannten Verlauf die Ermittlung der Tiefeninformationen. Zudem erweitert die Anwendung von Lichtmustern den Bereich, in dem Tiefeninformationen von der Lichtfeldkamera ermittelt werden können.
  • Alternativ kann eine Lichtfeldkamera mit einer kleineren Basisweite eingesetzt werden, denn schon die damit erfassbaren, geringfügigen Winkelunterschiede sind zusammen mit den Lichtmustern ausreichend und machen eine Ermittlung der Tiefeninformationen möglich. Dies folgt insbesondere daraus, dass hier ein Beleuchtungswinkel mit sehr kleiner Basis ein sehr großes sogenanntes Displacement korrespondierender Punkte darstellt.
  • Ferner betrifft die Erfindung eine Lichtfeldkamera für ein Kraftfahrzeug, mit mindestens einem Hauptobjektiv, einem Bilderfassungssensor, das eine Vielzahl von Sensorelementen aufweist, und mit einer Mikrolinsenanordnung, die eine Vielzahl an Mikrolinsen aufweist, wobei jede Mikrolinse mit einer Gruppe der Sensorelemente zusammenwirkt, dadurch gekennzeichnet, dass die Mikrolinsenanordnung Mikrolinsen in mindestens zwei unterschiedliche Größen aufweist.
  • Die vorgeschlagene Lichtfeldkamera entspricht grundsätzlich den bekannten baulichen Konzepten, wobei sie im Gegensatz zum Stand der Technik eine verbesserte Mikrolinsenanordnung (Linsen-Array) aufweist. Die Mikrolinsenanordnung ist inhomogen ausgebildet, wobei sie Mikrolinsen verschiedener Größen aufweist. Diese optische Vorrichtung im Bereich des Bildsensors macht die Lichtfeldkamera robust gegen Störungen durch periodische Strukturen. Derartige Störungen sind ein typisches Problem bei Stereo-Kamera-Systemen, so dass hier die vorgeschlagene Lichtfeldkamera eine höhere Fehlerrobustheit bereitstellt.
  • Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
  • 1 ein Kraftfahrzeug mit einem Surround-View-Kamera-System, das Lichtfeldkameras aufweist, und
  • 2 ein Flussdiagramm einer erfindungsgemäßen Vorrichtung.
  • In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
  • 1 zeigt ein Kraftfahrzeug 10, dessen Fahrtrichtung in Richtung eines Pfeils 12 führt. Das Kraftfahrzeug 10 weist ein Surround-View-Kamera-System 14 auf, das vier Lichtfeldkameras 16, 18, 20 und 22 besitzt. Hierbei ist die Lichtfeldkamera 16 eine Frontkamera 16, welche hinter einer Windschutzscheibe des Kraftfahrzeugs 10 angeordnet ist. Die Lichtfeldkameras 18 und 20 sind als Seitenkameras 18 und 20 ausgebildet. Sie sind auf zwei gegenüberliegenden Seiten des Kraftfahrzeugs 10 angeordnet. die Lichtfeldkamera 22 ist zudem als Rückfahrkamera 22 ausgebildet.
  • Jeder der Lichtfeldkameras 16, 18, 20 und 22 ist eine Vorverarbeitungseinheit 24 zugeordnet mit der sie über entsprechende Datenleitungen signaltechnisch verbunden sind. Die Vorverarbeitungseinheiten 24 führen Bildvorverarbeitungsalgorithmen aus, zum Beispiel zur Bilddatenkompression, Bilddatenkorrektur (Rectification), Merkmalsextraktion oder zur Ermittlung der Tiefeninformationen.
  • Die in den Vorverarbeitungseinheiten 24 bereitgestellten Informationen werden über Datenleitungen an eine erste Steuer- und Auswerteeinheit 26 weitergeleitet. Die Steuer- und Auswerteeinheit 26 realisiert auf Basis der erhaltenen Informationen entsprechende Funktionen innerhalb des Kraftfahrzeugs 10, beispielsweise Sicherheitsfunktionen.
  • In dem dargestellten Beispiel weist das Kraftfahrzeug 10 zusätzlich noch eine zweite Steuer- und Auswerteeinheit 28 auf, der die Informationen aus den Vorverarbeitungseinheiten 24 über eine Datenleitung übermittelt werden. Die zweite Steuer- und Auswerteeinheit 28 ist für weniger relevante Funktionen zuständig, wie beispielsweise Komfortfunktionen, wodurch die erste Steuer- und Auswerteeinheit 26 entlastet wird.
  • Die Frontkamera 16 weist einen Erfassungsbereich 30 auf, dessen Öffnungskegel hier gestrichelt dargestellt ist. In entsprechender Weise sind für die Seitenkameras 18 und 20 sowie für die Rückfahrkamera 22 weitere Erfassungsbereiche 32, 34 und 36 dargestellt.
  • Es wird deutlich, dass sich die Erfassungsbereiche 30, 32, 34 und 36 überschneiden. Hierdurch wird es ermöglicht das Surround-View-Kamera-System zu realisieren, da gewährleistet ist, dass die gesamte Umgebung nahtlos erfasst wird. Insgesamt wird es ermöglicht eine vogelperspektivische Darstellung der Umgebung des Kraftfahrzeugs 10 in einem Bereich 38 zu erzeugen.
  • Der Einsatz der Lichtfeldkameras 16, 18, 20 und 22 ermöglicht dabei sowohl die Darstellung der zweidimensionalen Information als auch die Darstellung von Tiefeninformationen, wie beispielsweise die Lage, Position und Höhe von Hindernissen in dem Bereich 38.
  • 2 zeigt ein Flussdiagramm einer erfindungsgemäßen Vorrichtung 40.
  • Ausgehen von der Frontkamera 16 werden Bilddaten an die entsprechende Vorverarbeitungseinheit 24 weitergeleitet. Diese führt eine Bilddatenkompression, eine Bilddatenkorrektur, z.B. eine Entzerrung, Merkmalsextraktionen und eine Ermittlung der Tiefeninformationen durch.
  • Anschließend wird über eine Datenleitung 42 ein vorverarbeitetes Bild an die Steuer- und Auswerteeinheit 26 weitergeleitet. Dieses Bild kann beispielsweise eine vorverarbeitete Infrarot-Abbildung, ein vorverarbeitetes Grauwertbild oder ein vorverarbeitetes Farbbild sein. Weiter werden über die Datenleitung 42 die extrahierten Merkmale an die Steuer- und Auswerteeinheit 26 weitergegeben.
  • Über eine weitere Datenleitung 44 werden die ermittelten Tiefeninformationen an die Steuer- und Auswerteeinheit 26 weitergeleitet.
  • In entsprechender Weise wird ausgehen von der Seitenkamera 18 verfahren, wobei die Datenleitung 46 der Datenleitung 42 und die Datenleitung 48 der Datenleitung 44 entspricht.
  • In der Steuer- und Auswerteeinheit 26 erfolgt eine Datenfusion in Abhängigkeit der aus den Datenleitungen 42, 44, 46 und 48 empfangenen Daten. Hieraus ergeben sich Gesamtdaten, die von höheren Funktionen, wie Sicherheits- oder Komfortfunktionen, interpretiert werden können.
  • Die Gesamtdaten werden hier anschließend für Komfortfunktionen 50, einer Fahrassistenzfunktion 52 in Form einer Blind Spot Detection und Sicherheitsfunktionen 54 bereitgestellt.
  • Somit können Tiefeninformationen sehr einfach und wirtschaftlich ermittelt und für ein Kraftfahrzeug zur Verfügung gestellt werden.
  • Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden.
  • Umfasst ein Ausführungsbeispiel eine „und/oder“ -Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Nicht-Patentliteratur
    • Coote, Integrated Safety by Pre-Crash Triggering, ECE / WP 29 /IST Informal Group, Nov 18., 2005, Geneva [0002]
    • Galic, Grimm; Sehtest für Kamerasysteme, Elektronik Automotive, EKA 2010 / 12, 2010 [0005]
    • S. S. Beauchemin, J. L. Barron (1995). The computation of optical flow. ACM New York, USA [0006]
    • ISO 17386:2010(E) [0007]
    • Adelson, Wang, Single Lens Stereo with a Plenoptic Camera, IEEE, Pattern Analysis and Machine Intelligence, 1992 [0009]
    • Drazic, OPTIMAL DEPTH RESOLUTION IN PLENOPTIC IMAGING, IEEE, 2010 [0010]

Claims (6)

  1. Vorrichtung (40) zur Bilderfassung im Bereich eines Kraftfahrzeugs (10) mit mindestens einer Lichtfeldkamera (16, 18, 20, 22).
  2. Vorrichtung (40) nach Anspruch 1, dadurch gekennzeichnet, dass die Lichtfeldkamera (16, 18, 20, 22) eine Außenraumkamera (16, 18, 20, 22) ist.
  3. Vorrichtung (40) nach Anspruch 2, mit einem Surround-View-Kamera-System (14), das die Lichtfeldkamera (16, 18, 20, 22) aufweist.
  4. Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Lichtfeldkamera eine Innenraumkamera ist.
  5. Vorrichtung nach einem der Ansprüche 1 bis 4, gekennzeichnet durch einen Lichtmusterprojektor, der ein Lichtmuster in einen Erfassungsbereich (30, 32, 34, 36) der Lichtfeldkamera (16, 18, 20, 22) projizieren kann.
  6. Lichtfeldkamera (16, 18, 20, 22) für ein Kraftfahrzeug (10), mit mindestens einem Hauptobjektiv, einem Bilderfassungssensor, das eine Vielzahl von Sensorelementen aufweist, und mit einer Mikrolinsenanordnung, die eine Vielzahl an Mikrolinsen aufweist, wobei jede Mikrolinse mit einer Gruppe der Sensorelemente zusammenwirkt, dadurch gekennzeichnet, dass die Mikrolinsenanordnung Mikrolinsen in mindestens zwei unterschiedliche Größen aufweist.
DE102014218027.9A 2013-12-20 2014-09-09 Vorrichtungen zur Bilderfassung im Bereich eines Kraftfahrzeugs Withdrawn DE102014218027A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102014218027.9A DE102014218027A1 (de) 2013-12-20 2014-09-09 Vorrichtungen zur Bilderfassung im Bereich eines Kraftfahrzeugs

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102013226993.5 2013-12-20
DE102013226993 2013-12-20
DE102014218027.9A DE102014218027A1 (de) 2013-12-20 2014-09-09 Vorrichtungen zur Bilderfassung im Bereich eines Kraftfahrzeugs

Publications (1)

Publication Number Publication Date
DE102014218027A1 true DE102014218027A1 (de) 2015-06-25

Family

ID=53275581

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014218027.9A Withdrawn DE102014218027A1 (de) 2013-12-20 2014-09-09 Vorrichtungen zur Bilderfassung im Bereich eines Kraftfahrzeugs

Country Status (1)

Country Link
DE (1) DE102014218027A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015224185A1 (de) 2015-12-03 2017-06-08 Volkswagen Aktiengesellschaft Vorrichtung zum Erfassen und Anzeigen einer Fahrzeugumgebung in einem Fahrzeug
US10692192B2 (en) * 2014-10-21 2020-06-23 Connaught Electronics Ltd. Method for providing image data from a camera system, camera system and motor vehicle

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Adelson, Wang, Single Lens Stereo with a Plenoptic Camera, IEEE, Pattern Analysis and Machine Intelligence, 1992
Coote, Integrated Safety by Pre-Crash Triggering, ECE / WP 29 /IST Informal Group, Nov 18., 2005, Geneva
Drazic, OPTIMAL DEPTH RESOLUTION IN PLENOPTIC IMAGING, IEEE, 2010
Galic, Grimm; Sehtest für Kamerasysteme, Elektronik Automotive, EKA 2010 / 12, 2010
ISO 17386:2010(E)
S. S. Beauchemin, J. L. Barron (1995). The computation of optical flow. ACM New York, USA

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10692192B2 (en) * 2014-10-21 2020-06-23 Connaught Electronics Ltd. Method for providing image data from a camera system, camera system and motor vehicle
DE102015224185A1 (de) 2015-12-03 2017-06-08 Volkswagen Aktiengesellschaft Vorrichtung zum Erfassen und Anzeigen einer Fahrzeugumgebung in einem Fahrzeug
DE102015224185B4 (de) 2015-12-03 2019-03-28 Volkswagen Aktiengesellschaft Vorrichtung zum Erfassen und Anzeigen einer Fahrzeugumgebung in einem Fahrzeug und Fahrzeug mit einer solchen Vorrichtung

Similar Documents

Publication Publication Date Title
DE102016216883B4 (de) Fahrunterstützungsvorrichtung und Fahrunterstützungsverfahren
DE102011088130B4 (de) Verfahren und Vorrichtung zur Erkennung einer Bremssituation
EP3109096B1 (de) Anzeigeeinrichtung für fahrzeuge, insbesondere nutzfahrzeuge
DE102017201717A1 (de) Visuelles rückfahrsystem für ein fahrzeug und verfahren zur nutzung desselben
EP3044727B1 (de) Verfahren und vorrichtung zur objekterkennung aus tiefenaufgelösten bilddaten
DE10336638A1 (de) Vorrichtung zur Klassifizierung wengistens eines Objekts in einem Fahrzeugumfeld
DE102011080702B3 (de) Objekterfassungsvorrichtung für ein Fahrzeug, Fahrzeug mit einer derartigen Objekterfassungsvorrichtung
EP2040220B1 (de) Verfahren zur Hinderniserkennung
DE102014112797A1 (de) Fahrzeugaußenumgebungerkennungsvorrichtung
DE102004046101B4 (de) Verfahren, Sicherheitsvorrichtung und Verwendung der Sicherheitsvorrichtung zur Früherkennung von Kraftfahrzeugkollisionen
DE112020002567T5 (de) Bilderkennungsvorrichtung und bilderkennungsverfahren
DE102013012930A1 (de) Verfahren zum Bestimmen eines aktuellen Abstands und/oder einer aktuellen Geschwindigkeit eines Zielobjekts anhand eines Referenzpunkts in einem Kamerabild, Kamerasystem und Kraftfahrzeug
DE102018108751B4 (de) Verfahren, System und Vorrichtung zum Erhalten von 3D-Information von Objekten
DE102012023060A1 (de) Verfahren zum Detektieren eines beweglichen Objekts mithilfe eines Histogramms anhand von Bildern einer Kamera und Kamerasystem für ein Kraftfahrzeug
DE10321506B4 (de) Verfahren zur Bestimmung der aktuellen Kopfposition von Fahrzeuginsassen
EP3655299B1 (de) Verfahren und vorrichtung zum ermitteln eines optischen flusses anhand einer von einer kamera eines fahrzeugs aufgenommenen bildsequenz
DE102012024879A1 (de) Fahrerassistenzsystem zum zumindest partiellen Abbremsen eines Kraftfahrzeugs, Kraftfahrzeug und entsprechendes Verfahren
WO2020020654A1 (de) Verfahren zum betreiben eines fahrerassistenzsystems mit zwei erfassungseinrichtungen
EP2163429B1 (de) Verfahren zur bildgestützten Überwachung einer Fahrzeugumgebung, insbesondere einer Umgebung eines Nutzfahrzeuges
DE102014218027A1 (de) Vorrichtungen zur Bilderfassung im Bereich eines Kraftfahrzeugs
DE102012015282B4 (de) Verfahren zur Detektion eines verdeckten Zustands einer Bilderfassungseinrichtung eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102013021840A1 (de) Verfahren zum Erzeugen eines Umgebungsmodells eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
DE102006020930B4 (de) Verfahren zur Umgebungsüberwachung für ein Kraftfahrzeug
EP3520020B1 (de) Verkehrszeichenklassifikation in einem umgebungsbereich eines kraftfahrzeugs
DE102021131051B4 (de) Bildaufnahmesystem und Bildaufnahmevorrichtung

Legal Events

Date Code Title Description
R005 Application deemed withdrawn due to failure to request examination