DE102011077398B4 - Fahrzeugkamerasystem zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung und entsprechendes Verfahren - Google Patents

Fahrzeugkamerasystem zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung und entsprechendes Verfahren Download PDF

Info

Publication number
DE102011077398B4
DE102011077398B4 DE102011077398.3A DE102011077398A DE102011077398B4 DE 102011077398 B4 DE102011077398 B4 DE 102011077398B4 DE 102011077398 A DE102011077398 A DE 102011077398A DE 102011077398 B4 DE102011077398 B4 DE 102011077398B4
Authority
DE
Germany
Prior art keywords
vehicle
image
images
camera system
vehicle environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE102011077398.3A
Other languages
English (en)
Other versions
DE102011077398A1 (de
Inventor
Wolfgang Niehsen
Markus Respondek
Jochen Wingbermuehle
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102011077398.3A priority Critical patent/DE102011077398B4/de
Priority to PCT/EP2012/058915 priority patent/WO2012168038A1/de
Publication of DE102011077398A1 publication Critical patent/DE102011077398A1/de
Application granted granted Critical
Publication of DE102011077398B4 publication Critical patent/DE102011077398B4/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Abstract

Fahrzeugkamerasystem (20) zur Bereitstellung von Bildern (71, 72) der Fahrzeugumgebung mittels mehrerer Kameramodule (30, 40, 50, 60), die jeweils eine Kamera und eine lokale Recheneinheit umfassen, wobei die lokalen Recheneinheiten jeweils dazu ausgebildet sind, die von den zugeordneten Kameras aufgenommenen Bilder der Fahrzeugumgebung vorzuverarbeiten, wobei die von den zugeordneten Kameras aufgenommenen Bilder der Fahrzeugumgebung jeweils in ein Teilbild (36, 46, 56, 66) transformiert werden, das jeweils einem vordefinierten Bildausschnitt (36, 46, 56, 66) von mindestens einem von einer Bildfusionseinheit (90) erzeugten Vollbild (71, 72) des Fahrzeugumgebungsbereichs (35, 45, 55, 65) entspricht, wobei die Recheneinheiten jeweils mindestens einen Analogausgang zur Signalübertragung aufweisen, und das Fahrzeugkamerasystem (20) die Bildfusionseinheit (90) aufweist, die dazu ausgebildet ist, aus den vorverarbeiteten, durch die Analogausgänge der lokalen Recheneinheiten analog übertragenen Bilder (36, 46, 56, 66) der Fahrzeugumgebung mindestens ein lückenloses Vollbild (71, 72) zumindest eines Bereichs (35, 45, 55, 65) der Fahrzeugumgebung zu erzeugen, wobei eine Anzeigeeinheit (100) und/oder eine zentrale, von der Bildfusionseinheit (90) umfasste Recheneinheit (110) dazu ausgebildet ist, mindestens ein Vollbild (71) des Fahrzeugumgebungsbereichs (35, 45, 55, 65) weiter zu verarbeiten und/oder zusätzliche Informationen, insbesondere Objektdetektionen eines Objektdetektionssystems, in das mindestens eine Vollbild (71) des Fahrzeugumgebungsbereichs (35, 45, 55, 65) einzufügen.

Description

  • Stand der Technik
  • Die vorliegende Erfindung betrifft ein Fahrzeugkamerasystem und ein entsprechendes Verfahren zur Bereitstellung eines lückenloses Bildes der Fahrzeugumgebung. Auch betrifft die Erfindung ein Fahrzeug mit einem solchen Fahrzeugkamerasystem.
  • Aus dem Stand der Technik sind Multikamerasysteme zur Rundsichtbeziehungsweise Draufsichtdarstellung (Surround-View- beziehungsweise Top-View-Darstellung) bekannt, die bildgebende Systeme auf der Basis von vier Weitwinkelkameramodulen und einer zentralen Recheneinheit zur Bildsynthese umfassen. 1 zeigt ein Fahrzeug 10 mit einem solchen Multikamerasystem 20 mit vier Kameras 30, 40, 50, 60 und einer zentralen Recheneinheit (Steuergerät) 90 zur Surround-View-Darstellung. Im Allgemeinen, wie zum Beispiel beim VW Touareg der zweiten Generation von 04/2010, sind eine Frontkamera 30 im Kühlergrill, jeweils eine Seitenkamera 40, 50 in den beiden Außenspiegeln sowie eine Heckkamera 60 am Fahrzeugheck im Bereich der Griffmulde des Kofferraumdeckels integriert.
  • Zur Synthese der Abbildung des Fahrzeugumfelds aus der Perspektive einer virtuellen Kamera über dem Fahrzeug (Vogelperspektive) werden die einzelnen Kamerabilder der vier verschiedenen Teile 35, 45, 55, 65 der Fahrzeugumgebung zu der zentralen Recheneinheit (Bildverarbeitungseinheit) 90 übertragen, mit einem geeigneten Abbildungsmodel transformiert und zu einem Gesamtbild, welches das eigene Fahrzeug 10 als zentrales Bildelement enthält, zusammengesetzt und zur Anzeige auf einem Display 70 gebracht. Die Kameras 30, 40, 50, 60 und die zentrale Recheneinheit 90 sind mittels Videoleitungen 80 miteinander verbunden.
  • Die Kameramodule 30, 40, 50, 60 sind jeweils mit einer Optik ausgestattet, welche einen horizontalen Öffnungswinkel von mehr als 180° ermöglicht (Fish-Eye-Optik), sodass mit den vier Kameras 30, 40, 50, 60 eine lückenlose Abdeckung des gesamten Fahrzeugumfelds erreicht werden kann.
  • Die Kamerasignale werden analog, wie zum Beispiel über NTSC (National Television Systems Committee) oder über PAL (Phase Alternating Line), digital mit verlustbehafteter Codierung, wie zum Beispiel mittels MJPEG (Moving Joint Photographic Experts Group) oder MPEG4 (Moving Picture Experts Group), oder digital ohne Datenkompression, wie zum Beispiel mittels LVDS (Low Voltage Diferential Signaling), übertragen.
  • Analoge Rundsichtsysteme (Surround-View-Systeme) haben eine beschränkte Auflösung und liefern deswegen eine nicht zufriedenstellende Bildqualität.
  • Im Fall von digitalen Rundsichtsystemen mit verlustbehafteter Bildcodierung treten bei dynamischen Szeneninhalten Codierartefakte (Blockartefakte, zeitvariable Bildauflösung, usw.) auf.
  • Im Falle eines Rundsichtsystems (Surround-View-System) ohne Bilddatenkompensation sind die Komponenten zur Anbindung der digitalen Kameramodule an die zentrale Recheneinheit sehr kostenintensiv.
  • Es ist ferner eine fehlende bzw. unzureichende Erweiterbarkeit eines bekannten, anzeigenden Rundsichtsystems zu einem intelligenten Umfelderfassungssystem mit Bildinterpretation zur Objekterkennung feststellbar.
  • Es ist weiterhin eine fehlende bzw. unzureichende Skalierbarkeit eines bekannten Rundsichtsystems bezüglich der Anzahl der verwendeten Kameramodule einschließlich der Basisausprägung in Form einer intelligenten Rückfahrkamera feststellbar.
  • Aus dem Dokument DE 101 64 516 A1 ist ein Fahrzeugrückblicksystem bekannt, bei dem eine rückwärtige Panoramaansicht mit mindestens zwei Videokameras erzeugt wird. Es wird weiterhin beschrieben, dass mittels einer Vorverarbeitung, die für jede Kamera durchgeführt wird, festgestellt wird, welcher Bildteil sich überschneidet und welcher nicht. Um die sich überlappenden Bildbereiche feststellen zu können, müssen die jeweiligen Vorverarbeitungsprozesse der mittels der einzelnen Kameras aufgenommenen Bilder miteinander kommunizieren und deswegen eine große Menge Bilddaten in einer geeignet kurzen Zeit untereinander austauschen. Danach werden die sich überlappenden Bildbereiche und ein durch Korrelation der Information von beiden Kameras erhaltener Bildüberlappungsbereich jeweils getrennt an einer Anzeige geliefert. Dabei wird die Möglichkeit einer dezentralen Vorerarbeitung und des getrennten Übertragens von verschiedenen Bildbereichen, wie die Überlappungs- und Nichtüberlappungsbereiche, der beiden Kameras eröffnet. Die getrennte Übertragung der Inhalte dieser verschiedenen Bildbereiche erfolgt jeweils digital.
  • Ferner ist aus dem Dokument DE 100 35 223 A1 eine Vorrichtung und ein entsprechendes Verfahren zur Überwachung der Umgebung eines Objekts bekannt, bei dem eine große Menge an Bilddaten, die die Bilder mehrerer Videokameras mit überschneidenden Blickfeldern umfassen, in einer geeignet kurzen Zeit an einer Auswerteeinheit übertragen werden müssen. Die Bilder der mehreren Videokameras werden an eine Auswerteeinheit übertragen und zentral in der Auswerteeinheit zu einem Gesamtbild zusammengesetzt, wobei der Überlappungsbereich bzw. Überschneidungsbereich in der Auswertung berücksichtigt und als kontinuierlicher Übergang zwischen Einzelbilddarstellungen benachbarter Erfassungseinrichtungen dargestellt wird. Dabei erfolgt eine hier beschriebene Bildfusion auf rein digitaler Ebene.
  • Die Schrift US 2010/0020176 A1 offenbart ein Bildverarbeitungssystem, wobei dieses eine Bilderfassungsvorrichtung, eine Kontrollvorrichtung und eine Anzeigevorrichtung aufweist. Eine Konversionseinheit der Bilderfassungsvorrichtung ist ferner dazu eingerichtet ein Bild der Umgebung von einem ersten Bild zu einem zweiten Bild zu konvertieren, wobei das zweite Bild zu einer Teilregion des ersten Bildes korrespondiert. Die Konversionseinheit generiert ein digitales Signal, welches zu einem D/A-Wandler gesendet wird. Der D/A-Wandler konvertiert das durch die Konversionseinheit generierte digitale Signal zu einem anlogen Signal zu Übertragung an eine Recheneinheit beziehungsweise die Anzeigevorrichtung. Das erfasste Bild ist ein Weitwinkelbild.
  • Neue Beschreibungsseite 3a (Reinschrift)
  • Offenbarung der Erfindung
  • Das erfindungsgemäße Fahrzeugkamerasystem zur Bereitstellung eines lückenloses Bildes der Fahrzeugumgebung umfasst ein oder mehrere Kameramodule, die jeweils eine Kamera und eine lokale Recheneinheit umfassen, wobei die lokalen Recheneinheiten jeweils dazu ausgebildet sind, die von der zugeordneten Kamera aufgenommenen Bilder der Fahrzeugumgebung vorzuverarbeiten. Ferner umfassen die Recheneinheiten jeweils mindestens einen Analogausgang zur Signalübertragung. Das Fahrzeugkamerasystem weist eine Bildfusionseinheit auf, die dazu ausgebildet ist, aus den vorverarbeiteten, mittels der Analogausgänge der lokalen Recheneinheiten analog übertragenen
  • Bilder der Fahrzeugumgebung mindestens ein lückenloses Vollbildes zumindest eines Bereichs der Fahrzeugumgebung zu erzeugen.
  • Weiter wird durch die Erfindung ein Verfahren zur Bereitstellung mindestens eines lückenloses Vollbildes zumindest eines Bereichs der Fahrzeugumgebung vorgestellt, das mittels eines erfindungsgemäßen Fahrzeugkamerasystems durchgeführt wird. Bei dem Verfahren werden ein oder mehrere Bilder der Fahrzeugumgebung aufgenommen und vorverarbeitet und ein oder mehrere analoge Bildsignale, die jeweils einem vorverarbeiteten Bild der Fahrzeugumgebung entsprechen, erzeugt. Ferner wird aus den analogen Bildsignalen mindestens ein Vollbildsignal, das einem lückenlosen Vollbild des Fahrzeugumgebungsbereichs entspricht, erzeugt.
  • Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.
  • Bei dem erfindungsgemäßen Fahrzeugkamerasystem erfolgt die Anbindung der von den Kameramodulen umfassten Recheneinheiten an die zentrale Bildfusionseinheit analog, was eine hohe Kompatibilität des erfindungsgemäßen Fahrzeugkamerasystems zu den heute bereits in Kraftfahrzeugen verfügbaren Komponenten bewirkt. Dadurch entfallen die hohen Kosten der Komponenten zur Anbindung von digitalen Kameramodulen an die Bildfusionseinheit, wodurch eine effiziente Realisierung eines kostengünstigen Fahrzeugkamerasystem (Surround-View-System) ermöglicht wird.
  • Insbesondere sind die lokalen Recheneinheiten des erfindungsgemäßen Fahrzeugkamerasystems jeweils dazu ausgebildet, eine Bildinterpretation der von den zugeordneten Kameras aufgenommenen Bilder der Fahrzeugumgebung durchzuführen und/oder die von den zugeordneten Kameras aufgenommenen Bilder der Fahrzeugumgebung jeweils in ein Teilbild zu transformieren, das jeweils einem vordefinierten Bildausschnitt des mindestens einen von der Bildfusionseinheit erzeugten Vollbildes des Fahrzeugumgebungsbereichs entspricht.
  • Bei dem erfindungsgemäßen Fahrzeugkamerasystem werden intelligente Kameramodule verwendet, die jeweils eine insbesondere integrierte Recheneinheit und einen Analog-Ausgang (PAL/NTSC) zur Signalübertragung aufweisen. Das Konzept der dezentralen Intelligenz ermöglicht eine signifikante Datenreduktion ohne Informationsverlust, da die erforderliche nichtlineare Transformation des partiellen Bildsignals bereits im jeweiligen Kameramodul erfolgen kann.
  • Durch die erfindungsgemäße Vorverarbeitung der einzelnen Kamerabilder erfolgt eine signifikante Datenreduktion ohne Informationsverlust, wodurch der Einsatz kostenminimaler Vernetzungslösungen ermöglicht wird.
  • Die Bildfusionseinheit umfasst einen Multikamerakontroller (z.B. EPSON S2S65P10 oder S2D13P04), der die von zum Beispiel vier analog angebundenen intelligenten Kameramodulen aufgenommenen Bilder der Fahrzeugumgebung zu einem Vollbild der Fahrzeugumgebung mit vier Quadranten zusammenfügt. Jeweils ein Quadrant repräsentiert ein geeignet vorverarbeitetes Bild einer Kamera.
  • Die analoge Anbindung der Kameramodule an die Bildfusionseinheit ermöglicht die Verwendung von Standard Multikamerakontrollern (z.B. EPSON S2S65P10 oder S2D13P04)
  • Ferner wird durch die Verwendung des Konzeptes der dezentralen Intelligenz die Skalierbarkeit eines erfindungsgemäßen Fahrzeugkamerasystems von beispielsweise einer Rückfahrkamera bis zu einem erfindungsgemäßen, intelligenten Fahrzeugkamerasystem mit vorzugsweise vier oder mehreren Einzelkameras gewährleistet.
  • In einer besonders vorteilhaften und kostengünstigen Ausführungsform der Erfindung umfasst das erfindungsgemäße Fahrzeugkamerasystem eine Anzeigevorrichtung, die dazu ausgebildet ist, das mittels eines von der Bildfusionseinheit umfassten Analogausganges analog übertragene Vollbild des Fahrzeugumgebungsbereichs anzuzeigen.
  • Vorzugsweise ist die Anzeigeeinheit und/oder eine zentrale, von der Bildfusionseinheit umfassten Recheneinheit dazu ausgebildet, mindestens ein Vollbild des Fahrzeugumgebungsbereichs weiter zu verarbeiten und/oder zusätzliche Informationen, insbesondere Objektdetektionen eines Objektdetektionssystems, in mindestens einem Vollbild des Fahrzeugumgebungsbereichs einzufügen.
  • Durch die Erfindung wird die modulare Erweiterbarkeit eines erfindungsgemäßen, anzeigenden Fahrzeugmultikamerasystems (wie z.B. eines Surround-View-Systems) bezüglich der Objekterkennung ermöglicht. Erfindungsgemäß wird weiterhin ein Fahrzeug mit einem erfindungsgemäßen Fahrzeugkamerasystem bereitgestellt. Der Fahrer eines solchen Fahrzeuges kann dann beim Erkennen eines Hindernisses frühzeitig gewarnt werden. Insbesondere kann das erfindungsgemäße Fahrzeugkamerasystem zum Zugreifen auf verschiedene Fahrzeugdaten, wie zum Beispiel den Lenkwinkel, die Raddrehzahlen und die Inertialsensordaten, und dadurch insbesondere auch zum Eingreifen in die Fahrzeugdynamik beim Erkennen eines Hindernisses ausgebildet sein. Dadurch wird die Kollisionsgefahr des Fahrzeugs vorzugsweise beim Einparken deutlich reduziert.
  • Figurenliste
  • Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. In der Zeichnung ist:
    • 1 ein Fahrzeug mit einem Fahrzeugmultikamerasystem nach dem Stand der Technik,
    • 2 ein lückenloses Vollbild des Fahrzeuges mit seinem gesamten Fahrzeugumfeld aus der Vogelperspektive, das mittels eines erfindungsgemäßen Fahrzeugkamerasystems nach einer ersten Ausführungsform der Erfindung erzeugt wurde,
    • 3 ein Blockschaltbild eines erfindungsgemäßen Fahrzeugkamerasystems nach der ersten Ausführungsform der Erfindung, und
    • 4 ein Blockschaltbild eines erfindungsgemäßen Fahrzeugsystems nach einer zweiten Ausführungsform der Erfindung.
  • Ausführungsformen der Erfindung
  • 2 zeigt ein Vollbild 72 des Fahrzeuges mit seinem gesamten Fahrzeugumfeld aus der Vogelperspektive, das mittels eines erfindungsgemäßen Fahrzeugkamerasystems (nicht dargestellt) nach einer ersten Ausführungsform der Erfindung erzeugt wurde und zur Anzeige auf einem Display 70 gebracht wurde.
  • Das erfindungsgemäße Fahrzeugkamerasystem nach der ersten Ausführungsform der Erfindung umfasst mehrere intelligente Kameramodule, die jeweils eine hochintegrierte Recheneinheit zur dezentralen Bildsignalverarbeitung und Bildinterpretation umfassen. Die Recheneinheit ist entweder direkt auf dem bildgebenden Imagermodul integriert oder wird als separate Komponente auf dem Imager-PCB (Printed Circuit Board) oder auch auf einer oder mehreren zusätzlichen PCBs in das Kameramodul integriert. Die Recheneinheit kann zum Beispiel als DSP (Digital Signal Processor), FPGA (Field Programmable Gate Array), µC (Mikrocontroller), ASSP (Application Specific Standard Product), ASIC (Application Specific Integrated Circuit) oder auch als SoC (System-on-Chip) bestehend aus zwei oder mehr Signalverarbeitungseinheiten ausgeführt werden.
  • Die Recheneinheit leistet neben der Bildinterpretation insbesondere eine nichtlineare Transformation des Eingangsbildes zur Generierung des entsprechendes Teilbildes beziehungsweise Ausschnittes 36, 46, 56, 66 der auf dem Fahrzeugdisplay 70 anzuzeigenden Surround-View-Darstellung (Vollbild) 72. Hierbei erfolgt eine signifikante Datenreduktion ohne Informationsverlust.
  • Die 3 zeigt ein Blockschaltbild eines erfindungsgemäßen Fahrzeugkamerasystems nach der ersten Ausführungsform der Erfindung.
  • Der jeweils mittels einer nichtlinearen Transformation erzeugte Bildausschnitt (Patch) 36, 46, 56, 66 wird analog umgesetzt (NTSC/PAL) und zu einer zentralen Bildfusionseinheit 90 übertragen, sodass die Vernetzung der einzelnen intelligenten Kameramodule 30, 40, 50, 60 mit der zentralen Bildfusionseinheit 90 kostengünstig mittels der in einem Kraftfahrzeugen bereits verfügbaren Komponenten erfolgen kann.
  • In der Bildfusionseinheit 90 werden unter der Verwendung eines Multikamerakontrollers 91 die vorverarbeiteten Einzelbilder (Patches) 36, 46, 56, 66 zu einem Vollbild 71 zusammengesetzt. Dieses Vollbild 71 umfasst z.B. vier Kacheln, wobei jede Kachel ein geeignet vorverarbeitetes Einzelbild 36, 46, 56, 66 einer Kamera 30, 40, 50, 60 des Multikamerasystems 20 beinhaltet.
  • Eine Steuerleitung 93 zur Bildfusionseinheit 90 ermöglicht das Zusammensetzen der einzelnen Kamerabilder 36, 46, 56, 66 (Vorderansicht, Seitenansichten, Rückansicht, Draufsicht) und eventuell auch einer statischen Draufsicht 11 des eigenen Fahrzeuges.
  • Die analogen Bildsignale werden über die Koaxialleitungen 37, 47, 57, 67 zwischen den Kameramodulen 30, 40, 50, 60 und dem Multikamerakontroller 91 übertragen, von diesem verarbeitet und über die weitere Koaxialleitung 92 an eine Anzeigeeinheit (Head Unit - HU) 100 übertragen, die von dem Multikamerakontroller 91 weiter über die Steuerleitung 93 ein Steuersignal empfängt.
  • Das vom Multikamerakontroller 91 generierte Bildsignal kann digital weiter zu einem Vollbild 72 verarbeitet werden oder aber mittels eines Encoders wieder in ein Analog-Signal (NTSC/PAL) umgesetzt werden, um so der Anzeigeneinheit (HU) 100 direkt zugeführt zu werden. In der Anzeigeneinheit (HU) 100 wird in diesem Falle aus dem Vollbild 71 mittels einer weiteren Optimierung der Patchkomposition oder auch mittels des Einfügens von Zusatzinformation ein weiteres Vollbild 72 erzeugt. Hier wird jedoch noch ein geringer Anteil zur Bildaufbereitung beziehungsweise Darstellung durch die Anzeigeeinheit 100 realisiert. Das Vollbild 72 wird dann auf dem von der Anzeigevorrichtung 100 umfassten Display 70 angezeigt.
  • 4 zeigt ein Blockschaltbild eines erfindungsgemäßen Fahrzeugsystems 20 nach einer zweiten Ausführungsform der Erfindung.
  • Wie in der 4 dargestellt, umfasst die Bildfusionseinheit 90 des Fahrzeugkamerasystems 20 nach der zweiten Ausführungsform der Erfindung insbesondere eine zentrale Recheneinheit 110. Wird das digitale Ausgangssignal 71 des Multikamerakontrollers 91 in die zusätzliche, von der Bildfusionseinheit 90 umfassten Recheneinheit 110 eingespeist, so ist eine unabhängige Bildaufbereitung möglich. Das Anzeigesystem 100 kann dieses aufbereitete Vollbild 72, welches analog übertragen wird, sofort und ohne Nachbearbeitung auf dem Display 70 anzeigen.
  • Die von der Bildfusionseinheit 90 des Fahrzeugsystems 20 nach der zweiten Ausführungsform der Erfindung umfasste zentrale Recheneinheit 110 kann auch zusätzlich die Möglichkeit bieten, die Patchkomposition und zusätzliche Informationen, wie Objektdetektionen eines ultraschallbasierten Park-Pilot-Systems, in dem Vollbild 71 einzuzeichnen und so ein detaillierteres Vollbild 72 zu erzeugen. Die zentrale Recheneinheit 110 hat über das Bussystem 111 Zugriff auf verschiedene Fahrzeugdaten 120, wie zum Beispiel den Lenkwinkel, die Raddrehzahlen und die Inertialsensordaten. Das Bussystem 111 kann ein CAN-Bus (Car Area Network Bus), ein LIN-Bus (Local Interconnect Network Bus) oder ein MOST-Bus (Media Oriented Systems Transport Bus) umfassen.
  • Hier erfolgt die Übertragung der analogen Bildsignale auch über die Koaxialleitungen 37, 47, 57, 67 zwischen den Kameramodulen 30, 40, 50, 60 und dem Multikamerakontroller 91, die von diesem verarbeitet und über die weitere Koaxialleitung 92 an die Anzeigeeinheit (HU) 100 übertragen werden, welche von dem Multikamerakontroller 91 weiter über die Steuerleitung 93 ein Steuersignal empfängt.
  • Neben der voranstehenden schriftlichen Offenbarung wird hiermit zur weiteren Offenbarung der Erfindung ergänzend auf die Darstellung in den 2 bis 4 Bezug genommen.

Claims (6)

  1. Fahrzeugkamerasystem (20) zur Bereitstellung von Bildern (71, 72) der Fahrzeugumgebung mittels mehrerer Kameramodule (30, 40, 50, 60), die jeweils eine Kamera und eine lokale Recheneinheit umfassen, wobei die lokalen Recheneinheiten jeweils dazu ausgebildet sind, die von den zugeordneten Kameras aufgenommenen Bilder der Fahrzeugumgebung vorzuverarbeiten, wobei die von den zugeordneten Kameras aufgenommenen Bilder der Fahrzeugumgebung jeweils in ein Teilbild (36, 46, 56, 66) transformiert werden, das jeweils einem vordefinierten Bildausschnitt (36, 46, 56, 66) von mindestens einem von einer Bildfusionseinheit (90) erzeugten Vollbild (71, 72) des Fahrzeugumgebungsbereichs (35, 45, 55, 65) entspricht, wobei die Recheneinheiten jeweils mindestens einen Analogausgang zur Signalübertragung aufweisen, und das Fahrzeugkamerasystem (20) die Bildfusionseinheit (90) aufweist, die dazu ausgebildet ist, aus den vorverarbeiteten, durch die Analogausgänge der lokalen Recheneinheiten analog übertragenen Bilder (36, 46, 56, 66) der Fahrzeugumgebung mindestens ein lückenloses Vollbild (71, 72) zumindest eines Bereichs (35, 45, 55, 65) der Fahrzeugumgebung zu erzeugen, wobei eine Anzeigeeinheit (100) und/oder eine zentrale, von der Bildfusionseinheit (90) umfasste Recheneinheit (110) dazu ausgebildet ist, mindestens ein Vollbild (71) des Fahrzeugumgebungsbereichs (35, 45, 55, 65) weiter zu verarbeiten und/oder zusätzliche Informationen, insbesondere Objektdetektionen eines Objektdetektionssystems, in das mindestens eine Vollbild (71) des Fahrzeugumgebungsbereichs (35, 45, 55, 65) einzufügen.
  2. Fahrzeugkamerasystem (20) nach Anspruch 1, dadurch gekennzeichnet, dass die lokalen Recheneinheiten jeweils dazu ausgebildet sind, eine Bildinterpretation der von den zugeordneten Kameras aufgenommenen Bilder der Fahrzeugumgebung durchzuführen.
  3. Fahrzeugkamerasystem (20) nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die Bildfusionseinheit (90) mindestens einen Analogausgang zur Signalübertragung aufweist und das Fahrzeugkamerasystem (20) eine Anzeigevorrichtung (100) umfasst, die dazu ausgebildet ist, das mittels des Analogausganges der Bildfusionseinheit (90) analog übertragene Vollbild (71, 72) des Fahrzeugumgebungsbereichs (35, 45, 55, 65) anzuzeigen.
  4. Verfahren zur Bereitstellung mindestens eines lückenloses Vollbildes (71, 72) zumindest eines Bereichs (35, 45, 55, 65) der Fahrzeugumgebung, das mittels eines Fahrzeugkamerasystems (20) nach mindestens einem der vorangehenden Ansprüche durchgeführt wird, bei dem mehrere Bilder der Fahrzeugumgebung aufgenommen und vorverarbeitet werden, wobei die aufgenommenen Bilder der Fahrzeugumgebung jeweils in ein Teilbild (36, 46, 56, 66), das jeweils einem vordefinierten Bildausschnitt (36, 46, 56, 66) von mindestens einem lückenlosen Vollbild (71, 72) des Fahrzeugumgebungsbereichs (35, 45, 55, 65) entspricht, umgewandelt werden, und mehrere analoge Bildsignale, die jeweils einem vorverarbeiteten Bild (36, 46, 56, 66) der Fahrzeugumgebung entsprechen, erzeugt werden, wobei aus den erzeugten, analogen Bildsignalen mindestens ein Vollbildsignal, das einem lückenlosen Vollbild (71) zumindest eines Fahrzeugumgebungsbereichs (35, 45, 55, 65) entspricht, erzeugt wird, wobei mindestens ein lückenloses Vollbild (71) des Fahrzeugumgebungsbereichs (35, 45, 55, 65) weiter verarbeitet wird und/oder zusätzliche Informationen, insbesondere Objektdetektionen, in das Vollbild (71) eingezeichnet werden.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass jeweils eine Bildinterpretation der aufgenommenen Bilder der Fahrzeugumgebung durchgeführt wird.
  6. Fahrzeug (10) mit einem Fahrzeugkamerasystem (20) nach mindestens einem der Ansprüche 1 bis 3.
DE102011077398.3A 2011-06-10 2011-06-10 Fahrzeugkamerasystem zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung und entsprechendes Verfahren Expired - Fee Related DE102011077398B4 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102011077398.3A DE102011077398B4 (de) 2011-06-10 2011-06-10 Fahrzeugkamerasystem zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung und entsprechendes Verfahren
PCT/EP2012/058915 WO2012168038A1 (de) 2011-06-10 2012-05-14 Fahrzeugkamerasystem zur bereitstellung eines lückenlosen bildes der fahrzeugumgebung und entsprechendes verfahren

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102011077398.3A DE102011077398B4 (de) 2011-06-10 2011-06-10 Fahrzeugkamerasystem zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung und entsprechendes Verfahren

Publications (2)

Publication Number Publication Date
DE102011077398A1 DE102011077398A1 (de) 2012-12-13
DE102011077398B4 true DE102011077398B4 (de) 2021-11-04

Family

ID=46124338

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102011077398.3A Expired - Fee Related DE102011077398B4 (de) 2011-06-10 2011-06-10 Fahrzeugkamerasystem zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung und entsprechendes Verfahren

Country Status (2)

Country Link
DE (1) DE102011077398B4 (de)
WO (1) WO2012168038A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022123561A1 (de) 2022-09-15 2024-03-21 Valeo Schalter Und Sensoren Gmbh Frontkamerasystem für ein Fahrzeug

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6022930B2 (ja) 2012-12-25 2016-11-09 京セラ株式会社 カメラシステム、カメラモジュールおよびカメラ制御方法
US9499168B2 (en) 2013-01-09 2016-11-22 Mitsubishi Electric Corporation Vehicle periphery display device
DE102013200431A1 (de) * 2013-01-14 2014-07-31 Robert Bosch Gmbh Kamerasystem für ein Fahrzeug
DE102016220651A1 (de) * 2016-10-20 2018-04-26 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht bei einem Fahrzeug
DE102016223391A1 (de) 2016-11-25 2018-05-30 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zum erzeugen einer fahrzeugumgebungsansicht bei einem fahrzeug
DE102018218745B4 (de) 2018-11-01 2021-06-17 Elektrobit Automotive Gmbh Kameravorrichtung, Fahrerassistenzsystem und Fahrzeug

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10035223A1 (de) 2000-07-20 2002-01-31 Daimler Chrysler Ag Vorrichtung und Verfahren zur Überwachung der Umgebung eines Objekts
DE10164516A1 (de) 2001-12-19 2003-07-10 Magna Auteca Ag Weiz Elektronisches Fahrzeugrückblicksystem
US20100020176A1 (en) 2008-07-24 2010-01-28 Kiyoshi Higashibara Image processing system, imaging device, image processing method, and computer program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070035625A9 (en) * 2002-12-20 2007-02-15 Hamdan Majed M Vehicle video processing system
WO2010099416A1 (en) * 2009-02-27 2010-09-02 Magna Electronics Alert system for vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10035223A1 (de) 2000-07-20 2002-01-31 Daimler Chrysler Ag Vorrichtung und Verfahren zur Überwachung der Umgebung eines Objekts
DE10164516A1 (de) 2001-12-19 2003-07-10 Magna Auteca Ag Weiz Elektronisches Fahrzeugrückblicksystem
US20100020176A1 (en) 2008-07-24 2010-01-28 Kiyoshi Higashibara Image processing system, imaging device, image processing method, and computer program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022123561A1 (de) 2022-09-15 2024-03-21 Valeo Schalter Und Sensoren Gmbh Frontkamerasystem für ein Fahrzeug

Also Published As

Publication number Publication date
DE102011077398A1 (de) 2012-12-13
WO2012168038A1 (de) 2012-12-13

Similar Documents

Publication Publication Date Title
DE102011077143A1 (de) Fahrzeugkamerasystem und Verfahren zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung
DE102011077398B4 (de) Fahrzeugkamerasystem zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung und entsprechendes Verfahren
EP2431226B1 (de) Rückblickeinrichtung für ein Kraftfahrzeug
EP2623374B1 (de) Sichtsystem für Nutzfahrzeuge zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
DE102006003538B3 (de) Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
DE102012015398B3 (de) Spiegelersatzsystem für ein Fahrzeug
EP2603402B1 (de) Verfahren zum anzeigen von bildern auf einer anzeigeeinrichtung und fahrerassistenzsystem
EP3157786B1 (de) Fahrzeug mit umfeldüberwachungseinrichtung sowie verfahren zum betreiben einer solchen überwachungseinrichtung
DE102008062121A1 (de) Kameraeinheit mit Fahrkorridor-Anzeigefunktion für ein Fahrzeug, Verfahren zur Anzeige einer vorausberechneten Fahrzeugtrajektorie und System zur Generierung von Fahrkorridormarkierungen
DE112008000416T5 (de) In ein Fahrzeug eingebautes Videokommunikationssystem und in ein Fahrzeug eingebautes Bildaufnahmesystem
WO2016162245A1 (de) Verfahren zur darstellung einer fahrzeugumgebung eines fahrzeuges
WO2010025792A1 (de) Verfahren und vorrichtung zur überwachung einer umgebung eines fahrzeuges
DE102008046544A1 (de) Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE10132982A1 (de) Einrichtung zum Erfassen optischer Informationen
EP1339228B1 (de) Verfahren und Vorrichtung zur Sichtbarmachung eines Ausschnitts der Umgebung eines Fahrzeugs sowie eine Kalibriereinheit zur Kalibrierung der Vorrichtung
DE102008030104A1 (de) Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE10321228B4 (de) Optisches Erfassungssystem für Fahrzeuge
DE102006020930B4 (de) Verfahren zur Umgebungsüberwachung für ein Kraftfahrzeug
EP3106349B1 (de) Sichtsystem für ein nutzfahrzeug zur darstellung von gesetzlich vorgeschriebenen sichtfeldern eines hauptspiegels und eines weitwinkelspiegels
DE112015002456B4 (de) Außenspiegelersatzsystem für eine Zugfahrzeug-Anhänger-Kombination und zugehöriges Verfahren
EP2312525A2 (de) Verfahren und Kamerasystem zur Erzeugung von Bildern zur Übermittlung an eine externe Steuereinheit
DE102017100669A1 (de) Verfahren zum Erfassen eines Umgebungsbereichs eines Kraftfahrzeugs mit Anpassung einer Region von Interesse in Abhängigkeit von einem Anhänger, Recheneinrichtung, Kamerasystem sowie Kraftfahrzeug
WO2016096195A1 (de) Kamerasystem und verfahren zum visualisieren mindestens eines fahrzeugumfeldbereiches eines fahrzeugumfeldes eines fahrzeuges
WO2007028815A2 (de) Übertragung von nutzdaten im bildsignal eines kamerasystems
DE102013102207A1 (de) Kamerasystem für ein Fahrzeug

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee